KR101367964B1 - 복합 센서를 이용한 사용자 상황 인식 방법 - Google Patents

복합 센서를 이용한 사용자 상황 인식 방법 Download PDF

Info

Publication number
KR101367964B1
KR101367964B1 KR1020120116948A KR20120116948A KR101367964B1 KR 101367964 B1 KR101367964 B1 KR 101367964B1 KR 1020120116948 A KR1020120116948 A KR 1020120116948A KR 20120116948 A KR20120116948 A KR 20120116948A KR 101367964 B1 KR101367964 B1 KR 101367964B1
Authority
KR
South Korea
Prior art keywords
user
feature
acceleration
features
sensor
Prior art date
Application number
KR1020120116948A
Other languages
English (en)
Inventor
이승룡
한만형
박영택
Original Assignee
숭실대학교산학협력단
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단, 경희대학교 산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020120116948A priority Critical patent/KR101367964B1/ko
Priority to US13/905,796 priority patent/US20140111418A1/en
Application granted granted Critical
Publication of KR101367964B1 publication Critical patent/KR101367964B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/015—PDA [personal digital assistant] or palmtop computing devices used for musical purposes, e.g. portable music players, tablet computers, e-readers or smart phones in which mobile telephony functions need not be used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 복합센서를 이용한 사용자 상황 인식 방법으로서, 가속도 분류 단계에서 가속도 센서를 통해 수집된 사용자의 가속도 데이터로부터 이동 특징 후보들을 추출하고, 추출된 이동 특징 후보들의 연관성(relevancy) 및 반복성(redundancy)에 기초하여 이동 특징 후보들로부터 하나 이상의 이동 특징을 선택하며, 제1 시계열적 확률 모델을 이용하여 선택된 이동 특징들로부터 사용자의 이동유형을 추론하고 , 오디오 분류 단계에서 오디오 센서를 통해 수집된 상기 사용자의 주변환경에 대한 오디오 데이터로부터 주변환경 특징들을 추출하고, 제2 시계열적 확률 모델을 이용하여 추출된 주변환경 특징들로부터 주변환경의 유형을 추론한다. 그리고 상기 사용자의 상황을 인식하는 단계에서, 상기 사용자의 이동 유형과 상기 주변환경의 유형 중에서 하나 이상을 이용하여 포함하여 사용자 상황을 인식하는 방법에 관한 것이다.

Description

복합 센서를 이용한 사용자 상황 인식 방법 {METHOD FOR RECOGNIZING USER-CONTEXT BY USING MUTIMODAL SENSORS}
본 발명은 상황 인식 방법에 관한 것이다. 보다 상세하게는, 모바일 디바이스상의 복합 센서로부터 수집된 데이터를 이용하여 사용자의 상황을 인식하는 방법에 관한 것이다.
스마트폰과 같은 모바일 디바이스들은 주변 환경에 대한 실시간 데이터를 제공하도록 구성될 수 있는 가속도 센서, 광센서, 자기 센서, 자이로 센서, GPS 리시버 및 WiFi 등과 같은 내장 센서들(built-in sensors)을 탑재하고 있다. 그리고 이러한 센서들에서 수집된 데이터들은 사용자의 행동, 상황을 인식하는데 사용될 수 있다. 이와 같은 상황 인식은 일상의 생활 영역부터 산업 영역에 이르기까지 많은 영역에 적용되고 있고, 이러한 상황 인식 분야는 현재 모바일 디바이스 및 애플리케이션 개발자들의 큰 관심을 끌고 있다.
종래 상황 인식을 위해 단일 종류의 센서들에 기반한 접근들이 이루어지고 있는데, 이중에서 가속도 센서는 적은 비용과 적은 전력 소모 때문에 사용자의 상황을 인식 하는데 있어서 효과적인 센서로 알려져 있다. 2010년 A. Khan 외 다수에 의해 제시된 내용에는, 가속도 센서를 사용자의 움직임을 인식하는데 사용하는 것에 대하여 기재되어 있다. 그리고 2006년 A. Eronen 외 다수에 의해 제시된 내용에는, 오디오 센서를 음향 환경을 인식하는데 사용하는 것에 대하여 기재되어 있다. 그러나, 이러한 종래 작업들은 다양한 센서들의 장점을 조합하는 대신 단지 특정한 종류의 센서만을 이용함으로써 다양한 종류의 사용자 상황을 인식할 수 없다는 문제점과, 사용자 상황 인식의 정확도가 낮다는 문제점을 가지고 있다.
2009년 S. Preece 외 다수에 의해 제시된 내용에는, 다른 종류의 특징 추출 기술과 분류 알고리즘을 가지는 가속도 분류에 대한 다수의 해결책에 대하여 기재되어 있다. 여기서는 특정한 종류의 특징 추출 기술을 사용함으로써 추출되는 미리 정의된 특징들을 사용하는 대신에, 특징 선택 알고리즘을 사용하여 전체 집합으로부터 가장 좋은 특징들을 선택하는 방법이 개시되어 있다. 그러나 이 특징 선택 알고리즘을 이용하여 선택된 특징에 기반한 사용자 상황 인식은 정확도가 높지 않고, 특징을 선택하기 위한 계산 부담이 커서 모바일 단말상에서 처리되기 어렵다는 문제점을 갖는다.
본 발명은 다양한 종류의 상황을 인식하기 위하여 단일 센서로부터 수집된 데이터가 아닌, 가속도 센서, 오디오 센서 등 모바일 디바이스에 내장된 복합 센서로부터 수집된 데이터를 이용하는 사용자 상황 인식 방법을 제시한다.
또한, 본 발명은 상황 인식의 정확도를 높이기 위하여 가속도 센서로부터 수집된 데이터에서 추출된 특징들 중 우수한 특징만을 선택하는 모바일 디바이스에 적용 가능한 새로운 특징 선택 방법을 제시한다.
또한, 본 발명은 상황 인식의 정확도를 높이기 위하여 기타 다른 센서로부터 수집된 데이터를 이용하여 사용자 상황 인식의 유효성을 확인하는 방법을 제시한다.
일 실시예에 따른 복합센서를 이용한 사용자 상황 인식 방법은 가속도 센서를 통해 수집된 사용자의 가속도 데이터로부터 이동 특징 후보들을 추출하고 추출된 이동 특징 후보들의 연관성(relevancy) 및 반복성(redundancy)에 기초하여 이동 특징 후보들로부터 하나 이상의 이동 특징을 선택하며 제1 시계열적 확률 모델을 이용하여 선택된 이동 특징들로부터 사용자의 이동유형을 추론하는 가속도 분류 단계와, 오디오 센서를 통해 수집된 사용자의 주변환경에 대한 오디오 데이터로부터 주변환경 특징들을 추출하고 제2 시계열적 확률 모델을 이용하여 추출된 주변환경 특징들로부터 주변환경의 유형을 추론하는 오디오 분류 단계와, 사용자의 이동 유형과 주변환경의 유형 중에서 하나 이상을 이용하여 사용자의 상황을 인식하는 단계를 포함한다.
하나의 보충적이거나 대안적인 실시예에서, 가속도 센서와 오디오 센서는 각각 미리 설정된 조건을 만족하는 경우에만 활성화 되어, 데이터를 수집하는 것을 특징으로 한다.
다른 보충적이거나 대안적인 실시예에서, 복합센서를 이용한 사용자 상황 인식 방법은 지피에스(GPS) 모듈을 통해 수집된 데이터로부터 사용자의 이동 속도 정보 및 사용자의 위치 정보를 획득하고, 사용자의 이동 속도 정보 및 사용자의 위치정보에 기초하여 인식된 사용자의 상황의 유효성을 확인하는 단계를 더 포함한다.
다른 보충적이거나 대안적인 실시예에서, 복합센서를 이용한 사용자 상황 인식 방법은 와이파이(WiFi) 모듈을 통해 수집된 데이터로부터 와이파이 접속 정보를 획득하고, 와이파이 접속 정보에 기초하여 인식된 사용자의 상황의 유효성을 확인하는 단계를 더 포함한다.
복합 센서로부터 수집된 데이터를 이용하여 사용자의 상황을 인식함으로써 상황 인식의 다양성과정확도를 높일 수 있다.
또한, 새로운 특징 선택 방법을 이용하여 추출된 특징들 중 우수한 특징만을 선택함으로써 행동 인식의 정확도를 높일 수 있고, 선택된 특징만을 바탕으로 분류를 수행함으로써 추출된 특징들 모두를 이용하여 상황 인식을 하는 것에 비해 계산 면과 메모리 면에서 유리한 효과를 가질 수 있다.
또한, 기타 다른 센서로부터 수집된 데이터를 이용하여 사용자 상황 인식의 유효성을 확인함으로써 사용자 상황 인식의 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 복합센서를 이용한 사용자 상황 인식 방법의 흐름도이다.
도 2은 본 발명의 일 실시예에 따른 사용자 상황 인식을 위한 특징 선택 방법의 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당해 기술분야의 통상의 기술자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 복합센서를 이용한 사용자 상황 인식 방법의 흐름도이다.
도 1을 참조하면, 복합센서를 이용한 사용자 상황 인식 방법은 가속도 분류 단계(S110), 오디오 분류 단계(S130), 사용자 상황 인식 단계(S150) 및 유효성 확인 단계(S170)를 포함한다.
가속도 분류 단계(S110)를 설명하면, 가속도 분류단계(S110)는 우선 가속도 센서를 통해 가속도 데이터를 수집한다(s111). 가속도 데이터를 수집하는 가속도 센서는 모바일 폰, PDA(personal digital assistant), 스마트폰,
리스트탑(wristop), 리스트와치(wrist watch) 또는 리스트 컴퓨터(wrist computer), 뮤직 플레이어, 또는 멀티미디어 뷰어 등과 같은 모바일 디바이스에 내장된 센서가 사용될 수 있다. 사용자는 이러한 모바일 디바이스를 휴대하므로 가속도 센서로부터 수집되는 가속도 데이터는 사용자의 이동에 대응하는 가속도 데이터가 된다. 가속도 센서는 2축 이상의 가속도 센서인 것이 바람직하며, 각 축 별로 -2g 내지 2g의 민감도를 가지는 것이 바람직하다. 그리고 가속도 데이터는 10Hz 이상의 수집 주기로, 즉 초당 10회 이상의 주기로 수집되는 것이 바람직하다.
다음으로, 가속도 센서를 통해 수집된 가속도 데이터로부터 이동 특징 후보들을 추출한다(S113). 여기서는 단일 특징 추출 기술을 사용하는 대신에 여러 종류의 특징 추출 기술을 사용하여 다수의 특징들을 추출할 수 있다. 추출된 특징은 시간 영역 특징(time domain feature), 주파수 영역 특징(frequency domain feature), 선형 예측 코딩 특징(linear predictive coding feature) 등이 될 수 있다.
다음으로, 추출된 이동 특징 후보들로부터 우수한 이동 특징들을 선택한다(S115). 다수 특징들로부터 우수한 특징을 선택하기 위하여 새로운 특징 선택 방법 방법을 이용할 수 있고, 이에 대한 상세한 설명은 이하에서 한다. 특징 선택 방법을 이용하여 추출된 특징들 중 우수한 특징만을 선택함으로써 행동 인식의 정확도를 높일 수 있고, 선택된 특징만을 바탕으로 분류를 수행함으로써 추출된 특징들 모두를 이용하여 상황 인식을 하는 것에 비해 계산 면과 메모리 면에서 유리한 효과를 가질 수 있다.
다음으로, 선택된 이동 특징으로부터 사용자 이동 유형을 추론한다(S117). 여기서는 시계열적 확률 모델을 이용하여 사용자의 이동 유형을 추론하고, 이러한 사용자 이동 유형 추론을 일정 간격마다 반복하여 수행한다. 예컨대, 3초 동안 수집된 가속도 데이터로부터 시계열적 확률 모델을 이용하여 사용자의 이동 유형을 추론하고, 이러한 사용자 이동 유형 추론을 3초마다 반복하여 수행한다. 이를 통해 실시간으로 사용자의 이동 유형을 추론할 수 있다. 여기서, 사용자의 '이동 유형'이란 비교적 짧은 시간 동안 인식되는 사용자의 움직임을 의미하는 것으로, 예를 들어 앉기, 서기, 걷기, 뛰기 등 보행 이동, 버스, 지하철 등 교통수단 이동이 될 수 있다. 시계열적 확률 모델로는 가우시안 혼합 모델(Gaussian Mixture Model), 히든 마르코프 모델(Hidden Markov Model), 다이나믹 베이시안 네트워크(Dynamic Bayesian Network), 마르코프 랜덤 필드(Markov Random Field), 컨디셔널 랜덤 필드(Conditional Random Field) 등이 이용될 수 있다.
또한, 오디오 분류 단계(S130)를 설명하면, 오디오 분류 단계는 우선 오디오 센서를 통해 오디오 데이터를 수집한다(S131). 오디오 센서는 상술한 가속도 분류 단계에서 설명된 모바일 디바이스에 내장된 센서가 이용될 수 있다. 사용자는 이러한 모바일 디바이스를 휴대하므로 오디오 센서로부터 수집되는 오디오 데이터는 사용자가 위치하는 주변환경의 음향에 대응하는 데이터가 된다.
다음으로, 가속도 센서를 통해 수집된 가속도 데이터로부터 이동 특징 후보들을 추출한다(S133). 여기서는 단일 특징 추출 기술을 사용하는 대신에 여러 종류의 특징 추출 기술을 사용하여 다수의 특징들을 추출할 수 있다. 특징 추출 기술로는 멜-주파수 켑스트럴 계수(Mel Frequency Cepstral Coefficients, MFCCs) 특징 추출 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다.
다음으로, 선택된 주변환경 특징들로부터 사용자 주변환경의 유형을 추론한다(S135). 시계열 확률 모델을 이용하여 사용자의 주변환경 유형을 추론하고, 이러한 사용자 주변환경 유형 추론을 일정 간격마다 반복하여 수행한다. 예컨대, 3초 동안 수집된 가속도 데이터로부터 시계열적 확률 모델을 이용하여 사용자의 주변환경 유형을 추론하고, 이러한 사용자 주변환경 유형 추론을 3초마다 반복하여 수행한다. 이를 통해 실시간으로 사용자의 주변환경 유형을 추론할 수 있다. 여기서, 사용자의 '주변환경 유형'이란 비교적 짧은 시간 동안 인식되는 사용자가 위치하는 주변환경에 대한 정보를 의미하는 것으로, 예를 들어 앉기, 버스, 지하철, 기타 환경(건물 내부, 시장 등)이 될 수 있다. 시계열적 확률 모델로는 오디오 분류단계와 마찬가지로 히든 마르코프 모델(Hidden Markov Model), 가우시안 혼합 모델(Gaussian Mixture Model), 다이나믹 베이시안 네트워크(Dynamic Bayesian Network), 마르코프 랜덤 필드(Markov Random Field), 컨디셔널 랜덤 필드(Conditional Random Field) 등이 이용될 수 있다.
또한, 사용자의 상황 인식 단계(S150)를 설명하면, 사용자 상황인식 단계(S150)는 사용자의 이동 유형과 주변환경의 유형을 이용하여 최종적인 사용자의 상황을 인식한다. 일 양상에 따르면, 사용자의 상황을 인식은 사용자의 이동 유형과 상기 주변환경의 유형 모두를 이용하여 이루어질 수 있다. 또 다른 양상에 따르면, 사용자의 상황을 인식은 사용자의 이동 유형과 상기 주변환경의 유형 중 하나만을 이용하여 이루어질 수 있다. 즉, 하나의 센서에서 수집된 데이터로부터 추론된 유형만으로 사용자의 상황을 인식할 수 있는 경우에는, 다른 센서로부터 데이터를 수집하지 않을 수 있다. 예를 들어, 가속도 분류 단계(S110)에서 추론된 사용자의 이동 유형만을 이용하여 사용자의 상황이 판단된다면 오디오 분류 단계(S130)를 진행할 필요가 없다. 여기서, 사용자의 '상황'이란, 사용자의 '행동'을 포함하는 사용자의 현재 상태를 의미한다. 서기, 걷기, 뛰기, 버스 이동(정지, 정체, 운행), 지하철 이동(정지, 운행) 등을 의미할 수 있다.
또한, 유효성 확인단계(S170)에 대하여 설명하면, 유효성 확인 단계(S170)는 지피에스(GPS) 모듈을 통해 수집된 데이터 및/또는 와이파이(WiFi) 모듈을 통해 수집된 데이터를 이용하여, 사용자 상황 인식 단계(S150)에서 인식된 사용자 상황 인식의 유효성을 확인한다. 이를 통해 상황인식의 정확도를 높일 수 있다.
일 양상에 따르면, 사용자의 상황인식 결과가 보행 이동(서기, 걷기, 뛰기)으로 판단된 경우, 지피에스 모듈을 활성화하여 데이터를 수집하고, 수집된 데이터를 이용하여 사용자의 이동 속도 정보를 획득함으로써, 이 속도 정보를 이용하여 사용자의 이동 유형이 서기, 걷기, 뛰기인지를 다시 확인하여 사용자 상황의 유효성을 확인 할 수 있다.
또 다른 양상에 따르면, 사용자의 상황인식 결과가 교통수단 이동(버스, 지하철)으로 판단된 경우, 지피에스 모듈을 활성화하여 데이터를 수집하고, 지피에스 모듈을 통해 수집된 데이터를 이용하여 사용자의 위치 정보를 획득함으로써, 사용자의 마지막 위치 값이 미리 저장된 지하철 역의 위치 값과 일치하는 경우, 사용자의 주변환경이 지하철인 것을 확인하여 사용자 상황의 유효성을 확인할 수 있다.
또 다른 양상에 따르면, 사용자의 상황인식 결과가 교통수단 이동(버스, 지하철)으로 판단된 경우, 와이파이 모듈을 활성화하여 데이터를 수집하고, 와이파이 모듈을 통해 수집된 데이터를 이용하여 와이파이의 접속 정보를 획득함으로써, 이를 통해 짧은 시간 안에 여러 개인 무선 네트워크의 접속과 해제가 반복되는 패턴을 파악하는 경우, 사용자의 주변환경이 버스인 것을 확인하여 사용자 상황의 유효성을 다시 확인할 수 있다. 사용자의 마지막 위치 값이 미리 저장된 지하철 역의 위치 값과 일치하는 경우, 사용자의 주변환경이 지하철인 것을 다시 확인하여 사용자 상황의 유효성을 다시 확인할 수 있다.
다음으로, 유효성 확인 결과 유효한 사용자 상황인식으로 판단된 경우에는 본 발명의 상황 인식 단계를 종료하고, 유효하지 않은 사용자 상황 인식으로 판단된 경우에는 다시 가속도 분류 단계와 오디 분류 단계를 진행하여 사용자 상황을 인식하는 단계를 수행한다. (S190). 유효성 확인 결과 유효한 사용자 상황인식으로 판단된 경우에는 본 발명의 상황 인식 단계를 종료 전에 그 결과를 사용자 인터페이스를 이용하여 표출할 수 있다. 여기서, 사용자 인터페이스는 사용자 상황 인식 단계에서 인식되는 사용자의 상황 정보를 시각화하여 사용자에게 디스플레이한다. 여기서, 사용자 인터페이스는 사용자 상황 인식 장치가 구비되는 스마트폰과 같은 모바일 디바이스의 통상적인 사용자 인터페이스가 될 수 있다.
도 2은 본 발명의 일 실시예에 따른 상황 인식을 위한 특징 선택 방법의 흐름도이다.
일반적으로 원시 데이터로부터 막대한 개수의 다른 특징을 구성하는 것이 가능하나, 실제 분류에서는 가능한 한 적은 수의 특징을 사용하는 것이 계산 면과 메모리 면에서 유리하다. 특징 선택의 방법으로는 순차 포워드 선택(SFS : Sequential Forward Selection), 순차 백워드 선택(SBS : Sequential Backward Selection), 순차 플로우팅 포워드 선택(SFFS : Sequential Floating Forward Selection) 등이 있다. 본 발명에서는 계산부담 면이나 정보의 중요도 면에서, 가속도 분류 단계에서만 고유의 특징 선택 방법을 이용하여 가속도 데이터에서 추출된 특징들로부터 우수한 특징들을 선택하는 과정을 이용하였으나, 특징 선택 방법은 가속도 분류단계에만 한정되어 적용될 수 있는 것은 아니다.
도 2를 참조하면, 본 발명의 특징 선택 방법은 우선 추출된 연속형 이동 특징 후보들을 이산형 이동 특징 후보들로 변환한다(S210). 이산화 단계는 추출된 연속형 특징들을 예를 들어 8비트, 16비트 및 32비트 중 어느 하나로 양자화(Quantize)할 수 있으나 반드시 이에 한정하는 것은 아니다. 이는 컴퓨터를 이용하여 수치를 분석하기 위해, 가속도, 음성 등과 같은 아날로그형 데이터를 일정한 비트 단위로 샘플링하는 것이다. 따라서, 연속형 특징들은 이산형 특징으로 변환된다. 그리고, 사용자는 샘플링되는 비트 수를 조절하여 적절한 이산형 특징으로 변환할 수 있다. 특징들을 양자화하여 이산화하는 과정은 알고리즘은 표 1과 같이 묘사될 수 있다.
Figure 112012085456522-pat00001
다음으로, 이산화된 이동 특징 후보를 이용하여 상호 정보를 계산한다(S230). 여기서 상호 정보는 추출된 특징들을 상황인식 과정에서 사용하기에 적합하게 설정하기 위하여 계산된다. 상호 정보란 두 개의 대상이 서로 의존적으로 나타난 정보를 의미한다. 상호 정보는 특징 선택을 위한 기준으로 사용된다. 이는 변수들의 상호 연관성(relevance)과 반복성(redundancy)을 특성화하기 위해 사용되는 것이다.
예를 들어, 두 개의 이산 랜덤 변수인 x와 y의 상호 정보는 수학식 1과 같이 정의될 수 있다.
Figure 112012085456522-pat00002
수학식 1에서,
Figure 112012085456522-pat00003
와
Figure 112012085456522-pat00004
는 X와 Y의 상태 공간(state space)이고, p(x,y)는 x와 y의 결합 확률 분포(joint probability distribution)의 함수이다. p(x)와 p(y)는 x와 y의 주변 확률 분포(marginal probability distribution)이다. 수학식 1에서 정의된 상호 정보의 정의에서 로그의 밑수(base)가 정해지지 않으면 로그 함수가 불명확해질 수 있다. 따라서, 상호 정보 함수 I는 I(X,Y,b)와 같이 지정될 수 있다. 이 경우, b는 로그함수의 밑수이다. 대안적으로, 상호 정보의 측정의 가장 일반적인 단위는 비트이므로, 로그 함수의 밑수는 2로 특정될 수 있다.
다음으로, 계산된 상호정보 값을 이용하여 특징들의 연관성과 특징 데이터의 반복성을 계산한다(S250).
특징들의 연관성은 클래스-특징 상호 정보로 나타내어지고, 다음과 같은 식을 이용하여 계산될 수 있다.
Figure 112012085456522-pat00005
수학식 2에서, X는 특징 변수를, C는 클래스 변수를,
Figure 112012085456522-pat00006
는 C의 상태 공간을 나타낸다. I(C;X)는 클래스 변수C와 특징 변수 X사이의 상호 정보를 나타내고, I(C;X)는 수학식 1을 통하여 계산할 수 있다.
특징들의 중복성은 특징-특징 상호 정보로 나타내어지고, 다음과 같은 식을 이용하여 계산될 수 있다.
Figure 112012085456522-pat00007
수학식 3에서, X 및 Y는 특징 변수를,
Figure 112012085456522-pat00008
는 특징 변수 X의 상태 공간을 나타낸다. I(X;Y)는 특징 변수 X와 특징 변수 Y 사이의 상호 정보를 나타내고, 수학식 1을 통하여 계산할 수 있다.
다음으로, 계산된 특징들의 연관성과 특징들의 반복성을 이용하여, 특징들을 선택한다(S270). 특징의 선택은 그리디 포워딩 검색 메커니즘(greedy forwarding searching mechanism)을 이용하여 점진적으로 확장될 수 있으나, 이에 한정되지 않는다. 이러한 과정은 사용자가 원하는 특징 데이터의 수에 이를 때까지 반복될 수 있다. 그리디 포워딩 검색 메커니즘(greedy forwarding searching mechanism)을 이용하여 특징들을 선택하는 과정은 알고리즘은 표 2와 같이 묘사될 수 있다.
Figure 112012085456522-pat00009
이상에서 본 발명은 도면을 참조하면서 기술되는 바람직한 실시예를 중심으로 설명되었지만 이에 한정되는 것은 아니다. 따라서 본 발명은 기재된 실시예로부터 도출 가능한 자명한 변형예를 포괄하도록 의도된 특허청구범위의 기재에 의해 해석되어야 한다.

Claims (7)

  1. 가속도 센서를 통해 수집된 사용자의 가속도 데이터로부터 이동 특징 후보들을 추출하고, 상기 추출된 이동 특징 후보들의 연관성(relevancy) 및 반복성(redundancy)에 기초하여 상기 이동 특징 후보들로부터 하나 이상의 이동 특징을 선택하며, 제1 시계열적 확률 모델을 이용하여 상기 선택된 이동 특징들로부터 상기 사용자의 이동유형을 추론하는, 가속도 분류 단계;
    오디오 센서를 통해 수집된 상기 사용자의 주변환경에 대한 오디오 데이터로부터 주변환경 특징들을 추출하고, 제2 시계열적 확률 모델을 이용하여 상기 추출된 주변환경 특징들로부터 상기 주변환경의 유형을 추론하는, 오디오 분류 단계; 및 상기 사용자의 이동 유형과 상기 주변환경의 유형 중에서 하나 이상을 이용하여 상기 사용자의 상황을 인식하는 단계를 포함하는, 복합 센서를 이용한 사용자 상황 인식 방법.
  2. 제 1 항에 있어서,
    상기 가속도 센서와 오디오 센서는 각각 미리 설정된 조건을 만족하는 경우에만 활성화 되어, 데이터를 수집하는 것을 특징으로 하는, 복합 센서를 이용한 사용자 상황 인식 방법.
  3. 제 1항에 있어서,
    상기 이동 특징 후보들의 연관성은 수학식 (E-1)을 이용하여 계산되고, 상기 이동 특징 후보들의 반복성은 수학식 (E-2)를 이용하여 계산되는 것을 특징으로 하고,

    Figure 112012085456522-pat00010
    (E-1)
    Figure 112012085456522-pat00011
    (E-2)

    여기서, X 및 Y는 특징 변수를, C는 클래스 변수를,
    Figure 112012085456522-pat00012
    는 C의 상태 공간을, I(C;X)는 클래스 변수C와 특징 변수 X사이의 상호 정보를,
    Figure 112012085456522-pat00013
    는 특징 변수 X의 상태 공간을, I(X;Y)는 특징 변수 X와 특징 변수 Y 사이의 상호 정보를 나타내는, 복합 센서를 이용한 사용자 상황 인식 방법.
  4. 제 3 항에 있어서,
    상기 가속도 분류 단계는
    그리디 포워딩 검색 메커니즘(greedy forwarding searching mechanism)을 이용하여, 상기 이동 특징들의 선택을 점진적으로 확장하는 것을 특징으로 하는, 복합 센서를 이용한 사용자 상황 인식 방법.
  5. 제 1 항에 있어서,
    상기 제1 시계열적 확률 모델은 가우시안 혼합 모델(Gaussian Mixture Model, GMM)이고, 상기 제2 시계열적 확률 모델은 히든 마르코프 모델(Hidden Markov model, HMM)인 것을 특징으로 하는, 복합 센서를 이용한 사용자 상황 인식 방법.
  6. 제 1 항에 있어서,
    지피에스(GPS) 모듈을 통해 수집된 데이터로부터 사용자의 이동 속도 정보 및 사용자의 위치 정보를 획득하고, 상기 사용자의 이동 속도 정보 및 상기 사용자의 위치정보에 기초하여 상기 인식된 사용자의 상황의 유효성을 확인하는 단계를 더 포함하는 것을 특징으로 하는, 복합 센서를 이용한 사용자 상황 인식 방법.
  7. 제 1 항에 있어서,
    와이파이(WiFi) 모듈을 통해 수집된 데이터로부터 와이파이 접속 정보를 획득하고, 상기 와이파이 접속 정보에 기초하여 상기 인식된 사용자의 상황의 유효성을 확인하는 단계를 더 포함하는 것을 특징으로 하는, 복합 센서를 이용한 사용자 상황 인식 방법.




KR1020120116948A 2012-10-19 2012-10-19 복합 센서를 이용한 사용자 상황 인식 방법 KR101367964B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120116948A KR101367964B1 (ko) 2012-10-19 2012-10-19 복합 센서를 이용한 사용자 상황 인식 방법
US13/905,796 US20140111418A1 (en) 2012-10-19 2013-05-30 Method for recognizing user context using multimodal sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120116948A KR101367964B1 (ko) 2012-10-19 2012-10-19 복합 센서를 이용한 사용자 상황 인식 방법

Publications (1)

Publication Number Publication Date
KR101367964B1 true KR101367964B1 (ko) 2014-03-19

Family

ID=50484885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120116948A KR101367964B1 (ko) 2012-10-19 2012-10-19 복합 센서를 이용한 사용자 상황 인식 방법

Country Status (2)

Country Link
US (1) US20140111418A1 (ko)
KR (1) KR101367964B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614693B2 (en) 2018-04-10 2020-04-07 Electronics And Telecommunications Research Institute Dangerous situation notification apparatus and method
US10810856B2 (en) 2018-04-18 2020-10-20 Electronics And Telecommunications Research Institute Dangerous situation detection method and apparatus using time series analysis of user behaviors
KR20200143946A (ko) * 2019-06-17 2020-12-28 가톨릭관동대학교산학협력단 자동화된 작업 하중 평가 장치 및 그 방법
KR102465318B1 (ko) * 2022-01-04 2022-11-10 광주과학기술원 웨어러블 센서를 이용한 일상 행동 패턴의 자동인식 및 분류하는 시스템 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6123995B2 (ja) * 2013-03-14 2017-05-10 ヤマハ株式会社 音響信号分析装置及び音響信号分析プログラム
JP6179140B2 (ja) 2013-03-14 2017-08-16 ヤマハ株式会社 音響信号分析装置及び音響信号分析プログラム
US20150161236A1 (en) * 2013-12-05 2015-06-11 Lenovo (Singapore) Pte. Ltd. Recording context for conducting searches
US9612862B2 (en) 2014-06-24 2017-04-04 Google Inc. Performing an operation during inferred periods of non-use of a wearable device
CN104239034B (zh) * 2014-08-19 2017-10-17 北京奇虎科技有限公司 智能电子设备的场合识别方法和信息通知方法及其装置
US10802158B2 (en) * 2015-09-30 2020-10-13 Apple Inc. Dynamic coherent integration
KR102097534B1 (ko) * 2018-07-25 2020-04-06 주식회사 키네틱랩 사용자의 모션 인식 기반 댄스 게임을 제공하는 방법 및 장치
KR102152717B1 (ko) * 2018-08-28 2020-09-07 한국전자통신연구원 휴먼 행동 인식 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070010998A1 (en) * 2005-07-08 2007-01-11 Regunathan Radhakrishnan Dynamic generative process modeling, tracking and analyzing
EP2264988A1 (en) * 2009-06-18 2010-12-22 Deutsche Telekom AG Method of detecting a current user activity and environment context of a user of a mobile phone using an accelerator sensor and a microphone, computer program product, and mobile phone

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A. J. Eronen et al., "Audio-Based Context Recognition", IEEE Transactions on Audio, Speech, and Language Processing, vol. 14, no. 1, January 2006. *
A. M. Khan et al., "A Triaxial Accelerometer-Based Physical-Activity Recognition via Augmented-Signal Features and a Hierarchical Recognizer", IEEE Trans. Inf. Technol. Biomed., pp.1166-1172, 2010.09. *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614693B2 (en) 2018-04-10 2020-04-07 Electronics And Telecommunications Research Institute Dangerous situation notification apparatus and method
US10810856B2 (en) 2018-04-18 2020-10-20 Electronics And Telecommunications Research Institute Dangerous situation detection method and apparatus using time series analysis of user behaviors
KR20200143946A (ko) * 2019-06-17 2020-12-28 가톨릭관동대학교산학협력단 자동화된 작업 하중 평가 장치 및 그 방법
KR102269535B1 (ko) * 2019-06-17 2021-06-25 가톨릭관동대학교산학협력단 자동화된 작업 하중 평가 장치 및 그 방법
KR102465318B1 (ko) * 2022-01-04 2022-11-10 광주과학기술원 웨어러블 센서를 이용한 일상 행동 패턴의 자동인식 및 분류하는 시스템 및 방법

Also Published As

Publication number Publication date
US20140111418A1 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
KR101367964B1 (ko) 복합 센서를 이용한 사용자 상황 인식 방법
CN110599557B (zh) 图像描述生成方法、模型训练方法、设备和存储介质
US9443202B2 (en) Adaptation of context models
US11467180B2 (en) Context awareness of a smart device through sensing transient and continuous events
CN101641660B (zh) 为使用脑机接口的命令控制任务提供分层方法的装置、方法
CN108280458B (zh) 群体关系类型识别方法及装置
US20100217588A1 (en) Apparatus and method for recognizing a context of an object
KR20210142783A (ko) 전자장치, 그 동작방법, 및 복수의 인공지능장치를 포함한 시스템
CN102918493A (zh) 话音输入的预测性音频预录制
US11398219B2 (en) Speech synthesizer using artificial intelligence and method of operating the same
US11328718B2 (en) Speech processing method and apparatus therefor
US11437042B2 (en) Communication robot and method for operating the same
KR20210155401A (ko) 인공 지능을 이용하여, 합성 음성의 품질을 평가하는 음성 합성 장치 및 그의 동작 방법
KR20210052036A (ko) 복수 의도어 획득을 위한 합성곱 신경망을 가진 장치 및 그 방법
KR20210153165A (ko) 음성 인식 기능을 제공하는 인공 지능 기기, 인공 지능 기기의 동작 방법
KR20140050639A (ko) 상황정보 추출
US20210327407A1 (en) Speech synthesizer using artificial intelligence, method of operating speech synthesizer and computer-readable recording medium
CN114360510A (zh) 一种语音识别方法和相关装置
CN114722234B (zh) 基于人工智能的音乐推荐方法、装置、存储介质
CN112948763B (zh) 件量预测方法、装置、电子设备及存储介质
JP4058031B2 (ja) ユーザ行動誘発システム及びその方法
US11227578B2 (en) Speech synthesizer using artificial intelligence, method of operating speech synthesizer and computer-readable recording medium
US20210358473A1 (en) Speech synthesizer using artificial intelligence, method of operating speech synthesizer and computer-readable recording medium
Tanaka et al. Equipment operation by motion recognition with wearable wireless acceleration sensor
Marasović et al. User-dependent gesture recognition on Android handheld devices

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 5