KR20200094732A

KR20200094732A - 시계열 데이터를 분류하기 위한 방법 및 시스템

Info

Publication number: KR20200094732A
Application number: KR1020207011012A
Authority: KR
Inventors: 이린 쉔; 유 뎅; 홍시아 진
Original assignee: 삼성전자주식회사
Priority date: 2017-12-29
Filing date: 2018-12-28
Publication date: 2020-08-07
Also published as: EP3698259A1; EP3698259A4; US20190205786A1; US11720814B2; CN111433766A; WO2019132564A1

Abstract

인식 방법은 제1 윈도우 크기에 대한 데이터를 포함하는 입력을 검색하는 동작을 포함한다. 상기 방법은 입력의 워핑 거리와 프루닝 임계 값의 비교에 기초하여 입력을 분류하는 동작을 더 포함한다.

Description

시계열 데이터를 분류하기 위한 방법 및 시스템

하나 이상의 실시 예들은, 시계열 데이터의 분류에 관한 것으로서, 특히 상이한 속도의 시계열 데이터의 실시간 분류에 관한 것이다.

시계열 데이터는 다양한 현대 장치에서 편재한다. 스마트 폰, 가상 현실 헤드셋, 스마트 워치, 웨어러블 장치 등과 같은 많은 모바일 장치에는 가속도 센서, 자이로 스코프 센서, 지자기 센서 등의 모션 센서가 장착되어 있다. 이러한 센서는 일반적으로 각 시점에서 사용자 움직임과 동작을 나타낸다. 세탁기, 건조기 등의 디지털 기기는 시계열 데이터 모션 센서, 에너지 소비 등과 같은 많은 시계열 데이터를 생성한다. 이 데이터는 시간의 흐름에 따라 장치 상태를 모니터링한다. 다양한 건강 관련 센서들이 기존의 장치(예: 스마트 폰과 스마트 워치의 심박수(HR, heart rate) 센서) 및 잠재적인 미래의 장치(심전도(ECG, electrocardiogram) 센서, 갈바닉 피부 반응(GSR, galvanic skin response) 센서 등)에 포함되어 있다. 이러한 센서의 스트리밍 데이터는 사용자의 건강 또는 활동 상태의 지표로 사용될 수 있다. 미래의 가상 현실(VR) 장치에는 사용자와 장치 사이의 뇌-컴퓨터 상호 작용이 가능하도록 뇌파(EEG, electroencephalogram) 센서가 직접 장착될 수 있다.

본 개시의 일 양상은 시계열 데이터를 분류하기 위한 방법 및 장치를 제공하는 것이다.

일 실시 예에서, 인식 방법은 제1 도우 크기에 대한 데이터를 포함하는 입력을 검색하는 동작을 포함한다. 상기 방법은, 워핑(warping) 거리와 프루닝(pruning) 임계 값의 비교에 기초하여 상기 입력을 분류하는 동작을 더 포함한다.

일부 실시 예에서, 전자 장치는 명령어를 저장하는 메모리를 포함한다. 적어도 하나의 프로세서는, 프로세서로 하여금 제1 윈도우 크기에 대한 데이터를 포함하는 입력을 검색하고, 워핑 거리와 프루닝 임계 값의 비교에 기초하여 상기 입력을 분류하도록 구성된 상기 명령어를 실행한다.

하나 이상의 실시 예에서, 비 일시적 프로세서 판독 가능 매체는, 프로세서에 의해 실행될 때 제1 윈도우 크기에 대한 데이터를 포함하는 입력을 검색하는 동작을 포함하는 방법을 수행하는 프로그램을 포함한다. 상기 방법은, 상기 입력의 워핑 거리와 프루닝 임계 값의 비교에 기초하여 상기 입력을 분류하는 동작을 더 포함한다.

하나 이상의 실시 예의 이러한 측면 및 다른 측면과 장점은, 도면과 함께 고려될 때 하나 이상의 실시 예의 원리를 예시하는 다음의 상세한 설명에 의해 명백해질 것이다.

본 개시의 다양한 실시 예들에 따르면, 신속한 데이터 프루닝을 위하여 효율적인 하한 계산이 이루어 질 수 있다.

본 개시의 다양한 실시 예들에 따르면, 비용이 많이 드는 워핑 거리 계산의 횟수가 실질적으로 감소될 수 있다.

바람직한 실시 모드 뿐만 아니라, 실시 예들의 본질과 이점에 대해 완전히 이해하기 위하여, 이하의 첨부된 도면과 함께 상세한 설명을 참조해야 한다.
도 1은 일부 실시 예에 따른 통신 시스템의 개략도를 도시하고;
도 2는 일부 실시 예에 따른 전자 장치와 클라우드 또는 서버 환경을 포함하는 시스템의 시계열 데이터 분류 기반의 데이터 프로세싱을 개별적으로 또는 조합하여 수행할 수 있는 시스템의 아키텍처의 블록도를 도시하고;
도 3은 일부 실시 예에 따른 시계열 데이터에 대한 실시간 데이터 분류를 위한 시스템의 흐름도를 도시하고;
도 4는 일부 실시 예에 따른 데이터 분류 학습 모델 및 프루닝 임계 값 학습을 위한 블록도를 도시하고;
도 5는 일부 실시 예에 따른 트레이닝(training) 인스턴스 및 쿼리(query) 인스턴스를 사용하는 엔벨로프(envelope) 기반 하한 결정에 대한 예시적인 그래프를 도시하고;
도 6은 일부 실시 예에 따른 시계열 데이터 분류를 위한 학습 단계의 실행 예시를 도시하고;
도 7은 일부 실시 예에 따른 시계열 데이터에 대한 실시간 데이터 분류 (테스트) 단계의 실행 예시를 도시하고;
도 8은 일부 실시 예에 따른 시계열 데이터 분류를 위한 프로세스의 블록도를 도시하고;
도 9는 하나 이상의 실시 예를 구현하는 컴퓨팅 시스템을 포함하는 정보 프로세싱 시스템을 도시하는 하이 레벨 블록도이다.

아래의 설명은 하나 이상의 실시 예들의 일반적인 원리들을 설명하기 위한 것을 목적으로 하고, 본 명세서에 청구된 발명의 개념을 제한하는 것은 아니다. 또한, 본 명세서에 개시된 특정 특징은 다양한 가능한 조합과 순열 각각에서 설명된 다른 특징과 조합하여 사용될 수 있다. 본 명세서에서 구체적으로 달리 정의되지 않는 한, 모든 용어는 본 명세서에서 암시된 의미 및 당업자가 이해하거나 사전, 논문 등에서 정의된 의미를 포함하여 가능한 가장 넓은 의미로 해석되어야 한다.

용어 "적어도 하나"는 하나 또는 그 하위 요소 중 하나 이상을 지칭할 수 있음에 유의해야한다. 예를 들어, "a, b, c 또는 이들의 조합 중 적어도 하나"는 개별적으로 "a", "b" 또는 "c"로 해석될 수 있으며; 또는 "a" 및 "b"를 함께 조합, "b" 및 "c"를 함께 조합; "a" 및 "c"를 함께 조합; 또는 "a", "b" 및 "c"를 함께 조합하는 것으로 해석될 수 있다.

본 특허 문서의 개시 내용 일부에는 저작권 보호 대상이 포함되어 있을 수 있다. 저작권 소유자는 특허청 특허 파일 또는 기록에 나타난 특허 문서 또는 특허 공개에 의한 팩시밀리 재생산에 반대하지 않으며, 그렇지 않으면 모든 저작권을 보유한다.

하나 이상의 실시 예는 상이한 속도로 발생하는 시계열 데이터의 실시간 분류를 제공한다. 일부 실시 예는 제1 윈도우 크기에 대한 데이터를 포함하는 입력을 검색하는 동작을 포함하는 방법을 포함한다. 상기 방법은 입력의 워핑(warping) 거리와 프루닝(pruning) 임계 값의 비교에 기초하여 입력을 분류하는 동작을 더 포함한다.

시계열 데이터의 분석은 전자 장치(예: 스마트 폰, 스마트 장치, 웨어러블 장치 등)에서 지능형 서비스를 가능하게 하는 비즈니스 요인이 된다. 모션 센서 분석은 장치와 사용자의 상호 작용을 가능하게 하거나 사용자에게 개별적 지원을 제공할 수 있도록 사용자의 움직임이나 동작을 인식하는 데 도움이 된다. 예를 들어, 전자 장치는 사용자가 가상 현실(VR) 컨트롤러를 잡고 있을 때 장치가 제스처를 수행하는 사용자를 인식하는 경우, 이에 따라 VR 시스템을 제어할 수 있다. 건강 센서와 관련하여, 전자 장치는 시간이 지남에 따라 사용자의 건강 상태, 예를 들어 심장 환자의 심장 상태를 지속적으로 모니터링 할 수 있다. 이러한 지속적인 실시간 모니터링은 사용자에게 도움이 될 뿐만 아니라 의사의 업무량을 크게 줄인다. EEG 신호 분석은 전자 장치를 직접 제어하기 위하여 사용될 수 있는 사용자의 뇌 명령을 전자 장치가 직접 이해하는 데 도움이 될 수 있다.

그러나, 시계열 데이터는 상이한 속도로 생성된다. 사용자는 일반적으로 한 번의 움직임이라도 조금씩 다른 속도로 움직이므로 동작 센서와 같은 센서로부터 얻은 시계열 데이터의 길이가 달라진다. 또한 각 클래스/움직임의 두 인스턴스(instance)는, "워핑(warping)"이라 하는 전체 시계열 데이터의 특정 부분에서 다른 속도를 가질 수 있다. 예를 들어, 사용자가 VR 게임에서 총을 쏘는 제스처를 수행할 때, 손을 올리는 하위 동작과 쏘는 행위의 다른 하위 동작은 서로 다른 속도를 가질 수 있다. 마찬가지로, 이러한 속도 차이는 생물학적 센서, 예를 들어 EEG, ECG 등에도 존재한다.

대부분의 시계열 데이터는 또한 다차원 데이터 일 수 있다. 각 모션 센서는 일반적으로 서로 다른 축으로 구성될 수 있고, 사용자의 각 동작을 감지하기 위해 다른 모션 센서와 융합되어 함께 사용할 수 있다. 따라서, 차원의 수는 10 이상까지 가능할 수 있다. 건강 센서 및 EEG 센서는 일반적으로 각각의 전극이 하나의 데이터 채널을 수집하는 다중 전극을 사용하여 수집된다. 예를 들어, EEG 신호는 256개 이상의 채널로 구성될 수 있다. 일부 실시 예에서, 이러한 속도 차이에도 변하지 않는 강력한 분류 프로세스를 이하 설명한다. 결과적으로, 각 동작/클래스와 관련하여 시계열 데이터의 상이한 인스턴스를 정확하게 분류할 수 있다(그들의 속도가 매우 다른 경우라도).

일부 실시 예에서, 실시간 프로세스는 시계열 데이터를 분류하여 VR 또는 스마트 TV에서의 제스처 제어, EEG 기반 뇌 제어, 건강 상태 모니터링 등과 같은 사용자 개별 장치에 대한 지능적 서비스를 가능하게 한다. 시계열 데이터를 분류하는 실시간 프로세스는 실시간으로 다른 속도의 시계열 스트리밍 데이터를 분석하도록 설계된다. 학습 단계 동안, 실시간 프로세스는 사용자 지정 클래스(예: 사전 정의된 제스처)를 통해 라벨링 된 시계열 학습 세트를 획득하여 각 학습 샘플의 상이한 속도에 강력한 모델을 학습시킨다. 학습 단계는 또한 프루닝 임계 값을 도출한다. 테스트/분류 단계 동안, 실시간 프로세스는 실시간으로 분류 결과가 제공되도록 빠른 데이터 프루닝을 위하여 효율적인 하한 계산을 설계한다. 실시간 프로세스를 사용하면 비용이 많이 드는 워핑 거리의 계산 횟수를 크게 줄일 수 있다. 실시간 프로세스는 다양한 유형의 시계열 데이터와 다양한 속도 차이를 실시간으로 분류할 수 있는 일반적인 프레임 워크로 설계된다.

일부 실시 예에서, 시스템(예: 도 2의 시스템(100))은 프루닝 방식을 실시간 스트리밍 데이터에 적용함으로써 대량의 시계열 데이터를 실시간으로 처리하도록 설계된다. 상기 시스템은 전자 장치(예: 도 2의 전자 장치(120))에 대한 저전력 소비를 지원하기 위한 저계산(low computational) 프루닝 기법 및 분류 모델을 포함한다. 상기 시스템은 다차원 시계열 데이터를 처리하도록 설계되었으며 시계열 분류 프로세싱을 위한 높은 정확도를 달성할 수 있다.

도 1은 일 실시 예에 따른 통신 시스템(10)의 개략도이다. 통신 시스템(10)은 발신 통신 동작을 개시하는 통신 장치(송신 장치(12)) 및 통신 네트워크(110)를 포함할 수 있으며, 송신 장치(12)는 통신 네트워크(110) 내의 다른 통신 장치와 통신 동작을 개시하고 수행하는데 사용될 수 있다. 예를 들어, 통신 시스템(10)은 송신 장치(12)(수신 장치(11))로부터 통신 동작을 수신하는 통신 장치를 포함할 수 있다. 통신 시스템(10)은 다수의 송신 장치(12) 및 수신 장치(11)를 포함할 수 있지만, 도면을 단순화하기 위해 각각의 하나만 도 1에 도시되어 있다. 통신 시스템(10)은 실시 예에서, 상이한 속도 프레임 워크를 갖는 실시간 분류 및 학습을 부분적으로 형성할 수 있다.

통신 네트워크를 생성하도록 동작하는 임의의 적절한 회로, 장치, 시스템 또는 이들의 조합(예: 통신 타워 및 통신 서버를 포함하는 무선 통신 인프라)이 통신 네트워크(110)를 생성하는데 사용될 수 있다. 통신 네트워크 (110)는 적절한 통신 프로토콜을 사용하여 통신을 제공할 수 있다. 일부 실시 예에서, 통신 네트워크(110)는 예를 들어, 전통적인 전화선, 케이블 텔레비전, Wi-Fi(예: IEEE 802.11 프로토콜), BLUETOOTH®, 고주파수 시스템(예: 900 MHz, 2.4 GHz 및 5.6 GHz 통신 시스템), 적외선, 다른 비교적 지역화 된 무선 통신 프로토콜, 또는 이들의 임의의 조합을 지원할 수 있다. 일부 실시 예에서, 통신 네트워크(110)는 무선 휴대 전화 및 개인 이메일 장치(예: BLACKBERRY®)에 의해 사용되는 프로토콜을 지원할 수 있다. 이러한 프로토콜은 예를 들어 GSM, GSM 플러스 EDGE, CDMA, 쿼드 밴드, 및 다른 셀룰러 프로토콜을 포함 할 수 있다. 다른 예에서, 장거리 통신 프로토콜은 Wi-Fi 및 VOIP, LAN, WAN 또는 다른 TCP-IP 기반 통신 프로토콜을 사용하여 전화를 걸거나 받기위한 프로토콜을 포함할 수 있다. 송신 장치(12) 및 수신 장치(11)는 통신 네트워크(110) 내에 위치될 때 양방향 통신 경로 또는 2 개의 단방향 통신 경로와 같은 경로(13)를 통해 통신할 수 있다. 송신 장치(12) 및 수신 장치(11)는 통신 동작을 개시하고, 개시된 통신 동작을 수신할 수 있다.

송신 장치(12) 및 수신 장치(11)는 통신 동작을 송수신하기위한 임의의 적절한 장치를 포함할 수 있다. 예를 들어, 송신 장치(12) 및 수신 장치(11)는 모바일 전화 장치, 텔레비전(TV) 시스템, 스마트 TV 시스템, 카메라, 캠코더, 오디오 비디오 기능을 가진 장치, 태블릿, 웨어러블 장치, 스마트 기기, 스마트 액자, 및 무선으로(무선 지원 액세서리 시스템의 유무에 관계없이) 또는 유선 경로를 통해(예: 기존 전화선 사용) 통신 할 수 있는 기타 장치 포함 할 수 있지만, 이에 제한되지는 않는다. 통신 동작은 예를 들어, 음성 통신(예: 전화 통화), 데이터 통신(예: 데이터 및 제어 메시징, 이메일, 문자 메시지, 미디어 메시지), 비디오 통신, 또는 이들의 조합(예: 화상 회의)을 포함하는 임의의 적합한 형태의 통신을 포함할 수 있다.

도 2는 전자 장치(120) 및 클라우드 또는 서버(140) 환경을 포함하는 시스템(100)에 대한 아키텍처의 블록도를 도시하며, 이는 개별적으로 또는 조합하여 시계열 데이터 분류 기반 데이터 프로세싱을 수행할 수 있다. 일부 실시 예에서, 시스템(100)은 이하를 이용하여 상이한 속도를 지닌 시계열 데이터의 학습 및 실시간 분류를 수행 할 수 있다: 전자 장치(120)(예: 휴대 전화 장치, TV 시스템, 카메라, 캠코더, 오디오 비디오 기능을 갖는 장치, 태블릿, 패드 장치, 웨어러블 장치, 스마트 기기, 스마트 액자, 스마트 조명 등), 학습 프로세싱(130)(예를 들어, 도 3의 학습 단계 프로세싱(310)을 포함)를 포함하는 클라우드 또는 서버(140), 전자 장치(120)와 클라우드 컴퓨팅(예: 구성 가능한 컴퓨팅 시스템 리소스 및 상위 레벨 서비스 등의 공유 풀)의 조합, 또는 서버(예: 네트워크 리소스를 관리하는 컴퓨터, 장치 또는 프로그램 등)(140). 송신 장치(12)(도 1) 및 수신 장치(11)는 전자 장치(120)의 특징 중 일부 또는 전부를 포함할 수 있다. 일부 실시 예에서, 전자 장치(120)는 디스플레이(121), 마이크로폰(122), 오디오 출력기(123), 입력 메커니즘(124), 통신 회로(125), 제어 회로(126), 카메라(128), 프로세서 및 메모리(129), 실시간 분류 프로세싱(131)(예: 도 3의 실시간 분류 단계 프로세싱(320)), 센서(132)(예: 글로벌 포지셔닝 시스템(GPS) 센서, 가속도계 센서, 자이로 스코프 센서, 지자기 센서, 심박수(HR) 센서, 심전도(ECG) 센서, 갈바닉 피부 반응(GSR) 센서, 뇌파(EEG) 센서 등), 및 이하에 기술된 실시 예 및 임의의 다른 적합한 구성 요소에 대한 프로세싱을 포함하지만 이에 제한되지 않는다. 애플리케이션 1-N(127)은 클라우드 또는 서버(140), 통신 네트워크(110)(도 1) 등으로부터 제공될 수 있으며, 여기서 N은 1 이상의 양의 정수이다.

일부 실시 예에서, 오디오 출력기(123), 디스플레이(121), 입력 메커니즘(124), 통신 회로(125) 및 마이크로폰(122)에 의해 사용되는 모든 애플리케이션은 제어 회로(126)에 의해 상호 연결되고 관리될 수 있다. 일 예로, 다른 튜닝 장치로 음악을 전송할 수 있는 손에 들고 쓰는 음악 플레이어가 전자 장치(120)에 통합될 수 있다.

일부 실시 예에서, 오디오 출력기(123)는 전자 장치(120)의 사용자에게 오디오를 제공하기 위한 임의의 적합한 오디오 구성 요소를 포함할 수 있다. 예를 들어, 오디오 출력기(123)는 내장된 하나 이상의 스피커(예: 모노 또는 스테레오 스피커)를 포함할 수 있다. 일부 실시 예에서, 오디오 출력기(123)는 전자 장치(120)에 원격으로 연결되는 오디오 구성 요소를 포함할 수 있다. 예를 들어, 오디오 출력기(123)는 유선(예: 잭으로 전자 장치(120)에 연결) 또는 무선(예: BLUETOOTH® 헤드폰 또는 BLUETOOTH® 헤드셋)으로 통신 장치에 연결될 수 있는 헤드셋, 헤드폰, 또는 이어 버드를 포함할 수 있다.

일부 실시 예에서, 디스플레이(121)는 사용자에게 가시적인 디스플레이를 제공하기 위한 임의의 적합한 스크린 또는 프로젝션 시스템을 포함할 수 있다. 예를 들어, 디스플레이(121)는 전자 장치(120)에 내장된 스크린(예: LCD 스크린, LED 스크린, OLED 스크린 등)을 포함할 수 있다. 다른 예로서, 디스플레이(121)는 전자 장치(120)(예: 비디오 프로젝터)로부터 떨어진 표면 상에 컨텐츠의 디스플레이를 제공하기 위한 이동 가능한 디스플레이 또는 프로젝팅 시스템을 포함할 수 있다. 디스플레이(121)는 제어 회로(126)의 지시하에 컨텐츠(예: 통신 동작에 관한 정보 또는 이용 가능한 매체 선택에 관한 정보)를 표시하도록 동작할 수 있다.

일부 실시 예에서, 입력 메커니즘(124)은 전자 장치(120)에 사용자 입력 또는 명령을 제공하기 위한 임의의 적절한 메커니즘 또는 사용자 인터페이스일 수 있다. 입력 메커니즘(124)은 버튼, 키패드, 다이얼, 클릭 휠, 마우스, 시각 포인터, 리모컨, 하나 이상의 센서(예: 카메라 또는 시각 센서, 광 센서, 근접 센서 등) 또는 터치 스크린과 같은 다양한 형태를 취할 수 있다.　　입력 메커니즘(124)은 멀티 터치 스크린, 제스처 제어, 음성 인식 등을 포함할 수 있다.

일부 실시 예에서, 통신 회로(125)는 통신 네트워크(예: 도 1의 통신 네트워크(110))에 연결되고 전자 장치(120)로부터 통신 네트워크 내 다른 장치로 통신 동작 및 매체를 전송하도록 동작하는 임의의 적절한 통신 회로 일 수 있다. 통신 회로(125)는, 예를 들어 Wi-Fi(예: IEEE 802.11 프로토콜), Bluetooth®, 고주파 시스템(예: 900 MHz, 2.4 GHz, 및 5.6GHz 통신 시스템), 적외선, GSM, GSM 및 EDGE, CDMA, 쿼드 밴드, 기타 셀룰러 프로토콜, VOIP, TCP-IP, 또는 기타 적합한 프로토콜과 같은 임의의 적합한 통신 프로토콜을 사용하여 통신 네트워크와 접속하도록 동작할 수 있다.

일부 실시 예에서, 통신 회로(125)는 임의의 적절한 통신 프로토콜을 사용하여 통신 네트워크를 생성하도록 동작할 수 있다. 예를 들어, 통신 회로(125)는 다른 통신 장치에 연결하기 위해 단거리 통신 프로토콜을 사용하여 단거리 통신 네트워크를 생성할 수 있다. 예를 들어, 통신 회로(125)는 전자 장치(120)를 BLUETOOTH® 헤드셋과 연결하기 위해 BLUETOOTH® 프로토콜을 사용하여 로컬 통신 네트워크를 생성하도록 동작할 수 있다.

일부 실시 예에서, 제어 회로(126)는 전자 장치(120)의 동작 및 성능을 제어하도록 동작할 수 있다.　제어 회로(126)는, 예를 들어 프로세서, 버스(예: 전자 장치(120)의 다른 구성 요소에 명령을 전송하기 위한 버스), 메모리, 저장 장치, 또는 전자 장치(120)의 동작을 제어하기 위한 임의의 다른 적절한 구성 요소를 포함할 수 있다. 일부 실시 예에서, 하나 이상의 프로세서(예: 프로세서 및 메모리(129))는 디스플레이를 구동하고 사용자 인터페이스로부터 수신된 입력을 처리할 수 있다. 메모리 및 저장 장치는, 예를 들어 캐시, 플래시 메모리, ROM 및/또는 RAM/DRAM을 포함할 수 있다. 일부 실시 예에서, 메모리는 펌웨어를 저장하기 위해(예를 들어, 운영 체제, 사용자 인터페이스 기능, 및 프로세서 기능과 같은 장치 애플리케이션을 위해) 특별히 전용될 수 있다. 일부 실시 예에서, 메모리는 전자 장치(120)가 통신 동작(예를 들어, 통신 동작과 관련된 연락처 정보를 저장하거나 상이한 미디어 유형 및 사용자에 의해 선택된 미디어 아이템과 관련된 정보를 저장하는 동작)을 수행하는 다른 장치와 관련된 정보를 저장하도록 동작 할 수 있다.

일부 실시 예에서, 제어 회로(126)는 전자 장치(120) 상에 구현된 하나 이상의 애플리케이션의 동작을 수행하도록 동작 할 수 있다. 임의의 적절한 수 또는 유형의 애플리케이션이 구현될 수 있다. 이하의 설명에서 상이한 애플리케이션들을 열거할 것이지만, 일부 또는 모든 애플리케이션이 하나 이상의 애플리케이션으로 결합될 수 있다고 이해될 수 있다. 예를 들어, 전자 장치(120)는 다음을 포함하지만 이에 제한되지 않는 애플리케이션 1-N(127)을 포함할 수 있다: 건강 추적 앱(예: 체력, 심장 모니터링, 뇌 기능 모니터링, 체중 관리 등), 자동 음성 인식(ASR, automatic speech recognition) 응용 프로그램, 광학 문자 인식 (OCR, optical character recognition) 응용 프로그램, 대화 응용 프로그램, 지도 응용 프로그램, 미디어 응용 프로그램(예: QuickTime, MobileMusic.app 또는 MobileVideo.app), 소셜 네트워킹 응용 프로그램(예: FACEBOOK®, INSTAGRAM®, TWITTER® 등), 일정 응용 프로그램(예: 이벤트, 약속 등의 관리를 위한 달력), 인터넷 브라우징 응용 프로그램, 추천 응용 프로그램 등. 일부 실시 예에서, 전자 장치(120)는 통신 동작을 수행하도록 동작하는 하나 이상의 애플리케이션을 포함할 수 있다. 예를 들어, 전자 장치(120)는 메시징 애플리케이션, 이메일 애플리케이션, 음성 메일 애플리케이션, 인스턴트 메시징 애플리케이션(예를 들어, 채팅을 위해), 화상 회의 애플리케이션, 팩스 애플리케이션, 또는 적절한 통신 운영을 수행하기 위한 임의의 다른 적합한 애플리케이션을 포함할 수 있다.

일부 실시 예에서, 전자 장치(120)는 마이크로폰(122)을 포함할 수 있다. 예를 들어, 전자 장치(120)는 통신이 동작하는 동안 또는 통신 동작을 확립하기위한 수단으로서 또는 물리적 사용자 인터페이스 사용에 대한 대안으로서, 음성 제어 및 애플리케이션 1-N(127)의 내비게이션을 위해 사용자가 오디오(예를 들어, 음성 오디오)를 전송할 수 있도록 마이크로폰(122)을 포함할 수 있다. 마이크로폰(122)은 전자 장치(120)에 통합되거나 전자 장치(120)에 원격으로 결합될 수 있다. 예를 들어, 마이크로폰(122)은 유선 헤드폰에 통합될 수 있고, 마이크로폰(122)은 무선 헤드셋에 통합될 수 있고, 마이크로폰 122)은 원격 제어 장치 등에 통합될 수 있다.

일부 실시 예에서, 카메라 모듈(128)은 스틸 및 비디오 이미지를 캡처하기 위한 기능, 편집 기능, 사진/비디오의 전송이나 공유 등을 위한 통신 운용능력 등을 지닌 하나 이상의 카메라 장치를 포함한다.

　일부 실시 예에서, 전자 장치(120)는 통신 동작을 수행하기에 적합한 임의의 다른 컴포넌트를 포함할 수 있다. 예를 들어, 전자 장치(120)는 호스트 장치, 보조 입력 메커니즘(예: ON/OFF 스위치), 또는 임의의 다른 적절한 구성 요소에 연결하기 위하여, 전원, 포트, 또는 인터페이스를 포함할 수 있다.

도 3은 일부 실시 예에 따른 시계열 데이터에 대한 실시간 데이터 분류를 위한 흐름도(300)를 도시한다. 일부 실시 예에서, 흐름도(300)는 학습 단계(310) 및 실시간 분류(또는 테스트) 단계(320)를 포함한다. 일부 실시 예에서, 학습 단계(310) 프로세싱은 시스템(예: 도 2의 시스템 (100))의 클라우드/서버(140)(도 2)에서 수행되고 실시간 분류 단계(320) 프로세싱은 전자 장치(120)에서 수행된다(예를 들어, 도 2의 실시간 분류 프로세싱(131)). 시스템에 사용된 흐름도(300)는 실시간으로 시계열 데이터의 정확한 처리 및 분류를 가능하게 하고; 그런 다음 식별된 클래스를 기반으로 해당하는 지능형 기능을 자동화한다. 일부 실시 예에서, 학습 단계(310)는 상이한 길이 및 그 라벨을 갖는 시계열 데이터를 수집하기 위한 사용자 인터페이스(311), 워핑 거리를 통해 특징 벡터를 생성하기 위한 특징 벡터 생성 프로세싱(312), 특징 벡터 생성 프로세싱(312)에 의해 생성된 출력 프루닝 임계 값(313), 분류 모델(314), 및 라벨링 된 시계열 데이터의 사전(dictionary)(315)을 이용한다. 일부 실시 예에서, 실시간 분류 단계(310)는 시계열 데이터의 각 인스턴스를 포함하는 시계열 데이터 입력(321), 프루닝을 위한 시계열 데이터 하한 계산(322), 하한이 프루닝 임계 값보다 큰지를 결정하기 위한 결정 프로세싱(323)(그렇다면, 시계열 데이터가 어떤 클래스에도 속하지 않다는 출력(324)을 제공함), 학습된 분류 모델(314)에 기초한 시계열 분류 프로세싱(325), 및 출력 클래스 라벨(326)을 이용한다.

일부 실시 예에서, 사용자는 사용자 인터페이스(311)와 상호 작용하여 수집하고자 하는 시계열 데이터의 클래스를 특정할 수 있다. 제스처 제어를 사용하는 일 예에서, 사용자는 자신의 개인화된 제스처를 정의하고 사전(315)에 저장된 라벨링 된 데이터를 수집하기 위해 각각의 제스처를 몇 번 수행할 수 있다. 라벨이 지정된 데이터는 인식 가능한 패턴과 연관된다. 일부 실시 예에서, 라벨링 된 데이터는 음성 입력(예를 들어, 텍스트로 변환 등), 텍스트 입력(예를 들어, 수동 입력, 텍스트 긁기, OCR 등을 통해 획득) 등을 통해 수집될 수 있다. 학습 단계(310)에서, 수집된 라벨링 된 데이터는 프루닝 임계 값(313)을 결정하고 인식 가능한 패턴에 대해 분류 모델(314)을 학습시키는 데 사용된다(먼저 프루닝 임계 값(313)을 결정한 다음 분류 모델(314)을 학습시킨다). 상기 프루닝 임계 값(313)은 실시간 분류 단계(320) 동안 사용될 수 있다.

일부 실시 예에서, 실시간 분류 단계(320) 동안, 시계열 데이터의 각 인스턴스가 고려될 수 있다. 현재 인스턴스의 클래스 라벨을 식별하거나 (출력(324)에서)인스턴스가 어떤 클래스에도 속하지 않는다고 회귀하는 것을 목표한다. 대량의 데이터 스트리밍이 지속적으로 이루어지기 때문에, 효율적인 하한 프로세싱은 현재 인스턴스가 어떤 정의된 클래스에 속하는지 여부를 판별하도록 빠른 데이터 정리를 위해 설계되었다. 그렇다면, 학습된 분류 모델(314)은 인스턴스의 실제 클래스 라벨(326)을 결정하는데 사용될 수 있다.

일부 실시 예에서, 시스템이 관심있는 시계열 데이터 패턴의 수는 제한될 수 있다. 더욱이 실제로 대부분의 실시간 데이터는 어떤 패턴에도 속하지 않는다. 따라서, 일부 실시 예에서, 하한 설정은 많은 양의 실시간 데이터의 빠른 프루닝에 크게 도움이 될 수 있다. 비 패턴(non-pattern) 데이터(어떠한 인식 가능한 패턴에도 속하지 않음)의 대부분은 실시간 분류 단계(320)에서 빠르게 처리될 수 있다.

일부 실시 예에서, 하한은 비 패턴 시계열 데이터의 대부분을 필터링하기 때문에, 훨씬 더 적은 양의 시계열 데이터에 대한 분류 모델(314) 적응이 실질적으로 실현 가능하고, 적응적이고 개인화 된 패턴들을 추가함으로써 더욱 세밀한 실시간 제어를 제공할 수 있다. 예를 들면, 처음에는 제스처 제어의 사용 예시로 네 가지 제스처 클래스(왼쪽, 오른쪽, 위, 아래)가 있을 수 있다. 분류 모델(314)을 배치한 후에는, 각 사용자는 한 손가락 왼쪽, 두 손가락 왼쪽 등과 같이 각 클래스 하위로 더욱 세밀한 개인화된 제스처를 추가할 수 있다.

도 4는 일부 실시 예에 따른 데이터 분류 모델 학습 및 프루닝 임계 값 학습에 대한 블록도를 도시한다. 일부 실시 예에서, 분류 모델(314)의 학습은 다음을 포함한다. 블록 410에서, 라벨링 된 시계열 데이터의 모든 인스턴스는 각각의 라벨링 된 시계열 인스턴스의 상이한 속도를 고려하기 위해, DTW(dynamic time warping)를 사용하여 그들의 쌍방향 거리를 계산함으로써 사전 처리된다. 블록 410의 프로세싱은 각각의 라벨링 된 시계열 인스턴스에 대한 DTW 거리 기반 특징 벡터의 구성으로 블록 420의 출력을 초래한다. 블록 430에서, 결과적으로 기준 분류기(예: 분류 모델(314))는 모든 라벨링 된 시계열 인스턴스의 구성된/도출된 특징 벡터를 사용하여 학습된다. 블록 440에서, 분류 프로세싱의 정확성을 유지하기 위하여, 프루닝 임계 값(313)을 식별하는 데 이진 검색이 수행된다.

일부 실시 예에서, 프루닝 임계 값을 식별하기 위한 이진 검색의 각 반복

에 대해, 프로세싱은 다음을 포함한다. 첫 번째 반복 전의 특징 벡터는 현재 임계 값

을 사용하여 프루닝되며, 여기서 초기 임계 값

은 (특징 벡터의 최대 값)/2 이다.

은 특징 벡터의 최대 값이고,

은 (특징 벡터의 최대 값)/2 이다. 두 번째 반복 라운드에서

은 아래 조건 1)에 따라 결정된다. 프루닝 된 특징 벡터는 (분류 모델(314)을 학습시키기 위한) 프루닝 된 트레이닝 특징 벡터와 (학습된 분류 모델(314)의 테스트를 위한) 프루닝 된 테스팅 특징 벡터로 나뉜다. 프루닝 된 트레이닝 특징 벡터는 분류 모델(314)을 학습시키기 위해 사용된다. 그리고 나서, 학습된 분류 모델(314)은, 정확성

를 얻기 위하여 프루닝 된 테스팅 특징 벡터를 사용하여 테스트된다. 기준 분류 모델은 정확성

을 얻기 위해 프루닝 된 테스팅 특징 벡터를 사용하여 테스트된다. 다음의 프로세싱은 프루닝 임계 값을 결정하기 위해 수행된다:

1) If

,

, otherwise

2) 반복 종료 if

<

.

더 큰

가 선택되는 경우, 하나 이상의 실시 예는 더욱 정확하여 진다. 한편, 더 작은

가 선택되는 경우, 하나 이상의 실시 예는 더욱 빠르게 실행될 것이다. 따라서

의 선택은, 실행 시간과 성능 사이 트레이드 오프(trade off)이다. 프루닝 임계 값(313)은 트레이닝(또는, 학습) 데이터 즉, 시계열 데이터의 라벨링 된 인스턴스를 기반으로 학습된다. 트레이닝 데이터가 변경되는 경우, 프루닝 임계 값(313)은 크게 변경될 수 있다.

도 5는 일부 실시 예에 따른 트레이닝(training) 인스턴스 및 쿼리(query) 인스턴스를 사용하는 엔벨로프(envelope) 기반 하한 결정(540)에 대한 예시적인 그래프를 도시한다. 그래프(510)는 시계열의 트레이닝 인스턴스이고, 그래프(515)는 시계열의 쿼리 인스턴스이다. 일부 실시 예에서, 시계열 데이터의 프루닝에 있어서, 이러한 프로세싱의 하나의 목적은 관련 없는 시계열 인스턴스(즉, 임의의 클래스에 속하지 않는 인스턴스)를 프루닝하기 위하여 효율적으로 계산된 하한을 결정하려는 것이다. 사전(dictionary)(315)(도 3)에서 각각의 라벨링 된 시계열 인스턴스로부터의 DTW 거리가 프루닝 임계 값(313)보다 큰 경우, 시계열 인스턴스는 프루닝(도 3의 출력 324으로 클래스가 없다고 라벨링)된다. 사전(315) (사전(315) 인스턴스로 지칭) 내 각각의 라벨링 된 시계열 인스턴스의 비교 관점에서, 하한 프로세싱은 다음을 수행한다. 트레이닝 인스턴스(510)의 엔벨로프 생성 프로세싱(520)은 엔벨로프(530)를 생성한다. 일 실시 예에서, 하한 계산 프로세싱(540)은 LB_keogh 하한을 사용하여, 쿼리 인스턴스(515) 및 사전(315) 인스턴스(여기서 사전 인스턴스(315)는 학습 데이터)의 프리픽스(prefix) (쿼리 인스턴스(515)와 사전 인스턴스(315)의 최대 속도 차이) 사이의 하한을 계산한다. 시계열 인스턴스 사전(315) 내 다음의 샘플 포인트 각각에 대하여, 샘플 포인트와 쿼리 인스턴스(515)의 해당 엔벨로프 사이 최소 거리를 추가하여 하한을 증가시킨다. 하한이 프루닝 임계 값(313)보다 크면 무한대(또는 큰 수)를 반환한다. 그렇지 않으면 두 사전(315) 시계열 인스턴스 간의 실제 DTW를 계산하고 실제 DTW를 반환한다. 시계열 인스턴스의 모든 DTW 거리가 무한대(또는 큰 수)인 경우, 이러한 시간 인스턴스를 비(none) 클래스의 시계열 인스턴스로 라벨링 한다(모든 DTW가 프루닝 임계 값보다 크면 쿼리는 비 클래스에 속하고, 그렇지 않으면 다음 반복에서 분류기가 사용된다).

일부 실시 예에서, 트레이닝 인스턴스

가 주어지면, 하한 계산 프로세싱(540)에 대해 그 엔벨로프는 다음과 같이 정의된다:

= (

)

여기서

은 q 와 고정 길이 n 의 쿼리 인스턴스

사이의 DTW 제한 조건 매개 변수이고,

은 스케일링 파라미터(실시간 쿼리 시계열 인스턴스

가 될 수 있는 최대 길이

을 의미) 이고, m 은 트레이닝 인스턴스의 길이이고, q _j 는 q 의 j번째 요소의 인덱스이다. 그리고 나서, 트레이닝

와 쿼리

사이의 하한은 다음과 같이 계산된다:

LB-UD_new =

여기서 n 은 쿼리 c 의 길이이다. 하한 계산 프로세싱(540)은 다음과 같이 요약될 수 있다. 트레이닝 시계열 인스턴스 q 의 엔벨로프를 구성하고; c 와 q 의 가장 짧은 프리픽스(prefix)에 대한 하한을 계산하고; 시계열 인스턴스

의 최대 길이

에 도달 할 때까지 점진적으로 하한을 계산한다.

도 6은 일부 실시 예에 따른 시계열 데이터 분류를 위한 학습(training) 단계의 실행 예시(600)를 도시한다. 예시(600)에서, 라벨링 된 시계열 데이터 샘플은 클래스 601, 602, 및 603을 포함한다. 학습(training) 프로세싱은, 시계열 데이터 프루닝 프로세싱으로부터 혼합된 DTW 거리를 사용함으로써 현재 시계열 인스턴스의 특징 벡터(610)를 생성하는 단계; 및 특징 벡터와 학습 단계(320)에서 학습된 분류 모델(314)을 사용하여 클래스 라벨을 추론하는 단계를 포함한다. 생성된 각각의 특징 벡터

에서,

번째 요소는 트레이닝 시계열 샘플

와

사이의 DTW 거리이다. 학습된 분류 모델(314)의 정확도에 기초하여, 테스트를 가속화하기 위해 프루닝 임계 값(616)은 0.1(예시 600의 경우)로 계산된다. 새로운 특징 벡터(618)는 시계열 데이터 프루닝 프로세싱의 결과이며, 여기서 N은 다소 큰 수이다.

도 7은 일부 실시 예에 따른 시계열 데이터 클래스(602)에 대한 실시간 데이터 분류 (테스트) 단계의 실행 예시(700)를 도시한다. 현재 데이터의 테스트는 학습된 분류 모델(314)(도 3 및 도 4) 및 상기 도출된 DTW 거리(하한 거리와 실제 DTW 거리의 혼합)에 기초한다. 시계열 데이터 클래스(602)를 테스트하기 위해, 프로세싱은 라벨링 된 데이터(예를 들어, 예시 700에서 (0.55, 0, 0.02))를 갖는 특징 벡터의 하한을 생성(710)한다. 그런 다음, 특징 벡터 프루닝 프로세싱(720)은 학습된 임계 값 0.1을 사용하여 하한 특징 벡터를 프루닝 하고, 이는 프루닝 된 새로운 하한 특징 벡터(N, 0, 0.02)를 생성한다(여기서 N은 일부 큰 수). 프루닝 된 하한 특징 벡터에서 프루닝 되지 않은 각각의 요소(N과 같지 않음)에 대해, 프로세싱은 그들의 실제 DTW 거리를 더 계산하고 최종 새로운 특징 벡터(730)를 생성한다. 프루닝 된 특징 벡터의 모든 요소가 N 인 경우, 이 새로운 시계열 데이터는 어떤 클래스에도 속하지 않는다. 그렇지 않으면, 라벨링 된 시계열 데이터 클래스(602)의 분류를 수행하기 위해, 새로운 특징 벡터(730)는 분류 모델 (314)과 함께 사용된다.

일부 실시 예에서, 예를 들어 2년 동안의 기간에 걸친, 흐름도(300)(도 3)와 유사한 프로세싱을 사용하는 시스템(100)(도 2)을 사용한 시계열 데이터의 분류는, DTW를 사용하는 기존 분류 시스템에서의 10.08 시간에서 시스템(100)의 경우 2.5 시간으로 계산 시간을 줄일 수 있다(예를 들어, 0.96과 같은 정확도 유지). 예를 들어, 20시간 동안 수집된 ECG 시계열 데이터 세트의 경우, DTW를 사용하는 기존 분류 시스템은 약 83.24시간(0.91 정확도)이 소요되고, 시스템(300)은 약 3.03시간(0.90 정확도)이 소요된다. 기존 접근 방식은 실시간 모니터링을 달성할 수 없다.

일부 실시 예에서, 흐름도(300)(도 3)를 이용하는 시스템(100)(도 2)의 프로세싱은 모션 센서를 사용한 가상 현실(VR) 또는 스마트 TV에 대한 제스처 제어를 위해 이용될 수 있다: 시스템(100)은 사용자가 제스처를 사용하여 다양한 장치와 상호 작용할 수 있도록 사용될 수 있다. 사용자가 상이한 속도로 동일한 제스처(전체 또는 부분 제스처)를 수행할 때, 시스템(100)은 이러한 제스처의 라벨을 식별하고 대응하는 동작을 제공할 수 있다.

하나 이상의 실시 예에서, 흐름도(300)(도 3)의 프로세싱을 이용하는 시스템(100)(도 2)의 프로세싱은 뇌파를 이용한 뇌 컴퓨터 인터페이스를 위해 이용 될 수 있다: 사용자가 뇌 활동을 하는 경우 생성된 신호는 일반적으로 다른 속도로 전달된다. 시스템(100)은 시계열 데이터에서 이러한 속도 차이에 사용될 수 있고 각 인스턴스의 실제 클래스를 도출할 수 있다.

일부 실시 예에서, 흐름도(300)(도 3)의 프로세싱을 이용하는 시스템(100)(도 2)은 건강 모니터링을 위해 이용될 수 있다: 시스템(100)은 사용자의 건강을 모니터링하는 데 사용될 수 있다(예를 들어, 다른 활동을 하는 동안 심장 환자 또는 일반 사용자의 ECG 신호를 통하여). 도출된 결과는 사용자의 건강 상태가 양호한지 또는 즉시 치료해야 하는 비정상적인 사례인지 여부에 반영된다. 시스템(100)은 의사의 노동력을 줄이고 실시간 경보를 제공한다. 예를 들어, 심장 질환 모니터링에서, 동일한 질환(예를 들어, 조기 심실 수축)에 대응하는 ECG 데이터의 패턴(형태)은 사용자의 상태(예를 들어, 달리기 또는 앉기)에 관계없이 동일하다. 그러나 시계열 데이터의 속도는 사용자의 상태에 따라 상이하다(예를 들어, 달리는 경우 더 빠름, 앉으면 더 느림 등). 시스템(100)은 상이한 속도의 시계열 데이터를 실시간으로 동일한 클래스로 분류할 수 있다. 이를 통해 사용자의 상태가 다른 경우에도 질병의 실시간 분류/모니터링이 가능하다.

하나 이상의 실시 예에서, 흐름도(300)(도 3)의 프로세싱을 이용하는 시스템(100)(도 2)은 디지털 기기 서비스를 위해 이용될 수 있다: 자동 설정: 예를 들어, 사용자가 더 높은 부하를 갖는 세탁기를 사용하는 경우, 시스템(100)은 기계의 진동에 기초하여 자동으로 감지하고, 적재 설정을 "무거움"으로 조정할 수 있고; 　자동 문제 해결: 예를 들어, 시스템(100)은 소음 패턴에 기초하여 세탁기의 오작동을 검출하는데 사용될 수 있다. 세탁기가 심하게 흔들릴 때, 시스템(100)은 상이한 상황(예를 들어, 상이한 부하, 상이한 장소 등)에서 노이즈 패턴을 사용하여 문제를 식별하기 위하여 사용될 수 있다. 따라서 기술자를 현장에 배정할 필요가 없으며 비용을 크게 줄일 수 있다; 에너지 소비 최적화: 예를 들어, 사용자가 세탁기를 켤 때, 시스템(100)은 가장 적은 에너지가 소비되도록 세탁기를 시작하기 위한 최상의 타이밍을 자동으로 식별하는데 이용될 수 있다. 결과적으로, 사용자는 에너지 절약으로 인해 비용을 절약할 수 있다.

도 8은 일부 실시 예에 따른 시계열 데이터 분류 프로세싱을 위한 프로세스(800)의 블록도를 도시한다. 일부 실시 예에서, 프로세스(800)의 블록 810은 (예를 들어, 전자 장치(예: 도 2의 전자 장치(120))의 센서를 사용하여 감지된 정보를 획득함으로써) 제1 윈도우 크기의 데이터(예: 시계열 데이터)를 포함하는 입력의 검색을 제공한다. 블록 820에서, 프로세스(800)는 입력의 워핑 거리와 프루닝 임계 값(예: 도 3 및 도 4의 프루닝 임계 값(313))의 비교에 기초하여 입력(예를 들어, 인식 가능한 라벨링 된 시계열 데이터 인스턴스 또는 인식할 수 없는 시계열 데이터)을 분류한다.　블록 830에서, 프로세스(800)는 인식 가능한 입력을 학습된 모델(예: 도 3 및 도 4의 학습된 모델(314))에 기초하여 알려진 입력 유형(예: 알려진 클래스)으로 분류한다. 일부 실시 예에서, 알려진 입력 유형은 제2 윈도우 크기의 일련의 데이터를 포함하고, 제1 윈도우 크기는 제2 윈도우 크기와 상이하다.

일부 실시 예에서, 프로세스(800)는 사용자로부터의 하나 이상의 인식 가능한 입력(예를 들어, 제스처, 생물학적 신호(예: EEG, ECG, 심박수 등))에 기초하여 학습된 학습 모델을 포함하고, 각각의 인식 가능한 입력은 다양한 윈도우 크기(예: 1분, 1시간, 1일, 1개월, 1년 등)의 데이터를 포함하는 다수의 인스턴스를 포함한다. 입력은 하나 이상의 전자 장치(예: 도 2의 전자 장치(120))의 다수의 센서(예: 도 2의 센서(132))에 의해 획득된 다차원의 데이터 (예: 시계열 데이터)를 포함한다.

일부 실시 예에서, 프로세스(800)에서, 학습된 모델은 하나 이상의 인식 가능한 입력 중 다른 인식 가능한 입력에 대한 각각의 인식 가능한 입력의 계산된 워핑 거리를 분류한다. 인식 가능한 입력은 시계열 데이터의 인스턴스이다. 인식 가능한 입력을 분류하는 것은 시계열 데이터의 인스턴스에 대해 라벨(예를 들어, 클래스 라벨)을 적용하는 것을 포함한다. 입력에 인식 가능한 입력이 포함되어 있는지 결정하는 단계는, 각각의 라벨링 된 시계열 인스턴스의 서로 다른 속도를 고려하기 위해 워핑 거리를 사용하여 그들의 쌍방향 거리를 결정함으로써, 모든 라벨링 된 시계열 데이터의 인스턴스를 사전 처리하는 단계(예를 들어, 도 3의 훈련 단계(310)에서, 도 4의 프로세싱에서)를 포함한다.

일부 실시 예에서, 프로세스(800)에서, 프루닝 임계 값은 학습 데이터에 기초하여 학습된다. 입력 데이터는 다양한 윈도우 크기에 걸쳐 센서에 의해 감지되고 상이한 속도로 발생하는 생물학적 신호(예: EEG, ECG, 심박수, 제스처 등)의 모니터링에 기초한 시계열 데이터를 포함한다. 입력 데이터는 다양한 윈도우 크기에 걸쳐 센서에 의해 감지되고 상이한 속도로 발생하는 모니터링 장치 신호 (예: 사운드 신호, 진동 신호 등)에 기초한 시계열 데이터를 포함할 수 있다.

도 9는 하나 이상의 실시 예를 구현하는 컴퓨팅 시스템을 포함하는 정보 프로세싱 시스템을 도시한 예시적인 하이 레벨 블록도이다. 시스템(900)은 하나 이상의 프로세서(911)(예: ASIC, CPU 등)를 포함할 수 있고, 전자 그래픽 장치(912) (그래픽, 텍스트, 및 기타 데이터를 표시하기 위한), 메인 메모리(913)(예: 랜덤 액세스 메모리(RAM), 캐시 장치 등), 저장 장치(914)(예: 하드 디스크 드라이브), 이동식 저장 장치(915)(예: 이동식 저장 드라이브, 이동식 메모리, 자기 테이프 드라이브, 광 디스크 드라이브, 컴퓨터 소프트웨어, 및/또는 데이터가 저장된 컴퓨터 판독 가능 매체), 사용자 인터페이스 장치(916)(예: 키보드, 터치 스크린, 키패드, 포인팅 장치), 및 통신 인터페이스(917)(예: 모뎀, 무선 송수신기(예: Wi-Fi, cellular), 네트워크 인터페이스(예: 이더넷 카드), 통신 포트, 또는 PCMCIA 슬롯 및 카드)를 더 포함 할 수 있다.

통신 인터페이스(917)는 인터넷(950), 모바일 전자 장치(951), 서버(952), 네트워크(953) 등을 통해 컴퓨터 시스템과 외부 장치 사이에서 소프트웨어 및 데이터가 전송될 수 있도록 한다. 시스템(900)은 전술한 장치들(911 내지 917)이 연결되는 통신 인프라 스트럭처(918)(예: 통신 버스, 크로스바, 또는 네트워크)를 더 포함한다.

통신 인터페이스(917)를 통해 전송된 정보는, 신호를 전달하는 통신 링크를 통해 통신 인터페이스(917)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호와 같은 신호의 형태일 수 있으며, 유선 또는 케이블, 광섬유, 전화선, 셀룰러 전화 링크, 무선 주파수 (RF) 링크 및/또는 다른 통신 채널을 사용하여 구현될 수 있다.

전자 장치(예: 도 2의 전자 장치(120))에서 하나 이상의 실시 예들의 하나의 구현에서, 시스템(900)은 카메라(128)(도 2)와 같은 이미지 캡처 장치(920) 및 마이크로폰(122)(도 2)과 같은 오디오 캡처 장치(919)를 포함한다. 시스템(900)은 MMS(921), SMS(922), 이메일(923), 소셜 네트워크 인터페이스(SNI)(924), 오디오/비디오(AV) 플레이어(925), 웹 브라우저(926), 이미지 캡처(927) 등과 같은 애플리케이션 프로세싱 또는 프로세서를 더 포함할 수 있다.

일 실시 예에서, 시스템(900)은 전술한 바와 같이, 실시간(다른 속도에 대한 시계열) 분류 프로세싱(131) 및/또는 트레이닝 단계 프로세싱(130)(도 2)에 관해 기술된 바와 유사한 프로세싱을 구현할 수 있는 실시간 분류 프로세싱(930) 및 프로세스(800)(도 8)을 포함한다. 일 실시 예에서, 운영 체제(929)와 함께 실시간 분류 프로세싱(930)은 시스템(900)의 메모리에 상주하는 실행 가능한 코드로서 구현될 수 있다. 다른 실시 예에서, 실시간 분류 프로세싱(930)은 하드웨어, 펌웨어 등으로 제공될 수 있다.

일 실시 예에서, 메인 메모리(913), 저장 장치(914) 및 착탈식 저장 장치(915)는 각각의 그 자체 또는 임의의 조합으로 하나 이상의 프로세서(911)에 의해 실행될 수 있는 전술 한 실시 예에 대한 명령어를 저장할 수 있다.

당업자에게 알려진 바와 같이, 상기 아키텍처에 따라 전술한 아키텍처 예시는, 프로세서에 의해 실행되는 프로그램 명령어, 소프트웨어 모듈, 마이크로 코드, 컴퓨터 판독 가능 매체의 컴퓨터 프로그램 제품, 아날로그/논리 회로, 응용 프로그램 전용 집적 회로, 펌웨어, 소비자 전자 장치, AV 장치, 무선/유선 송신기, 무선/유선 수신기, 네트워크, 멀티미디어 장치 등과 같은 많은 방식으로 구현 될 수 있다. 또한, 상기 아키텍처의 실시 예는 전체 하드웨어 실시 예, 전체 소프트웨어 실시 예, 또는 하드웨어 및 소프트웨어 요소 모두를 포함하는 실시 예의 형태를 취할 수 있다.

하나 이상의 실시 예는, 하나 이상의 실시 예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명된다. 이러한 흐름도/블록도의 각 블록 또는 이들의 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있다. 컴퓨터 프로그램 명령어는 프로세서에 제공될 때, 프로세서를 통해 실행되는 명령어가 흐름도 및/또는 블록도에 지정된 기능/동작을 구현하기 위한 수단을 생성하도록 장치(machine)를 생성한다. 흐름도/블록도의 각 블록은 하나 이상의 실시 예를 구현하는 하드웨어 및/또는 소프트웨어 모듈 또는 로직을 나타낼 수 있다. 대안적인 구현으로, 블록에서 언급된 기능들은 도면에서 언급된 순서에서 벗어나서 동시에 발생할 수 있다.

"컴퓨터 프로그램 매체", "컴퓨터 이용 가능 매체", "컴퓨터 판독 가능 매체", 및 "컴퓨터 프로그램 제품"이라는 용어는 일반적으로 메인 메모리, 보조 메모리, 이동식 저장 장치 드라이브, 하드 디스크 드라이브에 설치된 하드 디스크와 같은 매체를 지칭하는데 사용된다. 이러한 컴퓨터 프로그램 제품은 컴퓨터 시스템에 소프트웨어를 제공하기 위한 수단이다. 컴퓨터 판독 가능 매체는 컴퓨터 시스템이 컴퓨터 판독 가능 매체로부터 데이터, 명령, 메시지나 메시지 패킷, 및 다른 컴퓨터 판독 가능 정보를 판독할 수 있도록 한다. 컴퓨터 판독 가능 매체는 예를 들어, 플로피 디스크, ROM, 플래시 메모리, 디스크 드라이브 메모리, CD-ROM, 및 다른 영구 저장 장치와 같은 비 휘발성 메모리를 포함할 수 있다. 예를 들면, 컴퓨터 시스템 간에 데이터 및 컴퓨터 명령어와 같은 정보를 전송하는 데 유용하다. 컴퓨터 판독 가능 매체에 저장된 명령어가 플로우 차트 및/또는 블록 다이어그램에 지정된 기능/동작을 구현하는 명령어를 포함하는 제품을 생산하도록, 컴퓨터 프로그램 명령어는, 컴퓨터, 프로그램 작동 가능한 다른 데이터 처리 장치, 또는 다른 장치가 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독 가능 매체에 저장될 수 있다.

본 명세서의 블록도 및/또는 흐름도를 나타내는 컴퓨터 프로그램 명령어는 컴퓨터로 구현될 수 있는 일련의 동작들을 야기하도록, 컴퓨터, 프로그램 작동 가능한 데이터 처리 장치, 또는 처리 장치에 로딩 될 수 있다. 컴퓨터 프로그램(즉, 컴퓨터 제어 로직)은 메인 메모리 및/또는 보조 메모리에 저장된다. 컴퓨터 프로그램은 또한 통신 인터페이스를 통해 수신될 수 있다. 이러한 컴퓨터 프로그램은, 실행될 때, 컴퓨터 시스템이 본 개시에서 논의된 실시 예들의 특징을 수행할 수 있도록 한다. 특히, 컴퓨터 프로그램은, 실행될 때, 프로세서 및/또는 멀티 코어 프로세서가 컴퓨터 시스템의 특징을 수행할 수 있도록 한다. 이러한 컴퓨터 프로그램은 컴퓨터 시스템의 제어 장치(controllers)를 나타낸다. 컴퓨터 프로그램 제품은, 컴퓨터 시스템에 의해 판독 가능하고 하나 이상의 실시 예의 방법을 수행하기 위해 컴퓨터 시스템에 의해 실행되는 명령어를 저장하는 유형의 저장 매체를 포함한다.

실시 예들은 그것의 특정 버전을 참조하여 설명되었지만; 그러나 다른 버전도 가능하다. 따라서, 첨부된 청구 범위의 사상 및 범위는 본 개시에 포함된 바람직한 버전의 설명으로 제한되지 않아야 한다.

Claims

인식 방법에 있어서,
제1 윈도우 크기에 대한 데이터를 포함하는 입력을 검색하는 동작; 및
상기 입력의 워핑(warping) 거리와 프루닝(pruning) 임계 값의 비교에 기초하여 상기 입력을 분류하는 동작을 포함하는, 인식 방법.
청구항 1에 있어서,
학습된 모델에 기초하여 인식 가능한 입력을 알려진 입력 유형으로 분류하는 동작을 더 포함하고,
상기 알려진 입력 유형은 제2 윈도우 크기에 대한 데이터를 포함하고,
상기 제1 윈도우 크기는 제2 윈도우 크기와 다른, 인식 방법.
프로세서에 의해 실행될 때 방법을 수행하는 프로그램을 포함하는, 비 일시적 프로세서 판독 가능 매체에 있어서, 상기 방법은:
제1 윈도우 크기에 대한 데이터를 포함하는 입력을 검색하는 동작; 및
상기 입력의 워핑 거리와 프루닝 임계 값의 비교에 기초하여 상기 입력을 분류하는 동작을 포함하는, 비 일시적 프로세서 판독 가능 매체.
청구항 3에 있어서,
상기 방법은,
학습된 모델에 기초하여 인식 가능한 입력을 알려진 입력 유형으로 분류하는 동작을 더 포함하고,
상기 알려진 입력 유형은 제2 윈도우 크기에 대한 데이터를 포함하고,
상기 제1 윈도우 크기는 제2 윈도우 크기와 다른, 비 일시적 프로세서 판독 가능 매체.
청구항 4에 있어서,
상기 인식 가능한 입력을 분류하는 동작은,
시계열 데이터의 인스턴스(instance)에 라벨(label)을 적용하는 동작을 포함하는, 비 일시적 프로세서 판독 가능 매체.
청구항 2 또는 청구항 4에 있어서,
상기 인식 가능한 입력을 분류하는 동작은,
각각의 라벨(label)링 된 시계열 인스턴스의 상이한 속도를 고려하기 위해, 워핑 거리를 사용하여 라벨링 된 시계열 인스턴스들의 쌍방향 거리를 결정함으로써 모든 라벨링 된 시계열 데이터 인스턴스들을 전처리하는 동작을 포함하고,
상기 프루닝 임계 값은 학습 데이터에 기초하여 학습되는, 인식 방법 또는 비 일시적 프로세서 판독 가능 매체.
전자 장치에 있어서,
명령어들을 저장하는 메모리; 및
상기 명령어를 실행하는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는 상기 명령어 실행 시:
제1 윈도우 크기에 대한 데이터를 포함하는 입력을 검색하고,
상기 입력의 워핑 거리와 프루닝 임계 값의 비교에 기초하여 상기 입력을 분류하는, 전자 장치.
청구항 7에 있어서,
상기 적어도 하나의 프로세서는,
학습된 모델에 기초하여 상기 인식 가능한 입력을 알려진 입력 유형으로 분류하고, 상기 알려진 입력 유형은 제2 윈도우 크기에 대한 데이터를 포함하고,
상기 제1 윈도우 크기는 제2 윈도우 크기와 다른, 전자 장치.
청구항 8에 있어서,
상기 적어도 하나의 프로세서는,
각각의 라벨링 된 시계열 인스턴스의 상이한 속도를 고려하기 위해, 워핑 거리를 사용하여 라벨링 된 시계열 인스턴스들의 쌍방향 거리를 결정함으로써 모든 라벨링 된 시계열 데이터 인스턴스를 전처리하고,
학습 데이터에 기초하여 상기 프루닝 임계 값을 학습하는, 전자 장치.
청구항 2, 청구항 4, 또는 청구항 8에 있어서,
상기 학습된 모델은 사용자로부터의 하나 이상의 인식 가능한 입력에 기초하여 학습되고,
각각의 인식 가능한 입력은 다양한 윈도우 크기에 대한 데이터를 구성하는 복수의 인스턴스를 포함하는, 인식 방법 또는 비 일시적 프로세서 판독 가능 매체 또는 전자 장치.
청구항 2, 청구항 4, 또는 청구항 8에 있어서,
상기 입력은 하나 이상의 전자 장치의 복수의 센서에 의해 획득된 다차원의 데이터를 포함하는, 인식 방법 또는 비 일시적 프로세서 판독 가능 매체 또는 전자 장치.
청구항 10에 있어서,
상기 학습된 모델은 상기 하나 이상의 인식 가능한 입력 중 다른 인식 가능한 입력에 대한 각각의 인식 가능한 입력의 계산된 워핑 거리를 분류하는, 인식 방법 또는 비 일시적 프로세서 판독 가능 매체 또는 전자 장치.
청구항 1, 청구항 3, 또는 청구항 7에 있어서,
상기 데이터는 다차원의 시계열 데이터를 포함하는, 인식 방법 또는 비 일시적 프로세서 판독 가능 매체 또는 전자 장치.
청구항 1, 청구항 3, 또는 청구항 7에 있어서,
상기 데이터는 다양한 윈도우 크기에 걸쳐 센서에 의해 감지되고 상이한 속도로 발생하는 생물학적 신호의 모니터링에 기초한 시계열 데이터를 포함하는, 인식 방법 또는 비 일시적 프로세서 판독 가능 매체 또는 전자 장치.
청구항 1, 청구항 3, 또는 청구항 7에 있어서,
상기 데이터는 다양한 윈도우 크기에 걸쳐 센서에 의해 감지되고 상이한 속도로 발생하는 장치(device) 신호의 모니터링에 기초한 시계열 데이터를 포함하는, 인식 방법 또는 비 일시적 프로세서 판독 가능 매체 또는 전자 장치.