KR101183737B1 - 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법 - Google Patents

동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법 Download PDF

Info

Publication number
KR101183737B1
KR101183737B1 KR1020100113246A KR20100113246A KR101183737B1 KR 101183737 B1 KR101183737 B1 KR 101183737B1 KR 1020100113246 A KR1020100113246 A KR 1020100113246A KR 20100113246 A KR20100113246 A KR 20100113246A KR 101183737 B1 KR101183737 B1 KR 101183737B1
Authority
KR
South Korea
Prior art keywords
earphone
motion
user
signal
smart device
Prior art date
Application number
KR1020100113246A
Other languages
English (en)
Other versions
KR20120051898A (ko
Inventor
서인아
Original Assignee
서인아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서인아 filed Critical 서인아
Priority to KR1020100113246A priority Critical patent/KR101183737B1/ko
Publication of KR20120051898A publication Critical patent/KR20120051898A/ko
Application granted granted Critical
Publication of KR101183737B1 publication Critical patent/KR101183737B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 동작 인식이 가능한 멀티 이어폰 장치를 공개한다. 이 장치는 사용자의 동작의 방향 및 강도를 감지하여 동작 인식 명령을 출력하는 멀티 이어폰; 상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 스마트 기기;를 구비하는 것을 특징으로 한다. 따라서 본 발명에 의할 경우, 사용자의 멀티이어폰의 장착을 감지하여 사용자의 동작 인식을 시작하고 사용자의 동작의 방향 및 강도와 체온을 감지하여 출력되는 동작 인식 명령에 응답하여 그에 상응하는 멀티미디어 음원 재생, 방송 수신 제어, e-Book의 페이지 제어, 음원의 믹싱 및 증폭, 커서 컨트롤, 사용자의 현재 몸 상태에 맞는 운동 효과 스케줄링을 수행할 수 있어 사용자의 편리성을 극대화하고 보다 현실감 있는 게임과 멀티미디어 스마트 기능을 수행할 수 있다.

Description

동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법{A multi earphone device capable recognizing actions and a method of recognizing actions thereof}
본 발명은 멀티 이어폰 장치 및 동작 인식 방법에 관한 것으로, 특히 이어폰 내부에 센서가 부착되어 사용자의 동작을 직접 인식하여 다양한 컨텐츠를 수행하는 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법에 관한 것이다.
일반적으로 개인용 컴퓨터, 노트북, 휴대폰, 테블릿 PC 등과 같은 스마트 기기는 핸드폰이 갖는 송수화, MMS, SMS 기능 이외에다양한 기능을 수행할 수 있도록 구성된다. 예를 들어, 데이터 및 음성 통신 기능, 사진이나 동영상을 촬영하고 재생하는 기능, 음악 파일의 재생 기능, 및 기타 수많은 응용 프로그램 실행 등이 가능하다.
최근에는 응용 프로그램과 같은 소프트웨어적 기능 개량에 추가하거나 이와 부합하여 하드웨어의 개량에도 많은 연구가 이루어지고 있다.
본 발명의 목적은 센서가 부착된 멀티 이어폰을 통해 사용자 동작의 방향 및 강도와 체온을 감지하여 멀티 이어폰의 현재 각가속도 및 기울기 및 사용자의 운동량 및 방향성을 고려한 신체의 움직임을 산출하여 그에 상응하는 다양한 컨텐츠를 수행할 수 있는 동작 인식이 가능한 멀티 이어폰 장치를 제공하는 것이다.
본 발명의 다른 목적은 상기 목적을 달성하기 위한 멀티 이어폰 장치의 사용자 동작 인식 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치는 사용자의 동작의 방향 및 강도를 감지하여 동작 인식 명령을 출력하는 멀티 이어폰; 상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 스마트 기기;를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 멀티 이어폰은 상기 사용자의 착용 여부를 감지하여 사용자의 동작 인식을 시작하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 멀티 이어폰은 상기 사용자의 체온을 감지하여 상기 동작 인식 명령을 출력하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 멀티 이어폰은 상기 사용자의 접근하는 신체 부위 및 상기 사용자 동작의 방향 및 강도와 체온을 감지하여 각각 접근 신호, 움직임 신호 및 온도 신호를 출력하는 센서부; 상기 접근 신호에 응답하여 상기 동작인식을 시작하게 하고, 상기 움직임 신호에 응답하여 상기 멀티 이어폰의 현재 각가속도 및 기울기 중 어느 하나 이상을 산출하게 하는 상기 동작 인식 명령을 출력하는 이어폰측 제어부;를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 센서부는 상기 접근하는 신체 부위의 전자계 변화 또는 적외선을 감지하여 상기 접근 신호를 출력하는 근접 센서; 상기 사용자 동작의 방향 및 강도를 감지하여 상기 움직임 신호를 출력하는 자이로 센서; 상기 사용자의 체온을 감지하여 상기 온도 신호를 출력하는 온도 센서; 를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 멀티 이어폰은 외부의 음향을 입력받아 음향 데이터로 처리하고, 상기 스마트 기기로부터 음향 신호를 인가받아 데이터 처리하여 음향을 출력하는 오디오 처리부; 상기 스마트 기기와 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 이어폰측 통신부;를 더 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 이어폰측 통신부는 무선 통신 기술 또는 유선 통신 기술을 이용하고, 상기 무선 통신 기술은 블루투스, RFID 및 Zigbee 중 어느 하나를 포함하며, 상기 유선 통신 기술은 DSL 방식 및 광 전송 방식 중 어느 하나를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 스마트 기기는 상기 동작 인식 명령을 전달받아 상기 사용자의 동작의 방향 및 강도와 운동량을 산출하여 상기 컨텐츠를 수행하는 센싱 데이터 처리부; 외부로부터 음성 데이터 또는 영상 데이터를 인가받아 처리하여 음성 또는 영상을 전송하는 통화 처리부;를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 스마트 기기는 상기 멀티 이어폰과 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 기기측 통신부; 상기 센싱 데이터 처리부 및 상기 통화 처리부에서 처리되는 정보를 화면 상에 표시하는 디스플레이부;를 더 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 스마트 기기는 상기 기기측 통신부, 상기 센싱 데이터 처리부, 상기 통화 처리부 및 상기 디스플레이부의 동작을 제어하는 스마트 기기측 제어부;를 더 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 상기 디스플레이부는 상기 스마트 기기가 통화 모드인 경우 상기 통화 처리부에서 처리된 음성 데이터와 관련된 GUI(Graphic User Interface)를 표시하고, 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상과 관련된 GUI를 표시하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법은 (a) 멀티 이어폰이 사용자의 동작의 방향 및 강도를 감지하여 움직임 신호를 출력하는 단계; (b) 상기 멀티 이어폰이 상기 움직임 신호를 인가받아 동작 인식 명령을 출력하는 단계; (c) 스마트 기기가 상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 단계;를 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법의 상기 (a) 단계는 상기 사용자의 체온을 감지하여 온도 신호를 출력하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법의 상기 (a) 단계 이전에 (d) 상기 멀티 이어폰이 스마트 기기에 장치 인식 요청 신호를 출력하는 단계; (e) 상기 스마트 기기가 상기 멀티 이어폰의 연결된 상태를 인식하고 장치 인식 완료 신호를 출력하는 단계; (f) 사용자의 상기 멀티이어폰의 장착을 감지하여 접근 신호를 출력하고 사용자의 동작 인식을 시작하는 단계;를 더 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법은 상기 멀티 이어폰이 외부의 음향을 입력받아 음향 데이터로 처리하고, 상기 스마트 기기로부터 음향 신호를 인가받아 데이터 처리하여 음향을 출력하는 오디오 처리 단계; 상기 스마트 기기와 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 이어폰측 통신 단계;를 더 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법의 상기 (c) 단계는 상기 동작 인식 명령을 전달받아 상기 사용자의 동작의 방향 및 강도와 운동량을 산출하여 상기 컨텐츠를 수행하는 센싱 데이터 처리 단계; 외부로부터 음성 데이터 또는 영상 데이터를 인가받아 처리하여 음성 또는 영상을 전송하는 통화 처리 단계;를 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법의 상기 (c) 단계는 상기 스마트 기기가 상기 멀티 이어폰과 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 기기측 통신 단계; 상기 센싱 데이터 단계 및 상기 통화 처리 단계에서 처리되는 정보를 화면 상에 표시하는 디스플레이 단계;를 더 포함하는 것을 특징으로 한다.
본 발명은 접근하는 신체 부위를 감지하고 사용자의 이어폰 착용을 인식하여 사용자의 동작 인식을 시작하고 사용자의 동작의 방향, 강도와 체온을 감지하여 출력되는 동작 인식 명령에 응답하여 그에 상응하는 멀티미디어 음원 재생, 방송 수신 제어, e-Book의 페이지 제어, 음원의 믹싱 및 증폭, 커서 컨트롤, 사용자의 현재 몸 상태에 맞는 운동 효과 스케줄링을 수행할 수 있어 사용자의 편리성을 극대화하고 보다 현실감 있는 게임과 멀티미디어 스마트 기능을 비롯한 컨텐츠의 명령을 사용자의 동작으로 수행할 수 있다.
도 1은 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 블록도이다.
도 2는 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법을 나타내는 순서도이다.
이하, 첨부한 도면을 참고로 하여 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법을 설명하면 다음과 같다.
이하에서 설명되는 스마트 기기 는 인터넷 통신 등의 컴퓨터 지원 기능이 가능한 스마트 폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 테블릿 PC(Tablet PC) 등을 의미하며, 컨텐츠는 상기 스마트기기에서 사용하는 응용 프로그램인 어플리케이션(application)을 의미한다.
도 1은 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 블록도로서, 센서부(110)를 구비한 멀티 이어폰(100)이 스마트기기(200)와 연동하여 각종 컨텐츠를 이용한다.
멀티 이어폰(100)은 센서부(110), 오디오 신호 처리부(120), 이어폰측 통신부(140) 및 이어폰측 제어부(150)를 구비하고, 스마트 기기(200)는 기기측 통신부(210), 센싱 데이터 처리부(220), 통화 처리부(230), 디스플레이부(240) 및 스마트 기기측 제어부(250)를 구비한다.
센서부(110)는 근접 센서(111), 자이로 센서(gyro sensor)(112) 및 온도 센서(114)를 포함하고, 오디오 신호 처리부(120)는 마이크(122) 및 스피커(124)와 연결되며, 스마트기기(200)의 센싱 데이터 처리부(220)는 멀티미디어 컨텐츠(222), 게임 컨텐츠(224), 헬스 스포츠 컨텐츠(228)를 포함한 디바이스 제어 소프트웨어로 구성된다.
도 1을 참조하여 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치 내 멀티 이어폰(100)의 각 구성의 기능을 설명하면 다음과 같다.
센서부(110)는 자이로 센서(gyro sensor)(112)에서 멀티 이어폰(100)을 착용한 사용자 동작의 방향 및 강도를 감지하여 움직임 신호를 출력하고, 온도 센서(114)에서 멀티 이어폰(100)을 착용한 사용자의 체온을 감지하여 온도 신호를 출력하며, 근접 센서(111)에서 멀티 이어폰(100)의 사용자 착용 여부를 감지하여 접근 신호를 출력한다.
오디오 처리부는 마이크(122)를 통하여 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리하고, 스마트 기기(200)로부터 전기적인 음성 및 음향 신호를 인가 받아 데이터 처리하여 스피커(124)를 통하여 음성 및 음향을 출력한다.
이어폰측 통신부(140)는 WI-FI, 블루투스, RFID, Zigbee와 같은 무선 통신 기술 또는 DSL 방식이나 광 전송 방식과 같은 유선 통신 기술을 통하여 스마트 기기(200)와 데이터 송수신을 인터페이스한다.
이어폰측 제어부(150)는 센서부(110)에서 감지된 사용자의 착용 여부에 대한 접근 신호를 인가 받아 사용자의 동작인식을 시작하게 하고, 감지된 멀티 이어폰(100)을 착용한 사용자 동작의 방향 및 강도에 대한 움직임 신호를 인가 받아 멀티 이어폰(100)의 현재 각가속도 및 기울기를 산출하게 하며, 감지된 사용자의 체온에 대한 온도 신호를 인가 받아 사용자의 운동량을 산출하게 하는 동작 인식 명령을 출력한다.
도 1을 참조하여 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치 내 스마트 기기(200)의 각 구성의 기능을 설명하면 다음과 같다.
전술한 바와 같이, 기기측 통신부(210)는 블루투스, RFID, Zigbee와 같은 무선 통신 기술 또는 DSL 방식이나 광 전송 방식과 같은 유선통신 기술을 통하여 멀티 이어폰(100)과 동작 인식 명령 및 각종 데이터 송수신을 인터페이스한다
이와 같은 구성의 멀티 이어폰(100)을 응용한 컨텐츠에 제한이 없음은 물론이다. 다만, 설명의 편의를 위해 멀티미디어 컨텐츠(222), 게임 컨텐츠(224), 헬스 스포츠 컨텐츠(228)를 예를 들면 다음과 같다.
센싱 데이터 처리부(220)는 기기측 통신부(210)로부터 동작 인식 명령을 인가 받아 멀티미디어 컨텐츠(222) 사용시에는 사전에 설정된 사용자의 동작행위, 예를 들어 멀티 이어폰(100)을 착용한 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작 속도의 강약 등을 산출하여 상기 사전에 설정된 사용자의 동작행위에 상응하는 음원 재생, 정지, 리와인드, 포워드 등의 멀티미디어 음원을 재생하고, 스크래치, 페이딩, 역재생, 증폭효과 조절, 반복 재생 등의 디제잉(DJing) 기능을 수행하며, 라디오, DMB 등의 채널변경, 볼륨조절, e-Book의 페이지 포워드, 리와인드 등의 페이지 제어 기능을 수행한다.
또한, 음악 게임 장르와 음악 또는 스포츠 동작인식에 대한 게임 컨텐츠(224)에 있어서는 동작 인식 명령에 응답하여 이에 상응하는 음원 믹싱 또는 증폭 기능과 사용자 조이스틱과 같은 커서 컨트롤 기능 또는 사용자의 움직임 및 속도 등의 방향성을 판단하는 외부 센서기기의 역할을 수행한다. 이를 통하여 게임 리모컨과 더불어 사용자의 머리 동작 등의 움직임 인식을 통하여 보다 현실감 있는 게임 컨텐츠를 사용할 수 있다.
또한, 헬스 스포츠 컨텐츠(228)에 있어서 동작 인식 명령에 응답하여 이에 상응하는 사용자의 운동량과 체온을 산출하여 현재 사용자의 몸 상태에 맞는 최적의 운동효과를 스케줄링한다. 특히, 멀티이어폰은 사용자의 머리에 착용하므로, 운동 중에서도 달리기, 윗몸일으키기 또는 팔굽혀펴기 등에서는 사용자 머리 동작의 인식으로 보다 정확한 운동량의 측정이 가능하다.
통화기능이 가능한 스마트기기(200)에서 통화 처리부(230)는 외부로부터 소정의 통신망을 통하여 음성 데이터 또는 영상 데이터를 인가 받아 처리하여 수신되는 음성 또는 영상을 사용자에게 전달한다.
디스플레이부(240)는 센싱 데이터 처리부(220) 및 통화 처리부(230)에서 처리되는 정보를 화면 상에 표시한다. 즉, 멀티미디어 컨텐츠(222) 사용시에는 음원의 재생, 정지, 리와인드, 포워드 등의 멀티미디어 음원 재생 동작을 표시하고, 스크래치, 페이딩, 역재생, 증폭효과 조절, 반복 재생 등의 디제잉(DJing) 동작을 표시하며, 라디오, DMB 등의 채널변경, 볼륨조절, e-Book의 페이지 포워드, 리와인드 등의 페이지 동작을 표시한다.
또한, 음악 게임 장르와 동작인식 게임 컨텐츠(224)에 있어서는 음원 믹싱 또는 증폭 기능과 조이스틱과 같은 커서 컨트롤 동작을 표시하고, 헬스 스포츠 컨텐츠(228)에 있어서는 현재 사용자의 몸 상태에 맞는 최적의 운동효과를 스케줄링한 결과를 표시한다.
또한, 스마트 기기(200)가 통화 모드인 경우 통화 처리부(230)에서 처리된 음성 데이터와 관련된 GUI(Graphic User Interface)를 표시하고, 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는 수신된 영상 또는 GUI를 표시한다.
스마트 기기측 제어부(250)는 통상적으로 스마트 기기(200)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다.
도 2는 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법을 나타내는 순서도이다.
도 1 및 도 2를 참조하여 본 발명에 따른 동작 인식이 가능한 멀티 이어폰 장치의 동작 인식 방법을 구체적인 실시 예를 들어 설명하면 다음과 같다.
먼저, 스마트기기(200)의 다양한 컨텐츠에 따라 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작속도의 강약 등의 다양한 설정에 따라 동작 인식 명령을 미리 설정한다. (S110)
사용자가 멀티 이어폰(100)의 전원을 온(ON)시키면 멀티 이어폰(100)은 이어폰측 통신부(140)를 통하여 스마트 기기(200)에 장치 인식 요청 신호를 출력한다.
이때 통신 수단은 WI-FI, 블루투스, RFID, Zigbee와 같은 무선 통신 기술 또는 DSL 방식이나 광 전송 방식과 같은 유선 통신 기술을 모두 사용할 수 있다.
스마트 기기(200)는 기기측 통신부(210)를 통하여 장치 인식 요청 신호를 인가 받아 멀티 이어폰(100)의 장치가 연결된 것을 인식하고 장치 인식 완료 신호를 출력한다.
멀티 이어폰(100) 내 센서부(110)의 동작을 개시하기 위하여 사용자가 멀티 이어폰(100)을 착용한 상태에서 손을 들어 멀티 이어폰(100) 가까이에 대면(S20) 근접 센서(111)에서 멀티 이어폰(100)에 접근하는 사용자의 손에 의한 전자계 변화 또는 적외선을 감지하고 접근 신호를 출력한다.
이어폰측 제어부(150)는 센서부(110)로부터 접근 신호를 인가받아 사용자의 동작인식을 시작한다. (S120)
만일, 사용자가 멀티미디어 컨텐츠(222)를 사용하기를 원한다면 자이로 센서(112)에서 멀티 이어폰(100)을 착용한 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작속도의 강약 등을 감지하여 움직임 신호를 출력한다.
이어폰측 제어부(150)는 자이로 센서(112)로부터 움직임 신호를 인가받아 멀티 이어폰(100)의 현재 각가속도 및 기울기를 산출하여 인식동작 명령을 출력한다.
이어폰측 통신부(140)는 이어폰측 제어부(150)로부터 동작 인식 명령을 인가받아 무선 통신 기술 또는 유선통신 기술을 통하여 기기측 통신부(210)로 전송한다.
스마트 기기(200) 내 센싱 데이터 처리부(220)는 동작 인식 명령을 기기측 통신부(210)로부터 인가받아 사전에 설정된 사용자의 동작행위, 예를 들어 멀티 이어폰(100)을 착용한 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작속도의 강약 등의 다양한 설정에 따른 동작 인식 명령에 상응하는 음원의 재생, 정지, 리와인드, 포워드 등의 멀티미디어 음원을 재생한다. (S240)
또한, 동작 인식 명령에 응답하여 스크래치, 페이딩, 역재생, 증폭효과 조절, 반복 재생 등의 디제잉(DJing) 기능을 수행하며, 라디오, DMB 등의 채널변경, 볼륨조절, e-Book의 페이지 포워드, 리와인드 등의 페이지 제어 기능을 수행한다.
만일, 사용자가 음악 게임 장르나 동작인식 게임 컨텐츠(224)를 사용하기를 원한다면 센싱 데이터 처리부(220)는 동작 인식 명령에 응답하여 음원 믹싱 또는 증폭 기능과 조이스틱과 같은 커서 컨트롤 기능 등을 수행한다.
한편, 사용자가 헬스 스포츠 컨텐츠(228)를 사용하기를 원한다면 멀티 이어폰(100) 내 센서부(110)의 온도 센서(114)에서 멀티 이어폰(100)을 착용한 사용자의 체온을 감지하여 온도 신호를 출력한다.
이어폰측 제어부(150)는 온도 센서(114)로부터 온도 신호를 인가받아 사용자의 운동량과 체온을 체크하게 하는 동작 인식 명령을 출력한다.
스마트 기기(200) 내 센싱 데이터 처리부(220)는 동작 인식 명령을 이어폰측 통신부(140) 및 기기측 통신부(210)로부터 전달받아 사전에 설정된 사용자의 상하 좌우 방향의 직진, 회전 등의 동작과 동작속도의 강약 등의 다양한 설정에 따른 동작 인식 명령에 상응하는 사용자의 머리 움직임 신호 및 체온에 대한 온도 신호를 처리하여 사용자의 운동량과 체온을 체크하여 현재 사용자의 몸 상태에 맞는 최적의 운동효과를 스케줄링한다.
디스플레이부(240)는 센싱 데이터 처리부(220)에서 처리되는 정보를 화면 상에 표시하는데, 멀티미디어 컨텐츠(222) 사용시에는 음원의 재생, 정지, 리와인드, 포워드 등의 멀티미디어 음원 재생 동작을 표시하고, 스크래치, 페이딩, 역재생, 증폭효과 조절, 반복 재생 등의 디제잉(DJing) 동작을 표시하며, 라디오, DMB 등의 채널변경, 볼륨조절, e-Book의 페이지 포워드, 리와인드 등의 페이지 동작을 표시한다.
또한, 음악 게임 장르와 동작인식 게임 컨텐츠(224)에 있어서는 음원 믹싱 또는 증폭 기능과 조이스틱과 같은 커서 컨트롤 동작을 표시하고, 헬스 스포츠 컨텐츠(228)에 있어서는 현재 사용자의 몸 상태에 맞는 최적의 운동효과를 스케줄링한 결과를 표시한다.
멀티 이어폰(100) 내 오디오 처리부는 스마트 기기(200) 내 센싱 데이터 처리부(220)에서 처리된 음향 신호를 인가받아 스피커(124)를 통하여 음향을 출력한다.
상기에서는 각종 컨텐츠 처리를 멀티 이어폰(100) 내 센서부(110)의 감지 동작을 통해서 수행하는 실시예를 설명하였으나, 사용자가 스마트 기기(200)의 소정의 입력 장치를 통하여 컨텐츠 실행을 직접 명령하여 스마트 기기(200)에서 상기 멀티미디어 컨텐츠(222), 게임 컨텐츠(224) 및 헬스 스포츠 컨텐츠(228)를 수행하게 할 수도 있다. (S220)
한편, 스마트 기기(200)에서 전화 통화 기능을 수행하는 경우, 스마트 기기(200) 내 통화 처리부(230)는 기기 외부로부터 호출 신호를 인가받아(S260) 전화 벨 소리와 같은 수신통화 연결음을 송출한다.
사용자는 수신통화 연결음을 인지하고 디스플레이부(240)에 표시된 발신 전화 번호를 보고 전화받기 동작, 예를 들어 고개를 끄덕이는 수락의 의사표시, 또는 고개를 좌우로 흔드는 거절의 의사표시를 한다. (S40)
멀티 이어폰(100) 내 센서부(110)의 자이로 센서(112)는 멀티 이어폰(100)을 착용한 사용자의 머리 동작을 감지하여 움직임 신호를 출력하고, (S140) 이어폰측 제어부(150)는 자이로 센서(112)로부터 움직임 신호를 인가받아 멀티 이어폰(100)의 현재 각가속도 및 기울기를 산출하여 인식동작 명령을 출력한다.
이어폰측 통신부(140)는 이어폰측 제어부(150)로부터 동작 인식 명령을 인가받아 무선 통신 기술 또는 유선통신 기술을 통하여 기기측 통신부(210)로 전송하고, 스마트 기기(200) 내 센싱 데이터 처리부(220)는 동작 인식 명령을 기기측 통신부(210)로부터 인가받아 사전에 설정된 사용자의 동작행위, 예를 들어 멀티 이어폰(100)을 착용한 사용자의 머리 동작에 따른 동작 인식 명령에 상응하는 전화 통화 수락 또는 전화 통화 거절 의사 표시에 따라 통화를 연결한다.
통화 처리부(230)는 외부로부터 소정의 통신망을 통하여 음성 데이터 또는 영상 데이터를 인가받아 처리하여 수신되는 음성 또는 영상을 사용자에게 전달한다. (S280)
이때, 만일 센싱 데이터 처리부(220) 내 멀티미디어 컨텐츠(222), 게임 컨텐츠(224), 헬스 스포츠 컨텐츠(228)에서 현재 실행중인 컨텐츠가 있었다면 대기상태로 전환되고 통화 처리부(230)가 우선적으로 작동한다.
한편, 통화 처리부(230)에서 처리된 음성 데이터는 기기측 통신부(210) 및 이어폰측 통신부(140)를 경유하여 오디오 신호 처리부(120)에 전달되어 데이터 처리되어 스피커(124)를 통하여 음성 및/또는 음향이 출력될 수 있다.
또한, 통화 처리부(230)에서 처리된 영상 데이터는 디스플레이부(240)에 전달되어 수신된 영상 또는/및 영상 통화와 관련된 GUI(Graphic User Interface)로 표시된다.
이와 같이, 본 발명의 동작 인식이 가능한 멀티 이어폰 장치는 사용자의 착용 여부를 감지하여 사용자의 동작인식을 시작하여 사용자 동작의 방향 및 강도, 체온을 감지하여 멀티 이어폰(100)의 현재 각가속도 및 기울기를 산출하고 사용자의 운동량과 체온을 체크함으로써 스마트 기기(200)에서 사용자의 동작과 동작에 따른 멀티미디어 음원을 재생하고, 방송 수신 및 e-Book의 제어 기능을 수행하는 멀티미디어 컨텐츠(222), 음원 믹싱, 증폭, 커서 컨트롤 기능을 수행하는 게임 컨텐츠(224), 사용자의 현재 몸 상태에 맞는 최적의 운동 효과를 스케줄링하는 헬스 스포츠 컨텐츠(228)를 다양하게 수행할 수 있다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 특허 청구범위에 기재된 본 발명의 사상 및 영역을 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100: 멀티 이어폰
110: 센서부
120: 오디오 신호 처리부
140: 이어폰측 통신부
150: 이어폰측 제어부
200: 스마트 기기
210: 기기측 통신부
220: 센싱 데이터 처리부
230: 통화 처리부
240: 디스플레이부
250: 스마트 기기측 제어부

Claims (17)

  1. 사용자의 동작을 감지하여 동작 인식 명령을 출력하는 멀티 이어폰; 및
    상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 스마트 기기;
    를 구비하고,
    상기 멀티 이어폰은 센서부 및 이어폰측 제어부를 구비하며,
    상기 센서부는 상기 사용자의 동작을 감지하고,
    상기 이어폰측 제어부는 상기 감지된 사용자의 동작에 따라 상기 스마트 기기에 상기 동작 인식 명령을 출력하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  2. 제 1 항에 있어서,
    상기 센서부는
    상기 사용자의 접근하는 신체 부위를 감지하여 상기 멀티 이어폰의 착용여부를 더 감지하고, 그리고
    상기 센서부는 상기 착용 여부가 감지된 후 상기 사용자의 동작을 감지하기 시작하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  3. 제 2 항에 있어서,
    상기 센서부는
    상기 사용자의 체온을 더 감지하고, 그리고
    상기 이어폰측 제어부는 상기 감지된 사용자의 체온에 따라 상기 스마트 기기에 상기 동작 인식 명령을 출력하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  4. 제 3 항에 있어서,
    상기 센서부는,
    상기 사용자의 접근하는 신체 부위를 감지하여 접근 신호를 출력하고,
    상기 사용자의 동작의 방향 또는 강도를 감지하여 움직임 신호를 출력하며,
    상기 사용자의 체온을 감지함으로써 온도 신호를 출력하고, 그리고
    상기 이어폰측 제어부는,
    상기 접근 신호에 응답하여 상기 사용자의 동작을 감지하기 시작하고,
    상기 움직임 신호에 응답하여 상기 멀티 이어폰의 현재 각가속도 및 기울기 중 어느 하나 이상을 산출하며,
    상기 온도 신호에 응답하여 상기 사용자의 운동량 및 체온 중 어느 하나 이상을 산출하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  5. 제 4 항에 있어서,
    상기 센서부는
    상기 접근하는 신체 부위의 전자계 변화 또는 적외선을 감지하여 상기 접근 신호를 출력하는 근접 센서;
    상기 사용자의 동작의 방향 및 강도 중 어느 하나 이상을 감지함으로써 상기 사용자의 동작을 감지하여 상기 움직임 신호를 출력하는 자이로 센서;
    상기 사용자의 체온을 감지하여 상기 온도 신호를 출력하는 온도 센서;
    를 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  6. 제 4 항에 있어서,
    상기 멀티 이어폰은
    외부의 음향을 입력받아 음향 데이터로 처리하고, 상기 스마트 기기로부터 음향 신호를 인가받아 데이터 처리하여 음향을 출력하는 오디오 처리부;
    상기 스마트 기기와 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 이어폰측 통신부;
    를 더 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  7. 제 6 항에 있어서,
    상기 이어폰측 통신부는
    무선 통신 기술 또는 유선 통신 기술을 이용하고,
    상기 무선 통신 기술은 블루투스, RFID 및 Zigbee 중 어느 하나를 포함하며, 상기 유선 통신 기술은 DSL 방식 및 광 전송 방식 중 어느 하나를 포함하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  8. 제 1 항에 있어서,
    상기 스마트 기기는
    상기 동작 인식 명령을 전달받아 상기 사용자의 동작의 방향 및 강도와 운동량을 산출하여 상기 컨텐츠를 수행하는 센싱 데이터 처리부;
    외부로부터 음성 데이터 또는 영상 데이터를 인가받아 처리하여 음성 또는 영상을 전송하는 통화 처리부;
    를 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  9. 제 8 항에 있어서,
    상기 스마트 기기는
    상기 멀티 이어폰과 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 기기측 통신부;
    상기 센싱 데이터 처리부 및 상기 통화 처리부에서 처리되는 정보를 화면 상에 표시하는 디스플레이부;
    를 더 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  10. 제 9 항에 있어서,
    상기 스마트 기기는
    상기 기기측 통신부, 상기 센싱 데이터 처리부, 상기 통화 처리부 및 상기 디스플레이부의 동작을 제어하는 스마트 기기측 제어부;
    를 더 구비하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  11. 제 9 항에 있어서,
    상기 디스플레이부는
    상기 스마트 기기가 통화 모드인 경우 상기 통화 처리부에서 처리된 음성 데이터와 관련된 GUI(Graphic User Interface)를 표시하고,
    화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상과 관련된 GUI를 표시하는 것을 특징으로 하는 동작 인식이 가능한 멀티 이어폰 장치.
  12. (a) 멀티 이어폰의 센서부가 사용자의 동작을 감지하여 움직임 신호를 출력하는 단계;
    (b) 상기 멀티 이어폰의 이어폰측 제어부가 상기 움직임 신호를 인가받아 동작 인식 명령을 출력하는 단계;
    (c) 스마트 기기가 상기 동작 인식 명령에 응답하여 상응하는 컨텐츠를 수행하는 단계;
    를 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
  13. 제 12 항에 있어서,
    상기 (a) 단계는
    상기 센서부가 상기 사용자의 체온을 감지하여 온도 신호를 출력하는 단계
    를 포함하고,
    상기 (b) 단계는
    상기 이어폰측 제어부가 상기 온도 신호를 인가받아 상기 사용자의 운동량 및 체온 중 어느 하나 이상을 산출하여 상기 동작 인식 명령을 출력하는 단계를 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
  14. 제 12 항에 있어서,
    상기 (a) 단계 이전에
    (d) 상기 멀티 이어폰이 상기 스마트기기에 장치 인식 요청 신호를 출력하는 단계;
    (e) 상기 스마트 기기가 상기 멀티 이어폰의 연결된 상태를 인식하고 장치 인식 완료 신호를 출력하는 단계;
    (f) 상기 센서부가 상기 사용자의 상기 멀티이어폰의 장착을 감지하여 접근 신호를 출력하는 단계;
    를 더 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
  15. 제 12 항에 있어서,
    상기 멀티 이어폰 장치의 동작 인식 방법은
    상기 멀티 이어폰이 외부의 음향을 입력받아 음향 데이터로 처리하고, 상기 스마트 기기로부터 음향 신호를 인가받아 데이터 처리하여 음향을 출력하는 오디오 처리 단계;
    상기 스마트 기기와 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 이어폰측 통신 단계;
    를 더 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
  16. 제 12 항에 있어서,
    상기 (c) 단계는
    상기 동작 인식 명령을 전달받아 상기 사용자의 동작의 방향 및 강도와 운동량을 산출하여 상기 컨텐츠를 수행하는 센싱 데이터 처리 단계;
    외부로부터 음성 데이터 또는 영상 데이터를 인가받아 처리하여 음성 또는 영상을 전송하는 통화 처리 단계;
    를 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
  17. 제 16 항에 있어서,
    상기 (c) 단계는
    상기 스마트 기기가 상기 멀티 이어폰과 상기 동작 인식 명령 및 데이터 송수신을 인터페이스하는 기기측 통신 단계;
    상기 센싱 데이터 단계 및 상기 통화 처리 단계에서 처리되는 정보를 화면 상에 표시하는 디스플레이 단계;
    를 더 포함하는 것을 특징으로 하는 멀티 이어폰 장치의 동작 인식 방법.
KR1020100113246A 2010-11-15 2010-11-15 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법 KR101183737B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100113246A KR101183737B1 (ko) 2010-11-15 2010-11-15 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100113246A KR101183737B1 (ko) 2010-11-15 2010-11-15 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법

Publications (2)

Publication Number Publication Date
KR20120051898A KR20120051898A (ko) 2012-05-23
KR101183737B1 true KR101183737B1 (ko) 2012-09-17

Family

ID=46268767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100113246A KR101183737B1 (ko) 2010-11-15 2010-11-15 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법

Country Status (1)

Country Link
KR (1) KR101183737B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170033025A (ko) * 2015-09-16 2017-03-24 삼성전자주식회사 전자 장치 및 전자 장치의 동작 제어 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102049781B1 (ko) 2013-02-26 2019-11-28 삼성전자 주식회사 단말기의 어플리케이션 제어 방법 및 장치와 이를 지원하는 이어폰 장치 및 어플리케이션 제어 시스템
KR101415931B1 (ko) * 2013-04-09 2014-07-04 주식회사 루멘스 동작인식 헤드셋
KR101536214B1 (ko) * 2013-10-08 2015-07-13 유한회사 청텍 다기능 스포츠 헤어 밴드형 무선 핸즈프리
KR102238330B1 (ko) * 2014-05-16 2021-04-09 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US10318016B2 (en) * 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
KR101529253B1 (ko) * 2014-11-25 2015-06-29 영보엔지니어링 주식회사 ANC(Active Noise Cancellation) 기능과 디지털 인터페이스를 가지는 휴대폰용 이어폰
CN106375890A (zh) * 2015-07-21 2017-02-01 杭州纳雄科技有限公司 耳机、耳机的控制方法及耳机的使用方法
KR101616839B1 (ko) * 2015-11-24 2016-04-29 이놈들연구소 주식회사 웨어러블 디바이스, 웨어러블 디바이스 시스템 및 웨어러블 디바이스의 제어방법
KR20170098144A (ko) * 2016-02-19 2017-08-29 주식회사 캡틴스 날개가 구비된 캐릭터를 이용하는 모바일 슈팅게임 시스템
KR101984565B1 (ko) * 2017-10-24 2019-05-31 (주)파트론 헬스케어 시스템 및 이의 운동 관리 방법
CN108702567B (zh) * 2017-11-27 2020-08-21 深圳市汇顶科技股份有限公司 耳机、检测耳机的佩戴状态的方法和电子设备
US11344206B2 (en) * 2018-12-18 2022-05-31 Samsung Electronics Co., Ltd. Electronic device including earphone, and method of controlling the electronic device
KR20200134450A (ko) * 2019-05-22 2020-12-02 삼성전자주식회사 웨어러블 전자 장치 및 웨어러블 전자 장치의 착용상태를 식별하는 방법
KR102616910B1 (ko) 2022-12-30 2024-01-02 주식회사 솔루엠 히어러블 디바이스 기반 유저의 운동능력을 기초로 맞춤형 운동 프로그램을 제공하는 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170033025A (ko) * 2015-09-16 2017-03-24 삼성전자주식회사 전자 장치 및 전자 장치의 동작 제어 방법
KR102561414B1 (ko) * 2015-09-16 2023-07-31 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법

Also Published As

Publication number Publication date
KR20120051898A (ko) 2012-05-23

Similar Documents

Publication Publication Date Title
KR101183737B1 (ko) 동작 인식이 가능한 멀티 이어폰 장치 및 이 장치의 동작 인식 방법
US11546410B2 (en) Device and method for adaptively changing task-performing subjects
US8498631B2 (en) Activation of applications based on vibration of portable electronic device
US9961393B2 (en) Method and device for playing multimedia file
US11200022B2 (en) Method and apparatus of playing audio data
KR101901720B1 (ko) 더미 장치와의 연동 방법 및 그 전자 장치
WO2019129020A1 (zh) 一种摄像头自动调焦方法、存储设备及移动终端
US20200257433A1 (en) Display method and mobile terminal
CN110996305B (zh) 连接蓝牙设备的方法、装置、电子设备及介质
WO2021000817A1 (zh) 环境音处理方法及相关装置
WO2021129529A1 (zh) 设备切换方法及相关设备
EP4318199A1 (en) Method for interaction between electronic devices and electronic device
CN111432071B (zh) 通话控制方法及电子设备
WO2021037074A1 (zh) 音频输出方法及电子设备
CN111147919A (zh) 一种播放调整方法、电子设备及计算机可读存储介质
KR20210057790A (ko) 정보 처리 방법 및 단말
JP2016521496A (ja) 発射制御方法、装置、システム、プログラム、及び記録媒体
WO2021190373A1 (zh) 一种交互方法、交互***和显示设备
WO2021136141A1 (zh) 播放方法及电子设备
JP6491237B2 (ja) タッチスクリーンのポイント報告を処理するための方法、装置、プログラム、及び記録媒体
US20160313969A1 (en) Electronic apparatus, image display system, and recording medium
US20180139790A1 (en) Methods, apparatuses and storage medium for controlling a wireless connection
KR20160023212A (ko) 글래스 타입의 이동 단말기 및 그 제어방법
CN115278625A (zh) 蓝牙多媒体包的传输方法、装置、设备和***
CN109445589B (zh) 一种多媒体文件播放控制方法及终端设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160706

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170912

Year of fee payment: 6