KR101322952B1 - 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 - Google Patents
휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 Download PDFInfo
- Publication number
- KR101322952B1 KR101322952B1 KR1020120019061A KR20120019061A KR101322952B1 KR 101322952 B1 KR101322952 B1 KR 101322952B1 KR 1020120019061 A KR1020120019061 A KR 1020120019061A KR 20120019061 A KR20120019061 A KR 20120019061A KR 101322952 B1 KR101322952 B1 KR 101322952B1
- Authority
- KR
- South Korea
- Prior art keywords
- application
- portable terminal
- sensor
- event
- managing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법을 제안한다. 실시 예에 따른 동작인식의 처리를 관리하는 장치는 프레임워크 계층에서 동작하는 장치로서 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하고, 수신한 센싱정보를 이용해서 동작 이벤트를 판단하고, 포그라운드(foreground) 어플리케이션의 정보를 수신하고, 동작 이벤트를 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환해서 어플리케이션 계층에서 동작 중인 포그라운드 어플리케이션으로 전달한다.
Description
본 발명은 동작인식 기능을 가진 휴대용 단말기에 관한 것으로 감지된 동작인식 신호를 좀 더 일반적인 이벤트로 변환하는 방법을 제공 함으로서 좀 더 넓은 범위의 어플리케이션에서 동작 인식 기능을 사용할 수 있도록 하며, 각 어플리케이션에서 별도의 동작인식 기능을 개발해야 하는 부담을 줄이는 방법에 관한 것이다.
동작 인식 기능을 가진 휴대용 단말기는 센서를 통해 사용자에 의해 입력되는 동작을 인식하고, 인식된 동작에 대해 사전에 정의된 기능을 수행한다. 이에 따라, 사용자는 단말에 구비된 키 버튼을 직접 누르지 않고도 단말 자체에 동작을 입력함으로써 단말로 하여금 원하는 기능을 수행하도록 할 수 있다. 이와 같은 동작 인식 기능은 게임이나 애플리케이션에 활용될 수 있다.
하지만 이러한 동작 인식 기능은 동작 인식을 지원하는 특정 어플리케이션에서만 사용되었다.
따라서, 동작 인식 기능을 처리할 수 있는 특화된 전용 어플리케이션(예를 들어 이북, 게임, 뮤직 플레이어 등) 만이 동작 인식 관련 이벤트를 처리하는 형태로 설계되었다.
그 결과 다음과 같은 문제가 발생할 수 있다.
첫째, 동작 인식 기능을 고려하지 않은 어플리케이션의 경우 동작 인식을 감지하더라도 어떠한 기능도 수행되지 않음에 따라 동작인식 기능의 적용 범위가 제한적인 문제가 있다.
둘째, 각 어플리케이션 별로 동작 인식 기능을 따로 개발하여야 하므로 개발자의 부담이 커지며 호환성도 떨어지는 문제가 있다.
셋째, 각 어플리케이션 별도 따로 동작 인식 기능을 개발하므로 각 어플리케이션들의 동작 시나리오가 다름에 따라 일관성이 떨어지고 사용자의 경우 별도의 학습이 필요한 문제가 있다.
본 발명의 실시예는 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법을 제공한다.
본 발명의 실시예는 동작인식 기능을 가진 휴대용 단말기에 관한 것으로 감지된 동작인식 신호를 좀 더 일반적인 이벤트로 변환하는 방법을 제공한다.
본 발명의 실시예에 따른 휴대용 단말기에서 동작인식의 처리를 관리하는 장치는, 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하는 감지부와, 상기 감지부에서 수신한 센싱정보를 이용해서 동작 이벤트를 판단하고 포그라운드(foreground) 어플리케이션의 정보를 수신하는 판단부와, 상기 동작 이벤트를 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하는 변환부 및 상기 실행 이벤트를 상기 포그라운드 어플리케이션으로 전달하는 전달부를 포함한다.
이때, 상기 감지부, 상기 판단부, 상기 변환부 및 상기 전달부는, 프레임워크 계층(framework layer)에서 구동된다.
이때, 상기 판단부는, 어플리케이션을 관리하는 작업 관리부로 상기 포그라운드 어플리케이션의 정보를 요청하고, 상기 작업 관리부로부터 상기 포그라운드 어플리케이션의 정보를 수신할 수 있다.
이때, 상기 변환부는, 어플리케이션의 분류별로 동작 이벤트에 대응하는 실행 이벤트가 기저장된 변환 테이블을 참조해서 상기 동작 이벤트를 상기 실행 이벤트로 변환할 수 있다.
여기서, 상기 변환 테이블은, 어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하고, 상기 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 포함할 수 있다.
한편, 상기 센서는, 카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중에 적어도 하나 일 수 있다.
여기서, 상기 동작 이벤트는, 상기 휴대용 단말기의 주변에 위치한 물체의 움직임을 인식한 정보 또는 상기 휴대용 단말기의 움직임을 인식한 정보일 수 있다.
한편, 디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되면 상기 센서를 구동시키도록 제어하는 센서 관리부를 더 포함할 수 있다.
본 발명의 실시예에 따른 휴대용 단말기에서 동작인식의 처리를 관리하는 방법은, 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하는 단계와, 상기 센싱정보를 이용해서 동작 이벤트를 판단하는 단계와, 포그라운드(foreground) 어플리케이션의 정보를 수신하는 단계와, 상기 동작 이벤트를 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하는 단계 및 상기 실행 이벤트를 상기 포그라운드 어플리케이션으로 전달하는 단계를 포함한다.
본 발명은 동작인식 기능을 가진 휴대용 단말기에 관한 것으로 감지된 동작인식 신호를 좀 더 일반적인 이벤트로 변환하는 방법을 제공 함으로서 좀 더 넓은 범위의 어플리케이션에서 동작인식을 사용할 수 있도록 한다. 따라서, 각 어플리케이션에서 별도의 동작 인식 기능을 개발해야 하는 부담을 줄이고, 사용자는 어플 별로 동작 인식 기능을 사용하기 위한 학습을 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 휴대용 단말기에서 동작인식의 처리를 관리하는 장치의 구성을 도시한 도면,
도 2는 본 발명의 실시예에 따른 휴대용 단말기에서 각 구성요소간 동작인식을 처리하기 위한 과정을 도시한 도면,
도 3은 본 발명의 실시예에 따른 휴대용 단말기의 동작인식 처리부에서 동작인식을 처리하는 과정을 도시한 흐름도,
도 4는 본 발명의 실시예에 따른 동작 인식 처리가 갤러리 어플리케이션에 적용된 예를 도시한 도면,
도 5는 본 발명의 실시예에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면 및,
도 6은 본 발명의 실시예에 따라 어플리케이션의 카테고리에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 휴대용 단말기에서 각 구성요소간 동작인식을 처리하기 위한 과정을 도시한 도면,
도 3은 본 발명의 실시예에 따른 휴대용 단말기의 동작인식 처리부에서 동작인식을 처리하는 과정을 도시한 흐름도,
도 4는 본 발명의 실시예에 따른 동작 인식 처리가 갤러리 어플리케이션에 적용된 예를 도시한 도면,
도 5는 본 발명의 실시예에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면 및,
도 6은 본 발명의 실시예에 따라 어플리케이션의 카테고리에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 휴대용 단말기에서 동작인식의 처리를 관리하는 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 휴대용 단말기는 동작인식 처리부(110), 센서관리부(120), 작업 관리부(130), 센서부(140), 변환 테이블(150) 및 어플 실행부(160)를 포함할 수 있다.
센서부(140)는 동작을 감지할 수 있는 센서를 적어도 하나 포함하고, 센서관리부(120)의 제어에 따라 구동을 시작하거나 종료된다. 센서부(140)에 포함된 센서는 센싱한 센싱정보를 동작인식 처리부(110)로 제공한다. 이때, 센서는 카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중 적어도 하나가 될 수 있다.
센서관리부(120)는 작업 관리부(130)에서 실행되는 작업정보를 수신해서 센서의 시작 조건을 만족하면, 센서부(140)에 포함된 센서를 구동시키도록 제어한다. 이때, 센서의 시작 조건은 디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되는 경우 중에서 적어도 하나일 수 있다. 시작 조건의 예로는 디스플레이부가 활성화되어 홈 스크린이 활성화 된 경우, 기설정된 카테고리인 뮤직 플레이 카테고리에 포함된 뮤직 플레이 어플이 실행된 경우, 또는 기설정된 어플리케이션인 갤러리 어플이 실행된 경우 등이 가능하다.
또한, 센서관리부(120)는 센서의 종료 조건을 만족하면, 구동 중인 센서를 정지시키도록 제어한다. 이때, 센서의 종료 조건은 센서가 구동 중에 만족하는 센서의 시작 조건이 없는 경우가 될 수 있다.
작업 관리부(130)는 어플리케이션의 실행과 종료를 관리하고 어플리케이션 간의 메시지 전달도 관리한다. 안드로이드 운영체제의 휴대용 단말기에서는 액티비티 매니저(activity manager) 가 작업 관리부(130)의 기능을 수행한다.
동작인식 처리부(110)는 센서의 센싱정보를 수신해서 포그라운드 어플리케이션에서 처리 가능한 실행 이벤트로 변환한다. 이때, 동작인식 처리부(110)는 감지부(112), 판단부(114), 변환부(116) 및 전달부(118)를 포함할 수 있다.
감지부(112)는 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신한다.
판단부(114)는 감지부(112)에서 수신한 센싱정보를 이용해서 동작 이벤트를 판단하고, 포그라운드(foreground) 어플리케이션의 정보를 수신한다. 이때, 동작 이벤트는 휴대용 단말기의 주변에 위치한 물체의 움직임을 인식한 정보이거나 휴대용 단말기의 움직임을 인식한 정보 중 적어도 하나일 수 있다.
판단부(114)는 포그라운드 어플리케이션의 정보를 작업 관리부(130)로 요청해서 작업 관리부(130)로부터 수신할 수 있다.
변환부(116)는 동작 이벤트를 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환한다. 이때, 동작 이벤트에 대응하는 실행 이벤트는 아래 도 5의 예와 같을 수 있다. 도 5는 본 발명의 실시예에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면이다.
변환부(116)는 어플리케이션의 분류 별로 동작 이벤트에 대응하는 실행 이벤트가 기저장된 변환 테이블(150)을 참조해서 동작 이벤트를 상기 실행 이벤트로 변환할 수 있다.
변환 테이블(150)은 어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하고, 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 더 포함할 수 있다. 이때, 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트는 도 5에 기재된 바와 같이 터치 스크린의 터치 이벤트(Flicking)가 될 수 있다.
도 6은 본 발명의 실시예에 따라 어플리케이션의 카테고리에 따라 동작 인식에 따른 동작 이벤트가 변환될 수 있는 실행 이벤트의 예를 도시한 도면이다.
도 6을 참조하면, 각 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트가 정의되어 있음을 확인 할 수 있다. 이때, All Programs 은 카테고리로 분류되지 않은 어플리케이션을 나타낸다.
전달부(118)는 실행 이벤트를 어플 실행부(160)를 통해 실행중인 포그라운드 어플리케이션으로 전달한다.
어플 실행부(160)는 포그라운드 어플리케이션의 동작을 수행하고, 전달부(118)로부터 실행 이벤트를 수신하면 실행 이벤트를 포그라운드 어플리케이션에 제공해서 실행 이벤트가 처리되도록 한다.
도 1에서 어플 실행부(160)는 어플리케이션 계층(application layer)(180)에서 동작한다. 그리고, 동작인식 처리부(110), 센서관리부(120), 작업 관리부(130), 센서부(140) 및 변환 테이블(150)은 프레임워크 계층(framework layer)(170)에서 동작하는 것이 바람직하다.
도 2는 본 발명의 실시예에 따른 휴대용 단말기에서 각 구성요소간 동작인식을 처리하기 위한 과정을 도시한 도면이다.
도 2를 참조하면, 센서 관리부(120)는 201단계에서 작업 관리부(130)를 모니터링 하거나 또는 작업 관리부(130)로부터 수행 중인 작업정보를 수신하고, 202단계에서 수신한 작업정보를 이용해서 센서 시작 조건을 감지한다. 이때, 센서의 시작 조건은 디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되는 경우 중에서 적어도 하나일 수 있다. 시작 조건의 예로는 디스플레이부가 활성화되어 홈 스크린이 활성화 된 경우, 기설정된 카테고리인 뮤직 플레이 카테고리에 포함된 뮤직 플레이 어플이 실행된 경우, 또는 기설정된 어플리케이션인 갤러리 어플이 실행된 경우 등이 가능하다.
그리고, 센서 관리부(120)는 센서 시작 조건이 감지되면 203단계에서 센서부(140)로 센서 시작을 요청한다.
센서 시작을 요청 받은 센서부(140)는 204단계에서 센싱정보를 동작인식 처리부(110)로 제공한다. 이때, 센서는 카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중 적어도 하나가 될 수 있다. 여기서, 카메라 센서의 센싱정보는 일정기간 동안 촬영된 이미지들이고, 적외선 센서의 센싱정보는 물체의 근접 유무를 나타내는 정보이고, 자이로 센서의 센싱정보는 센서부(140)를 포함하는 단말기의 각축이 회전한 각도를 나타내는 정보이고, 가속도 센서의 센싱정보는 센서부(140)를 포함하는 단말기의 각축에 대한 중력 가속도를 나타내는 정보이다. 카메라 센서와 적외선 센서의 센싱정보로는 센서부(140)를 포함하는 단말기 외부의 물체의 이동을 감지할 수 있고, 자이로 센서 및 가속도 센서의 센싱정보로는 센서부(140)를 포함하는 단말기의 움직임을 감지할 수 있다.
센싱정보를 수신한 동작인식 처리부(110)는 205단계에서 센싱정보를 이용해서 동작 이벤트를 판단한다. 예를 들어 카메라 센서의 센싱정보를 수신한 경우 동작인식 처리부(110)는 촬영된 이미지의 프레임을 분석해서 물체가 이동을 확인하고, 확인된 물체의 이동을 동작 이벤트로 판단한다. 보다 구체적으로 동작인식 처리부(110)는 촬영 이미지 프레임의 각 픽셀의 명도에 의해 음영 영역을 추출하고 추출된 음영영역의 변화를 기반으로 물체의 이동을 확인한다. 이때, 동작인식 처리부(110)는 오류 발생을 방지하기 위해 초기에 촬영된 이미지의 전체 명도 평균값을 산출하고, 상기 산출된 평균값에서 소정 비율 이하의 명도를 가지는 픽셀을 음영 영역으로 추출할 수도 있다.
그리고, 동작인식 처리부(110)는 206단계에서 작업 관리부(130)로 포그라운드 어플리케이션의 정보를 요청하고, 207단계에서 작업 관리부(130)로부터 포그라운드 어플리케이션의 정보를 수신한다.
그리고, 동작인식 처리부(110)는 208단계에서 변환 테이블을 참조해서 동작 이벤트를 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하고, 209단계에서 실행 이벤트를 어플 실행부(160)로 제공한다. 이때, 변환 테이블은 어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하고, 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 더 포함할 수 있다. 이때, 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트는 도 5에 기재된 바와 같이 터치 스크린의 터치 이벤트(Flicking)가 될 수 있다. 변환 테이블은 도 5 또는 도 6과 같이 구성될 수 있다.
한편, 센서 관리부(120)는 210단계에서 작업 관리부(130)를 모니터링 하거나 또는 작업 관리부(130)로부터 수행 중이 작업정보를 수신하고, 211단계에서 수신한 작업정보를 이용해서 센서 종료 조건을 감지한다. 이때, 센서 종료 조건은 센서 시작 조건을 만족하지 않을 때가 될 수 있다. 즉, 센서 종료 조건은 디스플레이부가 꺼져서 비활성화 되거나, 센서를 시작하게 했던 어플리케이션의 실행이 종료되거나 백그라운드 어플로 변경된 경우 등이 될 수 있다.
예를 들어 센서 종료 조건은 어떤 입력도 감지도지 않은 상태가 일정시간 지속되어 디스플레이부가 비활성화 된 경우, 슬립모드 전환 입력으로 인해 디스플레이부가 비활성화 된 경우, 센서 시작 조건에 해당하는 어플인 뮤직 플레이 또는 갤러리 어플이 종료되거나 백그라운드에서 동작하는 경우 등이 될 수 있다.
그리고, 센서 관리부(120)는 센서 시작 조건이 감지되면 212단계에서 센서부(140)로 센서의 정지를 요청한다.
그러면, 휴대용 단말기에서 저장된 사진을 검색할 수 있는 갤러리 어플리케이션이 실행된 경우 동작 인식 처리의 예를 아래 도 4를 통해 설명한다.
도 4는 본 발명의 실시예에 따른 동작 인식 처리가 갤러리 어플리케이션에 적용된 예를 도시한 도면이다.
도 4를 참조하면, (a)는 갤러리 어플리케이션이 실행되어 사진이 디스플레이된 상태를 도시한 도면이다. (b)는 갤러리 어플리케이션에 의해 출력되는 사진이 사용자의 손의 동작에 따라 변경되는 것을 도시한 도면이다. (c)는 갤러리 어플리케이션에서 사용자의 손의 동작에 의해 다음 사진으로 전환이 완료된 것을 도시한 도면이다.
도 4의 갤러리 어플리케이션은 어플 자체적으로는 동작 인식에 따른 인터페이스를 서비스하지 않는다.
동작인식 처리부(110)는 갤러리 어플리케이션이 실행되어 사진이 디스플레이되는 (a) 상태에서 사용자가 손을 왼쪽에서 오른쪽으로 이동하는 동작 이벤트를 감지하면, 동작 이벤트를 터치 스크린을 왼쪽에서 오른쪽 플리킹(Flicking)하는 실행 이벤트로 변환한다. 그리고, 동작인식 처리부(110)는 실행 이벤트를 갤러리 어플리케이션으로 제공한다.
갤러리 어플리케이션은 실행 이벤트를 수행해서 (a)의 상태를 (b)의 상태를 거쳐 (c)의 상태와 같이 되도록 전환한다.
즉, 갤러리 어플리케이션은 자체적으로 동작 이벤트를 처리하지 못하나 동작인식 처리부(110)에 의해 플리킹으로 변환된 실행 이벤트를 수신해서 처리함으로써 동작에 대응하는 실행이 가능할 수 있다.
이하, 상기와 같이 구성된 본 발명에 따른 동작 인식 처리 방법을 아래에서 도면을 참조하여 설명한다.
도 3은 본 발명의 실시예에 따른 휴대용 단말기의 동작인식 처리부에서 동작인식을 처리하는 과정을 도시한 흐름도이다.
도 3을 참조하면, 동작인식 처리부(110)는 310단계에서 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신한다.
그리고, 동작인식 처리부(110)는 320단계에서 센싱정보를 이용해서 동작 이벤트를 판단한다.
그리고, 동작인식 처리부(110)는 330단계에서 작업 관리부(130)로 포그라운드(foreground) 어플리케이션의 정보를 요청해서 수신한다.
그리고, 동작인식 처리부(110)는 340단계에서 변환 테이블(150)을 참조해서 동작 이벤트를 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환한다.
그리고, 동작인식 처리부(110)는 350단계에서 실행 이벤트를 포그라운드 어플리케이션으로 전달한다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Claims (20)
- 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하는 감지부;
상기 감지부에서 수신한 센싱정보를 이용해서 동작 이벤트를 판단하고 포그라운드(foreground) 어플리케이션의 정보를 수신하는 판단부;
상기 동작 이벤트를 어플리케이션 분류에 따라 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하는 변환부; 및
상기 실행 이벤트를 상기 포그라운드 어플리케이션으로 전달하는 전달부를 포함하는
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 제1항에 있어서,
상기 감지부, 상기 판단부, 상기 변환부 및 상기 전달부는,
프레임워크 계층(framework layer)에서 구동되는
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 제1항에 있어서,
상기 판단부는,
어플리케이션을 관리하는 작업 관리부로 상기 포그라운드 어플리케이션의 정보를 요청하고, 상기 작업 관리부로부터 상기 포그라운드 어플리케이션의 정보를 수신하는
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 제1항에 있어서,
상기 변환부는,
어플리케이션의 분류별로 동작 이벤트에 대응하는 실행 이벤트가 기저장된 변환 테이블을 참조해서 상기 동작 이벤트를 상기 실행 이벤트로 변환하는
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 제4항에 있어서,
상기 변환 테이블은,
어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하는
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 제5항에 있어서,
상기 변환 테이블은,
상기 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 더 포함하는
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 제1항에 있어서,
상기 센서는,
카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중에 적어도 하나 인
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 제1항에 있어서,
상기 동작 이벤트는,
상기 휴대용 단말기의 주변에 위치한 물체의 움직임을 인식한 정보 또는
상기 휴대용 단말기의 움직임을 인식한 정보인
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 제1항에 있어서,
디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되면 상기 센서를 구동시키도록 제어하는 센서 관리부를 더 포함하는
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 제9항에 있어서,
상기 센서 관리부는,
상기 기설정된 카테고리에 포함된 어플리케이션 또는 상기 기설정된 어플리케이션이 실행 중이 아니거나 또는 상기 디스플레이부가 비활성화 되면 상기 센서의 구동을 정지시키도록 제어하는
휴대용 단말기에서 동작인식의 처리를 관리하는 장치.
- 동작을 감지하기 위한 적어도 하나 이상의 센서로부터 센싱정보를 수신하는 단계;
상기 센싱정보를 이용해서 동작 이벤트를 판단하는 단계;
포그라운드(foreground) 어플리케이션의 정보를 수신하는 단계;
상기 동작 이벤트를 어플리케이션 분류에 따라 상기 포그라운드 어플리케이션에 대응하는 실행 이벤트로 변환하는 단계; 및
상기 실행 이벤트를 상기 포그라운드 어플리케이션으로 전달하는 단계를 포함하는
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
- 제11항에 있어서,
상기 센싱정보를 수신하는 단계, 상기 동작 이벤트를 판단하는 단계, 상기 포그라운드 어플리케이션의 정보를 수신하는 단계, 상기 실행 이벤트로 변환하는 단계 및 상기 포그라운드 어플리케이션으로 전달하는 단계는,
프레임워크 계층(framework layer)에서 수행하는
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
- 제11항에 있어서,
상기 포그라운드 어플리케이션의 정보를 수신하는 단계는,
어플리케이션을 관리하는 작업 관리부로 상기 포그라운드 어플리케이션의 정보를 요청해서 상기 작업 관리부로부터 상기 포그라운드 어플리케이션의 정보를 수신하는
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
- 제11항에 있어서,
상기 실행 이벤트로 변환하는 단계는,
어플리케이션의 분류별로 동작 이벤트에 대응하는 실행 이벤트가 기저장된 변환 테이블을 참조해서 상기 동작 이벤트를 상기 실행 이벤트로 변환하는
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
- 제14항에 있어서,
상기 변환 테이블은,
어플리케이션의 카테고리 별로 동작 이벤트에 대응하는 실행 이벤트를 포함하는
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
- 제15항에 있어서,
상기 변환 테이블은,
상기 카테고리에 분류되지 않은 어플리케이션에 대한 동작 이벤트에 대응하는 실행 이벤트를 더 포함하는
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
- 제11항에 있어서,
상기 센서는,
카메라 센서, 적외선 센서, 자이로 센서 및 가속도 센서 중에 적어도 하나 인
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
- 제11항에 있어서,
상기 동작 이벤트는,
상기 휴대용 단말기의 주변에 위치한 물체의 움직임을 인식한 정보 또는
상기 휴대용 단말기의 움직임을 인식한 정보인
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
- 제11항에 있어서,
상기 센싱정보를 수신하는 단계 이전에,
디스플레이부가 활성화 되거나, 기설정된 카테고리에 포함된 어플리케이션이 실행되거나 또는 기설정된 어플리케이션이 실행되면 상기 센서를 구동시키는 단계를 더 포함하는
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
- 제19항에 있어서,
상기 센서를 구동시키는 단계 이후에,
상기 기설정된 카테고리에 포함된 어플리케이션 또는 상기 기설정된 어플리케이션이 실행 중이 아니거나 또는 상기 디스플레이부가 비활성화 되면 상기 센서의 구동을 정지시키는 단계를 더 포함하는
휴대용 단말기에서 동작인식의 처리를 관리하는 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120019061A KR101322952B1 (ko) | 2012-02-24 | 2012-02-24 | 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 |
US13/563,717 US20130222241A1 (en) | 2012-02-24 | 2012-07-31 | Apparatus and method for managing motion recognition operation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120019061A KR101322952B1 (ko) | 2012-02-24 | 2012-02-24 | 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130097423A KR20130097423A (ko) | 2013-09-03 |
KR101322952B1 true KR101322952B1 (ko) | 2013-10-29 |
Family
ID=49002277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120019061A KR101322952B1 (ko) | 2012-02-24 | 2012-02-24 | 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130222241A1 (ko) |
KR (1) | KR101322952B1 (ko) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9342230B2 (en) * | 2013-03-13 | 2016-05-17 | Microsoft Technology Licensing, Llc | Natural user interface scrolling and targeting |
KR102109618B1 (ko) * | 2013-09-17 | 2020-05-13 | 주식회사 팬택 | 단말기 및 단말기의 설정 관리 방법 |
KR101489619B1 (ko) * | 2014-01-21 | 2015-02-04 | 한양대학교 에리카산학협력단 | 전력 절감을 위한 스마트 단말기 3축 가속도계 센싱 방법 및 장치 |
CN105592261A (zh) * | 2014-11-04 | 2016-05-18 | 深圳富泰宏精密工业有限公司 | 辅助拍照***及方法 |
CN105975294A (zh) * | 2016-03-31 | 2016-09-28 | 乐视控股(北京)有限公司 | 一种移动终端应用程序的启动方法及装置 |
CN107831987B (zh) * | 2017-11-22 | 2020-06-16 | 出门问问信息科技有限公司 | 防手势操作的误触控方法及装置 |
SG11202011206UA (en) * | 2018-05-11 | 2020-12-30 | Beijing Bytedance Network Technology Co Ltd | Interaction method, device and equipment for operable object |
CN109753209B (zh) | 2018-06-21 | 2020-05-05 | 北京字节跳动网络技术有限公司 | 一种应用程序启动方法、装置及设备 |
WO2024085353A1 (ko) * | 2022-10-20 | 2024-04-25 | 삼성전자주식회사 | 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100119942A (ko) * | 2009-05-04 | 2010-11-12 | 삼성전자주식회사 | 휴대용 단말기에서 사용자 자세에 따른 자동 호 수발신을 위한 장치 및 방법 |
KR20110080636A (ko) * | 2010-01-06 | 2011-07-13 | 엘지전자 주식회사 | 이동단말기 및 그 제어 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5157384A (en) * | 1989-04-28 | 1992-10-20 | International Business Machines Corporation | Advanced user interface |
US7173604B2 (en) * | 2004-03-23 | 2007-02-06 | Fujitsu Limited | Gesture identification of controlled devices |
KR101593598B1 (ko) * | 2009-04-03 | 2016-02-12 | 삼성전자주식회사 | 휴대단말에서 제스처를 이용한 기능 실행 방법 |
-
2012
- 2012-02-24 KR KR1020120019061A patent/KR101322952B1/ko active IP Right Grant
- 2012-07-31 US US13/563,717 patent/US20130222241A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100119942A (ko) * | 2009-05-04 | 2010-11-12 | 삼성전자주식회사 | 휴대용 단말기에서 사용자 자세에 따른 자동 호 수발신을 위한 장치 및 방법 |
KR20110080636A (ko) * | 2010-01-06 | 2011-07-13 | 엘지전자 주식회사 | 이동단말기 및 그 제어 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20130222241A1 (en) | 2013-08-29 |
KR20130097423A (ko) | 2013-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101322952B1 (ko) | 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 | |
US9043502B1 (en) | Portable computing device as control mechanism | |
US9268524B2 (en) | Information processing apparatus, information processing method, and computer readable medium | |
EP3413163B1 (en) | Method for processing data collected by touch panel, and terminal device | |
EP2680110B1 (en) | Method and apparatus for processing multiple inputs | |
EP3866402B1 (en) | Controlling a device based on processing of image data that captures the device and/or an installation environment of the device | |
US9930251B2 (en) | Method for quick photographing by mobile terminal, and mobile terminal | |
US10444951B2 (en) | Method and device for identifying a left-hand or a right-hand mode of operation on a user handheld device | |
US20150077799A1 (en) | Information processing system, input/output device, and authentication method | |
US9201503B2 (en) | User interface device, image forming apparatus, user interface control method, and computer program product | |
KR20160114635A (ko) | 사용자 입력을 디바이스에 제공하기 위한 기술들 | |
US20130120289A1 (en) | Information processing apparatus and method of controlling same | |
JP2013200712A (ja) | 操作表示装置 | |
US9104349B2 (en) | Electronic apparatus | |
JP2013182528A (ja) | 情報処理装置、プログラム | |
CN105302404A (zh) | 鼠标指针快速移动的方法及*** | |
TW202004432A (zh) | 電子裝置及電子裝置的操作控制方法 | |
US11682392B2 (en) | Information processing apparatus | |
US20230384868A1 (en) | Display apparatus | |
TWI592836B (zh) | 光標產生系統、方法及電腦程式產品 | |
JP6809209B2 (ja) | 表示装置及びプログラム | |
JP6614081B2 (ja) | 端末装置 | |
KR101424562B1 (ko) | 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템 | |
JP2021526686A (ja) | モバイルデバイスを使用した共有ディスプレイの注釈システムおよび方法 | |
WO2017119293A1 (ja) | 座標検出装置、制御方法、及び座標検出システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180329 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190327 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20191002 Year of fee payment: 7 |