KR20150115365A - 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치 - Google Patents
전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치 Download PDFInfo
- Publication number
- KR20150115365A KR20150115365A KR1020140040276A KR20140040276A KR20150115365A KR 20150115365 A KR20150115365 A KR 20150115365A KR 1020140040276 A KR1020140040276 A KR 1020140040276A KR 20140040276 A KR20140040276 A KR 20140040276A KR 20150115365 A KR20150115365 A KR 20150115365A
- Authority
- KR
- South Korea
- Prior art keywords
- input
- user
- user input
- user interface
- display
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 191
- 230000004044 response Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 37
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 14
- 230000009849 deactivation Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
- G06F3/04895—Guidance during keyboard input operation, e.g. prompting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 전자장치에서 사용자 입력 방식에 대응하여 서로 다른 형태의 사용자 인터페이스를 제공하기 위한 방법 및 장치에 관한 것이다.
본 발명의 실시예에 따른 방법은, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법으로, 제1사용자 입력 방식에 대응한 제1사용자 인터페이스(들)를 표시하는 동작; 및 제2사용자 입력 방식의 사용자 입력이 검출되면, 상기 제1사용자 인터페이스(들)에 대응하는 기능을 상기 제2사용자 입력 방식으로 실행시키기 위한 입력 가이드(들)를 표시하는 동작;을 포함할 수 있다.
본 발명의 실시예에 따른 방법은, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법으로, 제1사용자 입력 방식에 대응한 제1사용자 인터페이스(들)를 표시하는 동작; 및 제2사용자 입력 방식의 사용자 입력이 검출되면, 상기 제1사용자 인터페이스(들)에 대응하는 기능을 상기 제2사용자 입력 방식으로 실행시키기 위한 입력 가이드(들)를 표시하는 동작;을 포함할 수 있다.
Description
본 발명은 전자장치에서 사용자 입력 방식에 대응하여 서로 다른 형태의 사용자 인터페이스를 제공하기 위한 방법 및 장치에 관한 것이다.
전자 기술이 급격히 발전함에 따라 휴대가 가능한 소형화 전자 장치들이 대거 등장하였으며, 많은 사람들이 여러 대의 휴대용 전자 장치들을 소지하게 되었다. 이러한 전자 장치들을 예를 들어 살펴보면, 핸드폰, 스마트 폰, 태블릿 컴퓨터, 노트북 컴퓨터, 전자 시계, 전자 사전, MP3 플레이어, CD 플레이어, DVD 플레이어, 게임기 등의 다양한 전자장치들이 있다.
이처럼 휴대용 전자장치는 물론 가정에서도 스마트 텔레비전이나 개인용 컴퓨터는 물론 현관 출입 보안 시스템 등 자동화를 위한 다양한 형태의 전자 기기들이 사용되고 있다. 이러한 전자장치들은 대체로 사용자의 입력 편의를 위해 터치스크린 형태 또는 터치 형태의 입력 방식을 채택하는 경우가 대부분이다. 터치스크린 형태 또는 터치 형태의 입력 방식은 문자, 숫자, 이모티콘 등의 다양한 형태를 표시하기 위한 디스플레이 모듈에서 표시된 내용 중 특정한 영역을 터치하거나 또는 터치 앤 드래그 등의 동작을 통해 사용자의 입력을 검출하고 검출된 정보에 따라 동작하는 방식이다.
전자장치들에서는 터치 형태의 입력 방식만을 이용하는 경우 사용자의 편의성을 충족하기 어려운 경우들이 발생하고 있어, 터치 형태의 입력 방식 이외에 다른 다양한 형태의 입력 방식을 제공하는 형태로 발전하고 있다. 가령, 호버링(Hovering) 입력 방식, 모션(motion) 또는 제스처(gesture)를 인지하는 방식, 눈동자 인식을 이용한 입력 방식 등 다양한 형태의 입력 방식이 제안되어 사용되고 있다.
전자장치에서 터치 형태의 입력 방식 이외에 다양한 형태의 입력 방식이 존재하지만, 전자장치들에서 각각의 입력 방식에 대응하여 사용자에게 적합한 활용법 또는 조작법을 제공하지 못하고 있다. 이는 입력 방식이 달라지면, 사용자가 어떻게 동작해야 전자장치에서 인지하고 이에 대응한 동작을 하는지를 직관적으로 알려주는 방법이 없었기 때문이다.
대체로 둘 이상의 입력 방식을 사용하는 전자장치들은 전자장치를 구매하는 고객들에게 입력 방식을 다양하게 사용하기 위한 내용을 포함한 매우 두꺼운 설명서만을 제공하거나 또는 아무런 설명이 없는 경우도 있다. 따라서 다양한 입력 방식을 사용하고자 하는 사용자들은 서로 다른 형식의 입력 방법을 암기해 사용하거나 아니면 기능 자체를 사용하지 않게 된다.
이처럼 고객들이 전자장치에 탑재된 기능을 원활히 사용하지 못함으로써 불필요한 개발비용의 낭비는 물론 사용자들의 편의를 충분히 제공하지 못하는 문제를 초래하고 있다.
따라서 본 발명에서는 둘 이상의 입력 방식을 제공하는 전자장치에서 각각의 입력 방식에 대응하여 사용자 인터페이스를 제공한다.
또한 본 발명에서는 둘 이상의 입력 방식을 갖는 전자장치에서 사용자가 쉽게 서로 다른 입력 방식을 혼용하여 사용할 수 있는 방법 및 장치를 제공한다.
또한 본 발명에서는 둘 이상의 입력 방식을 갖는 전자장치에서 사용자가 직관적으로 인지할 수 있는 사용자 인터페이스를 제공한다.
또한 본 발명에서는 둘 이상의 입력 방식을 갖는 전자장치에서 구현이 용이한 사용자 인터페이스를 제공한다.
또한 본 발명에서는 둘 이상의 입력 방식을 갖는 전자장치에서 연속적으로 하나의 선택된 입력 방식에 따라 동작할 수 있는 사용자 인터페이스를 제공한다.
또한 본 발명에서는 각각의 입력 방식을 자동으로 검출하고, 검출된 방식에 따라 자동으로 해당하는 인터페이스를 표시하도록 하는 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 방법은, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법으로, 제1사용자 입력 방식에 대응한 제1사용자 인터페이스(들)를 표시하는 동작; 및 제2사용자 입력 방식의 사용자 입력이 검출되면, 상기 제1사용자 인터페이스(들)에 대응하는 기능을 상기 제2사용자 입력 방식으로 실행시키기 위한 입력 가이드(들)를 표시하는 동작;을 포함할 수 있다.
본 발명의 일 실시예에 따른 장치는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치로, 제1사용자 입력 방식과 제2사용자 입력 방식으로 사용자의 입력을 검출하기 위한 사용자 입력 모듈; 상기 제1사용자 입력 방식에 대응한 제1사용자 인터페이스(들)와 상기 제2사용자 입력 방식에 대응한 입력 가이드(들)를 표시하기 위한 디스플레이 모듈; 상기 제1사용자 인터페이스(들) 및 상기 입력 가이드(들)를 저장하며, 상기 전자장치의 동작 프로그램을 저장하는 메모리; 및 상기 제1사용자 입력 방식을 상기 디스플레이 모듈에 표시하는 중 상기 사용자 입력 모듈로부터 상기 제2사용자 입력 방식이 검출될 시 상기 제1사용자 인터페이스(들)에 대응하는 기능을 상기 제2사용자 입력 방식으로 실행시키기 위한 입력 가이드(들)로 전환하여 상기 디스플레이 모듈에 표시하도록 제어하는 프로세서;를 포함할 수 있다.
본 발명에 따른 전자장치를 사용하면, 각각의 입력 방식에 대응한 사용자 인터페이스를 제공하므로 사용자가 쉽게 서로 다른 입력 방식을 혼용하여 사용할 수 있다. 또한 본 발명에 따른 전자장치를 사용하면, 사용자가 직관적으로 인터페이스를 사용법을 인지할 수 있으며, 연속적으로 하나의 선택된 입력 방식에 따라 동작할 수도 있고, 손쉽게 입력 방식을 전환할 수도 있다. 이러한 입력 방식의 전환은 미리 설정된 입력 방식 중 하나의 방법이 선택되면 자동으로 전환되므로 사용자의 편의성을 증대시킬 수 있다. 또한 본 발명에 따른 인터페이스는 구현이 용이한 장점을 가진다.
도 1은 다양한 실시예에 따른 전자장치에 대한 블록도,
도 2는 다양한 실시예들에 따른 하드웨어 200의 블록도,
도 3은 한 실시예에 따른 프로그래밍 모듈 300의 블록도,
도 4는 본 발명의 실시예에 따른 전자장치에서 사용자 입력에 대응한 사용자 인터페이스를 제공하는 경우의 제어 흐름도,
도 5a 및 도 5b는 본 발명에 따른 제1사용자 인터페이스를 표시하여 구동되는 경우를 설명하기 위한 일 예시도,
도 6a 내지 도 6d는 본 발명에 따른 제2사용자 인터페이스를 표시하여 구동되는 경우를 설명하기 위한 일 예시도,
도 7a 및 도 7b는 제2사용자 인터페이스를 표시한 상황에서 제2입력 인터페이스를 통해 추가적인 동작이 이루어지는 경우를 설명하기 위한 예시도,
도 8a 내지 도 8c는 본 발명에 따라 선택 가능한 경우가 4가지인 경우의 제2사용자 인터페이스를 설명하기 위한 일 예시도,
도 9a 내지 도 9d는 여러 개의 선택 사항들을 갖는 경우 본 발명에 따라 제2입력 방식에 따라 제2사용자 인터페이스를 제공하는 형태를 설명하기 위한 예시도.
도 2는 다양한 실시예들에 따른 하드웨어 200의 블록도,
도 3은 한 실시예에 따른 프로그래밍 모듈 300의 블록도,
도 4는 본 발명의 실시예에 따른 전자장치에서 사용자 입력에 대응한 사용자 인터페이스를 제공하는 경우의 제어 흐름도,
도 5a 및 도 5b는 본 발명에 따른 제1사용자 인터페이스를 표시하여 구동되는 경우를 설명하기 위한 일 예시도,
도 6a 내지 도 6d는 본 발명에 따른 제2사용자 인터페이스를 표시하여 구동되는 경우를 설명하기 위한 일 예시도,
도 7a 및 도 7b는 제2사용자 인터페이스를 표시한 상황에서 제2입력 인터페이스를 통해 추가적인 동작이 이루어지는 경우를 설명하기 위한 예시도,
도 8a 내지 도 8c는 본 발명에 따라 선택 가능한 경우가 4가지인 경우의 제2사용자 인터페이스를 설명하기 위한 일 예시도,
도 9a 내지 도 9d는 여러 개의 선택 사항들을 갖는 경우 본 발명에 따라 제2입력 방식에 따라 제2사용자 인터페이스를 제공하는 형태를 설명하기 위한 예시도.
이하, 첨부된 도면을 참조하여 본 개시(present disclosure)를 설명한다. 본 개시는 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 따라서, 본 개시는 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.
본 개시 가운데 사용될 수 있는"포함한다", "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한 본 개시에서 "및/또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, A 및/또는 B는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
또한 본 개시 가운데 "제1", "제2", "첫째", "둘째" 등의 표현들이 본 개시의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1사용자 기기와 제2사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다. 본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 전자 시계(electronic clock), 손목 시계(wrist watch), 가전 제품(home appliance)(예: 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기 등), 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship, 예를 들면, 선박용 항법 장치, 자이로콤파스 등), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 액자, 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device) 또는 프로젝터(projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 개시에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 다양한 실시예에 따른 전자장치에 대한 블록도를 도시한다.
도 1을 참조하면, 상기 전자장치 100는 버스 110, 프로세서 120, 메모리 130, 사용자 입력 모듈 140, 디스플레이 모듈 150, 또는 통신 모듈 160을 포함할 수 있다.
상기 버스 110은, 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서 120은, 예를 들면, 상기 버스110를 통해 전술한 다른 구성요소들(예: 상기 메모리130, 상기 사용자 입력 모듈140, 상기 디스플레이 모듈150, 상기 통신 모듈160 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리 130은, 상기 프로세서 120 또는 다른 구성요소들(예: 상기 사용자 입력 모듈 140, 상기 디스플레이 모듈 150, 상기 통신 모듈 160 등)로부터 수신되거나 상기 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리 130은, 예를 들면, 커널 131, 미들웨어 132, 어플리케이션 프로그래밍 인터페이스(API: application programming interface)133 또는 어플리케이션 134 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널 131은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에 구현된 동작 또는 기능을 실행하는데 사용되는 시스템 리소스들(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)을 제어 또는 관리할 수 있다.또한, 상기 커널 131은 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에서 상기 전자 장치 100의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어 132는 상기 API 133 또는 상기 어플리케이션 134가 상기 커널 131과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어 132는 상기 (다수의) 어플리케이션들 134로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 (다수의) 어플리케이션들 134들 중 적어도 하나의 어플리케이션에 상기 전자 장치 100의 시스템 리소스(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.
상기 API 133은 상기 어플리케이션 134가 상기 커널 131 또는 상기 미들웨어 132에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.
상기 사용자 입력 모듈 140은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력받아 상기 버스 110을 통해 상기 프로세서 120 또는 상기 메모리 130에 전달할 수 있다. 상기 디스플레이 모듈 150은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.
상기 통신 모듈 160은 다른 전자 장치 102와 상기 전자 장치 100간의 통신을 연결할 수 있다. 상기 통신 모듈 160은 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등) 162를 지원할 수 있다. 상기 전자 장치 102, 104 각각은 상기 전자 장치 100과 동일한(예: 같은 타입의) 장치이거나 또는 다른(예: 다른 타입의) 장치일 수 있다.
도 2는 다양한 실시예들에 따른 하드웨어 200의 블록도를 도시한다.
상기 하드웨어 200은, 예를 들면, 도 1에 도시된 전자 장치 100일 수 있다.도 2를 참조하면, 상기 하드웨어 200은 하나 이상의 프로세서 210, SIM(subscriber identification module) 카드 214, 메모리 220, 통신 모듈 230, 센서 모듈 240, 사용자 입력 모듈 250, 디스플레이 모듈 260, 인터페이스 270, 오디오 코덱 280, 카메라 모듈 291, 전력관리 모듈 295, 배터리 296, 인디케이터 297 또는 모터 298를 포함할 수 있다.
상기 프로세서 210(예: 상기 프로세서 120)은 하나 이상의 어플리케이션 프로세서(AP: application processor) 211 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor) 213을 포함할 수 있다. 상기 프로세서 210은, 예를 들면, 도 1에 도시된 프로세서 120일 수 있다. 도 2에서는 상기 AP 211 및 상기 CP 213이 프로세서 210 내에 포함된 것으로 도시되었으나, 상기 AP 211와 상기 CP 213은 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 한 실시예에서는 상기 AP 211 및 상기 CP 213은 하나의 IC 패키지 내에 포함될 수 있다.
상기 AP 211은 운영체제 또는 응용 프로그램을 구동하여 상기 AP 211에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 211은, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시예에 따르면, 상기 프로세서 210은 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 CP 213은 상기 하드웨어 200을 포함하는 전자 장치(예: 상기 전자 장치 100)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 상기 CP 213은, 예를 들면, SoC로 구현될 수 있다. 한 실시예에 따르면, 상기 CP 213은 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. 상기 CP 213은, 예를 들면, 가입자 식별 모듈(예: SIM 카드 214)을 이용하여 통신 네트워크 내에서 단말의 구별 및 인증을 수행할 수 있다. 또한, 상기 CP 213은 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, 상기 CP 213은 상기 통신 모듈 230의 데이터 송수신을 제어할 수 있다. 도 2에서는, 상기 CP 213, 상기 전력관리 모듈 295 또는 상기 메모리 220 등의 구성요소들이 상기 AP 211과 별개의 구성요소로 도시되어 있으나, 한 실시예에 따르면, 상기 AP 211가 전술한 구성요소들의 적어도 일부(예: 상기 CP 213)를 포함하도록 구현될 수 있다.
한 실시예에 따르면, 상기 AP 211 또는 상기 CP 213은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP 211 또는 상기 CP 213은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 SIM 카드 214는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드 214는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리 220은 내장메모리 222 또는 외장 메모리 224를 포함할 수 있다.상기 메모리 220은, 예를 들면, 도 1에 도시된 메모리 130일 수 있다. 상기 내장 메모리 222는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 내장 메모리 222는 Solid State Drive(SSD)의 형태를 취할 수도 있다. 상기 외장 메모리 224는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 MemoryStick 등을 더 포함할 수 있다.
상기 통신 모듈 230은 무선 통신 모듈 231 또는 RF 모듈 234를 포함할 수 있다. 상기 통신 모듈 230은, 예를 들면, 도 1에 도시된 통신 모듈 160일 수 있다. 상기 무선 통신 모듈 231은, 예를 들면, WiFi 233, BT(bluetooth) 235, GPS 237 또는 NFC(near field communication) 239를 포함할 수 있다. 예를 들면, 상기 무선 통신 모듈 231은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 상기 무선 통신 모듈 231은 상기 하드웨어 200을 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
상기 RF 모듈 234는 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자신호의 송수신을 담당할 수 있다. 상기 RF 모듈 234는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈234는 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
상기 센서 모듈 240은, 예를 들면, 제스처 센서 240A, 자이로 센서 240B, 기압 센서 240C, 마그네틱 센서 240D, 가속도 센서 240E, 그립 센서 240F, 근접 센서 240G, RGB(red, green, blue) 센서 240H, 생체 센서 240I, 온/습도 센서 240J, 조도 센서 240K 또는 UV(ultra violet) 센서 240M 중의 적어도 하나를 포함할 수 있다. 상기 센서 모듈 240은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로/대체적으로, 상기 센서 모듈 240은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 상기 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 사용자 입력 모듈 250은 터치 패널(touch panel) 252, (디지털) 펜 센서(pen sensor) 254, 키(key) 256 또는 초음파 입력 장치 258을 포함할 수 있다. 상기 사용자 입력 모듈 250은, 예를 들면, 도 1에 도시된 사용자 입력 모듈 140일수 있다. 상기 터치 패널 252는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널 252는 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식도 가능하다. 상기 터치 패널 252는 택타일레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널 252는 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서 254는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키 256로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다. 상기 초음파 입력 장치 258은 초음파 신호를 발생하는 펜을 통해, 단말에서 마이크(예: 마이크 288)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 상기 하드웨어 200은 상기 통신 모듈 230을 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 모듈 260은 패널 262 또는 홀로그램 264를 포함할 수 있다.상기 디스플레이 모듈 260은, 예를 들면, 도 1에 도시된 디스플레이 모듈 150일 수 있다. 상기 패널 262는, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널262는, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널 262는 상기 터치 패널 252와 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 264는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 한 실시예에 따르면, 상기 디스플레이 모듈 260은 상기 패널 262 또는 상기 홀로그램 264를 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 인터페이스 270은, 예를 들면, HDMI(high-definition multimedia interface) 272, USB(universal serial bus) 274, 프로젝터 276 또는 D-sub(D-subminiature) 278을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스 270은, 예를 들면, SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.
상기 오디오 코덱 280은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 코덱 280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286 또는 마이크 288 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.
상기 카메라 모듈 291은 화상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(image signal processor, 미도시) 또는 플래쉬 LED(flash LED, 미도시)를 포함할 수 있다.
상기 전력관리 모듈 295는 상기 하드웨어 200의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력관리 모듈 295는, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리 296의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리 296은 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(rechargeable battery)일 수 있다.
상기 인디케이터 297은 상기 하드웨어 200 혹은 그 일부(예: 상기 AP 211)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터 298은 전기적 신호를 기계적 진동으로 변환할 수 있다. 상기 MCU 299는, 상기 센서 모듈 240을 제어할 수 있다.
도시되지는 않았으나, 상기 하드웨어 200은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.본 개시에 따른 하드웨어의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 개시에 사용된 용어"모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
도 3은 한 실시예에 따른 프로그래밍 모듈 300의 블록도를 도시한다.
상기 프로그래밍 모듈 300은 도 1에 도시된 전자 장치100(예: 상기 메모리 130)에 포함(예: 저장)될 수 있다. 상기 프로그래밍 모듈 300의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다. 상기 프로그래밍 모듈 300은 하드웨어(예: 상기 하드웨어 200)에 구현되어 전자 장치(예: 상기 전자 장치 100)에 관련된 자원을 제어하는 운영체제(OS: operation system) 또는 운영체제 상에서 구동되는 다양한 어플리케이션(예: 상기 어플리케이션 370)을 포함할 수 있다. 예를 들면, 상기 운영체제는 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 등이 될 수 있다. 도 3을 참조하면, 상기 프로그래밍 모듈 300은 커널 310, 미들웨어 330, API(application programming interface) 360 또는 어플리케이션 370을 포함할 수 있다.
상기 커널 310(예: 상기 커널 131)은 시스템 리소스 매니저 311 또는 디바이스 드라이버 312를 포함할 수 있다. 상기 시스템 리소스 매니저 311은, 예를 들면, 프로세스관리부 313, 메모리관리부 315 또는 파일시스템관리부 317 등을 포함할 수 있다. 상기 시스템 리소스 매니저 311은 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 상기 디바이스 드라이버 312는, 예를 들면, 디스플레이 드라이버 314, 카메라 드라이버 316, 블루투스 드라이버 318, 공유 메모리 드라이버 320, USB 드라이버 322, 키패드 드라이버 324, WiFi 드라이버 326 또는 오디오 드라이버 328를 포함할 수 있다. 또한, 한 실시예에 따르면, 상기 디바이스 드라이버 312는 IPC (inter-process communication, 미도시) 드라이버를 포함할 수 있다.
상기 미들웨어 330은 상기 어플리케이션 370이 공통적으로 필요로 하는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 또한, 상기 미들웨어 330은 상기 어플리케이션 370이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 상기 API 360를 통해 기능을 제공할 수 있다. 예를 들면, 도 3에 도시된 바와 같이, 상기 미들웨어 330(예: 상기 미들웨어 132)은 런타임 라이브러리 335, 어플리케이션 매니저(application manager) 341, 윈도우 매니저(window manager) 342, 멀티미디어 매니저(multimedia manager) 343, 리소스 매니저(resource manager) 344, 파워 매니저(power manager) 345, 데이터베이스 매니저(database manager) 346, 패키지 매니저 347, 연결 매니저(connectivity manager) 348, 통지 매니저(notification manager) 349, 위치 매니저(location manager) 350, 그래픽 매니저(graphic manager) 351 또는 보안 매니저(security manager) 352 중 적어도 하나를 포함할 수 있다.
상기 런타임 라이브러리 335는, 예를 들면, 상기 어플리케이션 370이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 한 실시예에 따르면, 상기 런타임 라이브러리 335는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
상기 어플리케이션 매니저 341은, 예를 들면, 상기 어플리케이션 370 중 적어도 하나의 어플리케이션의 생명주기(life cycle)를 관리할 수 있다. 상기 윈도우 매니저 342는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 상기 멀티미디어 매니저 343은 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 상기 리소스 매니저 344는 상기 어플리케이션 370 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
상기 파워 매니저 345는 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 필요한 전력 정보 등을 제공할 수 있다. 상기 데이터베이스 매니저 346은 상기 어플리케이션 370 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 상기 패키지 매니저 347은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
상기 연결 매니저 348은, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 상기 통지 매니저 349는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 상기 위치 매니저 350은 전자 장치의 위치 정보를 관리할 수 있다. 상기 그래픽 매니저 351은 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 상기 보안 매니저 352는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시예에 따르면, 전자 장치(예: 상기 전자 장치 100)가 전화 기능을 구비한 경우에는, 상기 미들웨어 330은 상기 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager, 미도시)를 더 포함할 수 있다.
상기 미들웨어 330은 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 상기 미들웨어 330은 차별화된 기능을 제공하기 위해 운영체제의 종류별로 특화된 모듈을 제공할 수 있다. 또한, 상기 미들웨어 330은 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 따라서, 본 개시의 실시예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.
상기 API 360(예: 상기 API 133)은 API 프로그래밍 함수들의 집합으로, 운영체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 예를 들면, 플랫폼별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.
상기 어플리케이션 370(예: 상기 어플리케이션 134)은, 예를 들면, 프리로드 어플리케이션(preloaded Application) 또는 제 삼자 어플리케이션(third party application)을 포함할 수 있다.
상기 프로그래밍 모듈 300의 적어도 일부는 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서(예:상기 프로세서 210)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 260이 될 수 있다. 상기 프로그래밍 모듈 300의 적어도 일부는, 예를 들면, 상기 프로세서 210에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 300의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 및/또는 프로세스 등을 포함할 수 있다.
본 개시에 따른 프로그래밍 모듈(예: 상기 프로그래밍 모듈 300)의 구성요소들의 명칭은 운영체제의 종류에 따라서 달라질 수 있다. 본 개시에 따른 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 처리될 수 있으며, 또한 일부 동작이 생략되거나, 다른 동작이 추가될 수 있다.
도 4는 본 발명의 실시예에 따른 전자장치에서 사용자 입력에 대응한 사용자 인터페이스를 제공하는 경우의 제어 흐름도이다. 도 4를 설명함에 있어 도 1의 블록 구성을 참조하여 설명할 것이다. 하지만, 도 2의 구성을 통해서도 이하에서 설명되는 도 4의 동작이 수행될 수 있다. 도 2의 블록 구성은 도 1의 구성 중 일부를 보다 구체적으로 도시한 형태일 수 있기 때문이다. 도 1의 사용자 입력 모듈 140은 도 2의 사용자 입력 모듈 250은 물론 센서 모듈 240을 포함할 수 있다. 그 외에도 도 1의 사용자 입력 모듈 140은 도 2의 카메라 모듈 291을 포함할 수도 있다.
또한 도 1의 디스플레이 모듈 150은 도 2의 디스플레이 모듈 260을 포함할 수 있다. 그 외에 도 1의 디스플레이 모듈 150은 인터페이스 270 중 일부 또는 전부를 포함할 수도 있다.
도 1 및 도 2 뿐 아니라 도 3의 구성을 갖는 경우에도 이하에서 도 1을 참조하여 설명하는 방식과 동일하게 이해될 수 있다. 도 3에서는 도시하지 않았으나 입력 장치를 관리하기 위한 입력 매니저를 포함할 수 있으며, 입력 매니저는 사용자 입력 모듈로부터 입력된 신호를 검출하고, 이를 바탕으로 특정한 동작 예를 들어 화면의 이동, 특정한 어플리케이션의 수행 등을 요청하는 입력 신호로 매칭할 수 있다. 그러면 이상의 내용을 토대로 도 1을 이용하여 도 4의 제어 흐름도를 살펴보기로 한다. 또한 도 4의 실시예에서는 입력부 활성화 모드인 경우에 수행되는 제어 흐름도이다. 따라서 사용자 입력 모듈 140이 활성화된 상태이다. 도 4의 모든 동작은 사용자 입력 모듈 140이 활성화된 상태에서 수행되는 동작임에 유의해야 한다. 또한 도 4의 제어 흐름도는 둘 이상의 입력 방식을 사용하는 경우이므로 각각의 입력 방식에 대응한 입력 장치들이 모두 활성화된 상태일 수 있다.
프로세서 120은 400동작에서 제1사용자 입력 방식에 대응한 제1사용자 인터페이스를 디스플레이 모듈 150에 표시한다. 여기서 제1사용자 입력 방식은 전자장치의 가장 기본적인 입력 방식일 수 있으며, 제1사용자 인터페이스는 가장 기본적인 입력 방식에 대응한 표시 방식이 될 수 있다. 가령, 전자장치의 제1사용자 입력 방식이 키 입력 방인 경우 제1사용자 인터페이스는 전자장치가 사용자에게 사용자가 원하는 동작을 쉽게 유도하기 위한 표시 인터페이스일 수 있다. 예컨대, 특정한 키가 어떠한 동작을 수행하게 되는지를 알리는 또는 이미 사용자가 알고 있는 표시 인터페이스 방식일 수 있다. 또한 전자장치의 제1사용자 입력 방식이 터치 입력 방식인 경우에도 제1사용자 인터페이스는 전자장치가 사용자에게 사용자가 원하는 동작을 쉽게 유도하기 위한 또는 사용자가 이미 알고 있는 동작을 지시하는 표시 인터페이스일 수 있다. 예컨대, 특정한 아이콘 또는 특정한 터치 영역이 어떠한 동작을 수행하게 되는지를 알리는 표시 인터페이스 방식일 수 있다.
이처럼 400동작에서 제1사용자 인터페이스를 표시한 상태에서 프로세서 120은 402동작 또는/및 406동작 또는/및 408동작에서 각각 사용자 입력 모듈 140으로부터 제1사용자 입력 방식의 입력이 검출되는가 또는 제2사용자 입력 방식의 입력이 검출되는가 또는 입력부의 비활성화가 요구되는가를 검사한다.
402동작의 검사결과 사용자 입력 모듈 140으로부터 제1사용자 입력 방식의 입력이 검출된 경우 프로세서 120은 404동작으로 진행한다. 프로세서 120은 404동작에서 사용자 입력 모듈 140으로부터 입력된 입력 값에 대응하는 동작을 수행한다. 예컨대, 제1사용자 입력 방식이 키 입력 방식인 경우 제1사용자 인터페이스 방식에 따라 표시된 형태에서 사용자가 누른 특정한 키에 매칭된 동작을 수행하는 것이다. 또한 제1사용자 입력 방식이 터치 입력 방식인 경우 디스플레이 모듈 150에 표시된 아이콘들 중 터치가 이루어진 아이콘 또는 터치가 이루어진 특정한 영역에 대응한 동작을 수행하는 것이다. 이처럼 프로세서 120은 404동작을 수행한 후 400동작으로 진행한다.
다음으로 408동작의 검사결과 입력부 비활성화가 수행되어야 하는 경우 프로세서 120은 도 4의 제어 동작을 종료한다. 이때, 프로세서 120은 디스플레이 모듈 150 상에 표시하고 있는 제1사용자 인터페이스 방식에 따른 표시를 해제할 수도 있다. 여기서 표시의 해제란, 디스플레이 모듈 150으로 전원 공급을 차단하는 경우 또는 디스플레이 모듈 150에 어떠한 인터페이스 또는 어떠한 데이터도 표시하지 않는 상태를 의미할 수 있다. 이처럼 입력부의 비활성화가 수행되어야 하는 경우는 미리 설정된 시간동안 입력이 존재하지 않아 입력부를 더 이상 활성화하지 않도록 설정한 경우이거나 사용자가 입력부를 비활성화시키도록 요청한 경우일 수 있다. 이처럼 입력부 비활성화가 요청되면, 입력부를 비활성화한 후 도 4의 루틴을 종료한다. 하지만, 408동작의 검사결과 입력부 비활성화가 요청되지 않은 경우 프로세서 120은 400동작으로 진행한다.
406동작의 검사결과 제2사용자 입력 방식의 입력이 검출되는 경우 프로세서 120은 410동작으로 진행한다. 410동작을 설명하기에 앞서 제2사용자 입력 방식에 대해 살펴보기로 한다.
제1사용자 입력 방식이 키 입력 방식 또는/및 터치 입력 방식인 경우 제2사용자 입력 방식은 호버링 또는/및 모션 또는/및 제스처 입력 방식이 될 수 있다. 이러한 제2사용자 입력 방식을 갖는 경우 전자장치는 근접센서 또는/및 카메라 또는/및 제스처 검출 센서 등 다양한 센서들이 활성화된 상태이며, 이들로부터의 입력일 수 있다. 이하의 설명에서는 제2사용자 입력 방식을 제스처 입력 방식으로 가정하여 설명하기로 한다. 하지만, 이하에서 설명되는 방식이 호버링 또는 모션 등인 경우에도 제스처와 동일한 형태로 이해될 수 있음은 당업자에게 자명한 일이다.
프로세서 120은 410동작에서 사용자 입력 모듈 140로부터 제2사용자 입력 방식으로 입력된 정보에 근거한 동작을 수행한다. 가령, 사용자의 특정한 제스처와 매칭된 전자장치의 동작이 존재하고, 해당 제스처의 입력이 검출된 경우 전자장치에 매칭된 해당 동작을 수행하는 경우가 될 수 있다.
이처럼 410동작에서 매칭된 동작을 수행한 후 프로세서 120은 412동작으로 진행하여 제2사용자 입력 방식에 대응한 제2사용자 인터페이스를 디스플레이 모듈 150에 표시한다. 그러면 첨부된 도면들을 참조하여 디스플레이 모듈 150에 표시되는 제1사용자 인터페이스와 제2사용자 인터페이스에 대하여 살펴보기로 한다.
도 5a 및 도 5b는 본 발명에 따른 제1사용자 인터페이스를 표시하여 구동되는 경우를 설명하기 위한 일 예시도이며, 도 6a 내지 도 6d는 본 발명에 따른 제2사용자 인터페이스를 표시하여 구동되는 경우를 설명하기 위한 일 예시도이다.
먼저 도 5a 및 도 5b를 참조하여 살펴보기로 한다. 도 5a 및 도 5b에서 예시한 전자장치 100은 제1사용자 입력 방식으로 터치 방식을 사용하는 경우이다. 따라서 사용자는 터치 방식을 사용하기 때문에 디스플레이 모듈 150에 표시된 표시 판넬 상에 사용자가 원하는 영역을 터치 또는 터치앤드래그 또는 더블터치 등을 통해 특정한 동작을 요구할 수 있다. 도 5a에 도시한 경우는 전자장치 100이 디스플레이 모듈 150의 알람 표시 영역 510에 특정한 메시지 가령, 새로운 대화 메시지를 수신한 내역이 존재함을 알리는 경우이다. 일 실시예에 따르면, 전자장치 100은 디스플레이 모듈 150의 알림 표시 영역 510의 소정 영역에 참조부호 511과 같이 새로운 대화 메시지가 수신되었음을 표시할 수 있다. 이때, 사용자는 알람 표시 영역 510을 터치하고, 참조부호 520과 같이 디스플레이 모듈 150의 아래 방향으로 드래그함으로써 알림 내용의 확인을 요청할 수 있다.
이처럼 알림 내용의 확인이 요청되면 프로세서 120은 알림 표시 영역 510에 생성한 메시지의 내용을 보다 구체적으로 사용자에게 알리기 위해 디스플레이 모듈 150에 표시되는 형태를 도 5b와 같이 변경할 수 있다. 도 5b에는 도 5a에서와 같이 알림 표시 영역 510이 존재하지만, 해당 내용을 보다 구체적으로 알릴 수 있도록 이벤트가 발생한 이벤트 알림창들 531, 532를 표시하고 있기 때문에 알림 표시 영역 510에는 알림 메시지 511이 제거된다. 또한 알림 표시 영역 510에 참조부호 512와 같이 표시된 형태는 본 발명에 따른 제2사용자 입력이 가능한 상태임을 알리는 제2사용자 입력 허용 아이콘이다. 이는 도 5a에도 참조부호 512와 같이 동일하게 존재할 수 있다. 또한 도 5b에 예시한 제2사용자 입력 허용 아이콘 512의 형태는 하나의 예시일 뿐 다른 모양이나 다른 형태를 가질 수도 있으며, 아무런 표시가 없을 수도 있다.
이상에서 설명한 도 5a 및 도 5b에 도시한 형태는 전자장치에서 일반적으로 터치 또는/및 터치앤드래그 방식 등 전자장치 100을 사용하는 사용자들이 주로 이용하는 형식의 사용자 인터페이스이다.
그러면 도 6a 내지 도 6d를 참조하여 본 발명에 따른 제2사용자 인터페이스에 대해여 보다 상세히 설명하기로 한다.
전자장치 100의 디스플레이 모듈 150에 도 6a와 같이 표시된 형태는 도 5a에서 설명한 형태와 동일하다. 따라서 알람 표시 영역 510에는 도 5a에서와 같이 동일하게 특정한 이벤트가 발생하였음을 메시지 또는/및 아이콘 등의 다양한 방식으로 표시할 수 있다. 도 6a에서는 앞서 도 5a에서 설명한 바와 동일한 형태로 참조부호 511의 메시지 형태로 표시한 경우를 예시하였다. 또한 도 6a에는 본 발명에 따른 제2입력 방식이 가능함을 알리는 제2사용자 입력 허용 아이콘 512가 표현되어 있다. 이때, 사용자가 참조부호 610과 같이 제2사용자 입력 방식으로 입력을 수행하는 경우 프로세서 120은 디스플레이 모듈 150에 표시하는 방식을 도 6b에 도시한 바와 같이 제2사용자 인터페이스 방식으로 전환하여 표시한다. 이하의 설명에서는 제1사용자 입력 방식을 터치 또는 터치앤드래그 방식으로 가정하고, 제2사용자 입력 방식을 제스처로 가정하여 설명하기로 한다.
따라서 참조부호 610과 같은 형태의 동작은 디스플레이 모듈 150에 터치하지 않고 전자장치 100과 사용자의 손이 일정한 간격만큼 이격된 상태에서 참조부호 610과 같은 형태로 이동하는 경우이다. 이처럼 이동하는 것은 도 5a에서 참조부호 520과 같이 터치앤드래그가 이루어지는 것과 동일한 동작을 요구하는 경우로 가정한다.
따라서 프로세서 120은 디스플레이 모듈 150에 현재 수신된 알림 내역을 보다 상세히 표시할 수 있다. 이때, 프로세서 120은 디스플레이 모듈 150 상에 표시하는 형태를 본 발명에 따른 제2사용자 인터페이스 표시 방식으로 표시할 수 있다. 가령 도 6b에 도시한 바와 같이 제2사용자 인터페이스에 따라 표시되는 형태는 제스처 또는 모션 동작에 대응하여 어떠한 특정 동작이 이루어지는지를 알릴 수 있는 형태이다. 도 6b에 도시한 바와 같이 이벤트가 발생한 이벤트 알림창들 620, 630이 표시된다. 또한 이벤트 알람창들 620, 630의 우측에 참조부호 621 및 631로 예시한 제2사용자 입력 방식의 입력 가이드들은 사용자에게 해당 이벤트를 처리 또는 구동시킬 수 있는 제스처 또는 모션을 가이드 할 수 있는 형태가 될 수 있다.
도 6b와 도 5b를 대비하여 살펴보면, 도 6b에서는 각 이벤트 알림창들 620, 630마다 어떠한 제스처를 취해야 이벤트 알림창들을 구동시킬 수 있는지를 알리거나 유도할 수 있는 제2사용자 입력 방식의 입력 가이드들 621, 631이 표시된 형태이다. 이러한 제2사용자 입력 방식의 입력 가이드들 621, 631의 표시 형태는 도 5b에 예시한 알림창들 531, 532에 부가하는 형태 또는 도 5b에 예시한 알림창들과 별도로 알림창들과 함께 구성되는 형태 등 다양한 방법으로 구성할 수 있다.
이상에서 살펴본 바와 같이 제2사용자 인터페이스는 제1사용자 인터페이스에 사용자의 제스처를 유도하거나 알리기 위한 형태의 아이콘들이 부가된 형태일 수 있다. 이와 다른 방법으로 제2사용자 인터페이스는 제1사용자 인터페이스에 부가한 형태가 아닌 새롭게 만들어진 형태일 수도 있다. 제2사용자 인터페이스를 제1사용자 인터페이스에 부가한 형태로 구성하는 경우 제2사용자 인터페이스를 제공하는 제공자는 적은 양의 아이콘들만을 새롭게 만들어 구성할 수 있기 때문에 개발의 시간 및 노력을 줄일 수 있다. 또한 모든 형태의 사용자 인터페이스를 새롭게 구성하지 않아도 되므로, 제2사용자 인터페이스로 인해 전자장치 100의 메모리 130의 사용 영역을 줄일 수 있다. 하지만 본 발명에서는 위의 2가지 방식 중 어떠한 형식으로 구현하던 무방하다. 다만, 제1사용자 인터페이스에 제2사용자 인터페이스를 부가하는 형태가 여러 가지 면에서 바람직하다.
또한 제2사용자 인터페이스의 형태는 도 6b에 도시한 바와 같이 정지된 형태일 수도 있으나, 도 6c 및 도 6d와 같이 시간적으로 변화하는 형태일 수도 있다. 이를 도 6c 및 도 6d를 참조하여 살펴보자.
먼저 도 6c에 도시한 제2사용자 인터페이스는 도 6b의 신규 메시지 수신에 대한 제스처를 알리는 인터페이스 형태이다. 도 6c에 도시한 제2사용자 인터페이스는 시간적으로 변화하는 인터페이스 형태이다. 즉, 참조부호 621 -> 622 -> 623 -> 624의 순으로 손 모양이 이동하거나 또는 화살표가 순차적으로 이동하는 형태로 표시할 수도 있다. 또한 이때 색상을 함께 변화시킬 수도 있으며, 색상만을 변화시킬 수도 있다. 이처럼 사용자가 취해야 하는 제스처를 디스플레이 모듈 150 상에서 그래픽으로 알릴 수 있다. 이를 인지한 사용자는 전자장치 100의 디스플레이 모듈 150 상에서 도 6b 또는 도 6c에 예시한 바와 같은 제2사용자 입력 방식의 입력 가이드를 시각적 또는 청각적으로 확인하고, 참조부호 640과 같은 제스처를 취할 수 있다. 청각적인 방법을 사용하는 경우 사용자에게 "손이나 팔을 디스플레이 모듈 위로 좌에서 우측으로 이동시키세요"와 같은 멘트를 출력하도록 할 수도 있다. 이하의 설명에서는 설명의 편의를 위해 시각적인 방법을 예로써 설명하기로 한다. 하지만 청각적인 방법을 이용하는 경우에도 동일하게 적용할 수 있다.
사용자가 시각적인 제2사용자 입력 방식의 입력 가이드들을 인지하여 해당하는 특정 동작을 취하는 경우 전자장치 100은 이를 사용자 입력으로 인지한다. 전자장치 100은 제2사용자 입력 방식의 입력 가이드에 대응한 사용자 입력이 존재할 시 터치 또는 터치앤드래그와 동일한 동작을 수행할 수 있다.
가령, 사용자가 참조부호 640의 제스처를 취하는 경우 전자장치 100은 참조부호 640의 제스처를 사용자 입력 모듈 140을 통해 인지하여 해당하는 프로그램을 구동시키거나 데이터를 읽어와 디스플레이 모듈 150에 표시함으로써 사용자에게 제공할 수 있다. 이처럼 제2사용자 인터페이스를 제공하면, 사용자가 보다 직관적으로 제2사용자 인터페이스를 인지하고 사용할 수 있어 사용자의 편의성을 증대시킬 수 있다.
다음으로 도 6d에 도시한 제2사용자 인터페이스는 도 6b의 신규 대화 메시지를 활성화하기 위한 제스처를 알리는 인터페이스 형태이다. 도 6d에 도시한 제2사용자 인터페이스 또한 앞서 설명한 도 6c의 제2사용자 인터페이스와 동일하게 시간적으로 변화하는 인터페이스 형태이다. 즉, 참조부호 631 -> 632 -> 633 -> 634의 순으로 손 모양이 이동하거나 또는 화살표가 순차적으로 이동하는 형태로 표시할 수도 있다. 또한 이때 색상을 함께 변화시킬 수도 있으며, 색상만을 변화시킬 수도 있다. 이처럼 사용자가 취해야 하는 제스처를 디스플레이 모듈 150 상에서 그래픽으로 알릴 수 있다. 이를 인지한 사용자는 전자장치 100의 디스플레이 모듈 150 상에서 참조부호 650과 같은 제스처를 취함으로써 해당 아이콘을 터치 또는 터치앤드래그 한 것과 동일한 결과를 가질 수 있다.
가령, 사용자가 참조부호 650과 같은 제스처를 취하면, 전자장치 100은 참조부호 650의 제스처를 사용자 입력 모듈 140을 통해 인지하여 해당하는 프로그램을 구동시키거나 데이터를 읽어와 디스플레이 모듈 150에 표시함으로써 사용자에게 제공할 수 있다. 이처럼 제2사용자 인터페이스를 제공하면, 사용자가 보다 직관적으로 제2사용자 인터페이스를 인지하고 사용할 수 있어 사용자의 편의성을 증대시킬 수 있다.
그러면 다시 도 4를 참조하여 본 발명의 실시 예에 따른 동작을 더 살펴보기로 하자. 이상에서 설명한 바와 같이 400동작에서 전자장치 100은 최초 제1입력 방식에 대응한 제1사용자 인터페이스를 제공한다. 이후 406동작의 검사결과 제2입력 방식이 검출되면, 전자장치 100은 410동작을 수행한 후 412동작에서 제2사용자 인터페이스를 제공하여 사용자에게 제2입력 방식을 지속적으로 사용할 수 있도록 가이드 할 수 있다.
이처럼 412동작에서 제2사용자 인터페이스를 표시한 상태에서 프로세서 120은 414동작, 416동작 및 418동작을 통해 사용자 입력 모듈 140을 통해 제1입력 방식의 입력이 검출되는지 또는 제2입력 방식의 입력이 검출되는지 또는 입력부 비활성화가 요청되는지를 검사할 수 있다.
414동작의 검사결과 제1입력 방식의 입력이 검출되는 경우 즉, 키 입력 또는 터치 또는 터치앤드래그 등 방식으로 입력되는 경우 프로세서 120은 404동작으로 진행하여 입력에 대응한 동작을 수행한 후 400동작으로 진행한다. 따라서 프로세서 120은 404동작을 수행한 후 다시 제1사용자 인터페이스를 제공하는 형태로 디스플레이 모듈 150을 변경한다.
또한 418동작의 검사결과 입력부 비활성화가 요구되는 경우 사용자 입력 모듈 140을 비활성화한 후 도 4의 루틴을 종료한다. 418동작은 앞서 설명한 408동작과 동일한 상황일 수 있기 때문에 여기서는 더 살피지 않기로 한다. 다만 408동작과 418동작의 자동 비활성화 시 시간의 차이가 있을 수 있다. 가령 418동작의 자동 비활성화 시간은 제스처를 이용하는 경우 사용자가 디스플레이 모듈 150에 표시된 제2사용자 인터페이스를 인지하여 동작할 때까지의 시간적 여유를 두기 위해 408동작에서의 자동 비활성화 시간보다 긴 시간으로 설정할 수 있다.
또한 416동작의 검사결과 제2입력 방식의 입력이 검출되는 경우 프로세서 120은 410동작으로 진행하여 입력에 대응한 동작을 수행한 후 412동작으로 진행한다. 이를 도 6a 및 도 6b의 상황과 도 7a 및 도 7b의 상황을 통해 전체적으로 다시 살펴보기로 한다.
도 7a 및 도 7b는 제2사용자 인터페이스를 표시한 상황에서 제2입력 인터페이스를 통해 추가적인 동작이 이루어지는 경우를 설명하기 위한 예시도이다.
먼저 400동작에서 프로세서 120은 도 6a와 같이 디스플레이 모듈 150에 제2사용자 입력 방식으로의 입력이 가능함을 알리는 제2사용자 입력 허용 아이콘 512를 표시한 상태이다. 또한 400동작에서 프로세서 120은 디스플레이 모듈 150에 제1사용자 입력 방식에 따른 제1사용자 인터페이스를 표시하고 있는 상태이다. 이때, 참조부호 610과 같은 제스처가 입력되는 경우는 도 4의 406동작의 검사결과 제2사용자 입력 방식의 입력이 검출되는 경우이다. 이처럼 제2사용자 입력 방식의 입력이 검출되면, 프로세서 120은 410동작 및 412동작을 수행한다. 따라서 전자장치 100의 디스플레이 모듈 150에는 도 6b와 같은 형태로 표시될 수 있다.
이때, 사용자는 도 6b에 도시한 2가지 제스처 중 하나의 제스처를 통해 표시된 2가지 동작 중 하나를 선택할 수 있다. 가령, 사용자가 도 7a의 참조부호 710과 같이 사용자가 선택 가능한 2가지 제스처 중 하나인 신규 메시지를 선택하는 제스처를 취하는 경우를 살펴보자. 이 경우 프로세서 120은 416동작에서 사용자 입력 모듈 140을 통해 참조부호 710의 동작을 검출한다. 그러면 프로세서 120은 410동작 및 412동작을 수행한다. 이처럼 수행된 결과는 도 7b와 같다.
도 7b에서는 전자장치 100에 상대방과 송/수신한 메시지의 내역을 디스플레이 모듈 150에 표시한 상태만을 도시하였다. 이처럼 도 7b에 도시한 바와 같이 특별히 제스처를 통해 사용자의 입력을 받아들일 수 없는 경우에는 제2사용자 인터페이스는 제1사용자 인터페이스와 동일할 수도 있다. 즉, 제2사용자 인터페이스는 기본적으로 제2사용자 입력 방식이 존재하는 경우에는 제2사용자 입력 방식을 알릴 수 있는 가이드를 표시하는 상태일 수 있으며, 제2사용자 입력 방식으로 입력이 불가능한 경우 제2사용자 인터페이스는 제1사용자 인터페이스와 동일할 수 있다.
도 5a 및 도 5b와 도 6a 내지 도 6d 및 도 7a에서는 2가지의 제2사용자 인터페이스 입력이 가능한 형태만을 도시하였다. 하지만 보다 많은 선택이 가능한 경우 제2사용자 인터페이스를 추가하기 위한 예들을 첨부된 도면들을 참조하여 더 살펴보기로 한다.
도 8a 내지 도 8c는 본 발명에 따라 선택 가능한 경우가 4가지인 경우의 제2사용자 인터페이스를 설명하기 위한 일 예시도이다.
도 8a에는 앞서 설명한 2가지의 경우는 참조부호를 부여하지 않았으며, 새로운 형태의 제2사용자 인터페이스에 대한 부분만 참조부호를 부여하였다. 도 8a에 도시한 새로운 이벤트 알림창들 810, 820은 참조부호 811, 821과 같이 새로운 형태의 제2사용자 입력 방식의 입력 가이드들이 도시되어 있다. 이러한 제2사용자 입력 방식의 입력 가이드들은 제스처 아이콘이라 칭할 수도 있다. 도 8a에 도시한 각각의 새로운 제2사용자 입력 방식의 입력 가이드들은 도 8a에 도시한 바와 같이 정지된 상태로 표시될 수도 있으며, 도 8b 및 도 8c에 도시한 바와 같이 움직이는 형태일 수도 있다.
도 8b를 먼저 살펴보면, 전자장치 100으로부터 일정한 간격만큼 이격된 상태에서 사용자가 손이나 다른 물체 또는 신체의 일부를 이용하여 참조부호 830과 같은 형태의 동작을 취할 것을 가이드하기 위한 형태가 될 수 있다. 따라서 제2사용자 입력 방식의 입력 가이드 811은 정지된 형태로 표시될 수도 있고, 제2사용자 입력 방식의 입력 가이드가 참조부호 812 -> 813 -> 814 -> 815 -> 816과 같은 형태로 움직일 수도 있으며, 화살표가 참조부호 812 -> 813 -> 814 -> 815 -> 816과 같은 형태로 움직일 수도 있다. 또한 이때 색상이 함께 변화하여 움직임을 보다 직관적으로 알려줄 수도 있다. 따라서 사용자는 참조부호 830과 같은 동작을 취함으로써 전자장치 100의 디스플레이 150 상에 표시된 특정 이벤트, 예컨대 이벤트 알림창 810의 이벤트 기능의 실행을 요청할 수 있다.
도 8c는 도 8b와 반대 방향으로의 움직임을 검출하는 것이다. 따라서 도 8c에서도 제2사용자 입력 방식의 입력 가이드 821이 그대로 표시될 수도 있고, 제2사용자 입력 방식의 입력 가이드이 참조부호 822 -> 823 -> 824 -> 825 -> 826과 같은 형태로 움직일 수도 있다. 또한 이때에도 색상이 함께 변화하여 움직임을 보다 직관적으로 알려줄 수도 있다. 만일 사용자가 도 8c에 도시한 제스처를 수행하고자 하는 경우는 참조부호 840과 같은 제스처를 취함으로써 전자장치 100의 디스플레이 150 상에 표시된 특정 이벤트, 예컨대 이벤트 알림창 820의 이벤트 기능의 실행을 요청할 수 있다.
도 9a 내지 도 9d는 여러 개의 선택 사항들을 갖는 경우 본 발명에 따라 제2입력 방식에 따라 제2사용자 인터페이스를 제공하는 형태를 설명하기 위한 예시도이다.
도 9a를 참조하면, 전자장치 100의 디스플레이 모듈 150에는 다수의 아이콘들 901a, 902a, 903, 904, 905, 906, …이 도시되어 있다. 전자장치 100의 프로세서 120은 이처럼 다수의 아이콘들 901a, 902a, 903, 904, 905, 906, …을 디스플레이 모듈 150에 표시한 상태에서 첫 번째 아이콘 901a에만 제2사용자 인터페이스가 표시되어 있는 상태이다. 도 9a에 도시한 바와 같이 하나의 아이콘에만 제2사용자 인터페이스가 표시될 수도 있고, 모든 아이콘들에 제2사용자 인터페이스가 표시될 수도 있으며, 몇 개의 아이콘에만 제2사용자 인터페이스가 표시될 수도 있다. 도 9a에서는 첫 번째 아이콘 901a에 제2사용자 인터페이스가 표시된 경우를 예시한 경우이다.
도 9a에 예시한 바와 같이 프로세서 120은 디스플레이 모듈 150에 사용자의 제스처를 유도 또는 지시 또는 가이드하기 위한 아이콘을 부가하거나 또는 별도로 구비된 제2사용자 인터페이스를 표시함으로써 제2사용자 입력 방식에 대한 제스처 가이드를 제공할 수 있다. 이때, 사용자가 신체의 일부 또는 다른 기구를 이용하여 참조부호 910과 같이 이동을 요청하는 경우를 가정하자. 참조부호 910의 경우 전자장치 100의 디스플레이 모듈 150 상에 표시된 아이콘들이 둘 이상의 페이지로 나뉘어 표시되는 경우 다른 페이지로의 이동을 요구하는 경우로 가정한다. 그러면, 프로세서 120은 도 9a에 예시한 아이콘들과 다른 아이콘들을 디스플레이 모듈 150 상에 표시할 수 있다. 이처럼 도 9a와 도 9b에 서로 다른 아이콘들이 표시되는 것은 디스플레이 모듈 150 상에 모든 아이콘을 표시할 수 없거나 사용자의 요구에 의해 각 페이지마다 서로 다른 아이콘들을 갖도록 미리 구성된 경우가 될 수 있다.
도 9a에 예시한 바와 같이 전자장치 100의 디스플레이 모듈 150 상에 12개의 아이콘들이 배치될 수 있는 경우 13개 이상의 아이콘들이 존재하는 경우 디스플레이 모듈 150의 첫 번째 화면에 모두 표시할 수 없다. 이처럼 한 번에 표시될 수 있는 아이콘들로 구성된 화면을 이하의 설명에서 '페이지'라 칭하자. 그러면, 각 페이지마다 12개씩의 아이콘들을 표시할 수 있다. 각 페이지에 표시할 수 있는 최대 아이콘들의 수는 디스플레이 모듈 150의 크기 및 아이콘의 표시 크기에 따라 달라질 수 있다.
상술한 바와 같이 13개 이상의 아이콘이 존재하고, 한 페이지에 최대 12개의 아이콘을 표시할 수 있으며, 각 페이지마다 최대 숫자의 아이콘들이 배열된 경우를 가정하자. 그러면 13번째 이후의 아이콘을 확인하기 위해서는 다음 페이지로 화면을 전환시켜야 한다. 이러한 화면 전환의 동작은 도 9a에 예시한 참조부호 910의 동작이 될 수 있다. 따라서 참조부호 910의 동작은 특정한 어플리케이션 또는 파일을 지칭하는 아이콘의 실행이 아닌 경우가 될 수 있다.
도 9a에 예시한 바와 같이 페이지 이동을 요구하는 제스처에 대하여는 가이드가 설정되지 않은 상태이다. 특정한 동작 예컨대, 사용자가 직관적으로 이해할 수 있는 동작이나 또는 사용자가 암기하여 사용할 수 있는 동작들에 대하여는 도 9a에 예시한 바와 같이 제2사용자 입력 방식의 입력 가이드 표시를 하지 않을 수도 있다.
910의 동작이 이루어져 페이지가 변경된 경우를 도 9b를 참조하여 대하여 살펴보기로 하자. 도 9b에 예시한 아이콘들은 도 9a에서 참조부호 910의 동작이 이루어져 페이지가 변경된 경우로 가정한다.
도 9b는 디스플레이 모듈 150에 표시되는 형태이며, 다수의 아이콘들 901a, 902b, 903b, … 중 두 번째 아이콘 902b에 제2사용자 인터페이스가 표시된 형태를 도식화하여 예시한 도면이다. 또한 도 9b에 예시한 바와 같이 참조부호 901b, 902b, 903c, …등의 아이콘들은 도 9a에 예시한 아이콘들과 상이한 형태의 아이콘들이 될 수 있다. 도 9b에 예시한 바와 같이 두 번째 아이콘에 대한 가이드를 제공하고 있는 상태에서 앞서 설명한 바와 같이 사용자가 신체의 일부 또는 다른 기구를 이용하여 참조부호 920과 같이 이동을 요청하면, 프로세서 120은 도 9c와 같은 형태로 디스플레이 모듈 150에 표시할 수 있다. 이는 앞서 도 9a에서 도 9b로의 이동을 설명하는 경우와 동일할 수 있다.
또한 도 9a 및 도 9b에서 알 수 있는 바와 같이 하나의 페이지가 변경될 시 제1사용자 인터페이스에 대응하는 기능을 실행하기 위한 제2사용자 입력 방식의 입력 가이드들은 재사용이 가능하다. 예컨대, 도 9a를 참조하면, 사용자가 위로 향하는 동작을 가이드하기 위한 제2사용자 입력 방식의 입력 가이드가 첫 번째 아이콘 901a와 함께 표시되어 있다. 또한 동일한 제2사용자 입력 방식의 입력 가이드가 도 9b에 두 번째 아이콘 902b와 함께 표시되어 있다. 도 9a가 첫 번째 페이지이고, 도 9b가 두 번째 페이지인 경우를 가정하였으므로 각 페이지마다 특정한 제1사용자 인터페이스에 대응하는 기능을 실행하기 위한 제2사용자 입력 방식의 입력 가이드가 재사용됨을 알 수 있다.
다음으로, 도 9c를 참조하면, 도 9c에서는 다수의 아이콘들 모두에 제1사용자 인터페이스들 901c, 902c, 903c, 904c마다 각각 서로 다른 제2사용자 입력 방식의 입력 가이드들 941, 942, 943, 944를 디스플레이한 경우를 예시하고 있다. 도 9a 및 도 9b에서는 하나씩의 아이콘들만 제2사용자 입력 방식의 입력 가이드가 표현되어 있으나, 도 9c와 같이 모든 아이콘들에 제2사용자 입력 방식의 입력 가이드가 표현될 수도 있다. 도 9c와 같이 모든 아이콘들에 제2사용자 입력 방식의 입력 가이드가 표현된 상태에서 사용자가 참조부호 930과 같은 제스처를 취하는 경우 프로세서 120은 디스플레이 모듈 150 상에 표시된 참조부호 910c의 동작이 요구된 경우로 판단할 수 있다. 따라서 프로세서 120은 910c에 대응하는 동작을 수행한다. 도 9c에서는 사진 폴더의 화면을 요청한 경우로 예시하였다. 이처럼 사진 폴더가 요청되면, 프로세서 120은 도 9d에 도시한 바와 같이 요청된 형태의 동작을 수행할 수 있다.
도 9d에서는 앞서 설명한 바와 같이 제2사용자 입력 방식을 가이 드할 수 없거나 할 필요가 없는 경우 제2사용자 인터페이스는 제1사용자 인터페이스와 동일하거나 제2사용자 인터페이스가 생략될 수 있다.
이상에서 설명한 바와 같이 본 발명에 따른 둘 이상의 입력 방식을 갖는 전자장치에서 사용자 인터페이스를 제공할 때, 사용자가 입력한 이전의 입력 방식에 대응한 가이드를 제공할 수 있는 형태로 사용자 인터페이스를 제공함으로써 사용자의 편의성을 증대시킬 수 있다.
100, 102, 104 : 전자 장치
110 : 버스
120 : 프로세서 130 : 메모리
131, 310 : 커널 132, 330 : 미들웨어
133, 360 : 어플리케이션 프로그래밍 인터페이스(API)
134, 370 : 어플리케이션 140 : 사용자 입력 모듈
150 : 디스플레이 모듈 160 : 통신 모듈
162 : 네트워크 164 : 서버
200 : 하드웨어 210 : 프로세서
211 : 어플리케이션 프로세서(AP)
213 : 커뮤니케이션 프로세서(CP)
214 : SIM 카드 220 : 메모리
222 : 내장메모리 224 : 외장메모리
230 : 통신 모듈 231 : 무선 통신 모듈
233 : Wi-Fi 234 : RF 모듈
235 : BT 237 : GPS
239 : NFC 240 : 센서 모듈
240A : 제스쳐 센서 240B : 자이로 센서
240C : 기압 센서 240D : 마그네틱 센서
240E : 가속도 센서 240F : 그립 센서
240G : 근접 센서 240H : RGB 센서
240I : 생체 센서 240J : 온/습도 센서
240K : 조도 센서 240M : UV 센서
250 : 사용자 모듈 252 : 터치 패널
254 : 펜 센서 256 : 키
258 : 울트라 소닉 260 : 디스플레이 모듈
262 : 패널 264 : 홀로그램
270 : 인터페이스 272 : HDMI
274 : USB 276 : 프로젝터
278 : D-SUB 280 : 오디오 코덱
282 : 스피커 284 : 리시버
286 : 이어폰 288 : 마이크
291 : 카메라 모듈 295 : 전력 관리 모듈
296 : 배터리 297 : 인디케이터
298 : 모터 300 : 프로그래밍 모듈
311 : 시스템 리소스 매니저 312 : 디바이스 드라이버
335 : 런타임 라이브러리 341 : 어플리케이션 매니저
342 : 윈도우 매니저 343 : 멀티미디어 매니저
344 : 리소스 매니저 345 : 파워 매니저
346 : 데이터베이스 매니저 347 : 패키지 매니저
348 : 연결 매니저 349 : 통지 매니저
350 : 위치 매니저 351 : 그래픽 매니저
352 : 보안 매니저 371 : 홈
372 : 다이얼러 373 : SMS/MMS
374 : IM 375 : 브라우저
376 : 카메라 377 : 알람
378 : 컨택트 379 : 음성다이얼
380 : 이메일 381 : 달력
382 : 미디어 플레이어 383 : 앨범
384 : 시계
120 : 프로세서 130 : 메모리
131, 310 : 커널 132, 330 : 미들웨어
133, 360 : 어플리케이션 프로그래밍 인터페이스(API)
134, 370 : 어플리케이션 140 : 사용자 입력 모듈
150 : 디스플레이 모듈 160 : 통신 모듈
162 : 네트워크 164 : 서버
200 : 하드웨어 210 : 프로세서
211 : 어플리케이션 프로세서(AP)
213 : 커뮤니케이션 프로세서(CP)
214 : SIM 카드 220 : 메모리
222 : 내장메모리 224 : 외장메모리
230 : 통신 모듈 231 : 무선 통신 모듈
233 : Wi-Fi 234 : RF 모듈
235 : BT 237 : GPS
239 : NFC 240 : 센서 모듈
240A : 제스쳐 센서 240B : 자이로 센서
240C : 기압 센서 240D : 마그네틱 센서
240E : 가속도 센서 240F : 그립 센서
240G : 근접 센서 240H : RGB 센서
240I : 생체 센서 240J : 온/습도 센서
240K : 조도 센서 240M : UV 센서
250 : 사용자 모듈 252 : 터치 패널
254 : 펜 센서 256 : 키
258 : 울트라 소닉 260 : 디스플레이 모듈
262 : 패널 264 : 홀로그램
270 : 인터페이스 272 : HDMI
274 : USB 276 : 프로젝터
278 : D-SUB 280 : 오디오 코덱
282 : 스피커 284 : 리시버
286 : 이어폰 288 : 마이크
291 : 카메라 모듈 295 : 전력 관리 모듈
296 : 배터리 297 : 인디케이터
298 : 모터 300 : 프로그래밍 모듈
311 : 시스템 리소스 매니저 312 : 디바이스 드라이버
335 : 런타임 라이브러리 341 : 어플리케이션 매니저
342 : 윈도우 매니저 343 : 멀티미디어 매니저
344 : 리소스 매니저 345 : 파워 매니저
346 : 데이터베이스 매니저 347 : 패키지 매니저
348 : 연결 매니저 349 : 통지 매니저
350 : 위치 매니저 351 : 그래픽 매니저
352 : 보안 매니저 371 : 홈
372 : 다이얼러 373 : SMS/MMS
374 : IM 375 : 브라우저
376 : 카메라 377 : 알람
378 : 컨택트 379 : 음성다이얼
380 : 이메일 381 : 달력
382 : 미디어 플레이어 383 : 앨범
384 : 시계
Claims (20)
- 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법에 있어서,
제1사용자 입력 방식에 대응한 제1사용자 인터페이스(들)를 표시하는 동작; 및
제2사용자 입력 방식의 사용자 입력이 검출되면, 상기 제1사용자 인터페이스(들)에 대응하는 기능을 상기 제2사용자 입력 방식으로 실행시키기 위한 입력 가이드(들)를 표시하는 동작;을 포함하는, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 제1항에 있어서,
상기 제1사용자 입력 방식은 키 입력 또는 터치 입력 방식이며,
상기 제2사용자 입력 방식은 호버링 또는 모션 또는 제스처 입력 방식인, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 제1항에 있어서,
상기 입력 가이드(들)는 상기 제2사용자 입력 방식을 가이드하기 위해 시간에 따라 움직이는 형태로 표시하는, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 제1항에 있어서,
상기 입력 가이드(들)는 상기 제2사용자 입력 방식을 가이드하기 위해 시간에 따라 색상을 변경하여 표시하는, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 제1항에 있어서, 상기 하나의 입력 가이드는,
하나의 상기 제1사용자 인터페이스에 대응하여 표시하는, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 제5항에 있어서, 상기 각 입력 가이드들은,
상기 제1사용자 인터페이스들에 대응하는 각각의 제1사용자 인터페이스에 부가하여 표시하는, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 제5항에 있어서, 상기 각 입력 가이드들은,
상기 각각의 제1사용자 인터페이스들에 대응하는 기능을 수행하기 위한 새로운 인터페이스들인, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 제1항에 있어서, 상기 각 입력 가이드(들)는,
각 페이지마다 재사용되는, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 제1항에 있어서,
상기 입력 가이드(들)가 표시된 상태에서 상기 제1사용자 입력 방식의 입력이 검출될 시 상기 제1사용자 입력 방식의 입력에 대응한 기능을 수행하는 동작; 및
상기 제1사용자 입력 방식에 대응한 제1사용자 인터페이스(들)로 변경하여 표시하는 동작;을 더 포함하는, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 제1항에 있어서,
상기 제2사용자 입력 방식이 활성화될 시 상기 제2사용자 입력 방식의 활성화 상태를 표시하는 동작;을 더 포함하는, 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법. - 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치에 있어서,
제1사용자 입력 방식과 제2사용자 입력 방식으로 사용자의 입력을 검출하기 위한 사용자 입력 모듈;
상기 제1사용자 입력 방식에 대응한 제1사용자 인터페이스(들)와 상기 제2사용자 입력 방식에 대응한 입력 가이드(들)를 표시하기 위한 디스플레이 모듈;
상기 제1사용자 인터페이스(들) 및 상기 입력 가이드(들)를 저장하며, 상기 전자장치의 동작 프로그램을 저장하는 메모리; 및
상기 제1사용자 입력 방식을 상기 디스플레이 모듈에 표시하는 중 상기 사용자 입력 모듈로부터 상기 제2사용자 입력 방식이 검출될 시 상기 제1사용자 인터페이스(들)에 대응하는 기능을 상기 제2사용자 입력 방식으로 실행시키기 위한 입력 가이드(들)로 전환하여 상기 디스플레이 모듈에 표시하도록 제어하는 프로세서;를 포함하는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치. - 제11항에 있어서,
상기 제1사용자 입력 방식은 키 입력 또는 터치 입력 방식이며,
상기 제2사용자 입력 방식은 호버링 또는 모션 또는 제스처 입력 방식인, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치. - 제11항에 있어서, 상기 프로세서는,
상기 디스플레이 모듈에 상기 입력 가이드(들)를 표시할 시 시간에 따라 움직이는 형태로 표시하도록 제어하는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치. - 제12항에 있어서, 상기 프로세서는,
상기 디스플레이 모듈에 상기 입력 가이드(들)를 표시할 시 시간에 따라 색상을 변경하여 표시하도록 제어하는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치. - 제11항에 있어서, 상기 프로세서는,
상기 하나의 입력 가이드를 상기 디스플레이 모듈에 표시하도록 제어할 시 상기 하나의 제1사용자 인터페이스에 대응하여 표시하도록 제어하는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치. - 제15항에 있어서, 상기 프로세서는,
상기 각 입력 가이드들을 상기 디스플레이 모듈에 표시할 시 상기 제1사용자 인터페이스에 대응하는 각 입력 가이드들을 상기 제1사용자 인터페이스들에 부가하여 표시하도록 제어하는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치. - 제15항에 있어서, 상기 프로세서는,
상기 각 입력 가이드들을 상기 디스플레이 모듈에 표시할 시 상기 제1사용자 인터페이스마다 대응하는 각각의 입력 가이드들을 포함하는 새로운 인터페이스를 상기 디스플레이 모듈에 표시하도록 제어하는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치. - 제11항에 있어서, 상기 프로세서는,
상기 디스플레이 모듈에 한 번에 표시될 수 있는 각 페이지마다 특정한 입력 가이드(들)를 재사용하여 표시하도록 제어하는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치. - 제11항에 있어서, 상기 프로세서는,
상기 디스플레이 모듈에 상기 입력 가이드(들)를 표시하도록 제어한 상태에서 상기 입력 모듈로부터 상기 제1사용자 입력 방식의 입력이 검출될 시 상기 디스플레이 모듈의 표시를 상기 제1사용자 입력 방식에 대응한 제1사용자 인터페이스(들)로 변경하여 표시하도록 제어하는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치. - 제11항에 있어서, 상기 프로세서는,
상기 디스플레이 모듈에 상기 제2사용자 입력 방식이 활성화될 시 상기 제2사용자 입력 방식의 활성화 상태를 표시하도록 제어하는, 사용자 입력에 대응한 사용자 인터페이스를 제공하기 위한 전자장치.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140040276A KR20150115365A (ko) | 2014-04-04 | 2014-04-04 | 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치 |
| US14/679,568 US20150286328A1 (en) | 2014-04-04 | 2015-04-06 | User interface method and apparatus of electronic device for receiving user input |
| EP15162655.3A EP2927796A1 (en) | 2014-04-04 | 2015-04-07 | User interface method and apparatus of electronic device for receiving user input |
| CN201510162078.8A CN104978023A (zh) | 2014-04-04 | 2015-04-07 | 用于接收用户输入的电子装置的用户界面方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140040276A KR20150115365A (ko) | 2014-04-04 | 2014-04-04 | 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150115365A true KR20150115365A (ko) | 2015-10-14 |
Family
ID=52814873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140040276A KR20150115365A (ko) | 2014-04-04 | 2014-04-04 | 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20150286328A1 (ko) |
| EP (1) | EP2927796A1 (ko) |
| KR (1) | KR20150115365A (ko) |
| CN (1) | CN104978023A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180094961A (ko) * | 2015-12-22 | 2018-08-24 | 폭스바겐 악티엔 게젤샤프트 | 차량의 적어도 하나의 장치에 대한 사용자 인터페이스를 제공하기 위한 방법 및 시스템 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6104707B2 (ja) * | 2013-05-23 | 2017-03-29 | アルパイン株式会社 | 電子機器、操作入力方法および操作入力プログラム |
| US9710128B2 (en) * | 2015-03-17 | 2017-07-18 | Google Inc. | Dynamic icons for gesture discoverability |
| CN106302330B (zh) * | 2015-05-21 | 2021-01-05 | 腾讯科技（深圳）有限公司 | 身份验证方法、装置和*** |
| US9874952B2 (en) * | 2015-06-11 | 2018-01-23 | Honda Motor Co., Ltd. | Vehicle user interface (UI) management |
| KR20170082361A (ko) * | 2016-01-06 | 2017-07-14 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| KR101847295B1 (ko) * | 2016-10-31 | 2018-05-28 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치 |
| US11132040B2 (en) * | 2018-07-05 | 2021-09-28 | Microchip Technology Incorporated | Load balancing in multi-port power delivery applications |
| CN109857506B (zh) * | 2019-02-19 | 2022-02-08 | 天津字节跳动科技有限公司 | 引导信息的实现方法、装置、电子设备和存储介质 |
| USD1012104S1 (en) * | 2021-08-30 | 2024-01-23 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3546337B2 (ja) * | 1993-12-21 | 2004-07-28 | ゼロックス コーポレイション | 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法 |
| US7653883B2 (en) * | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| US9311528B2 (en) * | 2007-01-03 | 2016-04-12 | Apple Inc. | Gesture learning |
| KR20080104858A (ko) * | 2007-05-29 | 2008-12-03 | 삼성전자주식회사 | 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기 |
| US8413075B2 (en) * | 2008-01-04 | 2013-04-02 | Apple Inc. | Gesture movies |
| US8196042B2 (en) * | 2008-01-21 | 2012-06-05 | Microsoft Corporation | Self-revelation aids for interfaces |
| KR101012379B1 (ko) * | 2008-03-25 | 2011-02-09 | 엘지전자 주식회사 | 단말기 및 이것의 정보 디스플레이 방법 |
| TW201009650A (en) * | 2008-08-28 | 2010-03-01 | Acer Inc | Gesture guide system and method for controlling computer system by gesture |
| KR20110020642A (ko) * | 2009-08-24 | 2011-03-03 | 삼성전자주식회사 | 사용자 접근을 인식하여 반응하는 ｇｕｉ제공 장치 및 방법 |
| US20110119216A1 (en) * | 2009-11-16 | 2011-05-19 | Microsoft Corporation | Natural input trainer for gestural instruction |
| KR20110071349A (ko) * | 2009-12-21 | 2011-06-29 | 삼성전자주식회사 | 휴대단말의 외부 출력 제어 방법 및 장치 |
| KR20120068253A (ko) * | 2010-12-17 | 2012-06-27 | 삼성전자주식회사 | 사용자 인터페이스의 반응 제공 방법 및 장치 |
| CN103748541B (zh) * | 2011-06-07 | 2016-10-12 | 松下电器（美国）知识产权公司 | 被支援装置、支援装置、设备间向导***、记录介质、以及集成电路 |
| WO2013022222A2 (en) * | 2011-08-05 | 2013-02-14 | Samsung Electronics Co., Ltd. | Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same |
| KR20130142824A (ko) * | 2012-06-20 | 2013-12-30 | 삼성전자주식회사 | 원격 제어 장치 및 그 제어 방법 |
| FR2982722B3 (fr) * | 2012-06-20 | 2014-03-14 | Samsung Electronics Co Ltd | Dispositif d'affichage, dispositif de commande a distance et fonction de commande connexe |
| KR20140026723A (ko) * | 2012-08-23 | 2014-03-06 | 삼성전자주식회사 | 휴대 장치의 가이드 제공 방법 및 그 휴대 장치 |
| KR20150006720A (ko) * | 2013-07-09 | 2015-01-19 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US9696882B2 (en) * | 2013-08-28 | 2017-07-04 | Lenovo (Beijing) Co., Ltd. | Operation processing method, operation processing device, and control method |
-
2014
- 2014-04-04 KR KR1020140040276A patent/KR20150115365A/ko not_active Application Discontinuation
-
2015
- 2015-04-06 US US14/679,568 patent/US20150286328A1/en not_active Abandoned
- 2015-04-07 EP EP15162655.3A patent/EP2927796A1/en not_active Withdrawn
- 2015-04-07 CN CN201510162078.8A patent/CN104978023A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180094961A (ko) * | 2015-12-22 | 2018-08-24 | 폭스바겐 악티엔 게젤샤프트 | 차량의 적어도 하나의 장치에 대한 사용자 인터페이스를 제공하기 위한 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2927796A1 (en) | 2015-10-07 |
| CN104978023A (zh) | 2015-10-14 |
| US20150286328A1 (en) | 2015-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10187872B2 (en) | Electronic device and method of providing notification by electronic device | |
| EP3901756B1 (en) | Electronic device including touch sensitive display and method for operating the same | |
| KR102317803B1 (ko) | 복수의 디스플레이를 제어하는 전자 장치 및 제어 방법 | |
| EP3160150A1 (en) | Electronic device and method for executing function using speech recognition thereof | |
| KR20150115365A (ko) | 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치 | |
| KR102219861B1 (ko) | 화면 공유 방법 및 그 전자 장치 | |
| KR102213190B1 (ko) | 홈스크린 구성 방법 및 이를 이용한 전자 장치 | |
| KR102242983B1 (ko) | 통합 메시지 어플리케이션 운용 방법 및 이를 지원하는 전자장치 | |
| EP2869253A1 (en) | Method for operating message application and electronic device implementing the same | |
| KR102543955B1 (ko) | 전자 장치 및 전자 장치에서의 정보 제공 방법 | |
| US20170308225A1 (en) | Electronic device and method for processing gesture input | |
| KR20150054413A (ko) | 시선 데이터에 따라 컨텐츠의 위치를 결정하는 전자 장치 및 방법 | |
| KR20150051640A (ko) | 전자장치에서 메시지의 상태 확인 방법 및 장치 | |
| EP3410282B1 (en) | Electronic device and method for controlling user interface of electronic device | |
| EP3012719A1 (en) | Display control method and protective cover in electronic device | |
| KR20150051663A (ko) | 터치 입력에 반응하여 기능을 실행하는 방법 및 이를 구현하는 전자장치 | |
| CN107015752B (zh) | 用于处理视图层上的输入的电子设备和方法 | |
| KR102206053B1 (ko) | 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법 | |
| KR102215178B1 (ko) | 전자장치에서 사용자 입력 방법 및 장치 | |
| KR20150057085A (ko) | 전력 소모를 줄일 수 있는 전자 장치 및 방법 | |
| KR20150051278A (ko) | 오브젝트 이동 방법 및 이를 구현하는 전자 장치 | |
| KR20150117968A (ko) | 입력방향에 따라 기능을 전환하는 전자 장치 및 방법 | |
| US10303351B2 (en) | Method and apparatus for notifying of content change | |
| KR102545907B1 (ko) | 콘텐츠 표시 방법 및 이를 수행하는 전자 장치 | |
| KR20160075146A (ko) | 터치 패널 및 이를 구비하는 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |