KR102220799B1 - 사용자 인터페이스 제어 방법 및 장치 - Google Patents

사용자 인터페이스 제어 방법 및 장치 Download PDF

Info

Publication number
KR102220799B1
KR102220799B1 KR1020130112862A KR20130112862A KR102220799B1 KR 102220799 B1 KR102220799 B1 KR 102220799B1 KR 1020130112862 A KR1020130112862 A KR 1020130112862A KR 20130112862 A KR20130112862 A KR 20130112862A KR 102220799 B1 KR102220799 B1 KR 102220799B1
Authority
KR
South Korea
Prior art keywords
application
image
area
drawing object
input
Prior art date
Application number
KR1020130112862A
Other languages
English (en)
Other versions
KR20140143673A (ko
Inventor
정종우
명인식
이혜원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/285,100 priority Critical patent/US9639199B2/en
Priority to EP18193561.0A priority patent/EP3435219A1/en
Priority to EP20140170488 priority patent/EP2811387A3/en
Publication of KR20140143673A publication Critical patent/KR20140143673A/ko
Priority to US15/484,544 priority patent/US10205873B2/en
Application granted granted Critical
Publication of KR102220799B1 publication Critical patent/KR102220799B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시는 사용자 인터페이스를 제어하는 방법 및 장치에 관한 것이다.
이를 위해 본 발명은 전자 장치의 사용자 인터페이스를 제어하는 방법에 있어서, 전자 장치의 터치 스크린에 제1 어플리케이션을 실행하는 과정과, 상기 터치 스크린에 표시되는 상기 실행된 제1 어플리케이션의 내부에서 입력되는 궤적에 의해 형성된 아웃 라인을 가지는 드로잉 오브젝트를 디스플레이 하는 과정과, 상기 드로잉 오브젝트의 영역 내부에 상기 드로잉 오브젝트에 대응하여 지정된 제2 어플리케이션을 실행하는 과정과, 상기 드로잉 오브젝트의 영역에 상기 제2 어플리케이션을 표시하고, 상기 드로잉 오브젝트의 영역을 제외한 나머지 영역에 상기 제1 어플리케이션을 표시하여 사용자 인터페이스를 제어하는 과정을 포함한다.

Description

사용자 인터페이스 제어 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING A USER INTERFACE}
본 개시는 사용자 인터페이스를 제어하는 방법 및 장치에 관한 것이다.
디지털 시대로 접어들면서, 터치스크린이 구비된 전자 장치의 보급이 일반화 되었다. 터치스크린(touch screen)이란 키보드와 마우스를 대체하는 입력장치로서 모니터 이를테면, LCD(liquid crystal display)상에 사용자의 터치를 감지할 수 있는 터치패널(touch panel)을 부착하여 사용자로 하여금 원하는 작업을 수행할 수 있도록 한 것인바, 특히 크기의 제약에 받은 소형 단말기 예컨대, 휴대폰이나 MP3 플레이어에 적합하다.
종래 터치스크린을 이용한 사용자 인터페이스에 따르면 전자 장치에 탑재된 다양한 기능을 사용자가 인지하고 사용할 수 있도록 기능별로 아이콘이나 메뉴 형태로 표시하고, 이렇게 표시된 아이콘이나 메뉴를 사용자가 클릭하게 되면 그에 해당되는 응용프로그램이 실행되도록 또는 보다 하위 개념의 아이콘이나 메뉴로 전환될수 있도록 하고 있다.
또는 사용자가 스타일러스 펜과 같은 입력 수단으로 터치스크린을 연속적으로 터치하면, 터치 입력이 궤적에 대응하는 드로잉 오브젝트, 예를 들어, 도형이나 문자 등이 터치스크린에 디스플레이되는 사용자 인터페이스가 제공되고 있으며, 이에 따라, 사용자는 메모를 하거나 그림을 그릴 수 있다.
그런데 종래에는 스타일러스 펜을 이용한 사용자 인터페이스는 사용자의 터치 입력에 대응하여 2차원적인 도식만을 제공하기 때문에, 사용자는 터치 입력에 대해 다소 한정된 경험만을 얻을 수 있다.
이에 따라, 사용자에게 좀 더 다양한 터치 입력 경험을 제공할 수 있는 사용자 인터페이스에 대한 필요성이 대두된다. 또한, 사용자의 터치 입력에 따라 단순한 드로잉 오브젝트만을 제공하는 것이 아니라, 전자 장치의 다른 기능과 연계된 결과를 제공할 수 있는 사용자 인터페이스가 요구된다.
상술한 바를 해결하기 위해, 본 발명의 일 실시예는 사용자의 터치 입력에 대응하는 드로잉 오브젝트를 3차원적으로 표현할 수 있는 사용자 인터페이스 제어 방법 및 장치를 제공한다.
또한 본 발명의 일 실시예는 어플리케이션 실행 중 사용자 입력에 의해 드로잉된 드로잉 오브젝트를 통해 연계된 다른 어플리케이션을 실행할 수 있는 사용자 인터페이스를 제공한다.
이를 위해 본 발명의 일 실시예는 전자 장치의 사용자 인터페이스를 제어하는 방법에 있어서, 전자 장치의 터치 스크린에 제1 어플리케이션을 실행하는 과정과,상기 터치 스크린에 표시되는 상기 실행된 제1 어플리케이션의 내부에서 입력되는 궤적에 의해 형성된 아웃 라인을 가지는 드로잉 오브젝트를 디스플레이 하는 과정과, 상기 드로잉 오브젝트의 영역 내부에 상기 드로잉 오브젝트에 대응하여 지정된 제2 어플리케이션을 실행하는 과정과, 상기 드로잉 오브젝트의 영역에 상기 제2 어플리케이션을 표시하고, 상기 드로잉 오브젝트의 영역을 제외한 나머지 영역에 상기 제1 어플리케이션을 표시하여 사용자 인터페이스를 제어하는 과정을 포함한다.
또한, 본 발명의 일 실시예는 상기 드로잉 오브젝트의 영역 내부에 현재 표시되어 있는 제1 어플리케이션과 서로 다른 제2 어플리케이션을 실행 할 수 있다.
또한, 본 발명의 일 실시예는 상기 드로잉 오브젝트의 아웃 라인에 비쥬얼 효과를 제공하여 디스플레이할 수 있다.
또한, 본 발명의 일 실시예는 상기 궤적이 폐쇄형인 경우, 상기 드로잉 오브젝트를 포함하는 영역에 터치 및 데셍(dessin) 중 적어도 하나의 입력에 대응하여 상기 드로잉 오브젝트에 미리 결정된 색깔을 적용할 수 있다.
또한, 본 발명의 일 실시예는 상기 드로잉 오브젝트가 검색창인 경우, 상기 검색창에 필기된 텍스트에 대응되는 정보를 검색하고, 상기 검색된 정보를 상기 터치 스크린에 디스플레이할 수 있다.
또한, 본 발명의 일 실시예는 상기 터치 스크린이 입력 유닛을 이용한 터치를 입력받는 모드인 경우, 상기 드로잉 오브젝트의 영역을 사용자의 신체 중 일부를 입력받는 모드로 전환하고, 상기 터치 스크린이 상기 사용자의 신체 중 일부를 입력받는 모드인 경우, 상기 드로잉 오브젝트의 영역을 상기 입력 유닛을 이용한 터치를 입력받는 모드로 전환할 수 있다.
또한, 본 발명의 다른 실시예는 전자 장치의 사용자 인터페이스 제공 방법에 있어서, 터치 스크린에 입력되는 궤적에 의해 형성되는 드로잉 오브젝트를 터치 스크린에 디스플레이하는 과정과, 상기 드로잉 오브젝트에 비쥬얼 효과를 제공하여 디스플레이하는 과정을 포함한다.
본 발명의 다른 실시예에 따른 비쥬얼 효과는 상기 드로잉 오브젝트의 아웃 라인에 따라 상기 드로잉 오브젝트가 분리되어 상기 드로잉 오브젝트가 3차원 팝업 북 방식으로 표현되는 효과를 포함할 수 있다.
본 발명의 다른 실시예에 따른 비쥬얼 효과는 상기 3차원 팝업 북 방식으로 표현된 상기 드로잉 오브젝트가 흔들리는 효과를 포함할 수 있다.
또한, 본 발명의 또 다른 실시예는 사용자 인터페이스를 제어하는 전자 장치에 있어서, 터치 스크린과,상기 터치 스크린에 제1 어플리케이션을 실행하고, 상기 터치 스크린에 표시되는 상기 제1 어플리케이션의 내부에서 입력되는 궤적에 의해 형성된 아웃 라인을 가지는 드로잉 오브젝트를 디스플레이하며, 상기 드로잉 오브젝트의 영역 내부에 상기 드로잉 오브젝트에 대응하여 지정된 제2 어플리케이션을 실행하며, 상기 드로잉 오브젝트의 영역에 상기 제2 어플리케이션을 표시하고 상기 드로잉 오브젝트의 영역을 제외한 나머지 영역에 상기 제1 어플리케이션을 표시하여 사용자 인터페이스를 제어하는 제어부를 포함한다.
본 발명의 또 다른 실시예에 따른 제어부는 상기 터치 스크린이 입력 유닛을 이용한 터치를 입력받는 모드인 경우, 상기 제어부는 상기 드로잉 오브젝트의 영역을 사용자의 신체 중 일부를 입력받는 모드로 전환하고, 상기 터치 스크린이 상기 사용자의 신체 중 일부를 이용한 터치를 입력받는 모드인 경우, 상기 제어부는 상기 드로잉 오브젝트의 영역을 상기 입력 유닛을 입력받는 모드로 전환할 수 있다.
또한, 본 발명은 상술한 실시예 이외에 본 발명의 범주를 벗어나지 않는 범위내의 다양한 실시예를 포함할 수 있다.
본 개시는 터치 입력에 대응하는 드로잉 오브젝트를 3차원적으로 표현할 수 있는 사용자 인터페이스 제어 방법 및 장치를 제공한다. 그리고 본 개시는 어플리케이션 실행중 사용자 입력에 의해 드로잉된 드로잉 오브젝트를 통해 연계된 다른 어플리케이션을 실행할 수 있는 사용자 인터페이스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자 장치의 구성을 나타낸 예시도.
도 2는 본 발명의 일 실시예에 따른 전자 장치에서 터치스크린 컨트롤러와 터치스크린의 구성을 나타낸 예시도.
도 3은 본 발명의 일 실시예에 따른 프레임을 설명하기 위한 예시도.
도 4는 본 발명의 일 실시예에 따른 전자 장치의 전면 사시도.
도 5는 본 발명의 일 실시예에 따른 전자 장치의 후면 사시도.
도 6은 본 발명의 일 실시예에 따른 사용자 입력에 따른 드로잉 오브젝트를 입체적으로 디스플레이하는 동작 과정을 나타낸 순서도.
도 7은 본 발명의 일 실시예에 따른 드로잉 오브젝트의 패턴 종류에 따라 드로잉 오브젝트를 3차원 디스플레이 및 연계 어플리케이션 수행의 동작 과정을 나타낸 순서도.
도 8은 본 발명의 일 실시예에 따른 개방형 드로잉 오브젝트의 표현 과정을 나타낸 도면.
도 9는 본 발명의 일 실시예에 따른 폐쇄형 드로잉 오브젝트의 표준화 과정을 나타낸 도면.
도 10은 본 발명의 일 실시예에 따른 두 개의 어플리케이션 간의 동작 과정을 나타낸 순서도.
도 11a 내지 도 11d는 본 발명의 일 실시예에 따른 사용자 인터페이스를 제어하는 예를 나타낸 예시도.
도 12a 내지 도 12f는 본 발명의 다른 실시예에 따른 사용자 인터페이스를 제어하는 예를 나타낸 예시도.
도 13a 내지 도 13c는 본 발명의 일 실시예에 따른 개방형 패턴의 드로잉 오브젝트를 동적인 3차원 오브젝트로 디스플레이하는 예시도.
도 14a 및 도 14b는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제1 예를 나타낸 예시도.
도 15a 내지 도 15c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제2 예를 나타낸 예시도.
도 16a 내지 도 16c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제3 예를 나타낸 예시도.
도 17은 본 발명의 다른 실시예에 따른 전자 장치의 동작 과정을 나타낸 순서도.
도 18a 내지 도 18c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제4 예를 나타낸 예시도.
도 19a 및 도 19b는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제5 예를 나타낸 예시도.
도 20a 및 도 20c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제6 예를 나타낸 예시도.
도 21a 내지 도 21c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제7 예를 나타낸 예시도.
도 22는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제8 예를 나타낸 예시도.
도 23a 내지 도 23c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제9 예를 나타낸 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 발명은 전자 장치에서 비쥬얼 효과가 강조된 사용자 인터페이스를 제공하기 위한 것이다. 본 발명의 일 실시예에 따른 전자 장치는 사용자의 드로잉 입력을 수용하는 제1 어플리케이션 실행에 따라, 제1 어플리케이션의 실행 화면을 터치스크린에 디스플레이한다. 이 상태에서, 터치스크린 상에서 연속적인 사용자 입력이 발생하면, 사용자의 터치 궤적에 따른 드로잉 오브젝트가 실행화면 상에 디스플레이될 수 있다. 그리고 본 발명의 일 실시예에 따라, 전자 장치는 드로잉 오브젝트의 아웃라인에 대한 비쥬얼 효과를 디스플레이할 수 있다. 예를 들어, 드로잉 오브젝트의 아웃라인에 따라 분리된 드로잉 오브젝트가동적인 3차원 오브젝트로 디스플레이될 수 있다.
이때, 드로잉 오브젝트의 패턴이 폐쇄형 패턴인 경우, 드로잉 오브젝트의 아웃 라인에 의해 형성된 영역 내부에서 제2 어플리케이션이 실행될 수 있으며, 사용자의 기능 실행 요청에 따라, 제2 어플리케이션의 실행 결과가 제1 어플리케이션에 적용될 수 있다. 예를 들어, 제1 어플리케이션의 실행 결과를 나타내는 영상이 제1 어플리케이션의 실행 화면에 포함될 수 있다.
드로잉 입력을 수용하는 어플리케이션이란, 스타일러스 펜이나 전자펜, 또는 사용자의 손가락과 같은 입력 유닛이 터치스크린을 터치할 때, 터치 궤적을 나타내는 드로잉 객체를 터치스크린에 디스플레이하는 어플리케이션이다. 예를 들어, 메모 어플리케이션, 인스턴트 메시징 서비스 응용, 단문 메시지 어플리케이션, 다이어리 어플리케이션, 이 메일 어플리케이션, SNS 어플리케이션, 촬영 어플리케이션, 이미지 편집 어플리케이션 등이 될 수 있다.
또한, 하나의 어플리케이션 실행된 상태에서, 사용자 입력에 의해 생성된 드로잉 객체에 의해 선택된 제1 영역과, 제1 영역을 제외한 나머지 제2 영역 각각에서 서로 다른 어플리케이션 기능이 제공되게 할 수도 있다.
이러한 본 발명이 적용되는 전자 장치의 일예를 도 1에 도시하였다. 도 1을 참조하면, 전자 장치(이하 '장치'라고도 칭함)(100)는 이동통신 모듈(120), 서브통신 모듈(130) 및 커넥터(165)를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. "외부장치"는 다른 장치(도시되지 아니함), 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC(도시되지 아니함) 및 서버(도시되지 아니함)를 포함한다.
도 1은 본 발명의 일 실시예에 따른 전자 장치의 구성을 나타낸 예시도이다.
도 1을 참조하면, 전자 장치(100)는 터치스크린(190) 및 터치스크린 컨트롤러(195)를 포함한다. 또한, 전자 장치(100)는 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 전원공급부(180) 및 저장부(175)를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함한다.
제어부(110)는 CPU(111), 장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)(114)를 통해 상호 연결될 수 있다.
제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 전원공급부(180), 저장부(175), 터치스크린(190) 및 터치스크린 컨트롤러(195)를 제어할 수 있다.
본 발명의 일 실시예에 따른 제어부(110)는 터치 스크린에 입력되는 궤적에 의해 형성되는 드로잉 오브젝트를 디스플레이하고, 상기 드로잉 오브젝트 및 상기 드로잉 오브젝트를 제외한 나머지 영역을 형성하고, 드로잉 오브젝트의 영역과 상기 드로잉 오브젝트의 영역을 제외한 상기 터치 스크린 상의 나머지 영역에 서로 다른 기능을 적용하여 사용자 인터페이스를 제어할 수 있다. 제어부(110)는 터치 스크린이 현재 실행하고 있는 제1 어플리케이션과 서로 다른 제2 어플리케이션을 드로잉 오브젝트의 영역 내부에서 실행시킬 수 있다. 그리고, 제어부(110)는 상기 제2 어플리케이션을 실행하는 요청에 대응하여 실행 결과를 상기 제1 어플리케이션에 적용할 수 있다. 또한, 제어부(110)는 드로잉 오브젝트의 아웃 라인에 비쥬얼 효과를 제공하여 디스플레이할 수 있다.
또한, 제어부(110)는 제1 어플리케이션과 연계되는 제2 어플리케이션이 복수개인 경우, 복수개의 제2 어플리케이션의 리스트를 터치 스크린에 제공하고, 리스트 중에서 선택되는 어플리케이션을 호출하여 상기 영역 내부에서 실행할 수 있다. 또한, 제어부(110)는 제2 어플리케이션이 이미지 라이브러리 어플리케이션인 경우, 이미지 리스트를 상기 영역 내부에 디스플레이하는 과정을 포함하고, 상기 디스플레이된 이미지 리스트를 통해 적어도 하나의 이미지를 선택하는 요청에 대응하여 상기 제1 어플리케이션의 실행 화면에 상기 선택된 이미지가 포함되도록 디스플레이할 수 있다. 또한, 제어부(110)는 제2 어플리케이션이 이미지 라이브러리 어플리케이션인 경우, 이미지 리스트를 상기 영역 내부에 디스플레이하고, 상기 선택된 이미지를 선택 완료하는 요청의 입력에 대응하여 상기 디스플레이된 이미지를 상기 아웃 라인에 따라 크롭하여, 상기 제1 어플리케이션에 대한 입력 이미지로 생성할 수 있다. 또한, 제어부(110)는 제2 어플리케이션이 이미지 촬영 어플리케이션인 경우, 카메라를 활성하고, 상기 카메라를 통해 촬영되는 프리뷰 영상을 상기 영역 내부에 디스플레이하고, 촬영 명령에 따라 촬영되는 이미지를 상기 영역 내부에 디스플레이하고, 상기 이미지 촬영 어플리케이션을 실행하는 요청에 대응하여 상기 촬영된 이미지가 상기 제1 어플리케이션에 대한 입력 이미지로서 상기 제1 어플리케이션의 실행 화면에 포함되도록 디스플레이할 수 있다. 또한, 제어부(110)는 제2 어플리케이션이 이미지 촬영 어플리케이션인 경우, 카메라를 활성하고, 상기 카메라를 통해 촬영되는 프리뷰 영상을 상기 영역 내부에 디스플레이하고, 촬영 명령에 따라 촬영되는 이미지를 상기 영역 내부에 디스플레이하고, 상기 이미지 촬영 어플리케이션을 실행하는 요청에 대응하여 상기 촬영된 이미지를 상기 아웃 라인에 따라 크롭하여, 상기 제1 어플리케이션에 대한 입력 이미지로 생성할 수 있다. 또한, 제어부(110)는 제2 어플리케이션이 지도 어플리케이션이면, 지도 이미지를 상기 영역 내부에 디스플레이하고, 상기 지도 어플리케이션을 실행하는 요청에 대응하여 상기 지도 이미지를 상기 제1 어플리케이션에 대한 입력 이미지로서 상기 제1 어플리케이션의 실행 화면에 포함되도록 디스플레이할 수 있다. 또한, 제어부(110)는 제2 어플리케이션이 지도 어플리케이션이면, 지도 이미지를 상기 영역 내부에 디스플레이하고, 상기 지도 어플리케이션을 실행하는 요청에 대응하여 상기 지도 이미지를 상기 아웃 라인에 따라 크롭하여, 상기 제1 어플리케이션에 대한 입력 이미지로 생성할 수 있다.
또한, 제어부(110)는 터치 스크린에 입력되는 궤적을 감지하고, 감지된 궤적이 폐쇄형 패턴인 경우, 상기 궤적에 의해 형성되는 드로잉 오브젝트를 포함하는 영역에 터치 및 데셍(dessin) 중 적어도 하나의 입력에 대응하여 상기 드로잉 오브젝트에 미리 결정된 색깔을 적용할 수 있다. 통상적으로 스케치 또는 데셍에 의해 색칠을 하는 경우, 미리 설정된 영역을 벗어날 수 있는데, 제어부(110)는 이러한 색칠이 미리 설정된 영역을 벗어나더라도 영역 내에 미리 설정된 색깔을 적용하고 미리 설정된 영역을 벗어난 영역의 색칠은 제거할 수 있다. 그리고, 제어부(110)는 상기 드로잉 오브젝트가 검색창인 경우, 상기 검색창에 필기된 텍스트에 대응되는 정보를 검색하고, 상기 검색된 정보를 상기 터치 스크린에 디스플레이할 수 있다. 또한, 제어부(110)는 상기 터치 스크린이 입력 유닛을 이용한 터치를 입력받는 모드인 경우, 상기 드로잉 오브젝트의 영역을 사용자의 신체 중 일부를 입력받는 모드로 전환하고, 상기 터치 스크린이 상기 사용자의 신체 중 일부를 입력받는 모드인 경우, 상기 드로잉 오브젝트의 영역을 상기 입력 유닛을 이용한 터치를 입력받는 모드로 전환할 수 있다.
또한, 본 발명의 다른 실시예에 따른 제어부(110)는 터치 스크린에 입력되는 궤적에 의해 형성되는 드로잉 오브젝트를 터치 스크린에 디스플레이하고, 상기 드로잉 오브젝트에 비쥬얼 효과를 제공하여 디스플레이할 수 있다. 이러한 비쥬얼 효과를 터치 스크린에 제공하는 제어부(110)는 드로잉 오브젝트의 아웃 라인에 따라 드로잉 오브젝트가 분리되어 3차원 팝업 북 방식으로 표현될 수 있도록 터치 스크린을 제어할 수 있다. 또한, 제어부(110)는 3차원 팝업 북 방식으로 표현된 상기 드로잉 오브젝트가 흔들리는 효과가 제공되도록 터치 스크린을 제어할 수 있다. 만일, 상기 드로잉 오브젝트가 개방형 패턴인 경우, 제어부(110)는 상기 드로잉 오브젝트의 아웃 라인에 따라 상기 드로잉 오브젝트가 분리되어 3차원 팝업 북 방식으로 표현되도록 터치 스크린을 제어할 수 있다. 그리고, 만일, 상기 드로잉 오브젝트가 폐쇄형 패턴인 경우, 제어부(110)는 상기 드로잉 오브젝트의 아웃 라인에 따라 상기 드로잉 오브젝트 전체가 독립적으로 분리되어 3차원 그래픽으로 표현되도록 터치 스크린을 제어할 수 있다. 그리고, 상기 드로잉 오브젝트가 폐쇄형 패턴인 경우, 제어부(110)는 상기 폐쇄형 패턴의 드로잉 오브젝트를 포함하는 영역에 터치 및 데셍(dessin) 중 적어도 하나의 입력에 대응하여 상기 드로잉 오브젝트에 미리 설정된 색깔을 적용할 수 있다. 또한, 제어부(110)는 터치 스크린에 적어도 하나의 아이콘이 디스플레이된 경우, 상기 디스플레이된 적어도 하나의 아이콘은 터치 스크린에 형성된 드로잉 오브젝트의 영역 바깥으로 위치를 이동시킬 수 있다.
그리고, 이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 전자 장치(100)가 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 전자 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신할 수 있다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다.무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 전자 장치(100)와 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등이 포함될 수 있다.
전자 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPG(Electronic Program Guide) 또는 ESG(Electronic Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(100)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다. 제1 카메라(151)는 상기 전자 장치(100) 전면에 배치되고, 제2 카메라(152)는 상기 전자 장치(100)의 후면에 배치될 수 있다.
GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 전자 장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 전자 장치(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함할 수 있다.
버튼(161)은 상기 전자 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 전자 장치(100) 외부로 출력할 수 있다. 스피커(163)는 전자 장치(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 전자 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 전자 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 전자 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 전자 장치(100)와 외부장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 전자 장치(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 전자 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 전자 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 전자 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 전자 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.
센서 모듈(170)은 전자 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 전자 장치(100)에 대한 접근여부를 검출하거나 손가락 또는 펜(또는 입력 유닛)(200)등의 화면상의 접근을 감지하는 근접센서(도시되지 아니함), 전자 장치(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 전자 장치(100)의 동작(예, 전자 장치(100)의 회전, 전자 장치(100)에 가해지는 가속도 또는 진동)을 검출하는 가속도센서(도시되지 아니함)를 포함할 수 있다. 적어도 하나의 센서는 전자 장치(100)의 방향 및 기울기를 포함하는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 전자 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.
전원공급부(180)는 제어부(110)의 제어에 따라 전자 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 전자 장치(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 전자 장치(100)로 공급할 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 전자 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
저장부(175)는 제어부(110)내 롬(112), 램(113) 및 전자 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱) 중 적어도 하나를 포함할 수 있다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 사용자 인터페이스를 제공할 수 있다. 터치스크린(190)은 사용자 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 다양한 물체들 예컨대 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단 예컨대 전자 펜(예: 스타일러스 펜)을 통해 적어도 하나의 터치를 입력 받을 수 있다. 또한, 터치스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 따른 터치 궤적에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 그리고, 터치 스크린(190)은 제어부(110)에 의해 제어되는 사용자 인터페이스를 디스플레이할 수 있다. 본 개시에서는 단지 하나의 터치 스크린(190)에 대해서 기술하였으나, 이는 단지 실시예일 뿐 본 발명의 다양한 실시예에 따른 전자 장치는 적어도 하나의 터치 스크린을 구비할 수 있다.
본 발명에서 터치는 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉을 포함할 수 있다. 터치스크린(190)에서 검출 가능한 간격은 전자 장치(100)의 성능 또는 구조에 따라 변경될 수 있다. 터치스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 전자기유도(EMR: Electronic Magnetic Resonance) 방식(이하 EMR 방식이라 칭함) 또는 초음파(acoustic wave) 등 다양한 방식으로 구현될 수 있으며, 하나 이상의 방식이 조합되어 구현될 수도 있다.
본 발명의 실시 예에서는 정전용량 방식의 제1 방식과 EMR 방식의 제2 방식이 조합되어 구현된 경우를 예를 들어 설명한다. 제1 방식과 제2 방식이 조합되어 구현된 경우의 터치스크린(190)과 터치스크린 컨트롤러(195)의 구성을 도 2를 참조하여 설명한다. 도 2는 본 발명의 실시 예에 따른 터치스크린(190)과 터치스크린 컨트롤러(195)의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치에서 터치스크린 컨트롤러와 터치스크린의 구성을 나타낸 예시도이다.
도 2를 참조하면, 터치스크린(190)은 표시 패널(190a), 제1 터치 패널(190b), 제2 터치 패널(190c)을 포함할 수 있다. 표시 패널(190a)은 LCD, AMOLED 등과 같은 패널이 될 수 있으며, 전자 장치(100)의 각종 동작 상태, 어플리케이션 실행 및 서비스 등에 따른 다양한 영상을 표시한다.
제1 터치 패널(190b)은 정전용량 방식 터치 패널로서, 유리의 양면에 얇은 금속 전도성 물질(예를 들면, ITO(Indium Tin Oxide:산화 인듐주석) 막 등)을 코팅하여 유리표면에 전류가 흐르도록 하고 전하를 저장할 수 있는 유전체로 코팅된 패널이다. 이러한 제1 터치 패널(190b)에 물체에 의해 표면이 터치되면 정전기에 의해 일정량의 전하가 접촉 위치로 이동하고, 제1 터치 패널(190b)은 전하의 이동에 따른 전류의 변화량을 인식해서 터치된 위치를 감지하게 된다. 제1 터치 패널(190b)을 통해서는 정전기를 발생시킬 수 있는 모든 터치의 감지가 가능하며, 손터치나 펜에 의한 터치의 감지가 모두 가능할 수 있다.
그리고, 제2 터치 패널(190c)은 EMR 방식 터치 패널로서, 복수의 루프 코일이 미리 정해진 제1 방향 및 제1 방향과 교차하는 제2 방향에 각각 배치되어 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함할 수 있다. 이러한 제2 터치 패널(190c)의 루프 코일 근방에 공진회로를 내장하는 펜(200)이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜(200) 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜(200) 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 제2 터치 패널(190c)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜(200)의 접근 위치 또는 터치 위치가 감지될 수 있다. 제2 터치 패널(190c)을 통해서는 전자 유도에 기초한 전류를 발생시킬 수 있는 물체라면 접근 및 터치의 감지가 가능하다.
제1 터치 패널 컨트롤러(195a)는 제1 터치패널(190b)로부터 손 또는 펜 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호(예컨대 X, Y, Z 좌표)로 변환하여 제어부(110)로 전송한다. 제2 터치 패널 컨트롤러(195b)는 제2 터치 패널(190c)로부터 펜(200) 접근 또는 터치 감지에 의해 수신된 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다.
제어부(110)는 제1 및 제2 터치패널 컨트롤러(195a, 195b) 중 적어도 하나로부터 수신된 디지털 신호를 이용하여 표시 패널(190a), 제1 터치 패널(190b), 제2 터치 패널(190c)을 제어할 수 있다. 예를 들어, 제어부(110)는 손가락이나 펜(200) 등의 접근 또는 터치에 응답하여 표시 패널(190a)에 터치 궤적에 따른 도형, 즉, 드로잉 오브젝트가 디스플레이되게 할 수 있다.
본 발명의 일 실시예에 따라, 복수의 어플리케이션을 동시에 실행하기 위해 상기와 같이 구성되는 전자 장치(100)에 적용될 수 있는 프레임의 일 예를 도 3에 도시하였다.
도 3은 본 발명의 일 실시예에 따른 프레임을 설명하기 위한 예시도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 프레임은 예를 들어 어플리케이션 계층(Application Layer)(260)과 프레임 워크 (270)와, 멀티 윈도우 프레임 워크(400)로 구성될 수 있다.
어플리케이션 계층(application layer)(260)은 프레임 워크(270)에서 제공하는 API를 이용하여 동작하는 어플리케이션들의 집합일 수 있으며, 제3자 어플리케이션(third party application)을 포함할 수도 있다.
프레임 워크(270)는 API 제공함으로써, 개발자들은 제공되는 API에 기초하여 어플리케이션을 구축할 수 있다.
액티비티 매니저(activity manager)(291)는 복수 개의 어플리케이션이 동시에 수행될 수 있도록 어플리케이션을 활성화하는 역할을 한다.
윈도우 매니저(window manager)(292)는 복수 개의 윈도우를 도시(Drawing) 또는 제어(Control), 예를 들어 터치(touch), 이동(move), 크기 재설정(resize) 하는 역할을 한다.
콘텐츠 프로바이더(content porvider)(273)는 어플리케이션이 다른 어플리케이션으로부터의 데이터에 액세스를 가능하도록 하거나, 또는 자신의 데이터를 공유하도록 한다.
뷰 시스템(view system)(294)은 단일 윈도우의 레이아웃(Layout), 보더(border) 및 버튼(Button) 처리 및 전체 화면 재도시(Re-Drawing) 하는 역할을 한다.
패키지 매니저(package manager)(275)는 어플리케이션을 처리 및 관리하는 역할을 한다.
텔레포니 매니저(telephony manager)(276)는 전화 통화의 송수신과 같은 통화 기능에 대한 액세스를 제공한다.
리소스 매니저(resource manager)(277)는 지역화된 문자열, 그래픽, 레이아웃 파일같이 코드가 아닌(non-code) 리소스에 대한 액세스를 제공한다.
로케이션 매니저(location manager)(278)는 GPS 이용하여 위치 정보 처리 및 관리 하는 역할을 한다.
노티피케이션 매니저(notification manager)(279)는 시스템에서 발생하는 이벤트, 예를 들어 알람(alarm), 배터리(battery) 네트워크(network)연결을 처리 및 관리하는 역할을 한다.
프레임 워크(270)에서, 액티비티 매니저(291), 윈도우 매니저(292) 및 뷰 시스템(294)은 멀티 윈도우 프레임 워크(400)와 호환될 수 있다.
멀티 윈도우 프레임 워크(400)는 멀티 윈도우 매니저(multi window manager)(410) 및 멀티 윈도우 서비스(multi window service)(420)를 포함한다.
액티비티 매니저(291), 윈도우 매니저(292) 및 뷰 시스템(294)은 멀티 윈도우를 위한 API(Application Program Interface)를 호출하는 기능을 수행할 수 있다.
멀티 윈도우 매니저 (410)는 멀티 윈도우 서비스(420)의 기능을 API 형태로 사용자에게 제공하며, Manager/Service 구조는 IPC 기반으로 동작할 수 있다.
멀티 윈도우 서비스(420)는 멀티 윈도우로 실행되는 어플리케이션들의 실행 주기(lifecycle)을 추적하며 각 어플리케이션의 크기와 위치 등의 상태를 관리한다.
호출된 API는 각각의 어플리케이션의 크기, 위치, 가시도(visibility)를 관리할 수 있다.
상술한 바와 같이, 본 발명에 의한 프레임 워크는, 독립된 멀티 윈도우 프레임 워크를 제공하여 API를 호출하는 방식으로 수행될 수 있다.
뿐만 아니라, 어플리케이션 계층(260)은 직접 멀티 윈도우 매니저(410)로부터 API를 호출할 수도 있다. 즉, 사용자는 신규 어플리케이션을 개발하는 경우에도 멀티 윈도우 매니저(410)로부터 제공되는 API를 제공받아 이용할 수 있다.
전자 장치(100)의 각 구성부에는 상기한 프레임이 적용될 수 있으며, 이에 따라, 전자 장치(100)의 각 구성부는 하기에 설명한 본 발명에 따른 동작을 수행할 수 있다. 이하 상기한 바와 같은 전자 장치(100)의 외부 구조에 대해 설명한다.
도 4는 본 발명의 실시 예에 따른 전자 장치의 전면 사시도이고, 도 5는 본 발명의 실시 예에 따른 전자 장치의 후면 사시도이다.
먼저 도 4를 참조하면, 전자 장치(100)의 전면(100a) 중앙에는 터치스크린(190)이 배치된다. 상기 터치스크린(190)은 전면(100a)의 대부분을 차지하도록 크게 형성된다. 도 4에서는, 상기 터치스크린(190)에 메인 홈 화면(191)이 표시된 예를 나타낸다. 메인 홈 화면(191)은 장치(100)의 전원을 켰을 때 상기 터치스크린(190) 상에 표시되는 첫 화면이다. 또한 상기 장치(100)가 여러 페이지의 서로 다른 홈 화면들을 갖고 있을 경우, 메인 홈 화면(191)은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(191a, 191b, 191c), 메인메뉴 전환키(191d), 시간, 날씨 등이 표시될 수 있다. 상기 메인메뉴 전환키(191-4)는 상기 터치스크린(190) 상에 메뉴 화면을 표시한다. 또한, 상기 터치스크린(190)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 장치(100)의 상태를 표시하는 상태바(Status Bar, 192)가 형성될 수도 있다.
상기 터치스크린(190)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다. 홈 버튼(161a)은 터치스크린(190)에 메인 홈 화면(main Home screen)(191)을 표시한다. 예를 들어, 터치스크린(190)에 상기 메인 홈 화면(191)과 다른 홈 화면(any Home screen) 또는 메뉴화면이 표시된 상태에서, 상기 홈 키(161a)가 터치되면, 터치스크린(190)에 메인 홈 화면(191)이 디스플레이될 수 있다. 또한, 터치스크린(190) 상에서 어플리케이션들이 실행되는 도중 홈 버튼(191a)이 터치되면, 상기 터치스크린(190)상에는 도 4에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치스크린(190) 상에 최근에(recently) 사용된 어플리케이션들을 디스플레이하도록 하거나, 태스크 매니저(Task Manager)를 디스플레이하기 위하여 사용될 수도 있다. 메뉴 버튼(161b)은 터치스크린(190) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다. 뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 디스플레이하거나, 가장 최근에 사용된 어플리케이션을 종료시킬 수 있다. 전자 장치(100)의 전면(100a) 가장자리에는 제1 카메라(151), 스피커(163a), 조도 센서(171) 및 근접 센서(172)가 배치될 수 있다.
전자 장치(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(161d), 음량 버튼(도시되지 아니함), 방송 수신을 위한 지상파 DMB 안테나(도시되지 아니함), 하나 또는 복수의 마이크들(도시되지 아니함) 등이 배치될 수 있다. 상기 DMB 안테나(도시되지 아니함)는 장치(100)에 고정되거나, 착탈 가능하게 형성될 수도 있다.
도 5를 참조하면, 전자 장치(100)의 후면(100c) 상부에는 제2 카메라(152), 플래시(flash, 153) 및 마이크(162)가 배치될 수 있다.
전자 장치(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 전자 장치(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.
또한 전자 장치(100)의 하단 측면에는 전자 장치(100)와 별도로 구성된 펜(200)이 삽입될 수 있는 삽입구(201)가 구비될 수 있으며, 펜 삽입구(201)에 펜(또는 입력 유닛)(200)이 삽입될 수 있다. 상기 펜(또는 입력 유닛)(200)은 버튼(210)을 포함할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 사용자 인터페이스를 제공하는 과정을 설명한다.
도 6은 본 발명의 일 실시예에 따른 사용자 입력에 따른 드로잉 오브젝트를 입체적으로 디스플레이하는 동작 과정을 나타낸 순서도이다.
도 6을 참조하면, 드로잉 오브젝트란, 사용자가 펜(200)과 같은 입력 수단으로 터치스크린(190) 상에 연속적으로 터치할 때, 그 터치 입력의 궤적에 따라 터치스크린(190)에 디스플레이되는 점, 선, 면과 같은 도형을 의미한다.
제어부(110)는 사용자 요청에 따라 어플리케이션을 실행한다(S301). 상기 어플리케이션은 펜(200)과 같은 입력 수단에 의한 연속적인 터치 입력의 궤적에 따른 드로잉 오브젝트를 디스플레이하는 드로잉 기능을 지원하는 어플리케이션이다. 예를 들어, 어플리케이션은 메모 어플리케이션, 인스턴트 메시징 서비스 응용, 단문 메시지 어플리케이션, 다이어리 어플리케이션, 이 메일 어플리케이션, SNS 어플리케이션, 촬영 어플리케이션, 이미지 편집 어플리케이션 일 수 있다.
제어부(110)는 어플리케이션을 실행함에 따라, 어플리케이션의 실행화면이 터치스크린(190)에 디스플레이되게 터치스크린 컨트롤러(195)를 제어한다(S303). 이때, 실행 화면은 드로잉 연속적인 터치 입력 궤적에 따른 드로잉 오브젝트를 디스플레이하기 위한 레이어를 포함할 수 있다.
제어부(110)는 사용자의 터치 궤적에 따른 드로잉 오브젝트가 실행 화면 상에 디스플레이되게 한다(S305). 예를 들어, 사용자가 펜(200)을 이용해 터치스크린(190) 상에 원을 그린다면, 사용자가 그린 원에 대응하는 모양 및 크기의 드로잉 오브젝트가 실행화면 상에 디스플레이된다.
이후, 제어부(110)는 드로잉 오브젝트의 아웃 라인에 대한 비쥬얼 효과가 디스플레이되게 제어한다(S307). 다시 말해, 제어부(110)는 드로잉 오브젝트의 아웃라인에 따라, 드로잉 오브젝트가 분리되어, 동적인 3차원 오브젝트로 디스플레이될 수 있도록, 터치스크린 컨트롤러(195)를 제어한다. 이때, 제어부(110)는 드로잉 오브젝트가 드로잉 화면에서 분리되어 움직이는 과정을 3차원 그래픽으로 표현될 수 있도록 터치스크린 컨트롤러(195)를 제어할 수 있다.
예를 들어, 드로잉 오브젝트가 원이라면, 종이에서 원이 오려지듯이, 화면에서 원형의 드로잉 오브젝트가 분리되는 것처럼 표현된다. 이때, 드로잉 오브젝트는 원이기 때문에 드로잉 오브젝트의 아웃라인에 따라 드로잉 오브젝트를 분리하면, 드로잉 오브젝트는 독립적으로 분리될 것이다. 그리고 드로잉 오브젝트가 분리되는 과정 또는 독립적으로 분리된 드로잉 오브젝트는 3차원 모델링처리되어, 입체적이면서 동적으로 표현될 수 있다.
이렇게 드로잉 오브젝트가 분리되고, 움직이는 모습은 여러 가지 형태로 표현될 수 있다. 예를 들어, 드로잉 오브젝트가 화면에서 한번에 분리되는 것처럼 표현될 수도 있고, 드로잉 오브젝트의 아웃라인에 따라 오려지는 것처럼 표현될 수도 있다. 그리고 독립적으로 분리된 드로잉 오브젝트는 초기에 디스플레이된 위치에서 다른 위치로 이동되는 것처럼 표현될 수 있다. 예를 들어, 오려진 원이 바람에 날아 가듯이 디스플레이될 수 있다. 또는 오려진 원이 구겨져 던져지는 것처럼 디스플레이될 수도 있다.
다른 예로, 드로잉 오브젝트가 곡선이라면, 그려진 곡선을 따라 종이를 오리듯이, 곡선 형태의 드로잉 오브젝트가 분리되는 것이 표현될 수 있다. 이때, 드로잉 오브젝트는 선이기 때문에, 화면에서 독립적으로 분리되지 않을 것이며, 이에 따라, 분리된 드로잉 오브젝트는 3차원 팝 업 북 방식으로 표현될 수 있다.
이와 같이, 드로잉 오브젝트가 원과 같은 폐쇄형 패턴인지, 또는 곡선과 같은 개방형 패턴인지에 따라, 레이어에서 오려진 드로잉 오브젝트의 표현은 달라질 수 있다.
이에 따라, 본 발명은 일 실시예에 따라 드로잉 오브젝트를 개방형 패턴과 폐쇄형 패턴으로 구분하고, 패턴 종류에 따라 다른 기능이 수행되게 할 수 있다. 개방형 패턴은 예를 들어, 직선이나 곡선과 같이, 교차하지 않는 선으로 이루어진 패턴이다. 폐쇄형 패턴은 각종 다각형이나 원과 같이 선이 만나거나 교차되어 영역을 가지는 패턴이다.
본 발명의 일 실시예에 따라, 개방형 패턴의 드로잉 오브젝트가 디스플레이되는 경우, 드로잉 오브젝트의 아웃 라인에 따라 오려진 드로잉 오브젝트가 3차원 팝업 북 방식으로 디스플레이될수 있다.
그리고 폐쇄형 패턴의 드로잉 오브젝트가 디스플레이되는 경우, 드로잉 오브젝트가 화면에서 분리되는 듯한 효과를 나타내는 3차원 표현을 제공하는 것과 더불어, 서브 어플리케이션을 호출하여, 선행된 어플리케이션 및 서브 어플리케이션이 동시에 수행될 수 있게 한다. 다시 말해, 선행된 어플리케이션의 실행을 유지하면서, 드로잉 오브젝트의 아웃 라인으로 형성된 영역 내부 에서 서브 어플리케이션을 실행시켜, 서브 어플리케이션의 실행 과정이 상기 영역 내부에 디스플레이되게 할 수 있다.
폐쇄형 패턴의 드로잉 오브젝트에 의해 호출되는 서브 어플리케이션은 미리 정해 질 수 있다. 예를 들어, 어떠한 형태의 폐쇄형 패턴이라도 미리 정해진 하나의 서브 어플리케이션이 호출될 수 있다.
또는 패쇄형 패턴의 형태 마다 호출될 서브 어플리케이션이 지정될 수도 있다. 예를 들어, 네모 모양의 폐쇄형 패턴에는 이미지 라이브러리 어플리케이션이 지정되고, 원형의 폐쇄형 패턴에는 영상 촬영 어플리케이션이 지정되고, 삼각형의 폐쇄형 패턴에는 지도 어플리케이션이 지정될 수 있다.
또는 폐쇄형 패턴의 드로잉 오브젝트에 대응하여 호출할 수 있는 서브 어플리케이션의 목록이 제공되고, 제공된 서브 어플리케이션 중 사용자에 의해 선택된 어플리케이션이 호출될 수도 있다.
또한 호출될 서브 어플리케이션의 종류는 사용자에 의해 지정될 수도 있다. 서브 어플리케이션을 예를 들어, 이미지 라이브러리 어플리케이션, 이미지 촬영 어플리케이션, 지도 어플리케이션 등이 될 수 있다.
도 6의 일 실시예에서는 폐쇄형 패턴의 드로잉 오브젝트에 대응하여 그 모양과 상관없이 하나의 서브 어플리케이션이 지정된 경우를 가정하여 설명하였다. 그리고 이하의 설명에서는 본 발명의 이해를 돕기 위해, 선행되는 어플리케이션을 제1 어플리케이션이라 하고, 서브 어플리케이션을 제2 어플리케이션이라 한다.
도 7은 본 발명의 일 실시예에 따른 드로잉 오브젝트의 패턴 종류에 따라 드로잉 오브젝트를 3차원 디스플레이 및 연계 어플리케이션 수행의 동작 과정을 나타낸 순서도이고, 도 8은 본 발명의 일 실시예에 따른 개방형 드로잉 오브젝트의 표현 과정을 나타낸 도면이고, 도 9는 본 발명의 일 실시예에 따른 폐쇄형 드로잉 오브젝트의 표준화 과정을 나타낸 도면이다.
이하, 도 7 내지 도 9를 참조하여 본 발명의 다른 실시예에 따른 전자 장치의 동작 과정을 상세히 설명한다.
도 7을 참조하면, 제어부(110)는 제1 어플리케이션을 실행하고, 제1 어플리케이션의 실행 화면이 디스플레이되도록 제어한다(S401, S403).
그리고, 제어부(110)는 사용자의 터치 입력이 발생하면, 터치 궤적에 따른 드로잉 오브젝트를 실행 화면 상에 디스플레이되게 제어한다(S405). 그리고 사용자의 터치 입력이 중단되면, 제어부(110)는 드로잉 오브젝트 입력이 완료된 것으로 판단하고 S407로 진행한다.
제어부(110)는 드로잉 오브젝트의 패턴을 분석하고, 개방형 패턴인지 폐쇄형 패턴인지 확인한다(S407, S409). 기본적으로 드로잉 오브젝트가 교차되지 않는 선 또는 시작점과 끝점이 만나지 않는 선으로 이루어진다면, 해당 드로잉 오브젝트의 패턴은 개방형 패턴으로 결정될 수 있다. 그리고 선이 만나거나 교차되어 영역 형성하는 드로잉 오브젝트의 패턴은 폐쇄형 패턴으로 결정될 수 있다.
상기 과정(S409)에서 드로잉 오브젝트가 개방형 패턴이라면, 제어부(110)는 드로잉 오브젝트의 아웃 라인에 따라 드로잉 오브젝트가 분리되고, 분리된 드로잉 오브젝트가 3차원 팝업 북 방식으로 표현될 수 있도록 터치스크린 컨트롤러(195)를 제어한다(S409, S411). 또한, 제어부(110)는 사용자의 터치 궤적에 따른 드로잉 오브젝트를 레이어 상에 디스플레이할 수 있다.
이와 같이, 개방형 패턴의 드로잉 오브젝트를 팝업 북 방식의 3차원 오브젝트로 표현하는 과정의 일 예를 도 8에 도시하였다.
도 8을 참조하면, 폐쇄형 패턴의 드로잉 오브젝트(510)에 있어서, 좌표(0,2)를 가지는 시작점과 좌표(9,0)의 끝점을 직선으로 연결한 가상 라인(520)을 기준으로 선정한다. 그리고 가상 라인(520)을 기준으로 드로잉 오브젝트(510)를 구성하는 복수의 점들 각각의 좌표, 즉, 드로잉 오브젝트(510)의 아웃 라인 상의 점들의 좌표를 동일한 변화량으로 변경하여 디스플레이함으로써, 드로잉 오브젝트(510)를 동적인 3차원으로 표현할 수 있다.
한편, 분석 결과 폐쇄형 패턴인 경우, 제어부(110)는 드로잉 오브젝트에 대한 커팅 이벤트가 발생하는지 확인한다(S413). 커팅 이벤트는 사용자 입력에 따라 발생할 수 있다. 예를 들어, 사용자의 드로잉 입력이 중단됨에 따라 발생할 수도 있다. 다른 예로, 드로잉 입력이 중단된 후, 사용자가 드로잉 오브젝트의 아웃 라인에 따라 형성된 영역을 터치함에 따라, 커팅 이벤트가 발생할 수 있다. 또 다른 예로, 사용자가 커팅 메뉴를 선택함에 따라, 커팅 이벤트가 발생할 수 있다.
커팅 이벤트가 발생하면 제어부(110)는 드로잉 오브젝트 전체를 상기 드로잉 오브젝트의 아웃 라인에 따라 독립적으로 분리하여, 동적인 3차원 오브젝트로 디스플레이되게 제어한다(S415).
이후, 제어부(110)는 폐쇄형 패턴의 드로잉 오브젝트에 대응하여 지정된 제 2어플리케이션을 호출하여 드로잉 오브젝트에 의해 형성된 영역 내부에서 실행하고, 제어부(110)는 사용자 입력에 따른 제2 어플리케이션의 실행 화면이 영역 내부에 디스플레이되게 제어한다(S417).
본 발명의 일 실시예에 따라, 서브 어플리케이션이 실행되는 영역의 형태는 사용자에 의해 드로잉된 드로잉 오브젝트의 형태 그대로 유지될 수도 있고, 본 발명의 다른 실시예에 따라 사각형으로 표준화될 수도 있다. 제 2어플리케이션이 실행되는 영역의 형태를 4각형으로 표준화하는 일 예를 도 9에 도시하였다.
도 9를 참조하면, 폐쇄형 드로잉 오브젝트(610)에 대해여, 아웃 라인의 모든 점의 x좌표, y좌표의 각각 최대값 및 최소값을 선정하고, X좌표, Y좌표의 각각의 최대, 최소값을 매칭하여 좌표의 최대, 최소값을 구하고, 해당 값을 이용하여 매끄럽게 사각형으로 도형화(620)한 것을 나타낸다.
도 7로 돌아와서, 제어부(110)는 사용자의 기능 실행 요청에 따른 기능 실행 이벤트가 발생하면, 제 2어플리케이션 실행 결과를 제 1어플리케이션에 적용하고(S419, S421), 제2 어플리케이션의 종료를 확인한다(S423). 다시 말해, 제2 어플리케이션의 실행 결과가 제1 어플리케이션에 대한 입력 데이터로 변환될 수 있다.
예를 들어, 제어부(110)는 기능 실행 이벤트가 발생하는 시점의 제2 어플리케이션의 실행 결과를 포함하는 이미지가 제1 어플리케이션의 입력 이미지로서 제1 어플리케이션의 실행화면에 포함되도록 제어할 수 있다.
그리고, 제1 어플리케이션이 종료되지 않으면, 상기 과정(S405)으로 회귀하여 사용자의 터치 궤적에 따른 드로잉 오브젝트를 레이어상에 디스플레이한다(S405)
기능 실행 이벤트는 사용자의 기능 실행 메뉴에 대한 선택 입력에 따라 발생할 수도 있고, 정해진 제스처의 사용자 입력에 의해 발생할 수도 있다. 이와 같이, 제1 어플리케이션과, 제2 어플리케이션이 연동됨에 따른, 각 어플리케이션의 처리 과정을 도 10에 도시하였다.
도 10은 본 발명의 일 실시예에 따른 두 개의 어플리케이션 간의 동작 과정을 나타낸 순서도이다.
이하, 도 10을 참조하여 본 발명의 일 실시예에 따른 두 개의 어플리케이션 간의 동작 과정을 상세히 설명한다.
도 10을 참조하면, 제1 어플리케이션(710)(예: 메모 기반 어플리케이션)은 제1 어플리케이션의 실행 화면을 디스플레이한다(S801). 그리고, 폐쇄형 패턴의 드로잉 오브젝트에 대한 커팅 이벤트가 발생됨에 따라, 제1 어플리케이션(710)은 제2 어플리케이션(720)(예:서브 어플리케이션)을 호출한다(S803, S805).
제2 어플리케이션(720)은 제1 어플리케이션(710)의 호출에 따라, 드로잉 오브젝트의 아웃 라인의 영역 내부에서 실행된다(S807). 그리고, 사용자의 입력에 따라 제2 어플리케이션(720)의 실행 과정을 상기 영역 내부에 디스플레이한다(S809). 이후, 사용자 입력에 따라 기능 실행 이벤트가 발생하면, 제1 어플리케이션(710)으로 실행 결과 적용을 요청한다(S811, S813). 기능 실행 이벤트는 예를 들어, 드로잉 오브젝트의 아웃 라인의 내부 영역에서 시작하여, 드로잉 수용 어플리케이션 레이어의 영역에서 종료되는 연속적인 터치 입력이 있는 경우, 발생할 수 있다.
제1 어플리케이션(710)은 제2 어플리케이션(720)의 요청에 따라, 제2 어플리케이션의 실행 결과를 제1 어플리케이션에 대한 입력으로 변환하여, 제1 어플리케이션(710)에 포함시킨다(S817).
상기 과정(S817)에서 제1 어플리케이션(710)의 동작이 완료되면, 제2 어플리케이션(720)은 종료된다(S815).
이하에서는 본 발명의 다양한 실시예에 따라 제1 어플리케이션이 인스턴트 메시징 서비스 어플리케이션이고, 제2 어플리케이션이 이미지 라이브러리 어플리케이션인 경우, 두 어플리케이션과 연동하는 과정을 설명한다.
도 11a 내지 도 11d는 본 발명의 일 실시예에 따른 사용자 인터페이스를 제어하는 예를 나타는 예시도이다.
도 11a는 인스턴트 메시징 서비스 어플리케이션이 실행됨에 따라, 인스턴트 메시징 서비스 어플리케이션의 실행 화면(910)이 디스플레이된 상태에서, 사용자가 펜(200)을 이용해 사각형태의 도형을 그림에 따라, 실행 화면(910) 내에 사각형의 드로잉 오브젝트(920)가 디스플레이된 화면을 나타낸다. 사용자는 원하는 폐쇄형 패턴을 그리는 것을 완료하면, 즉, 사각형을 그리는 것을 완료하면, 펜(200)을 이용해 사각형을 클릭하여 잡아 뜯는 제스처를 취할 수 있다.
사용자의 잡아 뜯는 제스처가 입력됨에 따라 커팅 이벤트가 발생되고, 제어부(110)는 도 11b및 도 11c와 같이 사각형 종이가 오려져 실행 화면(910)에서 뜯어지는 것처럼 표현됨에 따라, 사각형의 드로잉 오브젝트(920)가 입체적으로 디스플레이되게 제어한다.
그리고 제어부(110)는 이미지 라이브러리 어플리케이션을 호출하여, 도 11c와 같이, 이미지 라이브러리에 저장된 이미지에 대응하는 썸네일 이미지 리스트(940)가 사각형 드로잉 오브젝트(920)의 영역(930) 내부에 디스플레이되게 한다. 다시 말해, 이미지 라이브러리 어플리케이션이 영역(930) 내부에서 실행되어, 이미지 라이브러리 어플리케이션의 실행 화면이 드로잉 오브젝트(920)의 형태로 디스플레이되는 것이다. 이때, 썸네일 이미지 리스트(940)는 작은 크기에서 점진적으로 큰 크기로 확대되는 것처럼 디스플레이될 수 있다. 사용자는 영역(930) 내부, 즉, 이미지 라이브러리의 실행 화면을 터치하여 썸네일 이미지 리스트를 드래그하여, 원하는 이미지를 찾아 선택할 수 있다.
본 발명의 다른 실시예에 따라, 도 11d에 디스플레이된 바와 같이, 폐쇄형 패턴의 드로잉 오브젝트(920)가 검출되고, 커팅 이벤트가 발생함에 따라, 호출 가능한 서브 어플리케이션 목록(950)이 영역(930) 내부에 디스플레이될 수 도 있다. 사용자는 서브 어플리케이션 목록을 확인한 후, 이미지 라이브러리 어플리케이션을 선택함으로써, 이미지 라이브러리 어플리케이션이 호출되게 할 수도 있다.
이미지 라이브러리 어플리케이션이 호출됨에 따라, 썸네일 이미지 리스트(940)는 사용자의 가시성을 확보하기 위해 적당한 크기로 드로잉 오브젝트(920)의 영역(930) 내부에 디스플레이 된다.
도 12a 내지 도 12f는 본 발명의 다른 실시예에 따른 사용자 인터페이스를 제어하는 예를 나타낸 예시도이다.
도 12a는 이미지 라이브러리 어플리케이션이 호출되어 사각형의 드로잉 오브젝트(920)의 영역(930) 내부에 썸네일 이미지 리스트(940)가 적절하게 맵핑된 예를 나타낸 도면이다. 그리고 추가적으로, 이미지 라이브러리 어플리케이션의 호출이 완료되면, 이미지 라이브러리 어플리케이션에서 제공하는 기능과 관련된 메뉴 리스트(960)가 제공될 수도 있다. 사용자는 사각형 드로잉 오브젝트(920)의 영역(930) 내부를 터치하여 썸네일 이미지 리스트(940)를 드래그하여, 원하는 이미지를 선택할 수 있다. 또는 메뉴 리스트(960)에서 원하는 기능 메뉴를 선택할 수도 있다. 제어부(110)는 사용자의 입력에 따른 이미지 라이브러리 어플리케이션의 동작 수행 과정 및 결과가 영역(930)에 계속해서 디스플레이되게 한다.
그리고 사용자에 의해 선택된 이미지는 도 12b와 같이 사각형 드로잉 오브젝트(920)의 영역(930) 내부에 맵핑된다. 사용자는 맵핑된 이미지를 로테이션 시키거나, 확대 또는 축소시키는 편집 요청을 입력할 수 있고, 제어부(110)는 도 12c와 같이, 사용자의 편집 요청에 따라, 이미지가 로테이션되거나 축소 또는 확대되는 과정이 사각형 드로잉 오브젝트의 영역(930) 내부에 디스플레이되게 한다.
이후, 도 12d와 같이, 사용자로부터 디스플레이된 이미지에 대한 선택 완료 요청이 입력되면, 선택 완료 요청이 입력된 시점에, 제어부(110)는 디스플레이된 이미지를 드로잉 오브젝트(920)의 아웃 라인에 따라 크롭하여, 인스턴트 메시징 서비스 어플리케이션에 대한 입력 이미지를 생성하고, 이를 인스턴트 메시징 서비스 어플리케이션에 포함시킨다. 그리고 사용자가 인스턴트 메시징 서비스 어플리케이션의 전송 메뉴를 선택하면, 도 12e와 같이 인스턴트 메시징 서비스 상대에게 생성된 이미지(970), 즉, 크롭된 이미지가 전송될 수 있다.
한편, 본 발명의 다른 실시예에 따라, 도 12a와 같이, 썸네일 이미지 리스트(940)가 디스플레이된 상태에서, 사용자 어느 하나의 이미지를 선택하면, 선택된 이미지가 도 12f와 같이 실행 화면(910)에 디스플레이될 수 도 있다.
도 13a 내지 도 13c는 본 발명의 일 실시예에 따른 개방형 패턴의 드로잉 오브젝트를 동적인 3차원 오브젝트로 디스플레이하는 예시도이다.도 13a에는 메모 어플리케이션이 실행된 상태에서, “HAPPY BIRTHDAY”라는 문구에 해당하는, 개방형 패턴의 드로잉 오브젝트가 드로잉 오브젝트가 드로잉 됨에 따라, 이미 “HAPPY BIRTHDAY”라는 문구가 3차원 팝 업 북 방식으로 표현되고 있다. 사용자는 일정 부분이 개방된 하트 모양을 터치스크린(190)에 그릴 수 있다. 이에 따라, 사용자의 터치 입력이 중단되면, 제어부(110)는 하트 모양의 드로잉 오브젝트가 개방형 패턴인지 폐쇄형 패턴인지 확인한다. 만약, 폐쇄형 패턴이라면, 하트 모양의 드로잉 오브젝트가 메모 어플리케이션의 레이어에서 독립적으로 분리될 것이다. 하지만, 하트 모양의 드로잉 오브젝트가 개방형 패턴이라면, 제어부(110)는 도 13b와 같이, 하트 모양의 드로잉 오브젝트의 아웃 라인을 커팅하고, 드로잉 오브젝트를 3차원 팝 업 북 방식으로 디스플레이되게 한다. 이후, 사용자가 드로잉 수용 어플리케이션의 화면을 드래그 하면, 하트 모양의 드로잉 오브젝트는 도 13b와 도 13c와 같이 상하 방향으로 움직이는 것처럼 표현될 수 있다.
도 14a 및 도 14b는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제1 예를 나타낸 예시도이다.
도 14a는 본 발명의 또 다른 실시예에 따라, 인스턴트 메시징 서비스 어플리케이션과 연동하는 서브 어플리케이션이 지도 어플리케이션인 경우를 도시한 것이다. 서브 어플리케이션이 지도 어플리케이션이면, 제어부(110)는 지도 어플리케이션을 호출하여, 폐쇄형 드로잉 오브젝트에 의해 형성된 영역(930) 내부에서 실행되도록 제어하고, 이에 따라, 지도 이미지가 영역(930) 내부에 디스플레이된다. 다시 말해, 지도 이미지가 드로잉 오브젝트에 의해 형성된 영역(930)의 형태로 디스플레이되는 것이다. 이때, 지도 이미지와 함께, 지도 어플리케이션의 제어를 위한 사용자 인터페이스가 함께 디스플레이될 수도 있다. 사용자는 디스플레이된 지도에 대한 확대, 축소, 이동 명령 등을 입력할 수 있고, 이에 따른 명령 수행 과정 및 결과가 영역(930) 내부에 디스플레이된다. 그리고 지도 어플리케이션에 대한 기능 실행 요청이 있으면, 기능 실행 요청 발생시 디스플레이된 지도가 드로잉 오브젝트의 아웃 라인 형태로 크롭되어, 인스턴트 메시징 서비스 어플리케이션에 대한 입력 이미지가 생성된다. 생성된 입력 이미지는 인스턴트 메시징 서비스 어플리케이션에 포함된다. 다시 말해, 원본 지도 이미지에서 영역(930)과 동일한 형태로 크롭된 지도 이미지가 인스턴트 메시징 서비스 어플리케이션에 입력 이미지로 포함되는 것이다. 그리고 사용자의 전송 요청에 따라, 크롭된 지도 이미지는 대화 상대에게 전송될 수 있다.
본 발명의 다른 실시예에 따라, 인스턴트 메시징 서비스 어플리케이션에 적용된 지도 어플리케이션의 결과 값, 즉, 크롭된 지도 이미지를 사용자가 선택하면, 도 14b와 같이, 크롭된 지도에 대응하는 원본 지도 이미지가 제공될 수도 있다. 또한, 원본 지도 이미지는 캡쳐된 지도 이미지와 함께 상기 대화 상대에게도 전송될 수도 있다.
도 15a 내지 도 15c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제2 예를 나타낸 예시도이다.
도 15a 및 도 15b는 본 발명의 다른 실시예에 따라, 인스턴트 메시징 서비스 어플리케이션과 연동하는 서브 어플리케이션이 이미지 촬영 어플리케이션인 경우를 도시한 것이다. 도 15a 및 도 15b에 도시된 바와 같이, 폐쇄형 패턴의 드로잉 오브젝트(920)가 검출되고, 커팅 이벤트가 발생함에 따라, 이미지 촬영 어플리케이션이 호출되면, 제어부(110)는 카메라를 활성하고, 카메라를 통해 촬영된 프리뷰 영상을 도 15a와 같이 드로잉 오브젝트의 영역(930)에 디스플레이한다. 사용자는 줌인 요청, 줌아웃 요청, 촬영 요청 등을 입력할 수 있다. 촬영 요청이 입력되면, 제어부(100)는 촬영된 이미지를 영역(930)에 디스플레이한다. 사용자는 촬영된 이미지에 대한 로테이션 요청 또는 확대 및 축소 요청을 입력할 수 있고, 이에 따른 실행 화면이 영역(930)에 디스플레이된다.
사용자로부터 이미지 촬영 어플리케이션에 대한 기능 실행 요청이 있으면, 제어부(110)는 기능 실행 요청이 발생한 시점에 디스플레이된 이미지를 영역(930)의 형태에 따라 크롭하여, 도 15b와 같이, 인스턴트 메시징 어플리케이션 서비스의 입력 이미지(980)를 생성하여, 인스턴트 메시징 어플리케이션에 포함시킨다.
또는 본 발명의 다른 실시예에 따라, 사용자로부터 이미지 촬영 어플리케이션에 대한 기능 실행 요청이 있으면, 제어부(110)는 도 15c와 같이, 촬영된 이미지 원본을 인스턴트 메시징 어플리케이션에 포함시킬 수도 있다.
도 16a 내지 도 16c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제3 예를 나타낸 예시도이다.
도 16a 내지 도 16c는 제1 어플리케이션이 이미지 라이브러리 어플리케이션이고, 제2 어플리케이션이 이미지 촬영 어플리케이션인 경우를 나타낸 도면이다. 도 16a는 이미지 라이브러리 어플리케이션에서 제공하는 복수의 이미지 중 사용자에 의해 선택된 이미지가 디스플레이된 상태를 나타낸다. 이때, 이미지 라이브러리 어플리케이션은 드로잉 레이어를 함께 제공한다. 사용자는 도 16b에 도시된 바와 같이, 디스플레이된 이미지에서 액자 부분에 사각형의 폐쇄형 드로잉 오브젝트를 드로잉할 수 있다. 이에 따라, 이미지 라이브러리 어플리케이션은 이미지 촬영 어플리케이션을 호출하여, 카메라가 활성되게 하고, 이에 따라, 도 16c와 같이, 카메라를 통해 촬영된 프리뷰 영상이 액자(드로잉 오브젝트)에 디스플레이될 수 있게 된다. 사용자는 키 입력 등을 통해 촬영 명령을 입력할 수 있고, 이에 따라, 촬영된 이미지가 사각형의 드로잉 오브젝트 아웃 라인 형태로 크롭되어 상기 선택된 이미지에 포함된다.
상기한 본 발명의 설명에서는, 두 개의 서로 다른 어플리케이션이 연동하는 경우를 예로 들어 설명하였다. 본 발명의 다른 실시예에 따라, 하나의 어플리케이션이 실행된 상태에서, 사용자 입력에 의해 생성된 드로잉 객체에 의해 형성된 제1 영역과, 제1 영역을 제외한 나머지 제2 영역 각각에서 서로 다른 어플리케이션 기능이 제공되게 할 수도 있다. 본 실시예는 드로잉 오브젝트의 패턴이 폐쇄형인 경우에 적용되는 것으로 가정한다. 이를 도 17을 참조하여 설명한다.
도 17은 본 발명의 다른 실시예에 따른 전자 장치의 동작 과정을 나타낸 순서도이다.
이하, 도 17을 참조하여 본 발명의 다른 실시예에 따른 전자 장치의 동작 과정을 상세히 설명한다.
도 17을 참조하면, 제어부(110)는 사용자 요청에 따라 어플리케이션을 실행하고, 어플리케이션의 실행 화면이 터치스크린(190)에 디스플레이되게 터치스크린 컨트롤러(195)를 제어한다(S1001, S1003).
제어부(110)는 사용자의 터치 궤적에 따른 드로잉 오브젝트가 실행 화면 상에 디스플레이되게 한다(S1005). 제어부(110)는 폐쇄형 드로잉 오브젝트를 검출하고, 드로잉 오브젝트의 아웃라인에 따라, 드로잉 오브젝트가 레이어에서 분리되어, 동적인 3차원 오브젝트로 디스플레이될 수 있도록, 터치스크린 컨트롤러(195)를 제어한다. 다시 말해, 제어부(110)는 드로잉 오브젝트가 드로잉 레이어에서 분리되어 움직이는 과정을 3차원 그래픽으로 표현될 수 있도록 터치스크린 컨트롤러(195)를 제어할 수 있다.
이후, 제어부(110)는 드로잉 오브젝트의 아웃 라인에 의해 형성된 제1 영역 내부에서 제1 기능을 수행하고, 드로잉 레이어에서 제1 영역을 제외한 나머지 제2 영역에서 제2 기능이 수행되게 제어한다(S1007).
예를 들어, 제2 영역에서 수행되는 제2 기능은 드로잉 오브젝트 생성전에 어플리케이션에서 제공하고 있던 기능일 수 있고, 제1 영역에서 수행되는 제1 기능은 미리 정해진 기능일 수 있다. 또는 제2 영역에서 수행되는 제2 기능은 드로잉 오브젝트 생성전에 어플리케이션에서 제공하고 있던 기능일 수 있고, 드로잉 오브젝트 분리시, 제1 영역에서 수행될 수 있는 기능 메뉴 리스트를 사용자에게 제공하여, 메뉴 리스트에서 사용자에 의해 선택된 기능이 제1 영역에서 수행될 수도 있다. 또는 제1 영역 및 제2 영역 각각에 적용할 수 있는 기능 메뉴 리스트를 제공하고, 이들 중 사용자에게 선택된 기능을 각각의 영역에 적용할 수도 있다.
도 18a 내지 도 18c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제4 예를 나타낸 예시도이다.
도 18a 내지 도 18c는 이미지 촬영 어플리케이션이 실행됐을 때, 제1 영역에 대응하는 어플리케이션 기능이 듀얼 카메라 기능인 경우를 나타낸 도면이다.
도 18a는 이미지 촬영 어플리케이션이 실행됨에 따라, 제1 카메라(151)가 활성되어, 제1 사용자를 촬영한 프리뷰 영상이 디스플레이되고 있는 상태를 나타낸 것이다. 이후, 사용자는 펜(200)을 이용해 도 18b에 도시된 바와 같이, 사각형의 드로잉 오브젝트를 터치스크린(190)에 드로잉할 수 있다. 사용자의 드로잉이 완료되면, 제어부(110)는 사각형의 폐쇄형 드로잉 오브젝트가 검출되는 것을 확인하여, 사각형 드로잉 오브젝트에 대한 3차원 그래픽이 디스플레이되도록 제어한다. 동시에 제어부(110)는 폐쇄형 드로잉 오브젝트에 대응하여 지정된 듀얼 카메라 기능을 수행하기 위해 제2 카메라(152)를 활성하여, 제2 카메라(152)를 통해 촬영된 프리뷰 영상을 도 18c에 도시된 바와 같이, 드로잉 오브젝트의 영역 내부에 디스플레이한다. 도 18a 내지 도 18c의 실시예에서, 상기 제1 영역은 폐쇄형 드로잉 오브젝트에 의해 형성된 사각형 영역이고, 제2 영역은 사각형 영역을 제외한 나머지 영역이다.
도 19a 및 도 19b는 본 발명의 다른 실시예에 따른 사용자 인터페이스를 제어하는 제5 예를 나타낸 예시도이다.
도 19a및 도 19b는 이미지 촬영 어플리케이션에서, 사용자에 의해 드로잉된 폐쇄형 드로잉 오브젝트의 제1 영역과, 드로잉 레이어에서 제1 영역을 제외한 제2 영역 각각에 개별적인 필터 효과를 적용하는 경우를 나타낸 것이다. 필터 효과란 이미지의 각 픽셀값을 조정하여, 명암, 채도, 색상, 포커싱 등에 변화를 주는 효과이다.
도 19a와 같이 이미지 촬영 어플리케이션이 실행된 상태에서, 사용자가 하트 모양의 폐쇄형 드로잉 오브젝트를 드로잉할 수 있다. 사용자의 드로잉이 완료되면, 제어부(110)는 하트 모양의 폐쇄형 드로잉 오브젝트가 검출되는 것을 확인하여, 사각형 드로잉 오브젝트에 대한 3차원 그래픽이 디스플레이되도록 제어한다. 동시에 제어부(110)는 폐쇄형 드로잉 오브젝트에 대응하여 지정된 필터 효과 기능을 제공하기 위해, 필터 효과 리스트를 제공한다. 사용자는 하트 영역에 적용할 필터 효과를 선택할 수 있다. 추가적으로 사용자는 하트를 제외한 나머지 영역에 적용할 필터 효과를 선택할 수도 있다.
이에 따라, 제어부(110)는 선택된 각각의 필터 효과를 도 19b에 도시된 바와 같이, 하트 영역과, 하트 영역 이외의 영역에 적용된 이미지를 디스플레이하도록 제어한다.
도 20a 내지 도 20c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제6 예를 나타낸 예시도이다.
도 20a을 참조하면, 본 발명의 일 실시예에 따른 전자 장치(2010)는 그림 또는 사진과 같은 어플리케이션을 디스플레이할 수 있다. 이러한 어플리케이션 상에서 임의 영역에 색깔을 적용하고자 하는 경우, 사용자는 펜(또는 입력 유닛)(200)을 사용하여 색칠하고자 하는 드로잉 오브젝트 영역(2011)을 형성한다.
도 20b를 참조하면, 전자 장치(2020)는 도 20a에서 형성된 드로잉 오브젝트 영역이 폐쇄형 패턴임을 감지하고, 상기 드로잉 오브젝트 영역에 색칠을 하기 위한 동작이 수행되는지 판단한다. 이러한 동작은 사용자의 숙련도, 동작이 수행될 때의 전자 장치의 흔들림 등 주변 여건에 따라서 드로잉 오브젝트 영역을 벗어난 영역에까지 색칠이 될 수 있다. 그리고, 제어부(110)는 상기 드로잉 오브젝트 영역에 터치 또는 호버링에 의해 색깔을 칠하는 동작이 수회 이상 반복적으로 수행된다고 판단하면, 제어부(110)는 상기 드로잉 오브젝트 영역에 미리 결정된 색깔을 적용하여 디스플레이한다. 상기 미리 결정된 색깔은 상기 드로잉 오브젝트 영역에 색칠하기 위해 사용자가 미리 결정할 수 있다. 또는 기본적으로 임의 색깔이 지정될 수 있다.
도 20c를 참조하면, 전자 장치(2030)는 도 20a에서 형성된 드로잉 오브젝트 영역(2011)에 도 20c의 드로잉 오브젝트 영역(2031)과 같이 미리 결정된 색깔을 적용한다. 제어부(110)는 입력 유닛(200)에 의해 형성된 궤적이 폐쇄형 패턴인 경우, 폐쇄형 패턴의 드로잉 오브젝트를 포함하는 영역에 터치 및 데셍(dessin) 중 적어도 하나를 이용한 입력에 대응하여 상기 드로잉 오브젝트에 미리 결정된 색깔을 적용하여 디스플레이할 수 있다.
도 21a 내지 도 21c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제7 예를 나타낸 예시도이다.
도 21a을 참조하면, 본 발명의 일 실시예에 따른 전자 장치(2110)는 메인 화면 또는 인터넷 브라우저 등 사용자가 입력한 키워드를 검색할 수 있는 검색창을 갖춘 어플리케이션을 디스플레이할 수 있다. 이러한, 어플리케이션 상에서 사용자에 의해 키워드 입력 영역에 또는 키워드 입력 영역 주변에 드로잉 오브젝트가 형성되면, 제어부(110)는 상기 형성된 드로잉 오브젝트 영역에 키패드를 이용한 텍스트 또는 입력 유닛을 이용한 텍스트가 입력될 수 있음을 판단하고, 드로잉 오브젝트 영역(2113)을 검색창 영역(2112)과 동일한 기능으로 설정한다. 그리고, 형성된 드로잉 오브젝트 영역에 텍스트가 입력되면, 제어부(110)는 입력된 텍스트를 통해서 데이터를 외부 통신망을 통해서 서치하고, 서치 결과를 디스플레이할 수 있다. 도 21a에 도시된 바와 같이, 사용자가 메인 화면에서 검색창 영역(2112)에 입력 유닛(200)을 이용하여 드로잉 오브젝트(2113)를 형성하는 경우, 제어부(110)는 이러한 드로잉 오브젝트(2113)는 검색창 영역(2112)를 선택하기 위한 오브젝트임을 판단할 수 있다.
도 21b 및 도 21c를 참조하면, 제어부(110)는 도 21a에서 형성된 드로잉 오브젝트 영역(2113)이 폐쇄형 패턴임을 감지하고, 상기 드로잉 오브젝트 영역에 텍스트가 입력될 수 있음을 판단한다. 상기 드로잉 오브젝트가 형성된 이후, 사용자로부터 임의 텍스트가 입력되는 경우, 제어부(110)는 입력된 텍스트에 대응되는 정보를 외부 통신망을 통해 서치 또는 다운로드 한 후, 터치스크린에 디스플레이할 수 있다. 예를 들어, 드로잉 오브젝트 영역(2113)에 삼성(2121)이라고 입력되는 경우, 제어부(110)는 도 21c에 도시된 바와 같이, 입력된 텍스트에 관련된 적어도 하나의 연관 검색어(2141, 2142, 2143)(예: 삼성전자, 삼성라이온스, 삼성전자 위치 등)를 디스플레이한다. 이러한, 디스플레이된 연관 검색어들 중에서 사용자가 최종적으로 검색하고자 하는 텍스트를 선택(예: 삼성전자 선택)하는 경우, 선택된 삼성전자에 대응되는 데이터를 전자 장치(2110)의 저장부(175) 또는 인터넷 서버(미도시)에 접속하여 서치 또는 다운로드할 수 있다. 제어부(110)는 드로잉 오브젝트가 검색창인 경우, 검색창에 필기된 텍스트에 대응되는 정보를 검색하여 터치 스크린에 디스플레이할 수 있다.
도 22는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제8 예를 나타낸 예시도이다.
도 22를 참조하면, 본 발명의 일 실시예에 따른 제어부(110)는 전자 장치(2210)의 터치 스크린(2212)을 적어도 하나의 모드로 변경하거나 전환할 수 있다. 제어부(110)는 터치 스크린(2212)에 드로잉 오브젝트가 입력되는 경우, 입력된 드로잉 오브젝트에 적용된 모드를 터치 스크린(2212)에 적용된 모드와 서로 다르게 변경할 수 있다. 이러한 드로잉 오브젝트가 적어도 2개 이상인 경우에도 제어부(110)는 각각의 드로잉 오브젝트에 서로 다른 모드를 적용하거나 적어도 2개 이상의 드로잉 오브젝트를 그룹화하고, 그룹화된 드로잉 오브젝트에 동일한 모드를 적용할 수 있다. 도 22에 도시된 바와 같이, 제어부(110)는 스크린(2212)에 드로잉 오브젝트(2211)가 입력되는 경우, 상기 드로잉 오브젝트(예: 제1 영역)(2211)에 적용되는 모드를 상기 드로잉 오브젝트(2211)를 제외한 나머지 영역(예: 제2 영역)(2214)에 적용된 모드와 다르게 변경할 수 있다. 예를 들어, 터치 스크린(2212)이 현재 입력 유닛에 의한 명령을 입력받는 모드인 경우, 드로잉 오브젝트(예: 제1 영역)가 형성되면, 제어부(110)는 제1 영역에 입력 유닛에 의한 명령을 입력받는 모드에서 사용자의 신체 중 일부(예: 손가락)(2215)를 통해서 입력되는 명령을 감지할 수 있는 모드로 전환한다. 이후, 사용자에 의해 제1 영역에는 사진 또는 그림(2213)을 디스플레이할 수 있고, 제2 영역(2214)에는 그림을 그릴 수 있다. 또한, 상기 제1 영역은 사용자의 신체 중 일부에 의한 터치를 입력받아서 소정의 기능을 실행할 수 있는 다양한 어플리케이션을 디스플레이할 수 있고, 제2 영역은 입력 유닛에 의한 명령을 입력받아서 소정의 기능을 실행할 수 있는 다양한 어플리케이션을 디스플레이할 수 있다. 상술한 바와 같이, 터치 스크린이 입력 유닛을 이용한 터치를 입력받는 모드인 경우, 제어부(110)는 드로잉 오브젝트의 영역을 사용자의 신체 중 일부를 입력받는 모드로 전환하거나, 또는 터치 스크린이 상기 사용자의 신체 중 일부를 이용한 터치를 입력받는 모드인 경우, 제어부(110)는 상기 드로잉 오브젝트의 영역을 상기 입력 유닛을 입력받는 모드로 전환할 수 있다.
도 23a 내지 도 23c는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스를 제어하는 제9 예를 나타낸 예시도이다.
도 23a 내지 도 23c를 참조하면, 본 발명의 일 실시예에 따른 제어부(110)는 전자 장치(2310)의 터치 스크린에 임의의 사진, 그림 또는 임의 어플리케이션을 실행하여 디스플레이할 수 있다. 또는, 전자 장치(2310)는 메인 화면에 이러한 사진 또는 그림을 디스플레이할 수 있다. 예를 들어, 도 23a에 도시된 바와 같이, 제어부(110)가 터치 스크린에 임의 사진 또는 그림(2311)을 디스플레이하고, 디스플레이된 사진 또는 그림의 윤곽선을 따라서 궤적(2312)이 형성되는 경우, 제어부(110)는 이러한 궤적을 감지하고, 디스플레이된 사진 또는 그림에 궤적을 형성하여 저장할 수 있다. 이러한 궤적은 가상의 궤적이 될 수 있으며, 보여지거나 보여지지 않을 수 있다.
또한, 제어부(110)는 도 23b에 도시된 바와 같이, 전자장치(2320)의 메인 화면에 디스플레이된 사진 또는 그림에 궤적을 형성할 수 있다. 도 23b에 도시된 바와 같이, 터치 스크린은 사진(2321)이 디스플레이되어 있으며, 또한, 복수의 아이콘(2321a 내지 2321d)이 디스플레이될 수 있다. 사용자가 입력 유닛(200)을 이용하여 궤적(2322)을 입력하는 경우, 제어부(110)는 상기 궤적(2322) 내에 존재하는 아이콘의 유무를 판단할 수 있다. 그리고, 제어부(110)는 상기 궤적(2322) 내에 존재하는 아이콘을 도 23c에 도시된 바와 같이, 궤적 바깥으로 이동시킬 수 있다. 그리고, 제어부(110)는 이러한 궤적을 감지하고, 메인 화면에 디스플레이된 적어도 하나의 아이콘을 감지된 궤적의 바깥으로 이동시킬 수 있다. 이러한 궤적은 가상의 궤적이 될 수 있으며, 보여지거나 보여지지 않을 수 있다. 그리고, 제어부(110)는 궤적이 형성되는 도중에는 궤적을 디스플레이하고, 궤적이 완료되면 아이콘을 이동시킨 후, 궤적을 사라지게 할 수 있다. 도 23c를 참조하면, 도 23b에서 궤적 내에 있거나 또는 궤적과 겹치는 아이콘(2331a 내지 2331d)은 제어부(110)의 제어 하에 궤적의 외부로 이동될 수 있다. 따라서, 전자 장치(2330)는 이러한 적어도 하나의 아이콘을 위치 이동 시킨 후, 터치 스크린 모드를 대기 상태로 진입시킬 수 있다.
상술한 바와 같이, 본 발명은 사용자의 터치 입력에 대응하는 드로잉 오브젝트를 3차원적으로 표현할 수 있는 사용자 인터페이스를 제공한다. 그리고, 본 발명은 어플리케이션 실행중 사용자 입력에 의해 드로잉된 드로잉 오브젝트를 통해 연계된 다른 어플리케이션이 실행될 수 있게 한다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해 져야 한다.
110: 제어부 120: 이동 통신 모듈
130: 서브 통신 모듈 140: 멀티미디어 모듈
150: 카메라 모듈 160: 입/출력 모듈
170: 센서 모듈 180: 전원 공급부
190: 터치 스크린

Claims (36)

  1. 전자 장치의 사용자 인터페이스를 제어하는 방법에 있어서,
    전자 장치의 터치 스크린에 제1 어플리케이션을 실행하는 과정과,
    상기 터치 스크린에 표시되는 상기 실행된 제1 어플리케이션의 내부에서 입력되는 궤적에 의해 형성된 아웃 라인을 가지는 드로잉 오브젝트를 디스플레이 하는 과정과,
    상기 드로잉 오브젝트의 영역 내부에 상기 드로잉 오브젝트에 대응하여 지정된 제2 어플리케이션을 실행하는 과정과,
    상기 드로잉 오브젝트의 영역에 상기 제2 어플리케이션을 표시하고, 상기 드로잉 오브젝트의 영역을 제외한 나머지 영역에 상기 제1 어플리케이션을 표시하여 사용자 인터페이스를 제어하는 과정을 포함하는 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 제2 어플리케이션을 실행하는 요청에 응답하여 실행 결과를 상기 제1 어플리케이션에 적용하는 과정을 더 포함하는 방법.
  4. 제1 항에 있어서,
    상기 드로잉 오브젝트를 디스플레이 과정은,
    상기 드로잉 오브젝트의 아웃 라인에 비쥬얼 효과를 제공하여 디스플레이하는 과정을 포함하는 방법.
  5. 삭제
  6. 제3 항에 있어서,
    상기 제2 어플리케이션을 실행하는 과정은,
    상기 제2 어플리케이션이 이미지 라이브러리 어플리케이션인 경우, 이미지 리스트를 상기 영역 내부에 디스플레이하는 과정을 포함하고,
    상기 제1 어플리케이션에 적용하는 과정은,
    상기 디스플레이된 이미지 리스트를 통해 적어도 하나의 이미지를 선택하는 요청에 응답하여 상기 제1 어플리케이션의 실행 화면에 상기 선택된 이미지를 디스플레이하는 과정을 포함하는 방법.
  7. 제3 항에 있어서,
    상기 제2 어플리케이션을 실행하는 과정은,
    상기 제2 어플리케이션이 이미지 라이브러리 어플리케이션인 경우, 이미지 리스트를 상기 영역 내부에 디스플레이하는 과정을 포함하고,
    상기 제1 어플리케이션에 적용하는 과정은,
    상기 이미지를 선택하는 요청에 응답하여 상기 디스플레이된 이미지를 아웃 라인에 따라 크롭하는 과정과,
    상기 제1 어플리케이션에 대한 입력 이미지로 생성하는 과정을 포함하는 방법.
  8. 제3 항에 있어서,
    상기 제2 어플리케이션을 실행하는 과정은,
    상기 제2 어플리케이션이 이미지 촬영 어플리케이션인 경우, 카메라를 활성하는 과정과,
    상기 카메라를 통해 촬영되는 프리뷰 영상을 상기 영역 내부에 디스플레이하는 과정과,
    촬영 명령에 따라 촬영되는 이미지를 상기 영역 내부에 디스플레이하는 과정을 포함하고,
    상기 제1 어플리케이션에 적용하는 과정은,
    상기 이미지 촬영 어플리케이션을 실행하는 요청에 응답하여 상기 촬영된 이미지가 상기 제1 어플리케이션에 대한 입력 이미지로서 상기 제1 어플리케이션의 실행 화면에 포함되도록 디스플레이하는 과정을 포함하는 방법.
  9. 제3 항에 있어서,
    상기 제2 어플리케이션을 실행하는 과정은,
    상기 제2 어플리케이션이 이미지 촬영 어플리케이션인 경우, 카메라를 활성하는 과정과,
    상기 카메라를 통해 촬영되는 프리뷰 영상을 상기 영역 내부에 디스플레이하는 과정과,
    촬영 명령에 따라 촬영되는 이미지를 상기 영역 내부에 디스플레이하는 과정을 포함하고,
    상기 제1 어플리케이션에 적용하는 과정은,
    상기 이미지 촬영 어플리케이션을 실행하는 요청에 응답하여 상기 촬영된 이미지를 아웃 라인에 따라 크롭하는 과정과,
    상기 제1 어플리케이션에 대한 입력 이미지로 생성하는 과정을 포함하는 방법.
  10. 제3 항에 있어서,
    상기 제2 어플리케이션을 실행하는 과정은,
    상기 제2 어플리케이션이 지도 어플리케이션이면, 지도 이미지를 상기 영역 내부에 디스플레이하는 과정을 포함하고,
    상기 제1 어플리케이션에 적용하는 과정은,
    상기 지도 어플리케이션을 실행하는 요청에 응답하여 상기 지도 이미지를 상기 제1 어플리케이션에 대한 입력 이미지로서 상기 제1 어플리케이션의 실행 화면에 포함되도록 디스플레이하는 과정을 포함하는 방법.
  11. 제3 항에 있어서,
    상기 제2 어플리케이션을 실행하는 과정은,
    상기 제2 어플리케이션이 지도 어플리케이션이면, 지도 이미지를 상기 영역 내부에 디스플레이하는 과정을 포함하고,
    상기 제1 어플리케이션에 적용하는 과정은,
    상기 지도 어플리케이션을 실행하는 요청에 응답하여 상기 지도 이미지를 아웃 라인에 따라 크롭하는 과정과, 상기 제1 어플리케이션에 대한 입력 이미지로 생성하는 과정을 포함하는 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 사용자 인터페이스를 제어하는 전자 장치에 있어서,
    터치 스크린과,
    상기 터치 스크린에 제1 어플리케이션을 실행하고, 상기 터치 스크린에 표시되는 상기 제1 어플리케이션의 내부에서 입력되는 궤적에 의해 형성된 아웃 라인을 가지는 드로잉 오브젝트를 디스플레이하며, 상기 드로잉 오브젝트의 영역 내부에 상기 드로잉 오브젝트에 대응하여 지정된 제2 어플리케이션을 실행하며, 상기 드로잉 오브젝트의 영역에 상기 제2 어플리케이션을 표시하고, 상기 드로잉 오브젝트의 영역을 제외한 나머지 영역에 상기 제1 어플리케이션을 표시하여 사용자 인터페이스를 제어하는 제어부를 포함하는 전자 장치.
  23. 삭제
  24. 제22 항에 있어서,
    상기 제어부는 상기 제2 어플리케이션을 실행하는 요청에 응답하여 실행 결과를 상기 제1 어플리케이션에 적용하는 전자 장치.
  25. 삭제
  26. 제22 항에 있어서,
    상기 제2 어플리케이션이 이미지 라이브러리 어플리케이션인 경우, 상기 제어부는 이미지 리스트를 상기 영역 내부에 디스플레이하고, 상기 디스플레이된 이미지 리스트를 통해 적어도 하나의 이미지를 선택하는 요청에 응답하여 상기 제1 어플리케이션의 실행 화면에 상기 선택된 이미지가 포함되도록 디스플레이하는 전자 장치.
  27. 제22 항에 있어서,
    상기 제2 어플리케이션이 이미지 라이브러리 어플리케이션인 경우, 상기 제어부는 이미지 리스트를 상기 영역 내부에 디스플레이하고, 상기 이미지를 선택하는 요청에 응답하여 상기 디스플레이된 이미지를 아웃 라인에 따라 크롭하여, 상기 제1 어플리케이션에 대한 입력 이미지로 생성하는 전자 장치.
  28. 제22 항에 있어서,
    상기 제2 어플리케이션이 이미지 촬영 어플리케이션인 경우, 상기 제어부는 카메라를 활성하여 촬영되는 프리뷰 영상을 상기 영역 내부에 디스플레이하고, 촬영 명령에 따라 촬영된 이미지를 상기 영역 내부에 디스플레이하고, 상기 이미지 촬영 어플리케이션을 실행하는 요청에 응답하여 상기 촬영된 이미지가 상기 제1 어플리케이션에 대한 입력 이미지로서 상기 제1 어플리케이션의 실행 화면에 포함되도록 디스플레이하는 전자 장치.
  29. 제22 항에 있어서,
    상기 제2 어플리케이션이 이미지 촬영 어플리케이션인 경우, 상기 제어부는 카메라를 활성하여 촬영되는 프리뷰 영상을 상기 영역 내부에 디스플레이하고, 촬영 명령에 따라 촬영된 이미지를 상기 영역 내부에 디스플레이하고, 상기 이미지 촬영 어플리케이션을 실행하는 요청에 응답하여 상기 촬영된 이미지를 아웃 라인에 따라 크롭하여, 상기 제1 어플리케이션에 대한 입력 이미지를 생성하는 전자 장치.
  30. 제22 항에 있어서,
    상기 제2 어플리케이션이 지도 어플리케이션인 경우, 상기 제어부는 지도 이미지를 상기 영역 내부에 디스플레이하고, 상기 지도 어플리케이션을 실행하는 요청에 응답하여 상기 지도 이미지를 상기 제1 어플리케이션에 대한 입력 이미지로서 상기 제1 어플리케이션의 실행 화면에 포함되도록 디스플레이하는 전자 장치.
  31. 제22 항에 있어서,
    상기 제2 어플리케이션이 지도 어플리케이션이면, 상기 제어부는 지도 이미지를 상기 영역 내부에 디스플레이하고, 상기 지도 어플리케이션을 실행하는 요청에 응답하여 상기 지도 이미지를 아웃 라인에 따라 크롭하여, 상기 제1 어플리케이션에 대한 입력 이미지로 생성하는 전자 장치.

  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
KR1020130112862A 2013-06-07 2013-09-23 사용자 인터페이스 제어 방법 및 장치 KR102220799B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/285,100 US9639199B2 (en) 2013-06-07 2014-05-22 Method and device for controlling a user interface
EP18193561.0A EP3435219A1 (en) 2013-06-07 2014-05-29 Method and device for controlling a user interface
EP20140170488 EP2811387A3 (en) 2013-06-07 2014-05-29 Method and device for controlling a user interface
US15/484,544 US10205873B2 (en) 2013-06-07 2017-04-11 Electronic device and method for controlling a touch screen of the electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130065169 2013-06-07
KR20130065169 2013-06-07

Publications (2)

Publication Number Publication Date
KR20140143673A KR20140143673A (ko) 2014-12-17
KR102220799B1 true KR102220799B1 (ko) 2021-03-02

Family

ID=52674357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130112862A KR102220799B1 (ko) 2013-06-07 2013-09-23 사용자 인터페이스 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102220799B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113419664A (zh) * 2021-07-23 2021-09-21 广州朗国电子科技股份有限公司 一体机多窗模式下的白板书写区域适配方法、设备、介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070180400A1 (en) * 2006-01-30 2007-08-02 Microsoft Corporation Controlling application windows in an operating systm

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100448666B1 (ko) * 2002-02-25 2004-09-13 삼성에스디에스 주식회사 유선 및 무선 인터넷 환경에서의 편리한 2차원 및 3차원인테리어 도면 동시 설계 방법
KR101640460B1 (ko) * 2009-03-25 2016-07-18 삼성전자 주식회사 휴대 단말기의 분할 화면 운용 방법 및 이를 지원하는 휴대 단말기
KR101068953B1 (ko) * 2009-04-14 2011-09-29 주식회사 한글과 컴퓨터 문서편집프로그램에서의 도형개체의 장식효과 편집방법 및 이를 이용한 단말기
KR101693690B1 (ko) * 2010-05-26 2017-01-06 엘지전자 주식회사 이동 단말기 및 그 제어 방법
EP3734406A1 (en) * 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
KR101831641B1 (ko) * 2011-02-11 2018-04-05 삼성전자 주식회사 휴대 단말기의 gui 제공 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070180400A1 (en) * 2006-01-30 2007-08-02 Microsoft Corporation Controlling application windows in an operating systm

Also Published As

Publication number Publication date
KR20140143673A (ko) 2014-12-17

Similar Documents

Publication Publication Date Title
US10205873B2 (en) Electronic device and method for controlling a touch screen of the electronic device
US11675391B2 (en) User terminal device for displaying contents and methods thereof
US10048824B2 (en) User terminal device and display method thereof
KR101984673B1 (ko) 복수 어플리케이션을 실행하는 디스플레이 장치 및 그 제어 방법
US8904291B2 (en) Mobile terminal and control method thereof
EP2693321B1 (en) Mobile terminal and control method thereof
US11604580B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
KR102143584B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20130119172A (ko) 이동 단말기 및 그 제어방법
KR102131827B1 (ko) 이동 단말기 및 이의 제어 방법
KR20130126428A (ko) 다중 어플리케이션 실행 장치 및 방법
KR102220799B1 (ko) 사용자 인터페이스 제어 방법 및 장치
KR20140038854A (ko) 모바일 디바이스 및 모바일 디바이스에서 사용자 인터페이스 방법
KR102146832B1 (ko) 스타일러스 펜의 입력 지점을 측정하는 전자 장치 및 그 제어 방법
KR102138531B1 (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant