KR101946365B1 - 디스플레이 디바이스 및 그 제어 방법 - Google Patents
디스플레이 디바이스 및 그 제어 방법 Download PDFInfo
- Publication number
- KR101946365B1 KR101946365B1 KR1020120090627A KR20120090627A KR101946365B1 KR 101946365 B1 KR101946365 B1 KR 101946365B1 KR 1020120090627 A KR1020120090627 A KR 1020120090627A KR 20120090627 A KR20120090627 A KR 20120090627A KR 101946365 B1 KR101946365 B1 KR 101946365B1
- Authority
- KR
- South Korea
- Prior art keywords
- touch input
- pressure
- area
- display device
- attribute
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 디스플레이 디바이스에 대한 것으로, 특히 터치 인풋의 압력을 센싱하여 디스플레이된 오브젝트를 제어하고 택타일 피드백을 발생하는 디스플레이 디바이스 및 그의 제어 방법에 대한 것이다. 본 발명의 디스플레이 디바이스 제어 방법은 제1 오브젝트 및 제2 오브젝트를 디스플레이하는 단계, 제1 오브젝트는 제2 오브젝트의 제1 영역 상에 적어도 일부가 오버랩되어 디스플레이됨, 제2 오브젝트의 제1 영역 상에서 제1 오브젝트를 컨트롤하는데 요구되는 제1 압력 조건을 설정하는 단계, 제1 압력 조건은 제1 오브젝트의 속성 및 제2 오브젝트의 제1 영역의 속성에 대응하여 설정됨, 제1 오브젝트가 디스플레이된 영역을 터치하는 제1 터치 인풋을 디텍팅하는 단계, 제1 오브젝트를 컨트롤하는 제2 터치 인풋을 디텍팅하는 단계, 제2 터치 인풋은 제1 터치 인풋에 연속하여 입력됨, 제1 터치 인풋의 압력이 설정된 제1 압력 조건을 만족할 때, 제2 터치 인풋으로 제1 오브젝트를 컨트롤하는 단계, 및 제1 터치 인풋의 압력이 설정된 제1 압력 조건을 만족하지 않을 때, 제2 터치 인풋을 바이패스하는 단계를 포함할 수 있다.
Description
본 발명은 디스플레이 디바이스에 대한 것으로, 특히 터치 인풋의 압력을 센싱하여 디스플레이된 오브젝트를 제어하는 디스플레이 디바이스 및 그의 제어 방법에 대한 것이다.
디스플레이 디바이스의 사용이 증가함에 따라 사용자의 제어 명령을 편리하게 입력하는 방법이 개발되어 왔다. 사용자의 제어 명령 입력 방법은 키보드, 마우스 등의 주변기기를 이용한 입력 방법에서 터치 스크린을 통해 사용자의 터치를 입력받는 방법으로 발전하였다. 터치 스크린을 포함한 디스플레이 디바이스는 사용자의 터치 입력을 디텍팅하여 제어 명령으로 처리할 수 있다. 사용자는 터치 스크린을 이용하여 디스플레이된 오브젝트를 움직이거나 활성화시킬 수 있으며 디스플레이 디바이스는 입력된 터치 인풋을 기반으로 다양한 피드백을 발생할 수 있다.
사용자에 의해 입력된 터치 인풋에 대한 피드백은 사용자에게 가상의 디스플레이 공간이 아닌 실제 공간에서 디스플레이된 오브젝트를 움직이거나 제어하는 듯한 느낌을 제공할 수 있으며 이를 위해 디스플레이 디바이스는 터치 인풋의 속성 및 디스플레이된 오브젝트의 속성을 고려하여 택타일 피드백을 제공할 수 있다.
본 발명은, 디스플레이 디바이스 및 그의 제어 방법을 제공하고자 한다. 특히, 본 발명에서 디스플레이 디바이스는 디스플레이된 오브젝트의 속성 및 이에 대한 터치 인풋의 속성을 고려하여 사용자에게 피드백을 제공할 필요가 있다.
본 발명의 일 실시예에 따른 디스플레이 디바이스 제어 방법은 제1 오브젝트 및 제2 오브젝트를 디스플레이하는 단계, 제1 오브젝트는 제2 오브젝트의 제1 영역 상에 적어도 일부가 오버랩되어 디스플레이됨, 제2 오브젝트의 제1 영역 상에서 제1 오브젝트를 컨트롤하는데 요구되는 제1 압력 조건(pressure condition)을 설정하는 단계, 제1 압력 조건은 제1 오브젝트의 속성 및 제2 오브젝트의 제1 영역의 속성에 대응하여 설정됨, 제1 오브젝트가 디스플레이된 영역을 터치하는 제1 터치 인풋을 디텍팅하는 단계, 제1 오브젝트를 컨트롤하는 제2 터치 인풋을 디텍팅하는 단계, 제2 터치 인풋은 제1 터치 인풋에 연속하여 입력됨, 제1 터치 인풋의 압력이 설정된 제1 압력 조건을 만족할 때, 제2 터치 인풋으로 제1 오브젝트를 컨트롤하는 단계, 및 제1 터치 인풋의 압력이 설정된 제1 압력 조건을 만족하지 않을 때, 제2 터치 인풋을 바이패스하는 단계를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 디스플레이 디바이스는 터치 인풋을 디텍팅하는 터치 센서티브 디스플레이 유닛, 터치 인풋에 대응하여 택타일 피드백을 제공하는 택타일 피드백 유닛, 유닛들을 제어하는 컨트롤러를 포함하고, 제1 오브젝트 및 제2 오브젝트를 디스플레이하고, 제1 오브젝트는 제2 오브젝트의 제1 영역 상에 적어도 일부가 오버랩되어 디스플레이됨, 제2 오브젝트의 제1 영역 상에서 오브젝트를 컨트롤하는데 요구되는 제1 압력 조건(pressure condition)을 설정하고, 제1 압력 조건은 제1 오브젝트의 속성 및 제2 오브젝트의 제1 영역의 속성에 대응하여 설정됨, 오브젝트가 디스플레이된 영역을 터치하는 제1 터치 인풋을 디텍팅하고, 오브젝트를 컨트롤하는 제2 터치 인풋을 디텍팅하고, 제2 터치 인풋은 제1 터치 인풋에 연속하여 입력됨, 제1 터치 인풋의 압력이 설정된 제1 압력 조건을 만족할 때, 제2 터치 인풋으로 오브젝트를 컨트롤하고, 제1 터치 인풋의 압력이 설정된 제1 압력 조건을 만족하지 않을 때, 제2 터치 인풋을 바이패스할 수 있다.
본 발명에 따르면, 디스플레이된 오브젝트 또는 배경 이미지의 속성에 따라 오브젝트 별로 압력 조건을 설정할 수 있다.
또한, 본 발명에 따르면, 디텍팅한 터치 인풋의 압력에 따라 터치 인풋을 오브젝트에 적용할 것인지 여부를 결정할 수 있다.
또한, 본 발명에 따르면, 디스플레이된 배경 이미지를 고려하여 오브젝트의 이동 속도를 설정할 수 있다.
또한, 본 발명에 따르면, 터치 인풋의 압력 또는 디스플레이된 배경 이미지를 고려하여 오브젝트의 한계 이동 거리를 설정할 수 있다.
또한, 본 발명에 따르면, 터치 인풋에 의해 오브젝트가 서로 다른 속성의 영역들을 포함하는 배경 이미지 상에서 이동되면, 각 영역의 속성을 고려하여 터치 인풋을 오브젝트에 적용할 수 있다.
또한, 본 발명에 따르면, 서로 다른 속성의 영역들을 포함하는 오브젝트에 대해, 터치 인풋이 디텍팅된 오브젝트 상의 영역에 따라 터치 인풋을 오브젝트에 적용할 것인지 여부를 결정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이된 오브젝트의 속성에 대응하여 사용자의 터치 인풋을 실행하는 방법을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자의 터치 인풋에 대응하여 오브젝트의 한계 이동 거리를 설정하는 방법을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 한계 이동거리에 대응하여 오브젝트를 디스플레이하는 방법을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 배경 이미지의 속성에 대응하여 사용자의 터치 인풋을 실행하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 복수의 영역을 갖는 오브젝트의 속성에 대응하여 사용자의 터치 인풋을 실행하는 방법을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 복수의 영역을 갖는 오브젝트의 속성에 대응하여 오브젝트의 한계 이동거리를 설정하는 방법을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 복수의 오브젝트에 대한 터치 인풋이 입력된 경우 이를 실행하는 방법을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 복수의 영역을 갖는 배경 이미지의 속성에 대응하여 오브젝트에 터치 인풋을 적용하는 방법을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 디바이스를 나타낸 블록도이다.
도 10은 본 발명의 일 실시예에 따른 디스플레이 디바이스의 터치 인풋에 대응하여 오브젝트를 디스플레이하는 방법을 나타낸 순서도이다.
도 2는 본 발명의 일 실시예에 따른 사용자의 터치 인풋에 대응하여 오브젝트의 한계 이동 거리를 설정하는 방법을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 한계 이동거리에 대응하여 오브젝트를 디스플레이하는 방법을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 배경 이미지의 속성에 대응하여 사용자의 터치 인풋을 실행하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 복수의 영역을 갖는 오브젝트의 속성에 대응하여 사용자의 터치 인풋을 실행하는 방법을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 복수의 영역을 갖는 오브젝트의 속성에 대응하여 오브젝트의 한계 이동거리를 설정하는 방법을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 복수의 오브젝트에 대한 터치 인풋이 입력된 경우 이를 실행하는 방법을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 복수의 영역을 갖는 배경 이미지의 속성에 대응하여 오브젝트에 터치 인풋을 적용하는 방법을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 디바이스를 나타낸 블록도이다.
도 10은 본 발명의 일 실시예에 따른 디스플레이 디바이스의 터치 인풋에 대응하여 오브젝트를 디스플레이하는 방법을 나타낸 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 발명의 디스플레이 디바이스는 복수의 오브젝트를 겹쳐서 디스플레이 할 수 있다. 예를 들면 디스플레이 디바이스는 제1 오브젝트를 제2 오브젝트의 일부 영역 상에 오버랩하여 디스플레이 할 수 있다. 아래에서 제1 오브젝트에 의해 오버랩되어 디스플레이된 제2 오브젝트는 배경 이미지로 칭할 수 있다. 디스플레이 디바이스는 디스플레이된 오브젝트들에 대해 터치 인풋을 디텍팅하여 오브젝트에 대한 제어 명령을 입력받을 수 있다. 터치 인풋에 대한 디텍팅은 터치 인풋의 압력에 대한 디텍팅을 포함하며 터치 인풋의 압력은 디스플레이 디바이스에 포함된 압전 센서(piezoelectric sensor)를 이용하여 디텍팅될 수 있다. 또한 터치 인풋에 대한 디텍팅은 디스플레이 디바이스에서 디텍팅되는 터치 인풋의 면적을 이용할 수 있다. 예를 들어, 디스플레이 디바이스의 디스플레이 유닛 상에서 사용자의 손가락이 디텍팅되는 면적이 넓을수록 터치 인풋의 압력이 강한 것으로 디텍팅할 수 있다. 디스플레이 디바이스는 디텍팅된 터치 인풋을 오브젝트에 대해 적용할 것인지 여부를 결정할 수 있으며 이는 디텍팅된 터치 인풋의 압력에 대응하여 결정될 수 있다. 아래에서는 본 발명의 일 실시예로써 배경 이미지 상에 디스플레이된 오브젝트를 드래그하여 컨트롤하는 터치 인풋을 어떻게 오브젝트에 적용할 것인지에 대해 설명한다. 아래에서 오브젝트와 배경 이미지를 예로 들어 설명하지만, 본 발명의 범위는 일부 영역이 오버랩되어 디스플레이된 복수의 오브젝트 사이에도 동일하게 적용될 수 있다. 또한 아래에서 오브젝트를 이동하는 실시예로 설명하지만, 본 발명의 범위는 오브젝트를 컨트롤하는 다양한 실시예를 포함한다.
도 1은 본 발명의 일 실시예에 따른 디스플레이된 오브젝트의 속성에 대응하여 사용자의 터치 인풋을 실행하는 방법을 나타내는 도면이다. 디스플레이 디바이스는 디스플레이된 오브젝트의 속성에 대응하여 사용자의 터치 인풋을 오브젝트에 적용할지 여부를 결정할 수 있다. 오브젝트의 속성은 디스플레이된 오브젝트의 텍스쳐, 무게, 질량, 모양을 포함할 수 있다. 특히 오브젝트의 텍스쳐는 사용자의 터치 인풋이 입력된 때, 사용자에게 제공할 택타일 피드백을 결정하는 요소가 될 수 있다. 디스플레이 디바이스는 디스플레이된 오브젝트의 속성에 따라 사용자의 터치 인풋을 해당 오브젝트에 적용할 것인지 여부를 결정할 수 있다.
도 1에서 디스플레이 디바이스는 배경 이미지(10)를 디스플레이하고, 배경 이미지(10) 상에 오브젝트(11)를 디스플레이할 수 있다. 디스플레이 디바이스는 오브젝트(11)를 드래그하는 터치 인풋(12)을 디텍팅하고 해당 오브젝트(11)를 터치 인풋에 따라 이동시켜 디스플레이할지 여부를 결정할 수 있다. 도 1에서는 서로 다른 속성을 갖는 오브젝트들에 대해 서로 다른 속성을 갖는 터치 인풋이 디텍팅된 경우, 이를 프로세싱한 결과를 나타내었다. 아래에서는 오브젝트의 속성 중 하나로써 텍스쳐를 예를 들어 설명하지만 본 발명의 범위는 이에 제한되지 않는다.
제1 오브젝트(13)는 매끄러운 텍스쳐를 갖고, 제2 오브젝트(14)는 러프한 텍스쳐를 가질 수 있다. 디스플레이 디바이스는 각 오브젝트의 텍스쳐에 대응하여 각 오브젝트를 이동시키는데 요구되는 압력의 최소값인 압력 스레시홀드를 설정할 수 있다. 디스플레이 디바이스는 매끄러운 텍스쳐를 갖는 오브젝트에 대해서는 압력 스레시홀드를 높게 설정하고 러프한 텍스쳐를 갖는 오브젝트에 대해서는 압력 스레시홀드를 낮게 설정할 수 있다. 디스플레이 디바이스는 터치 인풋(12)의 압력이 설정된 압력 스레시홀드를 초과하는 경우에 해당 터치 인풋(12)을 오브젝트에 적용할 수 있다.
도 1에 도시된 바와 같이, 오브젝트를 드래그하는 터치 인풋(12)이 로우-레벨 압력을 갖는 경우 제1 오브젝트(13)는 이동하지 않고 기존의 위치에 존재할 수 있다. 이는 터치 인풋(12)의 로우-레벨 압력이 위에서 설정된 압력 스레시홀드보다 낮기 때문이다. 터치 인풋(12)이 하이-레벨 압력을 갖는 경우 제1 오브젝트(13)는 터치 인풋(12)의 드래그에 의해 새로운 위치로 이동될 수 있다. 이는 터치 인풋(12)의 하이-레벨 압력이 제1 오브젝트에 대해 설정된 압력 스레시홀드를 초과하기 때문이다. 제2 오브젝트(14)에 대해 동일한 터치 인풋(12)이 입력되는 경우 제2 오브젝트(14)는 로우-레벨 압력 및 하이-레벨 압력에서 새로운 위치로 이동될 수 있다. 이는 제2 오브젝트의 압력 스레시홀드가 제1 오브젝트의 압력 스레시홀드에 비해 상대적으로 낮게 설정되어, 터치 인풋(12)의 로우-레벨 압력 및 하이-레벨 압력이 제2 오브젝트에 대해 설정된 압력 스레시홀드를 초과하기 때문이다.
이와 같이 동일한 터치 인풋(12)에 대해 제1 오브젝트(13)와 제2 오브젝트(14)의 이동 여부가 달라지는 것은 각 오브젝트의 속성이 다르기 때문이다. 즉, 터치 인풋(12)의 로우-레벨 압력은 제1 오브젝트(13)의 압력 스레시홀드보다 작고, 제2 오브젝트(14)의 압력 스레시홀드보다 크다. 따라서 로우-레벨 압력의 터치 인풋(12)에 대해 제1 오브젝트(13)는 이동하지 않고, 제2 오브젝트(14)는 이동할 수 있다. 또한, 터치 인풋(12)의 하이-레벨 압력은 제1 오브젝트(13)의 압력 스레시홀드보다 크고, 제2 오브젝트(14)의 압력 스레시홀드보다도 크다. 따라서 하이-레벨 압력의 터치 인풋(12)에 대해 제1 오브젝트(13)는 이동하지 않고, 제2 오브젝트(14)는 이동할 수 있다. 각 오브젝트의 압력 스레시홀드는 각 오브젝트의 속성에 의해 결정될 수 있다. 또한, 디스플레이 디바이스는 속성이 동일한 오브젝트에 대해서도, 해당 오브젝트가 위치한 지점의 배경 이미지의 텍스쳐에 따라 압력 스레시홀드의 값을 다르게 설정할 수 있다. 이에 대한 자세한 설명은 도 4에서 한다.
본 발명의 다른 실시예로써, 디스플레이 디바이스는 각 오브젝트와 사용자의 손가락 사이의 마찰력을 계산하여 오브젝트의 이동 여부를 결정할 수 있다. 디스플레이 디바이스는 각 오브젝트에 대해 설정된 마찰력 스레시홀드에 근거하여 각 오브젝트의 이동 여부를 결정할 수 있다. 디스플레이 디바이스는 각 오브젝트의 텍스쳐를 고려하여 마찰계수를 설정할 수 있다. 예를 들어 도 1에서 디스플레이 디바이스는 제1 오브젝트(13)와 사용자의 손가락 사이의 마찰계수를 1로 설정하고, 제2 오브젝트(14)와 사용자의 손가락 사이의 마찰계수를 2로 설정할 수 있다. 터치 인풋(12)의 압력이 N으로 동일할 경우 제1 오브젝트(13)에 대한 마찰력은 N이 되고 제2 오브젝트(14)에 대한 마찰력은 2N이 될 수 있다. 따라서 동일한 압력에 대해 각 오브젝트의 마찰력의 크기는 두 배의 차이가 발생할 수 있다. 즉, 각 오브젝트의 마찰력 스레시홀드가 1.5N인 경우, 디스플레이 디바이스는 제1 오브젝트(13)를 이동시키지 않고 기존 위치에 유지시켜 디스플레이할 수 있으며, 제2 오브젝트(14)는 터치 인풋(12)에 의해 드래그된 새로운 위치로 이동시켜 디스플레이할 수 있다. 위에서는 사용자의 손가락과 오브젝트 사이의 마찰력을 예로 들어 설명했으나, 디스플레이 디바이스는 터치 인풋을 입력하는 도구에 대해서도 마찰력을 계산하여 오브젝트의 이동 여부를 결정할 수 있다.
디스플레이 디바이스는 각 오브젝트에 대한 터치 인풋을 디텍팅할 때, 택타일 피드백을 발생시킬 수 있다. 디스플레이 디바이스는 터치 압력 및 오브젝트의 속성 중 적어도 하나에 대응하여 택타일 피드백을 발생할 수 있다. 또한 디스플레이 디바이스는 오브젝트 및 배경 이미지의 속성을 함께 고려하여 택타일 피드백을 발생할 수 있다. 도 1에서 사용자가 제1 오브젝트(13)를 터치할 때 디스플레이 디바이스는 낮은 마찰 계수를 갖는 매끄러운 택타일 피드백을 발생하고, 제2 오브젝트(14)를 터치할 때 높은 마찰 계수를 갖는 러프한 택타일 피드백을 발생할 수 있다. 사용자는 각 오브젝트 별로 서로 다른 택타일 피드백을 제공받고, 이를 통해 어느 정도의 압력으로 해당 오브젝트를 터치해야 하는지 알 수 있다. 즉, 디스플레이 디바이스는 제1 오브젝트(13)에 대한 터치 인풋을 디텍팅한 때, 매끄러운 택타일 피드백을 발생하여 사용자가 하이-레벨 압력으로 눌러야 해당 오브젝트를 드래그하여 이동할 수 있음을 사용자에게 알려줄 수 있다. 또한 디스플레이 디바이스는 제2 오브젝트(14)에 대한 터치 인풋을 디텍팅한 때, 러프한 택타일 피드백을 발생하여 사용자가 로우-레벨 압력으로 눌러도 해당 오브젝트를 드래그하여 이동할 수 있음을 사용자에게 알려줄 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자의 터치 인풋에 대응하여 오브젝트의 한계 이동 거리를 설정하는 방법을 나타내는 도면이다. 디스플레이 디바이스는 디스플레이된 오브젝트(11)에 대한 사용자의 터치 인풋(12)을 디텍팅할 수 있다. 또한 디스플레이 디바이스는 터치 인풋(12)에 의해 오브젝트(11)가 드래그되면 해당 오브젝트(11)의 위치를 변경시켜 디스플레이할 수 있다. 디스플레이 디바이스는 터치 인풋(12)의 압력에 대응하여 오브젝트(11)가 이동할 수 있는 한계 이동거리를 설정할 수 있다. 한계 이동거리는 터치 인풋에 의해 오브젝트가 이동할 수 있는 최대 이동 거리를 의미한다.
도 2에서 제1 오브젝트(21)는 매끄러운 텍스쳐를 갖고, 제2 오브젝트(22)는 러프한 텍스쳐를 가질 수 있다. 디스플레이 디바이스는 터치 인풋(12)의 압력에 대응하여 각 오브젝트가 터치 인풋에 의해 이동할 수 있는 최대 거리인 한계 이동거리를 설정할 수 있다. 예를 들어, 디스플레이 디바이스는 터치 인풋의 압력에 비례하여 한계 이동거리를 설정할 수 있다. 또한 한계 이동거리는 각 오브젝트의 속성을 함께 고려하여 설정될 수 있다. 디스플레이 디바이스는 디스플레이된 오브젝트의 텍스쳐를 시뮬레이션하여 마찰계수를 설정하고, 설정된 마찰계수에 비례하여 한계 이동거리를 설정할 수 있다. 디스플레이 디바이스는 설정된 한계 이동거리에 대응하여 오브젝트가 이동할 수 있는 바운더리를 디스플레이할 수 있다.
제1 오브젝트(21)에 대해 로우-레벨 압력을 갖는 터치 인풋이 입력되면 디스플레이 디바이스는 제1 오브젝트(21)의 속성과 터치 인풋의 로우-레벨 압력에 대응하여 제1 오브젝트의 한계 이동 거리(23)를 설정할 수 있다. 한계 이동거리(23)는 디스플레이 디바이스 상에 디스플레이 될 수 있으며, 실시예에 따라서는 디스플레이 되지 않을 수 있다. 또한 도 2에서는 한계 이동거리(23)를 원형 파선으로 도시하였으나 실시예에 따라서는 다른 모양으로 디스플레이될 수 있다. 제1 오브젝트(21)에 대해 하이-레벨 압력을 갖는 터치 인풋이 입력되면 디스플레이 디바이스는 로우-레벨 압력의 터치 인풋이 입력된 때 설정한 한계 이동거리보다 더 큰 한계 이동거리를 설정할 수 있다. 즉, 디스플레이 디바이스는 동일한 오브젝트에 대해 각기 다른 크기의 압력을 갖는 터치 인풋이 입력되면, 그 압력의 크기에 따라 한계 이동거리(23)의 크기를 다르게 설정할 수 있다.
제2 오브젝트(22)에 대해 로우-레벨 압력을 갖는 터치 인풋이 입력되면 디스플레이 디바이스는 제2 오브젝트(22)의 속성과 터치 인풋의 압력 레벨에 대응하여 제2 오브젝트의 한계 이동 거리(24)를 설정할 수 있다. 제2 오브젝트(22)는 제1 오브젝트(21)에 비하여 러프한 텍스쳐를 갖는다. 따라서 동일한 로우-레벨 압력의 터치 인풋이 입력되더라도 제2 오브젝트의 한계 이동거리(24)는 제1 오브젝트의 한계 이동거리(23)에 비해 크게 설정될 수 있다. 이는 하이-레벨 압력의 터치 인풋이 입력될 때도 적용될 수 있다. 즉, 디스플레이 디바이스는 동일한 압력을 갖는 터치 인풋이 서로 다른 속성을 갖는 오브젝트에 대해 입력되면, 각 오브젝트의 속성에 따라 한계 이동거리를 다르게 설정할 수 있다.
본 발명의 다른 실시예로써, 디스플레이 디바이스는 각 오브젝트와 사용자의 손가락 사이의 마찰력을 설정하여 오브젝트의 한계 이동거리를 결정할 수 있다. 디스플레이 디바이스는 각 오브젝트의 텍스쳐를 고려하여 마찰계수를 설정할 수 있다. 예를 들어 도 2에서 디스플레이 디바이스는 제1 오브젝트(21)와 사용자의 손가락 사이의 마찰계수를 1로 설정하고, 제2 오브젝트(22)와 사용자의 손가락 사이의 마찰계수를 2로 설정할 수 있다. 터치 인풋(12)의 압력이 N으로 동일할 경우 제1 오브젝트(21)에 대한 마찰력은 N이 되고 제2 오브젝트(22)에 대한 마찰력은 2N이 될 수 있다. 따라서 동일한 압력에 대해 각 오브젝트에 대한 마찰력의 크기는 두 배의 차이가 발생할 수 있다. 다른 예로, 도 2에서 디스플레이 디바이스는 터치 인풋의 로우-레벨 압력을 N으로 디텍팅하고, 하이-레벨 압력을 2N으로 디텍팅할 수 있다. 터치 인풋이 디텍팅된 오브젝트의 마찰계수가 1로 동일할 경우, 로우-레벨 압력에 대한 마찰력은 N이 되고 하이-레벨 압력에 대한 마찰력은 2N이 될 수 있다. 따라서 동일한 오브젝트에 대해 각 터치 인풋의 압력에 대한 마찰력의 크기는 두 배의 차이가 발생할 수 있다. 결과적으로 각 오브젝트에 대한 마찰력의 크기에 따라 각 오브젝트가 이동할 수 있는 한계 이동거리가 다르게 설정될 수 있다. 위에서는 사용자의 손가락과 오브젝트 사이의 마찰력을 예로 들어 설명했으나, 디스플레이 디바이스는 터치 인풋을 입력하는 도구에 대해서도 마찰력을 계산하여 오브젝트의 이동 여부를 결정할 수 있다.
도 3은 본 발명의 일 실시예에 따른 한계 이동거리에 대응하여 오브젝트를 디스플레이하는 방법을 나타낸 도면이다. 디스플레이 디바이스는 한계 이동거리에 대응하여 터치 인풋에 의해 드래그된 오브젝트의 최종 위치를 결정할 수 있다. 도 3의 상단에 도시된 바와 같이, 디스플레이 디바이스는 터치 인풋(12)에 의해 한계 이동거리(31) 내에서 위치가 이동된 오브젝트(30)에 대해 터치 인풋에 의해 이동된 최종 위치에 해당 오브젝트를 디스플레이할 수 있다. 디스플레이 디바이스는 터치 인풋(12)이 입력되면 터치 인풋의 압력을 디텍팅하고 이에 따라 한계 이동거리(31)를 설정할 수 있다. 터치 인풋(12)에 의해 오브젝트(30)가 이동되면 디스플레이 디바이스는 오브젝트(30)가 이동된 위치가 한계 이동거리(31) 내에 포함되는지 여부를 결정하고, 한계 이동거리(31) 내에 포함되는 경우 오브젝트(30)를 이동된 위치에 유지시켜 디스플레이할 수 있다.
도 3의 하단에 도시된 바와 같이, 디스플레이 디바이스는 터치 인풋(12)에 의해 한계 이동거리(31)를 초과하여 위치가 이동된 오브젝트(30)에 대해 해당 오브젝트를 이동되기 이전의 최초 위치로 되돌릴 수 있다. 또한 다른 실시예로써 디스플레이 디바이스는 오브젝트(30)가 이동된 경로 중 한계 이동거리(31) 내에 포함된 경로 상에 오브젝트(30)를 이동시켜 디스플레이할 수 있다.
즉, 디스플레이 디바이스는 오브젝트(30)에 대해 설정된 한계 이동거리와 터치 인풋(12)에 의해 오브젝트가 이동한 거리를 비교하여 해당 터치 인풋을 오브젝트에 적용할지 여부를 결정할 수 있다. 터치 인풋에 의해 오브젝트가 이동한 거리가 한계 이동거리보다 작은 때는 해당 터치 인풋을 오브젝트에 적용할 수 있다. 만약 터치 인풋에 의해 오브젝트가 이동한 거리가 한계 이동거리를 초과한 때는 해당 터치 인풋을 오브젝트에 적용하지 않거나 또는 해당 터치 인풋을 수정하여 오브젝트에 적용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 배경 이미지의 속성에 대응하여 사용자의 터치 인풋을 실행하는 방법을 나타낸 도면이다. 디스플레이 디바이스는 배경이미지(10) 상에 디스플레이된 오브젝트(11)에 대한 사용자의 터치 인풋(12)을 디텍팅할 수 있다. 또한 터치 인풋(12)에 의해 오브젝트(11)가 좌측에서 우측으로 드래그되면, 디스플레이 디바이스는 해당 오브젝트(11)의 위치를 변경시켜 디스플레이할 수 있다. 도 4에서는 서로 다른 속성을 갖는 배경 이미지(10)들에 대해 서로 다른 속성을 갖는 터치 인풋이 디텍팅된 경우, 이를 프로세싱하고 디스플레이한 결과를 나타내었다. 아래에서는 배경 이미지의 속성 중 하나로써 텍스쳐를 예로 들고 터치 인풋의 속성 중 하나로써 터치 인풋의 압력을 예로 들어 설명하지만 본 발명의 범위는 이에 제한되지 않는다.
제1 배경 이미지(40)는 매끄러운 텍스쳐를 갖고, 제2 배경 이미지(41)는 러프한 텍스쳐를 가질 수 있다. 디스플레이 디바이스는 각 배경 이미지의 텍스쳐 및 터치 인풋(12)의 압력 중 적어도 하나에 대응하여 오브젝트와 배경 이미지 사이의 간섭 정도(degree of interference)를 결정할 수 있다. 또한 디스플레이 디바이스는 결정된 간섭 정도에 대응하여 각 오브젝트가 이동하는 속도, 거리를 설정할 수 있다. 도 2에서 설명한 바와 유사하게 디스플레이 디바이스는 배경 이미지의 텍스쳐에 대응하여 오브젝트의 한계 이동거리를 설정할 수 있다. 또한 디스플레이 디바이스는 결정된 간섭 정도에 대응하여 오브젝트를 드래그하는 터치 인풋의 드래그 거리를 단축시킬 수 있다. 즉, 디스플레이 디바이스는 간섭 정도에 따라 터치 인풋에 의해 오브젝트가 드래그된 거리를 일정 비율로 단축시키고, 단축된 드래그 거리에 따라 오브젝트를 이동시켜 디스플레이할 수 있다.
디스플레이 디바이스는 동일한 터치 인풋(12)에 대해 매끄러운 텍스쳐를 갖는 배경 이미지(40) 상에서 오브젝트가 이동되는 경우 러프한 텍스쳐를 갖는 배경 이미지(41)에 비해 더 높은 속도로 더 먼 거리만큼 오브젝트를 이동시킬 수 있다. 또한 디스플레이 디바이스는 터치 인풋(12)의 압력에 반비례하여 오브젝트의 이동 속도와 이동 거리를 설정할 수 있다. 즉, 터치 인풋의 압력에 비례하여 오브젝트(11)와 배경 이미지(40) 사이의 간섭 정도를 설정할 수 있다.
다른 실시예로, 디스플레이 디바이스는 각 배경 이미지의 텍스쳐에 대응하여 각 배경 이미지 상에서 오브젝트가 이동할 수 있는 압력 스레시홀드를 결정할 수 있다. 디스플레이 디바이스는 매끄러운 텍스쳐를 갖는 배경 이미지(40)에 대해서는 높은 압력 스레시홀드를 설정하고, 러프한 텍스쳐를 갖는 배경 이미지(41)에 대해서는 낮은 압력 스레시홀드를 설정할 수 있다. 디스플레이 디바이스는 설정된 압력 스레시홀드 미만의 압력을 갖는 터치 인풋이 디텍팅되면, 해당 터치 인풋을 오브젝트에 적용할 수 있다. 즉, 도 4에서 터치 인풋(12)에 따라 오브젝트(11)를 배경 이미지 상에서 이동시켜 디스플레이할 수 있다. 하지만, 설정된 압력 스레시홀드 이상의 압력을 갖는 터치 인풋이 디텍팅되면, 디스플레이 디바이스는 해당 터치 인풋을 오브젝트에 적용하지 않고 바이패스할 수 있다.
도 4에 도시된 바와 같이, 제1 배경 이미지(40) 상에서 오브젝트(11)를 드래그하는 터치 인풋(12)이 로우-레벨 압력을 갖는 경우 디스플레이 디바이스는 오브젝트와 제1 배경 이미지(40) 사이의 간섭 정도를 낮게 설정할 수 있다. 제1 배경 이미지(40)가 매끄러운 텍스쳐를 가지고 터치 인풋의 압력이 로우 레벨이기 때문이다. 따라서 디스플레이 디바이스는 제1 배경 이미지(40) 상에서 오브젝트(11)를 우측 경계 영역까지 이동시킬 수 있다. 이와는 달리, 제1 배경 이미지(40) 상에서 오브젝트를 드래그하는 터치 인풋(12)이 하이-레벨 압력을 갖는 경우 디스플레이 디바이스는 배경 이미지와 오브젝트 사이의 간섭 정도를 높게 설정할 수 있다. 터치 인풋(12)의 압력이 증가할수록 배경 이미지와 오브젝트 사이의 간섭 정도가 증가하기 때문이다. 따라서 디스플레이 디바이스는 높게 설정된 간섭 정도에 대응하여 오브젝트를 드래그하는 터치 인풋의 드래그 거리를 단축시킬 수 있다. 즉, 디스플레이 디바이스는 제1 배경 이미지(40)의 좌측 경계에서 우측 경계까지 오브젝트를 드래그하는 터치 인풋에 대해 드래그 거리를 단축시켜, 제1 배경 이미지(40) 상에서 오브젝트(11)를 우측 경계 영역까지 이동시키지 못하고 중간 영역까지 이동시킬 수 있다.
위에서 설명한 바와 같이 디스플레이 디바이스는 로우-레벨 압력, 하이-레벨 압력의 터치 인풋(12)에 대해 제1 배경 이미지(40) 상의 오브젝트(11)의 위치를 이동시켜 디스플레이할 수 있다. 이는 로우-레벨 압력, 하이-레벨 압력이 제1 배경 이미지의 텍스쳐에 대응하여 설정된 압력 스레시홀드 미만의 값을 갖기 때문이다.
제2 배경 이미지(41) 상에서 오브젝트(11)를 드래그하는 터치 인풋(12)이 로우-레벨 압력을 갖는 경우 디스플레이 디바이스는 오브젝트와 제2 배경 이미지(41) 사이의 간섭 정도를 설정할 수 있다. 제2 배경 이미지(41)는 러프한 텍스쳐를 가지고 터치 인풋의 압력은 로우 레벨이므로, 디스플레이 디바이스는 제1 배경 이미지(40) 상에서 로우-레벨 압력을 갖는 터치 인풋이 입력된 경우보다 간섭 정도를 높게 설정될 수 있다. 따라서 동일한 압력을 갖는 터치 인풋에 대해 제2 배경 이미지 상에서 오브젝트의 이동 속도와 이동 거리는 제1 배경 이미지 상에서의 이동 속도와 이동 거리에 비해 작게 설정될 수 있다.
제2 배경 이미지(41) 상에서 오브젝트(11)를 드래그하는 터치 인풋(12)이 하이-레벨 압력을 갖는 경우 디스플레이 디바이스는 오브젝트(11)를 이동시켜 디스플레이하지 않고 기존의 위치에 디스플레이할 수 있다. 디스플레이 디바이스는 오브젝트와 제2 배경 이미지(41) 사이의 간섭 정도를 최대치로 설정할 수 있으며, 이 때 이동 거리 및 이동 속도가 제로로 설정될 수 있다. 다시 말하면, 터치 인풋의 하이-레벨 압력이 제2 배경 이미지의 텍스쳐에 대응하여 설정된 압력 스레시홀드 이상의 값을 가지므로, 디스플레이 디바이스는 해당 터치 인풋을 오브젝트에 적용하지 않고 바이패스할 수 있다. 따라서 디스플레이 디바이스는 드래그하는 터치 인풋(12)에도 불구하고 오브젝트(11)를 이동시키지 않을 수 있다.
위에서 설명한 바와 같이 디스플레이 디바이스는 로우-레벨 압력의 터치 인풋(12)에 대해 제2 배경 이미지(41) 상의 오브젝트(11)의 위치를 이동시켜 디스플레이할 수 있다. 이는 로우-레벨 압력이 제2 배경 이미지(41)의 텍스쳐에 대응하여 설정된 압력 스레시홀드 미만의 값을 갖기 때문이다. 하지만 디스플레이 디바이스는 하이-레벨 압력의 터치 인풋(12)에 대해 제2 배경 이미지(41) 상의 오브젝트(11)의 위치를 이동시켜 디스플레이하지 못하고, 하이-레벨 압력의 터치 인풋(12)을 바이패스할 수 있다. 이는 하이-레벨 압력이 제2 배경 이미지(41)의 텍스쳐에 대응하여 설정된 압력 스레시홀드 이상의 값을 갖기 때문이다.
본 발명의 다른 실시예로써, 디스플레이 디바이스는 각 오브젝트와 배경 이미지 사이의 마찰력을 계산하여 오브젝트의 이동 거리 및 이동 속도를 결정할 수 있다. 디스플레이 디바이스는 각 배경 이미지의 텍스쳐를 고려하여 마찰계수를 설정할 수 있다. 또한 디스플레이 디바이스는 터치 인풋의 압력을 마찰 계수와 함께 고려하여 각 오브젝트와 배경 이미지 사이의 마찰력을 결정할 수 있다. 디스플레이 디바이스는 결정된 마찰력에 대응하여 오브젝트의 이동 거리 및 이동 속도를 설정할 수 있다. 또한 디스플레이 디바이스는 결정된 마찰력을 오브젝트의 마찰력 스레시홀드로 설정할 수 있다.
예를 들어 도 4에서 디스플레이 디바이스는 오브젝트(11)와 제1 배경 이미지(40) 사이의 마찰계수를 1로 설정하고, 오브젝트(11)와 제2 배경 이미지(41) 사이의 마찰계수를 2로 설정할 수 있다. 터치 인풋(12)의 압력이 N으로 동일할 경우 오브젝트(11)와 제1 배경 이미지 사이의 마찰력은 N이 되고 오브젝트(11)와 제2 배경 이미지 사이의 마찰력은 2N이 될 수 있다. 따라서 동일한 압력에 대해 각 오브젝트와 배경 이미지 사이의 마찰력의 크기는 배경 이미지의 마찰 계수에 따라 두 배의 차이가 발생할 수 있다. 따라서 디스플레이 디바이스는 동일한 압력에 대해 배경 이미지별로 오브젝트의 이동 속도 및 이동 거리를 다르게 설정하고 이에 따라 디스플레이할 수 있다. 디스플레이 디바이스는 위에서 결정된 오브젝트와 배경 이미지 사이의 마찰력을 해당 오브젝트의 마찰력 스레시홀드로 설정할 수 있다. 오브젝트의 마찰력 스레시홀드는 디스플레이 디바이스가 오브젝트에 터치 인풋을 적용할지 여부를 결정하는 근거가 될 수 있다. 디스플레이 디바이스는 터치 인풋을 입력하는 사용자의 손가락과 오브젝트 사이의 마찰력이 오브젝트의 마찰력 스레시홀드보다 큰 경우에 해당 터치 인풋을 오브젝트에 적용할 수 있다.
또한 다른 예로써, 도 4에서 디스플레이 디바이스는 동일 배경 이미지 상에서 오브젝트에 입력되는 터치 인풋의 로우-레벨 압력을 1N으로 디텍팅하고 하이-레벨 압력을 2N으로 디텍팅할 수 있다. 오브젝트(11)와 배경 이미지 사이의 마찰계수를 1이라고 할 때, 로우-레벨 압력의 터치 인풋이 입력되면, 디스플레이 디바이스는 오브젝트(11)와 배경 이미지 사이의 마찰력을 N으로 설정될 수 있다. 하이-레벨 압력의 터치 인풋이 입력되면 디스플레이 디바이스는 오브젝트(11)와 배경 이미지 사이의 마찰력을 2N으로 설정할 수 있다. 따라서 동일한 배경 이미지대해 각 오브젝트와 배경 이미지 사이의 마찰력의 크기는 터치 인풋의 압력에 따라 두 배의 차이가 발생할 수 있다. 따라서 디스플레이 디바이스는 동일한 배경 이미지 상에 디스플레이된 오브젝트에 대해 터치 인풋의 압력별로 오브젝트의 이동 속도 및 이동 거리를 다르게 설정하고 이에 따라 디스플레이할 수 있다. 디스플레이 디바이스는 위에서 결정된 오브젝트와 배경 이미지 사이의 마찰력을 해당 오브젝트의 마찰력 스레시홀드로 설정할 수 있다. 디스플레이 디바이스는 터치 인풋을 입력하는 사용자의 손가락과 오브젝트 사이의 마찰력이 오브젝트의 마찰력 스레시홀드보다 큰 경우에 해당 터치 인풋을 오브젝트에 적용할 수 있다.
디스플레이 디바이스는 각 오브젝트에 대한 터치 인풋을 디텍팅하고 택타일 피드백을 발생시킬 수 있다. 디스플레이 디바이스는 배경 이미지 및 터치 인풋의 압력 중 적어도 하나의 속성에 대응하여 택타일 피드백을 발생시킬 수 있다. 도 4에서 사용자가 제1 배경 이미지(40) 상에서 로우-레벨 압력으로 오브젝트(11)를 드래그할 때 낮은 마찰력을 갖는 매끄러운 택타일 피드백을 발생하고, 제2 배경 이미지(41) 상에서 하이-레벨 압력으로 오브젝트(11)를 드래그할 때 높은 마찰력을 갖는 거친 택타일 피드백을 발생할 수 있다.
사용자는 서로 다른 속성을 갖는 오브젝트에 대응하는 서로 다른 택타일 피드백을 제공받고, 이를 통해 어느 정도의 압력으로 해당 오브젝트를 터치해야 오브젝트를 드래그할 수 있는지 알 수 있다. 즉, 디스플레이 디바이스는 제1 배경 이미지(40) 상의 오브젝트(11)에 대한 로우-레벨 압력의 터치 인풋이 입력된 때, 마찰력이 낮은 택타일 피드백을 발생할 수 있다. 이를 통해 사용자는 해당 오브젝트가 매끄러운 텍스쳐의 제1 배경 이미지 상에서 이동됨을 알 수 있으며, 배경 이미지의 우측 영역까지 오브젝트가 이동될 수 있음을 알 수 있다. 또한 디스플레이 디바이스는 제2 배경 이미지(41) 상의 오브젝트(14)에 대한 하이-레벨 압력의 터치 인풋이 입력된 때, 마찰력이 높은 택타일 피드백을 발생할 수 있다. 이를 통해 사용자는 해당 오브젝트가 러프한 텍스쳐의 제2 배경 이미지 상에 위치하고 있으며 마찰력이 높으므로 하이-레벨 압력으로는 움직이기 어렵다는 정보를 얻을 수 있다. 사용자는 터치 인풋의 압력을 감소시켜 오브젝트를 드래그 할 수 있으며, 디스플레이 디바이스는 이를 로우-레벨 압력으로 디텍팅하고 오브젝트를 이동시켜 디스플레이 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 복수의 영역을 갖는 오브젝트의 속성에 대응하여 사용자의 터치 인풋을 실행하는 방법을 나타내는 도면이다. 오브젝트(11)는 각기 다른 속성을 갖는 복수의 영역을 포함할 수 있다. 도 5에서는 오브젝트의 속성 중 텍스쳐를 예로 들어 설명하지만 본 발명의 범위는 이에 제한되지 않는다. 디스플레이 디바이스는 디스플레이된 오브젝트의 각 영역별 속성에 따라 사용자의 터치 인풋을 해당 오브젝트에 적용할 것인지 여부를 결정할 수 있다.
오브젝트(11)는 매끄러운 텍스쳐를 갖는 제1 영역(51)과 러프한 텍스쳐를 갖는 제2 영역(52)을 포함할 수 있다. 디스플레이 디바이스는 오브젝트 내의 영역별 텍스쳐에 대응하여 오브젝트를 이동시키는데 요구되는 압력 스레시홀드를 설정할 수 있다. 디스플레이 디바이스는 매끄러운 텍스쳐를 갖는 제1 영역(51)에 대해서는 압력 스레시홀드를 높게 설정하고 러프한 텍스쳐를 갖는 제2 영역(52)에 대해서는 압력 스레시홀드를 낮게 설정할 수 있다. 디스플레이 디바이스는 터치 인풋(12)의 압력이 설정된 압력 스레시홀드를 초과하는 경우에 해당 터치 인풋(12)을 오브젝트에 적용할 수 있다.
도 5에 도시된 바와 같이, 오브젝트를 드래그하는 터치 인풋(12)이 로우-레벨 압력으로 제1 영역(51)에서 디텍팅될 때, 디스플레이 디바이스는 오브젝트(11)를 이동하지 않고 기존의 위치에 디스플레이할 수 있다. 이는 터치 인풋(12)의 로우-레벨 압력이 위에서 설정된 제1 영역(51)의 압력 스레시홀드보다 낮기 때문이다. 오브젝트를 드래그하는 터치 인풋(12)이 로우-레벨 압력으로 제2 영역에서 디텍팅될 때, 디스플레이 디바이스는 오브젝트(11)를 터치 인풋에 따라 새로운 위치에 이동시켜 디스플레이할 수 있다. 제2 영역(52)에 설정된 압력 스레시홀드는 러프한 텍스쳐에 대응하여 낮게 설정되어 있으므로 로우-레벨 압력이 제2 영역(52)의 압력 스레시홀드보다 높기 때문이다.
오브젝트를 드래그하는 터치 인풋(12)의 압력이 제1 영역(51)의 압력 스레시홀드 및 제2 영역(52)의 압력 스레시홀드를 초과할 때, 디스플레이 디바이스는 터치 영역에 관계없이 터치 인풋을 오브젝트에 적용할 수 있다. 디스플레이 디바이스는 도 5의 하단에 도시된 바와 같이 제1 영역의 압력 스레시홀드 및 제2 영역의 압력 스레시홀드를 초과하는 하이-레벨 압력의 터치 인풋이 입력된 때, 터치 입력이 디텍팅된 영역에 관계없이 오브젝트를 터치 인풋에 따라 새로운 위치에 이동시켜 디스플레이할 수 있다.
또한 디스플레이 디바이스는 오브젝트의 제1 영역(51)과 제2 영역(52)에 서로 다른 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 터치 인풋의 속성 및 오브젝트의 각 영역의 속성, 특히 텍스쳐에 대응하는 택타일 피드백을 발생하여 사용자에게 제공할 수 있다. 사용자는 택타일 피드백으로부터 어느 정도의 압력으로 해당 오브젝트의 영역을 프레스해야 터치 인풋을 적용시킬 수 있는지에 대한 정보를 제공받을 수 있다.
도 6은 본 발명의 일 실시예에 따른 복수의 영역을 갖는 오브젝트의 속성에 대응하여 오브젝트의 한계 이동거리를 설정하는 방법을 나타내는 도면이다. 오브젝트(11)는 각기 다른 속성을 갖는 복수의 영역을 포함할 수 있다. 도 6에서는 오브젝트의 속성 중 텍스쳐를 예로 들어 설명하지만 본 발명의 범위는 이에 제한되지 않는다. 디스플레이 디바이스는 디스플레이된 오브젝트의 각 영역별 속성에 따라 해당 오브젝트의 한계 이동거리를 설정할 수 있다.
오브젝트(11)는 매끄러운 텍스쳐를 갖는 제1 영역(61)과 러프한 텍스쳐를 갖는 제2 영역(62)을 포함할 수 있다. 디스플레이 디바이스는 오브젝트 내의 영역별 텍스쳐에 대응하여 오브젝트가 이동할 수 있는 한계 이동거리를 설정할 수 있다. 디스플레이 디바이스는 동일한 압력을 디텍팅한 때에도, 매끄러운 텍스쳐를 갖는 제1 영역에 대해서는 한계 이동거리(63)를 작게 설정하고 러프한 텍스쳐를 갖는 제2 영역에 대해서는 한계 이동거리(64)를 크게 낮게 설정할 수 있다. 터치 인풋의 압력에 따른 한계 이동거리의 설정은 도 2와 도 3에서 설명한 바와 같이 적용될 수 있다.
도 7은 본 발명의 일 실시예에 따른 복수의 오브젝트에 대한 터치 인풋이 입력된 경우 이를 실행하는 방법을 나타내는 도면이다. 디스플레이 디바이스는 배경 이미지(10) 상에 디스플레이된 복수의 오브젝트(71,72)에 대해 터치 인풋(12)이 입력된 경우, 터치 인풋(12)을 디텍팅하고 각 오브젝트에 대해 해당 터치 인풋을 적용할 것인지를 결정할 수 있다.
오브젝트의 위치를 변경하는 터치 인풋이 입력되면, 디스플레이 디바이스는 각 오브젝트별로 설정된 압력 스레시홀드와 터치 인풋의 압력을 비교할 수 있다. 디스플레이 디바이스는 터치 인풋의 압력보다 낮은 압력 스레시홀드가 설정된 오브젝트에 대해 터치 인풋을 적용할 수 있다. 터치 인풋이 적용된 오브젝트는 터치 인풋에 따라 위치가 이동되어 디스플레이 될 수 있다. 디스플레이 디바이스는 터치 인풋의 압력보다 높은 압력 스레시홀드가 설정된 오브젝트에 대해서는 터치 인풋을 적용하지 않고 바이패스할 수 있다. 터치 인풋이 바이패스된 오브젝트는 원래의 위치를 유지하여 디스플레이될 수 있다.
도 7에서 디스플레이 디바이스는 복수의 오브젝트를 디스플레이하고 각 오브젝트마다 압력 스레시홀드를 설정할 수 있다. 압력 스레시홀드는 각 오브젝트의 속성에 의해 결정될 수 있다. 디스플레이 디바이스는 매끄러운 텍스쳐를 갖는 제1 오브젝트(71)에 대해 제1 압력 스레시홀드를 설정하고, 러프한 텍스쳐를 갖는 제2 오브젝트(72)에 대해 제2 압력 스레시홀드를 설정할 수 있다. 제2 오브젝트는 러프한 텍스쳐를 가지므로 보다 낮은 압력으로도 이동시킬 수 있으며, 따라서 제2 압력 스레시홀드는 제1 압력 스레시홀드보다 낮은 값을 가질 수 있다.
오브젝트들에 대해 동시에 로우-레벨 압력을 갖는 터치 인풋이 입력되면 디스플레이 디바이스는 이를 디텍팅하고 각 오브젝트에 해당 터치 인풋을 적용할 것인지 결정할 수 있다. 예를 들어, 로우-레벨 압력은 제1 압력 스레시홀드보다 작고, 제2 압력 스레시홀드보다 크다고 가정할 수 있다. 디스플레이 디바이스는 터치 인풋의 압력이 제2 오브젝트(72)의 제2 압력 스레시홀드보다 크므로 제2 오브젝트(72)에 터치 인풋을 적용할 수 있다. 제2 오브젝트(72)는 터치 인풋에 의해 이동된 위치에 디스플레이될 수 있다. 디스플레이 디바이스는 터치 인풋의 압력이 제1 오브젝트(71)의 제1 압력 스레시홀드보다 작으므로 제1 오브젝트(71)에 대한 터치 인풋을 바이패스할 수 있다. 제1 오브젝트(71)는 터치 인풋에 의해 이동되지 않고 원래의 위치에 디스플레이될 수 있다.
하이-레벨 압력을 갖는 터치 인풋이 입력되면 디스플레이 디바이스는 이를 디텍팅하고 각 오브젝트에 해당 터치 인풋을 적용할 것인지 결정할 수 있다. 예를 들어, 하이-레벨 압력은 제1 압력 스레시홀드 및 제2 압력 스레시홀드보다 크다고 가정할 수 있다. 디스플레이 디바이스는 터치 인풋의 압력이 제1, 제2 압력 스레시홀드보다 크므로 제1, 제2 오브젝트(71,72)에 터치 인풋을 적용할 수 있다. 제1, 제2 오브젝트(71,72)는 터치 인풋에 의해 이동된 새로운 위치에 디스플레이될 수 있다.
도 1에서 설명한 바와 같이 디스플레이 디바이스는 각 오브젝트의 속성과 터치 인풋의 압력에 대응하여 각 오브젝트와 사용자의 손가락 사이의 마찰력을 계산할 수 있다. 디스플레이 디바이스는 각 오브젝트의 텍스쳐에 따라 각 오브젝트별로 마찰계수를 설정할 수 있다. 또한 터치 인풋의 압력을 설정된 마찰계수에 멀티플라이하여 각 오브젝트와 터치 인풋 사이의 마찰력을 결정할 수 있다. 디스플레이 디바이스는 결정된 마찰력을 기반으로 각 오브젝트에 터치 인풋을 적용할 것인지 여부를 결정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 복수의 영역을 갖는 배경 이미지의 속성에 대응하여 오브젝트에 터치 인풋을 적용하는 방법을 나타내는 도면이다. 도 8에서 배경 이미지(10)는 서로 다른 속성을 갖는 복수의 영역으로 구분될 수 있다. 예를 들어 배경 이미지(10)는 서로 다른 텍스쳐를 갖는 제1 영역(81) 및 제2 영역(82)을 포함할 수 있다. 디스플레이 디바이스는 배경 이미지(10) 상에 오브젝트(11)를 디스플레이할 수 있다. 도 8에서 터치 인풋(12)은 오브젝트(11)를 배경 이미지의 좌측 경계에서 우측 경계로 드래그하는 인풋이다. 디스플레이 디바이스는 배경 이미지의 각 영역별로 해당 터치 인풋(12)을 오브젝트(11)에 적용할 것인지 여부를 결정할 수 있다. 디스플레이 디바이스는 각 영역의 텍스쳐 및 터치 인풋의 압력에 대응하여 압력 스레시홀드를 설정할 수 있다. 디스플레이 디바이스는 각 영역마다 설정된 압력 스레시홀드 미만의 압력을 갖는 터치 인풋이 디텍팅되면, 해당 터치 인풋을 오브젝트에 적용할 수 있다. 디스플레이 디바이스는 각 영역마다 설정된 압력 스레시홀드 이상의 압력을 갖는 터치 인풋이 디텍팅되면, 그 때부터 해당 터치 인풋을 오브젝트에 적용하지 않고 바이패스할 수 있다.
예를 들어 디스플레이 디바이스는 배경 이미지의 제1 영역(81)에 매끄러운 텍스쳐를 갖도록 디스플레이하고 제2 영역(82)에 러프한 텍스쳐를 갖도록 디스플레이할 수 있다. 디스플레이 디바이스는 제1 영역에 대해 제1 압력 스레시홀드를 설정하고 제2 영역에 대해 제2 압력 스레시홀드를 설정할 수 있다. 이 때, 제1 압력 스레시홀드는 제2 압력 스레시홀드보다 큰 값을 가질 수 있다. 디스플레이 디바이스는 제1 영역에 대해 매끄러운 텍스쳐에 대응하여 상대적으로 높은 압력 스레시홀드를 설정하므로, 러프한 텍스쳐를 갖는 제2 영역에 비해 큰 압력의 터치 인풋이 디텍팅되어도 이를 오브젝트에 적용할 수 있다.
디스플레이 디바이스는 로우-레벨 압력을 갖는 터치 인풋(83)을 디텍팅할 수 있다. 여기서, 로우-레벨 압력은 제1 영역의 제1 압력 스레시홀드 및 제2 영역의 제2 압력 스레시홀드보다 작은 값이라고 가정한다. 디스플레이 디바이스는 디텍팅된 터치 인풋(83)의 압력이 제1 영역 및 제2 영역의 압력 스레시홀드보다 작은 값을 가지므로 제1 영역 및 제2 영역에서 오브젝트에 터치 인풋(83)을 적용할 수 있다. 결과적으로 오브젝트는 터치 인풋에 따라 제1 영역의 좌측 경계로부터 제2 영역의 우측 경계까지 이동되어 디스플레이될 수 있다.
디스플레이 디바이스는 하이-레벨 압력을 갖는 터치 인풋(84)을 디텍팅할 수 있다. 여기서, 하이-레벨 압력은 제1 영역의 제1 압력 스레시홀드 미만이지만 제2 영역의 제2 압력 스레시홀드 이상의 값이라고 가정한다. 디스플레이 디바이스는 디텍팅된 터치 인풋(84)의 압력이 제1 압력 스레시홀드 미만의 값을 가지므로 제1 영역에서 오브젝트에 터치 인풋(84)을 적용할 수 있다. 따라서 오브젝트는 제1 영역의 우측 경계까지 이동되어 디스플레이될 수 있다. 하지만 디텍팅된 터치 인풋(84)이 제2 압력 스레시홀드 이상의 값을 가지므로 제2 영역에서는 오브젝트에 터치 인풋(84)을 적용하지 않고 바이패스할 수 있다. 결과적으로 오브젝트는 제1 영역의 좌측 경계로부터 제1 영역의 우측 경계까지 이동되어 디스플레이될 수 있으며, 터치 인풋이 제2 영역의 우측 경계까지 이동되어 디텍팅되더라도 오브젝트는 제1 영역의 우측 경계에 잔존하여 디스플레이될 수 있다.
디스플레이 디바이스는 도 4에서 설명한 바와 같이, 배경 이미지의 각 영역에 따라 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 오브젝트가 배경 이미지의 제1 영역 상에서 이동되는 때, 제1 영역의 속성 및 터치 인풋의 압력에 대응하여 택타일 피드백을 발생할 수 있다. 또한 디스플레이 디바이스는 오브젝트가 배경 이미지의 제2 영역 상에서 이동되는 때, 제2 영역의 속성 및 터치 인풋의 압력에 대응하여 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 제1 영역 상에서의 택타일 피드백에 대해 제2 영역 상에서의 택타일 피드백보다 매끄러운 느낌의 촉감, 즉 작은 마찰력의 택타일 피드백을 제공할 수 있다.
오브젝트가 제1 영역에서 제2 영역으로 이동하면서 두 개의 영역에 걸쳐서 디스플레이되는 경우, 디스플레이 디바이스는 제1 영역의 속성, 제2 영역의 속성 및 터치 인풋의 압력에 대응하여 택타일 피드백을 발생할 수 있다. 제1 영역의 속성 및 제2 영역의 속성은 오브젝트가 각 영역 상에 걸쳐있는 비율로 고려될 수 있다. 또는 제1 영역의 속성 및 제2 영역의 속성의 중간값을 택하여 고려될 수 있다. 예를 들면 각 영역의 속성이 마찰계수이고, 제1 영역의 마찰계수가 1이고 제2 영역의 마찰계수가 2로 설정될 수 있다. 오브젝트가 제1 영역에 30%, 제2 영역에 70% 걸쳐 위치할 경우, 제1 영역 및 제2 영역의 비율을 고려한 마찰계수는 0.3과 1.4의 합인 1.7이 될 수 있다. 만약 중간값을 택한다면 마찰 계수는 제1 영역 및 제2 영역의 마찰계수를 50%씩 고려하여 1.5가 될 수 있다. 디스플레이 디바이스는 위와 같은 방식으로 얻어진 마찰계수와 터치 인풋의 압력에 대응하여, 제1 영역과 제2 영역의 경계부분에 디스플레이된 오브젝트에 대한 택타일 피드백을 발생할 수 있다.
도 8에서 터치 인풋이 하이-레벨 압력을 갖는 경우, 디스플레이 디바이스는 오브젝트를 제1 영역에서 제2 영역으로 이동하여 디스플레이하지 못하고 제1 영역의 우측 경계에서 정지시켜 디스플레이할 수 있다. 이는 디텍팅된 터치 인풋의 압력이 제2 영역의 압력 스레시홀드 이상의 값을 갖기 때문이다. 디스플레이 디바이스는 오브젝트가 제1 영역의 우측 경계에 도달한 때, 별도의 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 오브젝트가 제2 영역으로 이동할 수 없다는 택타일 피드백을 발생할 수 있다. 예를 들어, 디스플레이 디바이스는 이동하던 오브젝트가 제1 영역과 제2 영역의 경계에서 벽에 부딪히는 느낌의 택타일 피드백을 발생할 수 있다. 사용자는 이러한 택타일 피드백으로부터 하이-레벨 압력으로는 오브젝트가 제1 영역에서 제2 영역 으로 이동될 수 없다는 정보를 제공받을 수 있다. 다른 예로, 디스플레이 디바이스는 제1 영역과 제2 영역의 경계에서 오브젝트가 터치 인풋에 따라 이동하지 않고 사용자의 손가락에서 미끄러져 나가는 택타일 피드백을 발생할 수 있다. 이 때, 택타일 피드백은 오브젝트의 텍스쳐와 터치 인풋의 압력에 대응하여 발생될 수 있다. 사용자는 이러한 택타일 피드백으로부터 오브젝트가 제1 영역의 우측 경계에서 제2 영역으로 이동할 수 없으며, 자신의 손가락에서 미끄러져 나가, 제1 영역에 잔존한다는 정보를 제공받을 수 있다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 디바이스를 나타낸 블록도이다. 도 9에서, 디스플레이 디바이스는 스토리지 유닛(101), 커뮤니케이션 유닛(102), 센서 유닛(103), 오디오 입출력 유닛(104), 택타일 피드백 유닛(105), 디스플레이 유닛(106), 파워 유닛(107), 프로세서(108), 및 컨트롤러(109)를 포함할 수 있다.
스토리지 유닛(101)은, 비디오, 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛(101)은 플래시 메모리, HDD(Hard Disk Drive), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낸다. 본 발명의 디스플레이 디바이스는 디스플레이되는 오브젝트 및 배경 이미지의 속성을 스토리지 유닛(101)에 저장할 수 있다. 디스플레이 디바이스는 저장된 오브젝트 및 배경 이미지의 속성을 이용하여 오브젝트 및 배경 이미지의 압력 스레시홀드나 마찰력 스레시홀드를 설정할 수 있다. 스토리지 유닛(101)은 디스플레이 디바이스의 설계에 따라 옵셔널한 구성이 될 수 있다.
커뮤니케이션 유닛(102)은 디스플레이 디바이스의 외부와 다양한 프로토콜을 사용하여 통신을 수행, 데이터를 송신/수신할 수 있다. 커뮤니케이션 유닛(102)은 유선 또는 무선으로 외부 네트워크에 접속하여, 디지털 데이터를 송신/수신할 수 있다. 커뮤니케이션 유닛(102)은 디스플레이 디바이스의 설계에 따라 옵셔널한 구성이 될 수 있다.
센서 유닛(103)은 디스플레이 디바이스에 장착된 복수의 센서를 사용하여 사용자의 인풋 또는 디스플레이 디바이스가 인식하는 환경을 컨트롤러(109)로 전달할 수 있다. 센서 유닛(103)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 압전 센서, 중력(gravity) 센서, 모션 센서, 자이로 센서, 가속도 센서, 기울임(inclination) 센서, 압력 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 본 발명에서, 터치 센서는 사용자의 터치 인풋을 디텍팅할 수 있다. 디스플레이 디바이스는 터치 센서를 이용하여 오브젝트를 선택하고 드래그하는 터치 인풋을 디텍팅할 수 있으며, 터치 인풋에 의해 오브젝트가 이동하는 위치를 디텍팅할 수 있다. 압전센서 또는 압력센서는 사용자의 터치 인풋의 압력을 디텍팅할 수 있다. 디스플레이 디바이스는 압전센서 또는 압력센서를 이용하여 터치 인풋의 압력을 센싱할 수 있다. 디스플레이 디바이스는 센싱된 터치 인풋의 압력을 각 오브젝트 또는 배경 이미지에 대해 설정된 압력 스레시홀드 또는 마찰력 스레시홀드와 비교하여 터치 인풋을 오브젝트에 적용할지 여부를 결정할 수 있다. 또한 디스플레이 디바이스는 센싱된 터치 인풋의 압력에 대응하여 택타일 피드을 발생할 수 있다.
센서 유닛(103)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 다양한 속성을 갖는 터치 인풋을 디텍팅하여 디스플레이 디바이스가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘러먼트로 디바이스에 포함되거나, 적어도 하나 이상의 엘러먼트로 통합되어 포함될 수 있다.
오디오 입출력 유닛(104)은 스피커 등의 오디오 출력 수단 및 마이크 등의 오디오 입력 수단을 포함하며, 디스플레이 디바이스의 오디오 출력 및 디스플레이 디바이스로의 오디오 입력을 수행할 수 있다. 오디오 입출력 유닛(104)은 오디오 센서로 사용될 수도 있다. 본 발명의 디스플레이 디바이스에서 오디오 입출력 유닛은 옵셔널한 구성이 될 수 있다.
택타일 피드백 유닛(105)은 미세진동 액츄에이터(actuator)를 이용하여 디스플레이 유닛을 터치하는 사용자의 손가락 또는 스타일러스에 대해 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(105)은 진동 주파수 및 진동 크기를 조절할 수 있으며 이에 따라 사용자의 손가락과 디스플레이 유닛 사이의 마찰력을 조절할 수 있다. 이에 더하여 택타일 피드백 유닛(105)은 디스플레이 유닛 상에 미세전류를 발생하여 사용자에게 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(105)은 전류의 세기, 발생 주기를 조절할 수 있으며, 이에 따라 사용자는 다른 촉감을 느낄 수 있다. 또한 택타일 피드백 유닛(105)은 초음파 공진을 사용하여 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(105)은 복수의 초음파를 발생하여, 이들을 특정 영역에서 공진시켜 사용자에게 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(105)은 공진 주파수, 공진을 발생시키는 주기를 조절하여 서로 다른 택타일 피드백을 제공할 수 있다.
디스플레이 유닛(106)은 디스플레이 화면에 이미지를 출력할 수 있다. 디스플레이 유닛(106)은, 디스플레이가 터치 센서티브 디스플레이인 경우, 상술한 터치 센서로 사용될 수 있다. 따라서 디스플레이 유닛(106)에 대한 터치 인풋을 디텍팅하여 컨트롤러(109)에 전달 할 수 있다. 디스플레이 유닛(106)은 디스플레이 패널에 이미지를 디스플레이 하거나, 이미지 디스플레이를 제어하는 역할을 수행할 수 있다. 본 발명에서 디스플레이 유닛(106)은 오브젝트 및 배경 이미지를 디스플레이하고 사용자의 터치 인풋을 디텍팅할 수 있다. 또한 위에서 설명한 택타일 피드백 유닛(105)과 결합하여 사용자에게 택타일 피드백을 제공할 수 있다. 디스플레이 유닛(106)은 플렉서블 디스플레이를 포함할 수 있다.
파워 유닛(107)은 디스플레이 디바이스 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로, 디스플레이 디바이스에 파워를 공급할 수 있다. 본 발명의 디스플레이 디바이스에서 파워 유닛은 옵셔널한 구성이 될 수 있다.
프로세서(108)는 스토리지 유닛(101)에 저장된 다양한 애플리케이션을 실행하고, 디스플레이 디바이스 내부의 데이터를 프로세싱할 수 있다.
컨트롤러(109)는 상술한 디스플레이 디바이스의 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 매니지할 수 있다.
프로세서(108) 및 컨트롤러(109)는 하나의 칩(110)으로 구비되어, 상술한 각각의 동작을 함께 수행할 수 있다. 이러한 경우, 이하에서는 이를 컨트롤러(109)로 지칭할 수 있다. 본 발명에서 컨트롤러(109)는 디스플레이된 오브젝트 및 배경 이미지에 대해 압력 스레시홀드 또는 마찰력 스레시홀드를 설정할 수 있다. 컨트롤러(109)는 오브젝트에 대한 압력 스레시홀드를 이용하거나 배경 이미지에 대한 압력 스레시홀드를 이용하여 디스플레이된 오브젝트를 제어할 수 있다. 컨트롤러(109)는 오브젝트에 대한 터치 인풋의 압력이 오브젝트의 압력 스레시홀드를 초과하는 경우에 터치 인풋을 오브젝트에 적용할 수 있다. 터치 인풋의 압력이 오브젝트의 압력 스레시홀드 이하인 경우에는 터치 인풋을 오브젝트에 적용하지 않고 바이패스할 수 있다.
또한 컨트롤러(109)는 오브젝트에 대한 터치 인풋의 압력이 배경 이미지의 압력 스레시홀드 미만인 경우에 터치 인풋을 오브젝트에 적용할 수 있다. 컨트롤러(109)는 터치 인풋의 압력이 배경 이미지의 압력 스레시홀드 미만인 경우에 터치 인풋을 오브젝트에 적용하여 배경 이미지 상에서 오브젝트가 이동할 수 있도록 제어할 수 있다. 터치 인풋의 압력이 배경 이미지의 압력 스레시홀드 이상인 경우에는 배경 이미지 상에서 오브젝트를 이동시키지 않을 수 있다. 즉, 컨트롤러는 오브젝트에 대한 터치 인풋을 바이패스할 수 있다. 컨트롤러(109)는 위와 같이 터치 인풋을 오브젝트에 적용할지 여부를 결정하고, 결정된 사항들에 근거하여 디스플레이 유닛(106)에 오브젝트를 디스플레이할 수 있다.
도 9는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘러먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 10은 본 발명의 일 실시예에 따른 디스플레이 디바이스의 터치 인풋에 대응하여 오브젝트를 디스플레이하는 방법을 나타낸 순서도이다. 디스플레이 디바이스는 배경 이미지 및 오브젝트를 디스플레이할 수 있다(S10). 디스플레이 디바이스는 배경 이미지를 디스플레이하고, 그 배경 이미지의 제1 영역 위에 오브젝트를 디스플레이할 수 있다.
다음으로, 디스플레이 디바이스는 배경 이미지 상에서 오브젝트를 드래그하기 위한 제1 압력 조건을 설정할 수 있다(S20). 디스플레이 디바이스는 배경 이미지의 제1 영역 상에서 오브젝트를 드래그하기 위한 제1 압력 조건(pressure condition)을 설정할 수 있다. 디스플레이 디바이스는 배경 이미지의 제1 영역의 속성 및 오브젝트의 속성에 대응하여 제1 압력 조건을 설정할 수 있다. 배경 이미지의 속성은 디스플레이된 배경 이미지의 텍스쳐, 질량, 표면마찰계수, 경사도, 모양을 포함할 수 있다. 또한 오브젝트의 속성은 디스플레이된 오브젝트의 텍스쳐, 크기, 질량, 표면마찰계수, 모양을 포함할 수 있다.
압력 조건에 대한 일 실시예로써, 디스플레이 디바이스는, 제1 터치 인풋의 압력이 배경 이미지의 제1 영역의 텍스쳐 및 오브젝트의 텍스쳐에 대응하여 설정된 압력 스레시홀드를 초과하는지를 제1 압력 조건으로 설정할 수 있다. 디스플레이 디바이스는 배경 이미지의 제1 영역의 텍스쳐 및 오브젝트의 텍스쳐에 대응하여 배경 이미지와 오브젝트 사이의 마찰계수를 설정할 수 있다. 또한 디스플레이 디바이스는 오브젝트의 텍스쳐에 대응하여 오브젝트와 사용자의 손가락 사이의 마찰계수를 설정할 수 있다. 디스플레이 디바이스는 위와 같이 설정된 마찰계수들을 고려하여 배경 이미지의 제1 영역 상에서 오브젝트를 드래그하여 이동시키는데 요구되는 최소 압력값을 압력 스레시홀드로 설정할 수 있다. 디스플레이 디바이스는 오브젝트의 텍스쳐가 매끄러울수록 압력 스레시홀드의 값을 높게 설정하고, 오브젝트의 텍스쳐가 러프할수록 압력 스레시홀드의 값을 낮게 설정할 수 있다. 또한, 디스플레이 디바이스는 동일한 오브젝트에 대해서도, 해당 오브젝트가 위치한 지점의 배경 이미지의 텍스쳐에 따라 압력 스레시홀드의 값을 다르게 설정할 수 있다.
다른 실시예로써, 디스플레이 디바이스는, 제1 터치 인풋의 압력이 배경 이미지의 제1 영역의 텍스쳐에 대응하는 상한값 및 오브젝트의 텍스쳐에 대응하는 하한값을 포함하는 압력 레인지 내에 포함되는지를 제1 압력 조건으로 설정할 수 있다. 디스플레이 디바이스는 도 1에서 설명한 바와 같이, 오브젝트의 텍스쳐에 대응하여 압력 스레시홀드를 결정할 수 있으며, 이를 제1 압력 레인지의 하한값으로 설정할 수 있다. 디스플레이 디바이스는 오브젝트의 텍스쳐가 매끄러울수록 제1 압력 레인지의 하한값을 높게 설정하고, 오브젝트의 텍스쳐가 러프할수록 제1 압력 레인지의 하한값을 낮게 설정할 수 있다. 두 물체 사이의 마찰력은 마찰계수와 압력의 곱이므로 오브젝트의 텍스쳐가 러프하여 마찰계수가 높을수록 작은 압력으로도 동일한 마찰력을 얻을 수 있다. 따라서 매끄러운 텍스쳐의 오브젝트를 움직이는데 요구되는 압력 레인지의 하한값은 러프한 텍스쳐의 오브젝트를 움직이는데 요구되는 압력 레인지의 하한값보다 크게 설정될 수 있다.
디스플레이 디바이스는 도 4에서 설명한 바와 같이, 배경 이미지의 텍스쳐에 대응하여 압력 스레시홀드를 결정할 수 있으며, 이를 제1 압력 레인지의 상한값으로 설정할 수 있다. 디스플레이 디바이스는 배경 이미지의 텍스쳐가 매끄러울수록 제1 압력 레인지의 상한값을 높게 설정하고, 배경 이미지의 텍스쳐가 러프할수록 제1 압력 레인지의 상한값을 낮게 설정할 수 있다. 배경 이미지의 텍스쳐가 러프하여 마찰계수가 높을수록 작은 압력에 대해서도 오브젝트와 배경 이미지 사이의 마찰력이 높게 시뮬레이션 될 수 있다. 따라서 매끄러운 텍스쳐의 배경 이미지 상에서 오브젝트를 움직일 수 있는 압력 레인지의 상한값은 러프한 텍스쳐의 배경 이미지 상에서 오브젝트를 움직일 수 있는 압력 레인지의 상한값보다 작게 설정될 수 있다.
다음으로, 디스플레이 디바이스는 오브젝트가 디스플레이된 영역을 터치하는 제1 터치 인풋을 디텍팅할 수 있다(S30). 디스플레이 디바이스는 터치 센서를 이용하여 오브젝트에 대한 제1 터치 인풋을 디텍팅하고, 압전 센서 또는 압력 센서를 이용하여 제1 터치 인풋의 압력을 디텍팅할 수 있다. 디스플레이 디바이스는 이후의 단계에서 제1 터치 인풋의 압력에 근거하여 택타일 피드백을 발생할 수 있다.
다음으로, 디스플레이 디바이스는 오브젝트의 속성 및 제1 터치 인풋의 압력에 대응하는 제1 택타일 피드백을 발생할 수 있다(S40). 예를 들어, 오브젝트의 속성으로 오브젝트의 텍스쳐를 이용하는 경우, 도 1에서 설명한 바와 같이 디스플레이 디바이스는 오브젝트의 텍스쳐에 따른 마찰계수 및 제1 터치 인풋의 압력에 대응하여 오브젝트와 사용자의 손가락 사이의 마찰력을 계산할 수 있다. 디스플레이 디바이스는 택타일 피드백 유닛을 이용하여 계산된 마찰력에 따른 택타일 피드백을 발생하여 사용자에게 전달할 수 있다. 디스플레이 디바이스는 초음파 진동을 이용하여 택타일 피드백을 발생할 수 있으며, 진동 주파수 및 크기를 조절하여 다양한 택타일 피드백을 발생할 수 있다.
다음으로 디스플레이 디바이스는 오브젝트를 드래그하는 제2 터치 인풋을 디텍팅할 수 있다(S50). 디스플레이 디바이스는 배경 이미지의 제1 영역에 디스플레이된 오브젝트를 다른 영역으로 드래그하는 제2 터치 인풋을 디텍팅할 수 있다. 제2 터치 인풋은 제1 터치 인풋에 연속하여 디스플레이 디바이스에 입력될 수 있다. 디스플레이 디바이스는 사용자가 오브젝트를 이동시키는 제2 터치 인풋을 디텍팅하고 다음 단계에서 제2 터치 인풋을 오브젝트에 적용할지 여부를 결정할 수 있다.
다음으로 디스플레이 디바이스는 제1 터치 인풋의 압력이 제1 압력 조건을 만족하는지 여부를 결정할 수 있다(S60). 디스플레이 디바이스는 제1 터치 인풋의 압력이 제1 압력 조건을 만족하면 제2 터치 인풋을 오브젝트에 적용할 수 있다(S70). 디스플레이 디바이스는 오브젝트를 드래그하는 제2 터치 인풋을 오브젝트에 적용하여 오브젝트를 제2 터치 인풋에 따라 이동시켜 디스플레이할 수 있다. 제2 터치 인풋을 오브젝트에 적용함에 있어서 도 2,3에서 설명한 바와 같이, 디스플레이 디바이스는 제1 터치 인풋의 압력에 대응하여 오브젝트의 한계 이동 거리를 설정할 수 있다. 한계 이동 거리는 제2 터치 인풋에 의해 오브젝트가 이동할 수 있는 최대 이동 거리를 의미한다. 디스플레이 디바이스는 제2 터치 인풋에 따라 오브젝트를 이동시켜 디스플레이할 수 있다. 제2 터치 인풋에 의해 오브젝트가 한계 이동 거리 이내로 드래그되면, 디스플레이 디바이스는 오브젝트가 최종적으로 이동된 위치에 오브젝트를 디스플레이할 수 있다. 만약 제2 터치 인풋에 의해 오브젝트가 한계 이동 거리를 초과하여 드래그되면, 디스플레이 디바이스는 오브젝트가 이동되기 이전의 위치로 복귀시켜 디스플레이할 수 있다.
디스플레이 디바이스는 도 4에서 설명한 바와 같이 배경 이미지의 속성 및 오브젝트의 속성에 대응하여 오브젝트의 이동 속도를 설정할 수 있다. 디스플레이 디바이스는 설정된 오브젝트의 이동 속도에 따라 오브젝트를 이동시켜 디스플레이할 수 있다. 예를 들어, 디스플레이 디바이스는 배경 이미지가 러프한 텍스처를 갖는 경우, 디텍팅된 제2 터치 인풋의 이동 속도보다 오브젝트를 느리게 이동시켜 디스플레이할 수 있다. 또한 디스플레이 디바이스는 오브젝트가 무거운 질량을 갖도록 설정된 경우, 디텍팅된 제2 터치 인풋의 이동 속도보다 오브젝트를 느리게 이동시켜 디스플레이할 수 있다. 즉, 디스플레이 디바이스는 배경 이미지의 간섭 정도를 계산하거나 오브젝트의 속성을 고려하여 배경 이미지 상에서 오브젝트가 이동되는 속도를 설정하고 이에 따라 오브젝트를 디스플레이할 수 있다.
디스플레이 디바이스는 도 4에서 설명한 바와 같이 제2 터치 인풋에 의해 오브젝트가 이동할 때, 제2 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 오브젝트가 이동함에 따라 오브젝트와 배경 이미지 사이에 발생하는 마찰력을 시뮬레이션하여 제2 택타일 피드백을 발생할 수 있다. 제2 택타일 피드백은 오브젝트의 속성, 배경 이미지의 제1 영역의 속성, 및 제2 터치 인풋의 압력에 대응하여 발생될 수 있다.
디스플레이 디바이스는 배경 이미지 상에 속성이 다른 두 영역이 존재하는 경우, 도 8에서 설명한 바와 같이 각 영역의 속성에 대응하여 오브젝트를 이동시켜 디스플레이할 수 있다. 배경 이미지가 제1 영역과 다른 속성을 갖는 제2 영역을 포함하고, 제2 터치 인풋이 제1 영역에서 제2 영역으로 오브젝트를 드래그하는 경우를 가정할 수 있다. 디스플레이 디바이스는 배경 이미지의 제2 영역 상에서 오브젝트를 드래그하기 위한 제2 압력 조건을 설정할 수 있다.
일 실시예로 디스플레이 디바이스는, 제2 터치 인풋의 압력이 배경 이미지의 제2 영역의 텍스쳐 및 오브젝트의 텍스쳐에 대응하여 설정된 압력 스레시홀드를 초과하는지를 제2 압력 조건으로 설정할 수 있다. 다른 실시예로, 디스플레이 디바이스는, 제2 터치 인풋의 압력이 오브젝트의 속성에 대응하는 하한값과 배경 이미지의 제2 영역의 속성에 대응하는 상한값을 포함하는 제2 압력 레인지 내에 포함되는지를 제2 압력 조건으로 설정될 수 있다.
만약 제2 터치 인풋의 압력이 제2 압력 조건을 만족하면, 디스플레이 디바이스는 제2 터치 인풋에 따라 오브젝트를 제1 영역에서 제2 영역으로 이동시켜 디스플레이할 수 있다. 디스플레이 디바이스는 오브젝트가 제1 영역과 제2 영역에 걸쳐서 디스플레이될 때, 오브젝트의 속성, 제1 영역의 속성, 제2 영역의 속성 및 제2 터치 인풋의 압력에 대응하는 택타일 피드백을 발생할 수 있다. 또한, 오브젝트가 제2 영역으로 이동된 때, 디스플레이 디바이스는 오브젝트의 속성, 배경 이미지의 제2 영역의 속성 및 제2 터치 인풋의 압력에 대응하는 택타일 피드백을 발생할 수 있다.
제2 터치 인풋의 압력이 제2 압력 조건을 만족하지 않으면, 디스플레이 디바이스는 오브젝트를 제1 영역과 제2 영역의 경계에 잔존시켜 디스플레이할 수 있다. 디스플레이 디바이스는 오브젝트가 제1 영역과 제2 영역의 경계에 접하는 시점에 오브젝트의 속성 및 제2 터치 인풋의 압력에 대응하여 택타일 피드백을 발생할 수 있다. 즉, 오브젝트가 제1 영역과 제 2영역의 경계에서 더 이상 이동하지 못하여 사용자의 손가락으로부터 벗어나는 경우, 디스플레이 디바이스는 오브젝트가 사용자의 손가락에서 미끄러져 나가는 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스는 제1 터치 인풋의 압력이 제1 압력 조건을 만족하지 않는 경우 제2 터치 인풋을 바이패스할 수 있다(S80). 디스플레이 디바이스는 오브젝트를 드래그하는 제2 터치 인풋이 디텍팅되더라도 제2 터치 인풋을 오브젝트에 적용하지 않고 바이패스할 수 있으며, 오브젝트를 배경 이미지 상의 제1 영역에 유지시켜 디스플레이할 수 있다.
상술한 바와 같이 본 발명의 디스플레이 디바이스는 디스플레이된 오브젝트 속성, 배경 이미지의 속성 및 터치 인풋의 압력에 근거하여 디스플레이된 오브젝트에 터치 인풋을 적용할지 여부를 결정할 수 있다.
10: 배경 이미지 11: 오브젝트
12: 터치 인풋 23: 한계 이동거리
101: 스토리지 유닛 102: 커뮤니케이션 유닛
103: 센서 유닛 104: 오디오 입출력 유닛
105: 택타일 피드백 유닛 106: 디스플레이 유닛
107: 파워 유닛 108: 프로세서
109: 컨트롤러
12: 터치 인풋 23: 한계 이동거리
101: 스토리지 유닛 102: 커뮤니케이션 유닛
103: 센서 유닛 104: 오디오 입출력 유닛
105: 택타일 피드백 유닛 106: 디스플레이 유닛
107: 파워 유닛 108: 프로세서
109: 컨트롤러
Claims (22)
- 제1 오브젝트 및 제2 오브젝트를 디스플레이하는 단계, 상기 제1 오브젝트는 상기 제2 오브젝트의 제1 영역 상에 적어도 일부가 오버랩되어 디스플레이됨;
상기 제2 오브젝트의 제1 영역 상에서 상기 제1 오브젝트를 컨트롤하는데 요구되는 제1 압력 조건(pressure condition)을 설정하는 단계, 상기 제1 압력 조건은 상기 제1 오브젝트의 속성 및 상기 제2 오브젝트의 제1 영역의 속성에 대응하여 설정됨;
상기 제1 오브젝트가 디스플레이된 영역을 터치하는 제1 터치 인풋을 디텍팅하는 단계;
상기 제1 오브젝트를 컨트롤하는 제2 터치 인풋을 디텍팅하는 단계, 상기 제2 터치 인풋은 상기 제1 터치 인풋에 연속하여 입력됨;
상기 제1 터치 인풋의 압력이 상기 설정된 제1 압력 조건을 만족할 때, 상기 제2 터치 인풋으로 상기 제1 오브젝트를 컨트롤하는 단계;
상기 제1 터치 인풋의 압력이 상기 설정된 제1 압력 조건을 만족하지 않을 때, 상기 제2 터치 인풋을 바이패스하는 단계;
상기 제2 오브젝트의 제2 영역 상에서 상기 제1 오브젝트를 컨트롤하는데 요구되는 제2 압력 조건을 설정하는 단계, 상기 제2 압력 조건은 상기 제1 오브젝트의 속성 및 상기 제2 오브젝트의 제2 영역의 속성에 대응하여 설정됨;
상기 제2 터치 인풋의 압력이 상기 제2 압력 조건을 만족할 때, 상기 제1 오브젝트를 상기 제1 영역에서 상기 제2 영역으로 이동시켜 디스플레이하는 단계; 및
상기 제2 터치 인풋의 압력이 상기 제2 압력 조건을 만족하지 않을 때, 상기 제1 오브젝트를 상기 제1 영역과 상기 제2 영역에 잔존시켜 디스플레이하는 단계를 포함하는 디스플레이 디바이스 제어 방법. - 제 1 항에 있어서,
상기 제1 압력 조건은,
상기 제1 터치 인풋의 압력이 상기 제1 오브젝트의 텍스쳐 및 상기 제2 오브젝트의 제1 영역의 텍스쳐에 대응하여 설정된 압력 스레시홀드를 초과하는지 여부인 디스플레이 디바이스 제어 방법. - 제 1 항에 있어서,
상기 제1 압력 조건은,
상기 제1 터치 인풋의 압력이 상기 제1 오브젝트의 텍스쳐에 대응하는 하한값 및 상기 제2 오브젝트의 제1 영역의 텍스쳐에 대응하는 상한값을 포함하여 설정된 압력 레인지에 포함되는지 여부인 디스플레이 디바이스 제어 방법. - 제 1 항에 있어서,
상기 제2 터치 인풋으로 상기 제1 오브젝트를 컨트롤하는 단계는,
상기 제1 터치 인풋의 압력 및 상기 제1 오브젝트의 텍스쳐에 대응하여 상기 제1 오브젝트의 한계 이동 거리를 설정하는 단계, 상기 한계 이동 거리는 상기 제2 터치 인풋에 의해 상기 제1 오브젝트가 이동할 수 있는 최대 이동 거리임; 및
상기 제2 터치 인풋에 따라 상기 제1 오브젝트를 이동시켜 디스플레이하는 단계를 포함하는 디스플레이 디바이스 제어 방법. - 제 4 항에 있어서,
상기 제1 오브젝트를 이동시켜 디스플레이하는 단계는,
상기 제2 터치 인풋에 의해 상기 제1 오브젝트가 상기 한계 이동 거리 이내로 이동된 때, 상기 제1 오브젝트가 이동된 위치에 상기 제1 오브젝트를 디스플레이하는 단계; 및
상기 제2 터치 인풋에 의해 상기 제1 오브젝트가 상기 한계 이동 거리를 초과하여 이동된 때, 상기 제1 오브젝트가 이동되기 이전의 위치로 복귀시켜 디스플레이하는 단계를 포함하는 디스플레이 디바이스 제어 방법. - 제 4 항에 있어서,
상기 제2 터치 인풋으로 상기 제1 오브젝트를 컨트롤하는 단계는,
상기 설정된 한계 이동 거리에 대응하여 상기 제1 오브젝트가 이동할 수 있는 바운더리(boundary)를 디스플레이하는 단계를 더 포함하는 디스플레이 디바이스 제어 방법. - 제 4 항에 있어서,
상기 제1 오브젝트를 이동시켜 디스플레이하는 단계는,
상기 제2 터치 인풋에 의해 상기 제1 오브젝트가 상기 한계 이동 거리를 초과하여 이동된 때, 상기 제1 오브젝트가 이동된 경로 중 한계 이동거리 내의 경로 상에 제1 오브젝트를 디스플레이하는 디스플레이 디바이스 제어 방법. - 제 1 항에 있어서,
상기 제1 압력 조건을 설정하는 단계에서,
상기 제1 오브젝트는 각각 다른 속성을 갖는 복수의 영역을 포함하고, 상기 각 영역의 압력 조건은 상기 영역별로 다르게 설정되는 디스플레이 디바이스 제어 방법. - 제 1 항에 있어서,
상기 제2 터치 인풋으로 상기 제1 오브젝트를 컨트롤하는 단계는,
상기 제1 오브젝트의 속성 및 상기 제2 오브젝트의 속성에 대응하여 상기 제1 오브젝트의 이동 속도를 설정하는 단계; 및
상기 제2 터치 인풋에 따라 상기 설정된 제1 오브젝트의 이동 속도로 상기 제1 오브젝트를 이동시켜 디스플레이하는 단계;를 포함하는 디스플레이 디바이스 제어 방법. - 제 1 항에 있어서, 상기 디스플레이 디바이스 제어 방법은
상기 제1 오브젝트의 속성 및 상기 제1 터치 인풋의 압력에 대응하는 제1 택타일 피드백을 발생하는 단계;를 더 포함하는 디스플레이 디바이스 제어 방법. - 제 10 항에 있어서,
상기 제1 오브젝트의 속성은 텍스쳐를 포함하고,
상기 제1 택타일 피드백을 발생하는 단계는 상기 제1 오브젝트의 텍스쳐에 대응하여 상기 제1 택타일 피드백의 마찰력의 세기를 컨트롤하는 디스플레이 디바이스 제어 방법. - 제 10 항에 있어서,
상기 제1 택타일 피드백을 발생하는 단계는 상기 제1 터치 인풋의 압력에 비례하여 상기 제1 택타일 피드백의 마찰력의 세기를 컨트롤하는 디스플레이 디바이스 제어 방법. - 제 10 항에 있어서,
상기 제1 택타일 피드백을 발생하는 단계는 초음파 진동을 이용하여 택타일 피드백을 발생하고, 상기 초음파 진동의 주파수 및 크기를 변화시켜 상기 제1 택타일 피드백의 마찰력의 세기를 컨트롤하는 디스플레이 디바이스 제어 방법. - 제 1 항에 있어서,
상기 제2 터치 인풋으로 상기 제1 오브젝트를 컨트롤하는 단계는,
상기 제2 터치 인풋에 대한 제2 택타일 피드백을 발생하는 단계를 더 포함하되, 상기 제2 택타일 피드백은 상기 제1 오브젝트의 속성, 상기 제2 오브젝트의 제1 영역의 속성 및 상기 제2 터치 인풋의 압력에 대응하여 발생되는 디스플레이 디바이스 제어 방법. - 제 14 항에 있어서,
상기 디스플레이 디바이스 제어 방법은,
상기 제1 오브젝트를 상기 제2 영역에서 디스플레이할 때, 상기 제1 오브젝트의 속성, 상기 제2 오브젝트의 제2 영역의 속성 및 상기 제2 터치 인풋의 압력에 대응하는 택타일 피드백을 발생하는 디스플레이 디바이스 제어 방법. - 제 14 항에 있어서,
상기 디스플레이 디바이스 제어 방법은,
상기 제1 오브젝트가 상기 제1 영역과 상기 제2 영역의 경계상에 디스플레이될 때, 상기 제1 오브젝트의 속성, 상기 제1 영역의 속성, 상기 제2 영역의 속성 및 상기 제2 터치 인풋의 압력에 대응하는 택타일 피드백을 발생하는 디스플레이 디바이스 제어 방법. - 제 14 항에 있어서,
상기 제1 오브젝트를 상기 제1 영역과 상기 제2 영역의 경계에 잔존시켜 디스플레이하는 단계는,
상기 제1 오브젝트가 상기 제1 영역과 상기 제2 영역의 경계에 접하는 시점에 상기 제1 오브젝트의 속성 및 상기 제2 터치 인풋의 압력에 대응하여 택타일 피드백을 발생하는 디스플레이 디바이스 제어 방법. - 제 1 항에 있어서,
상기 제2 터치 인풋으로 상기 제1 오브젝트를 컨트롤하는 단계는,
상기 제1 오브젝트와 상기 제2 오브젝트 사이의 간섭 정도(degree of interference)를 결정하는 단계;
상기 결정된 간섭 정도에 대응하여, 상기 제2 터치 인풋의 컨트롤 거리를 단축하는 단계; 및
상기 단축된 컨트롤 거리에 따라 상기 제1 오브젝트를 이동시켜 디스플레이하는 단계를 포함하는 디스플레이 디바이스 제어 방법. - 제 18 항에 있어서,
상기 결정된 간섭 정도는 상기 제2 오브젝트의 텍스쳐 및 상기 제2 터치 인풋의 압력에 대응하여 결정되는 디스플레이 디바이스 제어 방법. - 제 1 항에 있어서,
상기 제2 오브젝트는 상기 디스플레이 디바이스에 디스플레이된 배경 이미지인 디스플레이 디바이스 제어 방법. - 터치 인풋을 디텍팅하는 터치 센서티브 디스플레이 유닛;
상기 유닛들을 제어하는 컨트롤러를 포함하는 디스플레이 디바이스로써,
상기 디스플레이 디바이스는,
제1 오브젝트 및 제2 오브젝트를 디스플레이하고, 상기 제1 오브젝트는 상기 제2 오브젝트의 제1 영역 상에 적어도 일부가 오버랩되어 디스플레이됨;
상기 제2 오브젝트의 제1 영역 상에서 상기 오브젝트를 컨트롤하는데 요구되는 제1 압력 조건(pressure condition)을 설정하고, 상기 제1 압력 조건은 상기 제1 오브젝트의 속성 및 상기 제2 오브젝트의 제1 영역의 속성에 대응하여 설정됨;
상기 오브젝트가 디스플레이된 영역을 터치하는 제1 터치 인풋을 디텍팅하고,
상기 오브젝트를 컨트롤하는 제2 터치 인풋을 디텍팅하고, 상기 제2 터치 인풋은 상기 제1 터치 인풋에 연속하여 입력됨,
상기 제1 터치 인풋의 압력이 상기 설정된 제1 압력 조건을 만족할 때, 상기 제2 터치 인풋으로 상기 오브젝트를 컨트롤하고,
상기 제1 터치 인풋의 압력이 상기 설정된 제1 압력 조건을 만족하지 않을 때, 상기 제2 터치 인풋을 바이패스하고,
상기 제2 오브젝트의 제2 영역 상에서 상기 제1 오브젝트를 컨트롤하는데 요구되는 제2 압력 조건을 설정하는 단계, 상기 제2 영역은 상기 제1 영역과 다른 속성을 갖고, 상기 제2 압력 조건은 상기 제1 오브젝트의 속성 및 상기 제2 오브젝트의 제2 영역의 속성에 대응하여 설정됨;
상기 제2 터치 인풋의 압력이 상기 제2 압력 조건을 만족할 때, 상기 제1 오브젝트를 상기 제1 영역에서 상기 제2 영역으로 이동시켜 디스플레이하고,
상기 제2 터치 인풋의 압력이 상기 제2 압력 조건을 만족하지 않을 때, 상기 제1 오브젝트를 상기 제1 영역과 상기 제2 영역에 잔존시켜 디스플레이하는 디스플레이 디바이스. - 삭제
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120090627A KR101946365B1 (ko) | 2012-08-20 | 2012-08-20 | 디스플레이 디바이스 및 그 제어 방법 |
| US13/653,477 US9098188B2 (en) | 2012-08-20 | 2012-10-17 | Display device and method for controlling the same |
| EP12883112.0A EP2885693A4 (en) | 2012-08-20 | 2012-11-21 | DISPLAY DEVICE, AND METHOD FOR CONTROLLING DISPLAY DEVICE |
| PCT/KR2012/009844 WO2014030804A1 (en) | 2012-08-20 | 2012-11-21 | Display device and method for controlling the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120090627A KR101946365B1 (ko) | 2012-08-20 | 2012-08-20 | 디스플레이 디바이스 및 그 제어 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140024564A KR20140024564A (ko) | 2014-03-03 |
| KR101946365B1 true KR101946365B1 (ko) | 2019-02-11 |
Family
ID=50099726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120090627A KR101946365B1 (ko) | 2012-08-20 | 2012-08-20 | 디스플레이 디바이스 및 그 제어 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9098188B2 (ko) |
| EP (1) | EP2885693A4 (ko) |
| KR (1) | KR101946365B1 (ko) |
| WO (1) | WO2014030804A1 (ko) |
Families Citing this family (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
| US9501189B2 (en) * | 2011-10-27 | 2016-11-22 | Kyocera Corporation | Electronic device and method for controlling electronic device |
| WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| WO2013169845A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for scrolling nested regions |
| AU2013259630B2 (en) | 2012-05-09 | 2016-07-07 | Apple Inc. | Device, method, and graphical user interface for transitioning between display states in response to gesture |
| WO2013169843A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for manipulating framed graphical objects |
| WO2013169875A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for displaying content associated with a corresponding affordance |
| DE112013002381T5 (de) | 2012-05-09 | 2015-02-26 | Apple Inc. | Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bewegung und Ablegen eines Benutzerschnittstellenobjekts |
| WO2013169842A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for selecting object within a group of objects |
| AU2013259606B2 (en) | 2012-05-09 | 2016-06-02 | Apple Inc. | Device, method, and graphical user interface for displaying additional information in response to a user contact |
| CN109062488B (zh) | 2012-05-09 | 2022-05-27 | 苹果公司 | 用于选择用户界面对象的设备、方法和图形用户界面 |
| WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| JP6182207B2 (ja) | 2012-05-09 | 2017-08-16 | アップル インコーポレイテッド | ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース |
| WO2013169851A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for facilitating user interaction with controls in a user interface |
| CN108241465B (zh) | 2012-05-09 | 2021-03-09 | 苹果公司 | 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置 |
| KR101946366B1 (ko) * | 2012-08-23 | 2019-02-11 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| US8743072B2 (en) * | 2012-09-28 | 2014-06-03 | Lg Electronics Inc. | Display device and control method thereof |
| KR102006151B1 (ko) * | 2012-11-27 | 2019-10-10 | 삼성디스플레이 주식회사 | 터치를 인식하고 전기 촉각 자극을 제공하는 표시 장치 및 그 구동 방법 |
| WO2014105275A1 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture |
| KR101958582B1 (ko) | 2012-12-29 | 2019-07-04 | 애플 인크. | 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스 |
| EP2939097B1 (en) * | 2012-12-29 | 2018-12-26 | Apple Inc. | Device, method, and graphical user interface for navigating user interface hierarchies |
| KR102001332B1 (ko) | 2012-12-29 | 2019-07-17 | 애플 인크. | 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
| WO2014105279A1 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for switching between user interfaces |
| WO2014105277A2 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics |
| US10203815B2 (en) * | 2013-03-14 | 2019-02-12 | Apple Inc. | Application-based touch sensitivity |
| KR20160019468A (ko) | 2013-06-11 | 2016-02-19 | 임머숀 코퍼레이션 | 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들 |
| TWI502474B (zh) * | 2013-11-28 | 2015-10-01 | Acer Inc | 使用者介面的操作方法與電子裝置 |
| CN106104426B (zh) * | 2014-03-21 | 2020-04-03 | 意美森公司 | 用于基于力的对象操纵和触觉检测的***、方法和计算机可读介质 |
| US10586618B2 (en) * | 2014-05-07 | 2020-03-10 | Lifetrack Medical Systems Private Ltd. | Characterizing states of subject |
| US10691324B2 (en) * | 2014-06-03 | 2020-06-23 | Flow Labs, Inc. | Dynamically populating a display and entering a selection interaction mode based on movement of a pointer along a navigation path |
| KR102246554B1 (ko) * | 2014-06-18 | 2021-04-30 | 엘지전자 주식회사 | 휴대용 디스플레이 디바이스 및 그 제어 방법 |
| US9971406B2 (en) | 2014-12-05 | 2018-05-15 | International Business Machines Corporation | Visually enhanced tactile feedback |
| US20160162092A1 (en) * | 2014-12-08 | 2016-06-09 | Fujitsu Ten Limited | Operation device |
| US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
| US9645732B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US9542037B2 (en) | 2015-03-08 | 2017-01-10 | Apple Inc. | Device, method, and user interface for processing intensity of touch contacts |
| US9990107B2 (en) | 2015-03-08 | 2018-06-05 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US9785305B2 (en) | 2015-03-19 | 2017-10-10 | Apple Inc. | Touch input cursor manipulation |
| US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
| US20170045981A1 (en) | 2015-08-10 | 2017-02-16 | Apple Inc. | Devices and Methods for Processing Touch Inputs Based on Their Intensities |
| US10152208B2 (en) | 2015-04-01 | 2018-12-11 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
| US10200598B2 (en) | 2015-06-07 | 2019-02-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9674426B2 (en) | 2015-06-07 | 2017-06-06 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10346030B2 (en) | 2015-06-07 | 2019-07-09 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US9891811B2 (en) | 2015-06-07 | 2018-02-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
| JP6187546B2 (ja) * | 2015-06-22 | 2017-08-30 | コニカミノルタ株式会社 | 操作表示システム、操作表示装置および操作表示プログラム |
| US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10235035B2 (en) | 2015-08-10 | 2019-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
| US10248308B2 (en) | 2015-08-10 | 2019-04-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures |
| US10416800B2 (en) | 2015-08-10 | 2019-09-17 | Apple Inc. | Devices, methods, and graphical user interfaces for adjusting user interface objects |
| CN105094443A (zh) * | 2015-08-21 | 2015-11-25 | 深圳市汇顶科技股份有限公司 | 触摸压力检测装置和方法 |
| KR20170054746A (ko) * | 2015-11-10 | 2017-05-18 | 삼성전자주식회사 | 컨텐츠와 연관된 영역 선택 방법 및 전자장치 |
| JP6359507B2 (ja) * | 2015-12-10 | 2018-07-18 | 株式会社東海理化電機製作所 | 振動呈示装置 |
| WO2018000382A1 (zh) * | 2016-06-30 | 2018-01-04 | 华为技术有限公司 | 一种查看应用程序的图形用户界面、方法及终端 |
| TWI585652B (zh) * | 2016-07-21 | 2017-06-01 | 和碩聯合科技股份有限公司 | 觸控輸入裝置、電子裝置及觸控輸入方法 |
| KR102673702B1 (ko) * | 2016-10-20 | 2024-06-12 | 삼성전자주식회사 | 피드백 제공 방법 및 이를 지원하는 전자 장치 |
| CN106598236A (zh) * | 2016-11-29 | 2017-04-26 | 上海创功通讯技术有限公司 | 一种触压反馈方法及装置 |
| KR102444286B1 (ko) * | 2017-06-19 | 2022-09-16 | 삼성전자주식회사 | 지압 인식 장치 및 이를 포함하는 전자 기기 |
| CN107357425A (zh) * | 2017-06-29 | 2017-11-17 | 珠海市魅族科技有限公司 | 一种触控反馈装置、电子设备及触控反馈方法 |
| CN107861622A (zh) * | 2017-11-29 | 2018-03-30 | 珠海市魅族科技有限公司 | 触控反馈方法、设备、计算机可读存储介质及计算机装置 |
| US11561692B2 (en) * | 2018-06-19 | 2023-01-24 | Lenovo (Singapore) Pte. Ltd. | Dynamic input control positioning |
| US20200097087A1 (en) * | 2018-09-20 | 2020-03-26 | Realgam Co., Ltd. | Force feedback method and system |
| JP2022051971A (ja) * | 2019-02-05 | 2022-04-04 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| US20200401264A1 (en) * | 2019-06-24 | 2020-12-24 | AAC Technologies Pte. Ltd. | Method for generating tactile feedback and device performing same |
| CN110362200A (zh) * | 2019-06-24 | 2019-10-22 | 瑞声科技(新加坡)有限公司 | 触觉反馈的生成方法与装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100231550A1 (en) | 2009-03-12 | 2010-09-16 | Immersion Corporation | Systems and Methods for Friction Displays and Additional Haptic Effects |
| JP2011034216A (ja) | 2009-07-30 | 2011-02-17 | Canon Inc | 選択オブジェクト決定方法、オブジェクトの前後関係の決定方法及びその装置 |
| US20120154328A1 (en) | 2009-08-27 | 2012-06-21 | Kyocera Corporation | Input apparatus |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4574194B2 (ja) * | 2004-03-05 | 2010-11-04 | 任天堂株式会社 | ゲームプログラム |
| US8405618B2 (en) | 2006-03-24 | 2013-03-26 | Northwestern University | Haptic device with indirect haptic feedback |
| KR101498623B1 (ko) * | 2008-06-25 | 2015-03-04 | 엘지전자 주식회사 | 휴대 단말기 및 그 제어방법 |
| JP5100556B2 (ja) | 2008-07-30 | 2012-12-19 | キヤノン株式会社 | 情報処理方法及び装置 |
| JP4746085B2 (ja) | 2008-12-25 | 2011-08-10 | 京セラ株式会社 | 入力装置 |
| JP2011053971A (ja) | 2009-09-02 | 2011-03-17 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| JP5446624B2 (ja) * | 2009-09-07 | 2014-03-19 | ソニー株式会社 | 情報表示装置、情報表示方法及びプログラム |
-
2012
- 2012-08-20 KR KR1020120090627A patent/KR101946365B1/ko active IP Right Grant
- 2012-10-17 US US13/653,477 patent/US9098188B2/en active Active
- 2012-11-21 WO PCT/KR2012/009844 patent/WO2014030804A1/en active Application Filing
- 2012-11-21 EP EP12883112.0A patent/EP2885693A4/en not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100231550A1 (en) | 2009-03-12 | 2010-09-16 | Immersion Corporation | Systems and Methods for Friction Displays and Additional Haptic Effects |
| JP2011034216A (ja) | 2009-07-30 | 2011-02-17 | Canon Inc | 選択オブジェクト決定方法、オブジェクトの前後関係の決定方法及びその装置 |
| US20120154328A1 (en) | 2009-08-27 | 2012-06-21 | Kyocera Corporation | Input apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140049483A1 (en) | 2014-02-20 |
| KR20140024564A (ko) | 2014-03-03 |
| EP2885693A4 (en) | 2016-04-13 |
| EP2885693A1 (en) | 2015-06-24 |
| US9098188B2 (en) | 2015-08-04 |
| WO2014030804A1 (en) | 2014-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101946365B1 (ko) | 디스플레이 디바이스 및 그 제어 방법 | |
| JP6788719B2 (ja) | 力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法 | |
| US10013063B2 (en) | Systems and methods for determining haptic effects for multi-touch input | |
| KR101946366B1 (ko) | 디스플레이 디바이스 및 그 제어 방법 | |
| US9939903B2 (en) | Display device and control method thereof | |
| US10296091B2 (en) | Contextual pressure sensing haptic responses | |
| KR101958779B1 (ko) | 디스플레이 디바이스 및 그 제어 방법 | |
| US9519350B2 (en) | Interface controlling apparatus and method using force | |
| KR102108061B1 (ko) | 디스플레이 디바이스 및 그 제어 방법 | |
| EP3040844B1 (en) | Feedback by modifying stiffness | |
| US20110267181A1 (en) | Apparatus and method for providing tactile feedback for user | |
| US20110267294A1 (en) | Apparatus and method for providing tactile feedback for user | |
| WO2012135534A1 (en) | 3d user interface control | |
| TW201246009A (en) | Method and apparatus for providing a multi-dimensional data interface | |
| JP6393604B2 (ja) | 操作装置 | |
| JP2018045491A (ja) | 制御装置および制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |