KR20120060259A - 디바이스상의 움직임 제어 방법 및 장치 - Google Patents

디바이스상의 움직임 제어 방법 및 장치 Download PDF

Info

Publication number
KR20120060259A
KR20120060259A KR1020100088041A KR20100088041A KR20120060259A KR 20120060259 A KR20120060259 A KR 20120060259A KR 1020100088041 A KR1020100088041 A KR 1020100088041A KR 20100088041 A KR20100088041 A KR 20100088041A KR 20120060259 A KR20120060259 A KR 20120060259A
Authority
KR
South Korea
Prior art keywords
movement
pressure
touch
axis
positions
Prior art date
Application number
KR1020100088041A
Other languages
English (en)
Other versions
KR101739054B1 (ko
Inventor
박용국
엄주일
정지수
한국현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020100088041A priority Critical patent/KR101739054B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to AU2011299695A priority patent/AU2011299695B2/en
Priority to BR112013005483A priority patent/BR112013005483A2/pt
Priority to PCT/KR2011/006627 priority patent/WO2012033345A1/en
Priority to CN201180043297.4A priority patent/CN103097996B/zh
Priority to JP2013528117A priority patent/JP2013539580A/ja
Priority to EP11823778.3A priority patent/EP2614422B1/en
Priority to RU2015144389A priority patent/RU2635285C1/ru
Priority to RU2013115304/08A priority patent/RU2013115304A/ru
Priority to US13/228,059 priority patent/US9684439B2/en
Publication of KR20120060259A publication Critical patent/KR20120060259A/ko
Application granted granted Critical
Publication of KR101739054B1 publication Critical patent/KR101739054B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명에 따라 디바이스상의 움직임 제어 방법 및 장치가 개시된다. 본 발명에 따른, 움직임 제어 방법은, 상기 디바이스의 터치 스크린상에서의 적어도 두개 이상의 위치에서의 압력을 인식하는 단계와, 상기 인식된 적어도 두개 이상의 위치에서의 압력의 차를 이용하여 상기 스크린상의 오브젝트의 움직임을 제어하는 단계를 포함한다.

Description

디바이스상의 움직임 제어 방법 및 장치{Motion control method and apparatus in a device}
본 발명은 디바이스상의 움직임 제어 장치 및 움직임 제어 방법에 관한 것이다.
최근에 인터랙션의 경험 가치 증대를 위해 멀티모달 유저 인터페이스의 중요성이 대두되고 있다. 그리고 멀티 터치 기술의 보급으로 멀티터치 스크린 탑재 모바일 디바이스의 시장이 확대되고 있다.
터치스크린을 포함하는 디바이스에서 사용자들이 보다 직관적으로 터치스크린상의 오브젝트의 움직임을 제어할 수 있도록 하는 사용자 인터페이스가 요구된다.
본 발명은 터치스크린을 포함하는 디바이스상에서 사용자들이 보다 직관적으로 터치스크린상의 오브젝트의 움직임을 제어할 수 있도록 하는 사용자 인터페이스를 제공하기 위한 움직임 제어 장치 및 움직임 제어 방법을 제공하는 것을 목적으로 한다.
이와 같은 과제를 해결하기 위해서 본 발명의 하나의 특징은, 디바이스상의 움직임 제어 방법에 있어서, 상기 디바이스의 터치 스크린상에서의 적어도 두개 이상의 위치에서의 압력을 인식하는 단계와, 상기 인식된 적어도 두개 이상의 위치에서의 압력의 차를 이용하여 상기 스크린상의 오브젝트의 움직임을 제어하는 단계를 포함하는 것이다.
상기 압력을 인식하는 단계는, 상기 적어도 두개 이상의 위치를 인식하는 단계와, 상기 적어도 두개 이상의 위치에서의 압력의 세기를 인식하는 단계를 포함하는 것이 바람직하다.
상기 움직임을 제어하는 단계는, 상기 두 개 이상의 위치 사이의 x 축상의 거리와 y 축상의 거리를 비교하는 단계와, 상기 x 축상의 거리가 상기 y 축상의 거리보다 길면, x 축 방향으로의 움직임으로 판단하고, 상기 y 축상의 거리가 상기 x축상의 거리보다 길면, y 축 방향으로의 움직임으로 판단하는 단계를 포함하는 것이 바람직하다.
상기 움직임을 제어하는 단계는, 상기 위치가 두개인 경우 두개의 위치중 압력이 더 큰 위치 쪽으로 오브젝트 움직임 방향을 결정하는 단계와, 상기 위치가 세개 이상인 경우 세개 이상의 위치의 벡터를 이용하여 오브젝트 움직임 방향을 결정하는 단계를 포함하는 것이 바람직하다.
상기 움직임을 제어하는 단계는, 상기 적어도 두개 이상의 위치에서의 압력의 세기의 차를 이용하여 상기 오브젝트의 움직임의 속도를 결정하는 단계를 더 포함하는 것이 바람직하다.
본 발명의 다른 특징은, 디바이스상의 움직임 제어 장치에 있어서, 상기 디바이스의 터치 스크린상에서의 적어도 두개 이상의 위치에서의 압력을 인식하는 인식부와, 상기 인식된 적어도 두개 이상의 위치에서의 압력의 차를 이용하여 상기 스크린상의 오브젝트의 움직임을 제어하는 처리부를 포함하는 것이다.
상기 인식부는, 상기 적어도 두개 이상의 위치 및 상기 적어도 두개 이상의 위치에서의 압력의 세기를 인식하는 것이 바람직하다.
상기 처리부는, 상기 두 개 이상의 위치 사이의 x 축상의 거리와 y 축상의 거리를 비교하고,상기 x 축상의 거리가 상기 y 축상의 거리보다 길면, x 축 방향으로의 움직임으로 판단하고, 상기 y 축상의 거리가 상기 x축상의 거리보다 길면, y 축 방향으로의 움직임으로 판단하는 것이 바람직하다.
상기 처리부는, 상기 위치가 두개인 경우 두개의 위치중 압력이 더 큰 위치 쪽으로 오브젝트 움직임 방향을 결정하고, 상기 위치가 세개 이상인 경우 세개 이상의 위치의 벡터를 이용하여 오브젝트 움직임 방향을 결정하는 것이 바람직하다.
상기 처리부는, 상기 적어도 두개 이상의 위치에서의 압력의 세기의 차를 이용하여 상기 오브젝트의 움직임의 속도를 결정하는 것이 바람직하다.
이와 같은 본 발명에 따르면, 디바이스 상의 터치스크린상에 두개 이상의 터치에서의 압력 차를 이용하여 오브젝트의 움직임을 제어하면, 인터랙션 자체에 대한 새로운 경험을 사용자에게 제공할 수 있다. 또한, 사용자에게 직관적인 빠른 조작방식을 제공해줌으로써 차별화 기능을 제공할 수 있다. 또한, 아이코닉한 인터랙션으로 제품 마케팅 포인트로서도 우위를 선점할 수 있게 된다.
도 1a, 1b, 1c는 본 발명의 개념을 설명하기 위한 참고도이다.
도 2는 본 발명에 따른 움직임 제어 장치의 개략적인 블록도를 나타낸다.
도 3은 본 발명의 일 예에 따른 움직임 제어 방법의 흐름도이다.
도 4a,b,c는 스크린상의 오브젝트의 이동이나 변형, 움직임이 x,y 축으로 제한된 경우의 예를 나타낸다.
도 5a,b,c,d,e는 스크린상의 오브젝트의 이동이나 변형, 움직임이 x,y 축으로 일어나는 경우의 구체적인 어플리케이션들의 예를 나타낸다.
도 6a,b,c는 스크린상의 오브젝트의 이동이나 변형, 움직임이 x,y 축으로 제한되지 않고 자유로운 경우의 예를 나타낸다.
도 7a,b는 스크린상의 오브젝트의 이동이나 변형, 움직임이 자유로운 경우의 구체적인 어플리케이션들의 예를 나타낸다.
이하에서는, 도면을 참조하여 본 발명의 구체적인 실시예를 설명한다.
도 1a, 1b, 1c는 본 발명의 개념을 설명하기 위한 참고도이다.
도 1a는 디바이스의 터치 스크린을 터치하는 두개의 손가락의 배열의 한 예를 나타낸다.
사용자는 적어도 두개 이상의 손가락으로 디바이스의 터치 스크린을 터치하는데, 터치시 두개 이상의 손가락에 압력의 차이를 두어 터치를 하면, 디바이스는 그러한 압력차를 이용하여 오브젝트의 움직임을 제어할 수 있다. 도 1a를 참조하면, 디바이스의 터치 스크린에 두개의 손가락의 터치가 있다. 디바이스는 제1손가락의 터치(100)와 제2손가락의 터치(110)를 인식하는데, 제1손가락의 터치(100) 위치와 제2손가락의 터치(110) 위치가 수직적이라기 보다는 수평적으로 배열된 것으로 판단되면 오브젝트의 움직임을 좌우로 이동하고, 이동하는 방향은, 제1손가락의 터치(100)와 제2손가락의 터치(110)중 압력이 더 큰 쪽으로 이동할 수 있다.
도 1b는 디바이스의 터치 스크린을 터치하는 두개의 손가락의 배열의 다른 예를 나타낸다.
도 1b를 참조하면, 디바이스는 제1손가락의 터치(100)와 제2손가락의 터치(110)를 인식하는데, 제1손가락의 터치(100) 위치와 제2손가락의 터치(110) 위치가 수평적이라기 보다는 수직적으로 배열된 것으로 판단되면 오브젝트의 움직임을 상하로 이동하고, 이동하는 방향은, 제1손가락의 터치(100)와 제2손가락의 터치(110)중 압력이 더 큰 쪽으로 이동할 수 있다.
도 1c는 이와 같은 본 발명을 휴대폰 단말기에 구현할 때의 하나의 어플리케이션 예를 나타낸다.
도 1c를 참조하면, 휴대폰 단말기의 터치 스크린상에 두개의 터치가 있고, 터치(100)과 터치(110)의 위치적인 관계로 볼 때 수평적이라기 보다는 수직적인 배열로 있기 때문에 오브젝트의 움직임은 상하로 이동하게 할 수 있고, 터치(100)의 압력이 터피(110)의 압력보다 크다면 터치(100)의 방향으로 오브젝트의 움직임을 제어할 수 있다. 따라서, 도 1c에서는 수직 스크롤로서, 위쪽으로 올라가는 즉, 터치(110) 쪽이 아니라 터치(100) 쪽으로 향하는 스크롤을 구현할 수 있게 된다.
이와 같은 본 발명에 의하면, 터치스크린을 포함하는 디바이스에서 터치스크린상의 적어도 두개 이상의 터치의 위치 및 압력을 인식하는 것으로, 오브젝트의 움직임을 보다 직관적으로 편리하게 제어할 수 있게 된다.
도 2는 본 발명에 따른 움직임 제어 장치의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 움직임 제어 장치(200)는 입력부(210), 처리부(220), 표시부(230)를 포함한다.
입력부(210)는 사용자의 입력을 수신하여 인식하는 구성으로서, 본 발명에 따라 터치인식부(212)와 압력인식부(211)를 포함한다. 터치인식부(211)는 터치스크린상의 적어도 두개이상의 터치를 인식하고 또한 그 터치의 위치를 인식한다. 압력인식부(211)는 터치 위치에서의 압력을 인식한다. 압력인식부(211)에서 압력을 인식하는 수단으로는 압력을 인식할 수 있는 수단이라면 어떠한 형태라도 가능하다. 예를 들어, 복수의 압력 센서를 설치하여 압력을 인식하거나, 터치스크린상에서 터치된 부분의 형상을 판독하여 터치 부분의 면적이 넓어지면 압력의 세기가 큰 것으로 인식할 수 있다. 또한, 정전용량 방식 등을 이용하여 터치 스크린상에서의 터치시 신호량을 분석하여 압력의 세기를 인식할 수도 있다. 또한, 터치스크린상에서 터치 포인트와 압력을 동시에 인식하는 여러가지 기술의 조합으로 다양하게 구현될 수 있을 것이다.
처리부(220)는 입력부(210)로부터 수신한 정보를 처리하여 처리 결과를 기초로 표시부(230)에 표시되는 오브젝트의 움직임을 제어한다.
표시부(230)는 처리부(220)의 제어에 따라 오브젝트의 움직임을 표시한다. 표시부(230)는 디스플레이 기능을 할 수 있는 수단이라면 어떠한 형태도 가능하다.
도 2에는 도시되지 않았지만, 입력부(210)로부터 수신한 신호 즉, 터치스크린상의 터치의 위치와 압력에 관한 정보를 처리부(220)로 전달하기 위해 인터페이스를 더 포함할 수 있다. 또한, 처리부(220)에서 처리된 정보나 데이터를 저장하기 위해 저장부를 더 포함할 수 있음은 물론이다.
도 3은 본 발명의 일 예에 따른 움직임 제어 방법의 흐름도이다.
입력부(210)는 터치스크린상에서 적어도 두개 이상의 터치의 위치와 압력을 인식한다(310). 입력부(210)에 포함된 터치인식부(211)는 터치스크린상에서 적어도 두개 이상의 터치의 위치를 인식하고, 압력 인식부(212)는 해당 터치 위치에서의 압력을 인식한다. 입력부(210)는 터치스크린상에서 적어도 두개 이상 인식된 터치의 위치에 관한 정보와 압력에 관한 정보를 처리부(220)로 전달한다.
처리부(220)는 인식된 적어도 두개 이상의 위치에서의 압력의 차를 이용하여 스크린상의 오브젝트의 움직임을 제어한다(320).
처리부(220)는 입력부(210)로부터 인식된 터치의 위치에 관한 정보와 압력에 관한 정보를 수신하면, 터치의 위치에 관한 정보와 압력에 관한 정보를 분석하고, 분석결과를 토대로 스크린상의 오브젝트의 움직임 제어 신호를 생성하여 이를 표시부(230)에 제공한다. 즉, 처리부(220)는 터치스크린상에서 인식된 적어도 두개이상의 터치의 위치에 관한 정보를 분석하여 스크린상의 오브젝트의 움직임의 방향을 결정하고, 터치스크린상에서 인식된 적어도 두개 이상의 터치의 압력에 관한 정보를 분석하여 스크린상의 오브젝트의 움직임의 속도(세기)를 결정한다.
두개 이상의 터치에 의한 압력이 인식되었을 때 이러한 두개 이상의 압력의 차이가 유효하지 않을 수 있다. 예를 들어, 터치스크린상에서 두개의 압력이 인식되었기는 하지만, 두개의 압력의 차이가 미미하여 이는 사실상 본 발명에 따른 움직임 제어 방법이 적용되는 사용자 입력이라기 보다는 사용자가 통상 터치스크린을 두 손가락으로 잡고 있는 경우에 나타날 수 있는 입력일 수도 있다. 따라서, 도 3에는 도시하지 않았지만, 두개의 압력차가 의미있는 값이 아니어서 이러한 입력은 무시하는 과정이 포함될 수도 있다.
즉, 처리부(220)에서는 터치스크린상에서 통상 사용자가 손가락을 대고 있을 때의 두 손가락에 의한 터치에 의한 압력차를 모니터링하여 통상적으로 사용자가 디바이스를 잡고 있는 것이라고 보여지는 때의 압력차를 산출하여 이를 임계값으로 저장해둔다.
그리고 실제 본 발명에 따른 움직임 제어 방법 적용시 두개이상의 터치의 압력차를 분석할 때, 이러한 압력차가 저장해둔 임계값보다 작다면, 이는 움직임 제어를 위한 사용자 입력이라기 보다는 통상적으로 사용자가 디바이스를 쥐고 있는 것으로 판단되므로 이러한 터치에 의한 신호는 오브젝트의 움직임 제어에 이용하지 않는다. 그리고, 인식된 두개 이상의 터치의 압력차가 임계값보다 크다면, 이는 통상적으로 사용자가 디바이스를 쥐거나 만지는 형태가 아니라 움직임 제어를 위한 사용자 입력으로 판단되므로, 이러한 압력차를 이용하여 오브젝트의 움직임 제어에 이용할 수 있다.
처리부(220)에서 터치의 위치에 관한 정보와 압력에 관한 정보를 분석하여 스크린상의 오브젝트의 움직임 제어에 이용하는 방법을 이하 도면을 참조하여 보다 상세히 설명한다.
도 4a,b,c는 스크린상의 오브젝트의 이동이나 변형, 움직임이 x,y 축으로 제한된 경우의 예를 나타낸다. 스크린상의 오브젝트의 이동이나, 변형, 움직임이 x,y 축으로 제한된 경우의 예로는, 상하로 된 리스트의 스크롤, 좌우 사진 스크롤, 볼륨, 동영상/음악 등의 프로그래스바 이동 등이 될 수 있다.
도 4a를 참조하면, 스크리상에 오브젝트(400)가 있고, 그 아래로 두개의 손가락에 의한 터치가 있다. 제1터치(410)의 위치는 T1이고, 제2터치(420)의 위치는 T2이다. 이때, T1의 좌표를 (x1, y1)이라고 하고, T2의 좌표를 (x2,y2)라고 할 때, ?x 는 x2와 x1 사이의 거리, 즉, x축상의 거리이고, ?y는 y2와 y1사이의 거리 즉, y 축상의 거리를 나타낸다.
처리부(220)는 오브젝트의 이동 축 즉, 오브젝트를 x 축상에서 움직일 것인지, y 축상에서 움직일 것인지를 다음과 같이 결정할 수 있다.
x 축상의 거리가 y 축상의 거리보다 길면, 오브젝트를 x 축상으로의 이동으로 판단하고, y 축상의 거리가 x 축상의 거리보다 길면, 오브젝트를 y 축상으로의 이동으로 판단한다.
또한 처리부(220)는 오브젝트의 이동 방향 즉, 오브젝트를 T1 쪽으로 움직일 것인지, T2쪽으로 움직일 것인지를 다음과 같이 결정할 수 있다.
위치 T1에서의 압력 P1과 위치 T2에서의 압력 P2를 비교하여, P1이 P2 보다 크면 P1쪽으로 오브젝트를 이동하고, P2가 P1보다 크면 P2쪽으로 오브젝트를 이동하는 것으로 판단한다. 그리고, P1 과 P2가 동일하면 오브젝트의 이동은 없는 것으로 판단한다.
또한, 처리부(220)는 오브젝트의 이동 속도 즉, 시간당 이동 픽셀은 다음과 같이 결정할 수 있다.
즉, 처리부(220)는 오브젝트의 이동속도를 k*│P2-P1│에 따라 결정할 수 있다. 여기서 k는 어플리케이션 특성에 의해 결정되는 상수를 말한다. 즉, 오브젝트의 이동속도를, 두 압력의 차이가 크면 이동속도를 빠르게 하고, 두 압력의 차이가 크지 않으면 이동속도를 느리게 할 수 있다.
또한, 처리부(220)는 오브젝트의 이동속도를 터치 시간에 따라 결정할 수도 있다. 즉, 처리부(220)는 오브젝트의 이동속도를 터치가 지속되는 시간 t에 비례하여 결정할 수도 있다.
도 4b를 참조하면, 제1터치(410)와 제2터치(420) 사이에, x 축상의 거리가 y축상의 거리보다 길기 때문에 오브젝트를 x 축 상에서 움직이도록 하고, 또한, 제1터치(410)의 압력이 제2터치(420)의 압력보다 크기 때문에 제1터치(410)쪽으로 오브젝트를 이동시키는 것으로 결정할 수 있다. 제1터치(410)의 압력이 제2터치(420)의 압력보다 더 큰 것은 도 4b에서 제1터치(410)을 중심으로 하는 원의 크기가 제2터치(420)을 중심으로 하는 원의 크기보다 큰 것으로 나타낸다.
도 4b를 참조하면, 제1터치(410)와 제2터치(420) 사이에, y 축상의 거리가 x축상의 거리보다 길기 때문에 오브젝트를 y 축 상에서 움직이도록 하고, 또한, 제2터치(420)의 압력이 제1터치(410)의 압력보다 크기 때문에 제2터치(420)쪽으로 오브젝트를 이동시키는 것으로 결정할 수 있다.
도 5a,b,c,d,e는 스크린상의 오브젝트의 이동이나 변형, 움직임이 x,y 축으로 일어나는 경우의 구체적인 어플리케이션들의 예를 나타낸다.
도 5a를 참조하면, 세로 스크롤인 경우에, 사용자는 스크린상의 세로 방향으로 두개의 터치(510,520)를 압력차를 주면서 함으로써 세로 스크롤을 구현할 수 있다. 즉, 두개의 손가락으로 터치스크린을 터치하면서 위쪽 터치(510)에 더 많은 압력을 주면 위쪽으로 스크롤하고, 아래쪽 터치(520)에 더 많은 압력을 주면 아래쪽으로 스크롤할 수 있게 된다.
도 5b를 참조하면, 가로 스크롤인 경우에, 사용자는 스크린상의 가로 방향으로 두개의 터치(510,520)를 압력차를 주면서 함으로써 가로 스크롤을 구현할 수 있다. 즉, 두개의 손가락으로 터치스크린을 터치하면서 오른쪽 터치(520)에 더 많은 압력을 주면 오른쪽으로 스크롤하고, 왼쪽 터치(510)에 더 많은 압력을 주면 왼쪽으로 스크롤할 수 있게 된다.
도 5c를 참조하면, 도 5a 나 도 5b에서와 같은 단순한 스크롤 이외에도 소정이 이펙트 효과를 주는 어플리케이션에도 적용할 수 있음을 나타내고 있다. 도 5c를 참조하면, 압력을 주는 방향으로 그래픽 오브젝트의 변형이 일어나서 뒤로 물러서는 느낌을 표현하거나, 스크롤 시에도 이펙트 효과로 사용할 수 있다.
도 5d를 참조하면, 음악이나 동영상을 제공하는 어플리케이션 실행시에, 음악이나 동영상을 탐색할 때도 본 발명에 따른 두개의 터치의 압력차를 이용하여 탐색기능을 적용하는 것이 가능하다.
도 5e를 참조하면, 음악이나 동영상을 제공하는 어플리케이션 실행시에 볼륨 조절시에도 본 발명에 따른 두개의 터치의 압력차를 이용하여 볼륨 조절을 실행하는 것이 가능하다.
이제까지 도 4 및 5를 참조하여서는 스크린상의 오브젝트의 이동이 x,y 축으로 제한된 어플리케이션에서의 적용예를 살펴보았다.
도 6a,b,c는 스크린상의 오브젝트의 이동이나 변형, 움직임이 x,y 축으로 제한되지 않고 자유로운 경우의 예를 나타낸다. 스크린상의 오브젝트의 이동이나, 변형, 움직임이 자유로운 경우에, 스크린상의 오브젝트는 단순히 x 축이나 y 축상을 이동하는 것이 아니라 스크린상의 어떠한 방향으로도 움직일 수 있는 경우를 말하면, 예를 들어, 확대된 사진을 패닝하거나, 지도 네비게이션 등이 그 예이다.
도 6a를 참조하면, 스크리상에 오브젝트(600)가 있고, 그 아래로 두개의 손가락에 의한 터치가 있다. 제1터치(610)의 위치는 T1이고, 제2터치(620)의 위치는 T2이다.
처리부(220)는 오브젝트가 x,y 축으로 한정된 것이 아닌 어떤 방향으로의 움직임도 제어할 수 있기 때문엔, 이동축을 결정하지 않고, 바로 이동 방향을 결정한다.
처리부(220)는 오브젝트의 이동 방향 즉, 오브젝트를 T1 쪽으로 움직일 것인지, T2쪽으로 움직일 것인지를 다음과 같이 결정할 수 있다.
위치 T1에서의 압력 P1과 위치 T2에서의 압력 P2를 비교하여, P1이 P2 보다 크면 P1쪽으로 오브젝트를 이동하고, P2가 P1보다 크면 P2쪽으로 오브젝트를 이동하는 것으로 판단한다. 그리고, P1 과 P2가 동일하면 오브젝트의 이동은 없는 것으로 판단한다.
또한, 처리부(220)는 오브젝트의 이동 속도 즉, 시간당 이동 픽셀은 다음과 같이 결정할 수 있다.
즉, 처리부(220)는 오브젝트의 이동속도를 k*│P2-P1│에 따라 결정할 수 있다. 여기서 k는 어플리케이션 특성에 의해 결정되는 상수를 말한다. 즉, 오브젝트의 이동속도를, 두 압력의 차이가 크면 이동속도를 빠르게 하고, 두 압력의 차이가 크지 않으면 이동속도를 느리게 할 수 있다.
도 6b를 참조하면, 제1터치(610)와 제2터치(620) 사이에, 제1터치(610)의 압력이 제2터치(620)의 압력보다 크기 때문에 제1터치(610)쪽으로 오브젝트를 이동시키는 것으로 결정할 수 있다. 제1터치(610)의 압력이 제2터치(620)의 압력보다 더 큰 것은 도 6b에서 제1터치(610)을 중심으로 하는 원의 크기가 제2터치(620)을 중심으로 하는 원의 크기보다 큰 것으로 나타낸다.
도 6c를 참조하면, 제2터치(620)의 압력이 제1터치(610)의 압력보다 크기 때문에 제2터치(620)쪽으로 오브젝트를 이동시키는 것으로 결정할 수 있다.
도 7a,b는 스크린상의 오브젝트의 이동이나 변형, 움직임이 자유로운 경우의 구체적인 어플리케이션들의 예를 나타낸다.
도 7a는 사진에서의 패닝 동작시의 어플리케이션을 나타낸다. 디바이스의스크린상에 제1터치(710), 제2터치(720)이 도시되었으며 이때 압력이 더 큰 제2터치(720)의 방향으로 사진이 패닝됨을 나타낸다.
도 7b는 도 7a에서와 마찬가지로 디바이스에서 사진을 디스플레이하는 어플리케이션을 나타내는데, 다만 도 7a와 다른 점은, 스크린상의 터치 포인트가 세 개 즉, a(730), b(740), c(750)라는 점이다. 도 7b에서와 같이 터치스크린상에 두개 이상의 터치에 의한 압력이 인식된 경우에는 오브젝트의 움직임의 방향을 벡터에 의해 결정할 수 있다.
구체적으로, 오브젝트의 움직임의 방향을 벡터에 의해 결정하는 방법은 다음과 같다.
터치스크린상에 n+1개의 압력이 인식되었을 때, 압력이 가장 작은 포인트의 좌표를 A0(x0,y0), 압력이 가장 큰 포인트의 좌표를 An(xn,yn) 이라 정의한다. 압력이 가장 작은 포인트의 압력값을 p0, 압력이 가장 큰 포인트의 압력값을 pn 이라 정의한다.
A0를 기준으로 An의 방향을 θn 이라고 하면,
cosθn = (xn-x0) / √(xn-x0)2+(yn-u0)2
sinθn = (yn-y0) / √(xn-x0)2+(yn-u0)2
압력의 크기를 (pn-p0)라고 할 때,
An을 대표하는 벡터 Fn 은 다음과 같이 표현할 수 있다.
Fn = (pn-p0)(cosθn, sinθ0)
따라서, 터치스크린상에 두개 이상의 터치에 의한 압력이 인식되었을 때, 오브젝트의 방향은 (cosθn, sinθ0)으로 결정하고, 오브젝트의 이동 속도는 k*(pn-p0)으로 결정할 수 있다. 여기서, k는 어플리케이션에 따른 상수를 나타낸다.
이와 같은 본 발명에 따라서, 디바이스 상의 터치스크린상에 두개 이상의 터치에서의 압력 차를 이용하여 오브젝트의 움직임을 제어하면, 인터랙션 자체에 대한 새로운 경험을 사용자에게 제공할 수 있다. 또한, 사용자에게 직관적인 빠른 조작방식을 제공해줌으로써 차별화 기능을 제공할 수 있다. 또한, 아이코닉한 인터랙션으로 제품 마케팅 포인트로서도 우위를 선점할 수 있게 된다.
또한 본 발명은 터치스크린이 장착된 제품이라면 어떤 제품에라도 적용가능한 것으로서, 예를 들어, HHP, MP3, 태블릿, PDA 등에 적용가능하다.
이상 설명한 바와 같은 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 기록 재생 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 디바이스상의 움직임 제어 방법에 있어서,
    상기 디바이스의 터치 스크린상에서의 적어도 두개 이상의 위치에서의 압력을 인식하는 단계와,
    상기 인식된 적어도 두개 이상의 위치에서의 압력의 차를 이용하여 상기 스크린상의 오브젝트의 움직임을 제어하는 단계를 포함하는 것을 특징으로 하는 움직임 제어 방법.
  2. 제1항에 있어서,
    상기 압력을 인식하는 단계는,
    상기 적어도 두개 이상의 위치를 인식하는 단계와,
    상기 적어도 두개 이상의 위치에서의 압력의 세기를 인식하는 단계를 포함하는 것을 특징으로 하는 움직임 제어 방법.
  3. 제2항에 있어서,
    상기 움직임을 제어하는 단계는,
    상기 두 개 이상의 위치 사이의 x 축상의 거리와 y 축상의 거리를 비교하는 단계와,
    상기 x 축상의 거리가 상기 y 축상의 거리보다 길면, x 축 방향으로의 움직임으로 판단하고, 상기 y 축상의 거리가 상기 x축상의 거리보다 길면, y 축 방향으로의 움직임으로 판단하는 단계를 포함하는 것을 특징으로 하는 움직임 제어 방법.
  4. 제2항에 있어서,
    상기 움직임을 제어하는 단계는,
    상기 위치가 두개인 경우 두개의 위치중 압력이 더 큰 위치 쪽으로 오브젝트 움직임 방향을 결정하는 단계와,
    상기 위치가 세개 이상인 경우 세개 이상의 위치의 벡터를 이용하여 오브젝트 움직임 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 움직임 제어 방법.
  5. 제2항에 있어서,
    상기 움직임을 제어하는 단계는,
    상기 적어도 두개 이상의 위치에서의 압력의 세기의 차를 이용하여 상기 오브젝트의 움직임의 속도를 결정하는 단계를 더 포함하는 것을 특징으로 하는 움직임 제어 방법.
  6. 디바이스상의 움직임 제어 장치에 있어서,
    상기 디바이스의 터치 스크린상에서의 적어도 두개 이상의 위치에서의 압력을 인식하는 인식부와,
    상기 인식된 적어도 두개 이상의 위치에서의 압력의 차를 이용하여 상기 스크린상의 오브젝트의 움직임을 제어하는 처리부를 포함하는 것을 특징으로 하는 움직임 제어 장치.
  7. 제6항에 있어서,
    상기 인식부는,
    상기 적어도 두개 이상의 위치 및 상기 적어도 두개 이상의 위치에서의 압력의 세기를 인식하는 것을 특징으로 하는 움직임 제어 장치.
  8. 제7항에 있어서,
    상기 처리부는,
    상기 두 개 이상의 위치 사이의 x 축상의 거리와 y 축상의 거리를 비교하고,상기 x 축상의 거리가 상기 y 축상의 거리보다 길면, x 축 방향으로의 움직임으로 판단하고, 상기 y 축상의 거리가 상기 x축상의 거리보다 길면, y 축 방향으로의 움직임으로 판단하는 것을 특징으로 하는 움직임 제어 장치.
  9. 제7항에 있어서,
    상기 처리부는,
    상기 위치가 두개인 경우 두개의 위치중 압력이 더 큰 위치 쪽으로 오브젝트 움직임 방향을 결정하고, 상기 위치가 세개 이상인 경우 세개 이상의 위치의 벡터를 이용하여 오브젝트 움직임 방향을 결정하는 것을 특징으로 하는 움직임 제어 장치.
  10. 제7항에 있어서,
    상기 처리부는,
    상기 적어도 두개 이상의 위치에서의 압력의 세기의 차를 이용하여 상기 오브젝트의 움직임의 속도를 결정하는 것을 특징으로 하는 움직임 제어 장치.
KR1020100088041A 2010-09-08 2010-09-08 디바이스상의 움직임 제어 방법 및 장치 KR101739054B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020100088041A KR101739054B1 (ko) 2010-09-08 2010-09-08 디바이스상의 움직임 제어 방법 및 장치
BR112013005483A BR112013005483A2 (pt) 2010-09-08 2011-09-07 método para controlar um movimento de um objeto em uma tela sensível a toque de um dispositivo, e aparelho para controlar um movimento de um objeto em uma tela sensível a toque de um dispositivo
PCT/KR2011/006627 WO2012033345A1 (en) 2010-09-08 2011-09-07 Motion control touch screen method and apparatus
CN201180043297.4A CN103097996B (zh) 2010-09-08 2011-09-07 运动控制触屏方法和装置
AU2011299695A AU2011299695B2 (en) 2010-09-08 2011-09-07 Motion control touch screen method and apparatus
JP2013528117A JP2013539580A (ja) 2010-09-08 2011-09-07 デバイス上の動き制御方法及び装置
EP11823778.3A EP2614422B1 (en) 2010-09-08 2011-09-07 Motion control touch screen method and apparatus
RU2015144389A RU2635285C1 (ru) 2010-09-08 2011-09-07 Способ и устройство управления перемещением на сенсорном экране
RU2013115304/08A RU2013115304A (ru) 2010-09-08 2011-09-07 Способ и устройство управления перемещением на сенсорном экране
US13/228,059 US9684439B2 (en) 2010-09-08 2011-09-08 Motion control touch screen method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100088041A KR101739054B1 (ko) 2010-09-08 2010-09-08 디바이스상의 움직임 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120060259A true KR20120060259A (ko) 2012-06-12
KR101739054B1 KR101739054B1 (ko) 2017-05-24

Family

ID=45770342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100088041A KR101739054B1 (ko) 2010-09-08 2010-09-08 디바이스상의 움직임 제어 방법 및 장치

Country Status (9)

Country Link
US (1) US9684439B2 (ko)
EP (1) EP2614422B1 (ko)
JP (1) JP2013539580A (ko)
KR (1) KR101739054B1 (ko)
CN (1) CN103097996B (ko)
AU (1) AU2011299695B2 (ko)
BR (1) BR112013005483A2 (ko)
RU (2) RU2013115304A (ko)
WO (1) WO2012033345A1 (ko)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
US9007190B2 (en) 2010-03-31 2015-04-14 Tk Holdings Inc. Steering wheel sensors
JP5759230B2 (ja) 2010-04-02 2015-08-05 ティーケー ホールディングス，インコーポレーテッド 手センサを有するステアリング・ホイール
WO2013015070A1 (ja) * 2011-07-22 2013-01-31 Kddi株式会社 指の移動を伴うことなく画像スクロールが可能なユーザインタフェース装置、画像スクロール方法及びプログラム
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP5594910B2 (ja) * 2012-04-09 2014-09-24 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN104487930A (zh) 2012-05-09 2015-04-01 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169870A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for transitioning between display states in response to gesture
CN106201316B (zh) 2012-05-09 2020-09-29 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP3401773A1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US20130307788A1 (en) * 2012-05-16 2013-11-21 Motorola Solutions, Inc. Device and method for automated use of force sensing touch panels
US9493342B2 (en) 2012-06-21 2016-11-15 Nextinput, Inc. Wafer level MEMS force dies
WO2014008377A1 (en) 2012-07-05 2014-01-09 Ian Campbell Microelectromechanical load sensor and methods of manufacturing the same
WO2014043664A1 (en) 2012-09-17 2014-03-20 Tk Holdings Inc. Single layer force sensor
JP6000035B2 (ja) * 2012-09-18 2016-09-28 シャープ株式会社 情報処理装置、情報処理装置の制御方法、制御プログラム、および記録媒体
JP6163733B2 (ja) * 2012-11-09 2017-07-19 オムロン株式会社 制御装置および制御プログラム
CN103809776B (zh) * 2012-11-12 2017-05-24 联想(北京)有限公司 一种功能执行方法及电子设备
CN102984569A (zh) * 2012-11-29 2013-03-20 中兴通讯股份有限公司 一种控制电视界面焦点的方法、装置和***
EP2742869A1 (en) * 2012-12-12 2014-06-18 Samsung Medison Co., Ltd. Ultrasound apparatus and method of inputting information into the same
DE112012006009T5 (de) * 2012-12-20 2014-11-27 Intel Corporation Berührungsbildschirm mit Kraftsensoren
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
CN107831991B (zh) * 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
JP6138274B2 (ja) 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
CN103116467B (zh) * 2013-03-07 2017-03-01 东蓝数码有限公司 基于多点触控的视频进度和音量的控制方法
US20140300543A1 (en) * 2013-04-05 2014-10-09 Itvers Co., Ltd. Touch pad input method and input device
CN103257825B (zh) * 2013-04-28 2016-03-30 小米科技有限责任公司 一种调节播放进度的方法和装置
US9109921B1 (en) * 2013-06-19 2015-08-18 Amazon Technologies, Inc. Contextual based navigation element
US9665206B1 (en) 2013-09-18 2017-05-30 Apple Inc. Dynamic user interface adaptable to multiple input tools
JP6150712B2 (ja) * 2013-10-30 2017-06-21 シャープ株式会社 情報処理装置およびプログラム
KR20150051278A (ko) * 2013-11-01 2015-05-12 삼성전자주식회사 오브젝트 이동 방법 및 이를 구현하는 전자 장치
US9902611B2 (en) 2014-01-13 2018-02-27 Nextinput, Inc. Miniaturized and ruggedized wafer level MEMs force sensors
JP2015148972A (ja) * 2014-02-07 2015-08-20 株式会社コルグ タッチパネル装置
WO2015141091A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
US9904417B2 (en) * 2014-04-16 2018-02-27 Microchip Technology Incorporated Projected capacitive touch detection with touch force detection using self-capacitance and mutual capacitance detection
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9791956B2 (en) * 2015-03-30 2017-10-17 Lenovo (Singapore) Pte. Ltd. Touch panel click action
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
JP2016224919A (ja) * 2015-06-01 2016-12-28 キヤノン株式会社 データ閲覧装置、データ閲覧方法、及びプログラム
CN106293438A (zh) * 2015-06-04 2017-01-04 北京智谷睿拓技术服务有限公司 对象关联方法、装置及用户设备
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10466119B2 (en) 2015-06-10 2019-11-05 Nextinput, Inc. Ruggedized wafer level MEMS force sensor with a tolerance trench
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
CN106371690A (zh) * 2015-08-18 2017-02-01 北京智谷睿拓技术服务有限公司 区域确定方法、装置及显示设备
CN106293447B (zh) * 2015-08-18 2020-10-30 北京智谷睿拓技术服务有限公司 显示方法及显示设备
CN106293446B (zh) * 2015-08-18 2020-03-03 北京智谷睿拓技术服务有限公司 显示方法及显示设备
CN106371646B (zh) * 2015-08-18 2019-04-30 北京智谷睿拓技术服务有限公司 显示方法及显示设备
CN106371716A (zh) * 2015-08-25 2017-02-01 北京智谷睿拓技术服务有限公司 检索方法、检索装置及用户设备
CN106371741B (zh) * 2015-08-25 2019-11-29 北京智谷睿拓技术服务有限公司 排序方法、排序装置及用户设备
US10656746B2 (en) 2015-09-18 2020-05-19 Sony Corporation Information processing device, information processing method, and program
JP2018022438A (ja) * 2016-08-05 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN107992259A (zh) * 2016-10-27 2018-05-04 中兴通讯股份有限公司 运动参数的确定方法及装置
CN106843572A (zh) * 2016-12-30 2017-06-13 上海创功通讯技术有限公司 移动终端及其控制方法
WO2018148503A1 (en) 2017-02-09 2018-08-16 Nextinput, Inc. Integrated digital force sensors and related methods of manufacture
WO2018148510A1 (en) 2017-02-09 2018-08-16 Nextinput, Inc. Integrated piezoresistive and piezoelectric fusion force sensor
CN108693990A (zh) * 2017-04-12 2018-10-23 中兴通讯股份有限公司 一种终端触摸屏交互方法及装置
CN109213349A (zh) * 2017-06-30 2019-01-15 北京小米移动软件有限公司 基于触摸屏的交互方法及装置、计算机可读存储介质
CN111448446B (zh) 2017-07-19 2022-08-30 触控解决方案股份有限公司 在mems力传感器中的应变传递堆叠
WO2019023309A1 (en) 2017-07-25 2019-01-31 Nextinput, Inc. FORCE SENSOR AND INTEGRATED FINGERPRINTS
WO2019023552A1 (en) 2017-07-27 2019-01-31 Nextinput, Inc. PIEZORESISTIVE AND PIEZOELECTRIC FORCE SENSOR ON WAFER AND METHODS OF MANUFACTURING THE SAME
US11579028B2 (en) 2017-10-17 2023-02-14 Nextinput, Inc. Temperature coefficient of offset compensation for force sensor and strain gauge
US11385108B2 (en) 2017-11-02 2022-07-12 Nextinput, Inc. Sealed force sensor with etch stop layer
US11874185B2 (en) 2017-11-16 2024-01-16 Nextinput, Inc. Force attenuator for force sensor
US10871848B2 (en) 2018-09-13 2020-12-22 Sensel, Inc. Method and apparatus for variable impedence touch sensor array gesture recognition
US10891050B2 (en) 2018-09-13 2021-01-12 Sensel, Inc. Method and apparatus for variable impedance touch sensor arrays in non-planar controls
US10990223B2 (en) 2018-09-13 2021-04-27 Sensel, Inc. Method and apparatus for variable impedence touch sensor array force aware interaction in large surface devices
US11003274B2 (en) 2018-09-13 2021-05-11 Sensel, Inc. Method and apparatus for automotive variable impedance touch sensor array
JP6606591B2 (ja) * 2018-10-19 2019-11-13 シャープ株式会社 タッチパネル装置及び画像表示方法
US11513648B2 (en) * 2018-12-26 2022-11-29 Sensel, Inc. Method and apparatus for variable impedance touch sensor array force aware interaction with handheld display devices
WO2020142311A1 (en) 2019-01-03 2020-07-09 Sensel, Inc. Method and apparatus for indirect force aware touch control with variable impedance touch sensor arrays
US10962427B2 (en) 2019-01-10 2021-03-30 Nextinput, Inc. Slotted MEMS force sensor

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4056713A (en) * 1976-10-01 1977-11-01 Digital Equipment Corporation Display processing unit for drawing vectors
USRE40891E1 (en) * 1991-11-26 2009-09-01 Sandio Technology Corp. Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
US6597347B1 (en) * 1991-11-26 2003-07-22 Itu Research Inc. Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
US5565887A (en) * 1994-06-29 1996-10-15 Microsoft Corporation Method and apparatus for moving a cursor on a computer screen
US7138983B2 (en) 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
JP4803883B2 (ja) * 2000-01-31 2011-10-26 キヤノン株式会社 位置情報処理装置及びその方法及びそのプログラム。
US6980201B1 (en) * 2000-09-29 2005-12-27 Rockwell Automation Technologies, Inc. Minimum move touch plane scanning method and device
US7391410B2 (en) 2002-09-09 2008-06-24 Sony Ericsson Mobile Communications Ab Input device for touch screen
DE602004021606D1 (de) * 2003-07-21 2009-07-30 Polymer Vision Ltd Berührungsempfindliche anzeige für eine tragbare einrichtung
US7724242B2 (en) 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US7331245B2 (en) * 2005-11-22 2008-02-19 Avago Technologies Ecbu Ip Pte Ltd Pressure distribution sensor and sensing method
KR100686562B1 (ko) * 2005-12-02 2007-02-26 유대성 전자기기의 화면 조작 장치
KR100694989B1 (ko) * 2005-12-28 2007-03-14 엘지전자 주식회사 이동 통신 단말기의 마우스 포인터 제어 방법 및 그 이동통신 단말기
US7907125B2 (en) * 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
WO2008095137A2 (en) 2007-01-31 2008-08-07 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
KR100950234B1 (ko) * 2007-07-06 2010-03-29 한국표준과학연구원 압력 센서를 이용한 마우스 알고리즘 구현 방법
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8358226B2 (en) * 2007-10-28 2013-01-22 Synaptics Incorporated Determining actuation of multi-sensor-electrode capacitive buttons
CN101878464A (zh) * 2007-12-05 2010-11-03 奥克斯摩斯有限公司 数据输入设备
KR101008581B1 (ko) 2008-03-06 2011-01-17 주식회사 오 코스모스 데이터 입력장치
US20090237374A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Transparent pressure sensor and method for using
KR101496844B1 (ko) * 2008-07-28 2015-02-27 삼성디스플레이 주식회사 터치 스크린 표시 장치 및 그 구동 방법
JP5100556B2 (ja) * 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
US20100039393A1 (en) * 2008-08-15 2010-02-18 At&T Intellectual Property I, L.P. Text entry on touch screen cellphones by different pressure levels
WO2010036050A2 (en) 2008-09-26 2010-04-01 Lg Electronics Inc. Mobile terminal and control method thereof
JP5228755B2 (ja) 2008-09-29 2013-07-03 富士通株式会社 携帯端末装置、表示制御方法および表示制御プログラム
JP2010086230A (ja) * 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8957865B2 (en) * 2009-01-05 2015-02-17 Apple Inc. Device, method, and graphical user interface for manipulating a user interface object
JP2010176332A (ja) 2009-01-28 2010-08-12 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR101587002B1 (ko) * 2009-02-02 2016-01-20 삼성전자주식회사 휴대용 단말기의 입력 장치 및 그 방법
JP5232034B2 (ja) * 2009-02-06 2013-07-10 アルプス電気株式会社 入力処理装置
JP5146389B2 (ja) * 2009-04-03 2013-02-20 ソニー株式会社 情報処理装置、および推定方法
US8723988B2 (en) * 2009-07-17 2014-05-13 Sony Corporation Using a touch sensitive display to control magnification and capture of digital images by an electronic device
US9740340B1 (en) * 2009-07-31 2017-08-22 Amazon Technologies, Inc. Visually consistent arrays including conductive mesh
US8363020B2 (en) * 2009-08-27 2013-01-29 Symbol Technologies, Inc. Methods and apparatus for pressure-based manipulation of content on a touch screen
US9489073B2 (en) * 2009-12-21 2016-11-08 Promethean Limited Multi-point contacts with pressure data on an interactive surface
US8686960B2 (en) * 2010-04-23 2014-04-01 Lester F. Ludwig Piecewise-linear and piecewise-affine transformations for high dimensional touchpad (HDTP) output decoupling and corrections

Also Published As

Publication number Publication date
EP2614422B1 (en) 2018-06-13
BR112013005483A2 (pt) 2016-05-03
CN103097996A (zh) 2013-05-08
CN103097996B (zh) 2016-09-07
RU2635285C1 (ru) 2017-11-09
AU2011299695B2 (en) 2015-05-21
EP2614422A4 (en) 2017-01-18
KR101739054B1 (ko) 2017-05-24
RU2013115304A (ru) 2014-10-20
JP2013539580A (ja) 2013-10-24
AU2011299695A1 (en) 2013-03-21
US20120056837A1 (en) 2012-03-08
US9684439B2 (en) 2017-06-20
WO2012033345A1 (en) 2012-03-15
EP2614422A1 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
KR20120060259A (ko) 디바이스상의 움직임 제어 방법 및 장치
US11698706B2 (en) Method and apparatus for displaying application
US10401964B2 (en) Mobile terminal and method for controlling haptic feedback
US10318146B2 (en) Control area for a touch screen
KR102090750B1 (ko) 지문 인식을 위한 전자 장치 및 방법
AU2013223015B2 (en) Method and apparatus for moving contents in terminal
KR102284108B1 (ko) 전자 장치가 외부 디스플레이 장치와 화면을 공유하는 방법 및 전자 장치
KR101654553B1 (ko) 휴대 단말기의 터치 입력 방법 및 장치
US20140285455A1 (en) Sliding control method and terminal device thereof
KR20120025870A (ko) 모바일 디바이스의 화면상의 영역 선택 방법 및 장치
KR20220165707A (ko) 영상 표시 장치 및 그 동작방법
US20150339026A1 (en) User terminal device, method for controlling user terminal device, and multimedia system thereof
KR102329124B1 (ko) 영상 표시 장치 및 영상 표시 방법
CN108920069B (zh) 一种触控操作方法、装置、移动终端和存储介质
KR20150031986A (ko) 디스플레이장치 및 그 제어방법
WO2018068364A1 (zh) 用于页面显示的方法、装置、图形用户界面及移动终端
CN110647286A (zh) 屏幕元素控制方法、装置、设备、存储介质
KR20150052481A (ko) 콘텐츠 표시 방법 및 이를 구현하는 전자 장치
US20150149948A1 (en) Portable electronic device and screen control method therefor
KR102258313B1 (ko) 이동단말 및 그 제어방법
KR102149465B1 (ko) 이동단말 및 그 제어방법
CN117055796A (zh) 控件显示方法和装置
KR20140008587A (ko) 멀티미디어 장치 및 멀티미디어 장치에서의 사용자 인터페이스 제공방법
KR20150002329A (ko) 어플리케이션 운영 방법 및 이를 구현하는 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant