KR20140138361A

KR20140138361A - 루프 형태의 택타일 멀티터치 입력장치, 제스처와 그 방법

Info

Publication number: KR20140138361A
Application number: KR1020140154019A
Authority: KR
Inventors: 이용재
Original assignee: 이용재
Priority date: 2014-11-07
Filing date: 2014-11-07
Publication date: 2014-12-03
Also published as: WO2016072823A3; WO2016072823A2

Abstract

본 발명은 루프형태의 택타일 멀티터치 표면을 제공하는 입력장치와 제스처 및 그 방법에 관한 것으로서, 구체적으로는,
스마트워치 등 웨어러블 디바이스와 디지털카메라 등 휴대용기기 및 스마트 폰, 태블릿은 물론, 스마트 카 등 다양한 형태의 디지털 기기에서 촉각만을 이용하여 직관적이고 광범위한 선택 또는 입력을 할 수 있는 멀티터치 입력장치와 이를 가능하게 하는 다양한 터치 제스처 및 그 방법을 포함하는 사용자 인터페이스에 관한 발명이다.

Description

루프 형태의 택타일 멀티터치 입력장치, 제스처와 그 방법 {Loop-shaped Tactile Multi-Touch Input Device, Gestures And The Methods}

본 발명은 스마트 워치를 포함한 웨어러블 기기, 스마트 폰, 태블릿 등 스마트 기기, 블루투스 헤드폰이나 디지털 음악 플레이어 및 디지털 카메라와 같은 가전 기기, 그리고 자동차를 포함하는 다양한 기기에서, 촉각을 이용하여 직관적이고 간단한 조작만으로 다양한 기능을 실행하기 위한 입력장치와 제스처 및 그 방법에 관한 것으로서, 구체적으로는 루프형태의 택타일 멀티터치 입력장치와 제스처, 그리고 그 방법을 포함하는 사용자 인터페이스에 관한 발명이다.

오늘날, 블루투스 헤드폰이나 디지털 음악 플레이어, 디지털 카메라 등 가전 기기; 컴퓨터, 스마트 폰, 태블릿 등 스마트 기기; 그리고 스마트 워치 등 웨어러블 기기는 물론, 스마트 카와 일반 자동차 등 다양한 형태의 제품에서, 종래의 기계식 또는 전기식 입력장치와 더불어, 디지털 기술을 통한 다양한 입력장치 및 사용자 인터페이스가 새로이 개발되거나, 폭넓게 사용되고 있다. 이러한 입력장치 및 사용자 인터페이스들은 다양한 형태와 방법을 통해 구현되는데, 키보드와 손가락 타이핑을 이용하는 컴퓨터, ?⊙?버튼과 다이얼을 이용하여 조작하는 카메라나 가전기기, 그리고 자동차의 운전대(Steering Wheel; 이하, '스티어링 휠')와 각종 레버/버튼 등이 그 좋은 예이다.

이들은 각 입력장치의 구조와 작동방식, 또는 그 사용방법의 형태 및 사용자와의 소통 방법 등에 따라 여러 가지로 분류될 수 있는데, 크게 위의 키보드나 버튼, 다이얼처럼 기계적이거나 물리적인 작동을 요하는 형태와 터치패드와 터치스크린과 같이 비물리적인 조작 형태로 나눌 수 있다.

일반적으로 물리적인 입력장치 및 사용자 인터페이스의 경우, 그 구조가 비교적 간단하여 생산비용이 적게 들고, 또 그 사용방법 역시 대부분 간단하고 직관적이어서 폭넓게 적용되어 사용되는 편이다. 일례로, 종래 카메라의 셔터 버튼이나 다이얼은 사용자의 시각적 확인 없이 촉각만으로도 조작 가능하다. 다만, 물리적으로 움직이는 부분이 마모되거나 고장 나기 쉽고, 특히 회전하는 다이얼 형태의 입력장치와 같이 방수처리 어려움이 있는 등 구조적 취약점이나 제약이 존재하기도 한다. 그러나, 무엇보다 가장 커다란 단점은 그 단순함 자체로서, 버튼이나 다이얼, 키보드의 키 등 각 입력장치의 입력기능이 한 두 가지만 가능하므로 그 활용성이 제한적 이라는 것이다. 이는 다시 말해, 각각의 기능에 대해 별개의 입력장치가 필요하다는 것으로서, 오늘날 대부분의 기기는 단지 몇 개의 버튼으로 조작하기에는 그 기능이 너무나 많거나 복잡하다. 또한, 요즈음의 소형화 추세와 더불어, 대부분의 기기에 많은 수의 입력장치를 연결하거나 설치할 공간이나 부피가 존재하지 않을 뿐 더러, 이는 각 물리적 입력장치 자체의 단순함과는 별개로 이러한 물리적 입력장치들이 적용??기기들을 오히려 복잡하게 만들어 직관적 사용성을 저해한다.

비물리적 입력장치와 사용자 인터페이스의 경우, 대표적으로 랩톱 컴퓨터의 터치패드를 꼽을 수 있는데, 최근 스마트 폰과 태블릿 등 스마트 기기의 대중화와 더불어 일반화되었고, 이제 디지털 카메라와 디지털 음악 플레이어와 같은 가전 기기와 디지털 기기까지 광범위하게 채택되고 있다. 이는 상기 터치패드가 기존의 마우스를 대체했던 것처럼, 움직이는 부품이 없어 마모 등 내구성이나 고장의 문제가 적고, 그 부피가 작아 적용되는 기기에 내장할 수 있으며, 따라서 마우스와 같이 추가적 입력장치를 따로 연결하거나 들고 다닐 필요도 없고, 자연스럽게 손을 사용할 수 있어 직관적이며, 펌웨어(firmware)나 소프트웨어와 연계하여 다양한 기능을 유연하게 구현 할 수 있는 등 많은 장점 때문이다.

특히, 이러한 터치패드와 디스플레이를 조합한 형태인 터치스크린은, 최근의 스마트기기 추세와 더불어 대부분의 스마트 폰이나 태블릿을 비롯한 다양한 디지털기기의 주요한 사용자 인터페이스로 채용되고 있다. 이는, 위의 터치패드의 장점 이외에도, 디스플레이 화면을 통한 피드백을 동일한 표면에 직접 제공함으로써 제품의 부피를 더욱 줄이는 것은 물론, 더욱 더 직관적이고 다양한 조작과 입력을 가능하게 하기 때문이다. 실제로, 키보드와 마우스를 통한 입력에 의지하던 컴퓨터가 소형화되면서 터치스크린으로 이들을 대체하는가 하면, 각종 다이얼과 버튼에 의지하던 카메라 역시 터치스크린을 통해 조작하는 디지털카메라의 형태로 진화했으며, 또한 스마트 폰의 대중화와 더불어, 새로이 개발되고 있는 스마트워치 등 웨어러블 디바이스나 많은 기대를 받고 있는 스마트 카 역시, 사용자와 정보를 주고받는 사용자 인터랙션 (user interaction)을 구현하기 위해, 터치스크린을 광범위하게 채용하고 있다.

이러한 터치스크린의 장점은, 비교적 작은 크기의 단일장치를 통해 다양한 시각적 인터페이스를 제공하고, 목적과 필요에 따른 다양한 기능이나 형태의 선택과 입력을 가능하게 한다는 것이다. 종래 컴퓨터의 경우, 키보드나 마우스 등 물리적 입력장치들은 컴퓨터의 부피와 무게를 증가시킬 뿐더러, 각각의 입력기능이 물리적으로 정해져 있으므로 다양한 기능을 구현하기 위해서는 별개의 화면에 의존하여 사용자가 눈으로 보고 선택하는 과정이 필요했다. 터치스크린은 이러한 키보드나 마우스 없이 터치스크린 단일 장치에 사용자??보면서 직접 터치하여 온 스크린 키보드를 통해 문자를 입력하고, 마우스 포인터를 이동할 수 있게 한다. 또한, 터치와 제스처를 통해 - '줌'이나 '다음 곡으로 건너뛰기' 같은 제스처나 손가락으로 그림 그리기 같은 -, 기존 마우스나 키보드의 입력기능을 넘어서는 다양한 새로운 기능 역시 제공한다. 또한 디지털 카메라 역시, 각종 다이얼과 버튼을 없애거나 줄이고 터치스크린을 통한 사용자 인터페이스를 제공함으로써 더욱 소형화 할 수 있게 되었을 뿐 더러, 기존 다이얼이나 버튼으로 구현하기 번거로웠던 - 예를 들어, 화면을 터치하여 ??ㅗ?위치에 초점을 맞추는 - 기능을 제공할 수 있게 되었다.

그러나, 터치스크린 역시 많은 문제점을 가지고 있다. 우선, 터치스크린은 사용하기 위해 사용자가 화면을 보아야만 하므로, 보지 않고 촉각에만 의존하여 사용할 수 없다. 따라서, 스마트 카처럼 운전 중 화면을 보며 조작하기에 위험하거나, 스마트폰의 '음량조절'처럼 굳이 장치를 꺼내는 것이 번거로운 경우에는 적합하지 않다. 그래서 일반적으로 '음량조절'같은 기능은 터치스크린을 장착한 스마트 폰 같은 기기에서조차 개별 버튼을 제공한다. 이러한 제약은 터치스크린이 평평한 표면으로 구현되기 때문에 단지 촉각에 의지해??터치스크린상의 위치를 파악하거나 그 표시내용에 사용자가 대응할 수 없기 때문인데, 이는 또한 반대로, 터치스크린은 터치표면 아래에 존재하는 화면을 굴절/왜곡시키거나 가독성을 떨어뜨리지 않기 위해 그 표면을 평평하고 균일하게 유지해야 하기 때문이다. 따라서, 터치스크린 표면에 촉각으로 인지할 수 있는 처리를 하는 것은, 곧 화질의 저하 없이는 불가능하며, 또한 촉각에만 의존한 터치스크린의 사용은 어려울 수밖에 없다.

반면, 위에 언급된 일반적인 터치패드나 터치스크린과는 별개로, 촉각으로 작동하도록 설계되어 성공적이었던 기기들도 다소 존재하는데, 그 중 가장 대표적인 것은 미국 애플(Apple Inc.)사의 아이팟(iPod)이라는 디지털 음악 플레이어로서, 원형으로 배치된 정전압 방식의 터치패드를 이용하였다. 이는 미국공개특허등록 US 7710409 B2 (발명의 명칭: Method and apparatus for use of rotational user inputs; 이하 '인용발명1'이라 함)로 제안된 바 있으며, 이를 도 1에 도시하고 101로 표시하였다. 인용발명1의 경우, 디지털 미디어 플레이어라는 발명의 일부로서 원형의 정전압 방식의 터치표면 102를 사용하는데, 이는 이제까지의 일반적인 x-y좌표에 기반한 직교(데카르트)좌표 형태로 센서를 배치하지 않고 원형으로 배치하고 하나의 터치접촉을 감지하여, 상기 인용발명1이 화면을 포함함에도 불구하고 사용자는 상당부분 화면을 보지 않고 다양한 조작을 할 수 있다. (종래의 직교좌표 형태의 센서 배치를 사용하는 터치표면을 가진 터치패드를 도1에 도시하고 103으로 표시하였다.) 애플은 또 이러한 원형의 터치표면과 관련하여, 미국공개특허등록US 7710393 B2 (발명의 명칭: Method and apparatus for accelerated scrolling)을 통해 화면에 표시된 내용의 스크롤링을 가속하는 방법, 미국공개특허등록7,910,843 (발명의 명칭: Compact input device)을 통해 상기 인용발명1의 원형 터치표면에 버튼을 조합한 형태인 '클릭 휠(click wheel)', 그리고 미국공개특허등록 US 7932897 B2 (발명의 명칭: Method of increasing the spatial resolution of touch sensitive devices)을 통해 원형 터치표면의 해상도를 높이는 방법 등을 제안하기도 하였다. 그러나, 상기 인용발명1을 비롯한 애플사의 상기 발명들은, 단지 하?だ?터치접촉만을 감지할 수 있고, 그 기능이 단순히 화면의 내용의 스크롤링이나 볼륨 조절 등, 버튼을 통해 선택된 화면에 표시된 값을 증감하는 것만 가능하여, 이외에 화면에 의존하지 않고 다양한 입력이나 선택을 하는 것은 불가능하다.

인용발명1과 유사한 형태로서, 루프 형태의 터치패드는 시냅틱스(Synaptics Incorporated)사의 미국공개특허등록 US 7,466,307 B2 (발명의 명칭: CLOSED-LOOP SENSOR ON A SOLID-STATE OBJECT POSITION DETECTOR; 이하 '인용발명2'라 함)로 제안된 바 있으며, 이는 상기 인용발명1에 비하여 좀더 복잡하고 다양한 센서배열과 원형 이외의 다른 루프 형태의 터치패드 모양을 제안하였으나, 인용발명1과 마찬가지로 단 하나의 터치접촉만을 감지하여 처리하도록 고안되었고, 역시 특정 한가지 기능/값을 증감하는 데에만 사용할 수 있어, 다양한 기능을 제공하는 데에는 그 효용성이 제한적일 뿐이다.

참고로, 인용발명1과 인용발명2는 원형의 터치표면 또는 터치패드를 제안하는 발명인 반면, 직교좌표 형태의 종래 사각형 터치패드에서 원형터치패드의 기능을 구현하는 발명도 존재한다. 이들은 미국공개특허출원US 2007/0229472 A1 (발명의 명칭: CIRCLUAR SCROLLING TOUCHPAD FUNCTIONALITY DETERMINED BY STARTING POSITION OF POINTING OBJECT ON TOUCHPAD SURFACE; 이하 '인용발명3'이라 함), 미국공개특허출원US 2007/0013674 A1 (발명의 명칭: RECTANGULAR SENSOR GRID THAT PROVIDE FUNCTIONALITY AS A RECTANGULAR TOUCHPAD SENSOR AND A CIRCLUAR SCROLLING REGION; 이하 '인용발명4'라 함)이며, 이들은 종래 사각형의 터치패드 104의 표면에 하나 이상의 원 형태의 표시를 하여 각각 스크롤 휠의 기능을 구현하는 것을 제안하였으나, 이들은 평평한 터치표면에서 촉각만으로 사용할 수 없고, 또한 하나의 터치접촉만을 인식하여 한번에 한가지씩 입력 값을 스크롤 하거나 증감 할 수 있을 뿐, 다양한 입력/선택 기능할 방법을 제공하지 않는다. 또한, 미국공개특허출원US 2008/0273017 A1 (발명의 명칭: TOUCHPAD USING A COMBINATION OF TOUCHDOWN AND RADIAL MOVEMENTS TO RPOVIDE CONTROL SIGNALS; 이하 '인용발명5'라 함)은 인용발명 1과 유사한 원형 터치표면을 이용한 입력장치에 기반한 발명인데, 원형 터치표면에 표시된 바에 따라 특정 지점에서 접촉을 시작하는가에 따라 다른 기능이나 입력 값의 가감을 선택할 수 있도록 하였다. 그러나, 이 역시 평평한 터치표면에서 단지 시각적으로 표시된 특정지점을 찾아 촉각만을 이용한 조작에 제약이 있으며, 또한 그 센서 배열 역시 오직 하나의 접촉을 인식할 방법만을 제공한다.

위의 인용발명1과는 별개로, 미국 애플사는 새로이 개발되는 웨어러블 디바이스의 하나로서 최근에 스마트 워치(이하, '애플워치')를 출시하였는데, 이를 도 1에 도시하고 105로 표시하였다. 상기 애플워치의 경우, 다른 대부분의 스마트 워치처럼 터치스크린을 가지고 있으나 그 크기가 작아 효용성이 떨어지고, 무엇보다 그 작은 화면에 터치접촉을 하는 경우, 손이나 손가락 자체가 화면을 가려 더욱 더 불편하다. 그러나, 스마트 워치나 '시계'라는 특성상 기기의 부피가 작고, 다양한 입력장치를 설치할 공간이나 사용자가 이용할 수 있는 면적이 넓지 않으므로 여러 개의 버튼 등 입력장치를 포함하는 것 역시 어렵다. 그래서, 상기 애플워치의 경우, 터치스크린 외에도 하나의 버튼과 '디지털 크라운' 106이라는 다이얼 장치를 제공하지만, 움직이는 부품을 포함하여 마모 또는 고장의 가능성이 비교적 높으며, 그 크기가 작아 사용하기 번거롭고, 무엇보다 스마트 워치의 다양하고 복잡한 입력기능을 구현하기에 번거롭거나 부족하다. 종래의 다이얼과 마찬가지로 '디지털 크라운' 역시 한번에 하나의 기능만을 증감하는 형태의 입력장치로서, 버튼과 화면 디스플레이에 의존?臼?그 기능을 특정할 수 있어, 그 효용성이 제한적이며, 특히 다양한 기능을 구현하여 입력하거나 선택하는 데에 제약이 있다. 부가적으로, 이러한 다이얼 방식의 '디지털 크라운'은 종래 다이얼처럼 방수기능 등을 적용하는 데에 구조적 어려움이 많고, 실제로 애플워치의 방수 기능 역시 종래 시계의 방수 능력에 비해 현저히 떨어진다. 이와 관련하여 애플사는 미국공개특허등록 US 8,787,006 B2 (발명의 명칭: Wrist-worn electronic device and methods therefor)을 제안하기도 하였으나, 이는 주로 스마트 워치의 시계줄을 이용하는 데에 관한 것으로, 다양한 기능을 가능하게 하는 입력장치에 대한 제안이 없다.

또 다른 스마트워치에서의 입력장치 또는 입력방법은, 삼성전자(Samsung Electronics Company, Ltd.)의 미국공개특허출원 2014/0139637 (발명의 명칭: WEARABLE ELETRONIC DEVICE)와, 또한 함께 출원된 미국공개특허출원 2014/0139454 A1 (발명의 명칭: USER GESTURE INPUT TO WEARABLE ELETRONIC DEVICE INVOLVING MOVEMENT OF DEVICE, 이하 '인용발명6'이라 함)을 통해 제안되었는데, 이를 도 1에 도시하고 107로 표시하였다. 인용발명6은 상기 애플워치를 비롯하여 위에 언급된 입력장치 및 사용자 인터페이스의 문제를 해결하기 위하여, 다양한 장치 및 입력방법을 제안한다. 구체적으로는, 터치스크린을 이용한 제스처, 원형의 스마트 워치 스크린 주위를 회전 가능한 '회전 링' 108, 터치표면을 가진 시계줄 109, 그리고 손과 팔의 제스처를 통한 입력을 포함한다. 그러나, 터치스크린 110을 통한 터치나 제스처는 위에 언급된 바와 같이, 작은 화면 자체가 제스처를 사용하기에 면적이 작고, 손이나 손가락이 가려서 더욱 효용성이 떨어지는 문제가 여전히 존재한다. 또한, 시계 본체 둘레에 '회전 링'을 입력장치로서 적용하는 것은, 원형 이외의 모양의 스마트 워치에는 적용할 수 없고, 상기 애플워치와 마찬가지로 한번에 한가지씩의 단순한 증감이나 스크롤링 이외의 다양한 입력/선택 기능을 구현할 수 없다. 또한, 링 자체가 움직이는 구조로서 마모, 내구성, 방수처리 등의 어려움 역시 존재한다. 시계줄 109을 터치표면 또는 터치패드로 쓰는 것은 작은 터치스크린을 가리지 않는 장점이 존재하지만, 종래의 시계와는 달리 얇은 시계줄의 내부에 터치표면을 포함하여야 하므로, 기술적 어려움이 존재한다. 마지막으로, 인용발명6은 스마트 워치 내부의 중력센서 등 다양한 센서와 연계하고, 3차원 공간에서의 손과 팔의 움직임을 제스처로 인식하여 조작하는 방법을 제안하였으나, 이는 사용자 인터페이스로서 대단히 직관적이긴 하지만, 이러한 제스처를 빠르고 정확히 인식하는 것은 현재의 기술로는 어렵다.

이제까지 언급된 다양한 종래 기술을 이용하는 여러 기기들과 마찬가지로, 자동차의 운전석 역시 복잡하고 다양한 입력장치와 사용자 인터페이스가 사용되고 있다. 자동차의 운전석은 - 비행기 조종석과 마찬가지로 - 그 공간이나 크기의 제약보다는, 복잡하고 다양한 기능을 조작하는 데 필요한 다수 입력장치의 존재한다는 점, 그리고 운행 중의 안전을 위해 사용자가 도로에서 시선을 떼지 않도록 해야 한다는 당위성이 존재한다. 그러나 종래 운전석의 대부분은 버튼이나 다이얼, 레버와 같은 물리적 형태의 입력장치들로 채워져 ?羚底? 사용자가 이해하기 어렵거나, 여러 곳에 분산되어 위치하므로 각각을 찾아서 조작하기 불편하고, 특히 운전 중의 조작은 사용자의 안전과 직결된다. 이러한 이유로, 사용자가 운전 중에 빈번히 사용되는 기능들에 대한 입력장치 및 사용자 인터페이스는, 운전자가 시선을 최소한만 움직이고 손으로 조작하기 쉽도록 운전대 (이하, '스티어링 휠'이라 함)위에 위치되고 있으며, 이를 도 1로 도시하고 111로 표시하였다. 도 1에서 보는 것처럼, 오늘날 대부분의 스티어링 휠은 다양한 버튼들 112를 포함하여 사용자가 팔과 손의 움직임을 최소화?臼㈋?조작할 수 있도록 하고 있다. 그러나, 이러한 접근은 조금이나마 여전히 운전자가 각 버튼 112의 정확한 위치를 확인하기 위해 시선을 옮겨야 하고, 조작하지 않더라도 그 상태를 - 예를 들어, 와이퍼의 작동 속도 - 확인하는 것 역시 시선의 이동을 요하며, 무엇보다 이러한 버튼들 112의 작동 방식이나 기능, 배치는 자동차의 모델이나 회사에 따라 판이하므로, 사용자가 배우거나 직관적으로 이용하기 쉽지 않다.

자동차의 스티어링 휠과 관련하여 학계에서는, 또 다른 입력장치도 제안 된 적은 있는데, 이는 "Gestural interaction on the steering wheel: reducing the visual demand"(http://dl.acm.org/citation.cfm?doid=1978942.1979010 ; 이하 '인용문헌1'이라 함)이라는 논문을 통해 발표되었으며, 스티어링 휠의 중간 부위에 원형의 멀티터치 터치표면 또는 터치스크린을 제공하고, 그 터치표면에 멀티터치 및 제스처를 입력하여 직관적이면서 다양한 기능을 구현한다는 것이다. 그러나, 인용문헌1의 발명은, 터치접촉 감지를 ?㎸臼?적외선 카메라를 스티어링 휠 하단에 설치하여야 하는 구조적 제약이 있으며, 그 터치표면 역시 적외선이 투과되는 투명 또는 반투명 재질이어야 하고, 무엇보다 그 원형 터치표면의 위치가 종래 스티어링 휠의 에어백이 설치되는 곳인 점 등, 구현하여 적용하는 데에 실용적이지 않다.

또한, 자동차의 스티어링 휠에 적용될 수 있는 기술로는, 미국 애플사의 미국공개특허등록US 8144129 B2 (발명의 명칭: Flexible touch sensing circuits, 이하 '인용발명7'이라 함)을 들 수 있다. 상기 인용발명7은 2차원의 멀티터치 터치표면을 '스킨'의 형태로 제공하여 3차원 표면에 적용하는 기술에 관한 발명이며, 이를 도 1로 도시하고 113으로 표시하였다. 상기 인용발명7은 테니스 라켓의 손잡이나, TV 리모트의 여러 면 등 다양한 곳에 부착하여 둘 이상의 터치접촉을 감지하는 멀티터치를 구현하는 발명인데, 상기 인용발명7은 예시로서 자동차의 스티어링 휠의 1시 및 11시 위치에 적용하는 것을 포함하고 있다. 따라서, 스티어링 휠에서 멀티터치의 입력을 통한 직관적이고 다양한 입력도 가능한 이점이 있다. 그러나 인용발명7은 멀티터치 터치표면을 스킨 또는 필름의 형태로 굴곡이 있는 3차원 표면에 제공하는 데에만 있고, 그 터치 표면의 형태, 특성 및 각각 다양한 3차원 표면의 모양 - 테니스 라켓의 둥글고 긴 손잡이 형태, TV 리모컨의 평면 형태 등 -에 따라 일관되게 사용할만한 공통적인 모양이나 형태가 제한적이어서, 실제로 가능한 제스처의 형태와 종류에 제약이 존재하며, 단순한 접촉을 감지하는 것 이외에는 사용자가 능동적으로 사용할만한 제스처 체계가 결여되어 있다. 특히, 스티어링 휠과 같은 환형 고리 형태의 3차원 표면에 씌워질 수 는 있으나, 그 루프 형태 모양을 이용하여 제스처를 구체적으로 이용하거나 인식/처리 할 수 있는 방법 역시 제공하지 않고 있다. 또한 인용발명7의 터치표면은, '스킨'이라는 형태로 굴곡을 수용할 수 있을 뿐, 평평한 표면에서 촉각으로 감지할 수 있는 특성을 제공하지 않고, 따라서 스티어링 휠의 특정 부분이나 위치를 터치하는 것은 촉각만으로 조작??수 없다. 그리고, 상기 인용발명7의 예시와 같이 스티어링 휠의 1시, 11시 위치 등 일부만 멀티터치 터치표면이 적용되었을 경우, 운전자는 이를 이용하기 위해 손을 움직여야 하며, 스티어링 휠이 회전 상태일 경우, 그 적용된 위치를 확인해야 하므로 불편하다. 만약, 오히려 스티어링 휠의 전반에 걸쳐 인용발명7을 적용하더라도, 당 스티어링 휠의 환형 고리 형태라는 특정 모양에 적합한 터치나 제스처의 구체적 인식 방법이 빠져있어, 구체적 입력장치나 사용자 인터페이스/입력체계로서는 미흡하다. 무엇보다, 스티어링 휠의 특정 경우, 인??발?의 '스킨'이나 '필름'형태가 아니어도 터치표면의 적용은 가능하며, 오히려 직교좌표 또는 극좌표 방식의 터치표면의 혼용이나 선택을 할 수 없고, 더욱 중요한 스티어링 휠이라는 원형 형태와 운전석이라는 문맥에 맞도록 촉각에 의지한 조작이나, 이에 적절한 제스처가 결여되어있다.

이제까지 살펴본 다양한 비물리적 형태의 입력장치들 - 터치스크린과 몇몇 형태의 터치패드와 터치 표면 -과는 달리, 적절한 물리적 입력장치들의 적용은 오히려 그 사용법이 더 간단하고 직관적이기도 하다. 그 예로, 종래의 카메라를 들 수 있는데, 이를 도 1로 도시하였다. 카메라의 경우, 보통 단지 몇 개의 다이얼 114와 셔터 등 몇몇 버튼 115를 조합하여 다양한 입력과 선택을 구현하는 동시에, 비교적 적은 숫자의 입력장치들 114, 115를 배치하여 사용자가 화면에 의지하지 않고도, 각 입력장치의 모양이나 대체적 위치 등을 촉각만으로 감지하여 조작할 수 있다. 더욱이, 셔터 버튼의 조작과 같은 일부 기능은, 그 소리 등을 통해 사용자가 직관적 피드백을 받을 수 있으며, 이는 전반적인 사용자 인터페이스의 사용성을 향상시키기도 한다. 그러나, 앞에서 언급되었듯이, 종래 버튼이나 다이얼 등 물리적 입력장치들이 단순하여 다양한 기능을 구현하지 못한다는 점은 여전히 해결해야 할 문제이다.

따라서, 이제까지 살펴 본 바와 같이, 다양한 입력장치들이 단점들을 극복하고, 장점만을 취하여, 웨어러블 기기, 스마트 기기, 디지털 기기와 가전 기기 및 자동차 등 다양한 기기와 환경에서 광범위하게 적용할 수 있고, 촉각을 통해 직관적으로 사용 가능하며, 배우기 쉽고, 또 동시에 다양한 기능을 제공하는 입력장치와 그 방법 등 사용자 인터페이스를 제공하는 것이 본 발명이 해결하고자 하는 과제이다.

본 발명은 전술한 문제점들을 해결하기 위하여, 촉각만으로 조작이 가능하며 다양한 기능을 제공하는 입력장치와 직관적이고 이해하기 쉬운 사용자 인터페이스를 제공하는 것을 목적으로 하며, 또 종래의 스마트 기기와 가전 기기는 물론, 스마트워치를 포함하는 웨어러블 기기 및 자동차와 스마트 카 등에서 제품의 크기나 부피를 줄이거나 공간활용을 극대화하며, 이러한 기기들의 복잡한 조작 인터페이스를 단순화하여 디자인을 향상시키고, 직관적 사용방법을 통해 사용성 개선하는 데에 있다. 또한, 움직이는 부품??포함하지 않도록 하여 마모와 물리적 고장을 피하고, 스마트 폰이나 스마트 워치, 카메라 등에서 방수처리가 용이한 구조를 제공하며, 동시에 이러한 제품들을 다양한 모양으로 구현할 수 있도록 하고, 사용자가 쉽게 배우고 사용할 수 있는 직관적 제스처를 제공하며, 이러한 제스처가 잘못 인식되거나 의도하지 않게 실수로 입력되지 않도록 하는 방법을 제공하는 데에 있다.

이를 위해 본 발명은 촉각으로 감지할 수 있는 '택타일(tactile)' 특성을 가지는 터치표면을 제공함으로써, 사용자가 스마트 워치 등 웨어러블 기기나 스마트 기기 및 디지털 카메라 등 각종 디지털 기기, 그리고 자동차의 스티어링 휠과 같은 환경에서, 화면을 확인할 필요 없이 촉각만으로 인지하고 조작할 수 있도록 한다.

그리고, 이러한 택타일 특성을 구현함에 있어서, 시각적 확인이 필요한 터치스크린 장치를 피하고, 사용자의 입력장치를 조작하는 동안의 택타일 특성, 그리고 조작을 통해 입력되거나 선택된 기능에 대한 인식 또는 처리에 대한 피드백이 - 비(非) 시각적인 형태로 - 필요와 설정에 따라 능동적으로 출력되어 사용자가 인지할 수 있게 한다.

또한 본 발명은 이러한 택타일 특성을 가진 입력장치가, 마모나 물리적 고장을 최소화하고, 방수처리 등이 용이하도록 움직이는 부품을 포함하지 않도록 한다.

그리고, 이러한 입력장치를 제공함에 있어, 그 입력장치 및 사용자 인터페이스에 필요한 부피나 크기를 최소화하고, 다양한 형태로 적용될 수 있도록 다양하게 적용할 수 있도록, 터치표면 입력장치의 형태로 제공하도록 한다.

또한 본 발명은 이러한 터치표면이 2차원 표면뿐이 아니라 3차원 표면에서 적용되고, 화면이나 스티어링 휠, 또는 다이얼 등 다른 입력장치 형태와 결합하여 더욱 유연하고 직관적인 입력장치와 사용자 인터페이스를 구현할 수 있게 한다.

또한 본 발명은 종래의 직사각형 위주의 터치표면보다 다른 디자인이나 형태 또는 기능에 결합하거나 적용하기 용이한 모양의 터치표면을 제공하며, 일부 사용되어온 종래 원주형 또는 원형의 터치패드 - 원형 스크롤 휠/클릭 휠 등 - 형태보다 더 다양한 다각형이나 타원형, 사다리꼴, 둥근 모서리를 가진 사각형 등 다양한 루프 형태 - 2차원 또는 3차원 표면에서 원, 타원, 삼각형 이상의 다각형, 사다리꼴과 환형 고리 형태 및 다양한 폐곡선 형태를 포함함 -의 모양으로 구현할 수 있게 한다.

그리고, 이러한 다양한 루프 형태의 터치표면이 다양한 - 직교좌표, 극좌표 등 - 좌표 방식에 근거한 터치센서의 모양이나 배치 또는 2차원 또는 2차원 평면의 다양한 터치표면 형태와 상관없이 적용되고 사용될 수 있도록 하고, 하나 이상의 터치표면이나 좌표 방식을 조합하여 사용할 수 있도록 하여, 디자인/설계를 자유롭게 하고 일관된 입력방식을 가능하게 한다.

또한 본 발명은 멀티터치 제스처를 이용하여, 사용자가 배우거나 기억하기 쉽고 직관적이며 다양한 제스처를 사용하여 하나의 입력장치만으로도 광범위한 입력과 선택을 입력하고 처리할 수 있도록 한다.

그리고, 본 발명은 터치접촉 또는 제스처를 이용하여, 다른 터치접촉 또는 제스처의 인식 또는 처리를 활성화/비활성화하여 의도하지 않은 터치표면 입력의 인식이나 처리를 막을 수 있게 한다.

전술한 모든 내용에 의하여, 크고 작은 광범위한 기기에서 촉각만으로 감지하여 조작이 가능하고 다양한 기능의 입력과 선택을 가능하게 하는 입력장치와 사용자가 배우고 사용하기 쉬운 멀티터치 제스처를 통한 직관적이고 유기적인 조작 방법을 제공하며, 광범위하게 결합하고 적용하기 쉬운 형태로 이러한 멀티터치 입력장치, 사용자 인터페이스 및 그 방법을 구현하는 기술을 제공하는 것을 목적으로 한다.

본 발명은 2차원 또는 3차원 표면에서 원, 타원, 삼각형 이상의 다각형, 사다리꼴과 환형 고리 형태 및 다양한 폐곡선 형태를 포함하는 루프 형태와 더불어, 촉각으로 주위와 구분되거나, 그 경계, 그 특정 부분이나 전체의 위치 또는 모양을 감지할 수 있는 택타일(tactile) 특성을 갖는 루프 형태의 택타일 터치표면; 상기 터치표면의 물리적 택타일 특성 이외의 진동, 온도, 자성, 또는 전기적 자극 등 촉각으로 감지할 수 있는 택타일 특성을 선택적으로 출력하는 능동형 택타일 특성출력부; 터치접촉 또는 터치 제스처의 인식이나 처리에 대한 피드백을 출력하는 멀티터치 피드백출력부; 및 하나 이상의 멀티터치 제스처를 인식하거나 처리하는 멀티터치 인식처리부를 포함하고, 상기 멀티터치 인식처리부는 상기 루프 형태의 택타일 터치표면에서 입력된 터치접촉 또는 제스처, 멀티터치 제스처를 인식하거나 인식하고 처리하는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 사용자가 촉각만으로 다양한 입력 또는 선택 기능을 조작할 수 있는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 상기 택타일 특성은 촉각으로 구분할 수 있는 다양한 물리적 특성 - 재질, 질감, 굴곡과 요철을 포함함 -을 포함하는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 조건 및 설정에 따라 출력하는 능동형 택타일 특성 - 진동, 온도, 자성, 또는 전기적 자극 등 -을 포함하는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 상기 루프 형태의 택타일 터치표면은 정전압 터치(capacitive touch) 방식 또는 감압 방식(resistive or pressure-sensitive) 또는 광학(optical sensor) 방식의 터치표면을 사용하거나 혼용할 수 있는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 상기 루프 형태의 택타일 터치표면은 하나의 단일 터치표면 또는 여러 개의 터치표면의 조합으로 구성할 수 있으며, 그 센서의 모양이나 배치 등에 따른 직교좌표 (또는 데카르트 좌표; rectangular coordinate system, or Cartesian coordinate system), 극좌표(polar coordinate system), 또는 원통좌표(cylindrical coordinate system) 방식의 터치표면 중의 하나를 사용하거나 둘 이상을 혼용할 수 있는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 상기 멀티터치 인식처리부는 상기 택타일 터치표면들의 구성이나 그에 따른 좌표 방식을 적절히 변환할 수 있으며, 둘 이상의 터치표면들로 구성된 경우 하나의 통합된 가상 터치표면으로 인식하여 각각의 터치표면의 배치와 좌표 등에 따라 터치접촉의 인식 또는 처리를 할 수 있는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 상기 멀티터치 인식처리부는 상기 루프 형태의 택타일 터치표면에서 극좌표의 각이 360동 이상의 값을 가질 때 그 값을 360도 미만으로 보정하거나, 상기 루프형태의 터치표면이 그 루프의 일부 구간에서 공백(space 또는 gap)을 포함할 때, 이를 반영하여 터치접촉의 좌표를 보정할 수 있는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 상기 멀티터치 인식처리부는 터치접촉의 크기, 신호강도, 개수, 절대적 또는 상대적 위치 등 다양한 조건을 고려하여, 점 접촉(point contact)와 선 접촉(line contact) 및 면 접촉(full area contact)을 구분하고, '탭(tap)', '홀드(hold)', '끌기(drag/stroke/flick)', '연속(series/multiple)', '닻 내린 끌기(anchored drake/storke/flick)'와 '닻 내린 연속(anchored series/multiple)' 제스처 및 멀티터치 제스처를 인식하여 처리하는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 상기 터치접촉 또는 터치 제스처의 인식이나 처리, 또는 그 처리 결과를 소리, 진동, 온도, 전기적 자극, 또는 소리나 진동을 위한 전기신호의 형태로 피드백을 제공하는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 일면에 따르면, 상기 루프 형태의 택타일 터치표면을 다이얼 등 회전형태의 입력장치나 버튼과 같은 입력장치와 결합하여 더욱 다양한 입력/선택 기능을 구현하는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 다른 일면에 따르면, 스마트 워치 등 웨어러블 기기나 스마트 폰 등의 스크린 장치 또는 터치스크린을 포함하는 기기에서 상기 루프 형태의 택타일 터치표면을 터치스크린이나 화면 주위 또는 그 기기 둘레에 다양한 모양의 테두리 또는 베젤 형태로 구현할 수 있는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 다른 일면에 따르면, 음향기기나 디지털 카메라 등 다양한 디지털 기기에서 상기 루프 형태의 택타일 터치표면을 다이얼 손잡이 등의 표면에 구현할 수 있는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 다른 일면에 따르면, 자동차의 스티어링 휠에서 상기 루프 형태의 택타일 터치표면을 그 둘레 표면 또는 주위에 구현할 수 있는 택타일 멀티터치 입력장치 시스템을 제공한다.

본 발명의 구성에 따르면, 사용자는 촉각만으로도 광범위한 기기와 환경에서 - 스마트 폰이나 카메라, 스마트 워치는 물론, 자동차 운전석 등에서 - 터치 및 멀티터치를 조합한 여러 제스처를 통하여 다양한 기능의 입력이나 선택이 가능하다.

본 발명의 구성에 따르면, 손가락 끝을 이용한 점 접촉 이외에 면을 이용한 선 접촉 및 손바닥 등을 이용한 전체 접촉 등을 인식할 수 있다.

본 발명의 구성에 따르면, 다양한 루프 형태의 터치표면에서 하나 이상의 손, 손가락이나 손바닥 등을 이용하여 쉽고 직관적인 '탭', '홀드', '끌기', '연속', '닻 내림 끌기', 및 '닻 내림 연속' 등 다양한 제스처 또는 멀티터치 제스처와 이들의 조합을 입력하고, 그 접촉의 개수나 위치 등에 따라 다양한 기능을 입력할 수 있다.

또한, 본 발명의 구성에 따르면, 스마트 워치 등 웨어러블 기기나 스마트 폰 등 디스플레이 장치를 포함하는 기기에서 화면 주위 또는 화면이나 기기의 둘레에 테두리 또는 베젤 형태로 루프 형태의 터치표면을 구현하여, 원이나 타원 또는 사각형이나 그 이상의 다각형 등 2차원 또는 3차원 표면에서 다양한 모양을 가진 루프 형태의 터치표면을 구현할 수 있다.

또한, 본 발명의 구성에 따르면, 스마트 워치 등 웨어러블 기기나 스마트 폰 등 디스플레이 장치를 포함하는 기기에서 화면 주위 또는 화면이나 기기의 둘레에 테두리 또는 베젤 형태로 루프 형태의 터치표면을 구현하여, 크기가 작거나 공간이 부족한 소형 기기에서 다양한 기능의 입력이나 선택이 가능하게 하며, 직관적인 사용자 인터페이스를 제공한다.

또한, 본 발명의 구성에 따르면, 스마트 워치 등 웨어러블 기기나 스마트 폰 등 터치스크린을 포함하는 기기에서, 터치스크린 주위 또는 터치스크린이나 기기의 둘레에 테두리 또는 베젤 형태로 루프 형태의 터치표면을 배치하여, 터치 및 제스처 조작 시 그 조작을 하는 손이나 손가락이 화면을 가리지 않도록 하여 화면의 효용성과 가독성을 높일 수 있다.

또한, 본 발명의 구성에 따르면, 스마트 워치 등 웨어러블 기기나 스마트 폰 등 터치스크린을 포함하는 기기에서, 터치스크린 주위 또는 터치스크린이나 기기의 둘레에 테두리 또는 베젤 형태로 루프 형태의 터치표면을 배치하여, 터치스크린이 꺼지거나 잠긴 상태로도 상기 루프 형태의 터치표면에 터치 및 제스처를 통해 조작할 수 있다.

또한, 본 발명의 구성에 따르면, 스마트 워치 등 웨어러블 기기나 스마트 폰 등 터치스크린을 포함하는 기기에서, 터치스크린 주위 또는 터치스크린이나 기기의 둘레에 테두리 또는 베젤 형태로 루프 형태의 터치표면을 배치하여, 이러한 기기가 잠긴 상태를 풀거나 보안 인증을 할 때 터치스크린 대신 사용하여, 터치스크린에 눈에 띄는 흔적이나 지문을 남기지 않고 안전하게 보안정보를 입력할 수 있다.

또한, 본 발명의 구성에 따르면, 음향기기나 디지털 카메라 등 다양한 디지털 기기에서, 복잡한 버튼과 다이얼 등 회전방식 입력장치와 연결하거나 하나로 통합하여 디자인을 단순화하고 직관적인 사용성(usability)을 향상시키거나, 또는 터치표면을 다이얼이나 버튼 기능과 추가적으로 조합한 형태로 제공하여 더 다양한 조합의 입력과 선택을 가능하게 한다.

또한, 본 발명의 구성에 따르면, 음향기기나 디지털 카메라 등 다양한 디지털 기기에서, 다이얼 등 회전방식 입력장치를 연결하여, 한 손가락, 둘, 또는 세 손가락으로 돌릴 때 각각 다른 기능을 구현하도록 할 수 있다.

또한, 본 발명의 구성에 따르면, 루프 형태의 터치표면을 자동차 등 교통수단의 스티어링 휠에 구현하여, 운전자가 도로에서 눈을 떼지 않고 촉각만으로 차선변경 신호를 작동시키거나 에어컨 또는 음향 시스템/라디오 조작은 물론, 광범위하고 다양한 기능을 촉각만으로 조작하는 것이 가능하다.

또한, 본 발명의 구성에 따르면, 루프 형태의 터치표면을 자동차 등 교통수단의 스티어링 휠의 표면에 구현하여, 종래 스티어링 휠의 구조나 또는 그에 포함된 에어백 등의 구조 및 설계에 대한 영향을 최소화하거나 아무런 변경 없이 구현하는 것이 가능하다.

또한, 본 발명의 구성에 따르면, 루프 형태의 터치표면을 자동차 등 교통수단의 스티어링 휠의 표면에 구현하여, 운전자가 손을 스티어링 휠에서 전혀 떼지 않거나, 적어도 팔을 거의 움직이지 않은 채로 직관적 멀티터치 제스처를 통한 다양한 기능의 입력이 가능하다.

또한, 본 발명의 구성에 따르면, 터치표면을 자동차 등 교통수단의 스티어링 휠에 구현하여, 공통적인 기능들에 대하여 별개의 자동차 모델이나 생산 회사와 상관 없이 일관된 조작방법과 사용자 인터페이스를 제공할 수 있다.

또한, 본 발명의 구성에 따르면, 쉽고 다양한 터치 및 멀티터치 제스처를 제공하여 사용자가 쉽게 배우고 기억하고 사용하는 직관적 조작을 가능하게 한다.

또한, 본 발명의 구성에 따르면, 특정 제스처를 통해 인식이나 처리되어야 할 터치접촉 및 다른 제스처를 활성화 또는 비활성화함으로써, 터치표면에 의도하지 않은 터치나 제스처, 또는 실수로 접촉하여 생기는 오작동을 막을 수 있다.

또한, 본 발명의 구성에 따르면, 물리적으로 움직이는 부품들을 배제하거나 최소화하여 제품의 마모를 막고, 내구성을 늘리며, 구조를 단순화하여 방수처리 등 설계 및 생산을 용이하게 한다.

또한, 본 발명의 구성에 따르면, 원형이나 타원형 및 휘어진 형태 등 다양한 모양의 터치표면을 단일부품으로 특별히 디자인하거나 제조하지 않아도 여러 개의 터치표면들을 조합하여 단일 터치표면처럼 통합적으로 작동하는 터치표면과 입력장치의 구현이 가능하다.

또한, 본 발명의 구성에 따르면, 터치표면에 사용되는 센서의 형태가 x-y 좌표 형태로 구성된 직교(데카르트)좌표 형태로 배치되는 경우나 원형 또는 타원형 등 극좌표 형태의 센서 배치, 또는 3차원의 환형 고리형태 표면 위의 센서 배치 등, 그 좌표체계나 구성에 상관없이 터치접촉의 좌표를 적절히 변환하거나 인식하여 다양한 터치표면 또는 센서의 배치가 가능하다.

또한, 본 발명의 구성에 따르면, x-y 좌표 형태의 직교(데카르트)좌표나 원형 또는 타원형 등 극좌표 형태로 센서가 다른 형태로 배치된 터치표면을 혼용하거나, 센서의 배치를 혼용할 수 있어, 원형과 직사각형 이외에도 다양한 굴곡과 직선이 섞여있는 형태의 터치표면을 구성하고 인식하거나 처리할 수 있다.

또한, 본 발명의 구성에 따르면, 터치표면 위의 전체, 일부분, 또는 그 주위에 요철이나, 돌출부위 및 양각 또는 패인부위 및 음각의 표면을 추가적으로 구성하여 촉각만으로 정확하고 다양한 조작이 가능하다.

또한, 본 발명의 구성에 따르면, 터치표면의 택타일 특성은 그 모양이나 형태, 재질 또는 촉감 등의 물리적 특성 이외에도, 촉각의 감지할 수 있는 진동, 온도, 자성, 전기적 자극 등의 택타일 특성을 출력하여 사용자에게 제공 할 수 있다.

또한, 본 발명의 구성에 따르면, 터치표면의 터치 또는 제스처를 통한 조작/입력에 대한 인식이나 그 처리결과에 대한 피드백을 - 별도의 디스플레이 장치가 없거나, 화면이 있지만 꺼지거나 잠겨 있을 경우에도 - 출력하여 사용자에게 제공 할 수 있다.

도 1은 다양한 종래기술들과 인용발명들의 예시를 나타낸 도면.
도 2는 본 발명의 일실시예에 따른 다양한 루프 형태의 터치표면의 구성, 형태와 상기 터치표면의 택타일 특성을 가진 터치표면의 예시를 나타낸 도면.
도 3, 4, 5, 6은 본 발명의 일실시예에 따른 다양한 멀티터치 제스처의 예시를 나타낸 도면.
도 7은 멀티터치 처리인식부가 멀티터치 제스처를 구별하여 인식하는 과정을 설명하기 위한 도면.
도 8은 루프 형태의 터치표면과 멀티터치 제스처 인식처리부의 관계, 그리고 능동형 택타일 특성출력부와 멀티터치 피드백출력부의 관계를 설명하기 위한 도면.
도 9는 본 발명의 일실시예에 따른 다이얼 등 회전방식 입력장치 또는 버튼과의 결합의 예시를 나타낸 도면.
도 10은 본 발명의 일실시예에 따른 루프 형태의 택타일 멀티터치 입력장치 시스템을 구현한 스마트 워치, 스티어링 휠, 그리고 디지털 카메라 및 그 제스처의 예시를 나타낸 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 1은 다양한 종래 기술들을 나타낸 것이다.

본 발명에서 터치접촉(touch or contact)이란 손가락 또는 인식되어야 할 물체가 터치센서가 존재하는 터치표면에 접촉하여 감지되는 것을 의미한다.

본 발명에서 터치표면(touch surface)이란 하나 이상의 터치 접촉을 인식할 수 있는 터치센서를 가진 표면을 의미하는 것으로서, 손가락이나 기타 물체가 상기 터치표면에 접촉하는 것을 감지할 수 있다.

도 2는 본 발명의 일실시예에 따른 다양한 터치표면의 루프 형태 및 그 구성, 그리고 택타일 특성을 가지기 위한 표면의 형태나 요철 등의 특징을 나타낸 것이다.

본 발명에서 택타일 특성(tactile property)이란 촉각으로 감지하거나 구별할 수 있는 다양한 특성을 의미하는 것으로서, 표면의 재질, 질감, 굴곡과 요철 등을 포함한다. 일반적인 평평하고 균일한 터치패드 등의 터치표면과 달리, 본 발명은 상기 터치표면에 택타일 특성을 부여하여 사용자는 촉각만으로도 그 모양이나 위치를 인지할 수 있게 한다.

본 발명에서 싱글터치(Single-touch)란 손가락 등의 물체가 오직 하나만 동시에 그 접촉이 감지, 인식되거나 처리 될 수 있다는 것을 의미하는 것이다.

본 발명에서 멀티터치(Multi-touch)란 손가락 등 둘 이상의 물체가 단일 터치 입력장치에 동시에 접촉하여 감지, 인식되거나 처리 될 수 있다는 것을 의미하는 것으로서, 본 발명은 하나의 멀티터치가 가능한 단일 터치표면, 또는 여러 개의 싱글터치 터치표면, 또는 싱글터치 터치표면과 멀티터치 터치표면의 조합으로서 구성이 가능하다.

멀티터치 인식처리부는 도 7을 통해 후술한다.

도 3과 도4는 비교적 작은 루프 형태의 택타일 터치 표면에서의 멀티터치 제스처와 그 제스처 접촉방식의 다양한 예시를 나타낸 것으로, 스마트 워치 등 웨어러블 기기나, 스마트 폰 및 디지털 카메라와 같은 기기에 적용할 수 있다.

도 5와 도 6는 비교적 큰 루프 형태의 택타일 터치 표면에서의 멀티터치 제스처와 그 제스처 접촉방식의 다양한 예시를 나타낸 것으로, 자동차의 스티어링 휠과 같은 기기에 적용할 수 있다.

본 발명에서 직교좌표()란 수학의 직교좌표 방식처럼 x와 y축의 좌표의 조합으로 터치표면에서 터치접촉의 위치를 지정하는 방법을 의미한다.

본 발명에서 극좌표()란 수학의 극좌표 방식처럼 터치표면의 루프 형태 중간 또는 임의적 위치를 중심으로, 그 각도만으로 또는 그 각도 및 중심부나 표면에서의 거리를 통해 터치표면에서 터치접촉의 위치를 지정하는 방법을 의미한다.

본 발명에서 원통좌표()란 수학의 원통좌표 방식처럼 터치표면에서 터치접촉의 위치를 지정하는 방법을 의미한다.

도 7은 멀티터치 인식처리부가 다양한 멀티터치를 인식하는 과정을 나타낸 것으로, 본 발명에서 멀티터치 인식처리부는 상기 루프 형태의 택타일 터치표면에서 입력된 하나 이상의 터치접촉을 감지하고, 인식된 제스처를 '탭(tap)', '홀드(hold)', '끌기(drag/stroke/flick)', '연속(series/multiple)', 및 '닻 내린 끌기(anchored drag/stroke/flick)'와 '닻 내린 연속(anchored series)' 등으로 나누어 인식한다. 또한, 멀티터치 인식처리부는 도 8에서 나타내는 것처럼 직교좌표나 극좌표 및 원통좌표 등의 좌표 방식에 상관없이 터치표면을 연결하거나 혼용하여도 작동하며, 이러한 좌표 방식간의 변환을 할 수 있다.

도 8은 위에 언급된 터치표면 좌표 방식간의 호환성과 더불어 능동형 택타일 특성출력부와 멀티터치 피드백출력부를 나타낸 것으로, 멀티터치 인식처리부가 감지된 터치접촉에 대하여 능동형 택타일 특성출력부를 통해 진동이나 소리 등 능동형 택타일 특성을 출력하거나, 또는 멀티터치 피드백출력부와 연결하여 멀티터치 제스처의 인식여부, 활성화/비활성화 여부, 또는 그 처리여부나 처리 결과를 출력하는 것이 가능하다.

도 9는 본 발명에서, 상기 택타일 멀티터치 표면이 다이얼 등의 회전방식의 입력장치나 버튼과 결합하는 방법의 예시를 나타낸다. 본 발명에서, 다이얼을 추가로 포함하여 결합된 루프 형태의 멀티터치 입력장치는, 일반 다이얼 스위치와 달리 한 손가락으로 돌려 작동할 때와 둘 이나 셋 각각 다른 숫자의 손가락으로 작동하여 각기 다른 입력이나 선택 기능을 구현할 수 있다.

도 10은 본 발명이 스마트 워치와 스티어링 휠, 그리고 디지털 카메라에 구현된 실시예를 나타낸다.

본 발명에서, 상기 택타일 멀티터치 표면은 스마트 워치나 스마트 폰의 베젤 또는 테두리 형태로 실시되어, 다른 입력장치를 포함할 공간이 부족한 경우에도 멀티터치 제스처를 통한 다양한고 직관적인 입력 및 선택을 할 수 있으며, 특히, 터치 스크린이 존재하는 경우에도 화면을 가리지 않고 조작이 가능하다.

본 발명에서, 상기 택타일 멀티터치 표면은 스티어링 휠의 표면에 구현되어, 운전자가 운전 중 길에서 시선을 옮기거나 스티어링 휠에서 팔을 움직이지 않고 다양한 조작이 가능하다.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

루프 형태 - 2차원 또는 3차원 표면에서 원, 타원, 삼각형 이상의 다각형, 사다리꼴과 환형 고리 형태 및 다양한 폐곡선 형태를 포함함 - 와 택타일 특성 - 각으로 주위와 구분되거나, 그 경계, 그 특정 부분이나 전체의 위치 또는 모양을 감지할 수 있음 - 을 가지는 터치표면; 및
상기 터치표면의 터치접촉에 대하여, 하나 이상의 멀티터치 제스처를 인식하거나 처리하는 멀티터치 인식처리부
를 포함하는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 루프 형태는
완전히 연결되지 않고 구간 일부가 끊기거나 둘 이상으로 분리된 루프 형태
를 갖는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 택타일 특성은
촉각으로 구분할 수 있는 표면의 재질, 질감, 굴곡과 요철을 포함하는 상기 터치표면의 특성
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 택타일 특성은
촉각으로 구분할 수 있는 표면의 재질, 질감, 굴곡과 요철을 포함하는 상기 터치표면 주변의 특성
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
하나의 단일 터치표면으로 구성
되는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
여러 개의 단일 터치표면으로 구성
되는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
정전압 터치(capacitive touch) 방식
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
감압(resistive or pressure-sensitive) 방식
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
두 가지 이상의 센서 방식을 동시에 사용
하는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
직교좌표 (또는 데카르트 좌표; rectangular coordinate system, or Cartesian coordinate system) 방식
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
극좌표 (polar coordinate system)방식
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
직교좌표 (또는 데카르트 좌표) 방식과 극좌표 방식의 조합
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
원통좌표 (cylindrical coordinate system)
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 터치표면은
직교좌표 (또는 데카르트 좌표) 방식, 극좌표 방식과 원통좌표 방식 중 적어도 둘의 조합
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 멀티터치 인식처리부는
둘 이상의 제스처를 인식하고, 하나 이상의 제스처가 다른 하나 이상의 제스처의 인식이나 처리를 활성화 또는 비활성화하는 멀티터치 인식처리부
를 포함하는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 멀티터치 인식처리부는
상기 터치표면에서 터치접촉 위치의 좌표 값을 필요나 설정에 따라 직교 좌표(데카르트 좌표) - 2차원 직사각형 평면의 x축과 y축에 기준하는 좌표 방식 -, 극좌표, 구면좌표 간에 변환하거나; 상기 터치표면이 극좌표를 사용하고 그 극좌표의 각이 360도 이상의 값을 가질 때 그 값을 360도 미만으로 보정하거나; 상기 터치 표면이 둘 이상의 단일 터치표면으로 구성될 때, 상기 터치표면 전체에 대한 각 단일 터치표면의 위치 또는 배치에 따라 가상좌표를 구성하고 ?ː♣?단일 터치표면에서의 좌표를 상기 터치표면 전체에 대한 가상좌표로 변환하거나 또는 그 반대로 변환하는 것; 이러한 터치표면들의 루프 형태의 구간에 공백(space or gap)을 포함할 때, 이러한 공백을 반영하여 상기 가상좌표를 보정하는 것들 중 적어도 하나
를 포함하는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 멀티터치 인식처리부는
터치접촉의 상대적 또는 절대적 크기나 신호강도, 터치접촉의 개수, 터치접촉의 크기나 신호강도나 개수의 변화, 터치접촉들 간의 간격 및 이러한 간격의 변화 중 적어도 한가지를 이용하여, 손가락이나 손바닥의 마디 또는 굴곡에 따라 발생하는 간격과 여러 개의 손가락 접촉을 구별하여 인식하는 것
을 포함하는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 멀티터치 인식처리부는
터치접촉의 개수, 각 터치접촉의 절대적 또는 상대적 크기나 신호강도, 크기나 신호강도의 변화, 각 터치접촉의 절대적 또는 상대적 위치나 각도, 둘 이상 접촉 간의 절대적 또는 상대적 거리나 각도, 크기나 신호강도가 다른 둘 이상 접촉 간의 상대적 배치 중 적어도 하나 이상과 접촉의 시간길이를 이용하여 '탭(tap)' 제스처 또는 '홀드(hold)' 제스처를 구별하거나 인식 및 처리하고, 이때 둘 이상의 터치접촉이 동시에 감지되면 멀티터치 제스처로 인식 및 처리하는 것
을 포함하는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 멀티터치 인식처리부는
터치접촉의 개수, 각 터치접촉의 절대적 또는 상대적 크기나 신호강도, 크기나 신호강도의 변화, 각 터치접촉의 시간길이, 각 터치접촉의 절대적 또는 상대적 위치나 각도, 둘 이상 접촉 간의 절대적 또는 상대적 거리나 각도, 크기나 신호강도나 이동여부가 다른 둘 이상 접촉 간의 상대적 배치, 터치접촉의 절대적 또는 상대적 이동거리나 이동각도, 터치접촉의 이동방향 중 적어도 하나 이상과 접촉의 이동여부를 이용하여 '끌기(drag/stroke/flick)' 제스처를 구별?構킬?인식 및 처리하고, 이때 둘 이상의 터치접촉이 동시에 감지되면 멀티터치 제스처로 인식 및 처리하는 것
을 포함하는 택타일 멀티터치 입력장치 시스템.
제19항에 있어서, 상기 멀티터치 인식처리부는
둘 이상의 터치접촉이 동시에 감지되고, 하나 이상의 터치접촉이 이동하는 동안 하나 이상의 터치접촉이 고정되면 '닻 내린 끌기 (anchored drag/stroke/flick)' 제스처로 구별하거나 인식 및 처리하는 것
을 포함하는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서, 상기 멀티터치 인식처리부는
터치접촉의 개수, 각 터치접촉의 절대적 또는 상대적 크기나 신호강도, 크기나 신호강도의 변화, 이동여부, 각 터치접촉의 시간길이, 각 터치접촉의 절대적 또는 상대적 위치나 각도, 둘 이상 접촉 간의 절대적 또는 상대적 거리나 각도, 크기나 신호강도나 이동여부가 다른 둘 이상 접촉 간의 상대적 배치, 터치접촉의 절대적 또는 상대적 이동거리나 이동각도, 터치접촉의 이동방향, 연속접촉간의 절대적 또는 상대적 거리나 각도, 연속접촉중의 지속적 접촉여부 중 ?壺諍?하나 이상과 연속접촉 - 설정된 시간 이내에 터치접촉이 연속적으로 입력되는 - 의 횟수를 이용하여 '연속(series/multiple)' 제스처를 구별하거나 인식 및 처리하고, 이때 둘 이상의 터치접촉이 1회 이상 동시에 감지되면 멀티터치 제스처로 인식 및 처리하는 것
을 포함하는 택타일 멀티터치 입력장치 시스템.
제21항에 있어서, 상기 멀티터치 인식처리부는
둘 이상의 터치접촉이 1회 이상 동시에 감지되고, 2회 이상 연속하여 터치접촉이 일어나는 동안 하나 이상의 터치접촉이 계속하여 지속되면 '닻 내린 연속 (anchored series/multiple)' 제스처로 구별하거나 인식 및 처리하는 것
을 포함하는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서,
상기 터치표면에 촉각으로 감지할 수 있는 진동, 온도, 자성, 또는 전기적 자극 중 적어도 하나를 포함하는 택타일 특성을 선택적으로 출력하는 능동형 택타일 특성출력부
를 더 포함하는 택타일 멀티터치 입력장치 시스템.
제1항에 있어서,
소리, 진동, 온도, 전기적 자극, 또는 소리나 진동을 위한 전기신호를 통하여, 터치접촉 또는 터치 제스처의 인식이나 처리 또는 그 처리 결과에 대한 피드백을 출력하는 멀티터치 피드백출력부
를 더 포함하는 택타일 멀티터치 입력장치 시스템.
제24항에 있어서, 상기 멀티터치 피드백출력부는
터치접촉의 상대적 또는 절대적 크기나 신호강도, 터치접촉의 개수, 터치접촉의 크기나 신호강도나 개수의 변화, 터치 제스처의 종류, 터치 제스처의 형태, 터치 제스처의 인식여부, 터치 제스처의 인식결과, 터치 제스처의 처리여부, 터치 제스처의 처리결과 중 적어도 하나 이상을 이용하여 피드백을 선택하여 출력하는 것
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서,
회전축, 회전부위, 및 회전상태센서를 포함하는 회전방식 입력장치 - 스티어링 휠, 회전 스위치 및 다이얼 형태의 입력장치를 포함함 -를 더 포함하고, 상기 회전방식 입력장치는 상기 터치표면을 포함하거나 상기 회전방식 입력장치의 회전부위에 연결하여 설치하고, 상기 멀티터치 인식처리부는 상기 회전방식 입력장치의 상태 - 절대적 또는 상대적 회전 거리나 각도, 또는 상기 회전상태센서의 값 -에 따라 터치 제스처의 인식 또는 처리를 달리하는 것
인 택타일 멀티터치 입력장치 시스템.
제1항에 있어서,
하나 이상의 누르기(push) 버튼 입력장치를 더 포함하고, 상기 누르기(push) 버튼 입력장치는 상기 터치표면을 포함하거나 상기 터치표면 아래에 하나 이상 연결하여 설치하고, 상기 멀티터치 인식처리부는 상기 누르기(push) 버튼 입력장치의 상태에 따라 터치 제스처의 인식 또는 처리를 달리하는 것
인 택타일 멀티터치 입력장치 시스템.
루프 형태 - 2차원 또는 3차원 표면에서 원, 타원, 삼각형 이상의 다각형, 사다리꼴과 환형 고리 형태 및 다양한 폐곡선 형태를 포함함 -와 택타일 특성 - 촉각으로 주위와 구분되거나, 그 경계, 위치 또는 모양을 감지할 수 있음 -을 가지는 터치표면;
디스플레이 장치; 및
상기 터치표면의 터치접촉에 대하여, 하나 이상의 멀티터치 제스처를 인식하거나 처리하는 멀티터치 인식처리부를 포함하고,
상기 터치표면은 상기 디스플레이 장치를 중심으로 그 디스플레이 장치를 포함하는 기기의 둘레나 그 디스플레이 장치의 둘레 또는 주변에, 테두리 또는 베젤의 형태로 구성되며,
스마트 워치를 포함하는 웨어러블 기기; 스마트 폰, 태블릿을 포함하는 스마트 기기; 또는 디지털 카메라와 뮤직플레이어를 포함하는 디지털 기기에 연결
되는 택타일 멀티터치 입력장치 시스템.
제28항에 있어서, 상기 멀티터치 제스처는
둘 이상 터치접촉의 '탭(tap)'이나 '홀드(hold)' 또는 '연속(series or multiple)' 중 적어도 하나를 포함하는 것
인 택타일 멀티터치 입력장치 시스템.
루프 형태 - 2차원 또는 3차원 표면에서 원, 타원, 삼각형 이상의 다각형, 사다리꼴과 환형 고리 형태 및 다양한 폐곡선 형태를 포함함 -와 택타일 특성 - 촉각으로 주위와 구분되거나, 그 경계, 위치 또는 모양을 감지할 수 있음 -을 가지는 터치표면;
스티어링 휠 장치; 및
상기 터치표면의 터치 접촉에 대하여, 하나 이상의 멀티터치 제스처를 인식하거나 처리하는 멀티터치 인식처리부를 포함하고,
상기 터치표면은 상기 스티어링 휠 장치의 손잡이 표면을 따라 루프 형태로 구성되며, 스티어링 휠 장치를 포함하는 자동차에 연결
되는 택타일 멀티터치 입력장치 시스템.
제30항에 있어서, 상기 멀티터치 제스처는
둘 이상 터치접촉의 '탭(tap)'이나 '홀드(hold)' 또는 '연속(series or multiple)' 중 적어도 하나를 포함하는 것
인 택타일 멀티터치 입력장치 시스템.
택타일 특성을 가진 루프 형태의 터치표면을 갖거나 연결한 장치에서,
상기 택타일 특성은 상기 터치표면의 경계, 그 특정 부분이나 전체의 위치 또는 모양을 감지할 수 있는 특성이며 재질, 질감, 굴곡, 요철, 온도 및 진동을 포함하고, 상기 루프 형태는 2차원 또는 3차원 표면에서 원, 타원, 삼각형 이상의 다각형, 사다리꼴과 환형 고리 형태, 다양한 폐곡선 형태, 및 완전히 연결되지 않고 구간 일부가 끊기거나 둘 이상으로 분리된 루프 형태를 포함하며, 상기 터치표면은 감압(resistive or pressure-sensitive) 방식이거나 정전압 터치(capacitive touch) 방식이고, 상기 터치표면에서 동시에 일어나는 둘 이상의 터치접촉을 감지하고 이를 멀티터치 제스처로 인식하거나 처리하는 것
을 포함하는 방법
제 32항에 있어서,
상기 멀티터치 제스처는 터치접촉의 개수, 각 터치접촉의 절대적 또는 상대적 크기나 신호강도, 크기나 신호강도의 변화, 이동여부, 각 터치접촉의 시간길이, 각 터치접촉의 절대적 또는 상대적 위치나 각도, 둘 이상 접촉 간의 절대적 또는 상대적 거리나 각도, 크기나 신호강도나 이동여부가 다른 둘 이상 접촉 간의 상대적 배치, 터치접촉의 절대적 또는 상대적 이동거리나 이동각도, 터치접촉의 이동방향, 하나 이상과 접촉의 이동여부, 또는 설정된 시간 이내에 터치접촉이 연속적으로 입력?풔?터치접촉의 횟수 중 적어도 하나 이상을 이용하여 다르게 인식되거나 처리되는 것
을 포함하는 방법
택타일 특성을 가진 루프 형태의 터치표면과 디스플레이 장치를 갖거나 연결한 장치에서,
상기 터치표면이 상기 디스플레이 장치의 둘레 또는 주변에, 테두리 또는 베젤의 형태로 구현되며, 상기 택타일 특성은 상기 터치표면의 경계, 그 특정 부분이나 전체의 위치 또는 모양을 감지할 수 있는 특성이며 재질, 질감, 굴곡, 요철, 온도 및 진동을 포함하고, 상기 루프 형태는 2차원 또는 3차원 표면에서 원, 타원, 삼각형 이상의 다각형, 사다리꼴과 환형 고리 형태, 다양한 폐곡선 형태, 및 완전히 연결되지 않고 ?린?일부가 끊기거나 둘 이상으로 분리된 루프 형태를 포함하며, 상기 터치표면은 감압(resistive or pressure-sensitive) 방식이거나 정전압 터치(capacitive touch) 방식이고, 상기 터치표면에서 동시에 일어나는 둘 이상의 터치접촉을 감지하고 이를 멀티터치 제스처로 인식하거나 처리하는 것
을 포함하는 방법
택타일 특성을 가진 루프 형태의 터치표면과 스티어링 휠 장치를 갖거나 연결한 장치에서,
상기 택타일 특성은 상기 터치표면의 경계, 그 특정 부분이나 전체의 위치 또는 모양을 감지할 수 있는 특성이며 재질, 질감, 굴곡, 요철, 온도 및 진동을 포함하고, 상기 루프 형태는 2차원 또는 3차원 표면에서 원, 타원, 삼각형 이상의 다각형, 사다리꼴과 환형 고리 형태, 다양한 폐곡선 형태, 및 완전히 연결되지 않고 구간 일부가 끊기거나 둘 이상으로 분리된 루프 형태를 포함하며, 상기 터치표면은 감압(resistive or pressure-sensitive) 방식이거나 정전압 터치(capacitive touch) 방식이고, 상기 터치표면에서 동시에 일어나는 둘 이상의 터치접촉을 감지하고 이를 멀티터치 제스처로 인식하거나 처리하는 것
을 포함하는 방법