KR101166529B1 - 햅틱 렌더링 생성장치, 터치데이터를 인코딩하는 방법, 인코딩이미지를 이용한 햅틱 렌더링 생성방법 및 그 기록매체 - Google Patents

햅틱 렌더링 생성장치, 터치데이터를 인코딩하는 방법, 인코딩이미지를 이용한 햅틱 렌더링 생성방법 및 그 기록매체 Download PDF

Info

Publication number
KR101166529B1
KR101166529B1 KR1020100084999A KR20100084999A KR101166529B1 KR 101166529 B1 KR101166529 B1 KR 101166529B1 KR 1020100084999 A KR1020100084999 A KR 1020100084999A KR 20100084999 A KR20100084999 A KR 20100084999A KR 101166529 B1 KR101166529 B1 KR 101166529B1
Authority
KR
South Korea
Prior art keywords
touch
data
image
touch data
control means
Prior art date
Application number
KR1020100084999A
Other languages
English (en)
Other versions
KR20120021000A (ko
Inventor
김승찬
양정연
임수철
경기욱
권동수
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020100084999A priority Critical patent/KR101166529B1/ko
Publication of KR20120021000A publication Critical patent/KR20120021000A/ko
Application granted granted Critical
Publication of KR101166529B1 publication Critical patent/KR101166529B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자가 터치 단말기에 입력한 터치데이터를 기능의 관점에서 이용하기 보다는 사람의 감성을 남길 수 있는 터치데이터를 인코딩하는 방법, 햅틱 렌더링 장치 및 방법 에 관한 것이다. 이를 위해, 터치데이터가 입력되는 터치기기(20); 터치데이터가 포함된 인코딩이미지(50)를 디코딩하여 터치데이터를 추출하는 디코딩수단(500); 터치데이터를 햅틱 렌더링하여 가상환경을 제공하는 제어수단(400); 및 터치데이터를 저장하고, 제어수단(400)의 제어 프로그램을 저장하는 저장수단(300);을 포함하는 것을 특징으로 하는 터치데이터를 이용한 햅틱 렌더링 생성장치가 개시된다.

Description

햅틱 렌더링 생성장치, 터치데이터를 인코딩하는 방법, 인코딩이미지를 이용한 햅틱 렌더링 생성방법 및 그 기록매체 {Apparatus of generating haptic rendering, method of encoding touch data, generating haptic rendering and recording medium thereof}
본 발명은 사용자가 사진과 같은 일반 이미지에 터치데이터를 인코딩하고 이를 이용하여 햅틱 렌더링을 수행할 수 있도록 하게 하는 방법에 관한 것으로서, 보다 상세하게는 사용자가 터치 단말기에 터치데이터를 생성한 후 이를 이미지파일에 인코딩하고, 인코딩된 이미지를 이용하여 햅틱 렌더링을 생성하는 햅틱 렌더링 생성장치와 사용자 터치데이터를 인코딩하는 방법 및 인코딩이미지를 이용한 햅틱 렌더링 생성방법에 관한 것이다.
일반적으로 햅틱 피드백(haptic feedback)은 키보드와 마우스, 조이스틱, 터치스크린 등과 같은 입력장치를 통해 촉감과 힘, 운동감 등을 느끼게 하는 기술이다. 특히, 피부가 느끼는 촉감을 이용하는 촉각 피드백에 관한 기술은 비교적 구현하기가 용이하기 때문에 핸드폰, PDA 등과 같은 휴대기기의 터치컨트롤 인터페이스에 널리 적용되고 있다. 또한, 촉각 피드백은 기기의 조작감을 향상시키며 사용자에게 현실감과 몰입감을 제공하는 이점이 있어 다양한 느낌의 촉감을 구현할 수 있는 기술이 개발되고 있다.
한편, 최근에는 스마트폰 등의 영향으로 터치 단말기가 많이 사용되는 추세이며 이러한 터치는 기능의 관점에서 널리 활용되고 있다. 일예로 아이콘 드래그, 터치입력 등의 기능이 터치 단말기에 구현되어 사용되고 있다.
그러나, 터치 데이터는 기능의 초점을 넘어서 사람의 감성을 남길 수 있다는 점에서 중요한 역할을 한다. 따라서 사용자의 터치 단말기에 감성을 넣을 수 있는 기술의 개발이 요구되고 있어 왔다.
따라서 본 발명이 속하는 기술 분야에서는 터치 단말기 등에 사용자가 그린 터치데이터를 원이미지에 인코딩하고, 인코딩이미지를 이용하여 햅틱 렌더링 생성하여 감성을 전달할 수 있는 햅틱 렌더링 생성장치의 개발을 요하고 있었다.
따라서, 본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 사용자가 터치 단말기에 입력한 터치데이터를 기능의 관점에서 이용하기 보다는 사람의 감성을 남길 수 있는 햅틱 렌더링 생성방법 및 장치를 제공하는데 그 목적이 있다.
그리고, 사용자가 터치 단말기에 입력한 터치데이터를 생성하여 원이미지에 인코딩하는 방법을 제공하는데 그 목적이 있다.
전술한 본 발명의 목적은, 터치데이터가 입력되는 터치기기(20); 터치데이터가 포함된 인코딩이미지(50)를 디코딩하여 터치데이터를 추출하는 디코딩수단(500); 터치데이터를 햅틱 렌더링하여 가상환경을 제공하는 제어수단(400); 및 터치데이터를 저장하고, 제어수단(400)의 제어 프로그램을 저장하는 저장수단(300);을 포함하는 것을 특징으로 하는 터치데이터를 이용한 햅틱 렌더링 생성장치를 제공함으로써 달성될 수 있다.
또한, 터치데이터는 터치이미지(30) 또는 메타데이터로서, 터치데이터의 데이터(70)는 2차원 값 또는 그레이 스케일 이미지 값으로 이루어지는 것이 바람직하다.
그리고, 제어수단(400)은 터치데이터의 데이터(70)가 2차원 값인 경우에는 그레이 스케일 이미지 값으로 변환하는 것이 바람직하다.
한편, 본 발명의 목적은 다른 카테고리로서, 터치기기(20)가 터치데이터를 입력받는 제 1 단계(S110); 제어수단(400)이 터치데이터의 헤더(60) 및 데이터(70)를 생성하는 제 2 단계(S120); 압축수단(200)이 터치데이터를 압축하는 제 3 단계(S130); 인코딩수단(100)이 압축된 터치데이터를 원이미지(40)에 인코딩하여 인코딩이미지(50)를 생성하는 제 4 단계(S140); 및 제어수단(400)이 인코딩이미지(50)를 터치기기(20)에 저장하는 제 5 단계(S150);를 포함하는 것을 특징으로 하는 터치이미지를 인코딩하는 방법을 제공함으로써 달성될 수 있다.
또한, 제 1 단계는(S110)의 터치데이터는 터치이미지(30) 또는 메타데이터로서, 터치이미지(30)는 포인팅장치(10)를 이용하여 터치기기(20)에 복수의 터치이미지(30)를 입력하는 것이 바람직하다.
또한, 터치데이터는 2차원 값 또는 3차원 값으로 이루어질 수 있다.
또한, 제 2 단계(S120)의 헤더(60)는, 터치데이터의 갯수(61), 터치데이터의 데이터타입(63), 및 터치데이터의 데이터크기(65)로 이루어지는 것이 바람직하다.
또한, 터치데이터의 데이터(70)는 2차원 값 또는 그레이 스케일 이미지 값으로 이루어지는 것이 바람직하다.
또한, 2차원 값은 X축 좌표값과 Y축 좌표값 및 좌표점에서의 데이터 값으로 이루어지는 것이 바람직하다.
또한, 2차원 값은 4바이트의 이진수로 이루어질 수 있다.
또한, 인코딩은 LSB를 이용하여 인코딩하는 것이 바람직하다.
그리고, 압축은 JPEG, PNG와 같은 일반 이미지 압축 방식에 의해 압축하는 것이 바람직하다.
한편, 본 발명의 목적은, 제어수단(400)이 데이터파일을 로드하는 제 1 단계(S210); 제어수단(400)은 데이터파일이 인코딩이미지(50)인지 확인하는 제 2 단계(S220); 제어수단(400)이 인코딩이미지(50)로부터 디코딩을 수행하여 터치데이터를 추출하는 제 3 단계(S230); 제어수단(400)이 터치데이터와 원이미지(40)를 이용하여 햅틱 렌더링하는 제 4 단계(S240);를 포함하는 것을 특징으로 하는 인코딩이미지를 이용한 햅틱 렌더링 생성방법을 제공함으로써 달성될 수 있다.
또한, 제 2 단계(S220)는, 제어수단(400)이 데이터파일에 헤더(60) 및 데이터(70)가 존재하는지 여부로 인코딩이미지(50)인지를 판단하는 것이 바람직하다.
또한, 제 3 단계(S230) 후, 제어수단(400)이 헤더(60)의 데이터타입(63)이 2차원 값인 경우에는 2차원 값을 그레이 스케일 이미지 값으로 변환하는 제 3-1 단계(S235)를 더 포함하는 것이 바람직하다.
또한, 제 4 단계(S240)의 햅틱 렌더링은 진동 렌더링 또는 포스 렌더링 방식인 것이 바람직하다.
또한, 진동 렌더링 방식은 진동모터의 PWM 듀티비를 터치지점의 그레이 스케일 이미지 값의 함수로 맵핑하여 진동을 느낄 수 있는 것을 특징으로 한다.
그리고, 제 4 단계(S240)의 포스 렌더링은, 제어수단(400)이 터치데이터의 그레이 스케일 이미지 값의 함수로 버택스 값을 결정하는 제 4-1 단계(S241); 제어수단(400)이 버택스 값으로 메쉬를 생성하는 제 4-2 단계(S243); 제어수단(400)이 메쉬를 프락시 모델을 이용하여 햅틱렌더링이미지(80)를 생성하는 제 4-3 단계(S245);를 포함하는 것을 특징으로 한다.
한편, 본 발명의 목적은 다른 카테고리로서, 터치이미지를 인코딩하는 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함으로써 달성될 수 있다.
또한, 본 발명의 목적은 터치이미지를 이용한 햅틱 렌더링 생성방법을 실행하기 위한 프로그림이 기록된 컴퓨터 판독 가능한 기록매체를 제공함으로써 달성될 수 있다.
전술한 바와 같은 본 발명에 의하면 사용자가 터치 단말기에 입력한 터치데이터를 기능의 관점에서 이용하기 보다는 사람의 감성을 남길 수 있는 이미지를 제공하고 이 이미지를 이용한 햅틱 렌더링 생성방법 및 장치를 제공하는 효과가 있다.
그리고, 사용자가 터치 단말기에 입력한 터치이미지를 생성하여 원이미지에 인코딩하는 방법을 제공하는 효과가 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1a는 본 발명의 일실시예에 따른 터치기기 및 포인팅장치를 나타낸 도면,
도 1b는 본 발명의 일실시예에 따른 터치기기의 구성을 나타낸 구성도,
도 2는 본 발명의 일실시예에 따른 터치데이터를 원이미지에 인코딩하는 방법을 순차적으로 나타낸 순서도,
도 3은 본 발명의 일실시예에 따른 터치기기에 포인팅장치를 이용하여 터치이미지를 그리는 도면,
도 4는 본 발명의 일실시예에 따른 터치이미지의 두개의 스트로크를 이용하여 나타낸 도면,
도 5a는 본 발명의 일실시예에 따른 도 4의 두개의 스트로크 중 한 스트로크의 터치이미지의 2차원 값을 나타낸 도면,
도 5b는 본 발명의 일실시예에 따른 도 4의 두개의 스트로크 중 나머지 한 스트로크의 터치이미지의 2차원 값을 나타낸 도면,
도 6a는 본 발명의 일실시예에 따른 그레이 스케일 이미지 값으로 나타낸 도면,
도 6b는 본 발명의 일실시예에 따른 도 6a의 도면에 블러링 효과를 추가한 도면,
도 7a는 본 발명의 일실시예에 따른 전체 데이터 포맷을 나타낸 도면,
도 7b는 본 발명의 일실시예에 따른 헤드파일의 포맷을 나타낸 도면,
도 8은 본 발명의 일실시예에 따른 터치데이터를 원이미지에 인코딩한 도면,
도 9는 본 발명의 일실시예에 따른 터치이미지를 이용한 햅틱 렌더링 생성방법의 순서를 나타낸 순서도,
도 10a는 본 발명의 일실시예에 따른 터치이미지의 2차원 값을 나타낸 도면,
도 10b는 본 발명의 일실시예에 따른 도 10a의 2차원 값을 그레이 스케일 이미지로 변환한 도면,
도 11은 본 발명의 일실시예에 따른 터치이미지의 그레이 스케일 이미지 값을 이용하여 메쉬를 생성한 도면,
도 12a는 본 발명의 일실시예에 따른 원이미지를 나타낸 도면,
도 12b는 본 발명의 일실시예에 따른 터치이미지를 나타낸 도면,
도 12c는 본 발명의 일실시예에 따른 햅틱렌더링 이미지를 나타낸 도면이다.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
< 햅틱 렌더링 생성장치의 구성>
도 1a는 본 발명의 일실시예에 따른 터치기기 및 포인팅장치를 나타낸 도면이고, 도 1b는 본 발명의 일실시예에 따른 터치기기의 구성을 나타낸 구성도이다. 도 1a 및 도 1b에 도시된 바와 같이, 터치데이터를 이용한 햅틱 렌더링 생성장치는 개략적으로, 터치기기(20), 압축수단(200), 저장수단(300) 및 제어수단(400)으로 구성할 수 있다. 이하 도 1a 및 도 1b를 참조하여 본 발명의 구성을 설명하기로 한다.
본 발명의 일실시예에 따른 터치기기(20)는 포인팅장치(10)를 이용하여 터치스크린에 터치이미지를 생성하거나 또는 터치데이터가 입력되는 휴대폰, 노트북 컴퓨터, PDA 장치 등의 모든 전자기기가 될 수 있다. 이 경우 포인팅장치(10)는 사람의 손가락이나, 스타일러스 펜, 또는 터치 펜 등으로 구성할 수 있다. 터치이미지는 포인팅장치(10)를 이용하여 터치스크린 또는 화면에 그려지게 되며, 터치데이터는 메타 데이터의 형식(일예로 xml)이 터치기기(20)에 입력되게 된다.
본 발명의 일실시예에 따른 압축수단(200)은 사용자가 포인팅장치(10)를 이용하여 터치기기에 원하는 이미지를 생성하거나, 터치기기에 터치데이터를 입력한 후 파일을 압축하기 위한 수단이다. 압축수단(200)은 후술할 제어수단(400)을 구성하는 MCU 또는 MPU에서 수행할 수도 있으며, 또한 제어수단(400)과는 별도의 회로를 구성하여 MCU 또는 MPU에서 압축을 할 수도 있다.
본 발명의 일실시예에 따른 제어수단(400)은 전술한 MCU 또는 MPU로 구성할 수 있으며, 생성한 터치이미지(30) 또는 터치데이터를 원이미지(40)에 햅틱 렌더링하여 가상환경을 생성하는 수단이다. 햅틱 렌더링은 진동 렌더링 방식에 의하여 생성한 경우에는 모터를 추가로 구비할 수 있으며, 진동을 느낄 수 있다.
제어수단(400)은 터치이미지(30) 또는 터치데이터의 헤더(60) 및 데이터(70)를 생성할 수 있다. 이 경우 터치이미지(30) 또는 터치데이터의 헤더(60)는 터치이미지(30) 또는 터치데이터의 갯수(61), 터치이미지(30) 또는 터치데이터의 데이터타입(63), 및 터치이미지(30) 또는 터치데이터의 데이터크기(65)로 이루어진다. 터치이미지(30) 또는 터치데이터의 데이터(70)는 2차원 값 또는 그레이 스케일 이미지 값일 수 있으며, 2차원 값은 x축 좌표값과 y축 좌표값 및 각 좌표점에서의 터치이미지(30) 또는 터치데이터의 데이터 값으로 이루어질 수 있다. 각 좌표점에서의 2차원 값은 4바이트의 2진수로 이루어지며, 총 32비트의 0과 1의 집합으로 표현이 가능하다. 한편, 터치 좌표는 포인팅장치(10)를 이용하여 그리는 도중에는 크게 변화가 일어나지 않으므로 스트로크 사이에 구분자를 넣지 않아도 이후 스트로크별 구분이 가능할 수 있다. 데이터(70)의 크기는 32비트에 궤적내 모든 지점의 수를 곱한것 만큼의 크기가 된다.
본 발명의 일실시예에 따른 저장수단(300)은 터치이미지(30) 또는 터치데이터를 저장하고, 전술한 제어수단(400)의 프로그램을 저장하는 수단이다. 저장수단(300)은 MCU 또는 MPU 내의 내부메모리를 이용할 수도 있고, 또는 외부의 플래쉬메모리나 EEPROM 등의 읽기/쓰기가 가능한 저장장치를 이용하여 구비할 수도 있다.
< 터치데이터를 인코딩하는 방법>
도 2는 본 발명의 일실시예에 따른 터치데이터를 원이미지에 인코딩하는 방법을 순차적으로 나타낸 순서도이고, 도 3은 본 발명의 일실시예에 따른 터치기기에 포인팅장치를 이용하여 터치이미지를 그리는 도면이고, 도 4는 본 발명의 일실시예에 따른 터치이미지의 두개의 스트로크를 이용하여 나타낸 도면이고, 도 5a는 본 발명의 일실시예에 따른 도 4의 두개의 스트로크 중 한 스트로크의 터치이미지의 2차원 값을 나타낸 도면이고, 도 5b는 본 발명의 일실시예에 따른 도 4의 두개의 스트로크 중 나머지 한 스트로크의 터치이미지의 2차원 값을 나타낸 도면이고, 도 6a는 본 발명의 일실시예에 따른 그레이 스케일 이미지 값으로 나타낸 도면이고, 도 6b는 도 6a의 도면에 블러링 효과를 추가한 도면이고, 도 7a는 본 발명의 일실시예에 따른 전체 데이터 포맷을 나타낸 도면이고, 도 7b는 본 발명의 일실시예에 따른 헤드파일의 포맷을 나타낸 도면이고, 도 8은 본 발명의 일실시예에 따른 터치데이터를 원이미지에 인코딩한 도면이이다.
도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 터치데이터를 원이미지에 인코딩하는 방법의 순서는 개략적으로, 터치기기(20)에 터치데이터를 입력하는 제 1 단계(S110), 터치데이터의 헤더(60) 및 데이터(70)를 생성하는 제 2 단계(S120), 터치데이터를 압축하는 제 3 단계(S130), 압축된 터치데이터를 원이미지(40)에 인코딩하여 인코딩이미지(50)를 생성하는 제 4 단계(S140), 인코딩이미지(50)를 압축하여 저장하는 제 5 단계(S150)를 포함하여 단계를 수행할 수 있다. 이하에서는 도 2 내지 도 8을 참조하여 터치데이터를 원이미지에 인코딩하는 방법에 대하여 설명하기로 한다. 본 단계는 S110 단계 내지 S150 단계를 수행하게 된다.
먼저, 도 3에 도시된 바와 같이, 사용자가 포인팅장치(10)를 이용하여 터치기기(20)에 터치이미지(30)를 입력하는 단계를 수행하게 된다(S110). 이 경우 일예로서 터치이미지(30)를 설명하였으나, 터치데이터는 터치이미지(30) 또는 메타데이터(일예로 xml) 형식도 가능하다. 포인팅장치(10)는 터치 펜, 스타일러스 펜 또는 사람의 손가락 등으로서 이를 이용하여 터치기기(20)의 터치스크린에 사용자 각각이 원하는 터치이미지(30)를 입력할 수 있다. 또한, 복수의 사용자가 터치기기(20)에 여러개의 그림을 입력하여 터치이미지(30)를 생성할 수 있으며, 멀티 터치도 가능할 수 있다. 한편, 터치기기(20)에 터치이미지(30)뿐만 아니라 메타데이터로도 입력이 가능하다. 메타데이터로는 xml과 같은 형식의 데이터 등이 있다. 터치데이터는 2차원 값 또는 3차원 값일 수도 있으며, 본 발명의 일실시예에서는 2차원의 단일 터치로 일실시예를 수행한다.
도 4는 포인팅장치(10)를 이용하여 총 두개의 스트로크(두 붓 그리기)로 터치이미지(30)를 그린것으로서, x축 및 y축은 픽셀의 좌표를 의미한다. 도 5a 및 도 5b는 도 4에서 포인팅장치(10)를 이용하여 그린 터치이미지(30)의 2차원 값을 나타내는 도면이다. 도 5a 및 도 5b의 표에 있어서, x 및 y는 각 픽셀의 좌표를 의미하며, 각 지점의 값은 x축 및 y축에서의 2차원 값을 의미한다. 이러한 2차원 값은 후술할 그레이 스케일 이미지의 값으로 변환이 가능하다. 도 6a 및 도 6b는 그레이 스케일 이미지 값으로서, 도 6는 도 6a의 도면에서 브러쉬 효과를 통한 블러링 효과를 추가한 것이다.
다음으로, 인코딩을 하기 전의 전처리 과정으로서, 도 7a 및 도 7b에 도시된 바와 같이, 제어수단(400)이 터치데이터의 헤더(60) 및 데이터(70)를 생성하는 단계를 수행하게 된다(S120).
다음으로, 터치데이터의 헤더(60) 및 데이터(70)를 생성한 후, 압축수단(200)이 터치데이터를 압축하는 단계를 수행하게 된다(S130). 이 경우 압축수단(200)이 압축할 수도 있으나, 필요에 따라 제어수단(400)이 터치데이터를 압축할 수도 있다. 터치이미지(30)의 경우, 터치이미지(30)와 원이미지(40)가 같은 사이즈임을 고려하면 터치이미지(30)를 압축할 필요성이 생긴다. 터치이미지(30)의 압축은 JPEG 방식 또는 TIFF 등의 형식으로 압축이 가능할 수 있다.
다음으로, 터치데이터를 압축한 후, 인코딩수단(100)이 압축된 터치데이터를 원이미지(40)에 인코딩하여 인코딩이미지(50)를 생성하는 단계를 수행하게 된다(S140). 이 경우 인코딩수단(100)이 인코딩을 할 수도 있으나, 필요에 따라 제어수단(400)이 인코딩 할 수도 있다. 인코딩 과정은 헤더(60)와 데이터(70)를 사용하여 터치이미지(30)의 각 픽셀들의 LSB(Least significant bit)를 순차적으로 변경하는 것을 통해 이루어진다. 이 경우 LSB 변경외에도 인코딩을 수행할 수 있는 여러가지 방식이 사용될 수 있다.
마지막으로, 압축수단(200)이 인코딩이미지(50)를 압축하고, 제어수단(400)이 압축된 인코딩이미지(50)를 터치기기(20)에 저장하는 단계를 수행하게 된다(S150). 압축방식은 전술한 JPEG 방식을 이용할 수 있으며, 터치기기(20)의 외부메모리 또는 내부메모리에 저장하게 된다.
<인코딩 이미지를 이용한 햅틱 렌더링 생성방법>
도 9는 본 발명의 일실시예에 따른 터치이미지를 이용한 햅틱 렌더링 생성방법의 순서를 나타낸 순서도이고, 도 10a는 본 발명의 일실시예에 따른 터치이미지의 2차원 값을 나타낸 도면이고, 도 10b는 본 발명의 일실시예에 따른 도 10a의 2차원 값을 그레이 스케일 이미지로 변환한 도면이고, 도 11은 본 발명의 일실시예에 따른 터치이미지의 그레이 스케일 이미지 값을 이용하여 메쉬를 생성한 도면이고, 도 12a는 본 발명의 일실시예에 따른 원이미지를 나타낸 도면이고, 도 12b는 본 발명의 일실시예에 따른 터치이미지를 나타낸 도면이고, 도 12c는 본 발명의 일실시예에 따른 햅틱렌더링 이미지를 나타낸 도면이다.
도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 인코딩이미지를 이용한 햅틱 렌더링 생성방법은 개략적으로, 제어수단(400)이 데이터파일을 로드하는 제 1 단계(S210); 제어수단(400)은 데이터파일이 인코딩이미지(50)인지 확인하는 제 2 단계(S220); 제어수단(400)이 인코딩이미지(50)로부터 디코딩을 수행하여 터치데이터를 추출하는 제 3 단계(S230); 제어수단(400)이 터치데이터를 원이미지(40)에 햅틱 렌더링하는 제 4 단계(S240);를 포함하여 단계를 수행할 수 있다. 이하에서는 도 9 내지 도 12c를 참조하여 인코딩이미지를 이용한 햅틱 렌더링 생성방법에 대하여 설명하기로 한다. 본 단계는 S210 단계 내지 S240 단계를 수행하게 된다.
먼저, 제어수단(400)이 데이터파일을 로드하는 단계를 수행하게 된다(S210). 데이터파일은 터치이미지(30)가 저장된 파일이거나 또는 터치이미지(30)가 저장되어 있지 않은 파일이다. 후술할 터치이미지를 추출하기 위해 제어수단(400)이 데이터파일을 로드하게 된다.
다음으로, 제어수단(400)이 데이터파일을 로드한 후, 제어수단(400)은 데이터파일이 인코딩이미지(50)인지 확인하는 단계를 수행하게 된다(S220). 이때 인코딩이미지(50)인지 여부는 제어수단(400)이 데이터파일에 헤더(60) 및 데이터(70)가 존재하는지 여부로 판단한다.
다음으로, 제어수단(400)이 인코딩이미지(50)라고 판단한 경우, 제어수단(400)이 인코딩이미지(50)로부터 디코딩을 수행하여 터치데이터를 추출하는 단계를 수행하게 된다(S230). 따라서 인코딩이미지(50)로부터 터치이미지(30) 또는 메타데이터를 추출할 수 있게 된다. 이때 제어수단(400)이 디코딩을 수행하나, 디코딩수단(500)(도면 미도시)을 추가하여 디코딩수단(500)이 디코딩을 수행할 수도 있다.
다음으로, 터치데이터를 추출한 경우, 도 10a 및 도 10b에 도시된 바와 같이, 제어수단(400)이 헤더(60)의 데이터타입(63)이 2차원 값인 경우에는 2차원 값을 그레이 스케일 이미지 값으로 변환하는 단계를 수행하게 된다(S235).
다음으로. 그레이 스케일 이미지 값으로 변환한 후, 제어수단(400)이 터치데이터를 원이미지(40)에 햅틱 렌더링하는 단계를 수행하게 된다(S240). 햅틱 렌더링은 진동 렌더링 방식 또는 포스 렌더링 방식을 사용한다. 진동 렌더링 방식은 진동모터의 PWM 듀티비를 터치지점의 그레이 스케일 이미지 값의 함수로 맵핑할 수 있다. 이 경우 PWM 듀티비는 0~255의 값을 가지며, 또한, 그레이 스케일 이미지 값도 0~255의 값을 가지므로 서로 맵핑이 가능하다. 이러한 맵핑에 의하면 터치이미지(30)가 있는 부분에는서는 진동을 느낄 수 있으며, 브러쉬 효과를 넣는 경우에는 진동의 강도까지 변화시킬 수 있다.
또한, 포스 렌더링 방식은 이하 설명하는 순서로 수행하게 된다. 먼저, 제어수단(400)이 터치데이터의 그레이 스케일 이미지 값의 함수로 버택스(vertex) 값을 결정하는 제 4-1 단계를 수행한 후(S241), 도 11에 도시된 바와 같이, 제어수단(400)이 제 4-1 단계(S241)에서의 버택스(vertex) 값으로 메쉬(mesh)를 생성하는 제 4-2 단계를 수행한다(S243). 제 4-2 단계를 수행한 후(S243), 제어수단(400)이 프락시 모델(proxy model)을 이용하여 햅틱렌더링이미지(80)를 생성하는 제 4-3 단계를 수행하게 된다. 이때 포스 렌더링 방식은 필요에 따라 메쉬를 생성하지 않고 제어에서 일반적으로 사용되는 PID 컨트롤 방식을 이용하여 구현할 수도 있다.
<기록매체>
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상, 본 발명의 일실시예를 참조하여 설명했지만, 본 발명이 이것에 한정되지는 않으며, 다양한 변형 및 응용이 가능하다. 즉, 본 발명의 요지를 일탈하지 않는 범위에서 많은 변형이 가능한 것을 당업자는 용이하게 이해할 수 있을 것이다.
10 : 포인팅장치
20 : 터치기기
30 : 터치이미지
40 : 원이미지
50 : 인코딩이미지
60 : 헤더
61 : 갯수
63 : 데이터타입
65 : 데이터크기
70 : 데이터
80 : 햅틱렌더링이미지
100 : 인코딩수단
200: 압축수단
300: 저장수단
400: 제어수단

Claims (20)

  1. 터치데이터가 입력되는 터치기기(20);
    상기 터치데이터가 포함된 인코딩이미지(50)를 디코딩하여 상기 터치데이터를 추출하는 디코딩수단(500);
    상기 터치데이터를 햅틱 렌더링하여 가상환경을 제공하는 제어수단(400); 및
    상기 터치데이터를 저장하고, 상기 제어수단(400)의 제어 프로그램을 저장하는 저장수단(300);을 포함하는 것을 특징으로 하는 터치데이터를 이용한 햅틱 렌더링 생성장치.
  2. 제 1 항에 있어서,
    상기 터치데이터는 터치이미지(30) 또는 메타데이터로서,
    상기 터치데이터의 데이터(70)는 2차원 값 또는 그레이 스케일 이미지 값으로 이루어지는 것을 특징으로 하는 터치데이터를 이용한 햅틱 렌더링 생성장치.
  3. 제 2 항에 있어서,
    상기 제어수단(400)은 상기 터치데이터의 데이터(70)가 2차원 값인 경우에는 상기 그레이 스케일 이미지 값으로 변환하는 것을 특징으로 하는 터치데이터를 이용한 햅틱 렌더링 생성장치.
  4. 터치기기(20)가 터치데이터를 입력받는 제 1 단계(S110);
    제어수단(400)이 상기 터치데이터의 헤더(60) 및 데이터(70)를 생성하는 제 2 단계(S120);
    압축수단(200)이 상기 터치데이터를 압축하는 제 3 단계(S130);
    인코딩수단(100)이 상기 압축된 터치데이터를 원이미지(40)에 인코딩하여 인코딩이미지(50)를 생성하는 제 4 단계(S140); 및
    상기 제어수단(400)이 상기 인코딩이미지(50)를 상기 터치기기(20)에 저장하는 제 5 단계(S150);를 포함하는 것을 특징으로 하는 터치데이터를 인코딩하는 방법.
  5. 제 4 항에 있어서,
    상기 제 1 단계(S110)의 상기 터치데이터는 터치이미지(30) 또는 메타데이터로서,
    상기 터치이미지(30)는 포인팅장치(10)를 이용하여 상기 터치기기(20)에 복수의 터치이미지(30)를 입력하는 것을 특징으로 하는 터치데이터를 인코딩하는 방법.
  6. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.
    제 4 항에 있어서,
    상기 터치데이터는 2차원 값 또는 3차원 값으로 이루어지는 것을 특징으로 하는 터치데이터를 인코딩하는 방법.
  7. 제 4 항에 있어서,
    상기 제 2 단계(S120)의 상기 헤더(60)는,
    상기 터치데이터의 갯수(61), 상기 터치데이터의 데이터타입(63), 및 상기 터치데이터의 데이터크기(65)로 이루어지는 것을 특징으로 하는 터치데이터를 인코딩하는 방법.
  8. 제 4 항에 있어서,
    상기 터치데이터의 데이터(70)는 2차원 값 또는 그레이 스케일 이미지 값으로 이루어지는 것을 특징으로 하는 터치데이터를 인코딩하는 방법.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제 8 항에 있어서,
    상기 2차원 값은 X축 좌표값과 Y축 좌표값 및 좌표점에서의 데이터 값으로 이루어지는 것을 특징으로 하는 터치데이터를 인코딩하는 방법.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제 9 항에 있어서,
    상기 2차원 값은 4바이트의 이진수로 이루어지는 것을 특징으로 하는 터치데이터를 인코딩하는 방법.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제 4 항에 있어서,
    상기 인코딩은 LSB를 이용하여 인코딩하는 것을 특징으로 하는 터치데이터를 인코딩하는 방법.
  12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.
    제 4 항에 있어서,
    상기 압축은 JPEG 또는 PNG 방식에 의해 압축하는 것을 특징으로 하는 터치데이터를 인코딩하는 방법.
  13. 제어수단(400)이 데이터파일을 로드하는 제 1 단계(S210);
    상기 제어수단(400)은 상기 데이터파일이 인코딩이미지(50)인지 확인하는 제 2 단계(S220);
    상기 제어수단(400)이 상기 인코딩이미지(50)로부터 디코딩을 수행하여 터치데이터를 추출하는 제 3 단계(S230);
    상기 제어수단(400)이 상기 터치데이터와 원이미지(40)를 이용하여 햅틱 렌더링하는 제 4 단계(S240);를 포함하는 것을 특징으로 하는 인코딩이미지를 이용한 햅틱 렌더링 생성방법.
  14. 제 13 항에 있어서,
    상기 제 2 단계(S220)는,
    상기 제어수단(400)이 상기 데이터파일에 헤더(60) 및 데이터(70)가 존재하는지 여부로 인코딩이미지(50)인지를 판단하는 것을 특징으로 하는 인코딩이미지를 이용한 햅틱랜더링 생성방법.
  15. 제 14 항에 있어서,
    상기 제 3 단계(S230) 후,
    상기 제어수단(400)이 상기 헤더(60)의 데이터타입(63)이 2차원 값인 경우에는 상기 2차원 값을 그레이 스케일 이미지 값으로 변환하는 제 3-1 단계(S235)를 더 포함하는 것을 특징으로 하는 인코딩이미지를 이용한 햅틱 렌더링 생성방법.
  16. 제 15 항에 있어서,
    상기 제 4 단계(S240)의 상기 햅틱 렌더링은 진동 렌더링 또는 포스 렌더링 방식인 것을 특징으로 하는 인코딩이미지를 이용한 햅틱 렌더링 생성방법.
  17. 제 16 항에 있어서,
    상기 진동 렌더링 방식은 진동모터의 PWM 듀티비를 터치지점의 상기 그레이 스케일 이미지 값의 함수로 맵핑하여 진동을 느낄 수 있는 것을 특징으로 하는 인코딩이미지를 이용한 햅틱 렌더링 생성방법.
  18. 제 16 항에 있어서,
    상기 제 4 단계(S240)의 상기 포스 렌더링은,
    상기 제어수단(400)이 상기 터치데이터의 상기 그레이 스케일 이미지 값의 함수로 버택스 값을 결정하는 제 4-1 단계(S241);
    상기 제어수단(400)이 상기 버택스 값으로 메쉬를 생성하는 제 4-2 단계(S243);
    상기 제어수단(400)이 상기 메쉬를 프락시 모델을 이용하여 햅틱렌더링이미지(80)를 생성하는 제 4-3 단계(S245);를 포함하는 것을 특징으로 하는 인코딩이미지를 이용한 햅틱 렌더링 생성방법.
  19. 제 5 항에 따른 터치이미지를 인코딩하는 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  20. 삭제
KR1020100084999A 2010-08-31 2010-08-31 햅틱 렌더링 생성장치, 터치데이터를 인코딩하는 방법, 인코딩이미지를 이용한 햅틱 렌더링 생성방법 및 그 기록매체 KR101166529B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100084999A KR101166529B1 (ko) 2010-08-31 2010-08-31 햅틱 렌더링 생성장치, 터치데이터를 인코딩하는 방법, 인코딩이미지를 이용한 햅틱 렌더링 생성방법 및 그 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100084999A KR101166529B1 (ko) 2010-08-31 2010-08-31 햅틱 렌더링 생성장치, 터치데이터를 인코딩하는 방법, 인코딩이미지를 이용한 햅틱 렌더링 생성방법 및 그 기록매체

Publications (2)

Publication Number Publication Date
KR20120021000A KR20120021000A (ko) 2012-03-08
KR101166529B1 true KR101166529B1 (ko) 2012-07-19

Family

ID=46129484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100084999A KR101166529B1 (ko) 2010-08-31 2010-08-31 햅틱 렌더링 생성장치, 터치데이터를 인코딩하는 방법, 인코딩이미지를 이용한 햅틱 렌더링 생성방법 및 그 기록매체

Country Status (1)

Country Link
KR (1) KR101166529B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112777A1 (en) * 2013-01-15 2014-07-24 Samsung Electronics Co., Ltd. Method for providing haptic effect in portable terminal, machine-readable storage medium, and portable terminal

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456953B1 (ko) 2016-03-11 2022-10-21 한국전자통신연구원 이미지 제공 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112777A1 (en) * 2013-01-15 2014-07-24 Samsung Electronics Co., Ltd. Method for providing haptic effect in portable terminal, machine-readable storage medium, and portable terminal
US9977497B2 (en) 2013-01-15 2018-05-22 Samsung Electronics Co., Ltd Method for providing haptic effect set by a user in a portable terminal, machine-readable storage medium, and portable terminal

Also Published As

Publication number Publication date
KR20120021000A (ko) 2012-03-08

Similar Documents

Publication Publication Date Title
Ens et al. Ivy: Exploring spatially situated visual programming for authoring and understanding intelligent environments
US12017145B2 (en) Method and system of automatic animation generation
US12046060B2 (en) Ink file searching method, apparatus, and program
Zhang et al. Viscode: Embedding information in visualization images using encoder-decoder network
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
US20180024976A1 (en) Annotation providing method and device
CN112035706A (zh) 编码、解码方法、计算机设备及可读存储介质
CN105721872A (zh) 一种图像压缩的方法及终端
KR101166529B1 (ko) 햅틱 렌더링 생성장치, 터치데이터를 인코딩하는 방법, 인코딩이미지를 이용한 햅틱 렌더링 생성방법 및 그 기록매체
JP2012248013A (ja) 電子機器、情報提供装置、電子機器のプログラム、情報提供装置のプログラム、及び情報提供システム
CN109718554A (zh) 一种实时渲染方法、装置及终端
CN110502236B (zh) 基于多尺度特征解码的前端代码生成方法、***及设备
CN105022480A (zh) 一种输入方法及终端
CN113938666B (zh) 基于关键帧的视频数据传输方法、装置及存储介质
CN113938667B (zh) 基于视频流数据的视频数据传输方法、装置及存储介质
CN115134317A (zh) 消息显示方法、装置、存储介质和电子装置
CN112182692B (zh) 建筑工程文件处理方法、装置、计算机设备和存储介质
CN113821484A (zh) 文件处理方法、装置、电子设备和可读存储介质
JP6504290B2 (ja) 電子機器、データ処理方法およびプログラム
CN112686990A (zh) 一种三维模型显示方法、装置、存储介质和计算机设备
CN106293379A (zh) 一种信息处理方法及电子设备
CN111680623A (zh) 姿态转换方法及装置、电子设备、存储介质
CN112118359B (zh) 文本信息的处理方法、装置、存储介质、处理器和电子设备
KR102515372B1 (ko) 원격 화면 출력을 구현하는 전자 서비스 제공 시스템, 방법, 프로그램, 컴퓨터 판독 가능한 기록매체
Ewert et al. Measuring meaningful information in images: algorithmic specified complexity

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160627

Year of fee payment: 7