KR102247521B1 - 질감 신호 제공 장치 및 방법 - Google Patents

질감 신호 제공 장치 및 방법 Download PDF

Info

Publication number
KR102247521B1
KR102247521B1 KR1020180135458A KR20180135458A KR102247521B1 KR 102247521 B1 KR102247521 B1 KR 102247521B1 KR 1020180135458 A KR1020180135458 A KR 1020180135458A KR 20180135458 A KR20180135458 A KR 20180135458A KR 102247521 B1 KR102247521 B1 KR 102247521B1
Authority
KR
South Korea
Prior art keywords
basic data
neural network
artificial neural
touch pen
signal
Prior art date
Application number
KR1020180135458A
Other languages
English (en)
Other versions
KR20200055168A (ko
Inventor
최승문
하지지 오스고위 레자
신성환
조성원
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020180135458A priority Critical patent/KR102247521B1/ko
Publication of KR20200055168A publication Critical patent/KR20200055168A/ko
Application granted granted Critical
Publication of KR102247521B1 publication Critical patent/KR102247521B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

상기 질감 신호 제공 장치 및 방법이 개시된다. 상기 질감 신호 제공 장치 및 방법은 인공신경망을 이용한 제2 기초 데이터의 학습에 의해 역 동적 모델을 생성하고, 상기 역 동적 모델을 기초로, 대상 물체에 대한 종류, 수직항력 및 속력의 조건에서 실측된 조건별 제1 기초 데이터를 개별 인공신경망에 의해 추가 학습하여 학습 모델을 생성함으로써, 학습 모델로부터 추출된 입력 신호를 정전기 마찰 디스플레이 장치로 송신하여 사용자에게 대상 물체에 대한 정밀한 가상 질감을 제공하는 고정밀, 고성능 및 고신뢰성의 질감 신호 제공 장치 및 방법이 제공될 수 있다.

Description

질감 신호 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING A TEXTURE SIGNAL}
본 발명은 질감 신호 제공 장치 및 방법에 관한 것으로, 보다 자세하게는 인공 신경망을 이용하여 질감 신호를 생성하는 질감 신호 제공 장치 및 방법에 관한 것이다.
컴퓨터 및 정보통신 기술의 발달으로, 오늘날, 가상 현실(Virtual reality)에서 시각 및 청각 등의 감각 정보를 제공하는 장치가 증가하고 있다. 그러나, 상대적으로 촉각 정보를 제공하는 종래의 장치는 진동에 의해 간단한 상태 정보만을 제공하고 있다. 이에 최근에는 햅틱(Haptic) 기술을 이용한 물체의 재질감 정보를 재현하는 연구가 활발히 진행 중에 있다.
햅틱(Haptic) 기술은 물체와 손가락의 접촉시, 손가락을 통해 사용자에게 촉각 정보를 제공하는 기술이다.
햅틱(Haptic) 기술을 제공하는 종래의 장치로는 정전기 마찰 디스플레이 장치가 있다. 정전기 마찰 디스플레이 장치는 물체의 촉각적인 특징 정보를 물체의 질감으로 표현함으로써, 사용자에게 현실적인 경험을 제공할 수 있다.
그러나 종래의 정전기 마찰 디스플레이 장치는 비선형적인 동적 모델(Dynamic model)을 제공함으로써, 사용자가 원하는 촉각 효과를 전달하기 위한 신호 생성이 어려운 단점이 있다.
또한, 역감 신호를 재현하는 종래의 질감 신호 제공 장치는 표면이 거친 물체를 표현하는 데 적합하다. 그러나, 물체와의 접촉 시 느껴지는 재질의 감촉은 제공하지 못하는 단점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 고성능, 고정밀 및 고신뢰성의 질감 신호 제공 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 고성능, 고정밀 및 고신뢰성의 질감 신호 제공 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또다른 목적은 고성능, 고정밀 및 고신뢰성의 마찰력 실측 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또다른 목적은 고성능, 고정밀 및 고신뢰성의 질감 신호 제공 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 질감 신호 제공 방법은 대상 물체로부터 실측된 마찰력 데이터인 제1 기초 데이터를 수집하는 단계, PRBS(Pseudo-Random Binary Signal) 신호에 따라 생성된 상기 대상 물체에 대한 가상의 마찰력 데이터인 제2 기초 데이터를 수집하는 단계, 제1 인공신경망을 이용하여, 상기 제2 기초 데이터로부터 상기 PRBS 신호를 추출하는 역 동적 모델(Inverse dynamic model)을 생성하는 단계, 제2 인공신경망을 이용하여, 상기 역 동적 모델을 기초로 상기 제1 기초 데이터를 추가 학습하여 학습 모델을 생성하는 단계 및 상기 학습 모델로부터 획득한 입력 신호를 정전기 마찰 디스플레이 장치로 송신하는 단계를 포함한다.
상기 제1 기초 데이터는 힘 센서가 장착된 터치펜을 이용하여, 수평 방향으로 움직일 때 발생하는 대상 물체의 마찰력을 측정하는 마찰력 실측 장치로부터 제공될 수 있다.
이때, 상기 제1 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용될 수 있다.
또한, 상기 제1 및 제2 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망일 수 있다.
상기 제2 기초 데이터는 상기 정전기 마찰 디스플레이 장치로부터 수집될 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 질감 신호 제공 장치는 프로세서 및 상기 프로세서에 의해 동작되는 적어도 하나의 명령을 포함하는 메모리를 포함하되, 상기 적어도 하나의 명령은 대상 물체로부터 실측된 마찰력 데이터인 제1 기초 데이터를 수집하도록 하는 명령, PRBS(Pseudo-Random Binary Signal) 신호에 따라 생성된 상기 대상 물체에 대한 가상의 마찰력 데이터인 제2 기초 데이터를 수집하도록 하는 명령, 제1 인공신경망을 이용하여, 상기 제2 기초 데이터로부터 상기 PRBS 신호를 추출하는 역 동적 모델(Inverse dynamic model)을 생성하도록 하는 명령, 제2 인공신경망을 이용하여, 상기 역 동적 모델을 기초로 상기 제1 기초 데이터를 추가 학습하여 학습 모델을 생성하도록 하는 명령 및 상기 학습 모델로부터 획득한 입력 신호를 정전기 마찰 디스플레이 장치로 송신하도록 하는 명령을 포함을 포함한다.
여기서, 상기 제1 기초 데이터는 힘 센서가 장착된 터치펜을 이용하여, 수평 방향으로 움직일 때 발생하는 대상 물체의 마찰력을 측정하는 마찰력 실측 장치로부터 제공될 수 있다.
이때, 상기 제1 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용될 수 있다.
또한, 상기 제1 및 제2 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망일 수 있다.
상기 제2 기초 데이터는 상기 정전기 마찰 디스플레이 장치로부터 수집될 수 있다.
상기 목적을 달성하기 위한 본 발명의 또다른 실시예에 따른 마찰력 실측 장치는 대상 물체의 적어도 일부분에 타단이 접촉된 터치펜, 상기 터치펜의 일단에 위치되어, 상기 터치펜에 가해지는 상기 대상 물체의 마찰력을 측정하는 힘 센서, 상기 터치펜의 이동 속력을 조정하는 모터 및 상기 터치펜에 가해지는 수직항력의 크기를 조정하는 무게추를 포함한다.
상기 목적을 달성하기 위한 본 발명의 또다른 실시예에 따른 질감 신호 제공 시스템은 대상 물체의 적어도 일부분에 타단이 접촉된 터치펜, 상기 터치펜의 이동 속력을 조정하는 모터 및 상기 터치펜에 가해지는 수직항력의 크기를 조정하는 무게추 및 상기 터치펜의 일단에 위치되어 상기 터치펜에 가해지는 상기 대상 물체의 마찰력인 제1 기초 데이터를 측정하는 힘 센서를 포함하는 마찰력 실측 장치, PRBS(Pseudo-Random Binary Signal) 신호에 따른 가상의 마찰 데이터인 제2 기초 데이터를 측정하는 정전기 마찰 디스플레이 장치 및 제1 인공신경망을 이용하여 상기 제2 기초 데이터로부터 역 동적 모델을 생성하고, 제2 인공신경망을 이용하여, 상기 역 동적 모델을 기초로 상기 제1 기초 데이터를 추가 학습하여 학습 모델을 생성하며, 상기 학습 모델로부터 추출된 입력 신호를 상기 정전기 마찰 디스플레이 장치로 송신하는 질감 신호 제공 장치를 포함한다.
이때, 상기 제1 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용될 수 있다.
또한, 상기 제1 및 제2 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망일 수 있다.
본 발명의 실시예에 따른 질감 신호 제공 장치 및 방법은 인공신경망에 의해 제2 기초 데이터를 학습하여 역 동적 모델을 생성하고, 상기 역 동적 모델을 기초로, 대상 물체에 대한 종류, 수직항력 및 속력의 조건에서 각각 실측된 제1 기초 데이터를 개별 인공신경망에 의해 추가 학습하여 학습 모델을 생성함으로써, 학습 모델로부터 추출된 입력 신호를 정전기 마찰 디스플레이 장치로 송신하여 사용자에게 대상 물체에 대한 정밀한 가상 질감을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 질감 신호 제공 장치의 블록구성도이다.
도 2는 본 발명의 실시예에 따른 질감 신호 제공 방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 마찰력 실측 장치의 이미지이다.
도 4는 본 발명의 실시예에 따른 정전기 마찰 디스플레이 장치에 의해 측정된 PRBS(Pseudo-Random Binary Signal) 신호에 따른 제2 기초 데이터이다.
도 5는 본 발명의 실시예에 따른 질감 신호 제공 장치의 학습 모델에 의해 측정된 PRBS 신호 그래프이다.
도 6은 본 발명의 실험예에 따라 정전기 마찰 디스플레이 장치로부터 출력된 가상의 마찰력 데이터 및 동일 조건에서 실측한 마찰력 데이터를 주파수 영역에서 비교한 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 질감 신호 제공 장치의 블록구성도이다.
도 1을 참조하면, 질감 신호 제공 장치(S)는 정전기 마찰 디스플레이 장치(D)와 연동하여, 정전기 마찰 디스플레이 장치(D)를 사용하는 사용자에게 햅틱 효과를 제공할 수 있다. 다시 말하면, 질감 신호 제공 장치(S)는 햅틱 효과를 제공하는 정전기 마찰 디스플레이 장치(D)에 조건별 입력 신호를 제공함으로써, 사용자로 하여금 정밀한 햅틱 효과를 제공할 수 있다.
실시예에 따르면, 정전기 마찰 디스플레이 장치(D)는 유리 기판 상에 투명 전도층 및 절연층이 얇게 코팅된 정전식 터치 패널(Capacitive Touch Panel)을 포함할 수 있다. 정전식 터치 패널 상에 사용자의 손가락이 촉지된 상태로 전압을 인가될 경우, 촉지된 손가락과 절연체 및 전도층이 축전기 형태를 이뤄 유도 전하가 발생할 수 있다. 여기서, 촉지된 손가락을 일방향으로 이동할 경우, 정전기 마찰 디스플레이 장치(D)는 질감 신호 제공 장치로부터 수신된 입력 신호를 바탕으로 유도 전하를 변화시켜, 촉지된 손가락에 마찰력을 제공할 수 있다. 이에 따라, 사용자는 상기 마찰력에 의해 질감 효과를 경험할 수 있다.
다시 말하면, 질감 신호 제공 장치(S)는 사용자에게 고정밀한 햅틱 효과를 제공하기 위해, 학습 모델에 의해 학습된 입력 신호를 종래의 정전기 마찰 디스플레이 장치(D)에 제공할 수 있다.
보다 구체적으로 설명하면, 질감 신호 제공 장치(S)는 메모리(1000) 및 프로세서(5000)를 포함할 수 있다. 메모리(1000)는 후술될 프로세서(5000)에 의해 실행되는 적어도 하나의 명령을 포함할 수 있다. 실시예에 따르면, 적어도 하나의 명령은 학습 모델을 생성하도록 하는 명령, 학습 모델에 의해 입력 신호를 생성하도록 하는 명령 및 생성된 입력 신호를 정전기 마찰 디스플레이 장치(D)로 송신하도록 하는 명령을 포함할 수 있다.
프로세서(5000)는 앞서 설명된 바와 같이, 상기 메모리(1000) 내 적어도 하나의 명령을 수행할 수 있다. 적어도 하나의 명령을 수행하는 상기 프로세서(5000)의 동작은 하기 질감 신호 제공 방법의 설명시 보다 자세히 설명하겠다.
도 2는 본 발명의 실시예에 따른 질감 신호 제공 방법의 순서도이다.
도 2를 참조하면, 질감 신호 제공 장치 내 프로세서(5000)는 학습 모델을 생성할 수 있다(S1000). 여기서, 학습 모델은 입력 신호를 생성하기 위해, 마찰 정보를 포함하는 기초 데이터들로부터 사전 학습된 모델일 수 있다.
보다 구체적으로 설명하면, 프로세서(5000)는 제1 기초 데이터를 수집할 수 있다(S1100). 실시예에 따르면, 제1 기초 데이터는 적어도 하나의 대상 물체에 있어서, 수직항력 및 속도 중 적어도 하나의 조건 변화에 따른 상기 대상 물체의 마찰력을 실측한 데이터일 수 있다. 예를 들어, 제1 기초 데이터는 마찰력 실측 장치를 이용하여 측정할 수 있다. 제1 기초 데이터를 측정하는 방법은 하기 도 2를 참조하여 보다 구체적으로 설명하겠다.
도 3은 본 발명의 실시예에 따른 마찰력 실측 장치의 이미지이다.
도 3을 참조하면, 제1 기초 데이터는 앞서 설명된 바와 같이, 마찰력 실측 장치에 의해 측정될 수 있다.
실시예에 따르면, 마찰력 실측 장치는 터치펜(100), 모터(300) 및 무게추(500) 및 힘 센서(700)를 포함함으로써, 대상 물체(P)의 제1 기초 데이터를 측정할 수 있다.
보다 구체적으로 설명하면, 터치펜(100)은 사용자의 손가락을 대체하는 구성으로써, 마찰력 데이터인 제1 기초 데이터의 측정시, 사용자별 피부 속성에 따른 오차 발생을 방지하기 위해 사용될 수 있다.
터치펜(100)은 대상 물체(P)의 적어도 일부 표면과 접촉될 수 있다. 이에 따라, 터치펜(100)은 후술될 모터(300)에 의한 이동 시, 대상 물체(P)와의 마찰이 발생할 수 있다.
모터(300)는 앞서 설명한 바와 같이, 대상 물체(P)와 접촉된 터치펜(100)을 수평 방향으로 직선 이동시킬 수 있다. 이때, 모터(500)는 터치펜(100)의 속력을 제어할 수 있다. 이에 따라, 마찰력 실측 장치는 터치펜(100)의 이동 속력의 크기에 따른 제1 기초 데이터를 측정할 수 있다.
무게추(500)는 터치펜(100)에 하중을 부여할 수 있다. 이에 따라, 사용자는 무게추(500)를 이용하여 터치펜(100)에 가해지는 수직항력의 세기를 조절할 수 있다. 이에 따라, 마찰력 실측 장치는 터치펜(100)의 이동 시, 무게추(500)의 중량에 의해 수직항력의 조건을 변화시켜 제1 기초 데이터를 측정할 수 있다.
힘 센서(700)는 터치펜(100)의 상단에 장착되어, 터치펜(300)에 가해지는 제1 기초 데이터를 측정할 수 있다.
다시 말하면, 마찰력 실측 장치는 대상 물체(P) 위에서의 터치펜(300)의 이동 시, 무게추(500)를 사용해 중량에 의한 수직항력의 세기를 조정하거나 또는 모터(300)에 의해 이동 속력의 크기를 조정함으로써, 다양한 수직항력 및 속력 조건에 대한 제1 기초 데이터를 측정할 수 있다.
다시 도 2를 참조하면, 프로세서(5000)는 제2 기초 데이터를 수집할 수 있다(S1300). 제2 기초 데이터를 수집하는 방법에 대해서는 하기 도 3을 참조하여 보다 구체적으로 설명하겠다.
도 4는 본 발명의 실시예에 따른 정전기 마찰 디스플레이 장치에 의해 측정된 PRBS(Pseudo-Random Binary Signal) 신호에 따른 제2 기초 데이터이다.
도 4를 참조하면, 프로세서(5000)는 정전기 마찰 디스플레이 장치(D)로부터 제2 기초 데이터를 수신하여 수집할 수 있다(S1300). 이때, 제2 기초 데이터는 정전기 마찰 디스플레이 장치(D)에 입력 신호를 주었을 때 발생하는 마찰력 데이터일 수 있다.
실시예에 따르면, 입력 신호는 PRBS(Pseudo-Random Binary Signal) 신호일 수 있다. PRBS 신호는 백색 잡음(White noise)과 유사한 성질을 갖는 신호로, 주파수 영역에서 평탄한 스펙트럼을 보여, 선형 또는 일부 비선형 모델의 식별(Model Identification)시 사용되는 신호일 수 있다.
다시 도 2를 참조하면, 프로세서(5000)는 수집된 제2 기초 데이터를 바탕으로 역 동적 모델을 생성할 수 있다(S1500).
보다 구체적으로 설명하면, 프로세서(5000)는 인공신경망을 이용하여, 제2 기초 데이터에 기반한 역 동적 모델(Inverse Dynamic Model)을 생성할 수 있다. 다시 말하면, 역 동적 모델은 마찰력 데이터인 제2 기초 데이터를 추출하기 위한 입력 신호를 생성하는 모델일 수 있다.
실시예에 따르면, 프로세서(5000)는 NARX(Nonlinear Auto Regressive with External input) 인공신경망에 의해 제2 기초 데이터를 학습하여 역 동적 모델을 생성할 수 있다.
이후, 프로세서(5000)는 제2 기초 데이터를 바탕으로 생성된 역 동적 모델을 보정할 수 있다. 역 동적 모델을 보정하여 학습 모델을 생성하는 방법은 하기 도 4를 참조하여 설명하겠다.
도 5는 본 발명의 실시예에 따른 질감 신호 제공 장치의 학습 모델에 의해 측정된 PRBS 신호 그래프이다. 여기서, 파란 실선은 기준이 되는 PRBS 신호이며, 빨간 점선은 학습 모델을 통해 도출된 신호이다.
도 5를 참조하면, 프로세서(5000)는 제1 기초 데이터를 이용하여, 제2 기초 데이터에 의해 학습된 역 동적 모델을 보정하여 학습 모델을 생성할 수 있다(S1700). 다시 말하면, 프로세서(5000)는 마찰력 실측 장치에 의해 실측된 대상 물체의 제1 기초 데이터를 역 동적 모델에 반영하여 추가 학습할 수 있다. 이에 따라, 프로세서(5000)는 실측 데이터인 제1 기초 데이터가 반영된 학습 모델을 생성할 수 있다.
실시예에 따르면, 프로세서(5000)는 인공신경망을 이용하여, 상기 학습 모델을 기초로, 제1 기초 데이터를 추가 학습할 수 있다. 이때, 제1 기초 데이터는 앞서 설명한 바와 같이, 대상 물체의 종류, 수직항력의 세기 및 속력의 크기 중 적어도 하나의 조건 변화에 따른 마찰력 데이터를 포함할 수 있다. 이에 따라, 프로세서(5000)는 제1 기초 데이터의 조건별로 인공신경망을 개별 적용하여 학습할 수 있다. 따라서, 본 발명의 실시예에 따른 질감 신호 제공 장치는 조건별 실측 마찰력 데이터가 반영된 정밀한 입력 신호 추출이 가능함으로써, 고정밀 및 고신뢰성 질감 신호 제공 장치를 제공할 수 있다.
다시 도 2를 참조하면, 프로세서(5000)는 학습 모델을 이용하여, 입력 신호를 추출할 수 있다(S3000).
이후, 프로세서(5000)는 추출된 입력 신호를 정전기 마찰 디스플레이 장치(D)로 송신할 수 있다(S5000).
정전기 마찰 디스플레이 장치(D)는 수신된 입력 신호에 따른 마찰력 데이터를 생성함으로써, 사용자에게 대상 물체에 대한 정밀한 질감을 제공할 수 있다.
이상, 본 발명의 실시예에 따른 질감 신호 제공 장치 내 프로세서에 의한 질감 신호 제공 방법을 설명하였다.
이하에서는 본 발명의 실험예에 따른 질감 신호 제공 장치를 설명하겠다.
본 발명의 실험예에 따른 질감 신호 제공 장치
사용자에게 캔버스(canvas)의 질감을 제공하기 위해, 마찰력 실측 장치를 이용하여, 실제 캔버스를 대상으로 무게가 60, 85, 110g 이고, 이동 속력이 3, 4, 5cm/s일 때의 제1 기초 데이터를 수집하였다.
또한, 정전기 마찰 디스플레이 장치에 PRBS 신호를 입력하여, 촉지된 손가락의 이동에 의해 발생된 제2 기초 데이터를 측정하였다.
이후, NARX(Nonlinear Auto Regressive with External input) 인공 신경망에 의해 제2 기초 데이터를 학습하여 역 동적 모델을 생성하였다.
또한, NARX 인공 신경망에 의해, 생성된 역 동적 모델을 바탕으로 제1 기초 데이터를 추가 학습하여 학습 모델을 생성하였다.
이후, 학습 모델에 의해 추출된 PRBS 신호를 정전기 마찰 디스플레이 장치로 송신하여 마찰력 데이터를 추출하였다.
도 6은 본 발명의 실험예에 따라 정전기 마찰 디스플레이 장치로부터 출력된 가상의 마찰력 데이터 및 동일 조건에서 실측한 마찰력 데이터를 주파수 영역에서 비교한 그래프이다.
도 6을 참조하면, 학습 모델로부터 추출된 PRBS 신호를 인가하여 획득한 정전기 마찰 디스플레이 장치의 가상 마찰력 데이터(검은색 점선)는 마찰력 실측 장치에 의해 동일 조건에서 실측된 실제 마찰력 데이터(초록색 실선)와 유사한 주파수 영역을 갖는 것을 확인할 수 있다.
따라서, 본 발명의 실시예에 따른 질감 신호 제공 장치는 학습 모델을 생성하여, 실제 마찰력과 유사한 마찰력 데이터를 생성하는 입력 신호를 정전기 마찰 디스플레이 장치에 제공함으로써, 사용자에게 실제 재질과 유사한 재질감을 제공하는 고정밀 및 고신뢰성의 질감 신호 제공 장치를 제공할 수 있다.
이상, 본 발명의 실시예에 따른 질감 신호 제공 장치 및 방법을 살펴보았다. 상기 질감 신호 제공 장치 및 방법은 인공신경망을 이용한 제2 기초 데이터의 학습에 의해 역 동적 모델을 생성하고, 상기 역 동적 모델을 기초로, 대상 물체에 대한 종류, 수직항력 및 속력의 조건에서 실측된 조건별 제1 기초 데이터를 개별 인공신경망에 의해 추가 학습하여 학습 모델을 생성함으로써, 학습 모델로부터 추출된 입력 신호를 정전기 마찰 디스플레이 장치로 송신하여 사용자에게 대상 물체에 대한 정밀한 가상 질감을 제공하는 고정밀, 고성능 및 고신뢰성의 질감 신호 제공 장치 및 방법이 제공될 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 터치펜 300: 모터
500: 무게추 700: 힘센서
1000: 메모리 5000: 프로세서
S: 질감 신호 제공 장치 D: 정전기 마찰 디스플레이 장치
P: 대상 물체

Claims (14)

  1. 대상 물체로부터 실측된 마찰력 데이터인 제1 기초 데이터를 수집하는 단계;
    PRBS(Pseudo-Random Binary Signal) 신호에 따라 생성된 상기 대상 물체에 대한 가상의 마찰력 데이터인 제2 기초 데이터를 수집하는 단계;
    인공신경망을 이용하여, 상기 제2 기초 데이터로부터 상기 PRBS 신호를 추출하는 역 동적 모델(Inverse dynamic model)을 생성하는 단계;
    상기 역 동적 모델을 기초로, 상기 인공신경망을 이용하여 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하는 단계; 및
    상기 학습 모델로부터 획득한 입력 신호를 정전기 마찰 디스플레이 장치로 송신하는 단계를 포함하는 질감 신호 제공 방법.
  2. 제1 항에 있어서,
    상기 제1 기초 데이터는 힘 센서가 장착된 터치펜을 이용하여, 수평 방향으로 움직일 때 발생하는 대상 물체의 마찰력을 측정하는 마찰력 실측 장치로부터 제공되는 질감 신호 제공 방법.
  3. 제2 항에 있어서,
    상기 역 동적 모델을 기초로, 상기 인공신경망을 이용하여 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하는 단계에서,
    상기 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용되는 질감 신호 제공 방법.
  4. 제1 항에 있어서,
    상기 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망인 질감 신호 제공 방법.
  5. 제1 항에 있어서,
    상기 제2 기초 데이터는 상기 정전기 마찰 디스플레이 장치로부터 수집되는 질감 신호 제공 방법.
  6. 프로세서; 및
    상기 프로세서에 의해 동작되는 적어도 하나의 명령을 포함하는 메모리를 포함하되,
    상기 적어도 하나의 명령은
    대상 물체로부터 실측된 마찰력 데이터인 제1 기초 데이터를 수집하도록 하는 명령,
    PRBS(Pseudo-Random Binary Signal) 신호에 따라 생성된 상기 대상 물체에 대한 가상의 마찰력 데이터인 제2 기초 데이터를 수집하도록 하는 명령,
    인공신경망을 이용하여, 상기 제2 기초 데이터로부터 상기 PRBS 신호를 추출하는 역 동적 모델(Inverse dynamic model)을 생성하도록 하는 명령,
    상기 역 동적 모델을 기초로, 상기 인공신경망을 이용하여, 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하도록 하는 명령 및
    상기 학습 모델로부터 획득한 입력 신호를 정전기 마찰 디스플레이 장치로 송신하도록 하는 명령을 포함하는 질감 신호 제공 장치.
  7. 제6 항에 있어서,
    상기 제1 기초 데이터는, 마찰력 실측 장치에 의해 측정되는 질감 신호 제공 장치.
  8. 제7 항에 있어서,
    상기 역 동적 모델을 기초로, 상기 인공신경망을 이용하여, 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하도록 하는 명령에서는,
    상기 인공신경망은 대상 물체의 종류, 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용되는 질감 신호 제공 장치.
  9. 제6 항에 있어서,
    상기 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망인 질감 신호 제공 장치.
  10. 제6 항에 있어서,
    상기 제2 기초 데이터는 상기 정전기 마찰 디스플레이 장치로부터 수집되는 질감 신호 제공 장치.
  11. 제 7항에 있어서,
    상기 마찰력 실측 장치는,
    대상 물체의 적어도 일부분에 일단이 접촉된 터치펜;
    상기 터치펜의 타단에 위치되어, 상기 터치펜이 수평 방향으로 움직일 때 상기 터치펜에 가해지는 상기 대상 물체와의 마찰력을 측정하는 힘 센서;
    상기 터치펜의 이동 속력을 조정하는 모터; 및
    상기 터치펜에 가해지는 수직항력의 크기를 조정하는 무게추를 포함하는, 질감 신호 제공 장치.
  12. 대상 물체의 적어도 일부분에 일단이 접촉된 터치펜, 상기 터치펜의 이동 속력을 조정하는 모터 및 상기 터치펜에 가해지는 수직항력의 크기를 조정하는 무게추 및 상기 터치펜의 타단에 위치되어 상기 터치펜에 가해지는 상기 대상 물체의 마찰력인 제1 기초 데이터를 측정하는 힘 센서를 포함하는 마찰력 실측 장치;
    PRBS(Pseudo-Random Binary Signal) 신호에 따른 가상의 마찰 데이터인 제2 기초 데이터를 측정하는 정전기 마찰 디스플레이 장치; 및
    인공신경망을 이용하여 상기 제2 기초 데이터로부터 역 동적 모델을 생성하고, 상기 역 동적 모델을 기초로 상기 인공신경망을 이용하여 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하며, 상기 학습 모델로부터 추출된 입력 신호를 상기 정전기 마찰 디스플레이 장치로 송신하는 질감 신호 제공 장치를 포함하는 질감 신호 제공 시스템.
  13. 제12 항에 있어서,
    상기 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용되는 질감 신호 제공 시스템.
  14. 제12 항에 있어서,
    상기 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망인 질감 신호 제공 시스템.
KR1020180135458A 2018-11-06 2018-11-06 질감 신호 제공 장치 및 방법 KR102247521B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180135458A KR102247521B1 (ko) 2018-11-06 2018-11-06 질감 신호 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180135458A KR102247521B1 (ko) 2018-11-06 2018-11-06 질감 신호 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200055168A KR20200055168A (ko) 2020-05-21
KR102247521B1 true KR102247521B1 (ko) 2021-05-03

Family

ID=70910323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180135458A KR102247521B1 (ko) 2018-11-06 2018-11-06 질감 신호 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102247521B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416722B1 (ko) 2013-07-16 2014-07-14 한국표준과학연구원 정전기력을 이용한 촉각 피드백 생성 장치, 그 제어방법 및 상기 촉각 피드백 생성 장치의 제조방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101769628B1 (ko) * 2009-03-12 2017-08-18 임머숀 코퍼레이션 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
KR20180055070A (ko) * 2016-11-16 2018-05-25 삼성전자주식회사 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416722B1 (ko) 2013-07-16 2014-07-14 한국표준과학연구원 정전기력을 이용한 촉각 피드백 생성 장치, 그 제어방법 및 상기 촉각 피드백 생성 장치의 제조방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REZA HAGHIGHI OSGOUEI 외 2명. ‘Identification of Primitive Geometrical Shapes Rendered Using Electrostatic Friction Display.’ 2016 IEEE Haptics Symposium (HAPTICS). 2016.04. 198-204 Pages. 1부.*

Also Published As

Publication number Publication date
KR20200055168A (ko) 2020-05-21

Similar Documents

Publication Publication Date Title
US10514761B2 (en) Dynamic rendering of etching input
JP2014510346A (ja) 電気活性ポリマーアクチュエータのフィードバック装置、システム、およびその方法
Wiertlewski et al. A high-fidelity surface-haptic device for texture rendering on bare finger
US9804692B2 (en) System and method for generating haptic feedback in stylus
CN105144072B (zh) 在多点触控装置上对压感进行模拟
CN110187775A (zh) 上下文相关的触觉确认***
CN106951069A (zh) 一种虚拟现实界面的控制方法及虚拟现实设备
EP2924545A1 (en) System and method for generating haptic feedback in stylus
Bi et al. Friction modeling and compensation for haptic display based on support vector machine
Huloux et al. Overcoming the variability of fingertip friction with surface-haptic force-feedback
CN103576914B (zh) 用以提供触控笔触感的***与方法
KR20130132441A (ko) 교란 환경에서 관심 물체를 검출하는 방법, 및 상기 방법을 구현하는 제스쳐 인터페이스 장치
KR102247521B1 (ko) 질감 신호 제공 장치 및 방법
Messaoud et al. High fidelity closed loop controlled friction in SMARTTAC tactile stimulator
Visell et al. A device and method for multimodal haptic rendering of volumetric stiffness
Moscatelli et al. A change in the fingertip contact area induces an illusory displacement of the finger
Pacchierotti et al. A data-driven approach to remote tactile interaction: from a biotac sensor to any fingertip cutaneous device
CN108279846A (zh) 一种手势模型建立、手势认证的方法及装置
CN109571494A (zh) 情绪识别方法、装置及宠物机器人
Zhou et al. Interaction-based dynamic measurement of haptic characteristics of control elements
NL2027963B1 (en) Touch-sensitive input device
KR102272641B1 (ko) 물체 인식 장치 및 방법 그리고 이를 포함하는 물체 인식 시스템
Callens et al. A tangible surface for digital sculpting in virtual environments
Kimura et al. Effect of delays in softness display using contact area control: rendering of surface viscoelasticity
Tian et al. A novel haptic stylus for mobile terminal

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant