KR101522690B1 - 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법 - Google Patents

피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법 Download PDF

Info

Publication number
KR101522690B1
KR101522690B1 KR1020140096230A KR20140096230A KR101522690B1 KR 101522690 B1 KR101522690 B1 KR 101522690B1 KR 1020140096230 A KR1020140096230 A KR 1020140096230A KR 20140096230 A KR20140096230 A KR 20140096230A KR 101522690 B1 KR101522690 B1 KR 101522690B1
Authority
KR
South Korea
Prior art keywords
visual
tactile
skin surface
image
virtual
Prior art date
Application number
KR1020140096230A
Other languages
English (en)
Inventor
이상윤
김광택
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140096230A priority Critical patent/KR101522690B1/ko
Application granted granted Critical
Publication of KR101522690B1 publication Critical patent/KR101522690B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법을 공개한다. 본 발명은 2차원 이미지를 획득하는 이미지 획득부, 2차원 이미지를 3차원 이미지로 변환하고, 변환된 3차원 이미지에 기저장된 시각 인지 모델을 적용하여 3차원 시각적 질감 이미지인 시각적 피부 표면 이미지로 변환하고, 시각적 피부 표면 이미지를 기설정된 가상 평면에 렌더링하여 시각적 가상 피부 표면을 생성하는 시각 이미지 생성부, 시각적 피부 표면 이미지를 인가받아 기저장된 촉각 인지 모델을 적용하여 촉각적 피부 표면 이미지로 변환하고, 가상 평면에 촉각적 피부 표면 이미지를 렌더링하여 촉각적 가상 피부 표면을 생성하며, 햅틱 프로브의 위치 정보에 응답하여 반발력을 계산하는 촉각 이미지 생성부, 시각적 가상 피부 표면을 사용자에게 표시하는 디스플레이부, 및 사용자의 조작에 따라 햅틱 프로브의 위치를 가변하여 위치 정보를 촉각 이미지 생성부로 전송하고, 반발력을 수신하여 사용자에게 촉각 자극을 제공하는 햅틱부를 포함한다.

Description

피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법{3D VISUO-HAPTIC DISPLAY SYSTEM AND METHOD BASED ON PERCEPTION FOR SKIN DIAGNOSIS}
본 발명은 3차원 시각-촉각 디스플레이 시스템 및 방법에 관한 것으로, 특히 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법에 관한 것이다.
피부 질환 및 장애를 진단하기 위해 시각 및 촉각에 의한 관찰은 매우 중요하다. 피부 표면은 시각적 정보(색상 및 형상)이상으로 촉각적 특성(거칠기, 마찰, 딱딱한 정도)를 포함하기 때문에, 시각에 의해서만 피부 변화를 정량적으로 판단하기는 어렵다. 따라서 피부를 촉각으로 진단하는 피부 촉진의 중요성은 피부 진단 분야에서 이미 잘 알려져 있다. 그러나 직접 손이나 손가락으로 피부 표면을 촉진하는 경우, 피부의 감염 부위에 손상을 줄 수 있다는 문제가 있다.
이러한 이유로 피부 촉진의 중요성을 인지하고 있음에도 불구하고, 기존에는 마이크로미러(micromirror)나 카메라 및 광학 센서 등의 다양한 센서를 이용하여 시각적으로 피부 표면의 특징을 정량화하는 비전 중심의 피부 진단 기술이 발전해왔다. 이러한 비전 중심 피부 진단 기술은 건선 부위 위험 지수(Psoriasis Area and Severity Index : PASI)나 습진 부위 위험지수(Eczema Area and Severity Index : EASI)와 같은 주관적 방법에 비해 피부 상태를 빠르고 정량적으로 평가할 수 있도록 한다. 그러나 피부 특성에 대한 비전 중심 피부 진단 기술의 발전에도 불구하고, 피부 촉진에 의한 촉각 정보는 피부 진단의 정확도를 더욱 향상 시킬 수 있다는 것은 명백한 사실이다.
이에 피부 표면을 직접 촉진하지 않고서, 피부 표면을 모방한 모의 피부를 대신 촉진할 수 있도록 하는 연구가 진행되고 있다. 모의 피부를 이용하여 실제 촉진과 유사한 촉감으로 피부 촉진이 가능하다면, 피부 질환이나 장애 환자에게 부담을 주지 않고서도, 비전 중심의 피부 진단만을 수행하는 경우보다 더 정확한 피부 진단을 가능하게 할 수 있다. 뿐만 아니라, 의사가 직접 환자와 접촉하지 않아도 되므로 원격 진료가 가능하게 하며, 의료기관 종사자들의 교육 및 평가에도 유용하게 활용될 수 있다. 예를 들면 수술 실습이나, 바늘 삽입 시뮬레이션, 종양의 촉진 등의 교육 시에 사실적인 실습 도구로서 활용될 수 있다.
다만 피부를 재현하기 위한 것일지라도 환자의 피부에 불필요한 접촉이 발생하는 것은 피부의 감염 부위에 손상을 줄 수 있으므로, 피부에 접촉하지 않고, 높은 정확도로 피부의 촉감을 재현할 수 있도록 하는 것이 중요하다.
한국 등록 특허 제10-0400870호(2002.04.17공개) "원격 피부진단 및 치료기"에는 원격지에서 피부진단을 수행할 수 있도록 피부에 대한 정보를 다양한 방식으로 취득하여 통신 기기를 통해 원격지로 전송하는 기술이 개시되어 있지만, 피부에 대한 촉각 정보를 제공할 수 없다는 점에서 종래와 마찬가지로 피부 진단의 정확도에 한계가 있다.
본 발명의 목적은 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템을 제공하는데 있다.
본 발명의 다른 목적은 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템은 2차원 이미지를 획득하는 이미지 획득부; 상기 2차원 이미지를 3차원 이미지로 변환하고, 변환된 상기 3차원 이미지에 기저장된 시각 인지 모델을 적용하여 3차원 시각적 질감 이미지인 시각적 피부 표면 이미지로 변환하고, 상기 시각적 피부 표면 이미지를 기설정된 가상 평면에 렌더링하여 시각적 가상 피부 표면을 생성하는 시각 이미지 생성부; 상기 시각적 피부 표면 이미지를 인가받아 기저장된 촉각 인지 모델을 적용하여 촉각적 피부 표면 이미지로 변환하고, 상기 가상 평면에 상기 촉각적 피부 표면 이미지를 렌더링하여 촉각적 가상 피부 표면을 생성하며, 햅틱 프로브의 위치 정보에 응답하여 반발력을 계산하는 촉각 이미지 생성부; 상기 시각적 가상 피부 표면을 사용자에게 표시하는 디스플레이부; 및 상기 사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 상기 위치 정보를 상기 촉각 이미지 생성부로 전송하고, 상기 반발력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 햅틱부; 를 포함한다.
상기 시각 이미지 생성부는 상기 2차원 이미지에서 조명 결함을 제거하고 상승 표면을 생성하여 상기 3차원 이미지로 변환하고, 변환된 상기 3차원 이미지의 색성분을 휘도값으로 변환하는 상기 시각 인지 모델을 적용하여 상기 시각적 피부 표면 이미지를 생성하는 시각적 피부 표면 생성부; 및 상기 시각적 피부 표면 이미지를 해상도에 대응하는 개수의 정삼각형이 메쉬 형태로 결합되어 구성된 상기 가상 평면에 렌더링하여 상기 시각적 가상 피부 표면을 생성하는 시각적 3D 피부 렌더링부; 를 포함하는 것을 특징으로 한다.
상기 시각 인지 모델은 상기 3차원 이미지의 각 픽셀별 색상값에 색상별 인간의 인지도에 따라 설정된 가중치를 각각 인가하여 상기 휘도값으로 변환하는 인지 변환 함수인 것을 특징으로 한다.
상기 촉각 이미지 생성부는 상기 시각적 피부 표면 이미지에 인간의 시각적 인지도와 촉각적 인지도 사이의 차이를 보상하는 상기 촉각 인지 모델을 적용하여 상기 촉각적 피부 표면 이미지로 변환하는 촉각적 피부 표면 생성부; 상기 촉각적 피부 표면 이미지를 촉각 이미지 생성부에서 사용된 것과 동일한 상기 가상 평면 상에 렌더링하여 상기 촉각적 가상 피부 표면을 생성하는 촉각적 3D 피부 렌더링부; 상기 햅틱부로부터 상기 햅틱 프로브의 위치 정보를 수신하여 상기 햅틱프로브가 상기 촉각적 가상 피부 표면과 충돌하는지 판별하고, 상기 햅틱 프로브가 상기 촉각적 가상 피부 표면과 충돌한 것으로 판별되면 상기 햅틱 프로브의 위치에 대응하는 깊이 정보 및 움직임 정보를 생성하는 충돌 감지부; 및 상기 깊이 정보와 상기 움직임 정보를 이용하여 상기 반발력을 계산하여 상기 햅틱부로 전송하는 반발력 계산부; 를 포함하는 것을 특징으로 한다.
상기 촉각 인지 모델은 상기 가상 평면의 상기 해상도에 따라 사람이 상기 시각적 가상 피부 표면 및 상기 촉각적 가상 피부 표면에 대응하는 시각 자극 및 촉각 자극을 인지할 수 있는 최소 거칠기를 시각 감지 문턱값과 촉각 감지 문턱값으로 측정하고, 상기 시각 감지 문턱값과 상기 촉각 감지 문턱값 사이의 상관 관계를 도출하여 획득되는 것을 특징으로 한다.
상기 반발력 계산부는 상기 깊이 정보를 이용하여 충돌 대응력을 계산하고, 상기 움직임 정보를 이용하여 피부 마찰력을 계산하며, 계산된 상기 충돌 대응력과 상기 피부 마찰력으로부터 반발력을 계산하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 방법은 이미지 획득부, 시각 이미지 생성부, 촉각 이미지 생성부, 디스플레이부 및 햅틱부를 구비하는 3차원 시각-촉각 디스플레이 시스템의 3차원 시각-촉각 디스플레이 방법에 있어서, 상기 이미지 획득부가 2차원 이미지를 획득하는 단계; 상기 시각 이미지 생성부가 상기 2차원 이미지를 3차원 이미지로 변환하고, 변환된 상기 3차원 이미지에 기저장된 시각 인지 모델을 적용하여 3차원 시각적 질감 이미지인 시각적 피부 표면 이미지로 변환하는 단계; 상기 시각 이미지 생성부가 상기 시각적 피부 표면 이미지를 기설정된 가상 평면에 렌더링하여 시각적 가상 피부 표면을 생성하는 단계; 상기 촉각 이미지 생성부가 상기 시각적 피부 표면 이미지를 인가받아 기저장된 촉각 인지 모델을 적용하여 촉각적 피부 표면 이미지로 변환하고, 상기 가상 평면에 상기 촉각적 피부 표면 이미지를 렌더링하여 촉각적 가상 피부 표면을 생성하는 단계; 상기 디스플레이부가 상기 시각적 가상 피부 표면을 사용자에게 표시하는 단계; 상기 촉각 이미지 생성부가 상기 가상 평면에 상기 촉각적 피부 표면 이미지를 렌더링하여 촉각적 가상 피부 표면을 생성하는 단계; 상기 촉각 이미지 생성부가 상기 햅틱부에서 인가되는 햅틱 프로브의 위치 정보에 응답하여 반발력을 계산하는 단계; 및 상기 햅틱부가 상기 반발력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 단계; 를 포함한다.
따라서, 본 발명의 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법은 시스템은 2차원 이미지로부터 시각적 인지 모델을 이용하여 3차원의 시각적 피부 표면 이미지를 생성하고, 시각적 피부 표면 이미지로부터 시각적 가상 피부 표면을 생성하여 사용자에게 시각 자극을 제공한다. 뿐만 아니라 촉각적 인지 모델을 이용하여 시각적 피부 표면 이미지로부터 촉각적 피부 표면 이미지를 생성하고, 촉각적 피부 표면 이미지로부터 촉각적 가상 피부 표면을 생성하여 사용자에게 촉각 자극을 제공한다. 즉 사용자에게 시각 자극과 촉각 자극을 모두 제공할 수 있으며, 시각 자극과 촉각 자극이 모두 사람의 인지도에 기반한 시각적 인지 모델 및 촉각적 인지 모델을 기반하여 제공되므로, 피부 진단의 정확도를 크게 높일 수 있다.
도1 은 본 발명의 일실시예에 따른 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템의 구축하기 위한 개념을 나타낸다.
도2 는 각 픽셀의 색성분이 휘도값으로 변환된 시각적 피부 표면 이미지의 일예를 나타낸다.
도3 은 가상 평면의 일예를 나타낸다.
도4 는 촉각적 자극을 제공하기 위한 햅틱 장치의 일예를 나타낸다.
도5 는 1U1D 2IFC 적응적 계단 기법에 따라 거칠기 강도의 변화를 가변하면서 실험을 수행한 결과를 나타낸다.
도6 은 피부 표면 거칠기에 대한 시각적 인지 감도와 촉각적 인지 감도 사이의 상관 관계를 나타낸다.
도7 은 시각 피부 표면과 촉각 피부 표면을 비교한 도면이다.
도8 은 촉각적 가상 피부 표면의 효과를 검증하기 위해 2차원 이미지와 2차원 이미지로부터 생성되는 촉각적 가상 피부 표면 및 시각적 가상 피부 표면을 비교하여 나타낸 도면이다.
도9 는 촉각적 가상 피부 표면의 효과를 검증하기 위해 참여자에게 제공되는 화면을 나타낸다.
도10 은 도1 의 인지기반 3차원 시각-촉각 디스플레이 시스템을 이용하여 사용자에게 시각 자극에 대응하는 촉각 자극을 제공하는 개념을 나타낸다.
도11 은 도1 반발력 계산부가 반발력을 계산하는 개념을 나타낸다.
도12 은 본 발명의 일실시예에 따른 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1 은 본 발명의 일실시예에 따른 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템의 구축하기 위한 개념을 나타낸다.
도1 을 참조하면, 본 발명의 3차원 시각-촉각 디스플레이 시스템은 이미지 획득부(100), 시각 이미지 생성부(200), 촉각 이미지 생성부(300), 인지 모델 저장부(400), 디스플레이부(500) 및 햅틱부(500)를 포함한다.
이미지 획득부(100)는 진단하고자 하는 피부 표면에 대한 2차원 이미지를 획득한다. 이미지 획득부(100)는 기존의 비전 중심 피부 진단 방식에서와 마찬가지로, 마이크로미러(micromirror)나 카메라 및 광학 센서 등으로 구현되어 피부 표면에 대한 2차원 이미지를 획득한다. 또한 이미지 획득부(100)에 기 저장된 2차원 이미지를 획득할 수도 있다. 그리고 획득된 2차원 이미지를 시각 이미지 생성부(200)로 전달한다.
여기서 이미지 획득부(100)가 2차원 이미지를 획득하는 것은 시간과 장소에 구애받지 않고, 저비용으로 피부 표면에 대한 이미지를 용이하게 획득할 수 있도록 하기 위함이며, 또한 기존에 획득되어 저장 수단에 저장된 2차원 이미지를 재활용할 수 있도록 하기 위함이다.
시각 이미지 생성부(200)는 이미지 획득부(100)에서 획득된 2차원 이미지를 수신하고, 2차원 이미지로부터 3차원 시각적 피부 이미지를 생성한다. 시각 이미지 생성부(200)는 시각적 피부 표면 생성부(210) 및 시각적 피부 렌더링부(220)를 구비한다.
시각적 피부 표면 생성부(210)는 이미지 획득부(100)에서 인가된 2차원 이미지를 전처리 단계와 인지기반 3차원 시각 질감 변환 단계의 2단계를 통해 시각적 피부 표면(Visual Skin Surface : VSS) 이미지로 변환한다. 여기서 시각적 피부 표면(VSS) 이미지는 3차원 시각적 질감 이미지(3D Visual Texture Image)이다.
시각적 피부 표면 생성부(210)는 2차원 이미지가 인가되면, 우선 전처리 단계로서 수신된 2차원 이미지에 대해 호모그래픽 필터링(homographic filtering)을 수행함으로써, 조명 결함(illumination artifact)을 제거하고, 상승 표면(elevated surface)을 생성하여 3차원 시각적 이미지(3D Visual Image)로 변환한다.
여기서 조명 결함은 이미지에서 불균일한 조명 의해 발생할 수 있는 결함을 의미한다. 그리고 호모그래픽 필터링(homographic filtering)은 이미지 상의 불균일한 조명을 정규화하는 기법으로 공지된 기술이다.
이후 인지 기반 3차원 시각 질감 변환 단계에서는 전처리 단계에서 상승 표면에 기반하여 변환된 3차원 시각적 이미지의 색 성분을 휘도값(luminance value)으로 변환하여, 시각적 피부 표면(VSS) 이미지를 획득한다. 여기서 색 성분을 휘도값으로 변환하는 작업은 사실적인 3차원 피부 표면 질감을 획득하기 위해 필요하다. 이는 사람의 3차원 이미지의 질감에 대한 시각적 인지 능력이 색상보다 휘도에 더 민감하게 반응하기 때문이다.
시각적 피부 표면 생성부(210)가 3차원 시각 질감 변환 단계에서 색 성분을 휘도값으로 변환하는 방법은 다양하게 설정될 수 있다. 이 중 색 성분을 휘도값으로 변환하는 가장 단순한 방법은 이미지의 색성분(레드(R), 그린(G), 블루(B))을 수학식 1과 같이 정규화하는 것이다.
Figure 112014071566060-pat00001
(여기서 in(i)는 i번째 픽셀에 대한 정규화 함수를 나타내고, R(i), G(i) 및 B(i) 각각은 픽셀 i의 색성분을 나타낸다.)
그러나 수학식 1에 따른 각 색 성분의 정규화는 휘도값에서 각 색성분의 기여도가 동일한 비율로 반영되므로, 인간의 인지도를 고려되어 있지 않는다. 실제에 있어서 사람들은 각 색성분에 대해 동등하게 인지하지 않고, 각 색성분에 따라 차등화하여 인지한다. 따라서 더 정확하게 사실적인 피부 표면에 대한 시각적 질감을 구축하기 위해 본 발명에서는 인간의 인지도를 고려하여 색 성분별 가중치를 다르게 적용할 필요가 있다.
이에 시각적 피부 표면 생성부(210)는 시각 인지 모델 저장부(410)에 저장된 시각 인지 모델을 인가받아 3차원 시각적 이미지의 색 성분을 휘도값(luminance value)으로 변환한다.
수학식 2는 시각 인지 모델의 일예에 따라 3차원 시각적 이미지의 색 성분을 휘도값(luminance value)으로 변환하는 인지 변환 함수를 나타낸다.
Figure 112014071566060-pat00002
(여기서 ip(i)는 i번째 픽셀에 대한 인간의 인지도를 고려한 인지 변환 함수를 나타내고, R(i), G(i) 및 B(i) 각각은 픽셀 i의 색성분을 나타낸다.)
수학식 2에서는 수학식 1과 달리 인지 변환 함수가 3원색의 색성분에 대해 각각 서로 다른 값의 고정된 가중치가 적용되며, 각 색성분에 대한 가중치는 "Anderson, Matthew, et al. Proposal for a standard default color space for the internet-sRGB. In: Color and Imaging Conference. Society for Imaging Science and Technology, 1996. p. 238-245."에 근거하여 획득된 값으로 다수의 사람들에 대해 실험을 통해 획득된 값이다. 즉 사람의 색상 인지도에 대한 실험을 통해 획득된 값이다. 그러나 수학식 2 는 일 예로서 인지 변환 함수의 색성분에 대한 가중치는 여러 조건에 따라 변경될 수 있다.
이에 본 발명에서는 다양한 가중치 세트가 지정된 복수개의 인지 변환 함수가 각각 시각 인지 모델로서 저장된 시각 인지 모델 저장부(410)를 구비하고, 시각적 피부 표면 생성부(210)가 시각 인지 모델 저장부(410)에 저장된 복수개의 인지 변환 함수 중 하나를 선택하여 적용하도록 구성될 수도 있다. 만일 시각적 피부 표면 생성부(210)가 하나의 인지 변환 함수만을 이용하는 경우에, 시각 인지 모델 저장부(410)는 생략될 수 있다.
결과적으로 시각적 피부 표면 생성부(210)는 2차원 이미지를 호모그래픽 필터링을 이용하여 3차원 시각적 이미지로 변환하고, 미리 획득된 시각 인지 모델을 이용하여 3차원 시각적 이미지를 시각적 피부 표면(VSS) 이미지로 변환한다.
도2 는 각 픽셀의 색성분이 휘도값으로 변환된 시각적 피부 표면 이미지의 일예를 나타낸다.
도2 에서 왼쪽의 이미지는 수학식 1에 따라 변환된 2차원 이미지를 나타내고, 오른쪽 이미지는 수학식 2에 따라 변환된 2차원 이미지를 나타낸다. 수학식 2의 인지 변환 함수에 따라 변환된 오른쪽 이미지가 색상에 대한 인간의 인지도가 반영된 이미지로서 왼쪽 이미지에 비해 더욱 사실적인 피부 질감을 재현하고 있음을 확인할 수 있다.
시각적 3D 피부 렌더링부(220)는 시각적 피부 표면 생성부(210)에서 시각적 피부 표면(VSS) 이미지를 인가받아 기설정된 가상 평면 상에 렌더링하여 시각적 가상 피부 표면을 생성한다.
도3 은 가상 평면의 일예를 나타낸다.
도3 에 도시된 바와 같이, 가상 평면은 복수개의 정삼각형이 메쉬(mesh) 형태로 결합되어 구성될 수 있으며, 가상 평면의 표면 해상도는 정삼각형의 개수에 의해 정의될 수 있다. 가상 평면은 다양한 해상도로 제공 될 수 있으며, 일 예로 정삼각형의 개수가 2074개, 5091개, 9300개 및 13270개인 4개의 서로 다른 해상도의 가상 평면 중 하나가 선택되어 사용될 수 있다.
시각적 가상 피부 표면은 가상 3차원 피부 질감에 대한 사실적인 그래픽 렌더링을 제공하는 것으로 알려진 퐁의 쉐이딩 기법(Phong, Bui Tuong. Illumination for computer generated pictures. Communications of the ACM, 1975, 18.6: 311-317.)을 이용하여 가상 평면상에 시각적 피부 표면(VSS) 이미지를 렌더링함으로써 생성될 수 있다. 그리고 시각적 3D 피부 렌더링부(220)는 생성된 시각적 가상 피부 표면을 디스플레이부(300)로 전송한다.
디스플레이부(300)는 모니터와 같은 디스플레이 장치로 구현되어, 시각적 3D 피부 렌더링부(220)에서 인가된 시각적 가상 피부 표면을 사용자에게 표시한다.
한편, 촉각 이미지 생성부(300)는 시각적 피부 표면 생성부(210)로부터 시각적 피부 표면(VSS) 이미지를 인가받고, 시각적 피부 표면(VSS) 이미지로부터 촉각적 가상 피부 표면을 생성한다. 촉각 이미지 생성부(300)는 촉각적 피부 표면 생성부(410), 촉각적 3D 피부 렌더링부(420), 충돌 감지부(430) 및 반발력 계산부(440)를 구비한다.
우선 촉각적 피부 표면 생성부(410)는 시각적 피부 표면 생성부(210)로부터 3차원 시각적 질감 이미지가 인가되면, 인지 모델 저장부(600)의 촉각 인지 모델 저장부(620)에 저장된 촉각 인지 모델을 수신한다. 그리고 수신된 촉각 인지 모델을 이용하여 시각적 피부 표면(VSS) 이미지를 촉각적 피부 표면(Haptic Skin Surface : HSS) 이미지로 변환한다.
여기서 촉각 인지 모델은 피부 표면 거칠기에 대한 인지 감도의 선형 회기 모델로서, 시각적 이미지에 대한 수학식 2의 인지 변환 함수에 대응하는 촉각적 인지 감도의 선형 함수의 형태로 제공될 수 있다. 촉각 인지 모델에 대한 상세한 설명은 후술하도록 한다.
촉각적 피부 표면 생성부(410)가 시각적 피부 표면(VSS) 이미지로부터 촉각적 피부 표면(Haptic Skin Surface : HSS) 이미지를 획득하면, 촉각적 3D 피부 렌더링부(420)는 촉각적 피부 표면(HSS) 이미지를 시각적 3D 피부 렌더링부(220)에서 사용된 가상 평면과 동일한 가상 평면 상에 렌더링하여 촉각적 가상 피부 표면을 생성한다. 이때 촉각적 3D 피부 렌더링부(420)는 시각적 3D 피부 렌더링부(220)와 마찬가지로 퐁의 쉐이딩 기법을 이용하여 가상 평면상에 촉각적 피부 표면(HSS) 이미지를 렌더링할 수 있다.
다만 촉각 렌더링 시에는 실제 인간 피부의 생체 역학적 특성(마찰과 강성) 도 함께 고려될 수 있어야 한다. 따라서 실제 인간 피부의 생체 역학적 특성인 인간 피부 표면의 상이한 거칠기를 시뮬레이션하기 위해, 3차원 삼각형 메시에 의해 표현되는 가상 평면에 촉각적 피부 표면(HSS) 이미지가 렌더링된 촉각적 가상 피부 표면은 추가적인 랜덤 노이즈에 의해 수정된다. 촉각적 가상 피부 표면에서 거칠기(δ)는 삼각형의 꼭지점들의 높이 차에 의해 결정된다. 가상 평면의 법선 벡터 방향으로 삼각형의 각 꼭지점의 높이 차는 가상 평면에서 삼각형의 위치에서 피부의 거칠기의 양에 의해 수학식 3과 같이 변경된다.
Figure 112014071566060-pat00003
(여기서 vnew(i)는 i번째 꼭지점의 수정된 법선 벡터 방향 좌표이고, v(i)는 i번째 꼭지점의 이전 좌표이며, r(i)는 균일한 분포로 독립적이고 동일하게 분산된 랜덤 변수에 의해 결정되는 i번재 꼭지점에서의 거칠기(δ)를 나타낸다.)
그리고 생성된 촉각적 가상 피부 표면은 시각적 가상 피부 표면과 달리 디스플레이부(300)에 표시되지 않는다.
본 발명에서 디스플레이부(300)에 표시되지 않은 촉각적 가상 피부 표면을 시각적 가상 피부 표면과 별도로 생성하는 것은 사람이 느끼는 시각적 자극과 촉각적 자극의 차이가 있기 때문이다. 즉 시각적 자극을 위해 생성된 시각적 가상 피부 표면을 사용자에게 촉각적 자극을 제공하기 위한 정보로 활용하는 경우, 사용자는 시각적 자극과 촉각적 자극 사이의 차이로 인해 피부 상태에 대한 진단을 정확하게 수행할 수 없게 된다. 이에 본 발명에서는 시각적 가상 피부 표면과 별도의 촉각적 가상 피부 표면을 시각 자극에 대응하는 촉각 자극을 제공하기 위해 생성함으로써, 시각적 자극과 촉각적 자극의 차이를 줄인다.
충돌 감지부(430)는 햅틱부(500)에서 인가되는 햅틱 프로브(haptic probe)의 위치 정보가 촉각적 가상 피부 표면 내부로 이동하는지 판별한다. 만일 햅틱 프로브의 위치가 촉각적 가상 피부 표면 내부로 이동하는 것으로 판별되면, 반발력 계산부(440)로 촉각적 가상 피부 표면과 햅틱 프로브가 충돌한 위치부터 가상 피부 표면 아래로 인가되는 힘에 따라 가상 프로브를 생성하고, 햅틱 프로브가 충돌한 위치로부터 가상 프로브의 위치까지의 침투 깊이 정보와 햅틱 프로브의 움직임 정보를 전달한다. 이때, 충돌 감지부(430)는 햅틱 프로브의 위치 정보가 시각적 가상 피부 표면의 외부의 위치에 대응하는 것으로 판단되면, 충돌이 발생하지 않은 것으로 판별하여 침투 깊이 정보와 움직임 정보를 전달하지 않는다.
반발력 계산부(440)는 충돌 감지부(430)에서 인가되는 침투 깊이 정보와 움직임 정보로부터 사용자에게 피드백되어야 하는 힘의 세기를 계산하여 햅틱부(500)로 전송한다.
이때 햅틱부(500)가 발생할 반발력(F)은 패널티(penalty) 기반 기법인 포스 쉐이딩 기법(Ruspini, Diego C. et al., Haptic interaction in virtual environments, Intelligent Robots and Systems, 1997. IROS'97., Proceedings of the 1997 IEEE/RSJ International Conference on. Vol. 1. IEEE, 1997.)을 이용하여 계산될 수 있으며, 반발력(F)를 계산하는 상세한 설명은 후술한다.
햅틱부(500)는 사용자 인터페이스 장치의 일종으로 햅틱 장치로 구현될 수 있다. 햅틱 장치는 기존에 2차원 위치 좌표만을 제공할 수 있는 마우스와 달리 3차원 공간에서의 위치 좌표를 제공할 수 있다. 뿐만 아니라 마우스가 단순히 입력 장치로서 사용자의 명령을 시스템으로 인가하는 데 반해, 햅틱 장치는 사용자와의 상호 작용이 가능하도록 촉각 자극을 피드백으로 제공하는 포스-피드백(force-feedback) 장치이다.
도4 는 촉각적 자극을 제공하기 위한 햅틱 장치의 일예를 나타낸다.
도4 의 햅틱 장치는 촉각적 자극을 제공할 수 있는 사용자 인터페이스 수단으로 시장에 출시되어 사용되고 있는 장치로서, Novint 사의 Falcon 햅틱 장치를 일예로 도시하였다.
도4 의 햅틱 장치는 볼 형상의 햅틱 프로브를 구비하고, 햅틱 프로브의 위치를 변화에 따라 가상 공간 내의 커서의 위치를 3차원 위치 좌표로 변환할 수 있다. 또한 커서의 위치에 대응하는 가상 공간과 사용자가 상호 작용을 수행할 수 있도록 반발력, 진동 및 촉감 등을 햅틱 프로브를 통해 사용자에게 제공하는 포스-피드백 장치이다.
사용자는 햅틱부(500)를 조절하여 햅틱 프로브의 위치를 가변하고, 가변된 위치는 디스플레이부(300)에 커서의 위치 이동으로 표시된다. 그리고 햅틱 장치는 커서의 위치와 가상 공간 상의 객체(본 발명에서는 촉각적 가상 피부)와의 상호 작용에 대한 반발력(F)이 반발력 계산부(440)에 의해 계산되어 인가되면, 계산된 반발력(F)에 대응하는 물리적인 힘을 발생하여 사용자가 촉각 자극으로 반발력을 인지할 수 있도록 한다.
인지 모델 저장부(600)는 시각적 인지 모델 및 촉각적 인지 모델을 저장하여, 시각적 피부 표면 생성부(210)가 3차원 시각적 이미지를 시각적 피부 표면(VSS) 이미지로 변환할 수 있도록 하고, 촉각적 피부 표면 생성부(410)가 시각적 피부 표면(VSS) 이미지를 촉각적 피부 표면(HSS) 이미지로 변환할 수 있도록 한다. 인지 모델 저장부(600)는 적어도 하나의 시각적 인지 모델을 저장하는 시각 인지 모델 저장부(610) 및 적어도 하나의 촉각적 인지 모델을 저장하는 촉각 인지 모델 저장부(620)를 구비한다.
그리고 상기한 바와 같이 시각적 피부 표면 생성부(210)와 촉각적 피부 표면 생성부(410)가 각각 지정된 하나의 시각적 인지 모델과 촉각적 인지 모델을 사용한다면, 인지 모델 저장부(600)는 생략될 수 있다.
상기한 바와 같이 본 발명의 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템은 2차원 이미지로부터 시각적 인지 모델을 이용하여 3차원의 시각적 피부 표면(VSS) 이미지를 생성하고, 시각적 피부 표면(VSS) 이미지로부터 시각적 가상 피부 표면을 생성하여 사용자에게 시각 자극을 제공한다. 뿐만 아니라 촉각적 인지 모델을 이용하여 시각적 피부 표면(VSS) 이미지로부터 촉각적 피부 표면(HSS) 이미지를 생성하고, 촉각적 피부 표면(HSS) 이미지로부터 촉각적 가상 피부 표면을 생성하여 사용자에게 촉각 자극을 제공한다. 즉 사용자에게 시각 자극과 촉각 자극을 모두 제공할 수 있으며, 시각 자극과 촉각 자극이 모두 사람의 인지도에 기반한 시각적 인지 모델 및 촉각적 인지 모델을 기반하여 제공되므로, 피부 진단의 정확도를 크게 높일 수 있다.
다만, 시각적 인지 모델은 이미 다양한 연구가 진행되어 여러가지 모델이 제시되어 있으며, 본 발명에서는 수학식 2에 기술한 Anderson의 인지 변환 함수를 일 예로 사용하였다. 그에 비해 촉각 자극에 대한 촉각적 인지 모델에 대한 연구는 많지 않다. 특히 시각 자극에 대한 인지도와 촉각 자극에 대한 인지도 사이의 상관 관계를 고려한 촉각적 인지 모델에 대한 연구는 알려지지 않았다.
이에 본 발명의 제안자는 실험을 통해 촉각적 인지 모델을 획득하였다.
실험은 시각 및 손에 이상이 없는 10명의 참여자(나이가 20~33세인 3명의 여성과 7명의 남성)를 대상으로 수행되었다. 참여자 중 1명은 왼손잡이이고, 나머지는 오른손 잡이이다.
가상 평면 상에 시각적 피부 표면(VSS) 이미지가 렌더링된 시각적 가상 피부 표면을 디스플레이부(300)를 통해 참여자에게 표시함으로써, 참여자에게 시각적 자극을 제공할 수 있도록 하였으며, 촉각적 자극은 도4 에 도시된 햅틱 장치를 통해 제공하였다. 이때, 청각에 의한 감각의 오차가 발생하는 것을 방지하기 위해 참가자들은 가청 소음을 차단하는 노이즈 감소 헤드셋을 착용한 상태로 실험에 참가하였다. 또한 실험의 정확도를 높이기 위한 시각 조건(V)으로 실험은 암실에서 수행되었으며, 모니터와 참가자들의 눈과의 거리는 60cm 로 하였으며, 참가자의 시선과 가상 표면이 표시되는 모니터와의 각도는 Z 축 방향으로 30°가 되도록 조절하였다. 그리고 촉각 조건(H)으로서, 햅틱 장치는 참가자의 우성 손(dominant hand) 위치에 배치되었으며, 시각 자극이 없는 상태에서 햅틱 장치의 표면을 만지도록 하였다.
본 실험에서는 이미지 해상도에 따른 피부 거칠기에 대해 사람이 시각적 및 촉각적으로 인지할 수 있는 최소 거칠기인 시각 감지 문턱값(detection threshold)과 촉각 감지 문턱값을 측정하기 위해, 1-up 1-down two-interval forced choice(이하 1U1D 2IFC) 적응적 계단 기법을 사용하였다. 여기서 사람이 시각 및 촉각적으로 인지할 수 있는 최소 거칠기인 시각 감지 문턱값과 촉각 감지 문턱값을 측정하는 이유는 모든 시각 자극에 조건에 대한 촉각 자극을 직접 측정하여 시각 자극과 촉각 자극 사이의 관계를 곧바로 도출하기는 매우 어렵기 때문이다. 실제로 다양한 시각 자극과 그에 대비되는 촉각 자극은 매우 방대한 조합이 발생될 수 있고, 이를 이용하여 특정 촉각 인지 모델을 생성하는 것은 현실적으로 한계가 있다.
이에 본 발명에서는 사람이 거칠기에 대해 시각적 및 촉각적으로 각각 인지할 수 있는 최소 거칠기를 시각 감지 문턱값과 촉각 감지 문턱값으로 측정하고, 시각 감지 문턱값과 촉각 감지 문턱값 사이의 상관 관계를 도출함으로써 촉각 인지 모델을 생성한다. 다만 여기에 추가적인 변수로서 이미지의 해상도가 반영되도록 한다.
2IFC 적응적 계단 기법은 참가자에게 일시적으로 2개의 시각적 가상 피부 표면을 제시하거나, 촉각적 가상 피부 표면을 제시하여 수행된다. 2개의 시각적 가상 피부 표면은 디스플레이 장치를 이용한 시각적 자극의 형태로 제공되고, 2개의 촉각적 가상 피부 표면은 햅틱 장치를 이용한 촉각적 자극으로 제시된다. 여기서 2개의 가상 피부 표면 중 하나는 피부 거칠기(bump)가 포함되지만 다른 하나는 포함되지 않는다. 그리고 거칠기가 포함된 가상 피부 표면과, 거칠기가 포함되지 않은 두 개의 가상 표면이 참여자에게 제시되는 순서는 실험을 수행할 때마다 랜덤하게 가변된다.
참여자는 제시된 2개의 시각적 가상 피부 표면 중 어떤 시각적 가상 피부 표면에 피부 거칠기가 포함되었는지 선택하고, 2개의 촉각적 가상 피부 표면 중 어떤 촉각적 가상 피부 표면에 거칠기가 포함되었는지 선택한다.
1U1D 2IFC 적응적 계단 기법에 따라, 시각적 가상 피부 표면 및 촉각적 가상 피부 표면의 피부 거칠기의 강도는 참여자들이 오답을 선택하는 경우에 이전 강도보다 증가되고, 정답을 선택하는 경우에 이전 강도보다 감소되도록 설정된다. 거칠기 강도(δ)의 초기값은 예비 실험을 통해 사람들이 명확하게 인지할 수 있다고 판단되는 큰 값으로 선택되었다. 즉 도3 에서 설명한 바와 같이, 이미지의 해상도가 2074, 5091, 9300 및 13270 면에 대해 각각 거칠기 강도(δ)의 초기값은 4, 2, 1, 또는 0.5mm 로 설정되었다. 그리고 1U1D 2IFC 적응적 계단 기법에 따른 거칠기 강도의 변화는 감지 문턱값으로 빠르게 수렴할 수 있도록 초기에는 크게(예를 들면 6dB) 설정되지만, 참여자의 정답 및 오답이 일정 횟수(예를 들면 3회) 이상 반전되면, 거칠기 강도의 변화를 점차로 작게 하여 더 정확하게 감지 문턱값으로 수렴할 수 있도록 한다.
수학식 4 는 정답과 오답의 반전이 3회 미만인 초기에 거칠기 강도의 변화 규칙을 나타내며, 수학식 5 는 3회 이상 반전된 후, 거칠기 강도의 변화 규칙을 나타낸다.
Figure 112014071566060-pat00004
Figure 112014071566060-pat00005
(여기서 Δ(i)는 i번째 단계에서의 거칠기 강도를 나타낸다.)
도5 는 1U1D 2IFC 적응적 계단 기법에 따라 거칠기 강도의 변화를 가변하면서 실험을 수행한 결과를 나타낸다.
3차원 시각적 질감 이미지의 4개의 해상도 각각에 대해 시각 조건(V)와 초각 조건(H)로 실험을 수행하여 총 8가지의 실험 조건에 따라 실험을 수행하여 사람이 촉각적으로 피부 표면 거칠기에 대해 감지할 수 있는 최소한의 거칠기인 촉각 감지 문턱값을 도4 의 점선과 같이 추정하였다. 시각 감지 문턱값에 대해서는 별도로 도시하지 않았으나 실험 결과 도4 와 유사한 형태로 추정되었다.
거칠기 강도 변화의 크기가 수학식 5와 같이 작아진 이후 12회의 반전이 발생하면 실험을 중지하고 각 반전 지점에서의 거칠기 강도를 측정하였다. 그리고 마지막 12회 반전에 대한 거칠기 강도의 평균값을 감지 문턱값으로 추정한다.
도5 의 실험 결과에 의해 획득되는 감지 문턱값은 실험 참가자들에 따라 차이가 발생할 수 있으므로, 다수의 실험 참가자에 대해 실험을 반복 수행함으로써 표준 편차를 갖는 평균 감지 문턱값을 획득할 수 있다.
도6 은 피부 표면 거칠기에 대한 시각적 인지 감도와 촉각적 인지 감도 사이의 상관 관계를 나타낸다.
감지 문턱값은 거칠기 강도(δ)과 해상도에 관한 함수로 표현될 수 있으며, 이에 도6 은 해상도 변화와 거칠기 강도에 따라 시각 및 촉각에 각각에 대한 평균 감지 문턱값을 표준 편차와 함께 도시하였다. 마름모 형태의 마커를 연결하는 선분은 시각 조건(V)에 따른 시각 감지 문턱값의 변화를 나타내고, 사각형 형태의 마커를 연결하는 선분은 촉각 조건(H)에 따른 촉각 감지 문턱값의 변화를 나타낸다. 도6 을 분석하면, 서로 다른 해상도의 4개의 평면에서 거칠기에 대한 시각 감지 문턱값과 촉각 감지 문턱값은 해상도에 따라 단조 감소하였다. 그러나 면의 개수(메시 삼각형의 개수)가 적은 경우에 촉각 감지 문턱값이 시각 감지 문턱값보다 크게 설정되는 반면, 면의 개수가 증가할수록(해상도가 높아질수록) 촉각 감지 문턱값이 시각 감지 문턱값보다 더 빠르게 감소하는 경향이 있음을 알 수 있다. 면의 개수가 증가할수록 시각 감지 문턱값과 촉각 감지 문턱값 사이의 차이가 줄어들어 면의 개수가 13270개인 경우에 시각 감지 문턱값과 촉각 감지 문턱값이 유사한 값을 갖는 것으로 나타났다.
도6 에 도시된 선형 회기 모델은 시각 조건(V) 및 촉각 조건(H)에 대한 감지 문턱값을 설정하기 위해 사용될 수 있으며, 도6 으로부터 수학식 6과 같은 인지 감도의 선형 함수를 획득할 수 있다.
Figure 112014071566060-pat00006
(여기서 x는 가상 평면상의 면의 개수로서, 가상 평면의 해상도를 나타내고, lv는 시각 감지 문턱값을 나타내며, lh는 촉각 감지 문턱값을 나타낸다.)
수학식 6 에서 획득되는 시각 감지 문턱값(lv) 및 감지 문턱값(lh)는 디스플레이부(300) 및 햅틱부(600)의 구성에 따라 상이해 질 수 있으므로, 인지기반 3차원 시각-촉각 디스플레이 시스템에 대응하는 시각 감지 문턱값(lv) 및 감지 문턱값(lh)을 개별적으로 획득하는 것이 바람직하다.
도6 에 도시된 실험 결과는 가상 피부 표면에 대한 시각 조건(V)와 촉각 조건(H)의 감지 문턱값은 가상 평면의 면의 개수에 의해 서로 다르게 영향을 받는 것을 확인할 수 있다. 이는 시각적 인식에 기초하여 생성되는 시각적 피부 표면(VSS) 이미지가 직접 촉각적 가상 피부 표면을 생성하기 위해 사용될 수 없다는 것을 의미한다.
이에 본 발명에서는 상기한 바와 같이 촉각적 피부 표면 생성부(410)가 촉각 인지 모델을 이용하여 시각적 피부 표면(VSS) 이미지를 촉각적 피부 표면(HSS) 이미지로 변환한다. 촉각 인지 모델은 다양한 형태로 나타날 수 있으나, 본 발명에서는 일예로 도6 의 시각 및 촉각 감지 문턱값의 선형 회기 모델을 이용하여 수학식 7의 행태로 생성한다.
Figure 112014071566060-pat00007
(여기서 i와 n은 각각 가상 평면을 구성하는 메시 삼각형들의 꼭지점 식별자와 가상 평면에서 삼각형 면의 개수를 나타내며, N(i)는 i번째 꼭지점에서의 가상 평면의 법선 벡터를 나타낸다. 그리고 lh(n)과 lv(n)은 각각 촉각 검출 문턱값 및 시각 검출 문턱값이다.)
그리고 본 발명의 시각-촉각 디스플레이 시스템은 촉각적 피부 표면 생성부(410)가 시각 인지 모델을 이용하여 생성된 시각적 피부 표면(VSS) 이미지를 수학식 7의 촉각 인지 모델을 이용하여 촉각적 피부 표면(HSS) 이미지로 변환하고, 시각적 3D 피부 렌더링부(220)가 시각적 피부 표면(VSS) 이미지를 이용하여 시각적 가상 피부 표면을 생성하며, 촉각적 3D 피부 렌더링부(420)가 촉각적 피부 표면(HSS) 이미지를 이용하여 시각적 가상 피부 표면을 생성하므로 인간의 시각 및 촉각으로 동일한 자극을 제공하는 2개의 가상 피부 표면을 생성하여 사용자에게 제공할 수 있다.
상기한 바와 같이 시각적 가상 피부 표면은 디스플레이부(300)를 통해 표시되어 사용자에게 시각적 자극을 제공하는 반면, 촉각적 가상 피부 표면은 디스플레이부(300)에 표시되지 않는 상태로 촉각 자극의 세기를 계산하기 위해서만 사용된다.
도7 은 시각 피부 표면과 촉각 피부 표면을 비교한 도면이다.
도7 에 도시된 2개의 이미지는 모두 2차원의 단일 피부 이미지를 이용하여 생성된 3차원 이미지로서, 왼쪽은 시각적 가상 피부 표면을 나타내고 오른쪽은 촉각적 가상 피부 표면를 나타낸다. 촉각적 가상 피부 표면은 도2 와 마찬가지로 인간의 시각적 인지도가 반영된 이미지이며, 촉각적 가상 피부 표면은 인간의 촉각적 인지도가 반영된 이미지이다.
도7 에 도시된 2개의 가상 피부 표면은 시각적, 촉각적 상호 작용에 대해 인지적으로 정확한 피부 질감을 제공하기 위해 개별적으로 활용된다. 구체적으로 촉각적 가상 피부 표면은 디스플레이 장치를 통해 시각화된다. 그리고 촉각적 가상 피부 표면은 햅틱 장치의 프로브의 이동에 따라 햅틱 커서와 충돌이 발생되면, 반발력을 생성하기 위한 충돌 검출 알고리즘에 활용된다.
도8 은 촉각적 가상 피부 표면의 효과를 검증하기 위해 2차원 이미지와 2차원 이미지로부터 생성되는 촉각적 가상 피부 표면 및 시각적 가상 피부 표면을 비교하여 나타낸 도면이다.
도8 에서 (a)는 3개의 2차원 단일 피부 이미지를 나타내고, (b)는 (a)의 2차원 단일 피부 이미지를 이용하여 생성된 촉각적 가상 피부 표면을 나타낸다. 그리고 (c)는 시각적 가상 피부 표면을 나타낸다. 촉각적 가상 피부 표면의 효과를 검증하기 위한 실험은 (a) 내지 (c)의 피부 이미지 각각을 이용하여 촉각 자극을 발생하고, 발생된 촉각 자극에 대해 실험 참여자들의 반응을 분석함으로써 수행되었다.
5명의 실험 참여자들에 대해 실험이 수행되었으며, 실험 참여자들에게는 햅틱 장치의 조작을 훈련 시킨 후, 햅틱 장치를 이용하여 가상 피부 표면을 터치하도록 하였다. 참여자들은 햅틱 장치에 친숙해지고 3개의 촉각적 가상 피부 표면이 식별되도록 5분간 훈련하였다. 참여자들이 촉감에 집중 할 수 있도록 테스트 중인 피부 샘플의 그래픽 정보는 완전히 제거되었으며, 도9 에 도시된 바와 같은, 최소한의 필요한 정보만이 시각적으로 제공되었다. 공정한 데이터를 획득하기 위해서는 3개의 피부 표면 각각에 대해 최소 50회씩 실험이 수행되어야 하므로, 전체적으로는 최소 150회의 실험이 수행되어야 한다.
도9 는 촉각적 가상 피부 표면의 효과를 검증하기 위해 참여자에게 제공되는 화면을 나타낸다.
도9 에서 녹색 원은 피부 표면을 감지할 수 있는 햅틱 장치 프로브의 위치를 참여자에게 표시하기 위해 도시되어 있으며, 녹색 원 내부의 노란색 점은 현재 햅틱 프로브의 위치를 나타낸다.
Figure 112014071566060-pat00008
표1 은 모든 참여자로부터 축적된 평가 결과를 나타내며, 표1 의 값은 5명의 참여자에 대한 실험 결과의 누적값을 나타낸다.
표1 에서 왼쪽의 confusion matrix 는 참여자들이 실험결과로 참여자들이 제시된 3가지 피부를 혼돈한 횟수를 나타내며, 오른쪽은 이에 따른 인식률을 나타낸다. 참여자들은 피부 표면의 거칠기가 더 큰 그룹을 더 쉽게 식별할 수 있기 때문에 제1 피부 표면으로부터 제3 피부 표면을 구분하는 것은 제2 피부 표면과 제3 피부 표면 또는 제1 피부 표면과 제2 피부 표면을 비교하는 경우보다 쉽게 구분할 수 있다. 표1 로부터 촉각적 가상 피부 표면을 제공하면, 단순 시각적 이미지를 제공하거나 시각적 가상 피부 표면을 제공하는데 비해 더욱 사실적인 촉각 피드백을 사용자에게 제공할 수 있다는 것을 판단할 수 있다.
도10 은 도1 의 인지기반 3차원 시각-촉각 디스플레이 시스템을 이용하여 사용자에게 시각 자극에 대응하는 촉각 자극을 제공하는 개념을 나타낸다.
도10 에서 (a)는 사용자가 인지기반 3차원 시각-촉각 디스플레이 시스템을 사용하는 환경을 나타내며, (b)는 디스플레이부(300)를 통해 표시되는 시각적 가상 피부 표면과 커서를 나타낸다. 그리고 (c)는 시각적 가상 피부 표면과 시각적 가상 피부 표면에 대응하여 햅틱 장치가 실제 사용자의 햅틱 장치 조작에 반응하여 반발력을 생성할 촉각적 가상 피부 표면 및 햅틱 장치와 촉각적 가상 피부 표면 사이의 상호 작용 개념을 나타낸다.
도10 에 도시된 바와 같이 사용자는 디스플레이부(300)에 표시된 시각적 가상 피부 표면을 시각적으로 확인하면서, 햅틱 장치를 조작하여 커서의 위치를 이동시킴으로써, 시각적 가상 피부 표면과 시각적으로 상호 작용을 수행한다. 즉 햅틱 장치의 프로브의 위치를 디스플레이부(30))에 커서로 표시하고 이동시킴으로써, 현재 햅틱 장치의 프로브 위치가 시각적 가상 피부 상의 어떤 위치에 대응하는지를 표시한다.
한편 햅틱 장치는 사용자와 3차원 시각-촉각 디스플레이 시스템 사이에 촉각적 상호 작용이 가능하도록 하며, 이때 햅틱 장치는 시각적 가상 피부 표면이 아니라 디스플레이부(300)에 표시되지 않는 촉각적 가상 피부 표면과 사용자 사이의 상호 작용을 제공한다.
디스플레이부(300)에서 표시되는 커서는 2차원적으로 표시되어 3차원 공간에서 조작 가능한 햅틱 장치의 프로브가 시각적 가상 피부 표면과 접촉하거나 피부 표면 아래 방향으로 이동하게 되는 경우에 이를 표시하기 어렵다. 이에 햅틱 장치의 프로브의 이동에 따라 충돌 감지부(430)가 프로브와 시각적 가상 피부 표면 상의 충돌이 발생한 위치를 파악하고, 충돌이 발생한 이후 시각적 가상 피부 표면 아래 방향으로 이동하는 힘에 응답하여 가상 프로브를 생성함으로써 깊이 정보를 획득한다. 이때 충돌을 판별하는 기준은 시각적 가상 피부 표면이 될 수 있으나, 깊이 정보는 (c)에 도시된 바와 같이 촉각적 가상 피부 표면과의 거리를 기준으로 획득된다. 이는 사용자의 촉각 인지도에 적합한 가상 피부 표면이 촉각적 가상 피부 표면이기 때문이다. 또한 충돌이 발생한 상태에서 햅틱 장치의 프로브가 이동하는 경우에, 사용자에게 촉각적으로 제공할 인간 피부의 생체 역학적 특성(마찰과 강성) 또한 촉각적 가상 피부 표면을 기준으로 제공한다.
결과적으로 사용자는 시각적 가상 피부 표면을 눈으로 확인하면서 손으로는 촉각적 가상 피부 표면을 감지하게 된다. 이는 사람의 시각적 인지도와 촉각적 인지도의 차이를 보상함으로써 더욱 정확한 피부 진단을 가능하게 한다.
도11 은 도1 반발력 계산부가 반발력을 계산하는 개념을 나타낸다.
도11 에서도 촉각적 피부 표면(HSS)과 대비하여 시각적 피부 표면(VSS)을 도시하였다. 그러나 상기한 바와 같이 사용자에게 제공되는 촉각 자극은 촉각적 피부 표면(HSS)을 기준으로 생성된다. 반발력(F)은 촉각적 피부 표면(HSS)에 대한 법선 방향(N)으로 작용하는 충돌 대응력(FN)과 쿨롱의 마찰 모델(Coulomb Friction Model)에 의한 피부 마찰력(Ff)로 구성되므로, 수학식 8과 같이 표현될 수 있다.
Figure 112014071566060-pat00009
충돌 대응력(FN)은 주로 햅틱 장치가 촉각적 피부 표면(HSS)을 접촉한 위치인 햅틱 프로브(Yhp)와 햅틱 장치가 촉각적 피부 표면(HSS)을 침투한 후, 햅틱 프로브(Yhp)가 위치 할 것으로 추정되는 위치인 가상 프로브(Yvp) 사이의 침투 거리 값에 의해 수학식 9와 같이 계산 될 수 있다.
Figure 112014071566060-pat00010
(여기서 k는 피부 강성을 나타낸다.)
한편, 피부 마찰력(Ff)은 햅틱 장치가 촉각적 피부 표면(HSS)에 충돌한 후 사용자가 햅틱 장치를 조작함에 의해 촉각적 피부 표면(HSS) 상을 이동하는 움직임값(V)으로부터 수학식 10과 같이획득된다.
Figure 112014071566060-pat00011
(여기서 u는 표면 마찰 계수을 나타낸다.)
실제 인간의 피부에 대한 시뮬레이션의 경우, 피부 강성(k)와 표면 마찰 계수(u)는 피부 생체 역학적 특성에 대한 이전 연구 결과로부터 각각 40N/m 및 0.6로 설정될 수 있다.
그리고 수학식 9와 10을 대입함으로써, 반발력 계산부는 햅틱 장치를 사용하는 사용자가 실제 사람의 피부를 터치하는 것과 매우 유사한 촉감을 제공할 수 있다.
도12 은 본 발명의 일실시예에 따른 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 방법을 나타낸다.
도1 을 참조하여 도12 의 3차원 시각-촉각 디스플레이 방법을 설명하면, 우선 이미지 획득부(100)가 2차원 이미지를 획득한다(S11). 그리고 시각 이미지 생성부(200)의 시각적 피부 표면 생성부(210)는 이미지 획득부(100)에서 인가된 2차원 이미지를 기설정된 방식으로 3차원 이미지로 변환하고, 조명에 의한 결함을 제거하는 전처리 작업을 수행한다(S12). 여기서 2차원 이미지는 호모그래픽 필터링에 의해 3차원 이미지로 변환 될 수 있다.
이후 시각적 피부 표면 생성부(210)는 전처리 작업에 의해 3차원 이미지를 기설정된 시각 인지 모델을 이용하여 3차원 시각적 질감 이미지인 시각적 피부 표면(VSS) 이미지로 변환한다(S13). 여기서 시각 인지 모델은 인간의 시각적 인지도를 반영하는 인지 변환 함수로써, 일 예로 수학식 2와 같이 이미지의 각 색성분을 휘도값으로 변환하는 인지 변환 함수로 구현될 수 있다.
시각적 피부 표면(VSS) 이미지가 생성되면, 시각적 3D 피부 렌더링부(220)가 시각적 피부 표면(VSS) 이미지를 기설정된 해상도의 가상 평면에 렌더링하여 시각적 가상 피부 표면을 생성한다(S14). 이때 가상 평면은 복수개의 정삼각형이 메쉬 형태로 결합된 평면으로 구현될 수 있으며, 정삼각형의 개수로 표현되는 가상 평면의 해상도는 다양하게 설정될 수 있다.
그리고 생성된 시각적 가상 피부 표면은 디스플레이부(300)를 통해 사용자에게 디스플레이된다(S15).
한편, 시각적 피부 표면(VSS) 이미지는 촉각적 피부 표면 생성부(410)로 인가되고, 촉각적 피부 표면 생성부(410)는 실험적으로 인간의 시각 인지도와 촉각 인지도 간의 차이를 측정하여 보정하도록 생성된 촉각 인지 모델을 이용하여 시각적 피부 표면(VSS) 이미지를 촉각적 피부 표면(HSS) 이미지로 변환한다(S16). 여기서 촉각 인지 모델은 사람이 거칠기에 대해 시각적 및 촉각적으로 각각 인지할 수 있는 최소 거칠기를 시각 감지 문턱값과 촉각 감지 문턱값으로 측정하고, 시각 감지 문턱값과 촉각 감지 문턱값 사이의 상관 관계를 도출함으로써 획득될 수 있다.
촉각적 피부 표면(HSS) 이미지가 생성되면, 촉각적 3D 피부 렌더링부(420)는 촉각적 피부 표면(HSS) 이미지를 시각적 3D 피부 렌더링부(220)에서 사용된 가상 평면과 동일한 가상 평면 상에 렌더링하여 촉각적 가상 피부 표면을 생성한다(S17). 여기서 촉각적 가상 피부 표면은 사용자에게 피부 촉감을 제공하기 위해 생성되는 가상 피부 표면으로써, 시각적 가상 피부 표면과 달리 디스플레이부(300)를 통해 표시되지 않는다.
충돌 감지부(430)는 햅틱부(500)에서 인가되는 햅틱 프로브(haptic probe)의 위치 정보를 분석한다(S16). 그리고 분석된 햅틱 프로브의 위치가 촉각적 가상 피부 표면과 충돌하는지 판별한다(S17). 만일 햅틱 프로브의 위치가 촉각적 가상 피부 표면과 충돌되지 않은 것으로 판단되면, 다시 충돌 감지부(430)가 햅틱 프로브의 위치 정보를 분석한다(S16).
그러나 햅틱 프로브의 위치가 촉각적 가상 피부 표면과 충돌한 것으로 판단되면, 충돌 감지부(430)는 침투 깊이 정보와 햅틱 프로브의 움직임 정보를 반발력 계산부(440)로 전달한다(S18). 이에 반발력 계산부(440)는 침투 깊이 정보와 햅틱 프로브의 움직임 정보를 이용하여 사용자에게 촉각 자극을 제공할 반발력의 세기를 계산한다(S19). 그리고 계산된 반발력을 햅틱부(500)로 전송하고, 햅틱부(500)는 반발력에 대응하는 촉각 자극을 발생한다(S20).
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (14)

  1. 2차원 이미지를 획득하는 이미지 획득부;
    상기 2차원 이미지를 3차원 이미지로 변환하고, 변환된 상기 3차원 이미지에 기저장된 시각 인지 모델을 적용하여 3차원 시각적 질감 이미지인 시각적 피부 표면 이미지로 변환하고, 상기 시각적 피부 표면 이미지를 기설정된 가상 평면에 렌더링하여 시각적 가상 피부 표면을 생성하는 시각 이미지 생성부;
    상기 시각적 피부 표면 이미지를 인가받아 기저장된 촉각 인지 모델을 적용하여 촉각적 피부 표면 이미지로 변환하고, 상기 가상 평면에 상기 촉각적 피부 표면 이미지를 렌더링하여 촉각적 가상 피부 표면을 생성하며, 햅틱 프로브의 위치 정보에 응답하여 반발력을 계산하는 촉각 이미지 생성부;
    상기 시각적 가상 피부 표면을 사용자에게 표시하는 디스플레이부; 및
    상기 사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 상기 위치 정보를 상기 촉각 이미지 생성부로 전송하고, 상기 반발력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 햅틱부; 를 포함하는 3차원 시각-촉각 디스플레이 시스템.
  2. 제1 항에 있어서, 상기 시각 이미지 생성부는
    상기 2차원 이미지에서 조명 결함을 제거하고 상승 표면을 생성하여 상기 3차원 이미지로 변환하고, 변환된 상기 3차원 이미지의 색성분을 휘도값으로 변환하는 상기 시각 인지 모델을 적용하여 상기 시각적 피부 표면 이미지를 생성하는 시각적 피부 표면 생성부; 및
    상기 시각적 피부 표면 이미지를 해상도에 대응하는 개수의 정삼각형이 메쉬 형태로 결합되어 구성된 상기 가상 평면에 렌더링하여 상기 시각적 가상 피부 표면을 생성하는 시각적 3D 피부 렌더링부; 를 포함하는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 시스템.
  3. 제2 항에 있어서, 상기 시각 인지 모델은
    상기 3차원 이미지의 각 픽셀별 색상값에 색상별 인간의 인지도에 따라 설정된 가중치를 각각 인가하여 상기 휘도값으로 변환하는 인지 변환 함수인 것을 특징으로 하는 3차원 시각-촉각 디스플레이 시스템.
  4. 제2 항에 있어서, 상기 촉각 이미지 생성부는
    상기 시각적 피부 표면 이미지에 인간의 시각적 인지도와 촉각적 인지도 사이의 차이를 보상하는 상기 촉각 인지 모델을 적용하여 상기 촉각적 피부 표면 이미지로 변환하는 촉각적 피부 표면 생성부;
    상기 촉각적 피부 표면 이미지를 촉각 이미지 생성부에서 사용된 것과 동일한 상기 가상 평면 상에 렌더링하여 상기 촉각적 가상 피부 표면을 생성하는 촉각적 3D 피부 렌더링부;
    상기 햅틱부로부터 상기 햅틱 프로브의 위치 정보를 수신하여 상기 햅틱프로브가 상기 촉각적 가상 피부 표면과 충돌하는지 판별하고, 상기 햅틱 프로브가 상기 촉각적 가상 피부 표면과 충돌한 것으로 판별되면 상기 햅틱 프로브의 위치에 대응하는 깊이 정보 및 움직임 정보를 생성하는 충돌 감지부; 및
    상기 깊이 정보와 상기 움직임 정보를 이용하여 상기 반발력을 계산하여 상기 햅틱부로 전송하는 반발력 계산부; 를 포함하는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 시스템.
  5. 제4 항에 있어서, 상기 촉각 인지 모델은
    상기 가상 평면의 상기 해상도에 따라 사람이 상기 시각적 가상 피부 표면 및 상기 촉각적 가상 피부 표면에 대응하는 시각 자극 및 촉각 자극을 인지할 수 있는 최소 거칠기를 시각 감지 문턱값과 촉각 감지 문턱값으로 측정하고, 상기 시각 감지 문턱값과 상기 촉각 감지 문턱값 사이의 상관 관계를 도출하여 획득되는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 시스템.
  6. 제4 항에 있어서, 상기 반발력 계산부는
    상기 깊이 정보를 이용하여 충돌 대응력을 계산하고, 상기 움직임 정보를 이용하여 피부 마찰력을 계산하며, 계산된 상기 충돌 대응력과 상기 피부 마찰력으로부터 반발력을 계산하는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 시스템.
  7. 제1 항에 있어서, 상기 3차원 시각-촉각 디스플레이 시스템은
    적어도 하나의 상기 시각 인지 모델을 저장하는 시각 인지 모델 저장부; 및
    적어도 하나의 상기 촉각 인지 모델을 저장하는 촉각 인지 모델 저장부; 를 포함하는 인지 모델 저장부를 더 포함하고,
    상기 시각 이미지 생성부는 상기 시각 인지 모델 저장부에 저장된 상기 적어도 하나의 상기 시각 인지 모델 중 하나의 시각 인지 모델을 선택하여 수신하고,
    상기 촉각 이미지 생성부는 상기 촉각 인지 모델 저장부에 저장된 상기 적어도 하나의 상기 촉각 인지 모델 중 하나의 촉각 인지 모델을 선택하여 수신하는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 시스템.
  8. 이미지 획득부, 시각 이미지 생성부, 촉각 이미지 생성부, 디스플레이부 및 햅틱부를 구비하는 3차원 시각-촉각 디스플레이 시스템의 3차원 시각-촉각 디스플레이 방법에 있어서,
    상기 이미지 획득부가 2차원 이미지를 획득하는 단계;
    상기 시각 이미지 생성부가 상기 2차원 이미지를 3차원 이미지로 변환하고, 변환된 상기 3차원 이미지에 기저장된 시각 인지 모델을 적용하여 3차원 시각적 질감 이미지인 시각적 피부 표면 이미지로 변환하는 단계;
    상기 시각 이미지 생성부가 상기 시각적 피부 표면 이미지를 기설정된 가상 평면에 렌더링하여 시각적 가상 피부 표면을 생성하는 단계;
    상기 촉각 이미지 생성부가 상기 시각적 피부 표면 이미지를 인가받아 기저장된 촉각 인지 모델을 적용하여 촉각적 피부 표면 이미지로 변환하고, 상기 가상 평면에 상기 촉각적 피부 표면 이미지를 렌더링하여 촉각적 가상 피부 표면을 생성하는 단계;
    상기 디스플레이부가 상기 시각적 가상 피부 표면을 사용자에게 표시하는 단계;
    상기 촉각 이미지 생성부가 상기 가상 평면에 상기 촉각적 피부 표면 이미지를 렌더링하여 촉각적 가상 피부 표면을 생성하는 단계;
    상기 촉각 이미지 생성부가 상기 햅틱부에서 인가되는 햅틱 프로브의 위치 정보에 응답하여 반발력을 계산하는 단계; 및
    상기 햅틱부가 상기 반발력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 단계; 를 포함하는 3차원 시각-촉각 디스플레이 방법.
  9. 제8 항에 있어서, 상기 시각적 피부 표면 이미지로 변환하는 단계는
    상기 시각 이미지 생성부가 상기 2차원 이미지에서 조명 결함을 제거하고 상승 표면을 생성하여 상기 3차원 이미지로 변환하는 단계; 및
    상기 시각 이미지 생성부가 변환된 상기 3차원 이미지의 색성분을 휘도값으로 변환하는 상기 시각 인지 모델을 적용하여 상기 시각적 피부 표면 이미지를 생성하는 단계; 를 포함하는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 방법.
  10. 제9 항에 있어서, 상기 시각 인지 모델은
    상기 3차원 이미지의 각 픽셀별 색상값에 색상별 인간의 인지도에 따라 설정된 가중치를 각각 인가하여 상기 휘도값으로 변환하는 인지 변환 함수인 것을 특징으로 하는 3차원 시각-촉각 디스플레이 방법.
  11. 제8 항에 있어서, 상기 시각적 가상 피부 표면을 생성하는 단계는
    상기 시각적 피부 표면 이미지를 해상도에 대응하는 개수의 정삼각형이 메쉬 형태로 결합되어 구성된 상기 가상 평면에 렌더링하여 상기 시각적 가상 피부 표면을 생성하는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 방법.
  12. 제11 항에 있어서, 상기 촉각적 가상 피부 표면을 생성하는 단계는
    상기 시각적 피부 표면 이미지에 인간의 시각적 인지도와 촉각적 인지도 사이의 차이를 보상하는 상기 촉각 인지 모델을 적용하여 상기 촉각적 피부 표면 이미지로 변환하는 단계; 및
    상기 촉각적 피부 표면 이미지를 촉각 이미지 생성부에서 사용된 것과 동일한 상기 가상 평면 상에 렌더링하여 상기 촉각적 가상 피부 표면을 생성하는 단계; 를 포함하는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 방법.
  13. 제12 항에 있어서, 상기 촉각 인지 모델은
    상기 가상 평면의 상기 해상도에 따라 사람이 상기 시각적 가상 피부 표면 및 상기 촉각적 가상 피부 표면에 대응하는 시각 자극 및 촉각 자극을 인지할 수 있는 최소 거칠기를 시각 감지 문턱값과 촉각 감지 문턱값으로 측정하고, 상기 시각 감지 문턱값과 상기 촉각 감지 문턱값 사이의 상관 관계를 도출하여 획득되는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 방법.
  14. 제8 항에 있어서, 상기 반발력을 계산하는 단계는
    상기 촉각 이미지 생성부가 상기 햅틱부로부터 상기 햅틱 프로브의 위치 정보를 수신하여 상기 햅틱프로브가 상기 촉각적 가상 피부 표면과 충돌하는지 판별하고, 상기 햅틱 프로브가 상기 촉각적 가상 피부 표면과 충돌한 것으로 판별되면 상기 햅틱 프로브의 위치에 대응하는 깊이 정보 및 움직임 정보를 생성하는 단계; 및
    상기 촉각 이미지 생성부가 상기 깊이 정보를 이용하여 충돌 대응력을 계산하고, 상기 움직임 정보를 이용하여 피부 마찰력을 계산하며, 계산된 상기 충돌 대응력과 상기 피부 마찰력으로부터 반발력을 계산하는 단계; 를 포함하는 것을 특징으로 하는 3차원 시각-촉각 디스플레이 방법.
KR1020140096230A 2014-07-29 2014-07-29 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법 KR101522690B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140096230A KR101522690B1 (ko) 2014-07-29 2014-07-29 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140096230A KR101522690B1 (ko) 2014-07-29 2014-07-29 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101522690B1 true KR101522690B1 (ko) 2015-05-22

Family

ID=53395405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140096230A KR101522690B1 (ko) 2014-07-29 2014-07-29 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101522690B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791927B1 (ko) * 2016-06-10 2017-11-01 인천대학교 산학협력단 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치
KR101793940B1 (ko) * 2015-09-25 2017-11-06 인천대학교 산학협력단 햅틱 가상현실 게이밍 시스템을 이용하여 햅틱 퍼즐, 형태 퍼즐 및 위치 퍼즐을 제공하는 방법
KR101816663B1 (ko) 2016-10-20 2018-01-09 광주과학기술원 뉴럴 네트워크를 이용한 3차원 형상 복원 방법
KR101888963B1 (ko) * 2017-03-06 2018-08-17 (주)오앤드리메디컬로봇 레이저 치료를 위한 영역 분할 방법, 그를 이용한 레이저 치료 방법 및 장치
KR20200026596A (ko) * 2018-09-03 2020-03-11 인천대학교 산학협력단 원격 탐사를 위한 햅틱 상호작용 시스템 및 방법
KR20200138491A (ko) * 2019-05-29 2020-12-10 아주대학교산학협력단 순차적인 이미지 기반의 상호작용력 측정 방법 및 장치
WO2021107329A1 (ko) * 2019-11-28 2021-06-03 서울대학교산학협력단 가상현실을 이용한 시촉각통합 평가 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084012A (ja) * 2003-09-11 2005-03-31 Kao Corp 肌形状計測方法及び肌形状計測装置
KR20070060866A (ko) * 2005-12-09 2007-06-13 한국전자통신연구원 3차원 피부 측정 장치 및 방법
KR20110089043A (ko) * 2010-01-29 2011-08-04 (주)아모레퍼시픽 피부 상태 측정 방법
KR20120127638A (ko) * 2010-03-10 2012-11-22 이엘씨 매니지먼트 엘엘씨 스펙트럼 영상 데이터를 이용하여 3ｄ ｒｇｂ 모델을 생성하는 피부 관리 분석 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084012A (ja) * 2003-09-11 2005-03-31 Kao Corp 肌形状計測方法及び肌形状計測装置
KR20070060866A (ko) * 2005-12-09 2007-06-13 한국전자통신연구원 3차원 피부 측정 장치 및 방법
KR20110089043A (ko) * 2010-01-29 2011-08-04 (주)아모레퍼시픽 피부 상태 측정 방법
KR20120127638A (ko) * 2010-03-10 2012-11-22 이엘씨 매니지먼트 엘엘씨 스펙트럼 영상 데이터를 이용하여 3ｄ ｒｇｂ 모델을 생성하는 피부 관리 분석 시스템

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793940B1 (ko) * 2015-09-25 2017-11-06 인천대학교 산학협력단 햅틱 가상현실 게이밍 시스템을 이용하여 햅틱 퍼즐, 형태 퍼즐 및 위치 퍼즐을 제공하는 방법
KR101791927B1 (ko) * 2016-06-10 2017-11-01 인천대학교 산학협력단 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치
KR101816663B1 (ko) 2016-10-20 2018-01-09 광주과학기술원 뉴럴 네트워크를 이용한 3차원 형상 복원 방법
US11065469B2 (en) 2017-03-06 2021-07-20 Oh & Lee Medical Robot, Inc Region division method for laser treatment, and laser treatment method and apparatus using the same
KR101888963B1 (ko) * 2017-03-06 2018-08-17 (주)오앤드리메디컬로봇 레이저 치료를 위한 영역 분할 방법, 그를 이용한 레이저 치료 방법 및 장치
WO2018164429A1 (ko) * 2017-03-06 2018-09-13 (주)오앤드리메디컬로봇 레이저 치료를 위한 영역 분할 방법, 그를 이용한 레이저 치료 방법 및 장치
CN110382048A (zh) * 2017-03-06 2019-10-25 Oh & Lee医疗机器人公司 用于激光治疗的区域划分方法、利用其的激光治疗方法以及装置
CN110382048B (zh) * 2017-03-06 2022-04-12 Oh & Lee医疗机器人公司 用于激光治疗的区域划分方法、利用其的激光治疗方法以及装置
KR20200026596A (ko) * 2018-09-03 2020-03-11 인천대학교 산학협력단 원격 탐사를 위한 햅틱 상호작용 시스템 및 방법
KR102132693B1 (ko) 2018-09-03 2020-07-13 인천대학교 산학협력단 원격 탐사를 위한 햅틱 상호작용 시스템 및 방법
KR102260882B1 (ko) 2019-05-29 2021-06-08 아주대학교산학협력단 순차적인 이미지 기반의 상호작용력 측정 방법 및 장치
KR20200138491A (ko) * 2019-05-29 2020-12-10 아주대학교산학협력단 순차적인 이미지 기반의 상호작용력 측정 방법 및 장치
WO2021107329A1 (ko) * 2019-11-28 2021-06-03 서울대학교산학협력단 가상현실을 이용한 시촉각통합 평가 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101522690B1 (ko) 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법
CN110167421B (zh) 整体地测量视觉功能的临床参数的***
Punpongsanon et al. Softar: Visually manipulating haptic softness perception in spatial augmented reality
Geronazzo et al. Interactive spatial sonification for non-visual exploration of virtual maps
Iskander et al. Using biomechanics to investigate the effect of VR on eye vergence system
Lin et al. Eye movement measures for predicting eye gaze accuracy and symptoms in 2D and 3D displays
TWI543744B (zh) 適應性視覺效能測試系統
Westlund et al. Motion Tracker: Camera-based monitoring of bodily movements using motion silhouettes
KR20190066428A (ko) 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
KR101791927B1 (ko) 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치
Kim et al. Perception‐based 3D tactile rendering from a single image for human skin examinations by dynamic touch
Bhargava et al. Did i hit the door? effects of self-avatars and calibration in a person-plus-virtual-object system on perceived frontal passability in vr
Wolf et al. Does distance matter? Embodiment and perception of personalized avatars in relation to the self-observation distance in virtual reality
Jacko et al. Macular degeneration and visual search: What we can learn from eye movement analysis
Poling et al. The role of multisensory feedback in haptic surface perception
KR100551201B1 (ko) 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템
Li et al. Pseudo-haptics for rigid tool/soft surface interaction feedback in virtual environments
Panchaphongsaphak et al. Three-dimensional touch interface for medical education
US10349869B2 (en) Method and system for an assessment of a movement of a limb-related point in a predetermined 3D space
Kang et al. Reliability of distance estimation in virtual reality space: A quantitative approach for construction management
JP2020156956A (ja) 視覚認知機能評価システム
Korman et al. Effects of order and sensory modality in stiffness perception
Montano-Murillo et al. It sounds cool: Exploring sonification of mid-air haptic textures exploration on texture judgments, body perception, and motor behaviour
Gourishetti et al. Improved force JND in immersive virtual reality needle insertion simulation
Wang et al. Perceptual thresholds of visual size discrimination in augmented and virtual reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180514

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190523

Year of fee payment: 5