KR102671512B1 - 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법 - Google Patents

화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법 Download PDF

Info

Publication number
KR102671512B1
KR102671512B1 KR1020170022017A KR20170022017A KR102671512B1 KR 102671512 B1 KR102671512 B1 KR 102671512B1 KR 1020170022017 A KR1020170022017 A KR 1020170022017A KR 20170022017 A KR20170022017 A KR 20170022017A KR 102671512 B1 KR102671512 B1 KR 102671512B1
Authority
KR
South Korea
Prior art keywords
display
pattern
display pattern
haptic
haptic effect
Prior art date
Application number
KR1020170022017A
Other languages
English (en)
Other versions
KR20180096837A (ko
Inventor
이현세
서현빈
박준형
Original Assignee
이현세
박준형
서현빈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이현세, 박준형, 서현빈 filed Critical 이현세
Priority to KR1020170022017A priority Critical patent/KR102671512B1/ko
Publication of KR20180096837A publication Critical patent/KR20180096837A/ko
Application granted granted Critical
Publication of KR102671512B1 publication Critical patent/KR102671512B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상현실 체험 스토리라인에 최적화된 햅틱 효과를 출력할 수 있는 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법을 제시한다. 제시된 시스템은 햅틱 효과와 매핑되는 디스플레이 패턴을 화면표시하는 패턴 표시 디스플레이; 상기 패턴 표시 디스플레이 또는 상기 디스플레이 패턴이 표시된 물체의 화상 정보에서 상기 디스플레이 패턴의 존재 여부를 파악하고, 상기 디스플레이 패턴이 존재하면 상기 디스플레이 패턴에 상응하는 햅틱 효과의 출력을 명령하는 모바일 HMD; 및 상기 명령에 따라 상기 디스플레이 패턴에 상응하는 햅틱 효과를 구동하는 햅틱 구동 디바이스;를 포함한다.

Description

화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법{Haptic effect output system and method using image information}
본 발명은 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법에 관한 것으로, 보다 상세하게는 이미지를 인식하여 그에 상응하는 햅틱 효과를 출력할 수 있는 시스템 및 방법에 관한 것이다.
최근에 다양한 형태의 햅틱 피드백을 발생시키는 액추에이터의 연구 및 개발이 활발하게 진행되고 있고, 다양한 어플리케이션에 적용되어 사용하고 있다.
진동에 국한되어 있지만 휴대폰(Cellular Phone), 태플릿 컴퓨터(Tablet PC), PMP(Portable Multimedia Player), PDA(Personal Digital Assistants), MP3플레이어 등의 모바일 기기에서 활발하게 사용하고 있으며, 영화관에서는 진동, 바람 등의 햅틱 피드백을 관객에게 제공하여 영화 몰입도를 더욱 높이고 있다.
또한, 최근에는 사이버공간과 현실공간의 장벽이 많이 허물어지고 있으며, HMD 또는 3D디스플레이를 이용하는 사이버공간에서는 사용자간 또는 사용자와 사물간에 요구되는 인터랙션이 다양해지고 있다.
그에 따라, 다양한 형태의 햅틱 피드백이 요구되고 있고 사람에게 더욱 정확한 햅틱 피드백의 전달이 요구된다.
선행기술 1 : 대한민국 공개특허 제10-2016-0076428호(가변하는 햅틱 효과들을 생성하기 위한 미리 프로그램된 자기 표면들 및 패턴들을 갖는 프로그램가능한 자석들을 구비하는 햅틱 액추에이터) 선행기술 2 : 대한민국 등록특허 제10-1458192호(햅틱 피드백 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 가상현실 체험 스토리라인에 최적화된 햅틱 효과를 출력할 수 있는 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 화상 정보를 이용한 햅틱 효과 출력 시스템은, 햅틱 효과와 매핑되는 디스플레이 패턴을 화면표시하는 패턴 표시 디스플레이; 상기 패턴 표시 디스플레이 또는 상기 디스플레이 패턴이 표시된 물체의 화상 정보에서 상기 디스플레이 패턴의 존재 여부를 파악하고, 상기 디스플레이 패턴이 존재하면 상기 디스플레이 패턴에 상응하는 햅틱 효과의 출력을 명령하는 모바일 HMD; 및 상기 명령에 따라 상기 디스플레이 패턴에 상응하는 햅틱 효과를 구동하는 햅틱 구동 디바이스;를 포함한다.
상기 디스플레이 패턴은, 시각적인 패턴으로 구성될 수 있다.
상기 시각적인 패턴은, 바코드 또는 QR코드로 구성될 수 있다.
상기 모바일 HMD는, 상기 패턴 표시 디스플레이 또는 상기 물체의 화상 정보를 입력받는 이미지 입력부; 상기 화상 정보에 상기 디스플레이 패턴이 존재하는지를 판별하고, 상기 화상 정보에 상기 디스플레이 패턴이 존재하면 해당 디스플레이 패턴을 디스플레이 패턴 분석부에게로 전달하는 이미지 인식부; 및 기저장된 햅틱 효과 중에서 상기 수신한 디스플레이 패턴과 매핑되는 햅틱 효과를 찾아 상기 햅틱 효과의 출력 명령을 상기 햅틱 구동 디바이스에게로 보내는 디스플레이 패턴 분석부;를 포함될 수 있다.
상기 햅틱 효과는 햅틱 패턴을 포함하고, 상기 디스플레이 패턴 분석부는 상기 기저장된 햅틱 효과의 햅틱 패턴 중에서 상기 디스플레이 패턴과 매핑되는 햅틱 패턴을 찾고, 상기 디스플레이 패턴과 매핑되는 햅틱 패턴을 찾으면 그에 상응하는 햅틱 효과를 포함하는 햅틱 효과 출력 명령을 상기 햅틱 구동 디바이스에게로 보낼 수 있다.
상기 패턴 표시 디스플레이는, 도보형 가상현실 체감 시스템(Walking VR)이 적용된 가상현실 테마파크 및 체험 존(zone)에 활용될 수 있다.
한편, 본 발명의 바람직한 실시양태에 따른 화상 정보를 이용한 햅틱 효과 출력 방법은, 모바일 HMD가, 햅틱 효과와 매핑되는 디스플레이 패턴을 화면표시하는 패턴 표시 디스플레이 또는 상기 디스플레이 패턴이 표시된 물체의 화상 정보에서 상기 디스플레이 패턴의 존재 여부를 파악하는 단계; 상기 모바일 HMD가, 상기 디스플레이 패턴이 존재하면 상기 디스플레이 패턴에 상응하는 햅틱 효과의 출력을 명령하는 단계; 및 햅틱 구동 디바이스가, 상기 명령에 따라 상기 디스플레이 패턴에 상응하는 햅틱 효과를 구동하는 단계;를 포함한다.
상기 디스플레이 패턴의 존재 여부를 파악하는 단계는, 상기 패턴 표시 디스플레이 또는 상기 물체의 화상 정보를 입력받는 단계; 상기 화상 정보에 상기 디스플레이 패턴이 존재하는지를 판별하는 단계; 및 상기 화상 정보에 상기 디스플레이 패턴이 존재함에 따라 해당 디스플레이 패턴을 출력하는 단계;를 포함할 수 있다.
상기 햅틱 효과의 출력을 명령하는 단계는, 기저장된 햅틱 효과 중에서 상기 디스플레이 패턴과 매핑되는 햅틱 효과를 찾는 단계; 및 상기 디스플레이 패턴과 매핑되는 햅틱 효과를 찾음에 따라 상기 햅틱 효과의 출력 명령을 상기 햅틱 구동 디바이스에게로 보내는 단계;를 포함할 수 있다.
상기 햅틱 효과는 햅틱 패턴을 포함하고, 상기 출력 명령은 상기 디스플레이 패턴과 매핑되는 햅틱 효과를 포함할 수 있다.
이러한 구성의 본 발명에 따르면, 테마파크 등의 실내 가상현실 환경에 있어서 햅틱 효과를 적재적소에 배치할 수 있어서 가상현실 체험 스토리라인에 최적화된 햅틱 효과를 제공할 수 있다.
즉, 본 발명은 규격화된 패턴을 실물 세계에 비치하고, 패턴을 카메라가 인식하여 햅틱 패턴을 동적으로 구현할 수 있으므로, 테마파크 등의 실내 체험형 가상현실 환경에 최적되었다고 볼 수 있다.
종래에는 화상인식을 통한 햅틱 효과의 재생이 증강 현실의 물체에 따른 텍스처 재생에 그쳤다. 그러나, 본 발명을 통해서는 증강 현실의 텍스처 구현을 넘어 가상현실 어트랙션 등에 혼합현실(mixed reality)의 기술개념을 도입하여 물리적 환경이 가변적인 어트랙션 및 테마파크 환경에서의 햅틱 효과를 신속하게 구성할 수 있다.
도 1은 본 발명의 실시예에 따른 화상 정보를 이용한 햅틱 효과 출력 시스템을 나타낸 블럭도이다.
도 2는 본 발명의 실시예에 따른 화상 정보를 이용한 햅틱 효과 출력 방법을 설명하기 위한 플로우차트이다.
도 3은 도 2의 설명에 채용되는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 화상 정보를 이용한 햅틱 효과 출력 시스템을 나타낸 블럭도이다.
본 발명의 실시예에 따른 화상 정보를 이용한 햅틱 효과 출력 시스템은 모바일 HMD(100), 저작부(200), 패턴 표시 디스플레이(400), 및 햅틱 구동 디바이스(500)를 포함한다.
모바일 HMD(Mobile Head Mounted Display)(100)는 사용자가 두부에 장착가능한 형태의 디스플레이로서, 가상 및 증강현실 그래픽을 사용자에게 보여주기 위한 용도로 사용된다. 모바일 HMD(100)의 예로는 삼성전자의 기어 VR 또는 구글(Google)사의 Cardboard, Daydream 등이 있을 수 있다.
모바일 HMD(100)는 이미지 입력부(101), 이미지 인식부(102), 디스플레이 패턴 분석부(103), 저장부(104), 및 햅틱 효과 출력부(105)를 포함할 수 있다.
이미지 입력부(101)는 패턴 표시 디스플레이(400)의 디스플레이(402) 또는 소정의 디스플레이 패턴이 표시된 물체(300)에서 화상 정보를 입력받을 수 있다.
다시 말해서, 이미지 입력부(101)는 패턴 표시 디스플레이(400)의 디스플레이(402)에서 표시되고 있는 화상 정보를 입력받을 수 있고, 물체(300)에 표시된 디스플레이 패턴을 포함하는 화상 정보를 입력받을 수 있다.
여기서, 패턴 표시 디스플레이(400)의 디스플레이(402)는 실시간으로 변화되는 화상 정보를 디스플레이하므로, 해당 디스플레이(402)에 표시되고 있는 화상 정보에는 시간에 따라 디스플레이 패턴이 있을 수도 있고 없을 수도 있다.
물체(300)에 표시된 디스플레이 패턴은 시각적인 패턴이 될 수 있는데, 예를 들어 바코드, QR코드 등이 있을 수 있다. 한편으로, 바코드, QR코드 이외로 이미지 인식부(102)에서 인식할 수 있는 패턴이면 어떠한 패턴이어도 무방하리라 본다.
예를 들어, 이미지 입력부(101)는 화상 정보 입력 장치(대표적으로, 카메라)를 포함할 수 있다.
이미지 인식부(102)는 이미지 입력부(10)에서 입력된 화상 정보를 실시간 모니터링하여 해당 화상 정보가 디스플레이 패턴을 가지고 있는지를 판별할 수 있다. 여기서, 실시간 모니터링이 필요한 이유는 다음과 같다. 패턴 표시 디스플레이(400)의 디스플레이(402)의 화상 정보는 실시간으로 변화되는 화상 정보이므로, 이미지 입력부(10)로부터 입력받은 화상 정보가 디스플레이 패턴을 가지고 있는지를 판별하기 위해서는 실시간 모니터링이 필요하다. 한편, 물체(300)의 경우에는 고정적으로 특정 위치에 설치되어 있고, 고유의 디스플레이 패턴을 항상 표시하고 있다. 그에 따라, 이미지 인식부(102)에서는 굳이 실시간 모니터링을 하지 않아도 이미지 입력부(101)에서 입력받은 물체(300)에 대한 화상 정보에서 디스플레이 패턴의 존재 여부를 손쉽게 판별할 수 있을 것이다.
이미지 인식부(102)는 화상 정보에 디스플레이 패턴이 있는 것으로 판별되면 해당 화상 정보의 디스플레이 패턴을 디스플레이 패턴 분석부(103)에게로 전달한다.
여기서, 이미지 인식부(102)는 이미지내의 디스플레이 패턴을 인식할 수 있는 통상의 OCR(Optical Character Reader) 프로그램을 활용한다고 볼 수 있다. 통상의 기술자라면 OCR 프로그램에 대해 별도로 설명하지 않아도 주지의 기술로 충분히 이해할 수 있으리라 본다.
디스플레이 패턴 분석부(103)는 저장부(104)에 기저장되어 있는 햅틱 효과의 패턴 중에서 이미지 인식부(102)로부터의 화상 정보의 디스플레이 패턴과 매핑되는 패턴을 찾게 된다.
화상 정보의 디스플레이 패턴과 매핑되는 햅틱 효과의 패턴을 찾으면, 디스플레이 패턴 분석부(103)는 햅틱 효과 출력 명령(파일 형태의 햅틱 효과를 포함함)을 햅틱 효과 출력부(105)에게로 준다.
저장부(104)는 햅틱 효과 및 디스플레이 패턴을 저장할 수 있다. 저장부(104)는 햅틱 효과 저장부(104A), 및 디스플레이 패턴 저장부(104B)를 포함한다.
햅틱 효과 저장부(104A)는 저작부(200)에서 사전에 저작된 햅틱 효과를 저장한다. 여기서, 햅틱 효과는 강도, 지속시간, 패턴(즉, 햅틱 패턴) 등을 포함한다.
디스플레이 패턴 저장부(104B)는 저작부(200)에서 사전에 저작된 디스플레이 패턴을 저장한다.
저장부(104)에 저장된 햅틱 효과와 디스플레이 패턴은 서로 매핑됨이 바람직하다. 예를 들어, 하나의 디스플레이 패턴은 하나의 햅틱 효과와 매핑된다. 그에 따라, 디스플레이 패턴 분석부(103)가 어느 한 디스플레이 패턴에 매핑되는 햅틱 효과의 패턴을 찾아내면 햅틱 효과 출력부(105)에서 그에 맵핑된 햅틱 효과를 출력할 수 있다.
햅틱 효과 출력부(105)는 디스플레이 패턴 분석부(103)로부터의 햅틱 효과 출력 명령을 수신함에 따라 수신한 햅틱 효과 출력 명령(파일 형태의 햅틱 효과를 포함함)을 햅틱 구동 디바이스(500)에게로 송신할 수 있다.
만약, 햅틱 효과 출력 명령에 햅틱 효과가 포함되지 않고 출력할 햅틱 효과의 저장 위치(순번) 등을 표시하는 정보가 포함된 경우, 햅틱 효과 출력부(105)는 저장부(104)에서 해당 햅틱 효과를 독출하여 햅틱 구동 디바이스(500)에게로 송신할 수 있다. 즉, 디스플레이 패턴 분석부(103)는 햅틱 효과 출력 명령에 출력할 햅틱 효과의 저장 위치(순번) 등을 표시하는 정보를 포함시킬 수도 있다.
여기서, 상술한 햅틱 효과 출력부(105)는 디스플레이 패턴 분석부(103)에 포함되는 것으로 하여도 무방하다.
저작부(200)는 햅틱 효과를 저작하여 모바일 HMD(100)에게로 보내고, 디스플레이 패턴을 저작하여 모바일 HMD(100) 및 패턴 표시 디스플레이(400)에게로 보낸다.
저작부(200)는 통상의 개인용 컴퓨터(PC), 태블릿PC, 스마트폰 등의 모바일 컴퓨팅 기기(mobile computing device)에 의해 구동되는 운영체제(Operating System)에 의해 구동될 수 있다.
저작부(200)는 디스플레이 패턴 저작부(201), 햅틱 효과 저작부(202), 및 송신부(203)을 포함한다.
디스플레이 패턴 저작부(201)는 햅틱 효과 저작부(202)에서 저작된 햅틱 효과의 패턴과 연동될 수 있는 디스플레이 패턴을 저작한다. 여기서, 디스플레이 패턴은 앞서 예시한 바와 같이 바코드, QR코드 등의 형태일 수 있다. 한편으로, 바코드, QR코드 이외로 이미지 인식부(102)에서 인식할 수 있는 패턴이면 어떠한 형태의 패턴이어도 무방하리라 본다.
햅틱 효과 저작부(202)는 햅틱 효과를 저작한다.
송신부(203)는 디스플레이 패턴 저작부(201)에서 저작된 디스플레이 패턴 및 햅틱 효과 저작부(202)에서 저작된 햅틱 효과를 모바일 HMD(100)의 저장부(104)에게로 송신할 수 있다. 더불어, 송신부(203)는 디스플레이 패턴 저작부(201)에서 저작된 디스플레이 패턴을 패턴 표시 디스플레이(400)에게로 송신할 수 있다.
패턴 표시 디스플레이(400)는 햅틱 효과 저장부(104A)에 저장되어진 햅틱 효과와 맵핑되는 디스플레이 패턴을 화면상에 표시할 수 있다. 여기서, 패턴 표시 디스플레이(400)는 벽이나 물체에 설치되어 가상현실 운용 환경에 적용될 수 있다. 예를 들어, 패턴 표시 디스플레이(400)는 도보형 가상현실 체감 시스템(Walking VR)이 적용된 가상현실 테마파크 및 체험 존(zone) 등에 활용가능하다.
패턴 표시 디스플레이(400)는 디스플레이 패턴 수신부(401), 및 디스플레이(402)를 포함한다.
디스플레이 패턴 수신부(401)는 저작부(200)의 송신부(203)로부터의 디스플레이 패턴을 수신한다.
디스플레이(402)는 디스플레이 패턴 수신부(401)에 수신되는 디스플레이 패턴을 디스플레이한다. 여기서, 디스플레이(402)는 액정 디스플레이 및 유기발광다이오드 등의 타입을 가지는 TV, 컴퓨터 모니터, 스마트폰, 태블릿PC 등에 탑재되는 통상의 디스플레이를 의미할 수 있다.
한편, 패턴 표시 디스플레이(400)는 디스플레이(402)의 특성상 디스플레이되는 디스플레이 패턴의 색상 및 밝기, 점멸 패턴 등을 달리할 수 있다. 그에 따라, 햅틱 효과의 출력의 강도, 패턴, 지속시간 등을 변조할 수 있을 것이다.
햅틱 구동 디바이스(500)는 모바일 HMD(100)를 착용하여 이용하는 사용자가 햅틱 효과를 인지할 수 있도록 하는 모종의 디바이스이다.
햅틱 구동 디바이스(500)는 진동 모터(도시 생략) 등을 통하여 모종의 햅틱 효과를 제공할 수 있다.
본 발명의 실시예에서 햅틱 구동 디바이스(500)는 특정한 형태로 제한되는 것은 아니며, 신발, 수트(옷), 컨트롤러(조이스틱) 등의 형태를 취할 수 있다.
햅틱 구동 디바이스(500)는 햅틱 효과 파일을 모바일 HMD(100)의 햅틱 효과 출력부(105)로부터 수신하는 햅틱 효과 수신부(501), 및 햅틱 효과 수신부(501)에 수신된 햅틱 효과 파일을 근거로 햅틱 효과를 구동하는 햅틱 효과 구동부(502)를 포한다. 여기서, 햅틱 효과 구동부(502)는 햅틱 효과를 구동하는 컨트롤 IC칩, 진동 모터, 액추에이터 등을 포함할 수 있다.
한편, 상술한 도 1에서는 모바일 HMD(100)와 저작부(200)를 별개로 구성시켰으나, 필요에 따라서는 모바일 HMD(100)와 저작부(200)를 하나의 모듈로 처리할 수도 있다.
그리고, 상술한 도 1에서는 저작부(200)와 패턴 표시 디스플레이(400)를 별개로 구성시켰으나, 필요에 따라서는 저작부(200)와 패턴 표시 디스플레이(400)를 하나의 모듈로 처리할 수도 있다.
도 2는 본 발명의 실시예에 따른 화상 정보를 이용한 햅틱 효과 출력 방법을 설명하기 위한 플로우차트이고, 도 3은 도 2의 설명에 채용되는 도면이다.
이하의 설명에서는 물체(300) 및 패턴 표시 디스플레이(400) 중에서 패턴 표시 디스플레이(400)에 표시되는 패턴을 인식하는 것으로 가정하고 설명한다.
모바일 HMD(100)의 이미지 입력부(100)는 패턴 표시 디스플레이(400)에서 표시되는 별 형상의 패턴(화상 정보)(도 3 참조)을 수신한다(S100).
이어, 이미지 인식부(102)는 이미지 입력부(10)로부터의 화상 정보를 실시간 모니터링 하여 해당 화상 정보가 디스플레이 패턴을 가지고 있는지를 판별한다(S110).
화상 정보에 디스플레이 패턴이 있는 것으로 판별되면, 이미지 인식부(102)는 해당 화상 정보의 디스플레이 패턴(즉, 별 형상의 패턴)을 디스플레이 패턴 분석부(103)에게로 전달한다.
디스플레이 패턴 분석부(103)는 저장부(104)에 기저장되어 있는 햅틱 효과의 패턴 중에서 이미지 인식부(102)로부터의 화상 정보의 디스플레이 패턴(즉, 별 형상의 패턴)과 매핑되는 햅틱 효과의 패턴을 찾는다(S120).
화상 정보의 디스플레이 패턴과 매핑되는 햅틱 효과의 패턴을 찾아내면(S130에서 "Yes"), 디스플레이 패턴 분석부(103)는 햅틱 효과 출력 명령(파일 형태의 햅틱 효과 포함)을 햅틱 효과 출력부(105)에게로 준다.
그에 따라, 햅틱 효과 출력부(105)는 디스플레이 패턴 분석부(103)로부터의 햅틱 효과 출력 명령을 햅틱 구동 디바이스(500)에게로 송신한다(S140).
햅틱 구동 디바이스(500)는 수신한 햅틱 효과 출력 명령에 포함된 파일 형태의 햅틱 효과를 구동한다. 이에 의해, 모바일 HMD(100)를 착용하여 이용하는 사용자는 현재 디스플레이되고 있는 디스플레이 패턴에 대한 햅틱 효과를 인지할 수 있게 된다.
또한, 상술한 본 발명의 화상 정보를 이용한 햅틱 효과 출력 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 모바일 HMD
101 : 이미지 입력부
102 : 이미지 인식부
103 : 디스플레이 패턴 분석부
104 : 저장부
105 : 햅틱 효과 출력부
200 : 저작부
201 : 디스플레이 패턴 저작부
202 : 햅틱 효과 저작부
203 : 송신부
400 : 패턴 표시 디스플레이
401 : 디스플레이 패턴 수신부
402 : 디스플레이
500 : 햅틱 구동 디바이스
501 : 햅틱 효과 수신부
502 : 햅틱 효과 구동부

Claims (13)

  1. 햅틱 효과와 매핑되는 디스플레이 패턴을 표시하는 패턴 표시 디스플레이;
    상기 패턴 표시 디스플레이 또는 상기 디스플레이 패턴이 표시된 물체의 화상 정보에서 상기 디스플레이 패턴의 존재 여부를 파악하고, 상기 디스플레이 패턴이 존재하면 상기 디스플레이 패턴에 상응하는 햅틱 효과의 출력을 명령하는 모바일 HMD; 및
    상기 명령에 따라 상기 디스플레이 패턴에 상응하는 햅틱 효과를 구동하는 햅틱 구동 디바이스; 를 포함하고,
    상기 모바일 HMD는,
    상기 패턴 표시 디스플레이 또는 상기 물체의 화상 정보를 입력받는 이미지 입력부;
    상기 화상 정보에 상기 디스플레이 패턴이 존재하는지를 판별하고, 상기 화상 정보에 상기 디스플레이 패턴이 존재하면 해당 디스플레이 패턴을 디스플레이 패턴 분석부로 전달하는 이미지 인식부; 및
    기저장된 햅틱 효과 중에서 상기 디스플레이 패턴과 매핑되는 햅틱 효과를 찾아 상기 햅틱 효과의 출력 명령을 상기 햅틱 구동 디바이스로 보내는 디스플레이 패턴 분석부; 를 포함하되,
    상기 디스플레이 패턴 분석부는,
    상기 기저장된 햅틱 효과의 햅틱 패턴 중에서 상기 디스플레이 패턴과 매핑되는 햅틱 패턴을 찾고, 상기 디스플레이 패턴과 매핑되는 햅틱 패턴을 찾으면 그에 상응하는 햅틱 효과의 출력의 강도 및 지속시간을 포함하는 햅틱 효과 출력 명령을 상기 햅틱 구동 디바이스로 보내고,
    상기 패턴 표시 디스플레이는,
    사전에 제한된 이동 경로를 이동하는 도보형 가상현실 체감 시스템(Walking VR)이 적용된 가상현실 테마파크 및 체험 존(zone)에 마련되고,
    상기 디스플레이 패턴을 기 설정된 색상, 밝기, 점멸 패턴으로 변경하면서 표시하는 것을 특징으로 하는 화상 정보를 이용한 햅틱 효과 출력 시스템.
  2. 청구항 1에 있어서,
    상기 디스플레이 패턴은,
    시각적인 패턴으로 구성되는 것을 특징으로 하는 화상 정보를 이용한 햅틱 효과 출력 시스템.
  3. 청구항 2에 있어서,
    상기 시각적인 패턴은,
    바코드 또는 QR코드로 구성되는 것을 특징으로 하는 화상 정보를 이용한 햅틱 효과 출력 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 모바일 HMD가, 햅틱 효과와 매핑되는 디스플레이 패턴을 화면표시하는 패턴 표시 디스플레이 또는 상기 디스플레이 패턴이 표시된 물체의 화상 정보에서 상기 디스플레이 패턴의 존재 여부를 파악하는 단계;
    상기 모바일 HMD가, 상기 디스플레이 패턴이 존재하면 상기 디스플레이 패턴에 상응하는 햅틱 효과의 출력을 명령하는 단계; 및
    햅틱 구동 디바이스가, 상기 명령에 따라 상기 디스플레이 패턴에 상응하는 햅틱 효과를 구동하는 단계; 를 포함하고,
    상기 모바일 HMD는,
    상기 패턴 표시 디스플레이 또는 상기 물체의 화상 정보를 입력받는 이미지 입력부;
    상기 화상 정보에 상기 디스플레이 패턴이 존재하는지를 판별하고, 상기 화상 정보에 상기 디스플레이 패턴이 존재하면 해당 디스플레이 패턴을 디스플레이 패턴 분석부로 전달하는 이미지 인식부; 및
    기저장된 햅틱 효과 중에서 상기 디스플레이 패턴과 매핑되는 햅틱 효과를 찾아 상기 햅틱 효과의 출력 명령을 상기 햅틱 구동 디바이스로 보내는 디스플레이 패턴 분석부; 를 포함하되,
    상기 디스플레이 패턴 분석부는,
    상기 기저장된 햅틱 효과의 햅틱 패턴 중에서 상기 디스플레이 패턴과 매핑되는 햅틱 패턴을 찾고, 상기 디스플레이 패턴과 매핑되는 햅틱 패턴을 찾으면 그에 상응하는 햅틱 효과의 출력의 강도 및 지속시간을 포함하는 햅틱 효과 출력 명령을 상기 햅틱 구동 디바이스로 보내고,
    상기 패턴 표시 디스플레이는,
    사전에 제한된 이동 경로를 이동하는 도보형 가상현실 체감 시스템(Walking VR)이 적용된 가상현실 테마파크 및 체험 존(zone)에 마련되고,
    상기 디스플레이 패턴을 기 설정된 색상, 밝기, 점멸 패턴으로 변경하면서 표시하는 것을 특징으로 하는 화상 정보를 이용한 햅틱 효과 출력 방법.
  8. 청구항 7에 있어서,
    상기 디스플레이 패턴은,
    시각적인 패턴으로 구성되는 것을 특징으로 하는 화상 정보를 이용한 햅틱 효과 출력 방법.
  9. 청구항 8에 있어서,
    상기 시각적인 패턴은,
    바코드 또는 QR코드로 구성되는 것을 특징으로 하는 화상 정보를 이용한 햅틱 효과 출력 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020170022017A 2017-02-20 2017-02-20 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법 KR102671512B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170022017A KR102671512B1 (ko) 2017-02-20 2017-02-20 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170022017A KR102671512B1 (ko) 2017-02-20 2017-02-20 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180096837A KR20180096837A (ko) 2018-08-30
KR102671512B1 true KR102671512B1 (ko) 2024-06-04

Family

ID=63453485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170022017A KR102671512B1 (ko) 2017-02-20 2017-02-20 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102671512B1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101211622B1 (ko) * 2010-11-30 2012-12-12 한국과학기술원 햅틱 피드백 생성장치, 햅틱 피드백 제공장치, 햅틱 피드백 제공방법, 이를 이용한 휴대용 기기 및 그 기록매체
EP2967322A4 (en) * 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
KR101458192B1 (ko) 2013-06-11 2014-11-05 재단법인 실감교류인체감응솔루션연구단 햅틱 피드백 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
WO2015126095A1 (ko) * 2014-02-21 2015-08-27 삼성전자 주식회사 전자 장치
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9589432B2 (en) 2014-12-22 2017-03-07 Immersion Corporation Haptic actuators having programmable magnets with pre-programmed magnetic surfaces and patterns for producing varying haptic effects

Also Published As

Publication number Publication date
KR20180096837A (ko) 2018-08-30

Similar Documents

Publication Publication Date Title
Baytas et al. The design of social drones: A review of studies on autonomous flyers in inhabited environments
US9779550B2 (en) Augmented reality system
WO2018125742A2 (en) Dynamic depth-based content creation in virtual reality environments
EP2584403A2 (en) Multi-user interaction with handheld projectors
CN105359547A (zh) 用于显示背景相关信息的嵌入式条形码
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
EP3823292B1 (en) Electronic apparatus and control method thereof
EP2597623A2 (en) Apparatus and method for providing augmented reality service for mobile terminal
US20190130599A1 (en) Systems and methods for determining when to provide eye contact from an avatar to a user viewing a virtual environment
US11636655B2 (en) Artificial reality environment with glints displayed by an extra reality device
JP2020034892A (ja) ディスプレイ用の適応型輝度／色補正
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
KR20160003676A (ko) 다중 레이저 구동 시스템
US11410330B2 (en) Methods, devices, and systems for determining field of view and producing augmented reality
CN111383167A (zh) 成像环境中的半球立方体贴图投影格式
KR102671512B1 (ko) 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법
JPWO2017037952A1 (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
KR101457389B1 (ko) Ｏｌｅｄ 표시장치 및 이를 갖는 가시광 통신 시스템
CN112035083A (zh) 车窗显示的方法及装置
US20230377279A1 (en) Space and content matching for augmented and mixed reality
CN115543138A (zh) 显示控制方法和装置、增强现实头戴设备及介质
KR20230084197A (ko) 픽셀 강도의 디지털 및 아날로그 제어를 포함하는 인공 현실 시스템
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법
US20200133613A1 (en) Augmented reality state room
CN112639889A (zh) 内容事件映射

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant