KR20200099047A - 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 - Google Patents
씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 Download PDFInfo
- Publication number
- KR20200099047A KR20200099047A KR1020190016940A KR20190016940A KR20200099047A KR 20200099047 A KR20200099047 A KR 20200099047A KR 1020190016940 A KR1020190016940 A KR 1020190016940A KR 20190016940 A KR20190016940 A KR 20190016940A KR 20200099047 A KR20200099047 A KR 20200099047A
- Authority
- KR
- South Korea
- Prior art keywords
- real
- world image
- see
- distortion
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000008859 change Effects 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 21
- 230000006996 mental state Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 230000036772 blood pressure Effects 0.000 claims description 6
- 238000002567 electromyography Methods 0.000 claims description 5
- 230000035900 sweating Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 230000003190 augmentative effect Effects 0.000 abstract description 6
- 230000003340 mental effect Effects 0.000 abstract description 5
- 238000012937 correction Methods 0.000 abstract description 3
- 230000006641 stabilisation Effects 0.000 abstract 1
- 238000011105 stabilization Methods 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 230000003542 behavioural effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003252 repetitive effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003792 electrolyte Substances 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 208000020925 Bipolar disease Diseases 0.000 description 1
- 206010012239 Delusion Diseases 0.000 description 1
- 208000004547 Hallucinations Diseases 0.000 description 1
- 206010034912 Phobia Diseases 0.000 description 1
- 206010039897 Sedation Diseases 0.000 description 1
- 208000028683 bipolar I disease Diseases 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 231100000868 delusion Toxicity 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 208000019906 panic disease Diseases 0.000 description 1
- 208000019899 phobic disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000036280 sedation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- A61B5/04—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이가 개시된다. 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법은, 씨스루 카메라를 통해 실세계 영상을 캡쳐하는 단계; 캡쳐된 실세계 영상을 비디오 신호로 변환하는 단계; 비디오 신호로 변환된 상기 실세계 영상을 왜곡시켜 상기 실세계 영상의 현실감을 변화시키는 단계; 왜곡된 실세계 영상을 수신하고, 수신된 상기 왜곡된 실세계 영상을 디스플레이하도록 상기 씨스루 헤드 마운트 디스플레이를 구동하는 단계를 포함한다. 본 발명에 의하여, 실세계 이미지에 가상의 정보를 정합하는 기존의 증강 현실 기법과 차별화되고 씨스루 이미지의 화질 개선을 위한 보정 기술들과 차별화되는 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법이 제공되고, 씨스루 HMD 내에 현실감 변화부를 내장함으로써 사용자의 정신 치료 및 심리 안정과 같은 효과를 일으킬 수 있다.
Description
본 발명은 현실감을 변화시킬 목적으로 씨쓰루 영상을 실시간으로 왜곡하여 출력하는 비디오 씨스루 헤드 마운트 디스플레이(HMD)에 관한 것으로, 특히, 씨스루 시청각 정보를 왜곡하는 영상왜곡부와 이를 제어하는 왜곡제어부로 이루어진 현실감 변화부를 내장하는 씨스루 HMD용 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 씨스루 HMD에 관한 것이다.
HMD(Head Mounted Display)는 두부에 장착하는 웨어러블 디스플레이 장치로서, VR 헤드셋, VR 안경, 스마트 글래스(Smart Glasses), 스마트 아이웨어(Smart Eyewear), 스마트 고글, VR 고글 등으로 다양하게 불린다. 이들은 모두 사용자의 얼굴에 장착하는 착용형 디스플레이 장치라는 점에서 공통적이며 착용 방식, 구성품, 형태 및 기능에 따라 그 명칭이 세분화되지만, 이러한 모든 장치는 HMD라는 용어로 대표될 수 있다.
씨스루 HMD의 이점으로는, 첫째로 증강 현실을 구현할 수 있는 장치 중 하나라는 점이다. 증강 현실이란 실세계와 가상의 오브젝트 또는 디지털 정보를 공간적으로 정합하여 제공하는 기술로서, 실세계와 가상 세계가 연결된 시각적 경험을 제공한다.
둘째로, 육안으로 볼 수 없는 정보들, 예를 들어 적외선, 자외선, 초음파, 전자파 등을 특수 카메라가 장착된 씨스루 HMD를 이용하여 사용자의 시점으로 실시간으로 제공할 수 있다. 또한 카메라의 줌인 기능을 이용하게 되면 원거리의 사물을 수 배 에서 수십 배 확대하여 볼 수 있다. 만일 HMD에 어안 랜즈를 장착하게 되면 넓은 시야 범위를 갖게 되는 등의 시각 능력 초월 수단으로 활용될 수 있다.
셋째로 씨스루 HMD 착용형 디스플레이장치들은 사용자가 보고 있는 전방의 시야를 그대로 저장할 수 있다. 이렇게 저장된 영상 정보는 네트워크를 통해 타인과 공유할 수 있고 사용자 본인이 향후에 다시보기 할 수 있다. 씨스루 HMD를 통해 사용자는 시간과 공간의 제약을 뛰어 넘는 시각적 경험을 공유할 수가 있다.
마지막으로 씨스루 HMD는 태양광, 레이져, 오물, 유해물질 등 시각을 손상시킬 수 있는 위험으로부터 사용자의 눈을 보호하는 기능을 제공하기도 한다.
2014 년 12 월 11 일에 공개 번호 제 1020140178710 로 공개된 대한민국 특허출원(발명의 명칭은 "시스루형 헤드마운트 디스플레이")는, 광학 합성기(optical combiner), 광학 합성기에 가상 이미지를 투사하는 가상 이미지 디스플레이 소자, 및 광학 합성기의 전면에 배치되는 쉐이드 커버를 포함하며, 쉐이드 커버는 제1 투명전극, 제1 투명전극 상에 배치된 전해질층, 전해질층 상에 배치된 전기변색층으로서 전기변색물질을 함유하는 전기변색층, 및 전기변색층 상에 배치된 제2 투명전극을 포함하는, 시스루형 HMD를 개시한다. 이러한 종래 기술에 따르면 쉐이드 커버의 구현예들을 채용함으로써, 실제 환경의 조도가 상승하더라도, 가상 이미지의 휘도를 증폭시키지 않은 채 가상 이미지의 우수한 시인성을 확보할 수 있다.
하지만, 종래 기술에 의한 씨스루 HMD는 다음과 같은 단점을 가진다. 즉, 씨스루 HMD는 현실 세계를 디지털 디스플레이를 통해 영상 이미지로 바꾸어 보여주기 때문에 사용자는 현실 세계에 대한 시각적 느낌이 생소하게 느껴지게 된다. 디지털로 변환된 영상 신호는 아무리 현실 시야와 동일하게 표현하려 해도 이질감을 갖기 때문이다. 이러한 시각의 이질감은 씨스루 HMD가 가지는 특징이자 근본적인 문제이다. 통상적으로 이러한 이질감은 시력, 시야각, 색깔 구분 등의 시각 능력을 저하시키므로 단점으로 여겨진다. 따라서 현실 시야에 대한 왜곡이 최대한 없도록 디스플레이 해상도를 높이거나, 시야각을 높이거나, 씨스루 카메라의 성능을 높이거나, 화질을 개선하는 등의 다양한 기술 개발을 통해 극복을 시도하고 있다.
그러나, 이러한 이질감은 사용자로 하여금 현실세계를 마치 가상 세계인 듯한 시각적 혼란을 느끼게 하여 현실의 긴장감, 두려움과 같은 심리적 부담이 낮아지는 효과를 기대할 수 있다.
따라서, 씨스루 HMD에 발생하는 시각적 혼란 효과를 상황에 맞게 다양한 형태로 제공할 수 있는 기술이 절실히 요구된다.
본 발명의 목적은, 실세계 이미지에 가상의 정보를 정합하는 기존의 증강 현실 기법과 차별화되고 씨스루 이미지의 화질 개선을 위한 보정 기술들과 차별화되는 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은, 씨스루 HMD 내에 현실감 변화부를 내장함으로써 사용자의 정신 치료 및 심리 안정과 같은 효과를 일으킬 수 있는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이를 제공하는 것이다.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법으로서, 씨스루 카메라를 통해 실세계 영상을 캡쳐하는 단계; 캡쳐된 실세계 영상을 비디오 신호로 변환하는 단계; 비디오 신호로 변환된 상기 실세계 영상을 왜곡시켜 상기 실세계 영상의 현실감을 변화시키는 단계; 왜곡된 실세계 영상을 수신하고, 수신된 상기 왜곡된 실세계 영상을 디스플레이하도록 상기 씨스루 헤드 마운트 디스플레이를 구동하는 단계를 포함하는, 씨스루 헤드 마운트 디스플레이의 실세계 영상 왜곡 방법에 관한 것이다. 상기 실세계 영상을 캡쳐하는 단계는, 상기 실세계 영상을 MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface) 표준에 따라 캡쳐하는 단계를 포함하고, 상기 캡쳐된 실세계 영상을 비디오 신호로 변환하는 단계는, 상기 MIPI CSI 신호를 NTSC, PAL, RGB, YCbCr, HDMI, MPEG, AVI, VOB, H.264로 이루어진 군으로부터 선택된 포맷으로 변환하는 단계를 포함한다. 상기 실세계 영상의 현실감을 변화시키는 단계는, 상기 실세계 영상에 적용할 왜곡을 결정하는 단계; 및 결정된 왜곡에 기초하여 상기 실세계 영상을 왜곡시키는 단계를 포함한다. 상기 왜곡을 결정하는 단계는, 상기 사용자로부터 입력받은 명령에 기초하여 상기 왜곡을 결정하는 것; 상기 사용자의 신체 상태를 관찰하는 센서로부터 얻은 센서 신호에 기초하여 상기 사용자의 심리 상태를 판단하고, 판단된 심리 상태에 기초하여 상기 왜곡을 결정하는 것; 및 상기 사용자의 행동을 관찰하는 센서로부터 얻은 센서 신호에 기초하여 상기 사용자의 행동을 판단하고, 판단된 행동에 기초하여 상기 왜곡을 결정하는 것 중 적어도 하나를 포함한다. 상기 사용자의 신체 상태를 관찰하는 센서는, 피부색, 맥박수, 혈압, 심전도, 피부전도도, 근전도, 및 발한(perspiration) 중 적어도 하나를 포함하는 사용자의 생리 신호를 감지하기 위한 센서를 포함하고, 상기 사용자의 행동을 관찰하는 센서는, 위치 센서, GPS 센서, 속도 센서, 및 가속도 센서 중 적어도 하나를 포함한다. 상기 실세계 영상을 왜곡시키는 단계는, 상기 실세계 영상의 픽셀값을 변경하는 것; 상기 실세계 영상에 3D 영상 기법을 적용하여 만화와 같은 느낌을 주는 카툰 렌더링(cartoon rendering); 상기 실세계 영상 콘트라스트를 변경하는 것; 상기 실세계 영상을 이진화하여 흑백처리하는 것; 상기 실세계 영상에 포함된 특정 오브젝트의 표현을 변경하는 것; 상기 실세계 영상의 명암을 조절하는 것; 및 상기 실세계 영상과 함께 수집된 음향의 주파수, 진폭, 피치 중 적어도 하나를 변경하는 것 중 적어도 하나를 포함한다. 상기 씨스루 헤드 마운트 디스플레이를 구동하는 단계는, 수신된 상기 왜곡된 실세계 영상을 상기 씨스루 헤드 마운트 디스플레이에 호환되는 MIPI DSI(Display Serial Interface) 포맷으로 변환하여 상기 씨스루 헤드 마운트 디스플레이의 구동부에 제공하는 단계를 포함한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 다른 면은, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이로서, 실세계 영상을 캡쳐하는 씨스루 카메라; 캡쳐된 실세계 영상을 비디오 신호로 변환하는 디지털 변환부; 비디오 신호로 변환된 상기 실세계 영상을 왜곡시켜 상기 실세계 영상의 현실감을 변화시키는 현실감 변화부; 및 왜곡된 실세계 영상을 수신하고, 수신된 상기 왜곡된 실세계 영상을 디스플레이하도록 상기 씨스루 헤드 마운트 디스플레이를 구동하는 디스플레이 구동부를 포함하는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이에 관한 것이다. 상기 씨스루 카메라는, 상기 실세계 영상을 MIPI CSI 표준에 따라 캡쳐하고, 상기 디지털 변환부는, 상기 MIPI CSI 신호를 NTSC, PAL, RGB, YCbCr, HDMI, MPEG, AVI, VOB, H.264로 이루어진 군으로부터 선택된 포맷으로 변환한다. 상기 현실감 변화부는, 상기 실세계 영상에 적용할 왜곡을 결정하는 왜곡 제어부; 및 결정된 왜곡에 기초하여 상기 실세계 영상을 왜곡시키는 영상 왜곡부를 포함한다. 상기 왜곡 제어부는, 상기 사용자로부터 입력받은 명령에 기초하여 상기 왜곡을 결정하는 것; 상기 사용자의 신체 상태를 관찰하는 센서로부터 얻은 센서 신호에 기초하여 상기 사용자의 심리 상태를 판단하고, 판단된 심리 상태에 기초하여 상기 왜곡을 결정하는 것; 및 상기 사용자의 행동을 관찰하는 센서로부터 얻은 센서 신호에 기초하여 상기 사용자의 행동을 판단하고, 판단된 행동에 기초하여 상기 왜곡을 결정하는 것 중 적어도 하나를 수행하도록 구성된다. 상기 사용자의 신체 상태를 관찰하는 센서는, 피부색, 맥박수, 혈압, 심전도, 피부전도도, 근전도, 및 발한 중 적어도 하나를 포함하는 사용자의 생리 신호를 감지하기 위한 센서를 포함하고, 상기 사용자의 행동을 관찰하는 센서는, 위치 센서, GPS 센서, 속도 센서, 및 가속도 센서 중 적어도 하나를 포함한다. 상기 영상 왜곡부는, 상기 실세계 영상의 픽셀값을 변경하는 것; 상기 실세계 영상에 3D 영상 기법을 적용하여 만화와 같은 느낌을 주는 카툰 렌더링; 상기 실세계 영상 콘트라스트를 변경하는 것; 상기 실세계 영상을 이진화하여 흑백처리하는 것; 상기 실세계 영상에 포함된 특정 오브젝트의 표현을 변경하는 것; 상기 실세계 영상의 명암을 조절하는 것; 및 상기 실세계 영상과 함께 수집된 음향의 주파수, 진폭, 피치 중 적어도 하나를 변경하는 것 중 적어도 하나를 수행하도록 구성된다. 상기 디스플레이 구동부는, 수신된 상기 왜곡된 실세계 영상을 상기 씨스루 헤드 마운트 디스플레이에 호환되는 MIPI DSI 포맷으로 변환하여 상기 씨스루 헤드 마운트 디스플레이를 구동하도록 구성된다.
본 발명에 의하여, 실세계 이미지에 가상의 정보를 정합하는 기존의 증강 현실 기법과 차별화되고 씨스루 이미지의 화질 개선을 위한 보정 기술들과 차별화되는 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법이 제공된다.
또한, 본 발명에 의하여, 씨스루 HMD 내에 현실감 변화부를 내장함으로써 사용자의 정신 치료 및 심리 안정과 같은 효과를 일으킬 수 있는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이가 제공된다.
도 1 은 외부 기기와의 연결선이 없는 독립형 씨스루 HMD의 동작 환경을 설명하는 도면이다.
도 2 는 본 발명의 일면에 의한, 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법을 개략적으로 나타내는 흐름도이다.
도 3 은 MIPI CSI 포맷을 MIPI DSI 포맷으로 변환하는 과정을 개략적으로 설명하는 블록도이다.
도 4 는 본 발명의 다른 면에 의한, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이를 개략적으로 나타내는 블록도이다.
도 5 는 도 4 의 씨스루 HMD에 내장될 수 있는 음향 왜곡 모듈의 구성을 개략적으로 예시하는 블록도이다.
도 6 은 도 5 의 왜곡 제어부를 개략적으로 나타내는 블록도이다.
도 7 은 본 발명에 의하여 실세계가 왜곡되어 나타나는 결과들을 예시하는 도면이다.
도 8 은 본 발명에 의한 독립형 씨스루 HMD의 동작 환경을 예시하는 도면이다.
도 2 는 본 발명의 일면에 의한, 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법을 개략적으로 나타내는 흐름도이다.
도 3 은 MIPI CSI 포맷을 MIPI DSI 포맷으로 변환하는 과정을 개략적으로 설명하는 블록도이다.
도 4 는 본 발명의 다른 면에 의한, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이를 개략적으로 나타내는 블록도이다.
도 5 는 도 4 의 씨스루 HMD에 내장될 수 있는 음향 왜곡 모듈의 구성을 개략적으로 예시하는 블록도이다.
도 6 은 도 5 의 왜곡 제어부를 개략적으로 나타내는 블록도이다.
도 7 은 본 발명에 의하여 실세계가 왜곡되어 나타나는 결과들을 예시하는 도면이다.
도 8 은 본 발명에 의한 독립형 씨스루 HMD의 동작 환경을 예시하는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
도 1 은 외부 기기와의 연결선이 없는 독립형 씨스루 HMD의 동작 환경을 설명하는 도면이다.
씨스루 HMD에는 외부 기기 연계형 씨스루 HMD와 독립형 씨스루 HMD가 있다.
외부 기기 연계형 씨스루 HMD는 영상 처리를 외부 컴퓨터 등의 외부 기기에서 수행하는 HMD이다. 씨스루 카메라는 전면의 실세계 이미지를 영상 신호로 변환하여 디지털 변환부로 출력한다. 이러한 영상 신호는 일반적으로 MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface) 표준을 따르는 신호이다. 디지털 변환부는 씨스루 카메라로부터 입력받은 MIPI CSI 표준 신호를 표준 비디오 신호로 변환한다. 본 명세서에서 표준 비디오 신호란, CRT, LCD 모니터와 같은 통상의 디스플레이 장치와 연결하는 NTSC, PAL, 또는 디지털 영상 신호인 HDMI, 압축 표준인 MPEG, H.264 등 MIPI CSI 표준을 제외한 모든 영상 신호 표준을 포괄한다. 이렇게 변환된 신호가 외부 기기로 전송된다.
디지털 변환부가 필요한 이유는, 통상적으로 컴퓨터는 표준 비디오 신호로 변환된 정보가 있어야 영상 처리를 수행할 수 있기 때문이다. 외부 기기 연계형 HMD는 이러한 표준 비디오 신호를 외부의 컴퓨터 장치에서 처리하고 독립형 HMD의 경우에는 이를 내장된 컴퓨터에서 처리하는 것이다.
외부 기기에서 이미지 가공 과정을 거친 영상 정보는 HMD로 다시 보내진다. 보내지는 경로는 유선 무선 모두 가능하다. 그러면, 보내진 영상 정보는 디스플레이 구동부에서 MIPI DSI(Display Serial Interface) 표준 신호로 변환된다. 변환된 신호는 통상 LCD 또는 OLED인 HMD를 통해 사용자에게 보여진다.
본 명세서에서 영상 처리란, 증강 현실 영상을 생성하기 위한 실세계-가상세계 좌표 정합, 이미지 랜더링 등의 과정 등을 의미한다. 예를 들어, 실세계 씨스루 영상과 가상 현실의 특정 오브젝트를 혼합하는 것이 영상 처리에 포함된다.
반면에 독립적으로 작동하는 독립형 씨스루에서는, 내장된 컴퓨터가 목적하는 기능을 달성하기 위한 이미지 변조과정을 수행한다. 그 후 변조된 이미지는 디스플레이 구동부를 거쳐 MIPI DSI 신호로 변환되고 이는 HMD를 통해 사용자에게 보여진다. 외부 기기 연계형 씨스루 HMD와 독립형 씨스루 HMD의 차이점은 표준 비디오 신호를 입력 받아 소정의 정보 처리를 거쳐 영상을 가공하는 컴퓨터 장치가 HMD에 내에 내장되어 있다는 점이다. 이러한 경우 HMD는 외부의 컴퓨터 장치 없이 독립적으로 작동할 수 있으므로 유무선 연결이 필요 없고, 따라서 사용자의 동작, 이동에 구속이 없다.
도 2 는 본 발명의 일면에 의한, 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법(S200)을 개략적으로 나타내는 흐름도이다.
도 2 를 참조하면, 우선 씨스루 카메라를 통해 실세계 영상을 MIPI CSI에 따라 캡쳐한다(S210). MIPI CSI 포맷에 대해서는 도 3 을 이용하여 상세히 후술한다. 그러므로, 명세서의 간략화를 위하여 반복적인 설명이 생략된다.
실세계 영상이 캡쳐되면, 캡쳐된 실세계 영상을 비디오 신호로 변환한다(S220). 이 경우, 변환되는 비디오 신호는 NTSC, PAL, RGB, YCbCr, HDMI, MPEG, AVI, VOB, H.264 등 당업계에 공지된 다양한 포맷으로 변환될 수 있다. 실세계 영상이 비디오 신호로 변환되면 다양한 영상 처리 장치에 의해 처리될 수 있게 된다.
그리고, 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법(S200)에서는 비디오 신호로 변환된 실세계 영상을 왜곡시켜 실세계 영상의 현실감을 변화시킨다.
이를 위하여, 우선 실세계 영상에 적용할 왜곡을 결정한다(S230). 본 명세서에서 왜곡(garbling)이란, 실세계 영상에 다양한 처리를 적용하여 사용자에게 표시되는 실세계 영상을 변경하는 것을 의미한다.
왜곡을 결정하기 위해서 다음과 같은 기법들이 활용될 수 있다. 이들은 단지 이해의 편의를 위해 예시되는 것들일 뿐이며, 본 발명을 한정하는 것이 아님에 유의해야 한다.
1. 사용자로부터 입력받은 명령을 사용에 기초하여 왜곡을 결정한다. 이 경우, 사용자가 직접 자신에게 적합한 왜곡을 결정할 수 있는 장점을 가진다.
2. 원격 조작부를 통하여 사용자 이외의 조작자가 왜곡을 결정할 수도 있다. 조작자는 환자를 치유하는 의사나 심리 상담사가 될 수 있다. 이 경우, 환자의 상태에 따라 실세계 영상을 왜곡시킴으로써 치료 효과를 극대화할 수 있다.
3. 사용자의 신체 상태를 관찰하는 센서로부터 얻은 센서 신호에 기초하여 사용자의 심리 상태를 판단하고, 판단된 심리 상태에 기초하여 왜곡을 결정할 수도 있다. 사용자의 신체 상태를 관찰하는 센서는, 피부색, 맥박수, 혈압, 심전도, 피부전도도, 근전도, 및 발한(perspiration) 등을 감지할 수 있는 카메라 및 다양한 생체 센서일 수 있다. 이러한 경우, 사용자의 신체 상태를 직접 판단하고, 판단된 신체 상태에 적합하도록 실세계 영상을 왜곡시킬 수 있다.
4. 사용자의 행동을 관찰하는 센서로부터 얻은 센서 신호에 기초하여 사용자의 행동을 판단하고, 판단된 행동에 기초하여 왜곡을 결정할 수도 있다. 사용자의 행동을 관찰하는 센서는, 위치 센서, GPS 센서, 속도 센서, 및 가속도 센서 등일 수 있다. 이러한 경우, 사용자의 움직임이나 과잉 행동, 과소 행동 등을 감지하고, 각각의 행동 상태에 따라서 실세계 영상을 적절하게 왜곡시킬 수 있다.
왜곡이 결정되면, 결정된 왜곡에 기초하여 실세계 영상을 왜곡시킨다(S250). 본 발명에서 실세계 영상에 적용될 수 있는 왜곡에는 다음과 같은 것들이 존재한다. 이들은 단지 이해의 편의를 위해 예시되는 것들일 뿐이며, 본 발명을 한정하는 것이 아님에 유의해야 한다.
1. 실세계 영상의 픽셀값을 변경할 수 있다.
예를 들어, 폭력적인 장면이 심리 상태가 불안한 사람들에게 노출되는 것은 바람직하지 않을 수 있다. 따라서, 실세계 영상 중 피로 감지되는 부분들의 픽셀값을 변경하여 사용자에게 노출시킬 수 있다.
2. 실세계 영상에 3D 영상 기법을 적용하여 만화와 같은 느낌을 줄 수 있다. 이러한 기법은 카툰 렌더링(cartoon rendering)이라고 부르며, 몽환적인 효과를 낼 수도 있고, 현실을 마치 만화속 공간으로 느껴지게 하기 때문에 현실에서의 긴장감을 낮추는 효과를 가진다.
3. 실세계 영상 콘트라스트를 변경할 수 있다. 일반적으로 콘트라스트가 높을수록 제공되는 실세계 영상은 첨예해지며 사람들이 예민해진다. 따라서, 사용자의 심리 상태에 기초하여 콘트라스트를 조절함으로써 사용자로 하여금 현실에서 느끼는 긴장을 풀도록 유도할 수 있다.
4. 필요한 경우 실세계 영상을 이진화하여 흑백처리할 수도 있다. 이 경우 흑백 처리의 단계를 조절함으로써 그레이스케일로 처리할 수도 있다. 극도의 긴장 상태인 경우, 실세계 영상을 흑백처리하여 제공하는 것이 사용자의 정서 안정에 도움을 줄 수도 있다.
5. 실세계 영상에 포함된 특정 오브젝트의 표현을 변경할 수도 있다. 예를 들어, 운전하고 있는 사용자의 경우 중앙선이나 신호등의 교통 지시 시설들은 그 자체로 매우 중요한 의미를 가질 수 있다. 이러한 경우, 실세계 영상에 있는 교통 지시 시설들을 강조하거나 확대하여 표시함으로써 사용자의 주의를 환기할 수 있다.
6. 실세계 영상의 명암을 조절할 수도 있다. 스키장이나 백사장을 바라보는 사용자에게는 실세계 영상의 명도를 낮춤으로써 시력 손상을 방지할 수 있고, 어두운 환경에 있는 사용자에게는 명도를 높임으로써 시인성을 개선할 수도 있다.
7. 실세계 영상과 함께 수집된 음향의 주파수, 진폭, 피치 중 적어도 하나를 변경하는 것도 가능하다. 도서관에 있는 사용자에게는 백그라운드 잡음을 소거시켜 집중력을 향상시킬 수 있고, 야구장 등 높은 소음 환경에 노출된 사용자에게는 제공되는 음향의 진폭을 줄여서 청력을 보호할 수도 있다. 음향을 왜곡시키는 기법에 대해서는 도 5 를 참조하여 상세히 후술한다. 그러므로, 명세서의 간략화를 위하여 반복적인 설명이 생략된다.
실세계 영상이 왜곡되면, 왜곡된 실세계 영상을 씨스루 헤드 마운트 디스플레이에 호환되는 MIPI DSI 포맷으로 변환한다(S260). 이러한 변환은 영상 처리 장치에서 처리한 비디오 신호를 씨스루 HMD에서 처리할 수 있는 신호를 변경하기 위한 것이다.
포맷이 변환되면, 왜곡된 실세계 영상을 디스플레이하도록 씨스루 헤드 마운트 디스플레이를 구동시킨다(S270). 따라서, 사용자는 실세계 영상이 변환된 장면을 시청하게 된다.
도 3 은 MIPI CSI 포맷을 MIPI DSI 포맷으로 변환하는 과정을 개략적으로 설명하는 블록도이다.
스마트폰과 같은 모바일 기기가 널리 보급되면서, 특히 소비 전류가 적고 고속이어야 한다는 제한 조건을 만족시키기 위해서 MIPI 포맷이 도입되었다. MIPI포맷은 모바일 기기 내에서 부품간의 연결에 필요한 인터페이스 규약을 가리키며, 처음엔 카메라 센서와 모바일 프로세서인 AP 사이에 사용되었으나, 현재는 모바일 디스플레이 장치, 저장 장치, 및 와이파이 모듈에도 확장 적용되고 있다.
MIPI 포맷을 보면 중심의 AP를 기준으로 각 부품들이 연결되며, 이들 부품을 연결하기 위한 포맷으로 CSI와 DSI가 있다. MIPI에서 신호 전송은 LVDS(Low-Voltage Differential Signaling)이라고 불리는 차동 앰프를 내장한 차동 페어링 방식을 통해 이루어진다. 신호 전송을 담당하는 차동 페어링 방식을 구현하기 위한 물리적 계층으로서 D-PHY와 M-PHY가 존재한다. 이 중 D-PHY는 카메라나 디스플레이에 사용되고 M-PHY는 저전력 고속 통신을 위해 사용된다.
도 3에서, 카메라(310)에 의해 캡쳐된 신호는 SoC(350)를 통해 디스플레이 디바이스(390)로 전달된다. 카메라(310)에 의해 캡쳐된 신호는 CSI-2 송신기를 통해 D-PHY를 거쳐 SoC(350)로 전달된다. 전달된 신호는 CSI-2 수신기에 의해 수신되고, 이미지 프로세서로 전달된다. 그리고, 그래픽 콘트롤러를 통해 DSI 호스트 콘트롤러로 제공된다. 이러한 비디오 신호는 역시 D-PHY를 거쳐서 DSI 디바이스 제어기로 전달된다. 도 3 에서 알 수 있는 바와 같이, 카메라(310)에 의해 획득된 신호는 CSI 인터페이스를 통해 SoC(350)로 제공되고, SoC(350)는 DSI 인터페이스를 통해 디스플레이 디바이스(390)로 신호를 보낸다.
도 4 는 본 발명의 다른 면에 의한, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이를 개략적으로 나타내는 블록도이다.
도 4 를 참조하면, 본 발명에 의한 씨스루 HMD(400)는 씨스루카메라(410), 디지털 변환부(420), 현실감 변화부(450), 디스플레이 구동부(480), 및 헤드 마운트 디스플레이(490)를 포함한다. 또한, 현실감 변화부(450)는 왜곡 제어부(440) 및 영상 왜곡부(460)를 포함하고, 디스플레이 구동부(480)는 포맷 변환부(470)를 포함한다.
씨스루 카메라(410)는 실세계 영상을 캡쳐하여 디지털 변환부(420)로 제공한다. 그러면, 디지털 변환부(420)는 캡쳐된 실세계 영상을 비디오 신호로 변환하여 현실감 변화부(450)로 제공한다.
현실감 변화부(450)는 비디오 신호로 변환된 실세계 영상을 왜곡시켜 실세계 영상의 현실감을 변화시키는 역할을 수행한다. 이를 위하여, 왜곡 제어부(440)는 실세계 영상에 적용할 왜곡을 결정한다. 왜곡을 결정하는 과정에 대해서는 도 2 를 사용하여 전술된 바와 같다. 그러므로, 명세서의 간략화를 위하여 반복적인 설명이 생략된다.
적용될 왜곡이 결정되면, 영상 왜곡부(460)는 결정된 왜곡에 기초하여 실세계 영상을 왜곡시킨다. 적용되는 왜곡도 도 2 를 사용하여 전술된 바와 같기 때문에, 명세서의 간략화를 위하여 반복적인 설명이 생략된다.
실세계 영상이 왜곡되면, 포맷 변환부(470)는 왜곡된 실세계 영상을 수신하고, 수신된 실세계 영상을 씨스루 헤드 마운트 디스플레이에 호환되는 MIPI DSI 포맷으로 변환한다. 그러면, 디스플레이 구동부(480)는 왜곡된 실세계 영상을 수신하고, 수신된 왜곡된 실세계 영상을 디스플레이하도록 헤드 마운트 디스플레이(490)를 구동한다.
따라서, 본 발명에 의한 HMD(400)는 왜곡 제어부(440)를 따로 두어 영상 왜곡을 제어하기 때문에, 사용자의 요구에 맞는 영상 왜곡을 실시간으로 제공하여 현실감을 변화시킴으로써 정신적, 심리적 다양한 이익을 제공한다.
도 5 는 도 4 의 씨스루 HMD에 내장될 수 있는 음향 왜곡 모듈(500)의 구성을 개략적으로 예시하는 블록도이다.
음향 왜곡 모듈(500)은 HMD 마이크(510), 음향 인코더(520), 현실감 변화부(550), 음향 디코더(570), 및 HMD 이어폰(590)을 포함한다. 또한, 현실감 변화부(550)는 왜곡 제어부(540) 및 영상 왜곡부(560)를 포함한다.
HMD 마이크(510)는 실세계 음향을 수집하여 음향 인코더(520)로 제공한다. 그러면, 음향 인코더(520)는 수집된 음향을 음향 신호로 변환하여 현실감 변화부(550)로 제공한다.
현실감 변화부(550)는 음향 신호로 변환된 실세계 음향을 왜곡시켜 현실감을 변화시키는 역할을 수행한다. 이를 위하여, 왜곡 제어부(540)는 실세계 음향에 적용할 왜곡을 결정한다. 왜곡을 결정하는 과정에 대해서는 도 2 를 사용하여 전술된 바와 같다. 그러므로, 명세서의 간략화를 위하여 반복적인 설명이 생략된다.
적용될 왜곡이 결정되면, 음향 왜곡부(560)는 결정된 왜곡에 기초하여 실세계 음향을 왜곡시킨다. 왜곡되는 음향은 피치, 주파수, 및 진폭 등이 있을 수 있다. 또한, 음향 왜곡의 예로는 특정한 주파수를 제거, 증폭하거나 에코, 리버브 등의 공간계 효과를 넣어 공간감을 주거나 특정 음향 성분을 추가하여 주의집중을 유도하는 것이 포함될 수 있다. 하지만 이는 본 발명을 한정하는 것이 아니며, 당업계에 공지된 모든 음향 처리 기법이 본 발명에 적용될 수 있다. 음향 왜곡은 영상 왜곡과 동시에 제공될 수도 있고 이 둘이 각각 따로 제공될 수도 있다.
실세계 음향이 왜곡되면, 음향 디코더(570)는 왜곡된 실세계 음향을 수신하고, 수신된 실세계 음향을 HMD 이어폰(590)에서 재생할 수 있도록 디코딩한다.
따라서, 본 발명에 의한 음향 왜곡 모듈(500)은 왜곡 제어부(540)를 따로 두어 음향 왜곡을 제어하기 때문에, 사용자의 요구에 맞는 음향 왜곡을 실시간으로 제공하여 현실감을 변화시킴으로써 정신적, 심리적 다양한 이익을 제공한다.
도 5 의 음향 왜곡 모듈(500)은 별개의 모듈인 것으로 도시되었으나, 도 4 의 씨스루 HMD(400)에 내장될 수도 있다.
도 6 은 도 5 의 왜곡 제어부를 개략적으로 나타내는 블록도이다.
왜곡 제어부(540)는 직접 조작부(610), 원격 조작부(630), 사용자 심리상태 판단부(660), 및 사용자 행동상태 판단부(680)을 포함한다. 또한, 직접 조작부(610), 원격 조작부(630), 사용자 심리상태 판단부(660), 및 사용자 행동상태 판단부(680)는 HMD 내장 버튼(620), 무선 통신부(640), 사용자 심리신호 센서(670), 및 사용자 행동신호 센서(690)에 각각 연결된다.
직접 조작부(610)와 원격 조작부(630)는 왜곡을 제어하는 신호를 HMD 내장 버튼(620)과 무선 통신부(640)를 통하여 각각 수신한다. 이러한 신호는 사용자 스스로, 또는 사용자 이외의 제 3 자에 의해 직접 제공될 수 있다.
직접 조작부(610)는 영상 왜곡의 온오프, 왜곡 규칙의 전환 등의 신호를 영상 왜곡부(음향 왜곡부)로 전달한다.
사용자 심리상태 판단부(660)는 센서부로부터 입력받은 신호에 대응하여 심리 상태를 진단한다. 예를 들어, 맥박수가 급등하는 경우 긴장 및 스트레스 상황으로 진단하여 긴장상태 값을 산출한다. 그러면, 사용자 심리상태 판단부(660)는 산출된 긴장상태에 대응되는 영상(음향) 왜곡 방식을 결정하여 영상 왜곡부(음향 왜곡부)로 전달한다.
심리 신호 센서(670)는 사용자의 심리 상태에 대한 신호를 생성하기 위하여 사용자의 다양한 생체 신호를 수집한다. 본 명세서에서 생체 신호란, 우리 몸에서 측정하여, 인체에 대한 에너지나 정보를 보유하고 있는 전기적인 신호를 가리킨다. 인체는 하나의 도체로서 전기를 발생시키고 있는데, 인간의 신진대사와 신체 상태에 따라 전기적인 값이 변화를 보인다. 특히, 정보의 전달은 신경이나 근육세포 표면에서의 전압 변동으로 이루어지기 때문에 이를 모니터링하면 여러 정보를 얻을 수 있다. 또한, 정보는 체액을 통해, 체표면, 즉 피부에 전달되기도 한다.
이러한 센서로는, ECG (electrocardiograph), EEG (electroencephalograph), ENG (electro neurography), EMG (electromyograph), ERG (electroretinograph), EGG (electro gastrography), EOG (electrooculogram) 센서 등이 포함될 수 있다. 하지만 이는 본 발명을 한정하는 것이 아니며, 당업계에 공지된 다양한 센서들이 본 발명에 적용될 수 있음에 주의하여야 한다. 예를 들어, 피부색을 감지하는 카메라, 맥파 센서, 혈압 센서, 발한(perspiration) 센서 등도 본 발명에 적용될 수 있다.
사용자 행동상태 판단부(680)가 감지하는 행동 상태는 장시간 정지, 앉아있음, 일어섬, 달리기, 심한 머리 움직임, 소리지름 등 심리 상태와 관련이 있다고 판단 가능한 모든 행동을 포함한다. 사용자 행동상태 판단부(680)에서는 센서부로부터 입력받은 신호에 대응하는 심리 상태를 진단한다. 예를 들어, 사용자가 장시간 움직임 없이 정지해 있는 경우 이를 주의 집중 상황으로 진단하여 주의집중 상태값을 산출한다. 그러면, 사용자 행동상태 판단부(680)는 산출된 주의집중 상태값에 대응되는 영상(음향) 왜곡 방식을 결정하여 영상 왜곡부(음향 왜곡부)로 전달한다. 예를 들어 주의 집중 상태에서 사용자의 주의 집중을 낮추기 위해 영상 왜곡부에서 영상의 이진화를 수행하고 이진화 역치값을 낮추어 전체적으로 영상이 어두워지도록 한다. 이 때 사용자가 과도한 주의 집중을 멈추고 주변을 둘러보는 순간에 씨스루 영상을 원래대로 복원하는 등의 작동이 본 발명의 한 실시 예가 될 수 있다.
사용자 행동신호 센서(690)로는 위치 센서, GPS 센서, 속도 센서, 및 가속도 센서 등이 활용될 수 있다. 예를 들어, HMD가 착용되는 머리의 움직임 가속도가 크다면 사용자가 불안 상태에 있는 것으로 판단할 수 있다.
원격 조작부(630)는 사용자를 관찰하고 있는 외부자가 사용자의 행동을 관찰하며 현 시점에 사용자에게 가장 적합하다고 판단되는 영상(음향) 왜곡을 원격으로 제공하는 것이다. 상기 외부자는 사용자를 관찰하는 중에 원격 제어 장치를 이용해 영상(음향) 왜곡 변경 신호를 HMD에 내장된 무선 통신부(640)로 전송한다. 상기 무선 통신부에 의해 수신된 변경 신호는 원격 조작부(630)에 전달되고 원격 조작부는 이 신호에 대응하는 영상(음향) 왜곡 규칙을 영상 왜곡부(음향 왜곡부)에 전달하여 왜곡 규칙이 변경되도록 한다. 예를 들어 사용자가 과도하게 흥분하여 이를 진정할 필요가 있다고 판단한 치료사는 본인 소지한 원격 제어 장치의 진정유도 기능에 대응하는 버튼을 누른다. 이 때 원격 조작부(630)는 이에 대응하는 무선 신호를 HMD에 내장된 무선 통신부(640)로 전송한다. 원격 조작부(630)에서는 수신된 신호에 대응하는 카툰 랜더 왜곡 및 음향의 위상을 변경하는 왜곡을 작동시키는 명령을 영상 왜곡부(음향 왜곡부)에 전달하고 영상 왜곡부(음향 왜곡부)는 즉시 왜곡 규칙을 바꾸어 디스플레이(음향출력) 시킨다. 이로써 사용자는 변화된 시각(청각) 정보를 경험하게 된다. 원격 조작부는 사용자 자신에 의해서도 제어될 수 있다.
도 7 은 본 발명에 의하여 실세계가 왜곡되어 나타나는 결과들을 예시하는 도면이다.
왜곡규칙 1은 전형적인 단순 이진화 규칙이다. 이진화는 모든 픽셀의 값을 0또는 1로 치환하고 0의 경우 흑색, 1의 경우 백색으로 출력하는 이미지 변환규칙이다. 이때 역치값을 낮추면 대부분의 픽셀값이 0이 되어 어두워진다. 영상 왜곡은 이와 같은 파라미터 값의 조정도 포함한다. 왜곡규칙 2는 카툰 랜더링이다. 카툰 랜더는 유사한 색상의 인접 픽셀값을 하나의 일치된 값으로 통일시켜 그림의 채색효과를 연출하는 기법이다. 이 또한 여러 파라메타 값에 의해 결과값이 달라진다. 왜곡규칙 3과 4는 복합적인 이미지 왜곡 규칙에 의해 출력되는 이미지의 예이다. 이러한 왜곡규칙들은 하나 이상이 조합되어 사용될 수도 있다. 또한, 이러한 왜곡규칙들은 설명의 편의를 위한 것일 뿐, 본 발명을 한정하는 것이 아니다. 그러므로, 명세서의 간략화를 위하여 반복적인 설명이 생략된다.
이러한 실세계 영상의 왜곡은 사용자의 심리 상태 등에 기초하여 선택되어 제공됨으로써, 사용자의 심리적 안정 등을 도모할 수 있다.
도 8 은 본 발명에 의한 독립형 음향 왜곡 모듈의 동작 환경을 예시하는 도면이다.
도 8 에 예시된 바와 같이, 실세계 영상은 현실감 변화부에 의해 흑백처리되어 HMD에 제공된다. 따라서, 사용자의 긴장 상태가 완화될 수 있다.
본 발명에 의하면, 소정의 왜곡 규칙에 의해 씨스루 영상의 특정 사물을 강조하거나 제거하여 자폐증 환자의 주의집중을 유도하는 데에 사용될 수 있다. 또한, 소정의 왜곡 규칙에 의해 씨스루 영상을 현실감을 낮추는 방향으로 왜곡하여 공포증을 완화시킬 수 있다. 더 나아가, 소정의 왜곡 규칙에 의해 왜곡된 영상을 제공하여 공황 장애를 방지하거나 발작시 심리적 부담을 감소시킬 수 있고, 소정의 왜곡 규칙에 의해 왜곡된 영상을 제공하여 우울증 및 조울증을 방지하거나 증세를 완화시킬 수 있다. 또한, 본 발명에 의하면 소정의 왜곡 규칙에 의해 왜곡된 영상을 제공하여 망상, 환청, 환시 등의 증세를 방지하거나 발작시 심리적 부담을 감소시킬 수 있고, 소정의 왜곡 규칙에 의해 왜곡된 영상을 제공하여 공포감 증세를 완화하는 단계적 둔감화 치료에 활용될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다. 그리고, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
따라서, 본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
본 발명은 씨스루 HMD에 적용될 수 있다.
400 : 씨스루 HMD
410 : 씨스루카메라
420 : 디지털 변환부 440 : 왜곡 제어부
450 : 현실감 변화부 460 : 영상 왜곡부
470 : 포맷 변환부 480 : 디스플레이 구동부
490 : 헤드 마운트 디스플레이
420 : 디지털 변환부 440 : 왜곡 제어부
450 : 현실감 변화부 460 : 영상 왜곡부
470 : 포맷 변환부 480 : 디스플레이 구동부
490 : 헤드 마운트 디스플레이
Claims (14)
- 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법으로서,
씨스루 카메라를 통해 실세계 영상을 캡쳐하는 단계;
캡쳐된 실세계 영상을 비디오 신호로 변환하는 단계;
비디오 신호로 변환된 상기 실세계 영상을 왜곡시켜 상기 실세계 영상의 현실감을 변화시키는 단계;
왜곡된 실세계 영상을 수신하고, 수신된 상기 왜곡된 실세계 영상을 디스플레이하도록 상기 씨스루 헤드 마운트 디스플레이를 구동하는 단계를 포함하는, 씨스루 헤드 마운트 디스플레이의 실세계 영상 왜곡 방법. - 제1항에 있어서,
상기 실세계 영상을 캡쳐하는 단계는, 상기 실세계 영상을 MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface) 표준에 따라 캡쳐하는 단계를 포함하고,
상기 캡쳐된 실세계 영상을 비디오 신호로 변환하는 단계는, 상기 MIPI CSI 신호를 NTSC, PAL, RGB, YCbCr, HDMI, MPEG, AVI, VOB, H.264로 이루어진 군으로부터 선택된 포맷으로 변환하는 단계를 포함하는, 씨스루 헤드 마운트 디스플레이의 실세계 영상 왜곡 방법. - 제2항에 있어서,
상기 실세계 영상의 현실감을 변화시키는 단계는,
상기 실세계 영상에 적용할 왜곡을 결정하는 단계; 및
결정된 왜곡에 기초하여 상기 실세계 영상을 왜곡시키는 단계를 포함하는, 씨스루 헤드 마운트 디스플레이의 실세계 영상 왜곡 방법. - 제3항에 있어서,
상기 왜곡을 결정하는 단계는,
상기 사용자로부터 입력받은 명령에 기초하여 상기 왜곡을 결정하는 것;
상기 사용자의 신체 상태를 관찰하는 센서로부터 얻은 센서 신호에 기초하여 상기 사용자의 심리 상태를 판단하고, 판단된 심리 상태에 기초하여 상기 왜곡을 결정하는 것; 및
상기 사용자의 행동을 관찰하는 센서로부터 얻은 센서 신호에 기초하여 상기 사용자의 행동을 판단하고, 판단된 행동에 기초하여 상기 왜곡을 결정하는 것 중 적어도 하나를 포함하는, 씨스루 헤드 마운트 디스플레이의 실세계 영상 왜곡 방법. - 제4항에 있어서,
상기 사용자의 신체 상태를 관찰하는 센서는, 피부색, 맥박수, 혈압, 심전도, 피부전도도, 근전도, 및 발한(perspiration) 중 적어도 하나를 포함하는 사용자의 생리 신호를 감지하기 위한 센서를 포함하고,
상기 사용자의 행동을 관찰하는 센서는, 위치 센서, GPS 센서, 속도 센서, 및 가속도 센서 중 적어도 하나를 포함하는, 씨스루 헤드 마운트 디스플레이의 실세계 영상 왜곡 방법. - 제3항에 있어서,
상기 실세계 영상을 왜곡시키는 단계는,
상기 실세계 영상의 픽셀값을 변경하는 것;
상기 실세계 영상에 3D 영상 기법을 적용하여 만화와 같은 느낌을 주는 카툰 렌더링(cartoon rendering);
상기 실세계 영상 콘트라스트를 변경하는 것;
상기 실세계 영상을 이진화하여 흑백처리하는 것;
상기 실세계 영상에 포함된 특정 오브젝트의 표현을 변경하는 것;
상기 실세계 영상의 명암을 조절하는 것; 및
상기 실세계 영상과 함께 수집된 음향의 주파수, 진폭, 피치 중 적어도 하나를 변경하는 것 중 적어도 하나를 포함하는, 씨스루 헤드 마운트 디스플레이의 실세계 영상 왜곡 방법. - 제2항에 있어서,
상기 씨스루 헤드 마운트 디스플레이를 구동하는 단계는, 수신된 상기 왜곡된 실세계 영상을 상기 씨스루 헤드 마운트 디스플레이에 호환되는 MIPI DSI(Display Serial Interface) 포맷으로 변환하여 상기 씨스루 헤드 마운트 디스플레이의 구동부에 제공하는 단계를 포함하는, 씨스루 헤드 마운트 디스플레이의 실세계 영상 왜곡 방법. - 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이로서,
실세계 영상을 캡쳐하는 씨스루 카메라;
캡쳐된 실세계 영상을 비디오 신호로 변환하는 디지털 변환부;
비디오 신호로 변환된 상기 실세계 영상을 왜곡시켜 상기 실세계 영상의 현실감을 변화시키는 현실감 변화부; 및
왜곡된 실세계 영상을 수신하고, 수신된 상기 왜곡된 실세계 영상을 디스플레이하도록 상기 씨스루 헤드 마운트 디스플레이를 구동하는 디스플레이 구동부를 포함하는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이. - 제8항에 있어서,
상기 씨스루 카메라는, 상기 실세계 영상을 MIPI CSI 표준에 따라 캡쳐하고,
상기 디지털 변환부는, 상기 MIPI CSI 신호를 NTSC, PAL, RGB, YCbCr, HDMI, MPEG, AVI, VOB, H.264로 이루어진 군으로부터 선택된 포맷으로 변환하는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이. - 제9항에 있어서,
상기 현실감 변화부는,
상기 실세계 영상에 적용할 왜곡을 결정하는 왜곡 제어부; 및
결정된 왜곡에 기초하여 상기 실세계 영상을 왜곡시키는 영상 왜곡부를 포함하는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이. - 제10항에 있어서,
상기 왜곡 제어부는,
상기 사용자로부터 입력받은 명령에 기초하여 상기 왜곡을 결정하는 것;
상기 사용자의 신체 상태를 관찰하는 센서로부터 얻은 센서 신호에 기초하여 상기 사용자의 심리 상태를 판단하고, 판단된 심리 상태에 기초하여 상기 왜곡을 결정하는 것; 및
상기 사용자의 행동을 관찰하는 센서로부터 얻은 센서 신호에 기초하여 상기 사용자의 행동을 판단하고, 판단된 행동에 기초하여 상기 왜곡을 결정하는 것 중 적어도 하나를 수행하도록 구성되는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이. - 제11항에 있어서,
상기 사용자의 신체 상태를 관찰하는 센서는, 피부색, 맥박수, 혈압, 심전도, 피부전도도, 근전도, 및 발한 중 적어도 하나를 포함하는 사용자의 생리 신호를 감지하기 위한 센서를 포함하고,
상기 사용자의 행동을 관찰하는 센서는, 위치 센서, GPS 센서, 속도 센서, 및 가속도 센서 중 적어도 하나를 포함하는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이. - 제10항에 있어서,
상기 영상 왜곡부는,
상기 실세계 영상의 픽셀값을 변경하는 것;
상기 실세계 영상에 3D 영상 기법을 적용하여 만화와 같은 느낌을 주는 카툰 렌더링;
상기 실세계 영상 콘트라스트를 변경하는 것;
상기 실세계 영상을 이진화하여 흑백처리하는 것;
상기 실세계 영상에 포함된 특정 오브젝트의 표현을 변경하는 것;
상기 실세계 영상의 명암을 조절하는 것; 및
상기 실세계 영상과 함께 수집된 음향의 주파수, 진폭, 피치 중 적어도 하나를 변경하는 것 중 적어도 하나를 수행하도록 구성되는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이. - 제9항에 있어서,
상기 디스플레이 구동부는, 수신된 상기 왜곡된 실세계 영상을 상기 씨스루 헤드 마운트 디스플레이에 호환되는 MIPI DSI 포맷으로 변환하여 상기 씨스루 헤드 마운트 디스플레이를 구동하도록 구성되는, 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190016940A KR20200099047A (ko) | 2019-02-13 | 2019-02-13 | 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 |
| US16/789,475 US20200258316A1 (en) | 2019-02-13 | 2020-02-13 | Method of garbling real-world image for see-through head mount display and see-through head mount display with realworld image garbling function |
| KR1020210173235A KR102360557B1 (ko) | 2019-02-13 | 2021-12-06 | 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190016940A KR20200099047A (ko) | 2019-02-13 | 2019-02-13 | 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210173235A Division KR102360557B1 (ko) | 2019-02-13 | 2021-12-06 | 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200099047A true KR20200099047A (ko) | 2020-08-21 |
Family
ID=72235612
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190016940A KR20200099047A (ko) | 2019-02-13 | 2019-02-13 | 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 |
| KR1020210173235A KR102360557B1 (ko) | 2019-02-13 | 2021-12-06 | 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210173235A KR102360557B1 (ko) | 2019-02-13 | 2021-12-06 | 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20200099047A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240046576A1 (en) * | 2022-08-05 | 2024-02-08 | Samsung Electronics Co., Ltd. | Video See-Through Augmented Reality |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014178710A (ja) | 2013-02-14 | 2014-09-25 | Sharp Corp | 薄型表示装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000339490A (ja) * | 1999-05-28 | 2000-12-08 | Mitsubishi Electric Corp | Ｖｒ酔い低減方法 |
| KR20140066258A (ko) * | 2011-09-26 | 2014-05-30 | 마이크로소프트 코포레이션 | 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정 |
| KR20170013737A (ko) * | 2015-07-28 | 2017-02-07 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 장치 및 그 동작방법 |
| JP2018148257A (ja) | 2017-03-01 | 2018-09-20 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法 |
-
2019
- 2019-02-13 KR KR1020190016940A patent/KR20200099047A/ko not_active IP Right Cessation
-
2021
- 2021-12-06 KR KR1020210173235A patent/KR102360557B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014178710A (ja) | 2013-02-14 | 2014-09-25 | Sharp Corp | 薄型表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210153016A (ko) | 2021-12-16 |
| KR102360557B1 (ko) | 2022-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2016157677A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US11061240B2 (en) | Head-mountable apparatus and methods | |
| JP6870080B2 (ja) | 画像生成装置、画像表示システム、および画像生成方法 | |
| CN106796344B (zh) | 锁定在感兴趣对象上的放大图像的***、布置和方法 | |
| JP2008099834A (ja) | 表示装置、表示方法 | |
| JP6909286B2 (ja) | 画像生成装置、画像表示システム、および画像生成方法 | |
| KR102548317B1 (ko) | 색소 검출 방법 및 전자 장치 | |
| US20160269713A1 (en) | Stereoscopic endoscopic image processing apparatus | |
| US7940295B2 (en) | Image display apparatus and control method thereof | |
| US20200258316A1 (en) | Method of garbling real-world image for see-through head mount display and see-through head mount display with realworld image garbling function | |
| JP2015161699A (ja) | 表示システム、健康器具および表示制御方法 | |
| KR102360557B1 (ko) | 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 | |
| Ghaderi et al. | A wearable mobility device for the blind using retina-inspired dynamic vision sensors | |
| KR102185519B1 (ko) | 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이 | |
| CN116172493A (zh) | 用于内窥镜***的成像及显示方法和内窥镜*** | |
| KR102381446B1 (ko) | 스마트 기기를 구비한 ｌｅｄ 마스크 | |
| KR20220093380A (ko) | 시각적 뇌-컴퓨터 인터페이스 | |
| KR20220055579A (ko) | 증강현실기기의 시각적 복잡도 완화방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
| WO2020157979A1 (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
| US11626087B2 (en) | Head-mounted device and control device thereof | |
| US20240029261A1 (en) | Portrait image processing method and portrait image processing device | |
| US12033299B2 (en) | Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same | |
| WO2021112460A1 (ko) | 치과용 진료 환경 조성 시스템 및 방법 | |
| US20230123330A1 (en) | Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same | |
| CN117636418A (zh) | 一种基于Android摄像头的脸部检测配准方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination |