KR20190046387A - Method for correcting images of head mounted display and method for displaying corrected images on head mounted display - Google Patents
Method for correcting images of head mounted display and method for displaying corrected images on head mounted display Download PDFInfo
- Publication number
- KR20190046387A KR20190046387A KR1020170140130A KR20170140130A KR20190046387A KR 20190046387 A KR20190046387 A KR 20190046387A KR 1020170140130 A KR1020170140130 A KR 1020170140130A KR 20170140130 A KR20170140130 A KR 20170140130A KR 20190046387 A KR20190046387 A KR 20190046387A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- hmd
- target object
- correction value
- position correction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012937 correction Methods 0.000 claims abstract description 53
- 238000003702 image correction Methods 0.000 claims abstract description 25
- 230000004886 head movement Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 abstract description 12
- 208000002173 dizziness Diseases 0.000 abstract description 7
- 238000009877 rendering Methods 0.000 abstract description 4
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 12
- 210000003128 head Anatomy 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000010437 gem Substances 0.000 description 1
- 229910001751 gemstone Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법에 관한 것으로, 더욱 상세하게는 HMD 등에서 재생될 수 있는 3차원 영상에 대해 컨버전스 매칭 효과를 극대화할 수 있도록 하는 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법에 관한 것이다.The present invention relates to an HMD image correction method and a method for displaying a corrected image on an HMD, and more particularly, to an HMD image correction method and an HMD image correction method for maximizing a convergence matching effect on a three- To a method of displaying a corrected image.
가상현실(VR; Virtual Reality)이란 인공적으로 생성된 가상의 공간으로 3차원 시각 효과 등을 통해 현실성을 부여하는 공간이다. 가상현실 구현을 위한 기술은 사용자의 입력을 실시간으로 처리하여 현실 세계에 있는 것 같은 느낌을 받을 수 있는 기술로, 멀티미디어를 뛰어 넘는 차세대 기술이다.Virtual Reality (VR) is a virtual space created artificially to give realism through three-dimensional visual effects. Technology for realizing virtual reality is a next generation technology that goes beyond multimedia by receiving user 's input in real - time and feeling like it is in the real world.
이러한 가상현실은 HMD(Head Mount Display, 헤드 마운트 디스플레이)와 같은 장치를 통해 이용할 수 있다. HMD는 사용자의 머리(head)에 착용하여 눈 앞의 스크린에 렌즈를 통해 객체(object)가 입체감을 가지면서 보이도록 한다.Such a virtual reality is available through a device such as an HMD (Head Mount Display). The HMD is worn on the user's head so that the object on the screen in front of the eye is viewed through the lens with a three-dimensional effect.
사람이 지각하는 입체감은 보고자 하는 물체의 위치에 따라 수정체 두께의 변화 정도, 좌우 눈과 물체와의 각도 차이, 좌우 눈에 보이는 물체의 위치 및 형태 차이, 물체의 운동에 따라 생기는 시차, 관찰자의 심리적 요인 등 여러 요소가 복합적으로 작용하여 생긴다. 특히, 사람의 눈은 초점 조절(accomodation)과 좌우 눈에 의한 두 시선을 보고자 하는 물체 위에 하나로 모으는 폭주(vergence) 조절이 동시에 일어난다.The three-dimensional sensation perceived by a person depends on the degree of change of the lens thickness, the angle difference between the left and right eyes and the object, the position and shape difference of the objects on the left and right eyes, the parallax caused by the motion of the object, Factors, and so on. In particular, the human eye has simultaneous accomodation and control of the vergence which collects the two eyes by the right and left eyes on the object to be viewed.
일반적으로, HMD는 고정 스크린 방식을 사용하고 있으며, HMD를 착용하고 있는 사용자의 눈과 영상의 객체 간의 거리의 변화에 따른 눈의 초점 조절(accomodation)과 좌우 눈의 수렴(convergence)을 정확히 반영하지 못하고 있다.Generally, the HMD uses a fixed screen method and accurately reflects the convergence of the eye and the convergence of the eyes according to the change of the distance between the user's eye and the image object wearing the HMD I can not.
즉, HMD에서 사용자가 영상을 볼 때, 눈의 초점이 스크린에 맞춰져 있으나, 좌우 눈의 수렴(convergence)은 주목하고 있는 객체에 맞추어져 있어 불일치가 발생하며, 이에 따라 사용자가 눈의 피로가 증가하고, 어지럼증을 느끼게 된다.That is, when the user views the image in the HMD, the focus of the eye is adjusted to the screen, but the convergence of the left and right eyes is adjusted to the object of interest, causing inconsistency, , And feel dizziness.
뿐만 아니라, 종래 기술은 매 프레임마다 정제되지 않은 디스패리티 값을 이용하여 영상 이동값을 결정하고 이를 바로 렌더링 파이프라인에서 적용하였기 때문에 영상이 항상 상하좌우로 움직이는 문제점을 안고 있었다.In addition, the prior art has a problem that the image always moves up and down and left and right because the image movement value is determined using the uncorrected disparity value every frame and applied to the rendering pipeline.
본 발명은 상기 문제점을 해결하기 위한 것으로, 본 발명의 목적은 컨버전스 매칭 효과를 극대화하고, 양안 영상에 의한 어지럼증 발현 요소를 억제할 수 있는 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법을 제공함에 있다. 또한, 매 프레임마다 정제되지 않은 디스패리티 값을 이용하여 영상 이동값을 결정하고 이를 바로 렌더링 파이프라인에서 적용함에 따른 영상의 상하좌우 움직임 문제를 해소할 수 있는 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법을 제공함에 있다. An object of the present invention is to provide an HMD image correction method capable of maximizing a convergence matching effect, suppressing dizziness manifesting by a binocular image, and a method of displaying a corrected image on an HMD. . In addition, an HMD image correction method that can resolve an up / down / left / right movement problem of an image by determining an image movement value using a non-refined disparity value for each frame and applying the same to a rendering pipeline, The method comprising the steps of:
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problems, and other matters not mentioned can be clearly understood by those skilled in the art from the following description.
상기 목적을 달성하기 위한 본 발명에 따른 HMD 영상 보정 방법은 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계; HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계; 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 HMD 영상의 위치 보정값을 산출하는 단계; 및 상기 위치 보정값에 따라 변환된 상기 HMD 영상이 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 넘어가거나, 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 넘어가는 경우 상기 영상을 제로 디스패리티 영역으로 고정하여 보정 영상을 생성하는 단계;를 포함한다. According to an aspect of the present invention, there is provided an HMD image correcting method comprising: extracting an object distance from image information to a target object; Obtaining rotation information according to a head movement of an HMD user; Calculating a position correction value of the HMD image using the object distance and the rotation information; And if the HMD image transformed according to the position correction value moves from the negative disparity area to the positive disparity area or from the positive disparity area to the negative disparity area, And generating an image.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 HMD 영상 보정 방법은 HMD 영상의 전체 가시거리(viewing distanc)를 N개의 레이어로 분할하는 단계; 상기 N개의 레이어에서의 위치 보정값을 산출하는 단계; 양안의 중앙점과 타겟 오브젝트 사이의 거리를 계산하여 상기 타겟 오브젝트가 상기 N개의 레이어 중 어느 레이어에 위치하는지를 판단하는 단계; 및 상기 타겟 오브젝트가 위치하는 레이어에서의 위치 보정값을 적용하여 상기 HMD 영상을 보정하는 단계;를 포함한다.According to another aspect of the present invention, there is provided an HMD image correcting method comprising: dividing an entire viewing distance of an HMD image into N layers; Calculating a position correction value in the N layers; Determining which of the N layers the target object is located by calculating the distance between the center point of the binocular and the target object; And correcting the HMD image by applying a position correction value at a layer where the target object is located.
그리고, 상기 N개의 레이어에서 서로 인접하는 영역을 그래주얼 시프팅 레이어(Gradual shifting layer)로 설정하는 단계; 상기 타겟 오브젝트가 상기 그래주얼 시프팅 레이어에 위치하는 경우, 상기 그래주얼 시프팅 레이어에 인접한 2개의 레이어에서의 위치 보정값을 선형 보간하는 단계; 및 상기 선형 보간된 위치 보정값을 적용하여 상기 HMD 영상을 보정하는 단계;를 더 포함할 수 있다. Setting a region adjacent to each other in the N layers as a grayscale shifting layer; Linearly interpolating a position correction value in two layers adjacent to the grayscale shifting layer when the target object is located in the grayscale shifting layer; And correcting the HMD image by applying the linearly interpolated position correction value.
한편, 상기 목적을 달성하기 위한 HMD에 보정 영상을 표시하는 방법은, 상기 제1항 내지 제3항에 기재된 HMD 영상 보정 방법에 의해 생성된 보정 영상을 수신하는 단계; 상기 HMD의 시야각 및 스크린 해상도를 기초로 상기 보정 영상을 스케일링하는 단계; 및 상기 스케일링된 보정 영상을 상기 HMD의 스크린에 표시하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a method of displaying a corrected image on an HMD, the method comprising: receiving a corrected image generated by the HMD image correction method according to any one of claims 1 to 3; Scaling the corrected image based on a viewing angle and a screen resolution of the HMD; And displaying the scaled corrected image on a screen of the HMD.
본 발명에 의하면, 특정 구간에 대해서만 영상 이동이 진행될 수 있도록 렌더링 조건을 변경함으로써 양안 영상에 의한 어지럼증 발현 요소를 억제할 수 있게 된다. According to the present invention, it is possible to suppress the dizziness manifesting factor by the binocular image by changing the rendering condition so that the image movement can proceed only for a specific section.
도 1a는 본 발명의 일 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다.
도 1b는 본 발명의 일 실시예에 따른 HMD 영상 보정 방법을 설명하기 위한 개략도이다.
도 2는 HMD 사용자의 머리 움직임에 따른 회전 방향을 설명하기 위한 도면이다.
도 3은 HMD의 영상 기술 개요를 설명하기 위한 도면이다.
도 4a 내지 4c는 컨버전스 조절의 일 실시예를 설명하기 위한 도면이다.
도 5a는 본 발명의 다른 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다.
도 5b는 본 발명의 또 다른 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다.
도 5c는 도 5a 및 5b의 실시예를 설명하기 위한 개략도이다.
도 6은 본 발명의 일 실시예에 따른 HMD에 보정 영상을 표시하는 방법의 흐름도이다.
도 7은 영상을 스케일링하는 일 실시예를 설명하기 위한 도면이다.
도 8은 HMD 사용자의 눈에 대한 호럽터(horopter)와 파넘(panum) 영역을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 HMD 영상 보정 방법에 의해 생성된 보정 영상을 표시하는 HMD를 포함하는 시스템을 개략적으로 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 HMD 영상 보정 방법에 의해 생성된 보정 영상을 표시하는 HMD의 구성을 도시한 도면이다.1A is a flowchart illustrating an HMD image correction method according to an embodiment of the present invention.
1B is a schematic view for explaining an HMD image correction method according to an embodiment of the present invention.
2 is a view for explaining a rotation direction of the HMD user according to head movement.
3 is a diagram for explaining an overview of an image technology of the HMD.
4A to 4C are diagrams for explaining an embodiment of convergence adjustment.
5A is a flowchart illustrating an HMD image correction method according to another embodiment of the present invention.
5B is a flowchart illustrating an HMD image correction method according to another embodiment of the present invention.
Fig. 5C is a schematic diagram for explaining the embodiment of Figs. 5A and 5B.
6 is a flowchart of a method of displaying a corrected image on an HMD according to an embodiment of the present invention.
7 is a view for explaining an embodiment of scaling an image.
FIG. 8 is a view for explaining a horopter and a panom area for an eye of an HMD user.
9 is a view schematically showing a system including an HMD for displaying a corrected image generated by the HMD image correcting method according to an embodiment of the present invention.
10 is a diagram illustrating a configuration of an HMD for displaying a corrected image generated by the HMD image correction method according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.Although the first, second, etc. are used to describe various elements, components and / or sections, it is needless to say that these elements, components and / or sections are not limited by these terms. These terms are only used to distinguish one element, element or section from another element, element or section. Therefore, it goes without saying that the first element, the first element or the first section mentioned below may be the second element, the second element or the second section within the technical spirit of the present invention.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms "comprises" and / or "made of" means that a component, step, operation, and / or element may be embodied in one or more other components, steps, operations, and / And does not exclude the presence or addition thereof.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다. Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.
이하, 본 발명에 대하여 첨부된 도면을 참조하면서 더욱 상세히 설명한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다. 이와 함께, 도 2는 HMD 사용자의 머리 움직임에 따른 회전 방향을 설명하기 위한 도면이고, 도 3은 HMD의 영상 기술 개요를 설명하기 위한 도면이며, 도 4a 내지 4c는 컨버전스 조절의 일 실시예를 설명하기 위한 도면이다.1 is a flowchart illustrating an HMD image correction method according to an embodiment of the present invention. 3 is a view for explaining an overview of an image technology of the HMD, and FIGS. 4A to 4C illustrate an embodiment of convergence control according to an embodiment of the present invention. FIG. Fig.
도 1을 참조하면, 본 발명의 일 실시예에 따른 HMD 영상 보정 방법은, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출(S110)하고, HMD 사용자의 머리 움직임에 따른 회전 정보를 획득(S111)하고, 오브젝트 거리 및 회전 정보를 이용하여 HMD 영상의 위치 보정값(h)을 산출(S112)한다. Referring to FIG. 1, an HMD image correction method according to an exemplary embodiment of the present invention extracts an object distance from image information to a target object (S110), acquires rotation information according to head movement of an HMD user (S111) , And calculates the position correction value h of the HMD image using the object distance and rotation information (S112).
이후, 위치 보정값에 따라 변환된 HMD 영상이 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 이동하는지를 판단(S113)하고, 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 이동하면(S113-Y), HMD 영상이 제로 디스패리티 영역으로 고정되도록 보정 영상을 생성한다(S114).In operation S113, it is determined whether the HMD image converted in accordance with the position correction value moves from the negative disparity area to the positive disparity area. If the HMD image is moved from the negative disparity area to the positive disparity area (S113-Y) And a corrected image is generated so as to be fixed to the zero disparity area (S114).
반대로, 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 이동하지 않으면(S113-N), 위치 보정값에 따라 변환된 HMD 영상이 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 이동하는지를 판단(S115)하고, 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 이동하면(S115-Y), HMD 영상이 제로 디스패리티 영역으로 고정되도록 보정 영상을 생성한다(S114). 만약, 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 이동하지 않으면(S115-N), 위치 보정값에 따라 변환된 HMD 영상을 보정 영상으로 생성한다(S116).On the contrary, if the HMD image is not moved from the negative disparity area to the positive disparity area (S113-N), it is determined whether the HMD image converted according to the position correction value moves from the positive disparity area to the negative disparity area (S115) Moving from the disparity area to the negative disparity area (S115-Y), a corrected image is generated so that the HMD image is fixed to the zero disparity area (S114). If the negative disparity area does not move from the positive disparity area to the negative disparity area (S115-N), the converted HMD image is generated as a corrected image in accordance with the position correction value (S116).
먼저, 영상 정보의 오브젝트 거리는 HMD에 저장된 영상 또는 외부에서 HMD로부터 전송되는 영상의 영상 정보로부터 추출될 수 있다.First, the object distance of the image information can be extracted from the image stored in the HMD or the image information of the image transmitted from the external HMD.
상기 영상 정보에는 파일이름, 파일 용량, 플레이 시간, 프레임 수, 해상도 정보 등과 함께, 객체의 정보가 포함된다. 구체적으로, 객체 이름, 객체 방향, 객체의 이동 거리, 객체와의 거리, 객체 비율, 객체 위도, 객체 경도 등을 들 수 있다. 그러므로, 영상 정보에 포함된 객체의 정보 중에서 객체와의 거리를 추출할 수 있으며, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출할 수 있다.The video information includes information on the object along with a file name, file capacity, play time, frame number, resolution information, and the like. Specifically, an object name, an object direction, an object moving distance, an object distance, an object ratio, an object latitude, and an object hardness can be given. Therefore, the distance to the object can be extracted from the information of the object included in the image information, and the object distance from the image information to the target object can be extracted.
사용자 머리의 회전 정보는 HMD의 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향에 대한 회전 정보인 피치값, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향에 대한 회전 정보인 요값 중 적어도 하나를 획득함으로써 추출될 수 있다.The rotation information of the user's head is based on the user of the HMD, the roll value, which is rotation information about the depth direction, with respect to the screen of the HMD, the pitch value, which is rotation information with respect to the horizontal direction, By obtaining at least one of yaw values, which is rotation information about a vertical direction with respect to a screen of the HMD.
구체적으로, 도 2에 도시한 바와 같이, HMD의 스크린에 대해 깊이 방향을 z축, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향을 x축, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향을 y축으로 표현할 수 있으며, z축을 기준으로 한 회전이 롤(roll), x축을 기준으로 한 회전이 피치(pitch), y축을 기준으로 한 회전이 요(yaw)가 된다.More specifically, as shown in FIG. 2, the depth direction of the HMD is defined as a z-axis, the horizontal direction of the HMD is defined as an x-axis with respect to the screen, Can be expressed as a y-axis, and a rotation based on the z-axis is a roll, a rotation based on the x-axis is a pitch, and a rotation based on the y-axis is yaw.
바람직하게는, 롤값, 피치값, 요값 중 상기 롤값이 포함된 적어도 하나의 값을 획득할 수 있다. 즉, 영상의 위치 보정값을 산출하기 위해, HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값을 사용하며, 보조적으로 피치값, 요값을 사용할 수 있다. Preferably, at least one value including the roll value, the roll value, the pitch value, and the yaw value may be obtained. That is, in order to calculate the position correction value of the image, the roll value, which is rotation information about the depth direction, is used for the screen of the HMD, and a pitch value and a yaw value can be supplementarily used.
HMD 사용자의 눈의 초점(accomodation)은 스크린에 맞추어져 있지만, 좌우 눈의 수렴(convergence)은 보고자 주목하는 타겟 오브젝트(target object)에 모아지는 불일치 현상이 일어나므로 컨버전스(convergence)의 조절이 필요하다. Although the HMD user's eye's accomodation is tailored to the screen, convergence of the left and right eyes converges on the target object of interest to the viewer and adjustment of convergence is required .
이에 따라, HMD에 제공되어 표시되는 영상에서는 영상의 깊이(depth)가 중요한 역할을 한다. 그러므로, HMD의 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값이 컨버전스(convergence) 조절에 중요한 요소가 된다.Accordingly, the depth of the image plays an important role in the image displayed on the HMD. Therefore, the roll value, which is rotation information about the depth direction, is an important factor for the convergence control on the screen of the HMD based on the user of the HMD.
참고로, 회전 정보는 HMD에 구비된 센서를 이용하여 획득할 수 있다. 일반적으로, HMD는 세 방향의 가속도를 측정할 수 있는 3축 가속도 센서, 세 방향의 각속도를 측정할 수 있는 3축 자이로 센서, 세 방향의 지자기를 측정할 수 있는 3축 지자기 센서를 구비할 수 있다. 자이로 센서에서 측정한 각속도 데이터는 단위 시간당 각도 변화량을 의미하며, 각속도 데이터를 적분하면 각도가 되므로 자이로 센서는 HMD 사용자의 머리 회전을 계산하기 위한 센서이다. For reference, the rotation information can be acquired using a sensor provided in the HMD. In general, the HMD can be equipped with a three-axis acceleration sensor capable of measuring acceleration in three directions, a three-axis gyro sensor capable of measuring three angular velocities, and a three-axis geomagnetic sensor capable of measuring three- have. The angular velocity data measured by the gyro sensor means the amount of angular change per unit time. When the angular velocity data is integrated, the gyro sensor is a sensor for calculating the head rotation of the HMD user.
또한, 각 변화율(angular rate)은 자이로 센서 및/또는 지자기 센서를 사용하여 측정할 수 있다. 또한, 지자기 센서가 없더라도, 가속도 센서가 측정한 가속도 데이터를 이용하여 롤(roll) 및 피치(pitch) 값을 계산하고, 상기 계산된 롤 및 피치 값으로부터 요값을 계산할 수도 있다.In addition, the angular rate can be measured using a gyro sensor and / or a geomagnetic sensor. In addition, even if there is no geomagnetism sensor, the roll and pitch values may be calculated using the acceleration data measured by the acceleration sensor, and the yaw values may be calculated from the calculated roll and pitch values.
이렇게 추출된 영상 정보의 오브젝트 거리 및 사용자 머리의 회전 정보에 기초하여 다음과 같은 방법으로 위치 보정값이 산출될 수 있다. 위치 보정값은 오브젝트 거리를 기초로 하여 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 롤값, 피치값, 요값 중 상기 롤값이 포함된 적어도 하나의 값 및 상기 스크린 디스패러티값을 기초로 산출될 수 있다. Based on the object distance of the extracted image information and the rotation information of the user's head, the position correction value can be calculated in the following manner. The position correction value is calculated based on the object distance based on the screen size of the HMD and the screen disparity value formed by the HMD user. The screen disparity value includes at least one value of the roll value, the pitch value, the yaw value, Lt; / RTI >
도 3에 도시한 바와 같이, 사용자의 좌안(L)과 우안(R)의 시차(disparity)를 이용하여 상기 좌안(L)과 우안(R)에 각각 대응되는 한 쌍의 스크린(15a, 15b)을 통해 가상적으로 입체감을 느낄 수 있다. 사용자의 눈 바로 앞에 가상의 스크린(Virtual Screen)을 띄운 후, 눈으로 초점(accomodation)을 맞추고, 컨버전스(convergence)를 조절하여 가상의 입체 영상을 구현할 수 있다. 이때, 사용자의 좌안(L)과 우안(R)의 동공 간 거리 IPD(Inter Pupillary Distance)는 60~70mm 정도일 수 있다. 가상 환경에서의 카메라 IPD는 시스템에 따라 다양한 거리로 설정될 수 있고, 그 정보는 자유롭게 추출되어 사용될 수 있다.A pair of
사용자의 좌안(L)과 우안(R)의 동공 간 거리 IPD에 의해 발생하는 스크린 디스패러티값을 산출할 수 있다. 스크린 디스패러티(screen disparity)는 스크린(15a, 15b)에서 좌우 대응점의 수평 이격거리가 된다.The screen disparity value generated by the pupil distance IPD of the left eye L and the right eye R of the user can be calculated. The screen disparity is the horizontal separation distance of the left and right corresponding points on the
도 4a 내지 도 4c에서, 사용자의 좌안(L)과 우안(R)의 동공 간 거리 IPD를 e라 표현할 수 있고, Z는 사용자의 눈으로부터 고정된 스크린까지의 거리를 의미한다. 이때, p는 패럴럭스(parallax)를 의미하고, d는 스크린 디스패리티(screen disparity)를 의미한다. 4A to 4C, the pupil distance IPD of the left eye L and the right eye R of the user can be expressed as e, and Z means the distance from the user's eyes to the fixed screen. In this case, p means parallax and d means screen disparity.
이때, 도 4a는 제로 패럴럭스(zero parallax) 상태이며, Accomodation-Convergence 정합이 이루어진다. 도 4b는 타겟 오브젝트가 컨버전스 포인트 뒤에 있어서 스크린면 뒤로 들어가 보이는 포지티브 패럴럭스(positive parallax) 상태이며, 도 4c는 타겟 오브젝트가 컨버전스 포인트 앞에 있어서 스크린면 앞으로 돌출되어 보이는 네거티브 패럴럭스(negative parallax) 상태이고, 컨버전스 조절이 요구된다. At this time, FIG. 4A is a zero parallax state, and an accommodation-convergence matching is performed. 4B shows a positive parallax state in which the target object is behind the convergence point, and FIG. 4C shows a negative parallax state in which the target object is protruded in front of the screen surface in front of the convergence point , Convergence control is required.
상기 스크린 디스패러티값을 이용하여 영상을 이동시킬 수 있으며, 타겟 오브젝트의 깊이 값이 고정된 스크린 거리 보다 크면 (+) 값을, 상기 타겟 오브젝트의 깊이 값이 상기 고정된 스크린 거리보다 작으면 (-) 값을 산출할 수 있다. HMD는 사용자의 좌안(L)과 우안(R)에 각각 대응되는 한 쌍의 스크린(15a, 15b)이므로, 스크린 디스패러티값 d에 따른 영상의 이동값 h는 다음의 수학식 1과 같이 표현할 수 있다.(+) Value when the depth value of the target object is larger than the fixed screen distance, and (-) when the depth value of the target object is smaller than the fixed screen distance (- ) Can be calculated. Since the HMD is a pair of
다시 도 4b를 참조하면, 포지티브 패럴럭스(positive parallax) 상태이고, 다음의 수학식 2 및 3과 같이 표현할 수 있다. Referring again to FIG. 4B, it is a positive parallax state and can be expressed by the following Equations 2 and 3.
상기 수학식 2 및 3으로부터 다음의 수학식 4가 도출된다. From the above equations (2) and (3), the following equation (4) is derived.
다시 도 4c를 참조하면, 네거티브 패럴럭스(negative parallax) 상태이고, 다음의 수학식 5 및 6과 같이 표현할 수 있다.Referring again to FIG. 4C, it is a negative parallax state and can be expressed by the following equations (5) and (6).
상기 수학식 5 및 6으로부터 다음의 수학식 7이 도출된다.From Equations (5) and (6), the following Equation (7) is derived.
따라서, 상기 수학식 1은 상기 수학식 4 및 7로부터 다음의 수학식 8을 도출할 수 있다. 여기서, h는 영상을 HMD의 스크린에 대해 수평 방향으로 이동시키는 값이 된다. Therefore, the above Equation (1) can derive the following Equation (8) from Equations (4) and (7). Here, h is a value that moves the image horizontally with respect to the screen of the HMD.
위치 보정값이 산출되면, 해당 위치 보정값에 따라 변환된 HMD 영상이 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 이동하는지를 판단한다. When the position correction value is calculated, it is determined whether the HMD image converted according to the position correction value moves from the negative disparity area to the positive disparity area.
구체적으로, 도 1b를 참조하면, 제1 타겟 오브젝트(TO1)의 경우 영상 보정이 이루어지면서 네거티브 디스패리티 영역에서 제로 디스패리티로 이동하는 것으로 표시되어 있다. 만약, 해당 위치 보정값에 따라 HMD 영상이 보정되면서, 도 1b에서 실선으로 표시된 제1 타겟 오브젝트(TO1)에서 점선으로 표시된 제1 타겟 오브젝트(TO1)를 벗어나 포지티브 디스패리티 영역으로 넘어가는 경우 HMD 영상이 제로 디스패리티 영역으로 고정되도록 보정 영상을 생성한다. Specifically, referring to FIG. 1B, in the case of the first target object TO1, image correction is performed and it is indicated to move from zero to zero disparity in the negative disparity area. If the HMD image is corrected according to the position correction value and the first target object TO1 indicated by the solid line in the first target object TO1 is shifted to the positive disparity area, And a corrected image is generated so as to be fixed to the zero disparity area.
마찬가지로, 도 1b를 참조하면, 해당 위치 보정값에 따라 변환된 HMD 영상이 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 이동하는지를 판단한다. Similarly, referring to FIG. 1B, it is determined whether the HMD image converted according to the position correction value moves from the positive disparity area to the negative disparity area.
구체적으로, 도 1b를 참조하면, 제2 타겟 오브젝트(TO2)의 경우 영상 보정이 이루어지면서 포지티브 디스패리티 영역에서 제로 디스패리티로 이동하는 것으로 표시되어 있다. 만약, 해당 위치 보정값에 따라 HMD 영상이 보정되면서, 도 1b에서 실선으로 표시된 제2 타겟 오브젝트(TO2)에서 점선으로 표시된 제2 타겟 오브젝트(TO2)를 벗어나 네거티브 디스패리티 영역으로 넘어가는 경우 HMD 영상이 제로 디스패리티 영역으로 고정되도록 보정 영상을 생성한다.Specifically, referring to FIG. 1B, in the case of the second target object TO2, image correction is performed, and movement from the positive disparity area to the zero disparity is indicated. If the HMD image is corrected according to the position correction value and the second target object TO2 indicated by the solid line in the second target object TO2 is shifted to the negative disparity area, And a corrected image is generated so as to be fixed to the zero disparity area.
도 1a 및 1b에 도시된 실시예에 따른 HMD 영상 보정 방법에 의하면 영상 보정 영역을 제로 디스패리티 영역(h=0이 되는 영역)까지로 제한함으로써 양안 영상에 의한 어지럼증 발현 요소를 억제한다.According to the HMD image correction method according to the embodiment shown in FIGS. 1A and 1B, the image correction region is restricted to the zero disparity region (region where h = 0), thereby suppressing the dizziness manifesting factor by the binocular image.
도 5a는 본 발명의 다른 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다. 5A is a flowchart illustrating an HMD image correction method according to another embodiment of the present invention.
도 5a에 도시된 HMD 영상 보정 방법은 HMD 영상의 전체 가시거리를 N개의 레이어로 분할(S120)하고, N개의 레이어에서의 위치 보정값을 산출(S121)하며, 양안의 중앙점과 타겟 오브젝트 사이의 거리를 계산하여 N개의 레이어 상에서의 타겟 오브젝트의 위치를 판단(S122)한 뒤 타겟 오브젝트가 위치하는 레이어에서의 위치 보정값을 적용하여 HMD 영상을 보정(S123)한다.The HMD image correction method shown in FIG. 5A divides the entire visible distance of the HMD image into N layers (S120), calculates a position correction value in N layers (S121) The position of the target object on the N layers is calculated (S122), and the HMD image is corrected by applying the position correction value in the layer where the target object is located (S123).
도 5c를 참조하면, HMD 영상의 전체 가시거리가 4개의 레이어로 분할된 뒤 각 레이어의 깊이와 위치 보정값이 산출된다.Referring to FIG. 5C, the entire visible range of the HMD image is divided into four layers, and the depth and position correction values of the respective layers are calculated.
각 레이어의 깊이는 레이어의 개수(N), 후술할 그래주얼 시프팅값(gradual shifting amount)(G), 포화 깊이(saturated depth)(M)에 의하여 결정될 수 있고, 각 값은 사용자에 의하여 미리 정의된 값을 갖는다. 레이어의 개수(N)는 전체 가시거리에 따라 2 이상의 적절한 개수로 이루어질 수 있다. 그래주얼 시프팅값은 각 레이어가 인접하는 영역에서 컨티뉴어스한 위치 보정값을 설정하기 위한 영역이며, 그 깊이는 사용자의 의도에 따라 달리 설정될 수 있다. 포화 깊이(M)는 전체 가시거리를 의미할 수 있고, 시스템에 따라 다를 수 있다.The depth of each layer can be determined by the number of layers (N), a gradual shifting amount (G), a saturated depth (M) to be described later, Lt; / RTI > The number of layers (N) may be an appropriate number of 2 or more depending on the overall viewing distance. The gravitational shifting value is an area for setting the position correction value that is continuously made in the adjacent area of each layer, and the depth can be set differently according to the user's intention. The saturation depth M may refer to the total visible distance and may vary from system to system.
여기서, 각 구간별 깊이 범위는 아래 수학식 9에 의하여 설정될 수 있다.Here, the depth range of each section can be set by Equation (9) below.
여기서, n은 각 레이어의 번호(n=2,3…)를 나타낸다. 단, 제1 레이어(Z1)의 깊이는 0에서 (M/N×n)+G까지가 된다.Here, n represents the number of each layer (n = 2, 3, ...). However, the depth of the first layer Z 1 is from 0 to (M / N x n) + G.
도 5c에서는 레이어의 개수(N)가 4, 그래주얼 시프팅값(G)을 ±0.1, 포화 깊이(M)를 2.0으로 설정하여 각 레이어에서의 위치 보정값(h)과 깊이값을 산출하였다. 5C, the position correction value h and the depth value in each layer were calculated by setting the number N of layers to 4, the grayscale shifting value G to ± 0.1, and the saturation depth M to 2.0.
예를 들어, 위에서 설명한 위치 보정값 산출 방법에 따르면 제2 레이어의 깊이(Z2)는 0.6∼0.9가 되고, 제3 레이어의 깊이(Z3)는 1.1∼1.4가 된다.For example, according to the position correction value calculating method described above, the depth (Z 2 ) of the second layer is 0.6 to 0.9, and the depth (Z 3 ) of the third layer is 1.1 to 1.4.
이후, 아래 수학식 10에 의하여 양안의 중앙점(C)을 계산한다.Then, the center point C of each eye is calculated by the following equation (10).
그 다음 중앙점(C)과 제3 타겟 오브젝트(TO3) 사이의 거리를 계산하고, 이에 의하여 타겟 오브젝트(TO3)가 어느 레이어에 위치하는지를 판단한다. 다만, 다른 실시예에서는 양자 사이의 거리 계산에 의하지 않고, 제3 타겟 오브젝트(TO3)의 위치 좌표를 추출하는 것에 의하여 제3 타겟 오브젝트(TO3)가 어느 레이어에 속해 있는지를 판단할 수도 있다. 한편, 각 레이어에서의 위치 보정값(h1,h2,h3,h4)은 위의 수학식 8에 기초하여 산출될 수 있을 것이다.Then, the distance between the center point C and the third target object TO3 is calculated, thereby determining to which layer the target object TO3 is located. However, in another embodiment, it is also possible to determine to which layer the third target object TO3 belongs by extracting the position coordinates of the third target object TO3, instead of calculating the distance between them. On the other hand, the position correction values h1, h2, h3, and h4 in the respective layers may be calculated based on the above-described expression (8).
마지막으로, 위에서 설명한 방법에 의하여 산출된 타겟 오브젝트의 위치 레이어 및 해당 레이어에 대한 위치 보정값에 기초하여 HMD 영상을 보정한다.Finally, the HMD image is corrected based on the positional layer of the target object calculated by the above-described method and the position correction value for the layer.
도 5b는 본 발명의 또 다른 실시예에 따른 HMD 영상 보정 방법을 나타내는 흐름도이다. 도 5b에 도시된 HMD 영상 보정 방법은 HMD 영상의 전체 가시거리를 N개의 레이어로 분할(S130)하고, N개의 레이어에서의 위치 보정값(S131)을 산출하고, N개의 레이어에서 인접하는 레이어가 접하는 영역을 그래주얼 시프팅 레이어로 설정(S132)하며, 양안의 중앙점과 타겟 오브젝트 사이의 거리를 계산하여 타겟 오브젝트의 위치를 판단(S133)한다. 5B is a flowchart illustrating an HMD image correction method according to another embodiment of the present invention. The HMD image correction method shown in FIG. 5B divides the entire visible distance of the HMD image into N layers (S130), calculates a position correction value S131 in N layers, (S132), and determines the position of the target object by calculating the distance between the center point of the both eyes and the target object (S133).
이후, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치하는지 판단(S134)하고, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치한다면(S134-Y), 그래주얼 시프팅 레이어에 인접한 2개의 레이어에서의 위치 보정값을 선형 보간한 보간값을 산출(S135)하고, 그 보간값을 적용하여 HMD 영상을 보정한다(S136).Thereafter, it is determined whether the target object is located on the grayscale shifting layer (S134). If the target object is located on the grayscale shifting layer (S134-Y) An interpolation value obtained by linearly interpolating the position correction value is calculated (S135), and the HMD image is corrected by applying the interpolation value (S136).
만약, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치하지 않으면(S134-N), 타겟 오브젝트가 위치하는 레이어에서의 위치 보정값을 적용하여 HMD 영상을 보정(S137)한다. If the target object is not positioned on the grayscale shifting layer (S134-N), the HMD image is corrected (S137) by applying the position correction value at the layer where the target object is located.
도 5c를 참조하면, HMD 영상의 전체 가시거리가 4개의 레이어로 분할된 뒤 각 레이어의 깊이와 위치 보정값이 산출된다.Referring to FIG. 5C, the entire visible range of the HMD image is divided into four layers, and the depth and position correction values of the respective layers are calculated.
각 레이어의 깊이는 레이어의 개수(N), 후술할 그래주얼 시프팅값(gradual shifting amount)(G), 포화 깊이(saturated depth)(M)에 의하여 결정될 수 있고, 각 값은 사용자에 의하여 미리 정의된 값을 갖는다. 레이어의 개수(N)는 전체 가시거리에 따라 2 이상의 적절한 개수로 이루어질 수 있다. 그래주얼 시프팅값은 그래주얼 시프팅 레이어의 깊이를 나타내며, 각 레이어가 인접하는 영역에서 컨티뉴어스한 위치 보정값을 설정하기 위한 영역으로, 그 깊이는 사용자의 의도에 따라 달리 설정될 수 있다. 포화 깊이(M)는 전체 가시거리를 의미할 수 있고, 시스템에 따라 다를 수 있다.The depth of each layer can be determined by the number of layers (N), a gradual shifting amount (G), a saturated depth (M) to be described later, Lt; / RTI > The number of layers (N) may be an appropriate number of 2 or more depending on the overall viewing distance. The gravity shifting value represents the depth of the gravity shifting layer and is an area for setting the continuous correction value in the adjacent area of each layer. The depth can be set differently according to the user's intention. The saturation depth M may refer to the total visible distance and may vary from system to system.
수학식 9 및 10에 의하여 각 레이어의 깊이값 및 타겟 오브젝트가 어느 레이어에 위치하는지를 파악할 수 있고, 수학식 1에 의하여 각 레이어에 대한 위치 보정값(h1,h2,h3,h4)이 추출된다. (9) and (10), it is possible to grasp the depth value of each layer and to which layer the target object is located, and position correction values (h1, h2, h3, h4) for the respective layers are extracted by Equation (1).
여기서, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치하는 경우에는 앞서서 위치하는 레이어의 위치 보정값을 적용할지 뒤에 위치하는 레이어의 위치 보정값을 적용할지가 불분명해져서 영상 보정이 제대로 이루어지지 않을 수 있다.Here, when the target object is located on the grayscale shifting layer, it is unclear whether the position correction value of the layer positioned ahead or the position correction value of the layer positioned behind is applied, so that the image correction may not be performed properly .
따라서, 그래주얼 시프팅 레이어에서는 컨티뉴어스한 위치 보정값을 적용하기 위하여 아래 수학식 11에 의하여 위치 보정값을 선형 보간하여 보간값(hsn)을 ㄱ계산한다.Therefore, in order to apply the continuous position correction value in the gravity shifting layer, the interpolation value (h sn ) is calculated by linearly interpolating the position correction value according to the following Equation (11).
여기서, k는 그래주얼 시프팅 레이어의 시작점으로부터의 거리를 의미한다.Here, k means the distance from the starting point of the grayscale shifting layer.
예를 들어, 제3 타겟 오브젝트(TO3)가 제1 그래주얼 시프팅 레이어의 중심에 있는 경우, h2=-20, h1=-60, G=0.1, k=0.1이므로 제1 그래주얼 시프팅 레이어의 보간값(hs1)은 -40이 된다. For example, the third target object (TO3) if yes, the first at the center of the Jewel-shifting layer, h 2 = -20, h 1 = -60, G = 0.1, k = 0.1 because the first shifted Yes Jewel The interpolation value (h s1 ) of the layer is -40.
만약, 타겟 오브젝트가 그래주얼 시프팅 레이어 상에 위치하지 않는다면 제1 내지 제4 레이어 중 어느 하나의 레이어 상에 존재하기 때문에, 위에서 설명한 대로 타겟 오브젝트가 위치하는 레이어에서의 위치보정값을 그대로 적용하여 HMD 영상을 보정할 수 있게 되며, 이에 따라 매 프레임마다 적용되는 영상 이동을 최소화할 수 있게 된다. If the target object does not exist on the gravitational shifting layer, it exists on any one of the first to fourth layers. Therefore, the position correction value in the layer in which the target object is located is applied as it is It is possible to correct the HMD image, thereby minimizing the image shift applied to each frame.
도 6은 본 발명의 일 실시예에 따른 HMD에 보정 영상을 표시하는 방법을 나타내는 흐름도이고, 도 7은 영상을 스케일링하는 일 실시예를 설명하기 위한 도면이고, 도 8은 HMD 사용자의 눈에 대한 호럽터(horopter)와 파넘(panum) 영역을 설명하기 위한 도면이다.FIG. 6 is a flowchart illustrating a method of displaying a corrected image on an HMD according to an embodiment of the present invention. FIG. 7 is a view for explaining an example of scaling an image, and FIG. Fig. 5 is a view for explaining the horopter and panum regions. Fig.
도 6에서 S110 단계 내지 S116 단계에 의한 보정 영상 생성, S120 단계 내지 S123 단계에 의한 보정 영상 생성 및 S130 단계 내지 S137 단계에 의한 보정 영상 생성에 대해서는 위에서 상세히 설명한 바 여기서는 그 설명을 생략하기로 한다.6, the generation of the corrected image by the steps S110 to S116, the generation of the corrected image by the steps S120 to S123, and the generation of the corrected image by the steps S130 to S137 have been described in detail hereinabove and will not be described here.
S110 단계 내지 S116 단계에 의해 생성된 보정 영상을 수신(S210a)하거나 S120 단계 내지 S123 단계에 의해 생성된 보정 영상을 수신(S210b)하거나 S130 단계 내지 S137 단계에 의해 생성된 보정 영상을 수신(S210c)하면, 해당 영상에 대한 스케일링이 이루어지고(S220), 스케일링된 보정 영상을 HMD의 스크린에 표시(S230)하는 단계를 거쳐 사용자의 눈으로 인식된다.The corrected image generated in steps S110 to S116 is received (S210a), the corrected image generated in steps S120 to S123 is received (S210b), or the corrected image generated in steps S130 to S137 is received (S210c) , The scaled image is scaled (S220), and the scaled corrected image is displayed on the screen of the HMD (S230), and is recognized by the user's eyes.
보정 영상을 스케일링하는 경우(S220), HMD의 시야각 및 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링할 수 있다. 도 7에 도시한 바와 같이, 가상 환경에서의 객체를 실제 표시되는 스크린에 맞추어 크기 변환할 수 있다. 도 7에서, SSw는 가상 환경에서의 가상 스크린의 크기를 도시하며, FOV는 HMD의 시야각이며, Zp는 오브젝트까지의 거리이고, h는 가상 환경에서의 오브젝트의 이동값이다. 또한, SSv는 스크린 해상도이며, hpixel은 실제 스크린에서 픽셀의 시프트값이다.If the corrected image is scaled (S220), the position corrected image may be scaled based on the viewing angle of the HMD and the screen resolution. As shown in Fig. 7, the object in the virtual environment can be resized to fit the screen to be actually displayed. 7, SSw shows the size of the virtual screen in the virtual environment, FOV is the viewing angle of the HMD, Zp is the distance to the object, and h is the movement value of the object in the virtual environment. Also, SSv is the screen resolution and hpixel is the pixel shift value on the real screen.
가상 환경에서의 관계는 다음의 수학식 12와 같다.The relationship in the virtual environment is expressed by Equation (12).
가상 환경은 실제 스크린과 다음의 수학식 13과 같은 비례 관계를 가질 수 있다.The virtual environment may have a proportional relationship with the real screen as shown in Equation 13 below.
상기 수학식 12 및 13으로부터 다음의 수학식 14가 도출된다.From the above equations (12) and (13), the following equation (14) is derived.
상기 수학식 14를 적용하여 컨버전스가 조절되도록 변환된 영상을 스케일링할 수 있다.The transformed image can be scaled by adjusting the convergence by applying Equation (14).
여기에서, 스케일링된 위치 보정 영상을 HMD의 스크린에 표시하는 경우(S230), HMD으로부터 소정 거리를 벗어난 영역에 대해 초점을 블러링 처리할 수 있다. Here, when the scaled position corrected image is displayed on the screen of the HMD (S230), the focus can be blurred on an area outside the predetermined distance from the HMD.
도 8에 도시한 바와 같이, 눈의 초점 조절 및 컨버전스 조절이 맞게 이루어져 정합된 0점들을 연결한 선(horopter)으로부터 일정 범위이 영역을 파넘의 퓨전 영역(Panum's Fusion Area)이라 한다. 상기 파넘의 퓨전 영역을 벗어난 경우, 객체(object)가 하나로 보이지 않고, 2개로 보이게 된다. 좌우 눈(L, R)으로부터 가까운 쪽의 복시 현상은 Crossed Disparity이고, 먼 쪽의 복시 현상은 Unrossed Disparity이다. 초점 조절이 안 되어 파넘의 퓨전 영역을 벗어나 오브젝트가 2개로 보임으로써, HMD 사용자가 어지럼증을 느낄 수 있다. As shown in FIG. 8, a certain range of regions from a horopter connecting the adjusted focus points and the convergence control are called a Panum's Fusion Area. In the case of departing from the fusion area of the panel, the objects are not seen as one but two. The crossing phenomenon near the left and right eyes (L, R) is Crossed Disparity, and the far side is the Unrossed Disparity. The HMD user can feel dizzy because the focus is not adjusted and the object is seen as two out of the fusion area of the panel.
그러므로, 파넘의 퓨전 영역을 벗어난 오브젝트들에 대해서는 초점을 블러링 처리함으로써, 미스매치에 따른 눈의 시각 피로도를 줄이고, 어지럼증을 예방할 수 있다.Therefore, by blurring the focus on objects that are outside the fusion area of the pane, it is possible to reduce visual fatigue caused by mismatching and to prevent dizziness.
도 9는 본 발명의 일 실시예에 따른 위치 보정 영상 생성 방법에 의해 생성된 보정 영상을 표시하는 HMD를 포함하는 시스템을 개략적으로 도시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 위치 보정 영상 생성 방법에 의해 생성된 보정 영상을 표시하는 HMD의 구성을 도시한 도면이다.FIG. 9 is a schematic view of a system including an HMD for displaying a corrected image generated by the position-corrected image generating method according to an embodiment of the present invention. FIG. FIG. 8 is a view showing a configuration of an HMD for displaying a corrected image generated by the corrected image generating method.
도 9를 참조하면, 본 발명의 일 실시예에 따른 HMD 영상 보정 방법에 의해 생성된 보정 영상을 표시하는 HMD를 포함하는 시스템은, 위치 보정 영상을 표시하는 HMD(300) 및 상기 HMD(300)와 네트워크(50)를 통해 통신하는 외부 장치(400)를 포함한다. 또한, 상기 시스템은 위치 보정 영상을 표시하는 HMD(300) 및 상기 HMD(300)와 케이블(60)을 통해 통신하는 외부 장치(400)를 포함할 수 있다.Referring to FIG. 9, a system including an HMD for displaying a corrected image generated by the HMD image correction method according to an embodiment of the present invention includes an
네트워크(50)는 유선 네트워크뿐만 아니라 무선 네트워크를 포함함은 물론이다. 여기에서, 무선 네트워크는 원거리 무선 통신 또는 근거리 무선 통신 모두가 가능할 것이며, 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Communication), 와이브리(Wibree) 등 여러 무선 통신 방식이 사용될 수 있다.Of course, the
케이블(60)은 외부 장치(400)와 HMD(300)를 직접 연결하는 물리적인 통신선으로써, HDMI 케이블 등 공지의 케이블이 사용될 수 있음은 당업자에게 자명하다 할 것이다.It will be apparent to those skilled in the art that the
외부 장치(400)는 네트워크(50)를 통해 위치 보정 영상을 표시하는 HMD(300)와 통신하며, 상기 HMD(300)에 네트워크(50)를 통해 영상을 전송할 수 있고, HMD(300)로부터 영상을 전송받을 수도 있다. 예를 들어, 외부 장치(400)에서 상기 HMD(300)로 영상을 전송하고, 상기 HMD(300)는 전송된 영상을 위치 보정하여 위치 보정 영상을 표시하고, 상기 위치 보정 영상 및 이에 관련된 정보, 데이터 등을 상기 외부 장치(400)에 전송하여 저장할 수 있다. 이렇게 외부 장치(400)에 저장된 위치 보정 영상 및 정보, 데이터 등은 다른 HMD(300)에 전송되어 다른 HMD(300) 사용자의 컨버전스를 조절하는데 도움이 될 수 있다.The
도 10을 참조하면, 위치 보정 영상을 표시하는 HMD(300)는, 디스플레이부(310), 사용자의 움직임을 감지하며, 사용자의 머리 움직임에 따른 회전 정보를 획득하는 센서부(320), 상기 회전 정보를 기초로 입력 영상을 실시간으로 변환하여 제공하는 영상 위치 보정부(330), 상기 영상 위치 보정부에서 제공되는 위치 보정 영상을 상기 디스플레이부에 표시하는 제어부(340)를 포함할 수 있다. 또한, 위치 보정 영상을 표시하는 HMD(300)는, 영상을 저장하는 저장부(350), 외부와 통신하며, 외부로부터 영상을 전송받는 통신부(360), 영상을 획득하는 카메라부(370) 등을 더 포함할 수 있다.Referring to FIG. 10, an
디스플레이부(310)는 좌우 눈에 각각 대응하는 한 쌍으로 이루어지며, 저장부(350)에 저장된 영상 또는 통신부(360)를 통해 외부로부터 전송받는 영상을 표시(display)한다. 특히, 영상의 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며, 상기 오브젝트 거리 및 회전 정보를 이용하여 현재 표시되고 있는 영상의 위치 보정값을 산출하고, 상기 위치 보정값에 따라 상기 현재 표시되고 있는 영상을 변환시킨 위치 보정 영상을 제공받아 디스플레이할 수 있다.The
센서부(320)는 사용자의 움직임을 감지하며, 사용자의 머리 움직임에 따른 회전 정보를 획득한다. 이러한 센서부(320)는 세 방향의 가속도를 측정할 수 있는 3축 가속도 센서, 세 방향의 각속도를 측정할 수 있는 3축 자이로 센서, 세 방향의 지자기를 측정할 수 있는 3축 지자기 센서를 구비할 수 있다. 특히, 자이로 센서에서 측정한 각속도 데이터는 단위 시간당 각도 변화량을 의미하며, 각속도 데이터를 적분하면 각도가 되므로 자이로 센서는 HMD 사용자의 머리 회전을 계산하기 위한 센서가 된다.The
영상 위치 보정부(330)는 입력 영상의 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며, 오브젝트 거리 및 회전 정보를 이용하여 상기 영상의 위치 보정값을 산출하고, 상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 위치 보정 영상을 제공한다. The image
구체적으로, 상기 영상 위치 보정부(330)는 상기 오브젝트 거리를 기초로 하여 상기 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 상기 롤값, 상기 피치값, 상기 요값 중 상기 롤값이 포함된 적어도 하나의 값 및 상기 스크린 디스패러티값을 기초로 상기 위치 보정값을 산출할 수 있다. Specifically, the image
산출된 위치 보정값, 가상 카메라의 IPD, IPD에 기초하여 계산된 중심점, 로드된 월드 좌표계값에 기초하여 오브젝트의 월드 좌표계값을 갱신하는 프로세스와 관련해서는 위에서 상세히 설명한 바 여기서는 구체적인 설명을 생략하기로 한다.The process of updating the world coordinate system value of the object based on the calculated position correction value, the IPD of the virtual camera, the calculated center point based on the IPD, and the loaded world coordinate system value has been described in detail above, do.
이러한 영상 위치 보정부(330)는 별도의 모듈로 구성될 수도 있으나, 제어부(340)의 일부 구성이 될 수 있다. 특히, 영상 위치 보정부(330)는 HMD(300)에서 실행될 수 있는 프로그램으로 구현될 수 있다. 영상 위치 보정부(330)가 별도의 물리적 구성물이 아닌, HMD(300)에서 실행될 수 있는 프로그램으로 구현됨으로써, 종래의 HMD를 하드웨어적으로 변경하는 것이 아니라, 소프트웨어적으로 변경함으로써, 컨버전스를 조절할 수 있고, 위치 보정 영상을 HMD에 제공할 수 있다.The image
제어부(340)는 디스플레이부(310), 센서부(320), 영상 위치 보정부(330), 저장부(350), 통신부(360), 카메라부(370) 등을 제어한다. 예를 들어, 제어부(340)는 영상 위치 보정부(330)에서 제공되는 위치 보정 영상을 디스플레이부(310)에 표시한다. The
또한, 제어부(340)는 상기 위치 보정 영상을 스케일링하고, 상기 스케일링 영상을 상기 디스플레이부(310)에 표시한다. 구체적으로, 제어부(340)는 HMD(300)의 시야각 및 디스플레이부(310)의 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링할 수 있다. 이의 구체적인 프로세스에 대해서는, 상술하여 설명하였으므로 상세한 설명은 생략하도록 한다.Also, the
저장부(350)는 영상을 미리 저장하거나, 또는 외부 장치(400) 등으로부터 전송되는 영상을 저장하며, 상기 영상과 함께 관련 데이터 및 정보 등도 저장할 수 있다. 특히, 저장부(350)는 각종 데이터 및 정보 등을 데이터베이스화하여 저장할 수 있고, 저장부(350)와 외부 장치(400)에 이중으로 데이터 및 정보를 저장하여 데이터의 안정성을 높일 수 있다.The
통신부(360)는 네트워크(50)를 통해 영상 등 각종 정보를 전송받는다. 통신부(360)를 통해 전송되는 영상은 실시간으로 디스플레이부(310)에 출력되거나, 저장부(350)에 저장될 수 있다.The
한편, 본 발명의 일 실시예에 따른 HMD 영상 보정 방법 및 HMD에 보정 영상을 표시하는 방법은 소프트웨어 및 하드웨어에 의해 하나의 모듈로 구현 가능하며, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 컴퓨터에서 구현될 수 있다. Meanwhile, the HMD image correcting method and the method of displaying the corrected image in the HMD according to an embodiment of the present invention can be realized by one module by software and hardware, and the embodiments of the present invention described above can be implemented in a computer And can be implemented in a general-purpose computer that operates the program using a computer-readable recording medium.
상기 살펴본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.The apparatus according to the embodiments of the present invention may include a processor, a memory for storing and executing program data, a permanent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, a key, The same user interface device, and the like. Methods implemented with software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor. Here, the computer-readable recording medium may be a magnetic storage medium such as a read-only memory (ROM), a random-access memory (RAM), a floppy disk, a hard disk, ), And a DVD (Digital Versatile Disc). The computer-readable recording medium may be distributed over networked computer systems so that computer readable code can be stored and executed in a distributed manner. The medium is readable by a computer, stored in a memory, and executable on a processor.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.This embodiment may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in a wide variety of hardware and / or software configurations that perform particular functions. For example, embodiments may include integrated circuit components such as memory, processing, logic, look-up tables, etc., that may perform various functions by control of one or more microprocessors or other control devices Can be employed. Similar to how components may be implemented with software programming or software components, the present embodiments may be implemented in a variety of ways, including C, C ++, Java (" Java), an assembler, and the like.
기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.Functional aspects may be implemented with algorithms running on one or more processors. In addition, the present embodiment can employ conventional techniques for electronic environment setting, signal processing, and / or data processing.
"매커니즘", "요소", "수단", "구성", "~부"와 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다. 본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.Terms such as "mechanism", "element", "means", "configuration", and "portion" are widely used and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like. The specific implementations described in this embodiment are illustrative and do not in any way limit the scope of the invention. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections.
본 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.In this specification (particularly in the claims), the use of the terms " above " and similar indication words may refer to both singular and plural. In addition, when a range is described, it includes the individual values belonging to the above range (unless there is a description to the contrary), and the individual values constituting the above range are described in the detailed description. Finally, if there is no explicit description or contradiction to the steps constituting the method, the steps may be performed in an appropriate order. It is not necessarily limited to the description order of the above steps. The use of all examples or exemplary terms (e. G., The like) is merely intended to be illustrative of technical ideas and is not to be limited in scope by the examples or the illustrative terminology, except as by the appended claims. It will also be appreciated by those skilled in the art that various modifications, combinations, and alterations may be made depending on design criteria and factors within the scope of the appended claims or equivalents thereof.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
100: HMD (Head Mount Dispaly)
110: 디스플레이부
120: 센서부
130: 영상 위치 보정부
140: 제어부
150: 저장부
160: 통신부100: HMD (Head Mount Dispaly)
110: display unit 120: sensor unit
130: video position correcting unit 140:
150: storage unit 160: communication unit
Claims (4)
HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계;
상기 오브젝트 거리 및 상기 회전 정보를 이용하여 HMD 영상의 위치 보정값을 산출하는 단계; 및
상기 위치 보정값에 따라 변환된 상기 HMD 영상이 네거티브 디스패리티 영역에서 포지티브 디스패리티 영역으로 넘어가거나, 포지티브 디스패리티 영역에서 네거티브 디스패리티 영역으로 넘어가는 경우, 상기 HMD 영상을 제로 디스패리티 영역에 고정되도록 보정 영상을 생성하는 단계;를 포함하는, HMD 영상 보정 방법.Extracting an object distance from the image information to the target object;
Obtaining rotation information according to a head movement of an HMD user;
Calculating a position correction value of the HMD image using the object distance and the rotation information; And
When the HMD image transformed according to the position correction value moves from the negative disparity area to the positive disparity area or from the positive disparity area to the negative disparity area, the HMD image is fixed to the zero disparity area And generating a corrected image.
상기 N개의 레이어에서의 위치 보정값을 산출하는 단계;
양안의 중앙점과 타겟 오브젝트 사이의 거리를 계산하여 상기 타겟 오브젝트가 상기 N개의 레이어 중 어느 레이어에 위치하는지를 판단하는 단계; 및
상기 타겟 오브젝트가 위치하는 레이어에서의 위치 보정값을 적용하여 상기 HMD 영상을 보정하는 단계;를 포함하는 HMD 영상 보정 방법.Dividing the entire viewing distance of the HMD image into N layers;
Calculating a position correction value in the N layers;
Determining which of the N layers the target object is located by calculating the distance between the center point of the binocular and the target object; And
And correcting the HMD image by applying a position correction value at a layer where the target object is located.
상기 N개의 레이어에서 인접하는 레이어가 접하는 영역을 그래주얼 시프팅 레이어(Gradual shifting layer)로 설정하는 단계;
상기 타겟 오브젝트가 상기 그래주얼 시프팅 레이어에 위치하는 경우, 상기 그래주얼 시프팅 레이어에 인접한 2개의 레이어에서의 위치 보정값을 선형 보간한 보간값을 산출하는 단계; 및
상기 보간값을 적용하여 상기 HMD 영상을 보정하는 단계;를 포함하는 HMD 영상 보정 방법.3. The method of claim 2,
Setting an area in which the adjacent layers in the N layers contact with each other as a grayscale shifting layer;
Calculating an interpolation value obtained by linearly interpolating a position correction value in two layers adjacent to the grayscale shifting layer when the target object is located in the grayscale shifting layer; And
And correcting the HMD image by applying the interpolation value.
상기 제1항 내지 제3항에 기재된 HMD 영상 보정 방법에 의해 생성된 보정 영상을 수신하는 단계;
상기 HMD의 시야각 및 스크린 해상도를 기초로 상기 보정 영상을 스케일링하는 단계; 및
상기 스케일링된 보정 영상을 상기 HMD의 스크린에 표시하는 단계;를 포함하는 HMD에 보정 영상을 표시하는 방법.A method of displaying a corrected image on an HMD (Head Mounted Display)
Receiving a corrected image generated by the HMD image correction method according to any one of claims 1 to 3;
Scaling the corrected image based on a viewing angle and a screen resolution of the HMD; And
And displaying the scaled corrected image on a screen of the HMD.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170140130A KR20190046387A (en) | 2017-10-26 | 2017-10-26 | Method for correcting images of head mounted display and method for displaying corrected images on head mounted display |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170140130A KR20190046387A (en) | 2017-10-26 | 2017-10-26 | Method for correcting images of head mounted display and method for displaying corrected images on head mounted display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190046387A true KR20190046387A (en) | 2019-05-07 |
Family
ID=66656136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170140130A KR20190046387A (en) | 2017-10-26 | 2017-10-26 | Method for correcting images of head mounted display and method for displaying corrected images on head mounted display |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190046387A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120051308A (en) | 2010-11-12 | 2012-05-22 | 삼성전자주식회사 | Method for improving 3 dimensional effect and reducing visual fatigue and apparatus of enabling the method |
| KR20130078990A (en) | 2012-01-02 | 2013-07-10 | 성균관대학교산학협력단 | Apparatus for convergence in 3d photographing apparatus |
-
2017
- 2017-10-26 KR KR1020170140130A patent/KR20190046387A/en not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120051308A (en) | 2010-11-12 | 2012-05-22 | 삼성전자주식회사 | Method for improving 3 dimensional effect and reducing visual fatigue and apparatus of enabling the method |
| KR20130078990A (en) | 2012-01-02 | 2013-07-10 | 성균관대학교산학협력단 | Apparatus for convergence in 3d photographing apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108600733B (en) | Naked eye 3D display method based on human eye tracking | |
| US10133073B2 (en) | Image generation apparatus and image generation method | |
| JP2022000640A (en) | Information processing device, information processing method, and information processing program | |
| US20160267720A1 (en) | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience | |
| US10884576B2 (en) | Mediated reality | |
| JPWO2015098292A1 (en) | Image processing apparatus, image processing method, computer program, and image display system | |
| CN111007939B (en) | Virtual reality system space positioning method based on depth perception | |
| KR20120015564A (en) | Display system and method using hybrid user tracking sensor | |
| CN103282859A (en) | Gesture operation input system and gesture operation input method | |
| JP2010072477A (en) | Image display apparatus, image display method, and program | |
| CN102293003A (en) | image processing device, program, image processing method, recording method, and recording medium | |
| CN110321005A (en) | A kind of method, apparatus, AR equipment and storage medium improving AR equipment virtual article display effect | |
| US20230156176A1 (en) | Head mounted display apparatus | |
| JP2011165068A (en) | Image generation device, image display system, image generation method, and program | |
| WO2019142560A1 (en) | Information processing device for guiding gaze | |
| KR101947372B1 (en) | Method of providing position corrected images to a head mount display and method of displaying position corrected images to a head mount display, and a head mount display for displaying the position corrected images | |
| CN110969706B (en) | Augmented reality device, image processing method, system and storage medium thereof | |
| EP3738104B1 (en) | Apparatus and method for generating view images | |
| CN102799378B (en) | A kind of three-dimensional collision detection object pickup method and device | |
| EP3422151A1 (en) | Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality | |
| US20180205930A1 (en) | Information processing device, information processing method, and program | |
| KR20190046387A (en) | Method for correcting images of head mounted display and method for displaying corrected images on head mounted display | |
| CN112819970B (en) | Control method and device and electronic equipment | |
| Peli et al. | 53.2: A binocular stereoscopic display system with coupled convergence and accommodation demands | |
| JP5037713B1 (en) | Stereoscopic image display apparatus and stereoscopic image display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |