KR20240074499A - method of correcting contents representation of XR devices by use of view sensing - Google Patents
method of correcting contents representation of XR devices by use of view sensing Download PDFInfo
- Publication number
- KR20240074499A KR20240074499A KR1020220156631A KR20220156631A KR20240074499A KR 20240074499 A KR20240074499 A KR 20240074499A KR 1020220156631 A KR1020220156631 A KR 1020220156631A KR 20220156631 A KR20220156631 A KR 20220156631A KR 20240074499 A KR20240074499 A KR 20240074499A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- viewpoint
- content playback
- virtual object
- present
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000012937 correction Methods 0.000 claims abstract description 22
- 210000001508 eye Anatomy 0.000 claims abstract description 21
- 238000000926 separation method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000006641 stabilisation Effects 0.000 claims description 4
- 238000011105 stabilization Methods 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 14
- 230000004393 visual impairment Effects 0.000 abstract description 3
- 241000282326 Felis catus Species 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 일반적으로 XR 디바이스에서 사용자 시점에 맞게 콘텐츠 재생 위치를 조정함으로써 사용 만족도를 개선하는 콘텐츠 재생 보정 기술에 관한 것이다. 특히, 본 발명은 사용자가 XR 디바이스를 착용하고 XR 콘텐츠를 재생할 때에 사용자의 눈과 현실세계 대상물의 위치를 실시간으로 감지하고 그 일직선 상에 가상사물의 재생 위치를 조절함으로써 XR 디바이스의 사용 만족도를 높일 수 있는 XR 디바이스의 시점 기반 콘텐츠 재생 보정 기술에 관한 것이다. 본 발명에 따르면 사용자의 눈과 가상사물의 초점 이탈로 인한 불편함과 시각적 손실을 줄여 XR 디바이스의 사용감을 개선할 수 있고 그에 따라 XR 디바이스 사용시 울렁증 발생을 낮출 수 있는 장점이 있다. The present invention generally relates to content playback correction technology that improves user satisfaction by adjusting the content playback position to suit the user's viewpoint in an XR device. In particular, the present invention detects the position of the user's eyes and objects in the real world in real time when the user wears the XR device and plays XR content, and adjusts the playback position of the virtual object on the straight line to increase satisfaction with the use of the XR device. This is about a viewpoint-based content playback correction technology for XR devices. According to the present invention, it is possible to improve the feeling of use of an XR device by reducing discomfort and visual loss caused by the user's eyes and virtual objects being out of focus, and thus has the advantage of reducing the occurrence of depression when using the XR device.
Description
본 발명은 일반적으로 XR 디바이스에서 사용자 시점에 맞게 콘텐츠 재생 위치를 조정함으로써 사용 만족도를 개선하는 콘텐츠 재생 보정 기술에 관한 것이다. The present invention generally relates to content playback correction technology that improves user satisfaction by adjusting the content playback position to suit the user's viewpoint in an XR device.
특히, 본 발명은 사용자가 XR 디바이스를 착용하고 XR 콘텐츠를 재생할 때에 사용자의 눈과 현실세계 대상물의 위치를 실시간으로 감지하고 그 일직선 상에 가상사물의 재생 위치를 조절함으로써 XR 디바이스의 사용 만족도를 높일 수 있는 XR 디바이스의 시점 기반 콘텐츠 재생 보정 기술에 관한 것이다. In particular, the present invention detects the position of the user's eyes and objects in the real world in real time when the user wears the XR device and plays XR content, and adjusts the playback position of the virtual object on the straight line to increase satisfaction with the use of the XR device. This is about a viewpoint-based content playback correction technology for XR devices.
최근들어 정보통신기술(ICT) 분야에서는 확장현실(XR; eXtended Reality) 기술에 대한 관심이 높다. 확장현실(XR)은 일반적으로 가상현실(VR), 증강현실(AR), 혼합현실(MR)을 총칭하는 용어이다. 가상현실(VR; Virtual Reality)은 컴퓨터그래픽(CG)으로 가상의 세계를 생성하여 표시하는 기술이고, 증강현실(AR; Augmented Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 추가하여 표시하는 기술이고, 혼합현실(MR; Mixed Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 독립적으로 결합 또는 믹싱하는 기술이다. 이러한 확장현실(XR; eXtended Reality) 기술은 게임, 콘서트, 실습교육, 대테러 작전, 화재 진압훈련 등 활용도가 높다.Recently, there has been a lot of interest in extended reality (XR; eXtended Reality) technology in the information and communication technology (ICT) field. Extended reality (XR) is a general term that generally refers to virtual reality (VR), augmented reality (AR), and mixed reality (MR). Virtual reality (VR) is a technology that creates and displays a virtual world using computer graphics (CG), and augmented reality (AR) is a technology that adds computer graphics content to images of the real world and displays them. , Mixed Reality (MR; Mixed Reality) is a technology that independently combines or mixes computer graphics content with images of the real world. This extended reality (XR; eXtended Reality) technology is widely used in games, concerts, hands-on training, counter-terrorism operations, and fire suppression training.
XR 디바이스는 통상적으로는 헤드마운트(head-mount) 방식으로 착용하는데, [도 1]은 헤드마운트 타입의 XR 디바이스를 예시한 도면이고, [도 3]은 글래스 타입의 XR 디바이스를 예시한 도면이다. XR devices are typically worn in a head-mounted manner. [Figure 1] is a diagram illustrating a head-mounted type XR device, and [Figure 3] is a diagram illustrating a glass type XR device. .
[도 1]의 XR 디바이스는 머리 밴드나 전용 헬멧에 연결되어 사용자의 머리에 착용하는 형태인데, 메인 하우징(140)에 XR 표시부재(110)와 XR 바이저 부재(120)와 카메라 부재(130)가 설치되어 있다. XR 디바이스는 카메라 부재(130)가 생성하는 전방 촬영영상을 분석하여 XR 콘텐츠를 생성하여 XR 표시부재(110)에 재생한다. 사용자는 XR 바이저 부재(120)를 통해 현실세계의 모습을 직접 볼 수도 있다. The XR device in [Figure 1] is connected to a headband or dedicated helmet and worn on the user's head, and includes an
[도 2]의 XR 디바이스는 글래스(안경)처럼 착용하는 형태이다. XR 디바이스는 카메라 부재(230)가 생성하는 전방 촬영영상을 분석하여 XR 콘텐츠를 생성하여 XR 표시부재(210)에 재생하는데, XR 표시부재(210)는 반투명의 렌즈로 형성되어 사용자는 XR 표시부재(210)를 통과하여 현실세계의 모습을 볼 수도 있다. 메인 하우징(240)은 XR 디바이스의 형상을 지지한다. The XR device in [Figure 2] is worn like glasses. The XR device analyzes the front captured image generated by the
확장현실 사용환경에서 사용자는 현실세계와 가상사물을 볼 수 있다. 현실세계와 가상사물이 동시에 표시될 수도 있고, 시차를 두어 따로따로 표시될 수도 있다. XR 디바이스는 컴퓨터 그래픽 기술에 의해 가상사물을 생성한 후에 현실세계와 연계하여 랜더링하는데, 이때 이들 두 가지가 심리스하게 정합되는 것이 사용 만족도 측면에서 중요하다. In an extended reality environment, users can see the real world and virtual objects. The real world and virtual objects may be displayed at the same time, or they may be displayed separately with a time difference. XR devices create virtual objects using computer graphics technology and then render them in connection with the real world. In this case, it is important in terms of user satisfaction that the two are seamlessly aligned.
가상사물의 랜더링 위치가 현실세계와 조금이라도 맞지 않으면 사용자는 이질감을 느끼게 되고 이는 만족도 저하를 일으키게 된다. 또한, 종래의 XR 디바이스는 사용자의 의식적 또는 무의식적 움직임으로 인한 모션 블러링(motion blurring)과 같은 화질 저하의 문제점을 나타내는데, 이러한 문제도 XR 디바이스의 만족도 저하를 일으킬 수 있다. If the rendering position of the virtual object does not match the real world at all, the user feels a sense of heterogeneity, which causes a decrease in satisfaction. Additionally, conventional XR devices have problems with image quality deterioration, such as motion blurring, due to the user's conscious or unconscious movement, and these problems can also cause a decrease in satisfaction with the XR device.
본 발명의 목적은 일반적으로 XR 디바이스에서 사용자 시점에 맞게 콘텐츠 재생 위치를 조정함으로써 사용 만족도를 개선하는 콘텐츠 재생 보정 기술을 제공하는 것이다. The purpose of the present invention is to provide a content playback correction technology that improves user satisfaction by adjusting the content playback position according to the user's viewpoint in a general XR device.
특히, 본 발명의 목적은 사용자가 XR 디바이스를 착용하고 XR 콘텐츠를 재생할 때에 사용자의 눈과 현실세계 대상물의 위치를 실시간으로 감지하고 그 일직선 상에 가상사물의 재생 위치를 조절함으로써 XR 디바이스의 사용 만족도를 높일 수 있는 XR 디바이스의 시점 기반 콘텐츠 재생 보정 기술을 제공하는 것이다. In particular, the purpose of the present invention is to detect the position of the user's eyes and objects in the real world in real time when the user wears the XR device and play XR content, and to adjust the playback position of the virtual object on the straight line to improve the user satisfaction of the XR device. It provides viewpoint-based content playback correction technology for XR devices that can increase the
본 발명의 해결 과제는 이 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다. The problem to be solved by the present invention is not limited to this matter, and other problems to be solved can be understood from the description in this specification.
상기의 목적을 달성하기 위하여 본 발명은 XR 디바이스에서 사용자 시점에 맞게 XR 콘텐츠의 가상사물의 재생 위치를 조정하여 사용자의 눈과 가상사물과 현실세계 대상물이 일직선에 배치되도록 하는 시점 센싱 기반의 콘텐츠 재생 보정 방법을 제시한다. In order to achieve the above object, the present invention adjusts the playback position of the virtual object of the XR content according to the user's viewpoint in the XR device, so that the user's eyes, the virtual object, and the real world object are aligned in a straight line. A correction method is presented.
본 발명에 따른 XR 디바이스의 시점 기반 콘텐츠 재생 보정 방법은, XR 디바이스의 전방 촬영영상에 가상사물을 표시할 앵커를 설정하는 제 1 단계; XR 디바이스에 내향 설치된 카메라 모듈에 의해 사용자의 안구 위치를 인식하는 제 2 단계; 안구의 위치와 앵커의 위치를 정렬하는 제 3 단계; 그 위치 정렬을 반영하여 앵커에 표시할 가상사물의 XR 표시평면 상의 위치를 획득하는 제 4 단계; XR 디바이스에 설치된 센서 모듈에 의해 XR 디바이스의 움직임 및 흔들림을 감지하는 제 5 단계; 광학 이미지 안정화(OIS) 제어에 움직임 및 흔들림 값을 입력하여 가상사물의 XR 표시평면 상의 위치를 보정하는 제 6 단계;를 포함하여 구성될 수 있다. A viewpoint-based content playback correction method for an XR device according to the present invention includes a first step of setting an anchor to display a virtual object in a front captured image of an XR device; A second step of recognizing the user's eye position by a camera module installed inwardly in the XR device; A third step of aligning the position of the eyeball and the anchor; A fourth step of acquiring the position on the XR display plane of the virtual object to be displayed on the anchor by reflecting the position alignment; A fifth step of detecting movement and shaking of the XR device by a sensor module installed on the XR device; A sixth step of correcting the position of the virtual object on the XR display plane by inputting movement and shaking values into the optical image stabilization (OIS) control.
본 발명에 따른 XR 디바이스의 시점 기반 콘텐츠 재생 보정 방법은, 움직임 및 흔들림 값을 이용하여 XR 표시평면과 안구 위치 간의 이격거리 변동을 식별하는 제 7 단계; 이격거리 변동에 대응하여 가상사물의 크기를 보정하는 제 8 단계;를 더 포함하여 구성될 수 있다. The viewpoint-based content playback correction method for an XR device according to the present invention includes a seventh step of identifying a change in the separation distance between the XR display plane and the eye position using movement and shake values; It may further include an eighth step of correcting the size of the virtual object in response to the change in separation distance.
본 발명에서 안구 위치는 홍채의 위치인 것이 바람직하다. In the present invention, the eye position is preferably the position of the iris.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 XR 디바이스의 시점 기반 콘텐츠 재생 보정 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.Meanwhile, the computer program according to the present invention is stored in a non-volatile storage medium in order to execute the above viewpoint-based content playback correction method of the XR device on the computer.
본 발명에 따르면 사용자의 눈과 가상사물의 초점 이탈로 인한 불편함과 시각적 손실을 줄여 XR 디바이스의 사용감을 개선할 수 있고 그에 따라 XR 디바이스 사용시 울렁증 발생을 낮출 수 있는 장점이 있다. According to the present invention, it is possible to improve the feeling of use of an XR device by reducing discomfort and visual loss caused by the user's eyes and virtual objects being out of focus, and thus has the advantage of reducing the occurrence of depression when using the XR device.
[도 1]은 헤드마운트 타입의 XR 디바이스 예시도.
[도 2]는 글래스 타입의 XR 디바이스 예시도.
[도 3]은 본 발명에 따른 XR 디바이스의 시점 기반 콘텐츠 재생 보정 프로세스의 순서도.
[도 4]는 본 발명에서 시점 기반 콘텐츠 재생 보정의 개념도.
[도 5]는 본 발명에서 시점 기반의 콘텐츠 재생위치 보정의 예시도.
[도 6]은 본 발명에서 시점 기반의 콘텐츠 재생크기 보정의 예시도. [Figure 1] is an example of a head-mounted type XR device.
[Figure 2] is an example of a glass type XR device.
[Figure 3] is a flowchart of the viewpoint-based content playback correction process of the XR device according to the present invention.
[Figure 4] is a conceptual diagram of viewpoint-based content playback correction in the present invention.
[Figure 5] is an example of viewpoint-based content playback position correction in the present invention.
[Figure 6] is an example of viewpoint-based content playback size correction in the present invention.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. Hereinafter, the present invention will be described in detail with reference to the drawings.
본 발명을 설명함에 있어서 종래기술과 중복되는 부분에 대해서는 자세한 설명을 생략할 수 있다. In describing the present invention, detailed descriptions of parts that overlap with the prior art may be omitted.
[도 3]은 본 발명에 따른 XR 디바이스의 시점 기반 콘텐츠 재생 보정 프로세스의 순서도이다. [Figure 3] is a flow chart of the viewpoint-based content playback correction process of the XR device according to the present invention.
단계 (S110) : 먼저, XR 디바이스가 작동을 시작하면, 카메라 부재(130)가 생성하는 전방 촬영영상을 분석하여 현실세계의 화면에서 가상사물을 표시해줄 위치를 나타내는 앵커(anchor)를 설정한다. Step (S110): First, when the XR device starts operating, the front captured image generated by the
[도 4]는 본 발명에서 시점 기반 콘텐츠 재생 보정의 개념도이다. [도 4]는 XR 기반의 고양이 키우기 시뮬레이터 프로그램을 나타낸 것인데, 사용자 앞에는 캣타워만 놓여져있는 상태이다. 사용자가 XR 디바이스를 착용하고 캣타워를 바라보면, XR 디바이스는 전방 촬영영상 분석을 통해 캣타워 상에 앵커를 설정하고 XR 표시부재(110)에는 해당 앵커 위치에 고양이를 가상으로 표시해준다. [도 4]에는 2개의 앵커를 설정하고 2마리의 고양이를 가상으로 표시하는 예이다. [Figure 4] is a conceptual diagram of viewpoint-based content playback correction in the present invention. [Figure 4] shows an XR-based cat raising simulator program, with only a cat tower placed in front of the user. When a user wears an XR device and looks at the cat tower, the XR device sets an anchor on the cat tower through analysis of the front video and virtually displays a cat at the anchor location on the
단계 (S120) : 다음으로, XR 디바이스는 자신에 내향 설치된 카메라 모듈에 의해 사용자의 안구 위치를 인식한다. 본 발명에서는 XR 디바이스에 사용자의 얼굴을 향하도록 카메라 모듈이 내향 설치되어 있다. 이 카메라 모듈은 사용자의 안구 위치를 인식하는 용도로 설치된 것이다. Step (S120): Next, the XR device recognizes the user's eye position by a camera module installed inwardly on itself. In the present invention, the camera module is installed inward to face the user's face in the XR device. This camera module is installed to recognize the user's eye position.
이때, 사용자의 홍채(iris) 위치를 인식하도록 구성되는 것이 바람직하다. 일차적으로는 홍채는 사용자의 시선 방향을 입체적으로 반영하기 때문이고, 부차적으로는 홍채를 식별하는 기술이 이미 신뢰성있게 개발되어 있기 때문이다. At this time, it is desirable to be configured to recognize the position of the user's iris. Firstly, this is because the iris reflects the direction of the user's gaze three-dimensionally, and secondly, because technology to identify the iris has already been developed reliably.
단계 (S130, S140) : 다음으로, XR 디바이스는 안구의 위치와 앵커의 위치를 정렬하고, 그 정렬 위치를 반영하여 앵커에 표시할 가상사물의 XR 표시평면 상의 위치를 획득한다. Steps (S130, S140): Next, the XR device aligns the position of the eye and the anchor, and reflects the alignment position to obtain the position on the XR display plane of the virtual object to be displayed on the anchor.
[도 4]에서 XR 표시평면은 XR 표시부재(110)가 형성하는 콘텐츠 재생면(contents representation plane)을 의미한다. [도 4]를 참조하면, 사용자의 안구 위치와 앵커를 일직선으로 정렬하였을 때에, 그 직선이 XR 표시평면을 통과하는 가상의 위치가 존재한다. 이 위치에 해당 앵커에 표시할 가상사물을 재생해주는 것이다. In [FIG. 4], the XR display plane refers to the content representation plane formed by the
사용자가 XR 디바이스를 착용한 상태에서 지속적으로 움직이므로, XR 디바이스는 예컨대 1초에 한번씩 눈의 홍채 위치를 인식하고 그에 맞게 XR 표시부재(110) 상의 가상사물 표시 위치를 변경해줌으로써 가상사물과 현실세계 화면 간의 정렬이 지속적으로 유지될 수 있도록 해주는 것이다. As the user continuously moves while wearing the XR device, the XR device recognizes the position of the iris of the eye, for example, once per second and changes the display position of the virtual object on the
단계 (S150, S160) : 다음으로, XR 디바이스는 자신에 설치된 센서 모듈에 의해 XR 디바이스의 움직임 및 흔들림을 감지한다. 이때, 움직임 및 흔들림 감지는 IMU(Inertia Measurement Unit) 센서로 구현하는 것이 바람직하다. IMU 센서는 가속도계(accelerometer), 각가속도계(gyroscope), 지자계(magnetometer)로 이루어져 물제의 다이나믹스에 관한 정보를 정확하게 측정해주는 센서이다. 이때, IMU 센서는 9-DoF(Degree of Freedom, 자유도) 또는 6-DoF 정도가 바람직하다. Steps (S150, S160): Next, the XR device detects movement and shaking of the XR device by a sensor module installed on the XR device. At this time, it is desirable to implement motion and shaking detection with an IMU (Inertia Measurement Unit) sensor. The IMU sensor consists of an accelerometer, gyroscope, and magnetometer and is a sensor that accurately measures information about the dynamics of an object. At this time, the IMU sensor is preferably around 9-DoF (Degree of Freedom) or 6-DoF.
그리고 나서, XR 디바이스는 IMU 센서로 측정한 움직임 및 흔들림 값을 광학 이미지 안정화(Optical Image Stabilization, OIS) 제어에 입력하여 가상사물의 XR 표시평면 상의 위치를 보정한다. 이를 통해, XR 디바이스의 움직임 및 흔들림에도 불구하고 XR 표시부재(110)가 형성하는 화면에는 흔들림이 가려지며, 종래의 XR 디바이스에 비해 사용자의 울렁증 유발이 감소된다. Then, the XR device inputs the movement and shake values measured by the IMU sensor into Optical Image Stabilization (OIS) control to correct the position of the virtual object on the XR display plane. Through this, despite the movement and shaking of the XR device, the shaking is obscured on the screen formed by the
[도 5]는 본 발명에서 시점 기반의 콘텐츠 재생위치 보정의 예시도이다. IMU 센서에 의해 XR 디바이스의 움직임 및 흔들림이 감지되면 광학 이미지 안정화(OIS) 제어를 통하여 최적의 시점을 맞추는 것이다. 이를 통해 눈과 콘텐츠의 시점 차이로 인한 불편함과 시각적 손실을 줄여 양호한 사용환경을 제공할 수 있는 효과가 있다.[Figure 5] is an example of viewpoint-based content playback position correction in the present invention. When the movement and shaking of the XR device is detected by the IMU sensor, the optimal viewpoint is adjusted through optical image stabilization (OIS) control. This has the effect of providing a good user environment by reducing discomfort and visual loss due to differences in viewpoints between the eyes and content.
단계 (S170, S180) : 다음으로, XR 디바이스는 움직임 및 흔들림 값을 이용하여 XR 표시평면과 안구 위치 간의 이격거리 변동을 식별하고, 그 이격거리 변동에 대응하여 가상사물의 크기를 보정한다. Steps (S170, S180): Next, the XR device uses the movement and shake values to identify the change in the distance between the XR display plane and the eye position, and corrects the size of the virtual object in response to the change in the distance.
[도 6]은 본 발명에서 시점 기반의 콘텐츠 재생크기 보정의 예시도이다. 사용자의 눈이 XR 표시부재(110)에 가까워지면 그에 대응하여 XR 표시평면 상의 가상사물의 크기를 감소시키고, 반대로 사용자의 눈이 XR 표시부재(110)로부터 멀어지면 그에 대응하여 XR 표시평면 상의 가상사물의 크기를 증가시켜주는 것이다. 이를 통해, 사용자는 이격거리 변동에도 불구하고 가상사물의 크기가 항상 일정하게 인식하게 된다. [Figure 6] is an example of viewpoint-based content playback size correction in the present invention. When the user's eyes approach the
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있다. 또한, 본 발명은 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태로도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다. Meanwhile, the present invention can be implemented in the form of computer-readable code on a computer-readable non-volatile recording medium. These non-volatile recording media include various types of storage devices, such as hard disks, SSDs, CD-ROMs, NAS, magnetic tapes, web disks, and cloud disks. Additionally, the present invention can be implemented in a form in which code is distributed and stored and executed in a plurality of storage devices connected through a network. Additionally, the present invention may be implemented in the form of a computer program stored on a medium in order to execute a specific procedure in combination with hardware.
Claims (4)
상기 XR 디바이스에 내향 설치된 카메라 모듈에 의해 사용자의 안구 위치를 인식하는 제 2 단계;
상기 안구의 위치와 상기 앵커의 위치를 정렬하는 제 3 단계;
상기 위치 정렬을 반영하여 상기 앵커에 표시할 가상사물의 XR 표시평면 상의 위치를 획득하는 제 4 단계;
상기 XR 디바이스에 설치된 센서 모듈에 의해 상기 XR 디바이스의 움직임 및 흔들림을 감지하는 제 5 단계;
광학 이미지 안정화(OIS) 제어에 상기 움직임 및 흔들림 값을 입력하여 상기 가상사물의 XR 표시평면 상의 위치를 보정하는 제 6 단계;
를 포함하여 구성되는 XR 디바이스의 시점 기반 콘텐츠 재생 보정 방법.
A first step of setting an anchor to display a virtual object in the front image of the XR device;
A second step of recognizing the user's eye position using a camera module installed inwardly on the XR device;
A third step of aligning the position of the eyeball with the position of the anchor;
A fourth step of acquiring a position on the XR display plane of the virtual object to be displayed on the anchor by reflecting the position alignment;
A fifth step of detecting movement and shaking of the XR device by a sensor module installed in the XR device;
A sixth step of correcting the position of the virtual object on the XR display plane by inputting the movement and shaking values into an optical image stabilization (OIS) control;
A viewpoint-based content playback correction method for an XR device comprising:
상기 움직임 및 흔들림 값을 이용하여 XR 표시평면과 상기 안구 위치 간의 이격거리 변동을 식별하는 제 7 단계;
상기 이격거리 변동에 대응하여 상기 가상사물의 크기를 보정하는 제 8 단계;
를 더 포함하여 구성되는 XR 디바이스의 시점 기반 콘텐츠 재생 보정 방법.
In claim 1,
A seventh step of identifying a change in the separation distance between the XR display plane and the eye position using the movement and shake values;
An eighth step of correcting the size of the virtual object in response to the change in the separation distance;
A viewpoint-based content playback correction method for an XR device further comprising:
상기 안구 위치는 홍채의 위치인 것을 특징으로 하는 XR 디바이스의 시점 기반 콘텐츠 재생 보정 방법.
In claim 1,
A viewpoint-based content playback correction method for an XR device, wherein the eye position is the position of the iris.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220156631A KR20240074499A (en) | 2022-11-21 | 2022-11-21 | method of correcting contents representation of XR devices by use of view sensing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220156631A KR20240074499A (en) | 2022-11-21 | 2022-11-21 | method of correcting contents representation of XR devices by use of view sensing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240074499A true KR20240074499A (en) | 2024-05-28 |
Family
ID=91277461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220156631A KR20240074499A (en) | 2022-11-21 | 2022-11-21 | method of correcting contents representation of XR devices by use of view sensing |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240074499A (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101613438B1 (en) | 2015-04-21 | 2016-04-19 | 정지연 | System for augmented reality contents and method of the same |
| KR20180038175A (en) | 2016-10-06 | 2018-04-16 | 주식회사 케이티 | Server, device and method for providing virtual reality service |
| KR102215146B1 (en) | 2020-06-23 | 2021-02-15 | 주식회사 예쉬컴퍼니 | Method, apparatus and computer program for providing interactive service using augmented reality and mixed reality |
| KR20210019826A (en) | 2019-08-13 | 2021-02-23 | 삼성전자주식회사 | Ar glass apparatus and operating method thereof |
| KR20220116576A (en) | 2008-12-19 | 2022-08-23 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | Head mounted display device |
-
2022
- 2022-11-21 KR KR1020220156631A patent/KR20240074499A/en unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220116576A (en) | 2008-12-19 | 2022-08-23 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | Head mounted display device |
| KR101613438B1 (en) | 2015-04-21 | 2016-04-19 | 정지연 | System for augmented reality contents and method of the same |
| KR20180038175A (en) | 2016-10-06 | 2018-04-16 | 주식회사 케이티 | Server, device and method for providing virtual reality service |
| KR20210019826A (en) | 2019-08-13 | 2021-02-23 | 삼성전자주식회사 | Ar glass apparatus and operating method thereof |
| KR102215146B1 (en) | 2020-06-23 | 2021-02-15 | 주식회사 예쉬컴퍼니 | Method, apparatus and computer program for providing interactive service using augmented reality and mixed reality |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107376349B (en) | Occluded virtual image display | |
| US10495885B2 (en) | Apparatus and method for a bioptic real time video system | |
| US7221863B2 (en) | Image processing apparatus and method, and program and recording medium used therewith | |
| JP5295714B2 (en) | Display device, image processing method, and computer program | |
| WO2016021034A1 (en) | Algorithm for identifying three-dimensional point of gaze | |
| US20190018236A1 (en) | Varifocal aberration compensation for near-eye displays | |
| WO2010084716A1 (en) | Image processing device, program, image processing method, recording method, and recording medium | |
| JP5565258B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6642430B2 (en) | Information processing apparatus, information processing method, and image display system | |
| WO2018186031A1 (en) | Information processing device, information processing method, and program | |
| CN107615759B (en) | Head-mounted display, display control method, and program | |
| US11720996B2 (en) | Camera-based transparent display | |
| US20190347864A1 (en) | Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression | |
| US10901225B1 (en) | Systems and methods for positioning a head-mounted display | |
| US11170563B2 (en) | Immersive environment with digital environment to enhance depth sensation | |
| WO2020090316A1 (en) | Information processing device, information processing method, and program | |
| US11749141B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| KR20240074499A (en) | method of correcting contents representation of XR devices by use of view sensing | |
| KR101947372B1 (en) | Method of providing position corrected images to a head mount display and method of displaying position corrected images to a head mount display, and a head mount display for displaying the position corrected images | |
| JP2017079389A (en) | Display device, display device control method, and program | |
| US11619814B1 (en) | Apparatus, system, and method for improving digital head-mounted displays | |
| CN111651043B (en) | Augmented reality system supporting customized multi-channel interaction | |
| WO2021132013A1 (en) | Information processing device, information processing method, and information processing program | |
| KR20140115637A (en) | System of providing stereoscopic image for multiple users and method thereof | |
| JP2017217226A (en) | Image display device and computer program |