KR20200111445A - Head mounded display apparatus and image reproducing method of the same - Google Patents

Head mounded display apparatus and image reproducing method of the same Download PDF

Info

Publication number
KR20200111445A
KR20200111445A KR1020190031098A KR20190031098A KR20200111445A KR 20200111445 A KR20200111445 A KR 20200111445A KR 1020190031098 A KR1020190031098 A KR 1020190031098A KR 20190031098 A KR20190031098 A KR 20190031098A KR 20200111445 A KR20200111445 A KR 20200111445A
Authority
KR
South Korea
Prior art keywords
image
focus
display device
head mounted
mounted display
Prior art date
Application number
KR1020190031098A
Other languages
Korean (ko)
Inventor
김민석
Original Assignee
주식회사 라온텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라온텍 filed Critical 주식회사 라온텍
Priority to KR1020190031098A priority Critical patent/KR20200111445A/en
Publication of KR20200111445A publication Critical patent/KR20200111445A/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

A head-mounted display device according to the present invention comprises: a display for outputting an input image; a variable focus lens for enabling light outputted from the display to be directed to a wearer of the head-mounted display device; and a controller for generating a variable focal length control signal for changing the focal length of the variable focus lens. The controller can control the variable focus lens to: generate perspective information of the input image; convert the input image into an image for each focus corresponding to the perspective information; synchronize the variable focal length control signal for changing the focal length of the variable focus lens with the image for each focus; and focus the light on the image for each focus based on the synchronization signal. According to the present invention, a three-dimensional effect during image reproduction is increased.

Description

헤드 장착 디스플레이 장치 및 헤드 장착 디스플레이 장치의 영상 재생 방법{HEAD MOUNDED DISPLAY APPARATUS AND IMAGE REPRODUCING METHOD OF THE SAME}Head mounted display device and video playback method of head mounted display device {HEAD MOUNDED DISPLAY APPARATUS AND IMAGE REPRODUCING METHOD OF THE SAME}

본 발명은 헤드 장착 디스플레이 장치 및 헤드 장착 디스플레이 장치의 영상 재생 방법에 관한 것으로, 보다 구체적으로 초점 가변 렌즈를 이용하여 초점을 가변하여 생성된 초점별 영상을 이용해 영상 재생 시의 입체감을 향상시키기 위한, 헤드 장착 디스플레이 장치 및 헤드 장착 디스플레이 장치의 영상 재생 방법에 관한 것이다.The present invention relates to a head mounted display device and an image reproducing method of the head mounted display device, and more specifically, to improve a three-dimensional effect during image reproduction by using an image for each focus generated by varying a focus using a variable focus lens, It relates to a head mounted display device and an image reproducing method of the head mounted display device.

헤드 마운티드 디스플레이(Head Mounted Display, 이하 'HMD'라 함)란 안경처럼 사용자의 헤드에 착용되어 사용자가 영상(컨텐츠)을 볼 수 있도록 하는 각종 영상 표시 장치를 말한다. 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 상기 HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, 가상 현실 기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.Head mounted display (hereinafter referred to as'HMD') refers to various image display devices that are worn on the user's head like glasses so that the user can view images (content). According to the trend of lightening and miniaturizing digital devices, various wearable computers are being developed, and the HMD is also widely used. The HMD can provide various conveniences to users by combining augmented reality technology, virtual reality technology, and N-screen technology beyond a simple display function.

상기 HMD는 사용자의 두부에 착용된다는 특수성으로 인하여, 상기 HMD를 이용하는 사용자가 특정 시각정보나 청각정보를 제공받는 동안은 외부(Real World)와 효과적으로 단절될 수 있어, 다양한 기능을 보다 현실감 있게 사용자에게 제공할 수 있다.Due to the peculiarity that the HMD is worn on the user's head, the HMD can be effectively disconnected from the outside (Real World) while the user using the HMD is provided with specific visual or auditory information, thus providing various functions to the user in a more realistic way. Can provide.

HMD (Head Mounted Display) 또는 NED (Near to Eye Display)는 작은 디스플레이 패널을 렌즈로 확대하여 가상의 큰 화면을 볼 수 있도록 하는 디스플레이이다. 사람 눈에 근접한 형태로 사용하기 때문에 사용되는 렌즈는 일정한 초점거리를 가지는 가상화면을 만들도록 하여 사람이 수월하게 영상을 볼 수 있도록 한다. 이 경우, 가상화면에 만들어진 상은 인간의 눈으로 보는 3D depth 를 가지는 실제 환경과 다르게 고정된 초점거리의 화면이기 때문에 수렴-조절 불일치(VAC, vergence accommodation conflict)가 발생한다. 이 경우 눈의 피로가 커지고 실제 환경 구현의 차이가 발생한다. HMD (Head Mounted Display) or NED (Near to Eye Display) is a display that allows you to see a virtual large screen by enlarging a small display panel with a lens. Since it is used in a form close to the human eye, the lens used makes a virtual screen with a certain focal length so that a person can easily view the image. In this case, since the image created on the virtual screen is a screen with a fixed focal length different from the actual environment with a 3D depth viewed by the human eye, a convergence accommodation conflict (VAC) occurs. In this case, the fatigue of the eyes increases and the difference in actual environment implementation occurs.

이런 종래의 VAC 문제점을 해결하기 위해 3차원 깊이 정보를 가지는 영상을 만들어 가상화면에 디스플레이 시키는 기술과 접목해 기계적으로 렌즈를 움직여 가상화면의 초점 거리를 조절하는 방식들이 개발된 바 있다. In order to solve such a conventional VAC problem, methods of adjusting the focal length of the virtual screen by mechanically moving the lens have been developed in combination with a technology for creating an image having 3D depth information and displaying it on a virtual screen.

또한, 상기 HMD에 사용되는 렌즈와 디스플레이부는 일정 거리 이격되어 위치되는데, 사용자의 시력에 따라 상기 거리의 조절이 필요하다.In addition, the lens and the display unit used in the HMD are positioned at a certain distance apart, and the distance needs to be adjusted according to the user's vision.

본 발명에 따르면, 초점 가변 렌즈로 초점을 가변하여 생성된 초점별 영상을 이용해 영상 재생 시의 입체감을 향상시키는 것을 목적으로 한다. According to the present invention, it is an object of the present invention to improve a three-dimensional effect when an image is reproduced using an image for each focus generated by varying a focus with a variable focus lens.

본 발명에 따르면, 사용자의 시력에 맞는 초점 거리를 제공함으로써 어떤 시력의 사용자도 안경이나 추가 렌즈 없이 선명한 영상을 볼 수 있게 함을 목적으로 한다. According to the present invention, it is an object of the present invention to provide a focal length suitable for the user's eyesight so that a user with any eyesight can view a clear image without glasses or an additional lens.

본 발명의 실시예에 따른 헤드 장착 디스플레이 장치는 입력 영상을 출력하기 위한 디스플레이, 상기 디스플레이로부터 출력된 광을 상기 헤드 장착 디스플레이 장치의 착용자에게 지향하도록 하는 초점 가변 렌즈 및 상기 초점 가변 렌즈의 초점 거리를 변경하기 위한 초점 거리 가변 제어 신호를 생성하는 컨트롤러를 포함하고, 상기 컨트롤러는, 상기 입력 영상의 원근 정보를 생성하고, 상기 입력 영상을 상기 원근 정보에 대응하는 각 초점별 영상으로 변환하며, 상기 각 초점별 영상에 상기 초점 가변 렌즈의 상기 초점 거리를 변경하기 위한 상기 초점 거리 가변 제어 신호를 동기화하고, 상기 동기화 신호에 기초해 상기 광을 상기 각 초점별 영상에 각각 포커싱하도록 상기 초점 가변 렌즈를 제어하는 것을 특징으로 한다.The head mounted display device according to an exemplary embodiment of the present invention includes a display for outputting an input image, a variable focus lens for directing light output from the display to a wearer of the head mounted display device, and a focal length of the variable focus lens. And a controller that generates a variable focal length control signal for changing, wherein the controller generates perspective information of the input image, converts the input image into an image for each focus corresponding to the perspective information, and Synchronize the variable focal length control signal for changing the focal length of the variable focus lens with the image for each focus, and control the variable focus lens to focus the light on each image for each focus based on the synchronization signal Characterized in that.

본 발명의 다른 실시예에 따른 헤드 장착 디스플레이 장치의 영상 재생 방법은, 입력 영상의 원근 정보를 생성하는 단계, 상기 입력 영상을 상기 원근 정보에 대응하는 각 초점별 영상으로 변환하는 단계, 상기 각 초점별 영상에 초점 가변 렌즈의 초점 거리를 변경하기 위한 초점 거리 가변 제어 신호를 동기화하는 단계 및 상기 동기화 신호에 기초해 광을 상기 각 초점별 영상에 각각 포커싱하도록 상기 초점 가변 렌즈를 제어하는 단계를 포함하는 것을 특징으로 한다.An image reproducing method of a head mounted display device according to another exemplary embodiment of the present invention includes generating perspective information of an input image, converting the input image into an image for each focus corresponding to the perspective information, and each focus Synchronizing a variable focal length control signal for changing the focal length of the variable focus lens to the star image, and controlling the variable focus lens to focus light on each of the focus images based on the synchronization signal. Characterized in that.

양안 시차법(스트레오그래픽)과 결합되어 사용되면 입체감 및 원근감이 향상되며 VAC (Vergence Accommodation Conflict; 수렴 초점 불일치)을 줄이는 데에 큰 효과를 낸다.When used in combination with binocular parallax (stereographic), three-dimensional and perspective are improved, and it has a great effect in reducing VAC (Vergence Accommodation Conflict).

가상화면의 영상이 원근감을 가지지 않고 고정된 위치에서 상이 맺힘으로써 실제 사람이 바라보는 환경과 달라 발생하는 어지럼증을 해소할 수 있는 장점이 있다.There is an advantage in that the image on the virtual screen does not have a sense of perspective and the image is formed in a fixed position, so that dizziness that occurs different from the environment viewed by a real person can be solved.

본 발명을 사용하는 다초점 가변 복합렌즈를 통해 양안이 아닌 단안용 헤드 장착 디스플레이 장치에서도 원근감 있는 화면을 구현하는 효과를 가질 수 있는 장점이 있다. There is an advantage that the multifocal variable composite lens using the present invention can have the effect of realizing a perspective screen even in a monocular head mounted display device other than binoculars.

또한, Diopter 조절 기능으로 시력이 좋지 못한 안경 사용자도 안경 없이 헤드 장착 디스플레이 장치를 사용할 수 있다.In addition, due to the diopter adjustment function, even eyeglass users with poor eyesight can use the head mounted display device without glasses.

능동형 초점 가변 렌즈를 이용해 동적으로 초점을 다양하게 변경할 수 있다.An active variable focus lens can be used to dynamically change focus.

다양한 초점 변경을 통해, 실제 사람이 생활하는 실제 환경에서 사람이 원근감을 느끼는 현상과 동일한 효과를 가상 화면에서도 가질 수 있게 한다. 그리고, 이로서 가상 화면에서 재생되는 영상의 입체감을 향상시킬 수 있게 된다.Through various focus changes, it is possible to have the same effect as a phenomenon in which a person feels a sense of perspective in a real environment in which a person lives in a virtual screen. And, as a result, it is possible to improve the three-dimensional effect of an image reproduced on a virtual screen.

종래 기술의 경우에는 기계적으로 광학 렌즈의 위치를 변경하여 초점을 변경하였기 때문에 전체 광학 기구의 무게나 부피 등이 커져야 하는 제약이 있었지만, 본 발명의 경우에는 능동형 초점 가변 렌즈를 이용해 초점을 변경하게 되어 기구적인 제약성이 적어지는 장점이 있게 된다. In the case of the prior art, since the focus was changed by mechanically changing the position of the optical lens, the weight or volume of the entire optical apparatus had to be increased, but in the case of the present invention, the focus was changed using an active variable focus lens. There is an advantage of less mechanical constraints.

사용자의 시력에 맞는 초점 거리를 제공함으로써 어떤 시력의 사용자도 안경이나 추가 렌즈 없이 선명한 영상을 볼 수 있게 된다. 즉, 시력 조정도 가능해진다. By providing a focal length suitable for the user's eyesight, a user with any vision can see a clear image without glasses or additional lenses. That is, vision adjustment is also possible.

입력되는 영상을 가상화면에 디스플레이 될 때 시스템에서 액정렌즈의 Diopter를 자유롭게 조절함으로써 단안의 경우도 실제 인간의 눈이 사물을 바라볼 때 느끼는 원근감을 가질 수 있으므로, HMD 및 NED의 초점 거리 조절 능력을 향상시킬 수 있다. 또한 시력이 좋지 않은 사용자도 별도의 안경을 착용하지 않고서도 시력에 맞는 좋은 화질을 볼 수 있는 시스템 구현이 가능하다.When the input image is displayed on the virtual screen, the system can freely adjust the diopter of the liquid crystal lens, so even the monocular can have a sense of perspective that the real human eye feels when looking at the object, so the ability to adjust the focal length of the HMD and NED is improved. Can be improved. In addition, it is possible to implement a system that allows users with poor eyesight to see good image quality suitable for their eyesight without wearing separate glasses.

도 1a는 본 발명의 실시예에 따른 헤드 장착 디스플레이 장치(1)의 블록도이고, 도 1b는 본 발명의 실시예에 따른 헤드 장착 디스플레이 장치(1)의 사시도이다.
도 2는 본 발명에 따른 헤드 장착 디스플레이 장치(1)의 초점 가변 방식을 설명하기 위해 비교되는 종래 기술에 따른 초점 가변 방식에 대한 참조 도면이다.
도 3 및 도 4는 본 발명에 따른 헤드 장착 디스플레이 장치(1)의 블록도이다.
도 5는 본 발명에 따른 헤드 장착 디스플레이 장치(1)의 다른 형태를 나타낸다.
도 6은 본 발명에 따른 헤드 장착 디스플레이 장치(1)에 포함되는 초점 가변 렌즈를 설명하기 위해 참조되는 도면이다.
도 7은 본 발명에 따른 눈 움직임 정보 생성부(333)의 동작 원리를 설명하기 위해 참조되는 도면이다.
도 8 및 도 9는 본 발명에 따른 초점별 영상을 설명하기 위해 참조되는 도면이다.
도 10은 본 발명에 따른 초점 가변 렌즈를 이용하여 생성되는 다초점을 설명하기 위해 참조되는 도면이다.
도 11은 본 발명의 실시예에 따른 헤드 장착 디스플레이 장치(1)의 영상 재생 방법을 설명하기 위한 순서도이다. 1A is a block diagram of a head mounted display device 1 according to an embodiment of the present invention, and FIG. 1B is a perspective view of a head mounted display device 1 according to an embodiment of the present invention.
2 is a reference diagram for a focus variable method according to the prior art compared to explain a focus variable method of the head mounted display device 1 according to the present invention.
3 and 4 are block diagrams of a head mounted display device 1 according to the present invention.
5 shows another form of the head mounted display device 1 according to the present invention.
6 is a view referenced to explain a variable focus lens included in the head mounted display device 1 according to the present invention.
7 is a diagram referenced for explaining the operating principle of the eye motion information generation unit 333 according to the present invention.
8 and 9 are views referenced to describe an image for each focus according to the present invention.
FIG. 10 is a diagram referenced to explain multifocals generated using a variable focus lens according to the present invention.
11 is a flowchart illustrating an image reproducing method of the head mounted display device 1 according to an exemplary embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE INVENTION The detailed description of the present invention to be described later refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail sufficient to enable a person skilled in the art to practice the present invention. It is to be understood that the various embodiments of the present invention are different from each other, but need not be mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the present invention in relation to one embodiment. In addition, it is to be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description to be described below is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scopes equivalent to those claimed by the claims. Like reference numerals in the drawings refer to the same or similar functions over several aspects.

이하, 첨부되는 도면을 참조하여 본 발명의 실시예에 따른 헤드 장착 디스플레이 장치(1)를 설명한다. Hereinafter, a head mounted display device 1 according to an embodiment of the present invention will be described with reference to the accompanying drawings.

본 발명의 헤드 장착 디스플레이 장치(1)는 HMD(Head Mounted Display), NED(Near Eye Diplay)등의 웨어러블 디바이스를 포함할 수 있다.The head mounted display apparatus 1 of the present invention may include a wearable device such as a head mounted display (HMD) and a near eye diplay (NED).

그러나, 본 명세서에 기재된 실시예에 따른 구성은 휴대폰, 스마트폰 등의 이동형 단말기에도 동일/유사하게 적용될 수 있다.However, the configuration according to the embodiment described in the present specification may be applied in the same/similar manner to mobile terminals such as mobile phones and smart phones.

도 1a는 본 발명의 실시예에 따른 헤드 장착 디스플레이 장치(1)의 블록도이고, 도 1b는 본 발명의 실시예에 따른 헤드 장착 디스플레이 장치(1)의 사시도이다.1A is a block diagram of a head mounted display device 1 according to an embodiment of the present invention, and FIG. 1B is a perspective view of a head mounted display device 1 according to an embodiment of the present invention.

본 발명의 헤드 장착 디스플레이 장치(1)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 컨트롤러(330) 및 전원 공급부(190) 등을 포함할 수 있다. The head mounted display device 1 of the present invention includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a controller 330, and It may include a power supply unit 190 and the like.

무선 통신부(110)는, 헤드 장착 디스플레이 장치(1)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.The wireless communication unit 110 may include one or more modules that connect the head mounted display device 1 to one or more networks.

무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.The wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-range communication module 114, and a location information module 115.

입력부(120)는, 영상 신호 입력을 위한 영상입력센서(340)또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. The input unit 120 includes an image input sensor 340 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, or an audio input unit, and a user input unit 123 for receiving information from a user, eg For example, it may include a touch key, a push key, etc.).

입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다. The voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.

영상입력센서(340)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 영상입력센서(340)에서 처리된 화상 프레임은 디스플레이부(310)에 표시되거나 메모리(170)에 저장될 수 있다. 한편, 헤드 장착 디스플레이 장치(1)에 구비되는 복수의 카메라(121)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(121)를 통하여, 헤드 장착 디스플레이 장치(1)에는 다양한 각도 또는 초점을 갖는 복수의 영상 정보가 입력될 수 있다. 또한, 복수의 카메라(121)는 입체 영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다. 본 발명에서 영상입력센서(340)는 카메라를 예시할 수 있으나, 본 발명의 권리범위는 이에 제한 되지 않고 헤드 장착 디스플레이 장치(1)에 입력되는 영상을 수신할 수 있는 모든 종류의 센서를 포함한다.The image input sensor 340 processes an image frame such as a still image or a moving image obtained by the image sensor in a video call mode or a photographing mode. The image frame processed by the image input sensor 340 may be displayed on the display unit 310 or stored in the memory 170. Meanwhile, a plurality of cameras 121 provided in the head mounted display device 1 may be arranged to form a matrix structure, and through the camera 121 forming a matrix structure, the head mounted display device 1 has various A plurality of image information having an angle or a focus may be input. In addition, the plurality of cameras 121 may be arranged in a stereo structure to obtain a left image and a right image for implementing a three-dimensional image. In the present invention, the image input sensor 340 may exemplify a camera, but the scope of the present invention is not limited thereto, and includes all types of sensors capable of receiving an image input to the head mounted display device 1. .

센싱부(140)는 헤드 장착 디스플레이 장치(1) 내 정보, 헤드 장착 디스플레이 장치(1)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서 (142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서The sensing unit 140 may include one or more sensors for sensing at least one of information in the head mounted display device 1, information on surrounding environments surrounding the head mounted display device 1, and user information. For example, the sensing unit 140 includes a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, and a magnetic sensor.

(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor) 중 적어도 하나를 포함할 수 있다. It may include at least one of a (magnetic sensor), a gravity sensor (G-sensor), a gyroscope sensor, and a motion sensor.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이(310), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다.The output unit 150 is for generating an output related to visual, auditory or tactile sense, and may include at least one of the display 310, the sound output unit 152, the hap tip module 153, and the light output unit 154. I can.

디스플레이(310)에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.A three-dimensional display method such as a stereoscopic method (glasses method), an auto stereoscopic method (glassesless method), and a projection method (holographic method) may be applied to the display 310.

3차원 입체 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운 (top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식등으로 구분될 수 있다. The 3D stereoscopic image is composed of a left image (image for the left eye) and a right image (image for the right eye). According to the method in which the left and right images are combined into a 3D stereoscopic image, a top-down method in which the left and right images are arranged up and down in one frame, and the left and right images are left and right within one frame. It can be divided into L-to-R (left-to-right, side by side) arrangements.

도 1b에 도시한 바와 같이, 디스플레이부(310)는 사용자의 눈 앞에서 화면 정보(예를 들어, 영상, 이미지, 동영상등)를 출력하는 역할을 한다. 사용자가 헤드 장착 디스플레이 장치(1)를 착용하였을 때, 사용자의 눈 앞에 화면정보가 표시될 수 있도록, 디스플레이부(310)는 좌안 및 우안 중 적어도 하나에 대응되게 배치될 수 있다.As shown in FIG. 1B, the display unit 310 serves to output screen information (eg, images, images, moving pictures, etc.) in front of the user's eyes. When the user wears the head mounted display device 1, the display unit 310 may be disposed to correspond to at least one of the left eye and the right eye so that screen information can be displayed in front of the user's eyes.

본 발명에서는, 사용자의 좌안 및 우안 모두를 향하여 영상을 출력할 수 있도록, 디스플레이부(310)가 좌안 및 우안을 모두 덮도록 위치한 것을 예시하고 있다.In the present invention, it is exemplified that the display unit 310 is positioned so as to cover both the left and right eyes so that an image can be output to both the left and right eyes of the user.

디스플레이부(310)는 프리즘을 이용하여 사용자의 눈으로 이미지를 투사할 수 있다. 또한, 사용자가 투사된 이미지와 전방의 일반 시야(사용자가 눈을 통하여 바라보는 범위)를 함께 볼 수 있도록, 프리즘은 투광성으로 형성될 수 있다.The display unit 310 may project an image to the user's eyes using a prism. In addition, the prism may be formed to be light-transmitting so that the user can see the projected image and the general field of view (a range that the user sees through the eyes) together.

디스플레이부(310)를 통하여 출력되는 영상은 가상 현실(Virtual Reality, VR)로 제공되거나, 일반 시야와 오버랩(overlap)되어 보여질 수 있다. The image output through the display unit 310 may be provided as virtual reality (VR) or may be viewed by overlapping with a general view.

헤드 장착 디스플레이 장치(1)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지나 배경에 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강 현실(Augmented Reality, AR)을 제공할 수 있다.The head mounted display device 1 may provide an Augmented Reality (AR) that displays a virtual image as a single image by superimposing a virtual image on a real image or a background by using the characteristics of the display.

본 발명의 일 실시예에서의 헤드 장착 디스플레이 장치(1)는 다양한 방식으로 이미지를 출력할 수 있다. 일 예로서, 헤드 장착 디스플레이 장치(1)는 투시형(see-through) 방식으로 이미지를 출력할 수 있다. 여기에서, 투시형(see-through) 방식은 화면정보를 출력하는 디스플레이부(310)가 투명한 것으로, 헤드 장착 디스플레이 장치(1)를 착용한 상태에서 사용자가 주위 환경을 인식하면서 컨텐츠를 이용할 수 있는 방식을 나타낸다. 다른 일 예로서, 헤드 장착 디스플레이 장치(1)는 전방 주사(front-light) 방식으로 이미지를 출력할 수 있다. 여기에서, 전방 주사 방식은 빛이 눈에 직접 투사되지 않고 반사된 영상을 거울과 같은 반사체를 통해 디스플레이하는 방식을 나타낸다. The head mounted display device 1 according to an exemplary embodiment of the present invention may output images in various ways. As an example, the head mounted display device 1 may output an image in a see-through method. Here, in the see-through method, the display unit 310 that outputs screen information is transparent, and while wearing the head mounted display device 1, the user can use the content while recognizing the surrounding environment. Indicate the way. As another example, the head mounted display device 1 may output an image in a front-light method. Here, the forward scanning method refers to a method of displaying a reflected image through a reflector such as a mirror without light being directly projected onto the eye.

도 1b를 참조하면, 본 발명의 일 실시예에 따른 헤드 장착 디스플레이 장치(1)는 헤드 장착 디스플레이 장치(1) 본체의 내부에 형성된 디스플레이부(310)에서 출력되는 화면 정보를 사용자가 모두 볼 수 있도록, 광학 렌즈(350)를 포함할 수 있다.Referring to FIG. 1B, in the head mounted display device 1 according to an embodiment of the present invention, a user can view all screen information output from the display unit 310 formed inside the main body of the head mounted display device 1. So, it may include an optical lens 350.

즉, 본 발명과 관련된 헤드 장착 디스플레이 장치(1)는, 광학 렌즈(350)를 통해, 디스플레이부(310)에서 출력되는 화면정보(또는 빛)이 모두 사용자의 안구(또는, 시야)로 투과될 수 있도록 형성될 수 있다.That is, in the head mounted display device 1 related to the present invention, through the optical lens 350, all screen information (or light) output from the display unit 310 is transmitted to the user's eyes (or visual field). It can be formed to be able to.

일 예로, 광학 렌즈(350)는, 사용자의 양 안(즉, 좌안 및 우안) 중 적어도 하나에 대응되게 배치될 수 있다. 또한, 광학 렌즈(350)는, 사용자가 헤드 장착 디스플레이 장치(1)를 두부에 착용하였을 때, 사용자의 안구와 디스플레이부(310)의 사이에 놓이도록 배치될 수 있다. 또한, 상기 광학 렌즈(350)는, 오목렌즈 또는 볼록렌즈, 또는 이들의 조합을 통해 형성될For example, the optical lens 350 may be disposed to correspond to at least one of both eyes of the user (ie, the left eye and the right eye). Also, the optical lens 350 may be disposed to be placed between the user's eyeball and the display unit 310 when the user wears the head mounted display device 1 on the head. In addition, the optical lens 350 is formed through a concave lens or a convex lens, or a combination thereof.

수 있다.I can.

인터페이스부(160)는 헤드 장착 디스플레이 장치(1)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다.The interface unit 160 serves as a passage between various types of external devices connected to the head mounted display device 1.

메모리(170)는 헤드 장착 디스플레이 장치(1)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 헤드 장착 디스플레이 장치(1)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 헤드 장착 디스플레이 장치(1)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로The memory 170 stores data supporting various functions of the head mounted display device 1. The memory 170 may store a plurality of application programs or applications driven by the head mounted display device 1, data for operation of the head mounted display device 1, and instructions. At least some of these applications can be transferred to external servers via wireless communication.

부터 다운로드 될 수 있다.Can be downloaded from

컨트롤러(330)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 헤드 장착 디스플레이 장치(1)의 전반적인 동작을 제어한다. 컨트롤러(330)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to the operation related to the application program, the controller 330 generally controls the overall operation of the head mounted display device 1. The controller 330 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the above-described components, or driving an application program stored in the memory 170.

전원공급부(190)는 컨트롤러(330)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 헤드 장착 디스플레이 장치(1)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.The power supply unit 190 receives external power and internal power under the control of the controller 330 to supply power to each of the components included in the head mounted display device 1. The power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.

도 2는 본 발명에 따른 헤드 장착 디스플레이 장치(1)의 초점 가변 방식을 설명하기 위해 비교되는 종래 기술에 따른 초점 가변 방식에 대한 참조 도면이다.2 is a reference diagram for a focus variable method according to the prior art compared to explain a focus variable method of the head mounted display device 1 according to the present invention.

도 2a는 일반적인 양안 HMD/NED에서 구성되는 광학계를 설명하기 위한 도면이다. 2A is a diagram illustrating an optical system configured in a general binocular HMD/NED.

최근 각광을 받고 있는 가상현실 (VR, Virtual Reality HMD) 및 증강현실 (AR, Augmented Reality) 글래스의 경우는 도 2a에서 구현되는 것과 같이 일반 광학 렌즈(350)만을 이용하여 디스플레이(310)로부터 출력되는 광의 초점이 모두 한 곳에 모이게 되므로 모든 영상이 하나의 동일 초점에 형성이 된다. In the case of virtual reality (VR, Virtual Reality HMD) and augmented reality (AR, Augmented Reality) glasses, which are recently in the spotlight, output from the display 310 using only the general optical lens 350 as implemented in FIG. Since all the focal points of light are concentrated in one place, all images are formed at the same focal point.

도 2b는 하나의 초점을 HMD에서 다 초점으로 구현하기 위해 종래의 기술을 설명하기 위한 도면이다. 도 2c 에서와 같이 종래의 기술은 렌즈의 위치를 조정함으로 이미지의 초점을 가변을 할 수 있으나, 이 경우는 기계적으로 렌즈를 움직여야 하므로 기구의 부피가 커지고 무거워지며, 소비전력이 증가할 뿐 아니라 다초점이 아닌 한정된 초점을 가지게 되는 제약이 있다.FIG. 2B is a diagram for describing a conventional technique for implementing one focus into multiple focuses in an HMD. As shown in Fig. 2c, the conventional technique can change the focus of the image by adjusting the position of the lens, but in this case, the volume of the instrument becomes larger and heavier, and power consumption increases as the lens needs to be moved mechanically. There is a limitation to having a limited focus, not a focus.

도 3 및 도 4는 본 발명에 따른 헤드 장착 디스플레이 장치(1)의 블록도이다. 3 and 4 are block diagrams of a head mounted display device 1 according to the present invention.

본 발명에 따른 헤드 장착 디스플레이 장치(1)는 디스플레이(310), 능동형 초점 가변 렌즈(320), 컨트롤러(330), 영상입력센서(340), 및 기타 광학 렌즈(350, 351, 352)를 포함할 수 있다. The head mounted display device 1 according to the present invention includes a display 310, an active focus variable lens 320, a controller 330, an image input sensor 340, and other optical lenses 350, 351, and 352. can do.

도 3 및 도 4에서 설명하는 헤드 장착 디스플레이 장치(1)의 각 구성은 도 1에서 설명한 각 구성과 동일/유사하게 적용될 수 있다. Each configuration of the head mounted display device 1 described in FIGS. 3 and 4 may be applied in the same/similar manner as each configuration described in FIG. 1.

도 3 및 도 4에 도시한 바와 같이 일반적인 가상화면을 만들 수 있는 광학렌즈(350)에 도 6과 같은 액정인가전압 제어로 초점거리 조절이 가능한 능동형 초점 가변 렌즈(320)를 결합함으로써 초점 A, B, C를 구현할 수 있다. 일반적으로 능동형 초점 가변 렌즈(320)의 굴절율이 크지 않기 때문에 초점거리가 수m 이상이 되므로 능동형 초점 가변 렌즈(320) 자체만으로는 HMD/NED에서 요구하는 2m 이내의 짧은 초점 거리를 만들어 내기 어렵다. 하지만 짧고 고정된 초점거리를 지닌 광학 렌즈(350)를 사용하고 이에 능동형 초점 가변 렌즈(320)로 약간의 광 경로를 변경함으로써 필요로 하는 짧은 초점 거리와 초점의 가변성을 획득할 수 있는 것이다. As shown in FIGS. 3 and 4, by combining an active variable focus lens 320 capable of adjusting a focal length by controlling a liquid crystal applied voltage as shown in FIG. 6 to an optical lens 350 capable of making a general virtualized surface, the focus A, B and C can be implemented. In general, because the refractive index of the active variable focus lens 320 is not large, the focal length is several m or more, so it is difficult to create a short focal length within 2 m required by the HMD/NED by the active variable focus lens 320 itself. However, by using the optical lens 350 having a short and fixed focal length, and changing the optical path slightly with the active focus variable lens 320, the required short focal length and variability of focus can be obtained.

즉, 본 발명은 능동형 초점 가변 렌즈(320)와 광학 렌즈(350. 351, 352)의 결합 형태로 초점을 조절하여 가상 화면 디스플레이 영상을 다초점(Multi focusing)이 되도록 함으로써 사용자의 초점에 따라 원근이 구별될 수 있도록 한다.That is, the present invention adjusts the focus in the form of a combination of the active variable focus lens 320 and the optical lenses 350. 351, 352 so that the virtual screen display image is multi-focused, Let this be distinguishable.

디스플레이(310)는 입력 영상을 출력할 수 있다. 디스플레이(310)로부터 출력된 광은 능동형 초점 가변 렌즈(320) 및 기타 광학 렌즈(350, 351, 352) 를 통해 착용자의 눈으로 지향될 수 있다. The display 310 may output an input image. Light output from the display 310 may be directed to the wearer's eyes through the active variable focus lens 320 and other optical lenses 350, 351, and 352.

능동형 초점 가변 렌즈(320)는 동적으로 초점을 가변할 수 있는 광학 소자로, 액정 렌즈, 전기활성 렌즈, 굴절 렌즈, 전기습윤 렌즈The active variable focus lens 320 is an optical element capable of dynamically changing focus, a liquid crystal lens, an electroactive lens, a refractive lens, and an electrowetting lens

(electrowetting lens), 탄성중합 렌즈(elastomeric lens) 등을 포함할 수 있다. 능동형 초점 가변 렌즈(320)는 가상 화면을 생성하기 위한 광학 렌즈(350)와 디스플레이(310) 사이, 또는 도 3과 같은 광학 렌즈(350)와 눈 사이, 또는 도 5와 같은 광이 눈으로 향하는 광 경로상의 임의의 위치에 위치할 수 있다. 예를 들어, 도 5의 경우, 초점 가변 렌즈(320)는 제1 광학렌즈(350)와 제2 광학렌즈(351 또는 352) 사이에 배치될 수 있다. 이러한 다양한 형태의 배치로, 능동형 초점 가변 렌즈(320)의 위치를 광학계 내의 광 경로 상의 임의의 위치에 배치할 수 있게 되어 다양한 형태로 굴절 각도를 조정함으로서 초점 거리를 조절할 수 있게 된다. 또한, 광학렌즈(350, 351, 352)와 초점 가변 렌즈(320)의 설계를 원할하게 할 수 있다.(electrowetting lens), an elastomeric lens, etc. may be included. Active variable focus lens 320 is between the optical lens 350 and the display 310 for generating a virtual screen, or between the optical lens 350 and the eye as shown in Figure 3, or the light as shown in Figure 5 is directed to the eye. It can be located anywhere on the optical path. For example, in the case of FIG. 5, the variable focus lens 320 may be disposed between the first optical lens 350 and the second optical lens 351 or 352. With such various arrangements, the position of the active variable focus lens 320 can be arranged at any position on the optical path in the optical system, and thus the focal length can be adjusted by adjusting the refraction angle in various forms. In addition, the design of the optical lenses 350, 351, and 352 and the variable focus lens 320 may be made smooth.

초점 가변 렌즈(320) 및/또는 광학렌즈(350, 351, 352)는 오목렌즈 또는 볼록렌즈 등으로 다양하게 구현될 수 있다.The variable focus lens 320 and/or the optical lenses 350, 351, and 352 may be variously implemented as a concave lens or a convex lens.

능동형 초점 가변 렌즈(320)는 양단 기판(321a, 321b)과 양단 기판(321a,321b)에 부착된 전극(322), 그리고 액정층(323)을 포함할 수 있다. 양단 기판(321a, 321b)는 유리재질로 구현할 수 있다. 전극(322)은 도 6에 도시한 바와 같이 다수의 동심의 전도성 링 형태로 패터닝될 수 있다. The active focus variable lens 320 may include both end substrates 321a and 321b, electrodes 322 attached to both end substrates 321a and 321b, and a liquid crystal layer 323. Both end substrates 321a and 321b may be made of a glass material. The electrode 322 may be patterned into a plurality of concentric conductive rings as shown in FIG. 6.

컨트롤러(330)는 전극(322)에 가해지는 전압의 크기를 변경하여 액정층(323)을 제어할 수 있고, 액정층(323)과 양단 기판(321a, 321b) 을 통과하는 광의 굴절율을 조정함으로서 초점을 다양하게 변경할 수 있다. 전극(322)이 다수의 동심의 전도성 링 형태의 정밀 패턴으로 구성되고, 이들을 제어함으로써 f1, f2 등과 같은 다양한 초점들이 생성될 수 있다. The controller 330 may control the liquid crystal layer 323 by changing the magnitude of the voltage applied to the electrode 322, and by adjusting the refractive index of light passing through the liquid crystal layer 323 and the substrates 321a and 321b at both ends. You can change the focus in various ways. The electrode 322 is composed of a plurality of concentric conductive ring-shaped precision patterns, and various focal points such as f1 and f2 may be generated by controlling them.

종래 기술의 경우에는 기계적으로 광학 렌즈의 위치를 변경하여 초점을 변경하였기 때문에 전체 광학 기구의 무게나 부피 등이 커져야하는 제약이 있었지만, 본 발명의 경우에는 능동형 초점 가변 렌즈(320)를 이용해 초점을 변경하게 되어 기구적인 제약성이 적어지는 장점이 있게 된다.In the case of the prior art, since the focus was changed by mechanically changing the position of the optical lens, there was a limitation in that the weight or volume of the entire optical apparatus had to be increased, but in the case of the present invention, the focus was adjusted using the active variable focus lens 320. As it is changed, there is an advantage of less mechanical constraints.

컨트롤러(330)는 디스플레이(310), 초점 가변 렌즈(320) 등 헤드 장착 디스플레이 장치(1)의 각 구성의 동작을 전반적으로 제어한다. The controller 330 generally controls the operation of each component of the head mounted display device 1 such as the display 310 and the variable focus lens 320.

컨트롤러(330)의 영상 수신부(331)는 입력 영상을 수신할 수 있다. 해당 입력 영상은 헤드 장착 디스플레이 장치(1) 자체로부터 제공되거나 외부로부터 수신된 것일 수 있다. 즉, 헤드 장착 디스플레이 장치(1) 의 내부 메모리로부터 제공되거나 외부로부터 유/무선 통신을 통해 수신된 것일 수 있다. The image receiving unit 331 of the controller 330 may receive an input image. The corresponding input image may be provided from the head mounted display device 1 itself or may be received from the outside. That is, it may be provided from the internal memory of the head mounted display device 1 or may be received from the outside through wired/wireless communication.

영상 원근 인식부(332)는 영상 수신부(331)로부터 수신한 입력 영상의 원근 정보를 생성한다. 그리고, 초점 거리별 영상 변환부(334)는 영상 원근 인식부(332)로부터 수신한 원근 정보를 기초로, 입력 영상을 해당 원근 정보에 대응하는 각 초점별 영상으로 변환한다. 즉, 입력 영상으로부터 피사체의 원근 정보에 기초하여 복수개의 개별적인 영상을 생성하고, 복수개의 개별적인 영상이 교차로 표시되는 과정에서 각 피사체에 맞춰진 초점별 영상을 생성한다. 여기서, 복수개의 개별적인 영상은 입력 영상으로부터 생성된 복수개의 개별적인 분리 영상을 의미할 수 있다.The image perspective recognition unit 332 generates perspective information of the input image received from the image reception unit 331. Further, the image conversion unit 334 for each focal length converts the input image into an image for each focus corresponding to the corresponding perspective information based on the perspective information received from the image perspective recognition unit 332. That is, a plurality of individual images are generated based on the perspective information of the subject from the input image, and an image for each focus aligned with each subject is generated in the process of displaying the plurality of individual images at an intersection. Here, the plurality of individual images may mean a plurality of individual separated images generated from the input image.

도 8을 참조하면, 가상 화면을 표시함에 있어서, 2 개의 초점 거리가 있을 경우에, 영상에서 초점과 일치하는 부분은 선명하게 하고 초점이 일치하지 않는 부분은 흐릿하거나 투명하게 변경하여 각 초점에 맞게 2 종류의 영상을 만든다. 이 두 영상을 교대로 표시하면 정상적인 결합 영상을 표시할 수 있다. 다만, 본 발명에서는 2개의 초점 거리와 2 종류의 영상을 예시하였으나, 본 발명의 권리범위는 이에 제한되지 않고 복수의 초점 거리와 복수의 해당 영상을 재생하는 경우이면 적용될 수 있다.Referring to FIG. 8, when displaying a virtual screen, when there are two focal lengths, a part that matches the focus in the image is sharpened, and the part that does not match the focus is changed to be blurred or transparent to fit each focus. Make 2 types of videos. By alternately displaying these two images, a normal combined image can be displayed. However, in the present invention, two focal lengths and two types of images have been illustrated, but the scope of the present invention is not limited thereto, and may be applied if a plurality of focal lengths and a plurality of corresponding images are reproduced.

예를 들어, 도 8에서 근거리 피사체를 포커싱한 영상(b)과 원거리 피사체를 포커싱한 영상 (c)를 교대로 표시하게 한다.For example, in FIG. 8, an image (b) focusing a near object and an image (c) focusing a far object are alternately displayed.

이를 고정 초점 거리 디스플레이로 볼 경우에는 (a)와 같이 단순 결합 영상(a)이 표시되지만, 가변 초점 거리 디스플레이에서는 영상 (b)가 디스플레이에 표시되는 시점에는 영상 (b)용 근거리 초점으로 초점 가변 렌즈(320)가 조절되어 (d)와 같은 영상이 재생되고, 영상 (c)가 디스플레이에 표시되는 시점에는 영상 (c)용 원거리 초점으로 초점 가변 렌즈(320)가 조절되어 (e)와 같은 영상이 재생된다.When viewing this as a fixed focal length display, a simple combined image (a) is displayed as shown in (a), but in a variable focal length display, when the image (b) is displayed on the display, the focus is changed to the near focus for image (b). When the lens 320 is adjusted so that the image (d) is reproduced, and the image (c) is displayed on the display, the variable focus lens 320 is adjusted to the far-field focal point for the image (c). The video is played.

구체적으로, 가변 초점 거리 디스플레이서, 영상 (b)와 영상 (c)가 교대로 디스플레이 되고, 각 영상이 디스플레이 되는 시점에 각 해당하는 초점으로 초점 거리가 변경되므로 착용자가 화면에서 가까이 있는 근거리 부분을 보려고 하면, 즉 근거리 피사체에 초점을 맞추면 상대적으로 영상 (b)가 두드러져 보이게 되고, 화면에서 멀리 있는 원거리 부분을 보려고 하면, 즉 원거리 피사체에 초점을 맞추면 상대적으로 영상 (c)가 두드러져 보이게 된다. Specifically, in a variable focal length displayer, images (b) and images (c) are alternately displayed, and the focal length is changed to each corresponding focal point at the time when each image is displayed. When you try to view, that is, when you focus on a near subject, the image (b) becomes relatively prominent, and when you try to view a distant part far from the screen, that is, when you focus on a distant subject, the image (c) becomes relatively prominent.

즉, 근거리 피사체에 초점을 맞추고 있을 때 원거리 피사체도 교대로 표시되지만, 사용자의 초점과 다르기 때문에 (d)와 같이 근거리 피사체는 선명하고 원거리 피사체는 흐리게 보이는 영상이 재생된다. 그리고, 원거리 피사체에 초점을 맞추고 있을 때 근거리 피사체도 교대로 표시되지만, 사용자의 초점과 다르기 때문에 (e)와 같이 원거리 피사체는 선명하고 근거리 피사체는 흐리게 보이는 영상이 재생되는 것이다.That is, while focusing on a near subject, a distant subject is also displayed alternately, but since the focus is different from the user's focus, an image in which the near subject is clear and the distant subject is blurred is reproduced as shown in (d). In addition, when focusing on a distant subject, the near subject is also displayed alternately, but since the focus is different from the user's focus, an image in which the distant subject is clear and the near subject is blurred is reproduced as shown in (e).

실제 디스플레이에서는 근거리 영상(b)과 원거리 영상(c)이 교대로 디스플레이 되지만, 각 영상에 맞도록 렌즈 초점이 조절되고 있기 때문에 사용자의 초점과 일치된 영상은 뚜렷하고 보이고 일치되지 않은 영상은 흐릿하게 보이게 되는 것이다. On the actual display, the near-field image (b) and the far-field image (c) are alternately displayed, but since the lens focus is adjusted to fit each image, the image matched with the user's focus is clearly visible, and the image that is not matched is blurred. It becomes.

이렇게 함으로써 실제 사람이 생활하는 실제 환경에서 사람이 원근감을 느끼는 현상과 동일한 효과를 가상 화면에서도 가질 수 있게 한다. 그리고, 이로서 가상 화면에서 재생되는 영상의 입체감을 향상시킬 수 있게 된다. By doing this, it is possible to have the same effect as a phenomenon in which a person feels a sense of perspective in a real environment in which a real person lives. And, as a result, it is possible to improve the three-dimensional effect of an image reproduced on a virtual screen.

이를 위하여, 영상 원근 인식부(332)는 입력 영상을 피사체의 원근 정보에 기초하여 복수개의 개별적인 분리 영상((b)(c))을 생성하고, 초점 거리별 영상 변환부(334)는 복수개의 개별적인 분리 영상이 교차로 표시되는 과정에서 각 피사체에 맞춰진 초점별 영상((d)(e))을 생성한다.To this end, the image perspective recognition unit 332 generates a plurality of individual separated images ((b)(c)) based on the perspective information of the subject from the input image, and the image conversion unit 334 for each focal length In the process of displaying individual separated images at intersections, an image for each focus ((d)(e)) focused on each subject is generated.

도 8은 피사체의 원근 정보에 기초하여 초점별 영상이 생성되는 것을 예시하였으나, 본 발명에 따르면 도 9와 같이 피사체를 향한 초점의 높이(깊이) 정보에 기초하여 초점별 영상이 생성될 수도 있다. FIG. 8 illustrates that an image for each focus is generated based on perspective information of a subject, but according to the present invention, an image for each focus may be generated based on height (depth) information of a focus toward the subject as shown in FIG. 9.

예를 들어, 도 9에 도시한 바와 같이, (a) 영상이 원 입력 영상이라고 가정할 경우, 초점의 위치를 피사체의 상단에 위치시킬 경우에 (b) 영상이 표시되고, 초점의 위치를 피사체의 하단에 위치시킬 경우에 (c) 영상이 표시되는 데, 가변 초점 거리 디스플레이에서 (b) 영상과 (c) 영상이 교차로 표시되는 과정에서, 영상 (b)가 디스플레이에 표시되는 시점에는 영상 (b)용 상단 초점으로 초점 가변 렌즈(320)가 조절되어 (d)와 같은 영상이 재생되고, 영상 (c)가 디스플레이에 표시되는 시점에는 영상 (c)용 하단 초점으로 초점 가변 렌즈(320)가 조절되어 (e)와 같은 영상이 재생된다. 실시예에 따라 상단 초점은 착용자의 시선과 수평면 사이의 각도가 상대적으로 큰 경우(예> 45도)의 초점을 의미하고, 하단 초점은 착용자의 시선과 수평면 사이의 각도가 상대적으로 작은 경우(예> 0도)의 초점을 의미할 수 있다. 또는 실시예에 따라, 도 9b와 같이 상단 초점은 착용자의 시선과 수평면 사이의 각도가 소정의 "+"각도(α)를 이룰 때의 초점을 의미하고, 하단 초점은 착용자의 시선과 수평면 사이의 각도가 "-"각도(β)를 이룰 때의 초점을 의미할 수 있다.For example, as shown in FIG. 9, (a) assuming that the image is the original input image, when the focus position is placed on the top of the subject (b) the image is displayed, and the focus position is the subject When placed at the bottom of (c) the image is displayed.In the process of displaying (b) images and (c) images at an intersection in the variable focal length display, when the image (b) is displayed on the display, the image ( The variable focus lens 320 is adjusted as the upper focus for b) so that the image as shown in (d) is reproduced, and when the image (c) is displayed on the display, the variable focus lens 320 is used as the lower focus for image (c). Is adjusted, and the image shown in (e) is played back. Depending on the embodiment, the upper focus refers to a focus when the angle between the wearer's gaze and the horizontal plane is relatively large (e.g. > 0 degrees). Alternatively, according to an embodiment, as shown in FIG. 9B, the upper focus refers to a focus when the angle between the wearer's line of sight and the horizontal plane achieves a predetermined "+" angle (α), and the lower focus is between the wearer's line of sight and the horizontal plane. It may mean a focal point when the angle achieves the "-" angle β.

즉, 피사체와의 수평 거리 뿐 아니라 피사체를 향한 착용자의 시야각에 의해서도 초점별 영상을 생성할 수 있다. That is, an image for each focus can be generated not only by the horizontal distance to the subject but also by the viewing angle of the wearer toward the subject.

도 9의 경우에도 2가지 초점만을 예시하였으나, 본 발명의 권리범위는 이에 제한되지 않고 중단 초점을 포함한 복수개의 초점별 영상을 생성할 수 있다.In the case of FIG. 9 as well, only two focal points are illustrated, but the scope of the present invention is not limited thereto, and a plurality of focal-specific images including a middle focal point may be generated.

이렇게 함으로써 실제 사람이 생활하는 실제 환경에서 사람이 원근감을 느끼는 현상과 동일한 효과를 가상 화면에서도 가질 수 있게 한다. 그리고, 이로서 가상 화면에서 재생되는 영상의 입체감을 향상시킬 수 있게 된다. By doing this, it is possible to have the same effect as a phenomenon in which a person feels a sense of perspective in a real environment in which a real person lives. And, as a result, it is possible to improve the three-dimensional effect of an image reproduced on a virtual screen.

이를 위하여, 영상 원근 인식부(332)는 입력 영상을 피사체의 상하 위치(또는 높이) 정보에 기초하여 복수개의 개별적인 분리 영상((b)(c))을 생성하고, 초점 거리별 영상 변환부(334)는 복수개의 개별적인 분리 영상이 교차로 표시되는 과정에서 각 피사체에 맞춰진 초점별 영상((d)(e))을 생성한다.To this end, the image perspective recognition unit 332 generates a plurality of individual separated images ((b)(c)) based on the upper and lower position (or height) information of the subject from the input image, and the image conversion unit for each focal length ( In step 334, in the process of displaying a plurality of individual separated images at intersections, an image for each focus ((d)(e)) that is aligned with each subject is generated.

영상 원근 인식부(332)는 입력된 입체 영상의 원근을 인식하기 위해 눈 움직임 정보 생성부(333)로부터 수신한 눈 움직임 정보를 참조할 수 있다. The image perspective recognition unit 332 may refer to the eye movement information received from the eye movement information generation unit 333 in order to recognize the perspective of the input stereoscopic image.

구체적으로, 영상입력센서(340)는 착용자의 눈을 촬영하고, 눈 위치 정보 생성부(333)는 영상입력센서(340)로부터 수신한 착용자의 눈 이미지 정보를 기초로 실시간 착용자의 눈의 움직임을 포착하여 눈의 움직임 정보(특히, 동공의 움직임 정보)를 생성할 수 있다. Specifically, the image input sensor 340 photographs the wearer's eyes, and the eye position information generation unit 333 detects the movement of the wearer's eyes in real time based on the wearer's eye image information received from the image input sensor 340. It can capture and generate eye movement information (especially pupil movement information).

예를 들어, 도 7은 눈 움직임 정보 생성부(333)의 동작 원리를 설명하기 위해 참조되는 도면이다. For example, FIG. 7 is a diagram referenced to explain the operating principle of the eye motion information generation unit 333.

객체(또는 피사체)의 뷰어들은 눈의 이접운동 및 원근조절의 조합으로 인해 객체를 "3-차원"인 것으로 지각할 수 있다. 두 눈들의 이접운동(vergence) 움직임들(즉, 객체를 응시하기 위한 눈들의 시선들이 수렴되도록 서로를 향하는 또는 서로 멀어지는 동공들의 롤링(rolling) 움직임들)은 눈과 렌즈들의 포커싱(또는 "원근조절")과 밀접하게 연관된다. Viewers of the object (or subject) may perceive the object as being "three-dimensional" due to the combination of eye dividing motion and perspective control. Vergence movements of the two eyes (i.e., rolling movements of the pupils facing each other or away from each other so that the eyes' gaze to gaze at the object converge) is the focus of the eyes and lenses (or "perspective control"). Closely related to ").

본원 발명과 같은 원근조절과 이접운동 사이의 원할한 매칭을 제공하는 디스플레이 시스템들에 따르면, 3차원 이미지가 보다 더 현실적이고 입체감이 향상되면서도 편안한 시뮬레이션들이 형성될 수 있다.According to the display systems that provide smooth matching between perspective control and dividing motion as in the present invention, comfortable simulations can be formed while a three-dimensional image is more realistic and a three-dimensional effect is improved.

도 7을 참조하면, z-축 상에서 눈들(702 및 704)로부터 다양한 거리들에 있는 객체들은, 이들 객체들이 인 포커싱(in focus)되도록 눈들(702 및 704)에 의해 원근 조절된다. 특정 원근 조절된 상태는 연관된 초점 거리를 갖는 깊이 평면들(706) 중 특정한 하나의 깊이 평면과 연관되는 것으로 정의될 수 있다. 따라서, 특정 깊이 평면의 객체들 또는 객체들의 부분들은, 눈이 해당 깊이 평면에 대해 원근 조절된 상태에 있을 때 인 포커싱된다. Referring to FIG. 7, objects at various distances from eyes 702 and 704 on the z-axis are perspective adjusted by eyes 702 and 704 so that these objects are in focus. A particular perspective adjusted state may be defined as being associated with a particular one of the depth planes 706 having an associated focal length. Thus, objects or portions of objects of a specific depth plane are in-focused when the eye is in a perspective adjusted state with respect to the depth plane.

영상 원근 인식부(332)는 눈의 움직임 정보를 기초로 입체 영상의 원근을 파악할 수 있다. 도 8을 예로 들자면, 눈의 움직임이 근거리 피사체를 향하고 있을 경우 (b)와 같은 근거리 피사체 영상이 생성될 수 있고, 눈의 움직임이 원거리 피사체를 향하고 있을 경우 (c)와 같은 원거리 피사체 영상이 생성될 수 있으며, 이를 기초로 초점별 영상이 생성되게 된다. 도 9의 경우에도 눈의 움직임에 따른 시아갹 정보에 기초하여 개별적인 분리 영상이 생성되고, 이를 기초로 초점별 영상이 생성되게 된다. The image perspective recognizer 332 may recognize the perspective of a 3D image based on eye movement information. Taking FIG. 8 as an example, when the eye movement is directed toward a near subject, a near subject image as shown in (b) may be generated, and when the eye movement is toward a distant subject, a distant subject image as shown in (c) is generated. And, based on this, an image for each focus is generated. In the case of FIG. 9 as well, an individual separated image is generated based on the view information according to the eye movement, and an image for each focus is generated based on this.

초점 거리별 영상 변환부(334)는 영상 수신부(331)로부터 수신한 입력 영상을 초점 거리에 기초하여 변환한다. 특히, 본 발명에 따르면 영상 원근 인식부(332)로부터 수신한 영상 원근 정보를 기초로 입력 영상을 각 원근 정보에 대응하는 각 초점별 영상으로 변환할 수 있음은 전술한 바와 같다.The image conversion unit 334 for each focal length converts the input image received from the image receiving unit 331 based on the focal length. In particular, as described above, according to the present invention, an input image can be converted into an image for each focus corresponding to each perspective information based on the image perspective information received from the image perspective recognition unit 332.

초점 거리 가변 제어 신호 발생부(335)는 초점 가변 렌즈(320)의 초점을 변경시키기 위한 제어 신호를 생성한다. The variable focal length control signal generator 335 generates a control signal for changing the focus of the variable focus lens 320.

도 6에 도시한 바와 같이, 복수의 전도성 전극(322)에 인가하는 전압의 크기를 변경함으로서 액정(322)의 배향을 변경하고, 이로서 액정(322)의 굴절률을 변경하여 초점 가변 렌즈(320)의 초점 거리를 다양하게 변경할 수 있다. As shown in FIG. 6, the alignment of the liquid crystal 322 is changed by changing the magnitude of the voltage applied to the plurality of conductive electrodes 322, thereby changing the refractive index of the liquid crystal 322, and the focus variable lens 320 You can change the focal length of the camera in various ways.

동기화부(336)는 초점 거리별 영상 변환부(334)에서 생성된 초점 거리별 영상들에 초점 거리 가변 제어 신호 발생부(335)에서 생성된 초점 거리 가변 제어 신호를 동기화한다. 이로서, 초점 거리별 영상들의 재생 주기에 맞추어 초점 거리 가변 제어신호가 동기화될 수 있다.The synchronization unit 336 synchronizes the variable focal length control signal generated by the variable focal length control signal generator 335 with the images for each focal length generated by the image conversion unit 334 for each focal length. As a result, the variable focal length control signal may be synchronized in accordance with the reproduction period of images for each focal length.

컨트롤러(330)는 동기화부(336)의 동기화 정보에 기초해 광을 각 초점별 영상에 각각 포커싱하도록 초점 가변 렌즈(320)를 제어할 수 있다. The controller 330 may control the variable focus lens 320 to focus light on each focus image based on synchronization information of the synchronization unit 336.

동기화 정보는 디스플레이(310)와 초점 가변 렌즈(320)로 각각 전송되고, 디스플레이(310)상에 출력되는 각 초점별 영상의 초점에 광이 포커싱되도록 초점 가변 렌즈(320)가 제어되는 것이다. Synchronization information is transmitted to the display 310 and the variable focus lens 320, respectively, and the variable focus lens 320 is controlled so that light is focused on the focus of each focus image output on the display 310.

초점 가변 렌즈(320)는 디스플레이(310)로부터 출력된 광을 헤드 장착 디스플레이 장치(1)의 착용자의 눈에 지향하도록 한다. The variable focus lens 320 directs the light output from the display 310 to the eyes of the wearer of the head mounted display device 1.

초점 가변 렌즈(320)는 초점 거리 가변 제어 신호 발생부(335)에서 생성된 초점 거리 가변 제어 신호에 기초하여 초점 거리가 가변될 수 있다. The variable focus lens 320 may have a variable focal length based on the variable focal length control signal generated by the variable focal length control signal generator 335.

디스플레이(310)는 초점 거리별 영상 변환부(334)로부터 초점 거리별 영상을 수신하고, 동기화부(336)로부터 수신한 동기화 정보에 기초해 초점 거리별 영상의 초점이 변경되어 변경된 초점을 기반으로 한 초점 거리별 영상들이 재생될 수 있다. The display 310 receives an image for each focal length from the image conversion unit 334 for each focal length, and the focus of the image for each focal length is changed based on the synchronization information received from the synchronization unit 336 and is based on the changed focus. Images for each focal length may be played.

디스플레이부(310)는 초점 거리별로 여러 개의 영상을 표시할 수 있도록 약 2배 이상의 빠른 프레임 주파수를 구현하도록 구성될 수 있다. The display unit 310 may be configured to implement a frame frequency that is about twice or more faster so as to display multiple images for each focal length.

도 10을 참조하면, 도 8의 (d)(e)와 같은 초점 거리별 영상들은 초점 가변 렌즈(320)를 통해 생성된 다양한 도 9의 (c)와 같은 초점들(focal point A, focal point B)을 기초로 재생될 수 있다. Referring to FIG. 10, images according to focal lengths such as (d) (e) of FIG. 8 are various focal points (focal point A, focal point) such as (c) of FIG. 9 generated through a variable focus lens 320 B) can be reproduced on the basis of.

참고로, 도 10과 같이 사용자의 시력이 헤드 장착 디스플레이 장치(1)의 기본 광학 거리와 맞지 않을 경우에는 (a)와 같이 초점이 맞지 않아서 선명한 영상을 볼 수 없다. 또는 (b)와 같이 도수를 맞춘 안경 렌즈(G)를 착용하여야 좋은 화면을 볼 수 있으므로 안경 형태의 HMD를 사용함에 있어서 많은 애로점이 발생하게 된다. 그러나, 본 발명의 (c)와 같이 사용자의 시력에 맞는 초점 거리(focal point A, focal point B)를 제공함으로써 어떤 시력의 사용자도 안경이나 추가 렌즈 없이 선명한 영상을 볼 수 있게 된다. 즉, 시력 조정도 가능해진다. For reference, as shown in FIG. 10, when the user's eyesight does not match the basic optical distance of the head mounted display device 1, as shown in (a), the focus is out of focus and a clear image cannot be viewed. Alternatively, as shown in (b), since a good screen can be viewed only by wearing the spectacle lens (G) with the correct power, many difficulties arise when using a spectacle-type HMD. However, by providing a focal point A (focal point B) suitable for the user's eyesight as in (c) of the present invention, a user with any vision can see a clear image without glasses or an additional lens. In other words, vision adjustment is also possible.

도 11은 본 발명의 실시예에 따른 헤드 장착 디스플레이 장치(1)의 영상 재생 방법을 설명하기 위한 순서도이다. 11 is a flowchart illustrating an image reproducing method of the head mounted display device 1 according to an exemplary embodiment of the present invention.

도 11에 도시한 바와 같이, 영상 수신부(331)는 입력 영상을 수신하고 영상 원근 인식부(332)는 입력 영상의 원근 정보를 생성할 수 있다. 초점 거리별 영상 변환부(334)는 입력 영상을 원근 정보에 대응하는 각 초점별 영상으로 변환할 수 있다. 그리고, 동기화부(336)는 초점 거리 가변 제어 신호 발생부(335)에서 생성된 초점 거리 가변 제어 신호를 초점 거리별 영상 변환부(334)로부터 변환된 각 초점별 영상을 동기화할 수 있다. 동기화 신호를 기초로 컨트롤러(330)는 광을 각 초점별 영상에 각각 포커싱하도록 초점 가변 렌즈(320)를 제어할 수 있고, 이로서 초점이 가변된 각 개별 초점별 영상이 재생되게 된다. (S1110 내지 S1140)As shown in FIG. 11, the image receiving unit 331 may receive an input image, and the image perspective recognition unit 332 may generate perspective information of the input image. The image conversion unit 334 for each focal length may convert the input image into an image for each focus corresponding to the perspective information. Further, the synchronization unit 336 may synchronize the image for each focus converted from the image conversion unit 334 for each focal length on the variable focal length control signal generated by the variable focal length control signal generator 335. Based on the synchronization signal, the controller 330 may control the variable focus lens 320 to focus light on each focus image, thereby reproducing each individual focus image having a variable focus. (S1110 to S1140)

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, and the like described in the embodiments above are included in one embodiment of the present invention, and are not necessarily limited to one embodiment. Further, the features, structures, effects, and the like illustrated in each embodiment may be combined or modified for other embodiments by a person having ordinary knowledge in the field to which the embodiments belong. Accordingly, contents related to such combinations and modifications should be construed as being included in the scope of the present invention.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the embodiments have been described above, these are only examples and do not limit the present invention, and those of ordinary skill in the field to which the present invention belongs are illustrated above within the scope not departing from the essential characteristics of the present embodiment. It will be seen that various modifications and applications that are not available are possible. For example, each component specifically shown in the embodiment can be modified and implemented. And differences related to these modifications and applications should be construed as being included in the scope of the present invention defined in the appended claims.

Claims (8)

헤드 장착 디스플레이 장치에 있어서,
입력 영상을 출력하기 위한 디스플레이;
상기 디스플레이로부터 출력된 광을 상기 헤드 장착 디스플레이 장치의 착용자에게 지향하도록 하는 초점 가변 렌즈; 및
상기 초점 가변 렌즈의 초점 거리를 변경하기 위한 초점 거리 가변 제어 신호를 생성하는 컨트롤러;를 포함하고,
상기 컨트롤러는,
상기 입력 영상의 원근 정보를 생성하고, 상기 입력 영상을 상기 원근 정보에 대응하는 각 초점별 영상으로 변환하며, 상기 각 초점별 영상에 상기 초점 가변 렌즈의 상기 초점 거리를 변경하기 위한 상기 초점 거리 가변 제어 신호를 동기화하고, 상기 동기화 신호에 기초해 상기 광을 상기 각 초점별 영상에 각각 포커싱하도록 상기 초점 가변 렌즈를 제어하는,
헤드 장착 디스플레이 장치.In the head mounted display device,
A display for outputting an input image;
A variable focus lens for directing the light output from the display to a wearer of the head mounted display device; And
Including; a controller for generating a variable focal length control signal for changing the focal length of the variable focus lens,
The controller,
The focal length variable for generating perspective information of the input image, converting the input image into an image for each focus corresponding to the perspective information, and changing the focal length of the variable focus lens for each image for each focus Synchronizing a control signal and controlling the variable focus lens to focus the light on each focus image based on the synchronization signal,
Head mounted display device. 제 1항에 있어서,
상기 컨트롤러는 상기 입력 영상으로부터 상기 원근 정보에 기초하여 복수개의 개별적인 영상을 생성하고, 상기 복수개의 영상이 교차로 표시되는 과정에서 상기 각 초점별 영상을 생성하는,
헤드 장착 디스플레이 장치.The method of claim 1,
The controller generates a plurality of individual images based on the perspective information from the input image, and generates the images for each focus in the process of displaying the plurality of images at intersections,
Head mounted display device. 제 1항에 있어서,
영상입력센서;를 더 포함하고,
상기 컨트롤러는,
상기 영상입력센서가 상기 착용자의 눈의 움직임을 촬영하여 생성된 정보를 기초로 상기 입력 영상의 상기 원근 정보를 생성하는,
헤드 장착 디스플레이 장치.The method of claim 1,
The image input sensor; further includes,
The controller,
The image input sensor generates the perspective information of the input image based on information generated by photographing the movement of the wearer's eye,
Head mounted display device. 제 1항에 있어서,
상기 초점 가변 렌즈는 액정층과 전극을 포함하고,
상기 컨트롤러는 상기 전극에 인가되는 전기적 신호를 조절하여 상기 액정층의 동작을 제어함으로서 상기 광의 굴절율을 조정하는,
헤드 장착 디스플레이 장치.The method of claim 1,
The variable focus lens includes a liquid crystal layer and an electrode,
The controller adjusts the refractive index of the light by controlling the operation of the liquid crystal layer by controlling an electrical signal applied to the electrode,
Head mounted display device. 디스플레이 및 컨트롤러를 포함하는 헤드 장착 디스플레이 장치의 영상 재생 방법에 있어서,
입력 영상의 원근 정보를 생성하는 단계;
상기 입력 영상을 상기 원근 정보에 대응하는 각 초점별 영상으로 변환하는 단계;
상기 각 초점별 영상에 초점 가변 렌즈의 초점 거리를 변경하기 위한 초점 거리 가변 제어 신호를 동기화하는 단계; 및
상기 동기화 신호에 기초해 광을 상기 각 초점별 영상에 각각 포커싱하도록 상기 초점 가변 렌즈를 제어하는 단계; 를 포함하는,
헤드 장착 디스플레이 장치의 영상 재생 방법.In the image reproducing method of a head mounted display device comprising a display and a controller,
Generating perspective information of the input image;
Converting the input image into an image for each focus corresponding to the perspective information;
Synchronizing a variable focal length control signal for changing a focal length of a variable focal lens with the respective focal image; And
Controlling the variable focus lens to focus light on each focus image based on the synchronization signal; Containing,
Image playback method of head mounted display device. 제 5항에 있어서,
상기 초점별 영상 변환 단계는,
상기 입력 영상으로부터 상기 원근 정보에 기초하여 복수개의 개별적인 영상을 생성하고, 상기 복수개의 영상이 교차로 표시되는 과정에서 상기 각 초점별 영상을 생성하는,
헤드 장착 디스플레이 장치의 영상 재생 방법.The method of claim 5,
The step of converting the image for each focus,
Generating a plurality of individual images based on the perspective information from the input image, and generating the images for each focus while the plurality of images are displayed at intersections,
Image playback method of head mounted display device. 제 5항에 있어서,
상기 원근 정보 생성 단계는,
영상입력센서가 상기 헤드 장착 디스플레이 장치의 착용자의 눈의 움직임을 촬영하여 생성된 정보를 기초로 상기 입력 영상의 상기 원근 정보를 생성하는,
헤드 장착 디스플레이 장치의 영상 재생 방법.The method of claim 5,
The perspective information generation step,
An image input sensor generates the perspective information of the input image based on information generated by photographing the movement of the wearer's eye of the head mounted display device,
Image playback method of head mounted display device. 제 5항에 있어서,
상기 초점 가변 렌즈는 액정층과 전극을 포함하고,
상기 컨트롤러는 상기 전극에 인가되는 전기적 신호를 조절하여 상기 액정층의 동작을 제어함으로서 상기 광의 굴절율을 조정하는,
헤드 장착 디스플레이 장치의 영상 재생 방법.


The method of claim 5,
The variable focus lens includes a liquid crystal layer and an electrode,
The controller adjusts the refractive index of the light by controlling the operation of the liquid crystal layer by controlling an electrical signal applied to the electrode,
Image playback method of head mounted display device.
KR1020190031098A 2019-03-19 2019-03-19 Head mounded display apparatus and image reproducing method of the same KR20200111445A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190031098A KR20200111445A (en) 2019-03-19 2019-03-19 Head mounded display apparatus and image reproducing method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190031098A KR20200111445A (en) 2019-03-19 2019-03-19 Head mounded display apparatus and image reproducing method of the same

Publications (1)

Publication Number Publication Date
KR20200111445A true KR20200111445A (en) 2020-09-29

Family

ID=72661348

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190031098A KR20200111445A (en) 2019-03-19 2019-03-19 Head mounded display apparatus and image reproducing method of the same

Country Status (1)

Country Link
KR (1) KR20200111445A (en)

Similar Documents

Publication Publication Date Title
CN109073901B (en) Binocular wide-field-of-view (WFOV) wearable optical display system
KR101926577B1 (en) Expanded 3D stereoscopic display system
CA3161521C (en) Light projector using an acousto-optical control device
US11640064B2 (en) Wearable pupil-forming display apparatus
US20150262424A1 (en) Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
JPH09247711A (en) Stereoscopic video image display device
JP2014219621A (en) Display device and display control program
RU138628U1 (en) Augmented Reality Glasses
US11353711B1 (en) Wearable pupil-forming display apparatus
Schowengerdt et al. 47.4: Invited Paper: 3D Displays using Scanning Laser Projection
CN105158899A (en) Head-worn display system
CN207625712U (en) Vision display system and head-wearing display device
JP2018513656A (en) Eyeglass structure for image enhancement
US20210294119A1 (en) Display apparatus for rendering three-dimensional image and method therefor
CN107111143B (en) Vision system and film viewer
WO2023113956A1 (en) Eyewear including a non-uniform push-pull lens set
KR20200111445A (en) Head mounded display apparatus and image reproducing method of the same
CN207625713U (en) Vision display system and head-wearing display device
CN205899165U (en) Three -dimensional piece ware of seeing of visual system and wear -type
CN218524969U (en) Image display device and vehicle
CN109963145A (en) Vision display system and method and head-wearing display device
CN110703457A (en) Optical path system for naked eye 3D imaging
CN109963141A (en) Vision display system and method and head-wearing display device

Legal Events

Date Code Title Description
E601 Decision to refuse application