KR20220013306A - 증강 현실용 화상의 영상 보정 장치 - Google Patents

증강 현실용 화상의 영상 보정 장치 Download PDF

Info

Publication number
KR20220013306A
KR20220013306A KR1020210049311A KR20210049311A KR20220013306A KR 20220013306 A KR20220013306 A KR 20220013306A KR 1020210049311 A KR1020210049311 A KR 1020210049311A KR 20210049311 A KR20210049311 A KR 20210049311A KR 20220013306 A KR20220013306 A KR 20220013306A
Authority
KR
South Korea
Prior art keywords
image
augmented reality
function
reflector
pupil
Prior art date
Application number
KR1020210049311A
Other languages
English (en)
Other versions
KR102372048B1 (ko
Inventor
하정훈
박순기
Original Assignee
주식회사 레티널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 레티널 filed Critical 주식회사 레티널
Priority to KR1020210049311A priority Critical patent/KR102372048B1/ko
Publication of KR20220013306A publication Critical patent/KR20220013306A/ko
Application granted granted Critical
Publication of KR102372048B1 publication Critical patent/KR102372048B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/002—Arrays of reflective systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

본 발명은 증강 현실용 화상의 영상 보정 장치에 관한 것으로서, 증강 현실용 화상에 상응하는 증강 현실 화상광을 출사하는 화상 출사부; 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 사용자의 동공을 향해 투과시키는 광학 수단; 및 상기 광학 수단 내부에 배치되어 화상 출사부에서 출사된 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 복수개의 반사부를 구비하는 증강 현실용 광학 장치와 결합하는 증강 현실용 화상의 영상 보정 장치로서, 상기 화상 출사부에서 원본 증강 현실용 화상이 출사될 때, 상기 증강 현실용 광학 장치를 통해 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하는 보상 함수 결정부; 및 상기 보상 함수 결정부에서 결정된 보상 함수와 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하는 보정 화상 정보 생성부를 포함하고, 상기 화상 출사부는 상기 보정 화상 정보 생성부에서 생성된 보정 증강 현실용 화상 정보에 상응하는 보정 증강 현실 화상광을 출사하고, 상기 복수개의 반사부는 상기 화상 출사부에서 출사된 보정 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치를 제공한다.

Description

증강 현실용 화상의 영상 보정 장치{APPARATUS FOR COMPENSATION FOR AUGMENTED REALITY IMAGE}
본 발명은 증강 현실용 화상의 영상 보정 장치에 관한 것으로서, 보다 상세하게는 균일한 휘도 분포를 갖는 증강 현실용 화상을 제공할 수 있는 증강 현실용 화상의 영상 보정 장치에 관한 것이다.
증강 현실(AR, Augmented Reality)이라 함은, 주지된 바와 같이, 현실 세계의 실제 영상에 컴퓨터 등에 의해 제공되는 가상의 영상이나 이미지를 겹쳐서 제공하는 것을 의미한다.
이러한 증강 현실을 구현하기 위해서는, 컴퓨터와 같은 디바이스에 의해 생성되는 가상의 영상이나 이미지를 현실 세계의 영상에 겹쳐서 제공할 수 있도록 하는 광학계를 필요로 한다. 이러한 광학계로서는 HMD(Head Mounted Display)나 안경형의 장치를 이용하여 가상 영상을 반사 또는 굴절시키는 프리즘 등과 같은 광학 수단을 사용하는 기술이 알려져 있다.
그러나, 이러한 종래의 광학계를 이용한 장치들은, 그 구성이 복잡하여 무게와 부피가 상당하므로 사용자가 착용하기에 불편함이 있고 제조 공정 또한 복잡하므로 제조 비용이 높다는 문제가 있다.
또한, 종래의 장치들은, 사용자가 현실 세계를 응시할 때 초점 거리를 변경하는 경우 가상 영상의 초점이 맞지 않게 된다는 한계가 있다. 이를 해결하기 위하여 가상 영상에 대한 초점 거리를 조절할 수 있는 프리즘과 같은 구성을 이용하거나 초점 거리의 변경에 따라 가변형 초점 렌즈를 전기적으로 제어하는 등의 기술이 제안되어 있다. 그러나, 이러한 기술 또한 초점 거리를 조절하기 위하여 사용자가 별도의 조작을 해야 하거나 초점 거리의 제어를 위한 별도의 프로세서 등과 같은 하드웨어 및 소프트웨어를 필요로 한다는 점에서 문제가 있다.
이와 같은 종래 기술의 문제점을 해결하기 위하여, 본 출원인은 특허 문헌 1에 기재된 바와 같이, 사람의 동공보다 작은 크기의 반사부를 이용하여 가상 영상 즉, 증강 현실용 화상을 동공을 통해 망막에 투영함으로써 증강 현실을 구현할 수 있는 장치를 개발한 바 있다.
도 1은 본 출원인에 의해 출원된 특허 문헌 1에 개시된 바와 같은 증강 현실용 광학 장치(100)를 나타낸 도면이다.
도 1의 증강 현실용 광학 장치(100)는, 광학 수단(10), 반사부(20), 화상 출사부(30) 및 프레임부(40)를 포함한다.
광학 수단(10)은 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 투과시키는 수단으로써 예컨대 안경 렌즈일 수 있으며, 그 내부에는 반사부(30)가 매립 배치되어 있다. 또한, 광학 수단(10)은 반사부(20)로부터 반사된 증강 현실 화상광을 동공으로 전달하도록 투과시키는 기능도 수행한다.
프레임부(40)는 화상 출사부(30)와 광학 수단(10)을 고정 및 지지하는 수단으로서, 예컨대 안경테와 같은 것일 수 있다.
화상 출사부(30)는 가상 영상 즉, 증강 현실용 화상에 상응하는 화상광인 증강 현실 화상광을 출사하는 수단으로서, 예컨대 증강 현실용 화상을 화면에 표시하여 증강 현실 화상광을 방사하는 소형 디스플레이 장치와 디스플레이 장치로부터 방사되는 화상광을 평행광으로 시준하기 위한 콜리메이터(collimator)를 구비할 수 있다.
반사부(20)는 화상 출사부(30)로부터 출사된 증강 현실용 화상광을 사용자의 동공(50)을 향해 반사시킴으로써 증강 현실용 화상을 제공한다.
도 1의 반사부(20)는, 사람의 일반적인 동공의 크기보다 작은 크기 즉, 8mm 이하로 형성되어 있는데, 반사부(20)를 동공보다 작게 형성하면, 반사부(20)를 통해 동공으로 입사하는 빛에 대한 심도를 거의 무한대에 가깝게 즉, 심도를 매우 깊게 할 수 있다.
심도(Depth of Field)란, 초점이 맞는 것으로 인식되는 범위를 말하는데, 심도가 깊어진다는 것은 증강 현실용 화상에 대한 초점 거리도 깊어진다는 것을 의미한다. 따라서, 심도가 깊어지면, 사용자가 실제 세계를 응시하면서 실제 세계에 대한 초점 거리를 변경하더라도 이와 관계없이 증강 현실용 화상의 초점은 항상 맞는 것으로 인식하게 된다. 이는 일종의 핀홀 효과(pinhole effect)라고 볼 수 있다. 따라서, 사용자가 실제 세계에 존재하는 실제 사물을 응시하면서 초점 거리를 변경하더라도 증강 현실용 화상에 대해서는 항상 선명한 가상 영상을 볼 수 있다.
도 2 및 도 3은 반사부(20)를 복수개 배치한 증강 현실용 광학 장치(200)를 나타낸 것으로서, 도 2는 증강 현실용 광학 장치(200)의 측면도이고, 도 3은 증강 현실용 광학 장치(200)의 정면도이다.
도 2 및 도 3은 도 1의 증강 현실용 광학 장치(100)와 기본적으로 동일하되, 보다 넓은 시야각을 제공할 수 있도록 반사부(20)가 복수개의 어레이(array) 형태로 배치되어 있다는 점에서만 차이가 있다.
즉, 도 2 및 도 3의 증강 현실용 광학 장치(200)에서의 반사부(20)는 4×9 어레이 형태로 배치되며, 각각의 반사부(20)들이 화상 출사부(30)로부터 출사되는 증강 현실용 화상을 전달받을 수 있도록, 도 2에 나타낸 바와 같이 증강 현실용 광학 장치(200)를 측면에서 보았을 때 아래쪽의 행을 구성하는 반사부(20)들이 동공(50)에 보다 더 가깝게 위치하도록 배치한다.
화상 출사부(30)는 컴퓨터, 스마트폰 등과 같은 영상 재생 장치(미도시)로부터 화상 출사부(30)에서 증강 현실 화상을 표시할 수 있도록 하는 증강 현실 화상 정보를 전달받아 증강 현실 화상 정보에 상응하는 증강 현실 화상광을 출사하여 복수개의 반사부(20)로 전달한다.
복수개의 반사부(20)는 화상 출사부(30)로부터 출사된 증강 현실 화상광을 반사시켜 사용자의 눈의 동공(50)으로 전달함으로써 사용자에게 증강 현실 화상광에 상응하는 증강 현실 화상을 제공하게 된다.
이러한 복수개의 반사부(20)를 갖는 증강 현실용 광학 장치(200)는 보다 넓은 시야각을 제공할 수 있다는 장점이 있으나, 사용자에게 제공되는 증강 현실용 화상의 휘도 분포가 균일하지 않다는 문제점이 있다.
도 4는 도 2 및 도 3의 증강 현실용 광학 장치(200)를 통해 사용자가 관측하는 증강 현실용 화상의 휘도 분포의 불균일 문제를 설명하기 위한 도면이다.
도 4의 (A)는 증강 현실용 화상이 화상 출사부(30)에서 표시된 상태의 화면을 나타낸 것이고, 도 4의 (B)는 도 4의 (A)의 증강 현실용 화상을 증강 현실용 광학 장치(200)를 통해 사용자가 관측하는 관찰 영상(observed image)인 증강 현실용 화상을 나타낸 것으로서, 도 4에서는 본 발명의 원리를 설명하기 위해 화면의 명암이 다소 과장되게 표현되어 있음을 유의해야 한다.
도 4의 (A)에 나타낸 바와 같이, 휘도 분포가 균일한 증강 현실용 화상이 화상 출사부(30)의 디스플레이부에 표시된다. 그렇지만, 이러한 증강 현실용 화상이 복수개의 반사부(20)를 거쳐 동공(50)으로 전달되면, 도 4의 (B)에 나타낸 바와 같이 휘도 분포가 균일하지 않은 영상을 사용자가 관찰하게 된다.
도 4의 (B)에서 흰색으로 나타낸 부분은 인접하는 반사부(20)에서 반사된 빛으로 인하여 주변 영역보다 더 밝게 보이는 영역이다.
이러한 휘도 분포의 불균일성은, 반사부(20)의 형상, 크기 및 배열 구조와 동공 지름, 접안 거리(동공과 반사부(20)의 거리, eye relief), 안구의 초점 위치, 안구의 수평 위치 등과 관련되어 있다.
따라서, 복수개의 반사부(20)를 이용한 증강 현실용 광학 장치(200)에 있어서 휘도 분포의 불균일성으로 인하여 사용자가 최종적으로 관찰하게 되는 증강 현실용 화상이 불명확하거나 선명하지 못하다는 문제가 발생할 수 있다.
대한민국 등록특허공보 10-1660519호(2016.09.29 공고)
상기한 바와 같은 문제점을 해결하기 위하여 본 발명은, 복수개의 반사부를 사용하여 증강 현실용 화상을 제공하는 증강 현실용 광학 장치에 있어서, 휘도 분포가 불균일한 문제점을 해결할 수 있도록 증강 현실용 화상의 휘도 분포 정보를 사전에 보정함으로써, 균일한 휘도 분포를 갖는 증강 현실용 화상을 제공할 수 있는 증강 현실용 화상의 영상 보정 장치를 제공하는 것을 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 증강 현실용 화상에 상응하는 증강 현실 화상광을 출사하는 화상 출사부; 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 사용자의 동공을 향해 투과시키는 광학 수단; 및 상기 광학 수단 내부에 배치되어 화상 출사부에서 출사된 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 복수개의 반사부를 구비하는 증강 현실용 광학 장치와 결합하는 증강 현실용 화상의 영상 보정 장치로서, 상기 화상 출사부에서 원본 증강 현실용 화상이 출사될 때, 상기 증강 현실용 광학 장치를 통해 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하는 보상 함수 결정부; 및 상기 보상 함수 결정부에서 결정된 보상 함수와 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하는 보정 화상 정보 생성부를 포함하고, 상기 화상 출사부는 상기 보정 화상 정보 생성부에서 생성된 보정 증강 현실용 화상 정보에 상응하는 보정 증강 현실 화상광을 출사하고, 상기 복수개의 반사부는 상기 화상 출사부에서 출사된 보정 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치를 제공한다.
여기에서, 상기 보상 함수 결정부는,
Figure pat00001
(α는 스케일링 팩터(scaling factor)이며,
Figure pat00002
는 반사부의 형태 함수이고,
Figure pat00003
는 반사부의 배열 함수이고,
Figure pat00004
는 안구 점확산 함수(Eye Point Spread Function, PSF)이고, *는 컨볼루션 연산자(convolution operator))의 수식에 의해 보상 함수를 결정할 수 있다.
또한, 상기 반사부의 형태 함수
Figure pat00005
는,
Figure pat00006
(여기서, x,y는 반사부가 배치된 평면을 2차원 좌표계로 표시할 때의 좌표값이고, r은 반사부의 반지름이며,
Figure pat00007
은 r보다 작으면 1이고, 다른 경우에는 0을 가짐)에 의해 결정될 수 있다.
또한, 상기 반사부의 배열 함수
Figure pat00008
는 복수개의 반사부들의 중심의 위치를 나타내는 함수일 수 있다.
또한, 상기 반사부의 배열 함수
Figure pat00009
는,
Figure pat00010
(여기에서, h는 가로 방향의 반사부의 갯수이고, w는 세로 방향의 반사부의 갯수이고, wh는 반사부의 가로 방향의 간격이고, wv는 반사부의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이고, x,y는 반사부가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부의 좌표값임)의 수식에 의해 결정될 수 있다.
또한, 상기 반사부의 배열 함수
Figure pat00011
는,
Figure pat00012
(여기에서, h는 가로 방향의 반사부의 갯수이고, w는 세로 방향의 반사부의 갯수이고, wh는 반사부의 가로 방향의 간격이고, wv는 반사부의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이고, x,y는 반사부가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부의 좌표값임)의 수식에 의해 결정될 수 있다.
또한, 상기 안구 점확산 함수는 동공의 지름, 기준 영상 거리 및 접안 거리에 기초하여 결정될 수 있다.
또한, 상기 안구 점확산 함수는,
Figure pat00013
(여기서, c는 블러 직경(blur diameter)이며,
Figure pat00014
임)에 의해 결정될 수 있다.
또한, 상기 보정 화상 정보 생성부는, "보정 증강 현실용 화상 정보 = 원본 증강 현실용 화상 정보×보상 함수"의 수식에 의해 보정 증강 현실용 화상 정보를 생성할 수 있다.
또한, 상기 영상 보정 장치는 기준 영상 거리를 측정하는 깊이 카메라를 더 포함하고, 상기 보상 함수 결정부는, 상기 깊이 카메라로부터 기준 영상 거리를 수신하여 안구 점확산 함수를 계산할 수 있다.
또한, 상기 영상 보정 장치는, 동공의 지름 및 접안 거리를 측정하는 안구 추적 장치를 더 포함하고, 상기 보상 함수 결정부는, 상기 안구 추적 장치로부터 동공의 지름 및 접안 거리를 수신하여 안구 점확산 함수를 계산할 수 있다.
또한, 상기 보상 함수 결정부는, 상기 안구 추적 장치로부터 동공의 상대 위치 정보를 수신하여 반사부의 배열 함수의 오프셋값을 계산하고, 이에 기초하여 반사부의 배열 함수
Figure pat00015
를 결정할 수 있다.
본 발명에 의하면, 복수개의 반사부를 사용하여 증강 현실용 화상을 제공하는 증강 현실용 광학 장치에 있어서, 휘도 분포가 불균일한 문제점을 해결할 수 있도록 증강 현실용 화상의 휘도 분포 정보를 사전에 보정함으로써, 균일한 휘도 분포를 갖는 증강 현실용 화상을 제공할 수 있는 증강 현실용 화상의 영상 보정 장치를 제공할 수 있다.
도 1은 본 출원인에 의해 출원된 특허 문헌 1에 개시된 바와 같은 증강 현실용 광학 장치(100)를 나타낸 도면이다.
도 2 및 도 3은 반사부(20)를 복수개 배치한 증강 현실용 광학 장치(200)를 나타낸 것으로서, 도 2는 증강 현실용 광학 장치(200)의 측면도이고, 도 3은 증강 현실용 광학 장치(200)의 정면도이다.
도 4는 도 2 및 도 3의 증강 현실용 광학 장치(200)를 통해 사용자가 관측하는 증강 현실용 화상의 휘도 분포의 불균일 문제를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 의한 증강 현실용 화상의 영상 보정 장치(300) 및 증강 현실용 광학 장치(200)를 나타낸 도면이다.
도 6은 반사부(20)의 배열 함수의 다른 예를 나타낸 것이다.
도 7은 안구 점확산 함수의 일예를 나타낸 도면이다.
도 8은 안구 점확산 함수의 c, da, do, dm을 설명하기 위한 도면이다.
도 9는 안구 점확산 함수의 또 다른 일예를 나타낸 것이다.
도 10은 사용자가 관찰하는 관찰 영상의 휘도 분포가 반사부(20)의 형태 함수, 반사부(20)의 배열 함수 및 안구 점확산 함수의 컨볼루션 연산에 의해 표현되는 원리를 나타낸 것이다.
도 11은 사용자가 관찰하는 관찰 영상을 사전 보정함으로써 균일한 휘도 분포를 갖는 관찰 영상을 얻을 수 있는 본 발명의 원리를 설명하기 위한 것이다.
도 12는 본 발명에 의한 영상 보정 장치(300)가 적용된 경우의 관찰 영상을 영상 보정 장치(300)가 적용되지 않은 경우의 관찰 영상과 비교하여 나타낸 것이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.
도 5는 본 발명의 일실시예에 의한 증강 현실용 화상의 영상 보정 장치(300) 및 증강 현실용 광학 장치(200)를 나타낸 도면이다.
도 5의 실시예의 증강 현실용 화상의 영상 보정 장치(300, 이하, 간단히 "영상 보정 장치(300)"라 한다)는, 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하고, 생성된 보정 증강 현실용 화상 정보를 증강 현실용 광학 장치(200)의 화상 출사부(30)로 전송함으로써, 증강 현실 광학 장치(200)를 통해 균일한 휘도 분포를 갖는 보정 증강 현실용 화상이 사용자에게 제공되도록 하는 기능을 수행한다.
영상 보정 장치(300)는 보상 함수 결정부(310) 및 보정 화상 정보 생성부(320)를 포함하는데, 이에 대해서는 후술하기로 하고, 우선, 본 발명에 의한 영상 보정 장치(300)가 적용되는 증강 현실용 광학 장치(200)의 구성 및 동작에 대해 개략적으로 설명한다.
증강 현실용 광학 장치(200)는 앞서 도 2 및 도 3을 참조하여 배경 기술에서 설명한 바와 같이, 광학 수단(10), 복수개의 반사부(20) 및 화상 출사부(30)를 구비한다.
광학 수단(10)은, 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 사용자의 눈의 동공(50)을 향해 투과시키는 수단이며, 복수개의 반사부(20)는 상기 광학 수단(10) 내부에 배치되어 화상 출사부(30)에서 출사된 보정 증강 현실 화상광을 반사시켜 사용자의 동공(50)으로 전달하는 수단이다.
여기에서, 복수개의 반사부(20) 각각은, 앞서 배경 기술에서 설명한 바와 같이, 심도를 깊게 하여 핀홀 효과를 얻을 수 있도록 사람의 평균적인 동공 크기보다 작은 크기 즉, 8mm 이하, 보다 바람직하게는 4mm 이하로 형성된다.
화상 출사부(30)는 영상 보정 장치(300)로부터 보정 증강 현실용 화상 정보를 수신하고, 이에 상응하는 보정 증강 현실 화상광을 출사하는 수단이다. 화상 출사부(30)는 예컨대 소형의 LCD와 같은 디스플레이 장치와 콜리메이터로 구성될 수 있다. 이러한 화상 출사부(30) 자체는 본 발명의 직접적인 목적이 아니며 종래 기술에 의해 알려져 있는 것이므로 상세 설명은 생략한다.
도 5에서, 복수개의 반사부(20)가 화상 출사부(30)로부터 직접 보정 증강 현실 화상광을 전달받는 것으로 나타내었으나, 이는 예시적인 것이며, 화상 출사부(30)로부터의 보정 증강 현실 화상광은 광학 수단(10)의 내면에서 적어도 1회 이상 전반사되어 반사부(20)로 전달되도록 구성할 수도 있음은 물론이다.
또한, 복수개의 반사부(20)는 앞서 설명한 바와 같이, 광학 수단(10)의 측면에서 볼 때 아래쪽의 행을 구성하는 반사부(20)들이 동공(50)에 보다 더 가깝게 위치하도록 배치되어 있으나 이 또한 예시적인 것이며, 다른 배치 구조를 가질 수도 있음은 물론이다.
즉, 본 발명에 의한 영상 보정 장치(300)가 적용되는 증강 현실용 광학 장치(200)는, 반사부(20)의 구체적인 배치 구조나 화상 출사부(30)로부터 동공(50) 사이에서의 광경로에 있어서 특별한 제한이 없으며, 복수개의 반사부(20)를 사용하여 증강 현실 화상광을 사용자의 동공(50)으로 전달하는 증강 현실용 광학 장치(200)에는 모두 적용될 수 있다.
다음으로, 영상 보정 장치(300)에 대해 설명한다.
영상 보정 장치(300)는 보상 함수 결정부(310)와 보정 화상 정보 생성부(320)를 포함한다.
보상 함수 결정부(310)는 화상 출사부(30)에서 원본 증강 현실용 화상이 출사될 때 증강 현실용 광학 장치(200)를 통해 사용자가 관찰하는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하고, 보정 화상 정보 생성부(320)는 상기 보상 함수 결정부(310)에서 결정된 보상 함수에 기초하여 보정 증강 현실용 화상 정보를 생성하는 기능을 수행한다.
우선, 보상 함수 결정부(310)는, 예컨대 컴퓨터나 스마트폰과 같은 디바이스에 포함된 영상 재생 장치(미도시)로부터 원본 증강 현실용 화상 정보를 수신하고, 이에 기초하여 원본 증강 현실용 화상이 화상 출사부(30)를 통해 출사될 때 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하여 보정 화상 정보 생성부(320)로 전송한다.
여기에서, 증강 현실용 화상 정보란, 증강 현실용 화상이 화상 출사부(30)에서 증강 현실용 화상광으로 출사될 수 있도록 하는 정보로서, 화상 출사부(30)에 포함된 디스플레이부(미도시)에 증강 현실용 화상을 표시하기 위한 정보를 의미한다.
일반적으로 디스플레이부에서 화상을 표시하기 위한 정보는, 해당 화상이 m×n개의 화소(pixel)로 구성된 경우, 각 화소에 대한 R(red),G(green),B(blue) 색상별 세기(intensity value)값으로 구성되는 m×n×3의 3차원 배열(array)로 구성된다. 여기에서, 각 화소의 R(red),G(green),B(blue) 색상별 세기값은 해당 화소의 R,G,B 색상별 휘도에 대응한다. 세기 값의 범위는 보통 0~255 사이의 값을 가지도록 8비트로 표현되고, 각 색상별 조합을 통해 256×256×256가지의 조합을 가질 수 있다.
증강 현실용 화상 정보 또한 화상 출사부(30)에 포함되는 디스플레이부에서 증강 현실용 화상을 표시할 수 있도록, 해당 증강 현실용 화상이 m×n개의 화소(pixel)로 구성된 경우, 각 화소에 대한 R,G,B 색상별 세기값으로 구성되는 m×n×3의 3차원 배열로 구성되며, 이는 행렬(matrix)로 표기할 수 있다.
한편, 본 발명에서, "원본(original)" 증강 현실용 화상 정보란, 본 발명에 의한 영상 보정 장치(300)에 의해 휘도 정보의 보정이 이루어지지 않은 상태의 증강 현실용 화상에 대한 화상 정보를 의미하고, "보정(pre-compensated)" 증강 현실용 화상 정보는 본 발명에 의한 영상 보정 장치(300)에 의해 보정된 휘도 정보를 갖는 보정 증강 현실용 화상에 대한 화상 정보를 의미한다.
원본 증강 현실용 화상이 화상 출사부(30)를 통해 출사될 때 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수(compensation function)는 다음과 같은 수식에 의해 결정할 수 있다.
Figure pat00016
여기에서, α는 스케일링 팩터(scaling factor)로서, 보정 증강 현실용 화상의 휘도가 화상 출사부(30)의 디스플레이부가 표현할 수 있는 범위를 초과하는 경우, 이를 디스플레이부가 표현할 수 있는 범위에 상응하도록 정규화(normalization)하기 위한 값이다. 이는 보정 증강 현실용 화상의 최대값에 따라서 변동될 수 있다.
또한,
Figure pat00017
는 반사부(20)의 형태 함수이고,
Figure pat00018
는 반사부(20)의 배열 함수이고,
Figure pat00019
는 안구 점확산 함수(Eye Point Spread Function, PSF)이고, *는 컨볼루션 연산자(convolution operator)이다. 또한, x,y는 반사부(20)가 배치된 평면 또는 망막을 2차원 좌표계로 표시할 때의 x축 및 y축의 좌표값을 의미한다.
반사부(20)의 형태 함수
Figure pat00020
는, 반사부(20)의 형상을 수학적으로 나타낸 함수로서, 예컨대 반사부(20)가 원형인 경우 다음과 같이 정의할 수 있다.
Figure pat00021
여기서, x,y는 반사부(20)가 배치된 평면을 2차원 좌표계로 표시할 때의 좌표값이고, r은 반사부(20)의 반지름이다.
또한,
Figure pat00022
은 r보다 작으면 1이고, 다른 경우에는 0을 갖는다.
반사부(20)의 배열 함수(
Figure pat00023
)는, 반사부(20)들이 배치된 평면에서 반사부(20)들의 배치 구조를 기술하는 함수로서, 각 반사부(20)들의 중심의 위치를 반사부(20)가 배치된 평면의 2차원 좌표계에 표시하는 함수이다.
예컨대, 복수개의 반사부(20)들이 2차원의 격자 형태로 배열되어 있다고 가정하면, 각 반사부(20)들의 중심의 위치를 나타내는 반사부(20)의 배열 함수는 아래와 같이 정의할 수 있다.
Figure pat00024
여기에서, h는 가로 방향의 반사부(20)의 갯수이고, w는 세로 방향의 반사부(20)의 갯수이고, wh는 반사부(20)의 가로 방향의 간격이고, wv는 반사부(20)의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이다. 또한, x,y는 반사부(20)가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부(20)의 좌표값이다.
도 6은 반사부(20)의 배열 함수의 다른 예를 나타낸 것이다.
도 6을 참조하면, 복수개의 반사부(20)들이 육각형의 2차원 격자 형태로 배열되어 있으며, 각 행은 wv만큼 떨어져 있고, 각 열은 wh/2 만큼 떨어지도록 배치되어 있다.
이러한 경우에는 반사부(20)의 배열 함수는 아래와 같이 정의할 수 있다.
Figure pat00025
상기 수식에서 좌측의 시그마 연산은 좌측으로부터 홀수번째 열의 반사부(20)의 배열을 나타낸 것이고, 우측의 시그마 연산은 짝수번째 열의 반사부(20)의 배열을 나타낸 것이다.
여기에서, h는 가로 방향의 반사부(20)의 갯수이고, w는 세로 방향의 반사부(20)의 갯수이고, wh는 반사부(20)의 가로 방향의 간격이고, wv는 반사부(20)의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이다. 또한, x,y는 반사부(20)가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부(20)의 좌표값이다.
안구 점확산 함수(Eye Point Spread Function,
Figure pat00026
)는 동공(50)에서 거리 dm만큼 떨어진 곳에 있는 점 광원을 관찰할 때 망막에 맺히는 영상의 세기(intensity)값의 망막 면에서의 2차원 공간 분포 함수를 의미한다.
도 7은 안구 점확산 함수의 일예를 나타낸 도면이다.
도 7의 안구 점확산 함수는, 아래와 같은 가우시안 분포(Gaussian distribution)에 의해 정의할 수 있다.
Figure pat00027
여기에서, c는 블러 직경(blur diameter)이며,
Figure pat00028
로 정의된다.
또한, da는 동공(50)의 지름이며, do는 기준 영상 거리(증강 현실용 화상에 포함된 객체에 대한 초점 위치), dm은 접안 거리(동공(50)과 반사부(20)의 거리, eye relief)이고, x,y는 망막을 2차원 좌표계로 표시할 때의 좌표값을 의미한다.
도 8은 안구 점확산 함수의 c, da, do, dm을 설명하기 위한 도면이다.
도 8을 참조하면, da는 동공(50)의 지름이고, dm은 접안 거리(eye relief, 동공(50)으로부터 반사부(20)까지의 거리)이다.
또한, do는 기준 영상 거리로서, 증강 현실용 화상에 포함된 객체인 가상 물체의 위치인 초점 위치와 동공(50) 사이의 거리를 의미한다.
한편, c는 블러 직경으로서 하나의 점 광원이 반사부(20)를 통해 망막에 투명되었을 때 점광원이 번져 보이는 착란원(circle of confusion)의 직경을 의미한다.
Figure pat00029
의 수식은 도 8에 나타낸 바와 같은 삼각형들의 비례식에 의해 유도될 수 있다.
도 9는 안구 점확산 함수의 또 다른 일예를 나타낸 것이다.
도 9의 안구 점확산 함수는 원점에서 동공(50)의 반지름에 해당하는 위치에서의 휘도가 가장 높게 나타나고 동공(50) 중심에 해당하는 위치의 휘도가 다소 낮게 나타나며, 동공(50)의 반지름보다 바깥쪽에서는 휘도가 급격히 낮아지는 분포를 보이고 있음을 알 수 있다.
도 9의 안구 점확산 함수는
Figure pat00030
로 일반화하여 나타낼 수 있는데, 여기에서 첨자로 표시한 da, do, dm은 안구 점확산 함수가 이들 값에 의해 변화되는 것을 의미한다.
이러한 안구 점확산 함수는, 사람의 안구 특성에 의해 결정되는 함수로서, 개인별 안구 점확산 함수는 사람 별로 시력, 나이, 안구 상태 등에 따라 안구 점확산 함수의 세부적인 형태는 달라질 수 있으나, 일반적으로 중심부가 밝은 동심원 형태를 띠게 되고, 개인별 안구 점확산 함수는 동공 지름, 기준 영상 거리, 접안 거리에 따라서 변화하지만, 동일한 조건에서는 동일한 값을 갖는다.
한편, 도 7 및 도 9에서 안구 점확산 함수는 설명의 편의를 위하여 1차원 함수로 표현하였으나, 실제로는 망막 면에 따른 분포 함수이므로, 망막의 위치 (x,y)에 따라 변하는 2차원 함수라는 점을 유의해야 한다.
또한, 도 7 및 도 9에서 나타낸 안구 점확산 함수는 예시적인 것이며, 기타 다른 안구 점확산 함수를 사용할 수도 있음은 물론이다.
이러한 반사부(20)의 형태 함수(
Figure pat00031
), 반사부(20)의 배열 함수(
Figure pat00032
) 및 안구 점확산 함수(
Figure pat00033
) 그리고 스케일링 팩터(α)에 의해 보상 함수를 결정할 수 있는데, 이는 아래와 같은 원리에 기초한 것이다.
사용자가 관찰하는 관찰 영상은 화상 출사부(30)에서 출사된 증강 현실용 화상이 반사부(20)에서 반사되어 동공(50)을 통해 망막에 투영된 영상이므로, 사용자가 관찰하는 관찰 영상의 휘도는 반사부(20)의 형태 함수(
Figure pat00034
), 반사부(20)의 배열 함수(
Figure pat00035
) 및 안구 점확산 함수(
Figure pat00036
)의 컨볼루션 연산(convolution operation)에 원본 증강 현실용 화상을 곱한 값의 결과로 나타낼 수 있다.
도 10은 사용자가 관찰하는 관찰 영상의 휘도 분포가 반사부(20)의 형태 함수, 반사부(20)의 배열 함수 및 안구 점확산 함수의 컨볼루션 연산에 의해 표현되는 원리를 나타낸 것이다.
도 10의 (A)에 나타낸 바와 같이, 원본 영상(original image)은 위치에 관계없이 동일한 휘도 분포를 가지고, (B)에 나타낸 바와 같은 폭 및 간격을 가지고 반사부(20)가 배치되고, (C)에 나타낸 바와 같은 안구 점확산 함수를 가진다고 할 때, 최종적으로 사용자가 관찰하는 관찰 영상(Observed image)의 휘도는 도 10의 (D)에 나타낸 바와 같이, 반사부(20)의 형태 함수(
Figure pat00037
), 반사부(20)의 배열 함수(
Figure pat00038
) 및 안구 점확산 함수(Eye Point Spread Function, PSF,
Figure pat00039
)의 컨볼루션 연산의 결과에 원본 영상을 곱한 값에 의해 표현됨을 알 수 있다.
여기서, 원본 영상을 반사부(20)의 형태 함수, 반사부(20)의 배열 함수 및 안구 점확산 함수의 컨볼루션 연산의 결과에 곱한다는 것은, 앞서 설명한 바와 같이 원본 영상이 m×n개의 화소(pixel)로 구성된 경우, 각 화소의 R,G,B 색상별 세기값으로 구성되는 m×n×3개의 화소 행렬과
Figure pat00040
의 결과를 행렬의 성분별로 곱셈 연산을 수행한다는 의미이다.
즉, 관찰 영상의 휘도 분포는,
Figure pat00041
에 의해 얻을 수 있다.
한편, 도 10의 (D)에 나타낸 바와 같은 최종 관찰 영상은, (A)에서 원본 영상의 휘도 분포가 균일했던 것과는 달리, (B) 및 (C)에서의 컨볼루션 연산의 결과 즉,
Figure pat00042
에 의해 위치에 따라 균일하지 않은 휘도 분포를 나타냄을 알 수 있다.
이러한 원리를 고려하여, 최종 관찰 영상의 휘도 분포를 균일하게 할 수 있도록 화상 출사부(30)로 전달되는 증강 현실용 화상 정보를 사전에 보정할 수 있다면 균일한 휘도 분포를 갖는 최종 관찰 영상을 얻을 수 있을 것이다.
도 11은 사용자가 관찰하는 관찰 영상을 사전 보정함으로써 균일한 휘도 분포를 갖는 관찰 영상을 얻을 수 있는 본 발명의 원리를 설명하기 위한 것이다.
도 11의 (B) 및 (C)는 도 10의 (B) 및 (C)와 동일하며, 원본 영상 대신 도 11의 (A)에 나타낸 바와 같은 휘도 분포를 갖는 사전 보정 영상(Pre-compensated image)이 입력된다는 점에서 도 10에서와 차이가 있다.
도 10에서 설명한 바와 같이, 관찰 영상의 휘도 분포는 사전 보정 영상×
Figure pat00043
에 의해 얻을 수 있으므로, 도 11의 (A)와 같은 휘도 분포를 갖는 사전 보정 영상에 대한 최종 관찰 영상은 (D)에 나타낸 바와 같이 균일한 휘도 분포를 갖게 된다.
이러한 원리에 기초하여, 보상 함수 결정부(310)는 보상 함수를
Figure pat00044
의 수식으로 결정한다.
한편, 반사부(20)의 형태 및 배열은 증강 현실용 광학 장치(200)를 제조할 때 미리 결정되어 있으므로 반사부(20)의 형태 함수 및 배열 함수는 사전에 알 수 있는 값들이고, 안구 점확산 함수에서 동공(50)의 지름 즉, da를 제외하고, do, dm 또한 증강 현실용 광학 장치(200)를 설계할 때 미리 설정되어 특별히 변경되지 않는 값이다.
따라서, 보상 함수는 증강 현실용 광학 장치(200)의 사용자의 동공(50)의 지름만 측정하면 계산할 수 있다.
사용자의 동공(50)의 지름은, 증강 현실용 화상에 포함되어 표시되는 주요 객체의 깊이 정보, 원본 증강 현실용 화상의 휘도 정보 등에 따라 변하는데, 주요 객체의 깊이 정보, 원본 증강 현실용 화상의 휘도 정보 또한 미리 알 수 있는 값이므로 이들 값에 상응하는 사용자의 동공(50)의 지름의 평균값을 미리 실험적으로 구해 두면 보상 함수를 간편하게 얻을 수 있다.
다음으로, 보정 화상 정보 생성부(320)에 대해 설명한다.
보정 화상 정보 생성부(320)는, 보상 함수 결정부(310)에서 결정된 보상 함수와 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하여 화상 출사부(30)로 전달하는 기능을 수행한다.
여기에서, 보정 증강 현실용 화상 정보는, 다음과 같은 수식에 의하여 얻을 수 있다.
보정 증강 현실용 화상 정보 = 원본 증강 현실용 화상 정보×보상 함수
이는 앞서 설명한 바와 같이, 원본 증강 현실용 화상이 m×n개의 화소로 구성된 경우, 각 화소의 R,G,B 색상별 세기값으로 구성되는 m×n×3개의 화소 행렬과 보상 함수를 행렬의 성분별로 곱셈 연산을 수행한다는 의미이다.
이에 의해 생성되는 보정 증강 현실용 화상 정보에 의한 보정 증강 현실용 화상의 휘도 분포는, 도 11의 (A)에 표현된 것과 같다.
이러한 보정 증강 현실용 화상 정보를 전달받은 화상 출사부(30)는 이에 상응하는 보정 증강 현실 화상광을 출사하고, 반사부(20)는 보정 증강 현실 화상광을 반사시켜 동공(50)으로 전달하여 보정 증강 현실용 화상을 사용자에게 제공하게 되는데, 이는 도 11의 (B) 및 (C)에서의 반사부(20)의 형태 함수, 반사부(20)의 배열 함수 및 안구 점확산 함수의 컨볼루션 연산에 상응하므로, 사용자가 최종적으로 관찰하게 되는 보정 증강 현실용 화상은 도 11의 (D)와 같은 균일한 휘도 분포를 가지게 된다.
도 12는 본 발명에 의한 영상 보정 장치(300)가 적용된 경우의 관찰 영상을 영상 보정 장치(300)가 적용되지 않은 경우의 관찰 영상과 비교하여 나타낸 것이다.
도 12에서, (A)는 원본 증강 현실용 화상이 화상 출사부(30)에 표시된 상태를 나타낸 것이고, (B)는 영상 보정 장치(300)의 적용 없이 원본 증강 현실용 화상이 증강 현실용 광학 장치(200)를 통해 동공(50)으로 전달될 때 사용자가 관찰하게 되는 관찰 영상을 나타낸 것이다. 이는 앞서 도 4 및 도 10의 (D)에서 설명한 바와 같이 불균일한 휘도 분포를 가짐을 알 수 있다.
한편, 도 12의 (C)는, 앞서 설명한 바와 같이 영상 보정 장치(300)에 의해 생성된 보정 증강 현실용 화상 정보에 상응하는 보정 증강 현실용 화상이 화상 출사부(30)에 표시된 상태를 나타낸 것이고, (D)는 보정 증강 현실용 화상이 증강 현실용 광학 장치(200)를 통해 동공(50)으로 전달될 때 사용자가 관찰하게 되는 최종 관찰 영상을 나타낸 것이다. 도 12의 (D)에 나타난 바와 같이, 영상 보정 장치(300)에 의해 휘도 정보가 보정된 보정 증강 현실용 화상에 대한 관찰 영상은 균일한 휘도 분포를 가짐을 알 수 있다. 따라서, 사용자는 도 12의 (B)의 경우에 비해 선명하고 명확한 증강 현실용 화상을 제공받을 수 있다.
한편, 앞서 설명한 바와 같이, 안구 점확산 함수는 동공(50)의 지름 da와, 접안 거리 dm, 그리고 기준 영상 거리 do에 의해 변경되는데, 여기에서 기준 영상 거리 do가 변하는 경우에는 이를 측정하기 위해 깊이 카메라(depth camera)를 사용하여 가상 물체의 위치와 동공(50) 사이의 거리를 동적으로 측정할 수 있다.
또한, 안구 추적 장치를 사용한다면, 동공(50)의 지름 da와, 접안 거리 dm, 을 동적으로 측정할 수 있다.
또한, 상기 실시예에서, 반사부(20)의 배열 함수(
Figure pat00045
)는 고정된 동공(50) 위치에 대하여 설명하였으나, 동공(50)의 위치가 움직이게 되면 반사부(20)의 배열 함수(
Figure pat00046
)에 오프셋이 발생할 수 있다. 이 때, 안구 추적 장치를 사용하면, 실시간으로 동공(50)의 상대 위치를 알 수 있으므로, 반사부(20)의 배열 함수(
Figure pat00047
)의 오프셋을 보정할 수 있고, 이는 임의의 반사부(20)의 배열 함수(
Figure pat00048
)에 모두 적용할 수 있다.
이 경우, 앞서 살펴 보았던 반사부(20)들의 중심의 위치를 나타내는 반사부(20)의 배열 함수는 아래와 같이 수정할 수 있다.
Figure pat00049
여기에서, xo, yo는 각각 x축, y축 방향의 오프셋값이다.
또한, 깊이 카메라와 안구 추적 장치를 함께 사용한다면, 동공(50)의 지름 da와, 접안 거리 dm, 그리고 기준 영상 거리 do, 동공(50)의 상대 위치를 모두 실시간으로 측정할 수 있다.
따라서, 예컨대 증강 현실용 화상이 동영상이고 기준 영상 거리가 변화하는 경우 및 휘도의 변화로 인해 동공의 지름이 자주 변하는 경우에 대해서도 본 발명을 용이하게 적용할 수 있다.
이러한 깊이 카메라 및 안구 추적 장치는 종래 기술에 의해 알려져 있는 것들이므로 여기에서는 상세 설명은 생략한다.
이상에서 본 발명에 의한 바람직한 실시예를 참조하여 본 발명을 설명하였으나 본 발명은 상기 실시예에 한정되는 것이 아니며, 다양한 수정 및 변형 실시가 가능함은 물론이다.
10...광학 수단
20...반사부
30...화상 출사부
40...프레임부
50...동공
100, 200...증강 현실용 광학 장치
300...영상 보정 장치

Claims (12)

  1. 증강 현실용 화상에 상응하는 증강 현실 화상광을 출사하는 화상 출사부; 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 사용자의 동공을 향해 투과시키는 광학 수단; 및 상기 광학 수단 내부에 배치되어 화상 출사부에서 출사된 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 복수개의 반사부를 구비하는 증강 현실용 광학 장치와 결합하는 증강 현실용 화상의 영상 보정 장치로서,
    상기 화상 출사부에서 원본 증강 현실용 화상이 출사될 때, 상기 증강 현실용 광학 장치를 통해 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하는 보상 함수 결정부; 및
    상기 보상 함수 결정부에서 결정된 보상 함수와 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하는 보정 화상 정보 생성부
    를 포함하고,
    상기 화상 출사부는 상기 보정 화상 정보 생성부에서 생성된 보정 증강 현실용 화상 정보에 상응하는 보정 증강 현실 화상광을 출사하고, 상기 복수개의 반사부는 상기 화상 출사부에서 출사된 보정 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  2. 청구항 1에 있어서,
    상기 보상 함수 결정부는,
    Figure pat00050
    의 수식에 의해 보상 함수를 결정- 여기에서, α는 스케일링 팩터(scaling factor)이며,
    Figure pat00051
    는 반사부의 형태 함수이고,
    Figure pat00052
    는 반사부의 배열 함수이고,
    Figure pat00053
    는 안구 점확산 함수(Eye Point Spread Function, PSF)이고, *는 컨볼루션 연산자(convolution operator)임-하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  3. 청구항 2에 있어서,
    상기 반사부의 형태 함수
    Figure pat00054
    는,
    Figure pat00055
    (여기서, x,y는 반사부가 배치된 평면을 2차원 좌표계로 표시할 때의 좌표값이고, r은 반사부의 반지름이며,
    Figure pat00056
    은 r보다 작으면 1이고, 다른 경우에는 0을 가짐)에 의해 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  4. 청구항 2에 있어서,
    상기 반사부의 배열 함수
    Figure pat00057
    는 복수개의 반사부들의 중심의 위치를 나타내는 함수인 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  5. 청구항 4에 있어서,
    상기 반사부의 배열 함수
    Figure pat00058
    는,
    Figure pat00059

    (여기에서, h는 가로 방향의 반사부의 갯수이고, w는 세로 방향의 반사부의 갯수이고, wh는 반사부의 가로 방향의 간격이고, wv는 반사부의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이고, x,y는 반사부가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부의 좌표값임)의 수식에 의해 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  6. 청구항 4에 있어서,
    상기 반사부의 배열 함수
    Figure pat00060
    는,
    Figure pat00061

    (여기에서, h는 가로 방향의 반사부의 갯수이고, w는 세로 방향의 반사부의 갯수이고, wh는 반사부의 가로 방향의 간격이고, wv는 반사부의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이고, x,y는 반사부가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부의 좌표값임)의 수식에 의해 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  7. 청구항 2에 있어서,
    상기 안구 점확산 함수는 동공의 지름, 기준 영상 거리 및 접안 거리에 기초하여 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  8. 청구항 7에 있어서,
    상기 안구 점확산 함수는,
    Figure pat00062
    (여기서, c는 블러 직경(blur diameter)이며,
    Figure pat00063
    임)에 의해 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  9. 청구항 1에 있어서,
    상기 보정 화상 정보 생성부는,
    보정 증강 현실용 화상 정보 = 원본 증강 현실용 화상 정보×보상 함수
    의 수식에 의해 보정 증강 현실용 화상 정보를 생성하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  10. 청구항 7에 있어서,
    상기 영상 보정 장치는 기준 영상 거리를 측정하는 깊이 카메라를 더 포함하고,
    상기 보상 함수 결정부는, 상기 깊이 카메라로부터 기준 영상 거리를 수신하여 안구 점확산 함수를 계산하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  11. 청구항 7 또는 10에 있어서,
    상기 영상 보정 장치는, 동공의 지름 및 접안 거리를 측정하는 안구 추적 장치를 더 포함하고,
    상기 보상 함수 결정부는, 상기 안구 추적 장치로부터 동공의 지름 및 접안 거리를 수신하여 안구 점확산 함수를 계산하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  12. 청구항 11에 있어서,
    상기 보상 함수 결정부는, 상기 안구 추적 장치로부터 동공의 상대 위치 정보를 수신하여 반사부의 배열 함수의 오프셋값을 계산하고, 이에 기초하여 반사부의 배열 함수
    Figure pat00064
    를 결정하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
KR1020210049311A 2020-07-24 2021-04-15 증강 현실용 화상의 영상 보정 장치 KR102372048B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210049311A KR102372048B1 (ko) 2020-07-24 2021-04-15 증강 현실용 화상의 영상 보정 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200092083A KR102281834B1 (ko) 2020-07-24 2020-07-24 증강 현실용 화상의 영상 보정 장치
KR1020210049311A KR102372048B1 (ko) 2020-07-24 2021-04-15 증강 현실용 화상의 영상 보정 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200092083A Division KR102281834B1 (ko) 2020-07-24 2020-07-24 증강 현실용 화상의 영상 보정 장치

Publications (2)

Publication Number Publication Date
KR20220013306A true KR20220013306A (ko) 2022-02-04
KR102372048B1 KR102372048B1 (ko) 2022-03-10

Family

ID=77124759

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200092083A KR102281834B1 (ko) 2020-07-24 2020-07-24 증강 현실용 화상의 영상 보정 장치
KR1020210049311A KR102372048B1 (ko) 2020-07-24 2021-04-15 증강 현실용 화상의 영상 보정 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200092083A KR102281834B1 (ko) 2020-07-24 2020-07-24 증강 현실용 화상의 영상 보정 장치

Country Status (5)

Country Link
US (2) US11927733B2 (ko)
JP (1) JP2023534280A (ko)
KR (2) KR102281834B1 (ko)
CN (1) CN115699076A (ko)
WO (1) WO2022019482A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101660519B1 (ko) 2015-03-09 2016-09-29 하정훈 증강 현실 구현 장치
KR102099785B1 (ko) * 2018-11-06 2020-04-10 주식회사 레티널 증강 현실용 광학 장치
KR20200048386A (ko) * 2018-10-30 2020-05-08 엘지디스플레이 주식회사 표시장치
KR20200052251A (ko) * 2020-02-03 2020-05-14 주식회사 레티널 증강 현실용 광학 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0173704B1 (ko) * 1995-07-25 1999-03-20 배순훈 투사형 화상표시시스템의 비대칭화면 보정장치
KR100188218B1 (ko) * 1995-11-13 1999-06-01 전주범 투사형 화상표시시스템의 비대칭화면 보정위치제어 방법
US20010055034A1 (en) * 2000-02-02 2001-12-27 Goertzen Kenbe D. System and method for optimizing image resolution using pixelated imaging devices
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
KR102303641B1 (ko) * 2018-12-26 2021-09-17 주식회사 레티널 증강 현실용 광학 장치
KR102255781B1 (ko) * 2019-02-22 2021-05-25 주식회사 레티널 컴팩트형 증강 현실용 광학 장치
KR102192941B1 (ko) * 2019-03-26 2020-12-18 주식회사 레티널 복수개의 증강 현실용 화상을 이용한 증강 현실용 광학 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101660519B1 (ko) 2015-03-09 2016-09-29 하정훈 증강 현실 구현 장치
KR20200048386A (ko) * 2018-10-30 2020-05-08 엘지디스플레이 주식회사 표시장치
KR102099785B1 (ko) * 2018-11-06 2020-04-10 주식회사 레티널 증강 현실용 광학 장치
KR20200052251A (ko) * 2020-02-03 2020-05-14 주식회사 레티널 증강 현실용 광학 장치

Also Published As

Publication number Publication date
CN115699076A (zh) 2023-02-03
US20240176121A1 (en) 2024-05-30
KR102372048B1 (ko) 2022-03-10
US20230273416A1 (en) 2023-08-31
US11927733B2 (en) 2024-03-12
KR102281834B1 (ko) 2021-07-26
WO2022019482A1 (ko) 2022-01-27
JP2023534280A (ja) 2023-08-08

Similar Documents

Publication Publication Date Title
US11686945B2 (en) Methods of driving light sources in a near-eye display
EP3607381B1 (en) Wide field of view scanning display
JP3787939B2 (ja) 立体映像表示装置
US10629105B2 (en) Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
US8403490B2 (en) Beam scanning-type display device, method, program and integrated circuit
JP6797799B2 (ja) 湾曲した小レンズ配列を有する頭部装着型画像装置
EP1240539B1 (en) A display device
CN108628087B (zh) 一种投影装置及空间成像方法
CN105093796A (zh) 显示装置
US20200357331A1 (en) Reducing peak current usage in light emitting diode array
CN115280218A (zh) 高分辨率液晶显示器
KR102372048B1 (ko) 증강 현실용 화상의 영상 보정 장치
US10771774B1 (en) Display apparatus and method of producing images having spatially-variable angular resolutions
CN113454520A (zh) 利用多个增强现实用图像的增强现实用光学装置
JP3325323B2 (ja) 表示装置
JP7127415B2 (ja) 虚像表示装置
US20220043266A1 (en) Optical device for augmented reality
JP2003035882A (ja) 画像表示素子及びこれを用いた画像表示装置
US12007661B2 (en) Display apparatus
TWI691735B (zh) 近眼顯示裝置
EP4218540A1 (en) Method for simulating an ophthalmic lens on an eye of a subject viewing a virtual three-dimensions scene using a light field display

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right