KR102154263B1 - 시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법 - Google Patents

시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법 Download PDF

Info

Publication number
KR102154263B1
KR102154263B1 KR1020180172017A KR20180172017A KR102154263B1 KR 102154263 B1 KR102154263 B1 KR 102154263B1 KR 1020180172017 A KR1020180172017 A KR 1020180172017A KR 20180172017 A KR20180172017 A KR 20180172017A KR 102154263 B1 KR102154263 B1 KR 102154263B1
Authority
KR
South Korea
Prior art keywords
display module
electronic device
information related
pixel groups
time
Prior art date
Application number
KR1020180172017A
Other languages
English (en)
Other versions
KR20200081957A (ko
Inventor
최희진
박민영
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020180172017A priority Critical patent/KR102154263B1/ko
Publication of KR20200081957A publication Critical patent/KR20200081957A/ko
Application granted granted Critical
Publication of KR102154263B1 publication Critical patent/KR102154263B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/312—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being placed behind the display panel, e.g. between backlight and spatial light modulator [SLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다양한 실시예들에 따른 라이트 필드 영상 표시를 위한 전자 장치 및 그의 동작 방법은, 복수 개의 픽셀 그룹들을 포함하는 제 1 표시 모듈이 픽셀 그룹들을 서로 다른 시간에 핀 홀로 동작시켜, 제 1 표시 모듈을 통하여, 객체와 관련된 정보를 전달하고, 제 2 표시 모듈을 통하여, 정보를 전달하면서, 복수 개의 기초 영상들을 기반으로 라이트 필드 영상을 표시하도록 구성될 수 있다.

Description

시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법{METHOD TO ENHANCE RESOLUTION AND REFRESH RATE OF THREE-DIMENSIONAL AUGMENTED REALITY DEVICE WITH TIME-MULTIPLEXED LIGHTFIELD TECHNOLOGY}
다양한 실시예들은 라이트 필드 영상 표시를 위한 전자 장치 및 그의 동작 방법에 관한 것으로, 보다 상세하게 시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법에 관한 것이다.
기술의 발전과 더불어, 전자 장치는 다양한 기능을 수행하여, 다양한 서비스를 제공한다. 이에 따라, 전자 장치가 증강 현실(augmented reality; AR)을 제공하고 있다. 증강 현실은 실제 환경에 가상의 영상을 겹쳐 보여주는 기술이다. 즉 사용자는 전자 장치를 통하여 실제 환경에 가상의 영상를 겹쳐 볼 수 있다. 이 때 전자 장치는 라이트 필드(light-field) 기술을 이용하여, 증강 현실을 구현하고 있다. 예를 들면, 전자 장치는 실제 환경의 객체로부터의 빛과 가상의 영상을 기반으로 라이트 필드 영상을 표시할 수 있다.
하지만, 상기와 같은 전자 장치에서 표시되는 라이트 필드 영상은, 해상도가 낮은 문제점이 있다. 따라서, 전자 장치에서 표시되는 라이트 필드 영상의 해상도를 향상시키기 위한 방안이 요구된다.
다양한 실시예들에 따른 전자 장치는, 복수 개의 픽셀 그룹들을 포함하고, 상기 픽셀 그룹들을 서로 다른 시간에 핀 홀로 동작시켜, 객체와 관련된 정보를 전달하는 제 1 표시 모듈; 및 상기 제 1 표시 모듈에 대향하여 배치되어, 상기 정보를 전달하며, 복수 개의 기초 영상들을 기반으로 라이트 필드 영상을 표시하는 제 2 표시 모듈을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치의 동작 방법은, 복수 개의 픽셀 그룹들을 포함하는 제 1 표시 모듈이 상기 픽셀 그룹들을 서로 다른 시간에 핀 홀로 동작시켜, 제 1 표시 모듈을 통하여, 객체와 관련된 정보를 전달하는 동작; 및 제 2 표시 모듈을 통하여, 상기 정보를 전달하면서, 복수 개의 기초 영상들을 기반으로 라이트 필드 영상을 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치는 제 1 표시 모듈에서 시간의 흐름에 따라 핀 홀의 위치를 변경함으로써, 객체와 관련된 정보를 전달할 수 있다. 이를 통해, 전자 장치는 3 차원 증강 현실 디바이스로서, 라이트 필드 기술을 기반으로 3 차원의 가상의 영상을 표시하면서, 객체와 관련된 정보를 전달할 수 있다. 이로 인하여, 관찰자에 의해 인지되는 영상의 해상도가 높을 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 2a 및 도 2b는 제 1 실시예에 따른 전자 장치를 도시하는 도면이다.
도 3a 및 도 3b는 제 2 및 제 3 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 4, 도 5 및 도 6은 다양한 실시예들에 따른 전자 장치의 동작 특성을 설명하기 위한 도면들이다.
도 7은 제 2 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 8은 제 3 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 9는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는 제 1 표시 모듈(110), 제 2 표시 모듈(120) 및 프로세서(130)를 포함할 수 있다.
제 1 표시 모듈(110)은 객체와 관련된 정보의 적어도 일부를 전달할 수 있다. 여기서, 객체와 관련된 정보는 객체로부터 발산되는 광선의 방향 및 위치 분포를 포함할 수 있다. 이를 위해, 제 1 표시 모듈(110)은 핀 홀 어레이(pin hole array)로 제공될 수 있다. 제 1 표시 모듈(110)은 복수 개의 픽셀들을 포함할 수 있으며, 픽셀들 중 적어도 일부가 핀 홀(pin hole)로 동작할 수 있다. 이 때 핀 홀을 통하여, 객체와 관련된 정보의 적어도 일부가 전달될 수 있다. 예를 들면, 제 1 표시 모듈(110)은 LCD(liquid crystal display)를 포함할 수 있다.
제 2 표시 모듈(120)은 라이트 필드(light-field) 영상을 표시할 수 있다. 제 2 표시 모듈(120)은 라이트 필드 기술을 기반으로 생성된 기초 영상들을 이용하여, 라이트 필드 영상을 표시할 수 있다. 예를 들면, 제 2 표시 모듈(120)은 LCD를 포함할 수 있다. 이를 통해, 전자 장치(100)가 가상의 영상과 실제 환경의 객체를 기반으로 증강 현실을 제공할 수 있다.
프로세서(130)는 제 1 표시 모듈(110)과 제 2 표시 모듈(120)을 제어할 수 있다. 이 때 프로세서(130)는 제 1 표시 모듈(110)과 제 2 표시 모듈(120)을 제어하기 위한 프로그램들을 저장할 수 있다. 일 실시예에 따르면, 프로세서(130)는 내부의 메모리를 포함할 수 있다. 다른 실시예에 따르면, 프로세서(130)는 외부의 메모리와 연결될 수 있다.
도 2a 및 도 2b는 제 1 실시예에 따른 전자 장치를 도시하는 도면이다.
도 2a 및 도 2b를 참조하면, 제 1 실시예에 따른 전자 장치(예: 도 1의 전자 장치(100))(200)는 제 1 표시 모듈(예: 도 1의 제 1 표시 모듈(110))(210)과 제 2 표시 모듈(예: 도 1의 제 2 표시 모듈(120))(220)을 포함할 수 있다. 이 때 전자 장치(200)는 3 차원 증강 현실 디바이스로서, 도 2a에 도시된 바와 같이 라이트 필드 기술을 기반으로 3 차원의 가상의 영상(201)을 표시하면서, 객체(205)의 일부와 관련된 정보를 전달할 수 있다 여기서, 영상(201)은 복수 개의 복셀(voxel; 202)들로 이루어질 수 있다. 즉 객체(205)와 관련된 정보를 통하여, 영상(201)의 복셀(202)들이 구현될 수 있다.
제 1 표시 모듈(210)은 객체(205)의 일부와 관련된 정보를 전달할 수 있다. 이를 위해, 제 1 표시 모듈(210)은 핀 홀 어레이로 제공될 수 있다. 제 1 표시 모듈(210)은 복수 개의 픽셀(211)들을 포함하며, 픽셀(211)들 중 일부가 핀 홀(213)로 동작할 수 있다. 이 때 핀 홀(213)은 픽셀(211)들 사이에서 미리 정해진 위치에 고정적으로 배치될 수 있다. 예를 들면, 제 1 표시 모듈(210)은, 도 2b에 도시된 바와 같이 핀 홀(213)을 통하여, 객체(205)의 일부와 관련된 정보 만을 통과시킬 수 있다.
제 2 표시 모듈(220)은 라이트 필드 기술을 기반으로 영상(201)을 표시할 수 있다. 제 2 표시 모듈(220)은 복수 개의 픽셀(221)들을 포함할 수 있다. 제 2 표시 모듈(220)은 픽셀(221)들을 통하여, 라이트 필드 기술을 기반으로 영상(201)과 관련된 기초 영상들을 표시할 수 있다. .
도 3a 및 도 3b는 제 2 및 제 3 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 3a 및 도 3b를 참조하면, 제 2 및 제 3 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(100))(300)는, 제 1 표시 모듈(예: 도 1의 제 1 표시 모듈(110))(310)과 제 2 표시 모듈(예: 도 1의 제 2 표시 모듈(120))(320)을 포함할 수 있다. 이 때 전자 장치(300)는 3 차원 증강 현실 디바이스로서, 도 3a에 도시된 바와 같이 라이트 필드 기술을 기반으로 3 차원의 가상의 영상(301)을 표시하면서, 객체(305)와 관련된 정보를 전달할 수 있다. 여기서, 영상(301)은 복수 개의 복셀(voxel; 302)들로 이루어질 수 있다. 즉 객체(305)와 관련된 정보를 통하여, 영상(301)의 복셀(302)들이 구현될 수 있다.
제 1 표시 모듈(310)은 객체(305)와 관련된 정보를 전달할 수 있다. 이를 위해, 제 1 표시 모듈(310)은 핀 홀 어레이로 제공될 수 있다. 제 1 표시 모듈(310)은 복수 개의 픽셀(311)들을 포함하며, 픽셀(311)들은 복수 개의 픽셀 그룹들로 구분될 수 있다. 이 때 픽셀 그룹들은 서로 다른 시간에 핀 홀(313)로 동작하며, 핀 홀 패턴들을 각각 형성할 수 있다. 예를 들면, 픽셀 그룹들은 제 1 픽셀 그룹, 제 2 픽셀 그룹 및 제 3 픽셀 그룹을 포함할 수 있다. 제 1 시간에, 제 1 표시 모듈(310)은, 도 3b의 (a)에 도시된 바와 같이 제 1 픽셀 그룹을 핀 홀(313)로 동작시켜, 객체(305)의 일부와 관련된 제 1 정보를 전달할 수 있다. 제 2 시간에, 제 1 표시 모듈(310)은, 도 3b의 (b)에 도시된 바와 같이 제 2 픽셀 그룹을 핀 홀(313)로 동작시켜, 객체(305)의 다른 일부와 관련된 제 2 정보를 전달할 수 있다. 제 3 시간에, 제 1 표시 모듈(310)은, 도 3b의 (c)에 도시된 바와 같이 제 3 픽셀 그룹을 핀 홀(313)로 동작시켜, 객체(305)의 또 다른 일부와 관련된 제 3 정보를 전달할 수 있다. 바꿔 말하면, 핀 홀(313)의 위치가 픽셀 그룹들 사이에서 시간의 흐름에 따라 변경되므로, 객체와 관련된 보다 많은 정보가 전달될 수 있다. 즉 제 1 표시 모듈(310)은 서로 다른 시간에 동작하는 복수 개의 핀 홀 패턴들을 포함할 수 있다. 예를 들면, 핀 홀 패턴들의 개수는 픽셀 그룹들의 개수와 동일할 수 있으며, 상이할 수도 있다. 이를 통해, 제 1 표시 모듈(310)의 모든 픽셀들이 핀 홀(313)로 동작할 수 있다.
제 2 표시 모듈(320)은 라이트 필드 기술을 기반으로 영상(301)을 표시할 수 있다. 제 2 표시 모듈(320)은 복수 개의 픽셀(321)들을 포함할 수 있다. 제 2 표시 모듈(320)은 픽셀(321)들을 통하여, 라이트 필드 기술을 기반으로 영상(201)과 관련된 기초 영상들을 표시할 수 있다.
도 4, 도 5 및 도 6은 다양한 실시예들에 따른 전자 장치의 동작 특성을 설명하기 위한 도면들이다.
도 4를 참조하면, 제 1 표시 모듈(210, 310)과 제 2 표시 모듈(220, 320)이 라이트 필드 기술을 기반으로 3 차원의 가상의 영상(401-1, 401-2)을 표시하면서, 객체(405)와 관련된 정보를 전달할 수 있다. 여기서, 제 1 표시 모듈(210, 310), 제 2 표시 모듈(220, 320)과 영상(401-1, 401-2) 및 객체(405)가, 도 4의 (a)에 도시된 바와 같이 배치될 수 있다. 예를 들면, 영상(401-1, 401-2)은 제 1 영상(401-1), 예컨대 숫자 3과 제 2 영상(401-2), 예컨대 문자 D를 나타내고, 객체(405)는, 예컨대 도 4의 (b)에 도시된 바와 같이 문자 OE를 포함할 수 있다. 여기서, 제 1 표시 모듈(210, 310)과 제 2 표시 모듈(예220, 320)의 간격(d1)은 대략 10 mm이고, 제 1 표시 모듈(예210, 310)과 제 1 영상(401-1)이 표시되는 제 1 평면 및 객체(405)의 간격(d2)는 대략 10 mm이고, 제 1 표시 모듈(210, 310)과 제 2 영상(401-2)이 표시되는 제 2 평면의 간격(d3)은 대략 70 mm일 수 있다.
제 1 실시예에 따르면, 영상(401-1, 401-2)과 객체가, 도 5에 도시된 바와 같은 영상으로 관찰자에 의해 인지될 수 있다. 이 때 제 1 표시 모듈(210)은 픽셀(211)들 중 일부를 핀 홀(213)를 동작시켜, 객체(405)의 일부와 관련된 정보를 전달할 뿐이다. 여기서, 핀 홀(213)은 픽셀(211)들 사이에서 미리 정해진 위치에 고정적으로 배치될 수 있다. 이로 인하여, 도 5에 도시된 바와 같이, 관찰자에 의해 인지되는 영상의 해상도가 낮을 수 있다. 이는, 관찰자에 의해 인지되는 영상의 복셀들이 제 1 표시 모듈(210)의 핀 홀(213)을 통하여 전달되는 정보를 기반으로 구현되기 때문이다.
제 2 및 제 3 실시예들에 따르면, 영상(401-1, 401-2)과 객체가, 도 6에 도시된 바와 같은 영상으로 관찰자에 의해 인지될 수 있다. 이 때 제 1 표시 모듈(310)은 복수 개의 픽셀 그룹들을 서로 다른 시간에 핀 홀(313)로 동작시켜, 객체(405)와 관련된 정보를 전달할 수 있다. 바꿔 말하면, 핀 홀(313)의 위치가 픽셀 그룹들 사이에서 시간의 흐름에 따라 변경될 수 있다. 이로 인하여, 도 6에 도시된 바와 같이, 관찰자에 의해 인지되는 영상의 해상도가 높을 수 있다. 이는, 관찰자에 의해 인지되는 영상의 복셀들이 제 1 표시 모듈(310)의 핀 홀(313)을 통하여 전달되는 정보를 기반으로 구현되기 때문이다. 즉 제 1 실시예에 따라 관찰자에 의해 인지되는 영상의 복셀들의 개수와 비교하여, 제 2 및 제 3 실시예에 따라 관찰자에 의해 인지되는 영상의 복셀들의 개수가 현저하게 증가될 수 있다.
도 7은 제 2 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 7을 참조하면, 제 2 실시예에 따른 전자 장치(300)의 제 1 표시 모듈(310)은 미리 정해진 개수의 핀 홀 패턴(710)들을 이용하여, 미리 정해진 개수의 시점들을 구현할 수 있다. 이 때 각각의 핀 홀 패턴(710)이 각각의 시점을 구현하는 데 이용될 수 있다. 이로 인하여, 전자 장치(300)에서 구현하고자 하는 시점들의 개수가 증가할수록, 제 1 표시 모듈(310)에 요구되는 핀 홀 패턴(710)의 개수가 증가할 수 있다.
제 2 실시예에 따르면, 표시할 영상이 복수 개의 프레임들을 포함하는 동적 영상인 경우, 전자 장치(300)는 하나의 프레임(720)을 기반으로 복수 개의 기초 영상(730)들을 표시할 수 있다. 예를 들면, 전자 장치(300)에서 구현하고자 하는 시점들의 개수가 9 개(가로 3 개 시점 ⅹ 세로 3 개 시점)인 경우, 전자 장치(300)는 제 1 표시 모듈(310)의 9 개의 동일한 핀 홀 패턴(710)들을 이용하여, 하나의 프레임(720)을 기반으로 9 개(가로 3 개 시점 ⅹ 세로 3 개 시점)의 기초 영상(730)들을 표시할 수 있다. 이로 인하여, 전자 장치(300)가, 예컨대 240 Hz의 주사율을 제공하도록 제조되었다 하더라도, 실질적으로, 예컨대 대략 27 Hz (240 Hz / 9)의 주사율을 제공할 수 있다. 즉 전자 장치(300)에서 구현하고자 하는 시점들의 개수가 증가할수록, 실질적으로 제공되는 주사율이 감소될 수 있다.
도 8은 제 3 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 8을 참조하면, 제 3 실시예에 따른 전자 장치(300)의 제 1 표시 모듈(310)은 미리 정해진 개수의 핀 홀 패턴(810)들을 이용하여, 미리 정해진 개수의 시점들을 구현할 수 있다. 이 때 각각의 핀 홀 패턴(810)이 각각의 시점을 구현하는 데 이용될 수 있다. 이로 인하여, 전자 장치(300)에서 구현하고자 하는 시점들의 개수가 증가할수록, 제 1 표시 모듈(310)에 요구되는 핀 홀 패턴(810)의 개수가 증가할 수 있다.
제 3 실시예에 따르면, 표시할 영상이 복수 개의 프레임들을 포함하는 동적 영상인 경우, 전자 장치(300)는 프레임들 중 적어도 어느 두 개의 연속되는 프레임(821, 822, 823)들을 기반으로 복수 개의 기초 영상(831, 832, 833)들을 표시할 수 있다. 이 때 전자 장치(300)는 제 1 표시 모듈(310)의 핀 홀 패턴(810)들 중 적어도 어느 하나를 이용하여, 연속되는 프레임(821, 822, 823)들 중 어느 하나를 기반으로 기초 영상(831, 832, 833)들 중 적어도 어느 하나를 표시하고, 핀 홀 패턴(810)들 중 적어도 다른 하나를 이용하여, 연속되는 프레임(821, 822, 823)들 중 다른 하나를 기반으로 기초 영상(831, 832, 833)들 중 적어도 다른 하나를 표시할 수 있다. 예를 들면, 전자 장치(300)는 제 1 표시 모듈(310)의 9 개의 상이한 핀 홀 패턴(810)들을 이용하여, 세 개의 연속되는 프레임(821, 822, 823)들을 기반으로 9 개의 기초 영상(831, 832, 833)들을 표시할 수 있다. 예를 들면, 전자 장치(300)에서 구현하고자 하는 시점들의 개수가 9 개(가로 3 개 시점 ⅹ 세로 3 개 시점)인 경우, 제 1 표시 모듈(310)의 9 개의 상이한 핀 홀 패턴(710)들을 이용하여, 전자 장치(300)는 세 개의 연속되는 프레임(821, 822, 823)들을 기반으로 9 개(가로 3 개 시점 ⅹ 세로 3 개 시점)의 기초 영상(831, 832, 833)들을 표시할 수 있다. 여기서, 연속되는 프레임(821, 822, 823)들은 제 1 프레임(821), 제 2 프레임(822) 및 제 3 프레임(823)을 포함하고, 기초 영상(831, 832, 833)들은 제 1 기초 영상(831)들, 제 2 기초 영상(832)들 및 제 3 기초 영상(833)들로 구분될 수 있다. 즉 전자 장치(300)는 제 1 프레임(821)을 기반으로 제 1 기초 영상(831)들을 표시하고, 제 2 프레임(822)을 기반으로 제 2 기초 영상(832)들을 표시하고, 제 3 프레임(823)을 기반으로 제 3 기초 영상(833)들을 표시할 수 있다. 이를 통해, 전자 장치(300)에서 구현하고자 하는 시점들의 개수가 증가할수록 전자 장치(300)에서 실질적으로 제공되는 주사율이 감소되는 현상이 보완될 수 있다. 즉 제 3 실시예에 따르면, 제 2 실시예와 비교하여, 동적 영상이 보다 자연스럽게 표시될 수 있다.
도 9는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 도면이다.
도 9를 참조하면, 전자 장치(300)는 910 동작에서 표시할 영상을 결정할 수 있다. 이 때 전자 장치(300)는 제 1 표시 모듈(310)과 제 2 표시 모듈(320)을 포함할 수 있다. 제 1 표시 모듈(310)은 복수 개의 픽셀(311)들을 포함하며, 픽셀(311)들은 복수 개의 픽셀 그룹들로 구분될 수 있다. 여기서, 픽셀 그룹들은 복수 개의 핀 홀 패턴(810)들에 따라 정해질 수 있으며, 핀 홀 패턴(810)들의 개수(k)는 픽셀 그룹들의 개수와 동일할 수 있으며, 상이할 수도 있다. 일 실시예에 따르면, 표시할 영상이 복수 개의 프레임들을 포함하는 동적 영상인 경우, 전자 장치(300)는 적어도 두 개의 연속되는 프레임(821, 822, 823)들을 결정할 수 있다. 그리고 전자 장치(300)는 920 동작에서 현재의 시간(n)을 카운트할 수 있다. 이 때 프로세서(예: 도 1의 프로세서(130))가 현재의 시간(n)을 1로 카운트할 수 있다.
전자 장치(300)는 930 동작에서 제 1 표시 모듈(310)의 픽셀 그룹들 중 현재의 시간(n)에 대응하는 어느 하나를 핀 홀(313)로 전환할 수 있다. 즉 제 1 표시 모듈(310)은 프로세서(예: 도 1의 프로세서(130))의 제어 하에, 현재의 시간(n)에 대응하는 픽셀 그룹을 핀 홀(313)로 동작시킬 수 있다. 그리고 전자 장치(300)는 제 1 표시 모듈(310)을 통하여, 현재의 시간(n)에 대응하는 객체와 관련된 정보를 전달할 수 있다. 이 때 제 1 표시 모듈(310)은 핀 홀 패턴(810)들 중 어느 하나를 이용하여, 현재의 시간(n)에 대응하는 객체와 관련된 정보를 전달할 수 있다. 이를 통해, 전자 장치(300)는 현재의 시간(n)에 대응하여, 영상을 표시하면서, 객체와 관련된 정보를 전달할 수 있다. 일 실시예에 따르면, 전자 장치(300)는 연속되는 프레임(821, 822, 823)들 중 어느 하나와 객체와 관련된 정보를 기반으로, 복수 개의 기초 영상(831, 832, 833)들 중 어느 하나를 표시할 수 있다. 이 후 전자 장치(300)는, 950 동작에서 현재의 시간(n)이 미리 정해진 시간에 도달했는 지의 여부를 판단할 수 있다. 전자 장치(300)는, 현재의 시간(n)이 핀 홀 패턴(810)들의 개수(k)와 일치하는 지의 여부를 판단할 수 있다.
950 동작에서 현재의 시간(n)이 미리 정해진 시간에 도달하지 않은 것으로 판단되면, 전자 장치(300)는 955 동작에서 현재의 시간(n)을 증가시킬 수 있다. 이 때 프로세서(예: 도 1의 프로세서(130))가 현재의 시간(n)을 1 만큼 증가된 값으로 카운트할 수 있다. 그리고 전자 장치(300)는 930 동작으로 복귀할 수 있다. 이 후 전자 장치(300)는 930 동작 내지 955 동작 중 적어도 어느 하나를 반복하여 수행할 수 있다. 950 동작에서 현재의 시간(n)이 미리 정해진 시간에 도달한 것으로 판단되면, 전자 장치(300)는 동작을 종료할 수 있다. 이를 통해, 전자 장치(300)는 제 1 표시 모듈(310)의 상이한 핀 홀 패턴(810)들을 이용하여, 기초 영상(831, 832, 833)들을 표시할 수 있다. 예를 들면, 전자 장치(300)에서 구현하고자 하는 시점들의 개수가 9 개(가로 3 개 시점 ⅹ 세로 3 개 시점)인 경우, 제 1 표시 모듈(310)의 9 개의 상이한 핀 홀 패턴(710)들을 이용하여, 전자 장치(300)는 세 개의 연속되는 프레임(821, 822, 823)들을 기반으로 9 개(가로 3 개 시점 ⅹ 세로 3 개 시점)의 기초 영상(831, 832, 833)들을 표시할 수 있다.
다양한 실시예들에 따르면, 전자 장치(300)는 제 1 표시 모듈(310)에서 시간의 흐름에 따라 핀 홀(313)의 위치를 변경함으로써, 객체와 관련된 정보를 전달할 수 있다. 이를 통해, 전자 장치(300)는 3 차원 증강 현실 디바이스로서, 라이트 필드 기술을 기반으로 3 차원의 가상의 영상을 표시하면서, 객체와 관련된 정보를 전달할 수 있다. 이로 인하여, 관찰자에 의해 인지되는 영상의 해상도가 높을 수 있다.
일 실시예에 따르면, 표시할 영상이 복수 개의 프레임들을 포함하는 동적 영상인 경우, 전자 장치(300)는 프레임들 중 적어도 어느 두 개의 연속되는 프레임(821, 822, 823)들을 기반으로 기초 영상(831, 832, 833)들을 표시할 수 있다. 이를 통해, 전자 장치(300)에서 구현하고자 하는 시점들의 개수가 증가할수록 전자 장치(300)에서 실질적으로 제공되는 주사율이 감소되는 현상이 보완될 수 있다. 이에 따라, 전자 장치(300)가 증강 현실을 제공하는 데 있어서, 동적 영상을 보다 자연스럽게 표시할 수 있다.
본 문서의 다양한 실시예들에 관해 설명되었으나, 본 문서의 다양한 실시예들의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 문서의 다양한 실시예들의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위 뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 전자 장치에 있어서,
    복수 개의 픽셀 그룹들을 포함하고, 상기 픽셀 그룹들을 서로 다른 시간에 핀 홀로 동작시켜, 객체와 관련된 정보를 전달하는 제 1 표시 모듈; 및
    상기 제 1 표시 모듈에 대향하여 배치되어, 상기 정보를 전달하면서, 복수 개의 기초 영상들을 기반으로 라이트 필드 영상을 표시하는 제 2 표시 모듈을 포함하고,
    상기 제 1 표시 모듈은,
    제 1 시간에 상기 픽셀 그룹들 중 적어도 어느 하나를 상기 핀 홀로 동작시켜, 상기 객체의 일부와 관련된 정보를 전달하고,
    제 2 시간에 상기 픽셀 그룹들 중 적어도 다른 하나를 상기 핀 홀로 동작시켜, 상기 객체의 다른 일부와 관련된 정보를 전달하고,
    상기 객체의 일부와 관련된 정보를 기반으로, 상기 기초 영상들 중 어느 하나의 복셀들이 구현되고,
    상기 객체의 다른 일부와 관련된 정보를 기반으로, 상기 기초 영상들 중 다른 하나의 복셀들이 구현되고,
    이를 통해, 관찰자가 상기 객체의 일부와 관련된 정보를 기반으로 구현되는 복셀들과 상기 객체의 다른 일부와 관련된 정보를 기반으로 구현되는 복셀들을 기반으로 상기 라이트 필드 영상을 인지하는 전자 장치.
  2. 제 1 항에 있어서, 상기 제 2 표시 모듈은,
    복수 개의 프레임들 중 적어도 어느 두 개의 연속되는 프레임들을 기반으로 상기 기초 영상들을 표시하는 전자 장치.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 픽셀 그룹들은,
    상기 제 1 시간에 상기 핀 홀로 동작하는 제 1 픽셀 그룹; 및
    상기 제 2 시간에 상기 핀 홀로 동작하는 제 2 픽셀 그룹을 포함하는 전자 장치.
  6. 전자 장치의 동작 방법에 있어서,
    복수 개의 픽셀 그룹들을 포함하는 제 1 표시 모듈이 상기 픽셀 그룹들을 서로 다른 시간에 핀 홀로 동작시켜, 제 1 표시 모듈을 통하여, 객체와 관련된 정보를 전달하는 동작; 및
    제 2 표시 모듈을 통하여, 상기 정보를 전달하면서, 복수 개의 기초 영상들을 기반으로 라이트 필드 영상을 표시하는 동작을 포함하고,
    상기 전달 동작은,
    제 1 시간에 상기 픽셀 그룹들 중 적어도 어느 하나를 상기 핀 홀로 동작하여, 상기 객체의 일부와 관련된 정보를 전달하는 동작; 및
    제 2 시간에 상기 픽셀 그룹들 중 적어도 다른 하나를 상기 핀 홀로 동작하여, 상기 객체의 다른 일부와 관련된 정보를 전달하는 동작을 포함하고,
    상기 객체의 일부와 관련된 정보를 기반으로, 상기 기초 영상들 중 어느 하나의 복셀들이 구현되고,
    상기 객체의 다른 일부와 관련된 정보를 기반으로, 상기 기초 영상들 중 다른 하나의 복셀들이 구현되고,
    이를 통해, 관찰자가 상기 객체의 일부와 관련된 정보를 기반으로 구현되는 복셀들과 상기 객체의 다른 일부와 관련된 정보를 기반으로 구현되는 복셀들을 기반으로 상기 라이트 필드 영상을 인지하는 방법.
  7. 제 6 항에 있어서,
    상기 표시 동작은,
    복수 개의 프레임들 중 적어도 어느 두 개의 연속되는 프레임들을 기반으로 상기 기초 영상들을 표시하는 방법.
  8. 삭제
  9. 삭제
  10. 제 6 항에 있어서, 상기 픽셀 그룹들은,
    상기 제 1 시간에 상기 핀 홀로 동작하는 제 1 픽셀 그룹; 및
    상기 제 2 시간에 상기 핀 홀로 동작하는 제 2 픽셀 그룹을 포함하는 방법.
KR1020180172017A 2018-12-28 2018-12-28 시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법 KR102154263B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180172017A KR102154263B1 (ko) 2018-12-28 2018-12-28 시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180172017A KR102154263B1 (ko) 2018-12-28 2018-12-28 시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법

Publications (2)

Publication Number Publication Date
KR20200081957A KR20200081957A (ko) 2020-07-08
KR102154263B1 true KR102154263B1 (ko) 2020-09-09

Family

ID=71601210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172017A KR102154263B1 (ko) 2018-12-28 2018-12-28 시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법

Country Status (1)

Country Link
KR (1) KR102154263B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101670927B1 (ko) * 2010-11-05 2016-11-01 삼성전자주식회사 디스플레이 장치 및 방법
KR102240568B1 (ko) * 2014-08-18 2021-04-16 삼성전자주식회사 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
KR20200081957A (ko) 2020-07-08

Similar Documents

Publication Publication Date Title
CN105590615B (zh) 用于校正图像失真的设备和方法及包括其的弯曲显示装置
JP5306275B2 (ja) 表示装置及び立体画像の表示方法
US20140247329A1 (en) Image processing device, stereoscopic image display apparatus, image processing method and image processing program
US20190129192A1 (en) Method for rendering three-dimensional image, imaging method and system
KR100932977B1 (ko) 입체 영상 표시 장치
WO2013074753A1 (en) Display apparatuses and methods for simulating an autostereoscopic display device
JP2012156748A (ja) 画像表示装置、画像表示方法、及びプログラム
US20190253697A1 (en) Method of operating a light field 3d display device having an rgbg pixel structure, and light field 3d display device
US20130293547A1 (en) Graphics rendering technique for autostereoscopic three dimensional display
US10805601B2 (en) Multiview image display device and control method therefor
CN109782452B (zh) 立体影像产生方法、成像方法与***
US20140192047A1 (en) Stereoscopic image display device, image processing device, and image processing method
KR20150121386A (ko) 입체 영상 표시 장치 및 영상 처리 방법
US20180247392A1 (en) Information Processing System, Information Processing Apparatus, Output Apparatus, Program, and Recording Medium
KR102154263B1 (ko) 시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법
US20210248941A1 (en) Display apparatus and method incorporating gaze-based modulation of pixel values
CN210294703U (zh) 裸眼立体显示器件、封装结构、显示单元和显示器
EP3273687B1 (en) Image processing system and method, method for determining location, and display system
US20220108420A1 (en) Method and system of efficient image rendering for near-eye light field displays
JP2010233158A (ja) プログラム、情報記憶媒体及び画像生成装置
KR20170036476A (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
US10930185B2 (en) Information processing system, information processing apparatus, output apparatus, program, and recording medium
KR20160014288A (ko) 360도 원형 디스플레이의 3차원 영상 렌더링 방법
TWI503788B (zh) 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
CN114079765B (zh) 图像显示方法、装置及***

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant