KR20230005287A - 광 필드 볼륨 렌더링 시스템 및 방법 - Google Patents
광 필드 볼륨 렌더링 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230005287A KR20230005287A KR1020227041168A KR20227041168A KR20230005287A KR 20230005287 A KR20230005287 A KR 20230005287A KR 1020227041168 A KR1020227041168 A KR 1020227041168A KR 20227041168 A KR20227041168 A KR 20227041168A KR 20230005287 A KR20230005287 A KR 20230005287A
- Authority
- KR
- South Korea
- Prior art keywords
- volume
- rendering
- layer
- light field
- scene
- Prior art date
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 280
- 238000000034 method Methods 0.000 title claims abstract description 243
- 230000015654 memory Effects 0.000 claims abstract description 70
- 238000000638 solvent extraction Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 106
- 238000004364 calculation method Methods 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 55
- 230000008901 benefit Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000002156 mixing Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 abstract description 86
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 230000002829 reductive effect Effects 0.000 abstract description 5
- 238000013517 stratification Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 274
- 101100348084 Drosophila melanogaster CDase gene Proteins 0.000 description 81
- 230000008569 process Effects 0.000 description 31
- 238000013459 approach Methods 0.000 description 28
- 238000007906 compression Methods 0.000 description 25
- 230000006835 compression Effects 0.000 description 25
- 238000005266 casting Methods 0.000 description 13
- 230000002452 interceptive effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 208000027697 autoimmune lymphoproliferative syndrome due to CTLA4 haploinsuffiency Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
Abstract
광 필드를 볼륨 렌더링하기 위한 시스템 및 방법으로서, 광 필드 데이터는 호겔을 서브세트로 분할하는 계층화 방식을 거친다. 층 볼륨의 서브 볼륨에 대응하는 각 서브세트는 층의 서브 영역에 대응한다. 효율적인 로컬 메모리 캐싱 기술과 조합된 데이터의 새로운 분할, 메모리 대역폭 요구사항을 줄이기 위한 플렌옵틱 다운샘플링 전략 및 렌더링된 광 필드를 생성하기 위한 볼륨 렌더링 알고리즘. 결과 이미지의 품질을 유지하면서 필요한 총 샘플의 수를 줄일 수 있다. 액세스 일관성을 최대화하기 위해 광선 계산과 정렬된 메모리 액세스를 주문하는 방법도 제공된다. 실시간 계층화된 장면 분해를 표면 렌더링 방법과 결합하여 중첩된 볼륨 및 표면을 포함하는 장면의 렌더링을 지원하는 하이브리드 실시간 렌더링 방법을 생성할 수 있다.
Description
우선권의 주장
이 출원은 2020년 4월 27일 제출된 미국 특허 출원 번호 63/015,929에 대해 우선권을 주장하며, 그 내용은 그 전체가 참조를 위해 본 명세서에 포함된다.
기술 분야
본 개시는 렌더링, 데이터 압축 및 압축해제 시스템과 조합될 수 있는 이미지 및 광 필드 데이터를 렌더링하기 위한 광 필드 볼륨 렌더링, 및 광 필드 디스플레이에서 상호작용 다차원 콘텐츠를 제공하기 위한 방법에 관한 것이다.
광 필드 디스플레이 상의 볼륨 데이터 시각화를 위한 광 필드 볼륨 렌더링을 위한 기술이 바람직하다. 광 필드를 렌더링하는 볼륨은 새로운 수준의 설득력 있는 몰입형 경험을 달성할 수 있는 기회를 제공한다. 볼륨 렌더링은 의료 영상 시각화, 지진 시각화(seismic visualization), 유체 역학 및 산업 검사에 특히 유용하다. 특히, 의료 분야에서 자기 공명 영상(MRI)과 같은 스캔 결과의 3차원(3D) 영상을 볼 수 있는 기능은 예를 들어 인체 해부학에 대한 심층적인 이해를 가능하게 하고 효율적인 진단을 용이하게 한다. 또한, 이 시각화 기능을 실시간 대화 속도로 수행할 수 있으면 시간적 요소도 통합할 수 있는 더 크고 자세한 데이터 세트를 사용하여 보다 상세하고 효율적이며 정확한 진단을 수행할 수 있다.
실시간 컴퓨터 그래픽의 관점에서, 3D 장면은 일반적으로 예를 들어 다각형, 지점, 스플라인(spline)을 사용하여 표면 세트로서 표현된다. 당업계에 알려진 실시간 표면 렌더링 기술은 일반적으로 광이 반사되는 장면의 이미지만 합성한다. 표면 반사 이상의 모델링을 가능하게 하는 한 가지 표현 방법은 볼륨 렌더링 기술과 결합된 체적 표현을 사용하는 것을 포함한다. 그러나, 이는 일반적으로 많은 광선과 볼륨 데이터의 많은 샘플을 필요로 한다. 볼륨 렌더링은 계산 집약적이기 때문에 광 필드의 볼륨 렌더링을 위해 계산 비용이 덜 들고 이미지 품질을 보존하는 가속화된 방법이 필요하다.
사용 가능한 광 필드 디스플레이는 허용 가능한 품질을 달성하기 위해 적어도 수십억 개의 픽셀을 필요로 한다고 알려져 왔다. 따라서 광 필드 렌더링은 기존의 2차원(2D) 이미지 렌더링보다 훨씬 더 많은 픽셀 또는 광선을 렌더링해야 한다. 따라서, 광 필드 볼륨 렌더링의 경우 더 많은 광선이 필요함을 알 수 있다. 광 필드의 많은 광선 사이의 고유한 교차/중첩이 주어지면 광 필드에서 볼륨 렌더링 광선이 많은 동일한 샘플을 반복적으로 로딩하는 것으로 관찰될 수 있다. 그러나, 이러한 고유한 재사용을 활용하는 일관성 방식은 덜 명확하다.
Stegmaier 등에 의해 설명된 바와 같은 레이 캐스팅(ray casting) 방법은 샘플링 제어를 증가시키고 최신 GU에서 실시간 속도로 실행하기 때문에 선호되는 방법인 것으로 보인다. 일반적으로 볼륨 렌더링의 최신 GPU 구현에는 동적 랜덤 액세스 메모리(DRAM) 메모리 대역폭 병목 현상이 있는 것으로 관찰되며 이는 레이 캐스팅 절차에서는 볼륨 데이터 세트에서 많은 샘플을 가져와야 하기 때문이다. 볼륨 데이터의 복셀은 렌더링 알고리즘에 의해 여러 번 액세스된다. 모든 액세스에 DRAM 읽기가 포함되는 경우 메모리 대역폭과 대기 시간이 심각한 병목 현상이 될 수 있다.
허용 가능한 작업 속도에서 우수한 해상도를 제공할 수 있는 광 필드 볼륨 렌더링 시스템 및 방법에 대한 요구가 남아 있다.
이 배경 정보는 출원인이 본 발명과 관련이 있을 수 있다고 믿는 정보를 알리기 위한 목적으로 제공된다. 앞선 정보 중 어느 것도 본 발명에 대한 선행 기술을 구성한다고 반드시 인정하려는 의도는 없으며 그렇게 해석되어서도 안된다.
본 발명은 일반적으로 3D 이미지 데이터의 광 필드 볼륨 렌더링 방법에 관한 것이다. 본 발명은 3D 볼륨 렌더링과 관련된 대역폭 기반 병목 현상을 줄이는데 직접적으로 기여하고 더 빠르고 덜 계산적으로 집중적인 렌저링 프로세스를 제공하는 더 적은 볼륨 데이터의 샘플을 요구하는 알고리즘을 설명한다. 렌더링 계산 동안 느린 메모리 기반 병목 현상을 추가로 완화하기 위해 광 필드 볼륨 렌더링을 위해 캐싱을 효과적으로 사용하는 방법을 설명하는 방법을 설명하는 것도 본 개시의 목적이다.
일 양태에 따르면, 컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 컴퓨터 구현 방법이 제공되며, 방법은: 볼륨 데이터를 포함하는 장면의 3차원 설명을 층으로 분할하는 단계 ― 각 층은 연관된 광 필드 및 적어도 하나의 슬래브 볼륨을 가지며, 각 슬래브 볼륨은 연관된 호겔 서브세트를 가져 호겔 서브세트와 연관된 모든 광선이 슬래브 볼륨과 교차함 ―; 렌더링된 광 필드를 제공하기 위해 호겔 서브세트의 광선에 대해 볼륨 렌더링 계산이 수행되도록 각 층 내에 포함된 볼륨 데이터를 사용하는 각 층과 연관된 광 필드를 볼륨 렌더링하는 단계; 대응하는 슬래브 볼륨을 교차하는 볼륨 데이터를 캐싱하고 로컬 스토어 캐시 메모리에 저장하는 단계; 및 각각의 층과 연관된 렌더링된 광 필드를 단일 출력 광 필드 이미지로 블렌딩하는 단계를 포함한다.
실시예는 임의의 순열 또는 조합으로 조합될 수 있는 다음의 특징 중 하나 이상을 포함할 수 있다.
방법의 실시예에서, 볼륨 데이터의 일부만이 캐싱된다.
다른 실시예에서, 방법은 슬래브로의 초기 입구에서 호겔 서브세트의 광선에 대해 수행된 볼륨 렌더링 계산을 동기화하는 단계를 더 포함한다.
방법의 다른 실시예에서, 적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는다.
방법의 다른 실시예에서, 재구성 계산은 슬래브 볼륨을 교차하는 광선에 대해 수행되며, 슬래브 볼륨을 교차하는 광선은 로컬 스토어 캐시 메모리로부터 볼륨 요소의 세트에 선택적으로 액세스함으로써 광선 경로를 따라 위치된 재샘플링 지점과 연관된다.
방법의 다른 실시예에서, 호겔 서브세트는 서브세트의 호겔에서 광선 샘플 중첩을 이용하도록 크기가 조정된다.
방법의 다른 실시예에서, 각각의 호겔 서브세트에 대응하는 볼륨 렌더링 계산은 대응하는 슬래브 볼륨을 교차할 때 동기화된다.
다른 실시예에서, 방법은 실시간 렌더링 시스템에서 사용된다.
다른 양태에서, 컴퓨터 구현 광 필드 이미지 렌더링 방법이 제공되며, 방법은: 표면 데이터 요소 및 볼륨 데이터를 포함하는 장면의 3차원 설명을 복수의 층으로 분할하는 단계 ― 각 층은 연관된 광 필드 및 샘플링 방식을 가짐 ―; 복수의 층 중 적어도 하나를 복수의 서브섹션으로 추가로 분할하는 단계 ― 각 서브섹션은 연관된 광 필드 및 샘플링 방식을 가지며, 각 서브섹션 위치는 장면에 표현된 물체의 적어도 일부의 기하학에 따라 결정됨 ―; 각 층 및 각 서브섹션에 대해, 샘플링된 광 필드를 생성하도록 샘플링 방식에 따라 각 층 및 각 서브섹션 내에 포함된 표면 데이터를 사용하여 추가 픽셀 정보를 포함하는 픽셀의 세트를 렌더링하는 단계; 픽셀의 세트를 사용하여 각 층 및 서브섹션에 대해 샘플링된 광 필드를 재구성하는 단계; 층 내에 포함된 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하는 단계; 및 각 층 및 서브섹션과 연관된 볼륨 렌더링된 광 필드 및 재구성된 샘플링된 광 필드를 단일 출력 광 필드 이미지로 블렌딩하는 단계를 포함한다.
실시예는 임의의 순열 또는 조합으로 조합될 수 있는 다음의 특징 중 하나 이상을 포함할 수 있다.
방법의 실시예에서, 샘플링 방식은 각 층을 매핑하기 위해 매핑 함수 및 각 층과 연관된 이진 매트릭스를 포함한다.
방법의 다른 실시예에서, 각 층과 연관된 각 광 필드는 하나 이상의 호겔 서브세트로 구성되며, 각 호겔 서브세트 및 그의 연관된 층은 층의 서브 볼륨인 슬래브 볼륨을 정의하며, 방법은: 각 층과 연관된 광선과 관련된 볼륨 렌더링 계산을 동기화하는 단계; 각 대응하는 슬래브 볼륨을 교차하는 볼륨 데이터를 캐싱하는 단계; 및 광선이 슬래브 볼륨과 교차할 때 각 호겔 서브세트의 광선을 볼륨 렌더링하는 단계를 더 포함한다.
방법의 다른 실시예에서, 볼륨 데이터의 일부만이 캐싱된다.
방법의 다른 실시예에서, 적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는다.
방법의 다른 실시예에서, 호겔 서브세트는 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정된다.
방법의 다른 실시예에서, 호겔 서브세트에 대응하는 모든 볼륨 렌더링 계산은 대응하는 슬래브 볼륨을 교차할 때 동기화된다.
다른 실시예에서, 방법은 실시간 렌더링 시스템에서 사용된다.
다른 양태에서, 컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법이 제공되며, 방법은: 볼륨 데이터 요소를 포함하는 3차원 장면을 층으로 분할하는 단계 ― 각 층은 연관된 광 필드 및 샘플링 방식을 가지며, 각 광 필드는 하나 이상의 호겔 서브세트로 구성되며, 각 호겔 서브세트 및 층 및 연관된 광 필드는 층의 서브 볼륨을 포함하는 슬래브 볼륨을 정의함 ―; 복수의 렌더링된 광 필드를 제공하도록 샘플링 방식에 따른 층 내에 포함되는 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하는 단계; 및 각 층과 연관된 렌더링된 광 필드를 단일 출력 광 필드 이미지로 업스케일링 및 블렌딩하는 단계를 포함한다.
실시예는 임의의 순열 또는 조합으로 조합될 수 있는 다음의 특징 중 하나 이상을 포함할 수 있다.
방법의 실시예에서, 샘플링 방식은 각각의 층을 매핑하도록 매핑 함수 및 각 층과 연관된 이진 매트릭스를 포함한다.
방법의 다른 실시예에서, 슬래브 볼륨을 교차하는 볼륨 데이터는 캐싱된다.
방법의 다른 실시예에서, 슬래브 볼륨을 교차하는 볼륨 데이터의 일부만이 캐싱된다.
방법의 다른 실시예에서, 적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는다.
방법의 다른 실시예에서, 호겔 서브세트는 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정된다.
방법의 다른 실시예에서, 방법은 실시간 렌더링 시스템에서 사용된다.
다른 양태에서, 컴퓨터 시스템에서 장면의 가속 볼륨 렌더링을 수행하기 위한 시스템이 제공되며, 상기 시스템은: 볼륨 데이터를 저장하기 위한 시스템 메모리; 시스템 메모리와 작동적으로 결합된 프로세서 장치로서, 프로세서 장치는: 볼륨 데이터를 포함하는 장면의 3차원 설명을 층으로 분할하고 ― 각 층은 연관된 광 필드 및 적어도 하나의 슬래브 볼륨을 가지며, 각 슬래브 볼륨은 연관된 호겔 서브세트를 가져 호겔 서브세트와 연관된 모든 광선이 슬래브 볼륨과 교차함 ―; 렌더링된 광 필드를 제공하기 위해 슬래브 볼륨을 교차하는 광선에 대해 그리고 호겔 서브세트의 광선에 대해 볼륨 렌더링 계산이 수행되도록 각 층 내에 포함된 볼륨 데이터를 사용하는 각 층과 연관된 광 필드를 볼륨 렌더링하고; 대응하는 슬래브 볼륨을 교차하는 볼륨 광 필드 데이터를 캐싱하고 로컬 스토어 캐시 메모리에 볼륨 광 필드 데이터를 저장하고; 그리고 각각의 층과 연관된 렌더링된 광 필드를 단일 출력 광 필드 이미지로 블렌딩하도록 구성되는, 프로세서 장치를 포함한다.
실시예는 임의의 순열 또는 조합으로 조합될 수 있는 다음의 특징 중 하나 이상을 포함할 수 있다.
시스템의 실시예에서, 볼륨 데이터의 일부만이 캐싱된다.
다른 실시예에서, 시스템 메모리는 호겔 서브세트 내의 광선과 관련된 볼륨 렌더링 계산을 동기화하도록 추가로 구성된다.
시스템의 실시예에서, 적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는다.
시스템의 실시예에서, 재구성 계산은 로컬 스토어 캐시 메모리로부터 볼륨 요소의 세트에 선택적으로 액세스함으로써 슬래브 볼륨을 교차하는 광선에 대해 수행된다.
시스템의 실시예에서, 호겔 서브세트는 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정된다.
시스템의 실시예에서, 호겔 서브세트에 대응하는 볼륨 렌더링 계산은 호겔 서브세트와 연관된 광선이 슬래브 볼륨을 교차할 때 동기화된다.
실시예에서, 시스템은 실시간 렌더링 시스템에서 사용하기 위한 것이다.
다른 양태에서, 컴퓨터 시스템에서 장면의 가속 볼륨 렌더링을 수행하기 위한 시스템이 제공되며, 상기 시스템은: 볼륨 데이터를 저장하기 위한 시스템 메모리; 시스템 메모리와 작동적으로 결합하는 프로세서 장치로서, 프로세서 장치는: 표면 데이터 요소 및 볼륨 데이터를 포함하는 장면의 3차원 설명을 복수의 층으로 분할하고 ― 각 층은 연관된 광 필드 및 샘플링 방식을 가짐 ―; 복수의 층 중 적어도 하나를 복수의 서브섹션으로 추가로 분할하고 ― 각 서브섹션은 연관된 광 필드 및 샘플링 방식을 가지며, 각 서브섹션 위치는 장면에 표현된 물체의 적어도 일부의 기하학에 따라 결정됨 ―; 각 층 및 각 서브섹션에 대해, 샘플링된 광 필드를 생성하도록 샘플링 방식에 따라 각 층 및 각 서브섹션 내에 포함된 표면 데이터를 사용하여 추가 픽셀 정보를 포함하는 픽셀의 세트를 렌더링하고; 픽셀의 세트를 사용하여 각 층 및 서브섹션에 대해 샘플링된 광 필드를 재구성하고; 층 내에 포함된 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하고; 그리고 각 층 및 서브섹션과 연관된 볼륨 렌더링된 광 필드 및 재구성된 샘플링된 광 필드를 단일 출력 광 필드 이미지로 블렌딩하도록 구성되는, 프로세서 장치를 포함한다.
실시예는 임의의 순열 또는 조합으로 조합될 수 있는 다음의 특징 중 하나 이상을 포함할 수 있다.
시스템의 실시예에서, 샘플링 방식은 각 층을 매핑하도록 매핑 함수 및 각 층과 연관된 이진 매트릭스를 포함한다.
시스템의 다른 실시예에서, 층과 연관된 각 광 필드는 하나 이상의 호겔 서브세트로 구성되며, 각 호겔 서브세트 및 연관된 층은, 슬래브 볼륨이라고 하는 층의 서브 볼륨을 정의하며, 광선에 관련된 볼륨 렌더링 계산을 동기화하는 것; 대응하는 슬래브 볼륨을 교차하는 볼륨 데이터를 캐싱하는 것; 및 호겔 서브세트에서 모든 광선에 대한 볼륨 렌더링 계산이 그들이 슬래브 볼륨을 교차할 때 수행되는 것을 더 포함한다.
시스템의 다른 실시예에서, 볼륨 데이터의 일부만이 캐싱된다.
시스템의 다른 실시예에서, 적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는다.
시스템의 다른 실시예에서, 호겔 서브세트는 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정된다.
시스템의 다른 실시예에서, 각각의 호겔 서브세트에 대응하는 볼륨 렌더링 계산은 호겔 서브세트와 연관된 광선이 슬래브 볼륨을 교차할 때 동기화된다.
다른 실시예에서, 시스템은 실시간 렌더링 시스템에서 사용된다.
다른 실시예에서, 컴퓨터 시스템에서 장면의 가속 볼륨 렌더링을 수행하기 위한 시스템이 제공되며, 상기 시스템은: 볼륨 데이터를 저장하기 위한 시스템 메모리; 시스템 메모리와 작동적으로 결합되는 프로세서 장치로서, 프로세서 장치는: 볼륨 데이터 요소를 포함하는 3차원 장면을 층으로 분할하고 ― 각 층은 연관된 광 필드 및 샘플링 방식을 가지며, 각 광 필드는 하나 이상의 호겔 서브세트로 구성되며, 각 호겔 서브세트 및 층은 층의 서브 볼륨을 포함하는 슬래브 볼륨을 정의함 ―; 샘플링 방식에 따른 층 내에 포함되는 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하고; 그리고 각 층과 연관된 렌더링된 광 필드를 단일 출력 광 필드 이미지로 업스케일링 및 블렌딩하도록 구성되는, 프로세서 장치를 포함한다.
실시예는 임의의 순열 또는 조합으로 조합될 수 있는 다음의 특징 중 하나 이상을 포함할 수 있다.
시스템의 실시예에서, 샘플링 방식은 각 층을 매핑하기 위한 매핑 함수 및 각 층과 연관된 이진 매트릭스를 포함한다.
시스템의 다른 실시예에서, 슬래브 볼륨을 교차하는 호겔 서브세트의 볼륨 데이터는 캐싱된다.
시스템의 다른 실시예에서, 슬래브 볼륨을 교차하는 호겔 서브세트의 볼륨 데이터의 일부만이 캐싱된다.
시스템의 다른 실시예에서, 적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는다.
시스템의 다른 실시예에서, 호겔 서브세트는 호겔 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정된다.
본 발명의 이러한 특징 및 다른 특징은 첨부된 도면을 참조하는 다음의 상세한 설명에서 더 명확해질 것이다.
도 1a는 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨에서 단일 호겔의 개략적인 평면도이다.
도 1b는 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨의 개략적인 평면도이다.
도 1c는 광 필드 디스플레이의 외부 절두체 볼륨의 단일 층의 개략적인 평면도이다.
도 2는 광 필드 볼륨 렌더링 시스템/방법의 실시예의 개략도(블록도)이다.
도 3a는 단일 호겔의 광선 경로를 도시하는 광 필드 디스플레이의 내부 절두체 볼륨의 개략적인 평면도이다.
도 3b는 단일 호겔의 광선 경로를 도시하는 광 필드 디스플레이의 외부 절두체 볼륨의 개략적인 평면도이다.
도 3c는 단일 호겔의 광선 경로를 도시하는 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨의 개략적인 평면도이다.
도 3d는 단일 호겔의 광선 경로의 대안적인 실시예를 도시하는 광 필드 디스플레이의 외부 절두체 볼륨의 개략적인 평면도이다.
도 3e는 단일 호겔의 광선 경로의 대안적인 실시예를 도시하는 광 필드 디스플레이의 내부 절두체 볼륨의 개략적인 평면도이다.
도 3f는 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨의 개략적인 평면도이다.
도 4는 각각 디스플레이의 내부 절두체 및 외부 절두체 광 필드 영역과 관련된 이미지 데이터(10 개 층의 2 개 계층 방식)의 예시적인 계층화된 장면 분해를 개략적으로 도시한다.
도 5는 광 필드 볼륨 렌더링 방법의 흐름도를 도시한다.
도 6은 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨의 개략적인 평면도이다.
도 7은 광 필드 볼륨 렌더링 방법의 대안적인 실시예의 흐름도를 도시한다.
도 8은 광 필드 볼륨 렌더링 방법의 대안적인 실시예의 흐름도를 도시한다.
도 1a는 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨에서 단일 호겔의 개략적인 평면도이다.
도 1b는 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨의 개략적인 평면도이다.
도 1c는 광 필드 디스플레이의 외부 절두체 볼륨의 단일 층의 개략적인 평면도이다.
도 2는 광 필드 볼륨 렌더링 시스템/방법의 실시예의 개략도(블록도)이다.
도 3a는 단일 호겔의 광선 경로를 도시하는 광 필드 디스플레이의 내부 절두체 볼륨의 개략적인 평면도이다.
도 3b는 단일 호겔의 광선 경로를 도시하는 광 필드 디스플레이의 외부 절두체 볼륨의 개략적인 평면도이다.
도 3c는 단일 호겔의 광선 경로를 도시하는 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨의 개략적인 평면도이다.
도 3d는 단일 호겔의 광선 경로의 대안적인 실시예를 도시하는 광 필드 디스플레이의 외부 절두체 볼륨의 개략적인 평면도이다.
도 3e는 단일 호겔의 광선 경로의 대안적인 실시예를 도시하는 광 필드 디스플레이의 내부 절두체 볼륨의 개략적인 평면도이다.
도 3f는 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨의 개략적인 평면도이다.
도 4는 각각 디스플레이의 내부 절두체 및 외부 절두체 광 필드 영역과 관련된 이미지 데이터(10 개 층의 2 개 계층 방식)의 예시적인 계층화된 장면 분해를 개략적으로 도시한다.
도 5는 광 필드 볼륨 렌더링 방법의 흐름도를 도시한다.
도 6은 광 필드 디스플레이의 내부 절두체 볼륨 및 외부 절두체 볼륨의 개략적인 평면도이다.
도 7은 광 필드 볼륨 렌더링 방법의 대안적인 실시예의 흐름도를 도시한다.
도 8은 광 필드 볼륨 렌더링 방법의 대안적인 실시예의 흐름도를 도시한다.
정의
달리 정의되지 않는 한, 본 명세서에 사용된 모든 기술 및 과학 용어는 본 발명이 속하는 기술 분야의 통상의 기술자가 일반적으로 이해하는 것과 동일한 의미를 갖는다.
용어 "포함하는"과 함께 본 명세서에서 사용될 때 단어 "a" 또는 "an"의 사용은 "하나"를 의미할 수 있지만, "하나 이상", "적어도 하나" 및 "하나 또는 둘 이상"의 의미와도 일치한다.
본 명세서에서 사용되는 바와 같이, 용어 "포함하는(comprising)", "갖는", "포함하는(including)" 및 "포함하는(containing)" 및 이들의 문법적 변형은 포괄적이거나 개방적이며 추가의 언급되지 않은 요소 및/또는 방법 단계를 배제하지 않는다. 조성물, 장치, 물품, 시스템, 용도 또는 방법과 관련하여 본 명세서에 사용될 때 용어 "본질적으로 구성되는"은 추가 요소 및/또는 방법 단계가 존재할 수 있지만 이러한 추가가 언급된 조성물, 장치, 물품, 시스템, 방법 또는 용도 기능에 실질적으로 영향을 미치지 않는다는 것을 나타낸다. 용어 "구성되는"은 조성물, 장치, 물품, 시스템, 용도 또는 방법과 관련하여 본 명세서에 사용될 때 추가 요소 및/또는 방법 단계의 존재를 배제한다. 특정 요소 및/또는 단계를 포함하는 것으로 본 명세서에 설명된 조성물, 장치, 물품, 시스템, 용도 또는 방법은 또한 이들 실시예가 구체적으로 언급되는지와 상관 없이 특정 실시예에서 본질적으로 이러한 요소 및/또는 단계로 구성될 수 있고 다른 실시예에서 이러한 요소 및/또는 단계로 구성될 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "약"은 주어진 값으로부터 대략 +/- 10% 변동을 의미한다. 이러한 변화는 그것이 구체적으로 언급되든 아니든 본 명세서에 제공된 임의의 주어진 값에 항상 포함된다는 것을 이해해야 한다.
본 명세서에서 범위의 언급은 본 명세서에서 달리 나타내지 않는 한 범위를 나타내기 위해 사용된 숫자와 동일한 자릿수 값으로 범위 및 범위 내에 속하는 개별 값 모두를 전달하기 위한 것이다.
임의의 예 또는 예시적인 언어의 사용, 예를 들어 "~와 같은", "예시적인(exemplary) 실시예", "예시적인(illustrative) 실시예" 및 "예를 들어"는 본 발명과 관련된 양태, 실시예, 변형, 요소 또는 특징을 예시하거나 나타내기 위한 것이며 본 발명의 범위를 제한하려는 것이 아니다.
본 명세서에서 사용되는 바와 같이, 용어 "연결하다" 및 "연결된"은 본 발명의 요소 또는 특징 사이의 임의의 직접 또는 간접적인 물리적 연관성을 나타낸다. 따라서, 이들 용어는 연결되는 것으로 설명된 요소 또는 특징 사이에 개입하는 다른 요소 또는 특징이 있더라도 부분적으로 또는 완전히 서로 내에 포함되거나, 부착되거나, 결합되거나, 배치되거나, 함께 연결되거나, 연통하거나, 작동적으로 연관되는 등의 요소 또는 특징을 나타내는 것으로 이해될 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "픽셀"은 디스플레이를 생성하는데 사용되는 광원 및 발광 메커니즘을 나타낸다.
본 명세서에서 사용되는 바와 같이, 기본적인 수준에서 용어 "광 필드"는 폐색이 없는 공간의 지점을 통해 모든 방향으로 흐르는 광의 양을 설명하는 함수를 나타낸다. 따라서, 광 필드는 자유 공간에서 광의 위치 및 방향의 함수로 복사(radiance)를 나타낸다. 광 필드는 다양한 랜더링 프로세스를 통해 종합적으로 생성되거나 광 필드 카메라 또는 광 필드 카메라 어레이에서 캡쳐될 수 있다. 넓은 의미에서 용어 "광 필드"는 호겔의 배열 또는 서브세트로 설명될 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "광 필드 디스플레이"는 장치에 입력된 한정된 수의 광 필드 복사 샘플로부터 광 필드를 재구성하는 장치이다. 복사 샘플은 적색, 녹색 및 청색(RGB) 색상 구성요소를 나타낸다. 광 필드 디스플레이의 재구성을 위해 광 필드는 4차원 공간에서 단일 RGB 색상으로의 매핑으로 이해할 수도 있다. 4차원에는 디스플레이의 수직 및 수평 차원(x, y) 및 광 필드의 방향성 구성요소(u, v)를 설명하는 2차원을 포함한다. 광 필드는 다음 함수로 정의된다.
고정된 
, 
의 경우, 
는 "요소 이미지"라고 하는 2차원(2D) 이미지로 나타낸다. 요소 이미지는 고정된 
, 
위치에서 광 필드의 방향성 이미지이다. 복수의 요소 이미지가 나란히 연결된 경우, 결과 이미지는 "통합 이미지"라고 한다. 통합 이미지는 광 필드 디스플레이에 필요한 전체 광 필드로 이해될 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "복셀"은 단일 데이터 조각으로 구성된 규칙적인 간격의 3차원 그리드 상의 단일 샘플 또는 데이터 포인트를 지칭한다. 복셀은 3차원 데이터 공간의 위치에 대응하는 개별 볼륨 요소이며 그와 연관된 하나 이상의 데이터 값을 갖는다. 본 명세서에서 사용되는 바와 같이, 용어 "장면의 설명"은 광 필드 이미지 또는 비디오가 렌더링될 수 있는 잠재적인 소스가 될 수 있는 3차원 장면의 기하학적 설명을 의미한다. 이 기하학적 설명은 점, 사변형, 및 다각형으로 표현될 수 있지만 이에 제한되지 않는다.
본 명세서에서 사용되는 바와 같이, 용어 "장면의 설명"은 광 필드 이미지 또는 비디오가 렌더링될 수 있는 잠재적 소스가 될 수 있는 3차원 장면의 기하학적 설명을 의미한다. 이 기하학적 설명은 점, 사변형 및 다각형으로 표현될 수 있지만 이에 제한되지 않는다.
본 명세서에서 사용되는 바와 같이, 용어 "추가 픽셀 정보"는 장면의 설명에 포함된 정보를 의미한다. 추가 픽셀 정보에는 색상, 깊이, 표면 좌표, 법선, 재료 값, 투명도 값 및 다른 가능한 장면 정보가 포함되지만 이에 제한되지 않는다.
본 명세서에서 사용되는 바와 같이, 용어 "디스플레이 표면"은 개별 광 필드 호겔 요소의 물리적 간격에 의해 정의되는 지점 및 방향의 세트를 의미한다. 디스플레이 표면은 전통적인 3D 디스플레이 에서와 같이 평면일 수 있거나, 전체로서 디스플레이 표면에서 국부적으로, 전역적으로 또는 임의의 위치에서 비평면일 수 있다. 디스플레이 표면은 예를 들어 비평면 만곡 표면에 형성될 수 있으므로 지점의 세트는 만곡 디스플레이 표면에 있다. 상상할 수 있는 임의의 다른 원하는 디스플레이 표면 형상이 디스플레이 표면에 사용될 수 있다. 추상적인 수학적 의미에서, 광 필드는 임의의 기하학적 표면에 정의 및 표시될 수 있으며 실제 물리적 에너지 방출 기능이 있는 물리적 디스플레이 표면과 반드시 일치하지 않을 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "요소 이미지"는 고정된 위치 
, 
에 대한 2차원(2D) 이미지 
를 나타낸다. 요소 이미지는 고정된 
, 
위치에서 광 필드의 방향성 이미지이다.
본 명세서에서 사용되는 바와 같이, 용어 "통합 이미지"는 나란히 연결된 복수의 요소 이미지를 지칭하며, 따라서 결과 이미지는 "통합 이미지"로 지칭된다. 통합 이미지는 광 필드 디스플레이에 필요한 전체 광 필드로 이해될 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "층"은 디스플레이 표면에 대해 평행하거나 평행하지 않은, 일정하거나 가변적인 폭을 갖는 임의의 2 개의 평행하거나 평행하지 않은 경계를 지칭한다.
본 명세서에 개시된 조성물, 장치, 물품, 방법 및 용도의 임의의 실시예는 당업자에 의해 있는 그대로, 또는 발명의 범위 및 사상을 벗어나지 않고 이러한 변형 또는 등가물을 만들어 구현될 수 있는 것으로 고려된다.
본 명세서에서 광 필드를 볼륨 렌더링하기 위한 시스템 및 방법이 설명되며 광 필드 데이터는 서브세트로의 호겔의 분할을 도입하는 계층 방식이 적용된다. 볼륨 렌더링은 의료 데이터 시각화, 산업 검사, 공학 보안, 전산 유체 역학(CFD), 파동 방정식 시뮬레이션 및 다른 애플리케이션과 같은 다양한 계산 과학 시뮬레이션에 매우 유용하다. 본 시스템 및 방법에서, 층 볼륨의 서브 볼륨에 대응하는 각 서브세트는 층의 서브 영역에 대응한다. 메모리 대역폭 요구사항을 줄이기 위한 플렌옵틱 다운샘플링 전략을 사용하는 효율적인 로컬 메모리 캐싱 기술과 결합된 데이터의 분할 및 볼륨 렌더링 알고리즘은 렌더링된 라이트 필드 이미지를 생성할 수 있다. 시스템 방법은 샘플 데이터 캐싱의 중복 및 효과적인 사용을 줄임으로써 결과 이미지의 품질을 유지하면서 필요한 총 샘플 수를 줄인다. 또한 방법은 액세스 일관성을 최대화하기 위해 광선 계산과 정렬된 메모리 액세스를 주문하는 방법을 제공한다. 현재 설명된 시스템 및 방법은 중첩된 볼륨 및 표면을 포함하는 장면의 렌더링을 지원하는 하이브리드 실시간 렌더링 방법을 생성하기 위해 실시간 계층화된 장면 분해 표면 렌더링 방법과 결합될 수 있다.
볼륨 렌더링은 대부분의 컴퓨터 그래픽에서 특징화되는 일반적인 표면 렌더링과 달리 3D 공간에 정의된 전체 스칼라 필드의 시각화를 허용한다. 3D 공간에서 더 높은 벡터 필드를 시각화할 수 있도록 기능을 확장하는 것도 가능하다. 실시간 볼륨 렌더링을 통해 데이터 세트를 대화식으로 탐색하거나 시변 볼륨 데이터를 처리할 수 있다. 뷰 정렬 평면을 사용하여 볼륨을 슬라이스한 다음 전방에서 후방으로 렌더링될 때 텍스처 매핑되고 프레임 버퍼에서 합성되는 슬라이스 기반 방법이 제안되었으며 실시간 GPU 기반 성능을 제안하는 것으로 나타났다. 실제로 메모리 캐싱 방식은 이러한 중복 액세스의 성능 영향을 출이는데 도움이 되며, 이는 일관된 광선이 종종 병렬로 계산되고 광선 간 및 광선 스레드 계산 자체 내에서 중복성이 있기 때문이다. 모든 중복성을 완벽하게 활용할 수 있는 경우에도 "최고의최악의 경우"에서 모든 샘플을 DRAM에서 직접 복셀 그리드로부터 한 번 이상 로딩해야 하므로 렌더링이 실시간 속도(예를 들어, 30Hz)를 달성하는 경우 특정 대기 시간 및 메모리 대역폭 요구사항이 발생한다는 점을 인정해야 한다.
도 1a는 내부 및 외부 원거리 클립 평면(14)을 정의하고 광선이 외부 평면에서 내부 평면으로(또는 그 반대로) 행진하도록 하는 기존 기술로부터 명백한 대체 방식을 도시한다. 광 필드 디스플레이의 각 호겔에 대해, 도 1a에 도시된 바와 같이, 디스플레이 평면(10) 상의 호겔의 시야각(θ)(16) 및 호겔 중심 위치(58)에 기초하여 호겔과 연관된 절두체 영역이 있다. 나이브하게, 각각의 호겔은 내부 및 외부 호겔에 대해 두 번 렌더링한 다음 합성해야 한다. 그러면 광선의 수는 디스플레이가 나타내는 모든 방향에 대해 2 개 이므로 수십억 개가 된다. 기존 기술로부터 상당히 분명한 대안적인 방식은 가까운 클립 평면(12)과 먼 클립 평면(14)을 정의하는 것이며, 광선은 먼 클립 평면(14)에서 가까운 클립 평면(12)으로 또는 그 반대로 행진한다. 이로 인해 픽셀당 하나의 광선이 생성되고 광선 당 많은 샘플이 있으므로 잠재적으로 모두 별도의 DRAM 액세스일 수 있는 많은 메모리 액세스가 있다. 실제로 광 필드 렌더링을 위한 기존 GPU 기반 접근 방식을 사용하면 이전에 Hamilton 외(2007)에 이전에 설명된 바와 같이, 광선 내 일관성과 함께 단일 호겔 내에서 광선을 렌더링하는 동안 일부 캐시 일관성(광간 일관성)을 활용할 수 있다. 그러나, 광선 계산이 기존 방식으로 구성되면 일반적으로 동일한 복셀에 액세스하는 별도의 호겔에서 나오는 광선은 캐싱을 이용하지 않고 DRAM 액세스를 증가시킨다. 광 필드 볼륨 렌더링을 가속화하는데 필요한 것은 두 가지입니다; (1) 결과 이미지의 품질을 유지하면서 필요한 총 샘플 수를 줄이는 방법 및 (2) 캐싱을 필요한 DRAM의 총 액세스를 줄이기 위해 사용될 수 있도록 액세스 일관성을 최대화하기 위해 광선 계산과 정렬된 메모리 액세스를 주문하는 방법.
도 1b는 광 필드 디스플레이의 내부 절두체 볼륨(18) 및 외부 절두체 볼륨(20)의 개략적인 평면도이다. 도 1b는 각각 디스플레이의 내부 절두체 볼륨(18) 및 외부 절두체 볼륨(20) 광 필드 영역과 관련도니 이미지 데이터의 예시적인 계층화된 장면 분해를 개략적으로 도시한다. 내부 및 외부 절두체 볼륨 층은 디스플레이 평면(10)으로부터 연장한다. 내부 및 외부 절두체 볼륨(18, 20)은 서로 거울 이미지로 예시되지만, 내부 및 외부 절두체 볼륨(18, 20)은 상이한 수의 층, 상이한 크기의 층 또는 상이한 깊이의 층을 가질 수 있으며 다른 렌더링 기술을 사용하여 렌더링될 수 있다. 렌더링 기술은 경사 렌더링 기술 및 원근 렌더링 기술을 포함하지만 이에 제한되지 않는다.
복셀 그리드(22)는 도 1c에 도시된다. 유용한 광 필드 디스플레이의 최소 요구사항은 최소 10억 픽셀 정도이다. 광 필드를 볼륨 렌더링하는 기존의 명백한 방법을 검토한다. 나이브하게도 각 호겔은 내부 및 외부 호겔에 대해 두 번 렌더링된 다음 Halle이 제안한 "이중 절두체 렌더링"과 유사한 방법으로 합성되어야 한다. 그러면 광선의 수는 디스플레이가 나타내는 모든 방향에 대해 2 개이므로 수십억 개가 된다.
도 2는 내부 절두체 광선 계산(46) 및 외부 절두체 광선 계산(48)이 동시에 수행되어 내부 및 외부 절두체 이미지를 개별적으로 렌더링한 다음, 이들을 볼륨 렌더링 적분 이산화 방정식을 사용하여 단일 출력 광 필드 이미지(52)로 합성(50)하는 방법의 프로세스 흐름도를 도시한다.
도 3a-f에 도시된 바와 같이, 단일 절두체 내의 층, 예를 들어 내부 절두체 볼륨(18)이 렌더링 방법에 사용되는 방법이 설명된다. 볼륨 렌더링에서 단일 광선과 연관된 각 계산 스레드는 볼륨 렌더링 적분의 단일 인스턴스를 계산한다. 적분은 광선 경로(32)를 따라 앞뒤 순서로 발생하는 누적 계산으로 이산화된다. 따라서 각 호겔의 각 픽셀에 대한 내부 절두체 볼륨(18)을 렌더링하기 위해, 도시된 바와 같이 내부 절두체 볼륨(18)에 대한 디스플레이 평면(10)의 교차점(38)에서 시적하여 내부 절두체 볼륨(18)에 대한 원거리 클립 평면(14)의 교차점(36)에 도달할 때까지 계속된다고 가정할 수 있다. 도 3b는 디스플레이 평면(10) 상의 교차점(38)으로부터 이동하고 가까운 클립 평면(12)과의 교차점(34)으로 추적되는 외부 절두체 볼륨(20) 내의 동일한 광선 경로(32)를 도시한다. 도 3c는 도 3a 및 도 3b를 단일 도면으로 결합하여 내부 절두체 볼륨(18)에 대한 원거리 클립 평면(14)의 교차점(36)으로 추적된 디스플레이 평면(10)과의 교차점(38)으로부터의 단일 픽셀의 광선 경로(32) 및 근거리 클립 평면(12)과의 교차점(34)으로 추적되는 디스플레이 평면(10) 상의 교차점(38)으로부터 이동하는 외부 절두체 볼륨(20)의 동일한 픽셀에 대한 광선 경로(32)를 도시한다. 따라서, 도 3d는 도시된 바와 같이 광선 경로(32)가 디스플레이 평면(10)의 교차점(38)으로부터 추적되고 원거리 클립 평면(14)의 교차점(36)에 도달할 때까지 계속되는 호겔의 단일 픽셀의 대안적인 실시예에 대한 내부 절두체 광선 경로(32)를 도시한다. 도 3e는 도시된 바와 같이 광선 경로(32)가 근거리 클립 평면(12)의 교차점(34)으로부터 추적되고 디스플레이 평면(10)의 교차점(38)에 도달할 때까지 계속되는 호겔의 단일 픽셀의 대안적인 실시예에 대한 외부 절두체 볼륨(20)을 도시한다. 도 3f는 도 3d 및 도 3e를 단일 도면으로 결합하여 외부 절두체 볼륨(20)에 대한 디스플레이 평면(10)의 교차점(38)으로 추적된 근거리 클립 평면(12)과의 교차점(34)으로부터 단일 방향으로 이동하며 원거리 클립 평면(14)의 교차점(36)에 도달할 때까지 내부 절두체 볼륨(18)으로 계속되는 단일 픽셀의 대안적인 광선 경로(32)를 도시한다. 도 3b와 대조적으로, 도 3e에 도시된 바와 같이 외부 절두체 볼륨(20)을 렌더링하기 위해, 광선은 근거리 클립 평면(12)에서 시작하여 디스플레이 평면(10)에서 끝나는 것으로 가정할 수 있다. 외부 절두체 볼륨(20)의 근거리 클립 평면(12)에서 시작하는 임의의 광선에 대해, 도 3f에 도시된 바와 같이 그것은 디스플레이 평면(10)에서 시작하는 대응하는 광선에서 계속되어 내부 절두체 볼륨(18)의 원거리 클립 평면(14)으로 계속된다. 외부 및 내부 절두체 광선 세그먼트는 병렬로 개별적으로 계산된 다음 도 2를 통해 도시된 바와 같이 간단한 방식으로 적분 이산화를 렌더링하는 볼륨을 통해 단일 최종 계산으로 수정될 수 있다.
각각의 디스플레이의 내부 절두체 볼륨(18) 및 외부 절두체 볼륨(20) 광 필드 영역에 관련된 이미지 데이터의 예시적인 계층화된 장면 분해(10 개의 층 중 2 개의 계층화 방식)가 도 4에 도시된다. 내부 절두체 볼륨(18) 및 외부 절두체 볼륨(20)은 디스플레이 평면(10)에 의해 정의된다. 원거리 클립 평면(14)은 내부 절두체 볼륨(18)의 가장 먼 경계이고 근거리 클립 평면(12)은 외부 절두체 볼륨(20)의 가장 먼 경계이다. 내부 절두체 볼륨(18)은 개시된 계층화된 장면 분해 기술에 따라 복수의 재부 절두체 층(40)으로 분할된다. 외부 절두체 볼륨(20)은 계층화된 장면 분해 기술에 따라 복수의 외부 절두체 층(42)으로 분할된다. 층(40, 42)은 단지 예시 목적으로 폭이 균일한 것으로 표현된다는 점에 유의해야 한다. 본 명세서에 사용되는 바와 같이, 용어 "층"은 디스플레이 표면에 평행하거나 평행하지 않은, 일정하거나 가변적인 폭을 갖는 임의의 2 개의 평행하거나 평행하지 않은 경계를 지칭한다.
해당 분야의 광 필드 볼륨 렌더링을 위한 다른 기술은 렌더링을 필요로 하는 뷰의 수를 줄이기 위해 뷰 합성을 사용하여 제안되었으며, 이는 잠재적으로 모다 효율적인 렌더링 시스템을 허용할 수 있다. 이러한 방법은 상당한 트레이닝 데이터 세트가 필요한 감독 학습을 기반으로 한다. 또한 알고리즘의 동작이 트레이닝 예를 넘어 어떻게 일반화되는지 명확하지 않아 심각한 아티팩트(artifact)가 발생할 수 있다.
광 필드 볼륨 렌더링은 볼륨 렌더링 모델을 사용하여 광 필드 이미지를 생성하는 것으로 정의될 수 있다. 설명을 위해 광 필드 이미지 
를 렌더링한다고 가정한다. 
로 정의된 볼륨 데이터 함수는 일반적으로 복셀 그리드(22)로 표시되지만 점 기반 또는 사면체 표시를 통해 표시될 수 있다(Hamilton (2013)). 볼륨 그리드는 임의로 배치될 수 있고 가상 광 필드 카메라에 대해 회전되거나 조작될 수 있다. 한정된 볼륨 데이터가 렌더링됨에 따라 내부 절두체에 층의 가장 깊은 경계면을 나타내는 도 1a에 도시된 바와 같은 원거리 클립 평면(14)이 있다고 가정한다. 유사하게, 디스플레이 평면(10)으로부터 그 절두체에서 가장 먼 층 경계를 나타내는 외부 절두체에 근거리 클립 평면(12)이 있다. 외부 절두체 근거리 클립 평면(12)(Cn) 및 내부 절두체 원거리 클립 평면(14)(Cf)의 개념을 가정하면, 이는 렌더링에 중요한 입력이므로 볼륨 렌더링 광선 캐스팅 프로세스를 시작하고 중지할 위치를 알 수 있다. 다른 필수 입력은 
로 표시될 수 있는 전달 함수이다. 이는 밀도 이상의 더 복잡한 함수일 수도 있다. 정의 특성은 광선 적분 계산 중에 볼륨의 각 지점에 대해 
를 계산하는 역할을 해야 한다는 것이다. 실시간 볼륨 렌더링을 위해 전방-후방 구성 방정식(또는 후방-전방)을 사용하여 상당한 계산 부담 없이 볼륨 렌더링 적분을 계산할 수 있다.
본 발명은 일반적으로 광 필드 데이터의 볼륨 렌더링 및 가속화된 볼륨 렌더링 기술에 관한 방법 및 시스템에 관한 것이다. 레이 캐스팅 절차에서는 볼륨 데이터 세트에서 많은 샘플을 가져와야 하므로 볼륨 렌더링의 최신 그래픽 처리 장치(GPU) 구현에는 DRAM 메모리 대역폭 병목 현상이 있는 것으로 일반적으로 관찰된다. 볼륨 데이터의 복셀은 렌더링 알고리즘에 의해 여러 번 액세스된다. 모든 액세스에 DRAM 읽기가 포함되는 경우 메모리 대역폭과 대기 시간이 심각한 문제가 된다. 실제로 메모리 캐싱 방식은 이러한 중복 액세스의 성능 영향을 줄이는 데 도움이 될 수 있으며, 이는 일관된 광선이 종종 병렬로 계산되고 광선 간 및 광선 스레드 계산 자체 내에서 중복성이 있기 때문이다. 모든 중복성을 완벽하게 활용할 수 있더라도 "최선의 최악의 경우"에서 모든 샘플을 DRAM에서 직접 복셀 그리드에서 적어도 한 번 로드해야 되므로 특정 대기 시간 및 메모리 대역폭 요구사항이 발생한다는 점을 인정해야 한다.
도 5는 개시된 방법의 실시예의 공정 흐름도를 도시한다. 방법은 볼륨 데이터를 포함하는 장면의 3차원 설명을 층으로 분할하는 것으로 구성되며, 각 층은 연관된 광 필드 및 적어도 하나의 슬래브 볼륨을 가지며, 각 슬래브 볼륨은 연관된 호겔 서브세트를 가져서 호겔 서브세트와 연관된 모든 광선이 슬래브 볼륨을 교차한다(60). 또한, 호겔 서브세트의 모든 광선에 대한 볼륨 렌더링 계산을 슬래브 볼륨을 교차하는 광선에 대해 수행되도록 층 내에 포함된 볼륨 데이터를 사용하는 각 층과 연관된 광 필드를 볼륨 렌더링한다(62). 대응하는 슬래브 볼륨을 교차하는 볼륨 데이터는 로컬 스토어 캐시 메모리에 데이터를 캐싱하고 저장한다(64). 방법은 또한 각 층과 연관된 렌더링된 광 필드를 단일 출력 광 필드 이미지로 블렌딩하는 것(66)으로 구성된다.
도 7은 개시된 방법의 실시예의 공정 흐름도를 도시한다. 방법은 표면 데이터 요소 및 볼륨 데이터를 포함하는 장면의 3차원 설명을 복수의 층으로 분할하는 것으로 구성되며, 각 층은 연관된 광 필드 및 샘플링 방식을 갖는다(68). 방법은 복수의 층 중 적어도 하나를 복수의 서브섹션으로 추가로 분할하는 것을 포함하며, 각 서브섹션은 연관된 광 필드 및 샘플링 방식을 가지며, 각 서브섹션 위치는 장면에 표시된 물체의 적어도 일부의 기하학에 따라 결정된다(70). 각 층 및 각 서브섹션에 대해, 방법은 샘플링된 광 필드를 생성하도록 샘플링 방식에 따른 각 층 및 각 서브섹션 내에 포함된 표면 데이터를 사용하여 추가 픽셀 정보를 포함하는 픽셀의 세트를 렌더링하는 것(72)을 포함한다. 샘플링된 광 필드는 픽셀의 세트를 사용하여 각 층 및 서브섹션에 대해 재구성된다(74). 각 층과 연관된 광 필드는 층 내에 포함된 볼륨 데이터를 사용하여 볼륨 렌더링되며(76), 재구성된 샘플링된 광 필드 및 각 층과 연관된 볼륨 렌더링된 광 필드는 단일 출력 광 필드 이미지로 블렌딩된다(78).
도 8은 볼륨 데이터 요소를 포함하는 3차원 장면을 층으로 분할하는 것을 포함하는 개시된 방법의 실시예의 프로세스 흐름도를 도시하며, 각 층은 연관된 광 필드 및 샘플링 방식을 가지며, 각 광 필드는 하나 이상의 호겔 서브세트로 구성되며, 각 호겔 서브세트 및 연관된 층은 슬래브 볼륨이라고 하는 층의 서브 볼륨을 정의한다(80). 방법은 샘플링 방식에 따라 층 내에 포함된 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하는 것(82)을 더 포함한다. 각 층과 연관된 렌더링된 광 필드는 단일 출력 광 필드 이미지로 블렌딩되고 업스케일링된다(84).
본 발명의 다양한 특징은 도면의 예시와 함께 취해진 다음의 상세한 설명으로부터 명백해 질 것이다. 본 명세서에 개시된 광 필드 볼륨 렌더링 기술의 설계 인자, 구성 및 용도는 본 명세서에 설명되고 청구된 본 발명의 범위를 제한하려는 의도가 아닌 실시예를 나타내는 다양한 예를 참조하여 설명된다. 본 발명이 속하는 분야의 숙련된 기술자는 본 발명의 범위 및 사상을 벗어나지 않고 본 개시의 교시에 따라 실시될 수 있는 본 명세서에 개시되지 않은 본 발명의 다른 변형, 예 및 실시예가 있을 수 있음을 이해할 것이다.
계층화된 장면 분해(LSD) 코덱 시스템 및 방법
계층화된 장면 분해 인코딩 및 디코딩(CODEC)은 알려진 샘플링, 렌더링 및 광 필드 디스플레이를 생성하기 위한 뷰 합성 방법을 사용하는 전략을 적용하고, 파생, 구현 및 응용을 포함하는 개시된 바와 같은 새로운 계층화된 장면 분해 전략과 함께 사용하기 위한 상기 전략을 적응시킨다.
3D 디스플레이
당업계에 이전에 알려진 바와 같은 종래의 디스플레이는 이상적인 균일한 샘플링을 허용하는 2차원 어레이로 실질적으로 균일하게 이격되고 조직화된 공간 픽셀로 구성된다. 반대로 3차원 디스플레이에는 공간 및 각도 샘플이 모두 필요하다. 일반적인 3차원 디스플레이의 공간 샘플링은 균일하게 유지되지만, 각도 샘플은 각도 공간에서 디스플레이의 풋푸린트 측면에서 반드시 균일한것으로 간주될 수 없다. 각도 광선 분포에 대한 다양한 광 필드 파라미터에 대한 검토는 미국 특허 제 6,549,308호를 참조한다.
광 필드의 방향성 구성요소라고도 하는 각도 샘플은 Gortler 외의 "The Lumigraph"에서 교시된 평면 파라미터화와 같은 다양한 방식으로 파라미터화될 수 있다. 광 필드 함수가 위치 측면에서 이산화되면, 광 필드는 Chai의 "Plenoptic Sampling"에 교시된 바와 같은 평면 파라미터화 핀홀 프로젝터의 규칙적인 간격 배열로 이해할 수 있다. 고정된 
, 
의 경우 요소 이미지 
는 임의의 광선 파라미터화를 사용하여 핀홀 프로젝터에 의해 투사된 이미지로 이해될 수 있는 2차원 이미지를 나타낸다. 광 필드 디스플레이의 경우 연속 요소 이미지는 한정된 수의 광 필드 복사 샘플로 표현된다. 이상적인 평면 파라미터화된 핀홀 프로젝터의 경우 상기 한정된 수의 샘플은 규칙적인 간격의 배열로서 이미지 평면으로 매핑된다(평면 내의 규칙적인 간격은 대응하는 각도 방향 공간의 규칙적인 간격에 대응하지 않음).
일반적인 3D 광 필드 디스플레이의 경우, 지점 및 방향의 세트는 평면 디스플레이 평면 및 개별 광 필드 호겔 요소의 물리적 간격에 의해 정의될 것이다. 그러나, 디스플레이는 만곡 표면 상에 형성될 수 있고 따라서 지점의 세트는 곡면 디스플레이 표면 또는 상상할 수 있는 임의의 다른 원하는 디스플레이 표면 형상에 상주할 수 있다는 것이 알려져 있다. 추상적인 수학적 의미에서 광 필드는 임의의 기하학적 표면에서 정의되고 표현될 수 있으며 실제 물리적 에너지 방출 기능이 있는 물리적 디스플레이 표면과 반드시 일치하지 않을 수 있다. Chen 외에 의해 도시된 바와 같이 문헌에서 표면 광 필드의 개념은 이 경우를 설명한다.
평면 파라미터화의 고려는 본 발명의 범위 및 사상을 제한하려는 의도가 아니며, 이는 광 필드의 방향성 구성요소가 다양한 다른 임의의 파라미터화에 의해 파라미터화될 수 있기 때문이다. 예를 들어, 물리적으로 구현된 핀홀 프로젝터의 렌즈 왜곡 또는 다른 광학 효과는 평면 파라미터화의 왜곡으로 모델링될 수 있다. 또한, 디스플레이 구성요소는 Clark 외의 "A transformation method for the reconstruction of functions from nonuniformly spaced samples"에서 교시된 바와 같이 워핑(warping) 함수를 통해 정의될 수 있다.
워핑 함수
는 핀홀 프로젝터의 왜곡된 평면 파라미터화를 정의하여 광 필드에서 임의의 대체 각도 분포를 생성한다. 광 필드 핀홀 프로젝터에서 전파되는 광선의 각도 분포는 핀홀 프로젝터의 초점 거리 
와 대응하는 2차원 워핑 함수 
에 의해 결정된다.
하나 이상의 사용자를 위해 광 필드를 투사하는 무안경 입체 광 필드 디스플레이(autostereoscopic light field display)는 다음과 같이 정의된다:
여기서 
는 디스플레이의 공간 해상도의 수평 및 수직 차원이고 
는 디스플레이의 각도 해상도 구성요소의 수평 및 수직 차원이다. 디스플레이는 피치 
, 초점 거리 
, 및 디스플레이에 의해 투사되는 광 필드에 대한 광선 방향의 분포를 정의하는 워핑 함수 
를 갖는 이상적인 광 필드 프로젝터의 어레이이다.
광 필드 디스플레이
를 구동하는 광 필드
는 x 방향에서 
광 필드 방사 샘플, y 방향에서 
광 필드 방사 샘플 및 u 및 v 방향에서 
및 
광 필드 방사 샘플을 필요로 한다. 
가 단일 워핑 함수 
로 정의되는 반면, 실제 핀홀 프로젝터에 상당한 마이크로렌즈 변형이 존재하여 각도 광선 분포가 하나의 마이크로 렌즈로부터 다른 마이크로 렌즈로 크게 달라지는 경우, 이상적인 광 필드 핀홀 프로젝터의 어레이 내의 각각의 광 필드 평면 파라미터화 핀홀 프로젝터는 고유한 워핑 함수 
를 가질 수 있다.
광 필드 디스플레이 렌더링
표면 렌더링
Halle 외의 "Fast Computer graphics rendering for full parallax spatial displays"에서는 디스플레이의 외부 절두체 볼륨(20) 및 도 6에 도시된 바와 같이 내부 절두체 볼륨(18) 내에 위치된 물체를 렌더링하기 위한 방법을 제공한다. 도 6은 디스플레이 평면 뒤에(즉, 디스플레이 내에) 위치된 내부 절두체 볼륨(18) 및 디스플레이 평면 앞에(즉, 디스플레이 외부에) 위치된 외부 절두체 볼륨(20)을 갖는 이들 2 개의 분리된 뷰잉 절두체(viewing frusta)에 의해 정의된 볼륨 영역 내의 물체를 나타내는 광 필드 디스플레이를 도시한다. 도시된 바와 같이, 다양한 물체(프리즘 및 원형 형태로 개략적으로 도시됨)는 디스플레이 평면(10)으로부터 다양한 깊이에 위치된다.
Halle 외는 내부 절두체 볼륨(18) 및 외부 절두체 볼륨(20)이 2 개의 별개의 광 필드로 개별적으로 렌더링되는 이중 절두체 렌더링 기술을 교시한다. 내부 절두체 볼륨 
(18) 및 외부 절두체 볼륨 
(20)은 깊이 병합 프로세스를 통해 단일 광 필드 
로 재결합된다.
기술은 핀홀 카메라 렌더링 모델을 사용하여 광 필드의 개별 요소 이미지를 생성한다. 각 요소 이미지(즉, 각 렌더링된 평면 파라미터화 핀홀 프로젝터 이미지)에는 두 대의 카메라의 사용이 필요하다: 하나는 내부 절두체 볼륨(18)을 캡처하는 카메라이고 다른 하나는 외부 절두체 볼륨(20)을 캡처하는 카메라이다. Halle 외는 표준 오소스코픽 카메라(standard orthoscopic camera) 및 그의 컨쥬게이트 슈도스코픽 카메라(conjugate pseudoscopic camera)를 사용하여 광 필드의 샘플링 영역에서 핀홀 프로젝터 이미지를 렌더링하는 것을 교시한다. 핀홀 카메라 
에 대하여, 대응하는 컨쥬게이트 카메라는 
로 표시된다.
워핑 함수 
를 사용하여 파라미터화된 프로젝터를 갖는 광 필드 디스플레이 내에서 요소 이미지를 캡처하기 위해, 이상적인 평면 파라미터화된 핀홀 카메라의 재파라미터화를 기반으로 하는 일반화된 핀홀 카메라가 사용된다. Gortler 외에 의해 교시된 바와 같이, 초점 길이 
를 갖는 핀홀 카메라 
는 2 개의 평행한 평면에 의해 생성된 파라미터화에 의해 한정된 광선을 갖는다. 핀홀 카메라 
는 이미지 
를 캡처하며, 여기서 
는 광선 파라미터화 평면의 좌표이다. 일반화된 핀홀 카메라 
는 Clark 외에 의해 교시된 바와 같이, 2차원의 연속적이고 반전 가능한 타임 워핑 함수를 사용하여 워핑된 평면 파라미터화된 카메라에 기초한다. 워핑 함수 
에서 그 역수는 
이다. 따라서, 
의 이미지인 
이다.
일반화된 핀홀 카메라 
가 주어지면, 이중 절두체 렌더링을 완료하기 위해 컨쥬게이트 일반화된 카메라 
이 형성된다. 일반화된 핀홀 카메라 쌍의 
그리드로부터 생성된 뷰는 라이트 필드 디스플레이를 위한 라이트 필드를 렌더링하도록 렌더링된다.
따라서, 주어진 라이트 필드 디스플레이 
에 대해 라이트 필드 
를 생성하도록 렌더링되어야하는 모든 일반화된 핀홀 카메라 쌍의 세트는 다음과 같이 정의된다:
오소스코픽 카메라의 세트 
는 내부 절두체 볼륨(18)에 대응하는 라이트 필드 이미지를 캡쳐하며 컨쥬게이트 일반화된 카메라의 세트 
는 외부 절두체 볼륨(20)에 대응하는 이미지를 캡쳐한다. 전술한 바와 같이, 내부 절두체 볼륨(18) 및 외부 절두체 볼륨(20)은 단일 광 필드로 결합된다.
계층화된 장면 분해 및 샘플링 방식
Graziosi 외에 의해 교시된 샘플링 갭 및 Zwicker 외에 의해 교시된 플렌옵틱 샘플링 이론은 상보적인(complimentary) 광 필드 샘플링 전략을 제공한다: Graziosi 외는 원거리 객체(
)에 대한 다운 샘플링을 증가시키며 Zwicker 외는 가까운 물체(
)에 대한 다운 샘플링을 증가시킨다. 그러나 장면을 나타내는 단일 광 필드를 다운 샘플링할 때, 이러한 전략의 조합이 압축을 보장하지는 않는다. 따라서, 본 개시는 다차원 장면을 복수의 층으로 분할한다. 복수의 (데이터) 층으로의 이 분할은 본 명세서에서 계층화된 장면 분해로서 지칭된다. 
과 
가 자연수인 경우, 도 4에 도시된 바와 같이 
로 정의하여, 3차원 디스플레이의 내부 및 외부 절두체 볼륨을 분할한다. 내부 절두체 볼륨(18)은 
내부 절두체 층(40)의 세트로 분할되며, 여기서 
이다. 각각의 내부 절두체 층(40)은 디스플레이 평면(10)으로부터 
의 경우 거리 
및 
에서 디스플레이 표면에 평행한 한 쌍의 경계 평면(bounding plane)에 의해 정의된다. 외부 절두체 볼륨(20)은 
외부 절두체 층(42)의 세트로 분할되며, 여기서 
이다. 도 1c는 단일 절두체 층(42)을 도시한다. 각 외부 절두체 층(42)은 디스플레이 평면 표면으로부터 
의 경우 거리 
및 
에서 디스플레이 표면에 평행한 한 쌍의 경계 평면에 의해 정의된다. 도 1c에 도시된 바와 같이, 외부 절두체 층(42)은 제1 경계 평면(26) 및 제2 경계 평면(24)을 포함하는 한 쌍의 경계 평면(24, 26)에 의해 경계를 이룬다. 대안적인 실시예에서, 내부 절두체 볼륨(18) 및 외부 절두체 볼륨(20)은 서로 다른 계층화 방식으로 분할될 수 있다.
계층화된 장면 분해 층 각각은 층의 평면 경계 영역에 대한 장면 제한(scene restriction)에 기초하여 연관된 광 필드(여기서는 "광 필드 층"이라고도 함)를 갖는다. 
의 경우 내부 절두체 층(40) 
또는 
의 경우 외부 절두체 층(42) 
을 갖는 광 필드 디스플레이 
에 대한 계층화된 장면 분해 
를 고려하자. 내부 절두체 광 필드 
는 일반화된 핀홀 카메라 
로부터 생성된다. 이 방정식은 
인 광 필드 디스플레이 표면으로부터의 거리 
에서의 공간만이 이미지화되도록 제한된다. 따라서, 고정된 x, y 및 
을 갖는 내부 절두체 층(40)에 대해 
를 계산한다. 유사하게, 외부 절두체 광 필드 
는 일반화된 핀홀 카메라의 세트
로부터 생성된다. 이 방정식은 
인 광 필드 디스플레이 표면으로부터의 거리 
에서의 공간만이 이미지화되도록 제한된다. 따라서, 고정된 x, y 및 
를 갖는 외부 절두체 층(42)에 대해 
를 계산한다.
계층화된 장면 분해(
)에 대한 내부 및 외부 절두체 영역에 대한 광 필드의 세트가 추가로 정의될 수 있다. 계층화된 장면 분해 
를 갖는 광 필드 디스플레이 
를 가정하자. 내부 절두체 영역 광 필드의 세트는 
로 정의된다. 외부 절두체 영역 광 필드의 세트는 
로 정의된다.
정의된 바와 같이, 계층화된 장면 분해는 각각의 층에 대한 광 필드를 생성한다. 계층화된 장면 분해의 경우, 오소스코픽 카메라는 내부 절두체 볼륨(18) 광 필드를 생성하고 슈도스코픽 카메라는 외부 절두체 볼륨(20) 광 필드를 생성한다. 이러한 일반화된 핀홀 카메라 쌍에 의해 캡처된 장면이 불투명한 표면만으로 구성되는 경우, 광 필드의 각 지점은 일반화된 핀홀 카메라 평면에서 공간 이미지의 대응하는 지점까지의 거리를 나타내는 연관된 깊이 값을 갖는다. 광 필드 
또는 
가 주어질 때, 
깊이 맵은 공식적으로 
로 정의되며, 
깊이 맵은 공식적으로 
로 정의된다. 깊이 맵 
는 관련 이미징 일반화된 핀홀 카메라 광선에 대응하는 표면 교차점이 존재하지 않는다. 그의 도메인에 걸쳐 
및 
이다. 다시 말하면, 계층화된 장면 분해 층의 광 필드와 관련된 깊이 맵은 층 자체의 깊이 경계에 의해 제한된다.
병합 연산(merging operation)은 계층화된 장면 분해 층 세트를 내부 및 외부 절두체 볼륨(18, 20) 또는 
및 
로 다시 결합할 수 있다. 내부 및 외부 절두체 볼륨(18, 20) 광 필드는 병합 연산자 
으로 병합된다. 예를 들어, 2 개의 임의의 광 필드 
및 
가 주어지고, 여기서 
이면, 
은 다음과 같이 정의된다:
따라서, 
및 
는 내부 및 외부 절두체 층(40, 42)과 연관된 광 필드를 병합함으로써 세트 
및 
로부터 복구될 수 있다. 예를 들어,
이는 계층화된 장면 분해 연산 및 상기 분해를 역으로 하기 위해 데이터를 병합하는 역 연산(inverse operation)을 제공한다. K 개의 층으로 계층화된 장면 분해를 수행하는 것은 K 개의 많은 개별 광 필드를 생성하는 것으로 이해된다. 계층화된 장면 분해의 값은 층에 의해 유도된 광 필드에 있으며; 이러한 광 필드 층은, 적절한 샘플링 방식을 갖는 다수의 다운 샘플링된 계층화된 장면 분해 광 필드 층에 필요한 총 데이터 사이즈가 원래 광 필드의 사이즈보다 상당히 작기 때문에, 원래 총 광 필드 또는 내부 절두체 볼륨(18) 또는 외부 절두체 볼륨(20) 광 필드보다 다운 샘플링에 더 적합하다.
본 발명이 속하는 분야의 숙련된 기술자는 광 필드를 성공적으로 샘플링할 수 있는 다수의 유형의 샘플링 방식이 있음을 이해할 것이다. 제공된 샘플링 방식(S)은 본 발명의 범위 및 사상을 제한하거나 벗어나도록 의도되지 않으며, 계층화된 장면 분해 층 광 필드에서 각 요소 이미지에 대한 개별 샘플링 속도를 특정하는 것과 같은 다른 샘플링 방식이 사용될 수 있다. 상대적으로 간단한 샘플링 방식은 더 큰 샘플링 제어를 갖는 효과적인 코덱을 제공할 수 있으므로, 본 개시는 본 발명의 범위 및 사상을 제한하거나 벗어나지 않으면서 본 개시를 설명하기 위한 간단한 샘플링 방식을 제공한다.
본 개시에 따라 제공되는 광 필드 샘플링 방식은 광 필드 인코딩 방법을 나타낸다. 디스플레이 
및 계층화된 장면 분해 
가 주어지면, 본 개시는 
또는 
에서 임의의 층 
와 관련된 
이진 매트릭스 
및 각 층 
를 
쌍에 맵핑하기 위한 맵핑 함수 
로서 L과 관련된 샘플링 방식(S)을 제공한다. 
에서 
의 이진 
항목은 요소 이미지 
가 샘플링 방식에 포함되는지 여부를 나타낸다: (1)은 
가 포함되어 있음을 나타내고 (0)은 
가 포함되지 않음을 나타낸다. 
는 광 필드 
의 요소 이미지가 
의 해상도에서 샘플링됨을 나타낸다.
본 개시는 또한 플렌옵틱 샘플링 이론에 기초하여 드로잉하는 계층화된 장면 분해 라이트 필드 인코딩 프로세스를 제공한다. 이하의 설명은 계층화된 장면 분해(L)의 내부 절두체 부피(
)(18)에 관한 것이지만, 외부 절두체 부피(
)(20)는 유사한 방식으로 인코딩될 수 있다.
각각의 
에 대해, 대응하는 광 필드 
의 깊이 맵은 
의 범위에서 
로 제한된다. 상기 제시된 샘플링 방식에 기초하여, 본 개시는 
의 생성을 안내하기 위해 다음 방정식을 사용하여 샘플링 방식(S)을 생성한다:
다시 말해, 
는 각각의 계층화된 장면 분해 층과 관련된 
매트릭스에서 "1" 엔트리 사이의 거리를 안내한다. 다음 방정식은 층에서 개별 요소 이미지의 해상도 
를 설정한다:
개별 계층화된 장면 분해 층 샘플링 레이트를 구동하기 위해 
및 
를 모두 사용하는 이 샘플링 방식은 계층화된 플렌옵틱 샘플링 이론 샘플링 방식(본 명세서에서는 "플렌옵틱 샘플링 방식"으로 지칭됨)으로 간주될 수 있다. 이 플렌옵틱 샘플링 방식은 플렌옵틱 샘플릭 이론 아이덴티티 함수 
를 이용하는 디스플레이에 기초한다. 이 레이어별(per-layer) 샘플링 방식은 층 내의 물체가 서로를 폐색하지 않는 전면-평행 평면 장면 물체에 무손실 압축을 제공한다.
전면-평행 평면 장면 물체만의 가정은 제한적이고 일반적인 장면을 나타내지 않으며; 불가피하게, 특히 사이즈가 더 큰 계층화된 장면 분해 층에 대한 층내 폐색(intra-layer occlusion)이 존재한다. 상당한 인지 가능한 아티팩트를 도입하지 않고 전체 범위의 잠재적 장면을 캡쳐 및 인코딩하기 위해, 시스템은 본 개시의 라이트 필드 플렌옵틱 샘플링 방식에 추가하여 정보를 드로잉할 수 있다.
볼륨 렌더링
Levoy(1988)는 먼저 직접 볼륨 렌더링 방법이 데이터에서 기하학적 표면을 명시적으로 추출하지 않고 3D 볼륨 데이터 세트의 이미지를 생성한다고 제시했다. Kniss 외는 데이터 세트가 공간에서 연속적인 함수로 해석되지만 실제 목적을 위해 샘플의 균일한 3D 어레이로 표현된다고 제시한다. 그래픽 메모리에서 볼륨 데이터는 2D 텍스처 조각의 스택 또는 단일 3D 텍스처 물체로 저장된다. 용어 복셀은 개별 "볼륨 요소"를 나타내며, "픽처 요소"의 픽셀 및 "텍스처 요소"의 텍셀(texel)과 유사하다. 각 복셀은 데이터 공간의 위치에 해당하며 하나 이상의 데이터 값이 그에 연관된다. 중간 위치의 값은 인접한 볼륨 요소에서 데이터를 보간하여 얻는다. 이 프로세스를 재구성이라고 하며 볼륨 렌더링 및 처리 애플리케이션에서 중요한 역할을 한다.
광학 모델의 역할은 광이 볼륨 내의 입자와 상호 작용하는 방법을 설명하는 것이다. 보다 복잡한 모델은 조명(로컬) 및 볼륨 그림자를 고려하여 광 산란 효과를 고려한다. 광학 파라미터는 데이터 값에 의해 직접 지정되거나 하나 이상의 전달 함수를 데이터에 적용하여 데이터의 특징을 분류하여 계산된다.
볼륨 렌더링 계산 프로세스의 핵심은 뷰잉 광선을 따라 볼륨 렌더링 적분을 계산하는 것이다. 기술 분야에서 이것은 연속적 기반 적분 계산으로 이론적으로 표현되지만 실제로는 종종 합성이라고 하는 작업을 기반으로 하는 이산 합계 기반 근사로 계산된다(lkits 외, 2004). 합성 작업은 전방에서 후방으로 또는 후방에서 전방으로 순서로 광선을 따라 수행될 수 있다. 또한 부분 광선 세그먼트가 그 자체 내에서 어떤 순서로 합성될 수 있고, 그 다음 방식의 수학적 등가성을 여전히 유지하면서 인접한 부분 광선 세그먼트와 합성될 수 있다.
본 개시의 목적을 위해, 광선 주위의 볼륨 렌더링 적분 계산 동안 또는 그 주위에서 수행되는 임의의 계산을 "볼륨 렌더링 계산"으로 지칭한다. 이는 조명 계산, 조명 계산을 지원하는 그래디언트 재구성(gradient reconstruction), 합성 연산자(compositing operator) 계산, 전달 함수 계산 또는 이러한 잠재적으로 필요한 계산의 조합을 포함할 수 있지만 이에 제한되지 않는다.
일반적으로, 이 문서의 목적을 위해, 두 가지 색상을 병합하여 세 번째 색상을 생성하는 모든 종류의 작업을 "블렌딩"이라고 한다. 위와 같은 합성은 볼륨 렌더링 적분 계산을 따라 각 샘플 단계에서 발생하는 블렌딩의 형태로 볼 수 있다.
시변 4차원(4D) 볼륨 데이터의 대화형 뷰잉에는 대화형 직접 볼륨 렌더링이 필요하며, 이는 점진적 렌더링은 Martin에 의해 제시된 특정 사용 사례에 대해 잘 작동하지 않을 수 있기 때문이다. 대화형 직접 볼륨 렌더링의 사용 사례에는 회전 중 아티팩트가 없는 정적 복셀 기반 데이터의 렌더링, 시변 복셀 기반 렌더링(예를 들어, 4D MRI 또는 초음파, CFD, 파동, 기상, 시각적 효과(OpenVDB) 및 다른 물리적 시뮬레이션 등) 데이터가 포함되지만 이에 제한되지 않는다.
이론적으로 계산이 서로를 참조하지 않고 독립적으로 수행될 수 있는 많은 광선이 캐스팅되기 때문에 볼륨 렌더링은 본질적으로 병렬 프로세스이다. 그러나, 논의한 바와 같이 독립적인 병렬 스레드 사이에서도 메모리 액세스가 중첩되는 경우가 많다. 가능한 가장 효과적인 메모리 처리량을 얻고 따라서 시간 관점에서 전체 계산 프로세스를 보다 효율적으로 실행하려면, 메모리 액세스 중첩이 이 중첩을 가장 잘 활용하도록 구성될 수 있도록 메모리 액세스를 조정하는 것이 좋다. 이와 같은 중첩은 일반적으로 빠른 캐시 메모리를 사용하여 활용된다.
이전 작업인 Hamilton(2007, 2013) 및 미국 특허 제 8,564,617호는 2D 이미지에 대한 볼륨 렌더링 계산이 어떻게 조정되어 별도의 스레드가 이러한 중첩을 활용할 수 있는지를 보여준다. 최신 마이크로프로세서는 상대적으로 느리지만 더 큰 DRAM 메모리에서 액세스 중복성을 자동으로 활용하는데 도움이 되는 더 빠르지만 더 작은 캐시 메모리를 활용한다. 그러나, 이러한 캐시가 캐시할 데이터를 결정하는 데 사용하는 메커니즘은 종종 다양한 국소성 원칙을 기반으로 한다. 이들은 종종 중복성을 잘 예측할 수 있으며 성능 향상을 가져온다.
그러나, 많은 계산에서 중복 패턴은 이러한 국소성 휴리스틱(locality heuristic)에 의해 자동으로 최적으로 모델링되지 않는다. 여러 프로세서 기술을 통해 맞춤형 ASIC(application-specific integration circuit) 또는 FPGA(field-programmable gate array) 형태를 취하는 목적에 맞게 구축된 컴퓨팅 프로세서뿐만 아니라 사용자 프로그래밍 가능 캐시 메모리를 구현할 수 있다. 최신 FPGA에는 맞춤형 프로그래밍된 회로 온 칩(circuit on chip)에서 활용될 수 있는 대형 온 칩(large on-chip) SRAM이 포함된다. NVDIA의 GPU 및 컴퓨팅 통합 장치 아키텍처(CUDA) API(application programming interface)는 그 실행 중에 병렬 스레드의 그룹에 의해 공유되는 사용자 프로그래밍 가능 캐시 메모리를 허용한다. 이전에 셀 프로세서는 여러 병렬 처리 요소에 의해 공유되는 유사한 사용자 프로그래밍 가능 캐시(Hamilton 외 2007)를 가졌다.
나이브 광 필드 볼륨 렌더링 알고리즘
2D의 경우 주어진 최신 GPU 하드웨어에서, 실시간 대화형 볼륨 렌더링 구현을 위한 매우 일반적인 선택은 단순히 레이 캐스팅 기반 접근법을 사용하는 것이다. 최신 GPU의 대규모 병렬 처리를 사용하여 각 광선을 독립적으로 병렬로 계산할 수 있다. 각 광선에 대해 이는 볼륨 데이터의 경계 볼륨과 간단한 교차 계산을 수행한 다음 미리 정의된 샘플링 레이트로 광선을 행진시키는 것을 포함한다. 광 필드 디스플레이용 이미지를 대화식으로 볼륨 렌더링하는 하나의 나이브한 방법은 디스플레이의 각 개별 호겔에 동일한 2D 방법을 사용하는 것이다. 하나의 방법은 내부(오소스코픽) 및 외부(슈도스코픽) 절두체 이미지를 개별적으로 렌더링한 다음 적분 이산화 방정식을 렌더링하는 볼륨을 사용하여 단일 이미지로 합성하는 것이다. 이 접근법의 하나의 단점은 내부 및 외부 절두체 계산을 개별적으로 버퍼링해야 할 잠재적인 필요성이며, 이는 광 필드 이미지가 기존의 2D 이미지에 비해 막대한 수의 광선을 필요로 할 것이므로 큰 메모리 스토리지 및 결과적으로 메모리 대역폭을 필요로 할 수 있기 때문이다.
광 필드 디스플레이의 각 호겔에 대해, 도 1a에 도시된 바와 같이, 호겔 시야각(θ)(16) 및 디스플레이 평면(10) 상의 호겔 중심 위치(58)에 기초하여 호겔과 연관된 절두체 영역이 있다. 나이브하게, 각 호겔은 내부 및 외부 호겔에 대해 두 번 렌더링도니 다음 합성되어야 한다. 그러면 광선의 수는 디스플레이가 나타내는 모든 방향에 대해 2 개이므로 수십억 개가 된다. 기존 기술로부터 상당히 분명한 대안적인 방식은 근거리 클립 평면(12) 및 원거리 클립 평면(14)을 정의하는 것이며, 광선은 원거리 클립 평면(14)으로부터 근거리 클립 평면(12)으로 또는 그 반대로 행진한다. 이로 인해 픽셀 당 하나의 광선이 발생하고 픽셀 당 많은 샘플이 있으므로 잠재적으로 모두 별도의 DRAM 액세스일 수 있는 많은 메모리 액세스가 있다. 실제로, 일부 캐시 일관성이 활용될 수 있지만 일반적으로 그렇지 않은 경우가 많다. 광 필드 볼륨 렌더링을 가속화하는데 필요한 것은 두 가지이다. 첫 번째는 결과 이미지의 품질을 유지하면서 필요한 총 샘플 수를 줄이는 것이고 두 번째는 액세스 일관성을 최대화하기 위해 광선 계산과 정렬된 메모리 액세스를 주문하는 방법이다. 이렇게 하면 필요한 DRAM의 전체 액세스를 줄이기 위해 캐싱을 사용할 수 있다.
절차는 실행하는 하나의 단일 연속적인 병렬 스레드에서 내부 절두체에서 외부 절두체(또는 그 반대로) 경로에 있는 광선 모두를 계산함으로써 단순화될 수 있다. 본 명세서에서 설명된 바와 같이, 근거리 클립 평면(12)은 외부 절두체에 정의되며 원거리 클립 평면(14)은 내부 절두체에 정의되며 대응하는 호겔의 위치에서 디스플레이 평면(10)을 통해 하나의 클립에서 다른 클립으로 광선을 추적한다.
앞서 언급한 방법의 문제점은 일반적이고 미래의 광 필드 디스플레이에 대해 수행되어야 하는 많은 레이 캐스팅 계산이 있다는 것이다. 각 광선에 대해 볼륨 데이터의 많은 샘플이 필요하다. 나이브하게 구현된 이러한 병렬 광선의 복셀 액세스 패턴은 종종 중첩되지만 여전히 복셀에 대한 중복 DRAM 메모리 액세스가 발생한다. 전체적으로 이는 성능 문제가 있는 방법을 초래하고 더 큰 디스플레이로 확장하는 것은 문제를 제시한다.
가속화된 광 필드 볼륨 렌더링
디스플레이 
및 계층화된 장면 분해 
및 디스플레이 
를 구동하는 광 필드 
를 고려한다. 
는 디스플레이 
의 호겔과 연관된 핀홀 프로젝터의 초점 거리를 나타낸다.
서브 세트가 모두 균일한 크기의 
가 되도록 파티션이 생성될 수 있으며, 즉, 
가 
및 
모두로 고르게 분할되며, 실제 상황에서는 이러한 일이 발생하지 않을 수도 있다. 이 경우, 서브세트는 크기가 불균일하거나 기반이 되는 서브 간격의 길이가 
보다 작은 크기로 생성될 수 있다.
도 1c는 외부 절두체 층 
(42)의 섹터 분할을 직관적으로 도시하며, 여기서 층 
는 또한 내부 절두체 층, 외부 절두체 층(42) 또는 이들의 조합일 수 있다. 
(30)과 관련하여 호겔 서브 세트가 생성되고 서브 세트의 호겔 사이에서 주어진 층의 깊이에서 광선 샘플 중첩을 최대한 캡처하거나 활용하는 크기이다. 실제로 캐시 크기 등에 대한 실질적인 제한이나 기본 아키텍처의 다른 측면에 맞추기 위해 서브 세트 크기를 조정해야 할 수도 있다.
디스플레이 
및 계층화된 장면 분해 
및 광 필드 
를 고려한다. 복셀 그리드(22)에서 
로부터 임의의 층 
(42)를 고려한다. 
(30)에 대해 
의 섹터 분할인 
를 고려한다. 
의 호겔의 서브세트 
를 고려한다. 
의 호겔의 서브세트는 모든 호겔의 합계의 시야 범위로 정의되는 메인 디스플레이 이중 절두체의 서브 절두체를 정의한다. 도 1c에 도시된 바와 같이, 층 
(42)의 슬래브(28)는 
의 호겔에 의해 유도된 서브 절두체와 층 
(42)의 교차점에 의해 정의된 볼륨의 영역으로서 서브세트 
에 대해 정의된다. 중요한 관찰은 주어진 호겔 서브세트 내의 호겔과 연관된 모든 광선이 층 
(42)에 대해 슬래브(28)과 교차한다는 것이다. 층 내에 발생하는 이러한 광선을 따르는 모든 샘플은 이 슬래브(28) 내에서 발생한다. 따라서 슬래브(28)는 고정된 기능성 캐시와 달리 사용자 프로그래밍 가능 캐싱 동작을 대상으로 하는 볼륨 단위로 기능할 수 있다.
연관된 광선 샘플을 계산할 때 캐싱할 복셀을 정확하게 결정하기 위해 슬래브(28)가 복셀 데이터와 교차하는 방법에 대한 개념이 정의되어야 한다. 실제 사례의 예로서, 층 
(42)의 주어진 슬래브 
(28) 및 복셀 데이터로부터의 샘플 재구성을 위해 필요한 주어진 재구성 이웃 크기(논의를 위해 균일한 
를 가정하지만 불균일 할수도 있음)가 일부 이산 도메인에 정의된 복셀 데이터 세트 
를 고려한다. 그런 다음 슬래브(28) 내에 엄격하게 포함된 것의 
이웃 내에 위치된 것을 더하여 슬래브(28) 영역 내에 포함된 
의 복셀의 세트로서 층 
(42)과 슬래브 
(28)의 교차점을 정의한다.
도 1c에 도시된 바와 같이, 깊이 
및 
를 갖는 층 
에 대한 깊이 
에서 계층화된 광 필드의 섹터 분할 
로부터의 섹터 서브세트 
에 대해, 층 
로 둘러싸인 볼륨의 교차점과 주어진 섹터 분할의 모든 호겔과 연관된 절두체의 볼륨의 합으로 구성된 절두체 영역을 정의할 수 있다. 이 절두체 영역은 층 
에 대한 
의 슬래브(28)로 지칭될 수 있다.
본 명세서에 설명된 바와 같이, 병렬 광 필드 볼륨 렌더링 계산과 함께 캐싱한느 방법이 있다. 이론적으로, 광 필드 이미지를 렌더링하는 레이 캐스팅 볼륨 렌더링 방법의 경우, 각 광선은 광선의 경로를 따라 균일하거나 가변적일 수 있는 일부 선택적인 샘플링 레이트에서 경로를 따라 적분되는 볼륨 렌더링의 계산을 필요로 한다. 이 광선 계산의 최종 출력은 광선과 연관된 렌더링된 광 필드 이미지의 픽셀 요소에 대한 색상 값이다. 이러한 복수의 광선 계산은 전체 원하는 광 필드 이미지를 구성한다. 이론적으로 각 광선 픽셀 계산은 서로 완전히 독립적으로 수행될 수 있으며 동일한 렌더링된 출력을 생성한다.
그러나 이러한 이론적으로 독립적인 병렬 계산 스레드는 동일한 느린 메모리 위치에 액세스하는 스레드가 느린 메모리에 대한 반복된 액세스와 연관된 메모리 처리량 및 대기 시간 불이익을 완화하기 위해 반복된 액세스를 위해 더 빠른 캐시 메모리를 사용하도록 허용하는 보다 조정된 방식으로 실행되는 것이 종종 유리하다.
제안된 가속화 방법의 핵심은 메모리 액세스 요구 사항이 중복되는 스레드가 동시에 수행될 수 있고 전체 광선 계산 프로세스를 가속화하기 위해 공통 고속 캐시 메모리를 활용할 수 있도록 독립적인 광선 계산 스레드를 구성하고 조정하는 방식이다.
주요 관찰은 계층화된 장면 분해가 주어지면 모든 광선이 어떤 지점에서 각 계층을 통과할 것이라는 점이다. 각 층은 층을 슬래브 볼륨으로 더 세분화하는 호겔 서브세트를 정의했다. 따라서 우리는 광선이 층을 통과할 때 적어도 단일 슬래브 볼륨과 교차한다는 것을 더 관찰할 수 있다. 우리는 호겔 서브세트에 대응하는 모든 광선이 호겔 서브세트와 연관된 슬래브 볼륨과 교차한다는 것을 더 관찰할 수 있다.
본 명세서에 개시된 방법의 핵심은 호겔 서브세트와 연관된 모든 광선이 동일한 슬래브 볼륨을 교차하고 슬래브 볼륨 내의 각 광선의 세그먼트에 대해 수행되는 임의의 부분 광선 계산이 동기 방식으로 수행되도록 광선 계산을 조정하는데 있다.
컴퓨터 과학에서, 프로세스 동기화는 합의에 도달하거나 특정 동작 시퀀스를 커밋하기 위해 특정 지점에서 여러 프로세스가 합류하거나 핸드쉐이크한다는 개념을 말한다.
이 방법의 핵심은 호겔 서브세트에 대응하는 모든 광선이 동기화되고 대응하는 슬래브(28)를 교차한다는 것인데, 이는 이 기술이 개선된 효율성을 실현하기 위해 공통의 프로그래밍 가능한 로컬 저장 캐시 메모리를 공유해야하기 때문이다. 호겔 서브세트가 로컬 스토어 캐시를 중심으로 예약 및 동기화되어야 한다는 점을 제외하면 이전에 설명한 방법과 유사하다. 호겔 서브세트 그룹 내에서 슬래브(28)를 교차하는 모든 복셀은 슬래브(28)로의 초기 입구에서 호겔의 모든 광선에 대한 광선 계산을 동기화하는 단계 전에 로컬 스토어 메모리에 사전 로드되어야 한다. 슬래브(28)에 모든 광선이 있는 경우 그들은 로컬 스토어 캐시 메모리로부터 복셀(또는 다른) 볼륨 요소에만 액세스하여 광선 경로를 따라 위치되는 리샘플링 지점과 연관된 재구성 계산을 수행할 것이다. 광선은 광선 경로를 따라 개별 지점에서 행진하거나 "멈추며", 이러한 개별 지점을 본 명세서에서는 재샘플링 지점이라고 한다.
이 프로세스의 일 실시예는 마스터가 자체 및 후속 계산에서 슬레이브 스레드를 위한 빠른 캐시 메모리를 초기화하기 위해 느린 메모리 액세스를 시작한다는 점에서 단일 슬래브 볼륨을 교차하는 광선과 연관된 단일 계산 스레드를 "마스터"로 표시하고 나머지는 "슬레이브"로 표시하는 것을 포함한다. 슬레이브는 느린 메모리로부터의 필요한 숫자 값이 액세스되기 전에 캐시 메모리에 미리 로드될 때까지 기다려야 한다는 점에서 마스터와 동기화되어야 하며 후속 광선 계산이 수행될 수 있다. 우리는 코드 예에서 마스터 광선을 "1차 광선"으로 표시하고 슬레이브 스레드를 "2차 광선"으로 표시한다. 이 접근법의 한 가지 가능한 실시예는 다음의 의사코드를 사용하여 설명된다:
for every layer L in (insert right symbols for layer list), in the order from near clip to far clip
calculate the hogel partition relative to the layer L, call it P.
Produce a list of subsets of hogels.
for each subset of hogels
for every ray-pixel R in this subset of hogels
determine if R is a primary ray for its hogel subset
determine the slab of L relative to this hogel subset
if (R is primary ray)
load all voxels that intersect the slab of L into local store ("volume data cache")
for every sample along ray R while in layer L
density = sample volume data cache to reconstruct density at sample location
accumulate alpha and color using previous values (from previous layer if necessary) and transfer function evaluated with density and store in alpha_accum and color_accum, respectively.
Write color_accum to the light field pixel for R
성능 및/또는 특정 아키텍처에 대한 구현 적합성에 영향을 미치기 위해 변경될 수 있는 많은 매개변수가 있다. 선택된 층 방식은 슬래브(28) 크기를 크게 결정한다. 더 큰 슬래브(28) 크기는 더 많은 수의 복셀과 교차할 것이므로 사용자 프로그래밍 가능 복셀 캐시가 로드되기 전에 큰 사전 로드 단계가 필요하다. 예를 들어, FoV가 크고 디스플레이에서 멀리 떨어진 넓은 층에 있는 디스플레이의 경우 많은 복셀 데이터 지점과 교차할 가능성이 있는 상대적으로 매우 큰 슬래브(28) 크기가 생성된다.
이 문제를 해결하는 2 가지 분명한 방법이 있다. 하나는 
보다 작은 더 작은 호겔 서브세트를 갖는 섹터 파티션을 선택할 수 있는데, 이는 층으로 형성된 결과 슬래브(28)의 폭을 감소시킬 것이기 때문이다. 이는 중첩을 이용하는 방법에 대한 전반적인 이론적인 능력을 감소시킬 수 있으며 따라서 필요한 총 DRAM 대역폭을 증가시킬 수 있지만 상황에 따라 허용 가능한 교환이 될 수 있다. 또 다른 가능성은 결과 슬래브(28)의 다른 폭 치수를 필연적으로 감소시키기 때문에 더 좁은 층을 선택하는 것이다.
일부 층 및 일부 섹터 분할에 관련된 슬래브(28)를 고려한다. 디스플레이의 방향 해상도가 스케일링됨에 따라, 동일한 계층 방식을 유지하면 슬래브(28) 기하 구조가 변경되지 않고 유지되는 결과를 낳는다는 것을 알 수 있다. 이 호겔 서브세트의 모든 호겔에 대해 대응하는 광선이 슬래브(28)를 교차할 때, 그들은 
데이터세트와 슬래브(28)의 교차점으로부터 복셀의 세트만을 필요로 한다는 것을 쉽게 알 수 있다.
따라서, 개별 슬래브(28)에 대해 캐시에 로드된 복셀의 수는 방향 해상도에 관계없이 동일하게 유지된다. 방향 해상도가 증가하고 다른 모든 것은 고정된 상태로 유지됨에 따라 캐시에서 오는 복셀 액세스의 비율이 증가하는 반면 DRAM에서 필요한 메모리 대역폭은 고정된 상태로 유지된다. 이는 고품질 디스플레이가 기존의 무차별 접근 방식보다 훨씬 더 최적화된 접근법을 사용하는 이점이 있다는 점에서 훌륭한 스케일링 특성이다.
메모리 대역폭 요구사항을 줄이기 위한 플렌옵틱 다운 스케일링 전략
광 필드 볼륨 렌더링에 대한 성능을 개선하고 DRAM에 필요한 직접 액세스를 줄이는 다른 수단은 광선 경로를 따라 필요한 재구성 샘플의 총 수를 줄이는 것이므로 복셀 액세스의 총 수를 제한한다. 개시된 표면 장면 기반 계층화 장면 분해 코덱 작업에서 층은 디스플레이 평면(10)으로부터의 거리에 따라 다운 샘플링될 수 있음이 관찰된다. 이는 Zwicker 외에 설명된 바와 같이 플렌옵틱 샘플링 이론의 원리이다. 실제로 많은 경우에 이러한 다운 샘플링으로 인해 광 필드 디스플레이에서 볼 때 생성되는 광 필드 이미지에 매우 작거나 실질적이지 않은(궁극적으로 감지할 수 없는) 변경이 발생하는 것으로 관찰된다.
구체적으로 말하면, 최대 깊이 
를 갖는 층을 나타내기 위해 초점 거리 
를 갖는 호겔을 갖는 주어진 디스플레이 구성에 대해 다음의 방향 해상도가 필요하다:
주어진 섹터 분할 
내의 호겔과 연관된 임의의 광선은 층 
에 대해 
(28)의 슬래브와 교차한다. 층 
내에서 발생하는 이러한 광선을 따르는 모든 샘플은 이 슬래브(28) 내에서 발생한다.
최악의 시나리오에서는 주어진 슬래브(28)에 대해 모든 픽셀에 대해 계산된 단일 광선이 있어야 하지만, 섹터 서브세트와 연관된 샘플링 광선의 세트는 실제로 층 최대 깊이에 기반하여 숫자가 감소 및 증가할 수 있다. 더 적은 광선이 사용되면 단일 광선은 일대일 대응 대신 많은 픽셀을 나타낸다. 아이디어는 이 다운 샘플링이 결과 광 필드 이미지의 품질에 전혀 영향을 미치지 않거나 실질적으로 영향을 미치지 않도록 수행되어야 한다는 것이다.
이전에, 계층화된 장면 분해 정의의 맥락에서, 개별 층은 각 층과 연관된 광 필드 이미지 내에 어떤 픽셀을 포함할지(또는 포함하지 않을지)를 나타내는 샘플링 방식과 연관되었다. 우리는 다운 샘플링 방식을 정확하게 지정하기 위해 계층화된 장면 분해를 기반으로 하는 볼륨 렌더링 방법의 맥락에서 유사한 규칙을 사용할 수 있다. 우리는 레이 캐스팅 절차를 사용하여 주어진 층과 연관된 광 필드를 렌더링하는 맥락에서(본 명세서에서 볼륨 렌더링에 대해 제안된 대로) 샘플링에 포함된 픽셀에 대응하는 광선이 "활성"이라고 하는 반면 샘플링 방식을 통해 제외된 것은 "휴면"이라고 할 수 있는 규칙을 더 사용할 것을 제안한다.
본 발명의 목적은 동일한 광선 샘플링 원리가 레이 캐스팅 축적 프로세스를 따라 이미징 볼륨을 샘플링하기 위해 적용될 수 있다는 것이다. 즉, 단일 광선이 처음에 캐스팅된 후 여러 광선으로 분기되어 볼륨 축적 프로세스 중에 추가 광선으로 재귀적으로(recursively) 분기된다. 이 분기 프로세스는 샘플링 원리에 의해 지시될 수 있다. 예를 들어, 한 가지 가능한 실시예는 깊이의 각 초점 거리에 대해 해당 깊이에서 세부 사항을 캡처하는데 필요한 방향 해상도가 1씩 증가해야 한다는 것이다. 따라서, 광선은 이론적으로 각 초점 거리 증분을 따라 이 원리에 따라 분기된다.
이 접근법의 이점은 광선 축적 프로세스가 디스플레이 근처에 있기 때문에 볼륨 렌더링 적분을 계산하는데 더 적은 볼륨의 샘플이 필요하다는 것이다. 광선이 디스플레이의 최대 피사계 심도에 접근함에 따라 샘플링 레이트는 나이브한 접근법의 샘플링 레이트에 접근하므로 모든 호겔 픽셀은 전체 광선 프로세스에 대한 개별 광선과 연관된다. 필요한 샘플 수의 감소는 수학적으로 정량화되고 분석될 수 있다.
제안된 방식에 필요한 샘플의 비율은 디스플레이 평면(10)으로부터의 모든 깊이에서 일정한 레이트로 샘플을 축적하는 모든 호겔 픽셀을 나이브한 방식과 비교하여 계산된다. 일반성을 잃지 않고 모든 것이 호겔의 수에 따라 곱셈 계수까지 적용되므로 단일 호겔이 분석을 위해 고려된다.
플렌옵틱 샘플링 아이디어를 기반으로, 즉 이상적인 평면 파라미터화된 고아선 분포를 가정하며 거리 
(
는 정수이고 
는 호겔 렌즈의 초점 거리)에서 물체를 충분히 샘플링하려면 방향 해상도가 i여야 한다. 따라서, 깊이 
에서 
광선이 필요하다.
광선이 단일 절두체 내에서만 이동하는 경우를 고려하면 볼륨 렌더링을 위해 광선이 디스플레이 표면에서 디스플레이의 최대 심도까지 이동하는 레이 캐스팅 절차가 있다고 가정한다. 깊이 
에서 각 
폭 층 내에서 층이 깊이가 
일 때 최소 
광선이 필요하다.
광선은 디스플레이 표면에서 이동한 거리 
당 
의 비율로 볼륨을 샘플링한다고 가정한다. 따라서, 전체 과정에서 이러한 호겔과 연관된 샘플 당 샘플 수를 설명하는 표현식이 생성된다:
나이브한 샘플링에서 호겔 당 
픽셀ㅇ른 전체 광선의 이동 과정에서 연관된 광선을 가지며 
의 동일한 샘플링 레이트를 가정하면 샘플 수는 
넓은 층 당 
이다. 따라서, 
층에서 총 샘플의 수는 
이다.
따라서, 제안된 샘플링 방식 대 나이브 샘플링 방식 하에서 샘플의 비율을 계산할 수 있다:
다음 사항이 주목된다:
우리는 아래의 의사코드를 사용하여 이 전략이 구현될 수 있는 가능한 방법을 설명한다. 주어진 층과 주어진 호겔 내에서 광선이 샘플링 방식에 포함되는지 여부에 따라 "활성" 또는 "휴면"으로 표시되도록 구현을 제시한다.
광선이 특정 층 내에서 휴면 상태일 때, 이 방법의 이점은 우리가 본질적으로 그 특정 층 내의 광선에 대한 볼륨 렌더링 계산을 수행하는 것을 피할 수 있다는 것이다. 이는 볼륨 데이터의 샘플링은 물론 볼륨 데이터의 그래디언트 재구성 계산, 조명 계산 또는 전달 함수 계산과 같은 다른 볼륨 렌더링 계산을 피할 수 있다는 것을 의미한다.
그러나 광선이 휴면 상태일 때 동일한 광선이 유사하게 휴면 상태일 수 있고 아닐 수도 있는 인접 층과 관련된 동일한 광선 계산에 대해 블렌딩 계산이 수행될 수 있도록 하기 위해 여전히 색상 및 
값이 지정되어야 한다. 이 사양의 목적을 위해 휴면 광선에 색상을 할당하는 프로세스를 "업스케일링"이라고 한다. 우리는 이 작업을 구현하는 한 가지 선호되는 방법이 이웃 광선을 사용하는 보관을 포함할 것을 제안하며, 이는 가장 가까운 이웃 보간 방법, 선형 보간 또는 잠재적으로 에지 적응 보간 기술을 포함할 수 있다.
이 접근법의 가능한 구현은 의사코드를 사용하여 설명된다:
for every layer L in (insert right symbols for layer list), in the order from near clip to far clip
for every ray-pixel R
determine if ray is active or dormant
for every sample along ray R while in layer L
if (ray active)
density = sample volume data cache to reconstruct density at sample location
accumulate alpha and color using previous values (from previous layer if necessary) and transfer function evaluated with density and store in alpha_accum and color_accum, respectively
else if (ray is dormant)
color_accum = interpolate from nearest active rays within hogel
alpha accum = interpolate from nearest active rays within hogel
Write color_accum to the light field pixel for R
볼륨 슬래브 요소를 캐싱하고 대응하는 볼륨 렌더링 광선 계산을 동기화하는 이전에 설명된 방법과 층별로 지정된 다운샘플링을 결합하는 것도 가능하다. 축소된 샘플과 층 기반 캐싱을 모두 활용하는 접근법을 사용하여 렌더링 광 필드 이미지를 출력으로 생성하는 프로세스가 도출되었다. 의사코드는 다음과 같다:
for every layer L in (insert right symbols for layer list), in the order from near clip to far clip
calculate the hogel partition relative to the layer L, call it P.
Produce a list of subsets of hogels.
for each subset of hogels
for every ray-pixel R in this subset of hogels
determine if R is a primary ray for its hogel subset
determine the slab of L relative to this hogel subset
if (R is primary ray)
load all voxels that intersect the slab of L into local store ("volume data cache")
determine if ray is active or dormant; (refer to spec and create a separate pseudocode break out to describe this sub-process)
for every sample along ray R while in layer L
if (ray active)
density = sample volume data cache to reconstruct density at sample location
accumulate alpha and color using previous values (from previous layer if necessary) and transfer function evaluated with density and store in alpha_accum and color_accum, respectively
else if (ray is dormant)
color_accum = interpolate from nearest active rays within hogel
alpha accum = interpolate from nearest active rays within hogel
Write color_accum to the light field pixel for R
층 기반 압축 분석
다운 샘플링 기준(달성가능한 압축률을 나타내지 않음)과 함께 실시간 렌더링 및 전송 시스템을 생성하기 위해 예측 가능한 압축률이 요구된다. 다음은 본 개시의 계층화된 장면 분해 인코딩 전략의 압축 분석을 제공한다.
이미 설명한 바와 같이, 플렌옵틱 샘플링 이론에 기초하여 광 필드를 다운 샘플링하는 것만으로는 보장된 압축률을 제공하지 않는다. 본 개시는 다운 샘플링 광 필드 인코딩 전략을 제공하여 저 지연 실시간 광 필드 코덱을 허용한다. 일 실시예에서, 
및 
를 모두 사용하는 플렌옵틱 샘플링 이론에 기초한 상보적 샘플링 방식은 개별적인 계층화된 장면 분해 층 샘플링 레이트를 구동하기 위해 사용된다. 총 3D 장면을 복수의 광 필드로 나타내는 계층화된 장면 분해는, 층의 수의 팩터로 장면 표현을 확장시킨다. 본 개시는 층 깊이가 적절하게 선택된 경우, 플렌옵틱 샘플릭 이론 기반 다운 샘플링과 결합될 때 압축률이 보장될 수 있음을 추가로 고려한다.
주어진 계층화된 장면 분해 층 
에 대응하는 라이트 필드 
의 경우 층의 제한된 깊이 범위는 층의 광 필드에 대한 보장된 압축률을 제공한다. 단일 층 내에 완전히 포함된 장면을 다운 샘플링하는 것으로부터 얻을 수 있는 압축률은 다음 정리에서 설명될 수 있다:
정리 1
등방성 방향 해상도 
, 계층화된 장면 분해 
및 관련된 샘플링 방식 
을 갖는 디스플레이 
를 고려한다. 대응하는 광 필드 
를 갖는 계층화된 장면 분해 층 
가 
이도록 하고 "1" 엔트리 사이의 거리가 
및 
로 설정되기 위해 
가 선택된다고 가정한다. 계층화된 장면 분해 층 
에 대한 
와 관련된 압축률은 
이다.
증명 1
디스플레이의 최대 피사계 심도 내에서 계층화된 장면 분해 층을 고려한다. 여기서,
, 
에 대해 
및 
이다. 따라서, 
및 
및 
이다. 따라서, 
및 
이다.
이 서브 샘플링 레이트에 기초하여, 시스템은 모든 
요소 이미지를 필요로 하므로, 
의 압축률을 제공한다. 요소 이미지 서브 샘플링은 
의 압축률을 제공한다. 따라서, 총 압축률은 
이다. 압축 인자 용어 
는 압축률을 결정한다.
계층화된 장면 분해 층을 다운 샘플링하기 위한 압축 계산식이 주어지면, 우리는 계층 파라미터가 변함에 따라 압축 인자가 어떻게 변하는지 결정할 수 있다. 고정 폭의 층 또는 일부 
에 대해 
인 경우 
가 디스플레이 평면에 가장 근접할 때 
가 최소화된다. 따라서, 디스플레이 평면에 더 가까이 위치된 계층화된 장면 분해 층은 디스플레이 평면으로부터 더 멀리 위치된 층과 동일한 압축비를 달성하기 위해 더 좁은 폭을 필요로 한다. 이 압축률 분석은 디스플레이 평면으로부터 깊이 
까지의 공간에 위치된 다수의 인접한 전방-평면 층으로 분할된 장면으로 확장될 수 있다.
정리 2
등방성 각 해상도 
, 계층화된 장면 분해 
및 관련된 샘플링 방식 
을 갖는 디스플레이 
를 고려한다. 광 필드의 이미지 픽셀 수를 나타내는 
로 한다. 계층화된 장면 분해 표현의 압축률은 다음과 같이 정의될 수 있다:
증명 2
압축률로 다운 샘플링된 주어진 계층화된 장면 분해 층의 경우:
압축률을 계산하기 위해, 압축된 형태의 각 층의 사이즈가 계산되고 합산되며, 총 압축된 층 사이즈는 라이트 필드의 사이즈로 분할된다. 압축된 층의 세트의 사이즈가 다음과 같은 합을 고려한다:
따라서, 결합된 층의 압축률은 다음과 같다:
일정한 계층화된 장면 분해 층에 대한 합 
은 단조롭게 감소하고(monotonically decrease) 1을 향한다.
따라서, 디스플레이 평면(10)에 더 가까이 위치한 계층화된 장면 분해 층은 디스플레이 평면(10)으로부터 더 멀리 위치된 동일한 폭의 층보다 낮은 압축률을 달성한다. 효율을 최대화하기 위해, 보다 좁은 폭을 갖는 계층화된 장면 분해 층이 디스플레이 평면(10)에 더 가까이 위치되고 더 넓은 계층화된 장면 분해 층은 디스플레이 평면으로부터 더 멀리 위치되며; 이 배치는 장면에 걸쳐 균일한 압축률을 유지한다.
계층화된 장면 분해 층의 수 및 크기
계층화된 장면 분해에 필요한 층의 수 및 층의 사이즈를 결정하기 위해, 
항등 함수를 갖는 광 필드 디스플레이가 예로서 제공된다. 이 항등 함수의 고려는 다른 함수가 이용될 수 있기 때문에 본 개시의 범위 또는 사상을 제한하려는 것이 아니다. 본 발명의 속하는 분야의 숙련된 기술자는 디스플레이 
가 단일 항등 함수
로 정의되면서, 평면 파라미터화된 핀홀 프로젝터의 어레의 내의 각각의 광 필드 평면 파라미터화된 핀홀 프로젝터는 고유한 항등 함수 
를 가질 수 있다는 것을 이해할 것이다.
정면 평면 표면을 무손실로 나타내기 위해(폐색이 없다고 가정), 깊이 
에 위치된 전면 경계를 가진 단일 계층화된 장면 분해 층은 
에서 무한대까지의 시스템을 나타낸다. 코어 표현을 생성하기 위해, 광 필드 디스플레이의 최대 피사계 심도에 위치된 가장 깊은 층을 넘어서는 계층화된 장면 분해 층은 고려되지 않는다. 이러한 레이어는 코어 표현 관점에서 추가적인 표현 파워를 제공하지 않기 때문이다. 이는 내부 및 외부 절두체 볼륨 층 세트 모두에 적용된다.
디스플레이 평면(10)으로부터 디스플레이의 최대 피사계 심도(내부 및 외부 절두체 볼륨 층 모두)에 대한 영역 내에서, 계층화된 장면 분해 층은 광 필드 디스플레이 
값의 정수배인 최소 거리 깊이를 사용한다. 더 좁은 폭을 갖는 계층화된 장면 분해 층은 더 나은 층별 압축률을 제공함으로써 더 나은 장면 압축률을 제공한다. 그러나, 더 많은 수의 층이 재구성되고 병합되어야 하기 때문에, 분해에서 더 많은 수의 층이 디코딩에 필요한 처리량을 증가시킨다. 따라서, 본 개시는 차등 층 깊이(differential layer depth)를 갖는 층 분포 방식을 교시한다. 일 실시예에서, 더 좁은 폭을 갖는 계층화된 장면 분해 층 (및 상기 층들에 의해 표시된 광 필드의 상관관계에 의해)은 디스플레이 평면(10)에 더 가까이 위치되고, 층 폭(즉, 전방 및 후방 층 경계 사이의 깊이 차이)은 디스플레이 평면(10)으로부터의 거리가 증가함에 따라 기하급수적으로 증가한다.
코덱 인코더/인코딩
본 개시에 따른 인코딩은 광 필드 일반화된 핀홀 카메라 또는 카메라 어레이를 통해 캡처된 기존의 다차원 데이터세트뿐만 아니라 (예를 들어, 게임 또는 시뮬레이션 환경을 위한) 실시간 대화형 컨텐츠의 생성을 지원하도록 설계된다.
광 필드 디스플레이 
, 계층화된 장면 분해 
및 샘플링 방식 
의 경우, 시스템 인코더는 샘플링 방식에 포함된 각 계층화된 장면 분해 층에 대응하는 광 필드와 연관된 요소 이미지를 생성한다. 각 요소 이미지는 일반화된 핀홀 카메라에 대응한다. 요소 이미지는 샘플링 방식에 지정된 해상도로 샘플링되며 각 요소 이비지는 깊이 맵을 포함한다.
상당한 고 해상도 및 상당한 문제(significant challenge)가 나타나는 사이즈를 갖는 실시간 대화형 컨텐츠를 다차원 디스플레이로 구동하기 위한 렌더링 성능을 달성하는 것은 본 명세서에 기술된 바와 같이 임의의 하나의 기술에만 의존하는 결함을 해결하기 위해 하이브리드 또는 조합 렌더링 접근법의 적용으로 극복한다.
항등 함수 
가 주어지면, 주어진 계층화된 장면 분해 층에 대한 인코딩 방식에 의해 지정된 일반화된 핀홀 카메라 세트는 표준 그래픽 뷰포트 렌더링을 사용하여 체계적으로 렌더링될 수 있다. 이 렌더링 방법은 특히 많은 수의 기본 요소 이미지를 포함하는 샘플링 방식이 있는 계층화된 장면 분해 층에 대해 많은 수의 드로우 콜(draw call)이 발생한다. 따라서, 사실적인 오토스테레오스코픽 광 필드 디스플레이를 위해 계층화된 장면 분해를 이용하는 시스템에서, 이 렌더링 방법만으로는 실시간 성능을 제공하지 않는다.
표준 그래픽 드로우 콜을 사용하는 렌더링 기술은 일반화된 핀홀 카메라의 평면 파라미터화(항등 함수 
)의 렌더링을 원근 변환(perspective transformation)으로 제한한다. 하드웨어에 최적화된 래스터화 기능은 전통적인 2차원 디스플레이에서 고품질 실시간 렌더링에 필요한 성능을 제공한다. 이러한 가속화된 하드웨어 기능은 평면 파라미터화에 기초한다. 대안적으로, 평행 사투영(paralle oblique projection)은 표준 래스터화된 그래픽 파이프라인을 이용하여 일반화된 핀홀 카메라 평면 파리마터화를 렌더링할 수 있다.
본 개시는 삼각형의 세트를 디스플레이 스크린 상의 픽셀로 변환함으로써 일반화된 핀홀 카메라 뷰를 렌더링하기 위한 래스터화의 적용을 고려한다. 많은 수의 뷰를 렌더링할 때, 모든 뷰에서 모든 삼각형을 래스터화해야 한다. 경사 렌더링은 각 계층화된 장면 분해 층에 필요한 렌더링 패스의 수를 줄이고 임의의 항등 함수 
를 수용할 수 있다. 시스템은 항등 함수 
로 특정된 각도당 하나의 평행 사투영을 이용한다. 일단 데이터가 렌더링되면, 시스템은 "slice and dice" 블록 변환(미국 특허 제 6,549,308호 및 7,436,537호 참조)을 실행하여, 저장된 데이터를 그의 각도 그룹으로부터 요소 이미지 그룹으로 재 그룹핑한다. "slice and dice" 방법만으로는 렌더링될 많은 수의 각도가 있는 경우 많은 별도의 경사 렌더링 드로우 콜을 요구하는 실시간 대화형 컨텐츠에 비효율적이다.
임의의 항등 함수 
는 광선 추적 렌더링 시스템에 의해 또한 수용될 수 있다. 광선 추적에서, 임의의 각도를 특정하는 것은 평면 파라미터화를 허용하는 것보다 더 높은 성능이 필요하지 않다. 그러나 최신 가속 GPU를 사용하는 렌더링 시스템이 필요한 실시간 대화형 컨텐츠의 경우 래스터화는 광선 추적 렌더링 시스템보다 안정적인 성능 확장성(performance scalability)을 제공한다.
본 개시는 광 필드를 효율적으로 인코딩하기 위한 몇몇 하이브리드 렌더링 접근법을 제공한다. 일 실시예에서, 인코딩 방식은 더 작은 각도 샘플을 요구하는 더 많은 이미지를 갖는 디스플레이 평면에 더 가깝게 위치된 계층화된 장면 분해 층 및 더 적은 이미지 및 더 많은 각도 샘플을 갖는 디스플레이 평면으로부터 더 멀리 위치된 층을 렌더링한다. 관련 실시예에서, 원근 렌더링, 경사 렌더링 및 광선 추적이 결합되어 계층화된 장면 분해 층을 렌더링하고; 이러한 렌더링 기술은 다양한 인터리브 렌더링 방법(interleaved rendering method)으로 구현될 수 있다.
본 개시의 일반적이고 예시적인 실시예에 따르면, 하나 이상의 광 필드는 2차원 핀홀 카메라의 어레이를 렌더링하는 GPU에 의해 인코딩된다. 렌더링된 표현은 각각의 계층화된 장면 분해 층에 적용된 샘플링 방식으로부터 픽셀을 계산함으로써 생성된다. 픽셀 셰이더(pixel shader)는 인코딩 알고리즘을 수행한다. 일반적인 GPU는 하나의 전송 프레임에서 장면 당 최대 2 내지 4의 핀홀 카메라 뷰를 생성하도록 최적화된다. 본 개시는 수백 또는 수천 핀홀 카메라 뷰를 동시에 렌더링해야 하므로, 데이터를 보다 효율적으로 렌더링하기 위해 다중 렌더링 기술이 사용된다.
하나의 최적화된 접근법에서, 디스플레이 평면(10)으로부터 더 멀리 위치된 계층화된 장면 분해 층에서의 일반화된 핀홀 카메라는 원근법적 렌더링으로 알려진 표준 그래픽 파이프라인 뷰포트 연산을 사용하여 렌더링된다. 디스플레이 평면(10)에 더 가까이 위치된 계층화된 장면 분해 층의 일반화된 핀홀 카메라는 "slice and dice" 블록 변환을 사용하여 렌더링된다. 이 방법을 결합하면 계층화된 플렌옵틱 샘플링 이론 샘플링 방식에 대한 고효율 렌더링을 제공한다. 본 개시는 디스플레이 평면(10)으로부터 더 멀리 위치된 층이 더 높은 해상도를 갖는 더 적은 수의 요소 이미지를 포함하고 디스플레이 평면(10)에 더 가까이 위치된 층이 더 낮은 해상도를 갖는 더 많은 수의 요소 이미지를 포함하는 계층화된 장면 분해 층을 제공한다. 원근법적 렌더링을 이용하여 디스플레이 평면(10)으로부터 더 멀리 떨어진 층에서 더 적은 수의 요소 이미지를 렌더링하는 것은 효율적이며, 이는 방법이 각 요소 이미지에 대해 단일 드로우 콜만을 필요로 하기 때문이다. 그러나, 일부 지점에서, 원근법적 렌더링은 디스플레이 평면(10)에 더 가까이 위치된 층에 대해 비효율적이다. 이는 이러한 층이 증가된 수의 드로우 콜을 요구하는 더 많은 수의 요소 이미지를 포함하기 때문이다. 디스플레이 평면(10)에 더 가까이 위치된 층에 위치된 요소 이미지는 상대적으로 적은 수의 각도에 대응하기 때문에, 경사 렌더링은 감소된 수의 드로우 콜로 이들 요소 이미지를 효율적으로 렌더링할 수 있다. 일 실시예에서, 계층화된 장면 분해 층을 렌더링하기 위해 시스템이 원근법적 렌더링, 경사 렌더링 또는 광선 추적을 어디에 이용해야 하는지를 결정하는 프로세스가 제공되며, 임계치 알고리즘을 적용하여, 각각의 계층화된 장면 분해 층은 특정 층 깊이에서 요구되는 요소 이미지의 사이즈(경사 렌더링 드로우 콜의 수)에 렌더링될 요소 이미지의 수(즉, 원근법적 렌더링 드로우 콜의 수)를 비교하기 위해 평가되며, 시스템은 렌더링 드로우 콜의 최소 개수를 요구하는 렌더링 방법(기술)을 구현한다.
표준 그래픽 콜이 이용될 수 없는 경우, 시스템은 원근법적 또는 경사 렌더링 대신 광선 추적을 구현할 수 있다. 따라서, 다른 실시예에서, 대안적인 렌더링 방법은 광선 추적을 사용하여 디스플레이 평면에 더 가까이 위치된 층 또는 디스플레이 평면에 더 가까이 위치된 층의 일부를 렌더링한다.
광선 추적 렌더링 시스템에서, 계층화된 장면 분해 층의 각 픽셀은 라이트 필드에 의해 정의된 광선과 관련된다. 각 광선이 캐스팅되고 계층화된 장면 분해와의 교차가 표준 광선 추적 방법에 따라 계산된다. 광선 추적은 기존 GPU 렌더링에 어려운 임의의 광선 각도를 수용할 수 있기 때문에 표준 GPU 렌더링 파이프라인에 의해 예상되는 표준 평면 파라미터화를 준수하지 않는 항등 함수 
를 렌더링할 때 유리하다.
본 발명이 속하는 분야의 숙련된 기술자는 계층화된 장면 분해 요소 이미지를 성공적으로 인코딩할 수 있는 다수의 렌더링 방법 및 렌더링 방법의 조합이 존재함을 이해할 것이다. 다른 렌더링 방법은 시스템의 기본 계산 아키텍처, 이용된 샘플링 방식 및 라이트 필드 디스플레이의 항등 함수 α에 따라 다른 상황에서 효율성을 제공할 수 있다.
코덱 디코더/디코딩
본 개시에 따른 디코딩은 인코딩 전략(샘플링 및 렌더링)을 이용하도록 설계된다. 다운 샘플링된 계층화된 광 필드의 세트로서의 코어 표현은 광 필드 
및 
를 재구성하기 위해 디코딩된다. 계층화된 장면 분해 
및 관련 샘플링 방식 
을 갖는 디스플레이 
를 고려한다. 요소 이미지는 샘플링 방식 
에 의해 특정된 바와 같이 다운 샘플링된 분해된 
및 
광 필드로부터 광 필드 
및 
를 재구성함으로써 디코딩된다. 픽셀은 디스플레이 평면(10)에 더 가까이 위치된 내부 및 외부 절두체 볼륨 층이 먼저 검토되고, 비어있지 않은 픽셀이 위치될 때까지 디스플레이 평면(10)으로부터 더 멀리 위치된 내부 및 외부 절두체 볼륨 층으로 이동하고, 데이터가 비어있지 않은 픽셀로부터 디스플레이 평면(10)에 더 가까운 빈 픽셀로 전송되도록 정렬한다. 대안적인 실시예에서, 특정 구현예는 광 필드 디스플레이의 내부 절두체 볼륨(18) 또는 외부 절두체 볼륨(20)으로의 시청을 제한할 수 있고, 이로써 
및 
중 하나의 디코딩이 필요하다.
일 실시예에서, 디코딩 프로세스는 다음의 의사코드로 표현된다:
Core Layered Decoding:
for each 
:
유사한 절차로 
를 재구성한다. 각각의 계층화된 장면 분해 층은 주어진 샘플링 방식 
에 의해 정의된 제한된 샘플로부터 재구성된다. 내부 절두체 볼륨 층 또는 외부 절두체 볼륨 층 각각은 
또는 
를 재생성하기 위해 병합된다.
ReconLF는 다양한 계산 및 코덱 후 이미지 품질 특성으로 다양한 형태로 실행될 수 있다. RecoLF는 주어진 샘플링 방식에 따라 샘플링된 층과 연관된 광 필드와 광 필드에 대한 대응하는 깊이 맵이 주어지면, 이는 샘플링된 전체 광 필드를 재구성하도록 함수로서 정의될 수 있다. ReconLF 입력은 주어진 샘플링 방식 
및 대응하는 다운 샘플링된 깊이 맵 
에 의해 정의 된 
데이터의 서브 세트이다. Graziosi 외에 의해 설명되 바와 같이, 깊이 이미지 기반 렌더링(DIBR)은 입력 광 필드를 재구성할 수 있다. DIBR은 원근법적 렌더링 방법으로 분류될 수 있다. 재투영 기술과 대조적으로, Widmer 외에 의해 교시되는 스크린 스페이스 레이 캐스팅(screen space ray casting)과 같은 레이 캐스팅 방법은 광 필드를 재구성할 수 있다. 레이 캐스팅은 재투영보다 더 큰 유연성을 가능하게 하지만, 계산 리소스 요구를 증가시킨다.
DIBR 접근법에서, 샘플링 방식 
에서 특정된 요소 이미지는 광 필드로부터 누락된 요소 이미지를 합성하기 위한 참조 "뷰"로서 사용된다. Vincent Jantet의 "Layered Depth Images for Multi-View Coding" 및 Graziosi 외에 의해 설명된 바와 같이, 시스템이 DIBR 재구성을 사용할 때, 프로세스는 일반적으로 포워드 워핑(forward warping), 병합 및 역투영(back projection)을 포함한다.
역투영 기술의 적용은 요소 이미지와 같은 합성된 뷰에서 크랙 및 샘플링 아티팩트를 생성하는 것을 피한다. 역투영은 요소 이미지의 깊이 맵 또는 시차 맵이 타겟 이미지를 재구성하는데 필요한 참조 이미지와 함께 합성된다고 가정한다. 이러한 합성은 일반적으로 포워드 워핑 프로세스를 통해 발생한다. 타겟 이미지에서 각각의 픽셀에 대한 시차값으로, 시스템은 참조 이미지에서 대응하는 위치로 픽셀을 워핑하고; 일반적으로 이 참조 이미지 위치는 정수 픽셀 그리드에 정렬되지 않으므로 인접 픽셀값으로부터의 값을 보간해야 한다. 당 업계에 공지된 역투영의 구현은 간단한 선형 보간을 사용한다. 그러나 선형 보간은 문제가될 수 있다. 워핑된 참조 이미지 위치가 객체 에지 경계에 있거나 그 건처에 있는 경우, 에지 경계를 가로지르는 정보가 보간 연산에 포함되기 때문에 보간된 값은 중요한 아티팩트를 나타낼 수 있다. 합성된 이미지는 "번지거나(smeared)" 또는 흐릿한 에지(blurred edge)로 생성된다.
본 개시는 보간 서브 단계를 위한 역투영 기술을 제공하여, 번지거나 흐릿한 에지 없이 고품질 합성 이미지를 생성한다. 본 개시는 에지 적응 보간(EAI)을 도입하는데, 여기서 시스템은 깊이 맵 정보를 통합하여 참조 이미지에서 워핑된 픽셀의 색상을 계산하기 위해 보간 연산에 의해 요구되는 픽셀을 식별한다. EAI는 저역 통과 필터링 연산 중에 에지를 조정하고 유지하는 비선형 보간 절차이다. 타겟 이미지 
, 참조 이미지 
및 깊이 맵 
및 
을 갖는 디스플레이 
를 고려한다. 본 개시는 깊이 맵 
핀홀 카메라 파라미터 
및 디스플레이의 평면 파라미터화된 핀홀 프로젝터의 어레이의 상대적인 위치를 이용하여 각 
픽셀 정수 
를 
의 실수 위치 
로 워핑시킨다. 
가 정수 좌표 위치에 있지 않은 유사한 시나리오에서는, 
정수 샘플을 기반으로 값을 재구성해야 한다.
당 업계에 알려진 선형 보간은 2×2 픽셀 지역(pixel neighborhood)에 위치된 4 개의 가장 가까운 정수 좌표로부터 
를 재구성한다. 대안적인 재구성 방법은 더 큰 지역(예를 들어 3×3 픽셀 지역)을 사용하여 변화하는 재구성 품질(varying reconstruction quality)로 유사한 결과를 생성한다(Marschner 외의 "An evaluation of reconstruction filters for volume rendering" 참조). 이 선형 보간은 신호의 기본 형상에 대한 지식이 없다. 번짐 또는 흐릿한 에지 이미지는 재구성에서 이미지의 에지에 의해 분리된 다른 객체에 속하는 픽셀 지역을 사용할 때 발생한다. 다른 객체의 색상이 잘못 포함되면 고스팅 아티팩트(ghosting artifact)가 발생한다. 본 개시는 복수의 객체가 중첩할 때 생성된 에지의 존재를 예측하기 위해 깊이 맵 
을 사용함으로써 픽셀 지역을 가중화(weigh)하거나 생략하는 방법을 제공함으로써 이러한 재구성 문제를 해결한다.
타겟 이미지 
의 고정된 임의의 좌표 
의 경우, 
는 위치 깊이를 정의한다:
타겟 이미지 좌표 
는 기준 이미지 좌표
로 워핑한다.
여기서 
는 인덱스 
에 대응하는 지역의 깊이
및 깊이 (xr, yr)의 함수이다. 다음 방정식은 주어진 임계값 
에 대한 효과적인 
를 나타낸다:
임계값 
는 특징 사이즈 파라미터이다. 가중치 함수는 
을 어떻게 재구성할지 결정한다:
Recon 함수는 간단한 수정된 선형 보간일 수 있으며, 여기서 
가중치는 표준 가중치 절차와 통합되고 총 가중치 1을 유지하도록 다시 정규화된다(re-nomalized).
본 개시는 또한 계층화된 장면 분해를 재구성하기 위한 성능 최적화된 디코딩 방법을 제공한다. 계층화된 장면 분해 
및 관련 샘플링 방식 
을 갖는 디스플레이 
를 고려한다. 요소 이미지는 샘플링 방식 
에 의해 특정된 바와 같이 다운 샘플링된 분해된 
및 
라이트 필드로부터 라이트 필드 
및 
를 재구성함으로써 디코딩된다. 위에서 언급된 바와 같이, 특정 구현은 광 필드 디스플레이의 내부 절두체 볼륨(18) 또는 외부 절두체 볼륨(20)을 보는 것을 제한할 수 있어, 이로써 
또는 
중 하나의 디코딩이 필요하다.
예시적인 실시예
본 명세서에 설명된 방법은 광 필드를 볼륨 렌더링하기 위해 메모리 액세스의 중복성을 활용하는 방법을 보여준다. 이 방법이 병렬 처리 프레임워크를 사용하여 구현될 수 있는 방법에 대한 구체적인 예가 제시된다.
광 필드 디스플레이 
와 연관된 계층화된 장면 분해 
을 고려한다. 이전에 개시된 코덱의 형식에 기반하여 이는 층의 세트 및 샘플링 방식 
여야 한다. 주어진 디스플레이 
에 기초하여 이 디스플레이의 알려진 최대 피사계 심도는 
이다. 디스플레이의 초점 거리 
의 정수배가 되도록 각 깊에 층이 있는 방식으로 계층화 방식을 선택하는 것이 제안된다. 각각의 "
의 배수" 깊이에서 이러한 층 각각에 대해 함수 
의 값을 계산할 수 있다. 
로 알려져 있다.
본 개시에 설명된 것은 단일 절두체, 예를 들어 내부 절두체 볼륨(18)의 층이 렌더링 방법에 사용되는 방법이다. 볼륨 렌더링에서 단일 광선과 연관된 각 계산 스레드는 볼륨 렌더링 적분의 단일 인스턴스를 계산한다. 적분은 광선 경로를 따라 전방에서 후방으로의 순서로 발생하는 누적 계산으로 이산화된다. 따라서, 내부 절두체 볼륨(18)을 렌더링하기 위해, 광선이 내부 절두체 볼륨(18)에 대한 디스플레이 평면(10)에서 시작하여 내부 절두체 볼륨(18)에 대한 원거리 클립 평면(14)에 도달할 때까지 계속되는 각 호겔의 각 픽셀에 대해 가정한다. 대조적으로, 외부 절두체를 렌더링하기 위해 광선은 근거리 클립 평면(12)에서 시작하여 디스플레이 평면(10)에서 끝난다. 외부 절두체의 근거리 클립에서 시작하는 광선의 경우, 이는 디스플레이 평면(10)에서 시작하여 내부 절두체 볼륨(18)의 원거리 클립 평면(14)으로 계속되는 대응하는 광선에서 계속된다. 외부 및 내부 절두체 광선 세그먼트는 개별적으로 병렬로 계산된 다음 간단한 방식으로 볼륨 렌더링 적분 이산화를 통해 단일 최종 계산으로 수정될 수 있다.
대안적으로, 광선 계산이 절두체에서 후방에서 전방으로 순서로 수행될 수 있다. 또한 하나의 절두체에서 후방에서 전방으로 계산을 수행한 다음 다른 절두체의 전방에서 후방으로 계산하거나 그 반대의 경우도 가능하다. 순서는 이러한 계산에서 유동적이며 적분 계산의 수학적 특성에 의해서만 제한된다.
계층화된 장면 분해 볼륨 렌더링과 계층화된 장면 분해 표면 렌더링을 조합
미국 특허 제 10,432,944호에는 표면 기반 표현을 실시간 속도로 렌더링하는 계층화된 장면 분해 기반 접근법이 설명된다. 이 접근법의 이점은 기존 기술을 사용하여 실시간 속도로 광 필드에 필요한 많은 수의 픽셀을 생성할 수 있는 시스템의 구현이 가능하다는 것이다. 이전에 설명한 프로세스의 제2 단계(디코딩 단계)는 이 문서에서 설명된 광 필드 볼륨 렌더링 접근법과 통합될 수 있다고 제안된다. 그 결과 실시간 광 필드 렌더링을 위해 볼륨 및 표면 표현을 동시에 지원하는 렌더링 시스템을 실현할 수 있으며, 우리의 새로운 표면 디코딩 및 볼륨 렌더링 접근법으로 구현된 캐시 효율적인 방법을 활용할 수 있다.
본 개시의 목적을 위해, 표면 렌더링을 위한 계층화된 장면 분해가 존재한다고 가정한다. 표면 기반 계층화된 장면 분해(LSD) 코덱에 대한 매우 광범위한 디코딩 방법은 다음과 같이 설명된다:
Core Layered Decoding:
for each 
:
표면 기반 렌더링, 즉 다각형 표면 기반 렌더링을 위한 계층화된 디코딩 프로세스는 볼륨 렌더링을 위한 프로세스와 자연스럽게 결합될 수 있음이 제안된다. 기본 아이디어는 위의 절차에서 개별 층이 재구성된 다음 (
연산자를 통해) 인접 층과 병합된다는 것이다. 볼륨 렌더링을 위한 합성 방정식은 병합 연산자에 더하여 통합되어야 한다고 제안된다. 따라서, 이러한 보다 일반적인 하이브리드 접근법에서 층 결합 연산자는 때로는 이전과 같이 병합 연산자로 작동하고 다른 경우에는 볼륨 렌더링 광선 축적 기능으로 작동하는 보다 일반적인 기능을 수행하므로 보다 일반적이고 복잡해진다. 이 새로운 연산자를 블렌딩 연산자로 하는 것이 제안된다. 이 연산자는 
로 표시된다.
Core Layered Decoding:
for each
:
for each hogel subset h
s
in l
i
Cache reference images implied by
Reconstruct surface LF associated with hogel subset (store resulting color, depth map)
Cache voxels which intersect the slab associated with l_i and h_s
Perform ray-accumulation for rays in the slab until
(1) ray reaches depth value stored at same pixel in surface LF or (2) until end of the layer if surface LF depth is empty
Composite accumulated volume color, alpha with the corresponding surface color value.
실제로, 이 제안은 잠재적인 문제를 가질 수 있다. 표면 층은 상당히 클 수 있으며(예를 들어, 미국 특허 제 10,244,230호에서 제안된 2의 거듭제곱 방식) 복셀의 큰 서브세트와 교차하는 매우 큰 슬래브(28)를 생성하므로 실용적이기에는 너무 많은 사용자 프로그래밍 가능 캐시가 필요하다. 이를 처리하기 위한 한 가지 제안은 프로세스의 볼륨 렌더링 부분을 보다 관리하기 쉬운 청크(chunk)로 세분화하는 역할을 하는 더 작은 층으로 표면 층을 세분화하는 것이다. 이는 아키텍처 제약 조건과 사용 가능한 사용자 프로그래밍 가능 캐시의 양에 따라 결정되는 실용적인 구현 수준 세부 정보이다.
실제로, 이 프로세스가 실시간 렌더링 시스템에서 한 부분으로 작동하려면 이 프로세스가 효율적인 실행을 위해 병렬화되어야 한다. 다음 행-열 방법은 표면 재구성 코덱을 실제로 구현하는 좋은 방법으로 제안되었으며, 이는 재구성을 일련의 1-D 작업으로 분해하는 것이 버퍼링에 대한 대기 시간 페널티가 발생하고 프로세스를 복수의 단계로 나누는 페널티에 대한 캐시 사이즈 요구사항을 교환함으로써 캐시 크기 요구사항에 대한 부담이 줄어들기 때문이다. 이는 많은 실제 상황에서 수용 가능한 거래가 될 수 있다.
Dimensional Decomposition Light Field Reconstruction
Pass 1:
for each row of elemental images in L
i
for each missing elemental image in the row
for each row in elemental image
load (cache) pixels from same row in reference images
for each pixel in missing row
reconstruct pixel from reference information and write
Pass 2:
for each column of elemental images in L
i
for each missing elemental image in the column
for each column in elemental image
load (cache) reference pixels from same column
load (cache) voxels related to slab induced by this column
for each pixel in missing column
reconstruct pixel from reference information and write
Perform ray-accumulation for ray associated with pixel until
(1) ray reaches depth value stored at same pixel in surface LF or (2) until end of the layer if surface LF depth is empty
Composite accumulated volume color, alpha with the corresponding surface color value and write
본 명세서에서 언급된 모든 공개, 특허, 특허 출원은 본 발명이 관련되고 본 명세서에 참조로 포함되는 당업자의 기술을 나타낸다. 본 명세서에서 임의의 선행기술에 대한 언급은 그러한 선행 기술이 일반적인 지식의 일부를 형성한다는 것을 인정하거나 어떤 형태의 제안으로 간주되어서는 안된다.
본 발명은 이와 같이 설명되며, 동일한 것이 많은 방식으로 변경될 수 있음이 명백할 것이다. 이러한 변형은 본 발명의 범위를 벗어나는 것으로 간주되어서는 안되며, 당업자에게 명백한 그러한 모든 수정은 다음 청구범위의 범위 내에 포함되는 것으로 의도된다.
참조 문헌
Claims (45)
- 컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법으로서,
볼륨 데이터를 포함하는 장면의 3차원 설명을 층으로 분할하는 단계 ― 각 층은 연관된 광 필드 및 적어도 하나의 슬래브 볼륨을 가지며, 각 슬래브 볼륨은 호겔 서브세트와 연관된 모든 광선이 슬래브 볼륨을 교차하도록 연관된 호겔 서브세트를 가짐 ―;
볼륨 렌더링 계산이 렌더링된 광 필드를 제공하도록 호겔 서브세트의 광선에 대해 수행되도록 각 층 내에 포함된 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하는 단계;
대응하는 슬래브 볼륨을 교차하는 볼륨 데이터를 캐싱하고 로컬 스토어 캐시 메모리에 볼륨 데이터를 저장하는 단계; 및
각 층과 연관된 렌더링된 광 필드를 단일 출력 광 필드 이미지로 블렌딩하는 단계;를 포함하는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제1항에 있어서,
상기 볼륨 데이터의 일부만이 캐싱되는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제1항 또는 제2항에 있어서,
슬래브로의 초기 입구에서 호겔 서브세트의 광선에 대한 볼륨 렌더링 계산을 동기화하는 단계를 더 포함하는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
재구성 계산은 슬래브 볼륨을 교차하는 광선에 대해 수행되며, 광선은 로컬 스토어 캐시 메모리로부터 볼륨 요소의 세트를 선택적으로 액세스함으로써 광선 경로를 따라 위치된 재샘플링 지점과 연관된 슬래브 볼륨을 교차하는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 호겔 서브세트는 서브세트의 호겔에서 광선 샘플 중첩을 이용하도록 크기가 조정되는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
각 호겔 서브세트에 대응하는 볼륨 렌더링 계산은 그들이 대응하는 슬래브 볼륨을 교차하기 때문에 동기화되는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
방법은 실시간 렌더링 시스템을 사용하는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 광 필드 이미지 렌더링 방법으로서,
표면 데이터 요소 및 볼륨 데이터를 포함하는 장면의 3차원 설명을 복수의 층으로 분할하는 단계 ― 각 층은 연관된 광 필드 및 샘플링 방식을 가짐 ―;
복수의 층 중 적어도 하나를 복수의 서브섹션으로 추가로 분할하는 단계 ― 각 서브섹션은 연관된 광 필드 및 샘플링 방식을 가지며, 각 서브섹션 위치는 장면에서 나타나는 물체의 적어도 일부의 기하학에 따라 결정됨 ―;
각 층 및 각 서브섹션에 대해, 샘플링된 광 필드를 생성하도록 샘플링 방식에 따른 각 층 및 각 서브섹션 내에 포함되는 표면 데이터를 사용하여 추가 픽셀 정보를 포함하는 픽셀의 세트를 렌더링하는 단계;
픽셀의 세트를 사용하여 각 층 및 서브섹션에 대한 샘플링된 광 필드를 재구성하는 단계;
층 내에 포함된 볼륨 데이터를 사용하는 각 층과 연관된 광 필드를 볼륨 렌더링하는 단계; 및
각 층 및 서브섹션과 연관된 볼륨 렌더링된 광 필드 및 재구성된 샘플링된 광 필드를 단일 출력 광 필드 이미지로 블렌딩하는 단계;를 포함하는,
광 필드 이미지 렌더링 방법. - 제9항에 있어서,
샘플링 방식은 각 층을 매핑하기 위한 매핑 함수 및 각 층과 연관된 이진 매트릭스를 포함하는,
광 필드 이미지 렌더링 방법. - 제9항 또는 제10항에 있어서,
각 층과 연관된 각 광 필드는 하나 이상의 호겔 서브세트로 구성되며, 각 호겔 서브세트 및 그와 연관된 층은 층의 서브 볼륨인 슬래브 볼륨을 정의하며, 방법은:
각 층과 연관된 광선에 관련된 볼륨 렌더링된 계산을 동기화하는 단계;
각 대응하는 슬래브 볼륨을 교차하는 볼륨 데이터를 캐싱하는 단계; 및
광선이 슬래브 볼륨을 교차함에 따라 각 호겔 서브세트의 광선을 볼륨 렌더링하는 단계;를 더 포함하는,
광 필드 이미지 렌더링 방법. - 제11항에 있어서,
볼륨 데이터의 일부만이 캐싱되는,
광 필드 이미지 렌더링 방법. - 제11항 또는 제12항에 있어서,
적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는,
광 필드 이미지 렌더링 방법. - 제11항 내지 제13항 중 어느 한 항에 있어서,
호겔 서브세트는 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정되는,
광 필드 이미지 렌더링 방법. - 제11항 내지 제14항 중 어느 한 항에 있어서,
호겔 서브세트에 대응하는 모든 볼륨 렌더링 계산은 그들이 대응하는 슬래브 볼륨을 교차함에 따라 동기화되는,
광 필드 이미지 렌더링 방법. - 제9항 내지 제15항 중 어느 한 항에 있어서,
방법은 실시간 렌더링 시스템에서 사용되는,
광 필드 이미지 렌더링 방법. - 컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법으로서,
볼륨 데이터 요소를 포함하는 3차원 장면을 층으로 분할하는 단계 ― 각 층은 연관된 광 필드 및 샘플링 방식을 가지며, 각 광 필드는 하나 이상의 호겔 서브세트로 구성되며, 각 호겔 서브세트 및 층 및 연관된 광 필드는 층의 서브 볼륨을 포함하는 슬래브 볼륨을 정의함 ―;
복수의 렌더링된 광 필드를 제공하도록 샘플링 방식에 따른 층 내에 포함된 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하는 단계; 및
각 층과 연관된 렌더링된 광 필드를 단일 출력 광 필드 이미지로 업스케일링하고 블렌딩하는 단계;를 포함하는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제17항에 있어서,
샘플링 방식은 각 층을 매핑하기 위한 매핑 함수 및 각 층과 연관된 이진 매트릭스를 포함하는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제17항 또는 제18항에 있어서,
슬래브 볼륨을 교차하는 볼륨 데이터는 캐싱되는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제19항에 있어서,
슬래브 볼륨을 교차하는 볼륨 데이터의 일부만이 캐싱되는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제17항 내지 제20항 중 어느 한 항에 있어서,
적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제17항 내지 제21항 중 어느 한 항에 있어서,
호겔 서브세트는 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정되는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 제17항 내지 제22항 중 어느 한 항에 있어서,
방법은 실시간 렌더링 시스템에서 사용되는,
컴퓨터 시스템에서 장면의 광 필드 볼륨 렌더링을 위한 방법. - 컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템으로서,
볼륨 데이터를 저장하기 위한 시스템 메모리;
시스템 메모리와 작동적으로 결합된 프로세서 장치로서, 프로세서 장치는:
볼륨 데이터를 포함하는 장면의 3차원 설명을 층으로 분할하고 ― 각 층은 연관된 광 필드 및 적어도 하나의 슬래브 볼륨을 가지며, 각 슬래브 볼륨은 호겔 서브세트와 연관된 모든 광선이 슬래브 볼륨을 교차하도록 연관된 호겔 서브세트를 가짐 ―;
볼륨 렌더링 계산이 렌더링된 광 필드를 제공하도록 슬래브 볼륨을 교차하는 광선에 대해 그리고 호겔 서브세트의 광선에 대해 수행되도록 각 층 내에 포함된 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하고;
대응하는 슬래브 볼륨을 교차하는 볼륨 광 필드 데이터를 캐싱하고 볼륨 광 필드 데이터를 로컬 스토어 캐시 메모리에 저장하고; 그리고
각 층과 연관된 렌더링된 광 필드를 단일 출력 광 필드 이미지로 블렌딩하도록; 구성되는, 프로세서 장치;를 포함하는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제24항에 있어서,
볼륨 데이터의 일부만이 캐싱되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제24항 또는 제25항에 있어서,
시스템 메모리는 호겔 서브세트 내의 광선과 관련된 볼륨 렌더링 계산을 동기화하도록 추가로 구성되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제24항 내지 제26항 중 어느 한 항에 있어서,
적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제24항 내지 제27항 중 어느 한 항에 있어서,
재구성 계산은 로컬 스토어 캐시 메모리로부터 볼륨 요소의 세트에 선택적으로 액세스함으로써 슬래브 볼륨을 교차하는 광선에 대해 수행되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제24항 내지 제28항 중 어느 한 항에 있어서,
호겔 서브세트는 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제24항 내지 제29항 중 어느 한 항에 있어서,
호겔 서브세트에 대응하는 볼륨 렌더링 계산은 호겔 서브세트와 연관된 광선이 슬래브 볼륨을 교차함에 따라 동기화되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제24항 내지 제30항 중 어느 한 항에 있어서,
실시간 렌더링 시스템에서 사용되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템으로서,
볼륨 데이터를 저장하기 위한 시스템 메모리;
시스템 메모리와 작동적으로 결합된 프로세서 장치로서, 프로세서 장치는:
표면 데이터 요소 및 볼륨 데이터를 포함하는 장면의 3차원 설명을 복수의 층으로 분할하고 ― 각 층은 연관된 광 필드 및 샘플링 방식을 가짐 ―;
복수의 층 중 적어도 하나를 복수의 서브섹션으로 추가로 분할하고 ― 각 서브섹션은 연관된 광 필드 및 샘플링 방식을 가지며, 각 서브섹션 위치는 장면에서 나타나는 물체의 적어도 일부의 기하학에 따라 결정됨 ―;
각 층 및 각 서브섹션에 대해, 샘플링된 광 필드를 생성하도록 샘플링 방식에 따른 각 층 및 각 서브섹션 내에 포함되는 표면 데이터를 사용하여 추가 픽셀 정보를 포함하는 픽셀의 세트를 렌더링하고;
픽셀의 세트를 사용하여 각 층 및 서브섹션에 대한 샘플링된 광 필드를 재구성하고;
층 내에 포함되는 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하고; 그리고
각 층 및 서브섹션과 연관된 볼륨 렌더링된 광 필드 및 재구성된 샘플링된 광 필드를 단일 출력 광 필드 이미지로 블렌딩하도록; 구성되는, 프로세서 장치;를 포함하는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제32항에 있어서,
샘플링 방식은 각 층을 매핑하기 위한 매핑 함수 및 각 층과 연관된 이진 매트릭스를 포함하는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제32항 또는 제33항에 있어서,
층과 연관된 각 광 필드는 하나 이상의 호겔 서브세트로 구성되며, 각 호겔 서브세트 및 연관된 층은 슬래브 볼륨이라고 불리는 층의 서브 볼륨을 정의하며,
광선과 관련된 볼륨 렌더링 계산을 동기화시키는 것;
대응하는 슬래브 볼륨을 교차하는 볼륨 데이터를 캐싱하는 것; 및
호겔 서브세트의 모든 광선에 대한 볼륨 렌더링 계산이 그들이 슬래브 볼륨을 교차함에 따라 수행되는 것;을 더 포함하는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제32항 내지 제34항 중 어느 한 항에 있어서,
볼륨 데이터의 일부만이 캐싱되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제32항 내지 제35항 중 어느 한 항에 있어서,
적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제32항 내지 제36항 중 어느 한 항에 있어서,
호겔 서브세트는 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제32항 내지 제37항 중 어느 한 항에 있어서,
각 호겔 서브세트에 대응하는 볼륨 렌더링 계산은 호겔 서브세트와 연관된 광선이 슬래브 볼륨을 교차함에 따라 동기화되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제32항 내지 제38항 중 어느 한 항에 있어서,
실시간 렌더링 시스템에서 사용되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템으로서,
볼륨 데이터를 저장하기 위한 시스템 메모리;
시스템 메모리와 작동적으로 결합되는 프로세서 장치로서, 프로세서 장치는:
볼륨 데이터 요소를 포함하는 3차원 장면을 층으로 분할하고 ― 각 층은 연관된 광 필드 및 샘플링 방식을 가지며, 각 광 필드는 하나 이상의 호겔 서브세트로 구성되며, 각 호겔 서브세트 및 층은 층의 서브 볼륨을 포함하는 슬래브 볼륨을 정의함 ―;
샘플링 방식에 따른 층 내에 포함되는 볼륨 데이터를 사용하여 각 층과 연관된 광 필드를 볼륨 렌더링하고; 그리고
각 층과 연관된 렌더링된 광 필드를 단일 출력 광 필드 이미지로 업스케일링하고 블렌딩하도록; 구성되는, 프로세서 장치;를 포함하는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제40항에 있어서,
샘플링 방식은 각 층을 매핑하기 위한 매핑 함수 및 각 층과 연관된 이진 매트릭스를 포함하는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제40항 또는 제41항에 있어서,
슬래브 볼륨을 교차하는 호겔 서브세트의 볼륨 데이터는 캐싱되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제42항에 있어서,
슬래브 볼륨을 교차하는 호겔 서브세트의 볼륨 데이터의 일부만이 캐싱되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제40항 내지 제43항 중 어느 한 항에 있어서,
적어도 하나의 층은 하나 초과의 슬래브 볼륨을 갖는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템. - 제40항 내지 제44항 중 어느 한 항에 있어서,
호겔 서브세트는 서브세트의 호겔 사이에서 광선 샘플 중첩을 이용하도록 크기가 조정되는,
컴퓨터 시스템에서 장면의 가속화된 볼륨 렌더링을 수행하기 위한 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063015929P | 2020-04-27 | 2020-04-27 | |
| US63/015,929 | 2020-04-27 | ||
| PCT/CA2021/050570 WO2021217250A1 (en) | 2020-04-27 | 2021-04-26 | Light field volume rendering system and methods |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230005287A true KR20230005287A (ko) | 2023-01-09 |
Family
ID=78222591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227041168A KR20230005287A (ko) | 2020-04-27 | 2021-04-26 | 광 필드 볼륨 렌더링 시스템 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US11562530B2 (ko) |
| JP (1) | JP2023523062A (ko) |
| KR (1) | KR20230005287A (ko) |
| CN (1) | CN115769266A (ko) |
| CA (1) | CA3166486A1 (ko) |
| WO (1) | WO2021217250A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| CN109076148B (zh) * | 2016-04-12 | 2021-02-05 | 奎蒂安特有限公司 | 日常场景重建引擎 |
| WO2019045144A1 (ko) * | 2017-08-31 | 2019-03-07 | (주)레벨소프트 | 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법 |
| AU2019262147B2 (en) | 2018-05-02 | 2024-07-04 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
| US11688125B2 (en) * | 2021-03-09 | 2023-06-27 | Canon Medical Systems Corporation | Image processing apparatus and method to perform a ray casting algorithm to generate a rendered image from a volumetric data set |
| US20230010620A1 (en) * | 2021-07-06 | 2023-01-12 | 3D Patents, Llc | Bowtie processing for radiance image rendering |
| US11783528B2 (en) * | 2021-12-21 | 2023-10-10 | Huawei Technologies Co., Ltd. | Method and apparatus for supporting an image rendering using ray tracing |
| CN117422809B (zh) * | 2023-12-19 | 2024-03-19 | 浙江优众新材料科技有限公司 | 一种光场图像渲染的数据处理方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6549308B1 (en) | 2000-01-11 | 2003-04-15 | Zebra Imaging, Inc. | Unibiased light field models for rendering and holography |
| US6900904B1 (en) | 2000-02-04 | 2005-05-31 | Zebra Imaging, Inc. | Distributed system for producing holographic stereograms on-demand from various types of source material |
| US20060114254A1 (en) * | 2004-11-26 | 2006-06-01 | Tim Day | Volume rendering apparatus and method |
| US7692648B2 (en) * | 2006-01-18 | 2010-04-06 | Siemens Medical Solutions Usa, Inc. | System and method for empty space skipping in sliding texture based volume rendering by trimming slab polygons |
| US9843790B2 (en) * | 2006-03-15 | 2017-12-12 | Fovi 3D, Inc. | Dynamic autostereoscopic displays |
| US8736675B1 (en) * | 2006-12-01 | 2014-05-27 | Zebra Imaging, Inc. | Multi-core processor architecture for active autostereoscopic emissive displays |
| US8564617B2 (en) | 2010-01-12 | 2013-10-22 | International Business Machines Corporation | Accelerated volume rendering |
| US8334889B2 (en) * | 2010-03-18 | 2012-12-18 | Tipd, Llc | Auto stereoscopic 3D telepresence using integral holography |
| US9584805B2 (en) | 2012-06-08 | 2017-02-28 | Qualcomm Incorporated | Prediction mode information downsampling in enhanced layer coding |
| US9936187B2 (en) | 2016-05-18 | 2018-04-03 | Siemens Healthcare Gmbh | Multi-resolution lightfield rendering using image pyramids |
| US10026220B2 (en) | 2016-05-18 | 2018-07-17 | Siemens Healthcare Gmbh | Layered lightfields for occlusion handling |
| US10893262B2 (en) | 2017-02-07 | 2021-01-12 | Siemens Healthcare Gmbh | Lightfield rendering based on depths from physically-based volume rendering |
| US10244230B2 (en) | 2017-03-01 | 2019-03-26 | Avalon Holographics Inc. | Directional pixel for multiple view display |
| US10475165B2 (en) | 2017-04-06 | 2019-11-12 | Disney Enterprises, Inc. | Kernel-predicting convolutional neural networks for denoising |
| US10432944B2 (en) | 2017-08-23 | 2019-10-01 | Avalon Holographics Inc. | Layered scene decomposition CODEC system and methods |
-
2021
- 2021-04-26 JP JP2022565703A patent/JP2023523062A/ja active Pending
- 2021-04-26 CA CA3166486A patent/CA3166486A1/en active Pending
- 2021-04-26 KR KR1020227041168A patent/KR20230005287A/ko active Search and Examination
- 2021-04-26 CN CN202180027676.8A patent/CN115769266A/zh active Pending
- 2021-04-26 US US17/240,875 patent/US11562530B2/en active Active
- 2021-04-26 WO PCT/CA2021/050570 patent/WO2021217250A1/en active Application Filing
-
2022
- 2022-12-16 US US18/067,126 patent/US11869138B2/en active Active
-
2023
- 2023-11-27 US US18/519,712 patent/US20240104834A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230123552A1 (en) | 2023-04-20 |
| JP2023523062A (ja) | 2023-06-01 |
| US20210335031A1 (en) | 2021-10-28 |
| CN115769266A (zh) | 2023-03-07 |
| CA3166486A1 (en) | 2021-11-04 |
| WO2021217250A1 (en) | 2021-11-04 |
| US20240104834A1 (en) | 2024-03-28 |
| US11562530B2 (en) | 2023-01-24 |
| US11869138B2 (en) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102602719B1 (ko) | 레어어화된 장면 분해 코덱 시스템 및 방법들 | |
| KR20230005287A (ko) | 광 필드 볼륨 렌더링 시스템 및 방법 | |
| KR102502277B1 (ko) | 계층화된 장면 분해 코덱 시스템 및 방법 | |
| Hadwiger et al. | Advanced illumination techniques for GPU volume raycasting | |
| KR101090660B1 (ko) | 포인트 프리미티브를 이용한 실시간 볼륨 렌더링 방법 | |
| Gao et al. | Real-time hierarchical parallel rendering and display of light field images | |
| US20230377250A1 (en) | Light field offset rendering | |
| Paulin | GigaVoxels: A voxel-based rendering pipeline for efficient exploration of large and detailed scenes | |
| Farooq | Real-time rendering of large surface-scanned range data natively on a GPU | |
| Khanduja | Multiple dataset visualization (MDV) framework for scalar volume data | |
| Turquin | Towards fast image-based rendering of volume data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |