TWI709108B - 產生像素射束表示資料之裝置及方法 - Google Patents
產生像素射束表示資料之裝置及方法 Download PDFInfo
- Publication number
- TWI709108B TWI709108B TW105130178A TW105130178A TWI709108B TW I709108 B TWI709108 B TW I709108B TW 105130178 A TW105130178 A TW 105130178A TW 105130178 A TW105130178 A TW 105130178A TW I709108 B TWI709108 B TW I709108B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- pixel
- ray
- light field
- representation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000003287 optical effect Effects 0.000 claims abstract description 53
- 238000010586 diagram Methods 0.000 claims description 23
- 210000001747 pupil Anatomy 0.000 claims description 21
- 229910052704 radon Inorganic materials 0.000 claims description 15
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000021615 conjugation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 15
- 238000003491 array Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 10
- 238000007667 floating Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011980 disaster recovery test Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本發明係為一種產生像素射束表示資料之裝置及方法,目前市面上可取得數種類型之全光裝置及相機陣列,及所有此等光場獲取裝置具有其專屬檔案格式,然而,卻未有任何標準支援多維資訊之獲取及傳輸。得到相關該光學獲取系統之感測器之像素與該光學獲取系統之物件空間之間對應關係之資訊令人關注,實際上,知道屬於光學獲取系統之感測器之像素正在感測該光學獲取系統之哪部分物件空間,能用以提升信號處理操作。因此引進像素射束概念(其表示一組光線在相機之光學系統之物件空間所佔用體積),連同儲存此類資訊之緊密格式。
Description
本發明相關光場表示資料的產生。
在Anat Levin等人的文章,名稱為” 透過光場投影之貝氏分析以瞭解相機折衷(Understanding camera trade-offs through a Bayesian analysis of light field projections)”(公布在ECCV 2008會議錄中),說明四維(或4D)光場資料的獲取,其係可視為4D光場的採樣,即光線的記錄,係一熱門研究主題。
相較於使用相機得到的傳統二維(或2D)影像,4D光場資料能令使用者具有較多後製特徵存取,以使影像呈現增強,並增進使用者互動性。例如,可能利用4D光場資料以自由選擇聚焦距離來執行影像的重聚焦,意即可由經驗推論來規定/選擇焦點平面的位置,以及稍微變更一影像場景中的視點。為要獲取4D光場資料,可使用數種技術,例如,全光相機能獲取4D光場資料,在圖1A提供全光相機的架構細節。圖1A係以示意圖描繪一全光相機100,全光相機100包括一主透鏡101、一微透鏡陣列102(包括有依二維陣列排列的複數個微透鏡103),及一影像感測器104。
獲取4D光場資料的另一方式係使用如圖1B所繪示的相機陣列,圖1B描繪多陣列相機110,多陣列相機110包括一透鏡陣列112及一影像感測器114。
在如圖1A所顯示全光相機100的範例中,主透鏡101接收主透鏡101的物件場中從一物件(圖中未顯示)來的光,並將光傳遞通過主透鏡101的影像場。
最後,獲取4D光場的另一方式係使用傳統相機,其係配置用以擷取相同場景在不同焦點平面的2D影像序列,例如可使用J.-H.Park等人的文件” 使用焦點平面掃描之光線場擷取及其使用3D顯示器之 光學重建(Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays)”(2014年10月公布在光學速報(OPTICS EXPRSS)第22卷第21期)所揭露的技術,藉由傳統相機以達成4D光場資料的獲取。
表示4D光場資料有數種方式,實際上,在Ren Ng於2006年7月所發表的博士論文,名稱為”數位光場攝影術(Digital Light Field Photography)”,在其第3.3章揭露用以表示4D光場資料的三種不同方式。首先,4D光場資料係可由微透鏡影像的集合來表示(當藉由全光相機記錄時),依此表示法的4D光場資料係稱為原始影像或原始4D光場資料。第二,4D光場資料係可由子孔徑影像集來表示(當藉由全光相機或藉由相機陣列記錄時),一子孔徑影像對應到一場景從一視點所擷取影像,在二子孔徑影像之間,視點係稍有不同,此等子孔徑影像提供成像場景的視差及深度有關的資訊。第三,4D光場資料係可由一核線影像集來表示,例如參閱S.Wanner等人的文章,名稱為” 利用單鏡頭聚焦式全光相機以產生4D光場之面迴訊影像(EPI)表示法 ( Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera )”(公布在ISVC 2011會議錄中)。
光場資料可佔掉大量儲存空間,可使儲存龐大笨重且處理較無效率,此外,光場獲取裝置係極不同,光場相機係屬不同類型,例如全光或相機陣列,在各類型之內有許多差異,如不同光學排列,或不同焦距的微透鏡。各相機具有自己專屬的檔案格式,目前在此並無任何標準支援多維資訊的獲取及傳輸,以用於光場所仰賴的不同參數的徹底概述,因此不同相機獲取的光場資料具有各式各樣格式。有鑑於上述原因,已提出本發明。
根據本發明的第一方面,揭示一種電腦實施方法,用以產生一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示,及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示,該組光線所佔該體積係稱為一像素射束,該方法包括有:- 獲取一光線集合,該集合的各光線係代表一像素射束,及至少一第一
參數定義像素的共軛;- 得到相交資料,相交資料定義像素射束的射線表示與複數個給定參考平面的相交,該等參考平面係互相平行及對應到物件空間中的不同深度;- 得到射線圖參數,該等參數定義相交資料在2D射線圖的圖形表示法;及- 使該等射線圖參數與定義像素共軛的至少第一參數關聯,用以提供該像素射束的資料表示。
根據本發明的一實施例,該方法尚包括:- 將定義像素共軛的第一參數的第一值與第二值之間的差異進行編碼,該差異係與該等射線圖參數關聯,用以提供該像素射束的資料表示。
根據本發明的一實施例,對應到像素射束的射線表示的截距資料係在射線圖中以圖形描繪為資料線,及射線圖參數包括以下至少一者的資料表示:- 一資料線的斜率;及- 射線圖中一資料線與一軸的截距。
根據本發明的一實施例,藉由應用一Radon變換,在2D射線圖中檢測資料線。
根據本發明的一實施例,圖形表示法係提供為單元格矩陣,用以提供一數位資料線,各數位資料線格式係由複數個單元格定義,至少一第一單元格表示該線與一軸的截距,及至少一第二單元格,可從其判定出該線的斜率。
根據本發明的一實施例,藉由Bresenham演算法的應用以產生各數位資料線。
根據本發明的一實施例,像素射束的資料表示尚包括顏色資料,表示對應光場射線的顏色。
根據本發明的一實施例,像素射束的資料表示係提供為元資料,元資料的標頭包括有射線圖參數,定義相交資料在2D射線圖的圖形表示法,及元資料的本體包括有射線顏色的資料表示,及定義物件空間中像素共軛位置及大小的參數。
本發明的另一目的涉及一種資料產生裝置,用以產生一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示,及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示,該組光線所佔該體積係稱為一像素射束,該裝置包括有一處理器,配置用以:- 獲取一光線集合,該集合的各光線係代表一像素射束,及至少一第一參數定義像素的共軛;- 得到相交資料,相交資料定義像素射束的射線表示與複數個給定參考平面的相交,該等參考平面係互相平行及對應到物件空間中的不同深度;- 得到射線圖參數,該等參數定義相交資料在2D射線圖的圖形表示法;及- 使該等射線圖參數與定義像素共軛的至少第一參數關聯,用以提供該像素射束的資料表示。
根據本發明的一實施例,該裝置的處理器尚配置用以:- 將定義像素共軛的第一參數的第一值與第二值之間的差異進行編碼,該差異係與該等射線圖參數關聯,用以提供該像素射束的資料表示。
本發明的另一目的涉及一種光場成像裝置,包括有:- 一微透鏡陣列,排列在一規則晶格結構中;- 一光感測器,配置用以擷取從微透鏡陣列投射在光感測器上的光,光感測器包括有像素集,各像素集係在光學上與微透鏡陣列的一個別微透鏡關聯;及- 如申請專利範圍第9項用以提供元資料的裝置。
本發明的另一目的涉及一種數位檔案,包括有一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示,及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示,該組光線所佔該體積係稱為一像素射束,該資料包括有:- 射線圖參數,定義像素射束的射線表示的相交資料在2D射線圖的圖形表示法,相交資料定義像素射束的光場射線表示與複數個給定參考平面的相交,該等參考平面係互相平行及對應到物件空間中的不同深
度;- 顏色資料,定義像素射束的光場射線表示的顏色;及- 定義光學獲取系統的物件空間中像素共軛位置及大小的參數。
本發明的元件所實施的一些過程係可由電腦實施,因此,此類元件可採取以下形式:完全硬體實施例、完全軟體實施例(包括有韌體、常駐軟體、微碼等),或結合軟體與硬體方面的實施例,其在本文中通常係稱為”電路”、”模組”或”系統”。此外,此類元件可採取電腦程式產品的形式,具體實現在任何有形的表現媒體,具有電腦可用程式碼具體實現在該媒體中。
由於本發明的元件係可實現在軟體中,本發明係可具體實現為電腦可讀取碼,藉任何合適載體媒體用以提供到可程式裝置。有形載體媒體可包括儲存媒體如軟式磁碟、CD-ROM、硬碟驅動機、磁帶元件,或固態記憶元件及類似物。暫態載體媒體可包括信號如電信號、電子信號、光學信號、聲音信號、磁信號,或電磁信號,如微波或紅外線(RF)信號。
40,50‧‧‧像素射束
41‧‧‧光學系統
42‧‧‧像素
43‧‧‧感測器
44‧‧‧光瞳
45,55‧‧‧像素共軛(腰部)
100‧‧‧全光相機
101‧‧‧主透鏡
102‧‧‧微透鏡陣列
103‧‧‧微透鏡
104‧‧‧感測器
110‧‧‧多陣列相機
112‧‧‧透鏡陣列
114‧‧‧影像感測器
200‧‧‧光場相機
201‧‧‧主透鏡
202‧‧‧孔徑(快門)
210‧‧‧微透鏡陣列
220‧‧‧光感測器陣列
240‧‧‧光場資料獲取模組
250,2050‧‧‧光場資料格式化模組
255‧‧‧光場資料處理器
260‧‧‧使用者介面(UI)
265‧‧‧顯示元件
270‧‧‧控制器
280‧‧‧電源
290,2090‧‧‧記憶體
295‧‧‧I/O介面
801‧‧‧光場資料獲取模組
802‧‧‧相交資料獲取模組
803‧‧‧射線圖產生器
804‧‧‧Radon變換模組
805‧‧‧數位線產生器
2000‧‧‧電路
2040‧‧‧處理電路
2045‧‧‧記憶體控制器
2051‧‧‧作業系統模組
2052‧‧‧介面模組
2055‧‧‧光場資料處理模組
d‧‧‧截距參數
MI‧‧‧微像
P‧‧‧物件空間中的像素(P’的共軛)
P’‧‧‧影像空間中的像素
r‧‧‧射束的橫向尺寸
S150,S250‧‧‧一浮點數作為參考的設定步驟
S151‧‧‧一參數的第一值與第二值之間差異的計算步驟
S152‧‧‧參數的第二值與第三值之間差異的計算步驟
S153,S253‧‧‧參數的第四值作為新參考的儲存步驟
S251‧‧‧參考與一參數的第二值之間差異的計算步驟
S252‧‧‧參考與參數的第三值之間差異的計算步驟
S801‧‧‧資料獲取步驟
S802‧‧‧相交資料得到步驟
S803‧‧‧射線圖產生步驟
S804‧‧‧Radon變換應用步驟
S805‧‧‧數位線產生步驟
s‧‧‧斜率參數
w 0‧‧‧射束腰部大小
z R‧‧‧離射束腰部的距離
Θ‧‧‧射束總角度展開
θ x ,θ y ‧‧‧表示剪切角的參數
以下將參考附圖並僅藉由範例以描述本發明的實施例,圖中:
圖1A係以示意圖描繪全光相機;圖1B描繪多陣列相機;圖2A係根據本發明的一實施例以功能圖描繪光場相機;圖2B係根據本發明的一實施例以功能圖描繪光場資料格式器及光場資料處理器;圖3係形成在光感測器上的2D光場影像範例;圖4描繪一組光線在相機的光學系統(或光學獲取系統)的物件空間所佔用體積;圖5描繪單葉雙曲面;圖6A及6B係根據本發明的一或多個實施例以圖形描繪參考平面用於光場資料參數化的使用;圖7係根據本發明的實施例以示意圖描繪光場射線相對於參考平面的表
示法;圖8A係根據本發明的一或多個實施例以流程圖描繪一方法的步驟;圖8B係根據本發明的一或多個實施例以功能方塊圖描繪光場資料格式提供裝置的模組;圖9係根據本發明的實施例以示意圖描繪用於光場射線表示法的參數;圖10係根據本發明的實施例以圖形描繪相交資料的2D射線圖;圖11係根據本發明的實施例以圖形描繪所產生的一數位線;圖12係根據本發明的實施例以圖形描繪所產生的數位線;圖13A至13C係根據本發明的實施例以圖形描繪應用到數位線的Radon變換;及圖14係根據本發明的實施例以圖形描繪用於複數個相機的相交資料的2D射線圖。
圖15A及15B係根據本發明的一或多個實施例以流程圖描繪一方法的步驟;圖16描繪一高斯射束(Gaussian beam)的幾何形狀。
如熟諳此藝者所了解,本發明原理的方面係可具體實現為系統、方法,或電腦可讀取媒體,因此,本發明原理的方面可採取以下形式:完全硬體實施例、完全軟體實施例(包括有韌體、常駐軟體、微碼等),或結合軟體及硬體方面的實施例,其在本文中通常全稱為”電路”、”模組”,或”系統”。此外,本發明原理的方面可採取電腦可讀取儲存媒體的形式,可利用一或多個電腦可讀取儲存媒體的任何組合。
本發明的實施例提供光場資料的格式化用於進一步處理應用如格式轉換、重聚焦、視點變更,及3D影像生成。
圖2A係根據本發明的一實施例以方塊圖描繪一光場相機裝置,根據圖1A的光場相機,光場相機包括一孔徑/快門202、一主透鏡(物鏡)201、一微透鏡陣列210,及一光感測器陣列220。在一些實施例中,光場相機包括一快門啟動按鈕,其係啟動用以擷取一主題或場景的光場影像。應了解該等功能特徵亦可應用到圖1B的光場相機。
光感測器陣列220提供光場影像資料,其係由LF(光場)
資料獲取模組240所獲取,由光場資料格式化模組250用於光場資料格式的產生,及/或由光場資料處理器255用於處理。光場資料在獲取後及處理後係可儲存在記憶體290中,依原始資料格式(作為子孔徑影像或焦點堆疊),或根據本發明的實施例係依光場資料格式來儲存。
在繪示的範例中,光場資料格式化模組250及光場資料處理器255係設置在(或整合)到光場相機200中。在本發明的其他實施例中,光場資料格式化模組250及光場資料處理器255係可在光場擷取相機外部的一分離組件中提供。相對於光場影像擷取裝置,分離組件可係本地或遠程的。應了解任何合適的有線或無線協定係可用以傳送光場影像資料到格式化模組250或光場資料處理器255;例如,光場資料處理器可經由網際網路、行動資料網路、WiFi網路、藍芽通訊協定及/或其他任何合適措施以傳遞所擷取的光場影像資料及/或其他資料。
根據本發明的實施例,光場資料格式化模組250係配置用以產生所獲取光場的資料表示,光場資料格式化模組250係可實現在軟體、硬體,或其組合中。
根據本發明的實施例,光場資料處理器255係配置用以操作在直接從LF資料獲取模組240接收的原始光場影像資料上,例如用以產生焦點堆疊或一視野矩陣,可產生所擷取場景的輸出資料如靜態影像、2D視訊流及類似物。光場資料處理器係可實現在軟體、硬體,或其組合中。
在至少一實施例中,光場相機200亦可包括一使用者介面260,使用者能用以提供使用者輸入,藉由控制器270用以控制相機100的操作。相機的控制可包括相機的一或多個光學參數控制如快門速度,或在可調式光場相機的情形,微透鏡陣列與光感測器之間的相對距離控制,在一些實施例中,可手動調整光場相機的光學元件之間的相對距離。相機的控制亦可包括相機的其他光場資料獲取參數、光場資料格式化參數或光場處理參數的控制。使用者介面260可包括任何合適的使用者輸入裝置如觸控螢幕、按鈕、鍵盤、指向裝置及/或類似物,依此方式,可使用使用者介面所接收的輸入以控制及/或配置LF資料格式化模組250以控制資料格式化,控制及/或配置LF資料處理器255以控制所獲取光場資料的處
理,及控制及/或配置控制器270以控制光場相機200。
光場相機包括一電源280,如一或多個可替換或可充電的電池。光場相機包括記憶體290,用以儲存所擷取光場資料及/或所呈現最終影像或其他資料如軟體(用以實施本發明的實施例的方法)。記憶體可包括外部及/或內部的記憶體,在至少一實施例中,記憶體係可設置在相機200的一分離裝置及/或位置中。在一實施例中,記憶體包括可卸除/可替換儲存裝置如記憶棒。
光場相機亦可包括一顯示單元265(如LCD螢幕),在擷取前用以觀察相機前面的場景及/或用以觀察先前所擷取及/或呈現的影像,亦可使用螢幕265向使用者顯示一或多個選單或其他資訊。光場相機尚可包括一或多個I/O介面295,如FireWire或通用序列滙流排(USB)介面,或有線或無線通訊介面,經由網際網路、行動資料網路、WiFi網路、藍芽通訊協定及/或其他任何合適措施用於資料通訊。I/O介面295係可用以往返外部裝置如電腦系統或顯示單元,傳遞資料(如根據本發明的實施例由LF資料格式化模組所產生的光場表示資料)及光場資料(如原始光場資料或LF資料處理器255所處理的資料),用以呈現應用。
圖2B係以方塊圖描繪光場資料格式化模組250及光場資料處理器255的潛在實施方式的一特殊實施例。
電路2000包括記憶體2090、記憶體控制器2045,及包括有一或多個處理單元(CPU)的處理電路2040。一或多個處理單元2040係配置用以執行記憶體2090中儲存的各種軟體程式及/或指令集以執行各種功能,包括有光場資料格式化及光場資料處理。儲存在記憶體的軟體組件包括一資料格式化模組(或指令集)2050,用以根據本發明的實施例以產生所獲取光場資料的資料表示,及一光場資料處理模組(或指令集)2055,用以根據本發明的實施例以處理光場資料。用於光場相機裝置的應用,在記憶體中可包括其他模組如作業系統模組2051,用以控制一般系統任務(如電源管理、記憶體管理),及用以促成裝置2000的各種硬體組件與軟體組件之間的通訊,及一介面模組2052,用以經由I/O介面埠以控制及管理與其他裝置的通訊。
圖3描繪圖1A的光感測器陣列104或圖1B的光感測器
114上形成的2D影像範例。2D影像(常稱為原始4D光場影像)係由一微像陣列MI所組成,各微像係由微透鏡陣列102、112的個別微透鏡(i,j)所產生。微像係依軸i及j定義的矩形坐標格結構排列在陣列中,一微透鏡影像係可參照以個別微透鏡坐標(i,j),光感測器104、114的一像素PI係可參照以其空間坐標(x,y),與一給定像素關聯的4D光場資料係可參照為(x,y,i,j)。
表示(或定義)4D光場影像有數種方式,例如,可由先前參考圖3所描繪的微透鏡影像的集合來表示一4D光場影像,當藉由全光相機記錄時亦可由一子孔徑影像集來表示一4D光場影像,各子孔徑影像係由選自各微透鏡影像在相同位置的像素所構成。此外,可由一核線影像集(其並非像素射束的情形)來表示4D光場影像。
本發明的實施例係基於像素射束的概念以提供光場資料表示法,依此方式,可將格式及光場裝置中的多樣性列入考量。實際上,射線為基格式的一個缺點在於必須將參數化平面採樣以反映像素格式及大小,因此,為要回復實體有意義的資訊,需要隨其他資料一起定義採樣。
一像素射束40(如圖4所顯示)表示一組光線在相機的光學系統41的物件空間所佔用體積,相機的感測器43的一像素42係透過該光學系統41的光瞳44以感測該組光線。與射線相反,由於像素射束40本身傳遞”範圍(étendue)”(其對應到跨越實體光線截面的能量保留),因此可將像素射束隨意採樣。
光學系統的光瞳係定義為一孔徑光闌的影像,如透過該光學系統(即相機的透鏡,其先於該孔徑光闌)所見。孔徑光闌係一開口,其限制通過相機的光學系統的光量,例如,位置接近相機鏡頭前端的可調整光圈係用於該鏡頭的孔徑光闌。光圈開口的直徑(其可依相機使用者希望的允許光量來調適)控制允許通過光圈的光量,例如,使孔徑變小以縮減允許通過光圈的光量,但增加焦點深度。光闌的有效尺寸係可因透鏡的折射作用而比其實體尺寸大或小,正式地說,光瞳係孔徑光闌通過相機的部分光學系統的影像。
一像素射束40係定義為一束光線,其在經由一入射光瞳44傳播通過光學系統41時到達一給定像素42。由於光在自由空間係依直
線行進,因此可由二截面定義此一像素射束40的形狀,一截面係像素42的共軛45,及另一截面係入射光瞳44。像素42係由其非空表面及其敏感度圖來定義。
因此,一像素射束係可由單葉雙曲面50來表示,如圖5所顯示,由二元件支持:光瞳54,及像素42在相機的物件空間的共軛55。
單葉雙曲面係一規則表面,其可支持光線束的概念,並符合實體光束的”範圍(étendue)”概念。
單葉雙曲面對應到高斯射束的幾何。實際上,在光學中,高斯射束係單色電磁輻射束,其橫向磁場及電場振幅輪廓係由高斯函數提供;此亦隱含一高斯強度輪廓。由於此一光束係可聚焦成最集中點,因此,此基本橫向高斯模式描述大部分雷射的預期輸出。
以下方程式假設一射束在所有z值具有一圓形橫截面;此係可藉由注意到單一橫向尺寸(r)出現而看出。
雖然高斯函數的尾實際上不曾達到零,用於z>>z R ,此表示遠離腰部,射束”邊”係錐形。沿著錐的線(其r=w(z))與射束的中心軸(r=0)之間的角係稱為射束的散度。
射束遠離腰部的總角度展開則由Θ=2 θ提供。在本發明的一實施例中,一像素射束40、50係由四個獨立參數來定義:z p ,θ x ,θ y ,a,定義像素共軛45、55(在光瞳44、54前方)的位置及大小。
一坐標系(x,y,z)(其中定義像素射束40、50的參數)的原點O對應到圖4所顯示像素共軛的中心,a,b,c係分別同調於沿著Ox,Oy,Oz的半軸長度,其中a表示腰部沿著Ox的半徑,b表示腰部沿著Oy的半徑,及c定義像素射束的角孔徑。在本發明的一些實施例中,a及b具有恆等值,在此等情形中,腰部具有圓形形狀。
參數θ x ,θ y 定義一主射線方向,關連到光瞳44中心的入射,該等參數係取決於像素42在感測器43上的位置及取決於光學系統41的光學元件。較精確地,參數θ x ,θ y 表示剪切角,定義從光瞳44的中心往像素42的共軛45的方向。
參數z P 表示像素射束40、50的腰部55(或像素42的共軛45)沿著z軸的距離。
在一給定相機的校準階段期間,實現參數z P 、a及c的值的計算以用於該相機的各像素射束,此校準階段例如在於執行一程式,能將光線通過相機的光學系統的傳播模型化。此一程式例如係光學設計程式如Zemax©、ASAP©或Code V©。光學設計係用以設計及分析光學系統,光學設計程式將光線通過光學系統的傳播模型化;及能將光學元件如簡單透鏡、非球面透鏡、梯度指數透鏡、反射鏡及繞射光學元件等的作用模型化。
因此,一像素射束40、50係可由其主射線及參數z P 、a及c來定義。
然而,由於儲存射線所用傳統檔案格式在於儲存3D空間中的位置及方向,因此像素射束40、50的此一表示法佔據大量儲存空間。
為要提出用以儲存射線的檔案格式,其需要較少儲存空間,將四維光場輻射參數化的方法係可參考圖6A所繪示的立方體,可使
用立方體的所有六面將光場參數化。為將方向參數化,可加上平行於立方體表面的第二平面集,依此方式,可相對於六對平面,利用沿著軸方向的法線,將光場定義為:
圖6B描繪一光場射線通過用於參數化的二參考平面P1及P2,互相平行定位及分別位在已知深度z 1及z 2。光場射線在深度z 1與第一參考平面P 1在交點(x 1,y 1)相交,及在深度z 2與第二參考平面P 2在交點(x 2,y 2)相交,依此方式,可藉由四個坐標(x 1,y 1,x 2,y 2)以識別該光場射線,因此將光場參數化係可藉由用於參數化的一對參考平面P 1、P 2(在本文亦稱為參數化平面),各光場射線係表示為4D射線空間中的一點(x 1,y 1,x 2,x 2,) R 4。
例如,參考坐標系的原點係可位在坐標軸系的基礎向量所產生的平面P 1的中心。軸係垂直於所產生的平面P 1,及為求簡化,可將第二平面P 2沿著軸放置在離平面P 1的一距離z=△。為要將六個不同傳播方向列入考量,整個光場係可由六對此類平面為其特徵,一對平面(常稱為光板)係以沿著一傳播方向與光場相機的感測器或感測器陣列互動的光場為其特徵。
由於與參考平面配對(用以參數化光場)的系軸中的一者垂直,因此射線相交的分量中的一者總保持不變以用於各平面,因此,若有一光場射線與第一參考平面的相交,及該光場與第二參考平面的相交,則四個坐標有所不同,並可使用方程式A以計算一光場射線的四個參數。此四個參數係可用以建立光場的4D射線圖。
假設光場的參數化參考二參數化參考平面,可得到表示光場的資料如下。若設定一參考系統如圖7所繪示,則第一參數化平面P1係在z=z1垂直於z軸,及安排第二參數化平面P2在z=z2垂直於z軸,及一射線(其光場參數係L(x1;y1;x2;y2)將呈現在一位置z=z3(其中將一光場相機的光感測器陣列定位)。依據方程式(A):
具有
展開以上表式提供:
z 3=z 3 z 3=z 3
具有下標3的坐標相關一已知點(x 3,y 3,z 3),其中呈現光場。已知所有深度坐標z i,參數化平面係在傳播或呈現方向中,光場資料參數L係(x 1,y 1,x 2,y 2)。
此表明若將從二平面參數化光場中呈現影像,則只需要呈現超平面附近的射線,不需要追蹤該等射線。圖8A係根據本發明的一或多個實施例以流程圖描繪用以產生光場資料表示的方法的步驟,圖8B係根據本發明的一或多個實施例以方塊圖示意地描繪用以產生光場資料表示的系統的主要模組。
在該方法的初期步驟S801中,獲取參數(定義不同像素射束,相關相機的感測器的像素),係藉由校準相機,或藉由從一資料檔案中擷取此類參數,該資料檔案係儲存在一遠程伺服器中或儲存在本地儲存
單元(如相機的記憶體290或連接到該相機的快閃碟)上。
此類參數係不同像素射束的主射線的坐標,及參數z P 及a(定義光瞳前方的像素共軛的位置及大小,在相機校準期間得到以用於各像素射束)。一像素射束的主射線係通過像素中心及光瞳中心的一直線,支持該像素射束。在另一初期步驟S801中,藉由光場相機801以獲取原始光場資料,原始光場資料例如係依參考圖3所顯示微像形式。光場相機可係如圖1A或1B及2A及2B所顯示的光場相機裝置。
在步驟S802中,射線參數模組802處理所獲取的光場資料,用以提供相交資料(x 1 ,y 1 ,x 2 ,y 2 ),定義所獲取光場射線與分別在深度z 1、z 2的一對參數化參考平面P1、P2的相交,所獲取光場射線對應到像素射束40、50的主射線。
藉由相機的校準可判定以下參數:投影中心(x 3,y 3,z 3)、相機的光學軸的定向,及從相機的針孔到光感測器平面的距離f。光場相機參數係描繪在圖9中,光感測器平面係位在深度z P ,光感測器的像素輸出係轉換成光場射線的幾何表示法。包括有二參考平面P 1及P 2的光板係分別位在深度z 1及z 2,超出z 3,在相機的投影中心相對光感測器的另一側。藉由將三角形原理應用到光線,記錄從微透鏡陣列所投射光的像素坐標(x p ,y p ,z p )係可應用以下表式以映射到射線參數(即參考平面交點(x 1,y 1,x 2,y 2):
可將以上計算延伸到具有不同配對三元組(x p ,y p ,z p )(x 3,y 3,z 3)的多個相機。
在全光相機的情形中,使用具有孔徑的相機模型,並將光
場射線在相位空間中描述為具有一原點(x p ,y p ,z p )及一方向(x ’ 3,y ’ 3,1),其在深度z 3達到平面(x 3,y 3)的傳播係可描述為一矩陣變換。透鏡將作為一ABCD矩陣用以折射射線,及另一ABCD傳播矩陣會將射線帶到光板參考平面P 1及P 2上。
由此步驟,得到相交資料(x 1 ,y 1 ,x 2 ,y 2 ),利用幾何以定義光場射線與參考平面P1、P2的相交。
在步驟S803中,藉由射線圖產生器模組803,得到2D射線圖,以圖形表示相交資料(x 1 ,y 1 ,x 2 ,y 2 )。
圖10係2D射線圖,以圖形表示一相機利用一孔徑|A|<0.5在位置x 3=2及深度z 3=2所擷取光場射線的相交資料(x 1,x 2)。用以參數化的射線圖的資料線係藉由256格採樣,提供256×256像素組成的影像。
若將圖10繪示的射線圖解釋為一矩陣,則可看出其係稀疏填充,若射線係要個別地儲存在一檔案而非4D相位空間矩陣,則會要求各射線的儲存,至少2位元組(int16)用於各位置x i 或x 3加上3位元組用於顏色,即每射線7位元組用於一2D片光場,及每射線11位元組用於其全4D表示法。即便如此,射線會隨機地儲存在檔案中,該檔案可能不適用於需要操縱表示法的應用。本發明的發明人已判定如何只從射線圖矩陣中抽取代表性資料及如何將資料依結構方式儲存在檔案中。
由於2D片狀光場射線係沿著2D射線圖的資料線映射,因此儲存定義資料線的參數而非儲存其線值本身係較有效率,定義資料線的參數如斜率定義參數s及軸截距d係可與屬於該資料線的光場射線集一起儲存。
例如這可要求少到像2位元組用於斜率參數s,2位元組用於軸截距d,及每射線則只3位元組,此外,在檔案中可將射線沿著線定次序。為要設定線通過矩陣格,因此產生所謂的數位線,其估計具最小誤差的射線直線。
用以定位資料線及用以得到斜率參數s及截距參數d,在步驟S804,由線檢測模組804在步驟S803所產生的射線圖上執行一Radon變換。
在步驟S805中,依據得到的斜率參數s及截距參數d,數
位線產生模組805產生一代表數位線,在此步驟中,藉由將一分析線估計到其最近坐標格點以產生數位線,例如藉由應用Bresenham演算法。實際上,Bresenham演算法提供一方式以利用最小運算來提供一數位線,其他方法可應用快速離散Radon變換計算。Bresenham應用的一範例係改寫自以下參考資料:http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html。
數位格式係由坐標格的二點(0,d)及(N-1,s)來定義資料線,d係截距,對應到x1=0時x2的值,及s係斜率參數,對應到x1=N-1時x2的值。依據所產生的數位格式,每一個別線的斜率a係可表達為以下(及s)的函數:
其中:s {0,1,....N-1}及d {0,1,....N-1}
圖11描繪藉由Bresenham演算法的應用所產生的數位線範例。
圖12描繪一數位線群,具有相同斜率a(或s-d)但不同截距d,該資料線群係相接的。該數位線群在本文中稱為一直線束及對應到未理想地精確定位的相機所造成的一射束。各線將不同像素定址,換句話說,一像素只屬於相同斜率但不同截距的直線束中的單一線。軸截距d的上限及下限分別係提供為d max 及d min 。
藉由一採樣線配對(在2D中)參數化及屬於一相機的射線資料,屬於表示該資料所用相位空間中的一數位線族(射束),該射束的標頭可簡單地包含斜率a及軸截距的上限及下限所界定的射束厚度d max -d min 。該等射線值將沿著數位線(其標頭可係d及s)儲存為RGB色彩,不需儲存射線圖在採樣空間中的空單元格,可從參數d,s中及從沿著數位線的單元格位置中減去該等射線的坐標x1;x2。
將從光場或從相機的幾何學中估算的參數係斜率a、數位線截距的下限及上限(d min ,d max ),及數位線參數(d i ,s i )。已論及離散Radon變換作為工具用以測量射線圖中光場的支持位置。
圖13B顯示圖13A的資料線在數位線參數空間(d,s)中的離散Radon變換。圖13C係包括在圖13B的感興趣區域的縮放圖,藉由最大值參數的搜尋定出數位線射束的位置。在DRT(離散Radon變換)的幾何對稱中心與實際最大值位置之間由於影像內容而有一些偏移,以便稍後使用一演算法以精確定位對稱中心而非最大值,接著輕易找出射束變換的腰部(如圖13C所顯示)以提供值(d min ,d max )。點(d min =74,s=201)係依據圖12A的數位線的射束的下包絡,及點(d max =81,s=208)係該數位線射束的上包絡。
依據方程式B的二正交2D片狀空間的方程式係提供為:(z2-z3)(x1+y1)+(z3-z1)(x2+y2)=(z2-z1)(x3+y3) (C)
如上述,可在離散域評估m及、、、的值,用以局部化先前討論格式所定義的光場特徵,不需執行4D離散Radon變換。若得到二正交2D DRT,則可執行以下的測量:超平面的斜率m,及數位超平面(其中所有資料集中在4D射線圖中)的射束寬度。
得到一格式用於4D情形令人關注,其係類似於揭露用於2D情形者,為要如此,使Π(x1,x2)平面上發現的2D線與Π(y1,y2)平面上發現的線相關聯令人關注,即該等線係對應超平面與Π(x1,x2)及Π(y1,y2)的二正交片相交的結果,依據表式D及E,已知該等對應線具有相同斜率m。用於一相機在一特定深度,此係第一參數,其使Π(x1,x2)中的各線關
聯到Π(y1,y2)中的一線。若在相同深度有多個相機(即圖13A的情形),則在Π(x1,x2)中有三條線及在Π(y1,y2)中有三條線,具有相同估計斜率m。接著判定此二平面中的線之間在線偏移的對應關係,用以完成此步驟,利用該等線在表式D及E中的公式,尤其,表示
偏移係如下:
及
可解該方程集以用於k、x 3及y 3,請注意,(x 3,y 3,z 3)對應到相機的坐標,亦即三維像素,其中對應的光束係聚焦成半徑A的圓,已假設平面上定位在z 3的孔徑係圓形,以便2kA,及藉由解先前方程集:
可使用Bresenham數位線如先前般在Π(x1,x2)上掃描數位線;用於每一個別(x1,x2)值,儲存光場所擷取的對應(y1,y2)值。利用表式C以找出此類值,以下全係已知或從表式F及G中估計;x3;y3;z3;z1;z2。
在Π(x1,x2)中的各線上移動,用於各,得到(y1,y2)中的以下關係:
或
在表一描述一示範資料格式用於每一相機的一資料線束。
首先,提供4D空間的一般元資料:包括有4軸x1,x2,y1,y2的邊界及其對應採樣,亦提供相機(束)數,儲存以下參數用於各相機j:
孔徑大小:A j ,其對應到一像素射束的光瞳直徑,
相機的焦點:cam j ;focusPoint(焦點)=(u 3,u 3,w 3)
在(x1x,2)的最低d截距=d j
銳度=m j
在各相機上,用於各(x q 1;x q 2),相對於表式(K)使用Bresenham數位線開始在(y 1,y 2)上掃描,及儲存各光場射線的RGB值,尤其-A到+A,及根據表式(K)以計算對應d off 。
由於光場射線對應到像素射束的主射線,因此儲存一給定
像素射束的參數 zP ,a的值係靠對應光場射線的RGB值,如表一所顯示。由於此二參數係儲存為浮點數,因此使每一相機的一資料線束所用資料格式較大許多,實際上,在表一中,各射線佔用3位元組,及參數z P ,a各佔用4位元組,因此,參數z P ,a嚴重衝擊到整體檔案大小。
為要縮減儲存空間量,因此根據以下方法,例如由光場資料格式化模組250執行及描繪在圖15A及15B,將該二參數z P ,a進行編碼。
一浮點數係以有效數字(亦稱為尾數)及一標度(使用一指數)來表示,浮動項源自可在尾數中浮動的數基或逗號。
因此,為要縮減表一所描述用於每一相機的一資料線束的資料格式中所儲存浮點數的數量,提議將該數的增量依具有一開始值的參考以進行編碼,該數或正或負的變動例如係依512階來進行編碼,從-254到+255。在本發明的其他實施例中,該數的變動係可依256或128階來進行編碼,增量的值係根據一給定參數的值及變動來調整。
因此,在一步驟S150中,使用一開始浮點數作為參考,其例如係參數z P 的第一值用於相機的像素射束集合的第一像素射束。
在本發明的一實施例中,在一步驟S151期間,計算一第二浮點數(表示z P 參數的第二值用於像素射束集合中的另一像素射束)與參數z P 的第一值之間的差異。參數z P 的第二值及第一值係表示光場的一資料流中的接續浮點數,此差異係儲存在表一以取代參數z P 的第二值。由於定義像素射束的參數係依有序空間角的方式儲存,因此同一參數的二接續值確實變動量極小。
在一步驟S152期間,計算一第三浮點數(表示z P 參數的第三值用於像素射束集合中的另一像素射束)與參數z P 的第二值之間的差異。在本發明的一實施例中,參數z P 的第三值及第二值係表示光場的一資料流中的接續浮點數,即在資料流中同一參數的不同值係歸類在一起,例如RGB,RGB,...,z,z,...,a,a,...。在本發明的此實施例中,使用稱為"deflate壓縮標準"的方法較容易使資料緊密,該等方法的一範例係由https://en.wikipedia.org/wiki/DEFLATE提供。此差異係儲存在表一以取代參數z P 的第三值。
執行該等步驟S151、S152以用於參數z P 的值(表示相機的像素射束的集合),執行相同步驟以用於參數a的值。
為要使資料流同步及確保表示一像素射束的不同參數的編碼值係可信賴的,在一步驟S153中,將z P 參數的第四值儲存為一浮點數,不儲存為參數z P 的二接續值之間的差異。例如每100浮點數即執行步驟S153。
在本發明的另一實施例中,在一步驟S250中,使用一開始浮點數作為參考,其例如係參數z P 的第一值用於相機的像素射束集合的第一像素射束。
在一步驟S251中,計算一第二浮點數(表示z P 參數的第二值用於像素射束集合中的另一像素射束)與參數z P 的第一值之間的差異。在本發明的一實施例中,參數z P 的第二值及第一值係表示光場的一資料流中的接續浮點數,意即在資料流中同一參數的不同值係歸類在一起,例如RGB,RGB,...,z,z,...,a,a,...。在本發明的此實施例中,使用稱為"deflate壓縮標準"的方法較容易使資料緊密,該等方法中的一範例係由https://en.wikipedia.org/wiki/DEFLATE提供。此差異係儲存在表一以取代參數z P 的第二值。
在一步驟S252期間,計算一第三浮點數(表示z P 參數的第三值用於像素射束集合中的另一像素射束)與參數z P 的第一值之間的差異。此差異係儲存在表一中以取代參數z P 的第三值。
執行該等步驟S251、S252以用於參數z P 的值(表示相機的像素射束的集合),因此,用於參數z P 的各值,利用參數z P 的第一值(其係參考值)以計算差異並將差異儲存在表一。執行相同步驟以用於參數a的值。
為要使資料流同步及確保表示一像素射束的不同參數的編碼值係可信賴的,在一步驟S253中,將z P 參數的第四值儲存為一浮點數,不儲存為參數z P 的二接續值之間的差異,及視為計算差異的新參考,該等差異將儲存在表一以取代參數z P 的對應值。例如每100浮點數即執行步驟S253。
此方法依賴二連續浮點數只具有小變動的斷定;Ft+1=Ft+
ε,此小差異ε係依8位元來進行編碼。在本發明的其他實施例中,該差異係可依4、12或16位元來進行編碼,此能使裝置及網路頻寬上使用的記憶體最佳化。
在解碼步驟中使用所儲存元資料以執行相同計算,尤其,使用方程式(G)以找出k,因此格式仍保持緊密,不需儲存四索引(用於系統中各射線)及二浮點數(用於定義像素射束的參數)。請注意以上超平面的採樣係4D射線空間的採樣,因此不漏掉單個x1;y1;x2;y2位置。此只係4D射線空間系統掃描的一範例,依極緊密形式以儲存所有資料,當然可應用其他方法。參數形式因其允許一交錯空間探索,因此似乎將適用於探索超平面。
在多個相機在資料上工作的情形,其包含數個超平面束(由於多個相機而在Radon變換中導致數個最大值),可使用較複雜的演算法。作為一前處理步驟,找出參數(m,k)用於Π(x1,x2)的Radon變換中的所有峰值,並放入一集合中。完成相同步驟用於(y 1,y 2)中的峰值,並將參數放入另一集合中。茲在貪婪演算法的各迭代中,在(x1,x2)的2D Radon變換中找出最大峰值強度,及藉由匹配先前找出的參數(m,k)以找出(y 1,y 2)中的對應峰值。在儲存前段提及的資料後,將此等峰值從Radon變換中清除,及開始下一迭代,直到光場中無留下任何有意義事物。
雖然以上已參考特定實施例以說明本發明,但本發明係不限於該等特定實施例,包括在本發明範圍內的修改對熟諳此藝者將顯而易見。
參考以上繪示的實施例,熟諳此藝者將輕易看出許多進一步的修改及變化,該等實施例係只藉由範例方式提供,並不希望用以限制本發明的範圍,其係單由後附申請專利範圍來判定,尤其,只要適當,依據不同實施例的不同特徵係可互換。
d‧‧‧截距參數
s‧‧‧斜率參數
Claims (15)
- 一種電腦實施方法,用以產生一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔用體積之資料表示,及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示,該組光線所佔該體積係稱為一像素射束,該方法包括有:- 獲取一光線集合,該集合之各光線係代表一像素射束,及至少一第一參數定義像素之共軛;- 得到相交資料,相交資料定義像素射束之射線表示與複數個給定參考平面之相交,該等參考平面係互相平行及對應至物件空間中之不同深度;- 得到射線圖參數,該等參數定義相交資料在2D射線圖之圖形表示法;及- 使該等射線圖參數與定義像素共軛之至少第一參數關聯,用以提供該像素射束之資料表示。
- 如申請專利範圍第1項之方法,尚包括有:- 將定義像素共軛之第一參數之第一值與第二值間之差異編碼,該差異係與該等射線圖參數關聯,用以提供該像素射束之資料表示。
- 如申請專利範圍第2項之方法,其中對應至像素射束之射線表示之截距資料係在射線圖以圖形描繪為資料線,及射線圖參數包括以下至少一者之資料表示:- 一資料線之斜率;及- 射線圖中一資料線與一軸之截距。
- 如申請專利範圍第3項之方法,其中在2D射線圖中藉由應用一Radon變換以檢測資料線。
- 如申請專利範圍第3或4項之方法,其中圖形表示法係提供為一單元格矩陣,用以提供一數位資料線,各數位資料線格式係由複數個單元格定義,至少一第一單元格表示該線與一軸之截距,及至少一第二單元格,可從其判定該線之斜率。
- 如申請專利範圍第5項之方法,其中藉由Bresenham演算法之應 用以產生各數位資料線。
- 如先前申請專利範圍中任一項之方法,其中像素射束之資料表示尚包括顏色資料,表示像素射束之對應射線表示之顏色。
- 如申請專利範圍第7項之方法,其中像素射束之資料表示係提供為元資料,元資料之標頭包括有射線圖參數,定義2D射線圖中相交資料之圖形表示法,及元資料之本體包括有射線顏色之資料表示,及定義物件空間中像素共軛位置及大小之參數。
- 一種資料產生裝置,用以產生一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔用體積之資料表示,及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示,該組光線所佔該體積係稱為一像素射束,該裝置包括有一處理器,配置用以:- 獲取一光線集合,該集合之各光線係代表一像素射束,及至少一第一參數定義像素之共軛;- 得到相交資料,相交資料定義像素射束之射線表示與複數個給定參考平面之相交,該等參考平面係互相平行及對應至物件空間中之不同深度;- 得到射線圖參數,該等參數定義相交資料在2D射線圖之圖形表示法;及- 使該等射線圖參數與定義像素共軛之至少第一參數關聯,用以提供該像素射束之資料表示。
- 如申請專利範圍第9項之裝置,其中該處理器尚配置用以:- 將定義像素共軛之第一參數之第一值與第二值間之差異編碼,該差異係與該等射線圖參數關聯,用以提供該像素射束之資料表示。
- 一種光場成像裝置,包括有:- 一微透鏡陣列,排列在一規則晶格結構中;- 一光感測器,配置用以擷取從微透鏡陣列投射在光感測器之光,光感測器包括有像素集,各像素集係在光學上與微透鏡陣列之一個別微透鏡關聯;及- 如申請專利範圍第9項用以提供元資料之裝置。
- 一種影像呈現裝置,用以從使用如申請專利範圍第1至8項中任 一項方法所得到之光場資料中呈現影像。
- 一種數位檔案,包括有一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔用體積之資料表示,及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示,該組光線所佔該體積係稱為一像素射束,該資料包括有:- 射線圖參數,定義像素射束之射線表示之相交資料在2D射線圖之圖形表示法,相交資料定義像素射束之光場射線表示與複數個給定參考平面之相交,該等參考平面係互相平行及對應至物件空間中之不同深度;- 顏色資料,定義像素射束之光場射線表示之顏色;及- 定義光學獲取系統之物件空間中像素共軛位置及大小之參數。
- 如申請專利範圍第13項之數位檔案,係藉由如申請專利範圍第1至8項中任一項之方法所得到。
- 一種用於可程式裝置之電腦程式產品,該電腦程式產品包括有一指令序列,當載入可程式裝置及由該裝置執行時用以實施如申請專利範圍第1至8項中任一項之方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15306449.8 | 2015-09-17 | ||
EP15306449.8A EP3144888A1 (en) | 2015-09-17 | 2015-09-17 | An apparatus and a method for generating data representing a pixel beam |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201727578A TW201727578A (zh) | 2017-08-01 |
TWI709108B true TWI709108B (zh) | 2020-11-01 |
Family
ID=54293195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105130178A TWI709108B (zh) | 2015-09-17 | 2016-09-19 | 產生像素射束表示資料之裝置及方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10909704B2 (zh) |
EP (2) | EP3144888A1 (zh) |
JP (1) | JP6832919B2 (zh) |
KR (1) | KR102585129B1 (zh) |
CN (1) | CN108352061B (zh) |
TW (1) | TWI709108B (zh) |
WO (1) | WO2017046396A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3145168A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
MX2018003263A (es) * | 2015-09-17 | 2018-05-16 | Thomson Licensing | Metodo para codificar un contenido de campo luminoso. |
EP3270589A1 (en) * | 2016-07-11 | 2018-01-17 | Thomson Licensing | An apparatus and a method for generating data representative of a pixel beam |
US20230010620A1 (en) * | 2021-07-06 | 2023-01-12 | 3D Patents, Llc | Bowtie processing for radiance image rendering |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090140131A1 (en) * | 2005-06-23 | 2009-06-04 | Nikon Corporation | Image input apparatus, photodetection apparatus, and image synthesis method |
US20090316014A1 (en) * | 2008-06-18 | 2009-12-24 | Samsung Electronics Co., Ltd. | Apparatus and method for capturing digital images |
US20110194789A1 (en) * | 2010-02-05 | 2011-08-11 | Canon Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, and method of controlling the same |
TW201317621A (zh) * | 2011-10-19 | 2013-05-01 | Nat Synchrotron Radiation Res Ct | 使用結構光照明的光學取影系統 |
US20140226038A1 (en) * | 2013-02-12 | 2014-08-14 | Canon Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, control method, and recording medium |
US20140328535A1 (en) * | 2013-05-06 | 2014-11-06 | Disney Enterprises, Inc. | Sparse light field representation |
US20150177062A1 (en) * | 2013-12-19 | 2015-06-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020014533A1 (en) * | 1995-12-18 | 2002-02-07 | Xiaxun Zhu | Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps |
US6097394A (en) | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
US7128266B2 (en) * | 2003-11-13 | 2006-10-31 | Metrologic Instruments. Inc. | Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture |
AU2003263108A1 (en) * | 2002-09-30 | 2004-04-23 | Applied Materials Israel, Ltd. | Inspection system with oblique viewing angle |
US7841533B2 (en) * | 2003-11-13 | 2010-11-30 | Metrologic Instruments, Inc. | Method of capturing and processing digital images of an object within the field of view (FOV) of a hand-supportable digitial image capture and processing system |
US7407105B2 (en) * | 2004-08-30 | 2008-08-05 | Intermec Ip Corp. | Apparatus for diagonal progressive scanning video and method of improving aiming visibility, reducing tilt dependence and improving read range |
JP2006113371A (ja) * | 2004-10-15 | 2006-04-27 | Seiko Epson Corp | 画像表示装置 |
WO2007081628A2 (en) * | 2005-12-08 | 2007-07-19 | Advanced Scientific Concepts Inc. | Laser ranging, tracking and designation using 3-d focal planes |
US7768652B2 (en) * | 2006-03-16 | 2010-08-03 | Carl Zeiss Meditec, Inc. | Methods for mapping tissue with optical coherence tomography data |
US7609906B2 (en) * | 2006-04-04 | 2009-10-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring and displaying 3D light fields |
CN100549871C (zh) * | 2007-07-31 | 2009-10-14 | 哈尔滨师范大学 | 将三维数字信息记录在全息底片上的记录方法 |
US20110031418A1 (en) * | 2007-10-31 | 2011-02-10 | Ben Gurion Univesity of the Negev Research and Development Authority | Optical sensor measurement and crosstalk evaluation |
CN100501773C (zh) * | 2007-11-20 | 2009-06-17 | 中交第二公路勘察设计研究院有限公司 | 基于三维机载lidar的公路测设方法 |
JP5552214B2 (ja) * | 2008-03-11 | 2014-07-16 | キヤノン株式会社 | 焦点検出装置 |
JP2010165423A (ja) * | 2009-01-16 | 2010-07-29 | Sony Corp | 記録再生方法、ホログラム記録媒体 |
JP5499778B2 (ja) * | 2010-03-03 | 2014-05-21 | 株式会社ニコン | 撮像装置 |
CN101968625B (zh) * | 2010-04-20 | 2013-01-16 | 中山大学 | 一种基于非共轴多透镜光路的三维图像显示方法及*** |
HU1000640D0 (en) | 2010-11-29 | 2011-02-28 | Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft | Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content |
JP5623356B2 (ja) * | 2011-08-29 | 2014-11-12 | キヤノン株式会社 | 撮像装置 |
CN104303493A (zh) * | 2012-05-09 | 2015-01-21 | 莱特洛公司 | 用于改进的光场捕获和操作的光学***的优化 |
CN104349096B (zh) * | 2013-08-09 | 2017-12-29 | 联想(北京)有限公司 | 一种图像标定方法、装置及电子设备 |
KR101670808B1 (ko) * | 2013-09-03 | 2016-10-31 | 삼성전자주식회사 | 알림을 제공하는 방법 및 그 전자 장치 |
CN103472457B (zh) * | 2013-09-13 | 2015-06-10 | 中国科学院空间科学与应用研究中心 | 稀疏孔径压缩计算关联飞行时间的三维成像***及方法 |
CN106165387A (zh) * | 2013-11-22 | 2016-11-23 | 维迪诺蒂有限公司 | 光场处理方法 |
CN104159094B (zh) * | 2014-07-09 | 2016-04-06 | 四川大学 | 一种改善光学扫描全息层析成像效果的方法 |
EP3144879A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | A method and an apparatus for generating data representative of a light field |
-
2015
- 2015-09-17 EP EP15306449.8A patent/EP3144888A1/en not_active Withdrawn
-
2016
- 2016-09-16 JP JP2018514443A patent/JP6832919B2/ja active Active
- 2016-09-16 KR KR1020187010679A patent/KR102585129B1/ko active IP Right Grant
- 2016-09-16 WO PCT/EP2016/072071 patent/WO2017046396A1/en active Application Filing
- 2016-09-16 CN CN201680067343.7A patent/CN108352061B/zh active Active
- 2016-09-16 EP EP16769967.7A patent/EP3350770B1/en active Active
- 2016-09-16 US US15/760,397 patent/US10909704B2/en active Active
- 2016-09-19 TW TW105130178A patent/TWI709108B/zh active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090140131A1 (en) * | 2005-06-23 | 2009-06-04 | Nikon Corporation | Image input apparatus, photodetection apparatus, and image synthesis method |
US20090316014A1 (en) * | 2008-06-18 | 2009-12-24 | Samsung Electronics Co., Ltd. | Apparatus and method for capturing digital images |
US20110194789A1 (en) * | 2010-02-05 | 2011-08-11 | Canon Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, and method of controlling the same |
TW201317621A (zh) * | 2011-10-19 | 2013-05-01 | Nat Synchrotron Radiation Res Ct | 使用結構光照明的光學取影系統 |
US20140226038A1 (en) * | 2013-02-12 | 2014-08-14 | Canon Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, control method, and recording medium |
US20140328535A1 (en) * | 2013-05-06 | 2014-11-06 | Disney Enterprises, Inc. | Sparse light field representation |
US20150177062A1 (en) * | 2013-12-19 | 2015-06-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2019502277A (ja) | 2019-01-24 |
EP3350770A1 (en) | 2018-07-25 |
EP3350770B1 (en) | 2022-01-05 |
JP6832919B2 (ja) | 2021-02-24 |
KR102585129B1 (ko) | 2023-10-06 |
US10909704B2 (en) | 2021-02-02 |
KR20180054737A (ko) | 2018-05-24 |
CN108352061B (zh) | 2022-11-25 |
WO2017046396A1 (en) | 2017-03-23 |
CN108352061A (zh) | 2018-07-31 |
US20180260968A1 (en) | 2018-09-13 |
EP3144888A1 (en) | 2017-03-22 |
TW201727578A (zh) | 2017-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022141637A (ja) | ライト・フィールドを表すデータを生成する方法および装置 | |
TWI713582B (zh) | 產生像素射束表示資料之方法及裝置 | |
TWI709108B (zh) | 產生像素射束表示資料之裝置及方法 | |
EP3398161B1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
KR20180098565A (ko) | 픽셀 빔을 표현하는 데이터를 생성하는 방법 및 장치 | |
TWI717387B (zh) | 一種用電腦實施之資料產生方法及裝置,一種光場成像裝置,一種影像呈現裝置及一種用於可程式裝置之非暫時性電腦程式產品 | |
KR102402432B1 (ko) | 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법 |