TW201709718A - 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品 - Google Patents

在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品 Download PDF

Info

Publication number
TW201709718A
TW201709718A TW105115641A TW105115641A TW201709718A TW 201709718 A TW201709718 A TW 201709718A TW 105115641 A TW105115641 A TW 105115641A TW 105115641 A TW105115641 A TW 105115641A TW 201709718 A TW201709718 A TW 201709718A
Authority
TW
Taiwan
Prior art keywords
image
focus
light field
user
scene
Prior art date
Application number
TW105115641A
Other languages
English (en)
Inventor
羅倫 布朗迪
班諾特 汎達美
保羅 柯比里奧
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201709718A publication Critical patent/TW201709718A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00458—Sequential viewing of a plurality of images, e.g. browsing or scrolling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明係為一種在使用者裝置(52)上顯示至少一光場為基影像(51)之方法，此一方法包括顯示根據至少一聚焦參數所聚焦之影像，聚焦參數係判定為使用者裝置(52)之姿勢之函數。一嵌入使用者裝置(其可係一手持式裝置)之感測器可估計姿勢。

Description

在使用者裝置上顯示光場為基影像之方法及裝置，及對應 之電腦程式產品
本發明相關光場成像，及相關獲取及處理光場資料的技術，較明確地，本發明通常相關在使用者裝置上顯示光場為基影像的方法及裝置，及尋找在影像或視訊顯像領域的應用。
本段落希望介紹讀者有關目前技術的各種方面，其係可相關本發明在以下所揭示及/或主張的各種方面，咸信本討論有助於提供讀者背景資訊，能以較佳瞭解本發明的各種方面。因此，應瞭解此等陳述應依此觀點閱讀，並非作為先前技術的認可。
傳統影像擷取裝置將三維場景投影在二維感測器上，在操作期間，傳統擷取裝置擷取場景的二維(2-D)影像，表現抵達裝置內光感測器(或光檢測器)的光量。然而，此2-D影像未包含有關抵達光感測器的光線方向分布(其可稱為光場)的資訊，例如在此類2D獲取期間遺漏入射光的方向，及無法恢復資訊像深度用於單一系統。因此，傳統擷取裝置未儲存有關場景來的光分布的大部分資訊。
光場擷取裝置(亦稱為”光場資料獲取裝置”)係已設計藉由擷取場景的不同視點來的光，用以測量該場景的四維(4D)光場，因此，藉由測量沿著與光感測器交叉的各光束行進的光量，此等裝置可擷取額外光學資訊(該束光線的方向分布有關的資訊)，藉由後處理用以提供新成像應用。光場擷取裝置所獲取/得到的資訊係稱為光場資料，光場擷取裝置在本文係定義為能擷取光場資料的任何裝置，有數個類型的光場擷取裝置，當中有：-全光裝置，其使用一微透鏡陣列，放置在影像感測器與主透鏡之間，如在專利文件US 2013/02223633所揭露； -相機陣列。
亦可由場景的一系列2-D影像(各藉由使用傳統手持式相機從不同視點取得)，利用電腦生成影像(CGI)模擬光場資料。
光場資料處理明顯地包括(但不限於)產生場景的重聚焦影像，產生場景的透視圖，產生場景的深度圖，產生延伸場深(EDOF)影像，產生立體影像，及/或此等項的任何組合。
因此，在其他者之中，4D光場(4DLF)允許利用可調整場深、聚焦距離及觀看位置以計算各種重聚焦影像，然而使用者經驗常侷限於電視或監視器、2D電腦及行動顯示器上的簡單顯像。
允許使用者將多個方向來的個人化視野(根據一給定視點、使用者依存深度模糊...)視覺化，將藉由一光場為基獲取系統可計算出的場深影像視覺化，會是有趣的。
為此目的，一些校園學術工作已著重在重聚焦，或著重在變更光場影像來的視點方向，如Marc Levoy在”光場及運算成像(Light fields and computational imaging)”一文所發表(IEEE電腦39，編號8(2006年)：46至55頁)，及Ng Ren等人在”利用手持式全光相機之光場照相術(Light field photography with a hand-held plenoptic camera)”一文所發表(電腦科學技術報告(CSTR)2，編號11(2005年))。
一些相機製造商如Lytro®或Raytrix®亦提供解決方案，使顯示給使用者的影像個人化。
根據此等技術，藉由滑鼠指向或藉由觸摸觸控螢幕以提供使用者與顯示器之間的互動，例如，使用者可指向場景中的一物件，及顯示給使用者的影像依次將清晰地顯示所選擇物件。
期望提供顯示光場影像的技術，其超越先前技術，將增進使用者與光場內容之間的互動，明顯地，將期望提供此一技術，其藉由最佳化視點的產生及使用及/或光場影像或視訊內容中使用者導航的重聚焦參數表示，將增強與光場內容的互動。
在一實施例中，揭示一種在使用者裝置上顯示至少一光場為基影像的方法，此一方法包括顯示根據至少一聚焦參數所聚焦的影像， 聚焦參數係判定為使用者裝置的姿勢的函數。
關於姿勢，在此及此文件從始至終皆表示關連到一參考系統的位置及定向組合。
因此本發明依賴在光場為基內容如光場為基視訊中的一新穎且創新的使用者導航措施，實際上，該措施允許一光場影像或視訊資料集依使用者裝置的姿勢，變換到每使用者的一視點/重聚焦。藉由移動使用者裝置，使用者係依主動方式以驅動視點/重聚焦的參數(例如在空間的主射線方向、焦點及深度模糊距離)。使用者與使用者裝置的互動係變換成(或轉化成)視點及/或重聚焦參數。
由於使用者與使用者裝置的自然動作在使用者裝置上產生影像的4D到2D重投影或重聚焦的視覺變更，因此本發明的技術在視覺化視訊光場資料集允許較佳使用者經驗。
此一技術可延伸到數個使用者，各使用者在一給定視訊資料集中驅動不同視點/重聚焦。亦可延伸到每個使用者的數個視點，例如用以解決立體顯示或多視域顯示。實際上，由認識多視域顯示幾何的光場可抽出數個視點/重聚焦，例如，用於立體顯像，從裝置來的姿勢/定向資訊可定義一中央視野，並非生成的，反而由立體顯示所需的二視野取代，使用幾何變換以定義以中央視野為基礎的二立體視野。
必須注意到擷取光場資料集係可藉由複數個影像擷取裝置(如相機陣列)或藉由一全光影像擷取裝置，亦可利用電腦生成影像(CGI)加以模擬。
根據本發明的一實施例，藉由使用使用者裝置中嵌入的至少一感測元件以估計姿勢，因此從感測器所擷取資訊可輕易導出使用者與使用者裝置的一或數個感測器擷取互動，及使用者裝置的位置及定向。
根據本發明的一實施例，此一感測元件屬於包括有以下各項的群組：-一內部動作擷取系統；-一慣性測量單元(IMU)；-一相機指向至少一參考元件。
慣性測量單元係由加速儀及迴轉儀組合所組成的元件，亦 可包括磁力儀，此等元件提供加速、定向，及重力量測，其允許計算裝置的定向(旋轉)及相對或絕對位置(平移)。
相機可係使用者裝置上的前面相機，其係拍攝使用者的相機，或一背面相機，其係拍攝使用者前方的場景。利用前面相機(夠近地拍攝使用者的臉部)，可能做到依照使用者臉部幾何作出一些假設以計算相機姿勢對坐標系(依附於臉部)。利用前面相機，感測器亦可在於一眼睛追蹤系統。一背面相機可指向場景中的一參考圖型，如AR(強化實境)標籤。
此一感測元件亦可係外部動作擷取系統，如：-一室內相機，從一AR(強化實境)標籤估計出姿勢及定向；-數個室內相機，如從立體觀察或多視域估計出姿勢及定向；-光源及相機，藉由逆向反射(retroreflecting)元件(亦稱為被動標記)以估計姿勢及定向；-及較通常係任何一種動作擷取(mocap)技術。
根據本發明的一實施例，使用者裝置係手持式裝置，如數位板或智慧型手機。
使用者(正在數位板或手機螢幕上觀看光場視訊)可輕易移動數位板螢幕(或手機螢幕)以驅動一影像的視點或聚焦參數。
根據本發明的另一實施例，所顯示影像係一截割影像，係依該裝置的至少一姿勢參數判定為一焦點堆疊與一相交平面的交集。
實際上，一光場影像(或視訊)的資料集係可重組，在一前面透鏡的焦點平面附近形成一光資料卷，類似於一透鏡在其焦點平面附近所生成的光場，在圖1示意地描繪此一焦點堆疊。藉由在焦點堆疊100之內選擇影像101、102、103中的一者以模擬傳統的相機聚焦，其對應到垂直於相機的主光軸來移動聚焦平面。對照下，光場相機提供從不同透視及不同焦點探索圖像的能力，因此，光場相機的使用者能以非尋常方式控制焦點，例如可定義一橫跨焦點堆疊的相交平面以抽出焦點堆疊100內的一截割影像110，如圖1所顯示。本發明的實施例將此原理延伸到使用者在他/她的裝置螢幕上視覺化一光場影像或視訊，及允許藉由所追蹤的使用者裝置姿勢參數以驅動在焦點堆疊影像資料卷中的一相交平面。使用者裝 置在空間的位置控制使用者裝置螢幕上所顯示作為結果影像的焦點距離。
根據本發明的又一實施例，焦點堆疊包括一場景的聚焦影像集，其中二連續聚焦影像係在焦點堆疊中以一抽樣間隔互相隔開。該方法亦包括：-調整該抽樣間隔作為該場景的布局的函數；-判定焦點堆疊作為以一調整過抽樣間隔互相隔開的連續聚焦影像的集合。
因此，場景的不同聚焦影像在焦點堆疊中並非規律地間隔，如先前技術的情形。取代此一規律間隔，反而藉由場景的布局來調變影像樣本在焦點堆疊中的焦點，換句話說，使焦點堆疊的影像聚焦的平面並非均勻地間隔，例如，當一感興趣物件出現在場景時，此等平面係較靠近，此方法允許在焦點堆疊中以相同截割數較佳地覆蓋場景，意即不需任何額外儲存。
本發明的實施例亦涉及一種用以顯示至少一光場為基影像的裝置，其包括：-一判定模組，用以判定至少一聚焦參數用於該影像以作為該裝置的姿勢的函數；-一顯示單元，用以顯示該影像，係聚焦作為該至少一聚焦參數的函數。
根據本發明的一實施例，此一裝置嵌入至少一感測元件，允許用以估計該姿勢，此一感測元件可包括數個感測器。
根據本發明的一實施例，該感測元件屬於包括有以下各項的群組：-一慣性測量單元(IMU)；-一相機指向至少一參考元件；-一內部動作擷取系統。
根據本發明的另一實施例，該裝置係一手持式裝置。
根據本發明的另一實施例，該裝置包括一判定單元，用以判定該顯示影像作為一截割影像，係依該裝置的至少一姿勢參數定義為一焦點堆疊與一相交平面的交集。
根據本發明進一步實施例，焦點堆疊包括一場景的聚焦影 像集，其中二連續聚焦影像係在焦點堆疊中以一抽樣間隔互相隔開，及該裝置亦包括：-一調整模組，用以調整該抽樣間隔作為該場景的布局的函數；-一判定模組，用以判定焦點堆疊作為以一調整過抽樣間隔互相隔開的連續聚焦影像的集合。
以上相關在使用者裝置上顯示光場為基影像的方法實施例，所描述使用者裝置的所有特徵亦應用到此一使用者裝置或此一裝置。
本發明亦涉及一種電腦程式產品，可從一通訊網路下載，及/或記錄在可由電腦讀取及/或可由處理器執行的媒體上，該電腦程式產品包括有程式碼指令，用以實施如上述在使用者裝置上顯示光場為基影像的方法。
本發明亦涉及一種非暫態電腦可讀取媒體，包括有一電腦程式產品記錄其上及能由一處理器執行，該電腦程式產品包括有程式碼指令，用以實施如上述在使用者裝置上顯示光場為基影像的方法。
此一電腦程式可儲存在一電腦可讀取儲存媒體上，如在本文所使用的電腦可讀取儲存媒體係考慮非暫態儲存媒體，提供固有能力用以儲存資訊在其中，以及固有能力用以從其提供資訊檢索。電腦可讀取儲存媒體例如可係(但不限於)電子、磁性、光學、電磁、紅外線，或半導體系統、裝置，或元件，或以上各項的任何合適組合。應了解，雖然提供可應用本發明的電腦可讀取儲存媒體的較特定範例，但如本領域的普通技術人員所容易理解，以下僅是舉例而非徹查的列表：可攜式電腦磁碟；硬碟；唯讀記憶體(ROM)；可拭除可程式化唯讀記憶體(EPROM或快閃記憶體)；可攜式光碟唯讀記憶體(CD-ROM)；光學儲存裝置；磁性儲存裝置；或以上各項的任何合適組合。
應瞭解，以上一般說明及以下詳細說明兩者皆係本發明(如後附申請專利範圍所主張)的示範及舉例說明，並非用以限制本發明。
亦必須瞭解，在說明書中參考到”一實施例”或”一個實施例”，指明所述實施例可包括一特定特徵、結構或特性，但每一實施例可未必包括該特定特徵、結構或特性。此外，此類用語不一定係參考相同實施例，另外，當配合一實施例以描述一特定特徵、結構或特性時，認為熟 諳此藝者當然熟知配合其他實施例(不管是否明確描述)以影響此類特徵、結構或特性。
50,200‧‧‧全光相機
51‧‧‧全光擷取
52‧‧‧數位板
60‧‧‧標記
80‧‧‧裝置
81‧‧‧處理器
82‧‧‧儲存單元
83‧‧‧輸入元件
84‧‧‧輸出元件
85‧‧‧介面單元
86‧‧‧匯流排
100,500‧‧‧焦點堆疊
101,102,103‧‧‧影像
110‧‧‧截割
205‧‧‧主透鏡
210‧‧‧微透鏡陣列
215,260,300‧‧‧影像感測器
250‧‧‧多陣列相機
255,310‧‧‧透鏡陣列
305‧‧‧像素
311‧‧‧微透鏡
315‧‧‧(在感測器的)圓形區
400‧‧‧相機
401,402‧‧‧感興趣物件
501,502‧‧‧聚焦影像群
705‧‧‧感測器
706‧‧‧箭頭
D,d,d1,d2,z,z’‧‧‧距離
F,f‧‧‧焦距
Φ‧‧‧孔徑
‧‧‧微透鏡陣列的間距
S701‧‧‧數位板初始位置定義步驟
S702‧‧‧數位板姿勢估計步驟
S703‧‧‧影像計算步驟
S704‧‧‧影像顯示步驟
參考以下說明及附圖，係藉由範例方式提供且非限制專利保護範圍，可較佳瞭解本發明的實施例，圖中：圖1係以圖描繪一影像焦點堆疊內的一截割影像範例；圖2係以圖描繪全光相機及多陣列相機的範例；圖3係以平面圖示意地描繪在影像感測器的感測表面所排列的一感測器區域範例；圖4描繪一示意光場相機，包括有一理想且完美的薄透鏡模型；圖5係根據本發明的一實施例示意地描繪在一手持式裝置上的光場顯像；圖6描繪變換矩陣，允許在一圖型坐標系中判定圖5手持式裝置的姿勢；圖7係根據本發明的一實施例以流程圖解釋在使用者裝置上顯示光場為基影像的過程；圖8係根據本發明的一實施例以示意方塊圖描繪一種根據使用者個人化視點以顯示光場為基影像的裝置範例；圖9係根據本發明的一實施例示意地描繪一場景具有感興趣物件，及可使影像焦點堆疊適應到此一場景的方式；圖10係以圖描繪一影像焦點堆疊範例，其係已適應到圖9的場景。
附圖中的組件不一定係按比例繪製，反而強調在描繪本發明的原理。
本發明的一般原理依賴光場為基影像在使用者裝置上依該裝置的位置及定向的個人化顯像。
茲將在本發明的實施例中說明在使用者裝置上顯示光場為基影像的方法、裝置及電腦可讀取儲存媒體。
首先回憶一些應用到光場相機及影像的通用原理。
5.1光場相機
圖2係以圖描繪全光相機及多陣列相機的範例，光場相機能記錄4D光場資料，例如，4D光場相機可係：全光相機200，包括有一主透鏡205、 一微透鏡陣列210及一影像感測器215(圖2A)；或多陣列相機250，包括有一透鏡陣列255及單個影像感測器260(圖2B)。例如，多相機陣列可係Pelican陣列相機，如專利文件WO 2014149403 A1中繪示的一者。
在圖2A所示全光相機200的範例中，主透鏡205接收主透鏡205的物件場中的一物件(未顯示)來的光，並使光通過主透鏡205的像場，微透鏡陣列210包括複數個微透鏡215排列在二維陣列中。明顯地，主透鏡205及微透鏡215可係較複雜光學系統，例如在專利文件GB2488905或專利文件EP2244484(A1)的圖12及13所繪示者。
圖3係以平面圖示意地描繪排列在影像感測器的感測表面上的一感測器區域範例，如圖3所繪示，影像感測器300包括複數個像素305排列在二維陣列中，及接收從物件來並通過微透鏡陣列310的光。微透鏡陣列310的每一個微透鏡311具有透鏡特性用以導引光到影像感測器300上的一圓形區315，圓形區315的外輪廓可代表影像感測器300上的一微透鏡所形成及擷取的一微像形狀，該形狀取決於微透鏡311的形狀。在影像感測器300上的所有像素305之中，只有大體上位在圓形區315之內的像素305才對成像有貢獻，換句話說，像素305中對成像有貢獻的一像素區(或感測區)係大體上位在圓形區315之內。
光場相機的影像感測器300記錄一影像，包括有一2D微像收集排列在一2D影像內，微透鏡陣列310的各微透鏡311形成一圓形區315所代表的一微像。在感測器300上的像素305的坐標係藉由x-y坐標系中的(x,y)表示在影像感測器300的表面上，如圖3所繪示。在圖3所示距離p係二連續微像之間的距離，選擇微透鏡311以使距離p係大於像素305的大小。在圖3所示距離w係二連續微像之間的像差距離，微像係藉由其在i-j坐標系中的個別坐標(i,j)參照到影像感測器300的表面上，如圖3所示。
如上述，只有大體上位在圓形區315之內的像素305接收通過微透鏡311的光，可將微透鏡間的空間以遮罩除去，用以防止光子傳遞到一微透鏡311的外面(若微透鏡311具有正方形及未形成微透鏡間的空間，則不需要此一遮罩)。
一微像(i,j)的中心係以坐標(x i,j ,y i,j )位在影像感測器300 上，在圖3中的θ代表像素305的方格與微透鏡311的方格之間的角度。藉由以下方程式(1)可推斷坐標(x i,j ,y i,j )，考量到(x 0,0 ,y 0,0)，其係微透鏡影像(0,0)的像素坐標： 距離p及w係以像素單位提供，分別藉由乘上像素大小δ以轉換成距離的物理單位(公尺)P及W：W=δw及P=δp。此等距離係依光場相機的特徵而定。
5.2光場相機的光學特性
在此將參考圖4以討論光場相機典型的光學特性，圖4描繪一示意光場相機，包括有一理想完美的薄透鏡模型。
主透鏡具有一焦距F及一孔徑Φ，微透鏡陣列包括微透鏡，具有焦距f，微透鏡陣列的間距係，微透鏡陣列的位置係與主透鏡相隔一距離D，並與感測器相隔一距離d，物件(未顯示)係與主透鏡相隔一距離z，此物件係藉由主透鏡聚焦在離主透鏡一距離z'。圖4描繪D>z'的情況，在此情況中，微像係可依d及f而對準焦點在感測器上。
像差W係隨著物件(未顯示)與主透鏡之間的距離z而有不同，為要建立W與z之間的關係，可依賴薄透鏡方程式(2)及泰勒斯(Thales)定理方程式(3)：
接著，藉由混合方程式(2)與(3)以推斷以下方程式(4)。
W與z之間的關係並非按照微透鏡影像係對準焦點的假設，微像係嚴格地根據薄透鏡方程式以對準焦點：
5.3影像重聚焦
光場相機的主要特性係計算2D重聚焦影像的可能性，其中可在影像拍攝後自由地調整重聚焦距離。將大小[N x ,N y ]的4D光場影像L投影成2D影像係藉由僅將微透鏡影像移位及調焦，及接著將其加總成2D影像。微透鏡影像的位移量控制重聚焦距離，4D光場像素L(x,y,i,j)投影成重聚焦2D影像坐標(X,Y)係定義如下： 其中s控制2D重聚焦影像的大小，及g控制重聚焦影像的聚焦距離。藉由考量方程式(1)，可將此方程式(6)重寫為方程式(7)：
參數g係可表達為方程式(8)中的p及w的函數，參數g代表必須執行在微透鏡影像上的調焦，使用微透鏡影像的中心作為參考，以便相同物件的各種不同調焦視野得以重疊。
方程式(7)成為： 4D光場像素(x,y,i,j)係投影成2D重聚焦影像。初步地，將一重聚焦影像R及一重聚焦影像權重R 權重 設成0，重聚焦影像[N X ,N Y ]=[sN x ,sN y ]的大小係設成4D光場影像大小的s倍，執行投影係藉由投影在坐標(X,Y)的像素加總成重聚焦影像。用於投影的各4D光場像素，更新重聚焦影像權重係藉由在像素坐標(X,Y)加1：R(X,Y)+=L(x,y,i,j) (10) W(X,Y)+=1重聚焦影像權重代表每坐標(X,Y)已投影的4D光場像素數目，將L的所有4D光場像素投影後，將重聚焦影像R除以重聚焦影像權重R 權重 ，此最後步驟使每坐標(X,Y)所接收的像素數正規化。
由於投影的坐標(X,Y)不一定係整數坐標，因此可視需要使用插值法，將非整數像素坐標(X,Y)映射成重聚焦影像R與重聚焦影像權重R 權重 的格柵。插值法技術係通用技術，並為熟諳此藝者所熟知，在本說明書中將不再進一步說明。
5.4焦點堆疊
如圖1所繪示，焦點堆疊100係重聚焦在不同距離的N個影像R n (n [1,N])的收集，其定義一影像立方體(101,102,103...)，其中N係使用者選擇的影像數。因此，在焦點堆疊100的二連續影像之間的距離或距離間隔(在z軸上)對應到連結到此二連續影像的二焦點平面之間的距離。N個重聚焦影像係計算用於g，在g min 與g max 之間線性變化，對應到方程式(4)及(8)所定義在z min 與z max 之間的聚焦距離範圍。另一選項係計算具有w的焦點堆疊，從w min 及w max 作線性變化，對應到方程式(4)所定義在z min 與z max 之間的聚焦距離範圍。g或w的最大最小值(min max)邊界係由使用者定義，為要將重聚焦影像涵蓋在z min 與z max 範圍內的一聚焦距離。
此實施例所述焦點堆疊的計算係依據以下假設：4D光場係由單影像感測器利用一透鏡陣列(及視需要一主透鏡)加以記錄。然而，焦點堆疊的計算並不限於此類光場相機所記錄的4D光場，因此應注意到可能基於任何類型的光場相機所記錄的4D光場以計算重聚焦影像的焦點堆疊。
5.5根據使用者個人化視點以重聚焦影像
根據本發明的一實施例，提供使用者一種適應措施，將使用者裝置上所顯示的光場影像適應到該裝置的姿勢。
圖5顯示一全光相機50，其已擷取4D光場資料，其可對應到一影像或對應到一影片，在目前技術水準，有數個方式用以表示(或定義)4D光場資料。實際上，在Ren Ng的博士論文，名稱為”數位光場照相術(Digital Light Field Photography)”(2006年7月發表)，在其章節3.3中 揭露用以表示4D光場資料的三個不同方式。第一，當4D光場資料係由全光相機(例如圖2(a)所繪示者)記錄時，4D光場資料係可由微透鏡影像的收集來表示，在此表示法的4D光場資料係稱為原始影像(或原始4D光場資料)。第二，當4D光場資料係由全光相機或由相機陣列記錄時，4D光場資料係可由一子孔徑影像集來表示，一子孔徑影像對應到一場景從一視點所擷取的一影像，在二子孔徑影像之間視點係稍有不同，此等子孔徑影像提供有關成像場景的視差及深度的資訊。第三，4D光場資料可由一核影像(epipolar images)集來表示(例如參閱S.Wanner等人發表在ISVC 2011會議論文集的文章，名稱為”利用單透鏡聚焦全光相機以產生4D光場之面迴訊影像(EPI)表示(Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera)”。在另一實施例中，熟諳此藝者可基於二平面參數化來使用4D光場資料。
在圖5的實施例(僅作為範例)，全光擷取51係可顯示為一視野矩陣，或子孔徑影像。
使用者係在一手持式裝置如數位板52上觀看此4D光場影片，此一顯像可係即時顯像。雖然在圖5只描繪一個使用者，但光場影片係可廣播給數個使用者，數位板52係透過任一種有線或無線連線以接收光場影片，使用者可移動數位板52，及藉此修改數位板的位置及定向兩者。在數位板的螢幕上，影像的聚焦距離及視點兩者隨著數位板的姿勢而變更。
數位板52係配備有一背面相機(未顯示)，其拍下使用者前面的場景，及明顯地一特定標記60(例如一AR標籤(強化實境標籤))***在場景中，如圖6所繪示。標記60係與一圖型坐標系關聯。由於提供旋轉及平移，當已發現變換(從圖型坐標系描述數位板52的位置)時，可能在空間定出數位板52的位置。
為此目的，必須表達數位板平面的方程式。
5.5.1數位板平面方程式
用以定義裝置坐標系對圖型坐標系，可寫出裝置坐標系的單式向量及裝置從標記坐標系的平移。
接著可將同質變換矩陣(描述從標記坐標系(CS)看去的數位板CS)寫為 接著定義數位板的平面，係藉由(該平面的正規向量)向量及藉由 (該平面的一點的位置)點。
該平面的點P的集合(Xp,Yp,Zp)係由以下方程式提供： 可利用以下格式寫成： 作為一替代，可依像素(X p ,Y p ,Z p )評估坐標。
為利用像素坐標(u,v)以產生一影像，必須定義變換及
在一實施例中，可利用 以定義變換。
此對應到(X,Y)空間正規化在範圍[-1/2；+1/2]中。
接著輕易判定Zp，即像素在標記坐標系的位置： 請注意，此方程式係同等於一投影。
5.5.2從焦點堆疊中抽出截割影像
根據本發明的實施例，顯示在數位板52上的影像係一截割影像，判定為焦點堆疊100與一相交平面(由追蹤數位板姿勢參數所控制)的交集，換句話說，截割110在焦點堆疊100內的位置係由數位板52關連到標記60的位置所提供，四處移動數位板使得截割在焦點堆疊內移動。截割影像110係顯示在數位板52的螢幕上，使用者藉由四處移動數位板52可自由地選擇一聚焦平面，其不一定係垂直於相機50的主軸。
圖7係根據本發明的一實施例以流程圖描繪在數位板52上顯示光場為基影像的過程。
在步驟S701 INIT，參考標記60以定義數位板的初始位置 及作為一參考使用。此初始位置將與焦點堆疊的聚焦影像數N/2關聯，即影像對應到影像堆疊的中間影像。
在步驟S702，感測器705所擷取的資訊允許估計數位板52的姿勢，即其定向及其位置。數位板52對標記的位置係由3D坐標 為其特徵，在初始數位板位置周圍移動數位板52係關聯到移動焦點堆疊的截割。
因此，在步驟S703，計算將在數位板52上顯示的影像，作為焦點堆疊100的截割影像，與目前數位板姿勢關聯。
一截割索引影像S i ，具有大小[N X ,N Y ]個像素(即大小如同焦點堆疊100內的聚焦影像)，係定義為： 截割影像S具有[N X ,N Y ]個像素的大小，係利用截割索引影像Si來計算： 。在中的索引S i 指出焦點堆疊之內用於各像素(X,Y)的聚焦影像將在像素(X,Y)複製(函數R)成截割影像S。參數α控制數位板在及軸中四處移位時多快使截割傾斜，參數β控制截割在 軸正移動多少，調整此等參數，使不需太多移動數位板，便可抽出 焦點堆疊內的任何截割。在中典型的10公分總偏離(最大值約20公分)應係映射到影像的焦點堆疊數N。
在步驟S704，在數位板52上顯示截割影像S，S係實現用於相機所得到的各新影像，亦用於數位板的各新位置，如箭頭706所繪示。
必須注意到，利用像素坐標(X p ,Y p ,Z p )可作出相同導算。
圖8係根據本發明的一實施例以示意方塊圖描繪一裝置範例，係依裝置位置及定向的個人化方式用以顯示光場為基影像。
在圖8繪示的裝置80包括一處理器81、一儲存單元82、一輸入元件83、一輸出元件84、一介面單元85，及一感測器705，此等組件係藉由一匯流排86加以連接。當然，可藉由使用匯流排86的匯流排 連接以外的一連接方式來連接電腦裝置80的構成元件，此一裝置80例如係圖5及6的數位板52，或任何類型的手持式裝置如智慧型手機。
處理器81控制裝置80的操作，儲存單元82儲存將由處理器81執行的至少一程式，及儲存各種資料，包括有光場相機所擷取及提供的4D光場影像資料，處理器81執行運算所使用的參數，感測器705擷取的資訊等。儲存單元82明顯地可儲存焦點堆疊100，如光場擷取裝置所提供者。處理器81係可由任何習知及合適硬體或軟體或硬體與軟體的組合形成，例如，處理器81係可由執行其一記憶體所儲存程式的專用硬體如處理電路或由可程式處理單元如CPU(中央處理單元)形成。
儲存單元82係可由能依電腦可讀取方式以儲存程式、資料或類似物的任何合適儲存器或構件形成。儲存單元82的範例包括非暫態電腦可讀取儲存媒體，如半導體記憶元件，及載入一讀取及寫入單元中的磁性、光學，或磁光記錄媒體。程式令處理器81執行一過程用以顯示光場影像，根據本發明的一實施例，係依據裝置的姿勢參數以設定聚焦參數，如以上參考圖7所描述。
輸入元件83係可由鍵盤、指向元件如滑鼠或類似物形成，由使用者用來輸入命令，輸出元件84係可由一顯示元件形成，例如用以顯示使用者圖形介面(GUI)，或使用者視點個人化的光場為基影像。輸入元件83及輸出元件84例如係可由一觸控面板一體成型。
介面單元85提供裝置80與外部裝置之間的介面，介面單元85係可經由纜線或無線通訊與外部裝置通訊。在此實施例中，外部裝置可係一光場相機，在此情形中，光場相機所擷取4D光場影像的資料係可透過介面單元85從光場相機輸入到裝置80，接著儲存在儲存單元82中，及顯示在螢幕84上。
裝置80與光場相機可經由有線通訊或無線通訊互相通訊。
雖然在圖8只顯示一處理器81，但必須瞭解此一處理器可包括不同模組及單元(根據本發明的實施例以具體實現裝置80所執行的功能)，如：-一估計模組，基於感測器705所提供資訊用以估計裝置的姿勢； -一判定模組，用以判定聚焦參數用於待顯示影像，作為裝置的估計姿勢的函數；-一計算單元，用以計算待顯示影像作為焦點堆疊的一截割影像，作為聚焦參數及/或裝置的姿勢參數的函數。
此等模組及單元亦可具體實現在互相連通及協作的數個處理器81中。
5.6使焦點堆疊適應到場景的布局
圖9顯示一相機400所擷取的一場景範例，此一場景包括二感興趣物件401及402，感興趣物件401係在離相機400一距離d1的位置，而另一感興趣物件402係在離相機400一距離d2的位置。
當在場景中檢測到感興趣物件401或402時，因已知其位置(距離d1或d2)，因此可計算焦點值，接著亦可能計算近焦點值用於此位置，此係繪示在圖9中，其中(在距離d1及d2)計算較多影像用於焦點堆疊，焦點堆疊500因此包括對應到最近焦點距離的一聚焦影像，對應到最遠焦點距離的一聚焦影像，及二組聚焦影像在其間：-關聯到感興趣物件401的第一聚焦影像群組501；-關聯到感興趣物件402的第二聚焦影像群組502。
可由深度線性驅動位在感興趣物件之間的影像與其他平面(例如背景或前景)的計算。
在一變化中，焦點堆疊中在二連續影像之間的距離(亦稱為一步進)係藉由小預設值加以定義(二連續影像係與焦點平面關聯，在場景空間中互相隔開20公分左右)。接著，使用者可決定選擇他/她不感興趣的一區帶(例如定位在背景的物件)，及藉由考量到背景中的物件係不重要的事實以判定一焦點堆疊(因此，相較於所判定焦點堆疊中的預設值，此等影像之間的距離係增大)。
圖10描繪焦點堆疊500，其係已利用適應到場景的不規則抽樣格柵加以建立。
在關聯到感興趣物件401或402的集合501或502中的聚焦影像數目係依感興趣物件的深度而定，其中深度對應到感興趣物件從其前面到其背面的距離(物件的前面對應到物件最靠近相機的部分，及物件 的背面對應到離相機最遠的部分)。感興趣物件越深，焦點堆疊中在對應聚焦影像集的影像越多，允許一AIF(ARM影像格式)影像中感興趣物件的較精細呈現，或較佳的場景重聚焦能力。
實際上，由於圖9及圖10的實施例，較多”對準焦點區域”係附加到感興趣物件。一AIF影像對應到一聚焦影像，其中所有物件看起來皆對準焦點，並由焦點融合構成。用於感興趣物件，因此將在AIF影像中增加DoF(場深)的品質。
此外，焦點堆疊中關聯到感興趣物件的截割數係高的，其在使用者想要使場景重聚焦在此特定感興趣物件時(明顯地係藉由四處移動數位板52以調整顯示影像到一特定聚焦距離及/或視點)，將提供較多資訊給他/她。
根據本發明的實施例，感興趣物件401及402可係：-一顯著物件(例如Nianyi Li、Jinwei Ye、Yu Ji、Haibin Ling及Jingyi Yu在”光場上的顯著性檢測(Saliency Detection on Light Field)”所描述；-在場景中所檢測的臉部，或部分人體或整個人體；-一前景物件(例如經由像差估計所辨識，如揭示在ICCP2014，由N.Sabater、V.Drazic、M.Seifi、G.Sandri及P.Perez發表的”準確像差估計用於全光影像(Accurate Disparity Estimation for Plenoptic Images)”；-使用者選擇的一物件(例如，使用者在一特定訊框手動選擇及沿著一視訊序列追蹤的一物件)。
在相同場景中，可檢測一或數個感興趣物件，用於焦點堆疊的抽樣格柵將調適到如場景中所檢測一樣多的感興趣物件。
當然，在圖9及圖10的實施例中，圖8的裝置80所使用的焦點堆疊或圖7的方法中在步驟S703所使用的焦點堆疊，係圖10的適應焦點堆疊500，並非圖1的規律焦點堆疊100。
在此特定實施例中，裝置80的處理器81尚可包括一組單元及模組，用以具體實現計算一適應性焦點堆疊的功能，作為場景布局的函數，及明顯地：-一調整模組，用以根據場景的布局以縮減或增大抽樣間隔；-一焦點堆疊判定模組，用以判定焦點堆疊作為以一調整過抽樣間隔互 相隔開的連續聚焦影像集；-一辨識模組，用以辨識場景中的感興趣物件；-一評估模組，用以評估感興趣物件的深度；-一聚焦影像數判定模組，用以判定將關聯到各感興趣物件的聚焦影像數；-一像差估計模組，用以從光場資料集或從光場資料集產生的視野矩陣估計出像差；-一計算單元，用以從估計的像差中計算出場景中感興趣物件的位置。
如熟諳此藝者所了解，本發明原理的方面係可具體實現為一系統、方法或電腦可讀取媒體，因此，本發明原理的方面可採取完全硬體實施例、完全軟體實施例(包括韌體、常駐軟體、微碼等)的方式，或結合軟體與硬體方面的實施例(其在本文中通常稱為”電路”、”模組”，或”系統)的方式。
當本發明原理係由一或數個硬體組件實現時，可注意到一硬體組件包括一處理器，其係積體電路如中央處理單元，及/或微處理器，及/或應用特定積體電路(ASIC)，及/或應用特定指令集處理器(ASIP)，及/或圖形處理單元(GPU)，及/或物理處理單元(PPU)，及/或數位信號處理器(DSP)，及/或影像處理器，及/或共處理機，及/或浮點單元，及/或網路處理器，及/或聲頻處理器，及/或多核處理器。此外，該硬體組件亦可包括一基頻處理器(例如包括有記憶單元，及一韌體)，及/或接收或傳送無線電信號的無線電電子電路(其可包括天線)。在一實施例中，該硬體組件係符合一或多個標準如ISO/IEC 18092/ECMA-340、ISO/IEC 21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智慧卡平台)、GlobalPlatform(即行動交易安全元件)。在一變化中，該硬體組件係射頻識別(RFID)標籤。在一實施例中，一硬體組件包括電路，其能用於藍芽通訊，及/或Wifi通訊，及/或Zigbee通訊，及/或USB通訊，及或Firewire(火線)通訊，及/或NFC(用於近場)通訊。
此外，本發明原理的方面可採取電腦可讀取儲存媒體的形式，可利用一或多個電腦可讀取儲存媒體的任何組合方式。
因此，例如，熟諳此藝者應了解本文中所呈現方塊圖代表 具體實現本發明原理的繪示系統組件及/或電路的概念圖，同樣地，應了解任何流程圖、操作程序圖、狀態轉移圖、偽碼及類似者代表不同方法，其係可大體上表現在電腦可讀取儲存媒體及因此由一電腦或處理器執行(不論是否明確顯示此類電腦或處理器)。
雖然已參考一或多個範例以描述本發明，但熟諳此藝的工作人員將認知到，不背離本發明的範圍及/或後附申請專利範圍，可在形式及細節中作出變化。
50‧‧‧全光相機
51‧‧‧光場為基影像(全光擷取)
52‧‧‧使用者裝置(數位板)

Claims (14)

  1. 一種用以在使用者裝置(52)上顯示至少一光場為基影像之方法，其中該方法包括顯示(S704)該根據至少一聚焦參數所聚焦之影像，聚焦參數係判定為該裝置(52)之姿勢之函數。
  2. 如申請專利範圍第1項之方法，其中藉由使用該使用者裝置(52)中嵌入之至少一感測元件(705)以估計(S702)該姿勢。
  3. 如申請專利範圍第2項之方法，其中該感測元件(705)屬於包括有以下各項之群組：-一慣性測量單元(IMU)；-一指向至少一參考元件之相機；-一內部動作擷取系統。
  4. 如先前申請專利範圍中任一項之方法，其中該使用者裝置(52)係一手持式裝置。
  5. 如先前申請專利範圍中任一項之方法，其中該顯示影像係一截割影像(110)，係依該裝置之至少一姿勢參數判定為一焦點堆疊(100；500)與一相交平面之交集。
  6. 如申請專利範圍第5項之方法，其中該焦點堆疊(500)包括一場景之聚焦影像集，其中二連續聚焦影像係在焦點堆疊中以一抽樣間隔互相隔開，及其中該方法亦包括：-調整該抽樣間隔作為該場景之布局之函數；-判定焦點堆疊作為以一調整過抽樣間隔互相隔開之連續聚焦影像之集合。
  7. 一種用以顯示至少一光場為基影像之裝置，其中該裝置包括：-一判定模組(81)，用以判定至少一聚焦參數用於該影像以作為該裝置之姿勢之函數；-一顯示單元(84)，用以顯示該影像，係聚焦作為該至少一聚焦參數之函數。
  8. 如申請專利範圍第7項之裝置，其中該裝置嵌入至少一感測元件(705)，允許用以估計該姿勢。
  9. 如申請專利範圍第8項之裝置，其中該感測元件(705)屬於包括有以下各項之群組：-一慣性測量單元(IMU)；-一指向至少一參考元件之相機；-一內部動作擷取系統。
  10. 如先前申請專利範圍中任一項之裝置，其係一手持式裝置。
  11. 如先前申請專利範圍中任一項之裝置，其中該裝置包括一判定單元，用以判定該顯示影像作為一截割影像(110)，係依該裝置之至少一姿勢參數定義為一焦點堆疊(100)與一相交平面之交集。
  12. 如申請專利範圍第11項之裝置，其中該焦點堆疊(500)包括一場景之聚焦影像集，其中二連續聚焦影像係在焦點堆疊中以一抽樣間隔互相隔開，及其中該裝置亦包括：-一調整模組，用以調整該抽樣間隔作為該場景之布局之函數；-一判定模組，用以判定焦點堆疊作為以調整過抽樣間隔互相隔開之連續聚焦影像之集合。
  13. 一種電腦程式產品，可從通訊網路下載，及/或記錄在可由電腦讀取及/或可由處理器執行之媒體上，包括有程式碼指令用以實施如申請專利範圍第1至6項中任一項之方法。
  14. 一種非暫態電腦可讀取媒體，包括有一電腦程式產品記錄其上及能由一處理器執行，該電腦程式產品包括有程式碼指令用以實施如申請專利範圍第1至6項中任一項之方法。
TW105115641A 2015-05-29 2016-05-20 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品 TW201709718A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP15305825.0A EP3099055A1 (en) 2015-05-29 2015-05-29 Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product

Publications (1)

Publication Number Publication Date
TW201709718A true TW201709718A (zh) 2017-03-01

Family

ID=53433147

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105115641A TW201709718A (zh) 2015-05-29 2016-05-20 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品

Country Status (6)

Country Link
US (1) US10116867B2 (zh)
EP (2) EP3099055A1 (zh)
JP (1) JP2017022694A (zh)
KR (1) KR20160140452A (zh)
CN (1) CN106210538A (zh)
TW (1) TW201709718A (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN104864849B (zh) * 2014-02-24 2017-12-26 电信科学技术研究院 视觉导航方法和装置以及机器人
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10291845B2 (en) * 2015-08-17 2019-05-14 Nokia Technologies Oy Method, apparatus, and computer program product for personalized depth of field omnidirectional video
US10218968B2 (en) * 2016-03-05 2019-02-26 Maximilian Ralph Peter von und zu Liechtenstein Gaze-contingent display technique
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10147218B2 (en) * 2016-09-29 2018-12-04 Sony Interactive Entertainment America, LLC System to identify and use markers for motion capture
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN108335562A (zh) * 2017-01-20 2018-07-27 长沙海商网络技术有限公司 一种基于高度仿真的列车模拟驾驶实训***
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
EP3416371A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method for displaying, on a 2d display device, a content derived from light field data
EP3416381A1 (en) 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
EP3462410A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing A user interface for manipulating light-field images
EP3486866A1 (en) * 2017-11-15 2019-05-22 Thomson Licensing A method for processing a light field video based on the use of a super-rays representation
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10917571B2 (en) * 2018-11-05 2021-02-09 Sony Corporation Image capture device control based on determination of blur value of objects in images
CN115022616B (zh) * 2022-08-08 2022-12-02 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198852B1 (en) 1998-06-01 2001-03-06 Yeda Research And Development Co., Ltd. View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry
FR2796797B1 (fr) 1999-07-22 2001-09-07 Eastman Kodak Co Dispositif et procede pour afficher une image sur un ecran selon une perspective dependant de la position d'un utilisateur
US20060182433A1 (en) * 2005-02-15 2006-08-17 Nikon Corporation Electronic camera
US7471292B2 (en) 2005-11-15 2008-12-30 Sharp Laboratories Of America, Inc. Virtual view specification and synthesis in free viewpoint
US8248515B2 (en) * 2006-02-07 2012-08-21 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) * 2006-12-01 2019-05-21 Google Llc Video refocusing
US8189065B2 (en) * 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8279325B2 (en) * 2008-11-25 2012-10-02 Lytro, Inc. System and method for acquiring, editing, generating and outputting video data
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
ATE551841T1 (de) 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20110273466A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
EP2625845B1 (en) 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
JP5623313B2 (ja) 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
US9313390B2 (en) * 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device
US20130076966A1 (en) 2011-09-22 2013-03-28 John Norvold Border Digital imaging system with refocusable imaging mode
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP6116277B2 (ja) * 2012-06-07 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US8997021B2 (en) * 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9070050B2 (en) 2012-12-20 2015-06-30 Rovi Guides, Inc. Methods and systems for customizing a plenoptic media asset
US9136300B2 (en) * 2013-01-11 2015-09-15 Digimarc Corporation Next generation imaging methods and systems
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US20150256764A1 (en) * 2014-03-05 2015-09-10 Guy M. Besson Active-tracking based systems and methods for generating mirror image
EP3059949A1 (en) * 2015-02-23 2016-08-24 Thomson Licensing Method and apparatus for generating lens-related metadata
JP2016161884A (ja) * 2015-03-04 2016-09-05 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
US20160353026A1 (en) 2016-12-01
EP3099055A1 (en) 2016-11-30
JP2017022694A (ja) 2017-01-26
EP3099056A1 (en) 2016-11-30
CN106210538A (zh) 2016-12-07
EP3099056B1 (en) 2021-09-08
KR20160140452A (ko) 2016-12-07
US10116867B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
TW201709718A (zh) 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品
CN106871878B (zh) 手持测距装置及利用其创建空间模型的方法、存储介质
US9071827B1 (en) Method and system for automatic 3-D image creation
WO2017041731A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
JP5260705B2 (ja) ３次元拡張現実提供装置
US20150363970A1 (en) Model and Sizing Information from Smartphone Acquired Image Sequences
US20130136302A1 (en) Apparatus and method for calculating three dimensional (3d) positions of feature points
CN102997891A (zh) 场景深度的测量装置和方法
JP7204021B2 (ja) 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
US20230298280A1 (en) Map for augmented reality
KR20180039013A (ko) 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리
CN110807431A (zh) 对象定位方法、装置、电子设备及存储介质
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和***
Zhang et al. Synthetic aperture based on plenoptic camera for seeing through occlusions
KR20180103059A (ko) 광 필드 데이터의 일관된 편집
US10762689B2 (en) Method and apparatus for selecting a surface in a light field, and corresponding computer program product
Neumann et al. Plenoptic video geometry
Greco et al. 360 tracking using a virtual PTZ camera
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
CN113132715A (zh) 一种图像处理方法、装置、电子设备及其存储介质
Riou et al. A four-lens based plenoptic camera for depth measurements