TWI745805B - 包含用以產生深度圖的多光圈成像裝置之裝置 - Google Patents

包含用以產生深度圖的多光圈成像裝置之裝置 Download PDF

Info

Publication number
TWI745805B
TWI745805B TW108146994A TW108146994A TWI745805B TW I745805 B TWI745805 B TW I745805B TW 108146994 A TW108146994 A TW 108146994A TW 108146994 A TW108146994 A TW 108146994A TW I745805 B TWI745805 B TW I745805B
Authority
TW
Taiwan
Prior art keywords
image
view
information
depth map
image sensor
Prior art date
Application number
TW108146994A
Other languages
English (en)
Other versions
TW202037964A (zh
Inventor
法蘭克 懷柏曼
賈奎斯 杜柏瑞
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202037964A publication Critical patent/TW202037964A/zh
Application granted granted Critical
Publication of TWI745805B publication Critical patent/TWI745805B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0053—Driving means for the movement of one or more optical element
    • G03B2205/0061—Driving means for the movement of one or more optical element using piezoelectric actuators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一種本發明裝置包含一多光圈成像裝置，其具有一影像感測器；鄰近地配置之光學通道的一陣列，各光學通道包含用於將一全視場之至少一個部分視場投影至該影像感測器之一影像感測器區域上的光學件；用於偏轉該等光學通道之一光束路徑的一光束偏轉器；及用於設定該多光圈成像裝置之一焦點位置的聚焦構件。該裝置進一步包含經組配以控制該聚焦構件及自該影像感測器接收影像資訊的控制構件；其中該控制構件經組配以控制該聚焦構件並自該影像感測器接收影像資訊；其中該控制構件經組配以在該多光圈成像裝置中設定一焦點位置序列，從而偵測該全視場之一對應影像資訊序列，並基於該影像資訊序列創建用於所偵測全視場之一深度圖。

Description

包含用以產生深度圖的多光圈成像裝置之裝置
發明領域
本發明涉及多光圈成像裝置，特定而言涉及包含多光圈成像裝置之裝置。該裝置經組配以使用多光圈成像裝置內所含有之資訊來產生深度圖及/或累積影像資訊。本發明亦關於藉由陣列相機自聚焦堆疊提取深度資訊及/或藉由陣列相機針對經修改背景提取自畫像。
發明背景
多光圈成像裝置可藉由使用多個部分視場對物場進行成像。存在使用諸如反射鏡之光束偏轉系統的概念，以使得能夠將相機通道之檢視方向自裝置平面偏轉至整個系統之另一方向，例如大約垂直於整個系統的方向。在應用例如行動電話之情況下，此豎直方向可在使用者面部之一個方向上或其前方之環境的方向上，且可基本上藉由使用可切換鉸接反射鏡來實現。
用於高效影像產生之裝置及/或用於容易處置之裝置將係合乎需要的。
發明概要
因此，本發明之目標為提供一種包含允許高效影像產生及/或容易處置之多光圈成像裝置的裝置。
此目標藉由獨立申請專利範圍之標的來實現。
本發明之一個發現為藉由在一焦點位置序列中捕獲一影像序列，可自自身影像資訊創建深度圖，從而使得視差資訊並不重要且可能省去對此資訊之使用。
根據第一態樣之一實施例，一種裝置包含多光圈成像裝置。多光圈成像裝置包含影像感測器、鄰近地配置之光學通道的陣列，各光學通道包含用於將全視場之至少一部分視場投影至影像感測器之影像感測器區域上的光學件。多光圈成像裝置包含用於偏轉光學通道之光束路徑的光束偏轉構件，及用於設定多光圈成像裝置之焦點位置的聚焦構件。裝置之控制構件適於控制聚焦構件及自影像感測器接收影像資訊。控制構件經組配以在多光圈成像裝置中設定一焦點位置序列，從而偵測全視場之對應影像資訊序列，並基於影像資訊序列創建用於所偵測全視場之深度圖。此情況之優勢為可自焦點位置序列產生深度圖，從而使得甚至少數光學通道即足以獲得深度資訊。
根據第一態樣之一實施例，控制構件經組配以自影像資訊序列創建深度圖，例如無需借助於其他方法進行任何額外量測或深度資訊評估。此情況之優勢為可自焦點位置序列產生深度圖，從而使得甚至自一個檢視方向單次拍攝全視場可提供用於創建深度圖之足夠資訊量。
根據第一態樣之一實施例，光學通道經組配以至少立體地捕獲全視場。該控制構件適於基於自該等光學通道獲得之視差資訊產生初步深度圖，並以基於該影像資訊序列之深度資訊為基礎來補充該初步深度圖以獲得該深度圖。替代地或另外，對比而言，控制構件適於基於影像資訊序列產生初步深度圖；並以基於自光學通道獲得之視差資訊的深度資訊為基礎來補充初步深度圖，以便獲得深度圖。此情況之優勢為可獲得實現極好拼接結果之高度準確且高品質深度圖。
根據第一態樣之一實施例，控制構件經組配以基於品質準則在初步深度圖中選定全視場之需要改良區域，並針對選定區域判定用以補充初步深度圖之額外深度資訊而不針對非選定區域進行判定。此情況之優勢為可藉由創建或判定額外深度資訊將補充深度圖所需之電能及/或計算方面的額外消耗保持為較低，但仍獲得高品質深度圖。
根據第一態樣之一實施例，控制構件經組配以在一焦點位置序列中捕獲對應數目個部分影像群組。各部分影像係與所成像部分視場相關聯，從而使得部分影像群組中之各者具有共同焦點位置。控制構件經組配以執行部分影像中之局部影像清晰度資訊的比較並自此比較創建深度圖。此係可能的，例如因為在已知已由用於偵測部分影像群組之控制構件設定的焦點位置且藉由判定清晰地成像之物體，亦即處於分別設定之焦點位置中的物體的情況下，可獲得關於如下實情之資訊：已自多光圈成像裝置捕獲對應於所設定焦點位置之距離處的分別清晰地成像之影像區域。藉由使用若干部分影像群組且因此使用若干焦點位置，可產生用於不同物體，且因此用於全視場之對應資訊以便實現深度圖。此允許關於深度資訊對全視場進行大面積或甚至完整映射。
根據第一態樣之一實施例，裝置經組配以控制聚焦構件，使得一焦點位置序列大體上等距地分佈於影像空間內。此分佈可藉由儘可能準確的等距配置以及考慮至多±25%、±15%或±5%之容限範圍來進行，其中一焦點位置序列分佈於該序列之最小焦點位置與最大焦點位置之間。由於影像區域中之等距性，可實現深度圖跨越不同距離之一致精度。
根據第一態樣之一實施例，裝置經組配以基於一影像資訊序列產生再現全視場之一總影像序列，各總影像係基於同一焦點位置之部分影像的組合。可在使用深度圖時進行此部分影像接合以便在接合之總影像中獲得高影像品質。
根據第一態樣之一實施例，裝置經組配以基於深度圖變更顯現全視場之總影像。在已知深度圖時，可進行不同影像操縱，例如一或多個影像區域之後續聚焦及/或散焦。
根據第一態樣之一實施例，陣列之第一光學通道形成為對全視場之第一部分視場進行成像，陣列之第二光學通道形成為對全視場之第二部分視場進行成像。第三光學通道經組配以對全視場進行完全成像。此情況使得能夠使用額外成像功能性，例如關於變焦範圍及/或解析度增大之功能性。
根據第一態樣之一實施例，聚焦構件具有用於設定焦點位置之至少一個致動器。聚焦構件經組配以至少部分地安置於由長方體之側面跨越的兩個平面之間，長方體之側面彼此平行對準，且平行於陣列之行延伸方向及光學通道之光束路徑在影像感測器與光束偏轉器之間的部分。長方體之體積最小且仍設計成包括影像感測器、陣列及光束偏轉器。此情況允許多光圈成像裝置設計成沿著垂直於平面之深度方向具有較小尺寸。
根據第一態樣之一實施例，多光圈成像裝置具有配置成垂直於兩個平面之厚度方向。致動器具有平行於厚度方向之尺寸。致動器之尺寸的至多50%之一部分經以某種方式配置，使得該部分自兩個平面之間的區域開始延伸超出兩個平面。將致動器配置在平面之間的至少50%之圓周中帶來多光圈成像裝置之薄組配，此亦允許裝置之薄組配。
根據第一態樣之一實施例，聚焦構件包含用於提供光學通道中之至少一者的光學件與影像感測器之間的相對移動之致動器。此情況允許容易地設定焦點位置。
根據第一態樣之一實施例，聚焦構件適於執行光學通道中之一者的光學件與影像感測器之間的相對移動，同時執行光束偏轉器的與該相對移動同步之移動。此使得能夠藉由光束偏轉器維持設定的光學影響，例如關於以不變大小使用以偏轉光束路徑的光束偏轉器之光束偏轉表面進行維持，此情況實現光束偏轉器之較小大小，此係由於可能省去在增大距離處提供相對較大表面。
根據第一態樣之一實施例，聚焦構件經以某種方式配置，使得其自長方體之平面之間的區域突出最大50%。藉由將整個聚焦構件，包括任何機械組件等配置於平面之間的區域中，可能實現多光圈成像裝置，且因此裝置之極薄設計。
根據第一態樣之一實施例，聚焦構件之至少一個致動器為壓電式彎曲致動器。此使得能夠在短時間間隔內保持一焦點位置序列。
根據第一態樣之一實施例，聚焦構件包含適於提供移動之至少一個致動器。聚焦構件進一步包含用於將移動傳輸至陣列以用於設定焦點位置之機械構件。致動器配置於影像感測器之背離陣列的側上，且機械構件經以某種方式配置，使得力通量側向地通過影像感測器。替代地，致動器配置於光束偏轉器之背離陣列的側上，且機械構件經以某種方式配置，使得力通量側向地通過光束偏轉器。此允許多光圈成像裝置經以某種方式設計，使得致動器在垂直於厚度方向之側向方向上定位，而不會阻擋光學通道之光束路徑，同時能夠避免偵測到裝置。當使用若干致動器時，實施例提供將所有致動器配置於影像感測器的背離陣列之側上，將所有致動器配置於光束偏轉器的背離陣列之側上，或將致動器之子集配置於影像感測器的背離陣列之側上，及將另一不相交子集配置於光束偏轉器的背離陣列之側上。
根據第一態樣之一實施例，光束偏轉器之相對位置可在第一位置與第二位置之間切換，從而使得在第一位置中，光束路徑朝向第一全視場偏轉，且在第二位置中，光束路徑朝向第二全視場偏轉。控制構件適於將光束偏轉器引導至第一位置以自影像感測器獲得第一全視場之成像資訊，其中控制構件另外適於將光束偏轉器引導至第二位置以自影像感測器獲得第二全視場之成像資訊。控制構件另外適於將該第一成像資訊的一部分***該第二成像資訊中，以獲得部分表示該第一全視場且部分表示該第二全視場之所累積影像資訊。此允許容易地處置裝置，此係由於可省去複雜地重新定位多光圈成像裝置，例如以用於針對背景拍攝自身之圖像。由於自產生之深度圖，能以尤其有利的方式實現此情況。
本發明之又一發現為已認識到，藉由組合不同全視場之影像資訊，從而使得在所累積影像資訊中分別部分再現第一全視場及第二全視場，由於例如可省去使用者及/或裝置之複雜定位，可獲得對裝置之容易處置。
根據第二態樣之一實施例，一種裝置包含多光圈成像裝置，其具有影像感測器、鄰近地配置之光學通道的陣列，及光束偏轉器。陣列之各光學通道包含用於將全視場之至少一部分視場投影至影像感測器之影像感測器區域上的光學件。光束偏轉器經組配以偏轉光學通道之光束路徑，其中光束偏轉器之相對位置可在第一位置與第二位置之間切換，從而使得在第一位置中，光束路徑朝向第一全視場偏轉，且在第二位置中，光束路徑朝向第二全視場偏轉。裝置進一步包含適於將光束偏轉器引導至第一位置之控制構件。因此，可自控制構件獲得涉及投影至影像感測器上之第一全視場的受控影像資訊。控制構件經組配以將光束偏轉器引導至第二位置，以自影像感測器獲得第二全視場之成像資訊。獲得第一全視場之成像資訊及獲得第二全視場之成像資訊的次序可係任意的。該控制構件經組配以將該第一成像資訊的一部分***該第二成像資訊中，以獲得部分表示該第一全視場且部分表示該第二全視場之所累積影像資訊。此情況允許組合不同全視場之影像內容，從而使得可省去裝置及/或影像物體之耗時定位。
根據第二態樣之一實施例，第一全視場配置成沿著對應於裝置之使用者方向或對應於裝置之相反配置的世界方向之方向。此情況允許組合第一全視場與與其不同的全視場中之影像內容。
另外，根據第二態樣之一較佳實施例，第二全視場配置成沿著對應於使用者方向及世界方向中之另一者的方向，從而使得兩個全視場一起捕獲世界方向及使用者方向。在所累積影像資訊中，來自世界方向之內容與來自使用者方向之內容可因此彼此組合。
根據第二態樣之一實施例，控制構件適於識別並分割，亦即分離第一影像資訊中之人，或至少複製與人相關之影像資訊並將人之影像***第二影像資訊中，從而獲得所累積影像資訊。此操作允許將人之影像***實際上沿著裝置之不同方向配置的影像環境中。
根據此操作之較佳組配，裝置經組配以自動地識別人並將人之影像自動地***第二影像資訊中。此情況使得能夠針對實際上不同之背景獲得自身圖像(自拍)。此情況避免裝置、人及/或背景之複雜定位。亦使得能夠補償背景經鏡面倒轉之實情。
根據第二態樣之一實施例，裝置適於在使用由裝置自第一成像資訊產生之深度圖時，識別及/或分割諸如人或至少其部分的部分。可例如在使用第一態樣時或藉由其他手段創建深度圖。此使得能夠容易地實施實施例。
根據第二態樣之一實施例，裝置適於針對第二影像資訊創建具有多個深度平面之深度圖，並將第一影像資訊***第二影像資訊之預定深度平面中，從而獲得所累積影像資訊。此情況使得能夠以在深度方面關於預定義或預定深度平面正確的方式將第一影像資訊整合至第二影像資訊中。
根據此操作之一較佳實施例，在10%之容限範圍內的預定義深度平面等於第一全視場距裝置之距離。此情況使得能夠以某種方式獲得所累積影像資訊，使得第二全視場表示為如同第一影像資訊或其部分已沿著裝置之另一方向配置。
根據此操作之另一較佳實施例，預定義深度平面係基於與第一影像資訊之置放相關聯的使用者輸入。此情況使得待考慮之深度平面可在拍攝之不同圖像之間變化及/或可適於借助於使用者輸入之使用者選擇。
根據第二態樣之一實施例，裝置經組配以縮放第一影像資訊，從而獲得經縮放第一影像資訊，並將經縮放第一影像資訊***第二影像資訊中，從而獲得所累積影像資訊。此情況使得能夠以某種方式將第一影像資訊***第二影像資訊中，使得在所累積影像資訊中獲得特定而言關於第一影像資訊之大小的預定義感覺，此情況尤其有利於與***第一影像資訊之可調整深度平面的組合，從而使得除了深度方面正確之***之外，亦能實現大小方面正確之表示。
根據第二態樣之一實施例，裝置經組配以判定第一影像資訊中成像之物體相對於裝置之距離，並基於所判定距離與第二影像資訊中之預定深度平面的比較縮放第一影像資訊。此情況使得能夠藉由縮放，亦即藉由調整大小自動地考慮在第一影像資訊***第二影像資訊中時由深度平面改變的第一影像資訊之距離。
根據根據第二態樣之一實施例，裝置經組配以在至少0.1 ms且至多30 ms之時間間隔內偵測第一全視場及第二全視場。下限係任擇的。對兩全視場之此快速捕獲使得能夠減少或甚至避免由時間引起的全視場改變。
根據根據第二態樣之一實施例，裝置經組配以將所累積影像資訊作為視訊資料串流加以接收。出於此目的，裝置可獲得用於第一全視場及/或第二全視場之多個依序影像的多個所累積影像資訊資料，並將其組合成作為視訊資料串流之影像序列。
替代地或另外，根據第二態樣，實施例提供將所累積影像資訊提供為靜態影像。
根據根據第二態樣之一實施例，第一影像資訊包含使用者之影像，且第二影像資訊包含裝置之世界視圖。控制構件經組配以可能基於藉由裝置產生之深度圖資訊自第一影像資訊分割使用者之影像，並將使用者之影像***世界視圖中。此情況使得能夠藉由使用裝置容易地獲得自拍。
根據根據第二態樣之一實施例，裝置經組配以在深度方面正確之方式將使用者之影像***世界視圖中。此情況實現使用者站在世界視圖的前方之效果，而無需進行耗時定位。
根據根據第二態樣之一實施例，裝置經組配以藉由不同焦點位置捕獲第一全視場及/或第二全視場之一影像序列，並自影像序列創建用於第一全視場及/或第二全視場之深度圖。特定而言，此情況使得能夠在預定義深度平面及/或深度方面正確之成像內組合第二影像資訊與第一影像資訊；出於此目的，可採用本發明之第一態樣的優勢。此意謂第一態樣可與第二態樣之實施組合及/或第二態樣可與第一態樣之實施組合。尤其在組合之情況下，該兩個態樣產生稍後將論述之有利設計。
將在附屬申請專利範圍中定義本發明之另外有利實施例。
較佳實施例之詳細說明
在下文參考圖式詳細解釋本發明之實施例之前，應指出，不同圖中之相同、功能或效果相同的元件、物體及/或結構具備相同的附圖標記，從而使得在不同實施例中呈現的此等元件之描述可彼此互換或可彼此應用。
圖1a示出根據第一態樣之裝置101 的示意性透視圖。裝置101 包含多光圈成像裝置，其包含影像感測器12及鄰近地配置之光學通道16a-e之陣列14。多光圈成像裝置進一步包含用於偏轉光學通道16a-d之光束路徑的光束偏轉器18。此情況允許由陣列14之光學件22a-d將光學通道16a-d之光束路徑在影像感測器12與光束偏轉器18之間的側向線路朝向非側向線路之間偏轉。不同的光學通道16a-d經以某種方式偏轉，使得各光學通道16a-d在影像感測器12之影像感測器區域28a-d上投影全視場26之部分視場24a-d。部分視場24a-d可以一維或二維方式在空間中分佈，或基於光學件22a-d之不同焦距以三維方式分佈。為更好地理解，將在下文以某種方式描述全視場26，使得部分視場24a-d具有二維分佈，其中鄰近部分視場24a-d可彼此重疊。部分視場之總區域產生全視場26。
多光圈成像裝置包含用於設定多光圈成像裝置之焦點位置的聚焦構件32。此設定可藉由變化影像感測器12與陣列14之間的相對方位或位置來進行，其中聚焦構件32可適於變化影像感測器12之位置及/或陣列14之位置，以便獲得影像感測器12與陣列14之間的可變相對位置，從而設定多光圈成像裝置之焦點位置。
相對位置設定可係通道特定的或適用於光學通道群組或所有通道。例如，可移動單個光學件22a-d，或可一起移動光學件22a-d的群組或所有光學件22a-d。上述情況適用於影像感測器12。
裝置包含適於控制聚焦構件32之控制構件34。另外，控制構件34適於自影像感測器12接收影像資訊36。此資訊可例如為投影在影像感測器區域28a-d上之部分視場24a-d或對應於該投影之資訊或資料。此接收並不排除對影像資訊36之中間處理，例如關於濾波、平滑化等方面。
控制構件34經組配以在多光圈成像裝置中設定一焦點位置序列，從而偵測全視場26之對應影像資訊序列。控制構件34適於自影像資訊序列創建全視場26之深度圖38。深度圖38可經由對應信號來提供。控制構件34能夠基於藉由影像感測器12與陣列14之間的不同相對位置獲得的不同焦點位置來捕獲同一視場26之不同影像，及/或能夠根據藉由部分視場24a-d之分段來捕獲視場之不同地聚焦之部分影像。
深度圖可用於不同目的，例如用於影像處理以及影像合併。因此，在使用深度圖38以獲得表示全視場26之影像(亦即總影像)之影像資訊42時，控制構件34可適於連接自影像感測器區域28a至28d獲得之個別影像(單個圖框)。對於合併部分影像(亦稱為拼接)之此類方法，使用深度圖係尤其有利的。
在使用深度圖時，控制構件可經組配以組合部分影像群組之部分影像以形成總影像。此意謂可自待拼接之典型部分影像產生用於拼接之深度圖。例如，基於影像資訊序列，可產生表示全視場之一總影像序列。各總影像可係基於具有相同焦點位置之部分影像的組合。替代地或另外，可組合來自該序列之至少兩個、若干個或所有總影像以獲得具有擴展資訊之總影像，例如以創建焦外成像效果。替代地或另外，亦可以某種方式表示影像，使得整個影像經人工銳化，亦即相比單個圖框的情況，較多部分區域，例如整個影像被聚焦。
裝置101 經組配以將全視場之影像創建為單影像，並自單影像序列創建深度圖38。儘管亦可能對全視場26進行多次掃描，但裝置10可自僅一個單影像產生深度圖，此情況可免除自不同檢視方向拍攝額外圖像的需要，例如藉由使用藉由同一裝置拍攝之多個圖像或借助於額外光學通道之冗餘配置。
圖1b示出根據第二態樣之一實施例的裝置102 之示意性透視圖。相比於裝置101 ，代替控制構件34，裝置102 具有經組配以將光束偏轉器引導至不同位置181 及182 的控制構件44。在不同位置181 及182 中，光束偏轉器18具有不同的相對位置，從而使得在不同的位置或方位中，由於光學通道16a-d之光束路徑在受不同位置181 及182 影響之不同方向上偏轉，因此能獲得不同的全視場261 及262 之影像資訊。替代地或除了控制構件34之外，裝置102 包含控制構件44，其經組配以將光束偏轉器引導至第一位置181 以自影像感測器12獲得第一全視場261 之成像資訊。在此之前或之後，控制構件44適於將光束偏轉器18引導至第二位置182 以自影像感測器12獲得第二全視場262 之影像資訊。控制構件44適於將第一影像資訊461 的一部分***至第二影像資訊462 中以獲得共同或所累積影像資訊48。所累積影像資訊48可再現第一全視場261 之部分及第二全視場262 之部分，此再現涉及影像操縱或處理之步驟。此意謂所累積影像資訊48在某些地方係基於全視場261 之影像，而在其他地方係基於全視場262 之影像。
控制構件44可適於提供含有或再現所累積影像資訊48之信號52。任擇地，亦可由信號52輸出影像資訊461 及/或462 。
圖1c示出根據一實施例之裝置103 的示意圖，代替圖1a之控制構件34及圖1b之控制構件44，該裝置包含控制構件54，其組合控制構件34及控制構件44之功能性，且適於基於裝置103 之可變焦點位置產生深度圖38並提供圖1b之所累積影像資訊48。
圖2a示出可在例如裝置101 及裝置102 的根據第一態樣之裝置中設定的不同焦點位置561 至565 之示意圖。不同焦點位置561 至565 可經理解為所捕獲視場中之物體以聚焦方式投影在影像感測器12上之位置或距離581 至585 。焦點位置56之數目可係任意的且大於1。
鄰近焦點位置之間的距離621 至624 可指影像空間中之距離，其中亦可能將解釋實施或轉移為物空間中之距離。然而，檢視影像空間之優勢在於考慮到了多光圈成像裝置之性質，尤其關於最小或最大物距方面。控制構件34及/或54可適於將多光圈成像裝置控制成具有兩個或更多個焦點位置561 至565 。在各別焦點位置中，可根據所捕獲部分視場24之數目捕獲單個圖框641 及642 。基於瞭解已設定焦點位置561 至565 中之哪個以獲得各別部分影像461 及462 ，控制構件可藉由在哪個影像部分被清晰地成像方面分析影像資訊來判定此等清晰地成像之物體相對於裝置之配置距離。關於距離之此資訊可用於深度圖38。此意謂控制構件可經組配以在一焦點位置序列561 至565 中捕獲對應數目個部分影像群組，各部分影像與所成像之部分視場相關聯。部分影像群組可因此對應於表示所設定焦點位置中之全視場的彼等部分影像。
控制構件可經組配以自部分影像中之局部影像清晰度資訊的比較產生深度圖。局部清晰度資訊可指示物體在影像之哪些區域中被聚焦，或在先前所定義容限範圍內清晰地成像。例如，邊緣模糊函數之判定及邊緣延伸距離之偵測可用於判定對應影像區域、對應物體或其部分在影像感測器上經清晰地成像還是模糊。此外，依序影像或線條模糊函數可用作影像內容之清晰度的品質準則。替代地或另外，可使用任何已知光學清晰度度量以及已知調變轉移函數(MTF)。替代地或另外，相同物體在堆疊之鄰近影像中的清晰度、經由經校準查找表的聚焦致動器位置與物距之關聯及/或跨焦掃描之方向可用於以部分遞歸方式自堆疊之鄰近影像獲得深度資訊並避免不明確性。因此在瞭解與聚焦成像之物距唯一相關的所設定焦點位置之情況下，有可能自-瞭解到物體至少在預定容限範圍內經聚焦成像-推斷出可為深度圖38之基礎的與影像、物體或其部分之區域的距離。
在使用深度圖時，控制構件可經組配以將部分影像群組中之部分影像組合成總影像。此意謂可自自身待拼接之部分影像產生用於拼接之深度圖。
裝置可經組配以控制聚焦構件32，從而使得一焦點位置序列561 至565 在最小焦點位置與最大焦點位置之間的影像空間中在±25%、±15%或±5%，較佳為儘可能接近0%的容限範圍內等距地分佈。為節約設定焦點位置時的時間，以增大或降低之距離依序設定焦點位置561 至565 係有意義但並非必要的。實際上，所設定焦點位置561 至565 之次序係任意的。
圖2b示出深度圖38之使用及其產生之示意性表示。由於可相對於其距離精確地判定單個圖框641 及642 中清晰地表示之物體，因此部分影像641 及642 可各自用於自各別焦點位置561 至565 獲得深度圖38之部分資訊381 至385 。然而，在焦點位置561 與565 之間，亦可使用內插方法，從而使得即使在略微模糊之物體的情況下仍可獲得用於深度圖38之充分精確資訊。部分資訊381 至385 中所含有之距離資訊可由控制構件組合以形成深度圖38。深度圖38可用於組合來自不同焦點位置561 至565 之單個圖框641 及642 以形成對應數目個總影像421 至425 。
圖3a示出根據一實施例之裝置30的示意性透視圖。影像感測器12、陣列14及光束偏轉器18可在空間內跨越長方體。長方體亦可經理解為虛擬長方體，且可例如具有最小體積及特定而言，沿著平行於厚度方向y之方向的最小豎直延伸部，該方向平行於行延伸方向66。行延伸方向66例如沿著z方向且垂直於x方向沿行，該x方向平行於光束路徑在影像感測器12與陣列14之間的線路配置。方向x、y及z可跨越笛卡爾座標系統。虛擬長方體之最小體積或其最小豎直延伸部可使得虛擬長方體仍包含影像感測器12、陣列14及光束偏轉器18。最小體積亦可經理解為描述由影像感測器12、陣列14及/或光束偏轉器18之配置及/或操作移動跨越的長方體。行延伸方向66可以某種方式配置，使得光學通道16a及16b沿著行延伸方向66可能彼此平行地彼此緊鄰配置。行延伸方向66可固定地配置於空間內。
虛擬長方體可具有平行於陣列14之行延伸方向66，且平行於光學通道16a及16b之光束路徑在影像感測器12與光束偏轉器18之間的一部分的彼此相對平行配置的兩個側面。以簡化方式但不具限制效應，此等側面可例如為虛擬長方體之頂面及底面。兩個側面可跨越第一平面68a及第二平面68b。此意謂長方體之兩個側面可分別為平面68a或68b之部分。多光圈成像裝置之另外組件可完全但至少部分地配置在平面68a與68b之間的區域內，從而使得對多光圈成像裝置沿著平行於平面68a及/或68b之表面法線的y方向之安裝空間要求可較小，此係有利的。多光圈成像裝置之體積可在平面68a與68b之間具有較小或最小安裝空間。沿著平面68a及/或68b之側面或延伸方向，多光圈成像裝置之安裝空間可較大或任意較大。虛擬長方體之體積受例如影像感測器12、陣列14及光束偏轉器18之配置的影響，根據本文中所描述之實施例，此等組件之配置使得此等組件沿著垂直於平面之方向的安裝空間，且因此平面68a與68b彼此的距離變得較小或最小。與組件之其他配置相比，虛擬長方體之體積及/或其他側面之距離可增大。
裝置30包含用於產生影像感測器12、單行陣列14與光束偏轉器18之間的相對移動的致動器72。此產生相對移動可包括例如對光束偏轉器18進行定位移動以使其在關於圖1b所描述之位置之間進行切換。替代地或另外，致動器72可經組配以執行結合圖1a所描述之相對移動，以改變影像感測器12與陣列14之間的相對位置。致動器72至少部分地配置於平面68a與68b之間。致動器72可適於移動影像感測器12、單行陣列14及光束偏轉器18中之至少一者，此移動可包括沿著一或多個方向之旋轉及/或平移移動。此移動之實例為各別光學通道16之影像感測器區域28之間的相對位置、各別光學通道16之光學件22以及光束偏轉器18及/或對應分段或刻面之分別通道特定改變，及/或與各別光學通道之光束路徑偏轉相關的分段/刻面之光學性質的通道特定改變。替代地或另外，致動器72可至少部分地實施自動聚焦及/或光學影像穩定。
致動器72可為聚焦構件32之部分，且可適於提供光學通道16a及16b中之至少一者的至少一個光學件與影像感測器12之間的相對移動。光學件22a及/或22b與影像感測器12之間的相對移動可由聚焦構件32以某種方式控制，使得光束偏轉器18執行同步移動。當減小光學件22a及/或22b與影像感測器之間的距離時，光束偏轉器18與影像感測器12之間的距離可相應地減小，從而使得陣列14及光學件22a及/或22b與光束偏轉器18之間的相對距離分別大體上恆定。此情況使得光束偏轉器18能夠裝備有較小光束偏轉表面，此係由於可藉由維持與光束偏轉器18之距離來補償光束錐由於陣列14與光束偏轉器18之間的距離增長而產生的增長。
聚焦構件32及/或致動器72經以某種方式配置，使得其自平面68a與68b之間的區域突出不超過50%。致動器72可具有平行於厚度方向y之尺寸或延伸部74。尺寸74之最大50%、最大30%或最大10%之一部分可自平面68a與68b之間的區域開始突出至平面68a及/或68b外，且因此在虛擬長方體外突出。此意謂致動器72在最多情況下亦不顯著地自平面68a及/或68b突出。根據實施例，致動器72並不突出至平面68a及68b外。此情況之優勢在於多光圈成像裝置沿著厚度方向y之延伸部並不由致動器72增大。
儘管光束偏轉器18描繪為可繞旋轉軸線76旋轉安裝，但致動器72可替代地或另外亦產生沿著一或多個空間方向之平移移動。致動器72可包含可能以可個別控制方式產生不同單個移動之一或多個單個致動器。致動器72或其至少單個致動器可例如被實施為或包含結合圖4更詳細地描述之壓電致動器，特定而言壓電式彎曲致動器。壓電彎曲機允許快速且可再現地改變位置。此特徵有利於在短時間內若干或許多影像之意義上捕獲聚焦堆疊。特定而言，壓電彎曲機作為沿著一個維度或方向設計之致動器可被有利地用於所描述架構中，因為其具有對此有利的外觀尺寸，亦即尤其在一個方向上的延伸部。
陣列14可包括附接或配置光學件22a及22b之基體78。基體78可借助於適宜選定之凹陷或材料至少部分地對光學通道16a及16b之光學路徑透明；此情況並不排除例如藉由配置濾光片結構等來執行對光學通道之操縱。
在致動器72具有包括快速設定不同焦點位置56之快速可調性的若干要求的情況下，可藉由使用具有較小安裝空間等之壓電致動器來實現較大力。
圖3b示出根據一實施例之裝置30的示意性側向截面圖。裝置30之多光圈成像裝置可包含例如多個致動器，例如多於一個、多於兩個或>0之一不同數目。例如，可配置可用於不同目的之致動器721 至725 ，例如用於調整焦點位置及/或改變光束偏轉器18之位置或方位以用於設定多光圈成像裝置之檢視方向，及/或用於藉由光束偏轉器18之旋轉移動及/或陣列14之平移移動提供光學影像穩定。
可以某種方式配置致動器721 至725 ，使得其至少部分地配置於由虛擬長方體69之側面69a及69b跨越的兩個平面68a與68b之間。長方體69之側面69a及69b可彼此平行對準，且平行於陣列之行延伸方向及光學通道之光束路徑在影像感測器12與光束偏轉器18之間的部分。長方體69之體積最小，但仍包括影像感測器12、陣列14及光束偏轉器18以及其操作移動。陣列14之光學通道具有光學件22，光學件對於各光學通道可相同或不同。
多光圈成像裝置之體積可在平面68a與68b之間具有較小或最小安裝空間。沿著平面68a及/或68b之側面或延伸方向，多光圈成像裝置之安裝空間可較大或任意較大。虛擬長方體之體積受例如影像感測器12、單行陣列14及光束偏轉器之配置的影響，根據本文中所描述之實施例，此等組件之配置使得此等組件沿著垂直於平面之方向的安裝空間，且因此平面68a與68b彼此的距離變得較小或最小。與組件之其他配置相比，虛擬長方體之體積及/或其他側面之距離可增大。
虛擬長方體69由虛線表示。平面68a及68b可包含或由虛擬長方體69之兩個側面跨越。多光圈成像裝置之厚度方向y可垂直於平面68a及/或68b及/或平行於y方向。
影像感測器12、陣列14及光束偏轉器18可經配置，使得平面68a與68b之間沿著厚度方向y之豎直距離最小，該豎直距離-以簡化方式但不具限制效應-可被稱作長方體之高度，其中可省去最小化體積，亦即最小化長方體之其他尺寸。長方體69沿著方向y之延伸部可最小，且大體上由成像通道之光學組件，亦即陣列14、影像感測器12及光束偏轉器18，沿著方向y之延伸部預定。
多光圈成像裝置之體積可在平面68a與68b之間具有較小或最小安裝空間。沿著平面68a及/或68b之側面或延伸方向，多光圈成像裝置之安裝空間可較大或任意較大。虛擬長方體之體積受例如影像感測器12、單行陣列14及光束偏轉器之配置的影響，根據本文中所描述之實施例，此等組件之配置使得此等組件沿著垂直於平面之方向的安裝空間，且因此平面68a與68b彼此的距離變得較小或最小。與組件之其他配置相比，虛擬長方體之體積及/或其他側面之距離可增大。
致動器721 至725 可各自具有平行於方向y之尺寸或延伸部。各致動器721 至725 之尺寸的不超出50%、30%或10%之一部分可自兩平面68a與68b之間的區域開始突出至平面68a及/或68b外或自該區域突出。此意謂致動器721 至725 在最多情況下亦不顯著地突出至平面68a及/或68b外。根據實施例，致動器並不突出至平面68a及68b外。此情況之優勢在於多光圈成像裝置沿著厚度方向或方向y之延伸部並不由致動器增大。
儘管此處使用的諸如上方、下方、左側、右側、前方或後方之術語係用於改良清晰性，但其並不意欲具有任何限制效應。顯然，此等術語可基於空間內之旋轉或傾斜相互互換。例如，自影像感測器12至光束偏轉器18之x方向可經理解為在前方或向前。例如，正y方向可經理解為上方。沿著正或負z方向遠離影像感測器12、陣列14及/或光束偏轉器18或與其距一定距離的區可經理解為鄰近於各別組件。以較簡單術語而言，影像穩定器可包括致動器721 至725 中之至少一者。該至少一個致動器可位於平面71內或平面68a與68b之間。
換言之，致動器721 至725 可位於影像感測器12、陣列14及/或光束偏轉器18前方、後方或緊鄰該等裝置。根據實施例，致動器36及42配置於平面68a與68b之間的區域外部，其中最大圓周為50%、30%或10%。
圖3c示出多光圈成像裝置之示意性側向截面圖，其中可基於光束偏轉器18之不同位置偵測到不同的全視場261 及262 ，此係由於多光圈成像裝置接著具有不同檢視方向。多光圈成像裝置可適於使光束偏轉器以角度α傾斜變化，從而使得光束偏轉器18之不同主側交替地配置成面向陣列14。多光圈成像裝置可包括適於繞旋轉軸線76傾斜光束偏轉器18之致動器。例如，致動器可適於將光束偏轉器18移動至第一位置，在該位置中光束偏轉器18將陣列14之光學通道的光束路徑26偏轉至正y方向。出於此目的，光束偏轉器18可在第一位置中具有例如>0°且>90°、至少10°且至多80°或至少30°且至多50°之角度α，例如45°。致動器可適於在第二位置中繞旋轉軸線76偏轉光束偏轉器，從而使得光束偏轉器18將陣列14之光學通道的光束路徑朝向負y方向偏轉，該負y方向如由朝向全視場262 之檢視方向及由光束偏轉器18之虛線表示所表示。例如，光束偏轉器18可經組配以在兩側上皆具反射性，從而使得在第一位置中，檢視方向指向全視場261 。
圖4a示出根據一實施例之裝置40的示意性俯視圖，其中致動器72形成為壓電式彎曲致動器。致動器72經組配以在x/z平面中執行如由虛線所示之彎曲。致動器72經由機械偏轉器82連接至陣列14，從而使得在致動器72彎曲時可發生陣列14沿著x方向之側向位移，從而使得焦點位置可改變。例如，致動器72可連接至基體78。替代地，致動器72亦可安裝在容納光學件22a至22d的至少部分之外殼上以移動外殼。其他變型亦係可能的。
任擇地，裝置40可包括經組配以在陣列14及/或光束偏轉器18處產生移動之另外致動器841 及842 ，例如以將光束偏轉器18置放在不同位置或方位中，及/或用於藉由陣列14沿著z方向之平移位移及/或產生光束偏轉器18繞旋轉軸線76之旋轉移動來實現光學影像穩定。
不同於前圖中之描述，光束偏轉器18可具有若干隔開但共同的可移動刻面86a至86d，各光學通道與一個刻面86a至86d相關聯。刻面86a至86d亦可配置成直接鄰近，亦即其間具有極小距離或無距離。替代地，亦可配置平坦反射鏡。
藉由致動致動器72，可將光學件22a-d中之至少一者與影像感測器12之間的距離881 自第一值881 改變為第二值882 ，例如增大或降低。
圖4b示出裝置40之示意性側向截面圖，以說明致動器72在結合圖3a所描述之平面68a與68b之間的配置。致動器72例如完全配置在平面68a與68b之間，正如機械偏轉裝置82，其使用諸如連接框條及接線、繩索等若干力傳輸元件及機械軸承或偏轉元件。
機械偏轉器或用於將移動傳輸至陣列14之機械構件可配置在影像感測器12的背離陣列14之一側上，亦即自影像感測器12後方的陣列14開始。機械構件82可經以某種方式配置，使得力通量側向地通過影像感測器12。替代地或另外，致動器72或另一致動器可位於光束偏轉器18的背離陣列14之側上，亦即自光束偏轉器18後方的陣列14開始。機械構件82可經配置，使得力通量側向地通過光束偏轉器18。
儘管僅示出一個致動器72，但亦可配置較大數目個致動器，及/或致動器72之多於一側可連接至機械偏轉器82。例如，中心地安裝或支撐之致動器72可在兩側上連接至機械偏轉器82，且可例如在陣列14之兩側上起作用以使得能夠均勻移動。
圖5a示出部分視場24a及24b之陣列在全視場26中之示意性表示，該全視場可例如由諸如多光圈成像裝置101 、102 、103 、30及/或40的本文中所描述之多光圈成像裝置偵測，且可對應於例如全視場261 及/或262 。例如，可藉由使用光學通道16b將全視場26投影在影像感測器區域28b上。例如，光學通道16a可經組配以捕獲部分視場24a並將其投影在影像感測器區域28a上。諸如光學通道16c之另一光學通道可經組配以偵測部分視場24b並將其投影在影像感測器區域28c上。此意謂可形成光學通道群組以捕獲恰好兩個部分視場24a及24b。因此，可進行全視場及部分視場之同步捕獲，該等視場繼而一起表示全視場26。
儘管以不同的延伸部示出以改良可區分性，但部分視場24a及24b可具有沿著至少一個影像方向B1 或B2 ，諸如影像方向B2 之相同延伸部或類似延伸部。部分視場24a及24b沿著影像方向B2 之延伸部可相同於全視場26之延伸部。此意謂部分視場24a及24b可沿著影像方向B2 完全捕獲或獲取全視場26，且可僅沿著配置成垂直於前一方向之另一影像方向B1 部分捕獲或獲取全視場，且部分視場可以相互偏移方式配置，從而使得亦沿著第二方向組合地完整捕獲全視場26。部分視場24a及24b可彼此不相交或至多在重疊區域25中不完全地彼此重疊，該重疊區域可能在全視場26中完全沿著影像方向B2 延伸。包含光學通道16a及16c之光學通道群組可經組配以在一起拍攝時對全視場26進行完全成像，例如藉由結合在一起拍攝時對全視場進行成像的所拍攝部分圖像拍攝的總圖像進行完全成像。影像方向B1 例如可為待提供影像之水平線。以簡化術語而言，影像方向B1 及B2 表示可在空間中之任何位置定位的兩個不同影像方向。
圖5b示出部分視場24a及24b之配置的示意性表示，該等部分視場沿著不同的影像方向--影像方向B2 以相互偏移方式配置且彼此重疊。部分視場24a及24b可各自沿著影像方向B1 完全捕獲全視場26且沿著影像方向B2 不完全地捕獲全視場。區域25例如沿著影像方向B1 完全配置在全視場26內。
圖5c示出四個部分視場24a至24b之示意性表示，其分別在兩方向B1 及B2 上不完全地捕獲全視場26。兩個鄰近部分視場24a及24b在重疊區域25b中重疊。兩個重疊部分視場24b及24c在重疊區域25c中重疊。類似地，部分視場24c及24d在重疊區域25d中重疊，且部分視場24d與部分視場24a在重疊區域25a中重疊。所有四個部分視場24a至24d可在全視場26之重疊區域25e中重疊。
類似於關於圖1a-c中所描述之多光圈成像裝置可用於捕獲例如全視場26及部分視場24a-d；陣列14可具有五個光學件，四個光學件用以捕獲部分視場24a-d，且一個光學件用以捕獲全視場26。因此，陣列可經組配有關於圖5a-b之三個光學通道。
在重疊區域25a至25e中，大量影像資訊可用。例如，經由全視場26、部分視場24a及部分視場24b捕獲重疊區域25b。全視場之影像格式可對應於例如圖5c中之部分視場24a-d的所成像部分視場之無冗餘組合，其中重疊區域25a-e在各情況下僅計數一次。結合圖5a及圖5b，此情況適用於部分視場24a及24b之無冗餘組合。
重疊區域25及/或25a-e中之重疊可例如包括各別部分影像之最大50%、35%或20%。
換言之，根據第一態樣，可獲得光學通道數目減小，此情況允許成本節約及減小側向安裝空間要求。根據第一態樣，可能進行為立體獲取之替代例的一種形式之深度資訊獲取，而無需諸如飛行時間、結構化或譯碼光等之額外感測器。因此可避免實現低解析度之飛行時間感測器以及具有高能量要求之結構化光感測器。兩方法在強烈的環境光，尤其在日光下仍具有問題。實施例提供設計成並無此類感測器之對應裝置。根據一實施例，壓電彎曲機充當具有低功耗之極其快速聚焦因素。然而，實施例提供自一焦點位置序列提取深度資訊與自基於視差之深度資訊提取深度資訊的組合。此處較佳的為，首先創建基於視差之深度圖，且若後者具有缺點，則藉由通過一焦點位置序列之額外深度資訊對深度圖進行補充、校正或改良。多光圈成像裝置之所描述架構允許使用此類壓電彎曲機，此係由於相機模組之其他立方外觀尺寸使得較難以或甚至不可能利用長壓電彎曲機。在短曝光時間情況下，此情況允許拍攝聚焦堆疊，亦即在場景聚焦略有不同的情況下，一張接一張地快速拍攝的眾多圖像。實施例提供以有用方式對場景之整個深度進行取樣，例如自可能最接近拍攝之近拍至最大可能距離之無窮遠。該等距離可等距地配置在物空間中，但較佳地配置在影像空間中。替代地，可選擇不同的合理距離。例如，焦點位置之數目為至少兩個、至少三個、至少五個、至少十個、至少20個或任何其他數目。
若干影像42可經呈現給使用者。替代地或另外，實施例提供組合個別影像資訊，從而使得使用者可具備具有經組合影像資訊之影像。例如，具有深度資訊之影像，其提供數位重新聚焦之可能性。所呈現影像可提供所謂的焦外成像效應--散焦。替代地，亦可以某種方式呈現影像，使得整個影像經人工銳化，此意謂相比部分區域之單個圖框中，較大距離範圍，例如整個影像被聚焦。在所用鏡頭之光圈值較低的情況下，可使用在單個圖框中量測之清晰度或模糊度及另外資訊，諸如相同物體在堆疊之鄰近影像中的清晰度、例如在使用經校準查找表時聚焦致動器位置與物距之關聯、跨焦掃描之方向-關於該等圖框自身，但亦以遞歸方式針對其他影像使用以避免不明確性-以用於重建構場景之個別元素的物距，並以影像解析度自其創建深度圖。
根據第一態樣，實現了可省略用於立體影像之通道重複同時仍可創建深度圖。此深度圖使得能夠拼接多光圈成像裝置之不同部分影像。例如，藉由減半光學通道之數目，可實現例如沿著行延伸方向之側向尺寸的顯著減小，且因此亦實現成本減小。影像處理可通過其他步驟提供至少一樣好之影像。替代地或另外，有可能省去飛行時間感測器或結構化光感測器之額外配置。即使仍進行上文所提及之重複仍能維持此優勢，此情況亦可提供優勢。
例如，可至少立體地捕獲全視場26，如DE 10 2013 222 780 A1中所描述，例如以便自全視場或部分視場24之多個，亦即至少兩個捕獲獲得深度資訊。例如圖5d中所示之至少立體捕獲使得能夠藉由通過由基本距離BA間隔開之兩個光學通道16a及16c或16c及16d檢視同一部分視場24a或24b而獲得深度資訊。部分視場之數目與其配置一樣可自由選定，參見作為實例之圖5a-c中之差異。關於避免阻塞，根據圖5b配置圖5d中所示之部分視場係有利的。
圖5d僅示出多光圈成像裝置50的部分。未示出諸如光束偏轉器18或致動器之元件。對於多光圈成像裝置50，現在存在用於可用於創建深度圖之深度資訊的兩個資訊源。一方面，此情況包括在多光圈成像裝置中設定一焦點位置序列，另一方面，其包括用於偵測匹配影像內容的光學通道之間的視差。
此情況可提供優勢，因為任何資訊源皆組合優勢與缺點。例如，基於視差之深度資訊由於阻塞或遮蔽可在某些地方不完整或品質低下，但與一焦點位置序列對比，其可快速進行，且在用於致動器之電能及/或計算能力方面具有低消耗(其需要對應計算資源及電能兩者)。
因此，實施例提供組合來自兩資訊源之深度資訊。例如，可自基於視差之深度資訊創建初步深度圖，並藉由自一焦點位置序列完全或部分創建之額外深度圖對其進行補充或改良。在此上下文中，初步深度圖未必描述時間關係，此係由於創建待組合之兩個深度圖的次序可係任意的。根據次佳實施例，可自一焦點位置序列創建初步深度圖，並藉由基於視差之深度資訊對其進行改良或升級。
控制構件34或多光圈成像裝置50之不同例子可經組配以檢查深度資訊或深度圖之品質或可靠性，例如藉由檢查深度資訊之解析度及/或監測阻塞或其他效應之發生來進行檢查。對於深度圖之受影響區域，可自一焦點位置序列創建額外深度資訊以便改良或校正初步深度圖。例如，可藉由僅針對初步深度圖之待補充彼等區域，亦即僅在深度圖之局部區域中創建一焦點位置序列來以能量及/或計算上高效方式獲得此額外深度資訊。藉由改良深度圖且因此深度資訊，可以高品質獲得拼接結果。
實施例提供：控制構件基於初步深度圖中待補充或校正之方位指定用於基於一焦點位置序列，亦即最小與最大焦點位置之間的值範圍判定深度資訊的局部區域及/或深度平面之區域；亦有可能設定多個範圍。此意謂可省略可能焦點位置中之至少一些或設定成專門用於自影像資訊或焦點位置序列創建深度圖之彼等焦點位置，此情況可節約計算工作量、時間及電能。替代地或除了限制焦點位置之數目及/或方位之外，控制構件可經組配以僅針對全視場26的需要改良、最佳化或校正初步深度圖之彼等區域重新計算深度資訊，此情況亦可節約能量及時間。
控制構件可經組配以基於品質準則選定初步深度圖中需要改良之全視場區域，並補充選定區域中之初步深度圖而不補充非選定區域中之深度圖。例如，可僅針對選定區域而不針對非選定區域判定用於補充初步深度圖之額外深度資訊。例如，控制構件可經組配以藉由執行指示所判定區域中之深度圖的品質或可靠性是否對應於至少一個臨限值的比較來判定至少一個區及/或焦點位置。此操作可藉由評估用以判定是否實現至少一最小品質之參考參數，以及檢查是否並未超出負面品質準則(例如，錯誤數目等)，亦即臨限值是否降為低於或至少未超出負面品質準則來實現。
前述初步深度圖可為在使用可用深度資訊時創建的深度圖。替代地，初步深度圖亦可經理解為深度資訊集合(無需特定圖格式)。
換言之，除了僅僅藉由聚焦堆疊產生深度圖而無需冗餘視場捕獲(以產生用於深度圖之視差)之外，可使用具有最小通道數目(理想為僅兩個)之系統。此概念可經修改為如下效果：藉由以除了僅經由視差之方式產生的深度圖來支援此架構(例如，頂部處之2×視場、底部處之2×視場，如圖5d中所示，或其他)可促進改良該架構，此情況可最終亦促進改良拼接結果。此處，較佳考慮根據用於多模式支援之聚焦堆疊的態樣，同時避免諸如經由飛行時間(ToF)或譯碼光之深度圖的其他機制的實施例。
實施例關於組合來自視差及聚焦堆疊之深度圖的態樣。實施例係基於具有多於2個通道之所描述架構，其主要自通道之自然視差導出深度圖。取決於計算及/或功率預算，可始終自聚焦堆疊產生另一深度圖並將其與第一深度圖組合以進行改良(在重疊情況下基本上為孔填充)並改良拼接結果，或可僅在已識別來自視差之深度圖中的明顯缺陷之後產生另一深度圖。不同的次序係次佳的，此係由於產生聚焦堆疊可涉及額外能量消耗以及可能相當大的時間損耗，或結果涉及依序單個圖框之相當複雜的曝光比。額外使用自一張接一張地極其快速地捕獲之影像聚焦堆疊產生的深度圖可能會帶來以下優勢：深度圖中由於阻塞之孔，可能為額外深度平面較少，尤其對於較大物距而言，可能改良深度圖之側向解析度，且總體而言，由於獲得了額外資訊，深度圖中之信雜比得到改良，且因此存在較少不明確性或含糊不清之處，否則將導致在全視場之拼接影像中產生偽像。
圖6示出根據關於第二態樣之一實施例的裝置60之示意性透視圖。上文所描述之實施亦易於應用於裝置101 、103 、30及/或40。藉由將光束偏轉器引導至不同位置，裝置60或裝置60之多光圈成像裝置可捕獲兩個相互隔開之整個視場261 及262 。
裝置60例如設計為攜帶型或行動裝置，特定而言平板電腦或行動電話，特定而言智慧型電話(智能電話)。
例如在自拍照片及/或視訊之情況下，正如常見的做法，視場261 及262 中之一者可例如沿著裝置60之使用者方向配置。
另一全視場可例如沿著裝置60之相反方向及/或世界方向配置，且可例如沿著使用者在其沿著使用者方向自全視場注視裝置60時所沿的注視方向配置。例如，圖1b中之光束偏轉器18可形成為在兩側上具反射性且藉由不同主側以不同位置偏轉光學通道16a-d之光束路徑，例如從而使得自裝置60開始，全視場261 及262 配置成彼此相對及/或成180°之角度。
圖7a示出用以說明對可藉由對全視場261 及262 進行成像所獲得的影像資訊461 及462 之處理的示意圖。控制構件經組配以分離(例如切掉)或隔離視場261 之成像資訊461 的部分92或專門複製該部分92。控制構件另外適於組合所分離或分割部分92與成像資訊462 ，亦即將部分92***成像資訊462 中以獲得所累積影像資訊48。在某些地方，後者展現全視場262 ，且在***部分92之地方，其展現影像資訊461 。應注意，獲得所累積影像資訊48不限於***單個部分92，而是可自影像資訊461 分割任何數目個部分92，且一個、若干個或所有此等部分皆可***至影像資訊462 中。
部分92***至第二成像資訊462 中之方位或位置可由控制構件自動地判定，例如藉由通過裝置60將部分92投影至第二視場262 中，但可替代地或另外亦由使用者選定。
根據一實施例，控制構件經組配以例如經由圖案匹配及/或邊緣偵測，但特定而言基於由裝置自身產生之深度圖來識別及分割第一成像資訊461 中之人。該控制構件可適於將人之影像***第二成像資訊462 中以獲得所累積影像資訊48。此意謂部分92可為人，諸如裝置60之使用者。實施例提供裝置經組配以自動地識別人並自動地將人，亦即部分92之影像***第二成像資訊462 中。此使得能夠自動地創建自畫像或在第二全視場262 的前方或中創建自畫像，而不必以耗時方式定位裝置60及/或不必以耗時方式定位使用者。
實施例提供控制構件使用諸如深度圖38之深度圖來將部分92定位於第二成像資訊462 中。深度圖38可例如根據考慮的焦點位置之數目或自其獲得的減小數目或自其內插的較大數目而具有多個或多重深度平面。控制構件可適於將部分92***第二成像資訊462 之預定深度平面中以獲得所累積影像資訊48。預定深度平面可大體上，亦即在±10%、±5%或±2%之容限範圍內分別對應於第一全視場262 距裝置60之距離或所分割部分92距裝置60之距離。此亦可被稱為以深度方面正確之方式將部分92***至第二成像資訊462 中。
圖7b示出在所累積影像資訊48中縮放部分92之示意性表示。替代地，可選定不同深度平面，為此目的，提供實施例之各種可能性。例如，預定深度平面可由部分92在第二成像資訊462 中之置放影響或判定。該置放可自動地實現或由使用者輸入實現。例如，若使用者在第二成像資訊462 內選定用於***部分92之特定方位或地方，則控制構件可經組配以在第二成像資訊462 中判定待***部分92之區域的距離。例如在使用深度圖時瞭解到部分92距裝置及第二成像資訊462 中之物體的距離的情況下，可由縮放部分92補償由使用者輸入引起的部分92之虛擬距離改變。
因此，當部分92之距離自第一成像資訊461 至第二成像資訊462 增大時，部分92之一維、二維或三維大小94可改變，例如減小為大小96，或當距離自第一成像資訊461 至第二成像資訊462 減小時，該大小可增大為大小96。在獨立地將部分92置放在第一成像資訊461 中，以及基於相關聯使用者輸入組合地進行置放的情況下，裝置可經組配以縮放成像資訊461 以獲得經縮放成像資訊。經縮放成像資訊可由控制構件***至成像資訊462 中以獲得所累積影像資訊48。裝置可經組配以判定表示部分92且在第一成像資訊461 中成像的物體相對於裝置60之距離。裝置可基於所判定距離與第二成像資訊462 中之預定深度平面的比較來縮放成像資訊461 或其部分92。若在短時間距離內捕獲到成像資訊461 及462 之兩個項目，則係有利的。若在不超過30 ms、不超過10 ms、不超過5 ms或不超過1 ms之時間間隔內的此時間距離大約為0.1 ms，則係有利的。此時間可用於例如轉換或重新定位光束偏轉器且可至少部分地藉由此過程之持續時間來判定。
所累積影像資訊48可作為單個圖框獲得，替代地或另外亦作為視訊資料串流，例如大量單個圖框獲得。
根據一實施例，形成符合第二態樣之裝置，使得第一成像資訊461 包含使用者之影像且第二成像資訊462 包含裝置之世界視圖。控制構件經組配以自第一成像資訊461 分割使用者之影像並將其***世界視圖中。例如，裝置可經組配以將使用者之影像以正確深度***世界視圖中。
換言之，在第二態樣之上下文中，拍攝自拍影像或拍攝視訊可包括藉由裝置，特定而言行動電話之前置相機/視圖及主相機/視圖拍攝的准同步圖像之基於深度的組合。自拍之前景，亦即自畫像可經轉移至由主相機拍攝的圖像之前景。藉由改變光束偏轉器之位置進行前後圖像拍攝之間的極快切換允許上文所提及的藉由同一影像感測器准同步捕獲世界側及使用者側相機影像。儘管亦可根據第二態樣使用單通道成像裝置，但第二態樣尤其提供關於多光圈成像裝置之優勢，因為其可已創建或使用深度圖以合併圖框。此深度圖亦可用以判定用於合成所累積成像資訊48之深度資訊。可能進行可如下描述之程序： 1.   使用自拍之深度圖從而自背景分割前景，亦即給自身拍攝圖像之人； 2.   使用世界側圖像之深度圖以自其識別前景及背景，亦即分離深度資訊；及 3.   將來自自拍之前景，亦即給自身拍攝圖像之人***世界側拍攝之圖像中，尤其為***其前景中。
此程序之優勢在於自拍照可與作為背景之世界側圖像組合，而不必如其他情況下所需般將電話轉180°以便在此場景前方給自身拍攝圖像。替代地或另外，避免了在自身向後方向上拍攝圖像，此需要記住電話之定向必須始終相對於場景成鏡面倒轉。亦可根據第二態樣產生深度圖自身，如結合第一態樣所描述，從而使得可省去飛行時間感測器或結構化光感測器之額外配置。
在下文中，將參考多光圈成像裝置之一些有利實施以解釋本發明之優勢。
圖8示出可用於第一及/或第二態樣之本發明裝置中的多光圈成像裝置80之部分，其中並未表示但可容易地實施可能聚焦構件及/或用於實施光學影像穩定之致動器。
圖8之多光圈成像裝置80包含鄰近地配置之光學通道16a-d的陣列14，其以若干行形成或較佳地以一行形成。各光學通道16a-d包含用於對全視場26之各別部分視場24a-d或可能全視場進行成像的光學件22a-d，如結合圖5所描述。多光圈成像裝置80上示出之視場投影在影像感測器12之分別相關聯影像感測器區域28a-d上。
影像感測器區域28a-d例如可各自由包含對應像素陣列之晶片形成；晶片可安裝在共同基體或板材98上，如圖8中所指示。替代地，影像感測器區域28a-d中之各者當然亦可能由跨越影像感測器區域28a-d連續地或中斷地延伸之共同像素陣列的部分形成，其中共同像素陣列例如形成於單個晶片上。例如，接著將僅讀出影像感測器區域28a-d中之共同像素陣列的像素值。此等替代例之不同混合當然亦係可能的，諸如存在用於兩個或更多個通道之一晶片及用於再其他通道之又一晶片等。在影像感測器12之若干晶片的情況下，晶片可例如一起或以群組等安裝在一或多個板材上。
在圖8之實例中，四個光學通道16a-d在陣列14之行延伸方向上彼此緊鄰地配置成一行，但數目四個僅為例示性的且可為大於一之任何其他數目，亦即可配置N個光學通道，其中N>1。另外，陣列14亦可具有沿著行延伸方向延伸之另外行。光學通道16a-d之陣列14應理解為光學通道或其空間分組之組合。光學件22a-d可各自具有鏡頭，以及鏡頭組或鏡頭堆疊，以及成像光學件與其他光學元件之組合，包括濾光片、光圈、反射或繞射元件等。陣列14可經以某種方式設計，使得光學件22a-d以通道特定方式、以群組或所有通道連在一起地配置、固定或安裝在基體78上。此意謂例如若光學件22a-d安裝在別處，則可配置單個基體78、其若干部分或不配置基體78。
根據一實例，光學通道16a-d之光軸或光束路徑102a-d可在影像感測器區域28a-d與光學件22a-d之間彼此平行地延伸。為此目的，影像感測器區域28a-d配置於共同平面中，例如正如光學件22a-d之光學中心般。兩平面彼此平行，亦即平行於影像感測器區域28a-d之共同平面。另外，在垂直於影像感測器區域28a-d之平面的投影中，光學件22a-d之光學中心與影像感測器區域28a-d之中心重合。換言之，在此等平行平面中，一方面，光學件22a-d及影像感測器區域28a-d以相同間距配置於行延伸方向上。
影像感測器區域28a-d與相關聯光學件22a-d之間的像側距離經設定，使得影像感測器區域28a-d上之影像設定成所要物距。例如，距離處於等於或大於光學件22a-d之焦距的範圍內或處於光學件22a-d之焦距與兩倍焦距之間的範圍內，包括兩端值。影像感測器區域28a-d與光學件22a-d之間沿著光軸102a-d的像側距離亦可係可例如由使用者手動地設定及/或經由聚焦構件或自動聚焦控制自動地設定的。
在無需任何額外量測的情況下，由於光束路徑或光軸102a-d之平行性，光學通道16a-d之部分視場24a-d基本上完全重疊。提供覆蓋較大全視場26之光束偏轉器18，且從而使得部分視場24a-d僅在空間中部分重疊。光束偏轉器18例如藉由通道特定偏差將光束路徑102a-d或光軸偏轉至全視場方向104。例如，全視場方向104平行於垂直於陣列14之行延伸方向，且平行於光軸102a-d在光束偏轉之前或並無光束偏轉情況下的線路的平面延伸。例如，藉由圍繞>0°且>180°之角度旋轉行延伸方向來獲得光軸102a-d之全視場方向104，該角度且例如處於80與100°之間且例如可為90°。多光圈成像裝置80的對應於部分視場24a-d之總覆蓋範圍的全視場26因此並不定位於影像感測器12及陣列14在光軸102a-d之方向上的串聯連接之延伸方向上，但由於光束偏轉，全視場在量測多光圈成像裝置80之安裝高度的方向上，亦即垂直於行延伸方向的側向方向上側向地定位至影像感測器12及陣列14。
然而，另外，光束偏轉器18藉由通道特定偏差將例如各光束路徑或各光學通道16a-d之光束路徑自剛提及之方向偏轉至通向方向104的偏轉。用於各通道16a-d之光束偏轉器18包括例如個別地安裝之元件，諸如反射性刻面86-d及/或反射性表面。此等刻面或表面略微朝向彼此傾斜。刻面86a-d之相互傾斜經以某種方式選定，使得當光束由光束偏轉器18偏轉時，部分視場24a-d以某種方式具備微小發散度，使得部分視場24a-d僅部分重疊。如圖8中例示性所示，個別偏轉亦可以某種方式實施，使得部分視場24a-d以二維方式覆蓋全視場26，亦即其以二維方式分佈於全視場26中。
根據另一實例，光學通道之光學件22a-d可建立成完全或部分產生光束路徑102a-d之發散度，此情況使得能夠完全或部分地省去個別刻面86a-d之間的傾斜。若例如由光學件22a-d完全地提供發散度，則光束偏轉器亦可形成為平坦反射鏡。
應注意，到目前為止已描述的關於多光圈成像裝置80之許多細節僅被選擇為實例。例如上文所提及之光學通道數目即為此情況。光束偏轉器18亦可形成為與先前所描述的不同。例如，光束偏轉器18不必具反射性。其亦可因此設計成不同於刻面反射鏡之形式，例如呈透明楔形稜鏡形式。在此情況下，例如，平均光束偏轉可為0°，亦即方向104可例如平行於在光束偏轉之前或並無光束偏轉情況下的光束路徑102a-d，或換言之，儘管存在光束偏轉器18，多光圈成像裝置80仍可「看起來筆直向前」。由光束偏轉器18進行之通道特定偏轉將又導致部分視場24a-d僅彼此略微重疊，例如相對於部分視場24a-d之立體角範圍，每對重疊>10%。
又，光束路徑102a-d或光軸可偏離所描述平行性，且儘管如此，光學通道之光束路徑的平行性仍可充分明顯，使得由個別通道16a-N覆蓋及/或投影至各別影像感測器區域28a-d上之部分視場在未進行諸如光束偏轉之任何進一步量測時將很大程度上重疊，從而使得為了由多光圈成像裝置80覆蓋較大全視場，光束偏轉裝置18提供具有額外發散度之光束路徑，使得N個光學通道16a-N之部分視場彼此較少重疊。光束偏轉器18例如確保全視場具有為光學通道16a-N之個別部分視場的光圈角度之1.5倍的光圈角度。在光束路徑102a-d具有某種預發散度的情況下，將亦可能的為例如並非所有刻面傾斜不同，而是一些通道群組例如具有具相同傾斜之刻面。刻面接著可形成為一體或使得其連續地合併至彼此中，近似為與在行延伸方向上鄰近之此通道群組相關聯的一個刻面。
此等通道16a-d之光軸102a-d的發散度接著可來源於如藉由通道16a-d或稜鏡結構或偏心鏡頭區段之光學件22a-d之光學中心與影像感測器區域28a-d之間的側向偏移實現的此等光軸102a-d之發散度。例如，預發散度可限於一個平面。例如，光軸102a-d可在任何光束偏轉18之前或並無任何光束偏轉之情況下在共同平面內延伸，但可在該平面內以發散方式延伸，且刻面86a-d僅導致另一橫向平面內之額外發散度，亦即刻面全部平行於行延伸方向傾斜且僅以關於光軸102a-d之前述共同平面不同的方式相互傾斜；同樣，在任何光束偏轉之前或並無任何光束偏轉之情況下，若干刻面86a-d可展現相同傾斜或通常與光軸成對地不同的通道群組相關聯(例如，已在光軸之前述共同平面中)。
若省略光束偏轉器18或若光束偏轉器18經設計為平坦反射鏡等，則亦可藉由光學件22a-d之光學中心(一方面)與影像感測器區域28a-d之中心(另一方面)之間的側向偏移或藉由稜鏡結構或偏心鏡頭區段實現總發散度。
例如，藉由將光學件22a-d之光學中心置放於沿著行延伸方向的直線上可實現可能存在的前述預發散度，而影像感測器區域28a-d之中心經配置以偏離光學中心沿著影像感測器區域28a-d之法線平面至位於影像感測器平面內之直線上之點上的投影，該等點諸如偏離在以通道特定方式沿著行延伸方向及/或沿著垂直於行延伸方向及影像感測器法線兩者之方向位於影像感測器平面內之前述直線上之點的點。替代地，可藉由將影像感測器28a-d之中心置放於沿著行延伸方向之直線上實現預發散度，而光學件22a-d之中心經配置以偏離影像感測器之光學中心沿著光學件22a-d之光學中心之法線平面至位於光學中心平面內之直線上之點上的投影，該等點諸如偏離以通道特定方式沿著行延伸方向及/或沿著垂直於行延伸方向及光學中心平面之法線兩者的方向位於光學中心平面中之上文所提及直線上的點的點。
若上文所提及的與各別投影之通道特定偏差僅在行延伸方向上發生，亦即若光軸102a-d僅位於一個共同平面內且具備預發散度，則係較佳的。光學中心及影像感測器區域中心兩者接著將位於平行於行延伸方向之直線上，但具有不同中間距離。另一方面，鏡頭與影像感測器之間在豎直且側向於行延伸方向之方向上的側向偏移導致安裝高度增大。行延伸方向上之純平面內偏移不會改變安裝高度，但可能導致較少刻面及/或刻面可僅具有角度定向上之傾斜，此情況簡化架構。
儘管已結合裝置描述一些態樣，但應理解，此等態樣亦表示對應方法之描述，從而使得裝置之區塊或組件亦應理解為對應方法步驟或方法步驟之特徵。類似地，結合或作為方法步驟描述之態樣亦表示對應區塊或細節或對應裝置之特徵的描述。
上述實施例僅為本發明之原理之說明。不言而喻，其他熟習此項技術者將顯而易見對本文中所描述之配置及細節的修改及變型。因此，預期本發明僅受限於下文之專利申請專利範圍之範疇，而非借助於本文中實施例之描述及解釋呈現的特定細節。
101,102,103,30,40,60:裝置 12:影像感測器 14:陣列 16a-d:鄰近地配置之光學通道 18:光束偏轉器 181,182:不同位置 22a-d:光學件 24a-d:部分視場 25,25a-25e:重疊區域 26:全視場,光束路徑 261:第一全視場 262:第二全視場 28a-d:影像感測器區域 32:聚焦構件 34,44,54:控制構件 36,42:影像資訊 38:深度圖 381-385:部分資訊 421-425:總影像 461:第一影像資訊,部分影像 462:第二影像資訊,部分影像 48:所累積影像資訊 50,80:多光圈成像裝置 52:信號 561-565:不同焦點位置 581-585,621-624:距離 641,642:圖框,部分影像 66:行延伸方向 68a:第一平面 68b:第二平面 69:虛擬長方體 69a,69b:側面 71:平面 72,721-725,841,842:致動器 74:尺寸 76:旋轉軸線 78:基體 82:機械偏轉器,機械構件 86a-86d:可移動刻面 881:距離,第一值 882:第二值 92:部分 94,96:大小 98:基體,板材 102a-d:光束路徑,光軸 104:全視場方向 α:角度 B1,B2:影像方向 BA:基本距離 x,z:方向 y:厚度方向
參考附圖，將在下文解釋本發明之較佳實施例，其中： 圖1a      示出根據第一態樣之裝置的示意性透視圖； 圖1b      示出根據第二態樣之一實施例的裝置之示意性透視圖； 圖1c      示出根據一實施例的組合第一態樣及第二態樣之裝置的示意性透視圖； 圖2a      示出根據一實施例之不同焦點位置的示意圖，其中可根據第一態樣控制裝置； 圖2b      示出根據一實施例的自不同焦點位置產生之深度圖的利用以及其產生之示意性表示； 圖3a      示出根據一實施例之裝置的示意性透視圖，其中影像感測器跨越光學通道陣列，且光束偏轉器在空間中跨越長方體； 圖3b      示出根據一實施例的圖3a之裝置的示意性側向截面圖，其中多光圈成像裝置包含多個致動器； 圖3c      示出圖3a及/或圖3b之多光圈成像裝置的示意性側向截面圖，其中可基於光束偏轉器之不同位置偵測到不同的全視場； 圖4a      示出根據一實施例之裝置的示意性俯視圖，其中致動器形成為壓電式彎曲致動器； 圖4b      示出圖4a之裝置的示意性側向截面圖，以說明致動器在關於圖3a所描述之長方體的平面之間的配置； 圖5a-d   示出根據實施例的部分視場在全視場中之配置的示意性表示； 圖6        示出根據第二態樣之一實施例的裝置之示意性透視圖； 圖7a      示出說明根據一實施例的對可藉由對全視場進行成像所獲得之影像資訊進行處理的示意圖； 圖7b      示出根據一實施例的對所累積影像資訊中之一部分影像資訊進行縮放的示意性表示；及 圖8        示出根據一實施例的可用於第一及/或第二態樣之本發明裝置中的多光圈成像裝置之部分。
101:裝置
12:影像感測器
14:陣列
16a-d:鄰近地配置之光學通道
18:光束偏轉器
22a-d:光學件
24a-d:部分視場
26:全視場
28a-d:影像感測器區域
32:聚焦構件
34:控制構件
36,42:影像資訊
38:深度圖

Claims (17)

  1. 一種包含一多光圈成像裝置之裝置，其包含：該多光圈成像裝置，其包含：一影像感測器；鄰近地配置之光學通道之一陣列，各光學通道包含用於將一全視場之至少一部分視場投影在該影像感測器之一影像感測器區域上的光學件，一光束偏轉器，其用於偏轉該等光學通道之一光束路徑，聚焦構件，其用於調整該多光圈成像裝置之一焦點位置；該裝置進一步包含：控制構件，其適於控制該聚焦構件並從該影像感測器接收影像資訊；其中該控制構件適於在該多光圈成像裝置中設定一焦點位置序列從而偵測該全視場之對應的一影像資訊序列，並以該影像資訊序列為基礎來創建用於所偵測全視場之一深度圖；其中該控制構件適於從該影像資訊序列創建該深度圖。
  2. 如請求項1之裝置，其中該等光學通道形成為以一至少立體方式偵測該全視場；其中該控制構件適於以從該等光學通道獲得之視差資訊為基礎來產生一初步深度圖；並以基於該影像資訊序列之深度資訊為基礎來補充該初步深度圖以便獲得該深度圖；或其中該控制構件適於以該影像資訊序列為基礎來創建一初步深度圖；並以基於從該等光學通道獲得之視差資訊的深度資訊為基礎來補充該初步深度圖以便獲得該深度圖。
  3. 如請求項2之裝置，其中該控制構件適於以一品質準則為基礎在該初步深度圖中選定該全視場之需要一改良之區域，並針對選定區域判定用 於補充該初步深度圖之額外深度資訊而不針對非選定區域進行判定。
  4. 如請求項1之裝置，其中該控制構件適於在該焦點位置序列中獲取一對應數目個部分影像群組，各部分影像與一所成像部分視場相關聯；從該等部分影像中之局部影像清晰度資訊的一比較結果產生該深度圖；以及在使用該深度圖時，將一部分影像群組中之該等部分影像組合成一總影像。
  5. 如請求項1之裝置，其適於控制該聚焦構件，從而使得該焦點位置序列在一最小焦點位置與一最大焦點位置之間的影像空間中於25%之一容限範圍內等距地分佈。
  6. 如請求項1之裝置，其適於以該影像資訊序列為基礎來產生表示該全視場之一總影像序列，其中各總影像係基於同一焦點位置之部分影像的一組合。
  7. 如請求項1之裝置，其適於以該深度圖為基礎來改變表示該全視場之一總影像。
  8. 如請求項1之裝置，其適於將該全視場之一影像產生為一單影像並從單影像序列產生該深度圖。
  9. 如請求項1之裝置，其中該陣列之一第一光學通道形成為映射該全視場之一第一部分視場，其中該陣列之一第二光學通道經組配以對該全視場之一第二部分視場進行成像，且其中一第三光學通道經組配以對該全視場進行完全成像。
  10. 如請求項1之裝置，其中該聚焦構件包含用於調整該焦點位置之至少一個致動器，該聚焦構件經組配以至少部分地安置於由一長方體之側面跨越的兩個平面之間，該長方體之該等側面彼此平行對準且平行於該陣列之一 行延伸方向及該等光學通道之該光束路徑在該影像感測器與該光束偏轉器之間的一部分，且該長方體之體積最小且仍包含該影像感測器、該陣列及該光束偏轉器。
  11. 如請求項10之裝置，其中該多光圈成像裝置具有經組配以垂直於該兩個平面之一厚度方向，該致動器具有平行於該厚度方向之一尺寸，且該尺寸之至多50%的一部分從定位於該兩個平面之間的一區突出至該兩個平面外。
  12. 如請求項10之裝置，其中該聚焦構件包含用於提供該等光學通道中之至少一者的光學件與該影像感測器之間的相對移動之一致動器。
  13. 如請求項12之裝置，其中該聚焦構件適於執行該等光學通道中之一者的該等光學件與該影像感測器之間的該相對移動，同時執行該光束偏轉器之與該相對移動同步的一移動。
  14. 如請求項10之裝置，其中該聚焦構件經組配以從定位於該等平面之間的區域突出至多50%。
  15. 如請求項10之裝置，其中該聚焦構件之該至少一個致動器包含一壓電式彎曲致動器。
  16. 如請求項10之裝置，其中該聚焦構件包含適於提供移動之至少一個致動器，且包含用於將該移動傳輸至該陣列以用於調整該焦點位置之機械構件；該致動器配置於該影像感測器的背離該陣列之一側上，且該機械構件經配置成使得一力通量側向地通過該影像感測器；或該致動器配置於該光束偏轉器的背離該陣列之一側上，且該機械構件經配置成使得一力通量側向地通過該光束偏轉器。
  17. 如請求項1之裝置，其中該光束偏轉器之一相對方位可在一第 一位置與一第二位置之間切換，從而使得在該第一位置中，該光束路徑朝向一第一全視場偏轉，且在該第二位置中，該光束路徑朝向一第二全視場偏轉；其中該一個控制構件適於控制該光束偏轉器移動至該第一位置以從該影像感測器獲得該第一全視場之成像資訊；控制該光束偏轉器移動至該第二位置以從該影像感測器獲得該第二全視場之成像資訊；及將該第一成像資訊的一部分***該第二成像資訊中，從而獲得部分表示該第一全視場且部分表示該第二全視場之所累積影像資訊。
TW108146994A 2018-12-21 2019-12-20 包含用以產生深度圖的多光圈成像裝置之裝置 TWI745805B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018222865.5 2018-12-21
DE102018222865.5A DE102018222865A1 (de) 2018-12-21 2018-12-21 Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte

Publications (2)

Publication Number Publication Date
TW202037964A TW202037964A (zh) 2020-10-16
TWI745805B true TWI745805B (zh) 2021-11-11

Family

ID=69024262

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108146994A TWI745805B (zh) 2018-12-21 2019-12-20 包含用以產生深度圖的多光圈成像裝置之裝置

Country Status (6)

Country Link
US (1) US11924395B2 (zh)
EP (2) EP3900317B1 (zh)
CN (1) CN113366821B (zh)
DE (1) DE102018222865A1 (zh)
TW (1) TWI745805B (zh)
WO (1) WO2020127262A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019204075B4 (de) 2019-03-25 2022-03-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
TWI818282B (zh) * 2021-07-12 2023-10-11 明基電通股份有限公司 投影裝置、投影系統及投影影像校正方法
CN114640802A (zh) * 2022-03-15 2022-06-17 世维(苏州)电子科技有限公司 一种无重叠成像矩阵相机排布方法及矩阵相机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827730A (zh) * 2011-06-21 2014-05-28 管理前街不同收入阶层的前街投资管理有限公司 用于生成三维图像信息的方法和装置
WO2015017730A1 (en) * 2013-07-31 2015-02-05 California Institute Of Technoloby Aperture scanning fourier ptychographic imaging
WO2016033452A1 (en) * 2014-08-29 2016-03-03 Ioculi Inc. Image diversion to capture images on a portable electronic device
TW201802541A (zh) * 2016-05-12 2018-01-16 弗勞恩霍夫爾協會 3d多孔徑成像裝置、多孔徑成像裝置、提供3d多孔徑成像裝置之輸出訊號的方法、擷取全視野之方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012174633A1 (en) 2011-06-21 2012-12-27 Isee3D Inc. Method and apparatus for generating three-dimensional image information
JP2012123296A (ja) * 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器
IN2014CN03038A (zh) * 2011-11-04 2015-07-03 Imec
WO2013064512A1 (en) * 2011-11-04 2013-05-10 Imec Spectral camera with mirrors for projecting multiple adjacent image copies onto sensor array
US8792013B2 (en) * 2012-04-23 2014-07-29 Qualcomm Technologies, Inc. Method for determining the extent of a foreground object in an image
US9288377B2 (en) * 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
DE102013203425A1 (de) * 2013-02-28 2014-08-28 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Filmkamera
DE102013016752A1 (de) * 2013-09-03 2015-03-05 Universität Stuttgart Verfahren und Anordnung zur robusten One-shot-Interferometrie, insbesondere auch zur optischen Kohärenz-Tomografie nach dem Spatial-domain-Ansatz (SD-OCT)
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US9374514B2 (en) * 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
JP6296887B2 (ja) * 2014-05-07 2018-03-20 キヤノン株式会社 焦点調節装置およびその制御方法
WO2015195746A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
DE102014212104A1 (de) * 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
KR101575964B1 (ko) * 2014-07-01 2015-12-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 듀얼 애퍼처 카메라의 센서 어레이
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
EP3035284A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
DE102015215836B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung
DE102015215844B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, tragbare Vorrichtung und Verfahren zum Herstellen einer Multiaperturabbildungsvorrichtung
DE102015215837A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Verfahren zum Herstellen derselben und Abbildungssystem
DE102015215840B4 (de) * 2015-08-19 2017-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102015215841B4 (de) 2015-08-19 2017-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multikanalabbildungsvorrichtung und Verfahren zum Herstellen derselben
DE102015215833A1 (de) 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit Optiksubstrat
DE102015215845B4 (de) 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
DE102015216140A1 (de) 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US10237473B2 (en) * 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
CN105093523B (zh) * 2015-09-11 2017-10-31 哈尔滨工业大学 多尺度多孔径光学成像***
US10051182B2 (en) * 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
DE102015220566B4 (de) * 2015-10-21 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung, Verfahren zum Bereitstellen derselben und Verfahren zum Erfassen eines Gesamtgesichtsfeldes
JP6792188B2 (ja) * 2015-12-25 2020-11-25 株式会社リコー 光走査装置及び画像表示装置
DE102016200285A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102016200287A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102016204148A1 (de) 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
US10097777B2 (en) * 2016-06-03 2018-10-09 Recognition Robotics, Inc. Depth map from multi-focal plane images
US11042984B2 (en) * 2016-11-10 2021-06-22 Movea Systems and methods for providing image depth information
CN106775258A (zh) 2017-01-04 2017-05-31 虹软(杭州)多媒体信息技术有限公司 利用手势控制实现虚拟现实交互的方法和装置
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
WO2019174756A1 (en) * 2018-03-15 2019-09-19 Photonic Sensors & Algorithms, S.L. Plenoptic camera for mobile devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827730A (zh) * 2011-06-21 2014-05-28 管理前街不同收入阶层的前街投资管理有限公司 用于生成三维图像信息的方法和装置
WO2015017730A1 (en) * 2013-07-31 2015-02-05 California Institute Of Technoloby Aperture scanning fourier ptychographic imaging
WO2016033452A1 (en) * 2014-08-29 2016-03-03 Ioculi Inc. Image diversion to capture images on a portable electronic device
TW201802541A (zh) * 2016-05-12 2018-01-16 弗勞恩霍夫爾協會 3d多孔徑成像裝置、多孔徑成像裝置、提供3d多孔徑成像裝置之輸出訊號的方法、擷取全視野之方法

Also Published As

Publication number Publication date
CN113366821B (zh) 2024-03-08
TW202037964A (zh) 2020-10-16
US11924395B2 (en) 2024-03-05
EP4325875A2 (de) 2024-02-21
EP3900317B1 (de) 2024-01-17
EP3900317A1 (de) 2021-10-27
US20210314548A1 (en) 2021-10-07
DE102018222865A1 (de) 2020-06-25
EP4325875A3 (de) 2024-04-24
CN113366821A (zh) 2021-09-07
WO2020127262A1 (de) 2020-06-25

Similar Documents

Publication Publication Date Title
US10606152B2 (en) Multi-aperture imaging device, imaging system and method for capturing an object area
US8305425B2 (en) Solid-state panoramic image capture apparatus
US10708570B2 (en) 3D multi-aperture imaging devices, multi-aperture imaging device, method for providing an output signal of a 3D multi-aperture imaging device and method for capturing a total field of view
TWI745805B (zh) 包含用以產生深度圖的多光圈成像裝置之裝置
TWI617177B (zh) ３ｄ多孔徑成像裝置
US20190222768A1 (en) Multi-aperture imaging device, imaging system and method for providing a multi-aperture imaging device
TWI687099B (zh) 用於成像局部視場的裝置、多孔徑成像裝置及其提供方法
US10996460B2 (en) Multi-aperture imaging device, imaging system and method of providing a multi-aperture imaging device
US11070731B2 (en) Multi-aperture imaging device, imaging system and method for making available a multi-aperture imaging device
CN115335768B (zh) 具有可旋转反射器的成像***
US11330161B2 (en) Device comprising a multi-aperture imaging device for accumulating image information
US12007680B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
JP3564383B2 (ja) ３次元動画入力装置
CN118259532A (zh) 具有可旋转反射器的成像***
JP2001148866A (ja) 画像入力装置