TWI500319B - 影像感測器之延伸景深 - Google Patents

影像感測器之延伸景深 Download PDF

Info

Publication number
TWI500319B
TWI500319B TW098139542A TW98139542A TWI500319B TW I500319 B TWI500319 B TW I500319B TW 098139542 A TW098139542 A TW 098139542A TW 98139542 A TW98139542 A TW 98139542A TW I500319 B TWI500319 B TW I500319B
Authority
TW
Taiwan
Prior art keywords
image
pixels
subset
setting
aperture
Prior art date
Application number
TW098139542A
Other languages
English (en)
Other versions
TW201038061A (en
Inventor
Robert M Guidash
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201038061A publication Critical patent/TW201038061A/zh
Application granted granted Critical
Publication of TWI500319B publication Critical patent/TWI500319B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

影像感測器之延伸景深
本發明係關於電子影像擷取系統，且更特定言之係關於一種提供具延伸景深影像之一影像感測器陣列的裝置及其讀出方法。
諸如電荷耦合器件(CCD)影像感測器及主動像素感測器(APS)器件的電子影像感測器係在許多類型的電子成像系統中使用以產生一可見影像的電子表示。經常以互補金屬氧化物半導體程序製造的APS器件亦稱為CMOS感測器。通常，此等影像感測器包含佈置成規則二維圖案或列與行陣列的許多光敏像素(即，圖像元素)，其中每一個別像素提供基於一透鏡投射在該像素上的一場景影像之部分之光度的一信號。
由於製造及設計的不斷改良，CMOS及其他APS影像感測器通常可提供比有益於形成具較佳品質之影像多更多的像素。舉例而言，此對光學上失焦的部分影像而言係真實的，沒有增添的像素解析度可補償此類問題。
受限之景深係適用於許多較小相機及整合在手機及其他手持電子器件中之相機的高度緊湊封裝的一個結果。在具有固定位置之透鏡或用於為此等緊湊器件提供外形簡化設計之透鏡系統的情況下，可限定光學系統之景深並將其設定為一固定值。
一延伸景深之優點深為熟悉光學成像技術者所瞭解。延 伸一影像擷取系統之景深致能所擷取影像之更大比例部分具有改良的解析度並使其在焦點內呈現，且其不僅可產生固有地令觀看者更悅目的一影像，亦為影像處理及分析利用提供更佳的輸入；該延伸景深亦改良許多影像處理應用之效能，諸如(例如)對比調整、臉識別利用或目標識別利用及其他應用。
提供延伸景深之習知方法包含諸如聚焦堆疊的技術。聚焦堆疊使用一連拍目標之多個全解析影像，各影像在所要聚焦位置範圍內在光學系統不同之聚焦位置處拍攝。接著「堆疊(stack)」以此方式獲得的影像或者將其選擇性地組合以形成使在該範圍上獲得的影像之各部分最佳聚焦的一複合影像。聚焦堆疊之敘述係在Gouch之名為「Method and Apparatus for Forming a Multiple Focus Stack Image」的美國專利申請公開案第2005/0286800號中給定。
延伸景深的其他方法係應用波前編碼，其在相機光學元件中刻意引入像差，接著使用影像處理以使其在最終影像中被移除。波前編碼係在(例如)Cathey等人之名為「Extended Depth of Field Optical System」的美國專利第5,748,371號中描述。
延伸景深的又另一方法係應用全光成像。一全光影像擷取器件擷取來自目標之定向分佈的光之影像資料及資訊。一全光器件之一實例係在Georgiev之名為「Plenoptic Camera」的美國專利申請公開案第2007/0230944號中給 定。
雖然景深之增加的某些量測係由此等習知方法之各者提供，然而仍有限制各方法之利用的缺點。對於靜止目標的近距離攝影而言，最佳的聚焦堆疊通常需要一三角架或等效支撐物以最小化移動偽像。在具一CMOS感測器的情況下，必需在經設定用以獲得所需堆疊影像的許多焦距之各者處獲得一全影像。此解決方案對於大多數類型的消費者攝影應用或臨時攝影應用可能係難以實現的。波前編碼需要相機光學器件的點擴展函數(psf)之詳細特徵且在計算上係精深複雜的，通常需要額外的訊框記憶體電路及處理電路，使其成為一不切實際的解決方案，尤其是對視訊影像處理而言。全光影像擷取器件在計算上亦具有固有的複雜性且需要可能難以適用於諸如手機等等的手持器件之狹窄外形的元件封裝設計。
由此可見，雖然有增强或延伸一影像感測器及其輔助光學系統之景深的方法，然而此等方法對於許多類型的可擕式及手持成像裝置而言係不切實際的。
本發明之一目的係為推進數位成像技術並為使用電子成像感測器的成像器件提供改良景深。為此目的，本發明提供一種形成一影像且至少部分由一資料處理裝置實施的方法，該方法包含：從處於一第一f/#設定的一影像感測器陣列中之一第一像素子集處獲得一場景之一第一影像；將從該場景處獲得光之成像光學器件調整為一第二f/#設定；從 該影像感測器陣列之一第二像素子集處獲得該場景之一第二影像；及藉由組合來自至少該第一影像及該第二影像處的影像資料而形成一複合影像。
根據本發明的影像擷取裝置特別適用於擷取需要一增強景深之靜止影像的相機及其他類型影像擷取器件。本發明之實施例可具有能有效使用此等影像擷取方法的廣泛應用及衆多類型影像擷取器件。此數位成像裝置可包括：一數位感測器，該數位感測器包括一像素陣列且其中該等像素被編組成至少第一像素子集及第二像素子集，其中各像素子集可獨立讀取；一光圈，該光圈係耦合至一致動器以致動至少一第一光圈設定及一第二光圈設定；及一控制邏輯處理器，該控制邏輯處理器回應於控制該致動器之指令以將該光圈設定為該第一光圈設定並從該第一像素子集處獲得影像資料內容及將該光圈設定為該第二光圈設定並從該第二像素子集處獲得影像資料內容。
在另一實施例中，本發明亦涉及一種形成一影像的方法，其包括以下步驟：同期擷取一場景內容之複數個影像，各影像具有一不同景深及一對應不同的影像解析度；為各影像確定具有優於該影像其他部分之影像解析度之一影像解析度的該影像之至少一部分；藉由組合來自該複數個影像之各者處的影像資訊而形成該場景內容之一複合影像；及從具較優影像解析度的各影像之該至少一部分選擇各影像的影像資訊。
在回顧以下較佳實施例之詳細描述及隨附技術方案並參 考附圖後，本發明之此等及其他態樣、目的、特徵及優點將更清晰明瞭。
因為用於信號擷取及修正與曝光控制的數位成像裝置及相關電路已為人所熟知，本說明書更明確針對關於本發明的元件及操作。本文中未明確繪示或描述的元件係選自此項技術已知的元件。
本文中繪示與描述之諸圖式係依次序提供以說明本發明之操作的主要原理，且無意以繪示實際尺寸或比例的目的來繪出。一些誇張可能係必要的，以強調相對的空間關係或操作原理。
待述之諸實施例的某些態樣係由諸如電腦、微處理器或其他類型控制邏輯處理器之一資料處理裝置控制下之軟體提供的指令控制。給定根據以下揭示內容之本發明而繪示及描述的系統，對本發明之實施係有用的，但在本文中未明確繪示、描述或建議軟體，係習知的且在此項技術之一般技藝中。
在本發明之內文中，術語「分割(partition)」具有在數學集合論中使用的意義。一集合S之分割係其聯集為全集S之不相交正常、非空真子集的集合。分割之此種較正式定義與該術語臨時使用的含義稍微不同。但是，數學集合論所賦予的正式定義尤其適用於界定如何使用本發明之某些實施例的方法及裝置來組織一陣列中的像素，如隨後將更詳細地描述。
除非另有明確聲明，本文所使用之術語「子集(subset)」稱為一非空子集。對於一集合S而言，一子集可包括全集S。但是，集合S之「真子集(proper subset)」係嚴格含於集合S中且排除集合S之至少一個成員。若兩個子集之交集為空集(即，若其等無共同元素)則該二個子集不相交。
在一影像感測器內容中，一像素「圖像元素(picture element)的縮寫」稱為一離散光感測區域且稱為與該光感測器區域相關聯的電荷轉移電路或電荷量測電路。在未使用內插值的一數位彩色影像內容中，術語像素通常稱為該影像之具相關聯顏色敏感度或限於一原色(使用濾光器)或通常全色的一特定位置。術語顏色像素將稱為在經定義之光譜帶上具一彩色顏色光回應的一像素。
在本發明內容中，術語「同期曝光(contemporaneous exposure)」係指相同場景內容之兩個或多於兩個曝光依序發生在極短時間段內。在大致容許更新或重設個別曝光間之電路、無意間的相機移動或在影像擷取間之短間隔期間目標之大體上可忽略之移動所需的短間隔的情況下，同期曝光暗示各曝光的場景內容大體上係相同的。
為更佳理解本發明之裝置及方法，回顧使用一影像感測器陣列及用於在習知實踐中用於讀出影像資料的一影像感測器陣列及某些基本操作順序而用於獲得一影像的成像系統組件係有益的。
數位成像裝置的功能零件
參考圖1，所示為本發明之一種數位成像裝置10的影像擷取路徑之方塊圖。雖然將數位成像裝置10描述為一數位相機，但是以下敘述通常亦適用於包含於非相機器件(諸如(例如)手機、多種類型的可擕式演算器件及機動車輛)中之成像子系統上的其他類型手持可擕式影像擷取器件或內建影像擷取器件。
來自主題場景之光入射至繪示為一透鏡12的輸入光學器件處，該透鏡導向光以使其通過一光圈14並朝向一影像感測器陣列20。影像感測器陣列20將入射光轉換為各圖像元素(像素)的一電信號。較佳實施例的影像感測器陣列20可為一電荷耦合器件(CCD)類型或一主動像素感測器(APS)類型。
由於感測器陣列20曝光，故在各像素處的電子結構中產生並擷取自由的少數載子(電子或電洞)。擷取此等自由的少數載子一段時間後量測所擷取之少數載子之數量，或量測產生自由的少數載子之速度，可量測各像素處的光度。在上述情形中，積聚的電荷從像素陣列處轉移至如一電荷耦合器件(CCD)的一電荷轉電壓量測電路，或接近各像素的區域可含有如一主動像素感測器(APS或CMOS感測器)的一電荷轉電壓量測電路之元件。
在一實施例中，使用APS技術，影像感測器20之各像素具有用於讀出像素信號的光偵測器電路及主動電晶體電路二者。藉由光電效應影像感測器中的各像素之光偵測器可將照射在該像素上的光子轉換成一電荷。在長至足以收集 一可偵測量電荷但是短至足可避免使儲存元件飽和的一段時間上累積電荷。此累積時段類似於膠片曝光時間(即，快門速度)。對於顏色成像，該感測器包含隨後將更詳細描述的一彩色濾光器配置。
對本發明之實施例尤其有用的一機構係一可控制光圈14。在攝影技術及光學技術中吾人已熟知光圈且合併光圈的透鏡或成像系統之「光圈值(「f stop」)」(下文有意稱為「f/#」)係光圈14之開孔直徑的函數且其調節光到達影像感測器陣列20的角度，如此，測定數位成像裝置10的有效視場(FOV)及景深(DOF)，隨後將作更詳細的描述。提供具大小由數位成像裝置10邏輯執行之指令控制的一可調整光圈14的數位成像裝置10，致能同期影像擷取操作以獲得不同f/#設定值處的連續影像，隨後將作更詳細的描述。
在如圖1所示之實施例中，一控制邏輯處理器30控制光圈14及影像感測器陣列20之操作。一信號處理器22提供由感測器陣列20獲得的數位影像資料所需之信號處理功能。一記憶體24儲存從信號處理器22及感測器陣列20處獲得的影像資料。控制邏輯處理器30亦與用以接收操作者命令以控制數位成像裝置10的一使用者介面28通訊。
必須明白圖1之方塊圖繪示根據本發明之實施例操作的數位成像裝置10之最少數量組件且經常將不同數量的元件增添至光學路徑以支援器件的多個成像功能。舉例而言，可將諸如中性密度(ND)濾光器的額外光學元件內插在光學路徑中。或者可使用一快門，但是諸如滾動讀出的讀出時 序順序(將在隨後更詳細描述)消除了增添一快門機構的需要。
數位感測器陣列20的配置
數位感測器陣列20具有佈置在一二維列與行矩陣中的數千個光感測器之配置。在習知手持成像裝置中，感測器陣列20可易於具有數百萬個像素，使得此等器件按照百萬像素(106像素)來描述其成像能力。以一小部分陣列呈現表示本發明所示之感測器陣列20以表示其全部配置，而不考慮縮放分析、填充因數分析或其他元件級分析。
在小型化演進上的一個優點證諸於大量像素感測元件可製造於一小半導體晶片上。實務中，用於一單影像的可獲得之像素數量甚至可超過當顯示或列印該影像時所需的像素數量。由此，經常需要將像素資料編組以將所擷取之影像資料中的一串鄰近像素組合在一起以形成一單像素的顯示或列印資料。
為獲得可組合的額外組影像資料以改良所獲得的一數位影像之有效景深，本發明之實施例利用此高像素數。本發明之實施例亦利用新穎元件設計改良，其容許將一感測器陣列待分段成通常(但不必需)兩個或兩個以上不相交像素子集，其中各像素子集之讀出時序可經控制獨立於其他像素子集的讀出時序。此係時下許多習知影像感測器所具有的能力。但是，具此能力的影像感測器陣列20硬體之設計係在實踐影像感測器設計技術及製造技術的技藝範圍內。為更佳理解本發明之實施例如何運作，首先總覽數位感測 器陣列20之習知配置及讀出操作係有益的。
在陣列20的設計中，已採取若干步驟來最大化影像感測的可用空間。舉例而言，不為各列像素獨立提供類比數位轉換器(ADC)電路，而通常做法是僅提供足夠儲存器件來同時讀出一單列的諸像素。隨後，不能同時量測或讀出完全二維感測器陣列的像素信號。取而代之，像素感測器信號係以串行方式讀取。舉例而言，在具一單ADC器件的一CCD中，像素信號係以光柵的方式讀出，亦即在像素陣列中逐列及在各列逐像素之方式。
影像感測器之串行特性的直接讀出控制整個感測器陣列可讀取的速度，其受限於讀出機構的頻寬。舉例而言，若影像感測器之讀出機構每秒可量測5千萬個像素，那麼其需十分之一秒來讀出一5千萬像素影像感測器。減少讀取整個影像感測器的讀取時間通常需要增加能量消耗以更快讀出，或增加該影像感測器之大小以提供額外讀出通道。但是無論增加能量消耗或增加尺寸，皆非手持影像擷取器件所期望。
為產生一彩色影像，影像感測器陣列20通常在諸像素上方放置彩色濾光器的一覆蓋圖案。圖2繪示通常使用的紅(R)、綠(G)、藍(B)彩色濾光器的圖案。此特定圖案通常以一Bayer彩色濾光器陣列(CFA)(揭示於美國專利第3,971,065號中並以其發明者Bryce Bayer之名命名)而為人所知。此圖案有效使用在具二維陣列彩色像素的影像感測器中。結果，各像素具有一特定彩色光回應(在此情形 中，主要對紅、綠或藍光敏感)。彩色光回應的另一有用種類係主要對洋紅、黃、或青光敏感。在各情形中，特定彩色光回應對可見光譜的某些部分具有高敏感度，且同時對該可見光譜的其他部分具有低敏感度。
最小重複單元係使得無其他重複單元具更少像素的一個重複單元。舉例而言，圖2之CFA包含為如圖2之像素方塊100所示的兩個像素乘兩個像素的一最小重複單元。使此種最小重複單元的多個拷貝平鋪以覆蓋一影像感測器中之整個像素陣列。所示最小重複單元中一綠像素在上右角，但是可藉由將粗框線區域向右移動一個像素、向下移動一個像素或對角地向右下移動一個像素而容易辨識三個替代的最小重複單元。雖然像素方塊102係一重複單元，然而因為像素方塊100係一重複單元且方塊100比方塊102具有更少的像素，所以其非為一最小重複單元。
使用具圖2之二維CFA陣列的一影像感測器擷取的影像在各像素處僅具有一顏色值。為生產一全彩色影像，有許多種推斷或插補在各像素處缺失之顏色的技術。此等CFA插補技術在此項技術中已為人所熟知。
因為排除了機械零件且減少了成本需求及空間需求，所以通常做法係設計不具光阻擋快門的一影像擷取系統。此類系統代之依賴於有效提供一電子快門的感測器時序。此時序方案藉由重設各光感測器、累積電荷載子(光電子或者或是電洞)而操作，且接著以一有序順序讀出光感測器信號。重設步驟可藉由將來自一光感測器的剩餘電荷轉移 至相關聯的浮動擴散電路且接著丟棄該剩餘電荷而完成。在曝光期間，使光電子在該光感測器中積聚預定的累積時間，此時電荷信號被轉移至浮動擴散部中。在CMOS器件中，電荷信號轉換成一電壓。該相關聯的電壓接著被儲存在諸如一電容的一記憶體器件中。
若為該浮動擴散部之目的而使該感測器具有足夠低的暗電流及足夠好的光遮蔽，則無需即刻讀出所轉移之電荷。在此等情形下，可立刻將來自所有像素的電荷轉移至其各自浮動擴散部且接著當依序列讀出順序不斷逐列處理信號時等待片刻。當然，為運作此一全局轉移，各像素其自身亦需具有光遮蔽浮動擴散部。
本發明之方法及裝置可以用於從影像感測器陣列20處獲得像素值的任一多種類型之讀出順序運作。隨後敘述繪示一種運用APS及類似陣列器件後具有特定強度及優點的方法，即滾動快門方法。但應強調的是，此僅係可用於本發明之實施例的一組可用讀出時序方案之一種。
影像資料讀出的滾動快門順序
影像擷取之時序通常遵循兩種基本模式之一。在一全局擷取順序中，所有影像像素之曝光信號值簡單地被曝光且同時被轉移。但是，此類型的順序需要相當的器件複雜性且由於限定在感測器晶片上的光接收空間量，其可為不利的。取而代之，已採用一種逐列讀取方法且其經常係CMOS APS像素的較佳讀取模式。此「滾動快門(rolling shutter)」順序避免了展現在一CCD參差場內的差動曝光問 題，容許各列之曝光延伸同樣長度的時間，或(舉例而言)甚至容許不同分組像素具有不同的曝光時段。至於一額外優點，由於不需各像素之遮蔽儲存，故滾動快門順序簡化了感測器元件的設計。但是，由於各列之曝光可獨立於其他列之曝光且其他列、各連續列或在一列中分組的像素之曝光係以一有序方式發生，所以一場景影像之各列部分之擷取比前列微遲。因此，該場景與影像感測器間之相對移動可引起該場景內之目標在由該影像感測器所擷取的影像中扭曲地出現。此扭曲效果，稱為影像「剪切(shear)」，其係滾動快門配置之特徵。舉例而言，若此一所謂滾動快門或電子焦點平面快門影像感測器係用於擷取一水平移動汽車之一影像，該汽車相對於該影像感測器移動，隨著曝光並讀出所擷取影像之各列，使得所擷取影像之各列在一不同位置處繪示車輛。此可使圓形車輪胎變得有點橢圓，且可使矩形車窗扭曲變成平行四邊形。歸因於移動之此扭曲係讀出該影像感測器之所有列的所需時間量的一直接結果。若可以一較快速度讀出該等列，那麽可減少此扭曲。但是如先前所述，對於影像感測器而言，增加讀出速度通常需要非所期地增加成本上及功率消耗。
對於矽基影像感測器而言，像素組件自身對可見光係廣泛敏感的，此容許未經過濾之像素適用於擷取一單色影像。對於擷取彩色影像而言，如先前參考圖2所述，在具有用於製作僅對一部分可見光譜敏感之個別像素的不同濾光器材料的情況下，濾光器之二維圖案通常被製造於像素 圖案上。
至於在變化光情形下改良影像擷取及改良成像感測器之總敏感度的解決方案，已揭示對上述專利‘065之為人所熟悉的Bayer圖案之修改。舉例而言，共同受讓的Hamilton等人之名為「Capturing Images Under Varying Lighting Conditions」的美國專利申請公開案第2007/0046807號及Compton等人之名為「Image Sensor with Improved Light Sensitivity」的美國專利申請公開案第2007/0024931號，此二案描述合併以某種方式空間參差且具全色(P)濾光元件(如圖3之以陣列212所示)之彩色濾光器的替代感測器配置。最小重複單元展示為在R處標出輪廓。在運用此類型解決方案的情況下，以改良的動態範圍及敏感度，該影像感測器之某些部分偵測顏色而其他全色部分被最優化以偵測橫越可見波段的光。因此，此等解決方案提供一像素圖案，某些具有彩色濾光器(提供一窄波段光譜回應)且某些不具有彩色濾光器(未過濾的「全色(panchromatic)」像素或經過濾以提供一寬波段光譜回應的像素)。使用組合的窄光譜波段像素回應及寬光譜波段像素回應二者，影像感測器可被用在較低光度處或提供更短曝光時間。舉例而言，參看Sato等人之美國專利第4,390,895號、Yamagami等人之美國專利第5,323,233號及Gindele等人之美國專利第6,476,865號。
在一CMOS APS器件之影像感測器陣列20中，累積時間(或稱為曝光時間)為開始曝光的一給定像素列之重設與結 束此曝光的該列之隨後讀取或讀出之間的間隔。由於在一時間內僅可選擇一列，故重設/讀取常式為依序的(即，逐列)。如所談論般，此種約束係基於稱為一「滾動電子快門(rolling electronic shutter)」或更簡單地稱為「滾動快門(rolling shutter)」且在成像技術中已為人所熟知的讀取技術。滾動快門時間順序之變量的少量實例在Yadid-Pecht等人之名為「Image Sensor Producing at Least Two Integration Times from Each Sensing Pixel」的美國專利第6,115,065號，及Krymiski等人之名為「Look-Ahead Rolling Shutter System in CMOS Sensors」的美國專利第6,809,766號中給定。讀取順序之有效快門寬度與能夠累積與讀出間的時間有關。至於一種滾動快門順序的方法，領先索引一讀取指標器等於該快門寬度的一數量而索引一重設指標器。該二個指標器間的時間差對應於像素累積時間。
圖4A展示此實例中在相對較佳的照明情形下滾動快門模式的一時序順序(如習知表示般表示)。橫座標(x軸)表示時間。縱座標(y軸)表示感測器陣列內的列數量。各斜線指示一快門寬度的讀取(例如，一列或多列)。依次對各列實行一重設300。像素累積時間係由一粗箭頭指示。在一適當累積時間後，對該(等)列實行一讀取302。
可從圖4A之時序圖處看出，此習知滾動快門順序容許在其期間未獲得光子的時段(明確言之，在一讀取302與其隨後重設300之間)。雖然此在較佳照明情況下係可接受，然 而在低光的情形下可能不能良好的實施此種配置。此係因為由於光敏感度的減少可能需更多的像素累積時間。圖4B之時序圖展示低光情形的替代時序。在此，在讀取302後立刻實行重設300，此最大化像素累積時間以使不浪費入射光子。
形成感測器陣列20的分割
再次使用先前描述的分割之正式定義，本發明之方法能夠與容許獨立待曝光及待讀取二個或多於二個像素子集(包含二個或多於二個像素子集形成一感測器陣列20之一分割之處)的任意感測器共用。圖5展示兩個分量子集40a及40b形成感測器陣列20之一分割的感測器陣列20之一部分。可獨立於分量子集40b重設、曝光及讀取分量子集40a。此種像素分為可獨立定址分量子集的配置容許成像裝置10(圖1)使用滾動讀出時序擷取同樣場景內容之二個不同的影像(各在不同的時間間隔上被擷取)。
圖6展示用於圖5之二子集分割實施例的滾動讀出時序。對在圖4A-5中給定的子集使用平行標記，一重設300a及一讀取302a用於子集40a、一重設300b及一讀取302b用於子集40b。由此，需兩個連續滾動快門讀出順序以讀取完整影像感測器，一個用於讀取分量子集40a，另一個用於讀取子集40b。
熟悉此項技術者可明白圖5及圖6之實例可以許多種方式擴展。舉例而言，可自多於兩個子集形成一影像感測器陣列20之一分割。子集可包含像素的完整列或可被業集為群 組(如圖5之實例)。在相同子集內之像素可互相分開。亦可使用全色(P)像素(如圖3所示)的配置。接著圖6之時序配置可擴展一額外滾動快門讀出順序以操作各額外子集。
在一替代實施例中，分量子集可部分重疊，即，兩個或多於兩個分量子集可共同地具有一個或多個像素。此意謂著該等子集無需符合形成感測器20之一分割的嚴格正式定義。在另一替代實施例中，兩個或多於兩個分量子集可具有不同的曝光間隔。任意兩個子集可為具不同像素數量的不同大小。
以此方式使用像素子集容許成像裝置10以一同時方式獲得相同場景內容之多重影像，即，其中及時獲得彼此緊挨著的所有影像。此容許從個別連續擷取中自該相同場景處獲得的影像資料之組合形成一複合影像。本發明之實施例採用此能力以增強成像裝置10之景深。
景深分析
在影像擷取中，如以上本文所述，f/#界定光學系統操作的光角度且提供影像解析度的某些量化量測。將一透鏡之f/#測定為該透鏡(f)之焦點長度除以其光圈(a)的商。對於具一固定焦點長度f的一透鏡而言，f/#依改變的光圈大小而變化。
對於由一相機或其他影像擷取器件獲得的影像而言，景深(DOF)與從該影像擷取器件至被視為「焦點對準(in focus)」(或更精確而言，被視為提供令人滿意的清晰度)之主題場處的相對距離有關。出於此原因，有時稱景深為 聚焦深度，雖然聚焦深度更適於就影像方面稱之，而非就透鏡之目標方面稱之。對於熟悉成像技術者而言，景深與成像光學器件的f/#相互關聯。偏低的f/#導致相對窄的景深。隨著範圍內f/#的增加，景深亦增加。
更小的手持影像擷取器件通常具有一長距離(通常稱為無限遠)的固定焦點長度。藉由提供一簡單低成本可控制光圈14(圖1)以展現影像擷取器件設計，本發明之實施例提供從一場景處獲得增強景深(DOF)資訊的能力。光圈14可為包含(舉例而言)具受限量之固定設定的一器件的一機械光圈。此種類型的一光圈14可為一改進型以在許多實施例中在甚少影響或不影響手持器件之總機械尺寸的情況下展現影像擷取器件光學元件。
圖7之示意圖展示對於相同固定焦點長度F而言光圈14之設定如何獲得兩個不同的f/#設定。在將光圈14設定在更寬開孔或更低f/#的情況下，景深DOFa係相對淺的。為一更高f/#而將光圈14設定為更大，則景深DOFb係更寬的。如熟悉成像技術者所熟知，雖然更小的f/#容許一更小的景深，然而其對於接收光之數量係有利的，且因此可獲得接收光時的一曝光速度。在一較高f/#處，需要更多的曝光時間以從一場景處獲得相同的光能量。
本發明之方法及裝置致能成像裝置10實行相同場景內容的同期影像(各影像具一不同景深)擷取。接著可使用熟悉成像處理者已知的自相關、對比測定或其他技術來分析不同影像以偵測該影像之具有最佳清晰度的部分。接著基於 此種分析可剪輯、儲存及處理該場景內容之複合影像資料。
圖8之示意圖展示在獲得三個不同影像擷取(一者在三個分量子集之各者中)之一例示性實施例中的此影像處理順序。藉由在此實施例中為數位成像裝置10之部分的一控制邏輯處理器50而根據所儲存或所提供的指令執行處理之控制。數位成像裝置10在(例如)f/2.8處擷取一第一影像併並從像素子集40a處讀取影像資料。此提供一過渡分量影像42a。接著經由一致動器46而將光圈14調整為(例如)f/5。接著數位成像裝置10在f/5處擷取一第二影像並從像素子集40b處讀取影像資料。此提供具有從圖8之成像裝置10能展示地更遠的一對應更大之景深的一過渡分量42b。接著經由致動器46而將光圈14調整為(例如)f/10。接著數位成像裝置10在f/10處擷取一第三影像並從像素子集40c處讀取影像資料。此提供一過渡分量影像42c。接著資料處理從分量影像42a、42b及42c處抽取適當的影像資料內容以產生最終影像44。因此，影像44可具有來自在三個不同f/#設定值處，逐漸變大的DOF範圍上獲得之影像內容的像素資料。
圖8之實例的分別重設操作及讀取操作之時序做為一實施例而展示在圖9之實例中。舉例而言，最初將光圈14設定為f/2.8。曝光及讀取使用與重設300a及讀取302a一起展示的滾動快門時序，藉此在分量子集40a上形成影像42a。接著將光圈14調整為(例如)f/5需要一間隔304。接著，執行滾動快門讀出用於以相同方式形成影像42b。隨後光圈 14調整至(例如)f/10的另一間隔304，又一次執行滾動快門讀出，在運作重設300c及讀取302c的情況下，形成影像42c。
基於參考圖8及圖9描述的實例進行大量的觀察係有益的：用調整光圈14來描述景深之調整。但是，一類似操作順序亦可用於另外調整使用致動器46改變在影像擷取間所擷取目標之相對清晰度的成像裝置10光學器件之對焦。
三個分量子集40a、40b及40c係以一者對各f/#設定而展示。分量子集之數量及配置可變化，使得可在兩個f/#設定處或在四個或更多f/#設定處進行曝光。
分量子集40a、40b及40c之其各別像素元件可具有任意適當分佈。在不同f/#處提供更高像素密度方面可具有優點，諸如為經由增加的像素數而獲得額外相對高f/#設定處的光。在由於全色像素(P)對(未過濾)入射光具更高敏感度，由此需要更短的累積時間而使用該全色像素(P)方面亦可具有優點。此對於幫助減少(例如)移動偽像係有利的。
如圖9所示，重設操作與讀取操作間之曝光間隔的時機可依不同的擷取而變化。相對於圖8及圖9之實例，可為f/10設定使用一更長的曝光時段以獲得更多光。相對地，需要較少時間於f/2.8設定處。
如圖8所表示分量子集40a、40b及40c可不相交，或可部分重疊，使得諸子集間有一些交集。
不同於習知的聚焦堆疊技術，本發明之方法獲得與感測 器陣列之原始解析度相比各具減少之解析度的多重影像。此方法提供相當大的適應性，使得可為f/#設定之不同設定、不同發光條件或其他可變化的條件而採用分量子集之不同配置。
雖然滾動快門讀出並不是僅有之可搭配本發明實施例一起使用的讀出技術，然而其在所關注方面具有許多優點。使用此一技術容許更為簡化的相機硬體及更低零件數，強烈意謂著此讀出時序對於諸如需要某些類型之機械快門的其他方法是更佳的。另外，可在相同感測器陣列20上快速執行不同分量子集的滾動快門讀出，使得目標移動或不經意間之相機移動的影響最小化。對於讀出像素子集的任意個別分量而言，由於在各讀出操作中資料之對應減少的量，可於標準讀出速率增加讀出速度。
有許多不同手段可組合分量影像42a、42b及42c的資料以形成如參考圖8所述的複合影像44。分析影像內容以測定(例如)最佳聚焦清晰度或對比度區域的影像處理技術係熟悉此項技術者所熟知。接著，具有諸如改良清晰度之優點的複合影像44為可為一成像裝置10之部分(圖8之控制邏輯處理器50)或可為一單獨電腦或其他控制邏輯處理器之一資料處理裝置之後續的影像資料處理，提供一增強的影像輸入。
使用本發明之分量子集及讀出時序配置容許在兩個或多於兩個f/#設定處擷取大體上相同的場景內容，產生許多各具有雖小於感測器陣列之原始像素解析度但具有不同景深 之一像素解析度的不同分量影像。接著，可以許多種手段組合所得分量影像以形成一複合影像。舉例而言，在一實施例中，複合影像44係形成為一種包含兩個或多於兩個分量子集的某些部分，或該兩個或多於兩個分量子集之各者的全部，經或未經額外影像處理的資料結構。在另一實施例中，基於該影像多個區上的影像對比度或其他可偵測影像內容屬性，擷取兩個或多於兩個分量子集的各者，並將其用於形成複合影像44。
在一實施例中，相同成像裝置10可在諸模式之間切換，包括一習知影像擷取模式，對於一曝光順序而言，在感測器陣列20上使用大體上所有像素；及一延伸景深模式，其使用本發明之方法，在不同f/#設定處同期曝光兩個或多個子集。可使用模式控制或藉由用使用者介面28(圖1)來發送一軟體指令，而實現模式改變。
已特定參考本發明之某些較佳實施例描述本發明，但是應明白變化及修改可在如上所述本發明之範圍內且如在隨附請求項所述由一般技術者在不脫離本發明之範圍的情況下進行。舉例而言，可為一影像感測器使用任意數量可行的分量子集配置。可為低光情形或為移動成像進一步調整曝光時間。可為調整光圈設定而使用任意數量類型的致動器。獲得影像且調整各影像間之景深的資料處理裝置可為一數位成像裝置10自身的一組件或可為將操作指令提供至數位成像裝置10的一外部電腦。
由此，本發明所提供的係一種具光學系統控制的成像系 統及一種用於讀出提供具延伸景深之影像的一影像感測器陣列的方法。
10‧‧‧數位成像裝置
12‧‧‧透鏡
14‧‧‧光圈
20‧‧‧感測器陣列
22‧‧‧信號處理器
24‧‧‧記憶體
28‧‧‧使用者介面
30‧‧‧控制邏輯處理器
40a、40b、40c‧‧‧子集
42a、42b、42c‧‧‧影像
44‧‧‧複合影像
46‧‧‧致動器
50‧‧‧控制邏輯處理器
100‧‧‧方塊
102‧‧‧方塊
212‧‧‧陣列
300、300a、300b‧‧‧重設
302、302a、302b‧‧‧讀取
304‧‧‧間隔
Fa、Fb‧‧‧焦距
R‧‧‧最小重複單元
圖1係可採用一種習知感測器及處理方法或本發明之感測器及處理方法之一習知數位相機系統的方塊圖。
圖2係一種展示一最小重複單元及一非最小重複單元之習知Bayer彩色濾光器陣列圖案的平面圖。
圖3係使用彩色及全色像素二者之一替代感測器陣列配置的平面圖。
圖4A係展示一固態感測器陣列之滾動快門時序的時序圖。
圖4B係展示一固態感測器陣列之滾動快門時序的時序圖。
圖5係展示具兩個分量像素子集之一影像感測器陣列配置的平面圖。
圖6係展示用於讀取兩個分量子集之滾動快門時序的時序圖。
圖7係展示光圈設定如何影響成像裝置之景深的示意圖。
圖8係使用不同f/#設定獲得之相同場景內容之多重分量影像的示意圖。
圖9係展示用於使用圖8之實例而獲得多重影像之讀出順序及調整順序的時序圖。
10‧‧‧數位成像裝置
12‧‧‧透鏡
14‧‧‧光圈
20‧‧‧感測器陣列
22‧‧‧信號處理器
24‧‧‧記憶體
28‧‧‧使用者介面
30‧‧‧控制邏輯處理器

Claims (14)

  1. 一種用於形成一影像且至少部分係由一資料處理裝置實施的方法，該方法包括：從處於一第一f/#設定之一影像感測器陣列之一第一像素子集處，獲得一場景之一第一影像，其中一f/#設定表示在一焦點長度及與該影像感測器陣列相關聯之透鏡之一光圈之一大小之間之一關係；將從該場景處獲得光之成像光學器件調整為一第二f/#設定；從該影像感測器陣列中之一第二像素子集處，使用該等經調整成像光學獲得該場景之一第二影像；及藉由組合來自至少該第一影像及該第二影像處的影像資料而形成一複合影像；其中該第二像素子集及該第一像素子集係不相交的或部分重疊的其中一者。
  2. 如請求項1之方法，其中將獲得光之該成像光學器件調整為該第二f/#設定包括調整一光圈。
  3. 如請求項1之方法，進一步包括將從該場景處獲得光之該成像光學器件調整為一第三f/#設定，且從一第三像素子集處獲得該場景之一第三影像。
  4. 如請求項3之方法，其中該第三像素子集與該第一像素子集及該第二像素子集皆係不相交的。
  5. 如請求項1之方法，其中該第一子集及該第二子集中之至少一者包括一個或多個全色像素。
  6. 如請求項1之方法，其中使用一滾動快門讀出順序以獲得該第一影像及該第二影像。
  7. 如請求項1之方法，其中該第一像素子集及該第二像素子集係曝光一不同量的時間。
  8. 如請求項1之方法，其中該第一像素子集及該第二像素子集在像素數量上係不同的。
  9. 如請求項1之方法，其中將獲得光之該成像光學器件調整為該第二f/#設定包括調整聚焦。
  10. 如請求項1之方法，其中大體上同期獲得該第一影像及該第二影像。
  11. 如請求項2之方法，其中該光圈具有兩個或兩個以上的固定位置。
  12. 一種數位成像裝置，其包括：一數位感測器，其包括一像素陣列，其中該等像素被編組成至少第一像素子集及第二像素子集，其中各像素子集可被獨立讀取；一光圈，其係耦合至一致動器以致動至少一第一光圈設定及一第二f/#設定，其中一f/#設定表示在一焦點長度及與該數位感測器相關聯之透鏡之一光圈之一大小之間之一關係；及一控制邏輯處理器，其回應於控制該致動器之指令以將該光圈設定為該第一f/#設定，並從該第一像素子集處獲得影像資料內容，及將該光圈設定為該第二f/#設定，並從該第二像素子集處獲得影像資料內容； 其中該第二像素子集及該第一像素子集係不相交的或部分重疊的其中一者。
  13. 一種形成一影像的方法，其包括以下步驟：使用形成一感測器陣列之複數個分割之複數個像素子集同期擷取一場景內容之複數個影像，其中該等像素子集之各者能夠分開地曝光及讀取，各影像基於多個不同f/#設定具有一不同景深及一對應之不同影像解析度，其中一f/#設定表示在一焦點長度及與該數位感測器相關聯之透鏡之一光圈之一大小之間之一關係；為各影像確定具有優於該影像其他部分之影像解析度之一影像解析度之該影像的至少一部分；藉由組合來自該複數個影像之各者處的影像資訊而形成該場景內容之一複合影像；及從具較優影像解析度之各影像之該至少一部分，選擇各影像的影像資訊。
  14. 如請求項13之形成一影像的方法，其中：該複數個影像之各影像具有自擷取該複數個影像之各者之一影像陣列之一影像陣列解析度降低的解析度。
TW098139542A 2008-11-21 2009-11-20 影像感測器之延伸景深 TWI500319B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/275,632 US8587681B2 (en) 2008-11-21 2008-11-21 Extended depth of field for image sensor

Publications (2)

Publication Number Publication Date
TW201038061A TW201038061A (en) 2010-10-16
TWI500319B true TWI500319B (zh) 2015-09-11

Family

ID=41581549

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098139542A TWI500319B (zh) 2008-11-21 2009-11-20 影像感測器之延伸景深

Country Status (5)

Country Link
US (1) US8587681B2 (zh)
EP (1) EP2351354B1 (zh)
CN (1) CN102197639B (zh)
TW (1) TWI500319B (zh)
WO (1) WO2010059182A1 (zh)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228115A1 (en) * 2010-03-16 2011-09-22 Microsoft Corporation Large Format Digital Camera
JP5869883B2 (ja) * 2010-06-17 2016-02-24 パナソニック株式会社 画像処理装置
US9968030B2 (en) 2010-06-22 2018-05-15 Cnh Industrial Canada, Ltd. Down pressure adjustment device and method for use with a disc opener assembly of an agricultural implement
US8417058B2 (en) 2010-09-15 2013-04-09 Microsoft Corporation Array of scanning sensors
CN102074565A (zh) * 2010-10-19 2011-05-25 任永斌 一种凹面图像传感器
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9329966B2 (en) 2010-11-23 2016-05-03 Echostar Technologies L.L.C. Facilitating user support of electronic devices using matrix codes
US9792612B2 (en) 2010-11-23 2017-10-17 Echostar Technologies L.L.C. Facilitating user support of electronic devices using dynamic matrix code generation
EP2643801B1 (en) 2010-11-24 2019-10-02 DISH Technologies L.L.C. Tracking user interaction from a receiving device
US9280515B2 (en) 2010-12-03 2016-03-08 Echostar Technologies L.L.C. Provision of alternate content in response to QR code
US9596500B2 (en) 2010-12-17 2017-03-14 Echostar Technologies L.L.C. Accessing content via a matrix code
US9148686B2 (en) 2010-12-20 2015-09-29 Echostar Technologies, Llc Matrix code-based user interface
US8292166B2 (en) 2011-01-07 2012-10-23 Echostar Technologies L.L.C. Performing social networking functions using matrix codes
US8534540B2 (en) * 2011-01-14 2013-09-17 Echostar Technologies L.L.C. 3-D matrix barcode presentation
US8908013B2 (en) 2011-01-20 2014-12-09 Canon Kabushiki Kaisha Systems and methods for collaborative image capturing
US9571888B2 (en) 2011-02-15 2017-02-14 Echostar Technologies L.L.C. Selection graphics overlay of matrix code
JP5668227B2 (ja) * 2011-02-17 2015-02-12 株式会社ミツトヨ 画像測定装置
US9367669B2 (en) 2011-02-25 2016-06-14 Echostar Technologies L.L.C. Content source identification using matrix barcode
US8443407B2 (en) 2011-02-28 2013-05-14 Echostar Technologies L.L.C. Facilitating placeshifting using matrix code
US9736469B2 (en) 2011-02-28 2017-08-15 Echostar Technologies L.L.C. Set top box health and configuration
JP5848507B2 (ja) * 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
US8593565B2 (en) 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
JP5712031B2 (ja) * 2011-04-01 2015-05-07 京セラ株式会社 撮像装置、撮影レンズユニット、および撮像ユニット
US9077910B2 (en) 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
EP2702375A2 (en) 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
EP2525281B1 (en) 2011-05-20 2019-01-02 EchoStar Technologies L.L.C. Improved progress bar
US8610813B2 (en) * 2011-05-31 2013-12-17 Omnivision Technologies, Inc. System and method for extending depth of field in a lens system by use of color-dependent wavefront coding
TWI502980B (zh) * 2011-06-10 2015-10-01 Htc Corp 以物件偵測技術為基礎之影像擷取方法及系統，及其電腦程式產品
WO2012177495A1 (en) 2011-06-24 2012-12-27 Eastman Kodak Company Digital camera providing an extended focus range
US8754953B2 (en) 2011-06-24 2014-06-17 Apple Inc. Digital camera providing an extended focus range
US8760527B2 (en) 2011-06-24 2014-06-24 Apple Inc. Extending a digital camera focus range
US8830380B2 (en) 2012-06-28 2014-09-09 International Business Machines Corporation Depth of focus in digital imaging systems
US9047666B2 (en) * 2013-03-12 2015-06-02 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
JP2014178474A (ja) * 2013-03-14 2014-09-25 Sony Corp デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
US9726617B2 (en) * 2013-06-04 2017-08-08 Kla-Tencor Corporation Apparatus and methods for finding a best aperture and mode to enhance defect detection
US9521385B2 (en) * 2014-03-27 2016-12-13 Himax Imaging Limited Image sensor equipped with additional group of selectively transmissive filters for illuminant estimation, and associated illuminant estimation method
US20150289338A1 (en) 2014-04-08 2015-10-08 Revolution Display, Inc. Automatic chroma key background generator with incident key lighting
US9544520B2 (en) 2014-04-28 2017-01-10 Samsung Electronics Co., Ltd. Analog signal generation circuit
JP6346793B2 (ja) * 2014-06-03 2018-06-20 オリンパス株式会社 撮像装置、撮像装置の制御方法、及びプログラム
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
US9749532B1 (en) * 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US9646365B1 (en) 2014-08-12 2017-05-09 Amazon Technologies, Inc. Variable temporal aperture
US9787899B1 (en) 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
CA2980920C (en) 2015-03-25 2023-09-26 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
TWI588585B (zh) * 2015-06-04 2017-06-21 光寶電子（廣州）有限公司 影像擷取裝置及對焦方法
EP3311449B1 (en) 2015-06-16 2019-12-11 King Abdulaziz City for Science and Technology Efficient planar phased array antenna assembly
US9557741B1 (en) * 2015-08-24 2017-01-31 Ford Global Technologies, Llc System and method for autonomous valet parking using plenoptic cameras
WO2017091747A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US11102467B2 (en) * 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
US10369988B2 (en) 2017-01-13 2019-08-06 Ford Global Technologies, Llc Autonomous parking of vehicles inperpendicular parking spots
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US10683034B2 (en) 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US10234868B2 (en) 2017-06-16 2019-03-19 Ford Global Technologies, Llc Mobile device initiation of vehicle remote-parking
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
US10281921B2 (en) 2017-10-02 2019-05-07 Ford Global Technologies, Llc Autonomous parking of vehicles in perpendicular parking spots
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
US10873714B2 (en) 2017-11-09 2020-12-22 Semiconductor Components Industries, Llc Image sensor with multiple pixel access settings
EP3698167A4 (en) 2017-11-22 2021-11-17 Urthecast Corp. SYNTHETIC OPENING RADAR FORMING APPARATUS AND ASSOCIATED PROCESSES
US10336320B2 (en) 2017-11-22 2019-07-02 Ford Global Technologies, Llc Monitoring of communication for vehicle remote park-assist
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10638055B2 (en) * 2018-01-15 2020-04-28 Qualcomm Incorporated Aperture simulation
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
US10684627B2 (en) 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
JP7377806B2 (ja) * 2018-04-04 2023-11-10 エスアールアイ インターナショナル 意味処理および動的シーンモデリングに基づく向上された画像形成のための方法
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US10659751B1 (en) * 2018-12-14 2020-05-19 Lyft Inc. Multichannel, multi-polarization imaging for improved perception
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
TW202319775A (zh) * 2020-12-26 2023-05-16 以色列商趣眼有限公司 產生場景深度影像的系統、方法及電腦可讀媒體與識別物體材料的方法
US11606517B1 (en) 2021-06-07 2023-03-14 Waymo Llc Enhanced depth of focus cameras using variable apertures and pixel binning

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060181681A1 (en) * 2003-10-07 2006-08-17 Olympus Corporation Multiband camera control apparatus and multiband camera control method
US20060198623A1 (en) * 2005-03-03 2006-09-07 Fuji Photo Film Co., Ltd. Image capturing apparatus, image capturing method, image capturing program, image recording output system and image recording output method
US20060250515A1 (en) * 1998-09-16 2006-11-09 Olympus Optical Co., Ltd. Image pickup apparatus
US20070024879A1 (en) * 2005-07-28 2007-02-01 Eastman Kodak Company Processing color and panchromatic pixels
US20070154202A1 (en) * 2006-01-04 2007-07-05 Lee King F Method and apparatus to facilitate correcting rolling shutter images
WO2007091049A1 (en) * 2006-02-06 2007-08-16 Qinetiq Limited Processing methods for coded aperture imaging
US20090021612A1 (en) * 2007-07-20 2009-01-22 Hamilton Jr John F Multiple component readout of image sensor

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JPS5763983A (en) 1980-10-07 1982-04-17 Toshiba Corp Color image pickup device
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
JP3056329B2 (ja) 1992-06-19 2000-06-26 富士写真フイルム株式会社 読取原稿有無判別方法および装置
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US6115065A (en) 1995-11-07 2000-09-05 California Institute Of Technology Image sensor producing at least two integration times from each sensing pixel
US6475865B1 (en) * 1997-08-21 2002-11-05 United Microelectronics Corp. Method of fabricating semiconductor device
US6809766B1 (en) 1998-03-11 2004-10-26 Micro Technology, Inc. Look ahead rolling shutter system in CMOS sensors
US7046279B2 (en) * 2000-09-06 2006-05-16 Minolta Co., Ltd. Image taking apparatus
US6476865B1 (en) 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
US20040130649A1 (en) * 2003-01-03 2004-07-08 Chulhee Lee Cameras
WO2005046248A1 (ja) * 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
GB0414201D0 (en) 2004-06-24 2004-07-28 Fujifilm Electronic Imaging Method and apparatus for forming a multiple focus stack image
JP2006086952A (ja) * 2004-09-17 2006-03-30 Casio Comput Co Ltd デジタルカメラ、および、プログラム
EP1701536A1 (en) * 2005-03-08 2006-09-13 Sony Ericsson Mobile Communications AB Method and device for creating pictures, using global shutter and multiple exposures
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070046807A1 (en) 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
JP4979969B2 (ja) * 2006-04-03 2012-07-18 三星電子株式会社 撮像装置および撮像方法
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
JP4709071B2 (ja) * 2006-06-02 2011-06-22 キヤノン株式会社 撮像システム及び装置、撮像装置の制御方法
US7646972B2 (en) * 2006-12-08 2010-01-12 Sony Ericsson Mobile Communications Ab Method and apparatus for capturing multiple images at different image foci
GB0709026D0 (en) * 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
US8542315B2 (en) * 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
US8897595B2 (en) * 2008-03-26 2014-11-25 Ricoh Co., Ltd. Adaptive image acquisition for multiframe reconstruction
US8724921B2 (en) * 2008-05-05 2014-05-13 Aptina Imaging Corporation Method of capturing high dynamic range images with objects in the scene

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060250515A1 (en) * 1998-09-16 2006-11-09 Olympus Optical Co., Ltd. Image pickup apparatus
US20060181681A1 (en) * 2003-10-07 2006-08-17 Olympus Corporation Multiband camera control apparatus and multiband camera control method
US20060198623A1 (en) * 2005-03-03 2006-09-07 Fuji Photo Film Co., Ltd. Image capturing apparatus, image capturing method, image capturing program, image recording output system and image recording output method
US20070024879A1 (en) * 2005-07-28 2007-02-01 Eastman Kodak Company Processing color and panchromatic pixels
US20070154202A1 (en) * 2006-01-04 2007-07-05 Lee King F Method and apparatus to facilitate correcting rolling shutter images
WO2007091049A1 (en) * 2006-02-06 2007-08-16 Qinetiq Limited Processing methods for coded aperture imaging
US20090028451A1 (en) * 2006-02-06 2009-01-29 Qinetiq Limited Processing methods for coded aperture imaging
US20090021612A1 (en) * 2007-07-20 2009-01-22 Hamilton Jr John F Multiple component readout of image sensor

Also Published As

Publication number Publication date
EP2351354B1 (en) 2016-08-10
CN102197639A (zh) 2011-09-21
US20100128137A1 (en) 2010-05-27
WO2010059182A1 (en) 2010-05-27
CN102197639B (zh) 2016-01-06
EP2351354A1 (en) 2011-08-03
TW201038061A (en) 2010-10-16
US8587681B2 (en) 2013-11-19

Similar Documents

Publication Publication Date Title
TWI500319B (zh) 影像感測器之延伸景深
US8164651B2 (en) Concentric exposure sequence for image sensor
EP2179591B1 (en) Multiple component readout of image sensor
US9615030B2 (en) Luminance source selection in a multi-lens camera
EP2415254B1 (en) Exposing pixel groups in producing digital images
CN204697179U (zh) 具有像素阵列的图像传感器
US20090051984A1 (en) Image sensor having checkerboard pattern
KR20080017597A (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
US20240205560A1 (en) Sensor including micro lenses of different sizes
Nakamura Appendix A Number of Incident Photons per Lux with a Standard Light Source