TWI511558B - 具有高動態範圍攝取能力之影像感測器 - Google Patents

具有高動態範圍攝取能力之影像感測器 Download PDF

Info

Publication number
TWI511558B
TWI511558B TW101120795A TW101120795A TWI511558B TW I511558 B TWI511558 B TW I511558B TW 101120795 A TW101120795 A TW 101120795A TW 101120795 A TW101120795 A TW 101120795A TW I511558 B TWI511558 B TW I511558B
Authority
TW
Taiwan
Prior art keywords
image
data
buffer
image sensor
read
Prior art date
Application number
TW101120795A
Other languages
English (en)
Other versions
TW201301883A (zh
Inventor
Michael Frank
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201301883A publication Critical patent/TW201301883A/zh
Application granted granted Critical
Publication of TWI511558B publication Critical patent/TWI511558B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

具有高動態範圍攝取能力之影像感測器
本發明大體上係關於影像攝取(image capture)系統及技術。
此章節意欲向讀者介紹可能與在下文中描述及/或主張的本發明之各種態樣有關的各種技術態樣。咸信，此論述有助於向讀者提供背景資訊來促進更好地理解本發明之各種態樣。因而，應瞭解，應照此閱讀此等陳述，且不作為對先前技術之承認而閱讀。
高動態範圍(HDR)成像大體而言係關於允許攝取並表示介於影像之最明亮區域與最黑暗區域之間的較大動態範圍照度(與標準數位成像技術相比)之一組成像技術。較廣泛動態範圍允許HDR影像更準確地表示在真實世界場景中所見到之廣泛範圍的強度等級。用於攝取HDR影像之一種方法包括多個獨立攝取之相片的合併。舉例而言，此處理程序可包括以不同曝光連續攝取多個影像，且接著處理該等影像以產生複合HDR影像。
然而，自多個獨立攝取之影像產生HDR影像的處理程序存在缺點。舉例而言，在連續攝取影像時，可能會發生改變，使得自該等所攝取影像產生之複合HDR影像可能無法完全對準。此情形可在複合HDR影像中產生運動假影(artifact)。另外，影像場景中之局部運動(例如，樹在風中搖擺、人及面部輕微移位等)可能會影響影像。另外，基 於待攝取之影像，可能會延遲處理HDR影像所需要的時間。因而，需要用於增加可產生HDR影像之速度及連續性的技術及系統。
下文闡述本文中所揭示之某些實施例之概述。應理解，僅為了向讀者提供此等特定實施例之簡明概述而呈現此等態樣，且此等態樣並不意欲限制本發明之範疇。實際上，本發明可涵蓋下文可能未闡述之多種態樣。
本發明之實施例係關於產生影像，尤其是在HDR成像應用程式中產生影像。舉例而言，在一實施例中，可藉由諸如攝影機之影像攝取裝置攝取單一影像。此所攝取影像可為影像攝取裝置之影像感測器將光能轉換成電信號(例如，電壓)的結果。可進行影像感測器之多次掃描(亦即，讀取)，使得一讀取可對應於待攝取之影像之曝光不足的表示，而第二讀取可對應於待攝取之影像的曝光過度的表示。可將此讀取資料沿單一路徑傳輸至影像處理電路，在影像處理電路中，影像信號處理器使來自第一掃描與第二掃描之資料分離。影像信號處理器可獨立儲存此分離之資料並將其重新組合以產生HDR影像，可傳輸HDR影像以便顯示於電子裝置之顯示器上。
關於本發明之各種態樣，可存在上文所指出之該等特徵之各種改進。其他特徵亦可併入至此等各種態樣中。此等改進及額外特徵可個別地或以任何組合之形式存在。舉例而言，下文關於所說明實施例中之一或多者而論述的各種 特徵可單獨地或以任何組合之形式併入至本發明之上述態樣中的任一者中。此外，上文所呈現之簡要概述僅意欲使讀者熟悉本發明之實施例之某些態樣及背景，而非限制所主張標的物。
在研讀以下詳細描述之後且在參看圖式之後，可更好地理解本發明之各種態樣。
下文將描述本發明之一或多個特定實施例。此等所描述實施例僅為當前揭示之技術的實例。另外，為了提供此等實施例之簡明描述，在說明書中可能並未描述實際實施之所有特徵。應瞭解，在任何此實際實施之開發中(如在任何工程或設計專案中)，必須作出許多實施特定決策來達成開發者之特定目的，諸如遵守系統相關及商務相關約束，該等目的可隨實施之變化而變化。此外，應瞭解，此開發努力可為複雜且耗時的，然而，但對於受益於本發明之一般技術者而言將為設計、生產及製造中之常規任務。
當介紹本發明之各種實施例之元件時，量詞「一」及「該」意欲意謂存在一或多個元件。術語「包含」、「包括」及「具有」意欲為包括性的，且意謂除所列元件外亦可存在額外元件。另外，應理解，對本發明之「一實施例」之提及並不意欲解釋為排除亦併有所敍述特徵之額外實施例的存在。
如下文將論述，本發明大體而言提供了使用數位影像感測器產生HDR影像且用於合併在單次曝光期間的多次影像 攝取的各種技術。圖1為說明根據本發明之實施例的電子裝置10之實例之方塊圖，該電子裝置10可提供數位影像之產生。電子裝置10可為可接收並處理影像資料(諸如，使用一或多個影像感應裝置所獲取之資料)的任何類型之電子裝置，諸如膝上型或桌上型電腦、行動電話、數位媒體播放器或其類似者。僅舉例而言，電子裝置10可為攜帶型電子裝置，諸如可購自蘋果公司(Cupertino,California)的某型號之iPod®或iPhone®。另外，電子裝置10可為桌上型電腦、膝上型電腦或平板電腦，諸如可購自蘋果公司之某型號的MacBook®、MacBook® Pro、MacBook Air®、iMac®、Mac® Mini、Mac Pro®或iPad®。在其他實施例中，電子裝置10亦可為可購自另一製造商之能夠獲取並處理影像資料之某一型號的電子裝置。
電子裝置10可包括促成裝置10之功能的各種內部及/或外部組件。一般熟習此項技術者將瞭解，圖1中所展示之各種功能區塊可包含硬體元件(包括電路)、軟體元件(包括儲存於電腦可讀媒體上之電腦碼)，或硬體元件與軟體元件的組合。舉例而言，在當前所說明之實施例中，電子裝置10可包括輸入/輸出(I/O)埠12、輸入結構14、一或多個處理器16、記憶體裝置18、非揮發性儲存器20、擴充卡22、網路連接裝置24、電源26及顯示器28。另外，電子裝置10可包括諸如數位攝影機之一或多個成像裝置30，及影像處理電路(ISP子系統)32。如下文將進一步論述，影像處理電路32可實施用於處理影像資料以產生複合HDR影像的 影像處理技術。
處理器16可控制裝置10之一般操作。舉例而言，處理器16可提供執行電子裝置10之作業系統、程式、使用者及應用程式介面以及任何其他功能的處理能力。處理器16可包括一或多個微處理器，諸如一或多個「通用」微處理器、一或多個專用微處理器及/或特殊應用微處理器(ASIC)，或此等處理組件之組合。舉例而言，處理器16可包括一或多個處理引擎(例如，RISC或CISC處理器、圖形處理器(GPU)、視訊處理器及/或相關晶片組)。如將瞭解，處理器16可耦接至一或多個資料匯流排，以便在裝置10之各種組件之間傳送資料及指令。在某些實施例中，處理器16可提供在電子裝置10上執行成像應用程式的處理能力，成像應用程式諸如：可購自蘋果公司之Photo Booth®、Aperture®、iPhoto®或Preview®，或由蘋果公司提供且在各型號的iPhone®上可用之「攝影機」及/或「照片」應用程式。在一實施例中，處理器16亦可提供在裝置10上執行視訊會議應用程式之能力，視訊會議應用程式諸如：可購自蘋果公司之FaceTime®。
待由處理器16處理之指令或資料可儲存於諸如記憶體裝置18之電腦可讀媒體中。記憶體裝置18可提供為諸如隨機存取記憶體(RAM)之揮發性記憶體，或提供為諸如唯讀記憶體(ROM)之非揮發性記憶體，或提供為一或多個RAM裝置與ROM裝置的組合。記憶體18可儲存多種資訊，且可用於各種用途。舉例而言，記憶體18可儲存電子裝置10之韌 體，諸如基本輸入/輸出系統(BIOS)、作業系統、各種程式、應用程式，或可在電子裝置10上執行之任何其他常式，其包括使用者介面功能、處理器功能等。此外，記憶體18在電子裝置10之操作期間可用於緩衝或快取。舉例而言，在一實施例中，記憶體18可包括一或多個圖框緩衝器，以便在將視訊資料輸出至顯示器28時對視訊資料進行緩衝。
除記憶體裝置18外，電子裝置10亦可進一步包括用於永久儲存資料及/或指令之非揮發性儲存器20。非揮發性儲存器20可包括快閃記憶體、硬碟機，或任何其他光學、磁性及/或固態儲存媒體，或上述儲存器之某一組合。因此，儘管為了清晰起見在圖1中描繪為單一裝置，但應理解，非揮發性儲存裝置20可包括結合處理器16而操作的以上列出之儲存裝置中之一或多者的組合。非揮發性儲存器20可用以儲存韌體、資料檔案、影像資料、軟體程式及應用程式、無線連接資訊、個人資訊、使用者偏好及任何其他合適資料。根據本發明之態樣，儲存於非揮發性儲存器20及/或記憶體裝置18中之影像資料可由影像處理電路32處理，然後在顯示器上輸出。
如下文將進一步論述，顯示器28可用以顯示由裝置10(諸如，作業系統之GUI)產生之各種影像或由影像處理電路32處理過的影像資料(包括靜態影像及視訊資料)。如上文所提及，影像資料可包括使用成像裝置30所獲取之影像資料，或自記憶體18及/或非揮發性儲存器20所擷取之 影像資料。舉例而言，顯示器28可為任何合適類型之顯示器，諸如液晶顯示器(LCD)、電漿顯示器，或有機發光二極體(OLED)顯示器。在一實施例中，顯示器可為每英吋有300或300個以上像素之高解析度LCD顯示器，諸如可購自蘋果公司的Retina Display®。另外，在一些實施例中，顯示器28可結合上文所論述之觸敏式機構(例如，觸控式螢幕)而提供，該觸敏式機構可充當電子裝置10之輸入結構(14)。
如上文所論述，電子裝置10可包括成像裝置30，該(等)成像裝置30可提供為經組態以獲取靜態影像及移動影像(例如，視訊)兩者的數位攝影機。攝影機30可包括鏡頭及一或多個影像感測器，該一或多個影像感測器攝取光並將光轉換成電信號。僅舉例而言，影像感測器可包括CMOS影像感測器(例如，CMOS主動像素感測器(APS))或CCD(電荷耦合式裝置)感測器。通常，攝影機30中之影像感測器包括具有像素陣列之積體電路，其中每一像素包括用於感應來自影像場景之光的光偵測器。影像感測器可經由感測器介面耦接至ISP子系統32，該感測器介面可利用標準行動成像架構(SMIA)介面或任何其他合適的串列或並列影像感應介面，或此等介面的組合。
如熟習此項技術者將瞭解，感測器之成像像素的光偵測器通常偵測經由攝影機鏡頭所攝取之光的強度。然而，光偵測器自身通常不能偵測所攝取之光的波長，且因此不能判定色彩資訊。因而，影像感測器可進一步包括上覆於或 安置於影像感測器之像素陣列上方的彩色濾光片陣列(CFA)以攝取色彩資訊。彩色濾光片陣列可包括小型彩色濾光片之陣列，該等小型彩色濾光片中之每一者可與影像感測器之各別像素重疊，且可根據波長來過濾所攝取之光。因此，在結合起來使用時，彩色濾光片陣列及影像感測器可提供關於經由攝影機攝取之光的波長資訊及強度資訊兩者，該所攝取光可表示所攝取影像。
在一實施例中，彩色濾光片陣列可包括拜爾彩色濾光片陣列，該拜爾彩色濾光片陣列提供具有50%綠色元件、25%紅色元件及25%藍色元件的色彩型樣(color pattern)。圖2展示拜爾CFA之2×2像素區塊，該2×2像素區塊包括2個綠色元件(稱為Gr及Gb)、1個紅色元件(R)及1個藍色元件(B)。因此，利用拜爾彩色濾光片陣列之影像感測器可提供關於由攝影機30接收到之綠色、紅色及藍色波長下之光之強度的資訊，藉此，每一影像像素記錄三種色彩(紅色、綠色或藍色)中的僅一者。可接著使用一或多種色彩插補(demosaicing)技術處理此資訊(可稱為「原始影像資料」)，從而通常藉由對每一像素之一組紅色、綠色及藍色值進行內插而將原始影像資料轉換成全色影像。可藉由ISP子系統32執行此等色彩插補技術。
繼續參看圖3及圖4，描繪呈攜帶型手持式電子裝置50之形式的電子裝置10，該攜帶型手持式電子裝置50可為可購自蘋果公司之某型號的iPod®(諸如，iPod Touch®)或iPhone®。手持式裝置50包括機殼52，該機殼52可用以保 護內部組件不受實體損害並屏蔽內部組件不受電磁干擾(EMI)。機殼52可由諸如塑膠、金屬、合金或複合材料的任何合適材料或材料之組合形成，且可允許諸如無線網路連接(例如，802.11 a/b/g/n網路連接)及/或電信信號(例如，GPRS、EDGE、3G、LTE等)之特定頻率的電磁輻射通過，到達無線通信電路(例如，網路裝置24)，如圖3中所展示，該無線通信電路可安置於機殼52內。
機殼52亦包括使用者可藉以與手持式裝置50互動的各種使用者輸入結構14。舉例而言，每一輸入結構14在被按壓或啟動致動時可控制一或多個各別裝置功能。作為實例，輸入結構14中之一或多者可調用「主」畫面或選單以供顯示，在休眠模式、喚醒模式或通電模式/斷電模式之間切換，使蜂巢式電話應用程式之振鈴器靜默，增大或減小音量輸出等。應理解，所說明之輸入結構14僅為例示性的，且手持式裝置50可包括以各種形式(包括按鈕、開關、鍵、旋鈕、滾輪等)存在的任何數目個合適之使用者輸入結構。
手持式裝置50可包括各種I/O埠12。舉例而言，所描繪之I/O埠12可包括用於傳輸並接收資料且用於給電源26充電的專屬連接埠12a(例如，可購自蘋果公司之30腳銜接連接器)，其中電源26可包括一或多個可卸除、可再充電及/或可更換之電池。I/O埠亦可包括用於將裝置50連接至音訊輸出裝置(例如，耳機或揚聲器)的音訊連接埠12b。另外，在手持式裝置50提供行動電話功能性之實施例中，可 提供用於收納用戶識別模組(SIM)卡(例如，擴充卡22)的I/O埠12c。
顯示器28(其可為LCD、OLED或任何合適類型之顯示器)可顯示由手持式裝置50產生之各種影像。舉例而言，顯示器28可顯示各種系統指示符54，以便給使用者提供關於手持式裝置50之一或多個狀態(諸如，電源狀態、信號強度、外部裝置連接等)之回饋。顯示器28亦可顯示允許使用者與裝置50互動之圖形使用者介面(GUI)56。在某些實施例中，GUI 56之當前顯示之畫面影像可表示在裝置50上執行之作業系統的主畫面，該作業系統可為可購自蘋果公司之某版本之Mac OS®或iOS®(先前的iPhone OS®)作業系統。
GUI 56可包括可對應於各種應用程式之各種圖形元件(諸如，圖示58)，在使用者選擇(例如，接收到對應於對特定圖示58之選擇的使用者輸入)後開啟或執行該等應用程式。在一些實施例中，對圖示58之選擇可通向階層式巡覽處理程序，使得對圖示58之選擇通向某一畫面，或開啟包括一或多個額外圖示或其他GUI元件的另一圖形視窗。在所說明之實施例中，圖示58中之一者可表示攝影機應用程式66，該攝影機應用程式66可結合位於裝置50正面之第一面向前的攝影機30a與位於裝置50後部之第二面向後的攝影機30b(在圖3中以假想線展示)中之一者或兩者使用，從而獲取影像。簡單參看圖4，說明手持式裝置50之後視圖，該後視圖將面向後的攝影機30b展示為與外殼52整合 在一起且定位於手持式裝置50後部。在所說明之實施例中，手持式裝置50之後部可包括閃光模組(亦稱為閃光燈(strobe))64，該閃光模組64可用以照亮使用面向後的攝影機30b所攝取之影像場景。作為實例，閃光模組64可包括氙發光裝置及/或發光二極體(LED)。在一實施例中，可利用面向前的攝影機30a及面向後的攝影機30b(諸如，經由使用基於可購自蘋果公司之FaceTime®的視訊會議應用程式)提供視訊會議能力。
另外，手持式裝置50可包括各種音訊輸入及輸出元件。舉例而言，音訊輸入/輸出元件70可包括諸如麥克風之輸入接收器。因此，在手持式裝置50包括行動電話功能性之實施例中，輸入接收器可接收諸如使用者語音的使用者音訊輸入。另外，音訊輸入/輸出元件70可包括一或多個輸出傳輸器，該一或多個輸出傳輸器可包括用以(諸如，在使用媒體播放器應用程式72播放音訊資料期間)將音訊信號傳輸至使用者的一或多個揚聲器。在行動電話實施例中，如圖3中所展示，可提供額外音訊輸出傳輸器74。類似於音訊輸入/輸出元件70之輸出傳輸器，輸出傳輸器74亦可包括將音訊信號(諸如，在電話呼叫期間接收到之語音資料)傳輸至使用者的一或多個揚聲器。因此，在行動電話實施例中，音訊輸入/輸出元件70及74可共同充當電話之音訊接收及傳輸元件。
現已提供了關於電子裝置10可採用之一些外形尺寸的某一情形，現將更詳細論述根據本發明中所闡述之實施例之 可實施於電子裝置10上的某些HDR成像技術。舉例而言，影像處理電路32可執行所攝取影像之影像合併以產生複合HDR影像。在一實施例中，為了進行HDR成像，攝影機30可在單次曝光期間獲取多個影像，其中包括處於低曝光等級(曝光不足)之一或多個影像及處於高曝光等級(曝光過度)之一或多個影像，影像處理電路32可利用該等影像產生單一複合HDR影像。或者，攝影機30可獲取處於低曝光等級(曝光不足)之至少一影像、處於正常曝光等級之至少一影像及處於高曝光等級(曝光過度)的至少一影像。影像處理電路32可處理此等影像以產生複合HDR影像。
圖5說明待藉由攝影機30之影像感測器攝取之影像76的實例。攝影機30可經由某種處理程序攝取影像76，該處理程序利用滾動快門式影像獲取方法(亦即，線掃描獲取及針對像素之線掃描重設，以便開始曝光)。亦即，藉由使快門跨越攝影機30之影像感測器的可曝光區域滾動(亦即，移動)，而不是完全在同一時間使影像區域(圖框)曝光，攝影機30可在單一時間點記錄並非來自單一快照的影像。因而，攝影機30之影像感測器中的像素逐行(垂直或水平定向)攝取資訊圖框，使得並非完全同時記錄影像76之所有部分，但影像76之整體將可重建以供在播放期間顯示為單一影像76。在其他實施例中，可使用在同一時間曝光影像感測器之整個圖框的整體快門式影像獲取方法。
如圖5中所說明，影像76之掃描方向可藉由線78表示。亦即，滾動快門重設80可自影像76之最上部分82移動至影 像76之最下部分84，以重設影像感測器中的像素。隨著影像感測器之像素藉由滾動快門重設80予以重設，重設像素可開始收集對應於影像76之一部分的光。亦即，攝影機30中之影像感測器的像素可曝露於光，將收集並利用光以產生影像76。在一實施例中，滾動快門重設80在固定時間量「t」(亦即，圖框時間)內可自影像76之部分82移動至部分84(亦即，跨越全圖框)。舉例而言，此固定時間量t可為1/15秒、1/30秒、1/60秒、1/125秒、1/250秒、1/500秒、1/1000秒、1/5000秒、1/10000秒或另一時間量。此固定時間量t亦可由(例如)處理器16自動調整，處理器16在電子裝置10上執行成像應用程式，諸如可購自蘋果公司之Photo Booth®、Aperture®、iPhoto®或Preview®，或藉由蘋果公司提供且在某型號之iPhone®上可用的「攝影機」及/或「照片」應用程式；或由使用者在與(例如)上述成像應用程式中之一者互動期間調整。
為了在圖框之單次曝光期間(亦即，在滾動快門重設80跨越圖框移動之固定時間量t期間)產生HDR影像，可發生影像感測器之同一列像素的多次讀取。舉例而言，在時間n可進行儲存於一列像素中之資料的第一資料讀取86，其中n為時間t之固定分率倍數。此時間n可為(例如)圖框時間t的1/2、1/3、1/4、1/5、1/10、1/20或另一值。在圖5中可將此時間n表示為線88。亦即，第一資料讀取86可在藉由滾動快門重設80重設一列像素之後的時間n發生。因而，隨著滾動快門重設80沿著線78向下，第一資料讀取86可落 後於滾動快門重設80達時間n。以此方式，儲存於圖框之每一列之像素中的資料在該列像素之滾動快門重設80之後的時間n被讀取。因此，隨著第一資料讀取86跨越影像感測器所讀取之每一列像素將已曝露於光，歷時同一時間n，該時間n可稱為曝光時間或整合時間。
請注意，此第一資料讀取86可對應於處於低曝光等級(曝光不足)之圖片的產生。亦即，第一資料讀取86可用於產生如下圖片：在此圖片中，不良地再現影像76之陰影區域，但清楚地再現圖片之明亮區域。亦即，對應於第一資料讀取86之資料可用於再現HDR影像之明亮部分。
在第一資料讀取86之後，可對儲存於(例如)影像感測器之一列像素中的資料執行第二資料讀取90。可在藉由圖5中之線92表示的時間m進行此第二資料讀取90。此時間m可為時間n的倍數。舉例而言，時間m可等於n、1.5n、2n、2.5n、3n、3.5n、4n或n之另一倍數。在一實施例中，沿著線92表示之時間m可為n的3倍，使得可在為時間n的4倍(亦即，4n)的總時間執行第二資料讀取90。亦即，第二資料讀取90可在藉由滾動快門重設80重設一列像素之後的時間4n發生。因而，隨著滾動快門重設80沿著線78向下，第二資料讀取86可落後於滾動快門重設80達時間4n。以此方式，儲存於圖框之每一列之像素中的資料在該列像素之滾動快門重設80之後的時間4n被讀取。因此，隨著第二資料讀取90跨越影像感測器所讀取之每一列像素將已曝露於光，歷時同一時間4n。以此方式，在單次圖框攝取期間可 完成多次曝光(亦即，一次的曝光時間為n，且另一次的曝光時間為4n)。
請注意，第二資料讀取90可對應於處於高曝光等級(曝光過度)之圖片的產生。亦即，第二資料讀取90可用於產生如下圖片：在此圖片中，清楚地再現影像76之陰影區域，但可能洗掉圖片之明亮區域。亦即，對應於第二資料讀取90之資料可用於再現HDR影像之黑暗部分。以此方式，來自第一資料讀取86之資料可用以產生HDR影像之明亮部分，且來自第二資料讀取90之資料可用以產生HDR影像的黑暗部分，使得複合HDR影像可具有改良之動態範圍，且因此更具視覺吸引力(與自第一資料讀取86或第二資料讀取90中之任一者再現的圖片相比)。另外，除第一資料讀取86及第二資料讀取90外，亦可進行其他資料讀取。舉例而言，在第一資料讀取86與第二資料讀取90之間的某一時間可進行第三資料讀取，使得第三資料讀取對應於「正常」曝光(例如，若第一資料讀取86係在時間n且第二資料讀取係在時間4n，則在時間2n)。此第三資料讀取可與來自第一資料讀取86及第二資料讀取90之資料組合以產生複合HDR影像。
另外，在電子裝置10上執行成像應用程式的處理器16亦可變更讀出時間n及其任何後續倍數，以及資料讀取的總數。可基於關於多個因素(諸如待拍攝之物件的亮度、攝影機之曝光指數、雜訊或其他因素)的回饋而執行此變更。舉例而言，更多資料讀取可在較慢圖框速率下發生， 且延遲之讀出時間n可在較低亮度等級下發生。經由變更資料讀取(例如，資料讀出86及90)的讀出時間，可調整曝光時間以允許修改待產生之HDR影像改。
圖6說明攝影機30之元件及可用以產生HDR影像之影像處理電路32的方塊圖。攝影機30包括影像感測器94以攝取光並將光轉換成電信號。影像感測器94可為(例如)CMOS影像感測器(例如，CMOS主動像素感測器(APS))或CCD(電荷耦合式裝置)感測器。通常，攝影機30中之影像感測器94包括具有像素陣列之積體電路，其中每一像素包括用於感應來自影像76之光的光偵測器。在第一資料讀取86、第二資料讀取90或其他資料讀取期間，可經由如上文關於圖5所描述之滾動快門重設80重設像素，且像素可操作以將所攝取光值讀出為電信號。舉例而言，第一資料讀取86可在上文所論述之時間n發生以產生對應於曝光不足的圖片之資料，第二資料讀取90可在時間4n發生以產生對應於曝光過度的圖片之資料，且第三資料讀取可在時間2n發生以產生對應於平均(亦即，正常)曝光的圖片之資料。
可藉由掃描電路95執行滾動快門重設80、第一資料讀取86、第二資料讀取90及任何其他資料讀取。掃描電路95可(例如)自處理器16接收一或多個啟動信號，且可操作以將資料讀取信號傳輸至影像感測器94的各種像素。舉例而言，掃描電路95可在第一資料讀取86期間(例如，在時間n)將啟動信號傳輸至一列像素，以使得自該列經啟動之像素傳輸資料。掃描電路95隨後可在第二資料讀取90期間(例 如，在時間4n)將啟動信號傳輸至同一列像素，以使得自該列經啟動之像素傳輸資料。以此方式，掃描電路95可允許在快門重設之前自影像感測器94多次讀取資料。
可將自影像感測器94讀取之資料傳輸至類比轉數位(A/D)轉換器96。A/D轉換器96可(例如)與影像感測器94在同一晶片或電路上，或A/D轉換器96可電耦接至影像感測器。A/D轉換器96可為(例如)管線式A/D轉換器或行A/D轉換器。A/D轉換器96可接收在(例如)第一資料讀取86期間自影像感測器94讀出之資料，且可將所接收資料轉換成對應於所接收資料值的數位信號(數位資料)。可接著將此數位資料沿路徑98傳輸至影像處理電路32。路徑98可包括行動產業處理器介面攝影機串列介面(MIPI CSI)、標準行動產業架構(SMIA)介面，或任何其他合適的並列或串列介面。因而，在一實施例中，可以串列方式將資料傳輸至影像處理電路32。
然而，如上文所指出，影像感測器94之多次資料讀取可在單次曝光期間發生(例如，第一資料讀取86、第二資料讀取90及/或其他資料讀取)。因此，經由此等讀取中之每一者接收到之資料必須共用路徑98。為了實現此情形，可執行影像感測器94之交錯讀取。亦即，可將來自第一資料讀取86之資料傳輸至A/D轉換器，直至諸如第二讀取90開始之時間為止。此時，可首先沿對應於第一資料讀取86之列且接著沿對應於第二資料讀取90之列自影像感測器94讀取資料。可重複此處理程序(例如，以交錯方式)，只要所 執行之兩個讀取的時間重疊。此外，若引入第三或更多讀取，則該第三或更多讀取可同樣與所有其他讀取交錯，使得每一讀取以交錯方式將資料傳輸至A/D轉換器96。以此方式，由於A/D轉換器96在接收到資料時將提供至A/D轉換器96之資料轉換成數位形式，因此沿路徑98傳輸之數位資料可包括(例如)自第一資料讀取86讀取之資料、自第二資料讀取90讀取之資料以及自任何額外資料讀出所讀取的資料。
在一實施例中，緩衝器97可實施為與影像感測器94在同一晶片或電路上的線緩衝器(亦即，用以儲存對應於所讀出資料列的資料之記憶體)。此緩衝器97可儲存自資料讀取(例如，第一資料讀取86)接收到之資料，使得資料在由A/D轉換器96轉換之前可經格化儲存(亦即，4×4格化儲存)。亦即，可將來自一群像素之資料組合成單一像素值，因此減小給予自影像感測器94所讀取之資料的讀取雜訊之影響。在一實施例中，關於曝光過度的圖片及曝光不足的圖片兩者之資料可經格化儲存以減小在介面上傳送之資料量。
或者或另外，緩衝器97可用以對準多次資料讀取之資料串流。亦即，緩衝器97可為如下圖框緩衝器：可儲存一資料讀取(例如，第二資料讀取90)之整體以供傳輸，同時傳輸第二資料讀取(例如，第一資料讀取86)而不儲存。亦即，雖然可交錯該等資料讀取，但沿路徑98傳輸之資料可包括自第一資料讀取86讀出之所有資料及隨後自第二資料 讀取90讀出(且自緩衝器97傳輸)的所有資料。以此方式使用緩衝器97可允許使來自資料路徑98之資料分離的複雜性減小(亦即，資料路徑98上之資料不會交錯)。
可在影像處理電路32處接收沿路徑98傳遞之數位資料。如上文所指出，此數位資料可包括來自影像感測器94之一個以上讀取的資料(亦即，關於不同曝光時間之資料)。因而，在一實施例中，對應於第一資料讀取86、第二資料讀取90或任何其他資料讀取之數位資料可包括諸如一或多個識別位元之識別符，使得可將接收到之資料識別為屬於特定資料讀取(例如，第一資料讀取86)。以此方式，可加標籤於數位資料，使得可發生如下情況：(例如)影像信號處理器(ISP)100關於特定資料讀取對所接收數位資料進行正確分類。此外，請注意，ISP 100可用以調整讀出時間(例如，當執行資料讀取時)。舉例而言，ISP 100可用以產生關於諸如成像裝置30之曝光、白平衡及焦距的因素之統計資料。此資料可用以調整成像裝置30之讀出時間，且因此調整HDR影像。
如上文所指出，ISP 100可接收數位資料，且可操作以將自路徑98接收之資料分離成各別曝光。舉例而言，ISP 100可分離自第一資料讀取86讀取之資料且將經分離之資料儲存於緩衝器102中，該緩衝器102可為記憶體位置。類似地，ISP 100可自沿路徑98所接收的資料分離出自第二資料讀取90讀取的資料且將經分離之資料儲存於緩衝器104中，該緩衝器104可為記憶體位置。在一些實施例中，緩 衝器102及104可為單一實體記憶體電路的單獨位置。在其他實施例中，緩衝器102及104可位於相異記憶體電路中。另外，ISP 100可操作以分離的資料部分與自影像感測器94讀取之資料部分一樣多，且ISP 100(例如)可包括對應於所執行之每一額外資料讀取的額外緩衝器。
一旦分離了關於(例如)第一資料讀取86及第二資料讀取90之所有資料，緩衝器102及104中之每一者就可包括可用以形成HDR影像的全資料集。因而，ISP 100可組合儲存於緩衝器102及104中的資料以產生複合HDR影像，該複合HDR影像可傳輸至緩衝器106以供處理器16擷取。在一實施例中，與儲存於緩衝器102及104中之資料相比，HDR影像可含有較高位元深度。舉例而言，相對於儲存於緩衝器102或104中之資料，儲存於緩衝器106中之HDR影像可包括一個位元、二個位元、三個位元或三個以上位元的額外資訊。HDR影像之此較高位元深度可允許產生具有更高清晰度及/或更具視覺吸引力之圖片。
圖7說明詳細描述ISP 100之操作之一實施例的流程圖108。在步驟110中，ISP 100可自路徑98接收數位資料。在步驟112中，ISP 100可將自路徑98接收之資料分離成各別曝光。可藉由判定給定資料集對應於哪一資料讀取來實現此分離，其中此判定係藉由分析與所接收資料相關聯之識別符(亦即，例如附加至資料之一或多個識別位元)以便將所接收資料分類為屬於特定資料讀取(例如，第一資料讀取86)。
一旦已分離了所接收影像資料，ISP 100就可在步驟114中儲存經分離之資料。舉例而言，可將來自第一資料讀取86之資料儲存於緩衝器102中，該緩衝器102可為記憶體位置。類似地，可將來自第二資料讀取90之資料儲存於緩衝器104中，該緩衝器104可為與緩衝器102分離之記憶體位置。另外，ISP 100可將來自任何額外資料讀取之資料儲存於額外緩衝器中。
一旦已儲存了關於此等資料讀取之所有資料，ISP 100就可在步驟116中產生HDR影像。亦即，緩衝器102及104中之每一者以及任何所利用之額外緩衝器可包括可用以形成HDR影像的全資料集。在步驟118中，ISP 100可組合儲存於緩衝器中之資料以產生複合HDR影像，該複合HDR影像可傳輸至緩衝器106以供處理器16擷取。以此方式，可利用ISP 100自影像攝取裝置30之單一滾動快門重設80產生HDR影像。
如將理解，本文中僅舉例而言提供了上文所描述之關於HDR成像之各種技術。因而，應理解，本發明不應解釋為僅限於所提供之實例。另外，應瞭解，HDR成像技術可以任何合適方式來實施，其中包括硬體(經合適組態之電路)、軟體(例如，經由電腦程式，其中包括儲存於一或多個有形電腦可讀媒體上之可執行程式碼)，或經由使用硬體元件與軟體元件的組合。
已舉例而言展示了上文中所描述之特定實施例，且應理解，此等實施例可以有各種修改及替代形式。應進一步理 解，申請專利範圍並不意欲限於所揭示之特定形式，而是涵蓋屬於本發明之精神及範疇內的所有修改、等效物及替代方案。
10‧‧‧電子裝置
12‧‧‧輸入/輸出(I/O)埠
12a‧‧‧專屬連接埠
12b‧‧‧音訊連接埠
12c‧‧‧用於收納用戶識別模組(SIM)卡之輸入/輸出(I/O)埠
14‧‧‧輸入結構
16‧‧‧處理器
18‧‧‧記憶體裝置
20‧‧‧非揮發性儲存器
22‧‧‧擴充卡
24‧‧‧網路連接裝置
26‧‧‧電源
28‧‧‧顯示器
30‧‧‧成像裝置
30a‧‧‧第一面向前的攝影機
30b‧‧‧第二面向後的攝影機
32‧‧‧影像處理電路/ISP子系統
50‧‧‧攜帶型手持式電子裝置
52‧‧‧機殼
54‧‧‧系統指示符
56‧‧‧圖形使用者介面(GUI)
58‧‧‧圖示
64‧‧‧閃光模組
66‧‧‧攝影機應用程式
70‧‧‧音訊輸入/輸出元件
72‧‧‧媒體播放器應用程式
74‧‧‧額外音訊輸出傳輸器
76‧‧‧影像
78‧‧‧線
80‧‧‧滾動快門重設
82‧‧‧影像之最上部分
84‧‧‧影像之最下部分
86‧‧‧第一資料讀取/資料讀出
88‧‧‧線
90‧‧‧第二資料讀取/資料讀出
92‧‧‧線
94‧‧‧影像感測器
95‧‧‧掃描電路
96‧‧‧類比轉數位(A/D)轉換器
97‧‧‧緩衝器
98‧‧‧路徑
100‧‧‧影像信號處理器(ISP)
102‧‧‧緩衝器
104‧‧‧緩衝器
106‧‧‧緩衝器
B‧‧‧藍色元件
Gb‧‧‧綠色元件
Gr‧‧‧綠色元件
R‧‧‧紅色元件
圖1為描繪根據本發明中所闡述之態樣的電子裝置之實例之各組件的簡化方塊圖，該電子裝置包括影像攝取裝置及經組態以實施HDR影像處理技術的影像信號處理子系統；圖2為可實施於圖1之電子裝置之影像攝取裝置中的拜爾彩色濾光片陣列之2×2像素區塊的圖形表示；圖3為根據本發明之態樣的圖1之電子裝置的前視圖，該電子裝置呈手持式攜帶型電子裝置的形式；圖4為圖3中所展示之手持式電子裝置的後視圖；圖5展示經由圖1之電子裝置攝取之影像的實例；圖6為圖1之電子裝置之影像攝取裝置及影像信號處理子系統的方塊圖；及圖7為說明圖6之影像信號處理子系統之影像信號處理器的操作之流程圖。
30‧‧‧成像裝置
32‧‧‧影像處理電路/ISP子系統
94‧‧‧影像感測器
95‧‧‧掃描電路
96‧‧‧類比轉數位(A/D)轉換器
97‧‧‧緩衝器
98‧‧‧路徑
100‧‧‧影像信號處理器(ISP)
102‧‧‧緩衝器
104‧‧‧緩衝器
106‧‧‧緩衝器

Claims (20)

  1. 一種影像處理電路，其包含：一資料路徑，該資料路徑經組態以傳輸關於單一影像之多次曝光的影像資料；一掃描電路，其經組態以自一處理器接收複數個啟動信號以在一快門重設之前對於在一像素陣列中之每一列之像素允許該影像資料從該影像感測器被讀出多次，其中在該複數個啟動信號之一第一者之前及基於回饋因數藉由該處理器判定讀出的一數目及讀出的一頻率，該等回饋因數與用於該單一影像之攝取度量相關聯；一影像信號處理器，其耦接至該資料路徑，其中該影像信號處理器經組態以接收該影像資料且基於至少一準則將該影像資料分離成至少兩個類別；及一第一緩衝器，該第一緩衝器耦接至該影像信號處理器且經組態以儲存來自該等類別中之至少一者的資料。
  2. 如請求項1之影像處理電路，其包含一第二緩衝器，該第二緩衝器耦接至該影像信號處理器且經組態以儲存來自該等類別中之一第二類別的資料。
  3. 如請求項2之影像處理電路，其中該影像信號處理器經組態以擷取儲存於該第一緩衝器及該第二緩衝器中之每一者中的該資料，且利用該所擷取資料來產生一高動態範圍影像。
  4. 如請求項3之影像處理電路，其包含一第三緩衝器，該第三緩衝器耦接至該影像信號處理器且經組態以儲存該 高動態範圍影像。
  5. 如請求項1之影像處理電路處理器，其中該至少兩個類別包含一曝光不足的影像資料類別及一曝光過度的影像資料類別。
  6. 一種產生一高度清晰影像之方法，該方法包含：在一影像信號處理器資料處接收關於單一影像之多次曝光的影像資料；自該影像信號處理器接收複數個啟動信號以在一快門重設之前對於在一像素陣列中之每一列之像素允許該影像資料從該影像感測器被讀出多次，其中在該複數個啟動信號之一第一者之前及基於回饋因數藉由該影像信號處理器判定讀出的一數目及讀出的一頻率，該等回饋因數與用於該單一影像之攝取度量相關聯；在該影像信號處理器處基於至少一準則將該影像資料分離成至少兩個類別；及將來自該等類別中之至少一者的資料儲存於一第一緩衝器中。
  7. 如請求項6之方法，其包含將來自該等類別中之一第二類別的資料儲存於一第二緩衝器中。
  8. 如請求項7之方法，其包含：擷取儲存於該第一緩衝器及該第二緩衝器中之每一者中的該資料，及基於該所擷取資料產生一高動態範圍影像。
  9. 如請求項7之方法，其包含：將來自該等類別中之一第三類別的資料儲存於一第三緩衝器中，及擷取儲存於該 第一緩衝器、該第二緩衝器及該第三緩衝器中之每一者中的該資料且基於該所擷取資料產生一高動態範圍影像。
  10. 如請求項6之方法，其中將該影像資料分離成至少兩個類別包含：將該影像資料分離成一曝光不足的影像資料類別及一曝光過度的影像資料類別。
  11. 一種影像攝取裝置，其包含：一鏡頭，該鏡頭經組態以接收對應於單一影像之攝取的光；一影像感測器，其耦接至該鏡頭，其中該影像感測器包括像素位置之一陣列且經組態以自該鏡頭接收對應於該單一影像的該光，且產生對應於在該影像感測器中之像素位置處接收到之光的資料值；一處理器，其經組態以在一快門重設之前判定在該陣列中像素位置之每一列之複數個讀取請求之次數的一數目及一頻率，以基於回饋因數傳送至該單一影像之該影像感測器，其中在該複數個讀取請求之一第一者之前及基於該等回饋因數而判定經判定之該次數的數目及頻率；及一掃描電路，其耦接至該影像感測器，其中該掃描電路經組態以讀出對應於在一第一時間自該影像感測器中之一列像素位置接收到之光的第一資料值，且讀出對應於在一第二時間自該影像感測器中之該列像素位置處接收到之光的第二資料值，其中該第一時間及該第二時間 發生在該等像素位置之單一快門重設之前。
  12. 如請求項11之影像攝取裝置，其包含一線緩衝器，該線緩衝器經組態以接收並儲存藉由該掃描電路在一第一讀取期間自該影像感測器之所有像素位置讀出的所有資料信號。
  13. 一種電子裝置，其包含：一影像感測器，該影像感測器經組態以接收對應於單一所攝取影像之光，且產生對應於在該影像感測器中用於像素位置之一陣列之像素位置處接收到之光的資料值；一處理器，其經組態以在一快門重設之前判定像素位置之每一列之複數個讀取請求之次數的一數目及一頻率，以傳送至用於該單一影像之該影像感測器，其中在在該複數個讀取請求之一第一者之前及基於回饋因數而判定該次數的數目及頻率，及該等回饋因數係基於該接收到之光；一掃描電路，其耦接至該影像感測器，其中該掃描電路經組態以讀出對應於在一第一時間自該影像感測器中之一列像素位置處接收到之光的第一資料值，且讀出對應於在一第二時間自該影像感測器中之該列像素位置處接收到之光的第二資料值，其中該第一時間及該第二時間發生在該等像素位置之一普通重設之前；一類比轉數位轉換器，其耦接至該影像感測器，其中該類比轉數位轉換器接收該第一資料值及該第二資料 值，且將該第一資料值及該第二資料值轉換成影像資料；一影像信號處理器，該影像信號處理器經組態以接收該影像資料且基於至少一準則將該影像資料分離成至少兩個類別；及一第一緩衝器，其耦接至該影像信號處理器，其中該第一緩衝器經組態以儲存來自該等類別中之至少一者的資料。
  14. 如請求項13之電子裝置，其包含一資料路徑，該資料路徑耦接該類比轉數位轉換器與該影像感測器及該影像信號處理器，其中該資料路徑包含一串列資料線。
  15. 如請求項13之電子裝置，其包含一第二緩衝器，該第二緩衝器耦接至該影像感測器且經組態以儲存藉由該掃描電路在一第一讀取期間自該影像感測器之像素位置讀出的資料信號。
  16. 如請求項13之電子裝置，其包含一第二緩衝器，該第二緩衝器耦接至該影像信號處理器且經組態以儲存來自該等類別中之一第二類別的資料。
  17. 如請求項16之電子裝置，其中該影像信號處理器經組態以擷取儲存於該第一緩衝器及該第二緩衝器中之每一者中的該資料，且利用該所擷取資料來產生一高動態範圍影像。
  18. 一種電子裝置，其包含：一影像感測器，該影像感測器係用以接收對應於單一 影像之光且產生對應於該所接收光的電子信號；一影像掃描器，該影像掃描器係用以掃描該影像感測器的一列像素，其中此掃描係藉由在一第一掃描及一第二掃描期間自該列像素擷取對應於在單一圖框期間所攝取之該單一影像的該所接收光之該等電子信號；及一處理器，該處理器係用以控制藉由該影像掃描器執行之對應於該單一影像的頻率及數目；其中藉由該處理器在複數個啟動信號之一第一者之前及基於回饋因數而判定掃描之該數目及該頻率，該等回饋因數與用於該單一影像之攝取度量相關聯。
  19. 如請求項18之電子裝置，其包含一影像信號處理器，該影像信號處理器經組態以接收該影像資料且基於至少一準則將該影像資料分離成至少兩個類別。
  20. 如請求項19之電子裝置，其中該影像信號處理器經組態以基於組合來自該經分離且儲存之影像資料的資料來產生一高動態範圍影像。
TW101120795A 2011-06-09 2012-06-08 具有高動態範圍攝取能力之影像感測器 TWI511558B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/157,090 US9077917B2 (en) 2011-06-09 2011-06-09 Image sensor having HDR capture capability

Publications (2)

Publication Number Publication Date
TW201301883A TW201301883A (zh) 2013-01-01
TWI511558B true TWI511558B (zh) 2015-12-01

Family

ID=46798978

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101120795A TWI511558B (zh) 2011-06-09 2012-06-08 具有高動態範圍攝取能力之影像感測器

Country Status (7)

Country Link
US (1) US9077917B2 (zh)
EP (1) EP2533520B1 (zh)
JP (1) JP5531054B2 (zh)
KR (1) KR101361331B1 (zh)
CN (1) CN102857712B (zh)
TW (1) TWI511558B (zh)
WO (1) WO2012170717A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI739431B (zh) * 2019-12-09 2021-09-11 大陸商廣州印芯半導體技術有限公司 資料傳輸系統及其資料傳輸方法

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788348B2 (en) 2011-12-20 2014-07-22 Wikipad, Inc. Combination game controller and point of sale input device
KR101938381B1 (ko) * 2012-07-10 2019-01-14 삼성전자주식회사 촬상 장치 및 촬상 방법
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US9137455B1 (en) 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US8446481B1 (en) * 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
KR101948692B1 (ko) 2012-10-09 2019-04-25 삼성전자주식회사 촬영 장치 및 이미지 합성 방법
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US20140240469A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
WO2014133557A1 (en) * 2013-02-28 2014-09-04 Wikipad, Inc. Combination game controller and point of sale input device
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
TWI502990B (zh) * 2013-06-27 2015-10-01 Altek Semiconductor Corp 產生高動態範圍影像的方法及其影像感測器
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US10104318B2 (en) 2013-12-04 2018-10-16 Rambus Inc. High dynamic-range image sensor
JP6090820B2 (ja) 2014-06-27 2017-03-08 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
TWI558204B (zh) * 2014-11-25 2016-11-11 Trans Electric Co Ltd Image capture system
TWI558193B (zh) * 2015-05-11 2016-11-11 Trans Electric Co Ltd Film production method
US20170142313A1 (en) * 2015-11-16 2017-05-18 Microsoft Corporation Image sensor system
US9743025B2 (en) * 2015-12-30 2017-08-22 Omnivision Technologies, Inc. Method and system of implementing an uneven timing gap between each image capture in an image sensor
CN106961557B (zh) 2016-01-08 2020-01-31 中强光电股份有限公司 光场相机及其影像处理方法
US10742390B2 (en) * 2016-07-13 2020-08-11 Novatek Microelectronics Corp. Method of improving clock recovery and related device
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10187584B2 (en) * 2016-12-20 2019-01-22 Microsoft Technology Licensing, Llc Dynamic range extension to produce high dynamic range images
TW201822709A (zh) * 2016-12-30 2018-07-01 曦威科技股份有限公司 即時心跳偵測方法及即時心跳偵測系統
CN107066987B (zh) * 2017-04-26 2020-12-15 胡明建 摄像头数据直接传给gpu处理的方法
CN109104584B (zh) * 2017-06-21 2020-07-10 比亚迪股份有限公司 图像传感器及其高动态范围图像的获取方法
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
KR102411215B1 (ko) * 2017-10-18 2022-06-22 퍼킨엘머 헬스 사이언시즈, 아이엔씨. 전하결합소자(ccd) 카메라를 이용한 신속하고 높은 다이나믹 레인지 이미지 획득
JP7278750B2 (ja) * 2018-11-14 2023-05-22 キヤノン株式会社 撮像装置
CN115379092A (zh) * 2022-08-17 2022-11-22 中南大学 一种高动态范围视频获取方法、***及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080291313A1 (en) * 2004-08-27 2008-11-27 Alexander Krymski High dynamic range imager with a rolling shutter
US20090135263A1 (en) * 2007-11-27 2009-05-28 Noam Sorek Method and Apparatus for Expanded Dynamic Range Imaging
US20100026868A1 (en) * 2006-08-29 2010-02-04 Shimon Pertsel Wide Dynamic Range Image Capturing System Method and Apparatus
US20100165135A1 (en) * 2006-12-20 2010-07-01 Nokia Corporation Exposure control based on image sensor cost function

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309243A (en) * 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
WO1997017800A1 (en) 1995-11-07 1997-05-15 California Institute Of Technology An image sensor with high dynamic range linear output
US6707499B1 (en) 1998-12-08 2004-03-16 Industrial Technology Research Institute Technique to increase dynamic range of a CCD image sensor
JP3615454B2 (ja) 2000-03-27 2005-02-02 三洋電機株式会社 ディジタルカメラ
US6927796B2 (en) 2001-09-24 2005-08-09 The Board Of Trustees Of The Leland Stanford Junior University CMOS image sensor system with self-reset digital pixel architecture for improving SNR and dynamic range
JP2003319250A (ja) * 2002-04-22 2003-11-07 Toshiba Lsi System Support Kk 撮像装置および撮像方法
US7382407B2 (en) 2002-08-29 2008-06-03 Micron Technology, Inc. High intrascene dynamic range NTSC and PAL imager
US6894264B2 (en) 2002-10-15 2005-05-17 Applera Corporation System and methods for dynamic range extension using variable length integration time sampling
KR100656666B1 (ko) 2004-09-08 2006-12-11 매그나칩 반도체 유한회사 이미지 센서
WO2006049098A1 (ja) * 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. イメージセンサ
JP4379408B2 (ja) 2004-12-07 2009-12-09 セイコーエプソン株式会社 信号処理部および撮像装置
WO2008062404A2 (en) * 2006-11-20 2008-05-29 Ben Gurion University Of The Negev Research And Development Authority Optical pixel and image sensor
US7808538B2 (en) * 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
US7616243B2 (en) * 2007-03-07 2009-11-10 Altasens, Inc. Method and apparatus for improving and controlling dynamic range in an image sensor
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
JP2010004240A (ja) * 2008-06-19 2010-01-07 Yamaha Corp Ｃｍｏｓ固体撮像装置
JP2011010108A (ja) * 2009-06-26 2011-01-13 Seiko Epson Corp 撮像制御装置、撮像装置及び撮像制御方法
US8279328B2 (en) * 2009-07-15 2012-10-02 Tower Semiconductor Ltd. CMOS image sensor with wide (intra-scene) dynamic range
JP5478215B2 (ja) * 2009-11-25 2014-04-23 オリンパスイメージング株式会社 撮影装置および撮影装置の制御方法
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080291313A1 (en) * 2004-08-27 2008-11-27 Alexander Krymski High dynamic range imager with a rolling shutter
US20100026868A1 (en) * 2006-08-29 2010-02-04 Shimon Pertsel Wide Dynamic Range Image Capturing System Method and Apparatus
US20100165135A1 (en) * 2006-12-20 2010-07-01 Nokia Corporation Exposure control based on image sensor cost function
US20090135263A1 (en) * 2007-11-27 2009-05-28 Noam Sorek Method and Apparatus for Expanded Dynamic Range Imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI739431B (zh) * 2019-12-09 2021-09-11 大陸商廣州印芯半導體技術有限公司 資料傳輸系統及其資料傳輸方法

Also Published As

Publication number Publication date
KR20130000325A (ko) 2013-01-02
JP2013059017A (ja) 2013-03-28
TW201301883A (zh) 2013-01-01
EP2533520A2 (en) 2012-12-12
US9077917B2 (en) 2015-07-07
CN102857712A (zh) 2013-01-02
KR101361331B1 (ko) 2014-02-10
US20120314100A1 (en) 2012-12-13
EP2533520B1 (en) 2016-10-12
EP2533520A3 (en) 2013-07-24
WO2012170717A1 (en) 2012-12-13
CN102857712B (zh) 2016-06-15
JP5531054B2 (ja) 2014-06-25

Similar Documents

Publication Publication Date Title
TWI511558B (zh) 具有高動態範圍攝取能力之影像感測器
US11206353B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor
JP6461372B2 (ja) 撮影方法、撮影装置、及び端末
JP5937767B2 (ja) 撮像装置及び撮像方法
TWI615027B (zh) 高動態範圍圖像的生成方法、拍照裝置和終端裝置、成像方法
JP5946970B2 (ja) 撮像装置及び撮像方法
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
WO2023015981A1 (zh) 图像处理方法及其相关设备
JP2006191622A (ja) Ｉｓｐ内蔵型イメージセンサ及びデュアルカメラシステム
WO2023160285A1 (zh) 视频处理方法和装置
WO2024045670A1 (zh) 生成高动态范围视频的方法和电子设备
CN110012227B (zh) 图像处理方法、装置、存储介质及电子设备
KR20130046174A (ko) 비전 인식 장치 및 방법
JP2006157600A (ja) デジタルカメラ
CN110198419A (zh) 图像处理方法、装置、存储介质及电子设备
JP2007124292A (ja) 撮像装置、撮像方法および撮像プログラム
WO2019054031A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
KR20140106221A (ko) 다수 이미지 센서를 이용한 촬영방법 및 장치
JP2013062711A (ja) 撮影装置、撮影画像処理方法、およびプログラム
JP5392336B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2008072501A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2012233954A (ja) 電子機器
WO2023070660A1 (zh) 处理图像的方法及装置
JP4727526B2 (ja) 撮像装置