TWI807694B - 高敏感度色彩影像產生方法及其設備 - Google Patents
高敏感度色彩影像產生方法及其設備 Download PDFInfo
- Publication number
- TWI807694B TWI807694B TW111109590A TW111109590A TWI807694B TW I807694 B TWI807694 B TW I807694B TW 111109590 A TW111109590 A TW 111109590A TW 111109590 A TW111109590 A TW 111109590A TW I807694 B TWI807694 B TW I807694B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- color
- frame
- full
- colorless
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 61
- 230000035945 sensitivity Effects 0.000 title description 4
- 230000008569 process Effects 0.000 claims description 36
- 238000004040 coloring Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 24
- 238000012886 linear function Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 11
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 description 29
- 239000010410 layer Substances 0.000 description 20
- 210000001525 retina Anatomy 0.000 description 17
- 238000013461 design Methods 0.000 description 14
- 239000003086 colorant Substances 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000003491 array Methods 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 8
- 230000002085 persistent effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000003278 mimic effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 108091008695 photoreceptors Proteins 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Graphics (AREA)
- Color Television Image Signal Generators (AREA)
- Photoreceptors In Electrophotography (AREA)
- Non-Silver Salt Photosensitive Materials And Non-Silver Salt Photography (AREA)
- Silver Salt Photography Or Processing Solution Therefor (AREA)
Abstract
提供了多種關於利用混合感測器產生全幀彩色影像的方案。一種設備接收來自混合感測器的感測器數據,其中感測器數據包含多個色彩頻道的部分幀色彩數據以及部分幀無色彩數據。該設備接著基於部分幀無色彩數據產生全幀無色彩數據。該設備接著基於全幀無色彩數據以及部分幀色彩數據產生全幀彩色影像。該設備可增強全幀彩色影像特別是在低光源環境的畫質。
Description
本公開總體上涉及影像處理。特別地,本公開涉及利用混合感測器所捕捉到的數據產生高敏感度彩色影像的方法及設備。
除非本文另外指出,否則本節中描述的方法不是後面列出的申請專利範圍的現有技術,並且不被包括在本節中而被承認為現有技術。
人類藉由我們眼睛的視網膜接收光訊號而得到視覺感知。視網膜是位在眼睛後側上的薄層,並具有數個位於其上的光感受器。打個比方,視網膜相較於眼睛來說就像是底片相較於相機一樣。在人類的眼睛中有兩種光感受器,也就是視桿細胞以及視錐細胞。視桿細胞對於接收到的光非常敏感,因為就算是非常小量的光視桿細胞也能夠感測的到。也就是說,光線只需要具有一點光子就足夠啟動視桿細胞,接著視桿細胞傳送電子訊號到人腦作為接收到光的指示。然而,視桿細胞無法辨別光的顏色。也就是說,視桿細胞是無色彩光感受器,而人腦無法藉由視桿細胞所傳送的電子訊號感知光的顏色。相反地,視錐細胞是色彩光感知器。也就是說,視錐細胞能夠產生電子訊號告訴大腦接收到的光是什麼顏色,所以大腦能夠感知物件的色彩特性,例如色調及飽和度。在視網膜上有三種視錐細胞,他們個別能夠感測到紅光、綠光以及藍光。基於這三種顏色,也就是顏色模型的紅色、綠色以及藍色,人眼感知到的其他色彩都可以由這三種顏色以特定強度比例或比值的組合所呈現。因此,這三種視錐細胞能夠讓大腦感知可看到的顏色的全光譜。儘管如此,相較於只需要一點光子就能啟動視桿細胞,啟動視錐細胞需要遠遠更多的光子能量。因此,在周遭缺光或朦朧的低光環境中,比較有可能的情況是視桿細胞維持啟動(也就是傳送相對應的電子訊號到大腦)而視錐細胞則大部分未啟動(也就是沒有傳送電子訊號到大腦)。由於來自視錐細胞的電子訊號薄弱,視網膜所接收到的光訊號在大腦的感知會更偏向灰階的影像。因此,在低光環境下儘管仍可辨識或感知物件的形狀、外型及/或陰影,人眼很難在低光環境下判斷物件的顏色。
視桿細胞和視錐細胞除了感測光的功能不同(也就是能否分辨顏色),他們在視網膜上的數量也不一樣。一般來說,人眼的視網膜具有超過一億個視桿細胞,而在視網膜上只存在大約六百萬個視錐細胞。這也是為什麼人眼在低光環境下對於形狀、外型、黑暗及陰影的辨識或感知能力優於色彩的辨識或感知能力。
除了使用底片模仿視網膜,現代的數位影像捕捉裝置(例如數位相機、數位攝影機、手機相機、監視攝影機等)使用感測器陣列捕捉真實世界的影像,感測器陣列具有能夠感測或偵測顏色的多個感測元件或像素感測器。類似於視網膜具有三種視錐細胞,感測器陣列也包含不同種類的感測元件用來感測對應顏色模型的顏色。舉例來說,數位相機典型的感測器陣列可包含經配置以感測紅光的第一組感測元件、經配置以感測綠光的第二組感測元件以及經配置以感測藍光的第三組感測元件。然而,不像是人眼的視網膜具有視桿細胞,感測器陣列缺少適合低光環境的感測元件。因此,低光環境成為使用上述感測器陣列的數位影像捕捉裝置的限制因素,且在低光環境下所產生的影像結果會缺少細節、呈現不佳的清晰度以及對比度。
以下發明內容僅是說明性的,而無意於以任何方式進行限制。即,提供以下概述以介紹本文所述的新穎和非顯而易見的技術的概念、重點、益處和優點。選擇部分而並非所有實施方式將在下面的詳細描述中進一步描述。因此,以下發明內容既不旨在標識所要求保護的主題的必要特徵,也不旨在用於確定所要求保護的主題的範圍。
本揭露的一個目的是提供關於利用混合感測器產生高敏感度彩色影像的方案、概念、設計、技術、方法及設備。藉由本揭露中的多種實施例,相信可達成影像特別是在低光環境下的增強畫質、較低的影像雜訊等級及/或較少的硬體成本等益處。
在一個面向中呈現了利用來自混合感測器的感測器數據產生全幀彩色影像的方法,其中混合感測器使用具有多個色彩感測元件以及多個無色彩感測元件且共同位於其上的感測器陣列。該方法可涉及從混合感測器接收感測器數據,其中感測器數據包含多個色彩頻道的部分幀色彩數據以及部分幀無色彩數據。在一些實施例中,部分幀色彩數據是藉由感測器陣列的色彩感測元件所產生的,而部分幀無色彩數據是藉由感測器陣列的無色彩感測元件所產生的。感測器陣列具有的無色彩感測元件可多於色彩感測元件。該方法也可涉及基於部分幀無色彩數據產生全幀無色彩數據。該方法還可涉及基於全幀無色彩數據以及部分幀色彩數據產生全幀彩色影像。
在另一個面向,所呈現的是包括輸入模組、空間濾波模組以及著色模組的設備。輸入模組經配置而從混合感測器接收感測器數據,其中混合感測器使用具有多個色彩感測元件以及多個無色彩感測元件且共同位於其上的感測器陣列。感測器數據包含多個色彩頻道的部分幀色彩數據以及部分幀無色彩數據。在一些實施例中,部分幀色彩數據是藉由感測器陣列的色彩感測元件所產生的,而部分幀無色彩數據是藉由感測器陣列的無色彩感測元件所產生的。空間濾波模組經配置以基於部分幀無色彩數據產生全幀無色彩數據。著色模組經配置以基於全幀無色彩數據以及部分幀色彩數據產生多個全幀色彩影像。該多個全幀色彩影像各自對應到該多個色彩頻道的各個色彩頻道。
在以下詳細描述中,通過示例的方式闡述了許多具體細節,以提供對相關教導的透徹理解。基於本文描述的教導的任何變化、派生和/或擴展均在本公開的保護範圍內。在一些情況下,與本文公開的一個或多個示例實施方式有關的眾所周知的方法、過程、組件和/或電路可以在沒有詳細描述的情況下以相對較高的水平進行描述,以避免不必要地混淆本公開的教導的各個方面。
根據本揭露的實施例關於利用混合感測器產生全幀彩色影像的多種關於技術、方法、方案及/或解決方案。根據本揭露,多個可能的解決方案可一起或分開實現。也就是說,儘管這些可能的解決方案在以下是分開描述的,兩個或更多的可能解決方案可以結合為一個或其他的組合所實現。
I. 混合感測器
如上所述,現有的影像感測器只包含色彩感測元件用於感測或偵測真實世界物件的色彩元件,但缺少適合用於在低光環境偵測物件的無色彩感測元件。以人類眼睛為比方,缺少無色彩感測元件的感測器就好像只有視錐細胞但沒有視桿細胞的視網膜。因此,這些影像感測器在低光環境下捕捉影像的能力相當有限。舉例來說,在低光環境下捕捉影像時,這些影像感測器最後得到的影像具有許多噪點,因為能夠到達影像感測器的感測元件的入射光總量接近於影像感測器的底噪(noise floor)。
為了強化影像感測器在低光環境下不佳敏感度,本揭露使用混合感測器(也就是混合影像感測器),能夠模仿人眼的視網膜。所提出的混合感測器具有無色彩感測元件(non-chromatic sensing element)(用於模仿視網膜的視桿細胞)再加上色彩感測元件(chromatic sensing element)(用於模仿視網膜的視錐細胞),其中這兩種感測器都共同位於混合感測器的感測陣列中。混合感測器還可包含介面光學元件(例如,用於將入射光引導到達感測器陣列的光學元件)及/或介面電子元件(例如,讀出電路,能夠讀取或轉達由感測器陣列所產生的電子訊號到外部裝置用於顯示或進一步處理)。第1圖是根據本揭露實施例的示例設計,其中示出混合感測器的感測器陣列100。感測器陣列100經配置以利用感測器陣列100的頂表面181接收入射光170,其中入射光170是從混合感測器嘗試捕捉影像的真實世界物件所反射及/或輻射。感測器陣列100的頂表面181在第1圖以俯視圖191呈現。
感測器陣列100包括多個形成陣列或矩陣的感測元件(有時候也被稱為感測像素或像素感測器)。感測器陣列100的多個感測元件以俯視圖191所呈現,包含感測元件111、112、113、114、115、121、122、123、124、125、131、132、133、134、135、141、142、143、144、145、151、152、153、154及155。感測器陣列100的多個感測元件各別是色彩感測元件或無色彩感測元件的其中一種。各個色彩感測元件經配置以產生像素數據(也就是電子訊號)呈現出該色彩感測元件所接收到的入射光170的色彩要素(也就是特定的顏色色調),而各個無色彩感測元件經配置以產生像素數據(也就是電子訊號)呈現出該無色彩感測元件所接收到的入射光170的明亮(luminance)要素(也就是特定的光影)。具體來說,在俯視圖191所示的多個感測元件之中,感測元件111、113、115、131、133、135、151、153及155是色彩感測元件,而其他的感測元件是無色彩感測元件。
如第1圖所示,感測器陣列100的剖視圖192呈現出俯視圖191中感測器陣列100沿A-A’截面所看到的剖視視角。如剖視圖192所示,感測器元件100包括感測層186及設置在感測層186上的過濾層185。過濾層185及感測層186各自沿著本質上平行於感測器陣列100的光接收表面181(也就是頂表面181)的平面延伸。也就是說,各個感測元件具有位於過濾層185中的頂部以及位於感測層186中的底部。色彩感測元件以及無色彩感測元件之間的差異在於過濾部分(也就是頂部)而不是在於感測部分(也就是底部)。頂部可作為光學過濾器,其允許特定波長頻帶的光學要素通過並到達底部而將特定波長頻代的光學要素阻擋在外。感測元件(像是色彩及無色彩感測元件)的底部進行光學轉電學的相同功能,也就是將頂部允許通過的光學要素轉換為對應的電子訊號呈現這些通過的光學要素的強度。感測層186可包括光偵測器陣列,其可藉由感光耦合元件(charged coupled device,簡稱CCD)或互補式金屬氧化半導體(CMOS)等技術所實現。
任何可見的顏色都能利用顏色模型的原色所合成或呈現。RGB顏色模型是一種廣泛被使用的顏色模型,其中的原色為紅色、綠色及藍色。另一種廣泛被使用的顏色模型是CMY顏色模型,其中的原色為青色、紫紅色及黃色。色彩感測元件具有可允許在顏色模型的原色周遭的狹窄頻帶中的光學要素通過,而阻擋在該狹窄頻帶之外的光學要素。原色周遭的狹窄頻帶通常被稱為色彩頻道。對於使用特定顏色模型的感測器陣列來說,感測器陣列的色彩感測元件能夠只允許顏色模型的色彩頻道中的光學要素通過。以RGB顏色模型為例,感測器陣列100可使用RGB顏色模型,且色彩感測元件111、113、115、131、133、135、151、153及155可允許入射光170在RGB顏色模型中三個色彩頻道(也就是紅色頻道、綠色頻道集藍色頻道)中的其中一個頻道之內的光學要素通過各個色彩感測元件的過濾部分(也就是色彩感測元件位於過濾層185中的頂部)。類似地,當使用CMY顏色模型時,色彩感測元件111、113、115、131、133、135、151、153及155可感測在青色頻道、紫紅色頻道或黃色頻道中的入射光170光學要素。
色彩感測元件中,可允許在紅色頻道內的光學要素通過的色彩感測元件稱為紅色頻道像素感測器,可允許在綠色頻道內的光學要素通過的色彩感測元件稱為綠色頻道像素感測器,而可允許在藍色頻道內的光學要素通過的色彩感測元件稱為藍色頻道像素感測器。在一些實施例中,感測器陣列100可使用RGB顏色模型,且感測器陣列的多個色彩感測元件可包含紅色頻道像素感測器131及135、藍色頻道像素感測器113及153以及綠色頻道像素感測器111、115、133及155。如剖視圖192所示,綠色頻道像素感測器133可接收入射光170的部分173。綠色頻道像素感測器133的頂部只允許部分173在綠色頻道之內的光學要素(在第1圖中以光學訊號173F表示)通過並到達綠色頻道像素感測器133的底部。類似地,紅色頻道像素感測器131及135可個別接收入射光170的部分171以及部分175,且紅色頻道像素感測器131及135可個別允許在RGB顏色模型的紅色頻道之內的光學要素(在第1圖中以光學訊號171F以及175F表示)通過。
如上所述,感測器陣列100也包含多個無色彩感測元件,也就是感測元件112、114、121-125、132、134、141-145、152及154。由於無色彩感測元件的目的是模仿人體視網膜的視桿細胞,無色彩感測元件可經配置已允許入射光170以最小的耗損或朝向特定波長頻帶的偏移通過過濾層185,使得入射光170大部分(假如不是全部)的光學能量能夠被感測層186所感測。舉例來說,各個像素感測器132及134為無色彩感測元件,且各個像素感測器132及134的頂部經配置以提供入射光170越少越好甚至沒有的阻擋。也就是說,光學要素(在剖視圖192中以光學訊號172F以及174F表示)個別保留入射光170的部分172和部分174中可見光範圍內的大部分光學能量,並個別在像素感測器132及134接收。由於感測器陣列100的無色彩感測器元件經配置以接收入射光170在可見光範圍內的大部分光學要素,無色彩感測元件通常被稱為白光像素感測器或白光感測器。
在一些實施例中,過濾層185可經配置使得不只是可見光範圍內的光學要素,還有鄰近可見光範圍的紅外線範圍(例如在近紅外線(NIR)頻帶,像是波長在850奈米左右或更長的波長)內的光學要素能夠通過無色彩感測元件的過濾層185。加入NIR頻帶可進一步增加到達無色彩感測元件的感測層186的光學能量總量,因此增強入射光170特別是在低光環境下明亮要素的敏感度。除了能感測可見光要素還能感測NIR要素的無色彩感測元件被稱為NIR感測器或紅外線(IR)感測器。
如本案所述,過濾層185的配置可決定感測器陣列100的色彩及無色彩感測元件如何分布或設置。色彩及無色彩感測元件的設置可由過濾層185的俯視圖所呈現,其中俯視圖所呈現的內容通常被稱為拜耳陣列(Bayer pattern)。第2圖示出了根據本揭露實施例的示例設計,其中示出了多種拜耳陣列210、220、230及240。各個拜耳陣列210、220、230及240可用於混合感測器的過濾層185。在第2圖中,各個空白方塊代表無色彩感測元件,而各個有陰影的方塊代表色彩感測元件。第2圖的拜耳陣列使用RGB顏色模型作為範例而呈現,但本設計可應用於其他顏色模型而不受限於RGB顏色模型。類似於人體視網膜中視桿細胞的數量多於視錐細胞的數量,在每個拜耳陣列210、220、230及240中,無色彩感測元件的數量多於色彩感測元件的數量。具體來說,在拜耳陣列210、220、230及240中的無色彩感測元件以及色彩感測元件個別具有數量比3:1、8:1、15:1及24:1。較高的數量比特別在低光環境下可提供較高的明亮敏感度,因此,以產生較稀疏的色彩數據做為代價,利用混合感測器產生的影像具有改善的畫質。隨著特定的應用可找到最佳的數量比,基於本設計的實驗結果,在數量比高達63:1的情況下依然能夠利用本案接下來詳細揭露的流程產生高畫質的全幀彩色影像。
另外,須注意色彩感測元件稀疏地分布在各個拜耳陣列210、220、230及240的多個無色彩感測元件之中。也就是說,色彩感測元件橫跨頂表面181(也就是感測器陣列100的光接收表面)稀疏地分布在多個無色彩感測元件之中。在一些實施例中,色彩感測元件橫跨頂表面181均勻地分布在多個無色彩感測元件之中。
II. 利用著色產生全幀彩色影像
第3圖示出了根據本揭露實施例的示例設計,其中全幀彩色影像(full-frame color image)340是利用混合感測器所提供並偵測到的感測器數據300所產生。所謂的全幀,在一些實施例中,指的是彩色影像340的每個像素都包含數據。然而,在一些實施例中,全幀彩色影像340可能不是在每個像素都有數據。取而代之地,全幀彩色影像340可以是未壓縮或已壓縮的影像,並包含數據在足夠多但不是全部的像素中,例如YUV420或YUV422格式或其他當代的格式。提供感測器數據300的混合感測器可使用感測器陣列(例如感測器陣列100)。全幀彩色影像340包括多個全幀色彩影像,例如影像341、342及343。各個全幀色彩影像341、342及343分別對應到感測器陣列所使用的色彩模組的多個色彩頻道的個別的色彩頻道。舉例來說,在感測器數據300是由使用RGB顏色模型的感測器陣列所產生的情況中,各個影像341、342及343分別對應到RGB顏色模型的原色的個別色彩頻道。舉例來說,全幀色彩影像341、342及343可分別對應到綠色色彩頻道、紅色色彩頻道及藍色色彩頻道。
如第3圖所示,感測器數據300包含部分幀色彩數據(partial-frame chromatic data)310以及部分幀無色彩數據(partial-frame color-insensitive data)320。具體來說,部分幀色彩數據310是由混合感測器的色彩感測元件所產生,色彩感測元件例如是感測器陣列100的色彩感測元件111、113、115、131、133、135、151、153及155,或是在各個拜耳陣列210、220、230及240中所標示的色彩感測元件。由於色彩感測元件稀疏地分布在拜耳陣列上,所產生的色彩數據310自然會是部分幀,所謂的部分幀代表色彩數據310並不是在感測器陣列的每一個像素位置都具有數據。舉例來說,感測器陣列100的色彩感測元件所產生的色彩數據310可以只在色彩感測元件111、113、115、131、133、135、151、153及155的像素位置具有數值,而在無色彩感測元件112、114、121-125、132、134、141-145、152及154的像素位置沒有數值。
部分幀色彩數據310可由多個部分幀色彩影像(例如影像311、312及313)所呈現。各個部分幀色彩影像311、312及313分別對應到感測器陣列所使用的顏色模型的多個色彩頻道的個別色彩頻道。舉例來說,在感測器數據300是由使用RGB顏色模型的感測器陣列所產生的情況中,各個影像311、312及313分別對應到RGB顏色模型的原色的個別色彩頻道。舉例來說,部分幀色彩影像311、312及313可分別對應到綠色色彩頻道、紅色色彩頻道及藍色色彩頻道。具體來說,部分幀色彩影像311可由綠色頻道感測元件111、115、133、151及155所產生,部分幀色彩影像312可由紅色頻道感測元件131及135所產生,而部分幀色彩影像313可由藍色頻道感測元件113及153所產生。
類似於色彩數據310,無色彩數據320自然也是部分幀,因為無色彩數據320是由混合感測器的無色彩感測元件所產生,無色彩感測元件例如是感測器陣列100的無色彩感測元件112、114、121-125、132、134、141-145、152及154,或是在各個拜耳陣列210、220、230及240中所標示的無色彩感測元件。因此,色彩數據310及無色彩數據320可彼此互補而在像素位置具有數值。根據本揭露的實施例,由於感測器陣列中無色彩感測元件的數量多於色彩感測元件的數量,無色彩數據320相較於色彩數據310在感測器陣列的全幀當中會更「齊全」。如上所述,部分幀無色彩數據320代表感測器數據300的明亮要素,而部分幀色彩數據310代表感測器數據300的色彩要素。
如第3圖的數據流所示,空間濾波模組371將部分幀無色彩數據320作為輸入並輸出全幀無色彩數據330。也就是說,基於部分幀無色彩數據320,空間濾波模組371把對應於色彩感測元件的像素位置中填上數值,這些位置原本在部分幀無色彩數據320中不包含數據。在一些實施例中,空件濾波模組371可藉由進行空間濾波程序(例如,藉由內插特定數量的部分幀無色彩數據的像素數值)決定所要填入的數值。舉例來說,在決定全幀無色彩數據330在對應於色彩感測元件133的像素位置的像素數值時,空間濾波模組371可利用部分幀無色彩數據320在對應於色彩感測元件133周圍的無色彩感測元件的像素位置(例如,對應於無色彩感測元件123、132、134及143的像素位置)的像素植進行內插。替代或額外地,也可在空間濾波模組371所進行的空間濾波程序中,參考對應色彩感測元件133周圍的其他無色彩感測元件(例如無色彩感測元件122、124、142及144)的位置的像素數值。
在一些實施例中,除了將部分幀無色彩數據320作為輸入之外,空間濾波模組371可進一步利用部分幀色彩數據310產生全幀無色彩數據330。也就是說,部分幀色彩影像311、312及313中的一個或多個影像可在進行空間濾波程序中由空間濾波模組371所參考。舉例來說,由色彩感測元件133所感測的色彩數據也可用來決定像素位置缺失的明亮數值,特別是在環境光充足的情況下。一般來說,空間濾波模組371中使用部分幀色彩數據310以及部分幀無色彩數據320。由於缺失的無色彩像素在空間領域中佔有相對少的部分,缺失的無色彩像素的內容與其鄰近的像素會高度相關。空間濾波模組371可因此藉由例如但不限於各種像素內插法(例如最鄰近內插法、雙線性內插法或雙立方內插法)、保邊濾波器(例如雙邊濾波器或引導濾波器)或其他非線性濾波器補償這些缺失的數值。
無色彩數據320及330有時被稱為白頻道數據。這是因為白光涵蓋可見光的所有要素,而因此對顏色不敏感。部分幀無色彩數據320可被稱為部分幀白頻道數據,而全幀無色彩數據330可被稱為全幀白頻道數據。另外,全幀無色彩數據330也可被稱為灰色影像,因為全幀無色彩數據330中所包含的明亮資訊通常在視覺上以灰階影像呈現。
如第3圖的數據流所示,全幀彩色影像340是由著色模組372基於部分幀色彩數據310以及全幀無色彩數據330所產生。具體來說,著色模組372進行著色程序,藉由利用部分光色彩影像311、312及313中所包含的色彩資訊個別對無色彩數據330進行著色,而產生全幀彩色影像340的全幀色彩要素341、342及343。更具體來說,包含在部分幀色彩影像311、312及313中的色彩資訊被用來做為塗鴉塊或色刷,用來讓著色模組372經由著色程序對全幀無色彩數據330上色,以個別產生全幀色彩影像341、342及343。第4圖中給出了著色的範例。
第4圖示出了根據本揭露實施例的示例設計,其中說明了著色程序的一個面向。著色程序372可使用部分幀色彩數據310的像素數值作為顏色塗鴉塊對全幀無色彩數據或灰色影像330上色,以產生全幀色彩影像341、342及343。如第4圖所示,陰影像素411、415、451及455可呈現用於著色模組372的一些色彩塗鴉塊以對灰色影像330上色,灰色影像330的一部分由白色頻道數據430所呈現。如第4圖的箭頭所指示,各個色彩塗鴉塊可用於對色彩塗鴉塊附近灰色影像330的鄰近區域上色,也可用於對個別的色彩塗鴉塊所在的像素位置上色。
第4圖也示出著色模組372的輸入以及輸出,著色模組372對所使用的顏色模型的其中一個色彩頻道進行著色程序,如第4圖所示,著色模組372對紅色頻道進行著色程序。具體來說,輸入包含影像451(也就是呈現全幀無色彩數據330的範例影像)以及多個色彩塗鴉塊452(也就是呈現部分幀色彩數據310的紅色頻道312的範例影像)。作為著色結果的輸出可由紅色頻道的全幀色彩影像453(也就是呈現全幀彩色影像340的紅色頻道影像342的範例影像)所呈現。也就是說,著色模組372利用色彩塗鴉塊452將灰色影像451著色為色彩影像453。著色模組372以顏色模型的各個色彩頻道進行著色程序以產生全幀色彩影像341、342及343,這些全幀色彩影像可以合起來顯示或者可作為全幀彩色影像340傳送。
在一些實施例中,色彩塗鴉塊452透過實質上線性函數(substantially linear equation)而與著色結果453相關。舉例來說,由著色模組372所進行的著色程序可涉及利用實質上線性函數將部分幀色彩數據310應用到全幀無色彩數據330,其中該實質上線性函數建立如上所述色彩塗鴉塊452與著色結果453之間的關係或其他由方程式所定義之關係。如此一來,部分幀色彩影像311、312及313個別透過方程式與全幀色彩影像341、342及343相關。該實質上線性函數可由以下方程式表示:
式(1)
參考第4圖中的式例470,在式(1)中的函數
U
i 代表色彩塗鴉塊,並顯示出部分幀色彩數據310的色彩頻道的像素數值,而在式(1)中的函數
Y
i 代表全幀無色彩數據330的像素數值,且假設用於色彩塗鴉塊
U
i 附近的鄰近區域Ω
k 中像素的係數
a
k 及
b
k 維持定值。在一些實施例中,鄰近區域Ω
k 在感測器陣列的水平方向以及垂直方向的兩個維度可設定為至少是個別方向的兩個相鄰塗鴉塊之間距離的兩倍。在一些實施例中,鄰近區域Ω
k 的維度可設定為兩個相鄰塗鴉塊之間距離的四倍或更大。一般來說,鄰近區域Ω
k 的尺寸越大能得到越好的著色結果。
在一些實施例中,係數
a
k 及
b
k 的最佳值可利用各種最佳化技術得到,例如導向濾波求解器或雙邊求解器。在一些實施例中,係數
a
k 及
b
k 可利用誤差矩陣(error matrix)得到,誤差矩陣例如是橫跨全幀彩色影像340的全幀色彩影像(例如全幀色彩影像341、342或343)的所有像素的誤差平方和(sum of squared differences,簡稱SSD)或絕對差和(sum of absolute differences,簡稱SAD)。舉例來說,如下的式(2)可被用來找到用於全幀色彩影像的各個鄰近區域Ω
k 的係數
a
k 及
b
k 最佳值,其中係數
a
k 及
b
k 最佳值可最小化
J(U)。
式(2)
第5圖示出了根據本揭露實施例的示例設計,其中說明了上述著色程序的優點。具體來說,本揭露所提出的著色程序的優點包含可以保存或保留全幀彩色影像340中顏色模型的不同原色之間的邊緣或交界。第5圖以兩張例圖510及520說明相關優點。例圖510說明全幀灰色影像330與部分幀彩色數據310重疊。在例圖510中,色彩塗鴉塊以字母R以及字母B標示,其中標示為字母R的色彩塗鴉塊可形成紅色頻道的部分幀色彩影像312,且其中標示為字母B的色彩塗鴉塊可形成藍色頻道的部分幀色彩影像313。並且在例圖510中,在全幀灰色影像330的每個像素位置的黑暗陰影代表在這個像素位置的明亮數值,具有較暗陰影的像素代表較低階的明亮度而具有較亮陰影的像素代表較高階的明亮度。須注意以第5圖中的特定範例來說,感測器數據300含有非常低的綠色色彩頻道的數值,因此並未示出綠色色彩頻道的部分幀色彩影像311。每個R塗鴉塊以及B塗鴉塊的字體大小代表他們的色彩像素數值,較大的字體代表較大的像素數值。例圖520說明著色模組372進行著色流程所產出的全幀彩色影像340,其中各個R字母以及B字母的字體大小代表對應的色彩像素數值,且其中各個像素的黑暗陰影代表對應的明亮像素數值。在例圖520中的全幀彩色影像340清楚地示出在藍色頻道以及紅色頻道之間的交界525。也就是說,在全幀彩色影像340中,兩個原色頻道之間良好地維持著交界525。
III. 說明用實現
第6圖說明範例設備600,可利用從混合感測器得到的感測器數據產生高敏感度全幀彩色影像。如第6圖所示,設備600接收代表現實世界物件的感測器數據601,並因此產生高敏感度全幀彩色影像699。感測器數據601可包含的數據例如感測器數據300,而全幀彩色影像699可以是全幀彩色影像340的實施例。
如第6圖所示,設備600具有多個元件或模組用於將感測器數據601處理成全幀彩色影像699,多個元件或模組至少包含從輸入模組610、空間濾波器620、著色模組630、記憶體640以及輸出模組650中所選擇的一些元件。著色模組630可包含係數求解器632以及係數緩衝器634。記憶體640可包含感測器數據緩衝器642用於儲存感測器數據601,以及灰色影像緩衝器644用於儲存由空間慮波模組620所產生的全幀灰色影像。記憶體640可進一步包含緩衝器640用於儲存著色模組630進行著色程序所產出的結果。
在一些實施例中,以上所列的模組610-650是軟體指令的模組,用於被計算裝置或電子設備的一個或多個處理單元(例如處理器)所執行。在一些實施例中,模組610-650是硬體電路的模組,由電子設備的一個或多個積體電路(IC)所實現。雖然第6圖所示的模組610-650以分開的模組表示,一些模組可以被結合成單一個模組。
輸入模組610經配置以接收感測器數據601。感測器數據601可從混合感測器所得到或捕捉。混合感測器可使用感測器陣列,例如感測器陣列100。感測器數據601可包含部分幀色彩數據(例如部分幀色彩數據310)以及部分幀無色彩數據(例如部分幀無色彩數據320)。部分幀色彩數據可藉由混合感測器的多個色彩感測元件所產生,色彩感測元件例如是色彩感測元件111、113、115、131、133、135、151、153及155。部分幀無色彩數據可藉由混合感測器的多個無色彩感測元件所產生,無色彩感測元件例如是無色彩感測元件112、114、121-125、132、134、141-145、152及154。色彩感測元件以及無色彩感測元件共同位於混合感測器的感測器陣列中,並且一起在感測器陣列的光接收表面上(例如,感測器陣列100的頂表面181)形成陣列或矩陣。色彩感測元件經設置而橫跨光接收表面稀疏地分布在多個無色彩感測元件之中。感測器陣列中的無色彩感測元件所具有的數量大於感測器陣列中色彩感測元件的數量。在一些實施例中,色彩感測元件均勻地分布在無色彩感測元件之中。
空間濾波模組620經配置以處理感測器數據601的部分幀無色彩數據,並對應地產生全幀無色彩數據(例如,全幀灰色影像330)。空間濾波模組620可實現為空間濾波模組371。在一些實施例中,為了產生全幀無色彩數據,空間濾波模組620可進一步處理感測器數據601的部分幀色彩數據。為了產生全幀無色彩數據,空間濾波模組620可藉由個別進行內插操作處理部分幀無色彩屬據以及部分幀色彩數據。
著色模組630經配置以藉由進行著色程序產生包含多個全幀色彩影像(例如全幀色彩影像341、342及343)的著色結果,該多個全幀色彩影像是基於感測器數據601的部分幀色彩數據以及由空間濾波模組620所產生的全幀無色彩數據。著色模組630可實現為著色模組372。著色結果的各個全幀色彩影像對應到混合感測器所使用的顏色模型的個別色彩頻道。著色模組630可將全幀色彩影像儲存在緩衝器646中作為著色結果。在一些實施例中,在產生全幀色彩影像時,著色模組630可使用實質上線性函數(例如式(1)的函數)。也就是說,著色模組630經配置以將多個色彩頻道的各個色彩頻道的部分幀色彩數據經由線性函數應用到全幀無色彩數據。
在一些實施例中,著色模組630可包含係數求解器632,該係數求解器632經配置以決定線性函數的係數(例如,式(1)的係數
a
k 及
b
k ),以得到最佳著色結果。在一些實施例中,係數求解器632可利用基於式(2)的SSD求解器、引導濾波求解器或雙邊求解器決定係數。線性函數的係數可儲存在係數緩衝器632。在產生全幀色彩影像時,著色模組630可不斷地從係數緩衝器632取出係數,因為用於個別色彩塗鴉塊附近的特定鄰近區域(例如,在第4圖中色彩塗鴉塊
U
i 附近的鄰近區域Ω
k )中像素的係數維持不變。
在一些實施例中,設備600可包含輸出模組650。輸出模組650經配置以傳送儲存在緩衝器中的全幀色彩影像作為全幀彩色影像699。舉例來說,輸出模組650可傳送色彩頻道的全幀色彩影像到顯示裝置,而顯示裝置經配置以將全幀色彩影像呈現為全幀彩色影像699。
IV. 說明用流程
第7圖說明依據本揭露實施例的範例流程700。流程700可呈現出實現各種以上所提出的設計、概念、方案、系統及方法的面向。更具體來說,流程700可呈現所提出的概念及方案的面向,關於依據本揭露基於來自混合感測器的感測器數據產生全幀彩色影像。流程700可包含如一個或多個方塊710、720及730所說明的一個或多個操作、行動或功能。雖然在第7圖中以分離的方塊表示,流程700的各種方塊可被分割成額外的方塊、結合成更少的方塊或依據所需的實現方式減少方塊。並且,流程700的方塊/子方塊可依照第7圖所示的順序執行,或者以不同順序代替。另外,流程700的方塊/子方塊可被重複或疊代執行。流程700可以由設備600或在設備600中實現,也可由設備600的任何變化所實現。以下的流程700是在設備600的情況下所描述,但這只是為了說明的目的而不限於此範圍。流程700可以在方塊710開始。
在方塊710,流程700可涉及設備600的輸入模組610,以接收來自混合感測器的感測器數據。混合感測器可使用包含多個原色的顏色模型,並可從多個原色合成所有的可見顏色。顏色模型可以是RGB顏色模型、CMY顏色模型或其他能夠產生涵蓋所有可見顏色的顏色空間的合適顏色模型。感測器數據可包含顏色模型的多個色彩頻道的部分幀色彩數據(例如,部分幀色彩影像311、312及313)。感測器數據也可包含部分幀無色彩數據(例如,無色彩數據320)。部分幀無色彩數據可對應到白光波長的頻帶。在一些實施例中,部分幀無色彩數據可對應到進一步包含近紅外光(NIR)頻帶以及甚至超過NIR頻帶的波長頻帶。感測器數據可儲存於設備600的感測器數據緩衝器642。在一些實施例中,部分幀色彩數據由混合感測器的色彩感測元件所產生,而部分幀無色彩數據由混合感測器的無色彩感測元件所產生。混合感測器可具有與色彩感測元件相比有較多數量的無色彩感測元件。混合感測器可包含由感測器陣列100所實現的感測器陣列。流程700可接著從方塊710進行到方塊720。
在方塊720,流程700可涉及空間濾波模組620,並基於在方塊710所接收的感測器數據的部分幀無色彩數據產生全幀無色彩數據(例如,全幀灰色影像330)。在一些實施例中,空間濾波模組620可藉由在部分幀無色彩數據上進行內插操作產生全幀無色彩數據。在一些實施例中,空間濾波模組620除了基於部分幀無色彩數據也可基於部分幀色彩數據產生全幀無色彩數據。流程700接著可從方塊720進行到方塊730。
在方塊730,流程700可涉及著色模組630,並進行著色程序以產生全幀彩色影像(例如,全幀彩色影像340)。著色程序可基於全幀無色彩數據(例如,全幀灰色影像330)以及部分幀色彩數據(例如,部分幀色彩影像311、312及313)所進行。全幀色彩影像包括多個全幀色彩影像(例如,全幀色彩影像341、342及343)。各個全幀色彩影像對應到混合感測器所使用的顏色模型的個別的色彩頻道。並且,著色模組630基於各個全幀色彩影像所對應的個別色彩頻道的全幀無色彩數據以及部分幀色彩數據產生各個全幀色彩影像。在一些實施例中,著色模組630可藉由將個別的色彩頻道的部分幀色彩數據經由實質上線性函數應用到全幀無色彩數據進行著色程序。著色模組630可利用係數求解器632解出實質上線性函數的係數。係數求解器632可以是引導濾波求解器、雙邊求解器或SSD求解器。
V. 示例電子系統
許多上述特徵和應用被實現為被指定為記錄在計算機可讀存儲介質(也稱為計算機可讀介質)上的一組指令的軟體過程。當這些指令由一個或多個計算或處理單元(例如,一個或多個處理器,處理器的核心或其他處理單元)執行時,它們使處理單元執行指令中指示的動作。計算機可讀介質的示例包括但不限於CD-ROM、閃存驅動器、隨機存取記憶體(RAM)晶片、硬碟驅動器、可擦可程式化只讀記憶體(EPROM)、電可擦可程式化只讀記憶體(EEPROM) )等。計算機可讀介質不包括無線或通過有線連接傳遞的載波和電子信號。
在本說明書中,術語“軟體”旨在包括駐留在只讀記憶體中的韌體或存儲在磁性記憶體中的應用,其可以被讀入記憶體以供處理器處理。而且,在一些實施例中,可以將多個軟體發明實現為較大程式的子部分,同時保留不同的軟體發明。在一些實施例中,多種軟體發明也可以被實現為單獨的程式。最後,一起實現此處描述的軟體發明的單獨程式的任何組合都在本公開的範圍內。在一些實施例中,軟體程式在被安裝以在一個或多個電子系統上運行時,定義了一種或多種執行和執行軟體程式的操作的特定機器實現。
第8圖概念性地示出了實現本公開的一些實施例的電子系統800。電子系統800可以是計算機(例如,台式計算機、個人計算機、平板計算機等)、電話、PDA或任何其他種類的電子設備。這樣的電子系統包括各種類型的計算機可讀介質以及用於各種其他類型的計算機可讀介質的介面。電子系統800包括匯流排805、處理單元810、圖形處理單元(GPU)815、系統記憶體820、網路825、只讀記憶體830、永久存儲設備835、輸入設備840,以及輸出設備845。
匯流排805共同代表通信地連接電子系統800的眾多內部設備的所有系統匯流排、外圍設備匯流排和晶片組匯流排。例如,匯流排805將處理單元810與GPU 815、只讀記憶體830、系統記憶體820和永久存儲設備835通信地連接。
處理單元810從這些各種存儲單元中擷取要執行的指令和要處理的資料,以便執行本公開的處理。在不同的實施例中,處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 815並由其執行。GPU 815可以卸載各種計算或補充由處理單元810提供的圖片處理。
只讀記憶體(ROM)830存儲由處理單元810和電子系統的其他模塊使用的靜態資料和指令。另一方面,永久存儲設備835是讀寫存儲設備。該設備是非易失性存儲單元,即使電子系統800處於關閉狀態,該單元也存儲指令和資料。本公開的一些實施例使用大容量存儲設備(諸如磁碟或光碟及其對應的磁碟驅動器)作為永久存儲設備835。
其他實施例使用可移動存儲設備(例如軟碟、閃存設備等,及其對應的磁碟驅動器)作為永久存儲設備。像永久存儲設備835一樣,系統記憶體820是讀寫存儲設備。然而,與存儲設備835不同,系統記憶體820是易失性讀寫記憶體,例如隨機存取記憶體。系統記憶體820存儲處理器在運行時使用的一些指令和資料。在一些實施例中,根據本公開的過程被存儲在系統記憶體820,永久存儲設備835和/或只讀記憶體830中。例如,各種存儲單元包括用於根據一些實施例處理多媒體剪切的指令。處理單元810從這些各種存儲單元中擷取要執行的指令和要處理的資料,以便執行一些實施例的處理。
匯流排805還連接到輸入和輸出設備840和845。輸入設備840使用戶能夠向電子系統傳達資訊並選擇命令。輸入設備840包括字母數位鍵盤和指示設備(也稱為“光標控制設備”)、照相機(例如,網路攝像頭)、麥克風或用於接收語音命令的類似設備等。輸出設備845顯示由電子系統生成的圖片或其他輸出資料。輸出設備845包括打印機和顯示設備,例如陰極射線管(CRT)或液晶顯示器(LCD),以及揚聲器或類似的音頻輸出設備。一些實施例包括既充當輸入設備又充當輸出設備的設備,例如觸摸屏。
最後,如第8圖所示,匯流排805還通過網路適配器(未示出)將電子系統800耦合到網路825。以這種方式,計算機可以是計算機網路的一部分(例如局域網(“ LAN”)、廣域網(“ WAN”)或內聯網,或網路網(network of networks),例如互聯網。電子系統800的任何或所有組件可以與本公開結合使用。
一些實施例包括電子組件,例如微處理器、記憶體和記憶體,將計算機程式指令存儲在機器可讀或計算機可讀介質(或者稱為計算機可讀存儲介質,機器可讀介質或機器可讀介質)中。這種計算機可讀介質的一些示例包括RAM、ROM、只讀光碟(CD-ROM)、可記錄光碟(CD-R)、可重寫光碟(CD-RW)、只讀數位多功能光碟(例如 ,DVD-ROM,雙層DVD-ROM)、各種可記錄/可重寫DVD(例如DVD-RAM,DVD-RW,DVD + RW等)、閃存(例如SD卡、mini-SD卡、micro-SD卡等)、磁性和/或固態硬碟驅動器、只讀和可記錄的Blu-Ray®光碟、超密度光碟,任何其他光學或磁性介質以及軟碟。該計算機可讀介質可以存儲計算機程式,該計算機程式可以由至少一個處理單元執行,並且包括用於執行各種操作的指令集。計算機程式或計算機代碼的示例包括諸如由編譯器產生的機器代碼,以及包括由計算機、電子部件或使用解釋器的微處理器執行的更高級別的代碼的文件。
儘管以上討論主要是指執行軟體的微處理器或多核處理器,但是許多上述特徵和應用是由一個或多個積體電路執行的,例如專用積體電路(ASIC)或現場可程式化控制器門陣列(FPGA)。在一些實施例中,這樣的積體電路執行存儲在電路本身上的指令。另外,一些實施例執行存儲在可程式化邏輯設備(PLD),ROM或RAM設備中的軟體。
如本說明書和本申請的任何申請專利範圍中所使用的,術語“計算機” 、“服務器”、“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括個人或人群。為了說明的目的,術語“顯示”或“顯示”是指在電子設備上顯示。如本說明書和本申請的任何申請專利範圍中所使用的,術語“計算機可讀媒體”、“計算機可讀介質”和“機器可讀介質”完全限於有形的物理對象,該有形的物理對像以可被電腦讀取的形式存儲資訊。這些術語不包括任何無線信號、有線下載信號和任何其他臨時信號。
雖然已經參考許多具體細節描述了本公開,但是所屬領域具有通常知識者將認識到,在不脫離本公開的精神的情況下,本公開可以以其他特定形式來體現。另外,許多附圖(包括第7圖和第6圖)在概念上示出了過程。這些過程的特定操作可能無法按照所示和所描述的確切順序執行。可以不在一個連續的一系列操作中執行特定操作,並且可以在不同的實施例中執行不同的特定操作。此外,該過程可以使用幾個子過程來實現,或者作為更大的宏過程的一部分來實現。因此,所屬領域具有通常知識者將理解,本公開內容不受限於前述說明性細節,而是由所附申請專利範圍限定。在一些實施例中,編碼器可以在位元流中信令(或生成)一個或多個語法元素,使得解碼器可以從位元流中解析所述一個或多個語法元素。
文中描述的主題有時示出了包含在其它不同部件內的或與其它不同部件連接的不同部件。應當理解:這樣描繪的架構僅僅是示例性的,並且,實際上可以實施實現相同功能的許多其它架構。在概念意義上,實現相同功能的部件的任何布置是有效地“相關聯的”,以使得實現期望的功能。因此,文中被組合以獲得特定功能的任意兩個部件可以被視爲彼此“相關聯的”,以實現期望的功能,而不管架構或中間部件如何。類似地,這樣相關聯的任意兩個部件還可以被視爲彼此“可操作地連接的”或“可操作地耦接的”,以實現期望的功能,並且,能夠這樣相關聯的任意兩個部件還可以被視爲彼此“操作上可耦接的”,以實現期望的功能。“操作上可耦接的”的具體示例包含但不限於:實體地可聯結和/或實體地相互、作用的部件、和/或無線地可相互作用和/或無線地相互作用的部件、和/或邏輯地相互作用的和/或邏輯地可相互作用的部件。
此外,關於文中基本上任何複數和/或單數術語的使用,只要對於上下文和/或應用是合適的,所屬技術領域具有通常知識者可以將複數變換成單數,和/或將單數變換成複數。為清楚起見,這裡可以明確地闡述各種單數/複數排列。
所屬技術領域具有通常知識者將會理解,通常,文中所使用的術語,特別是在所附申請專利範圍(例如,所附申請專利範圍中的主體)中所使用的術語通常意在作爲“開放性”術語(例如,術語“包含”應當被解釋爲“包含但不限幹”,術語“具有”應當被解釋爲“至少具有”,術語“包含”應當被解釋爲“包含但不限幹”等)。所屬技術領域具有通常知識者還將理解,如果意在所介紹的申請專利範圍陳述對象的具體數目,則這樣的意圖將會明確地陳述在申請專利範圍中,在缺乏這樣的陳述的情況下,不存在這樣的意圖。例如,爲了幫助理解,所附申請專利範圍可以包含使用介紹性短語“至少一個”和“一個或更多個”來介紹申請專利範圍陳述對象。然而,這樣的短語的使用不應當被解釋爲:用不定冠詞“一個(a或an)”的申請專利範圍陳述對象的介紹將包含這樣介紹的申請專利範圍陳述對象的任何申請專利範圍限制爲只包含一個這樣的陳述對象的發明,即使在同一申請專利範圍包含介紹性短語“一個或更多個”或“至少一個”以及諸如“一個(a)”或“一個(an)”之類的不定冠詞的情況下(例如,“一個(a)”和/或“一個(an)”應當通常被解釋爲意味著“至少一個”或“一個或更多個”)也如此;上述對以定冠詞來介紹申請專利範圍陳述對象的情況同樣適用。另外,即使明確地陳述了介紹的申請專利範圍陳述對象的具體數目,但所屬技術領域具有通常知識者也會認識到:這樣的陳述通常應當被解釋爲意味著至少所陳述的數目(例如,僅有“兩個陳述對象”而沒有其他修飾語的陳述通常意味著至少兩個陳述對象,或兩個或更多個陳述對象)。此外,在使用類似於“A、B和C中的至少一個等”的慣用語的情況下,通常這樣的結構意在所屬技術領域具有通常知識者所理解的該慣用語的含義(例如,“具有A、B和C中的至少一個的系統”將包含但不限於具有單獨的A、單獨的B、單獨的C、A和B —起、A和C 一起、B和C 一起和/或A、B和C 一起的系統等)。在使用類似於“A、B或C中的至少一個等”的慣用語的情況下,通常這樣的結構意在所屬技術領域具有通常知識者所理解的該慣用語的含義(例如,“具有A、B或C中的至少一個的系統”將包含但不限於具有單獨的A、單獨的B、單獨的C、A和B —起、A和C 一起、B和C 一起和/或A、B和C 一起的系統等)。所屬技術領域具有通常知識者將進一歩理解,不管在說明書、申請專利範圍中還是在附圖中,表示兩個或更多個可替換的術語的幾乎任意析取詞和/或短語應當理解成考慮包含術語中的一個、術語中的任一個或所有兩個術語的可能性。例如,短語“A或B”應當被理解成包含“A”、“B”、或“A和B”的可能性。
從前述內容可以理解,本文已經出於說明的目的描述了本公開的各種實施方式,並且在不脫離本公開的範圍和精神的情況下可以進行各種修改。因此,本文公開的各種實施方式不旨在是限制性的,真正的範圍和精神由所附申請專利範圍指示。
100:感測器陣列
111-115、121-125、131-135、141-145、151-155:感測元件
170:入射光
171-175:部分
171F-175F:光學訊號
181:頂表面
185:過濾層
186:感測層
191:俯視圖
192:剖視圖
210、220、230、240:拜耳陣列
300:感測器數據
310:部分幀色彩數據
311、312、313:部分幀色彩影像
320:部分幀無色彩數據
330:全幀無色彩數據
340:全幀彩色影像
341、342、343:全幀色彩影像
371:空間濾波模組
372:著色模組
411、415、451、455:陰影像素
452:色彩塗鴉塊
453:色彩影像/著色結果
470:示例
510、520:例圖
525:交界
600:設備
601:感測器數據
610:輸入模組
620:空間濾波器
630:著色模組
632:係數求解器
634:係數緩衝器
640:記憶體
642:感測器數據緩衝器
644:灰色影像緩衝器
650:輸出模組
699:全幀彩色影像
700:流程
710、720、730:方塊
800:電子系統
805:匯流排
810:處理單元
815:圖形處理單元
820:系統記憶體
825:網路
830:只讀記憶體
835:永久存儲設備
840:輸入設備
845:輸出設備
包括附圖以提供對本公開的進一步理解,並且附圖被併入本公開並構成本公開的一部分。 附圖示出了本公開的實施方式,並且與描述一起用於解釋本公開的原理。 可以理解的是,附圖不一定按比例繪製,因為為了清楚地示出本公開的概念,某些組件可能被顯示為與實際實現中的尺寸不成比例。
第1圖示出了根據本揭露實施例的示例設計。
第2圖示出了根據本揭露實施例的示例設計。
第3圖示出了根據本揭露實施例的示例設計。
第4圖示出了根據本揭露實施例的示例設計。
第5圖示出了根據本揭露實施例的示例設計。
第6圖示出了根據本揭露實施例的示例設備。
第7圖示出了根據本揭露實施例的示例流程。
第8圖示出了根據本揭露實施例的示例電子系統。
300:感測器數據
310:部分幀色彩數據
311、312、313:部分幀色彩影像
320:部分幀無色彩數據
330:全幀無色彩數據
340:全幀彩色影像
341、342、343:全幀色彩影像
371:空間濾波模組
372:著色模組
Claims (18)
- 一種產生全幀彩色影像的方法,包括:從混合感測器接收感測器數據,該感測器數據包含多個色彩頻道的部分幀色彩數據以及部分幀無色彩數據;基於該部分幀無色彩數據產生全幀無色彩數據;以及基於該全幀無色彩數據以及該部分幀色彩數據產生該全幀彩色影像,其中:該混合感測器包含感測器陣列,該感測器陣列具有第一數量的多個色彩感測元件以及第二數量的多個無色彩感測元件,且該第二數量大於該第一數量,該多個色彩感測元件經配置以產生該部分幀色彩數據,該多個無色彩感測元件經配置以產生該部分幀無色彩數據,以及該多個色彩感測元件橫跨該感測器陣列的光入射表面稀疏地散布於該多個無色彩感測元件中。
- 如請求項1所述之方法,其中,該產生該全幀無色彩數據包含內插該部分幀無色彩數據。
- 如請求項1所述之方法,其中,該產生該全幀無色彩數據進一步基於該部分幀色彩數據。
- 一種產生全幀彩色影像的方法,包括:從混合感測器接收感測器數據,該感測器數據包含多個色彩頻道的部分幀色彩數據以及部分幀無色彩數據;基於該部分幀無色彩數據產生全幀無色彩數據;以及基於該全幀無色彩數據以及該部分幀色彩數據產生該全幀彩色影像,其中,該全幀彩色影像包含多個全幀色彩影像,該多個全幀色彩影像各自對應到該多個色彩頻道的各個色彩頻道,且其中該產生該全幀彩色影像包含利用著色程序基於該全幀無色彩數據以及該各個色彩頻道的部分幀色彩數據產生該多個 全幀色彩影像的各全幀色彩影像。
- 如請求項4所述之方法,其中,該著色程序包含經由實質上線性函數將該各個色彩頻道的部分幀色彩數據應用到該全幀無色彩數據。
- 如請求項5所述之方法,其中,該著色程序還包含利用引導濾波求解器或雙邊求解器決定該實質上線性函數的一個或多個係數。
- 如請求項4所述之方法,其中,該多個色彩頻道包含紅色頻道、綠色頻道以及藍色頻道。
- 如請求項4所述之方法,其中,該多個色彩頻道包含青色頻道、紫紅色頻道以及黃色頻道。
- 如請求項4所述之方法,其中,該部分幀無色彩數據包含白光數據、紅外線數據或這兩者的組合。
- 一種影像處理設備,包括:輸入模組,經配置以從混合感測器接收感測器數據,該感測器數據包含多個色彩頻道的部分幀色彩數據以及部分幀無色彩數據;空間濾波模組,經配置以基於該部分幀無色彩數據產生全幀無色彩數據;以及著色模組,經配置以基於該全幀無色彩數據以及該部分幀色彩數據產生多個全幀色彩影像,該多個全幀色彩影像各自對應到該多個色彩頻道的各個色彩頻道,其中,該混合感測器包含感測器陣列,該感測器陣列具有第一數量的多個色彩感測元件以及第二數量的多個無色彩感測元件,且該第二數量大於該第一數量,該多個色彩感測元件經配置以產生該部分幀色彩數據,該多個無色彩感測元件經配置以產生該部分幀無色彩數據,以及該多個色彩感測元件橫跨該感測器陣列的光入射表面稀疏地散布於該多個無色彩感測元件中。
- 如請求項10所述之設備,其中,該空間濾波模組經配置以藉由對該部分幀無色彩數據進行內插而產生該全幀無色彩數據。
- 如請求項10所述之設備,其中,該空間濾波器經配置以進一步基於該部分幀色彩數據產生該全幀無色彩數據。
- 一種影像處理設備,包括:輸入模組,經配置以從混合感測器接收感測器數據,該感測器數據包含多個色彩頻道的部分幀色彩數據以及部分幀無色彩數據;空間濾波模組,經配置以基於該部分幀無色彩數據產生全幀無色彩數據;著色模組,經配置以基於該全幀無色彩數據以及該部分幀色彩數據產生多個全幀色彩影像,該多個全幀色彩影像各自對應到該多個色彩頻道的各個色彩頻道;以及輸出模組,經配置以將該多個全幀色彩影像作為全幀彩色影像傳遞。
- 如請求項13所述之設備,其中,該著色模組在產生該多個全幀色彩影像中經進一步配置以經由線性函數將該各個色彩頻道的部分幀色彩數據應用到該全幀無色彩數據。
- 如請求項14所述之設備,其中,該著色模組進一步經配置以利用導向濾波求解器或雙邊求解器決定該線性函數的一個或多個係數。
- 如請求項13所述之設備,其中,該多個色彩頻道包含紅色頻道、綠色頻道以及藍色頻道。
- 如請求項13所述之設備,其中,該多個色彩頻道包含青色頻道、紫紅色頻道以及黃色頻道。
- 如請求項13所述之設備,其中,該部分幀無色彩數據包含白光數據、紅外線數據或這兩者的組合。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163162091P | 2021-03-17 | 2021-03-17 | |
US63/162,091 | 2021-03-17 | ||
US17/691,043 | 2022-03-09 | ||
US17/691,043 US20220303515A1 (en) | 2021-03-17 | 2022-03-09 | High Sensitivity Color Image Generation Using Hybrid Sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202239197A TW202239197A (zh) | 2022-10-01 |
TWI807694B true TWI807694B (zh) | 2023-07-01 |
Family
ID=83284080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111109590A TWI807694B (zh) | 2021-03-17 | 2022-03-16 | 高敏感度色彩影像產生方法及其設備 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220303515A1 (zh) |
CN (1) | CN115118937A (zh) |
TW (1) | TWI807694B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040090550A1 (en) * | 2002-10-26 | 2004-05-13 | Samsung Techwin Co., Ltd. | Image sensing means for digital camera and digital camera adopting the same |
US20170374299A1 (en) * | 2016-06-28 | 2017-12-28 | Intel Corporation | Color correction of rgbir sensor stream based on resolution recovery of rgb and ir channels |
US20180131880A1 (en) * | 2016-11-10 | 2018-05-10 | Intel Corporation | System and method of efficient illuminator-sensor synchronization to capture images |
US20200351460A1 (en) * | 2012-05-31 | 2020-11-05 | Apple Inc. | Raw Scaler With Chromatic Aberration Correction |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6657663B2 (en) * | 1998-05-06 | 2003-12-02 | Intel Corporation | Pre-subtracting architecture for enabling multiple spectrum image sensing |
US6690422B1 (en) * | 1999-11-03 | 2004-02-10 | Sharp Laboratories Of America, Inc. | Method and system for field sequential color image capture using color filter array |
JP4466569B2 (ja) * | 2006-01-10 | 2010-05-26 | 株式会社豊田中央研究所 | カラー画像再生装置 |
US7769229B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Processing images having color and panchromatic pixels |
US7769230B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Producing low resolution images |
US8446470B2 (en) * | 2007-10-04 | 2013-05-21 | Magna Electronics, Inc. | Combined RGB and IR imaging sensor |
US8224082B2 (en) * | 2009-03-10 | 2012-07-17 | Omnivision Technologies, Inc. | CFA image with synthetic panchromatic image |
US20110013056A1 (en) * | 2009-07-17 | 2011-01-20 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Color filters and demosaicing techniques for digital imaging |
JP5326943B2 (ja) * | 2009-08-31 | 2013-10-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US8345117B2 (en) * | 2010-06-30 | 2013-01-01 | Hand Held Products, Inc. | Terminal outputting monochrome image data and color image data |
FR3004882B1 (fr) * | 2013-04-17 | 2015-05-15 | Photonis France | Dispositif d'acquisition d'images bimode |
JP6468482B2 (ja) * | 2014-11-26 | 2019-02-13 | 株式会社リコー | 撮像装置、物体検出装置及び移動体機器制御システム |
CN104581100A (zh) * | 2015-02-12 | 2015-04-29 | 张李静 | 色彩滤镜阵列和图像处理方法 |
JP2018082259A (ja) * | 2016-11-15 | 2018-05-24 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、信号処理回路、及び、電子機器 |
WO2018183206A1 (en) * | 2017-03-26 | 2018-10-04 | Apple, Inc. | Enhancing spatial resolution in a stereo camera imaging system |
US10643306B2 (en) * | 2017-10-11 | 2020-05-05 | Qualcomm Incoporated | Image signal processor for processing images |
US10431616B2 (en) * | 2017-12-20 | 2019-10-01 | Google Llc | Color filter arrays for image sensors |
JP2019128827A (ja) * | 2018-01-25 | 2019-08-01 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
-
2022
- 2022-03-09 US US17/691,043 patent/US20220303515A1/en active Pending
- 2022-03-15 CN CN202210254505.5A patent/CN115118937A/zh active Pending
- 2022-03-16 TW TW111109590A patent/TWI807694B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040090550A1 (en) * | 2002-10-26 | 2004-05-13 | Samsung Techwin Co., Ltd. | Image sensing means for digital camera and digital camera adopting the same |
US20200351460A1 (en) * | 2012-05-31 | 2020-11-05 | Apple Inc. | Raw Scaler With Chromatic Aberration Correction |
US20170374299A1 (en) * | 2016-06-28 | 2017-12-28 | Intel Corporation | Color correction of rgbir sensor stream based on resolution recovery of rgb and ir channels |
US20180131880A1 (en) * | 2016-11-10 | 2018-05-10 | Intel Corporation | System and method of efficient illuminator-sensor synchronization to capture images |
Also Published As
Publication number | Publication date |
---|---|
US20220303515A1 (en) | 2022-09-22 |
TW202239197A (zh) | 2022-10-01 |
CN115118937A (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6503485B2 (ja) | 撮像処理装置および撮像処理方法 | |
JP4466569B2 (ja) | カラー画像再生装置 | |
US8666153B2 (en) | Image input apparatus | |
JP5045421B2 (ja) | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム | |
JP4233257B2 (ja) | 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 | |
US8125543B2 (en) | Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection | |
US20090285480A1 (en) | Multi-channel edge-aware chrominance noise reduction | |
TWI542224B (zh) | 影像訊號處理方法以及影像訊號處理裝置 | |
WO2020119505A1 (zh) | 一种图像处理方法和*** | |
JP2011248358A (ja) | 画像処理方法および画像処理装置 | |
JP6004757B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2008022521A (ja) | 固体撮像素子 | |
JP2010092461A (ja) | 画像処理装置及び画像処理方法 | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
CN104756488B (zh) | 信号处理设备以及信号处理方法 | |
JP5698875B2 (ja) | カラー撮像素子および撮像装置 | |
JP2012165204A (ja) | 信号処理装置、信号処理方法、撮像装置及び撮像処理方法 | |
CN110463197A (zh) | 增强立体相机成像***中的空间分辨率 | |
WO2023231583A1 (zh) | 图像处理方法及其相关设备 | |
TWI807694B (zh) | 高敏感度色彩影像產生方法及其設備 | |
KR102644899B1 (ko) | 공간적으로 다중화된 노출 | |
JP2006333113A (ja) | 撮像装置 | |
JP2011041094A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP2011041094A5 (zh) | ||
JP2009290795A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器 |