TW200822764A - Imaging device and signal processing method - Google Patents

Imaging device and signal processing method Download PDF

Info

Publication number
TW200822764A
TW200822764A TW096119016A TW96119016A TW200822764A TW 200822764 A TW200822764 A TW 200822764A TW 096119016 A TW096119016 A TW 096119016A TW 96119016 A TW96119016 A TW 96119016A TW 200822764 A TW200822764 A TW 200822764A
Authority
TW
Taiwan
Prior art keywords
signal
green
blue
red
pixels
Prior art date
Application number
TW096119016A
Other languages
English (en)
Other versions
TWI338511B (zh
Inventor
Ming Li
Ryota Kosakai
Akira Matsui
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200822764A publication Critical patent/TW200822764A/zh
Application granted granted Critical
Publication of TWI338511B publication Critical patent/TWI338511B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049—Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

200822764 九、發明說明： 【發明所屬之技術領域】 本發明係關於產生紅色、綠色及藍色組成之三原色之攝 像#號之攝像裝置及信號處理方法。 【先前技術】 在數位攝像機中，在以圖像取人被照體之攝像處理系統 之構仏巾±要有單板式與三板式。I板式攝像機係包含 1個固體攝像it件，利用此_板之固體攝像元件產生三原 色RGB之色信號。例如，在日本特開平ι〇七〇刷號公報 中，記載著在一板之CCD影像感測器上，將分別透過紅 色、綠色及監色之彩色濾光器排列成方格花紋狀，產生色 t號R 〇 B，並產生藉相關處理及内插處理提高解像度 之圖像t唬之攝像裝置。在此種提高解像度之圖像信號 中，有產生假色之問題。 另方面，二板式攝像機係包含3個固體攝像元件，分 別被分光鏡分光之紅色光、綠色光及藍色光入射至此3個 固體攝像元件。此等固體攝像元件係分別獨立地產生紅 色、綠色及藍色之色信號。三板式攝像機與單板式攝像機 相比，可分別獨立地以固體攝像元件感光三原色，故可獲 知同解像度而重現性高之圖像，但因電路規模較大，圖像 處理量亦大，故由固體攝像元件讀出色信號需要更長 間。 又，在三板式攝像機中，作為由各固體攝像元件所得之 紅色、綠色及藍色之色信號產生圖像信號之處理，有正方 119360.doc 200822764 旦素對正處理與正方畫素挪移處理。 正方畫素對正處理如圖13A所示，係使由各固體攝 件所得之各色信號之畫素之位置在空 ♦兀 en丄 丄欸之處理。 ’在正方晝素對正處理中，感光感測器讀出之晝素數與 輸出側之圖像信號之晝素數仙。故在此處理中了為提高 圖像h號之解像度，有必要以與感光感測器側之晝素數同 樣之倍率加以提高1如，欲將輸出侧之靜止晝:解像度 由3M晝素提高至6M畫素時，感光感測器側之畫素數^ 須同樣由3M畫素提高至6M畫素。 口又’正方畫素挪移處理如圖13B所示，係、由綠色之色信 號之晝素排列，使紅色、藍色之色信號之晝素排列分別向 水平方向各挪移晝素大小d之一半d/2,獲得藉由内插挪移 後之畫素之色信號，以提高解像度之攝像信號。在此方法 中，輪出側之攝像信號之畫素數為各固體攝像元件之畫素 七換"之，固體攝像元件之畫素數為輸出側之圖 像k號之畫素數之一半。 在此，P返著母1幀之解像度之提高，由固體攝像元件讀 出色^就之項出時間會延長。又，在此種色信號之讀出速 门速化上，有硬體性能上之極限。因此，欲獲得同樣 解像度之圖像仏虎之情形，由於正方晝素挪移處理只要 4用口體攝像兀件之晝素數之一半，也可藉内插處理而產 生具有同程度之解像度之圖像信號，故與正方晝素對正處 才比即使5買出速度較慢，仍可實現同程度之幀傳輸 率。 H9360.doc 200822764 【發明内容】 [發明所欲解決之問題] 而’在三板式攝像機中’利用正方畫素挪移處理輪出圖 像信號之情形，在施行内插處理後之圖像會產生假色，故 與正方晝素對正處理之情形相比，會損及所產生之圖像之 重現性。 t發明係鑑於此種實情而提案者，其技術課題在於提供 以高幀傳輸率產生高晝質之圖像之攝像裝置及圖像信號處 理方法。 [解決問題之技術手段]
為解決如上述之技術課題而提案之本發明之一實施型態 之攝像裝置係對經由開口部入射之光感光，依紅色、綠色 及藍色之各色產生各畫素鄰接且被二維排列之圖像信號之 攝像裝置；包含·'红色攝像元件，其係對入射光感光而輸 出晝素排列成方袼花紋狀之紅色信號；綠色攝像元件，其 係對入射光感光而輸出畫素排列成方袼花紋狀之綠色信 號；藍色攝像元#，其係對入射光感光而輸出畫素排列成 方格花紋狀之藍色信號；内插處理機構，其係以該空畫 之周邊晝素内插排列成方格花紋狀之各畫素間之空畫素； 及相關處理機構，其係求出空晝素之周邊晝素之相關關 係。紅色攝像元件、綠色攝像元件及藍色攝像元件係分別 輸出各畫素之位置在空間上一致之紅色信號、綠色信號及 藍色信號；相關處理機構係依據紅色信號、綠色信號及藍 色信號中至少1種色信號， 對紅色信號、綠色信號及藍色 119360.doc 200822764 信號之各信號求出相關關係；内插處理機構係依據相關關 係，對紅色信號、綠色信號及藍色信號之各信號内插空晝 素之晝素，產生圖像信號。
又’本發明之另-實施型態之信號處理方法係依紅色、 綠色及藍色之各色產生各晝素鄰接且被二維排列之圖像信 號之信號處理方法；利用3個攝像元件，使各晝素之位置 在空間上一致而輸出晝素排列成方格花紋狀之紅色信號、 畫素排列成方格花紋狀之綠色信號及晝素排列成方格花紋 ^之k色信號；依據紅色信號、綠色信號及藍色信號中至 少1種色信號’對紅色信號、綠色信號及藍色信號之各信 號求出排列成方格花紋狀之各畫素間之空畫素之周邊晝素 之相關關係'，·依據相關關係，對紅色信號、綠色信號及駐 色信號之各信號内插空晝素，產生攝像信號。 本發明由於係依據晝素分別排列成方格花紋狀之紅色信 戒、綠色信號、藍色信號中至少】種色信號，在紅色信 喊、綠色信號及藍色信號之各信號求出空晝素之周邊晝素 之相關關係’依據相關關,係内插空晝素，故可以比由攝像 凡件:出之晝素數更高解像度輸出無假色之色信號，藉以 不知及重現性之情況下，以高的I貞傳輸率產生高解像度 之攝像信號。 、本發明所獲得之具體 之實施型態中獲得更明 本發明之進一步之其他技術課題 的優點將可由參照以下圖式所說明 確之瞭解。 【實施方式】 n9360.doc 200822764 以下，一面參照圖式，一面詳細說明實施本發明之最佳 型恶。以下說明之實施型態係將本發明適用於對經由開口 部入射之光感光而產生各晝素依紅色、綠色及藍色之各色 鄰接而被二維排列之攝像信號之攝像裝置（以下稱數位攝 像機）。 本貝^型態之數位攝像機1如圖1所示，係包含對被照體 攝像而輸出紅色、綠色及藍色之三原色組成之色信號 20R 20G、20B之攝像處理部1〇〇、對攝像處理部輸出 之色信號20R、20G、20B施以特定之信號處理之信號處理 部200、及控制攝像處理部1〇〇及信號處理部2〇〇之運算處 理部300。 攝像處理部100係三板式之攝像處理系，係由經由未圖 示之開口部聚集來自被照體之光之光學元件110、將光學 疋件110所聚集之光分光成為紅色光1011、綠色光1〇G及藍 色光10B之分光鏡120、對分光鏡120所分光之紅色光 1 0R、綠色光10G及藍色光10B分別感光而變換成電氣信號 之3個攝像元件130R、130G、130B、調節攝像元件i3〇r、 1 3〇G、130B所變換之3種電氣信號之增益而輸出被數位化 之色信號20R、20G、20B之A/D變換部14〇r、14〇G、 140B、及依照來自運算處理部3〇〇之控制信號控制攝像元 件130R、130G、130B之動作之驅動電路15〇所構成。 信號處理部200係包含：對由攝像處理部1〇〇輸出之色信 號20R、20G、20B施行亮度補正及黑位準補正等之光學補 正之光學補正部210、對被光學補正之色信號2〇R、2〇(}、 119360.doc -10- 200822764 20B施行内插處理而輸出色信號3〇R、3〇g、3〇β之嵌鑲處 理部220、調節色信號3〇R、3〇G、3〇B之白平衡之白平衡 (WB)凋節部230、對被調節白平衡之色信號3〇R、3〇g、 3〇B施行γ補正之γ補正部24〇、對應於被丫補正之色信號 30R、30G、30B分別輸出亮度信號γ及色差信號心、以之 Y補正部250及C補正部260、變換亮度信號y及色差信號 Cr、Cb之解像度而輸出依據特定廣播規格之影像信號之解 像度變換處理部270、及將自嵌鑲處理部22〇及丫補正部24〇 刀別輸出之色信號30R、3〇G、30B積分而檢測各色信號間 之光程差之光程差檢測部280。 運算處理部300係依據光程差檢測部28〇檢測之光程差資 訊’將控制信號供應至攝像處理部1〇〇及信號處理部2〇〇之 各處理部。具體而言，運算處理部3〇〇係依據光程差資 訊’調節由光學元件110穿透分光鏡120之光量，且經由驅 動電路150控制攝像元件i30r、i3〇g、130B之動作，進一 步控制A/D變換部140R、140G、140B所調節之信號之增 益。 , 其次’參照圖2，詳細說明有關在攝像處理部1 〇〇之攝像 元件130R、130G、130B之構成。 攝像元件130R、130G、130B分別在基板上配設有複數 感光元件。在攝像元件13〇R、130G、130B中，各感光元 件對紅色光10R、綠色光10G及藍色光10B感光而變換成電 氣信號，將變換之電氣信號輸出至A/D變換部140R、 140G、140B。在此，構成色信號20R、20G、20B之各畫 119360.doc -11 - 200822764 素值係對應於配設在攝像元件130R、13〇G、i3⑽之基板 上之複數感光元件所輸出之電氣信號。即，色信號2〇r ' 2 0 G、2 0 B之晝素值係分別對應於各攝像元件具有之感光 元件之數。
又，相對於將複數感光元件配置成一邊長d構成之正方 格子狀而成之以往之攝像元件，攝像元件u〇r、i3〇G、 130B如圖2A所示，係配置有一邊長為(2l/2)><d而將感光元 件配置成使上述正方格子旋轉45。之二維排列之攝像元 件。故攝像元件職、130G、賄之各感光元件之間隔 雖與上述以往之攝像元件同樣為d，但相對於上述以往之 攝像元件，每1晝素之感光元件之面積則增至2倍，故感光 特性較高。 / 又，除了上述圖2A所示之構成以外，攝像元件丨规、 130G、130B也可如圖2B所示般配置感光元件。具體上， 攝像元件130R、130G、13〇B係不變更上述正方格子之一 邊長d而將感光元件配置成使正方袼子旋轉化。之二維排列 之攝像元件。此種攝像元件13〇R、n〇G、13叩與上述以 往之攝像元件相比之情形’感光元件之面積相同，故感光 特性並無變化’但因各感光元件之間隔為(2l/2)xd/2，故在 水平及垂直方向之解像度分別成為2^2倍^ 配置感光元件之攝像元 如團及圖2B所示 1观1則、1遍雙方被讀出之資料數均只有以往之 像70件之—半。因此’攝像同樣幀傳輸率之圖像時，與 彺之攝像兀件相比，攝像元件隱、i3QG、測在每 119360.doc -12· 200822764 疋時間由感光元件讀出之資料量只有一半。 又，攝像元件130R、130G、130B並不限定於上述正方 格子，也可使例如菱形或正方形等之正多角形之袼子狀旋 轉45。而使感光元件二維排列。 又，攝像元件130R、l3〇G、130B之構造只要屬於可輸 出晝素排列成方格花紋狀之色信號2〇r、2〇G、2〇B，任何 方式均無妨，並不限定於CCD方式或CMOS方式之哪一方 式。 其次，說明攝像處理部1〇〇由紅色光10R、綠色光1〇(3及 藍色光10B產生色信號2〇r、20G、20B，信號處理部200由 色信號20R、20G、20B產生色信號30R、30G、30B之處理 過程。 首先，分光鏡所分光之紅色光l〇R、綠色光1〇G及藍色 光10B分別被圖3A所示之攝像元件i30R、130G、130B分 別具有之感光元件感光，並被變換成電氣信號。被變換成 電氣信號之紅色光10R、綠色光1〇<3及藍色光1〇B分別藉 A/D變換部140R、140G、140B產生圖3B所示之色信號 20R、20G、20B。 在此，如上所述，與以往之攝像元件相比，攝像元件 130R、130G、130B在每一定時間之感光元件之數只有一 半，故色信號20R、20G、20B變成各晝素排列成方格花紋 狀之信號。故在晝素排列成方格花紋狀之色信號2〇R、 20G、2GB中，晝素不存在於各晝素間之區域。在嵌鎮處 理部220中，將此種空晝素由其周邊晝素之資訊内插而產 I19360.doc •13- 200822764 生圖3C所示之色信號3〇R、30G、30B。 :次，將本實施型態之空畫素之内插方法揭示於以下， :者’揭示實現該内插方法之嵌鑲處理部22。之構成與動 全:先1為空晝素之内插方法，如圖4所示，使用以空 。為中心之周邊晝素Cl、、…、cn，而施行空晝素 C。之内插。在此’冑設各畫素之晝素值為P(Ck)(k=l、 2、…、n)時，空晝素Co可依式（1)設定晝素值。 (〇) C1(f)xp(c1)+c2(f)xp(c2)+".+Cii(f)xp(cn)…式(1) 查在此式（1)中之Cl(f)，C2(f)，…，Cn(f)分別係對周邊 晝素之加權函數。此等加權函數可任意決定，以下，作為 依據式（1)所不之内插處理算出空畫素之晝素值之具體例， 說明内插例1及内插例2。 在内插例1中’揭示水平内插處理與垂直内插處理作為 維内插。在水平内插處理中，如圖5 A所示，此内插處理 係5又疋對應於鄰接排列於與空晝素CG相同之水平線上之畫 素 、c2h、C3h、C4h之加權係數 Cih(f)、c2h(f)、c3h(f)、 C4h(f) ’並將對應於其他晝素之加權係數設定為0之式（2)所 示之内插處理。 P(C〇)=Clh(f)xP(Cih)+C2h(f)xP(C2h) + C3h xp(C4h)…式⑺ 又’垂直内插處理如圖5 B所示，此内插處理係設定對應 於鄰接排列於與空晝素q相同之垂直線上之畫素Clv、 c2v、c3v、c4v之加權係數Civ(f)、c2v(f)、c3v(f)、c4v(f)， 119360.doc -14- 200822764 並將對應於其他晝素之加權係數設定為〇之式（3)所示之内 插處理。 P(C〇)=Clv(f)xP(Clv) + C2v(f)xP(G2v)+C3V(f)xP(C3V)+C4v(f) xP(C4v) ···式（3) 在此，施行垂直方向内插處理之情形，一般係向水平方 向掃描而配置色信號20R、20G、2〇B之各晝素值’故需要 記憶垂直方向之晝素值之緩衝器。對此，施行水平方向内 • 插處理之情形，不需要此種緩衝器，故與垂直方向内插處 理相比，可縮小電路規模而加以設計。 接著，參照圖6說明内插例2作為有關二維内插之具體 例。在内插例2中，作為二維内插，如圖6所示，依據水平 方向及垂直方向分別鄰接之4個畫素之各畫素值，内插空 畫素Co，具體上，導出以上述之式（1)中之加權係數Cn(f) 全部設定為1/n之式（4)。 …+P(Cn))/n ···式(4) _ 另外，為了依據鄰接之4個晝素之各畫素值施行内插， ' 將式（4)中之η設定為4而導出式（5)。，
PiCoMPiCO+PXCJ+PAHPCCWM ···式（5) 如式（5)所示，可藉由將隣接之4晝素乘以同一係数，利 用將空畫素在上下左右隣接之4晝素之畫素値平均化之晝 素値内插空晝素CQ〇 在此，如式（5)所示，將分別鄰接於水平方向及垂直方 向之4個晝素之各畫素值平均而内插空晝素之情形，在空 晝素之周邊有端緣時，該端緣會有發生模糊之情形。因 119360.doc -15- 200822764 此’為防止端緣發生模糊，最好求出在鄰接之晝素間之相 關關係，而依據此相關關係決定加權函數。故如式所 示’依據各晝素C!、C2、C3、CU之相關值設定各加權係數 C】(f)、C2(f)、c3(f)、C4(f)。 p(C〇)=C1(f)x(P(c1)+C2(f)xP(C2)+C3(f)xP(C3)+C4(f)xP(C4))/4 …式（6)
與内插例2同樣地僅在水平方向及垂直方向中之一方施 行上述之内插例1所示之一維内插處理而内插空晝素之情 形，也有端緣模糊而晝質之劣化之情形。故參照圖7詳細 說明考慮此種畫質之劣化而施行内插處理之具體例。 對空畫素PhW，由分別鄰接於水平方向及垂直方向之2 個晝素之晝素值施行内插處理（步驟S丨）。具體上，對二維 排列之任意座標（x，y)之空晝素，如内插例i所示，算出分 別鄰接於水平方向（x方向）及垂直方向（y方向）之2個畫素之 畫素值之平均值。即，如式（7)及式（8)所示，分別算出水 平内插畫素值GH(x，y}及垂直内插畫素值gv v ^ 5 y / GHcx’yr Ax.iw+Pa+hy))/。···式(7) …式（8) 又，在所算出之GH及GV中，為降低雜訊之影響，施行 中濾波器處理（步驟S2)。 其次’為判斷在空畫素之周邊 门違疋否有晝素值之端緣存 在，施行帶通濾波器處理。在太 I本具體例中，使用檢測 l/4[fs]之端緣之帶通濾波器。 此T通濾波器如圖8所示， 可使頻率為1 /4 [fs]附近之頻率成分 风刀通過，並使DC及l/2[fs] 119360.doc -16· 200822764 附近之頻率成分衰減。 又’不限定於使用使l/4[fs]附近之頻率成分通過之帶通 濾波器’也可依目的而使用使1/2[叫及1/8[fs]之頻率成分 通過之帶通濾波器。 對工晝素p(x，y〕’在水平方向及垂直方向之各方向之帶通 濾波器之增益ΗΒΡΡ(χ，η、VBPF(x，y〉分別如式（9)及式（10)所 示0 HBPF(x，y)=GP(x-2，y)+2P(X5y)-P(x+2，y))/4 …式（9) …式 Q〇) 在此，式（9)中之1>(^為空畫素。又，以p(x，y)為基準平 行移動2晝素伤之p(x-2，y}、也由於各晝素排列成方格 花紋狀，因此，同樣為空晝素。故在施行式（8)所示之帶通 濾波器處理之前，需要藉内插處理求得p(W y)、W、 P(x + 2，y) 0 在本實施例中，利用上述之式（8)，將ρ(χ·2^、、 P(x+2，y)設定為垂直内插畫素值、Gv(”）、 GV(x+2，y)(步·3)。又，式⑺之 p(xy2)、ρ(χ，π+(2 二需 要同樣之内插處理，分別設定為GH(x，n GH(x Μ、 GH(X^y+2) ° 接著，將算出之内插畫素值代入式（9)及式（1〇)，分別求 出 HBPF(x，y)、VBPF(x y)(步驟 S4)。如此，HBpF_ 及 vbpf^分別在垂直方向及水平方向檢測出]/4问之頻率 成分之端緣。 、 故存在於座摞（X y)之空書辛之端緩 士 旦緣之方向如式（11)所 119360.doc -17· 200822764 示，可利用ΗΒΡΡ(Χ5)〇及VBPF(x，y)之比率表示成相關值 CORR(x，y)(步驟 S5)。 CORR(x，y)=HBPF(X9y)/(HBPF(x y)+VBPF(x，y) ···式（11) CORRocw表示垂直方向之相關值，該值之變化區域為0 至1。即，CORR(x，y；)之值大時，由於HBpF(x y)之值大於 VBPF(x，y：i，故端緣在垂直方向之可能性較高。端緣在垂直 方向之情形，空晝素之周邊畫素在垂直方向具有相關性。 另一方面’ CORR(X，>〇之值小時，空晝素之周邊晝素在水平 方向具有相關性。 而’在本實施例中，如式（12)所示，依據相關值 CORRb w，由水平内插晝素值ΌΗ(χ…及垂直内插畫素值 GV(x，y；)算出座標之匕之晝素值p(c〇)(步驟S6)。 PU，y)=CORR(x y)xGV(x，y)+(i-CORR(x y))xG H(x y)···式（12) 例如，CORR^w之值大聘，與Gv(xy)相比，可增大乘以 GH(X5y〉之加權係數而内插空畫素。另一方面，c〇RR(x，y)之 值小時，與〇Η(Χ，3〇相比，可增大乘以Gv(x y)之加權係數而 内插空晝素。 在此’在式（12)中，處於與以内插例2所示之式（6)之加 権係數CJf)及（：3(£)作為（：01111()(，}〇，以加權係數（：2(£)及 〇4(0作為（1-CORI^m)而施抒内插處理等效之關係。 依據如以上之内插方法，嵌鑲處理部22〇大致施行3種處 理。即，嵌鑲處理部220首先對空晝素在水平方向及垂直 =向靶仃求出插晝素值〇11(^及Gv(m之内插處理、求出 空晝素之周邊之相關值之相關處理、及依據相關 U9360.doc •18- 200822764 值CORR(x，y)，由插畫素值GH(x，y)、GV(x，y)内插空晝素之合 成内插處理。 又，在上述内插處理中，雖著眼於座標（x，y)之空晝素而 揭示其内插處理，但假設此係就二維排列之所有空畫素所 進行之處理。如此，可由晝素排列成方格花紋狀而有複數 空畫素存在之色信號產生内插空畫素之色信號。 在此，為了依據上述内插處理，由色信號20R、20G、 20B算出色信號30R、3 0G、30B，嵌鑲處理部220係利用如 圖9所示之處理區塊所構成。 即，嵌鑲處理部220係包含内插處理部221R、221G、 221B、RGB合成處理部222、相關處理部223R、223G、 223B、及合成内插處理部224R、224G、224B。 内插處理部221R係對色信號20R之空畫素，施行式（7)及 式（8)所示之内插處理，分別輸出水平內插晝素值GHR與垂 直内插畫素值GVR。同樣地，内插處理部221G分別輸出水 平内插晝素值GHg與垂直内插晝素值GVg，内插處理部 22 1B分別輸出水平内插晝素值GHB與垂直内插畫素值 GVB。 RGB合成處理部222係由色信號20R、20G、20B輸出如 式（13)〜式（15)所示之合成信號SR ' SG、SB。又，此合成信 號SR、SG、SB分別被輸入至相關處理部223R、223G、 223B。 SR=a1uR+b1uG+CiUB ^,(13) SG=a2UR+b2uG+c2uB …式（14) 119360.doc •19- 200822764 SB=a3uR+b3uG+c3uB …式（15) 在此，式(13)〜式（15)所示之，uG，uB分別為色信號 20R、20G、20B 〇 相關處理部223R係對合成信號SRi空晝素，以式（9)及 式（10)所示之帶通濾波器施行相關處理，依據式（11)算出 相關值CORRr。同樣地，相關處理部223G及相關處理部 223B分別算出相關值CORRG及相關值CORRB。 φ 合成内插處理部224R係將内插處理部221R輸出之水平 内插晝素值ghr與垂直内插晝素值gvr、及相關處理部 223R輸出之相關值CORRr代入式（12)而内插空晝素，輸出 色信號30R、30G、30B。同樣地，合成内插處理部224G、 224B分別藉式（12)輸出色信號30G、30B。 如此’嵌鑲處理部220係對畫素排列成方格花紋狀之色 h號20R、20G、20B施以上述之内插處理及相關處理，輸 出内插空畫素之色信號30R、30G、30B。 _ 具備嵌鑲處理部220之數位攝像機1係以比攝像處理部 1〇〇所輸出之色信號20R.、20G、20B之畫素數更高解像度 輸出無假色之色信號30R、30G、30B。又，將輸出側之圖 像信號之解像度之情形，與以往之攝像元件相比，攝像處 理部100之攝像元件130R、13〇G、130B在每一定時間由感 光元件項出之資料量只有一半。因此，本實施型態之數位 攝像機1不會加快由上述感光元件讀出資料之速度，可藉 嵌鑲處理部220之内插處理產生高解像度之圖像。 尤其，為了以高幀傳輸率輸出同一解像度之圖像，有必 119360.doc *20- 200822764 要I!多在每時間由感光元件讀出之資料量。但為了加 决1料之靖出速度’卻有硬體上之限制。對於此種限制， 本實轭型態之數位攝像機i可不必增加攝像元件之畫素 數而以回解像度產i重現性高之圖像。也就是說，本實 ： ^堅悲之數位攝像機1與以往具有三板式攝像元件之數位 .攝像機相比，可不加速攝像元件之感光元件之讀出速度而 以高幀傳輸率輸出高畫質之圖像。 φ 在瓜鎮處理部220中，如上所述，雖由色信號20R、 2〇G 2犯輸出如式（13)〜式（15)所示之合成信號sR、SG、 B仁具體上，需要決定係數a，b，c之各值。以下，說 明將套用此等具體的係數之嵌鑲處理部220之構成作為具 體例1及具體例2。 作為具體例1’圖10所示之嵌鑲處理部420係將上述RGB &成處理部之各係數中，將a】、b2、c3分別設定於1，又將 b i、c i、a2、c2、a3、b3分別設定於〇。即，作為具體例i所 _ 不之嵌鑲處理部420可省略RGB合成處理部之處理區塊而 加以表示，將色信號20R、20G、20B分別獨立地施行内插 處理及相關處理。 接著’作為具體例2，在圖11所示之嵌鑲處理部520中， 係將RGB合成處理部522之各係數表示作為ai=a2=a3=a， b^bfb^b，Cl = C2=c3 = c。即，具體例2之嵌鑲處理部52〇 之相關處理部523僅有1個。在此，RGB合成處理部522係 產生式（16)所示之合成信號S而將合成信號s供應至相關處 理部522。 119360.doc -21 - 200822764 S=auR+buG+cuB …式（16) 相關處理部523係求出合成信號S之各内插對象畫素之相 關值CORR ’而供應至合成内插處理部524r、524G、 524B。而，在合成内插處理部524R、524G、524B中，分 別输出依據同一相關值CORR内插内插對象晝素之色信號 30R、30G、30B 〇 在此’作為式（16)之具體的係數值，使用由三原色信號 產生冗度k號之比率a=0.3、b=0.6、c=0.1、及三原色中以 綠色信號為基準之比率a=〇、b=l、c=〇。 接著’由電路規模、雜質耐性、及晝素之3方面，就上 述構成上相異之具體例1及具體例2之嵌鑲處理部42〇、52〇 進行比較。 首先，由電路規模比較具體例i及具體例2。如上所述， 相對於具體例1之嵌鑲處理部420具有3個相關處理部 423R、423G、423B，具體例2之嵌鑲處理部52〇具有！個相 關處理部523。在此，1個相關處理部之處理量比對應於i 種色“號之内插處理部之處理量多得非常多，故具體例2 之嵌鑲處理部520與具體例1相比，可大幅縮小施行相關處 理之電路規模。 其次，由雜質对性比較具體例1及具體例2。本實施型態 之數位攝像機1分別獨立地利用3個攝像元件1 3〇r、 130G、130B之感光元件將紅色光10R、綠色光1〇(3及藍色 光10B變換成電氣信號。因此，攝像元件13〇R、i3〇G、 13 0B會互相獨立地產生雜訊。例如，受到攝像之際發生之 119360.doc -22- 200822764 雜訊之影響，如圖12所示，相對於同一 瓜你上之畫素，在 攝像元件130R、130G會產生縱方向 件130B會產生橫方向之端緣 之端緣，且在攝像元 在此種情形下，利用具體例1之嵌鑲處理部22〇對色信號 20R、20G、20B分別獨立地施行相關處理時，相對於在色 信號20R及色信號20G中，依據橫方向之相關關係内插空
晝素’在色信號20B中’依據縱方向之相關關係内插空畫 素，故會產生假色。 另一方面，具體例2之嵌鑲處理部22〇係利用同一合成信 號S内插色信號20R、20G、20B，故不會由因各色信號而 異之方向内插空晝素，故不會產生假色。也就是說，在攝 像元件130R、130G、130B發生如上述圖12所示之雜訊之 情形，具體例2比具體例1更能抑制雜訊之影響引起之晝質 上之劣化。 另外，由晝質方面比較具體例1及具體例2。例如在攝像 元件130R、130G、130B之同一座標上之晝素中，假設端 緣僅存在於紅色光1 0R。此情形，具體例1之嵌鑲處理部 420對色信號20R、20G、20B分別獨立地施行相關處理， 故僅异出對應於紅色光1 0R之端緣之相關值C〇rrr，而由 此相關值CORRr内插色信號20R之空晝素。 另一方面，在具體例2之嵌鑲處理部520中，合成信號S 之合成比率為a=0.3、b=(K6、c=〇· 1之情形，受到僅存在於 紅色光10R之端緣之影響，色信號2〇g、20B也會受到内 插。又’在具體例2之嵌鑲處理部52〇中，合成信號s之合 119360.doc -23- 200822764
紅色光10R 成㈣為a=〇、b=1、㈣之情形，考慮僅存在於 之铷緣，色指號20R之空晝素不會受到内插。 。此’在具體例1之嵌鑲處理部42G中，切慮在三原色 中僅存在於單色光之端緣’而分別輸出色信號撤、 3〇G 3〇b。因此，在具體例！之故鑲處理部倒中，既無 述雜Λ之衫％，且比具體例2更能輸出高畫質之色信號
3〇R、30G、30Β。 U
如以上所述，在本實施型態之數位攝像機丨中，可以高 幢傳輸率而不損及重現性地產生高畫質之攝像信號。 又，本發明並不限定上述實施型態，在不脫離揭明之 要旨之範圍内，當然可執行種種之變更。 【圖式簡單說明】 圖1係表示數位攝像機之全體構成之區塊圖。 圖2A及圖2B係表示攝像元件之構造之圖。 圖3A、圖3B及圖3C係表示所攝像之紅色光、綠色光及 藍色光之變換處理之區塊圖。 圖4係表示將晝素值内插於空晝素之内插處理之圖。 圖5A係表示對空晝素之水平内插處理之圖，圖π係表 示垂直内插處理之圖。 圖6係表不對空畫素施以二維4畫素加權内插處理之模式 圖7係表示依據相關關係内插空畫素之内插處理之圖。 圖8係表示通過1/4[fs]附近之頻率成分之通帶濾波器之 特性之圖。 H9360.doc -24- 200822764 圖9係表示嵌鑲處理部之構成之區塊圖。 圖_表示具體m之嵌镶處理部之構成之區塊圖。 圖11係表示具體例2之喪鑲處理部之構成之區塊圖。 圖12係表示施加至各攝像元件之同一座標上之各畫素之 雜訊之性質之圖。 圖13A及圖13B係表示以往之三原色之各色信號之產生 步驟之圖。
【主要元件符號說明】 1 數位攝像機 10R 紅色光 10G 綠色光 10B 藍色光 20R、20G、20B、30R、 色信號 30G、30B 100 攝像處理部 110 光學元件 120 分光鏡 130R、130G、130B 攝像元件 140R、140G、140B A/D變換部 150 驅動電路 200 信號處理部 210 光學補正部 220 、 420 、 520 嵌鑲處理部 221R、221G、221B、 内插處理部 119360.doc *25- 200822764 421R、421G、421B、
521R、521G、521B 222、522 RGB合成處理部 223R、223G、223B、 相關處理部 423R、423G、423B、523
224R、224G、224B、 424R、424G、424B、 524R、524G ' 524B 230 240 250 260 270 280 300
Cr、Cb C〇 GH GV
HBPF、VBPF Y 合成内插處理部 白平衡（WB)調節部 γ補正部 Υ補正部 C補正部 解像度變換處理部 光程差檢測部 運算處理部 色差信號 空畫素 水平内插晝素值 垂直内插晝素值 帶通濾波器之增益 亮度信號 119360.doc -26-

Claims (1)

  1. 200822764 十、申請專利範圍： 1·:種攝像H其特徵在於其㈣㈣開口部人射之光 感光依紅色、綠色及藍色之各色產生各畫素鄰接且被 、隹排列之圖像信號之攝像裝置；包含： 色攝像元件’其係對上述入射光感光而輸出畫素排 列成方格花紋狀之紅色H 綠色攝像元件，其係對上述入射光感光而輸出畫素排 列成方格花紋狀之綠色信號； |色攝像元件，其係對上述入射光感光而輸出晝素排 列成方格花紋狀之藍色信號； 内插處理機構’其係以空晝素之周邊畫素内插排列成 方格花紋狀之各晝素間之該空晝素；及 相關處理機構，其係求出上述空晝素之周邊畫素之相 關關係； 上述紅色攝像元件、上述綠色攝像元件及上述藍色攝 像元件係分別輸出各晝素之位置在空間上一致之上述紅 色#號、上述綠色信號及上述藍色信號； 上述相關處理機構係依據上述紅色信號、上述綠色信 號及上述藍色信號中至少丨種色信號’對上述紅色信 號'上述綠色信號及上述藍色信號之各信號求出上㈣ 關關係； 對上述紅色 號内插上述 上述内插處理機構係依據上述相關關係， 4號、上述綠色彳§號及上述藍色信號之各作 空畫素之畫素，產生上述圖像信號者。 119360.doc 200822764 2. 二青W之攝像裝置，其中上述相關處理機構係依據 述、·工色信號，求出上述紅色信號之空畫素之周邊畫素 之上述相關關係’依據上述綠色信號’求出上述綠= 號，空畫素之周邊畫素之上述相關關係，依據上述藍： 仏號，求出上述藍色信號之空全♦ 關關係者。 置素之周邊畫素之上述相 3. 如請求们之攝像裝置，其中上述相關處理機構係合成 上述紅色信號、上述綠色信號及上述藍色信號，求出上 、“成後之色“虎的空畫素之周邊畫素的相關關係者。 請求項1之攝像裝置，其中上述紅色攝像元件、上述 綠色攝像元件及上述藍色攝像元件係分別在使正方格子 旋轉45。之二維排列上配置感光元件者。 5· 種 4 處理方法，djb A^L JL· V . y 具特被在於其係依紅色、綠色及藍 2各色產生各畫素鄰接且被二維排列之圖像信號之信 號處理方法； 利用3個攝像元件，使各晝素之位置在空間上一致而 輸出畫素排列成方格花紋狀之紅色信號方 袼花紋狀之綠色俨梦及蚩各u 仏5虎及晝素排列成方格花紋狀之藍色信 號； 〇 依據上述紅色作跋、u^ a - 上述、，亲色信號及上述藍色信號中 至父1種色信號，對上述红 ^ 述藍色信號之各信號求心 '、上I綠色信號及上 之六查音之两惠）u 列成方格花紋狀之各畫素間 工旦素肖邊晝素之相關關係； 依據上述相關關係， 對上述紅色信號、上述綠色信號 119360.doc 200822764 及上述藍色信號之各信號内插上述空晝素，產生上述攝 像信號者。
    119360.doc
TW096119016A 2006-06-16 2007-05-28 Imaging device and signal processing method TW200822764A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006167885A JP4548390B2 (ja) 2006-06-16 2006-06-16 撮像装置及び信号処理方法

Publications (2)

Publication Number Publication Date
TW200822764A true TW200822764A (en) 2008-05-16
TWI338511B TWI338511B (zh) 2011-03-01

Family

ID=38831605

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096119016A TW200822764A (en) 2006-06-16 2007-05-28 Imaging device and signal processing method

Country Status (7)

Country Link
US (1) US8471936B2 (zh)
EP (1) EP2031881B1 (zh)
JP (1) JP4548390B2 (zh)
KR (1) KR20090018803A (zh)
CN (1) CN101473659B (zh)
TW (1) TW200822764A (zh)
WO (1) WO2007145087A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8495348B2 (en) * 2008-06-26 2013-07-23 Lsi Corporation Efficient root booting with solid state drives and redirect on write snapshots
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
JP5640370B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
JP5640371B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 カメラシステム及び画像処理方法
JP5634795B2 (ja) * 2010-08-19 2014-12-03 富士フイルム株式会社 撮像モジュールおよび撮像装置
JP5621055B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
EP2815393B1 (en) 2012-02-14 2023-04-05 Gentex Corporation High dynamic range imager system
US9280803B2 (en) 2013-04-25 2016-03-08 Mediatek Inc. Methods of processing mosaicked images

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60838B2 (ja) * 1976-05-28 1985-01-10 ソニー株式会社 カラー固体撮像装置
JPS59154889A (ja) 1983-02-23 1984-09-03 Hitachi Denshi Ltd 固体カラ−撮像装置
JPH0458682A (ja) * 1990-06-28 1992-02-25 Canon Inc 撮像装置
US5237185A (en) * 1991-04-19 1993-08-17 Canon Kabushiki Kaisha Image pickup apparatus with different gate thicknesses
JPH04320372A (ja) * 1991-04-19 1992-11-11 Canon Inc 撮像装置
JP3735867B2 (ja) * 1993-01-14 2006-01-18 ソニー株式会社 輝度信号生成装置
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JPH07250341A (ja) * 1994-03-11 1995-09-26 Asahi Optical Co Ltd 電子カメラのホワイトバランス調整装置
JP3164481B2 (ja) * 1994-12-20 2001-05-08 シャープ株式会社 撮像装置
JP3724882B2 (ja) * 1996-08-14 2005-12-07 シャープ株式会社 カラー固体撮像装置
JP3787927B2 (ja) * 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
JPH1176159A (ja) 1997-09-09 1999-03-23 Fuji Photo Optical Co Ltd 複数の撮像素子を組み合わせた画像形成装置
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
JP4607265B2 (ja) * 1998-01-08 2011-01-05 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4077120B2 (ja) * 1999-07-01 2008-04-16 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4162111B2 (ja) * 1999-07-27 2008-10-08 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4423452B2 (ja) * 2000-12-27 2010-03-03 富士フイルム株式会社 固体撮像装置
JP2005175893A (ja) * 2003-12-11 2005-06-30 Fuji Film Microdevices Co Ltd ２板式カラー固体撮像装置及びデジタルカメラ
JP4717371B2 (ja) * 2004-05-13 2011-07-06 オリンパス株式会社 画像処理装置および画像処理プログラム
JP3729842B1 (ja) * 2004-12-02 2005-12-21 三菱電機株式会社 画素信号処理装置及び方法
JP4617152B2 (ja) 2004-12-17 2011-01-19 株式会社マキタ 切断機の切断材位置決めフェンス
JP4320372B2 (ja) 2007-10-04 2009-08-26 憲司 中村 ガラス含有成形用ペレット及びその製造方法

Also Published As

Publication number Publication date
US20100231745A1 (en) 2010-09-16
JP2007336387A (ja) 2007-12-27
EP2031881A1 (en) 2009-03-04
EP2031881B1 (en) 2011-11-16
TWI338511B (zh) 2011-03-01
WO2007145087A1 (ja) 2007-12-21
JP4548390B2 (ja) 2010-09-22
KR20090018803A (ko) 2009-02-23
CN101473659A (zh) 2009-07-01
EP2031881A4 (en) 2009-12-16
CN101473659B (zh) 2011-06-15
US8471936B2 (en) 2013-06-25

Similar Documents

Publication Publication Date Title
JP4066484B2 (ja) 画像処理装置および画像処理方法、並びにカメラ
TW200822764A (en) Imaging device and signal processing method
JP5036482B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
WO2017152402A1 (zh) 终端的图像处理方法、装置和终端
JPH0823542A (ja) 撮像装置
CN101080023B (zh) 成像装置
JP4142360B2 (ja) 電子カラー画像の色を補正する画像処理方法
JPH0823543A (ja) 撮像装置
JPH03114388A (ja) カラー撮像装置
JP4635769B2 (ja) 画像処理装置、画像処理方法および撮像装置
JP3576600B2 (ja) カラー撮像装置
JPS60194889A (ja) カラ−固体撮像装置
TWI242988B (en) Image signal processing apparatus
JP4334150B2 (ja) 画像補間装置
JP3968480B2 (ja) 相関値算出回路およびその算出方法
TWI465114B (zh) 攝像裝置、及訊號處理方法、以及程式
JP3585710B2 (ja) カラー撮像装置及び記録媒体
JP6987621B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2001218099A (ja) 多板式撮像装置および画像データ処理用記録媒体
JP4334151B2 (ja) 画像補間装置
JPH089395A (ja) カラー撮像装置
JP4334152B2 (ja) 画像補間装置
JP3039653B2 (ja) 撮像装置
JP3515585B2 (ja) ２板式撮像装置
JP3569466B2 (ja) カラービデオカメラ

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees