TWI338511B - - Google Patents

Download PDF

Info

Publication number
TWI338511B
TWI338511B TW096119016A TW96119016A TWI338511B TW I338511 B TWI338511 B TW I338511B TW 096119016 A TW096119016 A TW 096119016A TW 96119016 A TW96119016 A TW 96119016A TW I338511 B TWI338511 B TW I338511B
Authority
TW
Taiwan
Prior art keywords
signal
color
color signal
pixels
pixel
Prior art date
Application number
TW096119016A
Other languages
English (en)
Other versions
TW200822764A (en
Inventor
Ming Li
Ryota Kosakai
Akira Matsui
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200822764A publication Critical patent/TW200822764A/zh
Application granted granted Critical
Publication of TWI338511B publication Critical patent/TWI338511B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/048Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

1338511 九、發明說明: 【發明所屬之技術領域】 本發明係關於產生紅色、綠色及藍色組成之三原色之攝 像信號之攝像裝置及信號處理方法。 【先前技術】
在數位攝像機中,在以圖像取入被照體之攝像處理系統 之構造中,主要有單板式與三板式。單板式攝像機係包含 1個固體攝像元件,利用此一板之固體攝像元件產生三原 色RGB之色信號。例如,在曰本特開平1〇_〗5〇668號公報 中,記載著在一板之CCD影像感測器上,將分別透過紅 色、綠色及藍色之彩色濾光器排列成方格花紋狀,產生色 信號R、G、B,並產生藉相關處理及内插處理提高解像度 之圖像信號之攝像裝置。在此種提高解像度之圖像信號 中,有產生假色之問題。 另 乃®,二
板式攝像機係包含3個固體攝像元件,分 別被分光鏡分光之紅色光、、綠色光及藍色光入射至此⑽ 固體攝像it件。此等固體攝像元件係分別獨立地產生紅 色、綠色及藍色之色信號。二柘彳强 一板式攝像機與單板式攝像機 相比,可分別獨立地以固體攝像元件感光三原色,故可獲 得高解像度而重現性高之圖|,但因電路規模較大,圖: 處理量亦大,故由固體攝像元件讀出色信號需要更長時 又,在三板式攝像機中,作為出 —W料由各固體攝像元件所 紅色、綠色及藍色之色作號连4固 。唬產生圖像信號之處理,有 119360.doc 畫素對正處理與正方畫素挪移處理。 正方畫素對正處理如gj13A所示,係使由各固體攝像元 件所得之各色信號之畫素之位置在空間上-致之處理。 即,在正方畫素對正處J里中,《光感測器tt出之畫素數與 輸出侧之圖像信號之畫素數相同。故在此處理中,為提高 圖像信號之解像度’有必要以與感光感測器側之畫素數同 樣之倍率加以提高。例如,欲將輸出側之靜止畫之解像度 由3M畫素提高至6M畫素時,感光感測器側之畫素數也必 須同樣由3M畫素提高至6M畫素。 又,正方畫素挪移處理如圖13B所示,係由綠色之色信 號之畫素排列’使紅色、藍色之色信號之畫素排列分別: 水平方向各挪移畫素大小d之一半d/2’獲得藉由内插挪移 後之旦素之色仏號’以提高解像度之攝像信號。在此方法 中,輸出側之攝像信號之畫素數為各固體攝像元件之畫素 數之2倍。換言之’固體攝像元件之晝素數為輸出側:圖 像信號之畫素數之一半。 在此’隨著每"貞之解像度之提高’由固體攝像元件嘈 出色:號之讀出時間會延長。又,在此種色信號之讀出速 度之rj速化上有硬體性能上之極限。因此,欲獲得同樣 之解像度之圖像信號之情形,由於正方畫素挪移處理只要 利用固體攝像元件之畫素數之—+,也可藉内插處理而產 生具有同程度之解像度之圖像信號,故與正方畫素對正處 理相比’即使讀出速度較慢,仍可實現同程度之幀傳輪 率。 119360.doc 【發明内容】 [發明所欲解決之問題] 而,在二板式攝像機中,利用正方畫素挪移處理輸出圖 像信號之情形,在施行内插處理後之圖像會產生假色,故 與正方畫素對正處理之情形㈣,會損及所產生之圖像之 重現性。 本發明係鑑於此種實情而提案者,其技術課題在於提供 以高賴傳輸率產生高晝質之圖像之攝像裝置及圖像信號處 理方法。 [解決問題之技術手段] 為解決如上述之技術課題而提案之本發明之-實施型態 之攝像裝置係對經由開口部人射之光感光,依紅色、綠色 及藍色之各色產生各畫素鄰接且被:維排列之圖像信號之 攝像裝置;包含♦'红色攝像元件,其係對入射光感光而輸 出晝素排列成方格花紋狀之紅色信號;綠色攝像元件,其 係對入射光感光而輸出畫素排列成方格花紋狀之綠色信 號;藍色攝像元件,其係對入射光感光而輸出畫素排列成 方格花紋狀之藍色信號;内插處理機構,其係以該空晝素 之周邊畫素内插排列成方格花紋狀之各畫素間之空書素; 及相關處理機構’其係求出空畫素之周邊畫素之相關關 T紅色攝像兀件、綠色攝像元件及藍色攝像元件係分別 輸出各畫素之位置在空防μ 在工間上—致之紅色信號、綠色信號及 藍色信號;相關處理機㈣依據紅色信號、綠色信號及藍 色信號中至少1種色作號,料Λ Α , °唬對紅色信號、綠色信號及藍色 119360.doc 1338511 化號之各信號求出相關關係;内插處理機構係依據相關關 係,對紅色信號、綠色信號及藍色信號之各信號内插空畫 素之畫素,產生圖像信號。 又,本發明之另一實施型態之信號處理方法係依紅色、 綠色及藍色之各色產生各畫素鄰接且被二維排列之圖像信 號之信號處理方法;利用3個攝像元件,使各晝素之位置 在空間上一致而輸出畫素排列成方格花紋狀之紅色信號、 畫素排列成方格花紋狀之綠色信號及畫素排列《方格二文 狀之藍色信號·’依據紅色信號、綠色信號及藍色信號中至 少1種色信號,對紅色信號、綠色信號及藍色信號之各信 號求出排列成方格花紋狀之各畫素間之空畫素之周邊畫素 之相關關係、;依據相關關係’對紅色信號、綠色信號及藍 色信號之各信號内插空畫素,產生攝像信號。 。本發明由於係依據畫素分別排列成方格花紋狀之紅色信 號、綠色信號、藍色信號中至少】種色信號,在紅色信 號、綠色信號及藍色信號之各信號求出空畫素之周邊畫素 之相關關係’依據相關關係内插空,故可以比由攝像 -件讀出之畫素數更高解像度輸出無假色之色信號,藉以 在:損及重現性之情況下,以高的幢傳輸率產生高解像度 之攝像信號。 本發明之進—步之其他技術課題、本發明所獲得之具體 的優點將可由參照以下圖式所 確之瞭解。 U月之貫施型態中獲得更明 【實施方式】 119360.doc 1338511 以下’ 一面參照圖式,一面詳Λ邙 囬《手細成明貫施本發明之最佳 型態。以下說明之實施型態係'將本發明適用於對經由開口 部入射之光感光而產生各畫素依紅色、綠色及藍色之各色 鄰接而被二維排列之攝像信號之攝像裝置(以下稱數位攝 像機)。
本實施型態之數位攝像機1如圖1所示,係包含對被照體 攝像而輸出紅色、綠色及藍色之三原色組成之色信號 20R、20G、20Β之攝像處理部100、對攝像處理部1〇〇輸出 之色信號20R、20G、20Β施以特定之信號處理之信號處理 部2〇〇、及控制攝像處理部1〇〇及信號處理部2〇〇之運算處 理部300。
攝像處理部100係三板式之攝像處理系,係由經由未圖 示之開口部聚集來自被照體之光之光學元件】1〇、將光學 元件110所聚集之光分光成為紅色光1〇r、綠色光l〇G及藍 色光10Β之分光鏡120、對分光鏡120所分光之紅色光 10R、綠色光10G及藍色光10Β分別感光而變換成電氣信號 之3個攝像元件130R、130G、130Β、調節攝像元件130R、 1 30G、1 30B所變換之3種電氣信號之增益而輸出被數位化 之色信號20R、20G、20B之A/D變換部140R、140G、 140B、及依照來自運算處理部300之控制信號控制攝像元 件130R、130G、130B之動作之驅動電路150所構成。 信號處理部200係包含:對由攝像處理部1 00輸出之色信 號20R ' 20G、20B施行亮度補正及黑位準補正等之光學補 正之光學補正部2 1 0、對被光學補正之色信號20R、20G、 I19360.doc • 10- 1338511 20B施行内插處理而輸出色信號3〇R、3〇G、3〇B之嵌鑲處 理部220、調節色信號3〇R、3〇G、3〇B之白平衡之白平衡 (WB)調節部230、對被調節白平衡之色信號3〇r、3〇(3、 30B施行γ補正之γ補正部24〇 '對應於被γ補正之色信號 3 0R、3 0G、30Β分別輸出亮度信號υ及色差信號Cr、cbi Y補正部250及C補正部260、變換亮度信號γ及色差信號 Cr、Cb之解像度而輸出依據特定廣播規格之影像信號之解 像度變換處理部270 '及將自嵌鑲處理部220及γ補正部240 分別輸出之色信號30R、30G、30Β積分而檢測各色信號間 之光程差之光程差檢測部280。 運算處理部300係依據光程差檢測部28〇檢測之光程差資 訊,將控制信號供應至攝像處理部1〇〇及信號處理部2〇〇之 各處理部。具體而言,運算處理部3〇〇係依據光程差資 訊’調節由光學元件110穿透分光鏡120之光量,且經由驅 動電路150控制攝像元件130R' 130G、130Β之動作,進一 步控制A/D變換部140R、140G、140Β所調節之信號之增 益。 . 其次,參照圖2,詳細說明有關在攝像處理部1 〇〇之攝像 元件130R、130G、130Β之構成。 攝像元件130R、130G、130Β分別在基板上配設有複數 感光元件。在攝像元件130R、130G、130Β中,各感光元 件對紅色光10R、綠色光10G及藍色光10Β感光而變換成電 氣信號,將變換之電氣信號輸出至A/D變換部H0R、 140G、140Β。在此,構成色信號20R、20G ' 20Β之各晝 119360.doc 1338511 素值係對應於配設在攝像元件13叹、13〇G、i3〇b之基板 上之複數感光元件所輸出之電氣信號。即,色信號贏、 ' 2〇G、20B之畫素值係分別對應於各攝像元件具有之感光 元件之數。 又,相對於將複數感光元件配置成—邊長d構成之正方 格子狀而成之以往之攝像元件,攝像元件13〇R、】3〇G、 nOB如圖2A所示,係配置有—邊長為(2l/2)xd而將感光元 . 件配置成使上述正方格子旋轉45。之二維排列之攝像元 件。故攝像元件BOR、130G、13〇B之各感光元件之間隔 雖與上述以往之攝像元件同樣為d,但相對於上述以往之 攝像元件,每1畫素之感光元件之面積則增至2倍,故感光 特性較高。 又,除了上述圖2A所示之構成以外,攝像元件n〇R、 130G、130B也可如圖2B所示般配置感光元件。具體上, 攝像元件130R、130G、130B係不變更上述正方格子之一 > 邊長d而將感光元件配置成使正方格子旋轉45。之二維排列 之攝像元件。此種攝像元件13011' 130G、13汕與上述以 往之攝像元件相比之情形’感光元件之面積相同故感光 特性並無變化,但因各感光元件之間隔為(2l/2)xd/2,故在 水平及垂直方向之解像度分別成為倍。 又,如圖2A及圖2B所示,配置感光元件之攝像元件 13〇R、130G、130B雙方被讀出之資料數均只有以往之攝 像元件之一半。因此,攝像同樣幀傳輸率之圖像時,與以 往之攝像元件相比,攝像元件13〇R、u〇G、13〇b在每— 119360.doc -12- 1338511 定時間由感光元件讀出之資料量只有一半。 又’攝像元件130R、130G、130B並不限定於上述正方 格子’也可使例如菱形或正方形等之正多角形之格子狀旋 轉45°而使感光元件二維排列。 又,攝像元件130R、130G、130B之構造只要屬於可輸 出晝素排列成方格花紋狀之色信號20R、20G、20B,任何 方式均無妨’並不限定於CCD方式或CMOS方式之哪一方 式。 其次’說明攝像處理部1 〇〇由紅色光1 OR、綠色光1 0G及 藍色光10B產生色信號20R、20G、20B,信號處理部200由 色信號20R、20G、20B產生色信號30R、30G、30B之處理 過程。 首先,分光鏡所分光之紅色光10R、綠色光l〇G及藍色 光10B分別被圖3A所示之攝像元件130R、130G、130B分 別具有之感光元件感光,並被變換成電氣信號。被變換成 電氣信號之紅色光10R、綠色光10G及藍色光1 〇B分別藉 A/D變換部140R、140G、140B產生圖3B所示之色信號 20R、20G、20B。 在此’如上所述’與以往之攝像元件相比,攝像元件 130R、130G、130B在每一定時間之感光元件之數只有一 半,故色信號20R' 20G ' 20B變成各畫素排列成方格花紋 狀之k號。故在畫素排列成方格花紋狀之色信號20R、 20G、20B中’畫素不存在於各畫素間之區域。在嵌鑲處 理部220中,將此種空畫素由其周邊畫素之資訊内插而產 13 119360-doc j 1338511 生圖3C所示之色信號30R、30G、30B。 其次’將本實施型態之空晝素之内插方法揭示於以下, 接著’揭不實現該内插方法之嵌鎳處理部22〇之構成與動 作。 首先作為空畫素之内插方法’如圖4所示,使用以空 畫素C〇為中心之周邊畫素C丨、C2.....Cn,而施行空畫素 c0之内插。在此,假設各畫素之晝素值為p(Ck)(k=i、 2.....n)時’空畫素Co可依式(1)設定晝素值。 P(C〇) = C1(f)xp(c1)+C2(f>P(C2)+-+Cn(f)xP(m(i) 在此,式(1)中之C】(f),C2(f),…,Cn(f)分別係對周邊 晝素之加權函數。此等加權函數可任意決定,以下,作為 依據式(1)所示之内插處理算出空畫素之畫素值之具體例, 說明内插例1及内插例2。 在内插例1中,揭示水平内插處理與垂直内插處理作為 一維内插。在水平内插處理中,如圖5A所示,此内插處理 係設定對應於鄰接排列於與空畫素Cg相同之水平線上之畫 素 c丨h、C2h、C3h、c4h之加權係數 Clh⑴、c2h(f)、c3h(f)、 C4h (f) ’並將對應於其他畫素之加權係數設定為0之式(2)所 示之内插處理。 p(C〇) = Clh(f)xP(Clh) + C2h(f)xP(C2h)+C3h(f)xP(C3h)+C4h(f) xP(C4h)…式(2) 又,垂直内插處理如圖5B所示,此内插處理係設定對應 於鄰接排列於與空畫素Cq相同之垂直線上之畫素Civ、 C2v、c3v、c4v之加權係數Civ⑴、c2、(f)、c3v⑴、c以f), D9360.doc -14- 1338511 並將對應於其他畫素之加權係數設定為〇之式(3 )所示之内 插處理。 P(C〇) = Clv(f)xP(Clv) + C2v(f)xP(C2v) + C3v(f)xP(C3v) + C4v(f)
xp(c4v)…式(3) V 在此,施行垂直方向内插處理之情形,一般係向水平方 向掃描而配置色信號20R、20G、20B之各畫素值,故需要 記憶垂直方向之晝素值之緩衝器。對此,施行水平方向内
插處理之情形,不需要此種緩衝器,故與垂直方向内插處 理相比’可縮小電路規模而加以設計。 接著,參照圖6說明内插例2作為有關二维内插之具體 例。在内插例2中’作為二維内插,如圖6所示,依據水平 方向及垂直方向分別鄰接之4個畫素之各畫素值,内插空 晝素C。,具體上’導出以上述之式⑴中之加權係數。⑴ 全部設定為1/n之式(4)。 …式(4)
另外, 為了依據鄰接之4個畫素之各畫素值施行内插 將式(4)中之η設定為4而導出式(5)。 P(c0)=(p(Cl)+P(c2)+P(C3)+p(C4))/4 …式(5) 如式(5)所示,可藉由將鱗接之4晝素乘以同—係数,利 用將空畫素在上下左右膝技 Γ五石膦接之4畫素之畫素値平均化之畫 素値内插空畫素C〇。 在此,如式(5)所示’將分別鄰接於水平方向及垂直方 向之4個晝素之各畫素值平均而内插空畫素之情形在空 畫素之周邊有端緣時,該端緣會有發生模糊之情形。因 1 J9360.doc 匕為防止端緣發生模糊,极七 關n 生㈣帛好求出在鄰接之畫素間之相 糸,而依據此相關關係決定加 示,依據各書辛C1、c、c ^力權函數。故如式⑹所 c 2 3 C4之相關值設定各加權係數 1 ) c2(f)、c3(f)、c4(f)。 p(C2)+C3(f)xp(c3)+C4(f)xp(c4))/4 p(C〇)=C1(f)x(p(c])+c2(f) …式(6) 與内插例2同樣地僅在水平方向及垂直方向中之—方施 :上述之内插例1所示之-維内拖處理而内插空晝素之情 也有端緣模糊而晝質之劣化之情形。故參照圖7詳細 、月考慮此種晝兔之劣化而施行内插處理之具體例。 對空畫素P(x,y),由分別鄰接於水平方向及垂直方向之2 個畫素之畫素值施行内插處理(步驟si)。具體上,對二維 排列之任意座標(x,y)之空畫素’如内插例1所示,算出分 別鄰接於水平方向(x方向)及垂直方向(y方向)之“固畫素之 畫素值之平均值。即,如式⑺及式W所示,分別算出水 平内插畫素值GHkw及垂直内插畫素值Gv(x,力。 GH(x,y)=(P(x-l y)+p(x+1,y))/2 …式(7) GVu’y^Ax’y-D+PdrM))/^ ...式(8) 又,在所算出之GH及GV中,為降低雜訊之影響,施行 中濾波器處理(步驟S2)。 其次,為判斷在空畫素之周邊是否有晝素值之端緣存 在,施行帶通濾波器處理。在本具體例中,使用檢測 l/4[fs]之端緣之帶通濾波器。此帶通濾波器如圖8所示, 可使頻率為l/4[fs]附近之頻率成分通過,並使DC及】/2[叫 M9360.doc 1338511 附近之頻率成分衰減。 又,不限定於使用使l/4[fs]附近之頻率成分通過之帶通 濾波器,也可依目的而使用使1/2[卬及1/8[fs]之頻率成分 通過之帶通濾波器。 對空晝素Ρ(χ〇〇,在水平方向及垂直方向之各方向之帶通 濾波器之增益HBPFh’w、VBPF(x,y〕分別如式(9)及式(1〇)所 示0
HBPF(x’y)-(-p(x_2,y)+2P(x,y)-p(x+2,y))/4 …式(9) VBPF(x,y)-(-P(x,y_2)+2P(x,y)-P(x,y+2))/4-..s(i〇) 一在此,式⑺中之P(x,y)為空晝素。又,以、)為基準平 仃移動2畫素份之、Ρ(χm也由於各畫素排列成方格 花紋狀,因此,同樣為空晝素。故在施行式(8)所示之帶通 濾波器處理之前,需要藉内插處理求得、 P(x + 2,y) 0 在本實施例中,利用上述之式(8),將ρ(χ_^、p(”厂 P(x + 2,y)設定為垂直内插畫素值GV(x.2y)、Gv 、 ’ (x,y)、 〇\^(>:+2,>〇(步驟83)。又,式(7)之|> 〇 (x,y·2) (χ,>〇、P(x,y+2)也需 要同樣之内插處理,分別設定為GH(Xm)、 GH(x,y+2)。 接者’將算出之内插畫素值代人式(9)及式(1G),分別求 出 HBPF(x,y)、VBPF(x,y)(步驟 S4)。⑹此,hbpf(”)及 VBPF^分別在垂直方向及水平方向檢測出ι/_]之頻率 成分之端緣。 故存在於座標(X,y)之空書素 之端緣之方向如式(1 1 )所 119360.doc 1338511 示’可利用HBPF(x,y)及VBPF(x,y)之比率表示成相關值 CORR(x,y)(步驟 S5)。 CORR(x,y)=HBPF(x,y)/(HBPF(x,y)+VBPF(x,y)…式(⑴ CORR(x,y)表示垂直方向之相關值,該值之變化區域為〇 至1。即’ CORR(x y)之值大時,由於HBPF(x,y)之值大於 VBPF(x,y),故端緣在垂直方向之可能性較高。端緣在垂直 方向之情形’空畫素之周邊畫素在垂直方向具有相關性。
另一方面,CORR(x y)之值小時,空畫素之周邊畫素在水平 方向具有相關性。 而’在本實施例中,如式(12)所示,依據相關值 CORRim,由水平内插畫素值GH(x y)及垂直内插畫素值 GV(x,y}算出座標(x,y)之F〇之畫素值p(c〇)(步驟S6)。 P(x,y)=CORR(x,y)xGV(x,y)+(l-CORR(x y))xG H(x y).··式(12) 例如’ CORR^ w之值大時’與Gv(x y)相比,可增大乘以 〇Η(χ,η之加權係數而内插空晝素。另一方面,c〇RR(x,y)之
值小時,與GHhw相比,可增大乘以Gv(x,y)之加權係數而 内插空畫素。 在此,在式(12)中,處於與以内插例2所示之式(6)之加 權係數CKf)及a⑴作為,以加權係數C2⑴及 c4(f)作為(l-CORR(x,y))而施行内插處理 依據如以上之内插方法,絲處理部22。大::行3種處 理。即,嵌鎮處理部22〇首先對空畫素在水平方向及垂直 方向施行求出插4素值叫一仍㈣之内插處理、求出 空畫素之周邊之相關值CORR(x,y)之相關處理、及依據相關 119360.doc 18 1338511 值C〇RR(x,y),纟插晝素值GH(x y)、Gv(x y)内插空畫素之含 成内插處理。 又,在上述内插處理中,雖著眼於座標(χ,幻之空畫素而 ' 揭示其内插處理,但假設此係就二維排列之所有空晝素所 . 進行之處理。如此,可由畫素排列成方格花紋狀而有複數 空畫素存在之色信號產生内插空畫素之色信號。 . 在此’為了依據上述内插處理,由色信號20R、20G、 • 2〇Β异出色信號30R、30G、30Β,嵌鑲處理部220係利用如 圖9所示之處理區塊所構成。 即’嵌鑲處理部220係包含内插處理部22 1R、22 1G、 221Β、RGB合成處理部222、相關處理部223R、223G、 223B、及合成内插處理部224R、224G、224B。 内插處理部22 1R係對色信號20R之空畫素,施行式(7)及 式(8)所示之内插處理,分別輸出水平内插畫素值GHr與垂 直内插畫素值GVR。同樣地’内插處理部221G分別輸出水 # 平内插畫素值GHg與垂直内插畫素值GVG,内插處理部 22 1B分別輸出水平内插畫素值ghb與垂直内插畫素值 GVB。 RGB合成處理部222係由色信號20R ' 20G、20B輸出如 式(13)〜式(15)所示之合成信號sR、Sg、Sb。又,此合成信 號SR ' SG、SB分別被輸入至相關處理部223R、223G、 223B。 SR^UR + bjUG + C^UB···式(13) SG=a2uR+b2uG + c2uB …式(14) 119360.doc -19- 1338511 SB = a3uR+b3uG + c3uB …式(15) 在此’式(丨3)〜式(15)所示之uR,uG ’ uB分別為色信號 、 20R、20G、20B。 - 相關處理部223尺係對合成信號SR之空晝素,以式(9)及 式(10)所示之帶通濾波器施行相關處理,依據式(n)算出 ' 相關值C0RRR。同樣地,相關處理部223G及相關處理部 , 223B分別算出相關值c〇RRG及相關值c〇RRB。 φ 合成内插處理部224R係將内插處理部22 1R輸出之水平 内插晝素值GHR與垂直内插畫素值GVr、及相關處理部 223R輸出之相關值c〇RRr代入式(12)而内插空畫素,輸出 色L號3 0R、30G、30B。同樣地,合成内插處理部2240、 224B分別藉式(12)輸出色信號30G、30B。 如此,嵌鑲處理部220係對畫素排列成方格花紋狀之色 信號20R、20G、20B施以上述之内插處理及相關處理,輸 出内插空畫素之色信號30R、30G、30B。 • 具備嵌鑲處理部22〇之數位攝像機1係以比攝像處理部 1〇〇所輸出之色信號20R、20G、20B之晝素數更高解像度 輸出無假色之色信號30R、30G、30B。又,將輸出侧之^ 像信號之解像度之情形,與以往之攝像元件相比,攝像處 理部100之攝像元件130R、1;30G、13〇B在每—定時間由感 光元件讀出之資料量只有一半。目此,本實施型態之數二 攝像機1不會加快由上述感光元件讀出資料之速度,可藉 嵌鑲處理部220之内插處理產生高解像度之圖像。 尤其,為了以高幀傳輸率輸出同一解像度之圖像有必 U9360.doc • 20- 1338511 =在母-定時間由感光元件讀出之資料量。但為了加 太之讀出速度’卻有硬體上之限制。對於此種限制, 本貫施型態之數位攝像機1可不必増加攝像元件之書素 數,而以高解像度產生重現性高之圖像。也就是說,本實 施型態之數位攝像機i與以往具有三板式攝像元件之數位 攝像機相&,可不加速攝像元件之感光元件之讀出迷度而 以局幀傳輸率輸出高畫質之圖像。
在嵌鑲處理部220中’如上所述,雖由色信號纖、 綱、20B輸出如式(13)〜式〇5)所示之合成信號%、%、
Sb’但具體上’需要決定係數a,,,c之各值。以下,說 明將套用此等具體的係、數之嵌鑲處理部220之構成作為具 體例1及具體例2。 作為具體例1,圖1〇所示之嵌鑲處理部42〇係將上述rgb 合成處理部之各係數中,將〜、、、以分別設定於丨,又將 d、a2、C2、a3、b3分別設定於〇。即,作為具體例^斤 示之嵌鑲處理部420可省略RGB合成處理部之處理區塊而 加以表示,將色信號2〇R、2〇G、2〇B分別獨立地施行内插 處理及相關處理。 接著,作為具體例2,在圖n所示之嵌鑲處理部52〇中, 係將RGB合成處理部522之各係數表示作為a|=a2=a3 = a, b】”# ’ Cl = c2 = C3 = c。即,具體例2之嵌鑲處理部52〇 之相關處理部523僅有1個。在此,RGB合成處理部522係 產生式(1 6)所示之合成信號s而將合成信號s供應至相關處 理部522。 119360.doc -21 - S=auR+buG+CUB …式(16) 相關處理部523係求出合成信號S之各内插對象畫素之相 ’值C〇RR ’而供應至合成内插處理部524R、524G、 。而,在合成内插處理部524R、524G、524B中,分 別輪出依據同-相關值CqRR内插内插對象畫素之色信號 3〇R、30G、30B。 ’ 在=,作為式(16)之具體的係數值,使用由三原色信號 產生冗度#號之比率a=〇.3、b=〇6、c=〇」、及三原色中以 綠色k號為基準之比率a=〇、b=1、c = 〇。 接著,由電路規模、雜質耐性、及畫素之3方面,就上 述構成上相異之具體例】及具體例2之嵌鑲處理部420' 進行比較。 首先,由電路規模比較具體例丨及具體例2。如上所述, 相對於具體例1之嵌鑲處理部420具有3個相關處理部 423R、4UG、4UB,具體例2之嵌鑲處理部52〇具有1個相 關處理部523。在此,i個相關處理部之處理量比對應於ι 種色信號之内插處理部之處理量多得非常多,故具體例2 之嵌鎮處理部別與具體例丨㈣,可纟幅縮小施行相關處 理之電路規模。 其次,由雜質耐性比較具體例丨及具體例2。本實施型態 之數位攝像機1分別獨立地利用3個攝像元件、 HOG、130B之感光^件將紅色光1GR、綠色光_及藍色 光10B變換成電氣信號。因此,攝像元件η⑽、me、 130B會互相獨立地產生雜訊。例>,受到攝像之際發生之 119360.doc -22- 1338511 雜訊之影響,如圖1 2所示,相對於同一座標上之畫素,在 攝像元件130R、130G會產生縱方向之端緣,且在攝像元 件1 3 0B會產生橫方向之端緣。 在此種情形下,利用具體例1之嵌鑲處理部22〇對色信號 20R、20G、20B分別獨立地施行相關處理時,相對於在色 信號20R及色信號20G中,依據橫方向之相關關係内插空 畫素,在色信號20B中,依據縱方向之相關關係内插空畫 素’故會產生假色。 另一方面,具體例2之嵌鑲處理部22〇係利用同一合成信 號S内插色信號20R、20G、20B,故不會由因各色信號而 異之方向内插空晝素,故不會產生假色。也就是說,在攝 像兀件130R ' 130G、130B發生如上述圖12所示之雜訊之 凊形,具體例2比具體例1更能抑制雜訊之影響引起之畫質 上之劣化。 另外,由畫質方面比較具體例1及具體例2 ^例如在攝像 兀件130R、130G、130B之同一座標上之畫素中,假設端 緣僅存在於紅色光1 OR。此情形,具體例〗之嵌鑲處理部 420對色信號2〇R、20G、20B分別獨立地施行相關處理, 故僅算出對應於紅色光10R之端緣之相關值c〇RRr,而由 此相關值CORRr内插色信號2〇r之空畫素。 另一方面’在具體例2之嵌鑲處理部52〇中,合成信號8 之合成比率為a=0.3、b = 〇 6、c = 〇〗之情形,受到僅存在於 紅色光1〇R之端緣之影響,色信號20G ' 20B也會受到内 插。又,在具體例2之嵌鑲處理部520中,合成信號S之合 J19360.doc -23- 1338511 成比率為a=0、b=l、c=〇之情形,考慮僅存在於紅色光i〇r 之端緣’色信號20R之空畫素不會受到内插。 * 如此’在具體例1之嵌鑲處理部420中,也考慮在三原色 - 中僅存在於單色光之端緣,而分別輸出色信號30R、 30G、30B。因此,在具體例1之嵌鑲處理部420中,既無 ,上述雜訊之影響,且比具體例2更能輸出高晝質之色信號 30R、30G、30B。 φ 如以上所述,在本實施型態之數位攝像機1中,可以高 巾貞傳輸率而不損及重現性地產生高畫質之攝像信號。 又,本發明並不限定上述實施型態,在不脫離本發明之 要旨之範圍内,當然可執行種種之變更。 【圖式簡單說明】 圖1係表示數位攝像機之全體構成之區塊圖。 圖2A及圖2B係表示攝像元件之構造之圖。 圖3 A、圖3 B及圖3 C係表示所攝像之紅色光、綠色光及 φ 藍色光之變換處理之區塊圖。 圖4係表示將晝素值内插於空畫素之内插處理之圖。 圖5A係表示對空畫素之水平内插處理之圖,圖5B係表 示垂直内插處理之圖。 圖6係表示對空畫素施以二維4畫素加權内插處理之模式 圖。 圖7係表示依據相關關係内插空畫素之内插處理之圖。 圖8係表示通過1/4[fs]附近之頻率成分之通帶濾波器之 特性之圖。 119360.doc •24- 1338511 圖9係表示嵌鑲處理部之構成之區塊圖。 圖10係表示具體例1之嵌鑲處理部之構成之區塊圖。 圖11係表示具體例2之嵌鑲處理部之構成之區塊圖。 圖I2係表示施加至各攝像元件之同一座標上之各畫素之 雜訊之性質之圖。 步驟之圖。
圖13A及圖13B係表示以往之r盾A + ;* j. 肛I一原色之各色信號之產生 【主要元件符號說明】 1 數位攝像機 10R 紅色光 10G 綠色光 10B 藍色光 20R、20G、20B、30R、 色信號 30G、30B 100 攝像處理部 110 光學元件 120 分光鏡 130R、130G、130B 攝像元件 140R、140G、140B A/D變換部 150 驅動電路 200 信號處理部 210 光學補正部 220 ' 420 、 520 嵌鑲處理部 221R、221G、221B、 内插處理部 119360.doc •25· 1338511
421R、421G、421B、 521R、521G、521B 222 ' 522 223R、223G、223B、 423R ' 423G、423B、 224R、224G、224B、 424R、424G、424B ' 524R、524G、524B 230 240 250 260 270 280 300
Cr、Cb C〇 GH GV
HBPF ' VBPF Y RGB合成處理部 相關處理部 523 合成内插處理部 白平衡(WB)調節部 γ補正部 Υ補正部 C補正部 解像度變換處理部 光程差檢測部 運算處理部 色差信號 空畫素 水平内插畫素值 垂直内插晝素值 帶通濾波器之增益 亮度信號 119360.doc -26-

Claims (1)

1338511 第096119016號專利申請案 ---- 中文申請專利範圍替換本(99年1〇月) ί]8 曰修正本I 十、申請專利範圍: 1- • —種攝像裝置,以寺徵在於其係對經由^ 口部人射之光 、 《光’產生各像素依第1色、第2色及第3色之各色鄰接 且二維排列之圖像信號者;該攝像裝置包含: 第1攝像元件,其係對上述入射光感光而輸出像素排 列成方格花紋狀之上述第1色信號; 第2攝像元件,其係對上述入射光感光而輸出像素排 列成方格花紋狀之上述第2色信號; ^ 第3攝像元件,其係對上述八射光感光而輸出像素排 列成方格花紋狀之上述第3色信號; 相關處理機構,其係將上述第1色信號、上述第2色信 號及上述第3色信號進行合成,求出合成後之色信號中 空像素之周邊像素之相關關係,·及 内插處理機構,其係就上述ρ色信號、上述第2色信 號及上述第3色信號之各個,將排列成方格花紋狀之各 <象素間之空像素根據上述相關關係以該空像素之周邊像 素進行内插。 2·如請求項!之攝像裝置,纟中上述第旧像元件、上述第 2攝像元件及上述第3攝像元件係分別輸出各像素之位置 空間上-致之上述第i色信號、上述第2色信號及上述第 3色信號。 3.如請求们之攝像裝置,叾中上述第旧像元件、上述第 2攝像元件及上述第3攝像元件係分別在使正方格子旋轉 45。之二維排列上配置感光元件者。 119360-991018.doc f55«511 4.如請求項3之攝像裝4,其中上述第!色係紅色;上述第 2色係綠色;上述第3色係藍色。 5· 一種信號處理方法,其特徵在於其係產生各像素依第j 色、第2色及第3色之各色鄰接且二維排列之圖像信號; 且該信號處理方法 藉由第1攝像元件,輸出像素排列成方格花紋狀之上 述第1色信號; 藉由第2攝像元件,輸出像素排列成方格花紋狀之上 述第2色信號; 藉由第3攝像元件,輸出像素排列成方格花紋狀之上 述第3色信號; 將上述第1色信號、上述第2色信號及上述第3色信號 進行合成,求出合成後之色信號中空像素之周邊像素之 相關關係; 根據上述相關關係,就上述第1色信號、上述第2色广 號及上述第3色信號之各個,將上述空像素進行内插而 產生上述攝像信號。 119360-991018.doc
TW096119016A 2006-06-16 2007-05-28 Imaging device and signal processing method TW200822764A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006167885A JP4548390B2 (ja) 2006-06-16 2006-06-16 撮像装置及び信号処理方法

Publications (2)

Publication Number Publication Date
TW200822764A TW200822764A (en) 2008-05-16
TWI338511B true TWI338511B (zh) 2011-03-01

Family

ID=38831605

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096119016A TW200822764A (en) 2006-06-16 2007-05-28 Imaging device and signal processing method

Country Status (7)

Country Link
US (1) US8471936B2 (zh)
EP (1) EP2031881B1 (zh)
JP (1) JP4548390B2 (zh)
KR (1) KR20090018803A (zh)
CN (1) CN101473659B (zh)
TW (1) TW200822764A (zh)
WO (1) WO2007145087A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8495348B2 (en) * 2008-06-26 2013-07-23 Lsi Corporation Efficient root booting with solid state drives and redirect on write snapshots
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
JP5640370B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置,画像処理方法及び撮像装置
JP5640371B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 カメラシステム及び画像処理方法
JP5634795B2 (ja) * 2010-08-19 2014-12-03 富士フイルム株式会社 撮像モジュールおよび撮像装置
JP5621055B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
EP2815393B1 (en) 2012-02-14 2023-04-05 Gentex Corporation High dynamic range imager system
US9280803B2 (en) 2013-04-25 2016-03-08 Mediatek Inc. Methods of processing mosaicked images

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60838B2 (ja) * 1976-05-28 1985-01-10 ソニー株式会社 カラー固体撮像装置
JPS59154889A (ja) 1983-02-23 1984-09-03 Hitachi Denshi Ltd 固体カラ−撮像装置
JPH0458682A (ja) * 1990-06-28 1992-02-25 Canon Inc 撮像装置
US5237185A (en) * 1991-04-19 1993-08-17 Canon Kabushiki Kaisha Image pickup apparatus with different gate thicknesses
JPH04320372A (ja) * 1991-04-19 1992-11-11 Canon Inc 撮像装置
JP3735867B2 (ja) * 1993-01-14 2006-01-18 ソニー株式会社 輝度信号生成装置
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JPH07250341A (ja) * 1994-03-11 1995-09-26 Asahi Optical Co Ltd 電子カメラのホワイトバランス調整装置
JP3164481B2 (ja) * 1994-12-20 2001-05-08 シャープ株式会社 撮像装置
JP3724882B2 (ja) * 1996-08-14 2005-12-07 シャープ株式会社 カラー固体撮像装置
JP3787927B2 (ja) * 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
JPH1176159A (ja) 1997-09-09 1999-03-23 Fuji Photo Optical Co Ltd 複数の撮像素子を組み合わせた画像形成装置
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
JP4607265B2 (ja) * 1998-01-08 2011-01-05 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4077120B2 (ja) * 1999-07-01 2008-04-16 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4162111B2 (ja) * 1999-07-27 2008-10-08 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4423452B2 (ja) * 2000-12-27 2010-03-03 富士フイルム株式会社 固体撮像装置
JP2005175893A (ja) * 2003-12-11 2005-06-30 Fuji Film Microdevices Co Ltd 2板式カラー固体撮像装置及びデジタルカメラ
JP4717371B2 (ja) * 2004-05-13 2011-07-06 オリンパス株式会社 画像処理装置および画像処理プログラム
JP3729842B1 (ja) * 2004-12-02 2005-12-21 三菱電機株式会社 画素信号処理装置及び方法
JP4617152B2 (ja) 2004-12-17 2011-01-19 株式会社マキタ 切断機の切断材位置決めフェンス
JP4320372B2 (ja) 2007-10-04 2009-08-26 憲司 中村 ガラス含有成形用ペレット及びその製造方法

Also Published As

Publication number Publication date
US20100231745A1 (en) 2010-09-16
JP2007336387A (ja) 2007-12-27
EP2031881A1 (en) 2009-03-04
EP2031881B1 (en) 2011-11-16
WO2007145087A1 (ja) 2007-12-21
JP4548390B2 (ja) 2010-09-22
KR20090018803A (ko) 2009-02-23
CN101473659A (zh) 2009-07-01
EP2031881A4 (en) 2009-12-16
CN101473659B (zh) 2011-06-15
US8471936B2 (en) 2013-06-25
TW200822764A (en) 2008-05-16

Similar Documents

Publication Publication Date Title
TWI338511B (zh)
JP4066484B2 (ja) 画像処理装置および画像処理方法、並びにカメラ
JP5036482B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JPH0823543A (ja) 撮像装置
US8248496B2 (en) Image processing apparatus, image processing method, and image sensor
JPH0823542A (ja) 撮像装置
US20130038761A1 (en) Imaging apparatus, method of processing captured image, and program for processing captured image
JP2003032695A (ja) 画像信号処理装置
JP4980132B2 (ja) 画像処理装置および画像処理方法
US6747698B2 (en) Image interpolating device
JP4391431B2 (ja) 撮像装置
JP5673186B2 (ja) 撮像装置及び撮像装置の補間処理方法
KR20080070231A (ko) 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법
JPS60194889A (ja) カラ−固体撮像装置
JP4334150B2 (ja) 画像補間装置
WO2012176580A1 (ja) 撮像装置
JPH0795595A (ja) カラー撮像装置
JP3968480B2 (ja) 相関値算出回路およびその算出方法
JP4303525B2 (ja) 補間画素生成装置および方法
JP2001218099A (ja) 多板式撮像装置および画像データ処理用記録媒体
JP3515585B2 (ja) 2板式撮像装置
JP4334151B2 (ja) 画像補間装置
JP3406674B2 (ja) 2板式撮像装置
JP4334152B2 (ja) 画像補間装置
JP6794204B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees