TWI345420B - Image processing circuit and image processing method - Google Patents

Image processing circuit and image processing method Download PDF

Info

Publication number
TWI345420B
TWI345420B TW095108942A TW95108942A TWI345420B TW I345420 B TWI345420 B TW I345420B TW 095108942 A TW095108942 A TW 095108942A TW 95108942 A TW95108942 A TW 95108942A TW I345420 B TWI345420 B TW I345420B
Authority
TW
Taiwan
Prior art keywords
circuit
image processing
signal
matrix
processing circuit
Prior art date
Application number
TW095108942A
Other languages
English (en)
Other versions
TW200726264A (en
Inventor
Kunihiro Ohara
Tomohiro Fukuoka
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Publication of TW200726264A publication Critical patent/TW200726264A/zh
Application granted granted Critical
Publication of TWI345420B publication Critical patent/TWI345420B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

九、發明說明:
C發明所屬技術領域J 相關申請案之交互參照 本專利申請案根據並要求於2005年12月20日申請來自 習知曰本專利申請案第2005-367064號之每—個的優先 權’其完整内容於本文中合併以供參考。 發明所屬之技術領域 本發明係有關一種影像處理電路,而更特定於即使使 用一RGB獨立陣列感測器作為一固態影像拾取裝置時,仍 能處理影像信號之一種影像處理電路。 t先前技冬好3 發明背景 第7圖是一與習知技術相關之一影像處理系統ι〇〇的方 塊圖。該影像處理系統1〇〇包括— CCD 19〇、一影像修正電 路15卜-單線記憶體129、閃鎖電路125至128、以及一檢 測電路171。該CCD刚是拜爾陣列中之一咖。於該⑽ 190之該轉素tg㈣像素㈣輸人至彡像修正電路 151、該單線記憶體129、該等閃鎖電路127與128。該單線 記憶體129於―前置線上財R、邮號。於現行線上相繼 輸入至該前置線之Gb、B信號、以及於前置線上儲存於該 單線記憶體129中之R、喊號會彼此同時取得,並輸入至 該檢測電路m中。該檢測電路m實行諸如色彩遮蔽調 整、曝光調整、以及自動對焦之一檢測,並且之後輪出— 檢測結果腿⑻。該影像修正電路⑸因此⑽輸入之像素 資料,實行諸如瑕疵像素修正、雜訊修正、以及〇B(光學黑 色)修正之各種不同的修正。之後’修正後之該像素資料CPD 攸该影像修正電路151輸出至下一步驟,未顯示之一電路。 如同與上述相關之一技術’本案亦揭示日本未檢驗專 利出版品第2001-245141號之技術。 【發明内容J 發明概要 然而,該傳統影像處理系統100有一問題是因為該系統 僅能容納拜爾陣列中之該CCD影像感測器’藉此其無法使 用由一像素取回所有R、G、B色彩之所謂RGB獨立陣列感 測器(例如’來自美國Foven公司之影像感測器)。 改變該檢測電路171之電路組態來容納該rgb獨立陣 列感測器,會造成第一個問題是因為需要另一設計,所以 會增加成本,第二個問題是無法使用諸如已針對拜爾陣列 來發展多年之軟體程式庫的各種不同技術;而第三個問題 是因為改變後之該檢測電路丨7丨無法容納該鮮爾陣列中之 資料。 本發明適合來解決上述背景技術之至少—個問題,而 本發明之-目的是提供—f彡像處理電路以及—種影像處理 方法’即使已使用所謂RGB獨立陣列類型之固態影像拾取 裝置’該方法仍能使用諸如已發展多年之拜_陣列軟體程 式庫的各種不同技術,並㈣於拜爾陣列巾糾 像拾取裝置。 ‘…衫 爲了達到上述目的,根據本發明之一觀點,提供之— 丄州42〇 > 5 10 15 2〇
影像處理電路包含:第一至第三矩陣 固態影像拾取裝置之-輸出上,取得該固態^:於從-彼此相鄰之一雙像素χ雙像素基本矩陣;一、,。取裳置 =計料該第-_取得電路獲得之該基本^^電I ^ 第二平均電路,用於計算從該第二 平 獲仔之該基本矩陣的一平均值;一第 皁取诗电路 算從該第三矩陣取得電路獲得之該基本矩陣的=計 以及-資料陣列轉換電路,用於將該等第 句值,· 路之輸出轉換為該固態影像拾取裝置彼 電 讀像素拜爾陣列轉換矩陣,·其特徵為:該固=像=素 置疋用於取得每-像素之_R信號、一G 裝 一咖獨立陣列感測器類型的固態影像拾;; =⑽、戰會_^_—至第三矩陣取 第-至第三_取得電路是用於從—固 置之輪幻f射,取得彼此 ^ =裝 陳。_阳能旦,你从1 又1豕京x雙像素基本矩
n的Γ 是用於輪出每—像素之R、G、B 物器類型的固態影像拾取裝置 ^ Α °柄每—個是獨立從該RGB獨立陣列 = ==,影像拾取襄置中輸出,並個別輸入至該 第 至第二矩陣取得雷% 传電路。因此,R、R、r—水平線上 H 號可針對類似拜爾陣列的基本矩陣之每一單元而加 以擷取。同樣地,G、G、r _ . τ Α 水平線上之G信號以及Β、Β、 卜水平線上之Β信號可針對該基本矩陣之每-單元而加 7 is) :擷取。於是,針對輸入之該等R、 需要該雙像夸L唬的母一個, 因㈣㈣基本料W新, 而女衫像圖訊之資料。 陣取=第:=::應地提供至該等第-至第三矩 因此,縣本矩料之料㈣时均值。 申取得,從該等R信號之雙像素x雙像素基本矩陣 —G信號^:=中彻_絲裝置。此外, 得,—B信麥二4 ?號之雙像素X雙像素基本矩 陣中取 取得。U從該等B信號之雙像素χ雙像素基本矩陣中 爾陣列中之電路將Η步錢(R、G、B_)轉換為拜 號),並二=:=一一 =Γ:Γ應該基本矩陣之更新而::新 *像圖訊之拜_中的資料。在此,下一4 中之各種不同電路可包括,例如 :欠、/驟 檢測電路,用於才櫨1陣列資料之― 隹啁敕、陣來計算自色平衡調整、對 “,、調正、曝光調整等等之估計值。 對 根據本發明之另一觀點, 下列步驟:影像處理方法包含 ^ m m ^ 纟取農置之—輪出信號上,取得 二:=ΓΤ相鄰之一雙像素x雙像素基本- 矩陣取得電路獲得之 均值,汁算從該第二矩陣取 + 平均值;計“之該基本矩陣的〜 ^以第―矩陣取得電路獲得之該基本矩陣的 —平均值;以及一將該等第— 為該固態料拾料置彼此輪出轉換 得每-騎絲Μ是用於取 陣列感測器類型的固態影:、—Β信號的,蜀立 號,號會個別輸入至該該等R信號、。信 該影像處理電路包括第 ^矩陣取得電路。 該等第一至第三影像處理電路像f理電路區塊。 得電路'-平均電路、—輸出;:之母一個包括-矩陣取 資料陣列轉換電路。基心路:輸入電路、以及- 理電路區塊之輸出電路^ 均值從該第—影像處 冑之輸出電路輸出,並輸人至該㈣二與第 :理電㈣塊。從轉第二與第三影像處料路區狀 =電路輸出的基本轉之平均值,會輸人至 =電路區塊之輸―此,R、G、B三種信號輸: '該第1像處理電路區塊之該資料陣列轉換電路。之 後^該資料陣列轉換電路將該等輸人之R、G、B信號轉換 為该固態影像拾取|置彼此㈣之雙像素χ雙像素拜爾陣 ^中的轉換矩陣。之後同樣地,亦於該第二影像處理電路 ,塊與該第三影像處理電路區塊之資料陣列轉換電路中, 貫行將邊等因此輸入之R、G、Β信號轉換為拜爾陣列轉換 矩陣之操作。亦即,該等第一至第三影像處理電路區塊中, 而要相同的轉換矩陣。 藉此,即使已使用所謂RGB獨立陣列中之固態影像拾 取裝置,獨立輸入之R、G、B信號仍可針對每一基本矩陣 被擷取而之後被平均,之後轉換為拜爾陣列。因此,即使 已使用該R G B獨立陣顺· _之彡像拾取裝置, 仍可使麟麟_列作為m狀下—步驟電路, 此外,可使用諸如針對拜爾陣列已發展多年之資料估計方 法以及軟體程式庫。 本發明之上述與進一步目的以及新奇的特徵,將從下 列有關伴隨圖式讀取之詳細說明中完整呈現。然而,應明 確了解該等圖式僅用於舉例解說,而不意欲作為本發明之 限制的一定義。 圖式簡單說明 第1圖是本發明之-原理圖; 第2圖疋影像處理電路1之一電路圖; 第3圖是一第—影像處理電路區塊CH1之-電路圖; 第4圖是-Rgb獨立陣列感測器之一示意圖; 第5圖是顯不該第一影像處理電路區塊(:111之操作 的圖形; 第6圖疋一鮮爾陣列感測器之一示意圖;以及 第7圖是〜 〜習知技術相關之一影像處理系統100的電 路圖。 【實施冷式】 較佳實施例之詳細說明 下文中,將參照根據第1圖至第6圖之圖式來詳細說明 具體化本發明夕互 M 像處理電路及影像處理方法的實施例。 弟1圖顯示本路日日^ 货月之一原理圖。一影像處理系統1(3包括—第 —矩陣取得電路21G至—第三矩陣取得電路230、 :電路:至,平均電路33G、一資 = _、-拜爾陣列檢測電路7〇 換電路 9〇G。 A固態影像拾取裝置 該固態影像拾取裝置鶴是用於取得每一 G、B信號的一RGB獨立陣列&測、、 置,廿態影像拾取裝 置,並獨立輸出該等R、G、B信號。該_號輸= ^陣取得電路加;該等G信號輪入至該第二矩= 路加;而該等B信號輸入至該第三矩陣取得電路23(J電 該第一矩陣取得電路21〇取得 影像拾取裝置90G輪出之r 基本矩陣之固態 f謂G輪出之_R、G、B信號中_信號 Γ雔?二車表示由該固態影像拾取裝置9。。中彼此相鄰
=雙像素x雙像素所組成的-區域。該第-平均電路31G 輸出:平均值AveCH1作為㈣本矩陣中每—像素之r信號 =平均值。HI此,針對每—雙像h雙像素基本矩陣可能 需要一 R錢。此具有類似取得拜轉列中該_影像拾取 裝置9〇G之-雙像素χ雙像素矩陣的信號之關係。 上同樣地,該第二矩陣取得電路22g取得每—基本矩陣之 …。號而5亥第二平均電路32G輪出〇信號之一平均值 另外同樣地,該第三矩陣取得電路23G取得每一 基本矩陣之B信號’而該第三平均電路33G輸出B信號之-平句值AveCH3 〇之後’該等基本矩陣會相繼更新,因而需 要一影像圖訊之資料。 該資料陣列轉換電路4〇G將該平均值AveCm(R信 號)、該平均值AveCH2(G信號)以及該平均值Avec卿作 號)’轉料㈣陣财之雙雙像料触陣(R1
Grl'Gbl'BH#€) °該轉換操作中,該G信號之該平均值 AV指定至該轉換_的純1錢與細職,藉此
10 該等平均值AVeCH1至AveCH3之三種信號轉換為拜爾陣列 中之四健號,幻、如、阳、崎號。因此該等獲得之 R1 Grl Gb卜B1域輸入拜爾陣列檢測電路川。該拜爾 陣列檢測電路70是改為拜轉財之影料料輸入的一檢 測電路。由於該拜爾陣列檢測電路7Q,會檢測到該轉換矩 陣之該等則、如、咖简號,藉此實行白色平衡調整、 對焦調整、曝光調整等等之估計值的計算。
藉此,該影像處理系統10中,使用所謂刪獨立陣列 感測器時’該等R信號之平均值、該等G信號之平均值以及 該等B信號之平均值,可針對該固態影像拾取裳置⑽g之彼 15此相鄰的每—雙像素X雙像素基本矩陣來取得。之後,因此 取得之該等三種信號R、G、B信號的三種平均值可轉換為 拜爾陣列中之四種信號,R卜加、Gbl、Bl信號。因此, 即使該RGB獨立陣列感測器用於該固態影像拾取裝置9〇g 時4等平均值可轉換為拜爾陣列中之該等信號,藉此兮 檢測操作可使用拜爾陣列檢測電路7〇來作為—現存系絲 實灯。此方式巾’應了解即使使肋RG_立陣列感測器, 亦可使用諸如白色平衡調整、對焦調整以及曝光調整之估 計方法’以及已針對拜爾形式發展多年之軟體程式庫。 本文將使用第2圖來說明與本發明之實施例相關之一 12 影像處理電路卜該影像處理電路1包括-CCD 9〇、-選定 器92、-第-影像處理電路區塊cm至—第三影像處理電 路區塊⑽。該CCD 9G之輸出端子連接至該選定釋。從 該選定㈣輸出之像素資料咖至咖以及色彩資訊⑶ 至CD3個職人至該第_影像處理電路區塊⑽至該第三 影像處理電路區塊CH3。 該第〜像處理電路區塊CH1包括一第一矩陣取得電 路21帛平均電路31、一資料陣列轉換電路“、一影 像^正電路51、—輸出選定器61、-檢測電路71、一輸入/ 輸出電路❿至81。該像素資料PD1輸人至該影像修正電路 51與該第-矩陣取得電路21。該影雜正電㈣中,諸如 瑕疫像素修正、雜訊修正與〇B(光學黑色)修正之各種不同 修正’會於因此輸入之該像素資料pD1上實行。之後下— 步驟中’來自該影像修正電路51之像素資料咖丨修正後輸 入至-電路’未顯示。下一步驟之電路中,會產生一圖訊 之影像。該CCD 90上彼此相鄰之一雙像素χ雙像素(基本矩 陣)的化號5511至信號SS14從該第一矩陣取得電路21輸 出。該等信號ssii至信號SS14輸入至該第一平均電路31與 該輸出選定器61。該平均值AveCH i與色彩資訊Ir〇CH i從該 第平均電路31輸出’並輸入至該輸入/輸出電路8ia與該資 料陣列轉換電路4卜該平均值AveCH!與色彩資訊Ir〇CH i從 該輸入/輸出電路81a輸出,並個別輸入至該第二影像處理電 路區塊CH2之該輸入/輸出電路82c,以及該第三影像處理電 路區塊CH3之該輸入/輸出電路83b。此外,從該第二影像處 理電路區塊CH2輸出之該平均值AveCH2與色彩資訊 Ir〇CH2經由該輸人/輸出電路8丨b進人該f _列轉換電路 41。再者,從該第三影像處理電路區塊CH3輸出之該平均 值AveCH3與色彩資訊iroCH3經由該輸入/輸出電路8 i c進入 該資料陣列轉換電路41。 轉換為拜爾陣列後,組成一雙像素乂雙像素轉換矩陣之 至信號SS14a從該資料陣列轉換電路41輸出,並 輸入至該輸出選定器61。信號SSUb至信號ssl4b&該輸出 選疋器61輸出,並輸入至該檢測電路71。一檢測結果DR1 會從該檢測電路71輸出。 下文中,同樣地,亦於該第二影像處理電路區塊CH2 中,色衫資訊CD2輸入至該第二平均電路32。此外,從該 第二平均電路32輸出之該平均值AveCH2與色彩資訊 IroCH2從5玄第二影像處理電路區塊CH3輸出之該平均值 AveCH3與色彩資訊Ir〇CH3、以及從該第一影像處理電路區 塊CH1輸出之該平均值AveCH1與色彩資訊ir〇(:Hi,則輸入 至該貧料陣列轉換電路42。再者,同樣地,亦於該第三影 像處理電路區塊CH3中,色彩資訊CD3輸入至該第三平均電 路33。此外,從該第三平均電路33輸出之該平均值AveCH3 與色衫資訊IroCH3、從該第一影像處理電路區塊cH1輸出 之該平均值AveCH 1與色彩資訊lr〇CH丨、以及從該第二影像 處理電路區塊CH2輸出之該平均值AveCH2與色彩資訊 Ir〇CH2 ’則輸入至該資料陣列轉換電路43。 第3圖顯示該第一影像處理電路區塊cH1之一細部電 1345420 路。該第一矩陣取得電路21包括一單線記憶體29、閂鎖電 路25至28。該像素資料PD1輸入至該單線記憶體四與該等閂 鎖電路27、28。延遲像素資料DPD1&該單線記憶體29輸 出,並輸入至該等問鎖電路25、26。該等信號ssil至SS14 5個別從該等閂鎖電路25至28輸出。 該第一平均電路31包括一操作電路35與一色彩資訊電 阻器91。該AveCH1從該操作電路35輸出時,該等信號ssn 至SS14輸入至該操作電路35。該色彩資訊Ir〇CH1&該色彩 資訊電阻器91輸出時,該色彩資訊cm輸入至該色彩資訊 10 電阻器91。 该檢測電路71包括一準位閘極電路75、一亮度建立電 路76、一白色平衡調整電路77、一曝光調整電路78、以及 一對焦調整電路79。該等信號^1113至%1413、與一臨界值 T Η輸入至該準位閘極電路7 5。一檢測結果D R丨&從該白色平 15衡調整電路77輸出時,通過該準位閘極電路75之該等信號 SSllb至SS14b輸入至該白色平衡調整電路77。該等信號 SSllb至SS14b、與一亮度係數!^輸入至該亮度建立電路 76。從該亮度建立電路76輸出之—亮度信號γ輸人至該曝光 調整電路78與該對焦調整電路79。檢測結果1^11)與1^1^ 2〇個別從該曝光調整電路78與該對焦調整電路79輸出。此 外,既然該第二影像處理電路區塊CH2與該第三影像處理 電路區塊CH3之组態類似該第—影像處理電路區塊CHi,則 其詳細說明將於本文中省略。 現將說明該影像處理電路丨之操作。首先’將說明該 15 1345420 CCD 90是一RGB獨立陣列感測器類型CCD的情況。第4圖 顯示该RGB獨立陣列感測器之一示意圖。該RGB獨立陣列 感測器由一像素取回所有R、G、B色彩,並包括每一R、G、 號之一資料線。因此,該等R、G、B信號彼此平行地從 5該11^^90輸出,並輸入至該選定器92(第2圖)。該選定器92 中,該等R、G、B信號個別指定至該等像素資料pD1至pD3。 此實施例中,該等R信號指定至該像素資料pD1,而該色彩 資訊CD1通知該第一影像處理電路區塊CH1結果。同樣地, 該等G信號指定至該像素資料pD2,而該色彩資訊(:〇2通知 10該第二影像處理電路區塊CH2結果。再者,該等b信號指定 至该像素資料PD3,而該色彩資訊CD3通知該第三影像處理 電路區塊CH3結果。 此方式中,該選定器92可任意指定分配至該第一影像 處理電路區塊CH1至該第三影像處理電路區塊CH3之色彩 15信號。因此,例如,該CCD 90包括三個R、〇、B信號之輸 出端子時,根據該等特定端子之安排位置與陣列順序,色 彩信號與RGB信號可指定至該第一影像處理電路區塊CH1 至忒第二影像處理電路區塊CH3。因此,其優點是可作有 彈性的基體佈局。 20 既然輸入之一模式信號MODE是高準位,則該輸出選 定器61選定該資料陣列轉換電路41之輸出來將其輸出至 該檢測電路71。因此,該影像處理電路丨之模式會進入對應 該RGB獨立陣列感測器之一模式。 之後,將使用第3圖與第5圖來說明該第一影像處理電 16 1345420
10 路區塊CH1之操作。針對每—條線作為該像素資獅k R、R、R-H侧號會輸人至♦影像處理 哪。該苐-_取得電仙會於料線記㈣μ之一二 置線上保有峨信號。再者,可實行—操作來同步相繼輪 入,《置線之-現行線上的該糾信號,以及彼此儲存於 該早線s己憶體29上之該前置線的該等尺信號。於是,針對1 前置線上彼此相鄰之㈣素的略號會_於鮮閃鎖^ 路25、财。與關於該等㈣電妨、%中之前置線的 該等R信號相鄰之該現行線上的兩像素之R信號會閃鎖於 該等閃鎖電路27、28中。藉此,如第5圖所示,該等閃鎖電 路25至28中需要對應至該CCD辦彼此相鄰之—雙像素X 雙像素基本矩陣MT1。
個別從該等問鎖電路25至28輸出之該等信號咖至信 號SS14輸入至該操作電路35。該操作電路%計算r信號之該 15專仏號SS11至仏號SS14的平均值AveCHl(第5圖)。之後, 該等R信號之平均值AveCH1輸入至該資料陣列轉換電路4ι 與輸入/輸出電路81a。此外,既然指出該R信號之色彩資訊 CD1已被輸入並存於該色彩資訊電阻器91中,則該色彩資 訊電阻器91將該色彩資訊ir〇cHl輸出至該資料陣列轉換電 20路41與輸入/輸出電路81a。 類似於上述操作,亦於該第二影像處理電路區塊CH2 中,需要對應一第二基本矩陣MT2之〇信號,並計算該等g k號之平均值AveCH2。再者,亦於該第三影像處理電路區 塊CH3中’需要對應一第三基本矩陣MT3之B信號,並計算 S) 17 該等B信號之平均值AveCH3(第5圖)。此外,如第2圖所示, 從該第二影像處理電路區塊CH2輸出之該等G信號的該平 均值AveCH2與該色彩資訊IroCH2,會經由該輸入/輸出電 路81b進入該第一影像處理電路區塊chi之資料陣列轉換 電路41 °再者,從該第三影像處理電路區塊ch3輸出之B信 號的該平均值AveCH3與該色彩資訊IroCH3,會經由該輸入 /輸出電路81c進入該第一影像處理電路區塊CH1之資料陣 列轉換電路41。 該資料陣列轉換電路41辨識該色彩資訊IroCHl至 Ir〇CH3 ’該平均值AveCHl是R信號、該平均值AveCH2是G 信號、而該平均值AveCH3是B信號。此外,如第5圖所示, 該資料陣列轉換電路41將該等R、G、B信號之平均值 AveCH 1至AveCH3的三種信號,轉換為彼此相鄰之一雙像 素X雙像素所組成的拜爾陣列中之轉換矩陣CMT。雖然此轉 換操作中,該等平均值AveCHl至AveCH3之三種信號轉換 為拜爾陣列中之四種信號R、Gr、Gb、B信號,但此轉換可 藉由將6亥平均值AveCH2轉換為該轉換矩陣CMT之該Gr信 號” GbL號。之後對應拜爾陣列中之該等R、Gr、Gb、B 信號的信號ssilasssi4a從該資料陣列轉換電路41輸出。 °玄輪出選定器61是一電路,其選定從該第一矩陣取得 電路21輪出之該等信號%11至SS14,以及從該資料陣列轉 換電路41輪出之該等㈣SSlla至SS14a其中之-,並將其 輸出作為至該檢測電路7丨之該等信號SS1 lb至SSMb。此實 】中既然该模式信號MODE通知該輸出選定器61該 CCD 90是該RGB獨立陣列感測器類型時造成的影響,則該 輸出選定器61選定從該資料陣列轉換電路4ι輸出之該等信 號sslla至ssl4a ’並且之後將其輸出至該檢測電路71。° 該檢測電路71中,會實行檢測操作。該準位問極電路 75是㈣雜與資料超麟臨界值TH<_,並將其遮蔽 之一電路。從該準位閘極電路75輸出之信號輸人至該白色 平衡調整電路77。該白色平衡調整電路l其為自動調整 由於色彩溫度造成之色彩陰影上的差異之—電路,會計算 10 該等R、G、B信號的整合值之後並輸出該數值作為職測 結果贈a。根據雜測結果DRla,於未_之下—步驟電 =,會實行-操作來修正該取回之影像資料,並調整該 貢料至一自然的色彩陰影。 15 該亮度建立電路76中,根據輪入之該亮度餘LC,會 亮度信號γ。該亮度信散是人_睛中影像的發光 體。遠亮度信號Y輸人至該曝_整電路顺該對焦調整電 20 路79。鄕細㈣路78是財於適當曝Μ拾取影像之 7的-電路」藉此該影像不會呈現過度曝光或曝光不 。e亥電料异該免度之整合值並輸出檢測結果η·。根 據該檢測結果贈b,曝光會於未顯示之下—㈣電路中受 控制。該對焦調整電路79是取回―影像之-高頻元件、並 根據該整合值資訊來自動調整對焦之—魏,藉此可達到 亦即,會有更多高頻元件)。從上述事實中,需了解 PHD 90是該職獨立陣列感測_型時,該影像處 理電路1何於職測電路71巾實行婦測操作。 19
丁文中,將說明該CCD
固態影像 洋爾陣列感測器之一示意 一像素之一色彩。於是, …r、b、B信號會從該CCD9()依序輸出,並輪入 =選定器92(第2圖該選定器92中,可實行一操作來指 定從該CCD 90輸入至該等像素資料pm至pD3之資料。亦 即’所有該等像素資料PDUPD3構成相_資料。 15 既然輸入之一模式信號M〇DE構成低準位,則該輸出 選定器61選定該第一矩陣取得電路21之輸出,來將其輸出 至忒檢測電路71。因此,該影像處理電路丨之模式會進入對 應該拜爾陣列感測器之一模式。 下文將使用第3圖來說明該第一影像處理電路區塊 2〇 CH1之操作。作為每一條線之像素資料pm的該尺與&信 號、以及Gb與6栺號,替代輸入至該第一影像處理電路區 塊CH1。該第一矩陣取得電路21會於該單線記憶體29之一 觔置線上保有該等R、Gr信號。再者,可實行一操作來同步 相繼輸入至該前置線之一現行線上的該等Gtl ' R信號,以 20 1345420 及彼此儲存於該單線記憶體29上之該前置線的該等r、^ 信號。藉此,對應該CCD 90中彼此相鄰之一雙像素χ雙像 素第一基本矩陣ΜΤ1的該等11、(^、〇1)、6信號,會於2等 閂鎖電路25至28中取得。 5 從3玄第一矩陣取得電路21輸出之該等信號SS11至SS14
輸入至該輸出選定器61。此實施例中,既然該模式信號 MODE通知該輸出選定器6!該CCD 9〇是該拜爾ρ車列類型時 造成的影響,則該輸出選定器61選定從該第一矩陣取得電 路21輸出之該等信號SS11iSsl4,並且之後將其輪出至該 10檢測電路71。該檢測電路71中,會實行檢測操作,並從該 檢測電路71輸出該等檢測結果DRla至DRlc。從上述事與 中,需了解即使該CCD90是該拜爾陣列類型時,該影像處 理電路1仍可於該檢測電路71中實行該檢測操作。 如上述詳細說明,該CCD 90使用所謂rgb獨立陣列感 15測器時,與本發明之實施例相關的該影像處理電路丨可取得
R信號之平均值、G信號之平均值、以及B信號之平均值 因此取得之該等三種信號R、G、B信號可轉換為拜爾陣列 中之四種信號,R、G Γ、G b、B信號。此關係類似舞爾陣列 20 中之該CCD ’該等R、Gr、Gb、B信號是從該雙像素χ雙像 素矩陣中取得。於是,應了解即使使用該RGB獨立陣=感 測器時’該等信號可轉換為拜爾陣列中之信辦,— σ〜错此亦可 使用諸如白色平衡調整、對焦調整以及曝光調整之估計方 法’以及已針對拜爾形式發展多年之軟體程式庫。° 再者,該第-矩陣取得電路21可接收碎爾陣列中之信 21 號以及該RGB獨立陣列感測器類型之信號的任何一種。之 後,忒CCD 90於拜爾陣列中時,該輸出選定器61可選定該 第-矩陣取得電路21之輸出,並且將其輸出至該檢測電路 71,而該CCD90於該RGB獨立陣列時,該輸出選定器61玎 選定該資料陣列轉換電路41之輸出,並且將其輸出至該檢 測電路71。這使得即使該CCD 90於該RGB獨立陣列的情 况’以及於拜爾陣列的情況其中之―時,皆可使該影像處 理電路1實行檢測,藉以本發明之電路的應用範圍得以延 伸。 此外,應體認本發明並不侷限於上述實施例中,在不 違背本發明之目的的範疇下可作各種不同改善與修正。雖 然本貫她例中,已說明該第一影像處理電路區塊中之 該貢料陣列轉換電路41的操作’但於該第二影像處理電路 區塊CH2中之該資料陣列轉換電路42以及該第三影像處理 電路區塊CH3巾之該資料陣列轉換電路a,亦可實行上述 類似操作。該CCD 90是該rgb獨立陣列感測器時,輸入至 該檢測電路71之拜爾陣列中的信號%113至5514&、輸入至 該檢測電路72之拜爾陣列中的信號55213至;55243、以及輪 入至該檢測電路73之拜爾陣列中的信號SS3 j&至SS34a會變 為彼此相同。因此,此情況巾,僅允許該第—影像處理電 路區塊CH1之該檢測電路71操作便已足夠,而該第二影像 處理電路區塊CH2之該檢測電路72以及該第三影像處理電 路區塊CH3之該檢測電路73之操作可得以停止。藉此,當 控制該影像處理電路1之電流耗損時,該檢測操作仍可實 1345420 行。 此外,應體認本案不侷限於該檢測電路72與該檢測電 路73停止的情況,該等檢測電路71至73亦可同時彼此操 作。此情況中,該臨界值TH與該亮度係數LC可於個別檢測 5電路中設定為彼此不同的數值。再者,該白色平衡調整電 路77、該曝光調整電路78、與該對焦調整電路79之檢測中 的參數可於個別檢測電路中設定為彼此不同的數值。這造 成該等三個檢測電路71至73同時操作,藉此三種檢測結果 可於相同的時間週期中取得。此外,例如,若該對焦調整 10電路79之二種濾-光參數同時被檢測,並使用三種結果之最 佳結果,則可於一最短時間内達到該參數之最佳化。從上 述事實中,可了解這會促成一高速率與一高精確之檢測操 作。 此外,該CCD 90是該拜爾陣列感測器時,輸入至該等 15第—影像處理電路區塊CH1至第三影像處理電路區塊CH3 之所有像素資料PD1至PD3會構成相同資料。於是,此情況 中,若僅有該第一影像處理電路區塊CH1操作,則該第二 影像處理電路區塊CH2與該第三影像處理電路區塊CH3之 2操作會停止,而當控制該影像處理電路i之電流耗損時,該 2〇檢測操作仍可實行。 此外,應體認該CCD 90是該拜爾陣列感測器時該第 一影像處理電路區塊CH1至該第三影像處理電路區塊CH3 可同時操作。此情況中,提供該類該像素資料從該CCD 9〇 輪出之區域可分割為,例如,該影像拾取區域之上、中以 >3 23 及下三個子區域的實施例便已足夠’而該資料會從個別子 區域彼此平行輸出。從該等三個個別子區域輸出之資料於 該選定器92中(第2圖)指定至該等像素資料pdi至PD3,而該 等檢測操作會於該第一影像處理電路區塊C Η1至該第三影 像處理電路區塊CH3中彼此平行實行。這使得從該CCD 9〇 取回之資料變為高速率,而靜止相機之拾取操作以一較高 速率持續地操作。 再者,雖然此實施例中,從該第二影像處理電路區塊 CH2之該第二平均電路32輸出之〇信號的平均值AveCm, 於該第一影像處理電路區塊CH1之該資料陣列轉換電路41 中構成該轉換矩陣CMT2Gr信號與Gb信號,但該RGB獨立 陣列仍可轉換為拜爾陣列,本發明並不侷限於該實施例 中。例如,該第二影像處理電路區塊CH22該第二平均電 路32中’可6十异該第—基本矩陣MT2中前置線上之雙像素◦ 信號的平均值AveCH21、以及該現行線上之雙像素G信號的 平均值AVeCH22。之後,該第一影像處理電路區塊cm之 該資料陣列轉換電路41中,該平均值Avecmi可指定至該 信號Gr ’義平均值如❹22可衫錢㈣⑼。這使得 不損害該資料下,該RGB獨立陣列可轉換為拜爾陣列。 此外,該CCD%是固態影像拾取裳置之—範例;該選 定器電路是該輸出選定器61之—範例;該等檢測電路取 73疋第-至第二錢處理電路之—範例;該等第—影像處 理電路區塊CH1至第二影像處理電路區塊ch3是第一至第 -衫像處理電純塊之―範例;該等輸人/輸出電路仏至 a疋輸出電路之-範例,该等輸入/輸出電路灿至㈣以及 …至83e是輸出電路之一範例;而該選定㈣是信號指定 電路之一範例。
根據本發明之影像處理電路及影像處理方法,即使使 5用所謂RGB獨立陣列類型之固態影像拾取襄置時,仍可使 用諸如已發展多年的拜爾陣列固態影像拾取裝置之軟體程 式庫的各種不同技術,除此之外,並可提供能夠容納拜爾 陣列固態影像拾取裝置之影像處理電路及影像處理方法。 【圖式^簡苹_彰^明】 10 第1圖是本發明之一原理圖; 第2圖是一影像處理電路i之一電路圖; 第3圖是一第一影像處理電路區塊CH1之一電路圖; 第4圖是一 RGB獨立陣列感測器之一示意圖; 第5圖是一顯示該第一影像處理電路區塊CHi之操作 15 的圖形;
第6圖是一拜爾陣列感測器之一示意圖;以及 第7圖疋一與習知技術相關之一影像處理系統100的電 路圖。 【主要元件符號說明 1·..影像處理電路 1G…影像處理系統 21、21G."第一矩陣取得電路 22G…第二矩陣取得電路 23G...第三矩陣取得電路 1 25、26、27、28…閂鎖電路 29…單線記憶體 31、31G..·第一平均電路 32G…第二平均電路 33G...第三平均電路 25 1345420 35…操作電路 77···白色平衡調整電路 40G、41、42、43…資料陣列轉換78."曝光調整電路 電路 79…對焦調整電路
5 l···影像修正電路 61···輸出選定器 70···拜爾陣列檢測電路 Ή、171···檢測電路 75…準位閘極電路 76…亮度建立電路 81a、81b、81c、82a、82b、82c、 83a、83b、83c···輸入/輸出電路 90…CCD90G固態影像拾取裝置 91…色彩資訊電阻器 92…選定器 100…傳統影像處理系統
26

Claims (1)

1345420
15
20 p年"月咖修正本 第〇9_942號尹請案申請專利範25 十、申請專利範固: (.一種影像處理電路,其特徵為該電路包括第_至第三影 像處理電路區塊,每―區塊係用於處理從—固態影像拾 取裝置接收之__R、G、B信號的其中—者該固態影像 拾取裝置係—綱獨立陣列感測器類型,用於取得每一 象素之„亥等%號、G信號及B信號,或用於處理從一拜 爾陣列類型之固態影像拾取裝置接收的R、G、B信號, 該等區塊中的每一區塊包含: —一矩陣取得電路’用於從該影像拾取裝置之-輸出 L號中’取得郷像拾取裝置±彼此相鄰的二乘二像素 之一基本矩陣; 一平均電路,該固態影像拾取裝置是用於取得每一 素之R<°號、—G信號、一B信號的-RGB獨立陣列 —器類型的關影像拾取裝置時,用於計算從該矩陣 =電路獲得之-R信號、一G信號、一B信號的其中之 —信號的基本矩陣之一平均值; —輸出電路,用於將該平均電路之該輸出輸出至-影像處理電路區塊之-外部區段; 、,輸入電路,其係用於接收該平均電路之該輸出, ~平句電路係用於其他影像處理電路隹塊之該等r' G、B信號的另外兩個信號; r -資料陣列轉換電路’用於將該平均電路之該輸出 ^及輪人至該資料陣列轉換電路之該輸人電路的輸 轉換為該ti像拾取裝置巾彼此相鄰的二乘二像素之 27 1345420 一拜爾陣列轉換矩陣;以及 一檢測電路,其係用於以一事先設定之參數為基 礎,來實現一有關於拜爾陣列轉換矩陣的檢測操作,其 中在該等第一到第三影像處理電路區塊中的該等個別 5 參數,係被設定為彼此相異的值。 2. 如申請專利範圍第1項之影像處理電路,其特徵為該電 路包括該等第一至第三影像處理電路區塊,每一區塊包 含一選定器電路: 該固態影像拾取裝置是該拜爾陣列類型時,用於選 10 定該等矩陣取得電路之該輸出;以及 該固態影像拾取裝置是該R G B獨立陣列感測器類 型時,用於選定該資料陣列轉換電路之該輸出。 3. 如申請專利範圍第1項之影像處理電路,其特徵為該固 態影像拾取裝置是該RGB獨立陣列感測器類型時,個別 15 包括於該等第一至第三影像處理電路區塊之該等資料 陣列轉換電路的至少其十之一會停止。 4. 如申請專利範圍第1項之影像處理電路,其特徵為該固 態影像拾取裝置是該拜爾陣列類型時,該等第一至第三 影像處理電路區塊之至少其中之一會停止。 20 5.如申請專利範圍第1項之影像處理電路,其特徵為該電 路包括一信號指定電路,其設置於連接該固態影像拾取 裝置與該等第一至第三影像處理電路區塊間之一路徑 上,並且當該固態影像拾取裝置是該RGB獨立陣列感測 器類型時,以一預定順序將該等R信號、G信號、B信號 28 1345420 指定至該等第一至第三影像處理電路區塊之該矩陣取 得電路。
29
TW095108942A 2005-12-20 2006-03-16 Image processing circuit and image processing method TWI345420B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005367064A JP4573769B2 (ja) 2005-12-20 2005-12-20 画像処理回路および画像処理方法

Publications (2)

Publication Number Publication Date
TW200726264A TW200726264A (en) 2007-07-01
TWI345420B true TWI345420B (en) 2011-07-11

Family

ID=37887970

Family Applications (1)

Application Number Title Priority Date Filing Date
TW095108942A TWI345420B (en) 2005-12-20 2006-03-16 Image processing circuit and image processing method

Country Status (8)

Country Link
US (1) US7557842B2 (zh)
EP (1) EP1801749B1 (zh)
JP (1) JP4573769B2 (zh)
KR (1) KR100786154B1 (zh)
CN (1) CN1988594B (zh)
AT (1) ATE454679T1 (zh)
DE (1) DE602006011568D1 (zh)
TW (1) TWI345420B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
TWI422020B (zh) 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
KR20110047540A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 디지털 카메라 및 그 제어방법
KR101652722B1 (ko) * 2010-01-15 2016-09-01 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
JP5718029B2 (ja) * 2010-11-22 2015-05-13 オリンパス株式会社 撮像装置
JP2012129927A (ja) * 2010-12-17 2012-07-05 Nikon Corp 撮像装置
JP5655589B2 (ja) * 2011-01-26 2015-01-21 株式会社ニコン 撮像装置
CN103460702B (zh) * 2011-03-24 2015-01-07 富士胶片株式会社 彩色摄像元件及摄像装置
JP5907687B2 (ja) * 2011-09-14 2016-04-26 オリンパス株式会社 撮像装置および信号転送装置
JP5912586B2 (ja) * 2012-01-30 2016-04-27 株式会社シグマ 画像信号処理方法及び画像信号処理回路、並びに撮像装置
JP5948167B2 (ja) * 2012-07-02 2016-07-06 株式会社シグマ 撮像装置
US10032110B2 (en) 2016-12-13 2018-07-24 Google Llc Performing average pooling in hardware
US10037490B2 (en) 2016-12-13 2018-07-31 Google Llc Performing average pooling in hardware

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1099613A (en) * 1964-10-15 1968-01-17 Polaroid Corp Improvements relating to colour television systems
JP3162908B2 (ja) * 1994-06-24 2001-05-08 三洋電機株式会社 映像信号処理装置
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
US6078307A (en) * 1998-03-12 2000-06-20 Sharp Laboratories Of America, Inc. Method for increasing luminance resolution of color panel display systems
EP1073279A4 (en) * 1999-02-19 2006-04-05 Sony Corp PICTURE SIGNAL PROCESSOR, PICTURE SIGNAL PROCESSING METHOD, LEARNING DEVICE, LERMETHOID AND RECORDING MEDIUM
JP2000299870A (ja) * 1999-04-13 2000-10-24 Seiko Epson Corp デジタルカメラ
US6727521B2 (en) 2000-09-25 2004-04-27 Foveon, Inc. Vertical color filter detector group and array
JP4136255B2 (ja) * 2000-02-29 2008-08-20 キヤノン株式会社 画像処理装置及びその方法
JP2002010276A (ja) * 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP2002232831A (ja) * 2001-01-30 2002-08-16 Olympus Optical Co Ltd 画像記録装置
JP3983101B2 (ja) * 2001-05-25 2007-09-26 株式会社リコー 画像処理装置、画像読み取り装置、画像形成装置およびカラー複写装置
JP2003304544A (ja) * 2002-04-10 2003-10-24 Canon Inc 撮像装置
JP4190805B2 (ja) * 2002-06-12 2008-12-03 オリンパス株式会社 撮像装置
JP4285948B2 (ja) * 2002-06-18 2009-06-24 オリンパス株式会社 撮像装置
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4578797B2 (ja) 2003-11-10 2010-11-10 パナソニック株式会社 撮像装置
JP2005167356A (ja) 2003-11-28 2005-06-23 Canon Inc 撮像素子

Also Published As

Publication number Publication date
TW200726264A (en) 2007-07-01
US20070139540A1 (en) 2007-06-21
DE602006011568D1 (de) 2010-02-25
KR100786154B1 (ko) 2007-12-21
EP1801749A2 (en) 2007-06-27
JP2007174117A (ja) 2007-07-05
JP4573769B2 (ja) 2010-11-04
KR20070065766A (ko) 2007-06-25
CN1988594B (zh) 2011-08-10
EP1801749B1 (en) 2010-01-06
ATE454679T1 (de) 2010-01-15
EP1801749A3 (en) 2008-10-29
US7557842B2 (en) 2009-07-07
CN1988594A (zh) 2007-06-27

Similar Documents

Publication Publication Date Title
TWI345420B (en) Image processing circuit and image processing method
US8553089B2 (en) Imaging device and signal processing circuit for the imaging device
JP4935162B2 (ja) 撮像装置、カメラおよび画像処理方法
CN102823236B (zh) 成像装置以及图像处理方法
JP4723401B2 (ja) 固体撮像装置
TW200904204A (en) Methods, systems and apparatuses for high-quality green imbalance compensation in images
KR20130038035A (ko) 촬상소자
JP2007282108A (ja) 撮像装置、カメラおよび画像処理方法
CN103546701A (zh) 像素阵列、图像传感器及补偿局部暗电流的方法
JP5298638B2 (ja) 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
JP2007282107A (ja) 撮像装置、カメラおよび画像処理方法
TW200818862A (en) Method and apparatus for image noise reduction using noise models
JP2007279597A (ja) 撮像装置、カメラおよび画像処理方法
TW201143410A (en) Method for compensating for column fixed pattern noise in image sensors
CN104221364A (zh) 成像装置和图像处理方法
US8547464B2 (en) Solid-state imaging device and frame data correcting method which determine a voltage value corresponding to a pixel portion in frame data
CN107734231A (zh) 一种基于滤光的成像***动态范围扩展方法
JP2016100879A (ja) 撮像装置、画像処理方法
JP5082137B2 (ja) 投射型画像表示装置、画像表示システム、および色むら補正方法
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
JP2007158579A (ja) 撮像装置
JP2005269339A (ja) 広ダイナミックレンジ固体撮像素子の色シェーディング補正方法および固体撮像装置
CN103229085B (zh) 成像设备
KR100321701B1 (ko) 이미지센서에서녹색화소값을카운트하는카운터를이용하여화면의밝기를조절하기위한장치및방법
JP2002095003A (ja) 電子カメラ

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees