TWI382351B - 具積分影像輸出之影像感測器 - Google Patents

具積分影像輸出之影像感測器 Download PDF

Info

Publication number
TWI382351B
TWI382351B TW098109196A TW98109196A TWI382351B TW I382351 B TWI382351 B TW I382351B TW 098109196 A TW098109196 A TW 098109196A TW 98109196 A TW98109196 A TW 98109196A TW I382351 B TWI382351 B TW I382351B
Authority
TW
Taiwan
Prior art keywords
pixel
line
image
integral
value
Prior art date
Application number
TW098109196A
Other languages
English (en)
Other versions
TW201035880A (en
Inventor
jing shan Liang
Chien Hong Lin
Tzu Fang Lee
Kuo Yu Chuang
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW098109196A priority Critical patent/TWI382351B/zh
Priority to US12/494,224 priority patent/US8243167B2/en
Publication of TW201035880A publication Critical patent/TW201035880A/zh
Application granted granted Critical
Publication of TWI382351B publication Critical patent/TWI382351B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Description

具積分影像輸出之影像感測器
本發明是有關於一種影像感測器，且特別是有關於一種具積分影像輸出之影像感測器。
愈來愈多的影像識別(Image recognition)技術應用在小型的嵌入式系統上，例如數位相機中的臉部偵測(Face detection)功能。這樣的嵌入式系統除了影像感測器之外，還搭配一個高速的嵌入式處理器，用以對影像感測器所擷取的影像進行處理，而識別出影像特徵。近年來，類哈爾(Haar-like)影像特徵廣泛用於影像識別領域，尤其是臉部偵測。使用類哈爾影像特徵並結合適應性增益(Adaptive Boost,AdaBoost)演算法，即能夠粗略但快速地將影像劃分為兩個群組，而經由反覆地執行此分類處理程序，則可將影像快速劃分為多個影像叢集(image cluster)，達到影像識別的目的。
AdaBoost演算法為目前最常用的一種分類器融合(Classifier Fusion)方法，其可將多個弱勢的分類器(weak classifier)合併為一個強健的分類器(strong classifier)。詳細地說，AdaBoost演算法是針對原始影像集中的每一筆資料給予一個權重，並依據其所建立之子分類器的分類結果更新資料的權重，再依權重產生下一次建立子分類器所需的資料。因新的子分類器主要是針對前個分類器不足(分類錯誤)的部分做補強，故將前一次分類錯誤的數據權重加重；反之，將分類正確的數據權重降低。即依此重新建立新的子分類器。其詳細步驟如下：
假設Dt (i)為第t次疊代(iteration)後的資料重要性分布，i指第i個資料。一開始假設各個資料的重要性均等，故
D 1 (i )=1/m 　(1)
其中，m為資料樣本數。
假設h為子分類器函數，x為資料點，則ht (x)即此子分類器將資料點x歸類的結果。此外，假設y為其正確應屬的分類結果(+/-1，二分法)，其中若分類正確h (x )=y ,y *h (x )=+1，則該資料點重要性可降低；若分類錯誤h (x )≠y ,y *h (x )=-1，則該資料點重要性需增加。再者，假設α為修正資料重要性分布所需的權重，Z為正規化(Normalization)因子，利用錯誤率ε t 可計算出疊代後的權重α，再利用α與分類是否正確來修正資料重要性分布D(i)：
再利用Dt+1 (i)來訓練新的子分類函數ht+1 ，經過T次疊代之後，最終的分類器函數為：
最後，根據得票數(即分類結果H (x ))的多寡，來決定測試資料是屬於何種類別。
圖1(a)~(d)所繪示為習知類哈爾影像特徵的示意圖。請參照圖1(a)~(d)，類哈爾影像特徵可視為是多個方塊組成的群組，例如2個方塊(圖1(a))、3個方塊(圖1(b))及4個方塊(圖1(c))，而其特徵值即為這些方塊在影像中所涵蓋區域之所有畫素的畫素值總和，白色為+1，黑色為-1。例如三個方塊群組中中間白色方塊在影像100中所涵蓋區域之所有畫素的畫素值總和扣除左右兩塊黑色方塊在影像100中所涵蓋區域之所有畫素的畫素值總和(如圖1(d))，此特徵值一般可由積分影像計算而得。
舉例來說，圖2(a)及圖2(b)所繪示為習知特徵值計算方法的示意圖。請先參照圖2(a)，影像200中畫素P(x 2 ,y 2 )的積分值即為左上角畫素O(x 1 ,y 1 )至畫素P(x 2 ,y 2 )所圍成之方塊內所有畫素之畫素值的總和。接著，請參照圖2(b)，方塊ABCD的特徵值則為A-B-C+D，其中，A為畫素O至畫素A所圍成之方塊的特徵值、B為畫素O至畫素B所圍成之方塊的特徵值、C為畫素O至畫素C所圍成之方塊的特徵值、D為畫素O至畫素D所圍成之方塊的特徵值。
由上述可知，在識別影像特徵時必需仰賴高速的處理器進行積分影像的運算，而後運用此積分影像進行特徵值計算以及執行影像識別、臉部偵測等功能。繁瑣的運算過程將需要大量消耗處理器的運算效能，例如，對於數位相機中需要同時支援處理多項功能的嵌入式處理器來說，勢必造成極大的負擔。
有鑑於此，本發明提供一種具積分影像輸出之影像感測器，可提供積分影像的輸出格式。
本發明提出一種具積分影像輸出之影像感測器，其包括畫素電路、線累加器及體累加器。其中，畫素電路中包括多個畫素，而用以擷取影像中多個畫素的畫素值。線累加器係耦接於畫素電路，而用以累加影像之目標畫素線中第一畫素至目標畫素之畫素值，而獲得線畫素累加值。體累加器係耦接於線累加器，而用以將線累加器輸出之線畫素累加值累加至目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值以作為目標畫素之畫素積分值，並輸出目標畫素之畫素積分值。
本發明提出一種具積分影像輸出之影像感測器，其包括畫素電路、線累加器及N個體累加器。其中，畫素電路中包括多個畫素，而用以擷取影像中多個畫素的畫素值，畫素電路可分割為MxN個方形區域，其中M、N為正整數。線累加器係耦接於畫素電路，而用以累加影像各個方形區域之目標畫素線中第一畫素至目標畫素之畫素值，而獲得線畫素累加值。N個體累加器則耦接於線累加器，用以分別將線累加器輸出之線畫素累加值累加至各個方形區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值以作為目標畫素之畫素積分值，並輸出目標畫素之畫素積分值。
本發明提出一種具積分影像輸出之影像感測器，其包括畫素電路、線累加器及體累加器。其中，畫素電路包括多個畫素，而用以擷取影像中多個畫素的畫素值，其中畫素電路可分割為MxN個方形區域，其中M、N為正整數。線累加器係耦接畫素電路，用以累加影像各個方形區域之目標畫素線中第一畫素至目標畫素之畫素值，而獲得線畫素累加值。體累加器則耦接於線累加器，用以將線累加器輸出之線畫素累加值累加至各個方形區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值以作為目標畫素之畫素積分值，並輸出目標畫素之畫素積分值。
本發明提出一種具積分影像輸出之影像感測器，其包括畫素電路、線累加器及體累加器。其中，畫素電路包括多個畫素，而用以擷取影像中多個畫素的畫素值，其中畫素電路可分割為多個方形區域，分割區域不限定為等大小。線累加器係耦接畫素電路，用以累加影像各個方形區域之目標畫素線中第一畫素至目標畫素之畫素值，而獲得線畫素累加值。體累加器則耦接於線累加器，用以將線累加器輸出之線畫素累加值累加至各個方形區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值以作為目標畫素之畫素積分值，並輸出目標畫素之畫素積分值。其中，線累加器包括在跨越上述方形區域之縱向邊界或橫向邊界時重設，而體累加器則包括在跨越上述方形區域之橫向邊界時重設。
基於上述，本發明之具積分影像輸出的影像感測器係藉由在影像感測器中增加一組積分電路，而可針對影像感測器所接收到的畫素值逐條畫素線地進行累加動作，並將累加後的積分影像輸出給後端處理器運用。據此，可減輕處理器運算積分影像上的負擔。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
影像感測器中包含了上百萬畫素，其設計上則採用以逐條畫素線傳輸的圖場(field)整合讀取系統。其中，影像感測器的色彩濾波器包括RGB色彩空間等以線交錯方式排列的彩色畫素電路。影像感測器的輸出埠則提供多種輸出格式以因應後端裝置不同的應用需求，例如RGB、YCrCb、YUV等格式。本發明即藉由在影像感測器中增加一個積分電路，用以計算影像感測器所擷取影像的積分影像，而可提供一種新的積分影像輸出格式給後端的處理器作為臉部偵測的參考之用。
詳細地說，ADABOOST演算法通常是以軟體來實現，而難以由硬體來實現，其係因為此演算法相當複雜，且需要龐大的電路來處理資料。據此，本發明直接在影像感測器中配置一個簡單的累加器電路來計算積分資料，並將所計算的資料輸出作為積分影像。而基於此積分資料，後端的處理器僅需做簡單的加減計算即可獲得目標區域內所有畫素的累加畫素值，並用以執行臉部偵測，可加速特徵比對的進行。為了使本發明之內容更為明瞭，以下則分別就計算單一影像或分割影像之積分影像的情況，各舉實施例說明本發明具積分影像輸出之影像感測器的詳細實施方式。
圖3是依照本發明一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。請參照圖3，本實施例之影像感測器包括畫素電路310、線累加器320及體累加器330，其功能分述如下：
畫素電路310中包括多個畫素，而用以擷取影像中多個畫素的畫素值。此畫素電路310中的畫素可以是由電荷耦合元件(Charge Coupled Device,CCD)或是互補式金氧半導體(Complementary Metal-Oxide Semiconductor Device,CMOS)元件所構成，而不限制其範圍。此外，這些畫素所擷取之影像訊號可經由類比數位轉換器(Analog-to-Digital Converter,ADC)轉換為數位型態的畫素值而輸出至後端裝置以供後端裝置處理運用。值得一提的是，所述之畫素電路310除了包含多個畫素外，亦包含掃描線、資料線、閘極驅動器與源極驅動器等元件，此些元件均為習知畫素電路中常用的元件，故其功能在此不再贅述。
線累加器320係耦接在畫素電路310之後，用以從畫素電路310接收影像中各個畫素的畫素值，並針對影像中目標畫素線中第一畫素至目標畫素的畫素值進行累加動作，而獲得線畫素累加值。詳細地說，線累加器320包括第一加法器322及第一緩衝器324。其中，第一加法器322會將其所接收之目標畫素的畫素值累加至第一緩衝器324所記錄的線畫素累加值，而第一緩衝器324即用以記錄目標畫素線中到目標畫素為止所累加的線畫素累加值，並輸出此線畫素累加值。其中，第一緩衝器324係在第一加法器322每累加完一條畫素線中所有畫素之畫素值後即重設，而由第一加法器322繼續累加下一條畫素線的畫素值，如此逐條畫素線的累加，即可實現如線積分的效果。
體累加器330係耦接在線累加器320之後，而用以將線累加器320輸出之線畫素累加值累加至目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值以作為目標畫素的畫素積分值。其中，體累加器330所輸出影像之畫素的畫素積分值即形成影像的積分影像。詳細地說，體累加器330中包括第二加法器332及第二緩衝器334。其中，第二緩衝器334中會記錄目標畫素線之前一條畫素線中各個畫素的畫素積分值，其容量僅需可容納一條畫素線之畫素積分值的資料即可，若目標畫素線為影像的第一條畫素線，則其所記錄的畫素積分值則從零開始累加起。第二加法器332係將線累加器320輸出之目標畫素線中到目標畫素為止的線畫素累加值累加至第二緩衝器334所記錄之前一條畫素線中對應於目標畫素之畫素的畫素積分值，而獲得此目標畫素的畫素積分值。
值得一提的是，此處所謂前一條畫素線中對應於目標畫素之畫素即是與目標畫素為同一行的畫素，也就是目標畫素上面的那一個畫素，待第二加法器332計算出目標畫素的畫素積分值後，即將其輸出，同時也將第二緩衝器334中所記錄前一條畫素線中對應於目標畫素之畫素的畫素積分值取代為目標畫素的畫素積分值，以作為下次計算下一條掃描線的畫素積分值之用。
此外，本實施例之目標畫素的畫素積分值是在體累加器330中的第二加法器332計算完成後即直接輸出。而在另一實施例中，目標畫素的畫素積分值也可以是先儲存在第二緩衝器334中，再由第二緩衝器334循序輸出，或是等待第二緩衝器334記錄滿一整條目標掃描線中各個畫素的畫素積分值後，再一次輸出，而不限制其範圍。
針對上述影像感測器計算積分影像的過程，以下則舉一實例說明。圖4(a)及圖4(b)是依照本發明一實施例所繪示之計算積分影像的範例。請同時參照圖4(a)及圖4(b)，假設圖4(a)為影像感測器所擷取之原始影像(Raw image)，而圖4(b)則為圖4(a)之原始影像的積分影像(Integral image)。其中，影像感測器在計算第4條掃描線的第3個畫素的畫素積分值時，則會先由線累加器累加原始影像中第4條掃描線之第1個畫素至第3個畫素的畫素值(即1、4、0)，而獲得線畫素累加值1+4+0=5。接著再由體累加器將此線畫素累加值累加至前一條掃描線(即第3條掃描線)中對應畫素(即第3個畫素)的畫素積分值，而獲得目標畫素的畫素積分值5+14=19。此畫素積分值則會更新體累加器中所記錄之前一條掃描線中對應畫素的畫素積分值，而作為計算下一條(即第5條掃描線)中對應畫素(即第3個畫素)的畫素積分值之用。
上述範例所計算出的積分影像隨即輸出至後端處理器，此時後端處理器就只需要再經由簡單的加減運算，即可獲得所欲求取之影像特徵的特徵值。圖5(a)及圖5(b)是依照本發明一實施例所繪示之計算特徵值的範例。請同時參照圖5(a)及圖5(b)，假設處理器欲求取原始影像中方塊A的特徵值，則可分別從積分影像中找出對應於方塊A四個角落的邊緣畫素，即右下角畫素510、左下角畫素520、右上角畫素530及左上角畫素540的畫素積分值，並進行加減運算，即可得到方塊A的特徵值0+18-6-6=6。此積分值即為原始影像中方塊A所有畫素的畫素值總和0+2+1+1+1+1=6。
藉由上述影像感測器之架構，即可在影像感測器擷取畫素值的第一時間計算出畫素積分值，進而輸出積分影像的格式，以供後續之處理器運用。值得一提的是，為了提升影像感測器輸出影像的彈性，本發明還包括在影像感測器中配置前處理單元及多工器，而可提供多種不同的輸出影像格式，以下則再舉一實施例詳細說明。
圖6是依照本發明一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。請參照圖6，本實施例之影像感測器包括畫素電路610、前處理單元620、線累加器630、體累加器640及多工器650，其功能分述如下：
畫素電路610係用以擷取影像中多個畫素的畫素值，而前處理單元620則會針對畫素電路610所輸出之畫素的畫素值進行空間校正或扭曲校正等前置處理。
線累加器630包括第一加法器632及第一緩衝器634，其係耦接在前處理單元620之後，用以從前處理單元620接收已經過前置處理後之畫素的畫素值，並針對影像中目標畫素線中第一畫素至目標畫素的畫素值進行累加動作，而獲得線畫素累加值。
體累加器640包括第二加法器642及第二緩衝器644，其係耦接在線累加器630之後，而用以將線累加器630輸出之線畫素累加值累加至目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值以作為目標畫素的畫素積分值。
多工器650則耦接至前處理單元620與體累加器640，其可根據使用者或後端處理器所設定的輸出影像格式，選擇直接輸出影像中各個畫素的畫素值，或是輸出已經過累加後的畫素積分值。
藉由上述影像感測器之架構，即可提供多種輸出影像的格式供使用者或後端處理器選擇，即在選擇一般模式時，輸出所擷取的原始影像，而在選擇臉部偵測模式時，則輸出所擷取影像的積分影像，而可提供輸出影像選擇上的彈性。
以上實施例之影像感測器均係針對其所擷取之單一顏色的影像進行積分運算，而在另一實施例中，影像感測器還可進一步針對影像中不同色彩空間(例如RGB、YCrCb及YUV等色彩空間)的資料進行積分運算，進而獲得多個色彩空間的積分影像。詳細地說，影像感測器中可針對畫素電路所擷取之每一個色彩空間的原始影像配置一組線累加器及體累加器，用以計算影像在該色彩空間上的積分影像，並輸出給後端處理器運用。其中，線累加器及體累加器運算積分影像的方式與前述實施例相同或相似，故在此不再贅述。
此外，為了減少影像感測器中線累加器及體累加器的運算量，藉以加快其運算積分影像的速度，本發明更包括將影像分割為多個方形區域，再針對各個方形區域計算其積分影像，並合併為一種新的積分影像格式輸出給後端處理器運用。處理器在取得此格式的積分影像後，也僅需進行簡單的加減運算，一樣可以求得影像中特定方塊的特徵值，以下則再舉一實施例詳細說明。
圖7是依照本發明一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。請參照圖7，本實施例之影像感測器包括畫素電路710、前處理單元720、線累加器730、第一體累加器740、第二體累加器750及多工器760，其功能分述如下：
畫素電路710係用以擷取影像中多個畫素的畫素值，而前處理單元720則會針對畫素電路710所輸出之畫素的畫素值進行空間校正或扭曲校正等前置處理。其中，畫素電路710可等分為左上區域、右上區域、左下區域及右下區域，而用以擷取各個區域之畫素的畫素值。同理，在另一實施例中，畫素電路710亦可等分為MxN個方形區域，M、N為正整數，在此不限制其範圍。
線累加器730包括第一加法器732及第一緩衝器734，其係耦接在前處理單元720之後，用以從前處理單元720接收已經過前置處理後之畫素的畫素值，並針對影像中各個區域之目標畫素線中第一畫素至目標畫素的畫素值進行累加動作，而獲得線畫素累加值。
第一體累加器740包括第二加法器742及第二緩衝器744，其係耦接在線累加器730之後，而用以將線累加器730輸出之各個區域之線畫素累加值累加至相同區域中目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值以作為此區域中目標畫素的畫素積分值。
詳細地說，線累加器730可先累加影像之左上區域之目標畫素線中第一畫素至目標畫素的畫素值，而獲得線畫素累加值，而由第一體累加器740將此線畫素累加值累加至左上區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值，以作為左上區域之目標畫素之畫素積分值。
此外，線累加器730可累加影像之右上區域之目標畫素線中第一畫素至目標畫素的畫素值，而獲得線畫素累加值，而由第一體累加器740將此線畫素累加值累加至右上區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值，以作為右上區域之目標畫素的畫素積分值。據此，第一體累加器740即完成影像之左上區域與右上區域之積分影像的運算。
第二體累加器750包括第三加法器752及第三緩衝器754，其係耦接在線累加器730之後，而用以將線累加器730輸出之各個區域之線畫素累加值累加至相同區域中目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值以作為此區域中目標畫素的畫素積分值。
詳細地說，線累加器730可先累加影像之左下區域之目標畫素線中第一畫素至目標畫素的畫素值，而獲得線畫素累加值，而由第二體累加器750將此線畫素累加值累加至左下區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值，以作為左下區域之目標畫素之畫素積分值。
此外，線累加器730可累加影像之右下區域之目標畫素線中第一畫素至目標畫素的畫素值，而獲得線畫素累加值，而由第二體累加器750將此線畫素累加值累加至右下區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值，以作為右下區域之目標畫素的畫素積分值。據此，第二體累加器750即完成影像之左下區域與右下區域之積分影像的運算。
多工器760則分別耦接至前處理單元720第一體累加器740和第二體累加器750，其可根據使用者或後端處理器所設定的輸出影像格式，選擇直接輸出影像中各個畫素的畫素值，或是輸出已經過累加後影像之左下區域與右下區域的畫素積分值。
針對上述影像感測器計算積分影像的過程，以下則舉一實例說明。圖8是依照本發明一實施例所繪示之計算積分影像的範例。請同時參照圖8，左方之影像800為影像感測器所擷取之原始影像，此影像可等分為2x2個方形區域。其中，影像感測器在計算右上區域之第2條掃描線的第2個畫素的畫素積分值時，會先由線累加器810累加原始影像中第2條掃描線之第5個畫素至第6個畫素的畫素值(即5、0)，而獲得線畫素累加值5+0=5。
接著再由第一體累加器820將此線畫素累加值累加至前一條掃描線(即第1條掃描線)中對應畫素(即第6個畫素)的畫素積分值，而獲得目標畫素的畫素積分值5+1=6。此畫素積分值則會更新第一體累加器820中所記錄之前一條掃描線中對應畫素的畫素積分值，而作為計算下一條(即第3條掃描線)中對應畫素(即第6個畫素)的畫素積分值之用。
同理，影像感測器在計算左下區域之第4條掃描線的第4個畫素的畫素積分值時，則會先由線累加器810累加原始影像中第8條掃描線之第1個畫素至第4個畫素的畫素值(即1、4、0、2)，而獲得線畫素累加值1+4+0+2=7。
接著再由第二體累加器830將此線畫素累加值累加至前一條掃描線(即第7條掃描線)中對應畫素(即第4個畫素)的畫素積分值，而獲得目標畫素的畫素積分值7+18=25。此畫素積分值則會更新第二體累加器830中所記錄之前一條掃描線中對應畫素的畫素積分值。
值得一提的是，上述影像感測器的架構是利用兩個體累加器分別對影像中上半部及下半部的畫素進行累加動作。然而，在一實施例中，若於體累加器中再加入一個重置電路，並在體累加器累加完上半部畫素的畫素積分值之後即重設/重設/重新累加，則可再繼續使用同一個體累加器來累加下半部畫素的畫素積分值，藉此可節省硬體成本。以下則再舉一實施例詳細說明。
圖9A是依照本發明一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。請參照圖9A，本實施例之影像感測器包括畫素電路910、前處理單元920、線累加器930、第一體累加器940及第三多工器950，其功能分述如下：
畫素電路910係用以擷取影像中多個畫素的畫素值，而前處理單元920則會針對畫素電路910所輸出之畫素的畫素值進行空間校正或扭曲校正等前置處理。其中，畫素電路910可等分為左上區域、右上區域、左下區域及右下區域，而用以擷取各個區域之畫素的畫素值。同理，在另一實施例中，畫素電路910亦可等分為MxN個方形區域，M、N為正整數，在此不限制其範圍。
線累加器930包括第一加法器932、第一緩衝器934及第一多工器936，其係耦接在前處理單元920之後，用以從前處理單元920接收已經過前置處理後之畫素的畫素值，並針對影像中各個區域之目標畫素線中第一畫素至目標畫素的畫素值進行累加動作，而獲得線畫素累加值。值得注意的是，每當第一加法器932累加完影像各個區域之一條畫素線中所有畫素的畫素值後，即可藉由發送訊號0至第一多工器936，而由第一多工器936將第一緩衝器934的值重設，而繼續使用第一緩衝器934來累加下一條畫素線中畫素的畫素值。
體累加器940包括第二加法器942、第二緩衝器944及第二多工器946，而用以將線累加器930輸出之各個區域之線畫素累加值累加至相同區域中目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值以作為此區域中目標畫素的畫素積分值。
詳細地說，線累加器930可先累加影像之左上區域之目標畫素線中第一畫素至目標畫素的畫素值，而獲得線畫素累加值，而由體累加器940將此線畫素累加值累加至左上區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值，以作為左上區域之目標畫素之畫素積分值。
此外，線累加器930可重新累加影像之右上區域之同一條目標畫素線中該區域第一畫素至目標畫素的畫素值，而獲得線畫素累加值，而由體累加器940將此線畫素累加值累加至右上區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值，以作為右上區域之目標畫素的畫素積分值。據此，體累加器940即完成影像之左上區域與右上區域之積分影像的運算。
值得注意的是，當體累加器940累加完左上區域與右上區域之畫素的畫素積分值之後，即可藉由發送訊號0至第二多工器946，而由第二多工器946將第二緩衝器944的值重設，而繼續使用第二緩衝器944來累加左下區域與右下區域之畫素的畫素積分值。
當體累加器940重設之後，線累加器930即可累加影像之左下區域之目標畫素線中第一畫素至目標畫素的畫素值，而獲得線畫素累加值，而由體累加器940將此線畫素累加值累加至左下區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值，以作為左下區域之目標畫素之畫素積分值。
此外，線累加器930還可重新累加影像之右下區域之同一條目標畫素線中第一畫素至目標畫素的畫素值，而獲得線畫素累加值，而由體累加器940將此線畫素累加值累加至右下區域之目標畫素線之前一條畫素線中對應於目標畫素之畫素的畫素積分值，以作為右下區域之目標畫素的畫素積分值。據此，體累加器940即完成影像之左下區域與右下區域之積分影像的運算。
第三多工器950則分別耦接至前處理單元920及體累加器940，其可根據使用者或後端處理器所設定的輸出影像格式，選擇直接輸出影像中各個畫素的畫素值，或是輸出已經過累加後影像之左下區域與右下區域的畫素積分值。
圖9B是依照本發明另一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。請參照圖9B，本實施例之影像感測器包括畫素電路910、前處理單元920、線累加器930、第一體累加器940及第三多工器950。與圖9A之影像感測器不同的是，本實施例之影像感測器是將第一多工器936配置在第一加法器932及第一緩衝器934之間，以及將第二多工器946配置在第二加法器942及第二緩衝器944之間，藉以達到將第一緩衝器934與第二緩衝器944重設的功效。除此之外，這些元件的功能均與圖9A中的元件相同或相似，故在此不再贅述。
針對上述影像感測器計算積分影像的過程，以下則舉一實例說明。圖10是依照本發明一實施例所繪示之計算積分影像的範例。請同時參照圖10，左方之影像1000為影像感測器所擷取之原始影像，此影像可等分為2x2個方形區域。其中，影像感測器在計算右上區域之第2條掃描線的第2個畫素的畫素積分值時，會先由線累加器1010累加原始影像中第1條掃描線之第5個畫素至第6個畫素的畫素值(即5、0)，而獲得線畫素累加值5+0=5。
接著再由體累加器1020將此線畫素累加值累加至前一條掃描線(即第1條掃描線)中對應畫素(即第6個畫素)的畫素積分值，而獲得目標畫素的畫素積分值5+1=6。此畫素積分值則會更新體累加器1020中所記錄之前一條掃描線中對應畫素的畫素積分值，而作為計算下一條(即第3條掃描線)中對應畫素(即第6個畫素)的畫素積分值之用。
值得注意的是，影像感測器在計算完右上區域之第4條掃描線之第4個畫素的畫素積分值之後，即將體累加器1020中累加的畫素積分值重設，而可用於累加左下區域的畫素積分值。而當影像感測器在計算左下區域之第1條掃描線的第2個畫素的畫素積分值時，則會先由線累加器1010累加原始影像中第5條掃描線之第1個畫素至第2個畫素的畫素值(即0、1)，而獲得線畫素累加值0+1=1。接著再由體累加器1020將此線畫素累加值累加至前一條掃描線中對應畫素的畫素積分值(已重設)或直接載入新值來重新累加，而獲得目標畫素的畫素積分值為1。
同理，影像感測器在計算左下區域之第4條掃描線的第4個畫素的畫素積分值時，則會先由線累加器1010累加原始影像中第8條掃描線之第1個畫素至第4個畫素的畫素值(即1、4、0、2)，而獲得線畫素累加值1+4+0+2=7。
接著再由體累加器1020將此線畫素累加值累加至前一條掃描線(即第7條掃描線)中對應畫素(即第4個畫素)的畫素積分值，而獲得目標畫素的畫素積分值7+18=25。此畫素積分值則會更新體累加器1020中所記錄之前一條掃描線中對應畫素的畫素積分值。
上述範例所計算出子積分影像即輸出至後端處理器，此時後端處理器就只需要再經由簡單的加減運算，即可還原出積分影像，並用以求取影像特徵的特徵值。圖11(a)及圖11(b)是依照本發明一實施例所繪示之計算積分影像的範例。請同時參照圖11(a)及圖11(b)，其中圖11(a)為經由上述影像感測器之計算後所獲得之子積分影像1110，而圖11(b)則為還原後的積分影像1120。其中，積分影像1120之左上區域係與子積分影像1110之左上區域相同，故處理器可直接套用子積分影像1110之左上區域中的畫素積分值。然而，若處理器欲求取積分影像1120之左下區域之第1條掃描線的第2個畫素的畫素積分值時，則除了需參考左下區域對應位置之畫素(即第1條掃描線的第2個畫素)的畫素積分值之外，還需參考左上區域下緣同一行之畫素(即第4條掃描線的第2個畫素)的畫素積分值，而將兩者相加以還原出積分影像1120之目標畫素的畫素積分值，即1+13=14。
同理，若處理器欲求取積分影像1120之右下區域之第3條掃描線的第3個畫素的畫素積分值時，則除了需參考右下區域對應位置之畫素(即第3條掃描線的第3個畫素)的畫素積分值之外，還需參考左上區域右下角之畫素(即第4條掃描線的第4個畫素)的畫素積分值、右上區域下緣同一行之畫素(即第4條掃描線的第3個畫素)的畫素積分值以及左下區域右緣同一列之畫素(即第3條掃描線的第4個畫素)的畫素積分值，而將三者相加以還原出積分影像1120之目標畫素的畫素積分值，即14+25+19+18=76。
此外，上述新的積分影像也可用以求得原始積分影像中特定區域的特徵值。針對僅涵括單一個分割區域之特定區域的特徵值計算，圖12(a)及圖12(b)是依照本發明一實施例所繪示之計算積分影像的範例。其中，圖12(a)為原始影像1210，而圖12(b)為經由上述影像感測器之計算後所獲得之子積分影像1220。
由圖12(a)可知，原始影像1210之方塊A所包含所有畫素的畫素積分值為0+2+1+1=4。接著，請參照圖12(b)，若欲利用子積分影像1220求得原始影像1210中方塊A所包含所有畫素的畫素積分值，則需找出子積分影像1220中的對應方塊A’，並以方塊A’之右下角畫素1221、左下角畫素1222、右上角畫素1223、左上角畫素1224的畫素積分值來計算方塊A所包含所有畫素的畫素積分值14+0-4-6=4。
同理，由圖12(a)可知，原始影像1210中方塊B所包含所有畫素的畫素積分值為1+0+1+4=6。接著，請參照圖12(b)，若欲利用子積分影像1220求得原始影像1210中方塊B所包含所有畫素的畫素積分值，則需找出子積分影像1220中的對應方塊B’，並以位於方塊B’的右下角畫素1225及左下角畫素1226的畫素積分值來計算方塊B所包含所有畫素的畫素積分值13+0-0-7=6，其中由於右上角畫素及左上角畫素位於右下區域之外，其畫素積分值均設為0。
針對涵括多個分割區域之特定區域的特徵值計算，圖13(a)及圖13(b)是依照本發明一實施例所繪示之計算積分影像的範例。其中，圖13(a)為原始影像1310，而圖13(b)為經由上述影像感測器之計算後所獲得之子積分影像1320。
由圖13(a)可知，原始影像1310中方塊A所包含所有畫素的畫素積分值為12+7+12+6=37。接著，請參照圖12(b)，若欲利用子積分影像1320求得原始影像1310中方塊A所包含所有畫素的畫素積分值，則由於方塊A涵括4個子分割區域，此時則需將方塊A切分別方塊A1、方塊A2、方塊A3及方塊A4，並藉由上述方式分別計算這些方塊的所包含所有畫素的畫素積分值，最後再將這些方塊的畫素積分值相加，即可獲得方塊A所包含所有畫素的畫素積分值(25+0-6-7)+(7+0-0-0)+(18+0-6-0)+(6+0-0-0)=12+7+12+6=37。
值得一提的是，上述影像感測器的架構是將影像分割成MxN個方形區域。然而，在一實施例中，可將影像分割成若干個方形子區域，每個子區域均由2個縱向邊界(Vertical boundary)和2個橫向邊界(Horizontal boundary)所分割/包圍。分割方式可由使用者設定，不限定為棋盤狀分割，亦不限定各子區域必須等大小，惟各子區域必須是長方形，藉此可有更多使用上的彈性。
針對上述影像感測器計算積分影像/分割的過程，以下則舉一實例說明。圖14是依照本發明一實施例所繪示之計算積分影像的範例。請參照圖14，左方之影像1400為影像感測器所擷取之原始影像，此影像可分割為左區域A、右上區域B、中區域C、右中區域D及右下區域E等5個不等大小的子區域，而每個子區域均為長方形，且被2個縱向邊界和2個橫向邊界所分割/包圍。同理，在另一實施例中，畫素電路亦可分割成若干個方形子區域，分割方式可由使用者設定，不限定為棋盤狀分割，亦不限定各子區域必須等大小，惟各子區域必須均是長方形。
值得注意的是，影像感測器在計算各畫素積分值時，是在影像上依序掃瞄計算的，不受分割的影響。在依序掃瞄時，每當跨越縱向邊界時，即將線累加器重設來重新累加該子區域於該段畫素線的線畫素累加值。而在依序掃瞄時，若發現該目標畫素較前一條掃描線中對應畫素跨越了橫向邊界時，即將體累加器重新累加或用直接載入新值覆蓋的方式，而獲得目標畫素的子畫素積分值。
針對上述影像感測器計算積分影像的過程，以下則舉一實例說明。圖15是依照本發明一實施例所繪示之計算積分影像的範例，圖16是依照本發明一實施例所繪示之線累加器數值隨時間變化的示意圖，圖17則是依照本發明一實施例所繪示之體累加器數值隨時間變化的示意圖。請同時參照圖15、16、17，影像感測器在計算影像1500中第1條掃描線的第3個畫素的畫素積分值時，因跨越縱向邊界，所以線累加器重新累加，獲得線畫素累加值為3，而該畫素的子積分影像值即為3。
而當影像感測器在計算影像1500中第4條掃描線的第2個畫素的畫素積分值時，因均未跨越縱向與橫向的邊界，所以線累加器與體累加器均持續累加。是故，線累加器的累加值為1+4=5，而此線畫素累加值會累加至體累加器中此畫素(即第2個畫素)的舊值，即前一條掃描線(即第3條掃描線)中對應畫素(即第2個畫素)的子畫素積分值，而獲得目標畫素的子畫素積分值8+5=13，並更新為體累加器中對應畫素的子畫素積分值。
而當影像感測器在計算影像1500中第4條掃描線的第3個畫素的畫素積分值時，因均跨越縱向與橫向的邊界，所以線累加器與體累加器均重新累加。是故，線累加器的累加值為該畫素值，即為0，而體累加器的累加值則為該畫素的線畫素累加值0，因此獲得目標畫素的子畫素積分值為0，並更新為體累加器中對應畫素的子畫素積分值。
同理，當計算到影像1500中的第4畫素線時，因第3畫素到第8畫素均跨越橫向邊界，是故，體累加器的第3畫素到第8畫素均需重新累加，即載入新的資料覆蓋舊累加值。以此類推，待影像1500中每一條畫素線的畫素均掃瞄過後，即可獲得影像1500的積分影像。
依照上述實施例的做法，無論影像被分割成不同種類或形狀的方形，影像感測器都能在只使用一個線累加器以及一個體累加器的情況下，計算出積分影像。
綜上所述，在本發明之具積分影像輸出之影像感測器中，即藉由將一組線累加器及體累加器結合至影像感測器，而能夠在影像感測器擷取到影像的第一時間，計算出所擷取影像的積分影像，而減少處理器運算資源的消耗，並加快影像處理的速度。此外，藉由將影像切分為多個區域，並利用體累加器分別運算各個區域的積分影像，亦可快速取得積分影像。上述之線累加器僅需用到儲存一組累加畫素值的容量，而體累加器亦僅需用到儲存一條畫素線中之畫素值的容量，因此可在節省影像感測器的成本之餘，讓影像感測器多了一種積分影像的輸出格式可提供給後端處理器運用。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100、200、800、1000、1210、1310、1400、1500．．．影像
310、610、710、910．．．畫素電路
320、630、730、810、930、1010．．．線累加器
322、632、732、932．．．第一加法器
324、634、734、934．．．第一緩衝器
330、640、940、1020．．．體累加器
332、642、742、942．．．第二加法器
334、644、744、944．．．第二緩衝器
510、1221、1225．．．右下角畫素
520、1222、1226．．．左下角畫素
530、1223．．．右上角畫素
540、1224．．．左上角畫素
620、720、920．．．前處理單元
650．．．多工器
740、820．．．第一體累加器
750、830．．．第二體累加器
752．．．第三加法器
754．．．第三緩衝器
760．．．多工器
936．．．第一多工器
946．．．第二多工器
950．．．第三多工器
1110、1220、1320．．．子積分影像
1120．．．還原後積分影像
圖1(a)~(d)所繪示為習知類哈爾影像特徵的示意圖。
圖2(a)及圖2(b)所繪示為習知特徵值計算方法的示意圖。
圖3是依照本發明一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。
圖4(a)及圖4(b)是依照本發明一實施例所繪示之計算積分影像的範例。
圖5(a)及圖5(b)是依照本發明一實施例所繪示之計算特徵值的範例。
圖6是依照本發明一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。
圖7是依照本發明一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。
圖8是依照本發明一實施例所繪示之計算積分影像的範例。
圖9A是依照本發明一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。
圖9B是依照本發明一實施例所繪示之具積分影像輸出之影像感測器的方塊圖。
圖10是依照本發明一實施例所繪示之計算積分影像的範例。
圖11(a)及圖11(b)是依照本發明一實施例所繪示之計算積分影像的範例。
圖12(a)及圖12(b)是依照本發明一實施例所繪示之計算積分影像的範例。
圖13(a)及圖13(b)是依照本發明一實施例所繪示之計算積分影像的範例。
圖14是依照本發明一實施例所繪示之計算積分影像的範例。
圖15是依照本發明一實施例所繪示之計算積分影像的範例。
圖16是依照本發明一實施例所繪示之線累加器數值隨時間變化的示意圖。
圖17則是依照本發明一實施例所繪示之體累加器數值隨時間變化的示意圖。
310．．．畫素電路
320．．．線累加器
322．．．第一加法器
324．．．第一緩衝器
330．．．體累加器
332．．．第二加法器
334．．．第二緩衝器

Claims (53)

  1. 一種具積分影像輸出之影像感測器，包括：一畫素電路，包括多個畫素，用以擷取一影像中多個畫素的畫素值；一線累加器，耦接該畫素電路，用以累加該影像之一目標畫素線中一第一畫素至一目標畫素之該些畫素值，而獲得一線畫素累加值；以及一體累加器，耦接該線累加器，用以將該線累加器輸出之該線畫素累加值累加至該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的一畫素積分值以作為該目標畫素之該畫素積分值，並輸出該目標畫素之該畫素積分值。
  2. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，其中該線累加器包括：一第一緩衝器，用以記錄該目標畫素線中該些畫素累加之該線畫素累加值；以及一第一加法器，用以接收該目標畫素之該畫素值並累加至該第一緩衝器所記錄之該線畫素累加值。
  3. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，其中該體累加器包括：一第二緩衝器，用以記錄該目標畫素線之前一條畫素線中各該些畫素之該畫素積分值；以及一第二加法器，用以將該線累加器輸出之該線畫素累加值累加至該第二緩衝器所記錄之該前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該目標畫素之該畫素積分值，並輸出該目標畫素之該畫素積分值。
  4. 如申請專利範圍第3項所述之具積分影像輸出之影像感測器，其中該第二加法器更包括將累加後之該目標畫素的該畫素積分值寫入該第二緩衝器，以取代該前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值。
  5. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，更包括：一多工器，耦接至該畫素電路及該體累加器，用以輸出該影像中各該些畫素的該畫素值及該畫素積分值。
  6. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，更包括：一前處理單元，配置於該畫素電路及該線累加器之間，用以對該畫素電路輸出之該些畫素的畫素值進行一前置處理。
  7. 如申請專利範圍第6項所述之具積分影像輸出之影像感測器，其中該前置處理包括空間校正或扭曲校正。
  8. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，其中該線累加器更包括在每累加完該影像之一條畫素線中所有畫素之畫素值後重設。
  9. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，其中該體累加器包括循序輸出該目標畫素線中各該些畫素之畫素積分值。
  10. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，其中該體累加器包括在取得該目標畫素線中所有畫素之畫素積分值後，一次輸出該目標畫素線中所有畫素之畫素積分值。
  11. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，其中該體累加器所輸出該影像之該些畫素的畫素積分值形成該影像之一積分影像 (色彩空間)。
  12. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，其中該畫素電路更包括分別擷取該影像中多個畫素之多個色彩空間的畫素值。
  13. 如申請專利範圍第12項所述之具積分影像輸出之影像感測器，其中該線累加器更包括累加該影像之該目標畫素線中該第一畫素至該目標畫素之各該些色彩空間的該些畫素值，而獲得各該些色彩空間的該線畫素累加值。
  14. 如申請專利範圍第13項所述之具積分影像輸出之影像感測器，其中該體累加器更包括將該線累加器輸出之各該些色彩空間的該線畫素累加值分別累加至該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素之各該些色彩空間的一畫素積分值以作為該目標畫素之各該些色彩空間的該畫素積分值，並輸出該目標畫素之各該些色彩空間的該畫素積分值。
  15. 如申請專利範圍第12項所述之具積分影像輸出之影像感測器，其中該色彩空間包括RGB、YCrCb及YUV其中之一。
  16. 如申請專利範圍第1項所述之具積分影像輸出之影像感測器，其中該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素為該前一條畫素線中與該目標畫素為同一行之畫素(分為MxN個長方形區域，使用N個體累加器)。
  17. 一種具積分影像輸出之影像感測器，包括：一畫素電路，包括多個畫素，用以擷取一影像中多個畫素的畫素值，其中該畫素電路可分割為MxN個方形區域，其中M、N為正整數；一線累加器，耦接該畫素電路，用以累加該影像各該些方形區域之一目標畫素線中一第一畫素至一目標畫素之該些畫素值，而獲得一線畫素累加值；以及N個體累加器，耦接該線累加器，用以分別將該線累加器輸出之該線畫素累加值累加至各該些方形區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的一畫素積分值以作為該目標畫素之該畫素積分值，並輸出該目標畫素之該畫素積分值。
  18. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，其中該畫素電路包括等分為一左上區域、一右上區域、一左下區域及一右下區域。
  19. 如申請專利範圍第18項所述之具積分影像輸出之影像感測器，其中該線累加器包括累加該影像該左上區域之該目標畫素線中該第一畫素至該目標畫素之該些畫素值，而獲得該線畫素累加值，而由該些體累加器中之一第一體累加器累加該線畫素累加值至該左上區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該左上區域之該目標畫素之一子畫素積分值。
  20. 如申請專利範圍第19項所述之具積分影像輸出之影像感測器，其中該線累加器包括累加該影像該右上區域之該目標畫素線中該第一畫素至該目標畫素之該些畫素值，而獲得該線畫素累加值，而由該些體累加器中之該第一體累加器累加該線畫素累加值至該右上區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該右上區域之該目標畫素之該子畫素積分值。
  21. 如申請專利範圍第20項所述之具積分影像輸出之影像感測器，其中該線累加器包括累加該影像該左下區域之該目標畫素線中該第一畫素至該目標畫素之該些畫素值，而獲得該線畫素累加值，而由該些體累加器中之一第二體累加器累加該線畫素累加值至該左下區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該左下區域之該目標畫素之該子畫素積分值。
  22. 如申請專利範圍第21項所述之具積分影像輸出之影像感測器，其中該線累加器包括累加該影像該右下區域之該目標畫素線中該第一畫素至該目標畫素之該些畫素值，而獲得該線畫素累加值，而由該些體累加器中之該第二體累加器累加該線畫素累加值至該右下區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該右下區域之該目標畫素之該子畫素積分值。
  23. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，其中該畫素電路包括可等分為MxN個方形區域。
  24. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，其中該線累加器包括：一第一緩衝器，用以記錄該目標畫素線中各該些方形區域之該些畫素累加之該線畫素累加值；以及一第一加法器，用以接收各該些方形區域中該目標畫素之該畫素值並累加至該第一緩衝器所記錄之該線畫素累加值。
  25. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，其中各該些體累加器包括：一第二緩衝器，用以記錄各該些方形區域中該目標畫素線之前一條畫素線中各該些畫素之該畫素積分值；以及一第二加法器，用以將該線累加器輸出之該線畫素累加值累加至該第二緩衝器所記錄之各該些方形區域中該前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該目標畫素之該畫素積分值，並輸出該目標畫素之該畫素積分值。
  26. 如申請專利範圍第25項所述之具積分影像輸出之影像感測器，其中該第二加法器更包括將累加後之該目標畫素的該畫素積分值寫入該第二緩衝器，以取代該前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值。
  27. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，更包括：一多工器，耦接至該些體累加器，用以輸出該影像中各該些方形區域中畫素的畫素積分值。
  28. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，更包括：一前處理單元，配置於該畫素電路及該線累加器之間，用以對該畫素電路輸出之該些畫素的畫素值進行一前置處理。
  29. 如申請專利範圍第28項所述之具積分影像輸出之影像感測器，其中該前置處理包括空間校正或扭曲校正。
  30. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，其中該線累加器更包括在每累加完該影像之各該些方形區域之一條畫素線中所有畫素之畫素值後重設。
  31. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，其中各該些體累加器包括循序輸出各該些方形區域之該目標畫素線中各該些畫素之畫素積分值。
  32. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，其中該體累加器包括在取得各該些方形區域之該目標畫素線中所有畫素之畫素積分值後，一次輸出該目標畫素線中 所有畫素之畫素積分值。
  33. 如申請專利範圍第17項所述之具積分影像輸出之影像感測器，其中該些體累加器所輸出該影像之各該些方形區域之該些畫素的畫素積分值形成該影像之一積分影像(分割為多個方形區域，使用一個體累加器)。
  34. 一種具積分影像輸出之影像感測器，包括：一畫素電路，包括多個畫素，用以擷取一影像中多個畫素的畫素值，其中該畫素電路可分割為多個方形區域；一線累加器，耦接該畫素電路，用以累加該影像各該些方形區域之一目標畫素線中一第一畫素至一目標畫素之該些畫素值，而獲得一線畫素累加值；以及一體累加器，耦接該線累加器，用以將該線累加器輸出之該線畫素累加值累加至各該些方形區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的一畫素積分值以作為該目標畫素之該畫素積分值，並輸出該目標畫素之該畫素積分值。
  35. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，其中該線累加器包括在跨越該些方形區域之一縱向邊界或一橫向邊界時重設。
  36. 如申請專利範圍第35項所述之具積分影像輸出之影像感測器，其中該體累加器包括在跨越該些方形區域之該橫向邊界時重設。
  37. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，其中該畫素電路包括等分為一左上區域、一右上區域、一左下區域及一右下區域。
  38. 如申請專利範圍第37項所述之具積分影像輸出之影像感測器，其中該線累加器包括累加該影像該左上區域之該目標畫素線中該第一畫素至該目標畫素之該些畫素值，而獲得該線畫素累加值，而由該體累加器累加該線畫素累加值至該左上區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該左上區域之該目標畫素之一子畫素積分值。
  39. 如申請專利範圍第38項所述之具積分影像輸出之影像感測器，其中該線累加器包括累加該影像該右上區域之該目標畫素線中該第一畫素至該目標畫素之該些畫素值，而獲得該線畫素累加值，而由該體累加器累加該線畫素累加值至該右上區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該右上區域之該目標畫素之該子畫素積分值。
  40. 如申請專利範圍第39項所述之具積分影像輸出之影像感測器，其中該線累加器包括累加該影像該左下區域之該目標畫素線中該第一畫素至該目標畫素之該些畫素值，而獲得該線畫素累加值，而由該體累加器累加該線畫素累加值至該左下區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該左下區域之該目標畫素之該子畫素積分值。
  41. 如申請專利範圍第40項所述之具積分影像輸出之影像感測器，其中該線累加器包括累加該影像該右下區域之該目標畫素線中該第一畫素至該目標畫素之該些畫素值，而獲得該線畫素累加值，而由該體累加器累加該線畫素累加值至該右下區域之該目標畫素線之前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該右下區域之該目標畫素之該子畫素積分值。
  42. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，其中該畫素電路包括可分割為MxN個方形區域，其中M、N為正整數。
  43. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，其中該線累加器包括：一第一緩衝器，用以記錄該目標畫素線中各該些方形區域之該些畫素累加之該線畫素累加值；以及一第一加法器，用以接收各該些方形區域中該目標畫素之該畫素值並累加至該第一緩衝器所記錄之該線畫素累加值。
  44. 如申請專利範圍第43項所述之具積分影像輸出之影像感測器，其中該線累加器更包括：一第一多工器，用以在該第一緩衝器每累加完該影像之各該些方形區域之一條畫素線中所有畫素之畫素值後將該第一緩衝器重設。
  45. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，其中該體累加器包括：一第二緩衝器，用以記錄各該些方形區域中該目標畫素線之前一條畫素線中各該些畫素之該畫素積分值；以及一第二加法器，用以將該線累加器輸出之該線畫素累加值累加至該第二緩衝器所記錄之各該些方形區域中該前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值以作為該目標畫素之該畫素積分值，並輸出該目標畫素之該畫素積分值。
  46. 如申請專利範圍第45項所述之具積分影像輸出之影像感測器，其中該第二加法器更包括將累加後之該目標畫素的該畫素積分值寫入該第二緩衝器，以取代該前一條畫素線中對應於該目標畫素之該畫素的該畫素積分值。
  47. 如申請專利範圍第45項所述之具積分影像輸出之影像感測器，其中該第二加法器更包括：一第二多工器，用以在該第二加法器累加完該影像之該目標畫素線之所有畫素之子畫素積分值後將該第二緩衝器重設。
  48. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，更包括：一第三多工器，耦接至該體累加器，用以輸出該影像中各該些方形區域中畫素的畫素積分值。
  49. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，更包括：一前處理單元，配置於該畫素電路及該線累加器之間，用以對該畫素電路輸出之該些畫素的畫素值進行一前置處理。
  50. 如申請專利範圍第49項所述之具積分影像輸出之影像感測器，其中該前置處理包括空間校正或扭曲校正。
  51. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，其中該體累加器包括循序輸出各該些方形區域之該目標畫素線中各該些畫素之畫素積分值。
  52. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，其中該體累加器包括在取得各該些方形區域之該目標畫素線中所有畫素之畫素積分值後，一次輸出該目標畫素線中所有畫素之畫素積分值。
  53. 如申請專利範圍第34項所述之具積分影像輸出之影像感測器，其中該體累加器所輸出該影像之各該些方形區域之該些畫素的畫素積分值形成該影像之一積分影像。
TW098109196A 2009-03-20 2009-03-20 具積分影像輸出之影像感測器 TWI382351B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098109196A TWI382351B (zh) 2009-03-20 2009-03-20 具積分影像輸出之影像感測器
US12/494,224 US8243167B2 (en) 2009-03-20 2009-06-29 Image sensor having output of integral image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098109196A TWI382351B (zh) 2009-03-20 2009-03-20 具積分影像輸出之影像感測器

Publications (2)

Publication Number Publication Date
TW201035880A TW201035880A (en) 2010-10-01
TWI382351B true TWI382351B (zh) 2013-01-11

Family

ID=42737230

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098109196A TWI382351B (zh) 2009-03-20 2009-03-20 具積分影像輸出之影像感測器

Country Status (2)

Country Link
US (1) US8243167B2 (zh)
TW (1) TWI382351B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0803644D0 (en) 2008-02-28 2008-04-02 Rapiscan Security Products Inc Scanning systems
KR101522985B1 (ko) * 2008-10-31 2015-05-27 삼성전자주식회사 영상처리 장치 및 방법
EP2753920B1 (en) 2011-09-07 2018-04-04 Rapiscan Systems, Inc. X-ray inspection system that integrates manifest data with imaging/detection processing
KR20140013142A (ko) * 2012-07-18 2014-02-05 삼성전자주식회사 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치
ES2548791B1 (es) * 2014-03-20 2016-07-28 Universidad De Sevilla Hardware para cómputo de la imagen integral
GB2564038B (en) 2016-02-22 2021-11-10 Rapiscan Systems Inc Systems and methods for detecting threats and contraband in cargo

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289138B1 (en) * 1997-04-30 2001-09-11 Canon Kabushiki Kaisha General image processor
TW504657B (en) * 1999-06-30 2002-10-01 Lg Electronics Inc Method and apparatus for high speed convolution
TWI263942B (en) * 2001-12-05 2006-10-11 Em Microelectronic Marin Sa Method and sensing device for motion detection in an optical pointing device, such as an optical mouse
US7315324B2 (en) * 2002-08-15 2008-01-01 Dixon Cleveland Motion clutter suppression for image-subtracting cameras

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2830482B2 (ja) * 1991-01-11 1998-12-02 株式会社ニコン 高ダイナミックレンジ撮像装置
US6052205A (en) 1997-02-14 2000-04-18 Ricoh Company, Ltd. Image data encoding/decoding method and apparatus configured to compress both natural gray scale images and binary images
US6108437A (en) 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
US6420194B1 (en) 1999-10-12 2002-07-16 Lucent Technologies Inc. Method for extracting process determinant conditions from a plurality of process signals
US6617565B2 (en) 2001-11-06 2003-09-09 Omnivision Technologies, Inc. CMOS image sensor with on-chip pattern recognition
US7042439B2 (en) 2001-11-06 2006-05-09 Omnivision Technologies, Inc. Method and apparatus for determining relative movement in an optical mouse
US7050607B2 (en) 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7024033B2 (en) 2001-12-08 2006-04-04 Microsoft Corp. Method for boosting the performance of machine-learning classifiers
US7602438B2 (en) * 2004-10-19 2009-10-13 Eastman Kodak Company Method and apparatus for capturing high quality long exposure images with a digital camera
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP5058681B2 (ja) * 2007-05-31 2012-10-24 キヤノン株式会社 情報処理方法及び装置、プログラム、記憶媒体
TWI377521B (en) * 2008-05-27 2012-11-21 Novatek Microelectronics Corp Image processing apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289138B1 (en) * 1997-04-30 2001-09-11 Canon Kabushiki Kaisha General image processor
TW504657B (en) * 1999-06-30 2002-10-01 Lg Electronics Inc Method and apparatus for high speed convolution
TWI263942B (en) * 2001-12-05 2006-10-11 Em Microelectronic Marin Sa Method and sensing device for motion detection in an optical pointing device, such as an optical mouse
US7315324B2 (en) * 2002-08-15 2008-01-01 Dixon Cleveland Motion clutter suppression for image-subtracting cameras

Also Published As

Publication number Publication date
US20100238312A1 (en) 2010-09-23
TW201035880A (en) 2010-10-01
US8243167B2 (en) 2012-08-14

Similar Documents

Publication Publication Date Title
US10515437B2 (en) Image processing apparatus and image processing method that perform noise reduction processing on image data
US10418001B2 (en) Real-time video frame pre-processing hardware
TWI382351B (zh) 具積分影像輸出之影像感測器
TWI401963B (zh) Dynamic image compression method for face detection
US10645364B2 (en) Dynamic calibration of multi-camera systems using multiple multi-view image frames
US10489897B2 (en) Apparatus and methods for artifact detection and removal using frame interpolation techniques
US11849226B2 (en) Image processing device including neural network processor and operating method thereof
US20110081087A1 (en) Fast Hysteresis Thresholding in Canny Edge Detection
US20140375843A1 (en) Image processing apparatus, image processing method, and program
CN103279952A (zh) 一种目标跟踪方法和装置
US12020345B2 (en) Image signal processor, method of operating the image signal processor, and application processor including the image signal processor
CN115942128A (zh) 一种基于异构平台的isp***设计与实现方法
CN103248796A (zh) 图像处理设备和图像处理方法
US20220385841A1 (en) Image sensor including image signal processor and operating method of the image sensor
CN101710938B (zh) 图像信号处理器、图像处理***和图像处理方法
US11748862B2 (en) Image processing apparatus including neural network processor and method of operation
CN113824894A (zh) 曝光控制方法、装置、设备及存储介质
CN101848343B (zh) 具有积分图像输出的图像感测器
KR20210133800A (ko) 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈
Fuentes et al. FPGA implementation of the bilinear interpolation algorithm for image demosaicking
US20240147090A1 (en) Image sensor and operating method
US20220020180A1 (en) Image compression method using saturated pixel, encoder, and electronic device
CN113393401B (zh) 物体检测硬件加速器、***、方法、设备和介质
US20230153948A1 (en) Image signal processor, operating method of the image signal processor, and application processor including the image signal processor
US20240163578A1 (en) Image signal processor, image sensor, and operating method of the image sensor

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees