TW202118278A - 影像處理方法及相關的影像處理電路 - Google Patents

Abstract

本發明揭露了一種影像處理方法，其包含有以下步驟：自一影像感測器接收一原始影像資料，其中該影像感測器為一具有四像素單元的貝爾感測器，該原始影像資料包含了每一個像素所具有之顏色資訊，且每一個像素的該顏色資訊僅對應到單一顏色；針對準備要進行處理的一特定像素，選擇包含該特定像素在內的一區域；根據該特定像素的位置以決定是否將該區域內之顏色資訊進行翻轉以產生一翻轉後區域；以及使用該區域或是該翻轉後區域中至少一部份像素的顏色資訊來進行內插操作，以產生該特定像素所缺乏的顏色資訊。

Description

影像處理方法及相關的影像處理電路

本發明係有關於影像處理，尤指一種應用在具有四像素單元之貝爾感測器的影像處理方法。

第1圖為應用在一具有四像素單元的貝爾感測器的色彩濾波陣列100的示意圖。如第1圖所示，色彩濾波陣列100包含了16個像素，其中左上角為分別用來產生綠色資訊G11、G12、G21、G22的四個像素，右上角為分別用來產生紅色資訊R13、R14、R23、R24的四個像素，左下角為分別用來產生藍色資訊B31、B32、B41、B42的四個像素，而右下角為分別用來產生綠色資訊G33、G34、G43、G44的四個像素。貝爾感測器在明亮光源環境時，色彩濾波陣列100會輸出上述16個像素的顏色資訊，而在低光源環境時，色彩濾波陣列100會將同一顏色像素之顏色資訊進行加總(例如，將紅色資訊R13、R14、R23、R24加總)以輸出傳統的貝爾樣式(bayer pattern)，以犧牲解析度來換取較高的感光度。

然而，由於色彩濾波陣列100所輸出之對應到16個像素的顏色資訊都只包含了單一顏色，例如最左上角的像素僅包含了綠色資訊G11，因此，後續的影像處理電路會需要使用周遭像素的所包含的其他顏色資訊來內插出所缺乏的顏色資訊。舉例來說，由於最左上角的像素僅包含了綠色資訊G11，因此，影像處理電路會使用周遭像素的多個藍色資訊來進行內插以獲得最左上角的像素的藍色資訊，並使用周遭像素的多個紅色資訊來進行內插以獲得最左上角的像素的紅色資訊。然而，由於色彩濾波陣列100具有特殊的排列方式，因此，無法使用單一的內插方式來對每一個像素進行處理，舉例來說，具有到綠色資訊G11、G12、G21、G22之四個像素的每一者與周邊具有藍色資訊B31、B32、B41、B42之四個像素的相對位置並不相同，因此具有綠色資訊G11、G12、G21、G22之四個像素在計算出對應的藍色資訊時所採用之具有藍色資訊之像素的相對位置與權重並不相同，故會需要多組電路或多組演算法來進行對應的內插操作，因而增加了設計與製造上的成本。

在另一先前技術中，影像處理電路也可以將色彩濾波陣列100所輸出的顏色資訊先進行馬賽克重排(re-mosaic)以產生出貝爾樣式，之後再套用習知貝爾感測器的解馬賽克(demosaicing)技術，然而，這種做法由於多了一次內插操作(即，馬賽克重排)，因此會讓影像細節損失，因而影響到影像品質。

因此，本發明的目的之一在於提出一種影像處理方法，其可以在使單一的內插方式來對具有四像素單元之貝爾感測器所輸出的原始影像資料進行處理，且不需要對原始影像資料進行馬賽克重排，以解決先前技術中的問題。

在本發明的一個實施例中，揭露了一種影像處理方法，其包含有以下步驟：自一影像感測器接收一原始影像資料，其中該影像感測器為一具有四像素單元的貝爾感測器，該原始影像資料包含了每一個像素所具有之顏色資訊，且每一個像素的該顏色資訊僅對應到單一顏色；針對準備要進行處理的一特定像素，選擇包含該特定像素在內的一區域；根據該特定像素的位置以決定是否將該區域內之顏色資訊進行翻轉以產生一翻轉後區域；以及使用該區域或是該翻轉後區域中至少一部份像素的顏色資訊來進行內插操作，以產生該特定像素所缺乏的顏色資訊。

在本發明的另一個實施例中，揭露了一種影像處理電路，其包含有一接收電路、一預處理電路以及一內插電路。在該影像處理電路的操作中，該接收電路用以自一影像感測器接收一原始影像資料，其中該影像感測器為一具有四像素單元的貝爾感測器，該原始影像資料包含了每一個像素所具有之顏色資訊，且每一個像素的該顏色資訊僅對應到單一顏色；該預處理電路用以針對準備要進行處理的一特定像素，選擇包含該特定像素在內的一區域，並根據該特定像素的位置以決定是否將該區域內之顏色資訊進行翻轉以產生一翻轉後區域；以及該內插電路用以使用該區域或是該翻轉後區域中至少一部份像素的顏色資訊來進行內插操作，以產生該特定像素所缺乏的顏色資訊。

第2圖為根據本發明一實施例之影像處理電路200的示意圖。如第2圖所示，影像處理電路200係用來接收來自一影像感測器202的原始影像資料，並對原始影像資料進行內插處理以補足每一個像素所缺乏的顏色資訊後產生一處理後影像資料，而該處理後影像資料透過一後端處理電路204的處理後傳送到一顯示面板206並顯示於其上。在本實施例中，影像感測器202為具有四像素單元的貝爾感測器，亦即影像感測器202包含如第1圖所示之色彩濾波陣列100。需注意的是，第1圖所示之色彩濾波陣列100僅是作為說明，在實作上影像感測器202會具有多個依序排列的色彩濾波陣列100。

在影像處理電路200的操作中，接收電路210自影像感測器202接收原始影像資料，其中原始影像資料包含了每一個像素所具有之顏色資訊，且每一個像素的顏色資訊僅對應到單一顏色。為了方便以下的說明，原始影像資料係以第3圖為例來進行說明，在第3圖中，原始影像資料包含了一個10*10的像素陣列，其包含了像素P00~P99及對應的顏色資訊，其中圖示的Rxx代表著紅色資訊(例如R00、R01、...)、Gxx代表著綠色資訊(例如G02、G03、…)、而Bxx代表著藍色資訊(例如B22、B23、…)，而每一個像素P00~P99僅具有單一顏色資訊。接著，針對準備要進行處理的一特定像素，預處理電路220選擇包含該特定像素在內的一區域，並根據該特定像素的位置以決定是否將該區域內之顏色資訊進行翻轉以產生一翻轉後區域。具體來說，針對原始影像資料中相鄰且具有相同單一顏色資訊的四個像素，若是該特定像素的位置對應到該四個像素中的一第一像素，不對該區域內之顏色資訊進行任何翻轉；若是該特定像素的位置對應到該四個像素中的一第二像素，對該區域內之顏色資訊進行水平翻轉以產生該翻轉後區域；若是該特定像素的位置對應到該四個像素中的一第三像素，對該區域內之顏色資訊進行垂直翻轉以產生該翻轉後區域；以及若是該特定像素的位置對應到該四個像素中的一第四像素，對該區域內之顏色資訊進行水平與垂直翻轉以產生該翻轉後區域。

詳細來說，假設像素P44、P45、P54、P55分別做為影像處理電路100所需要處理的特定像素。先參考第4圖，假設目前影像處理電路100所需要處理的是具有紅色資訊R44的特定像素P44，亦即影像處理電路100需要對特定像素P44進行處理以得到所缺乏的綠色資訊與藍色資訊，則預處理電路220可以以特定像素P44為中心點選擇一個9*9的區域410(亦即，像素P00~P88)。而在本實施例中，當特定像素P44為正在進行處理的像素時，區域410不進行任何的翻轉。

接著，參考第5圖，假設目前影像處理電路100所需要處理的是具有紅色資訊R45的特定像素P45，亦即影像處理電路100需要對特定像素P45進行處理以得到所缺乏的綠色資訊與藍色資訊，則預處理電路220可以以特定像素P45為中心點選擇一個9*9的區域510(亦即，像素P01~P89)，並對區域510作水平翻轉以得到第6圖所示之翻轉後區域510’。詳細來說，在水平翻轉的過程中，係以像素P05、P15、P25、P35、P45、P55、P65、P75、P85為軸心進行左右兩側顏色資訊的翻轉，亦即翻轉後區域510’之第一行(column)為區域510的最後一行、翻轉後區域510’之第二行為區域510的倒數第二行…以此類推。在電路的實際操作中，可以透過對區域510的每一列(row)進行相反方向的讀取以得到翻轉後區域510’。

接著，參考第7圖，假設目前影像處理電路100所需要處理的是具有紅色資訊R54的特定像素P54，亦即影像處理電路100需要對特定像素P54進行處理以得到所缺乏的綠色資訊與藍色資訊，則預處理電路220可以以特定像素P54為中心點選擇一個9*9的區域710(亦即，像素P10~P98)，並對區域510作垂直翻轉以得到第8圖所示之翻轉後區域710’。詳細來說，在垂直翻轉的過程中，係以像素P50、P51、P52、P53、P54、P55、P56、P57、P58為軸心進行上下兩側顏色資訊的翻轉，亦即翻轉後區域710’之第一列為區域710的最後一列、翻轉後區域710’之第二列為區域710的倒數第二列…以此類推。在電路的實際操作中，可以透過對區域710的每一行(row)進行相反方向的讀取以得到翻轉後區域710’。

接著，參考第9圖，假設目前影像處理電路100所需要處理的是具有紅色資訊R55的特定像素P55，亦即影像處理電路100需要對特定像素P55進行處理以得到所缺乏的綠色資訊與藍色資訊，則預處理電路220可以以特定像素P55為中心點選擇一個9*9的區域910(亦即，像素P11~P99)，並對區域910作垂直翻轉與水平翻轉以得到第10圖所示之翻轉後區域910’。在電路的實際操作中，可以透過對區域910的每一行進行相反方向的讀取以得到一暫時區域，並再對該暫時區域的每一列進行相反方向的讀取以得到翻轉後區域910’。

如上所述，由於區域410、翻轉後區域510’、翻轉後區域710’以及翻轉後區域910’具有相同的顏色資訊分布(亦即區域410、翻轉後區域510’、翻轉後區域710’以及翻轉後區域910’中具有相同座標的像素係具有相同的顏色資訊)，因此，不論目前所處理的是特定像素P44、P45、P54、P55中的哪一者，內插電路230都可以使用相同的內插方式來對區域410或是翻轉後區域510’、710’、910’中至少一部份像素的顏色資訊進行內插操作，以產生特定像素P44、P45、P54、P55所缺乏的顏色資訊。在本實施例中，相同的內插方式指的是該至少一部份像素與特定像素具有固定的相對位置及/或固定的權重。舉例來說，假設目前內插電路230準備對特定像素P44進行處理以得到其藍色資訊，則內插電路230可以選擇區域410中之像素P22、P23、P26、P32、P33、P36、P62、P63、P66的藍色資訊來進行內插操作(例如，加權相加/加權平均)以產生特定像素P44所缺乏的藍色資訊；假設目前內插電路230準備對特定像素P45進行處理以得到其藍色資訊，則內插電路230可以選擇翻轉後區域510’中之像素P27、P26、P23、P37、P36、P33、P67、P66、P63的藍色資訊來進行內插操作以產生特定像素P45所缺乏的藍色資訊；假設目前內插電路230準備對特定像素P54進行處理以得到其藍色資訊，則內插電路230可以選擇翻轉後區域710’中之像素P72、P73、P76、P62、P63、P66、P32、P33、P36的藍色資訊來進行內插操作以產生特定像素P54所缺乏的藍色資訊；假設目前內插電路230準備對特定像素P55進行處理以得到其藍色資訊，則內插電路230可以選擇翻轉後區域910’中之像素P77、P76、P73、P67、P66、P36、P37、P36、P33的藍色資訊來進行內插操作以產生特定像素P55所缺乏的藍色資訊。如上所述，由於所選擇進行內插之具有藍色資訊的像素與特定像素具有相同的相對位置，故內插電路230可以使用相同的電路，或是採用共用的演算法，來對不同的特定像素進行處理，因此可以有效地降低製造與設計上的成本。

第11圖為根據本發明一實施例之影像處理方法的流程圖。參考以上實施例所述的內容，影像處理方法的流程如下所述。

步驟1100：流程開始。

步驟1102：自一影像感測器接收一原始影像資料，其中該影像感測器為一具有四像素單元的貝爾感測器。

步驟1104：針對準備要進行處理的一特定像素，選擇包含該特定像素在內的一區域。

步驟1106：根據該特定像素的位置以決定是否將該區域內之顏色資訊進行翻轉以產生一翻轉後區域。

步驟1108：使用該區域或是該翻轉後區域中至少一部份像素的顏色資訊來進行內插操作，以產生該特定像素所缺乏的顏色資訊。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100:色彩濾波陣列 200:影像處理電路 202:影像感測器 204:後端處理電路 206:顯示面板 210:接收電路 220:預處理電路 230:內插電路 410、510、710、910:區域 510’、710’、910’:翻轉後區域 1100~1108:步驟 P00~P99:像素 R00~R99:紅色資訊 G02~G97:綠色資訊 B22~B77:藍色資訊

第1圖為應用在一具有四像素單元的貝爾感測器的色彩濾波陣列100的示意圖。 第2圖為根據本發明一實施例之影像處理電路的示意圖。 第3圖為影像感測器所產生之原始影像資料的示意圖。 第4圖為特定像素為像素P44時所選擇之區域的示意圖。 第5圖為特定像素為像素P45時所選擇之區域的示意圖。 第6圖為特定像素為像素P45時對區域進行垂直翻轉以產生翻轉後區域的示意圖。 第7圖為特定像素為像素P54時所選擇之區域的示意圖。 第8圖為特定像素為像素P54時對區域進行水平翻轉以產生翻轉後區域的示意圖。 第9圖為特定像素為像素P55時所選擇之區域的示意圖。 第10圖為特定像素為像素P55時對區域進行水平與垂直翻轉以產生翻轉後區域的示意圖。 第11圖為根據本發明一實施例之影像處理方法的流程圖。

200:影像處理電路

202:影像感測器

204:後端處理電路

206:顯示面板

210:接收電路

220:預處理電路

230:內插電路

Claims (10)

1. 一種影像處理方法，包含有： 自一影像感測器接收一原始影像資料，其中該影像感測器為一具有四像素單元的貝爾感測器(Bayer sensor)，該原始影像資料包含了每一個像素所具有之顏色資訊，且每一個像素的該顏色資訊僅對應到單一顏色； 針對準備要進行處理的一特定像素，選擇包含該特定像素在內的一區域； 根據該特定像素的位置以決定是否將該區域內之顏色資訊進行翻轉以產生一翻轉後區域；以及 使用該區域或是該翻轉後區域中至少一部份像素的顏色資訊來進行內插操作，以產生該特定像素所缺乏的顏色資訊。
2. 如申請專利範圍第1項所述之影像處理方法，其中根據該特定像素的位置以決定是否將該區域內之顏色資訊進行翻轉以產生該翻轉後區域的步驟包含有： 根據該特定像素的位置以決定將該區域內之顏色資訊進行水平翻轉、垂直翻轉、或是水平與垂直翻轉，以產生該翻轉後區域。
3. 如申請專利範圍第2項所述之影像處理方法，其中根據該特定像素的位置以決定將該區域內之顏色資訊進行水平翻轉、垂直翻轉、或是水平與垂直翻轉，以產生該翻轉後區域的步驟包含有： 針對原始影像資料中相鄰且具有相同單一顏色資訊的四個像素，若是該特定像素的位置對應到該四個像素中的一第一像素，不對該區域內之顏色資訊進行任何翻轉；若是該特定像素的位置對應到該四個像素中的一第二像素，對該區域內之顏色資訊進行水平翻轉以產生該翻轉後區域；若是該特定像素的位置對應到該四個像素中的一第三像素，對該區域內之顏色資訊進行垂直翻轉以產生該翻轉後區域；以及若是該特定像素的位置對應到該四個像素中的一第四像素，對該區域內之顏色資訊進行水平與垂直翻轉以產生該翻轉後區域。
4. 如申請專利範圍第3項所述之影像處理方法，其中不論該特定像素對應到該四個像素中的哪一個像素，所產生之用來進行內插操作之該區域或是該翻轉後區域會具有相同之顏色資訊分布。
5. 如申請專利範圍第1、2、3或4項所述之影像處理方法，其中使用該區域或是該翻轉後區域中該至少一部份像素的顏色資訊來進行內插操作，以產生該特定像素所缺乏的顏色資訊的步驟包含有： 不論是該區域或是該翻轉後區域，使用相同的內插方式並來對該區域或是該翻轉後區域中該至少一部份像素的顏色資訊進行內插操作，以產生該特定像素所缺乏的顏色資訊。
6. 如申請專利範圍第5項所述之影像處理方法，其中該相同的內插方式指的是該至少一部份像素與該特定像素具有固定的相對位置。
7. 如申請專利範圍第6項所述之影像處理方法，其中該相同的內插方式指的是該至少一部份像素與該特定像素具有固定的相對位置以及固定的權重。
8. 一種影像處理電路，包含有： 一接收電路，用以自一影像感測器接收一原始影像資料，其中該影像感測器為一具有四像素單元的貝爾感測器(Bayer sensor)，該原始影像資料包含了每一個像素所具有之顏色資訊，且每一個像素的該顏色資訊僅對應到單一顏色； 一預處理電路，耦接於該接收電路，用以針對準備要進行處理的一特定像素，選擇包含該特定像素在內的一區域，並根據該特定像素的位置以決定是否將該區域內之顏色資訊進行翻轉以產生一翻轉後區域；以及 一內插電路，耦接於該預處理電路，用以使用該區域或是該翻轉後區域中至少一部份像素的顏色資訊來進行內插操作，以產生該特定像素所缺乏的顏色資訊。
9. 如申請專利範圍第8項所述之影像處理電路，其中該預處理電路根據該特定像素的位置以決定將該區域內之顏色資訊進行水平翻轉、垂直翻轉、或是水平與垂直翻轉，以產生該翻轉後區域。
10. 如申請專利範圍第8項所述之影像處理方法，其中不論是該區域或是該翻轉後區域，該內插電路使用相同的內插方式並來對該區域或是該翻轉後區域中該至少一部份像素的顏色資訊進行內插操作，以產生該特定像素。

Images