TWI788967B

TWI788967B - 影像處理方法與影像處理電路

Info

Publication number: TWI788967B
Application number: TW110131199A
Authority: TW
Inventors: 池忠諺; 黃文聰
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2021-08-24
Filing date: 2021-08-24
Publication date: 2023-01-01
Also published as: US20230063787A1; TW202309840A

Abstract

本發明揭露了一種影像處理方法，其包含有以下步驟：使用多個邊角偵測濾波器來對一影像資料中的一特定像素進行邊角偵測，以產生多個偵測結果，其中該多個偵測濾波器分別對應至具有不同方向的多個邊角；至少根據該多個偵測結果來判斷該特定像素是屬於具有不同方向的該多個邊角中的哪一者；以及根據所判斷出之該特定像素所屬之該多個邊角中的一特定邊角，對該特定像素進行對應於該特定邊角的一影像處理，以供產生一處理後影像資料。

Description

影像處理方法與影像處理電路

本發明係有關於影像處理電路。

在影像處理的相關方法中，由於影像圖案中的邊角(corner)是重要的特徵點，因此，部份邊角偵測方法被開發出來並應用於影像處理方法中。現有的邊角偵測方法，例如哈理斯角落偵測(Harris corner detection)方法為例，是利用影像空間微分及結構張量來偵測影像中的邊角，然而，這些涉及複雜計算的邊角偵測方法並適合使用硬體電路來實作。

此外，在目前的影像處理電路中，通常會使用類似索貝爾(Sobel)運算子的邊緣濾波器來進行邊緣偵測，並對影像中的圖案邊緣進行處理。然而，目前的邊緣檢測並無法有效地偵測到影像中的邊角，因此在並對影像中的圖案邊緣進行處理時可能會造成瑕疵。舉例來說，若是影像包含了一個長方形，則向處理電路可能會將長方形之四個邊角判斷為斜邊，因而將四個邊角的像素視為雜訊而進行抹平，造成長方形之四個邊角變的模糊而降低了影像品質。

如上所述，如何提出一種適合以硬體電路來實現的邊角偵測方法，以有效地偵測出影像中不同方向的邊角並進行後續的影像處理，是一個重要的課題。

因此，本發明的目的之一在於提出一種影像處理方法，其可以透過邊角偵測濾波器來偵測出影像中不同方向的邊角，並針對不同方向的邊角採用適合的影像處理，以解決先前技術中所述的問題。

在本發明的一個實施例中，揭露了一種影像處理方法，其包含有以下步驟：使用多個邊角偵測濾波器來對一影像資料中的一特定像素進行邊角偵測，以產生多個偵測結果，其中該多個邊角偵測濾波器分別對應至具有不同方向的多個邊角；至少根據該多個偵測結果來判斷該特定像素是屬於具有不同方向的該多個邊角中的哪一者；以及根據所判斷出之該特定像素所屬之該多個邊角中的一特定邊角，對該特定像素進行對應於該特定邊角的一影像處理，以供產生一處理後影像資料。

在本發明的另一個實施例中，揭露了一種影像處理電路，其包含有一邊角偵測電路以及一邊角與邊緣處理電路。該邊角偵測電路用以使用多個邊角偵測濾波器來對一影像資料中的一特定像素進行邊角偵測，以產生多個偵測結果，其中該多個邊角偵測濾波器分別對應至具有不同方向的多個邊角；以及該邊角偵測電路另至少根據該多個偵測結果來判斷該特定像素是屬於具有不同方向的該多個邊角中的哪一者。該邊角與邊緣處理電路用以根據所判斷出之該特定像素所屬之該多個邊角中的一特定邊角，對該特定像素進行對應於該特定邊角的一影像處理，以供產生一處理後影像資料。

第1圖為根據本發明一實施例之影像處理電路100的示意圖。如第1圖所示，影像處理電路100包含了一邊角偵測電路110、一直線邊緣偵測電路120以及一邊角與邊緣處理電路130。影像處理電路100係用來接收一影像資料Din，並對影像資料Din進行影像處理，例如雜訊消除、邊緣強化…等功能，以產生一處理後影像資料Din’，且處理後影像資料Din’之後透過一後端處理電路102的處理之後，傳送至一顯示面板104並顯示於其上。在本實施例中，影像處理電路100可以應用在任何需要進行影像處理的電子裝置中，例如照相機或攝影機中的影像訊號處理器(image signal processor，ISP)。

關於影像處理電路100的操作，請同時參考第2圖所示的流程圖，在步驟200中，影像處理電路100致能且開始接收影像資料，其中影像資料包含了多個影像圖框。第3圖繪示了一影像圖框300，其中影像圖框300包含了M*N個像素P11~PMN及其像素值(亮度值)，而為了方便後續的描述，在以下的部分公式中會直接使用P11~PMN來作為其像素值。

在步驟202中，邊角偵測電路110針對影像圖框300中的每一個像素進行邊角偵測，以判斷該像素是否是一個邊角。具體來說，參考第4圖所示，邊角偵測電路110可以影像圖框300中的每一個像素進行邊角偵測，以判斷該像素是屬於第4圖所示的邊角0、邊角1、…、邊角7中的哪一者，其中每一個相鄰邊角的方向差異為45度，亦即邊角1可視為邊角0旋轉45度的結果、邊角2可視為邊角1旋轉45度的結果…以此類推。舉例來說，針對每一個像素，邊角偵測電路110可以使用第5、6圖所示之多個邊角偵測濾波器510_0~510_7來偵測該像素是屬於第4圖所示的邊角0、邊角1、…、邊角7中的哪一者。詳細來說，假設目前邊角偵測電路110要判斷像素P33是屬於邊角0、邊角1、…、邊角7中的哪一者，則邊角偵測電路110可以先使用邊角偵測濾波器510_0來對像素P33進行偵測，例如將邊角偵測濾波器510_0視為對應的權重來對以像素P33為中心的5*5區域進行加權相加，以產生對應到邊角0的偵測結果DR0，其中偵測結果DR0可以計算如下： DR0 = ｜P33*2 + P42*2 + P44*2 + P51*1 + P55*1 - P13*2 – P22*2 – P24*2 – P31*1 - P35*1｜……………………………………………………….(1)；接著，邊角偵測電路110使用邊角偵測濾波器510_1來對像素P33進行偵測，例如將邊角偵測濾波器510_1視為對應的權重來對以像素P33為中心的5*5區域進行加權相加，以產生對應到邊角1的偵測結果DR1，其中偵測結果DR1可以計算如下： DR1 = ｜P33*3 + P31*1 + P32*1 + P43*1 + P53*1 - P12*1 - P13*1 - P15*2 - P25*1 - P35*1 - P45*1｜……………………………………………………….(2)；接著，基於類似的計算方法，邊角偵測電路110使用邊角偵測濾波器510_2~510_7來對像素P33進行偵測，以分別產生對應到邊角2~邊角7的偵測結果DR2~DR7。上述的偵測結果DR0~DR7可以分別反映出邊角0~邊角7的強度，亦即若是偵測結果的數值越大，則代表著像素P33越有可能是屬於該偵測結果所對應到的邊角，舉例來說，假設偵測結果DR0~DR7中偵測結果DR3具有最大的數值，則代表著像素P33最有可能是第4圖所示的邊角3。

需注意的是，第5、6圖所示之邊角偵測濾波器510_0~510_7以及上述偵測結果的計算方式僅是作為範例說明，而非是本發明的限制。在其他的實施例中，邊角偵測濾波器510_0~510_7內的係數可以根據設計者的考量而有所改變，且偵測結果有可以有不同的計算方式，換句話說，只要是邊角偵測電路110可以使用多個邊角偵測濾波器來對像素P33進行偵測以產生對應到不同邊角的偵測結果，相關設計上的變化應隸屬於本發明的範疇。

在一實施例中，像素P33有可能會屬於黑白角，因此造成偵測結果DR0~DR7中會有兩個偵測結果具有較高的數值，因此造成後續邊角判斷上的問題。參考第7圖，假設像素P11~P55中左下角的區域具有較低的亮度、右上角的區域具有較高的亮度、且像素P33具有中間亮度，則偵測結果DR1與偵測結果DR5可能都會具有較高的數值，造成在後續判斷上無法確定像素P33是屬於第4圖所示的邊角1或是邊角5，而此時像素P33便可視為一黑白角。因此，為了解決此一問題，邊角偵測電路110可以另外使用一黑白角偵測濾波器來對像素P33進行偵測，例如將黑白角偵測濾波器視為對應的權重來對以像素P33為中心的5*5區域進行加權相加，以產生一黑白角偵測結果DR_BW，其中黑白角偵測結果DR_BW可以計算如下： DR_BW = P33*8 + P23*1 + P32*1 + P34*1 + P43*1 – P22*2 – P24*2 – P42*2 – P44*2 – P11*1 – P15*1 – P51*1 – P55*1………………….…………….(3)；在本實施例中，黑白角偵測濾波器是一個無方向性且係數對稱的濾波器，而偵測結果DR_BW可以反映出像素P33是屬於哪一個邊角。舉例來說，若是黑白角偵測結果DR_BW是一個負值，則表示像素P33應該是屬於邊角1；而若是黑白角偵測結果DR_BW是一個正值，則表示像素P33應該是屬於邊角5。

需注意的是，第7圖所示之黑白角偵測濾波器以及黑白角偵測結果DR_BW的計算方式僅是作為範例說明，而非是本發明的限制。在其他的實施例中，黑白角偵測濾波器內的係數可以根據設計者的考量而有所改變，且偵測結果有可以有不同的計算方式，換句話說，只要是邊角偵測電路110可以使用黑白角偵測濾波器來對像素P33進行偵測以產生黑白角偵測結果DR_BW，以供進行黑白角的判斷，相關設計上的變化應隸屬於本發明的範疇。

如上所述，邊角偵測電路110可以根據偵測結果DR0~DR7，或是根據偵測結果DR0~DR7與黑白角偵測結果DR_BW，以判斷出像素P33是屬於第4圖所示的邊角0、邊角1、…、邊角7中的哪一者，以產生一邊角偵測結果。

同時，在步驟204中，直線邊緣偵測電路120針對影像圖框300中的每一個像素進行直線邊緣偵測，以判斷該像素是否屬於一垂直邊緣、一水平邊緣、一正斜率邊緣或是一負斜率邊緣，以產生一直線邊緣偵測結果。在本實施例中，以像素P33為例，直線邊緣偵測電路120可以透過偵測以像素P33為中心點的5*5區域的垂直亮度梯度、水平亮度梯度、或是透過使用類似索貝爾(Sobel)運算子的邊緣濾波器來進行邊緣偵測，以產生直線邊緣偵測結果。需注意的是，由於直線邊緣偵測已為先前技術，且本領域中具有通常知識者應能瞭解其操作，故相關內容在此不再贅述。

在步驟206中，邊角與邊緣處理電路130接收分別來自邊角偵測電路110與直線邊緣偵測電路120的邊角偵測結果與直線邊緣偵測結果，並對邊角偵測結果與直線邊緣偵測結果進行分析以判斷像素P33是屬於邊角或是直線邊緣。在一實施例中，設計者可以調整邊角偵測電路110所使用之邊角偵測濾波器510_0~510_7的係數以及直線邊緣偵測電路120所使用之索貝爾運算子的係數，以使得邊角與邊緣處理電路130可以直接比較邊角偵測結果與直線邊緣偵測結果的大小，以判斷像素P33是屬於邊角或是直線邊緣。

在步驟208中，邊角與邊緣處理電路130判斷像素P33是否是邊角，若是，流程進入步驟210；若否，流程進入步驟214。

在步驟210，邊角與邊緣處理電路130對像素P33進行去噪處理，以使得邊角可以更為平滑。舉例來說，邊角與邊緣處理電路130可以根據像素P33是屬於哪一個邊角以自第8、9圖所示之邊角保護濾波器810_0~810_7中選擇其一，以對像素P33進行去噪處理。舉例來說，若是像素P33屬於第4圖所示的邊角0，則使用邊角保護濾波器810_0來進行去噪處理；若是像素P33屬於第4圖所示的邊角1，則使用邊角保護濾波器810_1來進行去噪處理。以像素P33屬於邊角0為例來進行說明，邊角與邊緣處理電路130可以將邊角保護濾波器810_0視為對應的權重來對以像素P33為中心的5*5區域進行加權平均運算，以產生一去噪後像素值P33’，其中去噪後像素值P33’可以計算如下： P33’ = (P33*4 + P42*2 + P44*2 + P51*1 + P55*1) / 8…………………….(4)。

需注意的是，第8、9圖所示之邊角保護濾波器810_0~810_7以及去噪後像素值的計算方式僅是作為範例說明，而非是本發明的限制。在其他的實施例中，邊角保護濾波器810_0~810_7內的係數可以根據設計者的考量而有所改變，且去噪後像素值可以有不同的計算方式。在另一實施例中，考慮到作為邊角的像素P33可能會因為前級電路的處理而造成失真，因此，去噪後像素值P33’在計算上可以直接忽略像素P33的原始像素值，而可以使用周圍像素之像素值的平均來得到，例如去噪後像素值P33’可以計算如下： P33’ = (P42*2 + P44*2 + P51*1 + P55*1) / 4…………………………….(5)。

接著，在步驟212，邊角與邊緣處理電路130對像素P33進行對比差值計算，以決定出邊角的銳利度，以供後續影像處理的參考。舉例來說，邊角與邊緣處理電路130可以根據像素P33是屬於哪一個邊角以選擇對應的運算子來進行對比差值計算。第10圖繪示了對應到邊角0與邊角1之用於對比差值計算的運算子，而邊角2~7的運算子可分別透過旋轉邊角0與邊角1的運算子來得到，例如邊角2的運算子為邊角0的運算子順時針轉90度、邊角3的運算子為邊角1的運算子順時針轉90度…以此類推，故其餘的運算子不在圖式上繪出。舉例來說，以像素P33屬於邊角0為例來進行說明，邊角與邊緣處理電路130可以將第10圖所示之邊角0的運算子視為對應的權重來對以像素P33為中心的5*5區域進行加權相加，以產生一對比差值計算結果CR，其中對比差值計算結果CR可以計算如下： CR = (P33*8 + P42*6 + P44*6 -P13*1 – P22*3 – P23*1 – P24*3 – P31*3 – P32*1 – P34*1 – P35*3)…………………………….………………….(6)。

在步驟214中，邊角與邊緣處理電路130可以對像素值進行相關的邊緣處理，例如邊緣銳利度調整…等等。

如上所述，透過以上實施例所述的內容，影像處理電路100可以準確地判斷出每一個像素是否屬於第4圖所示之邊角0~邊角7的其一，以對該像素值進行邊角處理來改善影像品質。此外，以上實施例的操作並不涉及複雜的運算，例如哈理斯角落偵測所包含的空間微分，因此適合以電路來實現。

第11圖繪示了先前技術中影像圖案之邊角因為不適當的影像處理而變的模糊、以及使用本實施例的方法所產生之邊角清晰的示意圖。如第11圖所示，本實施例的影像處理方法確實可以改善影像邊角的顯示品質。

簡要歸納本發明，在本發明之影像處理電路與影像處理方法中，透過使用多個邊角偵測濾波器來對每一個像素進行邊角偵測以產生多個偵測結果，再根據該多個偵測結果來判斷該像素是屬於具有不同方向的多個邊角中的哪一者，可以確實地知道像素是屬於哪一個方向的邊角，並據以對該像素進行適當的後續影像處理。因此，本發明之影像處理可以讓影像圖案的邊角具有較佳的顯示品質。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100:影像處理電路 102:後端處理電路 104:顯示面板 110:邊角偵測電路 120:直線邊緣偵測電路 130:邊角與邊緣處理電路 200~214:步驟 300:影像圖框 510_0~510_7:邊角偵測濾波器 810_0~810_7:邊角保護濾波器 Din:影像資料 Din’:處理後影像資料 P11~PMN:像素

第1圖為根據本發明一實施例之影像處理電路的示意圖。第2圖為根據本發明一實施例之影像處理方法的流程圖。第3圖為一影像圖框的示意圖。第4圖為多個不同方向之邊角的示意圖。第5、6圖為根據本發明一實施例之多個邊角偵測濾波器的示意圖。第7圖為黑白角的例子與黑白角偵測濾波器的示意圖。第8、9圖為根據本發明一實施例之多個邊角保護濾波器的示意圖。第10圖為根據本發明一實施例之多個對比差值計算之運算子的示意圖。第11圖繪示了先前技術中影像圖案之邊角因為不適當的影像處理而變的模糊、以及使用本實施例的方法所產生之邊角清晰的示意圖。

100:影像處理電路

102:後端處理電路

104:顯示面板

110:邊角偵測電路

120:直線邊緣偵測電路

130:邊角與邊緣處理電路

Din:影像資料

Din’:處理後影像資料

Claims

一種影像處理方法，包含有：使用多個邊角偵測濾波器來對一影像資料中的一特定像素進行邊角偵測，以產生多個偵測結果，其中該多個邊角偵測濾波器分別對應至具有不同方向的多個邊角；至少根據該多個偵測結果來判斷該特定像素是屬於具有不同方向的該多個邊角中的哪一者；以及根據所判斷出之該特定像素所屬之該多個邊角中的一特定邊角，對該特定像素進行對應於該特定邊角的一影像處理，以供產生一處理後影像資料。
如申請專利範圍第1項所述之影像處理方法，其中該多個邊角偵測濾波器至少是八個不同的邊角偵測濾波器。
如申請專利範圍第1或2項所述之影像處理方法，其中該多個偵測結果係表示該特定像素對應至該多個邊角的強度，以及至少根據該多個偵測結果來判斷該特定像素是屬於具有不同方向的該多個邊角中的哪一者的步驟包含有：判斷該特定像素是屬於該多個偵測結果中具有最高強度之偵測結果所對應的邊角。
如申請專利範圍第1項所述之影像處理方法，另包含有：使用一黑白角偵測濾波器來對該影像資料中的該特定像素進行黑白角偵測，以產生一黑白角偵測結果；以及至少根據該多個偵測結果來判斷該特定像素是屬於具有不同方向的該多個邊角中的哪一者的步驟包含有：至少根據該多個偵測結果以及該黑白角偵測結果來判斷該特定像素是屬於具有不同方向的該多個邊角中的哪一者。
如申請專利範圍第4項所述之影像處理方法，其中該黑白角偵測濾波器係為一係數對稱的濾波器。
如申請專利範圍第4或5項所述之影像處理方法，其中該多個偵測結果係表示該特定像素對應至該多個邊角的強度，以及至少根據該多個偵測結果以及該黑白角偵測結果來判斷該特定像素是屬於具有不同方向的該多個邊角中的哪一者的步驟包含有：在符合該黑白角偵測結果的情形下，判斷該特定像素是屬於該多個偵測結果中具有最高強度之偵測結果所對應的邊角。
如申請專利範圍第1項所述之影像處理方法，其中根據所判斷出之該特定像素所屬之該多個邊角中的該特定邊角，對該特定像素進行對應於該特定邊角的該影像處理，以供產生該處理後影像資料的步驟包含有：根據所判斷出之該特定像素所屬之該多個邊角中的該特定邊角，自多個邊角保護濾波器中選擇對應於該特定邊角的一特定邊角保護濾波器；以及使用該特定邊角保護濾波器來對該特定像素進行去噪處理，以供產生該處理後影像資料。
如申請專利範圍第7項所述之影像處理方法，其中該多個邊角偵測濾波器至少是八個不同的邊角偵測濾波器，該多個邊角保護濾波器至少是八個邊角保護濾波器。
如申請專利範圍第1、7或8項所述之影像處理方法，其中根據所判斷出之該特定像素所屬之該多個邊角中的該特定邊角，對該特定像素進行對應於該特定邊角的該影像處理，以供產生該處理後影像資料的步驟包含有：根據所判斷出之該特定像素所屬之該多個邊角中的該特定邊角，自多個運算子中選擇對應於該特定邊角的一特定運算子；以及使用該特定運算子來對該特定像素進行對比差值計算，以供產生該處理後影像資料。
一種影像處理電路，包含有：一邊角偵測電路，用以使用多個邊角偵測濾波器來對一影像資料中的一特定像素進行邊角偵測，以產生多個偵測結果，其中該多個邊角偵測濾波器分別對應至具有不同方向的多個邊角；以及該邊角偵測電路另至少根據該多個偵測結果來判斷該特定像素是屬於具有不同方向的該多個邊角中的哪一者；以及一邊角與邊緣處理電路，用以根據所判斷出之該特定像素所屬之該多個邊角中的一特定邊角，對該特定像素進行對應於該特定邊角的一影像處理，以供產生一處理後影像資料。