TWI790732B

TWI790732B - 影像校正方法及影像校正裝置

Info

Publication number: TWI790732B
Application number: TW110132293A
Authority: TW
Inventors: 林子傑; 蘇鎮港
Original assignee: 宏碁股份有限公司
Priority date: 2021-08-31
Filing date: 2021-08-31
Publication date: 2023-01-21
Also published as: TW202312098A

Abstract

本發明提供一種影像校正方法及影像校正裝置。所述方法包括：取得場景影像，其包括實體色卡；取得場景影像的拍攝參數及場景參數；對場景影像執行線性化操作以產生第一影像，並記錄第一線性運算參數；基於第一影像及實體色卡產生色彩校正矩陣；對第一影像執行非線性化操作以產生第二影像，並記錄非線性運算參數；以及將拍攝參數及場景參數定義為對應於線性運算參數、色彩校正矩陣及非線性運算參數。

Description

影像校正方法及影像校正裝置

本發明是有關於一種校正方法及校正裝置，且特別是有關於一種影像校正方法及影像校正裝置。

現今，筆記型電腦、一體式（all in one，AIO）電腦、智慧眼鏡等產品皆配有影像擷取裝置。使用者能使用此類裝置進行如儲存影像、視訊會議或擴增實境(AR)等影像擷取的相關應用。

一般而言，影像擷取裝置的色彩精準度是其效能表現的一項重要指標。多數影像擷取裝置主要透過影像訊號處理器(image signal processor，ISP)進行色彩精準度校準。然而，一般校準機制可能有部分限制。舉例而言，考量生產資源，在生產時未必會對單一影像擷取裝置進行針對性調整。另外，用於進行色彩校正的色彩校正參數生成的環境可能是燈箱或特定場景，因此校正結果可能未必完全適合每一影像擷取裝置，亦未必符合每一使用者實際常用的環境。

有鑑於此，本發明提供一種影像校正方法及影像校正裝置，其可用於解決上述技術問題。

本發明提供一種影像校正方法，適於一影像校正裝置，所述方法包括：反應於判定影像校正裝置經切換為一校正模式，由影像校正裝置的一取像電路取得一第一場景影像，其中第一場景影像中包括一實體色卡；取得第一場景影像的一第一拍攝參數及一第一場景參數；對第一場景影像執行一第一線性化操作以產生一第一影像，並記錄第一線性化操作的一第一線性運算參數；基於第一影像及實體色卡產生一色彩校正矩陣；對第一影像執行相對於第一線性化操作的一第一非線性化操作以產生一第二影像，並記錄第一非線性化操作的一第一非線性運算參數；以及將第一拍攝參數及第一場景參數定義為對應於第一線性運算參數、色彩校正矩陣及第一非線性運算參數。

本發明提供一種影像校正裝置，其包括取像電路及處理器。處理器耦接於取像電路，並經配置以執行：反應於判定影像校正裝置經切換為一校正模式，控制取像電路取得一第一場景影像，其中第一場景影像中包括一實體色卡；取得第一場景影像的一第一拍攝參數及一第一場景參數；對第一場景影像執行一第一線性化操作以產生一第一影像，並記錄第一線性化操作的一第一線性運算參數；基於第一影像及實體色卡產生一色彩校正矩陣；對第一影像執行相對於第一線性化操作的一第一非線性化操作以產生一第二影像，並記錄第一非線性化操作的一第一非線性運算參數；以及將第一拍攝參數及第一場景參數定義為對應於第一線性運算參數、色彩校正矩陣及第一非線性運算參數。

請參照圖1，其是依據本發明之一實施例繪示的影像校正裝置示意圖。在不同的實施例中，影像校正裝置100例如是具有影像擷取功能的各式電腦裝置及/或智慧型裝置，但可不限於此。

在圖1中，影像擷取裝置100可包括取像電路102及處理器104。在一些實施例中，取像電路102例如是電荷耦合元件（Charge coupled device，CCD）鏡頭、互補式金氧半電晶體（Complementary metal oxide semiconductor transistors，CMOS）鏡頭，或其他可用於拍攝影像的取像裝置，但可不限於此。

處理器104耦接於取像電路102，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。

在一些實施例中，影像校正裝置100還可包括耦接於處理器104的儲存電路，其例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。

在本發明的實施例中，處理器104可存取儲存電路中記錄的模組、程式碼來實現本發明提出的影像校正方法，其細節詳述如下。

請參照圖2，其是依據本發明之一實施例繪示的影像校正方法流程圖。本實施例的方法可由圖1的影像校正裝置100執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。此外，為使本發明的概念更易於理解，以下將另輔以圖3作說明，其中圖3是依據本發明之一實施例繪示的應用情境圖。

概略而言，本發明的影像校正裝置100可運作於取像模式及校正模式中。當影像校正裝置100被切換為校正模式時，影像校正裝置100可基於當下場景的特性而取得適當的各式色彩校正參數，並在被切換為取像模式之後，基於這些色彩校正參數校正所拍攝到的影像。以下將作進一步說明。

首先，在步驟S210中，反應於判定影像校正裝置100經切換為校正模式，處理器104可控制取像電路102取得第一場景影像S1。在一實施例中，第一場景影像S1中例如可包括實體色卡C1。在一實施例中，在影像校正裝置100被切換為校正模式之後，處理器104例如可提供一提示訊息，以提示使用者199將實體色卡C1置於取像電路102的取像範圍中，以讓取像電路102可拍攝到包括實體色卡的影像作為第一場景影像C1，但可不限於此。在一些實施例中，上述提示訊息還可要求使用者199將實體色卡C1置於取像電路102的取像範圍中的某個指定區域，但可不限於此。

在一些實施例中，第一場景影像S1例如是已經由影像訊號處理器（ISP）處理的影像。進一步而言，在取像電路102經拍攝而取得一原始場景影像之後，ISP可對此原始場景影像進行某些初步的校正（例如執行某些非線性化操作），以將此原始場景影像校正為第一場景影像S1，但可不限於此。

之後，在步驟S220中，處理器104可取得第一場景影像S1的第一拍攝參數P11及第一場景參數P12。在不同的實施例中，第一拍攝參數P11可包括取像電路102拍攝第一場景影像S1時的白平衡參數及曝光值的至少其中之一。為便於說明，以下假設第一拍攝參數包括取像電路102拍攝第一場景影像S1時的白平衡參數及曝光值，但可不限於此。

在一些實施例中，第一場景參數P12例如是第一場景影像S1的暗像素比率。具體而言，第一場景影像S1可包括多個影像像素，這些影像像素包括多個暗像素，而各暗像素的灰階值皆小於一亮度門限值。在此情況下，所述暗像素比率可表徵為：

，其中

為第一場景影像S1中暗像素的數量，

為第一場景影像S1中影像像素的數量，但可不限於此。

之後，在步驟S230中，處理器104可對第一場景影像S1執行第一線性化操作以產生第一影像IM1，並記錄第一線性化操作的第一線性運算參數PL1。在一實施例中，假設該第一線性化操作為Gamma 2.2，則對應的第一線性運算參數可包括此Gamma 2.2的參數。在另一實施例中，假設該第一線性化操作為Gamma 2.4，則對應的第一線性運算參數可包括此Gamma 2.4的參數，但可不限於此。

之後，在步驟S240中，處理器104可基於第一影像IM1及實體色卡C1產生色彩校正矩陣M1。在一實施例中，實體色卡C1可包括一或多個單色塊，且各單色塊的實際顏色可為已知。

在此情況下，處理器104可在第一影像IM1中找出對應於上述單色塊中的某一者（下稱特定單色塊）的單色影像區域。之後，處理器104可基於此特定單色塊的實際顏色及此單色影像區域的區域顏色估計色彩校正矩陣M1。

在一實施例中，所述特定單色塊的實際顏色可表徵為(

)，而上述單色影像區域的區域顏色可表徵為(

)。在此情況下，所述特定單色塊的實際顏色與上述單色影像區域的區域顏色之間的關係可表徵為下式(1)。

(1)

因此，處理器104可基於式(1)而反推色彩校正矩陣M1的內容，而其具體作法可參照現有技術中的相關矩陣運算手段，於此不另贅述。

在一實施例中，透過上述手段所得到的色彩校正矩陣M1可理解為基於使用者199當下所在的場景所得到，因此當影像校正裝置100日後在同樣的場景拍攝影像時，影像校正裝置100即可基於色彩校正矩陣M1來進行此影像的色彩校正，進而讓校正後的影像可在上述場景中提供較佳的色彩表現。

接著，在步驟S250中，處理器104可對第一影像IM1執行相對於第一線性化操作的第一非線性化操作以產生第二影像IM2，並記錄第一非線性化操作的第一非線性運算參數NPL1。

在一實施例中，假設第一線性化操作為Gamma 2.2，則相對於第一線性化操作的第一非線性化操作例如是Gamma 1/2.2，而其對應的第一非線性運算參數NPL1例如是Gamma 1/2.2的參數。在另一實施例中，假設第一線性化操作為Gamma 2.4，則相對於第一線性化操作的第一非線性化操作例如是Gamma 1/2.4，而其對應的第一非線性運算參數NPL1例如是Gamma 1/2.4的參數，但可不限於此。

之後，在步驟S260中，處理器104可將第一拍攝參數P11及第一場景參數P12定義為對應於第一線性運算參數PL1、色彩校正矩陣M1及第一非線性運算參數NPL1。亦即，處理器104可建立「第一拍攝參數P11+第一場景參數P12」與「第一線性運算參數PL1、色彩校正矩陣M1及第一非線性運算參數NPL1」之間的對應關係，但可不限於此。

在一實施例中，處理器104可在一查找表中將第一拍攝參數P11及第一場景參數P12定義為對應於第一線性運算參數PL1、色彩校正矩陣M1及第一非線性運算參數NPL1，但可不限於此。

基此，在影像校正裝置100被切換為取像模式之後，處理器104即可基於上述查找表來對所拍攝的影像進行校正，而其相關細節將輔以圖4作進一步說明。

請參照圖4，其是依據本發明之一實施例繪示的應用情境圖。在圖4中，反應於判定影像校正裝置100經切換為取像模式，處理器104可控制取像電路102取得第二場景影像S2。之後，處理器104可取得第二場景影像的第二拍攝參數P21及第二場景參數P22。在不同的實施例中，第二拍攝參數P21可對應於第一拍攝參數P11的屬性，並可包括取像電路102拍攝第二場景影像S2時的白平衡參數及曝光值的至少其中之一。

在一實施例中，由於第一拍攝參數P11係假設為取像電路102拍攝第一場景影像S1時的白平衡參數及曝光值，因此第二拍攝參數P21可為取像電路102拍攝第二場景影像S2時的白平衡參數及曝光值。

在一實施例中，處理器104可基於取得第一場景影像S1的第一場景參數P12的方式取得第二場景影像S2的第二場景參數P22（例如是第二場景影像S2中的暗像素比率）。

之後，處理器104可判斷第二拍攝參數P21及第二場景參數P22是否分別對應於第一拍攝參數P11及第一場景參數P12。

在一實施例中，處理器104可判斷第二拍攝參數P21與第一拍攝參數P11之間的第一誤差是否小於一第一門限值，且第二場景參數P22與第一場景參數P12之間的第二誤差是否小於一第二門限值。在一實施例中，反應於判定第二拍攝參數P21與第一拍攝參數P11之間的第一誤差小於第一門限值，且第二場景參數P22與第一場景參數P12之間的第二誤差小於第二門限值，處理器104可判定第二拍攝參數P21及第二場景參數P22分別對應於第一拍攝參數P11及第一場景參數P12，反之亦反。

在一實施例中，反應於判定第二拍攝參數P21及第二場景參數P22分別對應於第一拍攝參數P11及第一場景參數P12，此即代表第二場景影像S2的拍攝環境係對應於第一場景影像S1的拍攝環境。在此情況下，處理器104可基於先前取得的色彩校正矩陣M1來對第二場景影像S2進行色彩校正。

在一實施例中，處理器104可在上述查找表中取得對應於第一拍攝參數P11及第一場景參數P12的第一線性運算參數PL1、色彩校正矩陣M1及第一非線性運算參數NPL1，並基於第一線性運算參數PL1、色彩校正矩陣M1及第一非線性運算參數NPL1將第二場景影像S2校正為第三場景影像S3。

如圖4所示，處理器104可基於第一線性運算參數PL1對第二場景影像S2執行上述第一線性化操作以產生第三影像IM3，並基於色彩校正矩陣M1將第三影像IM3校正為第四影像IM4。

在一實施例中，處理器104可對第三影像IM3中的各像素皆乘以色彩校正矩陣M1，以將第三影像IM3校正為第四影像IM4，但可不限於此。

之後，處理器104可基該第一非線性運算參數NPL1對第四影像IM4執行上述第一非線性化操作以產生第三場景影像S3。在一實施例中，處理器104可將第三場景影像S3顯示予使用者199觀看。藉此，使用者199即可觀看到能夠在當下場景中提供較佳色彩表現的第三場景影像S3，從而得到更佳的觀看體驗。

綜上所述，在校正模式下，本發明的影像校正裝置可在取得包括實體色卡的場景影像之後，依據實體色卡中單色塊的實際顏色與所拍到影像中對應影像區域的顏色之間的差異估計適用當下場景的色彩校正矩陣。之後，在取像模式下，當影像校正裝置在同樣場景下拍攝影像時，影像校正裝置即可基於上述色彩校正矩陣來進行此影像的色彩校正，進而讓校正後的影像可在上述場景中提供較佳的色彩表現。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:影像擷取裝置 102:取像電路 104:處理器 199:使用者 C1:實體色卡 IM1:第一影像 M1:色彩校正矩陣 NPL1:第一非線性運算參數 PL1:第一線性運算參數 S1:第一場景影像 S2:第二場景影像 S3:第三場景影像 S210~S260:步驟

圖1是依據本發明之一實施例繪示的影像校正裝置示意圖。圖2是依據本發明之一實施例繪示的影像校正方法流程圖。圖3是依據本發明之一實施例繪示的應用情境圖。圖4是依據本發明之一實施例繪示的應用情境圖。

S210~S260:步驟

Claims

一種影像校正方法，適於一影像校正裝置，所述方法包括：反應於該影像校正裝置判定該影像校正裝置經切換為一校正模式，由該影像校正裝置的一取像電路取得一第一場景影像，其中該第一場景影像中包括一實體色卡，該實體色卡包括一特定單色塊；由該影像校正裝置取得該第一場景影像的一第一拍攝參數及一第一場景參數；由該影像校正裝置對該第一場景影像執行一第一線性化操作以產生一第一影像，並記錄該第一線性化操作的一第一線性運算參數；由該影像校正裝置基於該第一影像及該實體色卡產生一色彩校正矩陣，包括：在該第一影像中找出對應於該特定單色塊的一單色影像區域，並基於該特定單色塊的實際顏色及該單色影像區域的一區域顏色估計該色彩校正矩陣；由該影像校正裝置對該第一影像執行相對於該第一線性化操作的一第一非線性化操作以產生一第二影像，並記錄該第一非線性化操作的一第一非線性運算參數；以及由該影像校正裝置在一查找表中將該第一拍攝參數及該第一場景參數定義為對應於該第一線性運算參數、該色彩校正矩陣及該第一非線性運算參數。
如請求項1所述的方法，更包括：反應於判定該影像校正裝置經切換為一取像模式，由該取像電路取得一第二場景影像；取得該第二場景影像的一第二拍攝參數及一第二場景參數；反應於判定該第二拍攝參數及該第二場景參數分別對應於該第一拍攝參數及該第一場景參數，在該查找表中取得對應於該第一拍攝參數及該第一場景參數的該第一線性運算參數、該色彩校正矩陣及該第一非線性運算參數；基於該第一線性運算參數、該色彩校正矩陣及該第一非線性運算參數將該第二場景影像校正為一第三場景影像。
如請求項2所述的方法，包括：反應於判定該第二拍攝參數與該第一拍攝參數之間的一第一誤差小於一第一門限值，且該第二場景參數與該第一場景參數之間的一第二誤差小於一第二門限值，判定該第二拍攝參數及該第二場景參數分別對應於該第一拍攝參數及該第一場景參數。
如請求項2所述的方法，其中基於該第一線性運算參數、該色彩校正矩陣及該第一非線性運算參數校正該第二場景影像的步驟包括：基於該第一線性運算參數對該第二場景影像執行該第一線性化操作以產生一第三影像；基於該色彩校正矩陣將該第三影像校正為一第四影像；基於該第一非線性運算參數對該第四影像執行該第一非線性化操作以產生該第三場景影像。
如請求項1所述的方法，其中該第一場景影像為已經由一影像訊號處理器處理的影像。
如請求項1所述的方法，其中該第一拍攝參數包括該取像電路拍攝該第一場景影像時的一白平衡參數及一曝光值的至少其中之一。
如請求項1所述的方法，其中該第一場景影像包括多個影像像素，該些影像像素包括多個暗像素，該第一場景影像的該第一場景參數包括該第一場景影像的一暗像素比率，其中該暗像素比率表徵為：
，其中N _DarkPixel為該些暗像素的數量，N _GlobalImage為該些影像像素的數量，且各該暗像素的灰階值小於一亮度門限值。
如請求項1所述的方法，其中該第一線性化操作包括Gamma 2.2，該第一線性運算參數包括該Gamma 2.2的參數，該第一非線性化操作包括Gamma 1/2.2，該第一非線性運算參數包括該Gamma 1/2.2的參數。
如請求項1所述的方法，其中該第一線性化操作包括Gamma 2.4，該第一線性運算參數包括該Gamma 2.4的參數，該第一非線性化操作包括Gamma 1/2.4，該第一非線性運算參數包括該Gamma 1/2.4的參數。
如請求項1所述的方法，其中該特定單色塊的實際顏色表徵為(R _TG ,G _TG ,B _TG)，該單色影像區域的區域顏色表徵為(R _SRC ,G _SRC ,B _SRC)，其中：
，其中M1為該色彩校正矩陣。
一種影像校正裝置，包括：一取像電路；一處理器，其耦接於該取像電路，並經配置以執行：反應於判定該影像校正裝置經切換為一校正模式，控制該取像電路取得一第一場景影像，其中該第一場景影像中包括一實體色卡，該實體色卡包括一特定單色塊；取得該第一場景影像的一第一拍攝參數及一第一場景參數；對該第一場景影像執行一第一線性化操作以產生一第一影像，並記錄該第一線性化操作的一第一線性運算參數；基於該第一影像及一實體色卡產生一色彩校正矩陣，包括：在該第一影像中找出對應於該特定單色塊的一單色影像區域，並基於該特定單色塊的實際顏色及該單色影像區域的一區域顏色估計該色彩校正矩陣；對該第一影像執行相對於該第一線性化操作的一第一非線性化操作以產生一第二影像，並記錄該第一非線性化操作的一第一非線性運算參數；以及在一查找表中將該第一拍攝參數及該第一場景參數定義為對應於該第一線性運算參數、該色彩校正矩陣及該第一非線性運算參數。