TWI720205B - 增強影像之方法 - Google Patents

Abstract

一種增強一影像之方法包括：建構一對應於在一焦平面陣列處接收之一輸入影像之輸入直方圖，該輸入直方圖表示一對應於該輸入影像之像素強度分佈；及對該輸入直方圖執行一分析操作以產生一經修改累積分佈，其中該分析操作隨相機溫度而變。使用該經修改累積分佈來變換該輸入影像，以產生一對應於該輸入影像之經增強輸出影像，其中該輸入影像之至少一部分在該輸出影像中得以增強。除了非線性操作之外或代替該非線性操作，可基於相機溫度及靈敏度狀態中之至少一者來調整該輸入直方圖之分組邊緣以建構一經調整累積分佈。

Description

增強影像之方法

本發明係在政府支持下根據由海軍研究辦公室與CACI-NVESD授予之合同號W15P7T-10-D-D413/0024(P8650)及N00014-14-C-0061而創製。政府對本發明享有一定權利。

本發明係關於影像增強，且更特定言之，係關於基於直方圖操縱及其類似者之影像增強。

常常需要增強由相機或感測器獲取之影像以顯示影像中之額外細節。舉例而言，當在明亮光線存在下拍攝影像時，陰影與明亮區域中之細節常常會丟失。同樣，黑暗影像之黑暗區域中之細節常常丟失。因此，需要在不損害總體影像品質之情況下顯示此等細節。

過去，已開發出數種影像增強方法。此等方法之實例包括對比度拉伸、直方圖等化、直方圖投影及平台等化(plateau equalization)。在對比度拉伸中，擴展(「拉伸」)像素強度分佈以佔據可能值之整個範圍。根據此方法，量測(或估算)最小與最大像素強度值，且將偏移及增益校正值應用於對應於影像中之每一像素的像素強度值，以使得佔據強度值之整個範圍。在直方圖等化中，使像素強度分佈衰減或變平。根據此方法，建構輸入直方圖，其包括對應於影像內之每一強度等級的全部像素數。接著，建構且正規化累積直方圖，且使用經正規化之累積直方圖作為查詢表(LUT)來變換影像中之每一像素。在直方圖投影中，建構由被佔據及未被佔據之等級組成的直方圖。接著，建構且正規化累積直方圖，且使用經正規化之累積直 方圖作為查詢表來變換影像中之每一像素。在平台等化中，建構輸入直方圖，且在指定等級或「平台」處對其進行剪切。接著，建構且正規化累積直方圖，且使用經正規化之累積直方圖作為查詢表來變換影像中之每一像素。

以上影像增強方法可能存在數個缺點。舉例而言，傳統影像增強方法可能不能充分地顯示影像特定區(諸如陰影或明亮區域)中之細節。相反，此等方法傾向於均勻地增強整個影像，此舉可能會為了增強影像之所需區而導致影像之其他區變形。另外，傳統影像增強方法在不進行手動調整之情況下無法容易地適應於增強不同環境中之影像(例如，藉由回應於相機靈敏度的變化而動態地更改增強特性)。

此等習知方法及系統通常被認為對於其預期目的係令人滿意的。然而，此項技術中仍需要改良之影像增強。本發明提供對於此需要之一種解決方案。

一種增強影像之方法包括建構對應於在焦平面陣列處接收的輸入影像之輸入直方圖，該輸入直方圖表示對應於該輸入影像之像素強度分佈。自該輸入直方圖，計算累積分佈。該累積分佈經受意欲藉由像素值之重新分佈而調整影像對比度之修改。該等修改可包括應用分析操作，該等分析操作可取決於相機溫度及/或靈敏度狀態。使用該經修改累積分佈來變換該輸入影像，以產生對應於該輸入影像之經增強輸出影像，其中該輸入影像之至少一部分在該輸出影像中得以增強。

執行分析操作可包括計算該累積分佈之冪次以產生所得查詢表LUT。執行分析操作可包括將該所得累積分佈乘以一斜坡函數，該斜坡函數如下所示： RAMP_NORM=(X+ENH_RAMP)/(1+ENH_RAMP)且RAMP_LUT=MAX_BIN*RAMP_NORM，其中X=([0：MAX_BIN]-OFFSET(T))/(CLIP(T)-OFFSET(T))，其中若X<0，則X=0，若X>1，則X=1。其中OFFSET(T)為溫度相依性最小輸入直方圖等級，CLIP(T)為溫度相依性最大輸入直方圖等級，ENH_RAMP為坡度調整，RAMP_NORM為正規化斜坡函數，RAMP_LUT為用於斜坡計算之查詢表，且MAX_BIN為累積LUT分組之最大值。

執行分析操作可包括接收相機溫度資料及使用該相機溫度，其中該分析操作隨相機溫度而變。該輸入影像可自該焦平面陣列接收，其中允許該焦平面陣列在溫度上可變化。

一種系統可包括成像裝置，該成像裝置包括用於擷取輸入影像之焦平面陣列。該系統亦包括影像增強模組，該影像增強模組操作性地連接至該成像裝置以執行本文揭示之用於影像增強之任何方法。該成像裝置可包括溫度感測器，該溫度感測器操作性地連接至該模組以提供相機溫度。該系統可包括用於輸出經變換或經增強影像之任何合適之輸出裝置。

根據以下對較佳實施例之詳細描述並結合圖式來理解，本發明之系統及方法的此等及其他特徵對於熟習此項技術者將變得更容易地顯而易見。

100:系統

102:光學元件

104:焦平面陣列(FPA)

106:影像增強模組

108:溫度感測器

110:輸出裝置

112:輸入直方圖

114:分組邊緣

116:分組邊緣

為使熟習本發明所屬領域之此項技術者將容易地理解如何在不進行過度實驗之情況下製作並使用本發明之裝置及方法，將在下文中參考某些圖詳細地描述其較佳實施例，其中：圖1為根據本發明而建構之系統的例示性實施例之示意圖，其展示成像裝置及用於增強來自成像裝置之影像的模組；及圖2為根據本發明之例示性直方圖的示意圖，其示意性地展示對分組邊緣之基於溫度之調整及用於影像增強之非線性操作。

現在將參考圖式，其中相同參考數字標識本發明之類似結構特徵或態樣。為了解釋及說明而非限制的目的，圖1中展示根據本發明之系統的例示性實施例之局部視圖，且其大體由參考符號100標示。圖2中提供根據本發明或其態樣之系統之其他實施例，此將如下所述。本文描述之系統及方法可在非(或僅部分)溫度控制之成像系統中用來進行影像增強，例如用於紅外成像。參考共同讓渡之美國專利第8,218,868號，其全部內容以引用之方式併入本文中。

系統100包括成像裝置，該成像裝置包括光學耦合至焦平面陣列(FPA)104以用於擷取輸入影像之光學元件102。影像增強模組106操作性地連接至成像裝置之焦平面陣列104，以執行本文揭示之用於影像增強之任何方法。溫度感測器108操作性地連接至模組106以提供相機溫度。在此實例中，感測器108被展示為安裝至FPA 104以偵測FPA 104之溫度，然而，熟習此項技術者將容易瞭解，感測器108可安裝在別處以間接地判定FPA或溫度。輸出裝置110操作性地連接至模組106以用於輸出經變換或經增強影像，且可包括任何合適類型之輸出裝置，諸如顯示器或儲存裝置。

現在參考圖2，增強影像之方法包括建構對應於在圖1之FPA 104處接收之輸入影像之輸入直方圖112。該輸入直方圖表示對應於輸入影像之像素強度分佈。基於相機溫度及靈敏度狀態中之至少一者來調整該輸入直方圖之分組邊緣114及116以建構累積分佈(a)。對分組邊緣114及116之調整在圖2中利用雙向箭頭來示意性地指示。使用累積分佈(b)來變換輸入影像，以產生對應於該輸入影像之經增強輸出影像，其中該輸入影像之至少一部分在該輸出影像中得以增強。此經增強影像可作為輸出自輸出裝置110發出。

調整分組邊緣114及116可包括例如自感測器108接收相機溫度資料，且使用相機溫度來調整分組邊緣114及116。該方法可包括隨相機溫度而利用經調整分組邊緣114及116對焦平面陣列104執行自動增益選擇及/或自動靈敏度選擇。可自焦平面陣列104接收輸入影像，其中允許焦平面陣列104在溫度上可變化，亦即，焦平面陣列不受溫度控制或僅部分受溫度控制。因此，影像增強在不具有熱電冷卻或其類似者之系統中起作用。

執行分析操作可包括計算累積分佈之冪次以產生所得LUT。執行分析操作可包括將所得累積分佈乘以斜坡函數，該斜坡函數如下所示：RAMP_NORM=(X+ENH_RAMP)/(1+ENH_RAMP)且RAMP_LUT=MAX_BIN*RAMP_NORM，其中X=([0：MAX_BIN]-OFFSET(T))/(CLIP(T)-OFFSET(T))，其中若X<0，則X=0，若X>1，則X=1。 其中OFFSET(T)為溫度相依性最小輸入直方圖等級，CLIP(T)為溫度相依性最大輸入直方圖等級，ENH_RAMP為坡度調整，RAMP_NORM為正規化斜坡函數，RAMP_LUT為用於斜坡計算之查詢表，MAX_BIN為累積LUT分組之最大值。

執行分析操作可包括接收相機溫度資料(例如，模組106可自感測器108接收溫度資料)，及使用該相機溫度，其中該分析操作隨相機溫度而變。如上所述，在調整分組邊緣114及116之情境中，可自焦平面陣列104接收輸入影像，其中允許焦平面陣列104在溫度上可變化。

該方法可包括如上所述之分析操作與調整分組邊緣兩者。舉例而言，可基於相機溫度及靈敏度狀態中之至少一者來調整輸入直方圖112之分組邊緣114及116，以建構經調整累積分佈(a)，其中對輸入直方圖執行分析操作包括對經調整直方圖(a)執行分析操作以產生經修改累積分佈(b)。

本文揭示之系統及方法之潛在優點包括具有影像增強之非溫度控制或僅部分溫度控制之成像，且允許先前僅對於溫度控制之成像系統實用的自動增益及靈敏度控制。

如上所述且在圖式中展示的本發明之方法及系統提供具有極佳特性之影像增強，包括在非(或僅部分)溫度控制之成像系統中之影像增強。雖然已參考較佳實施例展示且描述了本發明之設備及方法，但熟習此項技術者將容易瞭解，可在不脫離本發明之範疇的情況下對其進行改變及/或修改。

100:系統

102:光學元件

104:焦平面陣列(FPA)

106:影像增強模組

108:溫度感測器

110:輸出裝置

Claims (6)

1. 一種增強一影像之方法，其包含：建構一對應於在一焦平面陣列處接收之一輸入影像之輸入直方圖，該輸入直方圖表示一對應於該輸入影像之像素強度分佈；對該輸入直方圖執行一分析操作以產生一經修改直方圖，其中該分析操作隨相機溫度而變，其中執行一分析操作包括接收相機溫度資料及使用該相機溫度；及使用該經修改直方圖之一累積分佈來變換該輸入影像，以產生一對應於該輸入影像之經增強輸出影像，其中該輸入影像之至少一部分在該輸出影像中得以增強，其中執行一分析操作包括計算該輸入直方圖之一冪次以產生一所得直方圖，其中執行該分析操作包括將該所得直方圖乘以在一非線性操作中之一斜坡函數，該斜坡函數如下所示：RAMP_NORM=(X+ENH_RAMP)/(1+ENH_RAMP)且RAMP_LUT=MAX_BIN*RAMP_NORM，其中X=([0：MAX_BIN]-OFFSET(T))/(CLIP(T)-OFFSET(T))，其中若X<0，則X=0，若X>1，則X=1；其中OFFSET(T)為溫度相依性最小輸入直方圖等級，CLIP(T)為溫度相依性最大輸入直方圖等級，ENH_RAMP為坡度調整，RAMP_NORM為正規化斜坡函數，RAMP_LUT為用於斜坡計算之查詢表，MAX_BIN為累積LUT分組之最大值，其中該非線性操作隨該相機溫度而變；及 基於相機溫度及靈敏度狀態來調整該輸入直方圖之分組邊緣以建構一經調整直方圖，其中對該輸入直方圖執行一分析操作包括對該經調整直方圖執行該分析操作以產生該經修改直方圖。
2. 如申請專利範圍第1項之方法，其中調整該等分組邊緣包括接收相機溫度資料及使用該相機溫度來調整該等分組邊緣。
3. 如申請專利範圍第1項之方法，其進一步包含自該焦平面陣列接收該輸入影像，其中允許該焦平面陣列在溫度上可變化。
4. 一種增強一影像之方法，其包含：建構一對應於在一焦平面陣列處接收之一輸入影像之輸入直方圖，該輸入直方圖表示一對應於該輸入影像之像素強度分佈；對該輸入直方圖執行一分析操作以產生一經修改直方圖，其中該分析操作隨相機溫度而變；使用該經修改直方圖之一累積分佈來變換該輸入影像，以產生一對應於該輸入影像之經增強輸出影像，其中該輸入影像之至少一部分在該輸出影像中得以增強，其中執行該分析操作包括計算該輸入直方圖之一冪次以產生一所得直方圖，其中執行該分析操作包括將該所得直方圖乘以在一非線性操作中之一斜坡函數，其中執行該分析操作包括接收相機溫度資料及使用該相機溫度，其中該非線性操作隨相機溫度而變；及自該焦平面陣列接收該輸入影像，其中允許該焦平面陣列在溫度上可變化。
5. 如申請專利範圍第4項之方法，其進一步包含：基於相機溫度及靈敏度狀態中之至少一者來調整該輸入直方圖之分組邊緣以建構一經調整直方圖，其中對該輸入直方圖執行一分析操作包括對該經調整直方圖執行該分析操作以產生該經修改直方圖。
6. 如申請專利範圍第5項之方法，其中調整該等分組邊緣包括接收相機溫度資料及使用該相機溫度來調整該等分組邊緣。

Images