TWI381723B

TWI381723B - 攝像裝置，影像信號處理裝置及影像信號處理方法

Info

Publication number: TWI381723B
Application number: TW097108355A
Authority: TW
Inventors: Tomoyoshi Natsui
Original assignee: Sony Corp
Priority date: 2007-03-28
Filing date: 2008-03-10
Publication date: 2013-01-01
Also published as: CN101277382A; US7884857B2; TW200904158A; JP2008245096A; CN101277382B; JP4992507B2; US20080239101A1

Description

攝像裝置，影像信號處理裝置及影像信號處理方法

本發明包含與2007年三月28日申請之日本專利申請案JP2007－085307號有關的請求標的，其整體於本文併入參考。

本發明關於一種可適當地應用於具有例如自動拐點處理功能的攝影機等的攝像裝置，且亦關於一種影像信號處理裝置及被此裝置使用的影像信號處理方法。

CCD(電荷耦合裝置)元件及CMOS(金氧半導體)元件目前廣泛用作為諸如數位靜態相機及攝影機的攝像裝置中的攝像元件。然而，由於此等攝像元件的輸出動態範圍比輸入動態範圍還窄，所以當被輸入的光的量超過該輸出動態範圍時會有問題，顯示於顯示單元等的影像會發生所謂的“明亮區漸層劣化”。

圖1是顯示自攝像元件輸出之影像信號的輸出特性。在圖1中，水平軸顯示輸入動態範圍(%)且垂直軸顯示該輸出動態範圍(%)。在圖1中，在該輸出動態範圍中的最大值(下文稱為“白色剪輯點(whiTe clip poinT)”)係以標為“WP”的虛線表示。在圖1所示的例子中，白色剪輯點WP是109%，且輸入動態範圍及輸出動態範圍彼此互相匹配直到達到109%。換言之，與被輸入的光的量成正比的輸出信號被輸出。

然而，一旦被輸入的光的量超過白色剪輯點WP，該輸出動態範圍的值不再改變。換言之，即使超過白色剪輯點WP的光的量被接收，只有固定的值會自該攝像元件輸出。此意味著當顯示於監視器等上時，白色剪輯點被超過的高亮度組件會明亮區漸層劣化(故強光(highlighT)部分顯現純白色)。

過去，為抑制明亮區漸層劣化，已實施壓縮預定或更高位準的高亮度組件的處理以便保持主題的亮度(brighTness，亦即luminance)於輸出動態範圍以內。此種處理稱為“拐點處理(knee processing”)。圖2顯示當已實施拐點處理的影像信號的輸出特性。在圖2中，被標為KP的點顯示該拐點處理的起始點，且稱為“拐點(knee poinT)”。在圖2所示的例子中，拐點KP是在輸入動態範圍的88%的點處，且在輸入動態範圍的88%到160%的範圍中的高亮度組件被壓縮到在輸出動態範圍的88%到109%的範圍以內。影像信號的輸出特性曲線在達到拐點KP之際彎曲，且該曲線的斜率(即，傾度)對應到在已經實施拐點處理的輸入動態範圍的每個範圍中的壓縮的量。此斜率稱為‘‘拐點斜率(knee slope)”。

圖3是顯示處於尚未實施拐點處理的狀態中，依亮度位準的像素數的分佈的直方圖(hisTogram)。圖4顯示處於已對顯圖3所示之像素構成之影像信號實施拐點處理的狀態中，依亮度位準的像素數的分佈的直方圖。在此等直方圖中，垂直軸顯示像素數目，而水平軸顯示亮度位準( %)。在圖3，由於未實施拐點處理，所有在白色剪輯點WP線上右邊的像素係明亮區漸層劣化地顯示顯示器上。

另一方面，圖4顯示藉著實施將從輸入動態範圍的88%(其被設為拐點，如圖2所示者)到160%的範圍的高亮度組件壓縮進輸出動態範圍的88%到109%的範圍的處理，且此等具有150%或更高亮度位準的像素數目下降，且此等具有150%亮度位準的像素被具有50到100%亮度位準的像素以及具有100到150%亮度位準的像素所取代。藉著實施此種處理，可減少具有等於或高於白色剪輯點WP之亮度值的總像素數，故可抑制明亮區漸層劣化。

圖5A顯示尚未實施拐點處理的影像的例子，且圖5B顯示藉著對圖5A所示的影像實施拐點處理所產生的影像的例子。雖然在圖5A中被標示為區域AR1的部分為明亮區漸層劣化，但藉著實施拐點處理來壓縮該高亮度組件，便可能將該影像校正成明亮區漸層劣化已經被抑制的影像，諸如圖5B所示者。此外，近年來已引進具有根據主題的亮度位準來自動調整拐點的功能的攝像裝置。此種功能稱為“自動拐點(auTomaTic knee或auToknee)”。

亦可想到一種指定較廣的輸出動態範圍給頻頻出現於圖框中的影像位準的方法。

日本未審專利公開案第H08－181887號揭露依輸入影像的直方圖從拐點向上對拐點斜率適合的控制。

倘若高亮度主題呈現於要被攝像的影像中時，即使當該高亮度主題佔用的圖框的比例極小，將仍基於該高亮度主題來設定該拐點，以便將輸入動態範圍中的高亮度組件壓縮到在輸出動態範圍以內。換言之，由於拐點會大幅下降，當實施此種處理時，整個影像會有如圖6所示之不良漸層的問題，導致整體是平的(flaT)影像。在圖6中，由於諸如點光源的高亮度主題HB1的關係，慚層廣落在整個影像，導致被再生的主題不像球面但像一平的圖形。

作為用以將在輸入動態範圍內的高亮度組件壓縮到輸出動態範圍內的方法，改變拐點斜率傾度的方法亦屬已知(例如可見上述日本公開文獻)。然而，當此種處理導致拐點處理之前及之後在拐點斜率的傾度方面的大幅改變時，影像中漸層的改變的速率會很忽然地改變。為此緣故，便有諸如像輪廓線的線的外框(即假外框)產生於該影像的邊緣部分的周圍的情形。

本發明有鑑於上述及其它問題構想出並致力於抑制有高亮度主題出現時所產生的明亮區漸層劣化，並且使假外框的產生減至最少。

根據本發明實施例，提供一種攝像裝置。直方圖偵測單元偵測到依攝像信號之亮度位準的像素數的分佈。最大亮度值計算單元計算出該輸入影像信號的最大亮度值。基於該直方圖偵測單元偵測到之依亮度位準的像素數的分佈，高亮度比例計算單元計算高亮度信號在構成一或多數圖框的所有像素中的比例。拐點計算單元基於該最大亮度值計算單元計算出的最大亮度值來計算拐點。拐點處理單元產生具有預定傾度的拐點斜率，該預定傾度始於該拐點計算單元計算出之該拐點。

依此方式，拐點的計算不僅基於最大亮度值，且亦考量到高亮度信號的比例。此外，不論被設為拐點的位準為，都會產生相同傾度的拐點斜率。

根據本發明的實施例，由於拐點不僅基於最大亮度值，亦考量到高亮度信號的比例，當具有絕對高亮度位準的主體呈現但被此一主體佔用的像素的比例低時，便可設定考量到亮度值分佈的適合的拐點。

此外，由於根據本發明實施例的拐點斜率的傾度不改變，便可抑制假外框的產生。

現將參照圖式7至12說明本發明實施例。圖7係顯示根據本發明實施例之攝像裝置的內部結構的範例方塊圖。如圖7所示，攝像裝置100包括控制單元14，其控制種種建構攝像裝置100的組件；儲存單元15，暫時儲存由控制單元14處理的資料且諸如程式的資料亦儲存在儲存單元15。控制單元14可以微處理器等組成且儲存單元15可以半導體記憶體等組成。儲存來自直方圖偵測單元5的輸出值等等的儲存單元15、最大亮度值計算單元6、高亮度比例計算單元7、及拐點計算單元8等稍後描述。

攝像裝置100亦包括透鏡1、攝像元件2、類比信號處理單元3及類比/數位轉換器單元4。透鏡1將來自主題的光傳送到攝像裝置100。攝像元件2藉著對攝像元件2透過透鏡1入射的光實施光電轉換來產生影像信號，並輸出經產生的影像信號。類比信號處理單元3對輸出自攝像元件2的影像信號實施信號處理。類比/數位轉換器單元4(本文簡稱為“A/D轉換器單元”)將輸出自類比信號處理單元3的影像信號轉換成數位信號。

攝像元件2可以CCD元件或CMOS元件組成，將已被分色稜鏡(未顯示)分成三色R、G及B的光轉換成對應到個別顏色的量的信號，並將此等信號作為影像信號輸出。類比信號處理單元3可以CDS(CorrelaTed Double Sampling，相關雙重取樣)電路、AGC(AuTomaTic Gain ConTrol，自動增益控制)電路等等(未顯示)所組成。CDS電路實施將該輸出影像信號所含的重置雜訊移除的處理，且AGC電路實施將該影像信號放大以便調整該信號到預定位準的處理。

攝像裝置100亦包括直方圖偵測單元5、最大亮度值計算單元6、高亮度比例計算單元7、拐點計算單元8以及拐點處理單元9。直方圖偵測單元5偵測在針對不同亮度位準設定的區域中的像素數目的分佈。最大亮度值計算單元6基於直方圖偵測單元5的偵測結果計算最大亮度值PK(鋒值)。高亮度比例計算單元7測量具有等於或高於白色剪輯點WP的亮度值的影像信號並計算此等影像信號的比例。該拐點計算單元8基於來自最大亮度值計算單元6或高亮度比例計算單元7的輸出值計算出拐點。拐點處理單元9包含具有被拐點計算單元8計算出的高亮度信號之拐點作為起始點。

直方圖偵測單元5決定被輸入影像信號的亮度位準對應到被預先以亮度位準設定的預定數目的區域中的哪個區域，以便將該影像信號分類為對應亮度區域，並計數指定給各亮度區域的像數數目。來自直方圖偵測單元5的輸出值被儲存於儲存單元15中且在每個垂直同步週期被控制單元14讀取一次。

最大亮度值計算單元6核對由直方圖偵測單元5得到的直方圖(依亮度位準的像素數分佈)，用以開始自具最高亮度位準的區域依序呈現像素於各區域中，以及以像素尋找區域，決定已尋找到像素作為最大亮度值PK的該區域的中間位準值。

高亮度比例計算單元7決定被輸入影像信號的亮度位準是等於還是高於白色剪輯點WP(在此實施例中是109%)以及當該輸入影像信號亮度位準等於或高於白色剪輯點WP時，計數亮度位準等於或高於白色剪輯點WP的像素數。當此處理已實施達一圖框周期時，具有等於或高於白色剪輯點WP的高亮度位準的像素對構成一圖框的總像素數的比例於是被計算出來。此外，經計數的結果被儲存於儲存單元15中，且在預定的時序，例如，十二圖框的一預定數目的圖框的高亮度比例資料被讀出，且計算出在最後十二圖框中的像素的高亮度比例P(%)。要注意，雖然本實施例說明的是在最後十二圖框中的所有像素被用作為用以計算高亮度比例P(%)的資料的例子，作為其它範例，亦可以使用一圖框或另一多數的圖框的例子。

拐點計算單元8基於來自最大亮度值計算單元6的輸出值以及來自高亮度比例計算單元7的輸出值來計算拐點，亦即高亮度組件信號的壓縮起始點。除了不斷地根據該等輸入值計算拐點以外，當被高亮度比例計算單元7計算出的高亮度比例P(%)是高於或低於預先設定的臨限值時，拐點計算單元8實施指定預定值的拐點的處理。在本實施例中，預先進行以下設定。0%的高亮度比例被設定為第一臨限值Th1，30%的高亮度比例被設定成第二臨限值Th2，最大拐點KMx被設定為當該高亮度比例P是0%或以上但在第一臨限值Th1以下時所指定的拐點，且最拐點KMn被設定為當該高亮度比例P是第二臨限值Th2或更高時所指定的拐點。在本實施例中，最大拐點KMx被設定為109%且最小拐點KMn被設定在70%。

拐點處理單元9實施以由拐點計算單元8計算出的拐點作為起始點來產生拐點斜率(亦即壓縮該等高亮度組件)的處理。在本實施例中，不論拐點設定的位置為何，拐點斜率的傾度是固定的，且當拐點移動時，拐點斜率亦平行移動。圖8顯示當拐點在最小拐點KMn、最大拐點KMx以及其它位置時的拐點斜率形成處。當最大拐點KMx已設成拐點時，始於最大拐點KMx的拐點斜率KS1於是形成，而當最小拐點KMn已被設成拐點時，始於最小拐點 KMn的拐點斜率KS2於是形成。類似地，當另一點已被設成拐點時，始於該設定拐點的拐點斜率KS3於是形成。

在本實施例中，拐點斜率以斷成六個線段的線表示之，每個線段具有不同斜率(亦即，傾斜角)。相較於自該拐點數來前面三個線段的斜率，在後面三個線段的斜率更加和緩。在需要表示逐漸斜率的最後三個線段的斜率被設為極端低，例如0.03附近。換言之，拐點處理單元9實施藉著從被輸入拐點開始依序應用預定傾斜值來形成拐點斜率的處理。

現回到圖7中的方塊圖，拐點計算單元8及拐點處理單元9是信號處理單元10的部分，信號處理單元10亦實施除了與拐點處理有關之處理以外的信號處理。此種由信號處理單元10實施的處理包括根據預先設定的γ曲線來校正影像信號的γ位準的伽馬校正(gamma correcTion)、將影像信號中的黑色位準OB(光學黑)固定在預定的標準位準的回授箝位(feedback clamp)處理、以及用以調整白平衡的白色剪輯處理。

攝像裝置100包括編碼單元11，其將由信號處理單元10處理的該影像信號轉換成諸如NTSC(國家電視標準委員會)或PAL(相位變化線)格式的預定格式的信號；數位/類轉換器單元12(下文稱為“D/A轉換器單元”)將輸出自編碼器單元11的影像信號轉換成類比信號；以及將輸出自數位/類比轉換器單元12的影像信號輸出到顯示單元或記錄單元(未顯示)的輸出端13。

接下來，將參照圖9至12的流程圖說明一個計算拐點的處理範例。首先，在圖9中，當實施拐點計算單元9的處理達該第一時間，諸如當電源打開時，則初始值代入變數“拐點現時KC”，但若有當該處理開始時已被設定好的拐點，則該設定好的拐點被代入該變數“拐點現時KC”(步驟S1)。此處的一範例中，諸如80%的值被設為該拐點的初始值。

之後，使用直方圖偵測單元5以得到顯示在本圖框中依亮度位準的像素數的直方圖(步驟S2)。接下來，自步驟S2得到的該直方圖資訊計算最大亮度值(亦即，鋒值)PK(步驟S3)。之後，用以將最大亮度值PK壓縮於輸出動態範圍以內的拐點基於最大亮度值PK被計算出來(步驟S4)。被計算出的拐點被代入變數“拐點KFP”(步驟S5)。作為此處理目前為止的結果，基於最大亮度值PK被計算出的該拐點被儲存於變數“拐點KFP”。

圖10是顯示由高亮度比例計算單元7處理的例子流程圖。於圖10中，首先，高亮度比例計算單元7從在本圖框內的全部像素計算出具有等於或高於白色剪輯點WP的亮度值的像素總數T，並將總數T儲存於儲存單元15(步驟S11)。接下來，儲存於儲存單元15中之在f圖框(本實施例中十二個圖框)中的像素總數T被讀出且而藉著加總在最後f圖框中像素的總數T所產生的總和T被計算出(步驟S12)。此之後，平均總數T'藉著以f圖框的數目除該總和T而被計算出來(步驟S13)，且最後，此平均總數T'被在最後f圖框中的全部像素的平均數除，以得到最後f圖框的高亮度比例P(%)(步驟S14)。

接下來，將參照圖11的流程圖說明參照圖10說明當基於高亮度比例計算單元7的計算結果計算出該拐點時的拐點計算單元8的處理範例。在圖11中，首先，判斷由拐點計算單元7計算出的高亮度比例是在0到臨限值Th1的範圍內(步驟S21)。在本實施例中，由於臨限值Th1是0%，判斷該高亮度比例P是否為0%。當該高亮度比例P是0%時，最大拐點KMx(在本實施例是109%)被代入變數“拐點KFR”(步驟S22)。

當在步驟S21的條值不被滿足時，接下來是判斷該高亮度比例P是否等於或高於臨限值Th2(步驟S23)。在本實施例中，由於臨限值Th2被設為30%，當高亮度比例P等於或高於30%時，最小拐點KMn(在本實施例中是70%)被代入變數“拐點KFR”(步驟S24)。

當高亮度比例P既不高於0但低於臨限值Th1也不等於或高於臨限值Th2時，亦即，當高亮度比例P等於或高於臨限值Th1但低於臨限值Th2時，拐點根據高亮度比例P的值被計算出來(步驟S25)，且被計算出的拐點被代入變數“拐點KFR”(步驟S26)。換言之，當所有組成最後f圖框的像素(本實施例中，當不出現此等像素時)中幾乎沒有任何像素具有預定高亮度位準或更高時，最大拐點KMx被設為變數“拐點KFR”的值，但當此等具有預定高亮度位準的像素的比例是高(在本實施例中是30%或更高)時，最小拐點KMn的值被設為變數“拐點KFR”的值。此外，當高亮度比例P等於或高於臨限值Th1但低於臨限值Th2時，根據此種高亮度比例P計算出的拐點的值被設成變數“拐點KFR”的值。

接下來，將參照圖12的流程圖說明拐點計算單元8基於被代入變數“拐點KFR”及變數“拐點KFP”的值決定最後拐點KT，以及拐點處理單元9將目前的拐點KC移到被計算出的最後拐點KT的位置的處理例。

於圖12中，首先，決定被代入變數“拐點KFP”的值是否高於設在變數“拐點KFR”中的值(步驟S31)。當拐點KFP的值高於拐點KFR時，拐點KFP的值被代入拐點KT(步驟S32)。反之，當拐點KFR的值等於或高於拐點KFP時，拐點KFR的值被代入最後拐點KT(步驟S33)。換言之，從基於最大亮度值PK計算出的拐點KFP與基於亮度分佈的直方圖計算出的拐點KFR的較大值被用來作為最後拐點KT。

接下來，在拐點處理單元9中，決定是拐點的現時值的拐點現時KC的值是否低於在步驟S32或步驟S33中找到的該最後拐點KT的值(步驟S34)。當該拐點現時KC的值較低時，實施基於預先設定的拐點提升率來增加該拐點現時KC的值的處理(步驟S35)。另一方面，當拐點現時KC的值高於該最後拐點KT的值時，實施基於預先設定的拐點下降率來減少該拐點現時KC的值的處理(步驟S36)。之後，始於拐點現時KC(等於最後拐點KT) ，拐點斜率於是形成(步驟S37)。

依此方式，由於除了最大亮度值(亦即，鋒值)以外還使用偵測到的直方圖所提供的亮度分佈而計算出的拐點的架構被使用，可以避免被高亮度主題佔用的影像的比例低時將拐點設定得比需要還低。藉此，可以避免被顯示的影像方面的明亮區漸層劣化以及漸下降。

此外，由於使用拐點斜率的傾度不改變且只有拐點是根據主題的亮度值及亮度分佈來改變的架構，故不會在漸層改變的速率上有突然的改變，且因此可以抑制假外框的產生。

在構成該拐點斜率之具有預定數目線段的虛線中，由於接近白色剪輯點的虛線的斜率極端低，例如在0.03附近，故可以將具有等於或高於該白色剪輯點的輸入值壓縮在輸出動態範圍以內而不用改變拐點斜率的傾度或不必要地降低拐點。

要注意雖然上述實施例中的臨限值Th1的值是0%、臨限值Th2的值是30%、最小拐點KMn的值是70%、以及最大拐點KMx的值是109%，但此等值只是範例且可設成隨意值。

此外，雖然本發明應用於攝像裝置的例子已於上述實施例中說明，但本發明亦可應用於記錄或播放來自攝影機及攝像裝置的輸入信號的記錄/播放裝置或影像信號處理裝置。

熟於此技藝之人士當明白，只要不背離附加之申請專利範圍所界定的本發明範疇，即可進行種種修改、組合子組合及變化。

1‧‧‧透鏡

2‧‧‧攝像元件

3‧‧‧類比信號處理單元

4‧‧‧類比/數位轉換器單元(A/D轉換器單元)

5‧‧‧直方圖偵測單元

6‧‧‧最大亮度值計算單元

7‧‧‧高亮度比例計算單元

8‧‧‧拐點計算單元

9‧‧‧拐點處理單元

10‧‧‧信號處理單元

11‧‧‧編碼單元

12‧‧‧數位/類轉換器單元

13‧‧‧輸出端

14‧‧‧控制單元

15‧‧‧儲存單元

100‧‧‧攝像裝置

圖1係顯示現行影像信號的輸出特性的特性曲線圖。

圖2係顯示現行影像信號的輸出特性的特性曲線圖。

圖3係顯示在現行拐點處理之前依亮度位準的像素數分佈特性的直方圖。

圖4係顯示在現行拐點處理之後依亮度位準的像素數分佈特性的直方圖。

圖5A及5B係用以解釋現有攝像的例子，其中圖5A顯示在拐點處理之前的影像而圖5B顯示在拐點處理之後的影像。

圖6係用以解釋當高亮度主體呈現時，現行攝像的範例影像。

圖7係顯示根據本發明實施例之攝像裝置的內部結構的範例方塊圖。

圖8係顯示根據本發明實施例之影像信號的輸出特性的特性曲線圖。

圖9係顯示根據本發明實施例之基於最大亮度值的拐點計算處理的流程圖。

圖10係顯示根據本發明實施例之高亮度比例計算程序的流程圖。

圖11係顯示根據本發明實施例之基於直方圖的拐點計算處理的範例流程圖。

圖12係顯示根據本發明實施例之拐點計算處理的例子的流程圖。

Claims

一種攝像裝置，包含：直方圖偵測單元，偵測依攝像信號之亮度位準的像素數的分佈；最大亮度值計算單元，計算該攝像信號的最大亮度值；高亮度比例計算單元，基於由該直方圖偵測單元偵測到之依亮度位準之該像素數的分佈來計算高亮度信號在所有構成一或多數圖框之像素中的比例；拐點計算單元，基於由該最大亮度值計算單元計算出之該最大亮度值以及由該高亮度比例計算單元計算出之該高亮度信號的比例來計算拐點；以及拐點處理單元，產生拐點斜率，該拐點斜率具有始於由該拐點計算單元計算出之該拐點的預定傾度，其中不論由該拐點計算單元計算出的拐點的值為何，該拐點處理單元不改變該預定傾度。
根據申請專利範圍第1項之攝像裝置，其中該拐點計算單元係設有第一臨限值及第二臨限值且被建構以當由該高亮度比例計算單元計算出的高亮度信號的比例係低於該第一臨限值時來預先將一最大值設成該拐點，以及當該高亮度信號的比例係等於或高於該第一臨限值但低於該第二臨限值時根據該高亮度信號的比例來計算該拐點的值。
根據申請專利範圍第2項之攝像裝置，其中該最大值係在該攝像信號之輸出動態範圍中的一最大值。
根據申請專利範圍第1項之攝像裝置，其中該最大亮度值計算單元基於由該直方圖偵測單元偵測到之依亮度位準的像素數的分佈來計算該最大亮度值。
一種影像信號處理裝置，包含：直方圖偵測單元，偵測依被輸入影像信號之亮度位準的像素數的分佈；最大亮度值計算單元，計算該被輸入影像信號的最大亮度值；高亮度比例計算單元，基於由該直方圖偵測單元偵測到之依亮度位準之該像素數的分佈來計算高亮度信號在所有構成一或多數圖框之像素中的比例；拐點計算單元，基於由該最大亮度值計算單元計算出之該最大亮度值以及由該高亮度比例計算單元計算出之該高亮度信號的比例來計算拐點；以及拐點處理單元，產生拐點斜率，該拐點斜率具有始於由該拐點計算單元計算出之該拐點的預定傾度，其中不論由該拐點計算單元計算出的拐點的值為何，該拐點處理單元不改變該預定傾度。
一種影像信號處理方法，包含以下步驟：偵測輸入影像信號之每亮度的像素數的分佈；計算該輸入影像信號之最大亮度值；基於被偵測到之依亮度位準之該像素數的分佈來計算高亮度信號在所有構成一或多數圖框之像素中的比例；基於被計算出之該最大亮度值及該高亮度信號的比例來計算拐點；以及產生具有預定傾度的拐點斜率，該預定傾度始於被計算出之該拐點。