TWI485652B

TWI485652B - 影像處理裝置與方法

Info

Publication number: TWI485652B
Application number: TW101102414A
Authority: TW
Inventors: Chia Wei Yu; Hui Hung Lin; Hsu Jung Tung
Original assignee: Realtek Semiconductor Corp
Priority date: 2012-01-20
Filing date: 2012-01-20
Publication date: 2015-05-21
Also published as: US20130187908A1; TW201331889A

Description

影像處理裝置與方法

本發明係關於一種影像處理裝置與方法，特別是關於一種參考深度資訊進行影像處理之裝置與方法。

目前3D(3 Dimension)的顯示器(Displayer)越來越多，很多影像信號仍是2D(2-Dimension)影像。因此，會有將2D(2 Dimension)影像信號轉成3D影像信號的需求。

一般2D影像信號轉3D影像信號，大都先由2D影像信號中估算出影像的深度(depth)資訊，以產生具有左眼影像(Left Video)Lv與右眼影像(Right Video)之3D影像信號。然而，並沒有利用深度(depth)資訊對影像信號進行任何信號處理。再者，習知2D影像信號並不具有深度資訊，當然，便不可能會參考深度資訊來對2D影像信號進行任何信號處理。

本發明之目的之一，在提供一種影像處理裝置與方法，利用影像之深度資訊調整影像部分或全部區域之顯示效果。

本發明之目的之一，在提供一種影像處理裝置與方法，參考影像之深度資訊對重點影像區域進行影像處理，以改變影像之顯示效果。

本發明之一實施例提供了一種影像處理裝置，包含有一焦點深度決定電路與一影像處理電路。焦點深度決定電路接收一輸入影像與相應於輸入影像之一深度資訊，以產生輸入影像之一焦點深度分佈。影像處理電路接收輸入影像，依據焦點深度分佈對輸入影像進行一預設影像處理，以產生一輸出影像。

本發明之另一實施例提供了一種影像處理裝置，包含有一深度估計電路、一焦點深度決定電路、以及一影像處理電路。深度估計電路接收一輸入影像，分析輸入影像以產生一相應於輸入影像之深度資訊。焦點深度決定電路接收輸入影像與相應於輸入影像之深度資訊，分析該輸入影像，以產生輸入影像之焦點深度分佈。而影像處理電路接收輸入影像，依據焦點深度分佈對輸入影像進行一預設影像處理，以產生一輸出影像。

本發明之另一實施例提供了一種影像處理方法，包含有下列步驟：首先，接收一輸入影像與相應於輸入影像之深度資訊。分析輸入影像與深度資訊，產生輸入影像之焦點深度分佈。依據焦點深度分佈對輸入影像進行一影像特性之影像處理，以產生一輸出影像。

本發明實施例之影像處理裝置與方法，利用影像之深度與特性分析出影像之焦點深度，對焦點深度之鄰近區域強化影像之至少一特性，而達成提升影像顯示品質之功效。

第1圖顯示本發明一實施例之影像處理裝置10之示意圖。該影像處理裝置10包含有一焦點深度決定電路11與一影像處理電路12。焦點深度決定電路11接收一輸入影像A與對應於該輸入影像A之一深度資訊Dph。焦點深度決定電路11分析輸入影像A，以找出該輸入影像A中欲求出之重點影像區域的深度分佈，或稱為焦點深度分佈DOI(Depth Of Interest)。須注意，如何定義重點影像區域，可依據影像本身的特性所決定、或由設計者自行決定定義。例如：重點影像區域可以是人臉、畫面特定位置(例如：位於畫面中間之位置、位於畫面下半部之位置...等)、本體與背景的顏色差異較大之位置。例如：當該焦點深度決定電路11接收並分析該輸入影像A，判斷出該輸入影像A具有人臉的特徵時，則該輸入影像A之重點影像區域即為所判斷出為人臉的區域；又例如：當該焦點深度決定電路11接收並分析該輸入影像A，判斷出該輸入影像A主要有二個顏色色系(例如是在白色沙灘上有數個遮陽傘一白色沙灘與陽傘顏色係為至少二個不同色系)時，則該焦點深度決定電路11可判斷出該遮陽傘為該輸入影像A之重點影像；又例如：拍攝時，主要的物體應在靠近畫面中間的位置，該焦點深度決定電路11直接將位於靠近畫面中間位置的物體視為該輸入影像A之重點影像區域。

接著，影像處理電路12接收影像A，依據焦點深度分佈DOI進行一預設影像處理，以產生一輸出影像資料O。

焦點深度決定電路11依據影像畫素之一影像特性之分佈狀態以決定出該重點影像，並依據該重點影像以及該影像之深度資訊Dph，輸出焦點深度分佈DOI。如第2A圖所示，焦點深度決定電路11接收圖面左上方之一影像A與圖面左下方之影像深度資訊Dph，接著，分析影像A，找出影像A中之焦點深度分佈DOI。在此範例中，影像A為具有一座山之影像，該焦點深度決定電路11決定出該重點影像區域後，便找出相對應該此座山的深度資訊分佈，換言之，即是深度為30或是深度為介於30~60的資訊分佈。

請同時參考第2A、2B圖，假設針對影像之銳利度(Sharpness)來分析處理：影像處理電路12將影像A進行高頻濾波(High Pass filtering，HF)後，會產生如第2A圖圖面右上方之影像銳利度分佈圖Shp。接著，焦點深度決定電路11統計分析影像A中深度(depth)對應銳利度(sharpness)之關係，以產生如第2B圖所示之深度/銳利度柱形統計圖後，該影像處理電路12依據該深度資訊分佈對該影像A進行銳利度(sharpness)處理。其詳細說明如下：於第2A圖中深度圖Dph中第一水平線的第一畫素之深度0對應之銳利度Shp為10、深度30對應之銳利度Shp為127、深度0對應之銳利度為5、深度0對應之銳利度為10、接著下一行之深度0對應之銳利度為10、深度30對應60...接著依此類推，則可產生第2B圖之統計結果。觀察第2B圖可知，影像A中深度30對應之銳利度累計的數值最多，則焦點深度定義焦點深度決定電路11可視此區域為影像之焦點(重點)(即為「重點影像區域」)，而其他深度位置則為「非重點影像區域」，因此，依據此累計數值最多之區域得到焦點深度分佈DOI。接著，影像處理電路12接收該影像A，依據焦點深度分佈DOI對該影像A進行一影像特性(例如銳利度)之影像處理一即將影像A中屬於「重點影像區域」之畫素之銳利度進行提高；且將不屬於「重點影像區域」之畫素之銳利度進行調降。當然此調整數據可依據使用者的設定而改變。依此調整，在此實施例中，該影像處理裝置可讓重點影像區域更為銳利，強化該影像A之重點影像區域，達成較佳的影像輸出品質，提高顯示效果。

當然，上述影像特性一銳利度之調整僅為一示例，在求出影像A之焦點深度分佈DOI時，可依據焦點深度分佈，對焦點畫素作其他影像特性之影像處理，例如對銳利度(Sharpness)、色彩(Hue)、飽和度(Saturation)、亮度(Intensity)、深度資訊…等其中之一或其組合...等作處理。當然，上述特性僅為示例，本發明不限於此，影像處理之種類可為目前現有或未來發展出各種型態。

第3A圖顯示本發明一實施例之影像處理裝置之示意圖。影像處理裝置30包含有一統計分析電路31與一增益調整電路32。舉例而言，若針對影像之銳利度處理，則統計分析電路31可為一銳利度統計電路，且增益調整單元可為一銳利度調整單元。依此方式，可對深度相對應的影像特性調整增益範圍，此範圍可依需求任意設定。

一實施例，參考第3B圖，在統計分析電路31產生焦點深度分佈DOI後，增益調整電路32可在焦點深度分佈DOI之鄰近深度任意選擇欲強化銳利度的區域。假設想強化深度d0~d1,DOI為dx時，且g為增益值。當目標深度dph0之深度小於dx且位於dx~d0之間，將目標深度dph0與第一臨界深度值d0之差乘上第一正增益值c0。

g=(dph0-d0)*c0,d0<dph0<dx　...(1)

當目標深度dph1之深度大於或等於dx且位於dx~d1間，將第二臨界深度值d1與目標深度dph1之差乘上正增益值c1。

g=(d1-dph1)*c1,d1>dph1>=dx　...(2)

依此方式，d0~d1間的可得到正數的增益值，可達呈強化銳利度之功效，且在深度為dx時具有最大銳利度。另外，在d0~d1區域之外，將增益值g設為負值，則可將d0~d1區域之外的畫素設為較不銳利之顯示效果，如此可強化焦點深度分佈DOI鄰近位置之深度對應畫素之顯示效果。

另一實施例，參考第3B圖，本發明影像處理裝置可對影像特性之深度分佈之每一區域指定增益值。例如：

g=g1,g1<0,當深度值<d0　...(3)

g=g2,g2<0,當深度值>d1　...(4)

g=g0,g0>0,其他區域。　...(5)

其中，g為增益值。

如上式所述，可對深度d0~d1之區域進行銳化處理，而對d0~d1區域之外進行去銳化(柔化)處理。如此，亦可強化強化焦點深度分佈DOI鄰近位置之深度對應畫素之顯示效果。

上述實施例僅為舉例，可單獨使用、混合使用，但不限於此，可採用其他目前現有或未來發展之方式進行。

第4圖顯示本發明另一實施例之影像處理裝置40之示意圖。影像處理裝置40包含有一深度相關資訊尋找電路41與一色彩處理電路4。深度相關資訊尋找電路41利用深度相關資訊，例如深度圖(Depth Map)中的最大值、最小值、平均值、重點區域數值...等，依據深度相關資訊輸出該焦點深度分佈DOI。之後，再將焦點深度分佈DOI提供給色彩處理電路42。色彩處理電路42依據焦點深度分佈DOI對影像A之畫素之色彩進行調整，例如調整色相、彩度、飽和度...等，當然本發明不限於此。深度圖(Depth Map)係為本領域技術者所熟知的，故省略其說明。其詳細說明可輕易獲得，例如是自網路上搜尋可得。

舉例而言，以取深度圖中的最大來說明。深度相關資訊尋找電路41在影像A之深度圖中取出最大深度值作為深度相關資訊，以產生焦點深度分佈DOI。須注意，深度圖中的深度值係代表著距離的遠近，於其他設計中相反的方式亦可實施。當然，深度相關資訊尋找電路41也可能找不找深度圖中的最大深度值，此時可直接指定系統之預設最大值作為深度相關資訊。例如，若深度為8位元表示時，則以FF(八位元數值的最大值)作為焦點深度分佈DOI。接著，色彩處理電路42依據焦點深度分佈DOI對影像A之焦點深度分佈DOI之區域對畫素之飽和度進行強化調整；而在焦點深度分佈DOI之區域外深度之畫素則其飽和度會降低。

第5圖顯示本發明另一實施例之影像處理裝置50之示意圖。影像處理裝置50包含有一人臉辨識電路51與一色彩處理電路52。本實施例中，臉部辨識電路51係尋找畫面中的人臉位置之深度，並利用此臉部深度產生焦點深度分佈DOI。須注意，臉部辨識電路51可以改為將其他預設物件，如設計這設定之物件作為焦點深度分佈DOI產生的來源。接著，色彩處理電路52可依據焦點深度分佈DOI進行至少一種影像處理。例如，進行兩種影像處理，如同時對影像銳利度與飽和度進行焦點影像深度分佈DOI區域範圍內的強化。

須注意者，本發明實施例影像處理裝置之影像來源可為二維影像或三維影像。

當影像源係為一具有左右眼影像之三維影像I(L+R)時，如第6圖所示，本發明實施例之影像處理裝置60接收該三維影像I(L+R)，利用深度估計電路63產生影像之深度圖，再由深度定義電路61產生焦點深度分佈DOI，並由影像處理電路62處理後，而強化焦點深度分佈DOI區域之影像特性。而當影像來源為二維影像時，如第7圖所示，本發明實施例之影像處理裝置70利用一深度估計電路73產生將二維影像I(2D)估計該二維影像I(2D)之深度以產生深度圖Dph(3D)。接著，由深度定義電路71產生焦點深度分佈DOI，並由影像處理電路72處理後，而強化焦點深度分佈DOI區域之影像特性。

第8圖顯示本發明影像處理方法之一實施例之示意圖。該方法包含下列步驟：

步驟S802：開始。

步驟S804：接收一輸入影像與相應於該輸入影像之一深度資料。

步驟S806：依據該輸入影像與該深度資料產生該輸入影像之一焦點深度分佈。

步驟S808：依據該焦點深度分佈對該輸入影像進行一預設影像處理，以產生一輸出影像。

步驟S810：結束。

本發明之實施例影像處理裝置與方法，可適當地強化影像之顯示效果，而可達成提升影像顯示品質之功效。

以上雖以實施例說明本發明，但並不因此限定本發明之範圍，只要不脫離本發明之要旨，該行業者可進行各種變形或變更。

10、30、40、50、60、70．．．影像處理裝置

11、61、71．．．深度定義電路

12、62、72．．．影像處理電路

31．．．統計分析電路

32．．．增益調整電路

41．．．深度相關資訊尋找電路

42、52．．．色彩處理電路

51．．．人臉辨識電路

63、73．．．深度估計電路

第1圖顯示本發明一實施例之影像處理裝置之示意圖。

第2A圖顯示第1圖影像處理裝置之畫面處理之一示意圖。

第2B圖顯示第1圖影像處理裝置之畫面處理之另一示意圖。

第3A圖顯示本發明另一實施例之影像處理裝置之示意圖。

第3B圖顯示第3A圖影像處理裝置之深度設定之示意圖。

第4圖顯示本發明另一實施例之影像處理裝置之示意圖。

第5圖顯示本發明另一實施例之影像處理裝置之示意圖。

第6圖顯示本發明另一實施例之影像處理裝置之示意圖。

第7圖顯示本發明另一實施例之影像處理裝置之示意圖。

第8圖顯示本發明一實施例之影像處理方法之流程圖。

10．．．影像處理裝置

11．．．深度定義電路

12．．．影像處理電路

Claims

一種影像處理裝置，包含有：一焦點深度決定電路，接收一輸入影像與相應於該輸入影像之一深度資訊，依據該輸入影像之特性、或依據一判斷方式找出該輸入影像中欲求出之目標影像區域的深度分佈，以產生該輸入影像之一焦點深度分佈；以及一影像處理電路，接收該輸入影像，依據該焦點深度分佈對該輸入影像進行一預設影像處理，以產生一輸出影像。
如申請專利範圍第1項所述之裝置，其中，該焦點深度決定電路係依據該輸入影像之一影像特性之分佈狀態與相應於該輸入影像之該深度資訊，產生該輸入影像之一調整後特性分佈狀態資料，且依據該調整後特性分佈狀態資料產生該焦點深度分佈。
如申請專利範圍第1項所述之裝置，其中，該預設影像處理係依據該焦點深度分佈調整該輸入影像之畫素之一影像特性之數值。
如申請專利範圍第3項所述之裝置，其中，該預設影像處理調整之該影像特性為銳利度、色彩、飽和度、亮度處理其中之一或其組合。
如申請專利範圍第1項所述之裝置，其中，該焦點深度決定電路為一統計分析電路，用以統計該輸入影像之一影像特性對應該深度資訊之狀態分佈。
如申請專利範圍第1項所述之裝置，其中，該焦點深度決定電路為一為一深度相關資訊尋找電路，係分析該深度資訊，以產生最大深度值、最小深度值、平均深度值、或重點區域深度值其中之一或其組合。
如申請專利範圍第1項所述之裝置，其中，該焦點深度決定電路為一為預設物件辨識電路，用以辨識該輸入影像之一預設物件之深度值，以產生該焦點深度分佈。
如申請專利範圍第7項所述之裝置，其中，該預設物件為該輸入影像中之人臉。
如申請專利範圍第1項所述之裝置，其中，該影像處理電路為一增益調整電路，係在該焦點深度分佈之鄰近位置選擇欲強化之影像特性之至少一區域，對該區域進行該影像特性之調整。
如申請專利範圍第1項所述之裝置，其中，該影像處理電路為一色彩處理電路，係依據該焦點深度分佈對該輸入影像之色彩進行調整。
如申請專利範圍第10項所述之裝置，其中，該色彩包含色相、彩度、飽和度其中之一或其組合。
一種影像處理裝置，包含有：一深度估計電路，接收一輸入影像，分析該輸入影像以產生一相應於該輸入影像之深度資訊；一焦點深度決定電路，接收該輸入影像與相應於該輸入影像之該深度資訊，分析該輸入影像，依據該輸入影像之特性、或依據一判斷方式找出該輸入影像中欲求出之目標影像區域的深度分佈，以產生該輸入影像之焦點深度分佈；以及一影像處理電路，接收該輸入影像，依據該焦點深度分佈對該輸入影像進行一預設影像處理，以產生一輸出影像。
如申請專利範圍第12項所述之裝置，其中，該輸入影像為二維影像或三維影像。
如申請專利範圍第12項所述之裝置，其中，該焦點深度決定電路係依據該輸入影像之一影像特性之分佈狀態與相應於該該輸入影像之深度資訊，產生該輸入影像之一調整後特性分佈狀態資料，且依據該調整後特性分佈狀態資料產生該焦點深度分佈。
如申請專利範圍第14項所述之裝置，其中，該影像特性為銳利度、色彩、飽和度、亮度其中之一或其組合。
一種影像處理方法，包含有：接收一輸入影像與相應於該輸入影像之深度資訊；分析該輸入影像與該深度資訊，依據該輸入影像之特性、或依據一判斷方式找出該輸入影像中欲求出之目標影像區域的深度分佈，產生該輸入影像之焦點深度分佈；以及依據該焦點深度分佈對該輸入影像進行一影像特性之影像處理，以產生一輸出影像。
如申請專利範圍第16項所述之方法，其中，該影像特性為銳利度、色彩、飽和度、亮度其中之一或其組合。
如申請專利範圍第16項所述之方法，其中，該輸入影像為二維影像或三維影像。
如申請專利範圍第18項所述之方法，其中，當該輸入影像為二維影像時，分析該二維影像以產生該深度資訊。