TWI476731B - 影像處理裝置、影像處理方法、及程式 - Google Patents

影像處理裝置、影像處理方法、及程式 Download PDF

Info

Publication number
TWI476731B
TWI476731B TW099139361A TW99139361A TWI476731B TW I476731 B TWI476731 B TW I476731B TW 099139361 A TW099139361 A TW 099139361A TW 99139361 A TW99139361 A TW 99139361A TW I476731 B TWI476731 B TW I476731B
Authority
TW
Taiwan
Prior art keywords
image
contrast
depth
input
component
Prior art date
Application number
TW099139361A
Other languages
English (en)
Other versions
TW201142748A (en
Inventor
Shuichi Takahashi
Takanori Ishikawa
Isao Ohashi
Satoshi Shioiri
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201142748A publication Critical patent/TW201142748A/zh
Application granted granted Critical
Publication of TWI476731B publication Critical patent/TWI476731B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

影像處理裝置、影像處理方法、及程式
本發明係有關於影像處理裝置，影像處理方法及程式，尤其有關於能夠藉由根據人類的視覺特性來調整單眼3D(三維)資訊的參數，以提供讓人不會有不舒服感的3D影像之影像處理裝置、影像處理方法及程式。
作為在2D顯示器上顯示2D影像及讓觀看者能夠將2D影像感知為3D影像之方法，存在有分別呈現左眼用的2D影像和右眼用的2D影像之方法，其中，觀看者的左眼和右眼之雙眼視差(左眼和右眼之間的視差)。
作為用以使人類能夠感知立體效果和物體深度之資訊，具有藉由兩眼的雙眼3D資訊和藉由單眼的單眼3D資訊。藉由組合單眼3D資訊和雙眼3D資訊，使人類感知立體效果和物體或空間的深度。作為雙眼3D資訊，例如，可舉出雙眼視差、水平會聚等等。作為單眼3D資訊，例如，可舉出陰影、對比、顏色、空間頻率、屏蔽關係等等。
當在2D顯示器上顯示2D影像及讓觀看者能夠將2D影像感知為3D影像之例子中想要增強立體效果和深度時，例如，可考慮增加雙眼視差的方法，其為雙眼3D資訊的其中之一。
然而，為了增加雙眼視差根據人類的眼睛結構和視覺特性具有在下列問題。也就是說，人的眼球通常呈水平或稍微向內會聚的狀態，因此，當雙眼視差被增加大於瞳孔之間的距離時，眼球在雙眼指向外面之發散狀態。瞳孔之間的距離視年紀或性別而不同，因此，具有瞳孔之間的距離小於一般距離之人容易呈發散狀態。
在真實世界中，雙眼的視線不但指向凝視點而且在此點上達成眼睛的聚焦，因此，眼球的會聚距離對應於其調整的距離。然而，當藉由左眼用的2D影像和右眼用的2D影像讓觀看者能夠感知3D影像時，可在被感知為3D影像的位置上調整會聚，同時調整聚焦在影像顯示表面上，因此，眼球的會聚之距離並未對應於其調整的距離。因此，為了藉由增加雙眼視差變化來加強立體效果和深度將眼球的會聚之距離和調整的距離改變成未彼此對應的方向，其會讓觀看者感知到不自然或者感覺不舒服和視覺疲勞。
為了降低不舒服的感覺和視覺疲勞，建議調整雙眼視差之方法。例如，在日本專利號碼3749227(專利文件1)所提出之方法中，其中之雙眼視差被設定成不同值之複數個樣本影像被呈現，及能夠回應是否允許所呈現的影像而調整雙眼視差。
然而，當觀看者的不舒服的感覺和視覺疲勞如預期般被降低時，雙眼視差基本上被調整到降低立體效果和深度之方向，因此，真實感和逼真度降低。此外，當由雙眼3D資訊所感知之立體效果和深度不同於從單眼3D資訊所感知之立體效果和深度時，觀看者會感覺不自然。
因此，藉由增加雙眼視差來增強3D影像的立體效果和深度感並不佳。
另一方面，亦建議藉由使用單眼3D資訊來增強立體效果和深度感之方法。例如，在JP-A-2001-238231(專利文件2)中，提出根據影像中之物體的深度位置來改變陰影、屏蔽關係、和模糊狀態之方法。
然而，在專利文件2中，並未明確揭示應該依據哪一個計算方程式而將參數設定成哪一個值。甚至當藉由嘗試錯誤法來設定值時，仍未能保證所獲得之左眼用的2D影像和和右眼用的2D影像對人類而言是自然和舒服的，及它們不是會讓觀看者感覺不自然或不舒服，亦即，他們會導致視覺疲勞。
鑑於上述，藉由根據人類的視覺特性來調整單眼3D資訊以提供具有不舒服感較少之3D影像是理想的。
根據本發明的一個實施例，提供有影像處理裝置，其包括深度資訊擷取機構，用以從輸入的3D影像中擷取出深度資訊；亮度擷取機構，用以擷取3D影像的亮度成分；對比擷取機構，用以根據由亮度擷取機構所擷取之3D影像的亮度成分而擷取3D影像的對比成分；儲存機構，用以儲存根據人類的視覺特性所決定之性能函數，性能函數指示3D影像的對比成分與主觀感知的深度量之間的關係；以及對比調整機構，用以根據相關於從由深度資訊擷取機構所擷取的深度資訊所決定之輸入的3D影像之近側區和深側區的至少其中之一的性能函數，從由對比擷取機構所擷取之3D影像的對比成分來計算輸入的3D影像之目前深度量，及根據計算出的目前深度量和設定的深度調整量來調整輸入的3D影像之對比成分。
根據本發明的一個實施例，提供有影像處理裝置之影像處理方法，影像處理設備儲存根據人類的視覺特性所決定之性能函數及執行輸入的3D影像之深度感的調整，性能函數指示3D影像的對比成分與主觀感知的深度量之間的關係，影像處理方法包含以下步驟：從3D影像中擷取出深度資訊；擷取3D影像的亮度成分；根據3D影像之擷取的亮度成分而擷取3D影像之對比成分；根據相關於從擷取的深度資訊所決定之輸入的3D影像之近側區和深側區的至少其中之一的性能函數，從擷取的3D影像之對比成分而計算出輸入的3D影像之目前深度量；以及根據計算出的目前深度量和設定的深度調整量而調整輸入的3D影像的對比成分。
根據本發明的一個實施例，提供有程式，使電腦能夠執行處理下面的：從輸入的3D影像中擷取深度資訊；擷取3D影像的亮度成分；根據3D影像之擷取的亮度成分而擷取3D影像之對比成分；用以根據性能函數而計算出從3D影像之擷取的對比成分所主觀感知之輸入的3D影像之目前深度量，性能函數指示3D影像的對比成分與主觀感知的深度量之間的關係，性能函數係根據相關於從擷取的深度資訊所決定之輸入的3D影像之近側區和深側區的至少其中之一之人類的視覺特性所決定；以及根據計算出的目前深度量和設定的深度調整量而調整輸入的3D影像之對比成分。
根據本發明的實施例，從輸入的3D影像擷取深度資訊；擷取3D影像的亮度成分；根據3D影像之擷取的亮度成分而擷取3D影像之對比成分；用以根據性能函數而計算出從3D影像之擷取的對比成分所主觀感知之輸入的3D影像之目前深度量，性能函數指示3D影像的對比成分與主觀感知的深度量之間的關係，性能函數係根據相關於從擷取的深度資訊所決定之輸入的3D影像之近側區和深側區的至少其中之一之人類的視覺特性所決定；以及根據計算出的目前深度量和設定的深度調整量而調整輸入的3D影像之對比成分。
影像處理裝置不但可以是獨立裝置而且也可以是形成一個裝置的內部區塊。
根據本發明的實施例，可增強3D影像的深度感。
再者，根據本發明的實施例，根據人類的視覺特性來調整單眼3D資訊之參數，藉以提供不舒服感較少的3D影像給人類。
下面，將說明用以實施本發明的模式(在下面說明中被稱作實施例)。以下面順序而進行說明。
1.第一實施例(藉由調整對比來改變深度感之實施例)
2.第二實施例(在反映使用者的偏好同時能夠調整對比之實施例)
<1.第一實施例> [影像處理裝置的組態方塊圖]
圖1顯示根據本發明的第一實施例之影像處理裝置的組態例。
影像處理裝置1包括影像輸入單元11、深度資訊擷取單元12、亮度擷取單元13、空間頻率擷取單元14、對比擷取單元15、記憶體單元16、對比調整單元17、影像處理單元18、及影像輸出單元19。
影像處理裝置1執行改變(調整)相關於輸入的3D影像之3D影像的對比以增加3D影像的深度感之處理。此處，3D影像指示用以讓觀看者能夠感知3D影像之2D影像。
影像輸入單元11從外面接收到3D影像，及供應輸入的3D影像給深度資訊擷取單元12和亮度擷取單元13。在從外面輸入的3D影像中具有各種資料格式，然而，資料格式不重要。作為用於3D影像的資料格式，例如，具有第一資料格式，其中，影像被供應作為包括左眼用的影像和右眼用的影像之立體影像；第二資料格式，其中，影像被供應作為包括三或多個複數個視角影像之多視角影像的格式；第三資料格式，其中，影像被供應作為2D影像及其深度資訊的格式等等。在下面說明中，當使用”影像”或”亮度影像”的字眼作為處理目標時，此字眼意謂第一資料格式中之用於左眼和右眼之各自影像，第二資料格式中之各自複數個視角影像，及第三資料格式中之被供應有深度資訊的2D影像。
深度資訊擷取單元12從供應自影像輸入單元11之3D影像擷取出深度資訊。尤其是，當以第一資料格式輸入3D影像時，深度資訊擷取單元12計算出立體影像中之對應點的像素不對準，亦即，雙眼視差，並且依據所計算的雙眼資訊而大約計算出深度資訊。雙眼視差係可藉由使用諸如方塊匹配法和DP(動態程式化)匹配法等方法來予以計算。
當以第二資料格式輸入3D影像時，深度資訊擷取單元12計算出相關於三或多個視角影像中之對應兩視角影像的雙眼視差，以及從所計算的雙眼視差而大約計算出深度資訊。
此外，當以第三資料格式輸入3D影像時，隨著深度資訊被直接供應，深度資訊擷取單元12擷取所供應的深度資訊。
深度資訊擷取單元12將從3D影像所擷取的深度資訊供應到對比調整單元17。深度資訊被使用作為用以指定調整對比的處理區之資訊。
在本實施例中，如上述擷取出深度資訊之作為處理目標的3D資訊從影像輸入單元11供應到深度資訊擷取單元12，然而，作為亮度擷取單元13的處理結果之3D影像被供應到深度資訊擷取單元12亦佳。
亮度擷取單元13擷取供應自影像輸入單元11之3D影像的亮度成分。例如，當由RGB彩色系統中之線性RGB值表示所供應的影像時，亮度擷取單元13藉由ITU-R BT709所規定之下面方程式(1)，將值轉換成亮度值Y，藉以擷取出3D影像的亮度成分。
Y=0.2126R+0.7152G+0.0722B...(1)
由個別像素的亮度值Y所形成之影像被稱作亮度影像。影像不總是需要由包括RGB值(RGB信號)的格式來表示，及當由CIE XYZ彩色系統中之XYZ值表示影像時，由亮度值Y所形成之影像被稱作亮度影像。可藉由除了使用方程式(1)以外的方法來計算出(擷取出)亮度值。
空間頻率擷取單元14擷取出3D影像的給定空間頻率成分。關於空間頻率成分的擷取，例如，可應用使用Gabor(賈伯)濾波器的方法。Gabor濾波器大致估計視覺系統中之信號回應特性，及濾波器的函數g(x,y,λ,θ,Ψ,σ,及γ)係以方程式(2)來表示。
在方程式(2)中，分別地，(x,y)表示亮度影像的座標值，λ表示對應於空間頻率的波長，θ表示取向(方向)，Ψ表示相位，σ表示Gaussian(高斯)分佈的分散，及γ表示寬高比。此例中的空間頻率係由進入到人類眼睛的1度視角之白和黑的色調變化(對比)所界定的，及其單位為”cpd(每度的循環)”。
例如，藉由迴旋運算λ為1cpd的波長之方程式(2)的Gabor濾波器函數g(x,y,λ,θ,Ψ,σ,及γ)與由亮度擷取單元13所擷取出的亮度影像之亮度值Y，空間頻率擷取單元14擷取出亮度影像中之具有1cpd的空間頻率成分之區域。當亮度影像中之2cpd及4cpd的空間頻率成分被擷取出時，可藉由迴旋運算λ為2cpd或4cpd的波長之Gabor濾波器函數g(x,y,λ,θ,Ψ,σ,及γ)與亮度影像的亮度值Y而計算出區域。
也就是說，藉由迴旋運算λ為空間頻率的給定波長之方程式(2)的Gabor濾波器函數g(x,y,λ,θ,Ψ,σ,及γ)與由亮度擷取單元13所擷取出的亮度影像之亮度值Y，可找出哪一個空間頻率成分包括在亮度影像的哪一個區域中。
作為擷取具有亮度影像的給定空間頻率成分之區域的方法，只要由方法可找出空間頻率的哪一個成分包括在亮度影像的哪一個區域中，可應用除了上述以外的其他方法。例如，空間頻率成分係可藉由使用Fourier(傅立葉)轉換等等來擷取。然而，可在傅立葉轉換中獲得欲待轉換之亮度影像的整個(區域)之空間頻率成分，因此，除非藉由將亮度影像分成給定區域來執行傅立葉轉換，否則難以擷取出各自區域中之空間頻率成分。另一方面，當使用Gabor濾波器時，其相關於欲待處理的整個亮度影像同時找出哪一個空間頻率成分包括在哪一個區域中。
當欲應用在對比調整單元17之性能函數根據給定的空間頻率而改變時，需要藉由空間頻率擷取單元14之擷取空間頻率的處理。因此，當同一性能函數應用到對比調整單元17中的整個亮度影像時，可省略空間頻率擷取單元14。
藉由使用亮度擷取單元13所擷取出之3D影像的亮度成分，對比擷取單元15擷取出3D影像的對比成分。
尤其是，對比擷取單元15決定水平x垂直中之nxm(n,m2)像素的區域作為用於擷取對比成分之處理的單位。然後，對比擷取單元15以給定的像素數目，在光域掃描方向，從亮度影像的上左端移動處理單元區，藉以計算出複數個處理單元區的Michelson對比C。
由方程式(3)界定Michelson對比C。
在方程式(3)中，Lmax 表示處理單元區中之亮度值Y的最大值，及Lmin 表示處理單元區中之亮度值Y的最小值。
並未特別限制處理單元區的尺寸，然而，可從視角和像素數目之間的關係來決定最佳尺寸。
亦未特別限制移動處理單元區時之移動量(像素數目)，而可選用性決定。各自處理單元區可被設定，以便重疊在其部分，或者可被設定在傾斜圖案中，以便不重疊。在加重準確性之例子中，亦即、在調整對比以獲得更平順的影像之例子中，可逐一像素移動處理單元區。
對比擷取單元15供應被計算作為3D影像的對比成分之各自處理單元區的Michelson對比C給具有亮度影像之對比調整單元17。
記憶體單元16儲存性能函數，性能函數係藉由已由視覺實驗所獲得之對比量化Michelson對比C和主觀感知的深度量D(亦被稱作主觀深度量D)之間的關係所獲得。
[Michelson對比C和主觀深度量D之間的關係]
圖2為藉由量化由視覺實驗所獲得的Michelson對比C和由在那時所獲得之主觀深度量D之間的關係所獲得之性能函數圖，其被標繪有Michelson對比作為水平軸而主觀深度量D作為垂直軸的對數軸。Michelson對比C的單位為[%]，及主觀深度量D的單位為(arcmin：分度角)。
在圖2中，正方形()表示其空間頻率為0.5 cpd、1cpd、及2cpd之亮度影像中的Michelson對比C和主觀深度量D之間的關係。菱形表示其空間頻率為5cpd及8cpd之亮度影像中的Michelson對比C和主觀深度量D之間的關係。
在主觀深度量D中，當觀看者感覺顯示在顯示器上的物體存在於顯示器上時，值為0[arcmin]。其顯示出，當主觀深度量D為正值時，觀看者感覺物體以那值存在於顯示器的前方位置，而當主觀深度量D為負值時，觀看者感覺物體存在於顯示器的深度位置。
例如，正方形()的標繪存在於Michelson對比C為5[%]和主觀深度量D約為0[arcmin]之位置。正方形()的標繪亦存在於Michelson對比C為25[%]和主觀深度量D約為30[arcmin]之位置。這些值的例子表示當Michelson對比C為5[%]之物體改變成Michelson對比C為25[%]之物體時，觀看者的主觀深度量D從約0[arcmin]改變成約30[arcmin]。也就是說，顯示出，當物體的Michelson對比C從5[%]改變到25[%]時，觀看者感知影像中的物體存在於約30[arcmin]的位置，比改變之前的位置近些。
在Michelson對比C和主觀深度量D之間具有單調增加關係，其中主觀深度量D隨著Michelson對比C增加而增加，如圖2所示。換言之，具有主觀深度量D幾乎與Michelson對比C的對數成比例之關係。
因此，可使用對數D=Axlog(C)+B(A、B為常數)以性能函數執行大約估計而表示Michelson對比C和主觀深度量D之間的關係。尤其是，當計算相關於所有空間頻率成分0.5 cpd、1cpd、2cpd、4cpd、及8cpd的資料之剩餘最小的D=Axlog(C)+B之參數A、B時，它們可由方程式(4)來表示。
D=18.04×log(C)-29.07　…(4)
也就是說，在方程式(4)中，A=18.04及B=-29.07。在圖2中，方程式(4)係由寫成為”對數函數”之虛線來予以表示。
可藉由應用到被使用相關於視覺系統的回應之Naka-Rushton方程式(性能函數)來表示Michelson對比C和主觀深度量D之間的關係。Naka-Rushton方程式係可由下面的方程式(5)來予以表示。
在方程式(5)中，Damp 、Dmin 、C50 、及”n”為給定的常數，及Damp 表示深度量的最大的最小寬度，Dmin 表示深度量的最小值，及C50 表示當深度量在最大值和最小值之間的中間值時所獲得之對比值。
當Naka-Rushton方程式的參數Damp 、Dmin 、C50 、及”n”被計算，使得剩餘將相對於藉由視覺實驗所獲得的所有空間頻率0.5 cpd、1cpd、2cpd、4cpd、及8cpd之資料為最小的，獲得方程式(6)。
也就是說，在方程式(6)中，Damp =77.9m、Dmin =-30.5、C50 =7.74、及”n”=1.09。在圖2中，方程式(6)由鏈線表示。
例如，在某些亮度影像的Michelson對比C為10[%]之例子中，當在方程式(6)中替換成C=10時，主觀深度量D為13.9[arcmin]。然後，為了使值成為27.8[arcmin]，執行方程式(6)的逆向操作，以使亮度影像的Michelson對比C為20.9[%]。
欲應用的性能函數可根據給定的空間頻率來區分。例如，Naka-Rushton方程式被應用作為圖2中的性能函數，及當區分相關於具有空間頻率2cpd或更小之亮度影像以及具有空間頻率高於2cpd之亮度影像的性能函數時，可獲得相關於空間頻率成分2cpd或更小的資料之Damp =78.5、Dmin =-30.5、C50 =9.93、及n=1.23。此外，可獲得相關於空間頻率成分高於2cpd的資料之Damp =58.5、Dmin =-30.5、C50 =3.45、及n=2.05。
也就是說，方程式(7)的性能函數可被應用到具有空間頻率2cpd或更少之亮度影像，及方程式(8)的性能函數可被應用到具有空間頻率高於2cpd之亮度影像。
回到圖1，記憶體單元16儲存藉由視覺實驗所獲得之方程式(4)、方程式(6)、及一對方程式(7)和方程式(8)的部分或全部。也就是說，所有方程式(4)、方程式(6)、及一對方程式(7)和方程式(8)都儲存在記憶體單元16中，及可根據需要來使用，或者只有儲存預先決定應用之性能函數。當以電腦執行計算時，當使用對數函數之方程式(4)時容易執行計算。此外，記憶體單元16不但可直接儲存性能函數的方程式，而且還可儲存LUT(查閱表)格式的性能函數。
分別從深度資訊擷取單元12供應3D影像的深度資訊、從對比析取單元15供應3D影像的對比成分、及從空間頻率擷取單元14供應3D影像的空間頻率成分到對比調整單元17。
對比調整單元17改變(調整)亮度影像的Michelson對比C，以改變(調整)3D影像的深度感。如參考圖2所說明一般，Michelson對比C和主觀深度量D之間具有單調增加關係，因此，亮度影像的對比成分可被調整，使得當增強3D影像的深度感時增加Michelson對比C。
將說明對比調整單元17藉由使用一性能函數來改變(調整)亮度影像的Michelson對比C，例如，不管空間頻率之下，相關於整個亮度影像的方程式(6)之性能函數的例子。
例如，在亮度影像的某一處理單元區之Michelson對比C為10[%]的例子中，當在方程式(6)中替換成C=10時，主觀深度量D為13.9[arcmin]。然後，為了加倍主觀深度量D，亦即、為了使值成為27.8[arcmin]，對比調整單元17可改變(調整)處理單元區中的Michelson對比C為20.9[%]，其為10[%]的2.09倍。
事先在對比調整單元17中設定用以決定主觀深度量D乘以哪一個值之深度調整量。為了加倍主觀深度量D，將存在於亮度影像中之近側的區域變成更近之處理以及將存在於亮度影像中之深側的區域變成更深之處理的至少其中之一是必要的。亦即、改變對比之方向在近側區和在深側區是不同的。供應自深度資訊擷取單元12的深度資訊被用於將亮度影像分成深側區和近側區。
對比調整單元17依據供應自深度資訊擷取單元12的深度資訊而決定3D亮度影像的深側區和近側區。此處，藉由將影像分成深側區和近側區所獲得之區域的最小單位將大體上等於藉由計算Michelson對比C之對比擷取單元15所獲得的處理單元區。
接著，對比調整單元17讀取儲存在記憶體單元16中之方程式(6)的性能函數。然後，對比調整單元17從Michelson對比C計算出有關包括在深側區和近側區中的所有處理單元區之目前主觀深度量D。相關於調整對比之後的處理區之主觀深度量D係從所計算的主觀深度量D和以事先設定之深度調整量來決定，因此，可依據方程式(6)的性能函數來計算欲被設定的Michelson對比C。亦即、對比調整單元17依據目前主觀深度量D和影像的深度資訊而計算出有關所有處理單元區之主觀深度量D乘以哪一個值。此處，假設所計算的Michelson對比C之調整量為M倍(M>0)，當從所調整影像主觀感知之深度量預期大於目前影像時，調整值在深側區中為M<1，而在近側區中為M>1。當從所調整影像主觀感知之深度量預期小於目前影像時，調整值在深側區中為M>1，而在近側區中為M<1。
在上述例子中，在近側區中的影像之給定處理單元中的目前主觀深度量D被計算成13.9[arcmin]，及發現為了將主觀深度量D改成兩倍(亦即、為27.8[arcmin])，Michelson對比C約兩倍(M=2.09)較佳。
接著，對比調整單元17調整3D影像的對比成分，使得Michelson對比C被改成M倍的值，如相關於包括在深側區和近側區中的所有處理單元區之計算一般。
尤其是，對比調整單元17在亮度影像的各處理單元區中執行傅立葉轉換，及計算包括在各處理單元區中之頻率成分的頻譜強度。然後，對比調整單元17調整各處理單元區中之各自頻率成分的頻譜強度，使得調整之後的各處理單元區之Michelson對比C被改成M倍的值。調整之後的各處理單元區中之各自頻率成分的頻譜強度被供應到影像處理單元18。
影像處理單元18依據由對比調整單元17的調整結果而產生調整對比之後所獲得的亮度影像。尤其是，影像處理單元18對調整後的各處理單元區中之各自頻率成分的頻譜強度執行反向傅立葉轉換，藉以計算在調整各處理單元區後所獲得的亮度影像。而且，影像處理單元18從調整之後的各自處理單元區中之亮度影像而產生調整對比之後的亮度影像。也就是說，當各自處理單元區被設定，以便重疊在其部分時，可計算相關於亮度影像的各像素之調整後的複數個亮度值。因此，藉由應用調整之後的複數個亮度值之平均值作為調整之後的像素之亮度值，而影像處理單元18產生調整對比之後的亮度影像。
影像輸出單元19將由影像處理單元18所產生的亮度影像轉換成與輸入到影像輸入單元11的影像相同之3D影像，輸出影像到隨後階段的裝置(顯示裝置等等)。在將以CIE XYZ彩色系統的XYZ值所表示之亮度影像改變成以RGB彩色系統的RGB值所表示之3D影像的例子中，可以下面方程式(9)至(11)來進行轉換。
R=3.2410X-1.5374Y-0.4986Z...(9)
G=-0.9692X+1.8760Y+0.0416Z...(10)
B=0.0556X-0.2040Y+1.0570Z...(11)
當輸出3D影像時的資料格式被指定時，影像輸出單元19在將3D影像的資料格式轉換成指定的格式之後可輸出影像。
如上所述地組構圖1的影像處理裝置。
在上述例子中，不但增加3D亮度影像中之近側區的Michelson對比C，而且還降低深側區的Michelson對比C，藉以增強深度感。然而，亦能夠藉由只增加近側區的Michelson對比C而不改變深側區的Michelson對比C來增強深度感。相反地，能夠藉由只降低深側區的Michelson對比C而不改變近側區的Michelson對比C來增強深度感。
在上述例子中，已說明對比調整單元17藉由使用相關於整個亮度影像的方程式(6)之一個性能函數來調整亮度影像的Michelson對比C之例子，然而，藉由使用方程式(4)的性能函數來進行調整之例子與上述相同。
[根據給定的空間頻率成分來應用複數個性能函數之例子的說明]
接著，對比調整單元17藉由應用方程式(7)和公式(8)的兩性能函數來調整亮度影像之Michelson對比C的例子將只說明有關與應用一個性能函數之上述例子的不同點。
依據由空間頻率擷取單元14所擷取出的3D影像之空間頻率成分，對比調整單元17決定哪一個空間頻率成分高比率包括在各處理單元區中。
當2cpd或更低的空間頻率成分高比率包括在處理單元區中時，對比調整單元17從記憶體單元16讀取方程式(7)的性能函數，及以與應用相關於處理單元區的方程式(6)之性能函數的例子相同方式來進行調整。
另一方面，當大於2cpd的空間頻率成分高比率包括在處理單元區中時，對比調整單元17從記憶體單元16讀取方程式(8)的性能函數，及以與應用相關於處理單元區的方程式(6)之性能函數的例子相同方式來進行調整。
如上述，當藉由應用複數個性能函數來進行Michelson對比C的調整時，欲應用的性能函數係根據包括在亮度影像的各自處理單元區中之空間頻率成分來選擇。
在上述例子中，將影像轉換成具有較深深度的影像，以增強深度感，然而，自然能夠轉換3D亮度影像，以便降低深度感。
[對比調整處理的流程圖]
接著，將參考圖3之流程圖說明影像處理裝置所執行的對比調整處理。在說明圖3的各自步驟時，亦視需要參考圖4至圖8進行說明。
首先，在步驟S11中，影像輸入單元11從外面接收3D影像的輸入，及供應影像到深度資訊擷取單元12和亮度擷取單元13。例如，以上述第一至第三資料格式，從外面將3D影像輸入到影像輸入單元11。
圖4為當以第一資料格式供應時之3D影像的例子圖。也就是說，在第一資料格式中，包括左眼用的影像31L和右眼用的影像31R之3D影像31被輸入到影像輸入單元11。雙眼視差被設定在左眼用的影像31L和右眼用的影像31R之間。3D影像31為藉由記錄一個女人坐在一顆大石頭上，背景是人工瀑布的場景所獲得之3D影像。
在步驟S12中，深度資訊擷取單元12從供應自影像輸入單元11的3D影像擷取深度資訊。如上述，可從藉由以亮度擷取單元13擷取亮度成分所獲得之3D亮度影像擷取深度資訊。
當以第一或第二資料格式供應3D影像的資料時，藉由諸如方塊匹配法和DP匹配法等方法，深度資訊擷取單元12計算出立體影像或視角影像中之對應點的像素不對準，亦即、雙眼視差；以及依據所計算的雙眼視差而大約計算出深度資訊。
另一方面，當以第三資料格式輸入3D影像時，隨著深度資訊被直接供應，深度資訊擷取單元12擷取所供應的深度資訊。深度資訊擷取單元12供應所擷取的深度資訊到對比調整單元17。
圖5為藉由視覺化擷取相關於圖4所示之包括左眼用的影像31L和右眼用的影像31R之3D影像31的深度資訊所獲得之深度影像32圖。
在圖5之深度影像32中，由8位元值表示深度資訊，及位在3D影像31的深側中之物體以小的像素值來表示，而位在3D影像31的近側中之物體以大的像素值來表示。圖5所示之深度影像32係用以說明步驟S12中之深度資訊的擷取處理，深度影像32並未直接用在圖3之對比調整處理。
當參考圖5之深度影像32時，女人和女人所坐的石頭之像素比背景的人工瀑布之像素明亮(像素值較大)。因此，深度資訊準確表示人工瀑布為背景，而女人和大石頭為前景。
在步驟S13中，亮度擷取單元13擷取供應自影像輸入單元11之3D影像的亮度成分。例如，當由RGB彩色系統中之線性RGB值表示所供應的影像時，亮度擷取單元13藉使用上述方程式(1)將3D影像的RGB值轉換成亮度值Y，而擷取出3D影像的亮度成分。
圖6圖示包括分別藉由從圖4所示之包括左眼用的影像31L和右眼用的影像31R擷取亮度成分所產生之左眼用的亮度影像33L和右眼用的亮度影像33R之亮度影像33。在圖式中，3D影像31和亮度影像33之間的差因為其限制而未出現，然而，3D影像31為彩色影像，而亮度影像33為灰色影像。
在步驟S14中，空間頻率擷取單元14擷取3D影像的指定空間頻率成分。換言之，空間頻率擷取單元14偵測哪一個空間頻率成分包括在3D影像的哪一個區域中。
圖7圖示藉由視覺化從圖6所示之左眼用的亮度影像33L擷取各自空間頻率成分1cpd、2cpd、4cpd、及8cpd時之擷取結果所獲得的空間頻率成分影像。
如上述，空間頻率係由進入到人類眼睛的1度視角之白和黑的色調變化(對比)所界定的，因此，空間頻率視觀看3D影像的使用者和顯示器之間的距離以及(3D影像所顯示之)顯示器尺寸而定。在例子中，在使用者以3H(H為顯示器高度)的距離觀看具有尺寸40英吋和解析度1920x1080的顯示器之條件下計算出空間頻率。
圖7的空間頻率成分影像41為藉由視覺化擷取相關於左眼用的亮度影像33L之空間頻率成分1cpd時的擷取結果所獲得之空間頻率成分影像。
圖7的空間頻率成分影像42為藉由視覺化擷取相關於左眼用的亮度影像33L之空間頻率成分2cpd時的擷取結果所獲得之空間頻率成分影像。
圖7的空間頻率成分影像43為藉由視覺化擷取相關於左眼用的亮度影像33L之空間頻率成分4cpd時的擷取結果所獲得之空間頻率成分影像。
圖7的空間頻率成分影像44為藉由視覺化擷取相關於左眼用的亮度影像33L之空間頻率成分8cpd時的擷取結果所獲得之空間頻率成分影像。
在空間頻率成分影像41至44中，各空間頻率成分的強度越高，像素越亮(像素值越高)。
當藉由使用相關於整個亮度影像的一功能函數來調整亮度影像的Michelson對比C時，可省略步驟S14的處理。
在步驟S15中，對比擷取單元15藉由使用由亮度擷取單元13所擷取之3D影像的亮度成分來擷取出3D影像之對比成分。尤其是，對比擷取單元15在藉由相關於亮度影像的給定量移動處理單元區同時計算出各自處理單元區的Michelson對比C，藉以計算出整個亮度影像上之Michelson對比C。
在步驟S16中，對比調整單元17依據供應自深度資訊擷取單元12之深度資訊來決定深側區和近側區。
在步驟S17中，對比調整單元17從記憶體單元16讀取性能函數。當藉由應用相關於整個亮度影像的一性能函數來調整對比成分時，讀出方程式(4)或方程式(6)的性能函數。當藉由應用相關於整個亮度影像的兩性能函數來調整對比成分時，讀出方程式(7)和方程式(8)的性能函數。
在步驟S18中，對比調整單元17從相關於整個處理單元區之Michelson對比C而計算出目前主觀深度量D。調整對比之後的相關於處理區之主觀深度量D係藉由所計算的目前主觀深度量D來決定，應被設定之Michelson對比C可依據從記憶體單元16所讀取之性能函數來計算。也就是說，對比調整單元17依據相關於所有處理單元區之目前主觀深度量D和深度資訊而計算出目前Michelson對比C乘上哪一個值。假設所計算的Michelson對比C之調整值為M倍。
此處，根據給定空間頻率成分應用複數個性能函數，對比調整單元17依據在步驟S14所擷取之3D影像的空間頻率成分來決定哪一個空間頻率成分高比率包括在亮度影像的處理單元區。然後，藉由使用對應於在步驟S17讀取自記憶體單元16之性能函數中高比例決定的空間頻率成分之性能函數，對比調整單元17計算出欲待設定在各處理單元區中之Michelson對比C。
另一方面，當應用相關於整個亮度影像之諸如方程式(4)或方程式(6)等一個性能函數時，藉由使用在步驟S17中讀取自記憶體單元16的一個性能函數，對比調整單元17計算出欲待設定各處理單元區中之Michelson對比C。
在步驟S19中，對比調整單元17調整對比成分C，使得Michelson對比C被改變成M倍的值，如計算相關於包括在深側區和近側區中之所有處理單元區一般。尤其是，對比調整單元17在亮度影像的各處理單元區中處理傅立葉轉換，以及計算出包括在各處理單元區中之頻率成分和頻譜強度。然後，對比調整單元17調整各處理單元區中之各自頻率成分的頻譜強度，使得調整之後的各處理單元區中之Michelson對比C被改變成M倍的值。調整之後的各處理單元區中之頻譜強度被供應到影像處理單元18。
在步驟S20中，影像處理單元18依據對比調整單元17的調整結果而產生調整對比之後的亮度影像。尤其是，影像處理單元18對調整之後的各處理單元區中之各自頻率成分的頻譜強度執行反向傅立葉轉換，藉以計算出在調整各處理單元區之後所獲得的亮度影像。然後，影像處理單元18從調整各處理單元區之後所獲得的亮度影像而產生調整對比之後的亮度影像。
在步驟S21中，影像輸出單元19將調整對比之後所獲得的3D影像輸出到諸如顯示裝置等隨後階段的裝置。也就是說，影像輸出單元19將由影像處理單元18所產生的亮度影像轉換成與影像輸入單元11所輸入的影像相同之3D影像，及輸出影像到隨後裝置。影像輸出單元19可將由影像處理單元18所產生之3D影像的資料格式轉換成另一格式，及視需要輸出影像。
每次3D影像被輸入到影像輸入單元11時重複執行從步驟S11至S21的處理。
執行步驟S11至S21的各自處理之順序並不侷限於上述例子，若需要的話可改變。例如，步驟S12和步驟S13可在步驟S11至S21的處理中並行地執行。亦可並行地執行步驟S14和步驟S15。
<2.第二實施例> [影像處理裝置的組態方塊圖]
圖8為根據本發明的第二實施例之影像處理裝置的組態例子。
在圖8中，相同號碼被指定給對應於第一實施例之部位，及將省略其說明。
除了重新設置使用者輸入單元20之外，其他以與圖1相同方式組構影像處理裝置1。
在第二實施例中，首先輸出以與第一實施例相同方式自動調整之Michelson對比C的影像處理結果(沒有使用者的輸入)。然後，在確認自動調整的影像處理結果之後，使用者本身可視需要改變Michelson對比C。
使用者輸入單元20接收Michelson對比C的輸入作為由使用者設定之深度調整量，及供應此值到對比調整單元17。
從影像輸出單元19輸出已依據預定深度調整量執行對比調整處理之3D影像後，對比調整單元17讓影像輸出單元19能夠輸出用以確認Michelson對比C改變與否的影像。根據處理，讓使用者能夠確認Michelson對比C改變與否之確認螢幕顯示在隨後顯示裝置等等上。可在已依據自動調整執行對比調整處理之3D影像上，由ODS顯示確認螢幕。
使用者確認在依據自動調整之對比調整處理後所獲得的3D影像，及當決定改變Michelson對比C時，由使用者輸入單元20輸入Michelson對比C的改變值。使用者輸入單元20供應由使用者輸入之Michelson對比C的改變值給對比調整單元17。
當從使用者輸入單元20供應Michelson對比C的改變值時，對比調整單元17以偏好應用Michelson對比C之改變值給已自動調整的Michelson對比C。也就是說，對比調整單元17依據所供應的Michelson對比C之改變值來調整3D亮度影像的對比成分，而非依據根據預定深度調整量之Michelson對比C的調整量。
[對比調整處理的流程圖]
將參考圖9之流程圖說明根據第二實施例之影像處理裝置1的對比調整處理。
從步驟S41至S51的處理與圖3之從步驟S11至S21的上述處理相同，因此省略其說明。也就是說，首先將已由對比調整單元17所決定的Michelson對比C改變亮度值之3D影像顯示在隨後顯示裝置等等上。
然後，在步驟S52中，對比調整單元17讓影像輸出單元19能夠輸出欲待確認Michelson對比C改變與否之影像，和將用以確認Michelson對比C改變與否之影像顯示在隨後顯示裝置等等上。
在步驟S53中，對比調整單元17決定使用者輸入單元20是否已選擇改變Michelson對比C。使用者有關呈現改變Michelson對比C的選擇資訊從使用者輸入單元20供應到對比調整單元17。
當選擇改變Michelson對比C時，亦從使用者輸入單元20供應Michelson對比C的改變值到對比調整單元17。
當在步驟S53未選擇改變Michelson對比C時，結束處理。
另一方面，當在步驟S53選擇改變Michelson對比C時，處理繼續到步驟S54。在步驟S54中，使用者輸入單元20供應已由使用者輸入之Michelson對比C的改變值到對比調整單元17。
在步驟S54之後，處理回到步驟S49。在步驟S49中，對比調整單元17調整對比成分，使得相關於包括在深側區和近側區中的所有處理單元區之Michelson對比C被改變成從使用者輸入單元20所供應的改變值。在步驟S50之後的處理是相同的。
根據上述之對比調整處理，在確認已自動調整之Michelson對比C的影像處理結果之後，使用者本身可進一步視需要改變Michelson對比C。
因此，能夠調整對比成分，以增強反映使用者的愛好之3D影像的深度感。
讓使用者能夠選擇諸如”增加深度感”和”減少深度感”等項目，以及能夠應用事先設定的量來對應於項目(例如，由自動調整所決定的值之1.5倍)，作為Michelson對比C的改變值亦較佳。
根據應用本發明之影像處理裝置1，可藉由以視覺實驗量化人類的視覺特性所獲得之性能函數來增強3D影像的深度感。尤其是，可藉由使用以對比來量化Michelson對比C和主觀感知的深度量D之間的關係所獲得之性能函數來增強3D影像的深度感。對比屬於雙眼3D資訊中的單眼3D資訊，以及用以使人類能夠感知立體效果和物體的深度之單眼3D資訊。因此，根據影像處理裝置1，能夠藉由依據人類的視覺特性來調整單眼3D資訊的其中之一的對比之參數來增強3D影像的深度感。
再者，根據影像處理裝置1，可藉由改變對比來增強3D影像的深度感，因此，能夠降低由於變化所導致之雙眼3D資訊的其中之一的雙眼視差。在例子中，當與只藉由雙眼視差而沒有改變對比之下讓使用者能夠感知同一深度感的3D影像比較，雙眼視差小，因此，在”習知技藝”一欄所說明之”眼球的會聚位置和調整位置”彼此接近。因此，能夠降低觀看者不自然、失真、或視覺疲勞的感知。也就是說，藉由調整對比的參數和增強3D影像的深度感，可提供人類不舒服感較低的3D影像。換言之，藉由組合單眼3D資訊與雙眼3D資訊，可提供人類不舒服感較低的3D影像。
不但可藉由硬體亦可藉由軟體來執行上面一連串處理。當藉由軟體執行一連串處理時，包括在軟體中的程式安裝在電腦中。此處，電腦包括結合在專用硬體中之電腦；可藉由安裝各種程式來執行各種功能之通用型個人電腦等等。
圖10為由軟體執行上述一連串處理之電腦的硬體之組態例子的方塊圖。
在該電腦中，藉由匯流排104而互相連接CPU(中央處理單元)101、ROM(唯讀記憶體)102、及RAM(隨機存取記憶體)103。
輸入/輸出介面105進一步連接到匯流排104。連接輸入單元106、輸出單元107、儲存單元108、通訊單元109、及驅動器110到輸入/輸出介面105。
輸入單元106包括鍵盤、滑鼠、麥克風等等。輸出單元107包括顯示器、揚聲器等等。儲存單元108包括硬碟、非揮發性記憶體等等。通訊單元109包括網路介面等等。驅動器110驅動可移除式記錄媒體111，諸如磁碟、光碟、磁光碟、或半導體記憶體等。
在如上述組構的電腦中，經由輸入/輸出介面105和匯流排104，CPU 101將儲存在例如儲存單元108中的程式載入到RAM 103及執行程式，藉以執行上述一連串處理。
可藉由被記錄在作為封裝媒體之可移除式記錄媒體111中來提供由電腦(CPU 101)所執行的程式。亦可經由諸如區域網路、網際網路、數位衛星廣播等有線或無線傳輸媒體來提供程式。
在電腦中，可藉由安裝可移除式記錄媒體111在驅動器110上，經由輸入/輸出介面105將程式安裝在儲存單元108中。經由有線或無線傳輸媒體，程式可由通訊單元109接收及安裝在儲存單元108中。此外，可事先安裝程式在RAM 102或儲存單元108中。
由電腦所執行的程式可以是沿著本說明書所說明的順序以時間序列所處理的程式，或者可以是平行處理或以諸如執行呼叫時等必要時序所執行的程式。
本發明的實施例並不侷限於上述實施例，及在不違背本發明的主旨之範圍內可以各種方式改變。
本申請案包含相關於日本專利局於2009、11、27所發表之日本優先權專利申請案JP 2009-270077所揭示的主題之主題，藉以倂入其全文做為參考。
1．．．影像處理裝置
11．．．影像輸入單元
12．．．深度資訊擷取單元
13．．．亮度擷取單元
14．．．空間頻率擷取單元
15．．．對比擷取單元
16．．．記憶體單元
17．．．對比調整單元
18．．．影像處理單元
19．．．影像輸出單元
20．．．使用者輸入單元
31．．．三維影像
31L．．．左眼用的影像
31R．．．右眼用的影像
32．．．深度影像
33．．．亮度影像
33L．．．左眼用的亮度影像
33R．．．右眼用的亮度影像
41．．．空間頻率成分影像
42．．．空間頻率成分影像
43．．．空間頻率成分影像
44．．．空間頻率成分影像
101．．．中央處理單元
102．．．唯讀記憶體
103．．．隨機存取記憶體
104．．．匯流排
105．．．輸入/輸出介面
106．．．輸入單元
107．．．輸出單元
108．．．儲存單元
109．．．通訊單元
110．．．驅動器
111．．．可移除式記錄媒體
圖1為根據本發明的第一實施例之影像處理裝置的組態例子之方塊圖；
圖2為藉由以對比量化由視覺實驗所獲得的邁克生對比C和主觀感知的深度量D之間的關係所獲得之性能函數圖；
圖3為說明由圖1之影像處理裝置所執行的對比調整處理之流程圖；
圖4為當以第一資料格式供應時之3D影像的例子圖；
圖5為藉由視覺化從3D影像所擷取出之深度資訊所獲得的深度資訊之例子圖；
圖6為藉由擷取亮度成分所產生之亮度影像的例子圖；
圖7為藉由視覺化藉由擷取各別空間頻率成分所獲得之擷取結果所獲得的空間頻率成分影像之例子圖；
圖8為根據本發明的第二實施例之影像處理裝置的組態例子之方塊圖；
圖9為說明由圖8之影像處理裝置所執行的對比調整處理之流程圖；以及
圖10為根據本發明的實施例之電腦的組態例子之方塊圖。
1．．．影像處理裝置
11．．．影像輸入單元
12．．．深度資訊擷取單元
13．．．亮度擷取單元
14．．．空間頻率擷取單元
15．．．對比擷取單元
16．．．記憶體單元
17．．．對比調整單元
18．．．影像處理單元
19．．．影像輸出單元

Claims (12)

  1. 一種影像處理裝置，包含：深度資訊擷取機構，用以從輸入的3D影像中擷取出深度資訊；亮度擷取機構，用以擷取該3D影像的亮度成分；對比擷取機構，用以根據由該亮度擷取機構所擷取之該3D影像的該等亮度成分而擷取該3D影像的對比成分；儲存機構，用以儲存根據人類的視覺特性所決定之性能函數，該性能函數指示該3D影像的該等對比成分與主觀感知的深度量之間的關係；以及對比調整機構，用以根據相關於從由該深度資訊擷取機構所擷取的該深度資訊所決定之該輸入的3D影像之近側區和深側區的至少其中之一的該性能函數，從由該對比擷取機構所擷取之該3D影像的該等對比成分來計算該輸入的3D影像之目前深度量，及根據該等計算出的目前深度量和設定的深度調整量來調整該輸入的3D影像之對比成分。
  2. 如申請專利範圍第1項之影像處理裝置，其中，該對比調整機構計算對比成分，用以使該等計算出的目前深度量能夠成為該設定的深度調整量，及調整該輸入的3D影像之該等對比成分而成為該等計算出的對比成分。
  3. 如申請專利範圍第1項之影像處理裝置，另包含： 空間頻率擷取機構，用以擷取該輸入的3D影像之空間頻率成分，其中，該儲存機構儲存依據給定的頻率成分之該等性能函數，以及該對比調整機構應用對應於該3D影像之該等擷取出的頻率成分之該等性能函數。
  4. 如申請專利範圍第3項之影像處理裝置，另包含：深度調整量輸入機構，用以接收該深度調整量的輸入。
  5. 如申請專利範圍第4項之影像處理裝置，其中，該對比擷取機構計算該3D影像的Michelson(邁克生)對比作為該3D影像的對比成分。
  6. 如申請專利範圍第5項之影像處理裝置，其中，當該Michelson對比為C及該深度量為D時，該性能函數被表示成D=Axlog(C)+B(A、B為常數)。
  7. 如申請專利範圍第5項之影像處理裝置，其中，當該Michelson對比為C及該深度量為D時，該性能函數被表示成 (Damp 、Dmin 、C50 、及”n”為給定的常數)。
  8. 一種影像處理裝置的影像處理方法，該影像處理裝置儲存根據人類的視覺特性所決定之性能函數及執行輸入 的3D影像之深度感的調整，該性能函數指示該3D影像的對比成分與主觀感知的深度量之間的關係，該影像處理方法包含以下步驟：從該3D影像中擷取出深度資訊；擷取該3D影像的亮度成分；根據該3D影像之該等擷取的亮度成分而擷取該3D影像之對比成分；根據相關於從該擷取的深度資訊所決定之該輸入的3D影像之近側區和深側區的至少其中之一的該性能函數，從該擷取的3D影像之該等對比成分而計算出該輸入的3D影像之目前深度量；以及根據該等計算出的目前深度量和設定的深度調整量而調整該輸入的3D影像的對比成分。
  9. 一種程式，使電腦能夠執行下面的處理：從輸入的3D影像中擷取出深度資訊；擷取該3D影像的亮度成分；根據該3D影像之該等擷取的亮度成分而擷取該3D影像之對比成分；根據性能函數而計算出從該3D影像之該等擷取的對比成分所主觀感知之該輸入的3D影像之目前深度量，該性能函數指示該3D影像的對比成分與主觀感知的該等深度量之間的關係，該性能函數係根據相關於從該擷取的深度資訊所決定之該輸入的3D影像之近側區和深側區的至少其中之一之人類的視覺特性所決定的；以及 根據該等計算出的目前深度量和設定的深度調整量而調整該輸入的3D影像之對比成分。
  10. 一種影像處理裝置，包含：擷取機構，用以擷取輸入影像的對比成分；以及調整機構，用以根據性能函數而從該等擷取的對比量來計算出深度量，及根據該深度量和設定的深度調整量而調整該輸入影像的該等對比成分，其中，該擷取機構計算該輸入影像的Michelson對比，當該Michelson對比為C及該深度量為D時，該性能函數被表示成D=Axlog(C)+B(A、B為常數)。
  11. 如申請專利範圍10項之影像處理裝置，其中，該調整機構包括依據給定之頻率成分的性能函數，以及應用對應於該輸入影像的空間頻率之該性能函數。
  12. 一種影像處理裝置，包含：深度資訊擷取單元，被組構成從輸入的3D影像中擷取出深度資訊；亮度擷取單元，被組構成擷取該3D影像的亮度成分；對比擷取單元，被組構成根據由該亮度擷取單元所擷取之該3D影像的該等亮度成分而擷取該3D影像之對比成分； 儲存單元，被組構成儲存根據人類的視覺特性所決定之性能函數，該性能函數指示該3D影像的該等對比成分與主觀感知的深度量之間的關係；以及對比調整單元，被組構成根據相關於從由該深度資訊擷取單元所擷取出的該深度資訊所決定之該輸入的3D影像之近側區和深側區的至少其中之一的該性能函數，從由該對比擷取單元所擷取之該3D影像的該等對比成分而計算出該輸入的3D影像之目前深度量，及根據該等計算出的目前深度量和設定的深度調整量而調整該輸入的3D影像之對比成分。
TW099139361A 2009-11-27 2010-11-16 影像處理裝置、影像處理方法、及程式 TWI476731B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009270077A JP5397190B2 (ja) 2009-11-27 2009-11-27 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
TW201142748A TW201142748A (en) 2011-12-01
TWI476731B true TWI476731B (zh) 2015-03-11

Family

ID=43618341

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099139361A TWI476731B (zh) 2009-11-27 2010-11-16 影像處理裝置、影像處理方法、及程式

Country Status (6)

Country Link
US (3) US8660337B2 (zh)
EP (1) EP2345993A3 (zh)
JP (1) JP5397190B2 (zh)
KR (1) KR101656887B1 (zh)
CN (1) CN102082954B (zh)
TW (1) TWI476731B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397190B2 (ja) 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5879713B2 (ja) * 2010-12-09 2016-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012249038A (ja) * 2011-05-27 2012-12-13 Hitachi Consumer Electronics Co Ltd 画像信号処理装置、画像信号処理方法
JP2012253690A (ja) * 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
KR101803571B1 (ko) * 2011-06-17 2017-11-30 엘지디스플레이 주식회사 입체영상표시장치와 이의 구동방법
CN103037236A (zh) * 2011-08-22 2013-04-10 联发科技股份有限公司 图像处理方法以及装置
WO2013047007A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 視差量調整装置およびその動作制御方法
WO2013081435A1 (ko) * 2011-12-02 2013-06-06 엘지전자 주식회사 3d 영상 표시 장치 및 방법
JP6024110B2 (ja) 2012-01-26 2016-11-09 ソニー株式会社 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5450908B1 (ja) 2012-03-26 2014-03-26 パナソニック株式会社 立体映像処理装置および立体映像処理方法
CN103517051B (zh) * 2012-06-28 2016-07-06 联想(北京)有限公司 控制方法和电子设备
CN103546736B (zh) * 2012-07-12 2016-12-28 三星电子株式会社 图像处理设备和方法
KR101978176B1 (ko) * 2012-07-12 2019-08-29 삼성전자주식회사 영상 처리 장치 및 방법
CN103400351B (zh) * 2013-07-30 2015-12-23 武汉大学 基于kinect深度图的低光照图像增强方法及***
KR102101834B1 (ko) * 2013-10-08 2020-04-17 삼성전자 주식회사 영상 처리 장치 및 방법
JP2015095779A (ja) 2013-11-12 2015-05-18 ソニー株式会社 画像処理装置、画像処理方法及び電子機器
JP2015132995A (ja) * 2014-01-14 2015-07-23 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2015154091A (ja) 2014-02-10 2015-08-24 ソニー株式会社 画像処理方法、画像処理装置、及び電子機器
KR102384234B1 (ko) * 2016-10-26 2022-04-07 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
CN106993091B (zh) * 2017-03-29 2020-05-12 维沃移动通信有限公司 一种图像虚化方法及移动终端
TWI622022B (zh) * 2017-07-13 2018-04-21 鴻海精密工業股份有限公司 深度計算方法及其裝置
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
CN109523617B (zh) * 2018-10-15 2022-10-18 中山大学 一种基于单目摄像机的光照估计方法
CN110111341B (zh) * 2019-04-30 2021-10-22 北京百度网讯科技有限公司 图像前景获取方法、装置及设备
CN111523409B (zh) * 2020-04-09 2023-08-29 北京百度网讯科技有限公司 用于生成位置信息的方法和装置
CN116858139B (zh) * 2023-06-29 2024-05-28 武汉理工大学 基于双目视觉的金属结构平面度测量方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1052845A2 (en) * 1999-05-12 2000-11-15 NuCore Technology Inc. Image processing apparatus
CN1350212A (zh) * 2001-11-07 2002-05-22 苏州苏大维格数码光学有限公司 数码三维与光变图像的制作方法及激光照排***
CN1132123C (zh) * 1995-03-29 2003-12-24 三洋电机株式会社 计算深度信息的方法和使用深度信息进行图象处理的方法
TWI227808B (en) * 2002-12-02 2005-02-11 Sony Corp 3-D image display unit
US20070167717A1 (en) * 2005-11-27 2007-07-19 James Timothy W Structure assessment using spatial-frequency analysis
TW200844693A (en) * 2006-10-26 2008-11-16 Seereal Technologies Sa Compact three dimensional image display device
CN101349540A (zh) * 2007-07-18 2009-01-21 财团法人工业技术研究院 影像调整方法及影像撷取装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751927A (en) * 1991-03-26 1998-05-12 Wason; Thomas D. Method and apparatus for producing three dimensional displays on a two dimensional surface
JP2001061164A (ja) * 1999-08-19 2001-03-06 Toshiba Corp 立体映像信号伝送方法
JP2001238231A (ja) * 2000-02-24 2001-08-31 Sharp Corp 立体映像視覚効果付加装置及び方法
JP2002084552A (ja) * 2000-09-07 2002-03-22 Fuji Xerox Co Ltd カラオケ用立体画像表示装置およびカラオケ用立体画像表示方法
JP3749227B2 (ja) * 2002-03-27 2006-02-22 三洋電機株式会社 立体画像処理方法および装置
JP3838177B2 (ja) * 2002-08-22 2006-10-25 株式会社日立製作所 映像表示方法、映像表示装置及びそれに用いるコントラスト調整回路
JP4507633B2 (ja) * 2004-02-24 2010-07-21 セイコーエプソン株式会社 画像処理装置、画像処理方法、表示装置、および電子機器
JP4589651B2 (ja) * 2004-04-26 2010-12-01 オリンパス株式会社 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法
JP5121294B2 (ja) * 2006-05-08 2013-01-16 パナソニック株式会社 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路
US7636496B2 (en) * 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
KR101313637B1 (ko) * 2006-06-09 2013-10-02 서강대학교산학협력단 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법
JP5094219B2 (ja) * 2006-06-29 2012-12-12 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
CN101523924B (zh) * 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
US8131098B2 (en) * 2007-07-06 2012-03-06 Panasonic Corporation Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
CN101364384B (zh) * 2007-08-06 2010-05-26 深圳Tcl工业研究院有限公司 一种液晶图像处理的方法及装置
JP2009270077A (ja) 2008-04-30 2009-11-19 Tofuku Shoji Kk 石炭の代替燃料製造方法および脱水システム
CA2772607A1 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP5397190B2 (ja) 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5387377B2 (ja) * 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5337310B2 (ja) * 2010-02-11 2013-11-06 シャープ株式会社 画像処理装置、表示装置および画像処理方法
US8823776B2 (en) * 2010-05-20 2014-09-02 Cisco Technology, Inc. Implementing selective image enhancement
JP2015095779A (ja) 2013-11-12 2015-05-18 ソニー株式会社 画像処理装置、画像処理方法及び電子機器
JP2015132995A (ja) 2014-01-14 2015-07-23 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2015149547A (ja) 2014-02-05 2015-08-20 ソニー株式会社 画像処理方法、画像処理装置、及び電子機器
JP2015154091A (ja) 2014-02-10 2015-08-24 ソニー株式会社 画像処理方法、画像処理装置、及び電子機器
JP2015154101A (ja) 2014-02-10 2015-08-24 ソニー株式会社 画像処理方法、画像処理装置及び電子機器
JP2015156607A (ja) 2014-02-21 2015-08-27 ソニー株式会社 画像処理装置、画像処理装置、及び電子機器
JP2015162718A (ja) 2014-02-26 2015-09-07 ソニー株式会社 画像処理方法、画像処理装置及び電子機器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1132123C (zh) * 1995-03-29 2003-12-24 三洋电机株式会社 计算深度信息的方法和使用深度信息进行图象处理的方法
EP1052845A2 (en) * 1999-05-12 2000-11-15 NuCore Technology Inc. Image processing apparatus
CN1350212A (zh) * 2001-11-07 2002-05-22 苏州苏大维格数码光学有限公司 数码三维与光变图像的制作方法及激光照排***
TWI227808B (en) * 2002-12-02 2005-02-11 Sony Corp 3-D image display unit
US20070167717A1 (en) * 2005-11-27 2007-07-19 James Timothy W Structure assessment using spatial-frequency analysis
TW200844693A (en) * 2006-10-26 2008-11-16 Seereal Technologies Sa Compact three dimensional image display device
CN101349540A (zh) * 2007-07-18 2009-01-21 财团法人工业技术研究院 影像调整方法及影像撷取装置

Also Published As

Publication number Publication date
US9098907B2 (en) 2015-08-04
KR101656887B1 (ko) 2016-09-22
US9934575B2 (en) 2018-04-03
EP2345993A3 (en) 2012-12-26
EP2345993A2 (en) 2011-07-20
US8660337B2 (en) 2014-02-25
JP5397190B2 (ja) 2014-01-22
US20140126807A1 (en) 2014-05-08
US20110129144A1 (en) 2011-06-02
CN102082954B (zh) 2014-05-07
JP2011113363A (ja) 2011-06-09
TW201142748A (en) 2011-12-01
US20150294475A1 (en) 2015-10-15
CN102082954A (zh) 2011-06-01
KR20110059531A (ko) 2011-06-02

Similar Documents

Publication Publication Date Title
TWI476731B (zh) 影像處理裝置、影像處理方法、及程式
US9646383B2 (en) Image processing apparatus, image capturing apparatus, and display apparatus
US8638329B2 (en) Auto-stereoscopic interpolation
TWI528781B (zh) 用以訂製立體內容之三維效果的方法及裝置
US9729845B2 (en) Stereoscopic view synthesis method and apparatus using the same
US8977039B2 (en) Pulling keys from color segmented images
US20180098055A1 (en) Image processing device, method, and program
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
JP6441552B2 (ja) 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
JP5581452B2 (ja) 視差量調整装置およびその動作制御方法
JP6887824B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
JP2014022867A (ja) 画像処理装置および方法、並びにプログラム
KR101633635B1 (ko) 3d 영상의 입체감 조절을 위한 색 보정 장치 및 그 방법
KR101633634B1 (ko) 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 그 장치
US8619130B2 (en) Apparatus and method for altering images for three-dimensional display
JP2013132018A (ja) 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム
JP2012226574A (ja) 画像処理方法、画像処理装置及び表示装置
CA2982015A1 (en) Method and apparatus for depth enhanced imaging
WO2012090813A1 (ja) 画像処理装置及び画像処理システム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees