TWI504936B - 影像處理裝置 - Google Patents

Description

影像處理裝置

本發明是有關於一種影像處理裝置，且特別是有關於可產生影像的深度資訊，而且可根據深度資訊產生大尺寸二維(2D)影像與適合人眼觀看的立體三維影像(stereoscopic 3D video)的一種影像處理裝置。

傳統攝影機使用單一鏡頭與單一影像感應器，並使用音圈馬達(VCM：voice coil motor)驅動鏡頭前後移動，以實現自動對焦和取得深度資訊(depth information)，以為二維(2D)影像與三維(3D)影像的產生做準備。但是音圈馬達動作緩慢、耗電、而且會發出噪音。這些缺陷使得產生深度資訊的功能需要更多時間與電力來完成。而使用多個相機或影像矩陣的影像輸入則無法克服同時取得大尺寸二維影像、如何處理多張複雜的影像輸入、與如何即時產生適合人眼觀看的立體三維影像的問題。

相機使用者多希望可以拍攝大尺寸二維影像，例如一千萬畫素(10 megapixels)的影像。來自多個相機或影像矩陣的影像雖然可以讓深度資訊的取得更容易，但是多個相機或影像矩陣的影 像輸出尺寸通常多是小尺寸，例如每一張都只有一百萬畫素，並且這些多張小尺寸影像需具有相同對焦平面。如何產生清楚的大尺寸二維影像將是一大挑戰。

當多張輸入影像有不同的成像平面並結合光學變焦(optical zoom)功能時，如何即時產生適合人眼觀看的立體三維影像的問題會引發更多複雜挑戰，尤其是當使用者感興趣的物件四處移動時，將使多個相機或影像矩陣的影像輸入攝影機更不易使用。

本發明提供一種影像處理裝置，搭配多個影像感應器或影像矩陣輸入不同對焦平面的影像，並使用數位影像處理技術實現同時且即時產生大尺寸二維影像與產生適合人眼觀看的立體三維影像，具有快速與省電的功效。上述的影像處理裝置也包括多種深度資訊的應用功能。

本發明的影像處理裝置包括影像感應陣列、影像前置處理單元、深度產生器、以及聚焦單元。影像感應陣列包括多個影像感應器，用以針對第一物件與第二物件擷取多個影像。影像前置處理單元耦接影像感應陣列，用以接收上述多個影像，並對上述多個影像進行處理，以產生相關於第一物件與第二物件的第一位移影像與第二位移影像。深度產生器耦接影像前置處理單元，用以根據第一位移影像與第二位移影像產生深度資訊。深度資訊 包括相關於第一物件的第一距離資訊。聚焦單元耦接影像前置處理單元與深度產生器，用以根據深度資訊、第一位移影像與第二位移影像產生第一對對焦影像，其中第一對對焦影像對焦於第一物件。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧影像處理裝置

105‧‧‧影像感應陣列

110‧‧‧鏡頭陣列

120‧‧‧感應器陣列

125‧‧‧影像前置處理單元

130‧‧‧影像處理管線

140‧‧‧影像分析器

150‧‧‧二維影像合成器

160‧‧‧聚焦單元

170‧‧‧儲存單元

180‧‧‧深度產生器

310‧‧‧鏡頭扭曲修正單元

320‧‧‧同步處理單元

330‧‧‧去雜訊單元

340‧‧‧視差校正單元

350‧‧‧影像校正單元

415、425‧‧‧裁切方框

510‧‧‧色彩空間轉換器

520‧‧‧背景模型單元

530‧‧‧物件輪廓單元

540‧‧‧偏移估算器

550‧‧‧後處理器

560‧‧‧偏移深度轉換器

570‧‧‧紅外線收發器

610~650‧‧‧深度資訊區域

810‧‧‧影像背景

815、825‧‧‧紅外線反射光點

820‧‧‧影像前景

910~930‧‧‧物件

1000‧‧‧影像處理裝置

1020‧‧‧三維影像合成器

1030‧‧‧遮蔽點偵測器

1040‧‧‧顯示單元

1130、1140‧‧‧物件

1135、1137、1145、1147‧‧‧遮蔽點

1200‧‧‧影像處理裝置

M1、M2‧‧‧遮蔽點位置資訊

R1、L1、R2、L2‧‧‧位移影像

R3、L3‧‧‧對焦影像

圖1是依照本發明一實施例的一種影像處理裝置的示意圖。

圖2與圖3是依照本發明一實施例的一種影像處理管線的示意圖。

圖4是依照本發明一實施例的視差校正的示意圖。

圖5是依照本發明一實施例的一種深度產生器的示意圖。

圖6A與圖6B是依照本發明一實施例的深度資訊的示意圖。

圖7是依照本發明另一實施例的一種深度產生器的示意圖。

圖8是依照本發明一實施例的紅外線反射光點的示意圖。

圖9A至圖9D是依照本發明一實施例的對焦影像的示意圖。

圖10是依照本發明另一實施例的一種影像處理裝置的示意圖。

圖11是依照本發明一實施例的遮蔽點的示意圖。

圖12是依照本發明另一實施例的一種影像處理裝置的示意 圖。

圖1是依照本發明一實施例的一種影像處理裝置100的示意圖。影像處理裝置100可以是數位相機、數位攝影機、或具有相機和/或攝影機功能的電子裝置，如個人數位助理(PDA)、智慧型手機或平板電腦。影像處理裝置100包括影像感應陣列105、影像前置處理單元125、多個影像處理管線130、影像分析器140、聚焦單元160、深度產生器180、二維(2D)影像合成器150、以及儲存單元170。其中影像感應陣列105包括鏡頭陣列110與感應器陣列120。感應器陣列120耦接鏡頭陣列110，影像前置處理單元125耦接感應器陣列120，影像處理管線130耦接影像前置處理單元125，影像分析器140、聚焦單元160和深度產生器180各自耦接影像處理管線130，二維影像合成器150耦接聚焦單元160，儲存單元170耦接二維影像合成器150。

感應器陣列120可包括多個影像感應器(例如多個攝影機)，用以針對同一場景中的一個或多個物件擷取多個影像，並將該多個影像輸出至影像前置處理單元125。在感應器陣列120之中，每一個影像感應器的焦點距離(focal length)可以是固定不變的或是可變的，而且每一個影像感應器可使用固定鏡頭(fixed lens)、液態鏡頭(liquid lens)、晶體鏡頭(crystal lens)、或微鏡頭陣列(micro-lens array)。感應器陣列120之中的影像感應器的焦點距離 可以相同也可以不同。換句話說，感應器陣列120所擷取的上述多個影像可具有同一對焦平面(focal plane)。或者，感應器陣列120所擷取的上述多個影像可具有多個不同的對焦平面。

鏡頭陣列110可包括多個光學變焦鏡頭(optical zoom lens)，這些光學變焦鏡頭和感應器陣列120的多個影像感應器一一對應。每一個光學變焦鏡頭配置於對應的感應器的前方。這些光學變焦鏡頭可在上述影像中拉近遠方的物件，提高遠方物件的層次感。

影像前置處理單元125可接收感應器陣列120擷取的多個影像，並對上述多個影像進行處理，以產生相關於上述一個或多個物件的兩個位移影像R1與L1。位移影像R1與L1可假設為分別對應使用者的右眼與左眼所看到的影像。

更詳細的說，影像前置處理單元125可矯正感應器陣列120所擷取的上述多個影像的影像幾何平面，並根據上述多個影像的實體相對位置與對焦平面將上述多個影像分類為對應右眼與左眼的兩個影像群。然後影像前置處理單元125可根據第一個影像群中每一影像的光學特性將第一個影像群中的多個影像合成單一影像放大輸出(multi-frame super resolution)，以產生對應右眼的位移影像R1。同理，影像前置處理單元125可根據第二個影像群中每一影像的光學特性將第二個影像群中的多個影像，合成單一影像放大輸出，以產生對應左眼的位移影像L1。

上述的單一影像放大輸出是將多個較小的影像合成一個 較大的影像，例如將兩個五百萬畫素(pixel)的影像合成一個一千萬畫素的影像。感應器陣列120的多個影像感應器可在同一時間(即同步)拍攝多個影像，然後影像前置處理單元125可使用單一影像放大輸出技術和上述多個影像產生具有更高解析度的位移影像R1和L1。

此外，影像前置處理單元125還可以支援高動態範圍(HDR：high dynamic range)技術。傳統的高動態範圍技術是對同一場景，在不同時間，使用不同曝光值拍攝多個影像，然後合成一個影像，其目的是在單一影像中呈現更廣的明暗範圍。感應器陣列120的多個影像感應器可在同一時間各使用不同曝光值擷取多個影像，然後影像前置處理單元125可使用高動態範圍技術，根據上述多個影像產生明暗範圍更廣的位移影像R1和L1。上述的多個影像是在同一時間拍攝，不僅效率更高，效果也更佳，例如可將使用者的手震的影響最小化。

影像處理管線130如圖2所示。於此實施例中，影像處理裝置100可包括至少兩個影像處理管線130，其中一影像處理管線130可由影像前置處理單元125接收位移影像R1，而另一影像處理管線130可由影像前置處理單元125接收位移影像L1。每一個影像處理管線130包括呈串列耦接的多個影像處理單元，可依序對其所接收的位移影像R1(或L1)進行多階段影像處理，並輸出對應於位移影像R1(或L1)的位移影像R2(或L2)。進一步而言，每一個影像處理管線130中的第一個影像處理單元接收位移影像 R1(或L1)做為輸入，其餘每一個影像處理單元接收上一個影像處理單元的輸出做為輸入。這些影像處理單元對位移影像R1(和L1)進行一連串影像處理。在以下說明中，兩個影像處理管線130個別接收的兩個位移影像以R1和L1表示，兩個影像處理管線130個別輸出的兩個位移影像則以R2和L2表示。上述兩個影像處理管線130輸出位移影像R2和L2至影像分析器140、聚焦單元160、以及深度產生器180。

舉例而言，每一個影像處理管線130可以如圖3所示，其中的影像處理單元可包括呈串列耦接的鏡頭扭曲修正單元(lens distortion correction unit)310、同步處理單元(synchronization processing unit)320、去雜訊單元(de-noise unit)330、視差校正單元(parallax calibration unit)340、以及影像校正單元(image rectification unit)350。以下說明以圖2上方的影像處理管線130為範例。對於圖2下方的影像處理管線130的說明，只需將位移影像R1與R2分別置換為位移影像L1與L2。

鏡頭扭曲修正單元310修正位移影像R1中的魚眼現象，也就是直線經過拍攝後會略微彎曲的現象。

同步處理單元320修正並縮減位移影像R1和L1之間的差異，上述差異可包括感應器陣列120其中的影像感應器的拍攝時間、曝光(exposure)、色彩、白平衡(white balance)、以及對焦平面其中的一項或多項差異。

去雜訊單元330可濾除位移影像R1中的雜訊，包括亮度 雜訊與色彩雜訊。

對應於位移影像R1的視差校正單元340會在位移影像R1中決定一個裁切方框(cropping frame)及其位置，並在位移影像R1上裁去裁切方框以外的部分及保留裁切方框以內的部分。同樣地，對應於位移影像L1的視差校正單元340會在位移影像L1中決定另一個裁切方框(cropping frame)及其位置，並在位移影像L1上裁去裁切方框以外的部分及保留裁切方框以內的部分。為了營造兩個位移影像L1與R1間所需的視差(parallax)效果，視差校正單元340會將裁切方框安排在位移影像R1與位移影像L1中的不同位置，使每個位移影像的視界(view)有少許差別。

例如圖4所示，在此範例中，兩個影像處理管線130其中的兩個視差校正單元340分別在位移影像L1與R1上決定裁切方框415與425以及這兩個裁切方框的位置。兩個裁切方框415、425的位置不同，如果放在同一個影像中，兩個裁切方框415、425之間會有一小段距離，這個間距是根據感應器陣列120的多個影像感應器的多個鏡頭之間的距離而決定。因此，每一個視差校正單元340會根據上述的多個鏡頭之間的距離，在位移影像中決定其裁切方框及裁切方框的位置，以營造視差效果。

感應器陣列120的多個影像感應器的多個鏡頭應該安裝在同一個平面上，而且上述多個鏡頭的安裝角度應該一致。例如每個鏡頭的視界中的上方必須指向同一方向，不應有旋轉角度上的偏差。但是在製造過程中，每個鏡頭的安裝位置不一定在同一 平面上，安裝角度的偏差也在所難免。影像校正單元350可校正上述的安裝位置和/或安裝角度的偏差對於位移影像R1所造成的扭曲(distortion)。例如可使用仿射轉換(affine transform)以校正上述扭曲。

圖5繪示深度產生器180的進一步細節。深度產生器180包括色彩空間轉換器510、背景模型單元(background modeling unit)520、物件輪廓單元530、偏移估算器540、後處理器550、以及偏移深度轉換器560。色彩空間轉換器510耦接每一個影像處理管線130，背景模型單元520和偏移估算器540各自耦接色彩空間轉換器510，物件輪廓單元530耦接背景模型單元520，後處理器550耦接物件輪廓單元530和偏移估算器540，偏移深度轉換器560耦接於後處理器550和聚焦單元160之間。

深度產生器180根據位移影像R2和L2產生深度資訊(例如depth map)。此深度資訊包括相關於感應器陣列120所拍攝的每一個物件的距離資訊。例如，上述距離資訊可以是對應的物件和影像感應器的鏡頭之間的距離，此距離也可稱為深度或深度值。

圖6A與圖6B是依照本發明一實施例的深度資訊的示意圖。圖6A是感應器陣列120所拍攝的場景，其中有多個物件(例如多個玩偶)，深度產生器180對應此場景產生的深度資訊如圖6B所示。深度資訊可以是由深度值構成的二維矩陣，其中每一個深度值是位移影像R2和L2之中同一位置的物件的深度值。圖6B的深度值已轉換為對應的灰階以方便顯示。圖6A的物件可分為五 個層次，分別對應圖6B的五個區域610~650，其中灰色越深的區域表示距離越遠。

以下說明深度產生器180的每一單元。色彩空間轉換器510可將位移影像R2和L2自第一色彩空間轉換至第二色彩空間。上述的第一色彩空間不包括亮度分量，例如RGB或CMYK；而第二色彩空間包括亮度分量和至少一個色彩分量，例如YUV或YCbCr。本實施例的感應器陣列120使用RGB色彩空間拍攝影像，如果感應器陣列120可用YUV之類的包含亮度分量的色彩空間拍攝影像，則可省略色彩空間轉換器510。

偏移估算器540可根據位移影像R2和L2的亮度分量(例如YUV色彩空間的Y分量)產生偏移資訊(例如disparity map)，此偏移資訊包括每一個物件在位移影像R2和L2之間的偏移量。所謂偏移量是指同一個物件的同一點在不同影像中的不同位置之間的差距。越靠近鏡頭的物件會有越大的偏移量，因此用偏移量加上影像感應器的鏡頭的間距，可以推導出深度資訊。偏移估算器540可偵測並估算上述物件的偏移量，以產生偏移資訊。偏移資訊可以是類似圖6B的二維矩陣，只是其中的深度值換成偏移量。

背景模型單元520可根據位移影像R2或L2的至少一個色彩分量(例如YUV色彩空間的U分量與V分量)，區分該位移影像的前景與背景。上述前景是指使用者比較可能感興趣的部分，而背景是比較不重要的部分。因為感應器陣列120的每一個 影像感應器的視界相差不大，所以背景模型單元520可以只將位移影像R2和L2其中之一影像的前景或背景的資訊取出即可。

在圖5的實施例中，背景模型單元520亦耦接偏移估算器540。背景模型單元520可根據偏移估算器540產生的偏移資訊推算物件深度，然後根據深度來區分前景與背景。

物件輪廓單元530可抽取上述前景之中的一物件輪廓(object contour)，且後處理器550可根據上述物件輪廓修飾偏移資訊，特別是修飾偏移資訊中的物件輪廓資訊。

後處理器550負責修飾偏移估算器540所產生的偏移資訊。後處理器550可根據物件輪廓單元530在上述前景中抽取的物件輪廓，修飾偏移資訊中的前景物件輪廓，也就是修飾偏移資訊中的前景物件輪廓的突出與粗糙之處，讓偏移資訊中的前景物件輪廓平滑化。

此外，後處理器550可修補偏移資訊中的前景與背景的異常點。偏移資訊可以是類似二維影像的二維矩陣，例如其中矩陣邊緣的每一個點周圍有三或五個緊鄰的點，矩陣內部的每一個點周圍有八個緊鄰的點。若有某一個點和周圍任何一個緊鄰點的偏移量的差異值大於一個門檻值，該點就會被視為異常點，後處理器550會用該點全部的緊鄰點的偏移量平均值取代該點的偏移量。

偏移深度轉換器560可將經過後處理器550修飾的偏移資訊轉換為深度資訊，以供聚焦單元160使用。

圖7繪示依照本發明另一實施例的深度產生器180的進一步細節。此實施例的深度產生器180更包括耦接背景模型單元520的紅外線收發器570。紅外線收發器570可發射紅外線，並感應該紅外線的反射光點。例如圖8所示，圖8繪示此實施例的紅外線收發器570感應到的紅外線影像，其中的背景810有多個反射光點815，前景820另有多個反射光點825。因為前景的距離比較近，所以前景820的反射光點825會比較大、比較明亮，而背景810的反射光點815會比較小、比較陰暗。背景模型單元520可根據反射光點的上述差異來區分上述的前景與背景。

聚焦單元160可根據上述深度資訊、位移影像R2與L2、以及/或每一上述影像感應器的鏡頭參數產生兩個使用者所指定或所感興趣的物件之對焦影像R3與L3，上述的對焦影像R3與L3係同時對焦於同一個物件上。上述的鏡頭參數包括對應的該影像感應器的鏡頭的焦點距離(focal length)和點散函數(point spread function)。每一個影像感應器的鏡頭參數可以相同，也可以不相同。

圖9A至圖9D是上述的對焦影像的一個範例。圖9A是影像處理裝置100拍攝的場景，其中有三個物件910~930。在此範例中，聚焦單元160係根據深度產生器180所產生的深度資訊來產生三對對焦影像R3與L3，分別對焦於物件910~930。對焦於物件910的對焦影像R3與L3，就如圖9B所示，物件910最清晰，物件920、930比較模糊。對焦於物件920的對焦影像R3與L3，就如圖9C所示，物件920最清晰，物件910和930比較模糊。對 焦於物件930的對焦影像R3與L3，就如圖9D所示，物件930最清晰，物件910、920比較模糊。

聚焦單元160可產生對任意物件對焦的對焦影像的理論基礎是A.P.Pentland在IEEE Transactions on Pattern Analysis and Machine Intelligence,9(4)：523-531,1987發表的論文"A New Sense for Depth of Field"。此論文闡述了影像的深度資訊、對焦平面深度、以及鏡頭參數之間的關係。對焦平面深度和鏡頭參數在影像處理裝置100的硬體設計時已經得知，深度資訊則來自深度產生器180。

影像分析器140可提供智慧型自動聚焦功能。更詳細的說，影像分析器140可在位移影像R2和/或L2中辨識一個或多個物件的位置，例如人臉，或具有特徵的區域，以產生相對於上述一個或多個物件的位置資訊，其中聚焦單元160係根據上述的位置資訊產生相對於上述一個或多個物件的一對或多對對焦影像。除了由影像分析器140自動辨識之外，上述的對焦物件也可以由使用者指定。

例如在圖9A至圖9D的範例中，影像分析器140可在位移影像R2與L2中辨識物件910~930，並將物件910~930的位置資訊傳送給聚焦單元160。因此聚焦單元160可根據所接收到的位置資訊分別對焦於物件910~930，以產生如圖9B至圖9D所示的三對對焦影像R3與L3。

影像處理裝置100可拍攝靜態影像或動態影片，其中動 態影片就是連續拍攝的靜態影像的組合。在本發明的一實施例中，影像感應陣列105可連續拍攝多個影像，影像分析器140可在位移影像R2與L2中連續追蹤一個或多個物件，例如人臉或正在移動的物件，並提供這些物件的位置資訊，以供聚焦單元160產生對焦影像。除了由影像分析器140自動辨識之外，上述的對焦物件也可以由使用者指定。舉例而言，如果有一個行人從拍攝場景的後方走到前方，使用者可以指定此行人做為對焦物件，聚焦單元160可以連續追蹤對焦，讓這個行人無論走到哪裡，焦點都隨之移動。

回到圖1，二維影像合成器150可由聚焦單元160接收對焦影像R3與L3，並根據對焦影像R3與L3做二維影像補點(image interpolation)以產生一個二維合成影像。上述合成影像之解析度可大於或等於對焦影像R3與L3的解析度。儲存單元170可接收並儲存上述的合成影像，亦可儲存上述的深度圖、聚焦深度、以及鏡頭參數其中的一項或多項資料。如果影像處理裝置100拍攝的是動態影片，儲存單元170可將連續的合成影像編碼為影片儲存。

圖10是依照本發明另一實施例的一種影像處理裝置1000的示意圖。影像處理裝置1000包括影像感應陣列105、影像前置處理單元125、多個影像處理管線130、影像分析器140、聚焦單元160、深度產生器180、三維(3D)影像合成器1020、遮蔽點(occlusion)偵測器1030、顯示單元1040、以及儲存單元170。其中影像感應陣列105、影像前置處理單元125、多個影像處理管線 130、影像分析器140、聚焦單元160、以及深度產生器180分別與圖1的對應元件相同，不再贅述。遮蔽點偵測器1030耦接影像分析器140、聚焦單元160與深度產生器180，三維影像合成器1020耦接遮蔽點偵測器1030與聚焦單元160，顯示單元1040與儲存單元170皆耦接三維影像合成器1020。

遮蔽點偵測器1030可自聚焦單元160接收對焦影像R3與L3，並接收由影像分析器140所輸出的相對於物件的位置資訊及由深度產生器180所輸出的深度資訊，並根據所接收的對焦影像R3與L3、位置資訊與深度資訊來產生對應於對焦影像R3與L3的遮蔽點位置資訊M1與M2。所謂遮蔽點就是立體三維影像中被物件遮蔽而只被人類的雙眼其中一眼看到的部分，也就是感應器陣列120所拍攝的場景中只被一部分影像感應器擷取的部分。例如圖11所示的範例，對焦影像R3和L3其中有兩個物件1130和1140。對焦影像L3包括遮蔽點1135和1145，對焦影像R3則包括遮蔽點1137和1147。因為感應器陣列120的影像感應器的安裝位置各不相同，所以遮蔽點也出現在不同位置。越靠近影像感應器鏡頭的遮蔽點會越明顯。

修正遮蔽點可讓使用者看到更真實舒適的三維影像。三維影像合成器1020可根據遮蔽點位置資訊M1或M2將對焦影像R3或L3中的物件移動(shift)一距離，用以修飾物件之邊緣，以修正物件之遮蔽點。

如上所述，三維影像合成器1020可以根據物件的遮敝點 位置資訊M1與M2修正對焦影像R3與L3中的遮蔽點，而且三維影像合成器1020可根據對焦影像R3與L3及至少一遮敝點位置資訊M1或M2來產生一個三維合成影像。透過影像分析器140的影像內容分析與物件追蹤，可減少遮蔽點偵測與處理的時間，可即時改變遮蔽點修正的運算量，以即時產生適合人眼觀看的立體三維影像。

顯示單元1040由三維影像合成器1020接收三維合成影像，並以立體三維方式顯示上述三維合成影像。立體三維影像的立體感是指使用者看起來凸出螢幕或凹入螢幕的程度。影像處理裝置1000可提供設定選項以設定上述立體感的凸出或凹入程度，三維影像合成器1020可根據此設定選項，以及顯示單元1040的螢幕大小和解析度，調整顯示單元1040所呈現的立體感。儲存單元170可接收並儲存由三維影像合成器1020所輸出的三維合成影像。

圖12是依照本發明另一實施例的一種影像處理裝置1200的示意圖。影像處理裝置1200就是圖1的影像處理裝置100與圖10的影像處理裝置1000的組合。因此，影像處理裝置1200具有影像處理裝置100與影像處理裝置1000的全部功能。再者，於影像處理裝置1200中，三維影像合成器1020與二維影像合成器150可同時由聚焦單元160接收對焦影像R3與L3，藉以分別對所拍攝的物件同時產生一個具有深度資訊與高解析度的二維合成影像與一個三維合成影像，儲存單元170可接收並儲存該二維 合成影像與該三維合成影像。

綜上所述，上述實施例中的影像處理裝置100、1000、1200在拍攝影像時使用影像處理技術聚焦，而不使用音圈馬達，所以比使用音圈馬達的傳統方案更安靜、更快速而且更省電。影像處理裝置100、1000、1200在影像已經拍攝後可以藉由對焦影像對影像中的每一物件重新聚焦，可避免人為拍攝的聚焦或追蹤失誤。影像處理裝置100、1000、1200可用高動態範圍技術合成感應器陣列同時拍攝的多個影像，以延展影像的明暗範圍，並可用單一影像放大輸出技術合成感應器陣列同時拍攝的多個影像，以產生大尺寸的二維影像。影像處理裝置1000、1200可偵測並修正影像中的遮蔽點，可調整顯示單元所呈現的三維立體感。總之，本發明實施例中的影像處理裝置100、1000、1200可提供更適合人眼觀看的二維影像與立體三維影像。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

180‧‧‧深度產生器

510‧‧‧色彩空間轉換器

520‧‧‧背景模型單元

530‧‧‧物件輪廓單元

540‧‧‧偏移估算器

550‧‧‧後處理器

560‧‧‧偏移深度轉換器

R2、L2‧‧‧位移影像

Claims (17)

1. 一種影像處理裝置，包括：一影像感應陣列，包括多個影像感應器，用以針對一第一物件與一第二物件擷取多個影像；一影像前置處理單元，耦接該影像感應陣列，用以接收上述多個影像，並對上述多個影像進行處理，以產生相關於該第一物件與該第二物件的一第一位移影像與一第二位移影像；一深度產生器，耦接該影像前置處理單元，用以根據該第一位移影像與該第二位移影像產生一深度資訊，其中該深度資訊包括相關於該第一物件的一第一距離資訊；以及一聚焦單元，耦接該影像前置處理單元與該深度產生器，用以根據該深度資訊、該第一位移影像與該第二位移影像產生一第一對對焦影像，其中該第一對對焦影像對焦於該第一物件，其中該深度產生器包括：一偏移估算器，耦接該影像前置處理單元，用以根據該第一位移影像與該第二位移影像產生一偏移資訊；以及一偏移深度轉換器，耦接該偏移估算器，用以將該偏移資訊轉換為該深度資訊。
2. 如申請專利範圍第1項所述的影像處理裝置，其中該深度資訊更包括相關於該第二物件的一第二距離資訊，且該聚焦單元更用以根據該深度資訊、該第一位移影像與該第二位移影像產生一第二對對焦影像，其中該第二對對焦影像對焦於該第二物件。
3. 如申請專利範圍第1項所述的影像處理裝置，其中該聚焦單元更根據每一上述影像感應器的鏡頭參數產生該第一對對焦影像，每一上述影像感應器的鏡頭參數包括該影像感應器的鏡頭的焦點距離和點散函數。
4. 如申請專利範圍第1項所述的影像處理裝置，其中該影像感應陣列更包括：一鏡頭陣列，包括多個光學變焦鏡頭，上述多個光學變焦鏡頭配置於上述多個影像感應器的前方。
5. 如申請專利範圍第1項所述的影像處理裝置，其中該偏移資訊包括該第一物件與該第二物件在該第一位移影像與該第二位移影像之間的偏移量。
6. 如申請專利範圍第1項所述的影像處理裝置，其中該深度產生器更包括：一後處理器，耦接於該偏移估算器與該偏移深度轉換器之間，用以修補該偏移資訊中的異常點。
7. 如申請專利範圍第1項所述的影像處理裝置，其中該深度產生器更包括：一背景模型單元，耦接該影像前置處理單元，用以區分該第一位移影像或該第二位移影像的一前景與一背景；以及一物件輪廓單元，耦接該背景模型單元，用以抽取該前景中的一物件輪廓。
8. 如申請專利範圍第7項所述的影像處理裝置，其中該背景 模型單元亦耦接該偏移估算器，並根據該偏移資訊區分該前景與該背景。
9. 如申請專利範圍第7項所述的影像處理裝置，其中該深度產生器更包括：一紅外線收發器，耦接該背景模型單元，用以發射一紅外線，感應該紅外線的反射光點，其中該背景模型單元根據上述反射光點區分該前景與該背景。
10. 如申請專利範圍第7項所述的影像處理裝置，其中該深度產生器更包括：一色彩空間轉換器，耦接該影像前置處理單元、該偏移估算器、以及該背景模型單元，用以將該第一位移影像與該第二位移影像自一第一色彩空間轉換至一第二色彩空間，其中該第一色彩空間不包括亮度分量，而該第二色彩空間包括一亮度分量和至少一色彩分量，該偏移估算器根據該第一位移影像與該第二位移影像的該亮度分量產生該偏移資訊，該背景模型單元根據該第一位移影像或該第二位移影像的該至少一色彩分量區分該前景與該背景。
11. 如申請專利範圍第1項所述的影像處理裝置，其中該影像前置處理單元係用以將上述多個影像分類為一第一影像群與一第二影像群，並根據該第一影像群中每一影像的光學特性集合該第一影像群中的多個影像以產生該第一位移影像，及根據該第二影像群中每一影像的光學特性集合該第二影像群中的多個影像以 產生該第二位移影像。
12. 如申請專利範圍第1項所述的影像處理裝置，其中該影像感應陣列所擷取的上述多個影像是由上述多個影像感應器在同一時間各使用不同曝光值而擷取，而且該影像前置處理單元使用高動態範圍技術根據上述多個影像產生該第一位移影像與該第二位移影像。
13. 如申請專利範圍第1項所述的影像處理裝置，更包括：一影像分析器，耦接該影像前置處理單元和該聚焦單元，用以在該第一位移影像或該第二位移影像中辨識該第一物件的位置，以產生相對於該第一物件的位置資訊，其中該聚焦單元更根據該位置資訊產生該第一對對焦影像。
14. 如申請專利範圍第1項所述的影像處理裝置，更包括：至少兩個影像處理管線，耦接於該影像前置處理單元、該聚焦單元、以及該深度產生器之間，用以分別接收該第一位移影像與該第二位移影像，其中每一上述影像處理管線包括：一同步處理單元，修正該第一位移影像與該第二位移影像之間的差異，上述差異至少包括拍攝時間、曝光、色彩、白平衡、以及對焦平面的差異其中之一。
15. 如申請專利範圍第1項所述的影像處理裝置，更包括：一影像合成器，耦接該聚焦單元，用以根據該第一對對焦影像產生一合成影像。
16. 如申請專利範圍第15項所述的影像處理裝置，其中該合 成影像為二維影像，該影像合成器根據該第一對對焦影像做二維影像補點以產生該合成影像，而且該合成影像之解析度大於該第一對對焦影像之解析度。
17. 如申請專利範圍第15項所述的影像處理裝置，其中該合成影像為三維影像，而且該影像處理裝置更包括：一遮蔽點偵測器，耦接該深度產生器、該聚焦單元與該影像合成器，用以根據該深度資訊與該第一對對焦影像來產生對應於該第一對對焦影像的遮蔽點位置資訊，其中該影像合成器係根據該第一對對焦影像與該遮蔽點位置資訊來產生該三維影像；以及一顯示單元，耦接該影像合成器，以立體三維方式顯示該三維影像。