TW201243770A - Depth map generating device and stereoscopic image generating method - Google Patents

Description

201243770 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種立體影像產生裝置，特別關於一種 可產生更精確之深度資訊之立體影像產生裝置。 【先前技術】 與傳統的二維(two dimensional，簡稱為2D)顯示技術 相比，現今的三維(three dimensional，簡稱為3D)顯示技術 可更強化使用者的視覺體驗，並且使許多相關行業受惠， 例如傳播、電影、遊戲以及攝影工業等。因此，3D視頻信 號處理已在視覺處理領域中成為一種趨勢。 然而，在產生3D影像的過程中，一個重大的挑戰為如 何產生深度圖（depth map)。由於2D影像係經由影像感測器 (image sensor)所操取出來，但影像感測器並沒有事先預錄 的深度資訊，因此，缺乏有效的3D影像產生方法為在3D 工業中根據2D影像產生3D影像的一個問題。為了能有效 地產生3D影像，使得使用者可以充分地體驗3D影像，需 要一種有效地將2D轉換成3D之方法與系統。 【發明内容】 根據本發明之一實施例，一種深度圖產生裝置，包括 第一深度資訊擷取器、第二深度資訊擷取器以及混合器。 第一深度資訊擷取器用以根據第一演算法自主要二維影像 擷取出第一深度資訊，並且產生主要二維影像所對應之第 4 201243770 一深度圖。第二深度資訊擷取器用以根據第二演算法自次 要二維影像擷取出第二深度資訊，並且產生次要二維影像 所對應之第二深度圖。混合器用以根據複數可調整之加權 係數混合第一深度圖與第二深度圖，以產生混合之深度 圖。混合之深度圖被利用於將主要二維影像轉換成一組三 維影像。 根據本發明之另一實施例，一種立體影像產生裝置， 包括深度圖產生裝置以及基於深度影像繪製裝置。深度圖 產生裝置用以自主要二維影像與次要二維影像擷取出複數 深度資訊，並且根據擷取出之深度資訊產生混合之深度 圖。基於深度影像繪製裝置用以根據主要二維影像與混合 之深度圖產生一組三維影像。 根據本發明之又另一實施例，一種立體影像產生方 法，包括：自主要二維影像擷取出第一深度資訊，以產生 主要二維影像所對應之第一深度圖；自次要二維影像擷取 出第二深度資訊，以產生次要二維影像所對應之第二深度 圖；根據複數可調整之加權係數混合第一深度圖與第二深 度圖，以產生混合之深度圖；以及根據主要二維影像與混 合之深度圖產生一組三維影像。 【實施方式】 為使本發明之製造、操作方法、目標和優點能更明顯 易懂，下文特舉幾個較佳實施例，並配合所附圖式，作詳 細說明如下： 201243770 實施例： 第1圖係顯示根據本發明之一實施例所述之一立體影 像產生裝置之方塊圖。於本發明之實施例中，立體影像產 生裝置100可包括多於一個感測器（即，影像擷取裝置）， 例如，感測器101與102、深度圖產生裝置103以及基於 深度影像繪製（depth image based rendering，簡稱 DIBR)裝 置104。根據本發明之一實施例，感測器101可被視為用 以擷取主要二維影像IM之一主要感測器，而感測器102 可被視為用以擷取次要二維影像S_IM之一次要感測器。 由於感測器101與102相隔一距離被擺放，因此可利用感 測器10〗與102從不同的角度擷取相同晝面場景之影像。 根據本發明之一實施例，深度圖產生裝置103可分別 自感測器101與102接收主要二維影像IM與次要二維影 像S_IM，並且處理主要二維影像IM(以及/或次要二維影像 S_IM)，以產生處理過之影像IM’（以及/或產生如第2圖所 示之處理過之影像S_IM’）。深度圖產生裝置103可過濾掉 所擷取之主要二維影像IM(以及/或次要二維影像S_IM)内 之雜訊，以產生處理過之影像IM’（以及/或產生如第2圖所 示之處理過之影像S_IM’）。值得注意的是，於本發明之其 它實施例中，深度圖產生裝置103也可對主要二維影像 IM(以及/或次要二維影像S_IM)執行其它的影像處理程 序，以產生處理過之影像IM’（以及/或產生如第2圖所示之 處理過之影像S_IM’），或不先處理主要二維影像IM，而是 直接將主要二維影像IM傳送至基於深度影像繪製裝置 104，而本發明並不限於任一種實施方式。根據本發明之一 201243770 實施例，深度圖產生裝置103玎更自主要二維影像IM與 次要二維影像S—IM(或是從處理過之影像IM’以及處理過 之影像S_IM’）中擷取出複數深度資訊，並且根據擷取出之 深度資訊產生混合之深度圖D JVtAP。 第2圖係顯示根據本發明之一實施例所述之深度圖產 生裝置之方塊圖。於本發明之一實施例中，深度圖產生裝 置可包含影像處理器201、第一深度資訊擷取器202、第二 深度資訊擷取器203、第三深度資訊擷取器204與混合器 205。影像處理器201可處理主要二維影像IM以及/或次要 二維影像S_IM ’以產生處理過之影像IM，以及/或s IM，。 值得注意的是’如上述，影像處理器201也可不先處理主 要二維影像IM以及/或次要二維影像s_IM，因此於本發明 之一些實施例中’處理過之影像IM，以及/或s_IM，可分別 與主要二維影像IM以及/或次要二維影像s_IJV[相同。 根據本發明之一實施例，第一深度資訊擷取器202可 根據第一演算法自未處理或處理過之主要二維影像IM或 IM擷取出第一深度資訊，並且產生主要二維影像所對應之

第一深度圖MAPI 苐二深度資訊操取器203可根據第一 演算法自未處理或處理過之次要二維影像SJM或s ιΜ, 擷取出第二深度資訊，並且產生次要二維影像所對應之第 =深度圖MAP2。第三深度資訊擷取器204可根據第三演 算法自未處理或處理過之次要二維影像SJM或§ ，擷 度資訊’並且產生次要二維影像所對應—之第^ I合^ W可根據複數可調整之加權係數 欠到之深度圖MAP 1、MAP2與MAP3之至少兩 201243770 者，以產生混合之深度圖D_MAP。 根據本發明之一實施例，用以擷取第一深度^訊之第 -演算法可為以位置為基礎之—深度#訊擷取演算法。根 據以位置為基礎之深度資訊擷取演算法’二維影像内所包 含之一或多個物件之距離會先被估計出來。接著，根據估 計之距離擷取出第-深度資訊’並且最後根據第—深度資 訊產生深度圖。第3圖係顯示根據本發明之一實施例所述 之二維影像範例，圖中有一個女孩戴著橘色帽子。根據以 位置為基礎之深度資訊擷取演算法之概念，位於晝面下方 之物件被假設與觀賞者的距離較近。因此’可先取得一維 影像之邊緣特徵值’接著從二維影像之頂端至底部水平地 累積邊緣特徵值，以取得初始之晝面深度圖。此外’可以 更假設在視覺感知中，觀賞者會感受到顏色為暖色系之物 件比冷色系之物件距離較近。因此，可先取得二維影像之 紋理(texture)值’例如，從色彩空間（例如’ Y/U/V、Y/Cr/Cb、 R/G/B、或其它色彩空間）分析二維影像之物件之顏色。初 始之畫面深度圖可與紋理值混合，以得到如第4圖所示之 以位置為基礎之深度圖。更多以位置為基礎之深度資訊擷 取演算法之相關内容，可參考至該領域相關文件，例如， 公開於2010年資訊顯示協會（Society for Information Display ’簡稱SID)之文件「一種額外低成本之二維/三維視 頻轉換系統(“An Ultra-Low-Cost 2-D/3-D Video-Conversion System”)」。 根據本發明之一實施例，擷取出來之深度資訊可以深 度值呈現。如第4圖所示之以位置為基礎之深度圖，二維 $ 201243770 影像之各像素可具有對應之深度值，使得這些深度值可組 合成一深度圖。深度值可分佈於〇到255之間，其中較大 的深度值代表物件距離觀賞者較近，因此在深度圖中，該 深度值所對應的位置的亮度較亮。如第4圖所示之以位置 為基礎之深度圖中，晝面下方之視覺區域的亮度比晝面上 方之之視覺區域來得亮，並且如第3圖所示之女孩之帽 子、衣服、臉以及手等區域之在深度圖中所對應的區域之 亮度也比背景物件之亮度來得亮。因此，相較於其它物件， 晝面下方之視覺區域以及女孩之帽子、衣服、臉以及手等 區域之物件可被視為距離觀賞者較近。 根據本發明之另一實施例，用以擷取第二深度資訊之 第二演算法可為以顏色為基礎之一深度資訊擷取演算法。 根據以顏色為基礎之深度資訊擷取演算法，二維影像内所 包含之一或多個物件之顏色可先從色彩空間（例如， Y/U/V、Y/Cr/Cb、R/G/B、或其它色彩空間）被分析出來。 接著，根據分析之顏色擷取出第二深度資訊，並且最後根 據第二深度資訊產生深度圖。如上述，假設在觀賞者會感 受到顏色為暖色系之物件比冷色系之物件距離較近。因 此，較大的深度值會指派給具有暖色系（例如，紅色、橘色、 黃色等）之顏色之像素，而較小的深度值會指派給具有冷色 系（例如，藍色、紫色、青綠色等）之顏色之像素。第5圖 係顯示根據本發明之一實施例所述之根據如第3圖所示之 二維影像所取得之以顏色為基礎之深度圖。如第5圖所 示，由於在如第3圖所示之女孩之帽子、衣服、臉以及手 等區域内的物件以暖色系之顏色被呈現，因此深度圖中這 201243770 =或之亮度比其它區域之亮度來得亮(即 ’具有較大的深 第三用，第三深度資訊之 包含之-二ί 掏取演算法，二維影像内所 =之、Ί個物件之邊緣特徵會先被 =所 根據债測到之邊_徵擷 : 著， ，第三深度資訊產生深度圖第 邊緣特徵可藉由於-雒旦，作w貫％例， ，_ Hm; 高通濾、波11 (喊Pass 出來：Γ 得一渡波過之二維影像，進而被債測 維影像的像素值可被視為偵測到的邊 j過之二 各邊緣特徵值可被分配一個對應之深度值，以取得 為基礎之深度圖。於本發明之另—實施例中 邊、，彖 的各邊緣特徵值分配一個對應之深度值之前，也β 、'則到 低通濾波器（1〇w pass filter，簡稱LpF)應 :更將 緣特徵值，其中低通濾波器可以是至^一維之陣列:之邊 根據以邊緣為基礎之深度資訊擷取演算法之 員者被假設會感受到一物件之邊緣比中麥 〜觀 :::b:rr度值給位 之像素（即，具有較大之邊緣特徵值之像 匕埤 素點具有較大差異之像素），而位於物件中^之區=鄰之像 可被分配較小的深度值，用以強化二維影^區域之像素 形。第6圖係顯示根據本發明之一實施例所 2的外 3圖所示之二維影賴取狀以邊緣為麵之深度=如第 201243770 第6圖所示，第3圖中物件的邊緣區域之亮度比其它區域 之亮度來得亮（即，具有較大的深度值）。 值得注意的是，深度資訊也可根據以其它特徵值為基 礎之深度資訊擷取演算法取得，而本發明並不受限於上述 之以位置為基礎、以顏色為基礎以及以邊緣為基礎之深度 資訊擷取演算法實施例。參考回第2圖，在取得深度圖 MAPI、MAP2與MAP3之後，混合器205可根據複數可調 整之加權係數混合所接收到之深度圖MAPI、MAP2與 MAP3之至少兩者，以產生混合之深度圖D_MAP。例如， 混合器205可混合如第4圖所示之以位置為基礎之深度圖 以及如第5圖所示之以顏色為基礎之深度圖，而得到如第 7圖所示之混合之深度圖。又例如，混合器205可混合如 第4圖所示之以位置為基礎之深度圖以及如第6圖所示之 以邊緣為基礎之深度圖，而得到如第8圖所示之混合之深 度圖。又例如，混合器205可混合如第4圖所示之以位置 為基礎之深度圖、如第5圖所示之以顏色為基礎之深度圖 以及如第6圖所示之以邊緣為基礎之深度圖，而得到如第 9圖所示之混合之深度圖。 根據本發明之一實施例，混合器205可接收一模式選 擇信號Mode_Se卜其用以指示出使用者所選擇之用以擷取 主要與次要二維影像之模式，並且根據模式選擇信號 Mode_Sel決定加權係數值。使用者所選擇用以擷取主要與 次要二維影像之模式可包括夜景模式、人像模式、運動模 式、近物模式、夜間人像模式或其它。由於當選擇不同的 模式擷取主要與次要二維影像時，可能應用不同的參數， 201243770 例如，曝光時間、焦距等。因此，可根據模式改變加權係 數值，以產生混合之深度圖。例如，在人像模式中，用以 混合第一深度圖與第二深度圖之加權係數值可分別設定為 0.7與0.3。即，將第一深度圖内的深度值乘上0.7並且將 第二深度圖内的深度值乘上0.3之後，再把兩深度圖内加 權過的深度值相加起來，得到混合之深度圖D_MAP。 參考回第1圖，在取得混合之深度圖D_MAP後，基於 深度影像繪製裝置104可根據主要二維影像IM與混合之 深度圖D_MAP產生一組三維影像（例如圖中所示之影像 IM’’、Rl、R2、L1與L2)。根據本發明之一實施例，影像 IM’’可為主要二維影像IM或處理過之影像IM’再經過更進 一步處理過之結果。例如，經過濾除雜訊、銳化、或其它 處理後得到影像IM’’。影像IM’’、Rl、R2、L1與L2為同 一場景下不同視覺角度之三維影像，其中影像IM’’代表於 中央之視角之影像，而影像R2與L2分別代表於最右邊與 最左邊之視角之影像。或者，影像L2(或R2)也可以代表於 影像L1(或R1)以及IM’’之間之視角之影像。該組三維影像 可更被傳送至一格式轉換裝置（圖未示），用以在播放於顯 示面板（圖未示）之前執行格式轉換。格式轉換演算法可根 據不同顯示面板的需求有彈性地設計。值得注意的是，基 於深度影像繪製裝置104也可為左眼和右眼產生兩個以上 不同視角之三維影像，因此最終的三維影像上的三維效果 係根據兩個以上視角的資訊而產生，而本發明並不限於任 一種實施方式。 第10圖係顯示根據本發明之一實施例所述之立體影像 201243770 產生方法流程圖。首先，自主要二維影像擷取出第一深度 資訊，並且產生主要二維影像所對應之第一深度圖（步驟 S1002)。接著，自次要二維影像擷取出第二深度資訊，並 且產生次要二維影像所對應之第二深度圖（步驟S1004)。接 著，根據複數可調整之加權係數混合第一深度圖與第二深 度圖，以產生混合之深度圖（步驟S1006)。最後，根據主要 二維影像與混合之深度圖產生一組三維影像（步驟S1008)。 第11圖係顯示根據本發明之另一實施例所述之立體影 像產生方法流程圖。在此實施例中.，第一深度資訊與第二 深度資訊平行地被擷取出來，並且第一與第二深度圖可同 時被對應產生。首先，同時自主要二維影像與次要二維影 像分別擷取出第一深度資訊與第二深度資訊，並且產生主 要二維影像所對應之第一深度圖以及次要二維影像所對應 之第二深度圖（步驟S1102)。接著，根據複數可調整之加權 係數混合第一深度圖與第二深度圖，以產生混合之深度圖 (步驟S1104)。最後，根據主要二維影像與混合之深度圖產 生一組三維影像（步驟S1106)。值得注意的是，於本發明之 另一實施例中，第一、第二與第三深度資訊也可平行地根 據相同的概念被擷取出來，並且產生對應之第一、第二與 第三深度圖。接著，第一、第二與第三深度圖可被混合， 以產生混合之深度圖，並且根據主要二維影像與混合之深 度圖產生一組三維影像。 本發明雖以較佳實施例揭露如上，然其並非用以限定 本發明的範圍，任何熟習此項技藝者，在不脫離本發明之 精神和範圍内，當可做些許的更動與潤飾，因此本發明之 13 201243770 保護範圍當視後附之申請專利範圍所界定者為準。 201243770 【圖式簡單說明】 第1圖係顯示根據本於 像產生裝置之方塊圖。"月之—實施例所述之一立體影 第2圖係顯示根據本 生裝置之方塊圖。 *月之一實施例所述之深度圖產 範例 第3圖係顯示根據树明之-實施例所述之二維影像 例 第4圖係顯示根據本發明 之一實施例所述之深度圖範 苐5圖係顯示根據本路 範例 。 爆奉^明之另一實施例所述之深度圖 第6圖係顯示根據本發 — 圖範例。 之又另一貫靶例所述之深度 第7圖係顯示根據本發 ㈣·。 ^貫&賴奴混合之深 第8圖係顯示根據本發明 深度圖範例。 月之m例所述之混合之 第9圖係顯示根據本發明之又另一實施例所述 之深度圖範例。 第10圖係顯示根據本發明之一實施例所述之立體影像 產生方法流程圖。 第11圖係顯示根據本發明之另一實施例所述之立體影 像產生方法流程圖。 201243770 【主要元件符號說明】 100〜立體影像產生裝置； 101、102〜感測器； 103〜深度圖產生裝置； 104〜基於深度影像繪製裝置； 201〜影像處理器； 202、203、204〜深度資訊擷取器； 205〜混合器； D_MAP、MAP卜 MAP2、MAP3〜深度圖； IM、IM，、IM，，、LI、L2、Rl、R2、S—IM、S—IM， 影像；

Mode Sel〜信號。 16

Claims (1)

1. 201243770 七、申請專利範圍： 1. 一種深度圖產生裝置，包括： 一第一深度資訊擷取器，用以根據一第一演算法自一 主要二維影像擷取出一第一深度資訊，並且產生該主要二 維影像所對應之一第一深度圖； 一第二深度資訊擷取器，用以根據一第二演算法自一 次要二維影像擷取出一第二深度資訊，並且產生該次要二 維影像所對應之一第二深度圖；以及 一混合器，用以根據複數可調整之加權係數混合該第 一深度圖與該第二深度圖，以產生一混合之深度圖， 其中該混合之深度圖被利用於將該主要二維影像轉換 成一組三維影像。 2. 如申請專利範圍第1項所述之深度圖產生裝置，其 中該第一演算法為以位置為基礎之一深度資訊擷取演算 法，藉由該第一演算法，該第一深度資訊係根據該主要二 維影像内所包含之一或多個物件所估計之距離被擷取出 來。 3. 如申請專利範圍第1項所述之深度圖產生裝置，其 中該第二演算法為以顏色為基礎之一深度資訊擷取演算 法，藉由該第二演算法，該第二深度資訊係根據該次要二 維影像内所包含之一或多個物件之顏色被擷取出來。 4. 如申請專利範圍第1項所述之深度圖產生裝置，其 中該第二演算法為以邊緣為基礎之一深度資訊擷取演算 法，藉由該第二演算法，該第二深度資訊係根據該次要二 17 201243770 取出^内所包含之一或多個物件所债測到之邊緣特徵被擷 包括^如中請專利範圍« i項所述之深度圖產生裝置，更 次要^三深度資訊操取器’用以根據一第三演算法自該 一維影像擷取一第三深度資訊，並且產生# 影像所對應之-第三深度圖；t且產生1 人要-維 該混合器更根據該等可調整之加權係數混合該第 之該第二深度圖與該第三深度圖，以產生該混合 ^一申請專利範圍第5項所述之深度圖產生裝置，其 法，\ u法為以邊緣為基礎之-深度資訊擷取演算 1維：：該第三演算法’該第三深度資訊圖係根據該次要 擷取:來内所包含之一或多個物件所偵測到之邊緣特徵被 7· —«立體影像產生方法，包括： 自-主要二維影像擷取出—第—深度資訊，以產生該 要一維影像所對應之一第一深度圖； X 自—次要二維影像擷取出—第二深度資訊，以產生該 -人要二維影像所對應之一第二深度圖； / 二=據複數可調整之加權係數混合該第—深度圖與該第 冰又圖，以產生一混合之深度圖；以及 影像根據该主要二維影像與該混合之深度圖產生一組三維 8.如申請專利範圍第7項所述之立體影像產生方法， 201243770 更包括： 由一主要感測器擷取該主要二維影像；以及 由一次要感測器掏取該次要二維影像。 9.如U利祀圍7項所述之立體影像產生方法，更 包括· 十Λ要一維衫像内所包含之-或多個物件之距 離， 根據估計之該（等）物件之距離擷取出 訊；以及 又貝 根據該第-深度資訊產生該第一深度圖。 法，請專利範圍第7項所述之立體影像產生方 色；分析該次要二維影像内所包含之—或多個物件之顏 訊;ΤΙ分析之該(等)物件之顏色擷取出該第二深度資 根據°亥第—深度資訊產生該第二深度圖。 法，更2.°月專利㈣第7項所述之立體影像產生方 -欠要自要二維影像擷取出-第三深度資訊，以產生該 -人要-維^像所對應之一第三深度圖；以及 二'、果:等可5周整之加權係數混合該第—深度圖、該第 ’又圖、該第三深度圖，以產生該混合之深度圖。 法，更專利範11第11帛所述之立體影像產生方 ]9 201243770 偵測該次要二維影像内所包含之一或多個物件之邊緣 特徵； 根據偵測到之該（等）物件之邊緣特徵擷取出該第三深 度資訊；以及 根據該第三深度資訊產生該第三深度圖。 20