TWI553590B - 包括至少第一視圖和第二視圖的３ｄ內容之再標定方法及裝置以及電腦程式產品和處理器可讀取之媒體 - Google Patents

包括至少第一視圖和第二視圖的３ｄ內容之再標定方法及裝置以及電腦程式產品和處理器可讀取之媒體 Download PDF

Info

Publication number
TWI553590B
TWI553590B TW101115871A TW101115871A TWI553590B TW I553590 B TWI553590 B TW I553590B TW 101115871 A TW101115871 A TW 101115871A TW 101115871 A TW101115871 A TW 101115871A TW I553590 B TWI553590 B TW I553590B
Authority
TW
Taiwan
Prior art keywords
window
map
trimming
view
determining
Prior art date
Application number
TW101115871A
Other languages
English (en)
Other versions
TW201248545A (en
Inventor
克里斯多 夏瑪莉特
法布列斯 厄本
泰昆 袁蘇
尚克勞德 雪維特
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201248545A publication Critical patent/TW201248545A/zh
Application granted granted Critical
Publication of TWI553590B publication Critical patent/TWI553590B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

包括至少第一視圖和第二視圖的3D內容之再標定方法及裝置以及電腦程式產品和處理器可讀取之媒體
本發明係關於3D內容再定標(retargeting)。尤指包括至少第一視圖和第二視圖的3D內容之修剪方法。
由於盛行3D顯示幕及材料，諸如在戲院的3D電影，亟需有寬高比變換，使3D連流可從電影寬高比(2：35)轉移到電視顯示幕(16：9)。此外，可想像而知亟需出現新裝置，諸如圖板，支持3D立體顯示之智慧手機(smartphone)。此等裝置有其本身之寬高比。因此，寬高比變換即強制於定址任何裝置。自動解決方案是提高數值到視覺最舒適程度。
目前，寬高比變換是以人為或利用運算子(例如集中修剪)，或以同樣方式處理全部圖幅(例如合成變質運算子，黑色磁條充填)。二種方法均不考慮進行變換的內容本身。此外，添加黑色磁條，較之電影以全顯示幕放映，大為降低原版3D效果。
本發明標的在於消弭先前技術之至少一缺點。本發明係關於包括至少第一視圖和第二視圖的3D內容之修剪方法，包括步驟為：決定第一凸顯映圖(由第一視圖)和第二凸顯映圖(由第二視圖)；由第一和第二凸顯映圖決定最後修剪視窗；按照最後修剪視窗，修剪第一視圖和第二視圖。
按照第一具體例，由第一和第二凸顯映圖決定最後修剪視窗之步驟，包括下列步驟：由第一凸顯映圖決定第一修剪視窗；由第二凸顯映圖決定第二修剪視窗；把第一和第二修剪視窗組合成最後修剪視窗。
按照第二具體例，最後修剪視窗係以參數識別，此方法 又包括步驟為：經時過濾最後修剪視窗；決定禁用區映圖，表示要避免最後修剪視窗邊界之區位；使用禁用區映圖，把最後修剪視窗的寬高比，變換成目標寬高比。按照第二具體例的變化例，最後修剪視窗係以參數識別，此方法又包括步驟為：經時過濾最後修剪視窗之參數；決定禁用區映圖，表示要避免最後修剪視窗邊界之區位；使用禁用區映圖和深度映圖，把最後修剪視窗之寬高比，變換成目標寬高比。
禁用區映圖之決定步驟宜包括如下步驟：把至少二視圖之一，分節成區位之分節映圖；對分節映圖之各區位，由至少二視圖之一的凸顯映圖，計算凸顯值；對各區位所計算凸顯值加以界限，以形成禁用區映圖。按照第三具體例，由第一和第二凸顯映圖決定最後修剪視窗之步驟，包括下列步驟：把第一和第二凸顯映圖組合成單一凸顯映圖；根據單一凸顯映圖決定最後修剪視窗。
本發明其他特點和優點，由如下參照附圖所示若干具體例之說明，即可瞭解。
須知本原則可按硬體、軟體、韌體、特殊目的處理器，或其組合，諸種形式實施。本原則最好以硬體和軟體之組合實施。此外，軟體最好以確實在程式儲存裝置上具現之應用程式實施。應用程式可上載至包括任何適當構造之機器，由 其執行。機器最好在具有軟體的電腦平台上實施，諸如一個或多個中央處理單位(CPU)、隨機存取記憶器(RAM)，和輸出入(I/O)界面。電腦平台亦包含運算系統和微指令碼。於此所述諸法和功能，不是做為微指令碼的組件，便是應用程式(或其組合)之組件，經由運算系統執行。此外，諸項其他週邊裝置可連接至電腦平台，做為附加資料儲存裝置和印字裝置。
本發明可在包括再標定機構之任何電子裝置上實現。例如，本發明可在電視機、行動影像電話機、PDA、個人電腦、數位式視訊攝影機、導航系統或車輛視訊系統實現。
本發明係關於3D內容之再標定方法。於此揭示三個具體例。前二具體例為2D再標定方法之延伸。增加新步驟以確保可接收之3D品質。第三具體例為專用於3D內容之再標定方法。3D內容係由左視圖和右視圖製成。但本發明可延伸至二視圖以上。在下述中，修剪視窗不是以上左下右圖元之座標，便是以中心及其高度和寬度之座標等參數識別。
所有具體例均以修剪為基礎，即摘取具有最重要內容的原視圖之圖元副區，亦稱為有趣區位。再者，最後修剪視窗對左、右視圖係一致，即使決定此最後修剪視窗係根據各視圖內容。
有些具體例指涉視覺注意模式。此視覺注意模式提供凸顯映圖(灰級映圖)，指示在視圖上最受視覺注意之區/圖元。此等凸顯映圖可用來決定圖像上有趣區位。此等視覺注意模式之例，揭載於歐洲專利申請案04804828.4，於2002年6月30日公告，公告號碼為1695288。提供凸顯映圖的其他視覺模式可用。本發明絲毫不拘限於歐洲專利申請案04804828.4揭示之模式。
第1a圖展示第一具體例包括左、右視圖的3D內容之再標定方法，包括對各視圖單獨應用正規2D再成幅，以便在各視圖內得一修剪視窗，再考量有關3D內容之某些拘限 物，組合全部修剪視窗，而得要應用於各視窗之最後修剪視窗。
為此目的，在步驟10，於左視圖內決定第一有趣區位RO11，並在步驟12，於右視圖內決定第二有趣區位RO12。
在步驟14，由第一有趣區位RO11決定左修剪視窗，而在步驟16，由第二有趣區位RO12決定右修剪視窗。左修剪視窗係例如最小視窗，包圍第一有趣區位，而右修剪視窗為最小視窗，包圍第二有趣區位。
在步驟18，左、右修剪視窗組合於平滑修剪視窗內。於此步驟當中，考量到連結於3D內容之以下拘限物：在左、右修剪視窗之間，不容許有直向差距；各視圖之修剪視窗有同樣高度和同樣直向座標。
組合修剪視窗步驟18取此結果，供分別在步驟14和16應用於各視圖之2D再成幅，並以數學方式把二修剪視窗組合成平滑修剪視窗，其中心座標為(xsmooth,ysmooth)，尺寸(高度和寬度)為(hsmooth,wsmooth)。(xleft,yleft)為左修剪視窗之中心座標，而(xright,yright)為右修剪視窗之中心座標。(hleft,wleft)為左修剪視窗之高度和寬度，而(hright,wright)為右修剪視窗之高度和寬度。
。按照變化例，最小值和最大值見方程式 1。同樣修剪視窗應用於二視圖。故，左、右修剪視窗之間，不存在直向差距。
決定平滑修剪視窗之另一方式，是決定哪一修剪視窗使其內可得之凸顯量最大化。修剪視窗座標，與二視圖間起先決定的最小x和y座標，以及最大x和y座標有異，諸如下式所示： 其中x1min<x1<x1max；y1min<y1<y1max；x2min<x2<x2max；y2min<y2<y2max SMleft(x,y)為左視圖內之圖元(x,y)凸顯值，而SMright(x,y)是右視圖內之圖元(x,y)凸顯值。(x1,y1)是平滑修剪視窗的左上圖元座標，而(x2,y2)是平滑修剪視窗的右下圖元座標。(x1left,y1left)是左修剪視窗的左上圖元座標，而(x2left,y2left)是左修剪視窗的右下圖元座標。(x1right,y1right)是右修剪視窗的左上圖元座標，而(x2right,y2right)是右修剪視窗的右下圖元座標。
在步驟20，左、右視圖二者修剪成左修剪視圖和右修剪視圖，是在各視圖內獲取平滑修剪視窗定界的部份。
第一具體例可簡單而快速實施。
第1b圖展示按照第一具體例之特殊實施，包括左、右視圖的3D內容之再標定方法。包括對各視圖單獨應用正規2D再成幅，以便在各視窗內得一修剪視窗，再考量關於3D內容之一些拘限物，把全部修剪視窗組合，得最後修剪視窗，應用於各視圖。在此特殊具體例中，使用凸顯映圖決定第一和第二有趣區位。
為此目的，在步驟10，為左視圖決定左凸顯映圖，在步驟12，為右視圖決定右凸顯映圖。二凸顯映圖係例如使用歐洲專利申請案04804828.4之模式決定。凸顯映圖因此指示圖像內之凸顯區位。
在步驟14，根據左凸顯映圖決定左修剪視窗，而在步驟16，根據右凸顯映圖決定右修剪視窗。各修剪視窗的位置是在相對應視圖內利用修剪視窗座標識別。修剪視窗係例如使 用歐洲專利申請案05291938.8(於2007年3月21日公告，公告號碼1764736號)揭示的再成幅方法之一決定。舉例而言，在凸顯映圖內識別最凸顯圖元，即凸顯映圖內凸顯值最高者。預定尺寸之第一視窗位在視窗內，故其中心即位在此最凸顯圖元上。計算與第一視窗關聯之凸顯值SM1，以及與 視圖關聯之凸顯值SMview。若其比接近1，即高 於臨限值T(例如，若Ψ0 0.8)，則視圖之修剪視窗即為第一視窗。若Ψ0不接近1，即低於T，則與第一視窗尺寸之第二視窗位於視圖內，故其中心即位在第一視窗外的視圖之最凸顯圖元上。計算與第二視窗關聯之凸顯值SM2。若其比 接近1，則視圖之修剪視窗為包括第一和第二 視窗之較小視圖。若Ψ1不接近1，則第三視窗位於前二視窗外的視圖第三大凸顯圖元上。三個視窗相關聯的三個凸顯值合計與凸顯值SMview間之比，若接近1，則視圖之修剪視窗為包括三個視窗的較小視窗。若不接近1，重複新視窗之定位方法，直到各定位視窗相關聯的凸顯值合計與SMview之比接近1為止。因此，每次迭代k時，新視窗位在視圖內，故其中心即位在業已定位視窗外之最凸顯圖元(k)上。視圖之修剪視窗即為包括全部定位視窗之較小視窗。其他方法亦可用，本發明絲毫不拘限於此方法，根據凸顯映圖決定修剪視窗之位置。
在步驟18，左、右修剪視窗組合成平滑修剪視窗。於此步驟當中，考量連結於3D內容之下列拘限物：左、右修剪視圖間不容許直向差距；各視圖之修剪視窗具有同樣高度和同樣直向座標。
組合修剪視窗步驟18取此結果，供分別在步驟14和16應用於各視圖之2D再成幅，並以數學方式把二修剪視窗組合成平滑修剪視窗，其中心座標為(xsmooth,ysmooth)，尺寸(高 度和寬度)為(hsmooth,wsmooth)。(xleft,yleft)為左修剪視窗之中心座標，而(xright,yright))為右修剪視窗之中心座標。(hleft,wleft)為左修剪視窗之高度和寬度，而(hright,wright)為右修剪視窗之高度和寬度。
。按照變化例，最小值和最大值見方程式 1。同樣修剪視窗應用於二視圖。故，左、右修剪視窗之間，不存在直向差距。
決定平滑修剪視窗之另一方式，是決定哪一修剪視窗使其內可得之凸顯量最大化。修剪視窗座標，與二視圖間起先決定的最小x和y座標，以及最大x和y座標有異，諸如下式所示： 其中x1min<x1<x1max；y1min<y1<y1max；x2min<x2<x2max；y2min<y2<y2max SMleft(x,y)為左視圖內之圖元(x,y)凸顯值，而SMright(x,y)是右視圖內之圖元(x,y)凸顯值。(x1,y1)是平滑修剪視窗的左上圖元座標，而(x2,y2)是平滑修剪視窗的右下圖元座標。(x1left,y1left)是左修剪視窗的左上圖元座標，而(x2left,y2left)是左修剪視窗的右下圖元座標。(x1rightt,y1right)是右修剪視窗的左上圖元座標，而(x2right,y2right)是右修剪視窗的右下圖元座標。
在步驟20，左、右視圖二者修剪成左修剪視圖和右修剪視圖，是在各視圖內獲取平滑修剪視窗定界的部份。
第一具體例可簡單而快速實施。
第2圖展示第二具體例。此步驟與第一具體例之步驟一致，在第2圖上以同樣參照數字識別。
在步驟10，為左視圖決定左凸顯映圖，在步驟12，為右視圖決定右凸顯映圖。
在步驟22，來自各視圖所用視覺注意模式之二凸顯映圖，組合成獨一凸顯映圖，載明3D凸顯資訊，惟以2D展示凸顯映圖。CombineForVAM3D步驟22加亮二凸顯映圖內呈現之共同區，製作獨一2D凸顯映圖。於步驟22當中，二凸顯映圖併成獨一凸顯映圖(SaliencyMap_3Dlike)，係在二視圖中有共同凸顯的某些區加亮之2D映圖。舉例而言，SaliencyMap_3Dlike內圖元(x,y)之凸顯值SM3Dlike(x,y)界定如下：(3)SM3Dlike(x,y)=α．SMleft(x,y)+β．SMright(x,y) 其中SMleft(x,y)為左凸顯映圖內圖元(x,y)之凸顯值，SMright(x,y)為右凸顯映圖內圖元(x,y)之凸顯值，而DM(x,y)是在位置(x,y)之深度值。
在步驟24，根據SaliencyMap_3Dlike決定平滑修剪視窗。步驟24係例如與步驟14或16一致，惟凸顯映圖為SaliencyMap_3Dlike。
在步驟20，左、右視圖二者修剪成左修剪視圖和右修剪視圖，係在各視圖內獲取平滑修剪視窗做為界限之部份而成。
第3圖展示第三具體例。此具體例專用於3D內容。有關修剪視窗延長之決斷，可能使用深度映圖。使用三維度資料，以決定平滑修剪視窗。
與第一具體例步驟一致之諸步驟，在第3圖上以同樣參 照數字識別。
在步驟10，決定左視圖內第一有趣區位RO11，而在步驟12，決定右視圖內第二有趣區位RO12。按照變化例，在步驟10，為左視圖決定左凸顯映圖，而在步驟12，為右視圖決定右凸顯映圖。
在步驟30，稱為製作禁用區映圖步驟，提供映圖給再成幅3D步驟32，確保關於若干3D拘限物：若有客體在顯示幕前，不許在修剪視窗的邊界有客體。誠然，人腦無法處置。禁用區映圖是由視圖之一製作，不論左視圖或右視圖。在第3和4圖上，禁用區映圖是由左視圖製作，但同樣可由右視圖製作。
步驟30詳示於第4圖。界定修剪視窗不能定位之禁用區映圖，諸如在客體上(第5圖右形像之白色圖元)。
在步驟300，使用顏色分節演算，諸如J.van de Weijer載於等人撰〈為真實世界應用學習顏色名稱〉，刊於IEEE Transactions in Image Processing 2009，得分節映圖。提供分節映圖之任何其他方法均可用。分節映圖應用於視圖之一上。
在步驟302，為分節映圖內識別的各顏色區位，計算凸顯值。舉例言之，把屬於指定區位的圖元之凸顯值加以平均。平均值視為區位之凸顯值。
在步驟304，對區位之凸顯值設限。若區位之凸顯量(或凸顯平均值)，超越臨限值T(設限步驟)，則此區位內之最後禁用映圖即設定於1(或255，白色圖元)。此項有禁用客體的黑白映圖，如第5圖所示。下式綜合臨限值T之計算，適應於： 其中μR和σR分別為區位R之平均值和標準差。μR和σR是由 用於分節的視圖關聯之凸顯映圖計算。
在步驟32，決定平滑修剪視窗。此步驟32詳示於第6圖。
在步驟322，單獨為各視圖決定第一修剪視窗。步驟322之目標，在為各視圖界定修剪視窗，包圍在步驟10和12決定之有趣區位，或是從其凸顯映圖SM(x,y)所考慮寬度W和高部H的視圖S(x,y)之最矚目部份。為此目標，修剪視窗可能是包圍第一和第二有趣區位之最小視窗。
許多2D再成幅方法可以應用。舉例言之，首先將凸顯映圖二元化，以識別最凸顯區。在二元化映圖內，把凸顯值大於臨限值的圖元設定於255。包括全部識別凸顯區之最小視窗，即白色圖元，謂之第一修剪視窗。
按照變化例，刻意採用Winner-Take-All(贏者全拿)演算，從W×H候選當中選出K區Ak，其中1<k<K。此項選擇由二步驟構成。首先，以逐一圖元基礎掃描視圖S(x,y)，在各圖元位置p(x,y)，計算特色向量 ，諸如第二特色為現時圖元至 圖像中心的歐氏距離(歐幾里德幾何學距離)。計算K第一圖元具有最高凸顯值之子集M，和至中心之最小距離，諸如方程式4所示。其次，當第k個候選Ck定位和記憶，其鄰區(意即Ak內所含圖元)即受到抑制，以決定第(k+1)個候選Ck+1。Ak是半徑等於視覺角度1度的圓圈內之圖元集合。鄰區尺寸隨觀視距離而定。觀視距離愈遠，鄰區尺寸愈大。
凸顯映圖會有許多圖元在最大值；所以，以圖元愈接近圖像中心為宜。場景中心的偏倚有重要任務：觀看者傾向於在接近場景中心固定下來，即使凸顯為零。
關於迭代數(或易言之，即K數)，重點在於強調此參數對修剪視窗尺寸的影響。若迭代數弱(或易言之，位置之K數弱)，大概修剪視窗尺寸會小。反之，迭代數高，大概可保證邊限方格(bounding box)較大。雖然此項策略似乎方便，但明顯忽略一要旨：凸顯映圖上之凸顯分佈。此要旨如第7圖所示，展示二不同形像。誠然，凸顯之分佈(或平均觀看者變異性)在風景圖像上易疏。換句話說，重要的是高峰凸顯與平均背景水平間之分別。關於風景形像，並無明顯惹眼之處，凸顯分佈更加均勻。在此情況下，選擇K第一位置，會造成錯誤結果。為解決此問題，利用邊限方格包圍的凸顯量，監驗迭代。所以，K受到先前區A1..k所含凸顯量SQ之拘限。雖然關係式(3)未能驗證，迭代過程則繼續。調節K，以便在修剪視窗內具有P百分比之凸顯，諸如： P為應用於映圖的總凸顯量SQtotal之最大量，諸如0<P<1。此等修剪視窗之一例如第7圖所示。
在步驟324，左、右修剪視窗組合成高度hLRR和寬度wHR的左上座標(xLR,yLR)之中間修剪視窗。左、右修剪視窗之組合，係對各x和y分量應用max和min運算子為之：
另一解決方案是應用組合修剪視窗模組之方程式(1)。
在步驟326，經特過濾修剪視窗的參數(位置，尺寸)。此步驟稱為時間性一致。時間性一致對修剪視窗之位置和尺 寸有作用，並包括經時穩定中間修剪視窗座標/尺寸。時間是以指數i識別。時間性一致包括例如二依序步驟，即Kalman過濾和非線性過濾。
先應用Kalman過濾器，以便更佳預估現時樣本之軌道。Kalman過濾器的特點是，訴求遞歸性能。與對全部以前資料作業以提供估計(一如Wiener過濾器所為)不同，Kalman過濾器不需長期先前資料。Kalman過濾器是線性系統，可把預估輸出和實際輸出間的均方誤差減到最小。Kalman過濾器考量到系統內二個基本不準確來源、過程Wi和測量雜訊Vi，以減少預估錯誤。在下式中，Xi是代表座標向量(x1 LR,y1 LR)和修剪視窗尺寸(w1 LR,h1 LR)之一般名稱。Kalman過濾器以狀態(式9)和測量方程式(式10)界定：(10)Xi=A.Xi-1+Wi
(11)Zi=H.Xi+Vi其中A為恆常過渡矩陣，而H亦為恆常測量矩陣。
W和V(矩陣1×2)分別代表過程和測量雜訊。假設為獨立白色和常態或然率。按經驗方式設定，由R和Q賦予關聯雜訊協變量矩陣。Kalman過濾器詳見G.Welch和G.Bishop撰〈Kalman過濾器導論〉，刊於第8課，2001年出版。
過程雜訊之測量相當困難。在此項研究中，過程雜訊協變量為常數。不確然性愈高，過濾器會聚愈快。修剪視窗會有快速適應新凸顯改變之趨勢。過濾器必須以中庸快速會聚，因為要考慮到接近攝影機運動。
中間過濾是一項改進，可避免不宜樣本。只用Kalman過濾器不足以獲得現實性效果。應用非線性過濾，以除去可 能干擾(橫向和/或直向)的短期增減。跨越圖幅的長軌道，有利於模仿自然攝影機運動。每次過濾是單獨應用於修剪視窗的中心座標和尺寸CWLR 1(xLR,yLR,wLR,hLR))。此步驟結果為修剪視窗CWTC 1(xTC,yTC,wTC,hTC)=(xsmooth,ysmooth,wsmooth,hsmooth)，具有平滑空間性軌道和尺寸。
在步驟328，應用寬高比變換。所用不同變數和記法，見第8圖。修剪視窗在一方向或另方向，甚至在各方向以不同比例延伸。再標定係立體性，因為也是根據深度映圖。動機是為免邊界或強烈差距被修剪視窗「截切」。有趣的解決方案是包含或全然排除具有同樣差距的某些客體。
由凸顯映圖獲取的中間視窗尺寸，與使用者設定或應用所界定的最後寬高比之間，沒有關係(無協同分析)。誠然，步驟322遵循與再標定應用的寬高比完全無相關性的凸顯高峰Ak邊界(如第7圖所示)，進行準確評估最重要區位。各向異性延伸視現時比RSM，在一方向延伸修剪視窗CWSM 1(xSM,ySM,wSM,hSM)，改善修剪視窗尺寸。無論高度或寬度的延伸，為達到所標定寬高比RTG。假設： 為標定寬高比
為中間修剪視窗之寬高比若RTG>RSM，進行橫向延伸(在現時長方形的寬度)，否則進行直向延伸(在現時長方形的高度)。假設分別為橫向延伸(和直向延伸)，可界定：hAR=hSM(resp.wAR=wSM)
wAR=wSM+dw(resp.hAR=hSM+dh)
xAR=xSM+dx(resp.xAR=xSM)
(14)yAR=ySM(resp.yAR=ySM+dy) 其中
一旦界定延伸側面，仍有若干方式延伸視窗。易言之，可以不同方式計算dright和dleft。假設寬度WSM必須延伸到達最後寬高比。
使用深度映圖和/或禁用區映圖，在一方向或另一方向延伸修剪視窗。
深度映圖可得與否，視使用情況而定。因此，寬高比變換步驟328揭示二變化例，深度映圖不可得時，使用其中之一，而深度映圖可得時，使用另一。
當深度映圖不可得時，只用步驟30之禁用區映圖。計算鄰接平滑左右座標視窗的圖元直行之梯度合計(全局梯度或GG)，以檢定各延伸側面之量和展示。同樣可在橫向運用。在下述最小化問題解決時(假設yopt=ySM)，發現最適修剪視窗CW(xopt,yopt)：(15)xmin=argminx(GGx)
誠然，視窗(在標的寬高比)是在x軸線進行間距[xSM-dw-wSM/2；xSM-wSM/2]橫向移動所決定，故式(15)可最小化。dw是最大延伸寬度。
相對應xmin是最佳修剪視窗的左側。則： xopt=xSM+dx(dx如式(13)所界定)
dleft=xSM-xmin-wsm/2
dright=dw-dleft
按照變化例，在x軸線進行間距[xSM+wSM/2；xSM+dw+wSM/2]橫向移動中，首先決定dright，故式(15)可最小化。
對最小化問題無解時，在各側同等進行延伸，即：dleft=dright=dw/2。
若深度映圖可行，計算二映圖上的信任Confx。再將此信任最大化，以便找出最佳修剪視窗。
(16)xmin=argmaxx[Confx] 其中
誠然，視窗(在標的寬高比)是在x軸線進行間距[xSM-dw-wSM/2；xSM-wSM/2]橫向移動所決定，故式(16)可最大化。dw是最大延伸寬度。
相對應xmin是最佳修剪視窗的左側。則：xopt=xSM+dx(dx如式(13)所界定)
dleft=xSM-xmin-wsm/2
dright=dw-dleft
按照變化例，在x軸線進行間距[xSM+wSM/2；xSM+dw+wSM/2]橫向移動中，首先決定dright，故式(15)可最小化。
在步驟20，在各視窗內獲取平滑修剪視窗為界限的部份，把左、右視窗修剪成左修剪視窗和右修剪視窗。
第9圖左上側展示凸顯映圖，右上側為第一個凸顯高峰和相對應第一個修剪視窗(步驟322)。左下側形像為禁用區映圖和滑窗，必須把若干量最小化，成為最後修剪視窗。右下側呈現最後左、右選用量，以免截切客體。誠然，禁用區映圖指示要避免的最後修剪視窗區位(白色部份)。
本發明再標定方法完全自動，確保良好最後品質，不失全局瞭解場景之基本部份，並改進3D效果，比有黑條的版本有深入體驗。
本發明可有益於許多後生量任務，諸如：
˙為寬高比變換之內容準備。TV主人知道把其內容再格式化，供若干支援，就追上電視和VOD情況而言，諸如網際網路、行動電視、正規電視頻道等。
˙為藍光碟之內容準備。在準備藍光支援時，需將劇院的寬高比變換為電視寬高比。
第10圖簡略表示本發明再標定裝置2。第10圖上只表示再標定裝置之基本元件。再標定裝置2包括下列，利用位址和資料匯流排24連接在一起：處理單位21，諸如微處理器(或CPU)；ROM(唯讀記憶器)型之非無常性記憶器22；隨機存取記憶器(RAM)23；輸出入界面25；可能加上人機界面26。
須知說明記憶器22和23所用「暫存器」一辭，在提及的各記憶器內，指小容量記憶區帶(若干二進資料)，以及大容量記憶區帶(可儲存整個節目表，或接收全部或部份展示視聽服務之資料)。
非無常性記憶器22包含實施本發明再標定方法步驟之演算。啟動時，處理單位21載錄並運轉此等演算之指令。隨機存取記憶器23包括處理單位21之特別運算程式，是在裝置啟動時所載錄，以及待處理(即有待再標定)之形像。輸出入界面25之功能，在於接收輸入訊號(即有待再成幅之形像)，並發射按照本發明方法步驟10至20再標定之形像。再標定裝置2之人機界面26，一旦發生與要求不相容之再標定錯誤時，可使運算子中斷處理。此界面亦可使運算子以人為識別，使用此界面認知資訊，諸如本文區帶和字面。再標定 形像即儲存於隨機存取記憶器內，然後可能轉移到唯讀記憶器建檔，以備隨後處理運算。人機界面26可能包括控制面板，例如鍵盤和顯示幕。
按照變化例，與本發明相容之再標定裝置，可按照純硬體實現方式實施，例如形成專用組件，像ASIC(應用特定積體電路)、FPGA(外場可規劃閘陣列)或VLSI(甚大型積體電路)，或整合於裝置內之若干電子組件，甚至形成硬體元件和軟體元件之混合。
10‧‧‧在左視圖內決定第一有趣區位RO11之步驟
12‧‧‧在右視圖內決定第二有趣區位RO12之步驟
14‧‧‧從第一有趣區位RO11決定左修剪視窗之步驟
16‧‧‧從第二有趣區位RO12決定右修剪視窗之步驟
18‧‧‧左、右修剪視窗組合成平滑修剪視窗之步驟
20‧‧‧左、右視圖修剪成左、右修剪視圖之步驟
22‧‧‧組合成獨一凸顯映圖載明3D凸顯資訊之步驟
24‧‧‧根據SaliencyMap_3Dlike決定平滑修剪視窗之步驟
30‧‧‧製作禁用區映圖之步驟
32‧‧‧提供映圖給再成幅3D之步驟
300‧‧‧使用顏色分節演算之步驟
302‧‧‧為分節映圖內識別的各顏色區位計算凸顯值之步驟
304‧‧‧對區位凸顯值設限之步驟
322‧‧‧單獨為各視圖決定第一修剪視窗之步驟
324‧‧‧組合修剪視窗位置之步驟
326‧‧‧時間性一致之步驟
328‧‧‧應用寬高比變換之步驟
2‧‧‧再標定裝置
21‧‧‧處理單位
22‧‧‧非無常性記憶器
23‧‧‧隨機存取記憶器
24‧‧‧位址和資料匯流排
25‧‧‧輸出入界面
26‧‧‧人機界面
第1a圖表示本發明第一具體例方法之流程圖；第1b圖表示本發明第一具體例變化例方法之流程圖；第2圖表示本發明第二具體例方法之流程圖；第3圖表示本發明第三具體例方法之流程圖；第4圖表示第3圖所示流程圖之第一細部圖；第5圖自左至右表示圖像、分節映圖、凸顯映圖、禁用區映圖；第6圖表示第3圖所示流程圖之另一細部圖；第7圖表示贏者全拿的演算；第8圖表示修剪視窗及其參數；第9圖表示圖像之凸顯映圖、圖像上之最先修剪視窗、禁用區映圖，以及最後修剪視窗；第10圖簡略表示本發明再標定裝置2。
10‧‧‧在左視圖內決定第一有趣區位RO11之步驟
12‧‧‧在右視圖內決定第二有趣區位RO12之步驟
14‧‧‧從第一有趣區位RO11決定左修剪視窗之步驟
16‧‧‧從第二有趣區位RO12決定右修剪視窗之步驟
18‧‧‧左、右修剪視窗組合成平滑修剪視窗之步驟
20‧‧‧左、右視圖修剪成左、右修剪視圖之步驟

Claims (9)

  1. 一種包括至少第一視圖和第二視圖的3D內容之再標定方法，包括：由該第一視圖決定第一凸顯映圖，和由該第二視圖決定第二凸顯映圖；由該第一凸顯映圖決定第一修剪視窗，和由該第二凸顯映圖決定第二修剪視窗；組合該第一和第二修剪視窗，成為最後修剪視窗，以該第一和第二修剪視窗決定之參數識別；按照該最後修剪視窗，修剪該第一視窗和該第二視窗，所修剪第一和第二視窗即形成再標定3D內容者。
  2. 如申請專利範圍第1項之方法，又包括：經時過濾最後修剪視窗之參數；決定禁用區映圖，表示最後修剪視窗邊界要避免之區位；使用禁用區映圖，把最後修剪視窗之寬高比，變換成目標寬高比者。
  3. 如申請專利範圍第1項之方法，又包括：經時過濾最後修剪視窗之參數；決定禁用區映圖，表示最後修剪視窗邊界要避免之區位；使用禁用區映圖和深度映圖，把最後修剪視窗之寬高比，變換成目標寬高比者。
  4. 如申請專利範圍第2或3項之方法，其中決定禁用區映圖之步驟，包括步驟為：把該至少二視圖之一加以分節，成為區位之分節映圖；為分節映圖之各區位，從該至少二視圖之該一凸顯映圖，計算凸顯值；把為各區位計算之該凸顯值設限，以形成禁用區映圖者。
  5. 一種包括至少第一視圖和第二視圖的3D內容之再標定裝置，包括：由該第一視圖決定第一凸顯映圖和且該第二視圖決定第二凸顯映圖之機構；由該第一凸顯映圖決定第一修剪視窗和由該第二凸顯映圖決定第二修剪視窗之機構；組合機構，把該第一和第二修剪視窗組合成最後修剪視窗，以該第一和該第二修剪視窗決定之參數識別；修剪機構，按照該最後修剪視窗，修剪該第一視圖和第二視圖，所修剪第一和第二視圖即形成再標定3D內容者。
  6. 如申請專利範圍第5項之裝置，又包括：過濾機構，供經時過濾最後修剪視窗之參數；決定機構，供決定禁用區映圖，表示最後修剪視窗邊界要避免之區位；變換機構，供使用禁用區映圖，把最後修剪視窗之寬高比，變換成目標寬高比者。
  7. 如申請專利範圍第5項之裝置，又包括：過濾機構，供經時過濾最後修剪視窗之參數；決定機構，供決定禁用區映圖，表示最後修剪視窗邊界要避免之區位；變換機構，供使用禁用區映圖和深度映圖，把最後修剪視窗之寬高比，變換成目標寬高比者。
  8. 如申請專利範圍第6或7項之裝置，其中決定禁用區映圖之機構包括：分節機構，把該至少二視圖之一加以分節，成為區位之分節映圖；計算機構，為分節映圖之各區位，從該至少二視圖之該一的凸顯映圖，計算凸顯值；設限機構，把為各區位所計算之該凸顯值設限，形成禁用區映圖者。
  9. 一種非暫態程式儲存裝置，可由電腦讀取，把指令之程式具體化，可利用電腦執行，以進行包括下列步驟方法：由該第一視圖決定第一凸顯映圖，和由該第二視圖決定第二凸顯映圖；由該第一凸顯映圖決定第一修剪視窗，和由該第二凸顯映圖決定第二修剪視窗；組合該第一和第二修剪視窗，成為最後修剪視窗，以該第一和第二修剪視窗決定之參數識別；按照該最後修剪視窗，修剪該第一視窗和該第二視窗，所修剪第一和第二視窗即形成再標定3D內容者。
TW101115871A 2011-05-31 2012-05-04 包括至少第一視圖和第二視圖的３ｄ內容之再標定方法及裝置以及電腦程式產品和處理器可讀取之媒體 TWI553590B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP11305661A EP2530642A1 (en) 2011-05-31 2011-05-31 Method of cropping a 3D content

Publications (2)

Publication Number Publication Date
TW201248545A TW201248545A (en) 2012-12-01
TWI553590B true TWI553590B (zh) 2016-10-11

Family

ID=44558272

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101115871A TWI553590B (zh) 2011-05-31 2012-05-04 包括至少第一視圖和第二視圖的３ｄ內容之再標定方法及裝置以及電腦程式產品和處理器可讀取之媒體

Country Status (7)

Country Link
US (1) US9743062B2 (zh)
EP (2) EP2530642A1 (zh)
JP (1) JP6039657B2 (zh)
KR (1) KR20140038436A (zh)
CN (1) CN103582900A (zh)
TW (1) TWI553590B (zh)
WO (1) WO2012163743A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2894852A1 (en) * 2014-01-14 2015-07-15 Alcatel Lucent Process for increasing the quality of experience for users that watch on their terminals a high definition video stream
US9626584B2 (en) * 2014-10-09 2017-04-18 Adobe Systems Incorporated Image cropping suggestion using multiple saliency maps
US9805445B2 (en) * 2014-10-27 2017-10-31 Adobe Systems Incorporated Image zooming
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
EP3223524A1 (en) 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
EP3306928A1 (en) * 2016-10-07 2018-04-11 Thomson Licensing Method and apparatus for encoding a video
KR102676837B1 (ko) * 2016-12-16 2024-06-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
US20210398333A1 (en) * 2020-06-19 2021-12-23 Apple Inc. Smart Cropping of Images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1764736A1 (en) * 2005-09-19 2007-03-21 Thomson Licensing Method and device for image cropping
TW200733741A (en) * 2006-02-20 2007-09-01 Inventec Appliances Corp Method for converting image screen specification for handheld multimedia playing device
CN100478991C (zh) * 2003-12-18 2009-04-15 汤姆森许可贸易公司 用于创建图像的显著图的设备和方法
TW200937344A (en) * 2008-02-20 2009-09-01 Ind Tech Res Inst Parallel processing method for synthesizing an image with multi-view images
TW200943936A (en) * 2008-02-01 2009-10-16 Omnivision Cdm Optics Inc Fusing of images captured by a multi-aperture imaging system
US20110038529A1 (en) * 2009-08-12 2011-02-17 Hitachi, Ltd. Image processing apparatus and image processing method
CN102075694A (zh) * 2009-11-11 2011-05-25 迪士尼企业公司 用于视频制作、后期制作和显示适应的立体编辑

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3632529A1 (de) 1986-09-25 1988-04-07 Basf Ag Verfahren zur herstellung von aldehyden und/oder ketonen durch umsetzung von epoxiden
JPH0563978A (ja) 1991-08-30 1993-03-12 Toshiba Corp 画像読取装置
GB2372659A (en) 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
JP2005072674A (ja) * 2003-08-27 2005-03-17 Sharp Corp 三次元画像生成装置および三次元画像生成システム
US7982809B2 (en) 2004-10-06 2011-07-19 Thomson Licensing Method and apparatus for providing a picture cropping function
EP1889171A4 (en) * 2005-04-07 2012-11-28 Visionsense Ltd METHOD FOR RECONSTRUCTING A THREE-DIMENSIONAL SURFACE OF AN OBJECT
TW200719281A (en) * 2005-07-28 2007-05-16 Thomson Licensing Method and device for generating a sequence of images of reduced size
JP4249187B2 (ja) * 2006-01-13 2009-04-02 エヌ・ティ・ティ・コムウェア株式会社 立体映像処理装置並びにそのプログラム
WO2008028334A1 (en) 2006-09-01 2008-03-13 Thomson Licensing Method and device for adaptive video presentation
FR2912237A1 (fr) 2007-02-07 2008-08-08 Thomson Licensing Sas Procede de traitement d'image
JP2009212929A (ja) * 2008-03-05 2009-09-17 Fujifilm Corp 画像トリミング範囲の評価方法、装置およびプログラム
US9240056B2 (en) 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
FR2929797A1 (fr) 2008-04-03 2009-10-09 Thomson Licensing Sas Procede et dispositif de codage d'une sequence d'images
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US9142026B2 (en) * 2010-02-26 2015-09-22 Thomson Licensing Confidence map, method for generating the same and method for refining a disparity map
US9591281B2 (en) * 2010-12-22 2017-03-07 Thomson Licensing Apparatus and method for determining a disparity estimate
FR2968108A1 (fr) 2011-06-20 2012-06-01 Thomson Licensing Procede de reduction de la taille d’une image stereoscopique
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100478991C (zh) * 2003-12-18 2009-04-15 汤姆森许可贸易公司 用于创建图像的显著图的设备和方法
EP1764736A1 (en) * 2005-09-19 2007-03-21 Thomson Licensing Method and device for image cropping
TW200733741A (en) * 2006-02-20 2007-09-01 Inventec Appliances Corp Method for converting image screen specification for handheld multimedia playing device
TW200943936A (en) * 2008-02-01 2009-10-16 Omnivision Cdm Optics Inc Fusing of images captured by a multi-aperture imaging system
TW200937344A (en) * 2008-02-20 2009-09-01 Ind Tech Res Inst Parallel processing method for synthesizing an image with multi-view images
US20110038529A1 (en) * 2009-08-12 2011-02-17 Hitachi, Ltd. Image processing apparatus and image processing method
CN102075694A (zh) * 2009-11-11 2011-05-25 迪士尼企业公司 用于视频制作、后期制作和显示适应的立体编辑

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Utsugi, Kei, et al. "Seam carving for stereo images." 3DTV-Conference: The True Vision-Capture, Transmission and Display of 3D Video (3DTV-CON), 2010. IEEE, 2010. *

Also Published As

Publication number Publication date
US9743062B2 (en) 2017-08-22
KR20140038436A (ko) 2014-03-28
WO2012163743A1 (en) 2012-12-06
JP2014522596A (ja) 2014-09-04
CN103582900A (zh) 2014-02-12
EP2715660A1 (en) 2014-04-09
EP2530642A1 (en) 2012-12-05
JP6039657B2 (ja) 2016-12-07
TW201248545A (en) 2012-12-01
US20140232821A1 (en) 2014-08-21

Similar Documents

Publication Publication Date Title
TWI553590B (zh) 包括至少第一視圖和第二視圖的３ｄ內容之再標定方法及裝置以及電腦程式產品和處理器可讀取之媒體
JP6655737B2 (ja) マルチビューシーンのセグメンテーションおよび伝播
US9299152B2 (en) Systems and methods for image depth map generation
US9036860B2 (en) Method for editing propagation of video and image content based on local feature structure preservation
US9508126B2 (en) Image haze removal using fast constrained transmission estimation
US9488841B2 (en) Image processing apparatus, image processing method, display apparatus, display method, and computer readable recording medium
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
US20140072232A1 (en) Super-resolution method and apparatus for video image
US20120320152A1 (en) Stereoscopic image generation apparatus and method
US20150379720A1 (en) Methods for converting two-dimensional images into three-dimensional images
CN105303514A (zh) 图像处理方法和装置
CN103440664B (zh) 一种生成高分辨率深度图的方法、***及计算设备
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2014522596A5 (zh)
CN107451976B (zh) 一种图像处理方法及装置
RU2718423C2 (ru) Способ определения карты глубин для изображения и устройство для его осуществления
EP3985575A1 (en) Three-dimensional information processing method and apparatus
CN115546027B (zh) 图像缝合线确定方法、装置以及存储介质
CN110390657B (zh) 一种图像融合方法
US20170148212A1 (en) Color-based dynamic sub-division to generate 3d mesh
CN102708570B (zh) 获取深度图的方法及装置
US20140125778A1 (en) System for producing stereoscopic images with a hole filling algorithm and method thereof
CN115861145A (zh) 一种基于机器视觉的图像处理方法
Chamaret et al. Video retargeting for stereoscopic content under 3D viewing constraints
US8902359B1 (en) Processor implemented systems and methods for handling of occlusion for frame rate upconversion

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees