TWI821220B - 影像擷取之設備及方法 - Google Patents

影像擷取之設備及方法 Download PDF

Info

Publication number
TWI821220B
TWI821220B TW107143601A TW107143601A TWI821220B TW I821220 B TWI821220 B TW I821220B TW 107143601 A TW107143601 A TW 107143601A TW 107143601 A TW107143601 A TW 107143601A TW I821220 B TWI821220 B TW I821220B
Authority
TW
Taiwan
Prior art keywords
capture
posture
image
scene
indication
Prior art date
Application number
TW107143601A
Other languages
English (en)
Other versions
TW201928761A (zh
Inventor
克莉斯汀 維爾甘
巴特洛繆斯 威爾赫摩斯 戴米爾納斯 桑尼威爾特
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW201928761A publication Critical patent/TW201928761A/zh
Application granted granted Critical
Publication of TWI821220B publication Critical patent/TWI821220B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Heat Treatment Of Strip Materials And Filament Materials (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Photographic Developing Apparatuses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一種影像擷取設備包含用於擷取一場景之影像之一擷取單元(101)。一追蹤器(103)動態地判定該擷取單元的姿勢，及一姿勢處理器(105)判定相對於一組所欲擷取姿勢的該擷取單元(101)之一目前姿勢。該姿勢可包括該擷取單元(101)之一位置及定向。一顯示器控制器(107)耦合至該姿勢處理器(105)且經配置以控制一顯示器以呈現一目前擷取姿勢指示，該目前擷取姿勢指示包含在擷取單元(101)之一影像平面外的一方向上相對於該組所欲擷取姿勢的該擷取單元(101)之該目前姿勢的一位置之一指示。在一些實施例中，可回應於針對該場景所擷取之資料而適應性地更新該組所欲擷取姿勢。

Description

影像擷取之設備及方法
本發明係關於擷取場景之影像，且具體地(但不限於)，係關於擷取提供場景之三維表示的影像。
近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。
例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀察者的有效觀察位置及觀察方向之能力，例如諸如允許觀察者在呈現的場景中移動及「環視」。
此類特徵可具體地能夠提供虛擬實境體驗給使用者。這可允許使用者在虛擬環境中(相對)自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法是眾所周知，例如用於電腦及主控台的遊戲應用，例如在第一人稱射擊遊戲類別中。
亦希望，特別是對於虛擬實境應用，所呈現的影像係三維影像。實際上，為了最佳化觀察者的身歷其境，一般而言較佳地，使用者將所呈現場景體驗為三維場景。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她 本身相對於虛擬世界的位置、攝影機視點及時間瞬間。
為了支援許多此類新應用及服務，希望能夠準確擷取場景。與其中單一視區用於單一視點(例如，習知視訊序列)一般係足夠的傳統應用相比，希望可準確地擷取全3D場景資訊。
例如，運用6DoF(six degrees of freedom，六自由度，對應於用於視點位置的三個自由度及用於定向的三個自由度)虛擬實境擷取，一般而言在多個方向從多個位置擷取場景，以擷取關於整個場景的準確且完整之資訊。在從此類擷取播放6DoF內容期間，在典型應用中，觀察者可在場景內自由地移動且動態合成視圖以對應於觀察者的目前虛擬姿勢(pose)。所呈現的視圖可例如係使用合適的演算法從最初擷取之視圖中合成的內插視圖。這實現平滑轉變及/或減少所需的擷取光場資料量。一般而言，對於此類視圖內插，使用深度資訊進行合成，其中深度資訊一般係自立體影像直接擷取或評估。另一實例可係使用所擷取之視圖來發展場景之三維模型。
在許多應用中，可藉由移動手持攝影機來擷取靜態場景。在擷取後，所擷取影像的攝影機位置及觀看方向被導出且用作為用於視圖合成的基礎影像或產生場景之三維模型。
然而，為了使基於所擷取影像的此類表示足夠準確，需要藉由該等影像擷取足夠的相關資訊量。這往往需要相對較高的空間擷取頻率/密度，並且實際上已發現，使用者通常在樣本空間或角度下且結果係不理想地定位任何虛擬攝影機。這可能會具有重大影響。例如，在沒有足夠的攝影機位置被擷取的區域中，連續處理步驟(諸如定向精緻化)會失敗。
此類擷取方法之問題包括：
1.難以定位手持攝影機使得在空間上(及在所有方向)足夠密集地取樣所得光場。
2.難以先驗地判定攝影機掃描圖案是用於例如最佳6DoF播放，此係因為這密切取決於個別場景的性質。
解決方案是徹底擷取實質上所有可能的視圖位置及方向。然而，尤其是使用手持攝影機系統時，手動執行(或甚至使用自動移動系統，例如駕駛機器人)至多非常耗時且通常不切實際，並且一般而言不可能保證擷取所有意欲位置及定向。
此外，將擷取需要稍後刪除或壓縮的冗餘視圖，以確保資料儲存、散佈及處理資源需求不會變得過量。
使用機器人及/或專用多攝影機承架(multi-camera rig)可解決這些問題中的一些者。然而，此類方法往往成本高昂、繁複、需要可用的複雜設備及設定等。多攝影機承架亦可引入自遮擋的問題，即，攝影機模糊彼此場景的視圖。
為了解決手動影像擷取中的問題，已建議用圖形符號覆疊影像，該等圖形符號指示應如何在不同擷取之間改變攝影機的定向。例如，已開發用於例如全景拍攝的行動電話擷取應用程式，行動電話擷取應用程式在顯示器上展示應如何旋轉攝影機以擷取複數個影像，該複數個影像隨後可被拼接在一起以延伸攝影機的有效視角。然而，此類方法仍然會導致次佳擷取場景且通常不適合用於更複雜應用，諸如當需要準確的三維資訊以建置場景模型時。
因此，改善之影像擷取系統及方法將係有利的。具體地，允許改善操作、促進擷取、改善場景表示、增強靈活性、促進實施、促進操作、減少資料儲存、散佈及處理資源需求、改善適應性及/或改善性能之方法將係有利的。
US2014/0300775A1揭露一種用於處理一或多個影像以判定攝影機位置資訊及/或攝影機姿勢資訊之方法。該文件揭露一種應用，其中使用者設備可依從目前位置到用於拍攝照片之最愛位置的路線形式來顯示指導給使用者。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明之一態樣提供一種影像擷取設備，其包含：一擷取單元，其用於擷取一場景的影像；一追蹤器，其用於動態地判定該擷取單元的姿勢；一姿勢處理器，其用於判定相對於一組所欲擷取姿勢的該擷取單元之一目前姿勢；一顯示器；一顯示器控制器，其耦合至該姿勢處理器，用於控制該顯示器以呈現一目前擷取姿勢指示，該目前擷取姿勢指示包含在擷取單元之一影像平面外的一方向相對於該組所欲擷取姿勢的該擷取單元之該目前姿勢的一位置之一指示；及一擷取處理器，其經配置以回應於針對該場景所擷取之資料而判定該組所欲擷取姿勢中之該等擷取姿勢之至少一些者。
該方法可促進、允許及/或支援改善之場景擷取，且具體地，擷取操作企圖擷取場景之三維表示。在許多情景中，該方法可導致藉由較簡單且 較不繁複的擷取操作及程序來產生改善之擷取資料。
該影像擷取設備可提供更準確地反映如何擷取實體場景的一輸出指示，以提供例如用於視圖合成或發展場景之模型的增強資料。該指示可反映擷取單元101所需之移動或定向，以執行真實世界場景的可接受或所欲擷取。該指示可依任何合適形式予以提供，並且在不同實施例中可使用例如不同視覺指示。
影像平面外之位置的指示可具體地係該擷取單元之一攝影機的深度或z方向的一指示。該指示可指示在垂直於該攝影機之影像平面的一方向包括一分量的一相對位置。因此，該影像平面外之該位置的該指示不僅係平行於該影像平面(或在該影像平面中)之一相對位置的一指示，並且不僅係一旋轉的一指示。該影像擷取設備可提供對應於一方向的一相對位置指示，該相對位置指示不僅係一側向影像平面平移或該擷取單元一攝影機的一旋轉。該影像平面外之該位置的該指示可具體地提供該擷取單元/攝影機需要向前或向後移動之一指示，以為此與該組所欲擷取姿勢之一姿勢空間上重合。在許多應用中，該顯示器控制器除了控制該顯示器以呈現該影像平面外之該位置的該指示外，該顯示器控制器亦可控制該顯示器以提供該影像平面內之一相對位置的一指示及/或相對於該組所欲擷取姿勢的該目前姿勢的一定向之一指示。
該組所欲擷取姿勢可具體對應於經判定或經評估以達成該場景之一可接受擷取的一組姿勢。在一些應用中，該組所欲擷取姿勢可經預定，且在其他應用中，可經調適用於特定場景特性。
該顯示器控制器可經配置以控制該顯示器以藉由產生由該顯示 器所呈現之一視訊或類似顯示信號來呈現一指示。該視訊信號可經產生以包含展示該目前擷取姿勢指示的影像。在許多應用中，該視訊信號亦可包括目前由該擷取單元所擷取的影像，且因此該顯示器亦可展示如由該擷取單元所擷取之場景的影像。
該顯示器可係習知二維顯示器，或可例如係三維顯示器。
在一些實施例中，相對於該組所欲擷取姿勢的該擷取單元之該目前姿勢的該位置之該指示包含一二維或三維位置指示。
該組所欲擷取姿勢可取決於該場景的性質予以調整，且在許多情況及應用中，此可允許改善擷取操作。
具體地，資料可係光場資料(影像)及/或深度資料(例如，深度圖)。在一些實施例中，該擷取處理器可經配置以回應於在一或多個姿勢所擷取之影像而判定該組所欲擷取姿勢。在一些實施例中，該擷取處理器經配置以回應於在場景中之一或多個姿勢所擷取之深度資料而判定該組所欲擷取姿勢。在一些此類實施例中，可自在略微不同之視點所擷取之影像(例如，自立體影像)而判定或導出該深度資料。
該資料可係在該場景中針對一或多個姿勢而擷取。具體地，該資料(或該資料之至少一些)可針對屬於該組所欲擷取姿勢之數個姿勢而擷取(例如，在一組初始標稱所欲擷取姿勢中，其隨後取決於所擷取資料而被修改)。
在一些實施例中，該擷取處理器可經配置以回應於在一第一姿勢所擷取之一影像指示一增加之紋理變化而改變在該第一姿勢之一鄰域中的所 欲擷取姿勢之一空間密度。
根據本發明之一選用特徵，該目前擷取姿勢指示包含相對於該組所欲擷取姿勢的該擷取單元的一定向之一指示。
在許多實施方案及情景中，此可提供改善的及/或促進的操作及/或實施。在許多應用中，可導致改善場景擷取。
根據本發明之一選用特徵，該顯示器係一三維顯示器，且該目前擷取姿勢指示係對該組所欲擷取姿勢之一姿勢的一方向之一三維指示。
在許多實施方案中，此可提供介於該目前姿勢與該所欲擷取操作之間的基礎關係之一改善指示。
根據本發明之一選用特徵，該顯示器係一擴增實境頭戴裝置之一顯示器，且該目前擷取姿勢指示係相對於該目前姿勢之一位置的一所欲擷取姿勢之一位置的指示。
在許多實施方案中，此可提供介於該目前姿勢與該所欲擷取操作之間的基礎關係之一改善指示。該擴增實境頭戴裝置可例如係虛擬實境頭戴裝置或擴增實境眼鏡。
根據本發明之一選用特徵，該擷取單元包含在一手持裝置中。
本發明可允許使用手持設備實質上改善及/或促進擷取場景，諸如用於擷取場景手持靜物相機或視訊攝影機。該方法可例如使得非專家僅使用例如手持裝置(諸如智慧手機)準確擷取複雜場景為實際可行。
根據本發明之一選用特徵，該擷取處理器經配置以回應於在一第一姿勢所擷取之資料而改變在該第一姿勢之一鄰域中的所欲擷取姿勢之一空 間密度。
在許多實施方案及情景中，此可提供改善的及/或促進的操作及/或實施。在許多應用中，可導致改善場景擷取。
根據本發明之一選用特徵，該擷取處理器經配置以回應於在該第一姿勢所擷取之資料指示一增加深度變化而增加在該第一姿勢之該鄰域中的所欲擷取姿勢之該空間密度。
在許多實施方案及情景中，此可提供改善的及/或促進的操作及/或實施。在許多應用中，可導致改善場景擷取。
在一些實施例中，該擷取處理器可經配置以回應於在該第一姿勢所擷取之資料指示一減小深度變化而減小在該第一姿勢之該鄰域中的所欲擷取姿勢之該空間密度。
根據本發明之一選用特徵，該擷取處理器經配置以回應於在該第一姿勢所擷取之資料指示至該場景之一物體的一縮減距離而增加在該第一姿勢之該鄰域中的所欲擷取姿勢之該空間密度。
在許多實施方案及情景中，此可提供改善的及/或促進的操作及/或實施。在許多應用中，可導致改善場景擷取。
在一些實施例中，該擷取處理器可經配置以回應於在該第一姿勢所擷取之資料指示至該場景之一物體的一增加距離而減小在該第一姿勢之該鄰域中的所欲擷取姿勢之該空間密度。
根據本發明之一選用特徵，該擷取處理器經配置以回應於在該第一姿勢所擷取之資料指示該場景之一物體的一表面之一增加粗糙度而增加在 該第一姿勢之該鄰域中的所欲擷取姿勢之該空間密度。
在許多實施方案及情景中，此可提供改善的及/或促進的操作及/或實施。在許多應用中，可導致改善場景擷取。
在一些實施例中，該擷取處理器可經配置以回應於在該第一姿勢所擷取之資料指示該場景之一物體的一表面之一減小粗糙度而減小在該第一姿勢之該鄰域中的所欲擷取姿勢之該密度。
根據本發明之一選用特徵，該資料包括深度資料。
根據本發明之一選用特徵，該擷取處理器經配置以藉由新增至少一個所欲擷取姿勢至在該數個姿勢之一第一姿勢的一鄰域中之一組預定所欲擷取姿勢而增加該鄰域中之所欲擷取姿勢之一空間密度。
這可提供該組所欲擷取姿勢之一有效且低複雜度調適。
在一些實施例中，該擷取處理器可經配置以藉由移除在一第一姿勢的一鄰域中之一組預定所欲擷取姿勢之至少一個所欲擷取姿勢而減小該鄰域中之所欲擷取姿勢之一空間密度。
根據本發明之可選特徵，該顯示器控制器經配置以控制該顯示器以呈現該目前擷取姿勢指示，而不顯示目前由該擷取單元所擷取之影像。
根據本發明之一態樣，提供一種影像擷取方法，其包含：動態地判定一擷取單元之姿勢，該擷取單元能夠擷取一場景之影像；判定相對於一組所欲擷取姿勢的該擷取單元之一目前姿勢；控制該顯示器以呈現一目前擷取姿勢指示，該目前擷取姿勢指示包含在該擷取單元之一影像平面外的一方向相對於該組所欲擷取姿勢的該擷取單元之該目前姿勢的一位置之一指示；該擷取 單元擷取一場景之影像；及回應於針對該場景所擷取之資料而判定該組所欲擷取姿勢中之該等擷取姿勢之至少一些者。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的(一或多個)實施例闡明且將係顯而易見的。
101:擷取單元
103:追蹤器
105:姿勢處理器
107:顯示器控制器
109:顯示器
111:擷取處理器
113:深度處理器
401:錨點姿勢之預定規則網格
403:錨點姿勢
將僅以舉例之方式參考圖式描述本發明的實施例，其中圖1繪示根據本發明一些實施例之影像擷取設備之元件的實例；圖2繪示所欲擷取姿勢之圖案的實例；圖3繪示判定擷取姿勢之接近性的實例；圖4繪示根據本發明之一些實施例之調適一組所欲擷取姿勢的實例。
以下描述聚焦於適用於手持式影像擷取系統及方法的本發明之實施例，但應理解，本發明不限於此類應用，而是可應用於許多其他影像擷取系統。
圖1繪示根據本發明一些實施例之影像擷取設備的實例。該影像擷取設備可例如用於擷取3D場景，使得可針對該場景產生詳細的表示或模型，例如用於虛擬實境應用中。為了做到這一點，一般而言需要從許多不同位置及在許多不同方向擷取場景，即，需要針對大量姿勢來擷取。然而，這往往非常繁瑣且耗時，並且需要大量工作量。若擷取姿勢之選擇經最佳化(例如，藉由移除擷取之間的冗餘且確保用較少擷取來達成該場景的所需覆疊)，則可減少 此類缺點。在一些情景中，這可藉由謹慎規劃及手動組織擷取而達成。然而，在許多情景及應用中，這不切實際，例如，若意欲由一般消費者使用手持裝置(諸如智慧電話)來擷取一場景。
圖1之影像擷取設備可藉由提供對給定場景的合適擷取姿勢之回饋，從而引導使用者從有利姿勢進行擷取，來輔助擷取程序。在許多情景中，由於使用者被引導朝向提供場景的改善擷取資料的擷取姿勢，所以此回饋可基於較少擷取來提供場景之改善總體擷取。
該影像擷取設備包含一擷取單元101，該擷取單元通常可包含擷取場景的攝影機。該攝影機通常可係習知攝影機，或例如可係立體攝影機。該擷取單元經配置以擷取場景的(光場)影像，並且在一些實施例中，亦擷取深度資訊(例如，藉由立體影像從像差或專用深度資訊推斷深度)，諸如藉由直接深度測量所判定之z值(例如，使用深度測深攝影機))。
攝影機單元耦合至一追蹤器103，該追蹤器經配置以判定該擷取單元的姿勢。因此，由追蹤器103判定擷取場景影像的攝影機之姿勢。這可針對給定時間瞬間測量/評估該擷取單元之姿勢對應於在該時間瞬間所擷取之影像的視點姿勢。
在本領域中，用語擺置(placement)或姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、攝影機、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別性質。當然，在許多情形中，擺置或姿勢可用更少的分量予以考量及表示，例如，若認 為一或多個分量係被視為固定的或不相關的(例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示)。在下文中，用語姿勢(pose)用於指代可由一至六個值(對應於最大可能的自由度)表示的位置及/或定向。本說明將聚焦在其中一個姿勢具有最大自由度的實施例及實例，即，位置及定向之各者的三個自由度導致總共六個自由度。因此該姿勢可藉由代表六個自由度的一組六個值或六個值之向量予以表示，且因此該姿勢向量可提供三維位置及/或三維方向指示。然而，應理解，在其他實施例中，姿勢可由較少之值予以表示。
在實例中，追蹤器103經配置以動態地判定擷取單元101之攝影機的視點之姿勢，並且可持續判定擷取操作期間的目前姿勢(或可能僅在此類操作的間隔內)。擷取單元101可具體地判定反映目前姿勢的六值姿勢向量。
確切判定擷取單元101(且通常擷取單元之攝影機)之姿勢將取決於個別實施例的特定偏好及要求。在許多實施例中，擷取單元101可包括加速度計等，其允許追蹤包含擷取單元101之裝置的位置及定向，或更具體地，允許追蹤擷取單元101之攝影機(一般而言，藉由追蹤其中實作擷取單元101之裝置來追蹤攝影機之姿勢)。例如，擷取單元101可實作在智慧手機中，並且可使用內建定位功能(例如，以GPS為基礎)、加速度計等而判定智慧手機的位置及定向，且因此判定攝影機視點的位置及定向(觀看位置及觀看定向)。在許多實施例中，追蹤器103不係分開之裝置，而是與擷取單元101相同的裝置之一部分，並且實際上在許多實施例中，圖1之整個影像擷取設備可實作在單一裝置中。在許多典型實施例中，基於在立體攝影機影像或影像+深度感測器 中偵測到的特徵點而達成即時判定姿勢。其他感測器(例如，加速度計、陀螺儀、磁感測器)可有助於感測器融合方法。
例如，應理解，在許多實施例中，追蹤器101經配置以例如藉由將低通濾波應用至所判定之測量或評估來至少部分地基於先前的姿勢而判定目前姿勢。然而，在一些實施例中，可完全基於目前性質來判定目前姿勢，且可不執行使目前判定之姿勢與先前(或未來)姿勢相關聯的操作。
追蹤器103耦合至一姿勢處理器105，該姿勢處理器經配置以比較由追蹤器103所指示之目前姿勢與一組所欲擷取姿勢。在實例中，姿勢處理器105耦合至一擷取處理器111，該擷取處理器提供該組所欲擷取姿勢至姿勢處理器105。在一些實施例中，擷取處理器111可經配置以同時(且具體地，在許多實施例中，在擷取操作開始時)提供整個該組所欲擷取姿勢至姿勢處理器105。在其他實施例中，可運用擷取處理器111逐漸(例如，一次一個)提供該組所欲擷取姿勢，該擷取處理器僅在已執行針對先前姿勢的擷取時提供下一個所欲擷取姿勢。相似地，在一些實施方案及情景中，該組所欲擷取姿勢可係一組預定擷取姿勢，而在其他實施例中，可在擷取程序期間動態地判定該組所欲擷取姿勢。例如，在一些實施例中，擷取處理器111可在擷取程序開始時提供對應於一預定擷取圖案的一組完整所欲擷取姿勢。在其他實施例中，擷取處理器111可經配置以基於先前姿勢(且具體地，基於來自先前姿勢的擷取結果)來適應性地判定下一個所欲擷取姿勢，且因此擷取處理器111可基於先前操作來動態地判定下一個擷取姿勢。
姿勢處理器105經配置以判定相對於該組所欲擷取姿勢的目前姿 勢。在許多實施例中，可在相同座標系統中提供來自擷取處理器111的該組所欲擷取姿勢及來自追蹤器103的目前姿勢，且因此可容易地比較目前姿勢與該組所欲擷取姿勢。在其他實施例中，姿勢處理器105可經配置以執行座標變換或以其他方式補償目前姿勢與該組所欲擷取姿勢在參考座標系統統中的差異。
姿勢處理器105耦合至一顯示器控制器107，該顯示器控制器經配置以控制一顯示器109。姿勢處理器105提供反映相對於該組所欲擷取姿勢的目前姿勢的資料至顯示器控制器107，且作出回應，顯示器控制器107控制該顯示器以呈現一目前擷取姿勢指示，該目前擷取姿勢指示相對於該組所欲擷取姿勢的該擷取單元之該目前姿勢，且具體地指示相對於該組所欲擷取姿勢的該擷取單元之該目前姿勢之位置。因此，系統控制該顯示器以提供相對於一所欲擷取姿勢的目前攝影機姿勢之一指示給使用者，從而引導使用者朝向下一個合適的擷取姿勢。這使得使用者能夠移動擷取單元101，使得針對被包含在該組所欲擷取姿勢中的該等姿勢而產生擷取，從而提供改善之擷取以減少工作量。
應理解，在不同實施例中，姿勢處理器105可提供指示相對於該所欲擷取姿勢的該目前姿勢的不同資料。同樣地，應理解，在不同實施例中，資料處理及顯示器控制將不同，且具體地，在不同實施例中，可控制顯示器以提供相對於該組所欲擷取姿勢的該目前姿勢之不同指示。
例如，在一些實施例中，姿勢處理器105可評估目前姿勢、該組所欲擷取姿勢、及先前擷取操作，以判定對於目前姿勢的最接近所欲擷取姿勢。然後，可例如簡單地藉由使兩個適當的姿勢向量彼此相減來產生差異姿勢向量，而判定一姿勢差量，該姿勢差量指示使擷取單元101從目前姿勢變更至 下一個所欲姿勢所需的姿勢變化。然後可提供該姿勢向量給顯示器控制器107。
顯示器控制器107可例如產生用於顯示的視訊信號，其中圖框/影像由差異向量之圖形表示所組成或包括差異向量之圖形表示。若顯示器係3D顯示器，則圖形表示可例如包含兩個三維箭頭，其中一個箭頭指向移動擷取單元101之方向及另一個箭頭指示所欲旋轉(定向變化)。對於二維顯示器，3D指示可例如係藉由至場景之影像表示上的投影所表示的箭頭予以提供，或例如可針對位置指示及部位指示之各者使用兩個箭頭。舉另一實例，顯示器控制器107可簡單地控制該顯示器直接顯示差異向量的分量值。
舉另一實例，在一些實施例中，姿勢處理器105可提供個別描述目前姿勢及該組所欲擷取姿勢(例如，參考同一座標系統)的資料給顯示器控制器107，且顯示器控制器107可繼續以顯示該組所欲擷取姿勢之三維位置及該目前姿勢之三維位置的一表示。此外，對於各呈現之所欲擷取姿勢，可包括展示相對於目前定向的所欲定向的一箭頭。對於二維顯示器，三維資訊可例如藉由至場景上的投影(若顯示此投影)予以提供，或例如可藉由包括用於各擷取姿勢的複數個指示符而達成。
該影像擷取設備經配置以產生相對於該組所欲擷取姿勢的該目前姿勢之該指示，以包括在擷取單元之一影像平面外的一方向中相對於該組所欲擷取姿勢的該擷取單元之該目前姿勢的位置之一指示。擷取單元101經配置以擷取該場景之一影像，且該影像可具體地係二維影像，該二維影像具有對應於至該二維影像上的三維場景之投影的影像平面。例如，習知攝影機擷取二維 影像，且包含此一攝影機的擷取單元101固有地擷取二維影像且具有相應之二維影像平面。該二維影像平面通常藉由場景投射至其之二維影像感測器(諸如CCD感測器)予以提供。
習知場景擷取一般基於運用基於所擷取影像之二維本質進行擷取之程序的此類二維影像。
例如，一些習知擷取操作包括藉由組合複數個通常重疊的影像來產生一組合影像。例如，可藉由在一個方向拍攝一圖片、移動攝影機至一側或可能旋轉攝影機、拍攝另一圖片等而產生全景圖片。然後可使用軟體來組合影像以產生全景圖片。在一些情況中，此類應用程式可包括使用者應將攝影機向左或向右移動以擷取下一影像的指示。可提供回饋給使用者，該回饋展示如何藉由使影像區域在影像平面中位移以增加所覆蓋區域而超越用特定攝影機之視角可能覆蓋者，而延伸影像平面中的目前影像區域。
此類習知方法基本上在二維平面中操作，且簡單地企圖增加攝影機的有效視角。
在圖1之系統中，顯示器控制器107經配置以產生一指示，該指示包括在擷取單元之一影像平面外的一方向上相對於該組所欲擷取姿勢(之一或多個位置)的該擷取單元之該目前姿勢的一位置之一指示。據此，該指示可提供關於擷取單元101應如何向前或向後移動以達到所欲擷取姿勢(且具體地，所欲擷取位置)的資訊。該方法可用於提供回饋及指導給使用者，允許基於擷取的場景之全三維擷取，該等擷取不限於二維平面(具體地，影像平面)，而是利用考慮全範圍場景的擷取方法。可認為該方法提供一種基於場景 之擷取，其中可識別在該場景中的所欲擷取位置，且引導觀察者至這些擷取位置，而非僅使用一種基於觀察者之擷取方法，其中指導使用者使視點位置或定向位移來延伸二維視圖平面之所擷取區域。與旨在增加所覆疊影像平面之有效視角/區域的習知方法相比，圖1之影像擷取設備旨在擷取資料以更準確地表示場景，且具體地，表示場景的三維特性。
因此，圖1之系統經配置以指導使用者及提供回饋，該回饋不僅係如何可延伸影像平面擷取區域之指示，而且提供資訊給使用者，而允許使用者在實際場景/環境中四處移動，以提供改善之擷取。因此，圖1之影像擷取設備經配置以導出及呈現真實世界/場景域中的回饋，而非在影像域中之簡單影像平面指示。此回饋不僅指示如何延伸影像區域，而且亦指示在影像平面外的擷取單元101之所需或所欲移動。
具體地，該指示可包括相對於該組所欲擷取姿勢的該目前姿勢之一指示，而不限於影像平面本身。反而是，位置指示亦包括在不在影像平面中的方向上之目前位置如何與所欲擷取姿勢相關的指示。具體地，該指示可指示在垂直於影像平面的方向上目前位置如何與所欲擷取姿勢相關，且因此該指示可提供關於使用者應如何將擷取單元101「移入或移出」影像平面的回饋。據此，該指示提供可將使用者引導至在真實三維世界中之複雜擷取圖案的資訊，這可提供場景之更佳三維擷取。
據此，該位置指示可具有指示在不在影像平面中(或平行於影像平面)的方向介於目前位置與至少一個所欲姿勢擷取之間的一相對位置差的一分量，但是具有至垂直於影像平面的一方向或軸的非零投影。因此，該指示 可係在z方向之位置差的指示，其中影像平面對應於三維座標系統x、y、z的x、y平面。
應注意，在一些實施例中，擷取單元101可係三維攝影機，而不是習知二維攝影機。然而，在此類情況中，擷取單元101仍將連結至(一般而言)一個影像平面。例如，測距3D攝影機可提供呈影像及對應深度圖之形式的輸出。在此情況中，影像(及深度圖)將定義影像平面。此外，對於立體(或更一般地，多視圖)攝影機，各提供之影像定義影像平面，並且實際上一般而言，用於所提供之所有影像的影像平面相同。
該組所欲擷取姿勢一般反映出執行影像/擷取所欲的一組姿勢。在下文中，所欲擷取姿勢將亦稱為錨點姿勢(並且類似地，所欲擷取位置/定向亦將被稱為錨點位置/定向)。
除了顯示器控制器107產生例如目前位置相對於下一錨點位置的差異之指示外，該顯示器控制器亦可產生相對於該組所欲擷取姿勢的目前姿勢之定向的指示，且具體地，可產生相對於下一錨點姿勢之定向的目前姿勢之指示。這可提供改善的回饋給使用者，且可例如產生提供回饋及指導給使用者之系統，該系統允許使用者基於例如針對各錨點的錨點位置與複數個錨點定向的圖案來執行擷取。結果，可運用指導來達成三維場景之高效率擷取，例如確保從不同方向看到物體，達成充分涵蓋場景之所有區域等。
在許多實施例中，該影像擷取設備可進一步包含一模型處理器(圖中未展示)，用於從針對該組所欲擷取姿勢(之至少一些)所擷取之影像而產生場景之一模型。在許多實施例中，從該組所欲擷取姿勢所擷取之深度資 料(且一般與影像相關聯)亦可用於產生模型。應理解，可使用任何適合逐漸形成此類模型之方法，並且在所屬領域中已知數種不同方法。在許多實施例中，該方法可用於基於改善之擷取而產生場景之改善模型。隨後可將該模型用作為虛擬實境應用的基礎。
在一些實施例中，該影像擷取設備可進一步包含一影像合成器，該影像合成器經配置以從針對該組所欲擷取姿勢的該場景之影像來合成不屬於該組所欲擷取姿勢的一姿勢之一或多個影像。因此，該影像合成器可經配置以針對不同於已擷取影像之姿勢不同的姿勢合成一新影像。此類影像合成可基於所屬技術領域中具有通常知識者所熟知的視點位移演算法。因此，該方法可提供用於擷取場景之特別高效率方法，使得可提供影像合成的適當基礎，藉此例如可產生從所有可能姿勢觀看場景的影像，儘管僅從一組有限擷取姿勢擷取場景。
擷取單元101(且實際上，在許多實施例中，整個影像擷取設備)可實作在手持裝置中，諸如例如智慧手機或手持靜物相機或視訊攝影機。該方法可有利地支援擷取程序，其中使用者可簡單地依循由姿勢指示符所提供的準則來四處移動智慧手機/攝影機，導致從不同且有利的擷取位置有效率擷取場景之3D特性。
在一些實施方式中，該影像擷取設備亦可經配置以動態顯示由擷取單元101所擷取之影像。例如，在一些實施例中，擷取單元101可提供串流之擷取串流，諸如有效地包含動態所擷取之影像的視訊信號。顯示器控制器107可產生包括這些影像的顯示信號，從而提供由擷取單元101目前所擷取的即 時影像。顯示器控制器107可進一步用姿勢指示覆疊該即時影像，例如，藉由指示改變目前姿勢至下一錨點姿勢所需之必要運動的一或多個箭頭覆疊該影像。舉另一實例，顯示器控制器107可產生顯示信號，其中在該等錨點覆疊影像及指示在三維場景中在何處定位該等錨點。
然而，在許多實施例中，該影像擷取設備有利地經配置以不動態地顯示目前所擷取之影像。這可例如允許使用靜物影像相機，而不是使用提供較更品質擷取的視訊攝影機。在許多實施例中，可進一步允許促進的操作，其中簡單的指示(諸如一或多個箭頭)經顯示給使用者以提供朝向錨點姿勢的指導。
舉一實施例之具體實例，可意圖使用預定義之錨點位置網格且運用針對各錨點位置的預定義之錨點定向，來達成場景之擷取。在實例中，虛擬攝影機之網格形成高於地表面的單一水平平面。圖2繪示姿勢之圖案/網格。在圖中，錨點位置被視覺化為球形/圓形，且四個箭頭指示待針對各錨點擷取的四個水平方向/定向。如所示，網格可由25個錨點位置組成，各位置具有四個錨點定向，從而產生總共100個錨點姿勢。在實例中，網格為大致在眼睛高度(1.7m)的水平網格，允許具有手持裝置之使用者相對容易地移動裝置以達成所欲擷取姿勢。在實例中，錨點位置的高度(例如，y方向)恆定，而不同錨點位置的側向(x)及進/出(z)方向皆不同。類似地，對於定向，y分量固定，而x及z方向改變。實際上，對於定向，所有擷取方向係水平的，並且攝影機之旋轉亦係靜態(影像係水平的)，使得可藉由單一變數來表示定向，例如具體地，相對於例如x方向的角度。因此，在實例中，姿勢可由具有三個分量姿勢之一向量予 以表示。
在實例中，該影像擷取設備的該顯示器可顯示應向前移動(移至影像中)或向後移動(移至影像外)的指示給使用者。同時，該顯示器可指示使用者是否應向右或向左移動，且另外，指示使用者是否應順時針或逆時針旋轉。可動態更新這些指示，以反映擷取單元101之目前姿勢，且若使用者遵循所提供的指導，這將導引使用者至下一錨點姿勢。當執行針對該錨點姿勢的擷取時，可相對於下一個未所擷取之錨點姿勢來改變指示。據此，遵循該指導的使用者將被引導完成擷取序列，該擷取序列將導致從所有所欲錨點位置及在所有所欲方向的擷取。
舉另一實例，顯示器可呈現一種圖案，其連續指示錨點位置/姿勢相對於攝影機的所在處，例如，可針對各錨點位置展示單一圓形或球形(可能具有延伸以展示這些錨點定向的箭頭)。例如，顯示器控制器107可有效地產生覆疊或圖形影像，該覆疊或圖形影像隨著將從攝影機看到場景中之擷取位置的位置而展示該等位置，即，針對目前攝影機姿勢。當移動攝影機時，姿勢指示符的位置改變以反映視點變化，從而產生3D效果(例如，視差)，該3D效果提供場景之真實3D空間中之錨點位置(或姿勢)的印象給使用者(有效率產生虛擬3D位置指示)。然後，使用者可移動擷取單元101朝向虛擬位置指示以移動到下一個錨點姿勢。
因此，該方法可允許基於手持或使用者可移動之攝影機的便利且仍高效率擷取程序。應注意，此類擷取操作不可能使用單一多攝影機承架，此係由於攝影機將遮蔽其他攝影機的視圖。循序掃描靜態場景可提供實用的解 決方案。
在許多實施例中，該影像擷取設備可經配置以回應於偵測到目前姿勢足夠靠近未擷取之錨點姿勢而執行擷取。例如，若偵測到擷取單元101在錨點姿勢之給定距離及方向內，如圖3所示，則可自動拍攝且儲存該錨點姿勢的一影像。在一些實施例中，可例如藉由改變姿勢或位置指示之外觀(例如，顏色)來提供對所掃描錨點的視覺回饋。
在許多實施例中，顯示器可係三維顯示器且姿勢指示符可利用所有三維。例如，可呈現三維箭頭，展示至下一個錨點的方向。舉另一實例，可依三維展示錨點位置之圖案。
在許多實施例中，顯示器可係擴增實境頭戴裝置之顯示器(例如，擴增實境眼鏡或虛擬實境頭戴裝置)。在此類情況中，可相對於目前頭部定向來展示該指示。例如，相對於目前頭部位置的擷取單元101之位置可連同下一錨點之位置一起展示。因此，使用者將有效率地看到對應於目前頭部姿勢的擷取單元101位置及錨點位置的虛擬表示，且因此可據此移動擷取單元101以將該擷取單元定位在擷取位置。
因此，該方法可包括在虛擬或擴增實境眼鏡上視覺化所欲攝影機位置與定向的預定義及/或動態地判定之圖案。戴上此類眼鏡，使用者現在可定位擷取單元101之攝影機而靠近虛擬攝影機位置。當攝影機在與錨點姿勢相距預定義距離及角度內時，該攝影機自動拍攝圖片，且相應的錨點姿勢指示可改變顏色以指示已執行該姿勢的擷取且指示操作者可繼續進行至下一個錨點姿勢。
在前述實例中，該組所欲擷取姿勢對應於一組預定錨點姿勢，諸如錨點位置與固定錨點定向的規則網格或立方體。然而，在其他實施例中，該影像擷取設備可經配置以回應於正被擷取之場景之性質來調適該組所欲擷取姿勢。
在許多實施例中，姿勢處理器105可耦合至一擷取處理器111，該擷取處理器經配置以回應於針對該場景所擷取之資料而判定該組所欲擷取姿勢。以此方式，該組所欲擷取姿勢可經調適以適應特定場景之特性。舉低複雜度之實例，該影像擷取設備可最初從隨機視點擷取幾個影像，且取決於該等影像之性質(例如，諸如取決於場景之變化程度)來調整例如擷取區域之空間密度或廣度。
在許多實施例中，適應性地判定該組最佳錨點姿勢，以反映目前條件。
具體地，擷取處理器111可經配置以回應於針對該場景所擷取之資料而判定該組所欲擷取姿勢中之該等擷取姿勢之至少一些者。該資料可具體地係針對該組所欲擷取姿勢中之一些擷取姿勢所擷取之光強度影像資料及/或深度資料(且具體地，深度相關之影像資料)。因此，可基於針對已包含在該組所欲擷取姿勢中之擷取姿勢所進行的擷取來動態地更新及修改該組擷取姿勢。
舉一實例，該擷取程序可藉由一組預定或預設擷取姿勢予以初始化，例如，可用對應於規則網格的擷取姿勢來初始化該組預定或預設擷取姿勢，其中擷取姿勢之間有給定距離。基於這一點，擷取程序可以使用者被引導至適當姿勢且據此進行擷取而開始。然後，可處理所得影像以例如判定場景之 深度特性。光強度及/或深度可被分析且基於該分析，擷取處理器111可例如新增一些擷取姿勢至該組所欲擷取姿勢。例如，若發現到在一區域中之擷取姿勢正在擷取特別複雜之場景之一部分(例如，藉由具有大深度變化的場景之此部分進行評估)，則擷取處理器111可新增在該區域中的擷取姿勢以提供場景之該部分的額外資料。例如，可新增擷取姿勢在現有擷取姿勢之間。
該組擷取姿勢之調適可基於評估場景如何可被完善地模型化，或可基於包含在該組錨點姿勢中的錨點姿勢來合成不同視點的影像。若評估無法達成足夠準確的合成/模型化，則可包括進一步的錨點姿勢以確保達成準確的合成/模型化。在一些實施例中，擷取處理器111可應用一預定圖案，諸如類似於圖2的網格系統，但例如基於針對網格所採用的模型化/合成的準確程度來改變網格中所包括的錨點位置之大小及數量。在其他實施例中，可採用錨點的局部變化，其中與場景之模型化/合成毫無困難的區域相比，場景之模型化/合成愈困難的區域，錨點之空間濃度/密度愈高。
在一些實施例中，可僅當起始擷取程序時才考慮評估模型/合成品質，且適應性判定該組所欲擷取姿勢可僅執行一次。在許多其他實施例中，在擷取操作期間可適應性地且動態地判定該組所欲擷取姿勢，且可回應於程序之先前擷取而改變該組所欲擷取姿勢。
例如，在擷取程序期間，可評估如何可完善地從相鄰(所擷取)視圖合成場景之給定視圖。當預期可以此高品質地達成時(例如，場景複雜度低或視點內插演算法有效率)，例如藉由移除錨點姿勢而使在此區域中的該組錨點姿勢較不密集。反之，當預期合成視圖之品質低時，可維持錨點姿勢 之空間密度，或例如藉由新增錨點姿勢來維持或增加錨點姿勢之空間密度。以此方式，在擷取程序期間可改變該組錨點姿勢，且例如改變對應的顯示圖案。
在許多實施例中，擷取處理器111可執行相當複雜且準確的可能品質分析。例如，擷取處理器111甚至可從來自現有錨點姿勢之不同組擷取合成相同視點的視圖，且比較所得合成視圖。若該等視圖足夠類似，則不新增額外姿勢，但若所得視圖足夠不同，則新增對應於視點的一新錨點姿勢至該組錨點姿勢。
在許多實施例中，可使用較簡單之方法來判定適合用於調適該組所欲擷取姿勢的量度。例如，在許多實施例中，可回應於針對該場景所擷取之資料而判定一場景複雜度量度，且可回應於該複雜度量度來調適該組所欲擷取姿勢。一般而言，為了增加場景的複雜度，擷取處理器111將增加錨點姿勢之數目/密度，及為了降低場景的複雜度，該擷取處理器將減小錨點姿勢的數目/密度。因此，場景複雜度被用作試誤(heuristic)以評估如何可完善地從相鄰錨點擷取內插實際攝影機視圖。
在許多實施例中，擷取處理器111可經配置以基於場景的深度資料來調適該組所欲擷取姿勢。深度資料可具體地係像差、z值或指示從攝影機至場景中之物體的距離的任何其他值，其對應於提供深度值所針對的影像位置。
因此，在許多實施例中，該影像擷取設備可包含一深度處理器113，該深度處理器經配置以判定用於擷取場景的深度值。因此，對於給定擷取姿勢，深度處理器113可針對給定擷取姿勢判定反映從擷取單元101至場景之 物體的距離的深度值。
在一些實施例中，深度處理器113可直接包含深度測量功能，例如，其可包含測距功能。在其他實施例中，深度處理器113可經配置以從由擷取單元101所擷取之影像來判定深度值。例如，若擷取單元101包含立體攝影機，則深度處理器113可經配置以從由擷取單元101所產生之立體影像來判定深度值(一般而言，使用像差評估，如所屬技術領域中具有通常知識者所熟知)。舉另一實例，若擷取單元101包含2D攝影機，則深度處理器113可經配置以藉由比較不同姿勢的影像來判定深度值(再次一般而言，基於像差評估)。
實際上，雖然圖1中深度處理器113被繪示為分開之功能區塊，但是通常可視為擷取單元101之部件。
在許多實施例中，擷取處理器111可另外或替代地經配置以基於場景之光場資料/影像資料來調適該組所欲擷取姿勢。因此，在許多實施例中，擷取處理器111可考慮視覺影像資料。
例如，可基於深度資料、影像資料或深度資料及影像資料兩者來判定場景之複雜度量度。例如，若深度資料指示場景中存在大深度變化，具有例如相對頻繁且相對陡峭的步幅變化，則可能認為這是場景複雜且需要錨點姿勢之較高空間密度的指示。類似地，若就具有非常不同視覺性質的影像分段而論影像具有較大變化(例如，若影像分割導致許多相對小的影像物體，且這些物體具有非常不同之顏色及/或強度)，則這可視為場景之高複雜度的指示，因此擷取處理器111可增加錨點集合的空間密度。相比之下，若深度及/或視覺變化低，則場景可視為具有相對低複雜度，且可減小錨點姿勢的空間密度。
該方法可例如反映與具有很少或沒有物體的場景相比，在具有相對大量小物體的場景中，一般而言需要更高數目個擷取姿勢。
在許多實施例中，用於調適該組所欲擷取姿勢的資料可係從現有錨點位置所擷取之資料。在許多實施例中，這可促進操作，此係因為無需進行或處理額外擷取。在許多實施例中，亦可提供改善之結果，此係因為當從該等錨點觀看時直接反映所評估之場景性質。
在一些實施例中，調適可係全域調適，即，若場景的複雜度增加，則所有錨點姿勢之間的距離減小，並且錨點姿勢之總較大數目增加。然而，在許多實施例中，採用更局部化效果，其中僅修改在擷取資料所在處之鄰域中的錨點數目。這可允許一種考慮場景複雜度變化的更靈活方法，其中錨點姿勢之密度變化以反映場景的複雜度。
圖4繪示此類方法的實例。圖式展示擷取單元101用於兩個不同場景(或在兩個不同位置，同時嘗試搭配觀看不同場景複雜度的兩個位置來擷取場景)。右方實例繪示其中場景具有相對低場景複雜度的情景，並且錨點姿勢之一預定規則網格401可用於從此鄰域擷取。相比之下，左方情景繪示其中場景具有相對高複雜度的實例，並且此已導致錨點之空間密度增加。在具體實例中，此藉由新增新錨點姿勢403至該預定錨點姿勢網格而達成。
先前實例聚焦於針對整個場景考量場景複雜度及該組所欲擷取姿勢之調適。然而，在許多實施例中，調適可能更局部化且可針對場景之不同部分而變化。因此，錨點位置之空間密度可在場景複雜度較高之區域中增加，且在場景複雜度較低之區域中減小。圖4之實例可視為如何可取決於局部特性 來針對場景之不同區域改變錨點姿勢，即，兩個情景可反映同一場景之不同區域/部分。
在一些實施例中，擷取處理器111可具體地經配置以回應於在一第一姿勢所擷取之資料指示一增加深度變化而增加在該第一姿勢之鄰域中的所欲擷取姿勢之空間密度，及/或回應於在該第一姿勢所擷取之資料指示一減小深度變化而減小在該鄰域中的該空間密度。
如前文所述，可產生一深度變化評估，該深度變化評估企圖反映對應於在不同深度之相對較高數目個不同物體存在的數個深度轉變的存在(或不存在)。這可例如藉由基於深度圖中之深度轉變來識別分段、然後判定發現多少個此類分段而達成。應理解，可使用許多其他方法來判定適合的深度變化量度。
在一些實施例中，擷取處理器111可經配置以回應於指示該場景之一物體的一表面之一增加粗糙度的量度而調適該組所欲擷取姿勢。例如，擷取處理器111可識別由擷取單元101之攝影機所擷取之影像中的特定物體(例如，最大物體)(例如，基於具有適當特性的分段的識別，如所屬技術領域中具有通常知識者所熟知)。然後，擷取處理器111可分析相關聯之深度圖的對應區段以判定該區域內的深度變化。與若深度變化相對高而反映物體具有粗糙表面相比，若深度變化相對低，則物體之表面可係相對平滑且可使用較少錨點姿勢諸來準確地表示物體。
在一些實施例中，擷取處理器111可另外或替代地考量高度紋理化影像(且具體地，對應於物體表面的影像分段)的程度。例如，用於基於深 度資料來評估表面粗糙程度所識別的物體可另外或替代地使用影像資料予以評估。若物體展現大量紋理變化，此表明物體可具有複雜變化的表面，且據此可增加錨點姿勢的空間密度以確保準確擷取表面。反之，若紋理變化非常低，此可指示平滑表面且可使用較少錨點姿勢。
在一些實施例中，擷取處理器111經配置以回應於在一第一姿勢所擷取之資料指示至該場景之一物體的一縮減距離而增加在該第一姿勢之鄰域中的所欲擷取姿勢之空間密度。替代地或一般另外，擷取處理器111可經配置以回應於在該第一姿勢所擷取之資料指示至該場景之一物體的一增加距離而減小在該第一姿勢之該鄰域中的所欲擷取姿勢之該空間密度。
當物體相對遠離攝影機時，場景可具體地視為較不複雜，此係因為這一般提供不同態樣的改善可見度，並且在改變視圖姿勢時導致較小變化。亦往往會導致較不會被場景之其他部分的物體遮擋。類似地，當物體相對靠近攝影機時，場景可視為更複雜，此係因為需要更詳細擷取以準確地反映物體變化，並且此外，物體一般會遮擋場景之較大部分，從而需要額外錨點姿勢以允許解除遮擋。
如前文所提及，可例如藉由新增新的所欲擷取姿勢至已存在之該組所欲擷取姿勢及/或移除新所欲擷取姿勢至已存在之該組所欲擷取姿勢來達成增加及減小所欲擷取姿勢之空間密度。在許多實施方案中，此可允許有效率產生該組所欲擷取姿勢，且可有利地往往導致圍繞一組所考量標稱所欲擷取姿勢的變化。例如，經驗可指示我們需要以對物體正好½度的視點進行擷取。已知至物體的深度，然後自動提供擷取單元的空間樣本間距。然而，擷取處理器 111可修改此空間樣本間距以反映局部變化，且具體地可在有高複雜度程度處新增錨點位置及在低高複雜度程度處移除錨點位置。然而，由於擷取係基於預定設定，所以需要新增或移除的錨點位置量往往相對較低，且可達成低複雜度的操作。此外，此方法確保相對容易控制調適不太極端。例如，可允許容易控制以確保甚至對於低複雜度鄰域仍有足夠的錨點位置，且甚至對於高複雜度鄰域沒有太多錨點位置。
應理解，可使用不同選擇準則來決定要移除或新增哪些擷取姿勢。例如，在一些實施例中，擷取處理器111可簡單地移除每隔一個擷取位置以減小空間密度，或在現有擷取位置中途新增新的擷取位置以增加空間密度。
應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。
所屬技術領域中具有通常知識者將理解類似「在...之鄰域中」之術語，並且在本專利申請案中不能給出此類術語的絕對值，因為這將不公平地限制一些請求項之範疇。所屬技術領域中具有通常知識者將理解他/她可(且應)自由地判定「鄰域」之定義，認識到任何絕對值取決於所欲品質，這是設計本發明之影像擷取設備的所屬技術領域中具有通常知識者的選擇。鄰域的確切選擇將取決於個別實施例的具體設計偏好及要求。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。在申請專利範圍中的元件符號僅提供作為一闡明實例，且不應解讀 為依任何方式限制申請專利範圍之範疇。
101‧‧‧擷取單元
103‧‧‧追蹤器
105‧‧‧姿勢處理器
107‧‧‧顯示器控制器
109‧‧‧顯示器
111‧‧‧擷取處理器
113‧‧‧深度處理器

Claims (15)

  1. 一種影像擷取設備，其包含：一擷取單元(101)，其用於擷取一場景之影像；一追蹤器(103)，其用於動態地判定該擷取單元的姿勢；一姿勢處理器(105)，其用於判定相對於一組所欲擷取姿勢的該擷取單元(101)之一目前姿勢；一顯示器(109)；一顯示器控制器(107)，其耦合至該姿勢處理器(105)，用於控制該顯示器以呈現一目前擷取姿勢指示，該目前擷取姿勢指示包含在擷取單元(101)之一影像平面外的一方向上相對於該組所欲擷取姿勢的該擷取單元(101)之該目前姿勢的一位置之一指示；及一擷取處理器(111)，其經配置以回應於針對該場景所擷取之資料而判定該組所欲擷取姿勢中之該等擷取姿勢之至少一些者。
  2. 如請求項1之影像擷取設備，其中該擷取處理器(111)經配置以回應於在一第一姿勢所擷取之資料而改變在該第一姿勢之一鄰域中的所欲擷取姿勢之一空間密度。
  3. 如請求項2之影像擷取設備，其中該擷取處理器(111)經配置以回應於在該第一姿勢所擷取之資料指示一增加深度變化而增加在該第一姿勢之該鄰域中的所欲擷取姿勢之該空間密度。
  4. 如請求項2或3之影像擷取設備，其中該擷取處理器(111)經配置以回應於在該第一姿勢所擷取之資料指示至該場景之一物體的一縮減距離而增加 在該第一姿勢之該鄰域中的所欲擷取姿勢之該空間密度。
  5. 如請求項2或3之影像擷取設備，其中該擷取處理器(111)經配置以回應於在該第一姿勢所擷取之資料指示該場景之一物體的一表面之一增加粗糙度而增加在該第一姿勢之該鄰域中的所欲擷取姿勢之該空間密度。
  6. 如請求項1至3中任一項之影像擷取設備，其中該資料包括深度資料。
  7. 如請求項1至3中任一項之影像擷取設備，其中該擷取處理器(111)經配置以藉由新增至少一個所欲擷取姿勢至在該數個姿勢之一第一姿勢的一鄰域中之一組預定所欲擷取姿勢而增加該鄰域中之所欲擷取姿勢之一空間密度。
  8. 如請求項1至3中任一項之影像擷取設備，其中該顯示器控制器(107)經配置以控制該顯示器以呈現該目前擷取姿勢指示，而不顯示目前由該擷取單元(101)所擷取之影像。
  9. 如請求項1之影像擷取設備，其中該目前擷取姿勢指示包含相對於該組所欲擷取姿勢的該擷取單元的一定向之一指示。
  10. 如請求項1或9之影像擷取設備，其中該顯示器(109)係一三維顯示器，且該目前擷取姿勢指示係對該組所欲擷取姿勢之一姿勢的一方向之一三維指示。
  11. 如請求項1至3中任一項之影像擷取設備，其中該顯示器(109)係一擴增實境頭戴裝置之一顯示器，且該目前擷取姿勢指示係指示相對於該目前姿勢之一位置的一所欲擷取姿勢之一位置。
  12. 如請求項1至3中任一項之影像擷取設備，其中該擷取單元(101) 包含在一手持裝置中。
  13. 如請求項1至3中任一項之影像擷取設備，其進一步包含下列至少一者：一影像合成器，其用於從針對該組所欲擷取姿勢的該場景之影像來合成不屬於該組所欲擷取姿勢的一姿勢之一影像；及一模型處理器，其用於從針對該組所欲擷取姿勢的該場景之影像產生該場景之一模型。
  14. 一種影像擷取方法，其包含：藉由一追蹤器(103)動態地判定一擷取單元(101)之姿勢，該擷取單元能夠擷取一場景之影像；藉由一姿勢處理器(105)判定相對於一組所欲擷取姿勢的該擷取單元(101)之一目前姿勢；藉由一顯示器控制器(107)控制一顯示器(109)以呈現一目前擷取姿勢指示，該目前擷取姿勢指示包含在該擷取單元(101)之一影像平面外的一方向上相對於該組所欲擷取姿勢的該擷取單元(101)之該目前姿勢的一位置之一指示；藉由該擷取單元(101)擷取一場景之影像；及藉由一擷取處理器(111)回應於針對該場景所擷取之資料，判定該組所欲擷取姿勢中之該等擷取姿勢之至少一些者。
  15. 一種電腦可讀媒體，其儲存電腦程式碼構件，其經調適以在一影像擷取設備之一電腦上運行時執行如請求項14之方法。
TW107143601A 2017-12-05 2018-12-05 影像擷取之設備及方法 TWI821220B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17205488.4 2017-12-05
??17205488.4 2017-12-05
EP17205488.4A EP3496387A1 (en) 2017-12-05 2017-12-05 Apparatus and method of image capture

Publications (2)

Publication Number Publication Date
TW201928761A TW201928761A (zh) 2019-07-16
TWI821220B true TWI821220B (zh) 2023-11-11

Family

ID=60661765

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107143601A TWI821220B (zh) 2017-12-05 2018-12-05 影像擷取之設備及方法

Country Status (8)

Country Link
US (1) US11228704B2 (zh)
EP (2) EP3496387A1 (zh)
JP (1) JP7224350B2 (zh)
KR (1) KR102666625B1 (zh)
CN (1) CN111466113B (zh)
BR (1) BR112020011100A2 (zh)
TW (1) TWI821220B (zh)
WO (1) WO2019110431A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574447B2 (en) 2020-08-19 2023-02-07 Htc Corporation Method for capturing real-world information into virtual environment and related head-mounted device
US20230040668A1 (en) * 2020-09-17 2023-02-09 Camilo Lopez System and method for generating and editing a video
CN115623337B (zh) * 2022-09-20 2023-11-17 北京城市网邻信息技术有限公司 跳转指示信息显示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101709961A (zh) * 2009-11-30 2010-05-19 中国人民解放军信息工程大学 排点扫描激光投射装置
US20140300775A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN104159038A (zh) * 2014-08-26 2014-11-19 北京智谷技术服务有限公司 浅景深效果图像的成像控制方法和装置及成像设备
TW201741937A (zh) * 2016-03-30 2017-12-01 英特爾股份有限公司 決定行動裝置的現行位置的技術

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5200780B2 (ja) * 2008-09-08 2013-06-05 ソニー株式会社 撮影装置および方法、並びにプログラム
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
WO2011014420A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images
WO2012002017A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮影装置、プログラム、及び撮影方法
TWI433530B (zh) * 2010-11-01 2014-04-01 Ind Tech Res Inst 具有立體影像攝影引導的攝影系統與方法及自動調整方法
EP2680594A4 (en) * 2011-02-24 2014-07-09 Kyocera Corp ELECTRONIC APPARATUS, IMAGE DISPLAY METHOD, AND IMAGE DISPLAY PROGRAM
EP2789159A4 (en) * 2011-12-07 2015-06-17 Intel Corp GUIDED IMAGE CAPTURE
US10015393B2 (en) * 2012-02-06 2018-07-03 Sony Corporation Imaging control device, image processing device, imaging controlling method, and image processing method
EP2817785B1 (en) * 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US9007508B2 (en) * 2012-03-29 2015-04-14 Sony Corporation Portable device, photographing method, and program for setting a target region and performing an image capturing operation when a target is detected in the target region
KR20140112909A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 파노라마 영상을 생성하는 전자 장치 및 방법
EP2992507B1 (en) 2013-05-02 2018-07-25 Qualcomm Incorporated Methods for facilitating computer vision application initialization
US9338440B2 (en) * 2013-06-17 2016-05-10 Microsoft Technology Licensing, Llc User interface for three-dimensional modeling
US9589362B2 (en) * 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
KR102223281B1 (ko) * 2014-07-23 2021-03-05 엘지전자 주식회사 이동단말기 및 그 제어방법
CN104486555B (zh) * 2014-10-28 2019-02-12 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US9998655B2 (en) * 2014-12-23 2018-06-12 Quallcomm Incorporated Visualization for viewing-guidance during dataset-generation
US9813621B2 (en) * 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
US9934608B2 (en) * 2015-05-29 2018-04-03 Hover Inc. Graphical overlay guide for interface
US10178303B2 (en) * 2015-05-29 2019-01-08 Hover Inc. Directed image capture
US10410413B2 (en) * 2015-05-29 2019-09-10 Hover Inc. Image capture for a multi-dimensional building model
US10038838B2 (en) * 2015-05-29 2018-07-31 Hover Inc. Directed image capture
US9826145B2 (en) * 2015-07-31 2017-11-21 Sony Corporation Method and system to assist a user to capture an image or video
CN106603901A (zh) * 2015-10-14 2017-04-26 诺基亚技术有限公司 用于场景匹配的方法和装置
JP6630118B2 (ja) 2015-11-04 2020-01-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10270965B2 (en) * 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
CN107026973B (zh) * 2016-02-02 2020-03-13 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材
US10171730B2 (en) * 2016-02-15 2019-01-01 Canon Kabushiki Kaisha Information processing apparatus, method of controlling information processing apparatus, and storage medium
CN113532326B (zh) * 2016-02-29 2023-11-21 派克赛斯有限责任公司 用于辅助型3d扫描的***和方法
JP6682984B2 (ja) 2016-04-21 2020-04-15 大日本印刷株式会社 自由視点映像表示装置
US10341568B2 (en) * 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
US11557060B2 (en) * 2018-11-05 2023-01-17 Wayfair Llc Systems and methods for scanning three-dimensional objects
US10785406B2 (en) * 2019-02-01 2020-09-22 Qualcomm Incorporated Photography assistance for mobile devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101709961A (zh) * 2009-11-30 2010-05-19 中国人民解放军信息工程大学 排点扫描激光投射装置
US20140300775A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN104159038A (zh) * 2014-08-26 2014-11-19 北京智谷技术服务有限公司 浅景深效果图像的成像控制方法和装置及成像设备
TW201741937A (zh) * 2016-03-30 2017-12-01 英特爾股份有限公司 決定行動裝置的現行位置的技術

Also Published As

Publication number Publication date
BR112020011100A2 (pt) 2020-11-17
US20210127057A1 (en) 2021-04-29
JP2021506148A (ja) 2021-02-18
EP3721614A1 (en) 2020-10-14
CN111466113B (zh) 2022-03-11
KR20200096583A (ko) 2020-08-12
US11228704B2 (en) 2022-01-18
CN111466113A (zh) 2020-07-28
EP3496387A1 (en) 2019-06-12
WO2019110431A1 (en) 2019-06-13
JP7224350B2 (ja) 2023-02-17
TW201928761A (zh) 2019-07-16
RU2020121797A (ru) 2022-01-10
KR102666625B1 (ko) 2024-05-20

Similar Documents

Publication Publication Date Title
KR20190034092A (ko) 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체
KR20170007102A (ko) 3차원 지도 생성 및 표시 장치 및 방법
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
TWI821220B (zh) 影像擷取之設備及方法
JP5762600B1 (ja) 情報処理装置及び情報処理方法
JP7042561B2 (ja) 情報処理装置、情報処理方法
CN109906600B (zh) 模拟景深
JP2015082288A (ja) 情報処理装置およびその制御方法
Meerits et al. Real-time diminished reality for dynamic scenes
JP7480163B2 (ja) 画像の奥行きマップの処理
JP2021527252A (ja) 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和***
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
CN111712859A (zh) 用于生成视图图像的装置和方法
JPWO2018074419A1 (ja) 情報処理装置
JP2018116421A (ja) 画像処理装置および画像処理方法
JP2019144958A (ja) 画像処理装置、画像処理方法およびプログラム
RU2788994C2 (ru) Прибор и способ захвата изображений
CN208752459U (zh) 可移动设备
Louis et al. Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping
US20240078767A1 (en) Information processing apparatus and information processing method
CN113228117B (zh) 创作装置、创作方法和记录有创作程序的记录介质
JP2023026244A (ja) 画像生成装置および画像生成方法、プログラム
CN113228117A (zh) 创作装置、创作方法和创作程序