TW201619913A - 模擬立體圖像顯示方法及顯示設備 - Google Patents

模擬立體圖像顯示方法及顯示設備 Download PDF

Info

Publication number
TW201619913A
TW201619913A TW104130473A TW104130473A TW201619913A TW 201619913 A TW201619913 A TW 201619913A TW 104130473 A TW104130473 A TW 104130473A TW 104130473 A TW104130473 A TW 104130473A TW 201619913 A TW201619913 A TW 201619913A
Authority
TW
Taiwan
Prior art keywords
display device
user
relative position
relative
views
Prior art date
Application number
TW104130473A
Other languages
English (en)
Other versions
TWI547901B (zh
Inventor
羅豔青
簡培云
劉寧
Original Assignee
深圳超多維光電子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳超多維光電子有限公司 filed Critical 深圳超多維光電子有限公司
Publication of TW201619913A publication Critical patent/TW201619913A/zh
Application granted granted Critical
Publication of TWI547901B publication Critical patent/TWI547901B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明涉及一種模擬立體圖像顯示的方法，透過獲取用於三維重建的至少兩幅視圖，確定構建的三維場景的深度資訊和顏色資訊；並且透過跟蹤確定用戶相對於顯示設備的相對位置；根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。透過該種三維重建和恢復的方案，實現用戶在二維顯示設備或者未開啟三維顯示模式的顯示設備上都能夠體驗觀看立體場景的效果。

Description

模擬立體圖像顯示方法及顯示設備
本發明涉及立體顯示領域，具體涉及一種立體圖像顯示的方法及顯示設備。
習知的立體顯示方案，大部分是透過光學透鏡與顯示面板進行結合，使得用戶能夠透過這種3D顯示設備觀看3D影像。然，3D顯示設備成本較高，因此，為了實現在普通的2D顯示設備上能夠使用戶能夠體驗3D顯示效果。公開號為CN101931823A的中國專利公開了一種夏普公司申請的在2D顯示設備上顯示3D圖像的方法和設備，該方法透過捕獲觀看者的視訊、分析視訊獲得觀看者的視點，之後確定3D圖像在該視點下的2D投影圖像，並且隨著觀看者的視點的變化顯示與相應視點相關的2D投影圖像。該方案需要電腦、攝影機以及電腦三種獨立的設備，攝影機捕捉的視訊確定的觀看者的視點，在該方案中3D圖像預先存儲在電腦中，電腦根據得到的視點來計算3D圖像在當前視點上的2D投影圖像資料，電腦再將2D投影圖像投影到顯示設備130上，隨著觀看者視點的變化，電腦計算3D圖像中與捕捉視點對應的投影圖像，以實現3D圖像的顯示。
公開號為US8,704,879B1的美國專利公開了一種任天堂公司申請的在裸眼狀態下在傳統2D顯示設備上提供3D視圖的方法，該方法包括跟蹤用戶相對於2D顯示設備的位置，並且透過電腦處理器估算用戶相對於2D顯示設備的視點，電腦處理器使用估算出的視點來確定至少一個3D虛擬物體的部分投影，以達到使用戶感受到3D觀看效果的目的，該檔並未公開怎樣根據已有的圖像生成向用戶顯示的圖像，更多闡述了不同的追蹤方案可能對用戶帶來的影像。
公開號為US2013/0016102A1的美國專利申請公開了亞馬遜公司申請的一份名稱為“模擬三維特徵”的申請檔，並且以該申請文件為優先權文件基礎申請了國際公開號為WO 2013/010011A1的PCT申請，兩份申請檔中，均公開了可以透過追蹤用戶視點，結合用戶位置(視點)來渲染圖像，透過顯示設備向用戶投放的方案，兩份申請檔中公開了在具有三維建模的場景中，可以根據用戶位置向用戶投放對應的三維場景。
以上專利申請，都是結合運動視差透過向用戶提供針對不同視點的圖像的方式，模擬3D視覺效果的目的，但是都未公開如何透過插圖方式，生成向用戶投放對應用戶位置的圖像的方案。
本發明的目的是提供一種模擬立體圖像顯示方法，以實現能夠實現用戶在2D顯示設備或者2D/3D共融顯示設備在2D顯示模式下實現立體影像觀看。
為實現上述目的，本發明第一方面提供了一種模擬立體圖像顯示的方法，包括： 獲取用於三維重建的至少兩幅視圖；根據至少兩幅視圖，獲取需要構建的三維場景的深度資訊和顏色資訊；對相對於顯示設備移動的用戶進行持續跟蹤，確定用戶相對於顯示設備的相對位置；根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。
第二方面，本發明實施例提供了一種顯示設備，顯示設備包括：視圖獲取單元用以獲取用於三維重建的至少兩幅視圖；場景資訊獲取單元，用於根據至少兩幅視圖，獲取需要構建的三維場景的深度資訊和顏色資訊；相對位置跟蹤單元，用於對相對於顯示設備移動的用戶進行持續跟蹤，確定用戶相對於顯示設備的相對位置；顯示圖像確定單元，用於根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。
第三方面，本發明實施例提供了一種顯示設備，該顯示設備包括顯示屏、處理器、記憶體以及跟蹤設備，跟蹤設備、顯示屏以及記憶體透過匯流排與處理器連接，記憶體中存儲有程式碼，處理器調用記憶體中存儲的代碼，執行如下操作：獲取用於三維重建的至少兩幅視圖；根據至少兩幅視圖，獲取需要構建的三維場景的深度資訊和顏色 資訊；對相對於顯示設備移動的用戶進行持續跟蹤，確定用戶相對於顯示設備的相對位置；根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。
本發明提供的模擬立體圖像顯示方法，透過獲取用於三維重建的至少兩幅視圖，確定構建的三維場景的深度資訊和顏色資訊；並且透過跟蹤確定用戶相對於顯示設備的相對位置；根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。透過該種三維重建和恢復的方案，實現用戶在二維顯示設備或者未開啟三維顯示模式的顯示設備上都能夠體驗觀看立體場景的效果。
10、11‧‧‧物件
102‧‧‧用戶
104‧‧‧顯示設備
111‧‧‧分光單元
700‧‧‧顯示設備
701‧‧‧視圖獲取單元
702‧‧‧場景資訊獲取單元
703‧‧‧相對位置跟蹤單元
704‧‧‧顯示圖像確定單元
800‧‧‧顯示裝置
801‧‧‧處理器
802‧‧‧追蹤設備
803‧‧‧記憶體
804‧‧‧顯示器
805‧‧‧匯流排
806‧‧‧大容量存儲設備
807‧‧‧輸入輸出介面
a、b、c、d、e、f‧‧‧圖像
201‧‧‧獲取用於三維重建的至少兩幅視圖
202‧‧‧根據至少兩幅視圖，獲取需要構建的三維場景的深度資訊和顏色資訊
203‧‧‧對相對於顯示設備移動的用戶進行持續跟蹤，確定用戶相對於顯示設備的相對位置
204‧‧‧根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像
圖1為本發明實施例提供的模擬立體圖像顯示方法的應用狀態圖；圖2為本發明提供的模擬立體圖像顯示方法的流程圖；圖3為本發明提供的模擬立體圖像顯示方法中一種獲取三維構建所需的場景圖像方法的示意圖；圖4為圖3所示的實施例的三維構建所需的場景圖像的示意圖；圖5為本發明提供的模擬立體圖像顯示方法中另一種獲取三維構建所需的場景圖像方法的示意圖；圖6為圖5所示的實施例的三維構建所需的場景圖像的示意圖； 圖7為本發明實施例提供的顯示設備的一種實施例的結構圖；圖8為本發明實施例提供的顯示設備的另一種實施例的結構圖。
為了使本發明要解決的技術問題、技術方案及有益效果更加清楚明白，以下結合附圖及實施方案，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
圖1是本發明提供的模擬立體圖像顯示方法的應用場景圖，圖1中作為觀看者的用戶102位於顯示設備104的可觀測範圍內。可能繞著顯示設備104移動。顯示設備104可以是手機、平板電腦、筆記本電腦、一體機或者平板電視等電子設備，該些設備通常是不具備3D顯示功能的設備，也可以是支援3D顯示，但是並未開啟3D顯示功能，在用戶觀看時透過本申請提供的模擬立體圖像顯示的方法，可以在顯示設備根據用戶位置移動顯示不同圖像，使用戶感受到3D圖像的觀看效果。
顯示設備104必然包含顯示屏和處理器，還需要連接追蹤設備，追蹤設備可以是獨立的圖像採集設備，也可以是與顯示設備本身一體的輔助設備，例如紅外發射器、紅外接收機等可以用於探測用戶位置的設備，結合處理器的運算功能，可以計算得到用戶102相對顯示設備104的位置關係，包括但不限定於方向、角度、距離等資訊。
根據顯示設備104本身具有不同的尺寸和性能，顯示設備可能自身產生移動從而造成與用戶之間的相對位置變化，也有可能是在用戶設備主動操作下與用戶設備產生相對位置變化，或者顯示設備保持不動，而用戶自身移 動造成的相對位置變化，以及兩者分別移動造成的兩者之間的位置變化，不多贅述。但是無論何種原因導致的兩者相對位置變化，均能透過追蹤裝置結合處理器的計算，確定兩者之間的相對位置。
為了使用戶能夠在不支援3D顯示或未開啟3D顯示模式的螢幕上，體驗3D效果，本申請透過移動視差的方法實現該目的。如果用戶在顯示設備的不同位置能夠看到同一場景在相應視角的圖像，則用戶與顯示設備相對位置發生變化時，就能看到一系列視角不同的圖像，由於這些圖像是同一場景在不同視角下獲得的視圖，所以用戶能夠感覺到場景是3D場景。因此，本申請包括場景重建、相對位置追蹤和恢復三個步驟，其中，場景重建能夠獲取場景的三維資訊，相對位置追蹤是計算用戶與顯示設備之間的位置關係，作為確定為用戶提供的具體視圖的依據；場景恢復則是根據用戶與顯示設備之間的位置關係恢復用戶視角下的場景，以達到在不支援3D顯示或未開啟3D顯示模式的螢幕上，體驗到了3D效果的目的。
基於上述的應用場景，本發明提供了一種模擬立體圖像顯示的方法，圖2是該實施例的流程圖，該實施例可以被應用於圖1中的顯示設備，本實施例中的模擬立體圖像顯示的方法可以包括：
S201，獲取用於三維重建的至少兩幅視圖；在該步驟中，三維重建的至少兩幅視圖可以由相機對目標物體的從不同角度拍攝獲得，也可以透過視訊檔中的至少兩個關鍵幀獲得。
S202，根據至少兩幅視圖，獲取需要構建的三維場景的深度資訊和顏色資訊； 在該步驟中，顯示設備可以透過已有的局部演算法或者全局演算法，透過對不同視圖之間的運算，獲得需要構建的三維場景的深度資訊和顏色資訊，例如，可以透過光束平差演算法，計算三維場景的中每個畫素的深度資訊(depth)。之後，可以透過RGBD的格式對三維場景的每個畫素的顏色資訊和深度資訊進行表示，並記錄。
S203，對相對於顯示設備移動的用戶進行持續跟蹤，確定用戶相對於顯示設備的相對位置；在此步驟中，顯示設備可以透過紅外線IR燈探測，或者圖像採集等方式實現對用戶的定位，此步驟中顯示設備計算確定的相對位置資訊可以包括用戶處於靜止狀態且顯示設備處於運動狀態時用戶相對於顯示設備的相對位置、用戶處於運動狀態且顯示設備處於靜止狀態時用戶相對於顯示設備的相對位置以及用戶處於運動狀態且顯示設備處於運動狀態時用戶相對於顯示設備的相對位置。
S204，根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。
在此步驟中，顯示設備結合三維場景的構建資訊和相對位置，生成與每個相對位置對應的場景視圖，顯示在顯示設備的顯示屏上，由於用戶相對於顯示設備是運動的，因此在相對運動過程中，用戶能夠看到三維場景對應每個視角的視圖，用戶在大腦中會合成三維場景的立體影像，達到觀看三維視圖的效果。
在步驟S201和步驟S202的目的是為了實現三維場景重建，其中， 為了讓用戶在不同的視角能夠看到不同的視圖，因此獲得多個視角下的視圖。為了使資訊化後的某一個場景能夠在不同視角下獲得不同視圖，本申請需要根據同一個場景下的不同視角下的不同視圖進行場景重建。以將真實場景的三維資訊進行表示、存儲。場景重建的結果可以透過增加深度資訊的方式表示，得知深度資訊後可以將場景映射到其他視角，所以增加深度資訊可以表示場景重建結果。
其中，一種包含深度資訊的圖像表示方法是：RGBD格式的圖像，對一個畫素而言，RGB值表示一個像點的顏色資訊，D的值表示此像點的深度資訊，畫素位置關係表示不同像點之間的位置關係。由於在不同視角能獲得不同視圖時，大腦能夠自動形成立體感覺，所以同一場景的一系列圖像也可以表示場景重建結果。一種透過同一場景一系列圖像表示場景重建結果的方法是：獲取同一場景的一系列圖像並將這些圖像進行水準視差約束和景深約束。
在步驟201中三維場景構建所需的圖像可以透過多個攝像頭從不同角度對現實場景進行拍攝，也可以使用單個攝像頭移動不同的位置進行拍攝獲得。基於拍攝的方法，用戶可以利用拍攝的多張圖像或視訊關鍵幀進行場景重建。
如圖3所示，相機在拍攝的過程中，相機的移動可以認為是視角的移動，拍攝時如果相機進行水平移動，則能夠拍攝到更大的場景，如果相機圍繞物體旋轉進行拍攝，則能夠拍攝到同一物體不同的視角。圖3是用戶水平移動相機進行拍攝的示意圖。圖像中被拍攝的物件10是一個圓形物體，同一個相機透過水平移動進行拍攝，圖3中相機的拍攝位置透過左側拍照、中間拍照、右 側拍照來指示。虛線表示相機視角的邊界位置。根據圖3所示的狀態可以獲得圖4所示的圖像。其圖4中的三幅圖像是相機從左到右，沿著相機所在位置水平移動時拍攝得到圖像a中圓形物體在圖像的右側，b中圓形物體在圖像中間，c中圓形物體在圖像左側。圖5是用戶圍繞物體旋轉拍攝獲取場景構建所需視圖的示意圖。圖5中被拍攝的物件11是一個長方形物體，同一個相機透過以長方形物體為中心進行旋轉拍攝，拍攝位置如圖中左側拍攝、中間拍攝、右側拍攝指示。虛線表示相機視角的邊界位置。圖6是用戶圍繞物體旋轉拍攝到的圖像。相機圍繞物體逆時針旋轉拍攝得到圖像分別如d、e、f所示，同一場景不同的視角能夠得到不同的視圖。
在得到場景所需的視圖之後，顯示裝置可以以RGBD形式表示三維場景的深度資訊和顏色資訊，同時，還包括：對至少兩幅圖像進行視差約束和深度約束。
在步驟204中，需要根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。在用戶觀看視角發生變化的時候，需要為用戶提供當前視角的視圖。例如，可以根據步驟203得到的獲取用戶與顯示設備之間的相對位置關係，以用戶觀看角度來表示兩者的相對位置關係，之後，選擇相應視角下的視圖。不同場景重建方法選擇視圖時方法不相同。
在一種可選的實施方式中，顯示設備中的處理器可以將顯示設備的可視範圍劃分為N個區間，N為三維場景中包含的圖像數目或者關鍵幀數目，每個圖像或者關鍵幀對應N個區間中的一個區間。之後，顯示設備將用戶與顯示設備的相對位置對應至N個區間中的一個。
同時，根據三維場景的深度資訊和顏色資訊，生成與N個區間分別對應的N個三維場景視圖；透過顯示設備顯示N個三維場景視圖中，用戶與顯示設備的相對位置對應的一個區間的三維場景視圖。
具體的說，透過拍攝多張圖像或視訊關鍵幀進行場景重建時，顯示設備首先將顯示設備的可視範圍劃分為n個區間，n表示圖像或關鍵幀的數目，n越大表示重建後的場景能夠在更多的視角進行觀看，然後將可視範圍中的區間與相應視角的圖像依次對應，最後根據用戶所在觀看區間，選擇對應的圖像。
例如，顯示設備中存儲有5幅關鍵幀圖像，按照相機移動順序，5幅圖像分別編號1到5；將顯示設備的可視範圍按0度到180度計算，則將顯示設備的可視範圍劃分為5個區間，每個區間36度，分別是[0,36]，(36,72]，(72,108]，(108,144]，(144,180]；當用戶觀看角度為[0,36]時，顯示圖像1，當用戶觀看角度為[36,72]時，顯示圖像2，當用戶觀看角度為[72,108]時，顯示圖像3，當用戶觀看角度為[108,144]時，顯示圖像4，當用戶觀看角度為[144,180]時，顯示圖像5。
在另一種實施方式中，顯示設備也可以根據相對位置和至少兩幅圖像，生成與相對位置對應的視圖，兩幅圖可以根據拍攝角度不同，分為左圖和右圖。例如，透過插值的方法進行場景重建時，該方法中，只需要根據用戶與顯示設備之間位置關係，生成相應視角下的視圖即可，例如，獲取用戶觀看角度為θ，將立體圖中的左圖對應θ=60度的視圖，將立體圖像中的右圖對應θ=120度的視圖，然後按照如下方法生成不同視角下的視圖進行顯示。
當透過跟蹤到的用戶相對位置確定的當前的觀看角度為 0°<θ<60°時，生成相應顯示視圖的方法如公式(1)所示Q+kD'=Q' (1)
其中，Q為左圖中的一個畫素點的位置，Q '為生成視圖中同一個畫素點的位置，D '為左右圖生成的視差圖中對應Q位置處的視差值，k的計算方法如公式(2)所示k=1-θ/60 (2)
透過上述的方式可以生成該位置對應的三維場景視圖，給用戶觀看。
當透過跟蹤到的用戶相對位置確定的當前的觀看角度60°<=θ<120°時，生成相應視圖方法如公式(3)所示，-kD' L ．p 1+(1-k)D' R ．p 2=p' (3)
其中，p1是左圖中的一個畫素點列座標，p2是右圖中與p1位置對應的畫素點的列座標，p'是在生成的視圖中新畫素點的列座標，p1、p2、p'一直保持在同一行，行座標不變，為以左圖為參考生成的視差圖，D' R 為以右圖為參考生成的視差圖，k的計算方法如公式(4)所示，k=(θ-90)/60 (4)
當透過跟蹤到的用戶相對位置確定的當前的觀看角度為120°<=θ<180°時，生成相應視圖的方法與0°<θ<60°時相似，如公式(5)所示，F+kD'=F' (5)
其中，F為右圖中的一個畫素點的位置，F '為右圖右側***的第一幅圖的同一個畫素點的位置，D'為左右圖生成的視差圖中對應F位置處的視差 值，k的計算方法如公式(6)所示，k=(θ-120)/60 (6)
透過以上的幾種方式，可以透過插圖演算法生成與用戶當前位置對應的三維場景視圖，顯示於顯示設備上，供用戶觀看。
透過上述的實施例可以透過獲取用於三維重建的至少兩幅視圖，確定構建的三維場景的深度資訊和顏色資訊；並且透過跟蹤確定用戶相對於顯示設備的相對位置；根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。透過該種三維重建和恢復的方案，實現用戶在二維顯示設備或者未開啟三維顯示模式的顯示設備上都能夠體驗觀看立體場景的效果。
相應的，如圖7所示，本發明實施例提供了一種顯示設備，該實施例可以是圖1所示的顯示設備，例如平板電腦、手機或者電視機等電子設備，通常本實施例中的顯示設備是不具備3D顯示功能的2D顯示設備，也可以是具有3D顯示功能，但並未開啟該功能的顯示設備，顯示設備700包括：視圖獲取單元701用以獲取用於三維重建的至少兩幅視圖；場景資訊獲取單元702用於根據至少兩幅視圖，獲取需要構建的三維場景的深度資訊和顏色資訊；相對位置跟蹤單元703用於對相對於顯示設備移動的用戶進行持續跟蹤，確定用戶相對於顯示設備的相對位置；顯示圖像確定單元704用於根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。
在實施例中，用戶相對於顯示設備的相對位置，進一步包括用戶處於靜止狀態且顯示設備處於運動狀態時用戶相對於顯示設備的相對位置、用戶處於運動狀態且顯示設備處於靜止狀態時用戶相對於顯示設備的相對位置以及用戶處於運動狀態且顯示設備處於運動狀態時用戶相對於顯示設備的相對位置。無論是何種原因導致的相對位置變動，都可以被相對位置跟蹤單元703獲取到兩者的相對位置。
在不同的實施例中，視圖獲取單元701可以透過相機對目標物體的從不同角度拍攝獲得三維重建的至少兩幅視圖，也可以透過視訊檔中的至少關鍵幀獲得三維重建的至少兩幅視圖。根據不同的原始視圖獲取方式，三維重建可以選擇不同的方法。
在一種實施方式中，顯示設備還包括場景資訊表示單元：用於以RGBD形式表示三維場景的深度資訊和顏色資訊，該場景資訊表示單元通常在場景資訊獲取單元702獲取需要構建的三維場景的深度資訊和顏色資訊之後運行。
為了獲得較好的三維重建效果，顯示設備還可以包括約束單元，用於在三維資訊表示時，對至少兩幅圖像進行視差約束和深度約束。
進一步的，顯示裝置的還可以還包括區間劃分單元和匹配單元，前者將顯示設備的可視範圍劃分為N個區間，N為三維場景中包含的圖像數目或者關鍵幀數目，每個圖像或者關鍵幀對應N個區間中的一個區間。匹配單元將用戶與顯示設備的相對位置對應至N個區間中的一個。
進一步的，顯示圖像確定單元704進一步包括：圖像生成子單元用於根據三維場景的深度資訊和顏色資訊，生成 與N個區間分別對應的N個三維場景視圖；圖像顯示子單元用於透過顯示設備顯示N個三維場景視圖中，用戶與顯示設備的相對位置對應的一個區間的三維場景視圖。
在一種可選的實施例中，顯示設備還可以包括：插圖單元，用於根據相對位置和至少兩幅圖像，生成與相對位置對應的視圖，例如透過插圖演算法，結合視差和畫素座標，生成相應的視圖。
更具體的敘述，可以參考圖2所示的方法實施例，不多贅述。
本實施例提供的顯示設備可以實現用戶在二維顯示設備或者未開啟三維顯示模式的顯示設備上都能夠體驗觀看立體場景的效果。
如圖8所示，本發明實施例提供了一種顯示設備，該實施例可以是圖1所示的顯示設備，例如平板電腦、手機或者電視機等電子設備，通常本實施例中的顯示設備是不具備3D顯示功能的2D顯示設備，也可以是具有3D顯示功能，但並未開啟該功能的顯示設備。如圖8所示，該實施例中的顯示裝置800可以包括追蹤設備802，處理器801、記憶體803、顯示器804，將追蹤設備802、記憶體803、顯示器804連接到處理器801(例如，透過系統匯流排805)；圖8中的系統記憶體803和大容量存儲設備806構成本實施例中的記憶體。其中系統記憶體803進一步包括唯讀記憶體ROM和隨機記憶體RAM，基本輸入/輸出系統可以存儲在唯讀記憶體ROM中；大容量存儲設備806用於存儲作業系統、軟體、資料，以及各種程式模組，例如與應用程式關聯的那些程式模組。
大容量存儲設備806可以透過連接到系統匯流排805的大容量存 儲控制器(未示出)連接到處理器。大容量存儲設備806以及其關聯的電腦可讀介質可以為電腦提供非易失性存儲。
雖然對這裏包含的電腦可讀介質的描述涉及諸如硬碟或CD-ROM驅動器之類的大容量存儲設備，但是本領域的技術人員應該明白，電腦可讀介質可以是可由電腦訪問的任何可用電腦存儲介質。
作為示例而非限制，電腦可讀介質可以包括以用於存儲諸如電腦可讀指令、資料結構、程式模組之類的資訊或其他資料的任何方法或技術實現的易失性和非易失性、可移動和不可移動介質。例如，電腦可讀介質包括但不限於，RAM、ROM、EPROM、EEPROM、快閃記憶體或其他固態記憶體技術，CD-ROM、數位多功能盤(DVD)、HD-DVD、藍光、或其他光學存儲，磁帶盒、磁帶、磁片存儲或其他磁存儲設備，或可以用來存儲所需資訊並可由電腦5訪問的任何其他介質。
電腦可以透過連接至匯流排的網路介面來連接到網路。
電腦還可以包括用於接收和處理來自包括鍵盤、滑鼠或電子筆(未示出)的許多其他設備輸入的輸入/輸出控制器。類似地，輸入/輸出控制器可以向顯示器、印表機、或其他類型的輸出設備(也未示出)提供輸出。顯示器或者可以由圖形適配器或圖形處理單元(也未示出)連接到匯流排。
特別地，在本實施例中，必須包括追蹤設備，例如攝影頭，用來即時捕獲圖像，進而由處理器分析得到用戶面部的位置資訊。
如上文簡要地提及的，多個程式模組和資料檔案可以存儲在電腦的大容量存儲設備和RAM中，包括適於控制顯示裝置正常操作的作業系統。大 容量存儲設備、ROM，以及RAM還可以存儲一個或多個程式模組。具體地，大容量存儲設備、ROM，以及RAM可以存儲由處理器執行的應用程式。
其中，記憶體中存儲一組程式碼，且處理器用於調用記憶體中存儲的程式碼，用於執行以下操作：獲取用於三維重建的至少兩幅視圖；根據至少兩幅視圖，獲取需要構建的三維場景的深度資訊和顏色資訊；對相對於顯示設備移動的用戶進行持續跟蹤，確定用戶相對於顯示設備的相對位置；根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像，供處於當前位置的用戶觀看。
專業人員應該還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及演算法步驟，能夠以電子硬體、電腦軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
結合本文中所公開的實施例描述的方法或演算法的步驟可以用硬體、處理器執行的軟體模組，或者二者的結合來實施。軟體模組可以置於隨機記憶體(RAM)、記憶體、唯讀記憶體(ROM)、電可編程ROM、電可擦除可 編程ROM、寄存器、硬碟、可移動磁片、CD-ROM、或技術領域內所公知的任意其他形式的存儲介質中。
在上述實施例中，僅對本發明進行了示範性描述，但是本領域技術人員在閱讀本專利申請後可以在不脫離本發明的精神和範圍的情況下對本發明進行各種修改。
201‧‧‧獲取用於三維重建的至少兩幅視圖
202‧‧‧根據至少兩幅視圖，獲取需要構建的三維場景的深度資訊和顏色資訊
203‧‧‧對相對於顯示設備移動的用戶進行持續跟蹤，確定用戶相對於顯示設備的相對位置
204‧‧‧根據相對位置，確定三維場景中需要在顯示設備上顯示的圖像

Claims (21)

  1. 一種模擬立體圖像顯示的方法，包括：獲取用於三維重建的至少兩幅視圖；根據該至少兩幅視圖，獲取需要構建的一三維場景的深度資訊和顏色資訊；對相對於一顯示設備移動的用戶進行持續跟蹤，確定用戶相對於該顯示設備的一相對位置；以及根據該相對位置，確定該三維場景中需要在該顯示設備上顯示的圖像，供處於當前位置的用戶觀看。
  2. 根據申請專利範圍第1項所述之模擬立體圖像顯示的方法，其中，根據該至少兩幅視圖，獲取需要構建的該三維場景的深度資訊和顏色資訊；之後，還包括：以RGBD形式表示該三維場景的深度資訊和顏色資訊。
  3. 如根據申請專利範圍第2項所述之模擬立體圖像顯示的方法，其中，以RGBD形式表示該三維場景的深度資訊和顏色資訊，同時，還包括：對該至少兩幅圖像進行視差約束和深度約束。
  4. 根據申請專利範圍第1項所述之模擬立體圖像顯示的方法，其中，三維重建的該至少兩幅視圖由相機對目標物體從不同角度拍攝獲得。
  5. 根據申請專利範圍第1項所述之模擬立體圖像顯示的方法，其中，三維重建的該至少兩幅視圖為視訊檔中的至少兩個關鍵幀。
  6. 根據申請專利範圍第4項或第5項所述之模擬立體圖像顯示的方法，其中，根據該相對位置，確定該三維場景中需要在該顯示設備上顯示的圖像，供 處於當前位置的用戶觀看，之前，還包括：將該顯示設備的可視範圍劃分為N個區間，N為該三維場景中包含的圖像數目或者關鍵幀數目，每個圖像或者關鍵幀對應N個區間中的一個區間。
  7. 根據申請專利範圍第6項所述之模擬立體圖像顯示的方法，其中，將該顯示設備的可視範圍劃分為N個區間，之後，還包括：將用戶與顯示設備的相對位置對應至N個區間中的一個。
  8. 根據申請專利範圍第7項所述之模擬立體圖像顯示的方法，其中，根據該相對位置，確定該三維場景中需要在該顯示設備上顯示的圖像，供處於當前位置的用戶觀看，具體包括：根據該三維場景的深度資訊和顏色資訊，生成與N個區間分別對應的N個三維場景視圖；以及透過該顯示設備顯示N個三維場景視圖中，用戶與該顯示設備的該相對位置對應的一個區間的三維場景視圖。
  9. 根據申請專利範圍第1項所述之模擬立體圖像顯示的方法，其中，對相對於該顯示設備移動的用戶進行持續跟蹤，確定用戶相對於該顯示設備的相對位置；之後，還包括：根據該相對位置和該至少兩幅圖像，生成與該相對位置對應的視圖。
  10. 根據申請專利範圍第1項所述之模擬立體圖像顯示的方法，其中，用戶相對於該顯示設備的相對位置，進一步包括用戶處於靜止狀態且該顯示設備處於運動狀態時用戶相對於該顯示設備的該相對位置、用戶處於運動狀態且該顯示設備處於靜止狀態時用戶相對於該顯示設備的該相對位置以及用戶處於運動 狀態且該顯示設備處於運動狀態時用戶相對於該顯示設備的該相對位置。
  11. 一種顯示設備，包括：一視圖獲取單元，用以獲取三維重建的至少兩幅視圖；一場景資訊獲取單元，用以根據該至少兩幅視圖，獲取需要構建的一三維場景的深度資訊和顏色資訊；一相對位置跟蹤單元，用以對相對於該顯示設備移動的用戶進行持續跟蹤，確定用戶相對於該顯示設備的一相對位置；一顯示圖像確定單元，用以根據該相對位置，確定該三維場景中需要在該顯示設備上顯示的圖像，供處於當前位置的用戶觀看。
  12. 根據申請專利範圍第11項所述之顯示設備，其中，該顯示設備還包括場景資訊表示單元：用於以RGBD形式表示該三維場景的深度資訊和顏色資訊。
  13. 根據申請專利範圍第12項所述之顯示設備，其中，該顯示設備還包括約束單元，用以對該至少兩幅圖像進行視差約束和深度約束。
  14. 根據申請專利範圍第11項所述之顯示設備，其中，該視圖獲取單元透過相機對目標物體從不同角度拍攝獲得三維重建的該至少兩幅視圖。
  15. 根據申請專利範圍第11項所述之顯示設備，其中，該視圖獲取單元透過一視訊檔中的關鍵幀獲得三維重建的該至少兩幅視圖。
  16. 根據申請專利範圍第14項或第15項所述之顯示設備，其中，該顯示設備還包括一區間劃分單元，用以將該顯示設備的可視範圍劃分為N個區間，N為該三維場景中包含的圖像數目或者關鍵幀數目，每個圖像或者關鍵幀對應N個區間中的一個區間。
  17. 根據申請專利範圍第16項所述之顯示設備，其中，該顯示設備還包括一匹配單元，用以將用戶與該顯示設備的該相對位置對應至N個區間中的一個。
  18. 根據申請專利範圍第17項所述之顯示設備，其中，該顯示圖像確定單元進一步包括：一圖像生成子單元，用以根據該三維場景的深度資訊和顏色資訊，生成與N個區間分別對應的N個三維場景視圖；以及一圖像顯示子單元，用以透過該顯示設備顯示N個三維場景視圖中，用戶與該顯示設備的該相對位置對應的一個區間的三維場景視圖。
  19. 根據申請專利範圍第11項所述之顯示設備，其中，該顯示設備還包括：一插圖單元，用以根據該相對位置和該至少兩幅圖像，生成與該相對位置對應的視圖。
  20. 據申請專利範圍第11項所述之顯示設備，其中，用戶相對於該顯示設備的該相對位置，進一步包括用戶處於靜止狀態且該顯示設備處於運動狀態時用戶相對於該顯示設備的該相對位置、用戶處於運動狀態且該顯示設備處於靜止狀態時用戶相對於該顯示設備的該相對位置以及用戶處於運動狀態且該顯示設備處於運動狀態時用戶相對於該顯示設備的該相對位置。
  21. 一種顯示設備，其中，包括一顯示屏、一處理器、一記憶體以及一跟蹤設備，該跟蹤設備、該顯示屏以及該記憶體透過一匯流排與該處理器連接，該記憶體中存儲有程式碼，該處理器調用該記憶體中存儲的代碼，執行如下操作：獲取用於三維重建的至少兩幅視圖； 根據該至少兩幅視圖，獲取需要構建的一三維場景的深度資訊和顏色資訊；對相對於該顯示設備移動的用戶進行持續跟蹤，確定用戶相對於該顯示設備的一相對位置；以及根據該相對位置，確定該三維場景中需要在該顯示設備上顯示的圖像，供處於當前位置的用戶觀看。
TW104130473A 2014-11-25 2015-09-15 模擬立體圖像顯示方法及顯示設備 TWI547901B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410690154.8A CN104349155B (zh) 2014-11-25 2014-11-25 模拟立体图像显示方法及显示设备

Publications (2)

Publication Number Publication Date
TW201619913A true TW201619913A (zh) 2016-06-01
TWI547901B TWI547901B (zh) 2016-09-01

Family

ID=52503841

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104130473A TWI547901B (zh) 2014-11-25 2015-09-15 模擬立體圖像顯示方法及顯示設備

Country Status (3)

Country Link
US (1) US9961334B2 (zh)
CN (1) CN104349155B (zh)
TW (1) TWI547901B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460513B1 (en) * 2015-06-17 2016-10-04 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
CN105120251A (zh) 2015-08-19 2015-12-02 京东方科技集团股份有限公司 一种3d场景展示方法及装置
CN105427369A (zh) * 2015-11-25 2016-03-23 努比亚技术有限公司 移动终端及其三维形象的生成方法
CN105704475B (zh) * 2016-01-14 2017-11-10 深圳前海达闼云端智能科技有限公司 一种曲面二维屏幕的三维立体显示处理方法和装置
CN106303247A (zh) * 2016-08-23 2017-01-04 刘永锋 基于vr的实时视频拍摄方法
CN106454204A (zh) * 2016-10-18 2017-02-22 四川大学 一种基于网络深度相机的裸眼立体视频会议***
US10848741B2 (en) * 2017-06-12 2020-11-24 Adobe Inc. Re-cinematography for spherical video
CN109842793A (zh) * 2017-09-22 2019-06-04 深圳超多维科技有限公司 一种裸眼3d显示方法、装置及终端
TR201819689A2 (tr) * 2018-12-18 2020-07-21 Arcelik As Bi̇r görüntülüme yöntemi̇
CN113411561A (zh) * 2021-06-17 2021-09-17 纵深视觉科技(南京)有限责任公司 一种现场演出的立体显示方法、装置、介质及***
CN114422819A (zh) * 2022-01-25 2022-04-29 纵深视觉科技(南京)有限责任公司 一种视频显示方法、装置、设备、***及介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117144A (ja) * 2001-10-18 2003-04-22 Sophia Co Ltd 遊技機
TWI348120B (en) * 2008-01-21 2011-09-01 Ind Tech Res Inst Method of synthesizing an image with multi-view images
JP4725595B2 (ja) * 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
CN101931823A (zh) * 2009-06-24 2010-12-29 夏普株式会社 显示3d图像的方法和设备
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
WO2013112796A1 (en) * 2012-01-25 2013-08-01 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses
TWI547904B (zh) * 2012-05-31 2016-09-01 財團法人工業技術研究院 多視角視差圖的補洞方法
CN103337095B (zh) * 2013-06-25 2016-05-18 桂林理工大学 一种真实空间三维地理实体的立体虚拟显示方法
US20150195502A1 (en) 2014-01-06 2015-07-09 Innolux Corporation Display device and controlling method thereof
US10122992B2 (en) * 2014-05-22 2018-11-06 Disney Enterprises, Inc. Parallax based monoscopic rendering

Also Published As

Publication number Publication date
TWI547901B (zh) 2016-09-01
US20160150222A1 (en) 2016-05-26
CN104349155A (zh) 2015-02-11
CN104349155B (zh) 2017-02-01
US9961334B2 (en) 2018-05-01

Similar Documents

Publication Publication Date Title
TWI547901B (zh) 模擬立體圖像顯示方法及顯示設備
US11869205B1 (en) Techniques for determining a three-dimensional representation of a surface of an object from a set of images
US10650574B2 (en) Generating stereoscopic pairs of images from a single lens camera
TWI712918B (zh) 擴增實境的影像展示方法、裝置及設備
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US20180192033A1 (en) Multi-view scene flow stitching
CN102938844B (zh) 利用立体成像生成自由视点视频
JP6285941B2 (ja) 制御された三次元通信エンドポイント
US20140240354A1 (en) Augmented reality apparatus and method
US10586378B2 (en) Stabilizing image sequences based on camera rotation and focal length parameters
US20220078385A1 (en) Projection method based on augmented reality technology and projection equipment
JP6126820B2 (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
JP2014093779A (ja) 映像処理方法及び映像処理装置
JP5809607B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20130039522A (ko) 입체 파노라마 영상을 생성하는 장치 및 방법
CN115529835A (zh) 用于新颖视图合成的神经混合
JP2009212728A (ja) 立体映像処理装置及び立体映像処理方法
US20170104982A1 (en) Presentation of a virtual reality scene from a series of images
US20230231983A1 (en) System and method for determining directionality of imagery using head tracking
KR20150058733A (ko) 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법
Louis et al. Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping
Thatte et al. Real-World Virtual Reality With Head-Motion Parallax
JP2022113478A (ja) インテグラル立体表示システム及びその方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees