TWI711966B - 電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體 - Google Patents

電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TWI711966B
TWI711966B TW108102067A TW108102067A TWI711966B TW I711966 B TWI711966 B TW I711966B TW 108102067 A TW108102067 A TW 108102067A TW 108102067 A TW108102067 A TW 108102067A TW I711966 B TWI711966 B TW I711966B
Authority
TW
Taiwan
Prior art keywords
image
virtual object
environment
augmented reality
processor
Prior art date
Application number
TW108102067A
Other languages
English (en)
Other versions
TW201933084A (zh
Inventor
吳昱霆
陳鏡陽
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201933084A publication Critical patent/TW201933084A/zh
Application granted granted Critical
Publication of TWI711966B publication Critical patent/TWI711966B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/12Shadow map, environment map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

一種電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體,電子裝置包含:相機單元、顯示器以及處理器。處理器電性連接至相機單元以及顯示器。相機單元用以拍攝物理環境的複數個影像。顯示器用以顯示擴增實境影像。處理器用以拼接影像以產生環境影像,根據環境影像計算虛擬物體對應的物理環境的環境光以及反射,根據環境影像分析光源的方向以計算虛擬物體對應的陰影,以及根據環境光、反射以及陰影在擴增實境影像上渲染虛擬物體。

Description

電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體
本案是有關於一種電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體,且特別是有關於一種用於在擴增實境場景中顯示虛擬物體的電子裝置、方法以及非暫態電腦可讀取媒體。
在擴增實境(augmented reality,AR)以及虛擬實境(virtual reality,VR)系統中,如果要將虛擬物體混合到現實世界的環境中,則需要使虛擬物體的光源配置與現實世界的光源配置盡可能相似。由於效能問題,現有的即時環境光技術通常部會模擬陰影。然而,虛擬物體的陰影可以為觀看者提供深度信息,並大幅提高渲染品質。因此,本領域中需要一種將現實世界環境的光源配置拍攝到混合實境或虛擬實境系統的電子裝置。
依據本揭示文件之第一實施態樣,其揭示一種電子裝置,電子裝置包含相機單元、顯示器以及處理器。相機單元用以拍攝物理環境的複數個影像。顯示器用以顯示擴增實境影像,其中擴增實境影像的內容包含虛擬物體以及對應於物理環境的物體。處理器電性連接至相機單元以及顯示器。處理器用以拼接影像以產生環境影像,根據環境影像計算虛擬物體對應的物理環境的環境光以及反射,根據環境影像分析光源的方向以計算虛擬物體對應的陰影,以及根據環境光、反射以及陰影在擴增實境影像上渲染虛擬物體。
依據本揭示文件之第二實施態樣,其揭示一種顯示擴增實境場景的方法,顯示擴增實境場景的方法包含:藉由相機單元拍攝物理環境中的複數個影像;藉由處理器拼接影像以產生環境影像;藉由處理器根據環境影像計算虛擬物體對應的物理環境的環境光以及反射;藉由處理器根據環境影像分析光源的方向以計算虛擬物體對應的陰影;藉由處理器根據環境光、反射以及陰影在擴增實境影像上渲染虛擬物體;以及藉由顯示器顯示擴增實境影像,其中擴增實境影像的內容包含虛擬物體以及對應於物理環境的物體。
依據本揭示文件之第三實施態樣,其揭示一種非暫態電腦可讀取媒體,非暫態電腦可讀取媒體包含至少一指令程序,由處理器執行至少一指令程序以實行顯示擴增實境場景的方法,其包含:藉由相機單元拍攝物理環境中的複數個影像;藉由處理器拼接影像以產生環境影像;藉由處理器 根據環境影像計算虛擬物體對應的物理環境的環境光以及反射;藉由處理器根據環境影像分析光源的方向以計算虛擬物體對應的陰影;藉由處理器根據環境光、反射以及陰影在擴增實境影像上渲染虛擬物體;以及藉由顯示器顯示擴增實境影像,其中擴增實境影像的內容包含虛擬物體以及對應於物理環境的物體。
100‧‧‧電子裝置
110‧‧‧相機單元
130‧‧‧處理器
150‧‧‧顯示器
200‧‧‧顯示擴增實境場景的方法
SCN‧‧‧擴增實境場景
MT‧‧‧匹配目標
VP、VP’‧‧‧視點
Img、Img1、Img2‧‧‧影像
EI‧‧‧環境影像
PE‧‧‧物理環境
R、R1、R2、R3、R4、R5、R6、A1、A2、A3、A4‧‧‧區域
VO‧‧‧虛擬物體
PO1、PO2、PO3‧‧‧物體
L‧‧‧燈
S1、S2、S3‧‧‧陰影
SL1、SL2、SL3‧‧‧分隔線
S210~S260、S241~S246‧‧‧步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1圖係根據本案之一些實施例所繪示之電子裝置的方塊圖;第2圖係根據本案之一些實施例所繪示之顯示擴增實境場景的方法的流程圖;第3A圖係根據本案之一些實施例所繪示之擴增實境場景的示意圖;第3B圖係根據本案之一些實施例所繪示之匹配目標以及初始視點的示意圖;第3C圖係根據本案之一些實施例所繪示之環境影像的示意圖;第3D圖係根據本案之一些實施例所繪示之環境影像的示意圖;第4圖係根據本案之一些實施例所繪示之物理環境中電子裝置的視野的示意圖; 第5A圖係根據本案之一些實施例所繪示之虛擬物體的示意圖;第5B圖係根據本案之一些實施例所繪示之在物理環境中渲染虛擬物體的示意圖;第6圖係根據本案之一些實施例所繪示之步驟S240的流程圖;第7A圖係根據本案之一些實施例所繪示之環境影像的區域的示意圖;第7B圖係根據本案之一些實施例所繪示之環境影像的區域的示意圖;第8圖係根據本案之一些實施例所繪示之光源像亮在物理環境的示意圖;以及第9圖係根據本案之一些實施例所繪示之在物理環境中渲染虛擬物體的示意圖。
以下揭示提供許多不同實施例或例證用以實施本發明的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途,並不會以任何方式限制本發明或其例證之範圍和意義。此外,本揭示在不同例證中可能重複引用數字符號且/或字母,這些重複皆為了簡化及闡述,其本身並未指定以下討論中不同實施例且/或配置之間的關係。
請參閱第1圖。第1圖係根據本案之一些實施例 所繪示之電子裝置100的方塊圖。如第1圖所繪示,電子裝置100包含相機單元110、處理器130以及顯示器150,處理器130電性連接至相機單元110以及顯示器150。於一些實施例中,電子裝置100可以是裝載擴增實境(AR)系統或混合實境(MR)系統之一裝置,例如頭戴式裝置(head-mounted device,HMD)。處理器130可以實施為圖形處理器及/或中央處理單元,當一使用者佩戴電子裝置100時,顯示器150將會覆蓋使用者的視域,並且顯示器150係用於向使用者顯示混合實境場景或擴增實境場景。
處理器130係耦接於顯示器150。處理器130係用以處理將在顯示器150上顯示之擴增實境(或混合實境)場景的影像/視訊資料。擴增實境/混合實境場景可包含虛擬物體(例如,茶壺、雕像、玻璃杯等)及/或物理環境的特徵(例如,牆壁、門、桌子、窗戶等)。
請參閱第2圖。第2圖係根據本案之一些實施例所繪示之顯示擴增實境場景的方法200的流程圖。於一實施例中,顯示擴增實境場景的方法200可用以執行渲染虛擬物體的計算,並將虛擬物體和物理環境特徵組合以形成擴增實境影像。換句話說,擴增實境影像的內容具有虛擬物體以及對應於物理環境的對象。因此,擴增實境場景是由複數個擴增實境影像形成。
請一併參考第1圖及第2圖,如第2圖所示之實施例,顯示擴增實境場景的方法200首先執行步驟S210藉由相機單元110拍攝物理環境中的複數個影像。請參閱第3A 圖,第3A圖係根據本案之一些實施例所繪示之擴增實境場景SCN的示意圖。於此實施例中,擴增實境場景SCN可以包含具有圍繞佩戴著電子裝置100的使用者之球形擴增實境場景SCN的影像資料Img。本揭露並不限於球形的擴增實境場景。於另一實施例中,擴增實境場景SCN可以包含具有半球形擴增實境場景、圓環形擴增實境場景或其他等同形狀的影像資料Img。
接著,顯示擴增實境場景的方法200藉由處理器130拼接影像以產生環境影像。請參閱第3B圖,第3B圖係根據本案之一些實施例所繪示之匹配目標MT以及初始視點VP的示意圖。於此實施例中,環境影像可以理解為物理環境的天空盒(skybox)。如第3B圖所示,當視點VP與複數個匹配目標MT的其中之一匹配時,電子裝置100的相機單元110用以拍攝擴增實境場景SCN的影像Img。值得注意的是相機單元110拍攝的每一影像包含對應的相機單元110的位置。
接著,如第3B圖所示,視點VP隨著電子裝置100移動及旋轉,並且匹配目標MP在視點VP周圍。當視點VP匹配到匹配目標MT的其中之一時,相機單元110用以拍攝初始影像Img1,並且相機單元110的初始位置的座標為Ip(0,0,0)。
於一實施例中,可以利用輔助目標來協助使用者對齊匹配目標MT,輔助目標可以實施為與匹配目標MT相同或不同的形狀,匹配目標MT的數量可以實施為大於 12,輔助目標的數量及形狀並不限於此。
請參閱第3C圖,第3C圖係根據本案之一些實施例所繪示之環境影像EI的示意圖。如第3C圖所示,處理器130用以將初始影像Img1拼接至環境影像EI中。當初始影像Img1已經被拼接至環境影像EI,視點VP’被移動以及旋轉至新位置並匹配另一匹配目標MT,相機單元110用以拍攝另一影像Img2。
接著,處理器130更用以根據當前位置以及初始位置之間的距離計算當前的影像的品質。當前位置係對應於拍攝影像Img2的相機單元110的位置,當前影像Img2的品質可以由《公式1》計算得知。舉例而言,相機單元110的初始位置的座標為Ip(0,0,0),以及相機單元110的當前位置的座標為Cp(10,10,10)。因此,當前影像Img2的品質可以由《公式1》獲得,如果當前位置和初始位置之間的距離較遠,當前影像Img2的品質就會比較差,由此可知距離和品質之間為反比關係。
Qp=Distance(Cp,Ip)-1 《公式1》
請參閱第3D圖,第3D圖係根據本案之一些實施例所繪示之環境影像EI的示意圖。如第3D圖所示,如果當前影像Img2的品質大於門檻值,處理器130用以將當前影像Img2拼接至環境影像EI中,初始影像Img1以及當前影像Img2在區域R中重疊,處理器130用以比較初始影像Img1的品質以及當前影像Img2的品質。於一實施例中,具有較低品質的影像將會被忽略,重疊區域R將會被更新為有較高 品質的影像。在此情況下,初始影像Img1的品質高於當前影像Img2的品質,因此,重疊區域R將會被更新為初始影像Img1的資料。
另一實施例中,在重疊區域R中,具有較低品質的影像將與具有較高品質的影像混合。在此情況下,重疊區域R將會被更新為初始影像Img1與當前影像Img2混合後的資料。混合的比例可以調整,舉例而言,如果初始影像Img1具有較高的品質,初始影像Img1的混合比率可以設定為0.8,以及當前影像Img2的混合比率可以設定為0.2。然而,本揭露並不限定於此。
於此實施例中,如第3B圖所示,當視點VP與所有的匹配目標MT匹配完畢後,即可理解為環境影像EI已經產生完畢。值得注意的是由相機單元110拍攝的影像是對應於物理環境,因此環境影像EI係一對應於物理環境的天空盒。
請參閱第4圖,第4圖係根據本案之一些實施例所繪示之物理環境PE中電子裝置100的視野的示意圖。於此實施例中,電子裝置100的相機單元110用以拍攝物理環境PE的複數個影像。物理環境中PE具有燈L以及三個物體PO1、PO2以及PO3,物體PO1、PO2以及PO3具有不同的紋理。
請參閱第5A圖,第5A圖係根據本案之一些實施例所繪示之虛擬物體VO的示意圖。於此實施例中,當處理器130用以將虛擬物體VO渲染至物理環境PE中時,使用 者可以透過電子裝置100在擴增實境場景SCN中看到虛擬物體VO。假設虛擬物體VO是具有金屬材料的瓶子,如第5A圖所示,虛擬物體VO的紋理是預設紋理(例如,網狀)。由於來自燈L的光源,物體PO1具有陰影S1以及物體PO2具有陰影S2。然而,在此情況中,由於具有預設紋理的虛擬物體VO與物理環境PE中周圍的物體不匹配,因此可以看到由處理器130呈現的虛擬物體VO在物理環境PE中並不真實。
接著,顯示擴增實境場景的方法200執行步驟S230藉由處理器130根據環境影像EI計算虛擬物體VO對應的物理環境PE的環境光以及反射。於此實施例中,處理器130用以根據環境影像EI利用球諧函數(spherical harmonics,SH)計算與虛擬物體VO對應的環境光。在遊戲引擎中(例如,Unity 3D、Unreal Engine等),球諧函數可用於間接照明(環境遮擋、全局照明等)。因此,我們可以根據環境圖像EI利用球諧函數生成環境光。
接著,處理器130用以根據環境影像EI產生立方體圖(cube map),以及根據立方體圖計算與虛擬物體VO對應的反射。在3D電腦圖學中,立方體圖通常包含六個紋理貼圖表面,每個立方體表面可以表示為一些環境細節,例如照明的顏色或紋理。因此,立方體圖可用於對正在渲染的虛擬物體賦予逼真的環境光效果,使虛擬物體在場景的背景訊息中具有逼真的外觀和感受。
請參閱第5B圖,第5B圖係根據本案之一些實施例所繪示之在物理環境PE中渲染虛擬物體VO的示意圖。如 上方所述,在步驟S230中,根據環境影像EI計算虛擬物體VO對應的物理環境PE的環境光以及反射。舉例而言,如第5B圖所示,物體PO1的紋理是具有紅色的加號狀紋理(例如“+”),物體PO2的紋理是具有咖啡色的斜線狀紋理(例如“/”),物體PO3的紋理是具有藍色的點狀紋理(例如“‧”),以及虛擬物體VO的紋理是具有灰色的網狀紋理。處理器130執行完步驟S230之後,從物體PO1到虛擬物體VO的反射已計算完畢並且在虛擬物體VO上的區域A1中示出(例如,加號狀紋理在區域A1中示出)。以此類推,從物體PO2到虛擬物體VO的反射已計算完畢並且在虛擬物體VO上的區域A2中示出(例如,斜線狀紋理在區域A2中示出)。從物體PO3到虛擬物體VO的反射已計算完畢並且在虛擬物體VO上的區域A3中示出(例如,點狀紋理在區域A3中示出)。
如第5B圖所示,虛擬物體VO的外觀目前被顯示為渲染後具有來自物理環境PE中的其他物體的顏色的紋理(斜線狀紋理、加號狀紋理、以及點狀紋理)。再者,如虛擬物體VO上的區域A4所示,虛擬物體VO的紋理是具有灰色的預設紋理。應當理解,不是由來自其他物體PO1~PO3的反射直接並完全的覆蓋,虛擬物體VO的表面(或外觀)目前與自身的網狀紋理以及來自其他物體PO1~PO3的紋理的反射混合。然而,僅示出區域A1~A4以便於說明。實際上,物體PO1~PO3的顏色以及虛擬物體VO的原始顏色會混合以在虛擬物體VO的表面上渲染。值得注意的是環境影像EI可以用以產生對應於虛擬物體VO的環境光以及反射,因此 在步驟S230後產生的虛擬物體VO可以比起如第5A圖所示的虛擬物體VO更真實。
接著,顯示擴增實境場景的方法200執行步驟S240藉由處理器130根據環境影像EI分析光源的方向以計算虛擬物體VO對應的陰影。步驟S240更包含步驟S241~S246,請一併參考第6圖,第6圖係根據本案之一些實施例所繪示之步驟S240的流程圖。如第6圖所示的實施例,顯示擴增實境場景的方法200進一步執行步驟S241計算環境影像EI的總亮度。於此實施例中,處理器130用以計算環境影像EI的灰階值總合,舉例而言,環境影像E的總亮度為20000。
接著,顯示擴增實境場景的方法200進一步執行步驟S242根據總亮度將環境影像EI區分成複數個區域。請參考第7A圖,第7A圖係根據本案之一些實施例所繪示之環境影像EI的區域的示意圖。如第7A圖所示,處理器130用以藉由分隔線SL1將環境影像EI區分為區域R1及R2。區域R1的亮度等於區域R2的亮度,這意謂著區域R1及R2的亮度皆為10000。
接著,請參考第7B圖,第7B圖係根據本案之一些實施例所繪示之環境影像EI的區域的示意圖。如第7B圖所示,處理器130更用以藉由分隔線SL2將環區域R1區分為區域R3及R4以及藉由分隔線SL3將環區域R2區分為區域R5及R6。區域R3的亮度等於區域R4的亮度,這意謂著區域R3及R4的亮度皆為5000。區域R5的亮度等於區域R6的 亮度,這意謂著區域R5及R6的亮度皆為5000。步驟S242執行的次數可以通過分隔線的數量或區域的亮度來設定,如果步驟S242執行的次數增加,區域的亮度總和將會降低並且區域的數量將會增加。
接著,顯示擴增實境場景的方法200進一步執行步驟S243根據每個區域的大小排序區域以產生排序結果。於前述的實施例中,每個區域具有相似的亮度值(例如,5000)。如果區域的尺寸越小,此區域將會成為光源的候選者。因此,可以理解到排序結果是根據區域的尺寸(從最大尺寸到最小尺寸)排列的。於另一實施例中,排序結果也可以由最小尺從排序到最大尺寸,然而本揭露不限於此。
接著,顯示擴增實境場景的方法200進一步執行步驟S244根據排序結果選擇區域的其中之一,並產生對應於被選擇區域的至少一方向光。接續前述實施例,如果處理器130用以選擇具有最小尺寸的區域,被選擇的區域將會成為光源並產生方向光。於另一實施例中,處理器130可以根據排序結果依序選擇多個區域,或是許則區域的數量可以由使用者決定,然而選擇區域的手段不限於此。
接著,顯示擴增實境場景的方法200進一步執行步驟S245根據被選擇區域的位置與虛擬物體VO的位置計算與至少一方向光對應的光源向量。請一併參考第8圖,第8圖係根據本案之一些實施例所繪示之光源像亮在物理環境PE的示意圖。如第8圖所示的範例中,因為被選擇區域是環境影像EI的一部份,因此可以獲得被選擇區域在環境影像 EI中的位置。在此情況下,被選區域即為燈L的區域。接著,因為擴增實境場景SCN是由環境影像EI所產生的,所以可以得知在球形擴增實境場景SCN中的燈L的位置(z軸的座標可以透過預設值、多視角感測器或深度感測器獲得)。出於相似的原因,可以得知在球形擴增實境場景SCN中的虛擬物體VO的位置,燈L的座標為(x1,y1,z1)以及虛擬物體VO的座標為(x2,y2,z2)。因此,可以藉由燈L的座標以及虛擬物體VO的座標來計算光源向量。
接著,顯示擴增實境場景的方法200進一步執行步驟S246根據光源向量產生虛擬物體VO對應的陰影一併參考第9圖,第9圖係根據本案之一些實施例所繪示之在物理環境PE中渲染虛擬物體VO的示意圖。如第9圖所示,處理器130用以根據光源向量產生虛擬物體VO的陰影S3。因此,由於來自燈L的光源,虛擬物體VO具有陰影S3。
接著,顯示擴增實境場景的方法200進一步執行步驟S250藉由處理器130根據環境光、反射以及陰影在擴增實境影像上渲染虛擬物體VO。根據前述實施例,在步驟S240後產生的虛擬物體VO可以比起如第5B圖所示的虛擬物體VO更真實。顯示擴增實境場景的方法200進一步執行步驟S260藉由顯示器130顯示擴增實境影像。當處理器130用以渲染虛擬物體VO,顯示器150用以顯示擴增實境場景SCN。當處理器130在物理環境PE中根據環境光、反射以及陰影來渲染虛擬物體VO時,虛擬物體VO可以與真實世界的物體(例如,物體PO1、PO2及PO3)更加一致。
另一實施例揭露一種非暫態電腦可讀取媒體,非暫態電腦可讀取媒體儲存指令程序以執行如第2圖所示的顯示擴增實境場景的方法200。
根據前述的實施例,電子裝置、擴增實境場景的方法以及非暫態電腦可讀取媒體能夠產生物理環境的環境影像,根據環境影像計算環境光、反射以及陰影,以及根據環境光、反射以及陰影在擴增實境場景上渲染虛擬物體。於一些實施態樣中,頭戴式顯示裝置能夠在擴增實境場景中顯示虛擬物體。
另外,上述例示包含依序的示範步驟,但該些步驟不必依所顯示的順序被執行。以不同順序執行該些步驟皆在本揭示內容的考量範圍內。在本揭示內容之實施例的精神與範圍內,可視情況增加、取代、變更順序及/或省略該些步驟。
雖然本案已以實施方式揭示如上,然其並非用以限定本案,任何熟習此技藝者,在不脫離本案之精神和範圍內,當可作各種之更動與潤飾,因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
S210~S260‧‧‧步驟

Claims (8)

  1. 一種電子裝置,包含:一相機單元,用以拍攝一物理環境的複數個影像;一顯示器,用以顯示一擴增實境影像,其中該擴增實境影像的內容包含一虛擬物體以及對應於該物理環境的一物體;以及一處理器,電性連接至該相機單元以及該顯示器,該處理器用以:拼接該些影像以產生一環境影像;根據該環境影像計算該虛擬物體對應的該物理環境的一環境光以及一反射;根據該環境影像分析一光源的方向以計算該虛擬物體對應的一陰影;以及根據該環境光、該反射以及該陰影在該擴增實境影像上渲染該虛擬物體,其中根據該環境影像分析該光源的方向以計算該虛擬物體對應的該陰影的步驟包括:計算該環境影像的一總亮度;根據該總亮度將該環境影像區分成複數個區域,其中該些區域的亮度彼此相等;根據每個區域的大小排序該些區域以產生一排序結果;根據該排序結果選擇該些區域的其中之一,並產生對應於被選擇區域的至少一方向光; 根據被選擇區域的位置與該虛擬物體的位置計算與該至少一方向光對應的一光源向量;以及根據該光源向量產生該虛擬物體對應的該陰影。
  2. 一種顯示擴增實境場景的方法,包含:藉由一相機單元拍攝一物理環境中的複數個影像;藉由一處理器拼接該些影像以產生一環境影像;藉由該處理器根據該環境影像計算一虛擬物體對應的該物理環境的一環境光以及一反射;藉由該處理器根據該環境影像分析一光源的方向以計算該虛擬物體對應的一陰影;藉由該處理器根據該環境光、該反射以及該陰影在一擴增實境影像上渲染該虛擬物體;以及藉由一顯示器顯示該擴增實境影像,其中該擴增實境影像的內容包含該虛擬物體以及對應於該物理環境的一物體,其中藉由該處理器根據該環境影像分析該光源的方向以計算該虛擬物體對應的該陰影的步驟包含:計算該環境影像的一總亮度;根據該總亮度將該環境影像區分成複數個區域,其中該些區域的亮度彼此相等;根據每個區域的大小排序該些區域以產生一排序結果;根據該排序結果選擇該些區域的其中之一,並產生 對應於被選擇區域的至少一方向光;根據被選擇區域的位置與該虛擬物體的位置計算與該至少一方向光對應的一光源向量;以及根據該光源向量產生該虛擬物體對應的該陰影。
  3. 如請求項2所述的顯示擴增實境場景的方法,其中,當一視點與複數個匹配目標的其中之一匹配時,該相機單元用以拍攝該些影像的其中之一,其中該視點隨著該電子裝置移動及旋轉,並且該些匹配目標在該視點周圍。
  4. 如請求項2所述的顯示擴增實境場景的方法,其中,該處理器用以接收來自該相機單元的該些影像,其中每一影像包含對應的該相機單元的一位置。
  5. 如請求項4所述的顯示擴增實境場景的方法,其中,藉由該處理器拼接該些影像以產生該環境影像,更包含:藉由該處理器根據一當前位置以及一初始位置之間的一距離計算當前的影像的一品質;以及如果當前的影像的該品質大於一門檻值,將當前的影像拼接至該環境影像中;其中,該些影像的其中之一為一初始影像,以及該初始影像包含對應的該相機單元的該初始位置。
  6. 如請求項2所述的顯示擴增實境場景的方法,其中,藉由該處理器根據該環境影像計算該虛擬物體對應的該物理環境的該環境光,更包含:藉由該處理器根據該環境影像利用一球諧函數計算與該虛擬物體對應的該環境光。
  7. 如請求項3所述的顯示擴增實境場景的方法,其中,藉由該處理器根據該環境影像計算該虛擬物體對應的該物理環境的該反射,更包含:藉由該處理器根據該環境影像產生一立方體圖,以及根據該立方體圖計算與該虛擬物體對應的該反射。
  8. 一種非暫態電腦可讀取媒體,包含至少一指令程序,由一處理器執行該至少一指令程序以實行一顯示擴增實境場景的方法,其包含:藉由一相機單元拍攝一物理環境中的複數個影像;藉由該處理器拼接該些影像以產生一環境影像;藉由該處理器根據該環境影像計算一虛擬物體對應的該物理環境的一環境光以及一反射;藉由該處理器根據該環境影像分析一光源的方向以計算該虛擬物體對應的一陰影;藉由該處理器根據該環境光、該反射以及該陰影在一擴增實境影像上渲染該虛擬物體;以及 藉由一顯示器顯示該擴增實境影像,其中該擴增實境影像的內容包含該虛擬物體以及對應於該物理環境的一物體,其中根據該環境影像分析該光源的方向以計算該虛擬物體對應的該陰影的步驟包括:計算該環境影像的一總亮度;根據該總亮度將該環境影像區分成複數個區域,其中該些區域的亮度彼此相等;根據每個區域的大小排序該些區域以產生一排序結果;根據該排序結果選擇該些區域的其中之一,並產生對應於被選擇區域的至少一方向光;根據被選擇區域的位置與該虛擬物體的位置計算與該至少一方向光對應的一光源向量;以及根據該光源向量產生該虛擬物體對應的該陰影。
TW108102067A 2018-01-19 2019-01-18 電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體 TWI711966B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862619130P 2018-01-19 2018-01-19
US62/619,130 2018-01-19

Publications (2)

Publication Number Publication Date
TW201933084A TW201933084A (zh) 2019-08-16
TWI711966B true TWI711966B (zh) 2020-12-01

Family

ID=65138884

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108102067A TWI711966B (zh) 2018-01-19 2019-01-18 電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體

Country Status (4)

Country Link
US (1) US10636200B2 (zh)
EP (1) EP3514766A3 (zh)
CN (1) CN110070621B (zh)
TW (1) TWI711966B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7003994B2 (ja) * 2017-08-08 2022-01-21 ソニーグループ株式会社 画像処理装置および方法
US10559121B1 (en) * 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10777010B1 (en) 2018-03-16 2020-09-15 Amazon Technologies, Inc. Dynamic environment mapping for augmented reality
US10607567B1 (en) 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US10930049B2 (en) * 2018-08-27 2021-02-23 Apple Inc. Rendering virtual objects with realistic surface properties that match the environment
US11620794B2 (en) * 2018-12-14 2023-04-04 Intel Corporation Determining visually reflective properties of physical surfaces in a mixed reality environment
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境***及记录介质
CN111199573B (zh) * 2019-12-30 2023-07-07 成都索贝数码科技股份有限公司 一种基于增强现实的虚实互反射方法、装置、介质及设备
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN112562051B (zh) * 2020-11-30 2023-06-27 腾讯科技(深圳)有限公司 虚拟对象显示方法、装置、设备及存储介质
CN114979457B (zh) * 2021-02-26 2023-04-07 华为技术有限公司 一种图像处理方法及相关装置
CN113393516B (zh) * 2021-06-17 2022-05-24 贝壳找房(北京)科技有限公司 用于打散ar场景中的虚拟物体的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236485A1 (en) * 2006-03-31 2007-10-11 Microsoft Corporation Object Illumination in a Virtual Environment
US20150301599A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Eye tracking systems and method for augmented or virtual reality
US9355433B1 (en) * 2015-06-30 2016-05-31 Gopro, Inc. Image stitching in a multi-camera array

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046099A1 (en) * 2006-11-13 2009-02-19 Bunkspeed Real-time display system
RU2009107143A (ru) * 2007-08-07 2010-09-10 Панасоник Корпорэйшн (Jp) Устройство обработки изображений и способ обработки изображений
US9524585B2 (en) * 2012-11-05 2016-12-20 Microsoft Technology Licensing, Llc Constructing augmented reality environment with pre-computed lighting
US20140240354A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Augmented reality apparatus and method
CN104102412B (zh) * 2014-07-24 2017-12-12 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
CN104766270B (zh) * 2015-03-20 2017-10-03 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
KR20180099026A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
CN107093204A (zh) * 2017-04-14 2017-08-25 苏州蜗牛数字科技股份有限公司 一种基于全景画面影响虚拟对象光影效果的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236485A1 (en) * 2006-03-31 2007-10-11 Microsoft Corporation Object Illumination in a Virtual Environment
US20150301599A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Eye tracking systems and method for augmented or virtual reality
US9355433B1 (en) * 2015-06-30 2016-05-31 Gopro, Inc. Image stitching in a multi-camera array

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Debevec, P. (2002). Image-based lighting. IEEE Computer Graphics and Applications, 22(2), 26-34. *

Also Published As

Publication number Publication date
CN110070621B (zh) 2023-04-07
US20190228568A1 (en) 2019-07-25
CN110070621A (zh) 2019-07-30
TW201933084A (zh) 2019-08-16
EP3514766A3 (en) 2019-08-14
US10636200B2 (en) 2020-04-28
EP3514766A2 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
TWI711966B (zh) 電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體
US8803879B1 (en) Omnidirectional shadow texture mapping
CN104766270B (zh) 一种基于鱼眼镜头的虚实光照融合方法
CN108010118B (zh) 虚拟对象处理方法、虚拟对象处理装置、介质和计算设备
US9164723B2 (en) Virtual lens-rendering for augmented reality lens
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
CN112184873B (zh) 分形图形创建方法、装置、电子设备和存储介质
US9183654B2 (en) Live editing and integrated control of image-based lighting of 3D models
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
CN111696190B (zh) 来自发光的***内容的照明效果
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN112669436A (zh) 一种基于3d点云的深度学习样本生成方法
CN112819940B (zh) 渲染方法、装置和电子设备
CN105139368B (zh) 一种可用于机器视觉的混合型色调映射方法
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
US20190066366A1 (en) Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting
WO2024002086A1 (zh) 图像处理方法、装置、电子设备和可读存储介质
Knecht et al. A framework for perceptual studies in photorealistic augmented reality
Chen et al. Rapid creation of photorealistic virtual reality content with consumer depth cameras
JP2007272847A (ja) 照明シミュレーション方法及び画像合成方法
WO2022022260A1 (zh) 图像风格迁移方法及其装置
WO2018201663A1 (zh) 一种立体图形显示的方法、装置及设备
Bach et al. Vision-based hand representation and intuitive virtual object manipulation in mixed reality
US10902669B2 (en) Method for estimating light for augmented reality and electronic device thereof
Chen et al. View-dependent virtual reality content from RGB-D images