TW201724031A - 擴增實境方法、系統及電腦可讀取非暫態儲存媒介 - Google Patents

擴增實境方法、系統及電腦可讀取非暫態儲存媒介 Download PDF

Info

Publication number
TW201724031A
TW201724031A TW104143405A TW104143405A TW201724031A TW 201724031 A TW201724031 A TW 201724031A TW 104143405 A TW104143405 A TW 104143405A TW 104143405 A TW104143405 A TW 104143405A TW 201724031 A TW201724031 A TW 201724031A
Authority
TW
Taiwan
Prior art keywords
augmented reality
virtual
reference line
real
virtual object
Prior art date
Application number
TW104143405A
Other languages
English (en)
Other versions
TWI590189B (zh
Inventor
廖歆蘭
曹修銓
陳泰安
梁哲瑋
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW104143405A priority Critical patent/TWI590189B/zh
Priority to CN201511010572.9A priority patent/CN106910249A/zh
Application granted granted Critical
Publication of TW201724031A publication Critical patent/TW201724031A/zh
Publication of TWI590189B publication Critical patent/TWI590189B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

擴增實境方法包括：選擇相關於一真實環境的一虛擬格局；配置至少一虛擬物件在該虛擬格局中的一虛擬擺放位置；進行一座標系統之初始化與校正；以及於該校正座標系統中，顯示擴增實境。

Description

擴增實境方法、系統及電腦可讀取非暫態儲存媒介
本案有關於一種擴增實境方法、系統及電腦可讀取非暫態儲存媒介。
透過實體宅妝，看屋者能看到屋內傢俱擺置情況，使得房屋成交率能被提高，並藉此瞭解消費者的喜好。自從擴增實境(Augment Reality,AR)被提出後，設計業者/廠商將設計風格及虛擬傢俱即時上傳到擴增實境平台，讓消費者可以在行動智慧裝置上看到虛擬傢俱與實體房屋物件的結合。
目前，以擴增實境的應用而言，組合式傢俱(ready-to-assemble furniture)市場持續增長。如可提高互動式擺設友善性和即時預視效果的話，可以加速成交。
故而，如何讓使用者可以編輯及快速預覽擴增實境整體搭配效果，以進行適當的擴增實境展示，是此領域的重點之一。
本案係有關於一種擴增實境方法、系統及電腦可讀 取非暫態儲存媒介，基於深度資訊來校正擴增實境的初始座標系統。
根據本案一實施例，提出一種擴增實境方法。選擇相關於一真實環境的一虛擬格局。配置至少一虛擬物件在該虛擬格局中的一虛擬擺放位置。進行一座標系統之初始化與校正。於該校正座標系統中，顯示擴增實境。
根據本案另一實施例，提出一種擴增實境系統，包括：一三維感測單元；一影像擷取單元；以及一擴增實境應用模組，該三維感測單元的一感測結果與該影像擷取單元所擷取的一影像傳送給該擴增實境應用模組。回應於一使用者選擇，該擴增實境應用模組選擇相關於一真實環境的一虛擬格局。該擴增實境應用模組配置至少一虛擬物件在該虛擬格局中的一虛擬擺放位置。該擴增實境應用模組進行一座標系統之初始化與校正。於該校正座標系統中，該擴增實境應用模組顯示擴增實境。
根據本案又一實施例提出一種電腦可讀取非暫態儲存媒介，當被一電腦讀取時，該電腦執行如上之擴增實境方法。
為了對本案之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：
110-140‧‧‧步驟
210-240‧‧‧步驟
310-330、310’-330’‧‧‧虛擬物件
M‧‧‧虛擬擴增實境標記
L‧‧‧虛擬參考線
M’‧‧‧真實擴增實境標記
L’‧‧‧真實參考線
410-455‧‧‧步驟
510-550‧‧‧步驟
1000‧‧‧擴增實境系統
1010‧‧‧三維感測單元
1015‧‧‧重力感測單元
1020‧‧‧影像擷取單元
1030‧‧‧擴增實境應用模組
1040‧‧‧顯示單元
第1圖顯示根據本案一實施例之擴增實境(AR)方法之流程圖。
第2圖顯示根據本案另一實施例之擴增實境(AR)方法之流程圖。
第3A圖顯示根據本案一實施例之虛擬格局擺設示意圖。
第3B圖顯示根據本案一實施例之虛擬參考線L之示意圖。
第3C圖顯示根據本案一實施例之真實參考線L’之示意圖。
第3D圖顯示根據本案一實施例之擴增實境系統所顯示的擴增實境。
第4圖顯示根據本案一實施例之座標系統初始化與校正架構之流程圖。
第5圖顯示根據本案一實施例之Z軸參考點距離估測的流程。
第6圖為快速行進法影像修復技術的原理圖。
第7圖顯示根據本案一實施例之視角校正之示意圖。
第8圖顯示根據本案一實施例真實參考線長度估算之示意圖。
第9圖顯示根據本案一實施例所建立的座標系統的一例。
第10圖顯示根據本案實施例之擴增實境系統之功能方塊圖。
本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特 徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。
第1圖顯示根據本案一實施例之擴增實境(AR)方法之流程圖。第1圖之擴增實境(AR)方法可應用於擴增實境系統中。於步驟110中，使用者選擇相關於所處真實環境的虛擬格局。亦即，回應於一使用者選擇，擴增實境系統選擇相關於一真實環境的虛擬格局。舉例來說，假設使用者想要在房間內操作擴增實境系統來預覽傢俱的擺放配置的話，則使用者可以在擴增實境系統上操作，來選擇適合目前所處房間的一虛擬格局(例如房間形狀、房間功能、設計風格等)。在本案一實施例中，擴增實境系統與方法可由行動智慧裝置(例如但不受限於，智慧型手機、平板電腦等)或頭戴式裝置(包括顯示器)來完成。
於步驟120中，由擴增實境系統來配置至少一虛擬物件在該虛擬格局中的虛擬擺放位置，其中可以由使用者操作來輸入或由其他的輸入模式來輸入。在此，虛擬物件例如但不受限於，傢俱、家飾等。詳細地說，於步驟120中，根據使用者選擇之虛擬格局(此虛擬格局相關於所處真實環境)，擴增實境系統從擴增實境系統內的資料庫中選擇適合的至少一虛擬物件，來將所選的至少一虛擬物件擺放於使用者所選虛擬格局中。
於步驟130中，進行座標系統初始化與校正。步驟130的細節將於底下說明之。
於步驟140中，於校正後的座標系統上，顯示擴增 實境於裝置的顯示單元上。
第2圖顯示根據本案另一實施例之擴增實境(AR)方法之流程圖。第2圖之步驟210、220、230與240相同或相似於第1圖之步驟110、120、130與140。
在步驟210中，使用者選擇相關於所處真實環境的虛擬格局。
於步驟215中，擴增實境系統顯示使用者所選的虛擬格局於互動式介面上。
於步驟220中，使用者操作擴增實境系統的互動式介面(亦即，回應於互動式介面之操作)，以配置在真實環境中的虛擬物件的虛擬擺放位置。在此，以平面圖來顯示虛擬物件的虛擬擺放位置。在本案一實施例中，平面圖由所選擇的虛擬格局和虛擬物件構成。平面圖可為透視圖法所構成之佈局，包括但不限於下列之一或其任意組合：鳥瞰圖、平行透視圖、二點透視圖、斜角投影圖等。虛擬格局可以幾何圖形來表現之。虛擬物件可由擴增實境系統內的一虛擬物件資料庫中選擇，或由使用者自訂。使用者可在互動式介面上，以拖曳或點選等操作方式來擺設虛擬物件的虛擬擺放位置。第3A圖顯示根據本案一實施例之虛擬格局擺設示意圖。在第3A圖中，物件310-330代表虛擬物件。使用者可在互動式介面上配置及/或改變虛擬物件310-330的虛擬擺放位置。
在本案實施例中，互動式介面之功能更包括參考值 設定。參考值設定係指平面圖參考物與真實環境之間的對應關係的設定。互動式介面可自動指定平面圖中之任一或一個以上的虛擬物件為參考物。前述對應關係為所指定之平面圖參考物與真實環境資訊之間的比對、校準、與設定；其中真實環境資訊由一個或多個感測器取得，真實環境資訊包括但不限於影像訊號與深度資訊等。
於步驟222中，擴增實境系統提示使用者於所選虛擬格局中選擇座標初始化與校正所用之虛擬參考線。擴增實境系統產生提示信號給使用者，回應於使用者選擇，擴增實境系統在所選虛擬格局中選擇座標初始化與校正所用之虛擬參考線。在使用者選擇好虛擬參考線後，擴增實境系統開啟行動智慧裝置之三維感測單元和其他相關感測器(例如但不受限於，相機、重力感測單元(g-sensor)、陀螺儀等)來偵測相對應之真實參考線(步驟224)，在本案一實施例中，三維感測單元例如為三維深度感測單元。
在本案實施例中，虛擬參考線定義為，在平面圖中，從虛擬擴增實境標記(marker)M延伸至使用者所選虛擬格局的邊界(通常為牆面)之線段。第3B圖顯示根據本案一實施例之虛擬參考線L之示意圖，此虛擬參考線L由虛擬擴增實境標記M延伸至虛擬格局邊界。虛擬參考線L之長度乃為已知。亦即，由於已知使用者所選虛擬格局的尺寸且虛擬擴增實境標記M位在此虛擬格局的中央或其他位置，故而，可以得知虛擬參考線L之長度。 在本案一實施例中，可以由互動式介面來指定虛擬擴增實境標記M的位置。
至於相對應於此虛擬參考線的真實參考線則是，放置在真實環境中的真實擴增實境標記M’延伸至此真實環境的邊界(通常為牆面)之線段。第3C圖顯示根據本案一實施例之真實參考線L’之示意圖，此真實參考線L’由真實擴增實境標記M’延伸至真實環境的邊界。
舉例來說，真實擴增實境標記M’可以是一已知尺寸之真實物件，例如一張A4大小的白紙，放置在使用者所處真實環境的中央位置(舉例，但不受限於中央位置)。因此擴增實境系統須成功地偵測到真實擴增實境標記M’和真實環境的邊界。
然而，在實務上，被持在使用者手上的行動智慧裝置難免會有視角偏差或位移。故而，在本案一實施例中，如果行動智慧裝置有視角偏差或位移，則根據深度資訊進行座標系統初始化與校正(步驟230)以估測真實參考線L’之長度，進而推算出平面圖裡的虛擬物件在真實環境中的虛擬擺放位置，以供使用者體驗擴增實境內容。
於步驟235中，虛擬物件的縮放比例可藉由三維感測單元和其他相關感測器(例如但不受限於，相機、重力感測單元、陀螺儀等)所偵測之真實環境資訊推算。而虛擬物件在真實環境中的相對位置，可根據虛擬參考線L之長度與真實參考線L’之長度之間的比值推算。從上述說明可以得知，本案實施例已知 虛擬參考線L之長度，也已可偵測出真實參考線L’之長度，可根據虛擬參考線L之長度與真實參考線L’之長度之間的比值來得到縮放比例，此縮放比例可套用至所有虛擬物件在真實環境中的虛擬擺放位置。
於步驟240中，顯示擴增實境於擴增實境系統上。第3D圖顯示顯示根據本案一實施例之擴增實境系統所顯示的擴增實境。舉例來說，為方便解釋，假設第3A圖的虛擬物件310與虛擬格局邊界之距離為A。經過縮放比例調整後，第3D圖所顯示出的虛擬物件310’與真實環境邊界的距離為A*(L’/L)。
如第3D圖所示，使用者在行動智慧裝置的螢幕上可以看到虛擬物件310’、320’與330’在真實環境中的擺放。
在顯示擴增實境時，可持續追蹤使用者的行動智慧裝置的位置及相機角度，以持續校正所顯示的擴增實境。
現將說明本案實施例如何進行座標系統初始化與校正。第4圖顯示根據本案一實施例之座標系統初始化與校正架構之流程圖。
於步驟410中，利用三維感測單元取得深度資訊。例如，利用三維深度感測技術來取得深度資訊，三維深度感測技術舉例包含但不限於超音波感測、時差測距(ToF，Time-of-Flight)、結構光源(structured lighting)、和立體視覺法(stereo vision)等。本案實施例以時差測距技術取得深度資訊為例做說明，藉由對深度資訊進行前處理，以估測Z-軸參考點距離並 利於座標系統初始化與校正。
於步驟420中，擷取環境影像。步驟420例如但不受限於是，由行動智慧裝置的相機所執行。於步驟425中，偵測位移資訊。步驟425例如但不受限於是，由行動智慧裝置的重力感測單元所執行，來偵測此行動智慧裝置的位移資訊。
於步驟430中，進行Z值前處理。步驟430的Z值前處理可根據步驟410所取得的深度資訊、步驟420所擷取的環境影像與步驟425所取得的位移資訊，其細節將於底下說明之。
於步驟435中，進行參考點前處理。步驟435的參考點前處理可根據步驟410所取得的深度資訊、步驟420所擷取的環境影像與步驟425所取得的位移資訊，其細節將於底下說明之。
於步驟440中，根據步驟430的Z值前處理結果與步驟435的參考點前處理結果來估測距離。所估測的距離例如是真實參考線的長度等。步驟440的細節將於底下說明之。
於步驟445，建立一座標系統。於步驟450中，擺放虛擬物件於所建立的座標系統中。
於步驟455中，進行座標系統初始化與校正。
於進行座標系統初始化時，可導入距離回推與縮放比例換算，並求得座標系統轉換矩陣。
在進行距離回推時，可利用三維感測單元所感測到的深度資訊以及相機所擷取的影像訊號估測真實參考線的長度 以輔助定位，或以藍芽訊號、無線射頻、可見光通訊訊號等輔助定位。距離回推包含但不限於，雜訊處理、參考點定位、距離回推矩陣運算、及容錯控制等。
縮放比例換算基於已知值與比例係數，將已知座標系統中的物件大小及物件間相對關係依照比例係數來縮放至所對應之大小與相對關係。
座標系統轉換矩陣包括但不限於繪圖座標、虛擬三維模型座標、相機座標、三維感測單元座標、及世界座標等該些座標系統之間的轉換。
於進行座標系統校正時，可利用相機、重力感測單元、陀螺儀、與三維感測單元等所取得的資訊。另外，進行座標系統校正所用的虛擬三維模型包括但不限於虛擬物件的擺設座標和三維模型渲染效果設定。
於座標系統校正時，可整合該些感測器所偵測/擷取到的資訊，相互比對資訊的一致性，以推算誤差值，並利用誤差值推算結果來修改原輸出結果。
第5圖顯示根據本案一實施例之Z軸參考點距離估測的流程。在本案實施例中，為了使用圖像修復技術來修補由時差測距方法所感測到之深度資訊，將步驟410所取得的深度資訊轉化為二維灰階圖像，以視覺化呈現當前場景之遠近(距離)關係。分別以三維感測單元之最遠與最近感測距離極限為基準，將所測得的距離轉換成浮點數(位於0.0~1.0區間)，再映射至介於 0-255之間的灰階值(步驟520)。其中，對於感測距離不在可信範圍(由估測程序設定)內的深度資訊將被裁減為待修復區域(步驟510)，待修復區域包含被裁減的深度資訊以及感測器因物件邊緣或材質問題而造成的回傳值(深度資訊)缺失等情形。
三維與二維資訊映射(步驟520)，在一實施例中但不以此為限，將三維感測單元所偵測之深度資訊與最遠感測距離極限相除，轉換成浮點數，再以此轉換結果乘上255並下取整數，映設為灰階值。假設所測得之深度資訊為d，最遠感測距離極限為dMAX，則其所映射的灰階值為。以此式對偵測取得之所有深度資訊進行運算，可得二維資訊映設結果。
二維影像修復(步驟530)可採用快速行進法(Fast Marching Method)的影像修復技術，第6圖為快速行進法影像修復技術的原理圖。將二維影像分為像素區域ε與待修復區域Ω，假設待修復區域Ω之輪廓為δΩ，修補時由外至內逐圈將像素輪廓δΩ修補完成。
對於每個δΩ中的待修復像素點p，其像素值由公式(1)決定：
其中B i (p) ε為以p為中心在給定半徑內的像素區域點群，I(．)為輸出像素值，▽I(．)為梯度值函數。w(p,q)為Bi(p)中像素點q對待修復像素點p之權重，w(p,q)由公式(2)中的三個 因子決定：w(p,q)=dir(p,q)．dst(p,q)．lev(p,q) (2)
方向因子dir(p,q)代表愈靠近待修復像素點p切線方向之法向量權重愈大，方向因子dir(p,q)如公式(3)：
幾何距離因子dst(p,q)代表愈靠近待修復像素點p的權重愈大，幾何距離因子dst(p,q)如公式(4)：
水平集距離因子lev(p,q)則代表愈靠近輪廓線δΩ的權重愈大，水平集距離因子lev(p,q)如公式(5)所示：
其中d0為幾何距離參數，T代表像素點到δΩ的距離，T0為水平集參數。使用影像修復技術可降低步驟510中被裁減的深度資訊中的像素值缺失的情況。
視角校正(步驟540)如第7圖所示。第7圖的左圖示意常見的視角偏差，其中M’代表為已知大小和形狀之真實擴增實境標記(例如是A4的圖像)，r’表示偵測到的Z-軸參考點距離(即牆面，用以對應虛擬格局邊界)。當使用者站在偏離真實擴增實境標記M’的位置(y軸旋轉)並以自然手持習慣將設備前傾(x軸旋轉)感測時，所偵測到的r’長於理想Z軸參考點距離r(r代表使用者與理想Z軸參考點之間的距離)，這將影響座標系統建立(步驟445) 與物件擺放(步驟450)的精準度。為減少距離估測誤差(由視角偏差所造成)影響真實參考線L’的長度的推算，利用投影轉換矩陣(projective transformation matrix)R將前述影像修復結果圖轉正，如第7圖的右圖所示。
藉由擴增實境標記識別技術來偵測真實擴增實境標記M’的邊緣與頂點，並以所擷取影像的形變結果(如第7圖左之真實擴增實境標記，其例如是A4圖像的形變結果)和理想形狀(如第7圖右之真實擴增實境標記M’理想形狀，例如等腰梯形)反推出投影轉換矩陣R，如式(6)所示：
為旋轉矩陣(rotation matrix)，定義圖形的旋轉與縮放程度。
為轉譯向量(translation vector)，定義各點的位移程度。
[c 31 c 32]為投影向量(projection vector)，定義透視失真程度。
透過投影轉換矩陣R將影像修復結果上的各點轉正，即可模擬使用者站在真實擴增實境標記的中點時的視角。此時，偏離情況已被修正至與真實擴增實境標記中點對應的Z-軸參考點，其距離為r”(如第7圖的右圖所示)。接著利用重力感測單 元或陀螺儀等所感測到的角位移資訊計算來行動智慧裝置的前傾角度θ，以r”cos θ為理想Z-軸參考點距離(步驟550)。
至於距離估測單元440估算真實參考線L’之長度如第8圖所示。於第8圖中，參數X表示真實參考線L’之長度(即真實擴增實境標記M’至牆面之距離)。由第8圖可知x=r-dr，其中，行動智慧裝置(由使用者所持)至真實擴增實境標記M’之水平距離dr可表示為。由於前述程序已偵測到真實擴增實境標記M’的位置，因此可取該位置之深度值做為行動智慧裝置(由使用者所持)至真實擴增實境標記M’之距離dm。而行動智慧裝置至牆角的距離s則需先透過邊緣偵測演算法定位出交界處，再取其深度值做為距離s。
整體而言，在本案實施例中，z值前處理(亦即，深度資訊前處理)和參考點前處理可以相輔相成推算出真實參考線L’之長度。步驟430的z值前處理(深度資訊前處理)包含深度資訊之裁減(步驟510)、映射(步驟520)、修復(步驟530)、視角校正運算(步驟540)與得到z軸參考點距離(步驟550)等。步驟435的參考點前處理包含感測器訊號處理(如影像視角校正運算)、擴增實境標記偵測、邊緣偵測和角位移資訊輸出等。當然，真實參考線L’之長度推算的方法、程序、資訊和訊號來源不以此實施例所揭露內容為限。
於取得真實參考線L’之長度(步驟440)後，依照縮放比例，從使用者所選虛擬格局來推算出使用者所處真實環境的 大略尺寸，據以建立座標系統(步驟445)。
第9圖顯示根據本案一實施例所建立的座標系統的一例。如第9圖所示，長30英呎、寬15英呎、高10英呎之立方體空間模型(舉例而言，當知本案並不受限於此)是依照所偵測出的真實參考線的長度和所選虛擬格局經比例推算而得，而此比例亦可用以換算出平面圖中的虛擬物件(如第3A圖之虛擬物件310-330)與座標系統原點的相對位置(即虛擬物件質心的座標)，以完成座標系統初始化與校正。在建立出座標系統後，即可決定虛擬物件的擺放位置(如第9圖所示)。
本案另一實施例揭露擴增實境系統，可執行於電子裝置上。電子裝置例如但不受限於行動智慧裝置與頭戴式裝置。第10圖顯示根據本案實施例之擴增實境系統之功能方塊圖。擴增實境系統1000至少包括：三維感測單元1010、重力感測單元1015、影像擷取單元1020、擴增實境應用模組1030與顯示單元1040。三維感測單元1010與重力感測單元1015的感測結果與影像擷取單元1020所擷取的影像可傳送給擴增實境應用模組1030。重力感測單元1015用以感測位移資訊，也可稱為位移感測單元。當擴增實境應用模組1030被執行時，該電子裝置可執行上述的擴增實境方法，並將擴增實境顯示於顯示單元1040上。擴增實境應用模組1030可為硬體電路或軟體來實施。擴增實境應用模組1030可由一積體電路或一處理單元來實施。後續擴增實境內容之呈現則可仰賴即時定位技術找出使用者在真實環境 中的座標與偵測出相機視角，以正確貼合虛擬物件至指定位置中、實現環景擴增實境的體驗感。
本案另一實施例揭露電腦可讀取非暫態儲存媒介，其內儲存有上述的擴增實境方法。
本案實施例基於深度資訊來校正擴增實境的初始座標系統，以期解決，當將平面圖轉換至虛擬三維模型時，如何找出環景擴增實境內容之比例縮放和如何找出座標系統轉換矩陣的問題。由上述實施例內容可知，本案實施例利用三維感測單元搭配其他技術，可簡易地設定虛擬參考線及偵測真實參考線之長度。更輔以互動式介面，使使用者可編輯與預覽擴增實境體驗內容。本案實施例可讓使用者立即體驗整體配置效果，增加使用者的體驗。
本案實施例利用三維感測單元取得深度資訊，並將深度資訊結合於真實擴增實境標記，以找出比例轉換關係。如此一來，使用者可以擴增實境預覽其在互動式介面上的整體擺設設計，增加使用者經驗。
綜上所述，雖然本案已以實施例揭露如上，然其並非用以限定本案。本案所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準。
210-240‧‧‧步驟

Claims (19)

  1. 一種擴增實境方法，包括：選擇相關於一真實環境的一虛擬格局；配置至少一虛擬物件在該虛擬格局中的一虛擬擺放位置；進行一座標系統之初始化與校正；以及於該校正座標系統中，顯示擴增實境。
  2. 如申請專利範圍第1項所述之擴增實境方法，更包括：顯示所選的該虛擬格局於一互動式介面上；以及回應於該互動式介面之一操作，配置在該真實環境中的該至少一虛擬物件的該虛擬擺放位置，其中，以一平面圖來顯示該至少一虛擬物件的該虛擬擺放位置。
  3. 如申請專利範圍第2項所述之擴增實境方法，其中，該平面圖包括該虛擬格局和該至少一虛擬物件；該平面圖由透視圖法所構成，包括下列之一或其任意組合：一鳥瞰圖、一平行透視圖、一二點透視圖與一斜角投影圖；該虛擬格局以一幾何圖形來表現；以及該至少一虛擬物件由該互動式介面從一虛擬物件資料庫中選擇，或者由一使用者自訂。
  4. 如申請專利範圍第3項所述之擴增實境方法，更包括：提示以選擇一虛擬參考線，以及於選擇該虛擬參考線後，開啟至少一三維感測單元以偵測相 對應之一真實參考線；其中，該虛擬參考線從一虛擬擴增實境標記延伸至該虛擬格局的一邊界，該虛擬參考線之一長度為已知；以及該真實參考線從放置在該真實環境中的一真實擴增實境標記延伸至該真實環境的一邊界。
  5. 如申請專利範圍第4項所述之擴增實境方法，於偵測該真實參考線後，進行該座標系統之初始化；其中，如果存在一視角偏差或一位移，則校正該座標系統，以估測該真實參考線之一長度，進而推算出該平面圖的該至少一虛擬物件在該真實環境中的該虛擬擺放位置。
  6. 如申請專利範圍第5項所述之擴增實境方法，更包括：於進行該座標系統之初始化與校正後，推算該至少一虛擬物件的一縮放比例，並轉換該至少一虛擬物件在該真實環境中的一相對位置，其中，根據該虛擬參考線之該長度與該真實參考線之該長度之間的一比值來得到該相對位置。
  7. 如申請專利範圍第6項所述之擴增實境方法，其中，進行該座標系統之初始化與校正之該步驟包括：取得一深度資訊；擷取一環境影像； 取得一位移資訊；根據該深度資訊、該環境影像與該位移資訊，進行Z值前處理與參考點前處理；根據一Z值前處理結果與一參考點前處理結果，估測該真實參考線的該長度；建立一座標系統；以及擺放該至少一虛擬物件於所建立的該座標系統中。
  8. 如申請專利範圍第7項所述之擴增實境方法，其中，估測該真實參考線的該長度之該步驟包括：裁減該深度資訊；對三維資訊與二維資訊進行映射；修復二維影像；校正視角；以及取得Z軸參考點距離，其中，於取得該真實參考線之該長度後，依照該縮放比例，從所選的該虛擬格局來推算出該真實環境的尺寸，據以建立該座標系統。
  9. 如申請專利範圍第1項所述之擴增實境方法，更包括：在顯示擴增實境時，持續追蹤一位置及一相機角度，以持續校正所顯示的擴增實境。
  10. 一種擴增實境系統，包括：一三維感測單元； 一影像擷取單元；一位移感測單元；以及一擴增實境應用模組，該三維感測單元的一感測結果、該影像擷取單元所擷取的一影像與該位移感測單元的一位移資訊傳送給該擴增實境應用模組，該擴增實境應用模組執行：回應於一使用者選擇，選擇相關於一真實環境的一虛擬格局；配置至少一虛擬物件在該虛擬格局中的一虛擬擺放位置；進行一座標系統之初始化與校正；以及於該校正座標系統中，顯示擴增實境。
  11. 如申請專利範圍第10項所述之擴增實境系統，其中，該擴增實境應用模組：將所選的該虛擬格局顯示於一互動式介面上；以及回應於該互動式介面之一操作，配置在該真實環境中的該至少一虛擬物件的該虛擬擺放位置，其中，以一平面圖來顯示該至少一虛擬物件的該虛擬擺放位置。
  12. 如申請專利範圍第11項所述之擴增實境系統，其中，該平面圖包括該虛擬格局和該至少一虛擬物件；該平面圖由透視圖法所構成，包括下列之一或其任意組合：一鳥瞰圖、一平行透視圖、一二點透視圖與一斜角投影圖； 該虛擬格局以一幾何圖形來表現；以及該至少一虛擬物件由該互動式介面從一虛擬物件資料庫中選擇，或者由一使用者自訂。
  13. 如申請專利範圍第12項所述之擴增實境系統，其中，該擴增實境應用模組：產生一提示信號；回應於一使用者選擇，選擇一虛擬參考線，以及於選擇該虛擬參考線後，開啟該三維感測單元以偵測相對應之一真實參考線；其中，該虛擬參考線從一虛擬擴增實境標記延伸至該虛擬格局的一邊界，該虛擬參考線之一長度為已知；以及該真實參考線從放置在該真實環境中的一真實擴增實境標記延伸至該真實環境的一邊界。
  14. 如申請專利範圍第13項所述之擴增實境系統，其中，如果存在一視角偏差或一位移的話，該擴增實境應用模組進行該座標系統之初始化與校正，以估測該真實參考線之一長度，進而推算出該平面圖的該至少一虛擬物件在該真實環境中的該虛擬擺放位置。
  15. 如申請專利範圍第14項所述之擴增實境系統，其中，該擴增實境應用模組：於進行該座標系統之初始化與校正後，推算該至少一虛擬物 件的一縮放比例，並轉換該至少一虛擬物件在該真實環境中的一相對位置，其中，根據該虛擬參考線之該長度與該真實參考線之該長度之間的一比值來得到該相對位置。
  16. 如申請專利範圍第15項所述之擴增實境系統，其中，在進行該座標系統之初始化與校正時，該擴增實境應用模組：取得一深度資訊；擷取一環境影像；取得一位移資訊；根據該深度資訊、該環境影像與該位移資訊，進行Z值前處理與參考點前處理；根據一Z值前處理結果與一參考點前處理結果，估測該真實參考線的該長度；建立一座標系統；以及擺放該至少一虛擬物件於所建立的該座標系統中。
  17. 如申請專利範圍第16項所述之擴增實境系統，其中，在估測該真實參考線的該長度時，該擴增實境應用模組：裁減該深度資訊；對三維資訊與二維資訊進行映射；修復二維影像；校正視角；以及取得Z軸參考點距離， 其中，於取得該真實參考線之該長度後，依照該縮放比例，從所選的該虛擬格局來推算出該真實環境的尺寸，據以建立該座標系統。
  18. 如申請專利範圍第10項所述之擴增實境系統，其中，該擴增實境應用模組：在顯示擴增實境時，持續追蹤一位置及一相機角度，以持續校正所顯示的擴增實境；該擴增實境應用模組由一積體電路或一處理器所實施。
  19. 一種電腦可讀取非暫態儲存媒介，當被一電腦讀取時，該電腦執行如申請專利範圍第1項所述之擴增實境方法。
TW104143405A 2015-12-23 2015-12-23 擴增實境方法、系統及電腦可讀取非暫態儲存媒介 TWI590189B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW104143405A TWI590189B (zh) 2015-12-23 2015-12-23 擴增實境方法、系統及電腦可讀取非暫態儲存媒介
CN201511010572.9A CN106910249A (zh) 2015-12-23 2015-12-29 增强现实方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104143405A TWI590189B (zh) 2015-12-23 2015-12-23 擴增實境方法、系統及電腦可讀取非暫態儲存媒介

Publications (2)

Publication Number Publication Date
TW201724031A true TW201724031A (zh) 2017-07-01
TWI590189B TWI590189B (zh) 2017-07-01

Family

ID=59206090

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104143405A TWI590189B (zh) 2015-12-23 2015-12-23 擴增實境方法、系統及電腦可讀取非暫態儲存媒介

Country Status (2)

Country Link
CN (1) CN106910249A (zh)
TW (1) TWI590189B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI679555B (zh) * 2017-10-12 2019-12-11 華碩電腦股份有限公司 擴增實境系統以及提供擴增實境之方法
TWI700671B (zh) * 2019-03-06 2020-08-01 廣達電腦股份有限公司 電子裝置及擴增實境之三維物件的尺寸調整方法
TWI731430B (zh) * 2019-10-04 2021-06-21 財團法人工業技術研究院 資訊顯示方法與資訊顯示系統

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742232A (zh) * 2017-08-21 2018-02-27 珠海格力电器股份有限公司 一种电器的选型方法、装置及终端
CN109685907A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的图像结合方法及***
CN108955723B (zh) * 2017-11-08 2022-06-10 北京市燃气集团有限责任公司 增强现实市政管网的校准方法
CN108154558B (zh) * 2017-11-21 2021-10-15 中电海康集团有限公司 一种增强现实方法、装置和***
CN108109208B (zh) * 2017-12-01 2022-02-08 同济大学 一种海上风电场增强现实方法
US10585294B2 (en) * 2018-02-19 2020-03-10 Microsoft Technology Licensing, Llc Curved display on content in mixed reality
CN108510596A (zh) * 2018-03-30 2018-09-07 北京华麒通信科技股份有限公司 一种室内分布***设计方法、装置、介质及设备
CN110769245A (zh) * 2018-07-27 2020-02-07 华为技术有限公司 一种校准方法及相关设备
CN109272454B (zh) * 2018-07-27 2020-07-03 阿里巴巴集团控股有限公司 一种增强现实设备的坐标系校准方法及装置
CN110825279A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 平面间无缝切换的方法、装置和计算机可读存储介质
CN110827411B (zh) * 2018-08-09 2023-07-18 北京微播视界科技有限公司 自适应环境的增强现实模型显示方法、装置、设备及存储介质
CN109561278B (zh) * 2018-09-21 2020-12-29 中建科技有限公司深圳分公司 一种增强现实的显示***及方法
TWI811292B (zh) * 2019-01-25 2023-08-11 信義房屋股份有限公司 可進行互動的攝影裝置與方法
CN109801341B (zh) * 2019-01-30 2020-11-03 北京经纬恒润科技有限公司 一种标定靶的位置校验方法及装置
CN110264818B (zh) * 2019-06-18 2021-08-24 国家电网有限公司 一种基于增强现实的机组进水阀拆装训练方法
TWI779305B (zh) 2020-06-24 2022-10-01 奧圖碼股份有限公司 使用擴增實境之投影機的設置模擬方法及其終端裝置
CN112308980B (zh) * 2020-10-30 2024-05-28 脸萌有限公司 增强现实交互显示方法及设备
CN114359524B (zh) * 2022-01-07 2024-03-01 合肥工业大学 一种基于反转增强现实的智能家具体验官***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
CN104508600B (zh) * 2012-07-27 2017-06-13 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
US20140132595A1 (en) * 2012-11-14 2014-05-15 Microsoft Corporation In-scene real-time design of living spaces
CN203950352U (zh) * 2014-02-19 2014-11-19 中国园林博物馆北京筹备办公室 基于增强现实的造园交互***
CN104899920B (zh) * 2015-05-25 2019-03-08 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备
TWM514072U (zh) * 2015-10-12 2015-12-11 Hsiao-Chen Lee 立體虛擬實境的互動房屋瀏覽系統

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI679555B (zh) * 2017-10-12 2019-12-11 華碩電腦股份有限公司 擴增實境系統以及提供擴增實境之方法
TWI700671B (zh) * 2019-03-06 2020-08-01 廣達電腦股份有限公司 電子裝置及擴增實境之三維物件的尺寸調整方法
US11010985B2 (en) 2019-03-06 2021-05-18 Quanta Computer Inc. Electronic device and method for adjusting size of three-dimensional object in augmented reality
TWI731430B (zh) * 2019-10-04 2021-06-21 財團法人工業技術研究院 資訊顯示方法與資訊顯示系統
US11467400B2 (en) 2019-10-04 2022-10-11 Industrial Technology Research Institute Information display method and information display system

Also Published As

Publication number Publication date
CN106910249A (zh) 2017-06-30
TWI590189B (zh) 2017-07-01

Similar Documents

Publication Publication Date Title
TWI590189B (zh) 擴增實境方法、系統及電腦可讀取非暫態儲存媒介
US11805861B2 (en) Foot measuring and sizing application
US10102639B2 (en) Building a three-dimensional composite scene
CN103718213B (zh) 自动场景校准
US10420397B2 (en) Foot measuring and sizing application
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
WO2022019975A1 (en) Systems and methods for reducing a search area for identifying correspondences between images
JP2020067978A (ja) 床面検出プログラム、床面検出方法及び端末装置
CN110599432B (zh) 影像处理***及影像处理方法
Wan et al. A study in 3d-reconstruction using kinect sensor
EP3189493B1 (en) Depth map based perspective correction in digital photos
TWI567473B (zh) 投影對準技術
CN105786166B (zh) 扩增实境方法与***
JP6579659B2 (ja) 光源推定装置及びプログラム
EP4186029A1 (en) Systems and methods for continuous image alignment of separate cameras
EP4186028A1 (en) Systems and methods for updating continuous image alignment of separate cameras
TWI691932B (zh) 影像處理系統及影像處理方法
US10339702B2 (en) Method for improving occluded edge quality in augmented reality based on depth camera
Yuan et al. 18.2: Depth sensing and augmented reality technologies for mobile 3D platforms
JP2016024728A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム