TWI631861B - 室內定位方法與系統及其室內地圖建立裝置 - Google Patents

Abstract

一種室內定位方法、室內定位系統及室內地圖建立裝置。本方法包括：將對應室內環境的環場影像轉換為多個透視影像，並擷取此些透視影像中的多個參考特徵點與此些參考特徵點的描述矩陣；以拍攝環場影像的拍攝位置為原點，記錄對應每一個透視影像的中心位置的多個三維參考座標值；根據此些三維參考座標值計算參考特徵點相對於原點的三維座標值，並將參考特徵點的三維座標值與參考特徵點的描述矩陣儲存為對應室內環境的室內地圖；以及根據室內地圖定位可攜式電子裝置於室內環境中相對於原點的三維目標座標值。

Description

室內定位方法與系統及其室內地圖建立裝置

本發明是有關於一種室內定位方法，且特別是有關於一種在室內環境下定位可攜式電子裝置的室內定位方法、室內定位系統及其室內地圖建立裝置。

隨著無線行動設備的日漸普及，越來越多使用者透過行動裝置完成生活上的各種活動，而各種無線上網環境也與之遽增。隨著無線環境的成熟，各個設備廠商也著重在無線環境的加值應用，其中一項就是以提供位置資訊的位置感知服務，透過位置感知服務，使用者可以獲得在其附近的各種資訊與服務，以迅速找到自己的目標。另一方面，對於商家或服務商而言，則希望可利用位置感知以在使用者在其營業場所內（例如，賣場、餐廳、停車場及百貨公司等）推送訊息（例如廣告）給使用者。基於上述需求，必須要有一種能夠在室內迅速定位及導航的室內定位導航系統，以利商家或服務商與使用者之間進行資料的交換。

目前的商用定位系統，例如全球定位系統（global positioning system，GPS）基本上是用於進行室外定位，其可以在信號良好的環境中達到較高的定位準確度以及較快的定位速度。由於衛星的信號在室內會大幅地衰減，從而導致這些室外定位系統較難應用於室內定位的情境中。而目前應用於室內的三維物體定位或三維物體追蹤技術亦受限於無法接收GPS訊號，而採用具有無線通訊功能(例如，藍芽、WIFI等)的使用者裝置發射訊號並根據訊號強度指標值來判別其與周遭物體的距離，或者將具有無線通訊功能的標籤配置於室內物件上，以利用近距離無線通訊技術通過無線電訊號讀寫相關數據並識別特定目標。然而，由於此些三維物體定位技術亦是基於訊號的接收與訊號強弱的判別來實現，因此也容易受限於環境的影響而導致訊號不穩定，進而影響三維物體定位的正確性。此外，無線射頻辨識功能事實上僅能透過標籤來識別特定的目標，而無法判別使用者裝置與周遭物體的距離，且標籤配置的多寡亦會受限於成本預算。

再者，利用基地台來進行定位也是一種常見的方法，例如，定位設備（例如使用者的行動裝置）可透過計算信號到達基地台的時間來計算出當前的位置。然而，由於這種方法的誤差可能高達數百公尺，因此同樣不適於應用在室內定位的情境中。

基於上述可知，基於無線網路的定位方式較適用於寬敞的室外或大型體育場等無障礙的室外空間，室內、走廊等建築物內的定位效果皆不好。並且，上述各種技術都較適用於平面定位，並無法達到精確的三維定位。顯然地，上述各種定位技術並無法滿足室內定位的需求，因此至今仍沒有一套可廣為大眾所使用的室內定位系統。

本發明提供一種室內定位方法、室內定位系統及其室內地圖建立裝置，在離線狀態下以電腦快速地建置室內地圖並上傳至伺服器端，且在連線狀態下以使用者端的可攜式電子裝置下載室內地圖，即可透過比對其可攜式電子裝置所擷取的即時影像與室內地圖來定位可攜式電子裝置，據此，不僅提升使用者即時獲得定位服務的品質與效率，更有效率地提供給使用者相應的資訊，進而提升使用者更方便的操作體驗。

本發明的一範例實施例提出一種室內定位方法，用於定位一可攜式電子裝置，所述室內定位方法包括：將對應一室內環境的環場影像轉換為多個透視影像，並擷取所述透視影像中的多個參考特徵點與此些參考特徵點的描述矩陣；以拍攝環場影像的拍攝位置為原點，記錄對應每一個透視影像的中心位置的多個三維參考座標值；根據此些三維參考座標值計算所述參考特徵點相對於所述原點的三維座標值，並將所述參考特徵點的三維座標值與所述參考特徵點的描述矩陣儲存為對應室內環境的室內地圖；以及根據所述室內地圖定位可攜式電子裝置於所述室內環境中相對於原點的三維目標座標值。

在本發明的一範例實施例中，所述以拍攝環場影像的拍攝位置為原點，記錄對應每一個透視影像的中心位置的三維參考座標值的步驟包括：取得每一個透視影像的中心位置的縱軸方向上與橫軸方向上的多個參考畫素，並將所述參考畫素的三維座標值記錄為三維參考座標值。

在本發明的一範例實施例中，所述每一個參考特徵點對應至其透視影像中的一特徵點畫素，且根據三維參考座標值計算所述一特徵點相對於原點的三維座標值的步驟包括：取得所述縱軸方向上對應所述特徵點畫素的第一參考畫素與所述橫軸方向上對應所述特徵點畫素的第二參考畫素；以及根據第一參考畫素的三維參考座標值與第二參考畫素的三維參考座標值計算所述特徵點畫素的三維座標值。

在本發明的一範例實施例中，所述建立室內地圖的操作是在離線模式中執行，且所述離線模式為與網際網路不連接的狀態。

在本發明的一範例實施例中，所述室內地圖儲存於一定位資料庫，且根據所述室內地圖定位可攜式電子裝置於室內環境中相對於原點的三維目標座標值的步驟包括：透過可攜式電子裝置取得即時影像，並擷取即時影像中的多個目標特徵點與此些目標特徵點的描述矩陣；比對所述參考特徵點的描述矩陣與所述目標特徵點的描述矩陣，且在所述參考特徵點的描述矩陣與所述目標特徵點的描述矩陣之間的差異值符合預設容忍值時，從定位資料庫中取出與所述目標特徵點的描述矩陣之間的差異值符合預設容忍值的參考特徵點的三維座標值；以及利用從所述定位資料庫中所取出的參考特徵點的三維座標值計算三維目標座標值與可攜式電子裝置的旋轉角度。

在本發明的一範例實施例中，所述定位可攜式電子裝置於室內環境中相對於原點的三維目標座標值的操作是在連線模式中執行，且連線模式為與網際網路相連接的狀態。在比對所述參考特徵點的描述矩陣與所述目標特徵點的描述矩陣之前的步驟更包括：透過網際網路判定可攜式電子裝置所在的室內環境，並下載對應所述室內環境的室內地圖至所述可攜式電子裝置。

本發明的一範例實施例提出一種室內定位系統，包括：攝影裝置、可攜式電子裝置，以及室內地圖建立裝置。其中所述攝影裝置用以拍攝對應室內環境的環場影像，且室內地圖建立裝置連接所述攝影裝置。所述室內地圖建立裝置包括：儲存裝置與處理器。所述儲存裝置儲存定位資料庫，而所述處理器耦接儲存裝置，且用以將環場影像轉換為多個透視影像，並擷取此些透視影像中的多個參考特徵點與此些參考特徵點的描述矩陣。處理器更用以拍攝環場影像的拍攝位置為原點，記錄對應每一個透視影像的中心位置的多個三維參考座標值。此外，處理器更用以根據此些三維參考座標值計算所述參考特徵點相對於原點的三維座標值，並將由所述參考特徵點的三維座標值與所述參考特徵點的描述矩陣所組成的對室內環境的室內地圖儲存至定位資料庫中。所述可攜式電子裝置用以根據室內地圖定位可攜式電子裝置於室內環境中相對於原點的三維目標座標值。

在本發明的一範例實施例中，所述處理器更用以取得每一個透視影像的中心位置的縱軸方向上與橫軸方向上的多個參考畫素，並將此些參考畫素的三維座標值記錄為所述三維參考座標值。

在本發明的一範例實施例中，所述每一個參考特徵點對應至其透視影像中的一特徵點畫素，且處理器更用以取得縱軸方向上對應所述特徵點畫素的第一參考畫素與橫軸方向上對應所述特徵點畫素的第二參考畫素。並且，處理器更用以根據所述第一參考畫素的三維參考座標值與所述第二參考畫素的三維參考座標值計算所述特徵點畫素的三維座標值。

在本發明的一範例實施例中，所述可攜式電子裝置更用以取得即時影像，並擷取此即時影像中的多個目標特徵點與此些目標特徵點的描述矩陣。所述可攜式電子裝置更用以透過網際網路判定可攜式電子裝置所在的室內環境，並下載對應此室內環境的室內地圖至可攜式電子裝置。所述可攜式電子裝置更用以比對所述參考特徵點的描述矩陣與所述目標特徵點的描述矩陣，且在所述參考特徵點的描述矩陣與所述目標特徵點的描述矩陣之間的差異值符合一預設容忍值時，從所述定位資料庫中取出與此些目標特徵點的描述矩陣之間的差異值符合所述預設容忍值的參考特徵點的三維座標值。並且，可攜式電子裝置更用以利用從定位資料庫中所取出的所述參考特徵點的三維座標值計算三維目標座標值與可攜式電子裝置的旋轉角度。

在本發明的一範例實施例中，所述處理器操作於離線模式中且所述可攜式電子裝置操作於連線模式，其中離線模式為與網際網路不連接的狀態，而連線模式為與網際網路相連接的狀態。

本發明的一範例實施例提出一種室內地圖建立裝置，其包括儲存裝置與處理器。儲存裝置儲存一定位資料庫與多個模組，處理器耦接至儲存裝置，載入並執行儲存於儲存裝置中的多個模組，且處理器操作於離線模式中。所述模組包括：輸入模組、影像處理模組、特徵擷取模組與運算模組。輸入模組用以接收對應室內環境的環場影像；影像處理模組用以將環場影像轉換為多個透視影像；特徵擷取模組用以擷取所述透視影像中的多個參考特徵點與此些參考特徵點的描述矩陣；以及運算模組用以以拍攝所述環場影像的拍攝位置為原點，記錄對應每一個透視影像的中心位置的多個三維參考座標值。此外所述運算模組更用以根據所述三維參考座標值計算所述參考特徵點相對於原點的三維座標值，並將由所述參考特徵點的三維座標值與所述參考特徵點的描述矩陣所組成的對應室內環境的室內地圖儲存至定位資料庫中。

在本發明的一範例實施例中，所述運算模組更用以取得每一個透視影像的中心位置的縱軸方向上與橫軸方向上的多個參考畫素，並將此些參考畫素的三維座標值記錄為所述三維參考座標值。

在本發明的一範例實施例中，每一個參考特徵點對應至其透視影像中的一特徵點畫素，且所述運算模組更用以取得縱軸方向上對應所述特徵點畫素的第一參考畫素與橫軸方向上對應所述特徵點畫素的第二參考畫素。並且運算模組更用以根據所述第一參考畫素的三維參考座標值與所述第二參考畫素的三維參考座標值計算所述特徵點畫素的三維座標值。

在本發明的一範例實施例中，所述離線模式為與網際網路不連接的狀態。

基於上述，上述範例實施例是藉由在離線模式中藉由僅記錄環場影像所展開之透視影像之中心位置的縱軸方向上與橫軸方向上的多個參考畫素的三維參考座標值的技術方案，達到有效地節省儲存裝置的記憶體空間，且提升取得透視影像中每一特徵點的三維座標的效能，進而快速地建置室內地圖。據此，可攜式電子裝置可在連線模式中快速地比對其自身所擷取的即時影像與室內地圖來定位使用者之可攜式電子裝置。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了提供使用者可以在室內環境中快速且方便地找到自己的目的地或目標物，以及提供業者可在室內環境中透過定位及導航功能與使用者之間進行資料交換的功能，本發明藉由離線分析所取得的360度環場影像(亦稱為全景影像)來建置室內地圖，並透過影像辨識技術比對使用者之可攜式電子裝置所擷取的畫面與室內地圖，進而定位使用者之可攜式電子裝置。由此使得可攜式電子裝置的定位並不受限於基於無線網路與空間障礙所導致的訊號不穩定與定位不正確的情況。基此，有效地提升使用者即時獲得定位服務的品質與效率。

圖1是根據本發明一實施例所繪示之室內定位系統的示意圖。請參照圖1，室內定位系統100包括室內地圖建立裝置200、攝影裝置110與可攜式電子裝置120。所述攝影裝置110例如是凸透鏡及單眼攝影機所組成的反射式攝影機(catadioptric camera)，然而，本發明並不限於此，例如，攝影裝置110可以是其他可以可拍攝出360度環場影像的全景攝影機(omni-directional camera)。可攜式電子裝置120可以是行動裝置、個人數位助理(Personal Digital Assistant，PDA)、平板電腦等，或是其他可使用無線通訊網路連接至網際網路102，並與室內地圖建立裝置200進行通訊與資料傳輸的電子裝置等。此外，網際網路102例如為無線保真(Wireless Fidelity，WiFi)網路或全球行動通信系統(Global System for Mobile，GSM)網路。然而，必須了解的是，網際網路102亦可以是其他合適的網路通訊協定，本發明不加以限制。

舉例而言，室內地圖建立裝置200會***作於一離線模式，並且室內地圖建立裝置200會從攝影裝置110接收環場影像，以根據環場影像來建置室內地圖；而可攜式電子裝置120會***作於一連線模式，以透過網際網路102從室內地圖建立裝置200下載室內地圖以進行對可攜式電子裝置120的定位操作，其中所述離線模式為與網際網路102不連接的狀態，而連線模式為與網際網路102相連接的狀態。必須了解的是，本範例以一個可攜式電子裝置為例進行說明，但本發明並不限於此。例如，室內定位系統100可包括更多個可攜式電子裝置，且各個可攜式電子裝置皆可進行定位計算以獲得自身於室內環境中的三維座標值。

圖2是根據本發明一實施例所繪示之室內地圖建立裝置的方塊圖。請參照圖2，室內地圖建立裝置200包括儲存裝置202以及處理器204。在本實施例中，室內地圖建立裝置200可以是具有運算功能的伺服器或電腦系統。

儲存裝置202可以是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、固態硬碟（Solid State Drive，SSD）或類似元件或上述元件的組合。在本實施例中，儲存裝置202用以儲存輸入模組210、影像處理模組220、特徵擷取模組230、運算模組240以及定位資料庫250等軟體程式。

處理器204係耦接至儲存裝置202。處理器204可以是具有單核心或多核心的中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）或其他類似元件或上述元件的組合。在本範例實施例中，處理器204用以存取並執行上述儲存裝置202中所記錄的輸入模組210、影像處理模組220、特徵擷取模組230、運算模組240以及定位資料庫250，藉以實現本發明實施例的室內定位方法。為了更清楚地描述本發明之室內定位系統100及其室內地圖建立裝置200與可攜式電子裝置120的運作，以下將參照圖1、圖2與圖3以一範例來進行說明。

圖3是根據本發明一實施例所繪示之室內定位方法的流程圖。請同時參照圖1~圖3，室內地圖建立裝置200的輸入模組210會從攝影裝置110接收一環場影像，並且在步驟S301中，影像處理模組220會將從輸入模組210所接收的環場影像轉換為多個透視影像，而特徵擷取模組230會擷取此些透視影像中的多個特徵點(feature points)(亦稱為參考特徵點)與此些參考特徵點的描述矩陣(descriptors)。

具體而言，環場影像可分為球體型全景影像、圓柱型全景影像與四方體全景影像，在本範例實施例中，攝影裝置110所拍攝的環場影像是屬於圓柱型全景影像。由於圓柱型全景影像可展開成僅有左右邊界有曲度變型的透視影像，因此採用圓柱型全景影像可以保留畫面大部分特徵點的原始狀態。

在本發明範例實施例中，是利用比對使用者之可攜式電子裝置120所擷取之即時影像的目標特徵點與轉換為透視影像後之環場影像的參考特徵點，進而根據比對到之相同的特徵點的三維座標來定位可攜式電子裝置120。由於可攜式電子裝置120所擷取的即時影像是採用笛卡兒座標系統(Cartesians Coordinate System)，而圓柱型全景影像是採用圓柱座標系統(Cylindrical Coordinate System)，因此，當對上述兩者進行比對時，會因其座標系統的不同，導致所計算出來的特徵點之個數與位置不會完全符合，而得到不準確的比對結果。此外，由於一個環場影像並無法直接轉換為一整張屬於笛卡兒座標系統的影像。據此，在上述步驟S301中，影像處理模組220會將所接收的環場影像轉換為多個透視影像。

圖4A~4D是根據本發明一實施例所繪示之將環場影像轉換為多個透視影像的示意圖。

請參照圖4A~4D，攝影裝置110所拍攝的環場影像400的中心點為攝影裝置110所在的拍攝位置，換言之，如圖4A所示，所述攝影裝置110的拍攝位置即為環場影像400的原點410。在本範例實施例中，如圖4B所示，影像處理模組220會將環場影像400切割成8張等寬的條狀透視影像400a~400h，而每張條狀的透視影像會涵蓋從圓柱型環場影像400的原點410所看到的45度水平視角(Field-of-View)。值得一提的是，本範例實施例中是基於市面上的行動裝置(例如，智慧型手機)的視角大約為45度，因此採用以45度水平視角作為切割標準，但本發明並不欲加以限制作為切割標準之水平視角的大小，例如，在另一範例實施例中，亦可視實際需求而將切割標準設為大於或小於45度的水平視角。

如上所述，由於可攜式電子裝置120所擷取的即時影像是採用笛卡兒座標系統，而圓柱型全景影像是採用圓柱座標系統，因此，圓柱型環場影像400展開為透視影像的過程中，會牽涉到兩個座標系統的轉換。如圖4C所示，以透視影像400a為例，轉換為笛卡兒座標系統後的透視影像400a的頂部與底部呈現一凹狀區域，此亦導致透視影像400a的左右邊界成為具有曲度變型的影像，例如，透視影像400a中會存在尚未填灰階顏色之畫素所構成的條狀線條(未繪示)，此稱為失真效應(Aliasing effect)。有鑑於此，在本發明範例實施例中，影像處理模組220會對透視影像400a進行影像處理以將上述尚未填灰階顏色之畫素所構成的條狀線條賦予其左右相鄰之畫素的平均值。

特別是，在本發明範例實施例中，影像處理模組220在將環場影像400轉換為多個透視影像的操作中會產生兩組對應環場影像400的展開透視影像420與展開透視影像420’(如圖4D所示)，其中展開透視影像420是將依照圖4B所示之切割角度切割而成得的透視影像400a~400h展開所獲得的，而展開透視影像420’是將與圖4B所示之切割角度相差22.5度的切割角度切割而成得的透視影像400i~400p展開所獲得的。藉由此兩組展開透視影像(即，展開透視影像420與展開透視影像420’)可改善每一個透視影像之左右邊界的曲度變型所造成的比對不精確問題，並增加後續對透視影像中特徵點之運算的準確性。例如，以透視影像400b為例，其左右邊界的曲度變型所造成的比對不精確問題，可利用透視影像400i與透視影像400j所產生的參考特徵點來彌補。

另外，在上述步驟S301中，特徵擷取模組230所執行之擷取透視影像400a~400h中的多個參考特徵點與此些參考特徵點的描述矩陣的操作，例如是採用BRIEF (Binary Robust Independent Elementary Features)、ORB (Oriented FAST and Rotated BRIEF)或BRISK (Binary Robust Invariant Scalable Keypoints)等以二位元字串作為描述矩陣向量的演算法來進行特徵擷取的操作。具體而言，BRIEF演算法是在特徵點之鄰近範圍內選取若干個畫素對，通過對這些畫素對的灰度值比較，以將比較的結果組合成一個二位元字串用來描述特徵點。並且，使用漢明距離(Hamming Distance)來計算特徵描述矩陣是否匹配。而ORB 演算法針對BRIEF演算法所獲的之特徵點不具旋轉不變性、尺度不變性及對雜訊敏感的缺陷進行改良，其對影像進行高斯模糊並產生尺度空間使特徵點具有尺度不變性，接著再對特徵點進行矩向量(Moment vector)運算，使得特徵點具備方向不變性，最後再對特徵點進行 BRIEF 特徵描述，讓所取得的特徵點具有旋轉不變性、尺度縮放不變性以及不易受雜訊干擾等優點。類似地，BRISK演算法亦是基於BRIEF所改良之其特徵點具有尺度不變性與旋轉不變性的演算法。

接著，在步驟S303中，運算模組240會以拍攝環場影像400的拍攝位置為原點410，記錄對應每一個透視影像400a~400h的中心位置的多個三維座標值(亦稱為三維參考座標值)。換言之，運算模組240所記錄的三維參考座標值是相對於原點410之三維座標值的相對座標位置。在此，所述之對應每一個透視影像400a~400h的中心位置的多個三維參考座標值指的是每一個透視影像400a~400h的中心位置的縱軸方向上與橫軸方向上的多個畫素(亦稱為多個參考畫素)所對應的座標值。

圖5是根據本發明一實施例所繪示之記錄對應透視影像之中心位置的多個三維參考座標值的示意圖。

請參照圖5，在本範例實施例中，以環場影像400所展開之透視影像400d為例，運算模組240會取得透視影像400d的中心位置500的縱軸方向502上與橫軸方向504上的多個參考畫素，並且僅記錄此些參考畫素的三維參考座標值。類似地，運算模組240亦會僅記錄其他透視影像(即，透視影像400a~400c、400e~400h)的中心位置500的縱軸方向502上與橫軸方向504上的多個參考畫素的三維參考座標值。由於運算模組240不需記錄每一個透視影像中所有畫素的三維座標值，因此可有效地節省儲存裝置202的記憶體空間。

特別是，在將圓柱型環場影像400展開為多個透視影像400a~400h的過程中，縱軸方向502上之參考畫素在座標系統轉換的操作中其三維參考座標值事實上並未改變，而橫軸方向504上之參考畫素在座標系統轉換的操作中僅有接近邊緣處的參考畫素略有變型。換言之，每一個透視影像的中心位置500的縱軸方向502上與橫軸方向504上的參考畫素，可視為透視影像中不會產生曲度變型的畫素，因此，運算模組240可進一步地藉由此些沒有產生曲度變型之畫素的三維座標值，透過線性內插法來推算特徵擷取模組230所擷取之透視影像中的多個參考特徵點的三維座標值。舉例而言，在步驟S305中，運算模組240會根據所述三維參考座標值計算參考特徵點相對於原點410的三維座標值，並將由參考特徵點的三維座標值與參考特徵點的描述矩陣所組成的對應室內環境的一室內地圖儲存至定位資料庫250中。在此，本發明範例實施例中所述的室內地圖是由具有三維座標值的特徵點及其描述矩陣所構成的，而此些特徵點的三維座標值是相對於原點410之三維座標值的相對座標位置。

圖6是根據本發明一實施例所繪示之根據透視影像中對應中心位置之三維參考座標值計算特徵點的三維座標值的示意圖。

詳言之，特徵擷取模組230從透視影像中所擷取之每一個參考特徵點皆屬於透視影像中的畫素，亦即，每一個參考特徵點會對應至其透視影像中的一個畫素(亦稱為特徵點畫素)。在此，仍以環場影像400所展開之透視影像400d為例來說明如何獲得特徵點的三維座標值。請參照圖6，在此假設透視影像400d中的特徵點畫素500a為特徵擷取模組230所擷取到的一個特徵點，則運算模組240會取得縱軸方向502上對應此特徵點畫素500a的參考畫素500b(亦稱為第一參考畫素500b)與橫軸方向504上對應此特徵點畫素500a的參考畫素500c(亦稱為第二參考畫素500c)，而第一參考畫素500b的三維參考座標值與第二參考畫素500c的三維參考座標值已在步驟S303中由運算模組240所記錄。據此，運算模組240可根據第一參考畫素500b的三維參考座標值與第二參考畫素500c的三維參考座標值快速地計算出特徵點畫素500a的三維座標值。

圖7A是根據本發明一實施例所繪示之圓柱座標系統與笛卡兒座標系統之對應關係的示意圖。圖7B是根據本發明一實施例所繪示之環場影像的俯視圖。圖7C是根據本發明一實施例所繪示之環場影像的側視圖。圖7D是根據本發明一實施例所繪示之圓柱座標系統之對稱性的示意圖。

請先參照圖7A~圖7C，圖7A繪示為上述範例實施例中環場影像400之圓柱座標系統與笛卡兒座標系統之對應關係，而圖7B與圖7C分別為環場影像400的俯視圖與側視圖，在此，以環場影像400展開後之透視影像400a為例進行說明，其中環場影像400上之圓柱座標(r ,θ,h )對應至環場影像400所展開之透視影像400a上之笛卡兒座標系統的三維座標(x ,y ,z )。而在本發明上述範例實施例的步驟S303中，運算模組240所記錄的每一個透視影像400a~400h中的多個三維參考座標值即是透過以下方程式(1)~方程式(3)而獲得的。

…方程式(1)

…方程式(2)

…方程式(3)

以下將參照圖7A~7D，詳細地說明本發明是如何推算出方程式(1)~方程式(3)。

請參照圖7A~圖7D，由於圓柱型環場影像400的周長即為其環場影像400的寬度，而圓周長的方程式為，其中c代表圓柱型環場影像400的周長。因此，圓柱座標(r ,θ , h)的輻射距離r 可以表示成以下方程式(4)。

…方程式(4)

接著，在本發明範例實施例中，假設圓柱座標系之方位角θ 的弧長為l ，而弧長的方程式為。因此，圓柱座標系之方位角θ 可以表示成以下方程式(5)。

…方程式(5)

特別是，基於圓柱的對稱性，因此，如圖7D所示，θ 的值會介於-22.5度與22.5度之間，亦即，-22.5˚＜θ ＜22.5˚。而如上所述，本發明範例實施例是採用以45度水平視角作為切割標準來將環場影像400切割成8張等寬的條狀透視影像400a~400h，據此，22.5˚所涵蓋的角度為每個條狀透視影像的一半。

之後，根據方程式(4)、(5)，並藉由標準的三角函式計算與線性比例關係，可進一步地計算出上述方程式(1)~(3)以獲得環場影像400之圓柱座標(r,θ , h)所對應的笛卡兒座標(x, y, z)。具體而言，在本範例實施例中，影像處理模組220將環場影像400轉換為透視影像400a的過程中，會依序地掃描對應至透視影像400a的環場影像400上的畫素以依序地對此些畫素進行座標的轉換，其中影像處理模組220的掃描順序為由左而右、由上而下。由於掃描順序為由左而右、由上而下，因此，笛卡兒座標(x ,y ,z )會以x 、y 、z 的順序被計算出來。

請再參照圖7B，圖7B中的L 為影像處理模組220掃描透視影像400a至角度β時，由座標原點至透視影像400a的距離，由於，因此，。接著，根據三角函數可以求得以下x的方程式(6)。

…方程式(6)。

此外，在本範例實施例中，每個透視影像400a~400h之中心線的夾角為45度，亦即，α=45˚，因此，方程式(6)可以改寫為，由此即得到上述的方程式(1)。應注意的是，方程式(1)中的n 表示為第n 個透視影像，例如，在此範例中，影像處理模組220是將環場影像400切割成8張等寬的條狀透視影像400a~400h，也就是說，第0個透視影像即為透視影像400a、第1個透視影像400b，並且以此類推，第2~7個透視影像即為透視影像400c~400h，換言之，在此範例實施例中，n =0, 1, 2 , 3, 4, 5, 6, 7。

同理，根據三角函數可以求得上述y 的方程式，即，方程式(2)。

最後，請再參照圖7C，根據z 與h 的線性比例關係可以求得上述z 的方程式(3)。由於，因此，，即，方程式(3)。

值得注意的是，在上述步驟S301~S305中，室內地圖建立裝置200是在離線模式中執行建置室內地圖的操作，並且所述室內地圖會被儲存於定位資料庫250中。藉此，可攜式電子裝置120的定位計算可由可攜式電子裝置120自行完成。具體而言，請再參照圖3，在步驟S307中，可攜式電子裝置120會根據在步驟S301~S305中所建立之室內地圖來定位可攜式電子裝置120於室內環境中相對於原點410的三維座標值(亦稱為三維目標座標值)。換言之，可攜式電子裝置120的姿態(即，可攜式電子裝置120的三維座標值與旋轉角度)不須透過伺服器端的室內地圖建立裝置200來計算。此外，本發明範例實施例中的室內地圖建立裝置200是透過離線分析所取得的360度環場影像來建置室內地圖，據此，本發明的技術相較於傳統上透過雷射反彈、點雲技術、訊號強度指標值、GPS等需搭配網際網路來建置室內外地圖的技術，不僅有效地節省建置室內地圖的運算資源，更提升室內地圖的準確性。

在本範例實施例中，可攜式電子裝置120會***作於一連線模式中，由此可攜式電子裝置120可不斷地取得當前的即時影像，並擷取即時影像中的多個特徵點(亦稱為目標特徵點)與此些目標特徵點的描述矩陣。應注意，在本發明範例實施例中，為了方便說明，因此將室內地圖建立裝置200從環場影像400所展開之透視影像400a~400h中所擷取的特徵點皆稱為參考特徵點，而可攜式電子裝置120從即時影像中所擷取的特徵點皆稱為目標特徵點。

具體而言，當使用者持著其可攜式電子裝置120且欲進入某個特定的室內環境(例如，便利商店)時，可攜式電子裝置120會透過網際網路102判定可攜式電子裝置120所在的室內環境，並從室內地圖建立裝置200下載對應此室內環境的室內地圖至可攜式電子裝置120。例如，可攜式電子裝置120是透過GPS得知使用者目前欲進入哪一個便利商店，以從伺服器端之室內地圖建立裝置200的定位資料庫250下載屬於此便利商店的室內地圖至使用者端的可攜式電子裝置120。

接著，可攜式電子裝置120會比對所述參考特徵點的描述矩陣與所述目標特徵點的描述矩陣，且在參考特徵點的描述矩陣與目標特徵點的描述矩陣之間的差異值符合一預設容忍值時，從定位資料庫250中取出與此些目標特徵點的描述矩陣之間的差異值符合預設容忍值的參考特徵點的三維座標值。舉例而言，利用BRISK演算法是以圓形環的結構方式繞著特徵點周圍來進行取樣的特性，可進而透過兩個取樣點之間的灰階值差異來計算特徵點的描述矩陣，此外，最內圈的取樣點比較值對於兩個特徵描述矩陣的相似度有決定性的影響，亦即，由最內圈至最外圈的取樣點比較值所對應的識別特性呈現由高至低，且描述矩陣中是依序地記錄最內圈至最外圈之取樣點比較值所對應的位元值。

承上，所述比對所述參考特徵點的描述矩陣與所述目標特徵點的描述矩陣的操作，是利用漢明距離以決定兩個描述矩陣的相似性，特別是，在本範例實施例中，可攜式電子裝置120是由內圈往外圈依序計算參考特徵點的描述矩陣與目標特徵點的描述矩陣之間的漢明距離，舉例而言，當可攜式電子裝置120判定兩個描述矩陣之目前圈內之位元組的漢明距離小於預設容忍值時，才會進一步計算下一圈(即，目前圈的下一個外圈)的兩個描述矩陣的相似性，例如，當參考特徵點之描述矩陣的每一圈位元值與目標特徵點之描述矩陣的每一圈位元值之間的差異值(即，漢明距離)皆符合預設容忍值時，可攜式電子裝置120會從定位資料庫250中取出與此些目標特徵點的描述矩陣之間的差異值符合預設容忍值的參考特徵點的三維座標值；否則，可攜式電子裝置120會判定兩個描述矩陣不相似且停止判斷此兩個描述矩陣之相似性的運算。

之後，可攜式電子裝置120即可利用從定位資料庫250中所取出的參考特徵點的三維座標值計算可攜式電子裝置120的三維目標座標值與旋轉角度。例如，在本發明範例實施例中，可攜式電子裝置120是先將與此些目標特徵點的描述矩陣之間的漢明距離符合預設容忍值的參考特徵點的三維座標值帶入EPnP公式，再利用Ransac演算法過濾掉錯誤的三維座標值，以獲得所述可攜式電子裝置120的三維目標座標值與旋轉角度。

根據上述可知，本發明之範例實施例可分為由室內地圖建立裝置200於離線模式所執行的建立室內地圖的操作(亦稱為第一階段)，以及由可攜式電子裝置120於連線模式所執行的定位操作(亦稱為第二階段)。值得一提的是，藉由第一階段中僅記錄透視影像之中心位置的縱軸方向上與橫軸方向上的多個參考畫素的三維參考座標值的技術方案，不僅可有效地節省儲存裝置的記憶體空間，更可達到快速地由此些參考座標值求得透視影像中每一特徵點的三維座標，以在定位資料庫中記錄由此些特徵點的三維座標所構成的室內地圖。並且，藉由在第一階段中儲存對應不同室內環境的室內地圖，可攜式電子裝置可在第二階段中僅下載對應當前室內環境的室內地圖來與其所擷取的即時影像進行比對。特別是，在第二階段中透過可攜式電子裝置依據特徵點之描述矩陣的特性，對室內地圖與即時影像所執行的描述矩陣比對操作，可快速地過濾掉不符合的描述矩陣，進而有效率且準確地定位出可攜式電子裝置的姿態(即，可攜式電子裝置120)的三維座標值與旋轉角度)。

綜上所述，本發明實施例所提出的室內定位方法、室內定位系統及其室內地圖建立裝置能夠在離線模式中分析所取得的360度環場影像，並快速地建置室內地圖；如此一來，可攜式電子裝置可在連線模式中自行比對其自身所擷取的即時影像與室內地圖來定位使用者之可攜式電子裝置。另一方面，本發明之可攜式電子裝置可快速地過濾掉室內地圖與即時影像之間不符合的描述矩陣以快速地定位出可攜式電子裝置的姿態，據此，可有效率地提供給使用者相應的資訊，進而提升使用者更方便的操作體驗。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧室內定位系統

102‧‧‧網際網路

110‧‧‧攝影裝置

120‧‧‧可攜式電子裝置

200‧‧‧室內地圖建立裝置

202‧‧‧儲存裝置

204‧‧‧處理器

210‧‧‧輸入模組

220‧‧‧影像處理模組

230‧‧‧特徵擷取模組

240‧‧‧運算模組

250‧‧‧定位資料庫

S301、S303、S305、S307‧‧‧室內定位方法的步驟

400‧‧‧環場影像

410‧‧‧原點

400a~400h、400i~400p‧‧‧透視影像

420、420’‧‧‧展開透視影像

500‧‧‧中心位置

502‧‧‧縱軸方向

504‧‧‧橫軸方向

500a‧‧‧特徵點畫素

500b‧‧‧第一參考畫素

500c‧‧‧第二參考畫素

圖1是根據本發明一實施例所繪示之室內定位系統的示意圖。 圖2是根據本發明一實施例所繪示之室內地圖建立裝置的方塊圖。 圖3是根據本發明一實施例所繪示之室內定位方法的流程圖。 圖4A~4D是根據本發明一實施例所繪示之將環場影像轉換為多個透視影像的示意圖。 圖5是根據本發明一實施例所繪示之記錄對應透視影像之中心位置的多個三維參考座標值的示意圖。 圖6是根據本發明一實施例所繪示之根據透視影像中對應中心位置之三維參考座標值計算特徵點的三維座標值的示意圖。 圖7A是根據本發明一實施例所繪示之圓柱座標系統與笛卡兒座標系統之對應關係的示意圖。 圖7B是根據本發明一實施例所繪示之環場影像的俯視圖。 圖7C是根據本發明一實施例所繪示之環場影像的側視圖。 圖7D是根據本發明一實施例所繪示之圓柱座標系統之對稱性的示意圖。

Claims (15)

1. 一種室內定位方法，用於定位一可攜式電子裝置，該室內定位方法包括：將對應一室內環境的一環場影像轉換為多個透視影像，並擷取該些透視影像中的多個參考特徵點與該些參考特徵點的描述矩陣；以拍攝該環場影像的拍攝位置為一原點，記錄對應每一個透視影像的中心位置的多個三維參考座標值；根據該些三維參考座標值計算該些參考特徵點相對於該原點的三維座標值，並將該些參考特徵點相對於該原點的三維座標值與該些參考特徵點的描述矩陣儲存為對應該室內環境的一室內地圖；以及根據該室內地圖定位該可攜式電子裝置於該室內環境中相對於該原點的一三維目標座標值。
2. 如申請專利範圍第1項所述的室內定位方法，其中以拍攝該環場影像的拍攝位置為該原點，記錄對應每一個透視影像的中心位置的該些三維參考座標值的步驟包括：取得每一個透視影像的中心位置的一縱軸方向上與一橫軸方向上的多個參考畫素，並將該些參考畫素的三維座標值記錄為該些三維參考座標值。
3. 如申請專利範圍第2項所述的室內定位方法，其中每一個參考特徵點對應至其透視影像中的一特徵點畫素，且根據該些 三維參考座標值計算該些參考特徵點相對於該原點的三維座標值的步驟包括：取得該縱軸方向上對應該特徵點畫素的一第一參考畫素與該橫軸方向上對應該特徵點畫素的一第二參考畫素；以及根據該第一參考畫素的三維參考座標值與該第二參考畫素的三維參考座標值計算該特徵點畫素的三維座標值。
4. 如申請專利範圍第1項所述的室內定位方法，其中建立該室內地圖的操作是在一離線模式中執行，且該離線模式為與一網際網路不連接的狀態。
5. 如申請專利範圍第1項所述的室內定位方法，其中該室內地圖儲存於一定位資料庫，且根據該室內地圖定位該可攜式電子裝置於該室內環境中相對於該原點的該三維目標座標值的步驟包括：透過該可攜式電子裝置取得一即時影像，並擷取該即時影像中的多個目標特徵點與該些目標特徵點的描述矩陣；比對該些參考特徵點的描述矩陣與該些目標特徵點的描述矩陣，且在該些參考特徵點的描述矩陣與該些目標特徵點的描述矩陣之間的差異值符合一預設容忍值時，從該定位資料庫中取出與該些目標特徵點的描述矩陣之間的差異值符合該預設容忍值的該些參考特徵點的三維座標值；以及利用從該定位資料庫中所取出的該些參考特徵點的三維座標值計算該三維目標座標值與該可攜式電子裝置的一旋轉角度。
6. 如申請專利範圍第5項所述的室內定位方法，其中定位該可攜式電子裝置於該室內環境中相對於該原點的該三維目標座標值的操作是在一連線模式中執行，且該連線模式為與一網際網路相連接的狀態，其中在比對該些參考特徵點的描述矩陣與該些目標特徵點的描述矩陣之前的步驟更包括：透過該網際網路判定該可攜式電子裝置所在的室內環境，並下載對應該室內環境的該室內地圖至該可攜式電子裝置。
7. 一種室內定位系統，包括：一攝影裝置，用以拍攝對應一室內環境的一環場影像；一可攜式電子裝置；以及一室內地圖建立裝置，連接至該攝影裝置，其中該室內地圖建立裝置包括：一儲存裝置，儲存一定位資料庫；以及一處理器，耦接該儲存裝置，且該處理器用以將該環場影像轉換為多個透視影像，並擷取該些透視影像中的多個參考特徵點與該些參考特徵點的描述矩陣，其中該處理器更用以以拍攝該環場影像的拍攝位置為一原點，記錄對應每一個透視影像的中心位置的多個三維參考座標值，其中該處理器更用以根據該些三維參考座標值計算該些參考特徵點相對於該原點的三維座標值，並將由該些參考特徵點相對於該原點的三維座標值與該些參考特徵點的描述矩陣所組成的對 應該室內環境的一室內地圖儲存至該定位資料庫中，其中該可攜式電子裝置用以根據該室內地圖定位該可攜式電子裝置於該室內環境中相對於該原點的一三維目標座標值。
8. 如申請專利範圍第7項所述的室內定位系統，其中該處理器更用以取得每一個透視影像的中心位置的一縱軸方向上與一橫軸方向上的多個參考畫素，並將該些參考畫素的三維座標值記錄為該些三維參考座標值。
9. 如申請專利範圍第8項所述的室內定位系統，其中每一個參考特徵點對應至其透視影像中的一特徵點畫素，且該處理器更用以取得該縱軸方向上對應該特徵點畫素的一第一參考畫素與該橫軸方向上對應該特徵點畫素的一第二參考畫素，其中該處理器更用以根據該第一參考畫素的三維參考座標值與該第二參考畫素的三維參考座標值計算該特徵點畫素的三維座標值。
10. 如申請專利範圍第7項所述的室內定位系統，其中該可攜式電子裝置更用以取得一即時影像，並擷取該即時影像中的多個目標特徵點與該些目標特徵點的描述矩陣，其中該可攜式電子裝置更用以透過一網際網路判定該可攜式電子裝置所在的室內環境，並下載對應該室內環境的該室內地圖至該可攜式電子裝置，其中該可攜式電子裝置更用以比對該些參考特徵點的描述矩陣與該些目標特徵點的描述矩陣，且在該些參考特徵點的描述矩 陣與該些目標特徵點的描述矩陣之間的差異值符合一預設容忍值時，從該定位資料庫中取出與該些目標特徵點的描述矩陣之間的差異值符合該預設容忍值的該些參考特徵點的三維座標值，其中該可攜式電子裝置更用以利用從該定位資料庫中所取出的該些參考特徵點的三維座標值計算該三維目標座標值與該可攜式電子裝置的一旋轉角度。
11. 如申請專利範圍第7項所述的室內定位系統，其中該處理器操作於一離線模式中且該可攜式電子裝置操作於一連線模式，其中該離線模式為與一網際網路不連接的狀態，而該連線模式為與該網際網路相連接的狀態。
12. 一種室內地圖建立裝置，包括：一儲存裝置，儲存一定位資料庫與多個模組；以及一處理器，耦接該儲存裝置，載入並執行儲存於該儲存裝置中的該些模組，其中該處理器操作於一離線模式中，且該些模組包括：一輸入模組，用以接收對應一室內環境的一環場影像；一影像處理模組，用以將該環場影像轉換為多個透視影像；一特徵擷取模組，用以擷取該些透視影像中的多個參考特徵點與該些參考特徵點的描述矩陣；以及一運算模組，用以以拍攝該環場影像的拍攝位置為一原點，記錄對應每一個透視影像的中心位置的多個三維參考座標值， 其中該運算模組更用以根據該些三維參考座標值計算該些參考特徵點相對於該原點的三維座標值，並將由該些參考特徵點相對於該原點的三維座標值與該些參考特徵點的描述矩陣所組成的對應該室內環境的一室內地圖儲存至該定位資料庫中。
13. 如申請專利範圍第12項所述的室內地圖建立裝置，其中該運算模組更用以取得每一個透視影像的中心位置的一縱軸方向上與一橫軸方向上的多個參考畫素，並將該些參考畫素的三維座標值記錄為該些三維參考座標值。
14. 如申請專利範圍第13項所述的室內地圖建立裝置，其中每一個參考特徵點對應至其透視影像中的一特徵點畫素，且該運算模組更用以取得該縱軸方向上對應該特徵點畫素的一第一參考畫素與該橫軸方向上對應該特徵點畫素的一第二參考畫素，其中該運算模組更用以根據該第一參考畫素的三維參考座標值與該第二參考畫素的三維參考座標值計算該特徵點畫素的三維座標值。
15. 如申請專利範圍第12項所述的室內地圖建立裝置，其中該離線模式為與一網際網路不連接的狀態。