TWI813118B - 自動更新地標數據庫中的視覺地標圖像之系統與方法 - Google Patents
自動更新地標數據庫中的視覺地標圖像之系統與方法 Download PDFInfo
- Publication number
- TWI813118B TWI813118B TW110149463A TW110149463A TWI813118B TW I813118 B TWI813118 B TW I813118B TW 110149463 A TW110149463 A TW 110149463A TW 110149463 A TW110149463 A TW 110149463A TW I813118 B TWI813118 B TW I813118B
- Authority
- TW
- Taiwan
- Prior art keywords
- landmark
- visual
- image
- database
- images
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 221
- 238000000034 method Methods 0.000 title claims description 30
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims description 26
- 238000009434 installation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 241000208140 Acer Species 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
Landscapes
- Navigation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本發明提供一使用實時視覺錨點檢測的視覺引導導航之自動系統,其包含一邊緣設備、一雲端設備、一地標數據庫;本發明系統向使用者提供使用視覺地標的導航方向,透過在視覺地標資料庫中選擇一候選視覺地標圖像;本發明系統可計算一天中的時間、當前的天氣條件、當前的季節等;此外,本發明系統可透過車輛儀表板上的相機、智能手機中的相機、或其他使用者之相機來收集實時圖像;本發明系統還可以針對地標之可見性或顯著性來進行反饋,以改善本系統之後續其他使用者所得到的視覺地標圖像。
Description
本發明提供一種使用實時視覺錨點檢測的視覺引導導航之系統和方法,尤其關於提供真實且正確之地標圖像之自動更新系統給使用者之方法。
車輛導航系統可透過導航指令提供使用者行進路線之引導,主要透過提示距離與預估路線圖,將使用者引導到目的地;導航系統通常會向使用者提供逐步的指示,並提前通知使用者在大約數十或數百米的十字交叉路口或閘道給予左轉或右轉指示。
但是由於GPS定位並非完全精準,通常會有數公尺的誤差,在雨天或是環境的干擾時更加嚴重,如此會造成使用者在判讀導航資訊時造成很大問題,行徑間依據導航系統的逐步指令,無法讓使用者可立即直觀地處理複雜的現實環境,常造成使與用者提前或延遲錯過轉彎,浪費大量時間。
因此目前的導航系統除了街道名稱、距離、亦有再進一步提供給使用者現實場景的模擬圖或是示意圖給予使用者提示,但是大多
數示意圖或是代表建築物的資訊會讓使用者付出額外的心力去尋找,因此,雖然看似給予更多的資訊,但此舉易分散使用者對道路狀況的注意力實際上造成使用者更多的危險性。
對於開車的使用者而言,在複雜的閘道或是交叉路口,能做確認與判斷的時間往往只有幾秒鐘之間就要完成獲取資訊、判斷資訊到決定轉彎這一連串的動作,因此,導航系統提供的資訊必須簡單易懂,而且最好跟現實的場景能相同的圖像或是照片,如此就可以給使用者最快速無需轉換的資訊就可以下定決定是否該轉彎。
雖然有廠商曾經提出透過地標圖像來加強導航的資訊,但是因為導航系統在出廠後所有路線的地標圖像就已經設定好,無法真正地與現實環境相附合,因此,造成使用者在實際的使用時常常有誤判的狀況,因此,如何能有效的即時更新具有地標圖像的導航系統成為急迫的問題與挑戰,若能有效率而且即時的更新,就可以讓導航的使用者給予最即時的正確資訊。
本發明可自動為使用者規劃路線,主要透過距離、街道名稱、建築物號碼來提示使用者,其基於路線生成導航方向(navigation directions)。例如,系統可向使用者提供諸如「前進四分之一英里,然後右轉進入楓樹街」的指令。然而,對於使用者來說,難以準確地判斷導航提示所述之距離,且對使用者來說,也未必總能輕易發現導航系統所提示之街道標誌。此外,有些區域之街道和道路標識有不清的問
題,會讓使用者難以邊駕駛車輛,邊尋找地標。
為了向使用者提供類似於真人引導之導航系統,可以參考行進路線中之顯著標示圖像以增強導航引導能力,所述顯著標示可為視覺上顯著的建築物或廣告牌,於本發明說明書中可稱為「視覺地標」。因此,本發明系統可生成之導航引導方向為「於四分之一英里處,你將在你的右手邊看見麥當勞餐廳,接下來右轉進入楓樹街」。為此,使用者可以輸入視覺地標的位置(例如,街道地址、坐標),使得系統可以在生成導航方向時自動選擇合適的視覺地標。
有鑑於此,本發明了提供一種能夠實現更直觀和精確的導航系統的系統。在所述系統中,除了提供語音指令給使用者,更通過人眼捕獲的視覺錨點的地標圖像。當使用者的車輛接近地標時,本發明可提供真實地標圖像給使用者。同時,本發明會識別一個視覺錨點(例如,一個招牌)並於使用者介面50顯示所示的招牌,視覺錨點可透過所檢測到的招牌來引導使用者,而並非透過距離來引導使用者。如此,使用者可更專注於駕駛,並透過地標圖像來做行進,而無需透過自身經驗來計算導航系統所述之距離,大幅提升使用者在駕駛車輛的駕駛專注力及效率。
本發明提供一使用實時視覺錨點檢測的視覺引導導航之自動系統,其包含一邊緣設備、一雲端設備、一地標數據庫,其中所述邊緣設備包含:一攝像頭,其配置於一使用者之預設位置,可於所述使用者所駕駛一車輛時捕捉一實時圖像;一使用者界面,其提供一使用者操作,其可查看一應用程序提供的信息,輸入前述使用者之數據和項目視
覺錨點;一位置模組,其用以確定所述車輛之當前地理位置;一雲服務器,將所述車輛之當前地理位置和所述使用者所設置的一目的地傳輸到前述雲服務器;一處理模組,其將執行一邊緣計算,可將所述實時圖像和所述車輛的當前地理位置,處理後經所述使用者界面提供使用者一駕駛指令,所述駕駛指令包含一候選視覺地標圖像;一內存裝置,用於緩存從所述雲服務器接收到的一參考地標圖像、所述使用者之數據;以及一導航應用模組,所述使用者可以設置前述目的地,將所述車輛位置和目的地傳輸到所述雲服務器,獲取一路線指令和一地標圖像信息,在所述使用者介面50上向所述使用者顯示處理結果和駕駛指令;其中,所述雲端設備包含:一導航指令生成器21,其生成一導航指令,以及一動作交叉路口;一路線模組22,其根據所述車輛的當前地理位置和前述目的地,從所述地標數據庫中查詢路線;一導航指令導航模組23,其根據所述路線模組的路線,生成前述導航指令,並根據導航指令以定義動作交叉路口;一地標查詢模組24,其根據所述動作交叉路口,從所述地標數據庫中查詢視覺地標圖像;以及一地標更新模組25,其自動更新所述地標數據庫的視覺地標圖像。
其中,所述地標數據庫包含一地標紀錄、視覺地標圖像、地標所在路口、地標經緯度。
較佳地,本發明包含一地圖數據庫,地圖數據庫包含路口、路口經緯度、道路行進方向等等地圖資訊。
本發明又提供一使用實時視覺錨點檢測的視覺引導導航之方法,其包括:透過一處理模組,獲得用於將一車輛使用者引導到一目
的地的路線;透過所述處理模組,從一數據庫檢索沿著所述路線設置的一視覺地標圖像;透過一攝像頭,在沿著所述路線的導航期間,捕捉從所述使用者的一預設位置的實時地標圖像;使用被檢索的前述視覺地標圖像和被收集的前述實時地標圖像,通過所述處理模組,執行一邊緣計算,可將所述實時圖像和所述車輛的所述地理位置,處理後經所述使用者界面提供使用者一駕駛指令,所述駕駛指令包含一候選視覺地標圖像。
本發明再提供一種用於提供駕駛方向的方法,透過在車輛中操作的使用者介面,從所述車輛的使用者接收去目的地的駕駛方向的請求;透過一攝像頭,在沿著所述路線的導航期間,捕捉從所述使用者的一預設位置的實時地標圖像;使用被檢索的前述視覺地標圖像和被收集的前述實時地標圖像,通過所述處理模組,執行一邊緣計算,可將所述實時圖像和所述車輛的所述地理位置,處理後經所述使用者界面提供使用者一駕駛指令,所述駕駛指令包含一候選視覺地標圖像。
較佳地,本發明所述處理模組進一步包含:接收在所述車輛的所述當前地理位置的一候選視覺地標圖像,將被捕捉的所述實時圖像與被接收的所述候選視覺地標圖像進行比較,以確定所述候選視覺地標在實時圖像中是否可見;當所述候選視覺地標圖像在實時圖像中不可見,則從所述指令省略所述候選視覺地標圖像。
較佳地,本發明所述處理模組進一步包含:將被捕捉的實時圖像發送到所述服務器系統,其中所述服務器系統確定所述候選視覺地標在所述實時圖像中是否可見;若可見,則從所述服務器系統接收所
述指令。
較佳地,本發明確定被捕捉的實時圖像是否描繪某個預定類別的對象,基於所述對象的大小或顏色中的至少一個,確定所述對像在所述實時圖像內是否是顯著的;若確定所述對像是顯著的,則選擇所述對像作為所述視覺地標圖像。
較佳地,本發明所述某個預定類別包含包含店面招牌、建築、裝置藝術、橋、文字、車輛、廣告牌、交通燈或人像。
較佳地,本發明所述處理模組進一步包含:確定被捕捉的實時圖像是否描繪某個預定類別的對象,基於所述對象的大小或顏色中的至少一個,確定所述對像在所述實時圖像內是否是顯著的;若確定所述對並非顯著,則將捕捉的所述實時圖像儲存至所述內存裝置,並傳送至所述使用者介面,所述使用者可依據主觀判斷選擇最佳視覺地標圖像,進行一投票動作,將所述投票動作回傳至所述處理模組;所述處理模組可依據所述投票結果進行演算,得一最佳視覺地標圖像,將所述最佳視覺地標圖傳送至所述地標數據庫,作為後續所述視覺地標圖像。
較佳地,本發明所述處理模組進一步包含:所述使用者為複數個使用者,其可依據複數個使用者主觀判斷選擇最佳視覺地標圖像,進行一投票動作,將所述投票動作回傳至所述處理模組;所述處理模組可依據所述複數個使用者之複數個投票結果進行演算,得一最佳視覺地標圖像,將所述最佳視覺地標圖傳送至所述地標數據庫,作為後續所述視覺地標圖像。
本發明進一步包含一自動更新地標數據庫中的視覺地標圖
像之方法,其包含:1.一處理模組使用一過濾規則以過濾一地標數據庫中的視覺地標圖像,並刪除一不正確的視覺地標圖像;2.計算一邊緣設備所收集之一實時視覺地標圖像與所述地標數據庫中的視覺地標圖像的相似度;3.對所述實時視覺地標圖像進行相似度排序,選擇具有低相似度得分的複數個視覺地標圖像作為一新候選視覺地標圖像;4.檢查所述新候選視覺地標圖像是否已存儲在所述地標數據庫中;若是,則更新所述地標數據庫中的最後更新時間;5.若所述新候選視覺地標圖像不在所述地標數據庫中,則為一新視覺地標圖像,則在所述地標數據庫中創建一新地標記錄;以及6.檢查在地標數據庫中,所述車輛的當前地理位置之所有地標記錄是否於已到達須更新期限,若已經到期,則將所述地標紀錄刪除。
本發明之自動更新視覺地標圖像之方法,其中所述過濾規則為區域參數(frame area)過濾規則或縱橫比(aspect ratio)參數過濾原則。
區域參數(frame area)過濾規則是偵測出的候選地標圖片本身的特性,過濾圖片面積不合理的候選地標圖片:
1.過濾較小的地標圖片,舉例來說地標圖片面積小於畫面的1/1000時,次佳實施例為面積小於畫面的1/5000,最佳實施例
為面積小於畫面的1/10000,此地標圖片會被濾除(可能為距離太遠)。
2.過濾太大的地標圖片,舉例來說地標圖片面積超過畫面的1/4,次佳實施例為大面積超過畫面的於1/3,最佳實施例為面積超過畫面的大於1/2,此地標圖片會被濾除(不合理的地標)。
過濾縱橫比(aspect ratio)參數過濾原則不合理的地標圖,合理的縱橫比(aspect ratio)應大於1/5,次佳為大於1/4,最佳為大於1/3,此外,合理的縱橫比(aspect ratio)應小於5,次佳為小於4,最佳為小於3,再一最佳實施例中,最佳的縱橫比可介於[1/3,3]之間。
本發明,進一步透過分類型捲積式神經網絡模型,取出地標圖片的特徵。模型的輸入參數(input)為地標圖片的原始框架(raw frame),輸出(output)為圖片的特徵(feature)。運用此特徵來計算地標圖片之間相似度。
本發明系統向使用者提供使用視覺地標的導航方向,所述視覺地標在使用者到達相應的地理位置時可能是可見的。在一個較佳實施方式中,系統從廣大的視覺地標資料庫中選擇一候選視覺地標圖像。系統會計算一天中的時間、當前的天氣條件、當前的季節等。此外,系統可透過車輛儀表板上的相機、智能手機中的相機、或其他使用者之相機來收集實時圖像。系統還可以針對地標之可見性或顯著性來進行反饋,以改善本系統之後續其他使用者所得到的視覺地標圖像。
10:邊緣設備
11:攝像頭
12:使用者界面
13:位置模組
14:雲服務器
15:處理模組
16:內存裝置
17:導航應用模組
20:雲端設備
21:導航指令生成器
22:路線模組
23:導航指令導航模組
24:地標查詢模組
25:地標更新模組
30:地標數據庫
40:地圖數據庫
100:使用實時視覺錨點檢測的視覺引導導航之自動系統
L:視覺地標圖像
圖1為使用本發明自動系統之模擬畫面。
圖2為使用實時視覺錨點檢測的視覺引導導航之自動系統之架構圖。
圖3為本發明自動選擇最能代表交叉路口的視覺地標圖像的過程。
圖4為本發明自動更新地標數據庫的過程。
圖5為本發明地標數據庫中的地標紀錄。
圖6為本發明使用者使用之模擬流程圖。
圖7為本發明實施例中導航生成之路線。
本發明提供一使用實時視覺錨點檢測的視覺引導導航之自動系統,其於使用時如圖1及圖2所示,其中圖1為使用本發明自動系統之模擬畫面,為了解決現有技術的問題,本發明提供了一種能夠實現更直觀和精確的導航系統的系統。
圖2為本發明自動系統100之架構圖,其包含一邊緣設備10、一雲端設備20、一地標數據庫30,其中所述邊緣設備10包含:一攝像頭11:其配置於一使用者之預設位置,可於所述使用者所駕駛一車輛時捕捉一實時圖像;一使用者界面12,其提供一使用者操作,其可查看一應用程序提供的信息,輸入前述使用者之數據和項目視覺錨點;一位置模組13,其用以確定所述車輛之當前地理位置;一雲服務器14,將所述車輛之當前地理位置和所述使用者所設置的一目的地傳輸到前述雲服務
器14;一處理模組15,其將執行一邊緣計算,可將所述實時圖像和所述車輛的當前地理位置,處理後經所述使用者界面提供使用者一駕駛指令,所述駕駛指令包含一候選視覺地標圖像;一內存裝置16,用於緩存從所述雲服務器14接收到的一參考地標圖像、所述使用者之數據;以及一導航應用模組17,所述使用者可以設置前述目的地,將所述車輛位置和目的地傳輸到所述雲服務器14,獲取一路線指令和一地標圖像信息,在所述使用者介面上向所述使用者顯示處理結果和駕駛指令;其中,所述雲端設備20包含:一導航指令生成器21,其生成一導航指令,以及一動作交叉路口;一路線模組22,其根據所述車輛的當前地理位置和前述目的地,從所述地標數據庫30中查詢路線;一導航指令導航模組23,其根據所述路線模組的路線,生成前述導航指令,並根據導航指令以定義動作交叉路口;一地標查詢模組24,其根據所述動作交叉路口,從所述地標數據庫30中查詢視覺地標圖像;以及一地標更新模組25,其自動更新所述地標數據庫30的視覺地標圖像;其中,所述地標數據庫30包含一地標紀錄、視覺地標圖像。
所述處理模組15進一步包含:接收在所述車輛的所述當前地理位置的一候選視覺地標圖像,將被捕捉的所述實時圖像與被接收的所述候選視覺地標圖像進行比較,以確定所述候選視覺地標在實時圖像中是否可見;當所述候選視覺地標圖像在實時圖像中不可見,則從所述指令省略所述候選視覺地標圖像。又,所述處理模組15可將被捕捉的實時圖像發送到所述服務器系統,其中所述服務器系統確定所述候選視覺地標在所述實時圖像中是否可見;若可見,則從所述服務器系統接
收所述指令。若確定被捕捉的實時圖像是否描繪某個預定類別的對象,基於所述對象的大小或顏色中的至少一個,確定所述對像在所述實時圖像內是否是顯著的;若確定所述對像是顯著的,則選擇所述對像作為所述視覺地標圖像。
本發明提供一自動視覺地標圖像採集和地標數據庫更新功能,其如圖3所示,其為自動選擇最能代表交叉路口的複數個視覺地標圖像進行相似度評分。先任取兩個視覺地標圖像(L1,L2),進一步計算出這兩個視覺地標圖像的相似度(similarity)進行評分後,再透過一個方程式算出每個地標圖項的分數(Confidence),最後根據分數將所有圖標圖片排序,選出視覺地標圖像的相似度分數較低者,作為新候選視覺地標圖像。
舉例來說如圖3所示,一個路口若有5個視覺地標圖像,分別為視覺地標圖像L1、視覺地標圖像L2、視覺地標圖像L3、視覺地標圖像L4與視覺地標圖像L5,針對視覺地標圖像的相似度兩兩進行比較,L1與L2,L2與L3,L3與L4比較,L4與L5比較,L5與L1比較、、、等,若為視覺地標圖像L1與視覺地標圖像L2的相似度比較,可以進一步取得一相似度S12數值,相似度數值越高則代表兩個視覺地標圖像越相像。
由這些倆倆一組的相似度(S12),每個地標的權重分數(Confidence),以L1的為例,其C1=f(S1n)(n=2~5)。將5個候選地標按照此權重分數排序,分數越低代表與其他候選地標越不相像,代表越具代表性。因此作為本路口的候選地標圖像。以圖3而言,L2與其他候選地
標最不相像,因此被選為本路口的新候選地標圖像。
當使用者在一載體如車輛中裝載本發明使用實時視覺錨點檢測的視覺引導導航之自動系統100,則該些車輛變會成為數據收集器,無論車輛是否在導航中,皆能發揮功能。本發明設計了一個自動系統,可以從這些車輛收集數據,以較低的勞動力成本進行擴展,且快速適應動態的變化環境。本發明透過移動車輛中的攝像頭11,攝像頭11可以安裝在一預設的位置,位置可以依據車輛的大小和類型作考量,可以在車頭、車頂、保險桿、左邊或是右邊的後照鏡等任何方便收集視頻相關視覺錨點特徵的位置,收集視頻以檢索相關視覺錨點的集合特徵,前述視覺錨點包含,但不限於招牌、特定建築、裝置藝術、橋、文字、車輛、廣告牌、交通燈或人像和視覺標圖像。每一車輛均可視為一視覺地標圖像收集器,每一地標圖像收集器均配備了一攝像頭和一GPS傳感器,因此可以記錄每個視頻的GPS位置,當收集原始視頻後,所述地標檢測器檢測視覺錨點,並裁剪視覺地標圖像,該些視覺地標圖像可以為招牌、特定建築、裝置藝術、橋、文字、車輛、廣告牌、交通燈或人像。因此,系統可以收集多個視覺地標圖像及其屬性,例如GPS位置。
本發明系統執行自動更新程序,利用所收集視覺地標圖像來改進地標數據庫,其過程如圖4所示。當雲服務器從不同車輛、不同天氣條件或不同白天接收到多組對應於一個交叉路口的實時地標圖像時,所述雲服務器啟動地標採集更新程序。在一時間區間內,可能會有多輛車輛通過同一個交叉路口,所述雲服務器可以透過這些車輛收集大量實時地標圖像與所述交叉路口對應的視覺地標圖像,將從這些地
標中選出優先順序排列的複數個代表視覺地標圖像,稱為「新候選視覺地標圖像」,並與地標數據庫中的視覺地標圖像交互進行相似度比較;最後,地標更新模組將使用所選之新候選視覺地標圖像,作為地標數據庫中的新視覺地標圖像。
實施例一、自動更新所述地標數據庫中的視覺地標圖像之使用場景
本發明使用實時視覺錨點檢測的視覺引導導航之自動系統和方法中,可自動更新所述地標數據庫中的視覺地標圖像,其如圖5所示,其包含以下步驟:1.使用一規則以過濾地標數據庫中的視覺地標圖像,並刪除不正確的視覺地標圖像;2.計算所收集之實時視覺地標圖像與地標數據庫中的視覺地標圖像的相似度;3.對實時視覺地標圖像進行排序,選擇具有低相似度得分的複數個視覺地標圖像作為新候選視覺地標圖像;4.檢查所述新候選視覺地標圖像是否已存儲在地標數據庫中;如果是,則更新地標數據庫中的最後更新時間;5.若所述新候選視覺地標圖像被選為新視覺地標圖像,則在所述地標數據庫中創建一新地標記錄;以及6.檢查在地標數據庫中,所述車輛的當前地理位置之所有地標記錄是否於已到達須更新期限,若已經到期,則將所述地標紀錄刪除。
實施例二、模擬使用者之使用場景
本發明模擬使用者之使用場景,其流程如圖6所示:1.一使用者將如圖2的邊緣設備安裝在一車輛上;2.使用者在一使用者介面上設置目的地;3.所述邊緣設備將車輛之當前地理位置和使用者設置的目的地傳輸到一雲服務器14;4.一導航指令生成器21將生成一導航路線,以及一動作交叉路口,其如圖7所示;5.一地標查詢模組22將從一地標數據庫30中查詢與所述動作交叉路口對應的視覺地標圖像;6.所述雲服務器14將帶有所述視覺地標圖像的路線,與所述動作交叉路口對應傳送到所述邊緣;7.當設備接收所述路線和視覺地標圖像,稱為參考地標圖像;8.當所述車輛接近一個動作交叉路口時,所一處理模組15開始實時檢測攝像頭11所收集到的實時視覺地標圖像;9.所述邊緣設備會將檢測到的視覺地標圖像與對應於所述動作交叉路口的參考視覺地標圖像進行比較;如果檢測到的實時地標圖像與參考視覺地標圖像相同,則所述邊緣設備將向使用者發出通知,其如圖1所示;10.所述處理器將所有檢測到的實時視覺地標圖像連同一GPS信息傳輸到所述雲服務器14;11.所述雲服務器接收這些地標圖像並執行地標集合更新程序,
其如圖4所示。
以圖7為例,此為導航生成之一路線,其中步驟b和c為操作步驟,導航系統應告訴使用者之路線引導,AB交叉路口和BC交叉路口是動作交叉路口。
綜上所述,在本發明中,透過雲服務器14、地圖數據庫40和地標數據庫30以及運行在終端設備上的應用程序組成。地圖數據庫40包含路口、路口經緯度、道路行進方向等等地圖資訊。地標數據庫30包含地標紀錄(record)、地標相對應圖片、地標所在路口、地標經緯度。在雲服務器端,數據庫存儲如圖5所示的多個地標記錄,其中包括收集的視覺錨點(例如,招牌、店面招牌、建築、裝置藝術、橋、文字、車輛、廣告牌、交通燈或人像。),這些錨點是從每個交叉路口的一些街道視頻或視覺地標圖像中裁剪和標記的,以及其GPS坐標。此外,本發明具有兩個模組與數據庫交互連接,一雲端設備通過引導指令,查詢參考地標圖像,一邊緣設備10自動更新地標數據庫30。在所述邊緣設備10中,有一個處理器負責與服務器連接並收集圖像,為使用者提供一視覺引導功能。當規劃路線並且導航指令生成器獲取所有動作點時,將從地標數據庫中檢索每個動作點的視覺錨點及其特徵。當使用者接近導航引擎通知的動作點時,處理器將通過將所述視覺錨的特徵與視頻中的招牌/地標圖像的特徵進行比對,來尋找相應的視覺錨;當找到匹配項後,視覺錨點將在使用者介面上顯示。
10:邊緣設備
11:攝像頭
12:使用者界面
13:位置模組
14:雲服務器
15:處理模組
16:內存裝置
17:導航應用模組
20:雲端設備
21:導航指令生成器
22:路線模組
23:導航指令導航模組
24:地標查詢模組
25:地標更新模組
30:地標數據庫
40:地圖數據庫
100:使用實時視覺錨點檢測的視覺引導導航之自動系統
Claims (20)
- 一自動更新地標數據庫中的視覺地標圖像之方法,其包含:1.透過一過濾規則篩選一地標數據庫中的視覺地標圖像,並刪除一不正確的視覺地標圖像;2.計算一邊緣設備所收集之一實時視覺地標圖像與所述地標數據庫中的視覺地標圖像的相似度;3.對所述實時視覺地標圖像進行相似度排序,選擇具有低相似度得分的視覺地標圖像作為一新候選視覺地標圖像;4.檢查所述新候選視覺地標圖像是否已存儲在所述地標數據庫中;若是,則更新所述地標數據庫中的最後更新時間;5.若所述新候選視覺地標圖像不在所述地標數據庫中,則為一新視覺地標圖像,在所述地標數據庫中創建一新地標記錄;以及6.檢查在地標數據庫中,一載體的當前地理位置之所有地標記錄是否於已到達須更新期限,若已經到期,則將所述地標紀錄刪除。
- 如請求項1所申請之自動更新地標數據庫中的視覺地標圖像之方法,其中所述過濾規則包含區域參數過濾規則或縱橫比參數過濾原則。
- 如請求項1所申請之自動更新地標數據庫中的視覺地標圖像之方法,其中所述過濾規則篩選進一步包含:接收在所述載體的所述當前地理位置的一候選視覺地標圖像,將被捕捉的所述實時圖像與被接收的所述候選視覺地標圖像進行比較,以確定所述候選視覺地標在實時圖像中是否可見;當所述候選視覺地標圖像在實時圖像中不可見,則從一指令省略所述候選視覺地標圖像。
- 如請求項3所申請之自動更新地標數據庫中的視覺地標圖像之方法,其中所述過濾規則篩選進一步包含:將被捕捉的實時圖像發送到一服務器系統,其中所述服務器系統確定所述候選視覺地標在 所述實時圖像中是否可見;若可見,則從所述服務器系統接收所述指令。
- 如請求項3所申請之自動更新地標數據庫中的視覺地標圖像之方法,其中所述過濾規則篩選進一步包含:確定被捕捉的實時圖像是否描繪某個預定類別的對象,基於所述對象的大小或顏色中的至少一個,確定所述對像在所述實時圖像內是否是顯著的;若確定所述對像是顯著的,則選擇所述對像作為所述視覺地標圖像。
- 如請求項5所申請之自動更新地標數據庫中的視覺地標圖像之方法,其中所述某個預定類別包含店面招牌、建築、裝置藝術、橋、文字、車輛、廣告牌、交通燈或人像。
- 如請求項1所申請之自動更新地標數據庫中的視覺地標圖像之方法,其包括確定所述載體的當前位置之天氣條件,並檢索地標資料庫中的多個視覺地標圖像,計算出最佳天氣條件的視覺地標。
- 如請求項1所申請之自動更新地標數據庫中的視覺地標圖像之方法,其進一步在檢索所述多個視覺地標之前,從所述使用者接收對視覺地標的類型的選擇,所述類型對應於一天中的時間或季節。
- 如請求項2所申請之自動更新地標數據庫中的視覺地標圖像之方法,其中所述區域參數(frame area)過濾規則系針對所述地標圖片圖片面積進行過濾,當地標圖片小於1/1000和/或大於1/4則將刪除。
- 如請求項2所申請之自動更新地標數據庫中的視覺地標圖像之方法,其中所述過濾縱橫比(aspect ratio)參數過濾原則係選擇視覺 地標圖像應大於1/5和/或小於5之間。
- 一使用實時視覺錨點檢測的視覺引導導航之方法,其包括:透過一處理模組,獲得用於將一載體使用者引導到一目的地的路線;透過所述處理模組,從一數據庫檢索沿著所述路線設置的一視覺地標圖像;透過一攝像頭,在沿著所述路線的導航期間,捕捉從所述使用者的一預設位置的實時地標圖像;使用被檢索的前述視覺地標圖像和被收集的前述實時地標圖像,通過所述處理模組,執行一邊緣計算,可將所述實時圖像和所述載體的一地理位置,處理後經所述使用者界面提供使用者一駕駛指令,所述駕駛指令包含一候選視覺地標圖像。
- 如請求項11所申請之使用實時視覺錨點檢測的視覺引導導航之方法,其中所述之處理模組中的視覺地標圖像可自動更新,其包含以下步驟:1.透過一過濾規則篩選過濾地標數據庫中的視覺地標圖像,並刪除不正確的視覺地標圖像;2.計算所收集之實時視覺地標圖像與地標數據庫中的視覺地標圖像的相似度;3.所述使用者針對所述相似度進行評分,對實時視覺地標圖像進行排序,選擇具有低相似度得分的複數個視覺地標圖像作為新候選視覺地標圖像;4.檢查所述新候選視覺地標圖像是否已存儲在地標數據庫中;如果是,則更新地標數據庫中的最後更新時間;5.若所述新候選視覺地標圖像不在所述地標數據庫中,則為一 新視覺地標圖像,在所述地標數據庫中創建一新地標記錄;以及檢查在地標數據庫中,所述載體的當前地理位置之所有地標記錄是否於已到達須更新期限,若已經到期,則將所述地標紀錄刪除。
- 如請求項12所申請之使用實時視覺錨點檢測的視覺引導導航之方法,其中所述過濾規則包含區域參數過濾規則或縱橫比參數過濾原則。
- 一使用實時視覺錨點檢測的視覺引導導航之自動系統,其包含一邊緣運算設備、一雲端設備、一地標數據庫,其中所述邊緣運算設備包含:一攝像頭,其配置於一載體,可於所述使用者所駕駛該載體時捕捉一實時圖像;一使用者界面,其提供一使用者操作,其可查看應用程序提供的信息,輸入前述使用者之數據和項目視覺錨點;一位置模組,其用以確定所述載體之當前地理位置;一雲服務器,將所述載體之當前地理位置和所述使用者所設置的一目的地傳輸到前述雲服務器;一處理模組,其可將執行一邊緣計算,可將所述實時圖像和所述載體的當前地理位置資訊結合處理,處理後經所述使用者界面提供使用者一駕駛指令,所述駕駛指令包含一候選視覺地標圖像;一內存裝置,用於緩存從所述雲服務器接收到的一參考地標圖像、所述使用者之數據;以及一導航應用模組,所述使用者可以設置前述目的地,將所述載體位置和目的地傳輸到所述雲服務器,獲取一路線指令和一地標圖像信息,在所述使用者介面上向所述使用者顯示處理結果和駕駛指令;其中,所述雲端設備包含:一路線模組,其根據所述載體的當前地理位置和前述目的地,從所述地標數據庫中查詢路線;一導航指令生成器,其根據所述路線模組的路線,生成前述導航指令,並根據導航指令以定義動作交叉路口; 一地標查詢模組,其根據所述動作交叉路口,從所述地標數據庫中查詢視覺地標圖像;以及一地標更新模組,其自動更新所述地標數據庫的視覺地標圖像;其中,所述地標數據庫:其包含一地標紀錄、一視覺地標圖像、地標所在路口或地標經緯度。
- 如請求項14所申請之視覺引導導航之自動系統,其中所述處理模組進一步包含:接收在所述載體的所述當前地理位置的一候選視覺地標圖像,將被捕捉的所述實時圖像與被接收的所述候選視覺地標圖像進行比較,以確定所述候選視覺地標在實時圖像中是否可見;當所述候選視覺地標圖像在實時圖像中不可見,則從一指令省略所述候選視覺地標圖像。
- 如請求項14所申請之視覺引導導航之自動系統,其中所述處理模組進一步包含:將被捕捉的實時圖像發送到一服務器系統,其中所述服務器系統確定所述候選視覺地標在所述實時圖像中是否可見;若可見,則從所述服務器系統接收所述指令。
- 如請求項14所申請之視覺引導導航之自動系統,其中所述處理模組進一步包含:確定被捕捉的實時圖像是否描繪某個預定類別的對象,基於所述對象的大小或顏色中的至少一個,確定所述對像在所述實時圖像內是否是顯著的;若確定所述對像是顯著的,則選擇所述對像作為所述視覺地標圖像。
- 如請求項14所申請之視覺引導導航之自動系統,其中一某個預定類別包含店面招牌、建築、裝置藝術、橋、文字、車輛、廣告牌、交通燈或人。
- 如請求項14所申請之視覺引導導航之自動系統,其中所述地標數據庫中的視覺地標圖像可自動更新,其包含以下步驟:1.透過一過濾規則篩選過濾地標數據庫中的視覺地標圖像,並刪除不正確的視覺地標圖像;2.計算所收集之實時視覺地標圖像與地標數據庫中的視覺地標圖像的相似度;3.對實時視覺地標圖像進行排序,選擇具有低相似度得分的複數個視覺地標圖像作為新候選視覺地標圖像;4.檢查所述新候選視覺地標圖像是否已存儲在地標數據庫中;如果是,則更新地標數據庫中的最後更新時間;5.若所述新候選視覺地標圖像不在所述地標數據庫中,則為一新視覺地標圖像,則在所述地標數據庫中創建一新地標記錄;以及6.檢查在地標數據庫中,所述車輛的當前地理位置之所有地標記錄是否於已到達須更新期限,若已經到期,則將所述地標紀錄刪除。
- 如請求項19所申請之視覺引導導航之自動系統,其中所述過濾規則包含區域參數過濾規則或縱橫比參數過濾原則。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110149463A TWI813118B (zh) | 2021-12-29 | 2021-12-29 | 自動更新地標數據庫中的視覺地標圖像之系統與方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110149463A TWI813118B (zh) | 2021-12-29 | 2021-12-29 | 自動更新地標數據庫中的視覺地標圖像之系統與方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202326076A TW202326076A (zh) | 2023-07-01 |
TWI813118B true TWI813118B (zh) | 2023-08-21 |
Family
ID=88147597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110149463A TWI813118B (zh) | 2021-12-29 | 2021-12-29 | 自動更新地標數據庫中的視覺地標圖像之系統與方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI813118B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5179385A (en) * | 1992-01-02 | 1993-01-12 | International Marine Industries, Inc. | Visual navigation aid with point of interest feature |
US7191056B2 (en) * | 2005-01-04 | 2007-03-13 | The Boeing Company | Precision landmark-aided navigation |
TW201928884A (zh) * | 2017-12-27 | 2019-07-16 | 財團法人工業技術研究院 | 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法 |
CN110187703A (zh) * | 2019-04-08 | 2019-08-30 | 国以贤智能科技(上海)有限公司 | 视觉导航的方法及叉车 |
-
2021
- 2021-12-29 TW TW110149463A patent/TWI813118B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5179385A (en) * | 1992-01-02 | 1993-01-12 | International Marine Industries, Inc. | Visual navigation aid with point of interest feature |
US7191056B2 (en) * | 2005-01-04 | 2007-03-13 | The Boeing Company | Precision landmark-aided navigation |
TW201928884A (zh) * | 2017-12-27 | 2019-07-16 | 財團法人工業技術研究院 | 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法 |
CN110187703A (zh) * | 2019-04-08 | 2019-08-30 | 国以贤智能科技(上海)有限公司 | 视觉导航的方法及叉车 |
Also Published As
Publication number | Publication date |
---|---|
TW202326076A (zh) | 2023-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8649610B2 (en) | Methods and apparatus for auditing signage | |
CN102724482B (zh) | 基于gps和gis的智能视觉传感网络运动目标接力跟踪*** | |
US20180301031A1 (en) | A method and system for automatically detecting and mapping points-of-interest and real-time navigation using the same | |
JP2021531462A (ja) | トポロジーマップに基づくインテリジェントナビゲーションの方法及びシステム | |
Morishita et al. | SakuraSensor: Quasi-realtime cherry-lined roads detection through participatory video sensing by cars | |
CN110796714B (zh) | 一种地图构建方法、装置、终端以及计算机可读存储介质 | |
US20080170755A1 (en) | Methods and apparatus for collecting media site data | |
CN109741628B (zh) | 一种智能停车路线规划方法 | |
CN116227834A (zh) | 一种基于三维点云模型的智能景区数字化平台 | |
TW202040488A (zh) | 智慧防災系統及智慧防災方法 | |
CN111222408A (zh) | 用于基于周围环境改进的位置决策的方法和设备 | |
CN114358660B (zh) | 一种城市街道品质评估方法、***及存储介质 | |
CN114003672B (zh) | 一种道路动态事件的处理方法、装置、设备和介质 | |
CN112418081B (zh) | 一种空地联合快速勘察交通事故的方法及*** | |
CN106991906A (zh) | 室内停车场地图采集方法和装置 | |
CN115457759A (zh) | 基于车路协同的道路交通实时路况信息分析***和方法 | |
CN115406453A (zh) | 一种导航方法、装置及计算机存储介质 | |
CN106996785A (zh) | 一种对导航数据进行更新的方法及装置 | |
TWI813118B (zh) | 自動更新地標數據庫中的視覺地標圖像之系統與方法 | |
CN111726535A (zh) | 基于车辆感知的智慧城市cim视频大数据画质控制方法 | |
US20230213351A1 (en) | System and method for navigation | |
CN114659499A (zh) | 一种基于无人机技术的智慧城市3d地图模型摄影建立方法 | |
CN112925861A (zh) | 位置参考线的生成方法、兴趣点位置的确定方法和装置 | |
CN116958915B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN111829544B (zh) | 互动式实景导航方法 |