TWI817823B - 車輛控制系統、頭戴式顯示裝置及車輛控制方法 - Google Patents
車輛控制系統、頭戴式顯示裝置及車輛控制方法 Download PDFInfo
- Publication number
- TWI817823B TWI817823B TW111142965A TW111142965A TWI817823B TW I817823 B TWI817823 B TW I817823B TW 111142965 A TW111142965 A TW 111142965A TW 111142965 A TW111142965 A TW 111142965A TW I817823 B TWI817823 B TW I817823B
- Authority
- TW
- Taiwan
- Prior art keywords
- coordinate information
- vehicle
- head
- display device
- mounted display
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 15
- 230000003190 augmentative effect Effects 0.000 claims abstract description 45
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
Abstract
本揭露提供一種車輛控制系統。車輛控制系統包括:車輛以及頭戴式顯示裝置。車輛用以提供第一座標資訊。頭戴式顯示裝置用以提供並顯示第二座標資訊。響應於頭戴式顯示裝置接收第一座標資訊,頭戴式顯示裝置將第一座標資訊與第二座標資訊進行匹配,以提供第三座標資訊並顯示基於第三座標資訊的擴增影像。響應於頭戴式顯示裝置接收使用者基於擴增影像輸入的控制指示,頭戴式顯示裝置輸出控制命令至車輛,以使車輛進行控制行為。
Description
本發明是有關於一種車輛控制系統,且特別是有關於一種車輛控制系統、頭戴式顯示裝置及車輛控制方法。
在車輛輔助駕駛領域中,車輛可搭載多種輔助系統,以達到增加便利性及安全性的效果。例如,適應性巡航系統(Adaptive Cruise Control System,ACC)、防鎖死煞車系統(Anti-lock Braking System,ABS)、自動緊急煞車(Autonomous Emergency Braking,AEB)、電子穩定程式(Electronic Stability Program,ESP)、車道維持輔助(Lane Keeping Assistance,LKA)、自動停車系統(Automatic Parking System,APS)......等。上述系統通常會整合到一個先進駕駛輔助系統(Advanced Driver Assistance System,ADAS),以供使用者進行操作。
然而,先進駕駛輔助系統的資訊通常是經由儀表板的螢
幕或擋風玻璃上的抬頭顯示器(Head-Up Display,HUD),以二維的方式來呈現給使用者。並且,使用者在進行操作時,同樣是以二維的方式來下達指示。因此,先進駕駛輔助系統呈現的資訊通常比較複雜,且使用者在操作上需要一定的學習時間。
本發明提供一種車輛控制系統、頭戴式顯示裝置以及車輛控制方法,將車輛的資訊以直覺與便利的方式呈現給使用者。
本發明的車輛控制系統,包括:車輛,用以提供第一座標資訊;以及頭戴式顯示裝置,用以提供第二座標資訊,其中響應於頭戴式顯示裝置接收第一座標資訊,頭戴式顯示裝置將第一座標資訊與第二座標資訊進行匹配,以提供第三座標資訊,並顯示基於第三座標資訊的擴增影像,響應於頭戴式顯示裝置接收使用者基於擴增影像輸入的控制指示,頭戴式顯示裝置輸出控制命令至車輛,以使車輛進行控制行為。
本發明的頭戴式顯示裝置,包括:裝置感測器,用以感測使用者的周圍的裝置感測資訊;以及處理器,接收來自車輛的第一座標資訊,並接收裝置感測資訊以產生第二座標資訊,其中處理器將第一座標資訊與第二座標資訊進行匹配,以提供第三座標資訊並顯示基於第三座標資訊的擴增影像,響應於頭戴式顯示裝置接收使用者基於擴增影像輸入的控制指示,頭戴式顯示裝置輸出控制命令至車輛,以使車輛進行控制行為。
本發明的車輛控制方法,包括:接收來自車輛的第一座標資訊;接收來自頭戴式顯示裝置的第二座標資訊;將第一座標資訊與第二座標資訊進行匹配,以產生第三座標資訊;顯示基於第三座標資訊的擴增影像;接收使用者基於擴增影像輸入的控制指示;以及根據控制指示,輸出控制命令至車輛,以使車輛進行控制行為。
基於上述,使用者可清楚地瞭解當前的行車狀態,並以直覺與便利的方式下達指示。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100、200:車輛控制系統
110:車輛
112:先進駕駛輔助系統
114:第一感測器
120:頭戴式顯示裝置
122:處理器
124:第二感測器
301、302、303:物件
400:車輛控制方法
AI:擴增影像
C1:第一座標資訊
C2:第二座標資訊
C3:第三座標資訊
CC:控制命令
CI:控制指示
R:指示射線
S1:第一感測資訊
S2:第二感測資訊
S410、S420、S430、S440、S450、S460:步驟
U:使用者
圖1是依照本發明的一實施例的一種車輛控制系統的示意圖。
圖2是依照本發明的一實施例的一種車輛控制系統的示意圖。
圖3是依照本發明的一實施例的一種使用情境的示意圖。
圖4是依照本發明的一實施例的一種車輛控制方法的流程圖。
為了使本發明之內容可以被更容易明瞭,以下特舉實施例作為本發明確實能夠據以實施的範例。另外,凡可能之處,在圖式及實施方式中使用相同標號的原件/構件/步驟,係代表相同或類似部件。
並且,除非另有定義,本文使用的所有術語(包括技術和科學術語)具有與本發明所屬領域的普通技術人員通常理解的相同的含義。將進一步理解的是,諸如在通常使用的字典中定義的那些術語應當被解釋為具有與它們在相關技術和本發明的上下文中的含義一致的含義,並且將不被解釋為理想化的或過度正式的意義,除非本文中明確地這樣定義。
通過參考以下的詳細描述並同時結合附圖可以理解本發明。須注意的是,為了使讀者能容易瞭解及為了圖式的簡潔,本發明中的多張圖式只繪出電子裝置的一部分,且圖式中的特定元件並非依照實際比例繪圖。此外,圖中各元件的數量及尺寸僅作為示意,並非用來限制本發明的範圍。
須知悉的是,以下所舉實施例可以在不脫離本發明的精神下,將數個不同實施例中的技術特徵進行替換、重組、混合以完成其他實施例。並且,在下文說明書與申請專利範圍中,「含有」與「包括」等詞為開放式詞語,因此其應被解釋為「含有但不限定為...」之意。
在車輛輔助駕駛領域中,車輛可搭載先進駕駛輔助系統,以達到增加便利性及安全性的效果。然而,先進駕駛輔助系統的
資訊通常是經由儀表板的螢幕或擋風玻璃上的抬頭顯示器,以二維的方式來呈現給使用者。並且,使用者在進行操作時,同樣是以二維的方式來下達指示。
相較於二維的方式,三維的方式更能清楚地呈現資訊或更能直覺地進行操作。本揭露導入頭戴式顯示裝置的應用,使得先進駕駛輔助系統的資訊能夠以三維的方式進行呈現,且使用者可用三維的方式下達指示。如此一來,使用者在駕駛車輛時的便利性與安全性能夠有效地提升。
圖1是依照本發明的一實施例的一種車輛控制系統的示意圖。請參照圖1,車輛控制系統100包括車輛110以及頭戴式顯示裝置120。車輛110可用以提供第一座標資訊C1。頭戴式顯示裝置120可用以提供第二座標資訊C2(圖未示)。並且,響應於頭戴式顯示裝置120接收第一座標資訊C1,頭戴式顯示裝置120將第一座標資訊C1與第二座標資訊C2進行匹配(Match),以提供第三座標資訊C3(圖未示)並顯示基於第三座標資訊C3的擴增影像AI。再者,響應於頭戴式顯示裝置120接收使用者U基於擴增影像AI輸入的控制指示CI,頭戴式顯示裝置120輸出控制命令CC至車輛110,以使車輛110進行控制行為。
在一實施例中,車輛110可例如為適於乘載使用者U的汽車、卡車、巴士、火車、地鐵、機車...等交通載具,但本揭露並不以此為限。車輛110可包括先進駕駛輔助系統,用以提供關於車輛110本身以及環境的資訊。
在一實施例中,頭戴式顯示裝置120可例如為適於穿戴於使用者U的頭部的頭戴式顯示器(Head-Mounted Display)眼鏡或其他可穿戴的顯示裝置,但本揭露並不以此為限。頭戴式顯示裝置120可包括一個或多個螢幕,以顯示各種影像給使用者U。
在一實施例中,第一座標資訊C1和第二座標資訊C2是經由同時定位與地圖建構(Simultaneous Localization And Mapping,SLAM)技術來產生。換句話說,第一座標資訊C1和第二座標資訊C2可例如是SLAM地圖。
在一實施例中,頭戴式顯示裝置120可將第一座標資訊C1和第二座標資訊C2分別對應的SLAM地圖進行匹配,以提供第三座標資訊C3。舉例而言,車輛110及使用者U所在的環境可包括多個物件,例如其他車輛、道路標示、行人及建築物。在第一座標資訊C1中,一特定物件可以第一特徵圖騰(Pattern)的形式來呈現。在第二座標資訊C2中,同一特定物件可以第二特徵圖騰的形式來呈現。頭戴式顯示裝置120可將第一特徵圖騰與第二特徵圖騰進行比對,以判斷兩者是否為同樣的物件。
在一實施例中,車輛110可預先地設置有特定的特徵圖騰,以供車輛控制系統100進行辨識。舉例而言,特定的特徵圖騰可例如包括科爾多瓦大學擴增實境(Augmented Reality University of Cordoba,ArUco)標記(Marker)、追蹤器(Tracker)、參照物、其他具有類似功能的元件或這些元件的組合,本揭露並不加以限制。這些特定的特徵圖騰可提供給車輛110以及頭戴式顯
示裝置120,以分別地作為第一特徵圖騰與第二特徵圖騰,從而達到校正的作用。如此一來,車輛控制系統100無須額外地尋找其他物件來進行比對,從而增加比對第一特徵圖騰與第二特徵圖騰的效率。
在一實施例中,車輛110的三維模型資訊可預先地儲存於頭戴式顯示裝置120中。並且,頭戴式顯示裝置120可根據車輛110的三維模型資訊,以將第一座標資訊C1與第二座標資訊C2進行匹配。舉例而言,車輛110的三維模型資訊可包括車輛110的內部與外部的各個元件的形狀及尺寸的資訊,但本揭露並不以此為限。也就是說,頭戴式顯示裝置120在進行比對時,可優先地比對車輛110本身所具備的特徵,從而增加比對第一特徵圖騰與第二特徵圖騰的效率。
接著,當頭戴式顯示裝置120判斷兩者為相同的物件時(即第一特徵圖騰與第二特徵圖騰互相匹配),頭戴式顯示裝置120可將獲得第一座標資訊C1與第二座標資訊C2之間的匹配關係。接著,頭戴式顯示裝置120可根據匹配關係,將第二座標資訊C2中的內容,投影或疊加至第一座標資訊C1中,以產生第三座標資訊C3。也就是說,第三座標資訊C3是將第一座標資訊C1與第二座標資訊C2的座標進行對齊(Alignment),以整合第一座標資訊C1與第二座標資訊C2的內容。然後,頭戴式顯示裝置120可基於第三座標資訊C3,來產生並顯示擴增影像AI。換句話說,使用者U可經由觀看擴增影像AI,獲得由車輛110取得的第一座標資
訊C1的內容。
並且,使用者U在觀看擴增影像AI後,可基於擴增影像AI,輸入控制指示CI。在一實施例中,控制指示CI可例如為使用者U的手勢或語音,但本發明並不以此為限。頭戴式顯示裝置120偵測並接收控制指示CI後,頭戴式顯示裝置120可輸出控制命令CC至車輛110,以使車輛110進行控制行為。在一實施例中,車輛110控制行為可例如進行駕駛路線的規劃(例如前往特定目的地、自動跟車、自動停車)或設定行駛狀態(例如切換為自動駕駛或手動駕駛),但本揭露並不以此為限。
在一實施例中,使用者U在觀看擴增影像AI時,發現車輛110周圍有想要前往的目的地,使用者U可以手勢或語音的方式下達控制指示CI。頭戴式顯示裝置120可根據控制指示CI,輸出控制命令CC,以使車輛110規劃前往目的地的駕駛路線或自動移動至目的地。舉例而言,上述的目的地可例如為建築物的門口、停車位或其他使用者U在擴增影像AI中所看到的景物,但本揭露並不以此為限。
在一實施例中,使用者U在觀看擴增影像AI時,發現車輛110的前方存在前往同一路線的目標車輛,使用者U可以手勢或語音的方式下達控制指示CI。頭戴式顯示裝置120可根據控制指示CI,輸出控制命令CC,以使車輛110自動跟隨目標車輛。舉例而言,目標車輛可為行駛在同一快速道路的車輛或使用者U認識的人所駕駛的車輛,但本揭露並不以此為限。
在一實施例中,使用者U在觀看擴增影像AI時,發現車輛110的周圍存在想要瞭解的資訊(例如前方車輛的車牌或道路中的路標),使用者U可以手勢或語音的方式下達控制指示CI。頭戴式顯示裝置120可根據控制指示CI,將擴增影像AI中的使用者U想要瞭解的資訊進行放大。並且,頭戴式顯示裝置120可根據控制指示CI,輸出控制命令CC,以在保持安全條件下控制車輛110的行駛狀態(例如切換為自動駕駛),方便使用者U有足夠的時間看清楚想要瞭解的資訊。
在一實施例中,使用者U在觀看擴增影像AI時,發現車輛110的周圍的路況較為複雜或突然出現值得注意的情形,使用者U可以手勢或語音的方式下達控制指示CI。頭戴式顯示裝置120可根據控制指示CI,以將車輛110由自動駕駛切換為手動駕駛,方便使用者U介入駕駛路線的規劃。
由上可知,經由將車輛110的相關資訊整合是頭戴式顯示裝置120中,使用者U可清楚地瞭解當前的行車狀態,並以直覺與便利的方式下達指示。如此一來,使用者U在駕駛車輛110時的便利性與安全性能夠有效地提升。
圖2是依照本發明的一實施例的一種車輛控制系統的示意圖。請參照圖2,圖2的車輛控制系統200是圖1的車輛控制系統100的一種實施方式,但本揭露並不以此為限。車輛控制系統200可包括車輛110以及頭戴式顯示裝置120。車輛110可包括先進駕駛輔助系統112以及第一感測器114(亦稱車輛感測器)。頭戴
式顯示裝置120可包括處理器122以及第二感測器124(亦稱裝置感測器)。
在一實施例中,第一感測器114可用以感測車輛110的周圍的第一感測資訊S1(亦稱車輛感測資訊),並提供第一感測資訊S1至先進駕駛輔助系統112,以使先進駕駛輔助系統112產生第一座標資訊C1。第一感測器114可例如為紅外線感測器、超音波感測器、雷達(Radar)、光學雷達(LIDAR)、攝影機或其他類似裝置或這些裝置的組合,本揭露並不加以限制。先進駕駛輔助系統112可為例如為包括適應性巡航系統、防鎖死煞車系統、自動緊急煞車、電子穩定程式、車道維持輔助、自動停車系統......等其中至少一種或多種功能的駕駛輔助系統,但本揭露並不以此為限。
在一實施例中,第二感測器124可用以感測使用者U的周圍的第二感測資訊S2(亦稱裝置感測資訊),並提供第二感測資訊S2至頭戴式顯示裝置120的處理器122,以產生第二座標資訊C2。第二感測器124可例如為攝影機或其他類似裝置,本揭露並不加以限制。處理器122例如為控制器(Microcontroller Unit,MCU)、中央處理單元(Central Processing Unit,CPU)、微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合,本發明並不加以限制。此外,在一實施例中,處理器122的各功能可被實作為多個程式碼。這些程式碼會被儲存在一個記憶體中,由處理器122來執行
這些程式碼。或者,在一實施例中,處理器122的各功能可被實作為一或多個電路。本發明並不限制用軟體或硬體的方式來實作處理器122的各功能。
需要說明的是,在本實施例中,處理器122與第二感測器124皆設置於穿戴式顯示裝置120中,但本揭露並不以此為限。在另一實施例中,處理器122與第二感測器124的一者或兩者可設置於穿戴式顯示裝置120的外部,並以有線或無線的方式來互相傳輸資料。也就是說,本揭露並不限制處理器122或第二感測器124設置於穿戴式顯示裝置120的內部或外部。
在一實施例中,經由同時定位與地圖建構技術,車輛110的第一感測器114與頭戴式顯示裝置120的第二感測器124所偵測到的資料可分別地提供至先進駕駛輔助系統112和處理器122,以產生第一座標資訊C1和第二座標資訊C2。此時,由於第一座標資訊C1和第二座標資訊C2是由獨立於彼此的方式來產生,兩者可能各自具有不同的參考座標。也就是說,同一個物件的座標值,在第一座標資訊C1和第二座標資訊C2中,可能會有所偏移。為了校正這個偏移量,車輛110將第一座標資訊C1提供至頭戴式顯示裝置120,並經由頭戴式顯示裝置120將第一座標資訊C1和第二座標資訊C2進行匹配。
舉例而言,頭戴式顯示裝置120可尋找同一個物件分別在第一座標資訊C1和第二座標資訊C2中對應的第一特徵圖騰和第二特徵圖騰,並經由兩個特徵圖騰的對齊,來校正偏移量。如
圖2所示,第一座標資訊C1和第二座標資訊C2經由「特徵匹配」後,可產生經過校正的第三座標資訊C3。需要說明的是,為了方便表示,圖2中的「特徵匹配」繪示於處理器122的外面,但「特徵匹配」可由提供第二座標資訊C2的處理器122或其他元件來執行,本揭露並不加以限制。
並且,第一感測器114可能會具有比第二感測器124更多樣化的數據。在一實施例中,在一實施例中,第一感測器114是光學雷達,且第二感測器124是攝影機,但本揭露並不以此為限。第一感測器114除了可提供第一座標資訊C1外,更可提供三維偵測資訊。在一實施例中,三維偵測資訊可例如為點雲圖資訊,但本揭露並不以此為限。車輛110可將第一感測器114的三維偵測資訊提供給頭戴式顯示裝置120,並且頭戴式顯示裝置120可將三維偵測資訊融合至第三座標資訊C3中。也就是說,第三座標資訊C3可同時包括由攝影機所偵測的影像資訊以及光學雷達所偵測的點雲圖資訊。換句話說,相較於原先的第一座標資訊C1,第三座標資訊C3的精準度可有效地提升。
因此,頭戴式顯示裝置120在不需具備光學雷達的情況下,可獲得來自車輛110的光學雷達的偵測值,進而提高擴增影像AI的還原度與細節。在這樣的情況下,使用者U可以經由頭戴式顯示裝置120提供的擴增影像AI,清楚地知道車輛110的相關資訊。並且,使用者U可以經由頭戴式顯示裝置120提供的擴增影像AI,準確地下達精準的控制指示CI。如此一來,使用者U在
駕駛車輛110時的便利性與安全性能夠有效地提升。
圖3是依照本發明的一實施例的一種使用情境的示意圖。請參照圖1至圖3,使用情境300可包括車輛110、物件301、物件302以及物件303。並且,使用者U位於車輛110中,並穿戴著頭戴式顯示裝置120。
如圖3所示,頭戴式顯示裝置120可偵測所用者U的手勢的指示方向。在一實施例中,頭戴式顯示裝置120可經由提供第二感測資訊S2的第二感測器124,來偵測使用者U的手勢。在另一實施例中,頭戴式顯示裝置120可經由不同於第二感測器124的其他感測器,來偵測使用者U的手勢。並且,使用者U的手勢的指示方向可例如包括:使用者U的食指的延伸方向或使用者U的手腕的中心點的軸向方向,但本揭露並不以此為限。
接著,頭戴式顯示裝置120可在擴增影像AI中,根據使用者U的指示方向顯示指示射線R。在一實施例中,指示射線R可為直線或曲線,本揭露並不加以限制。此外,頭戴式顯示裝置120可在擴增影像AI中,根據第三座標資訊C3以及指示射線R判斷指示物件。在一實施例中,頭戴式顯示裝置120可根據第三座標資訊C3,判斷出從使用者U延伸出去的指示射線R擊中車輛110周圍的某一物件,並將此物件判斷為指示物件。舉例而言,圖3的指示射線R擊中物件301,因此物件301被判斷為指示物件。然後,頭戴式顯示裝置120可根據指示物件,產生控制命令CC並提供至車輛110,以使車輛110進行控制行為。
在一實施例中,控制命令CC可例如為設定基於指示物件的駕駛路線。舉例而言,指示物件為車輛110的前方車輛,而控制命令CC為設定車輛110的駕駛路線,以使車輛110跟隨前方車輛。或者,指示物件為車輛110附近的停車格,而控制命令CC為設定車輛110的駕駛路線,以使車輛110停車至停車格。又或者,指示物件為車輛110附近的建築物,而控制命令CC為設定車輛110的駕駛路線,以使車輛110前往附近的建築物。
在一實施例中,控制命令CC可例如為基於指示物件而設定車輛110的行駛狀態(自動駕駛/手動駕駛)。舉例而言,指示物件為車輛110的前方車輛的車牌,而控制命令CC為設定車輛110的行駛狀態,以使車輛110由手動駕駛切換為自動駕駛,方便使用者U看清楚前方車輛的車牌。
需要說明的是,擴增影像AI中更可包括基於第三座標資訊C3而產生的二維地圖資訊。也就是說,使用者U可在三維的擴增影像AI,看到選定區域的二維地圖資訊。並且,使用者U可對二維地圖資訊發出指示射線R,進而選擇指示物件。
值得一提的是,頭戴式顯示裝置120可隨時地偵測擴增影像AI,以判斷是否有值得注意的情況(警示狀況)出現。例如,車輛110與周圍的物件的距離低於安全距離、側面有車輛或異物即將切入車輛110的行駛路線、前方道路異常......等。響應於判斷出警示狀況,頭戴式顯示裝置120可在擴增影像AI中顯示警示訊息(例如以邊界框、遮罩等視覺化或其他警示方式),以讓使用者U
即時地瞭解情況,進而避免危險的發生。
圖4是依照本發明的一實施例的一種車輛控制方法的流程圖。參照圖1以及圖4,車輛控制方法400示意地表示車輛控制系統100的操作流程,但本揭露並不以此為限。在本實施例中,車輛控制方法400包括步驟S410至步驟S460。
在步驟S410,頭戴式顯示裝置120接收來自車輛110的第一座標資訊C1。在步驟S420,頭戴式顯示裝置120接收來自頭戴式顯示裝置120本身所產生的第二座標資訊C2。在步驟S430,頭戴式顯示裝置120將第一座標資訊C1與第二座標資訊C2進行匹配,以產生第三座標資訊C3。在步驟S440,頭戴式顯示裝置120顯示基於第三座標資訊C3的擴增影像AI。在步驟S450,頭戴式顯示裝置120接收使用者U基於擴增影像AI輸入的控制指示CI。在步驟S460,頭戴式顯示裝置120根據控制指示CI,輸出控制命令CC至車輛110,以使車輛110進行控制行為。相關的實施細節可參照圖1至圖3的描述,在此不多加贅述。
如此一來,車輛控制方法400可將車輛110的相關資訊整合至頭戴式顯示裝置120中。因此,使用者U可清楚地瞭解當前的行車狀態,並以直覺與便利的方式下達指示。如此一來,使用者U在駕駛車輛110時的便利性與安全性能夠有效地提升。
綜上所述,本發明的車輛控制系統、頭戴式顯示裝置及車輛控制方法,實現了將車輛的相關資訊整合至頭戴式顯示裝置中。因此,使用者可以經由頭戴式顯示裝置提供的擴增影像,清
楚地知道車輛的相關資訊。並且,使用者可以經由頭戴式顯示裝置提供的擴增影像,準確地下達精準的控制指示。如此一來,使用者在駕駛車輛時的便利性與安全性能夠有效地提升。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:車輛控制系統
110:車輛
120:頭戴式顯示裝置
AI:擴增影像
C1:第一座標資訊
CC:控制命令
CI:控制指示
U:使用者
Claims (11)
- 一種車輛控制系統,包括:車輛,用以提供第一座標資訊;以及頭戴式顯示裝置,用以提供第二座標資訊,其中響應於所述頭戴式顯示裝置接收所述第一座標資訊,所述頭戴式顯示裝置將所述第一座標資訊與所述第二座標資訊進行匹配,以提供第三座標資訊並顯示基於所述第三座標資訊的擴增影像,響應於所述頭戴式顯示裝置接收使用者基於所述擴增影像輸入的控制指示,所述頭戴式顯示裝置輸出控制命令至所述車輛,以使所述車輛進行控制行為。
- 如請求項1所述的車輛控制系統,其中所述第一座標資訊和所述第二座標資訊是經由同時定位與地圖建構技術來產生。
- 如請求項1所述的車輛控制系統,其中所述頭戴式顯示裝置將所述第一座標資訊的第一特徵圖騰與所述第二座標資訊的第二特徵圖騰進行比對,以將所述第一座標資訊與所述第二座標資訊進行匹配。
- 如請求項1所述的車輛控制系統,其中所述頭戴式顯示裝置更用以根據所述車輛的三維模型資訊,以將所述第一座標資訊與所述第二座標資訊進行匹配。
- 如請求項1所述的車輛控制系統,其中所述車輛包括:先進駕駛輔助系統;以及第一感測器,其中所述第一感測器用以感測所述車輛的周圍的第一感測資訊並提供至所述先進駕駛輔助系統,以使所述先進駕駛輔助系統產生所述第一座標資訊。
- 如請求項1所述的車輛控制系統,更包括:第二感測器,用以感測所述使用者的周圍的第二感測資訊,其中所述頭戴式顯示裝置根據所述第二感測資訊,產生所述第二座標資訊。
- 如請求項1所述的車輛控制系統,其中所述車輛更提供三維偵測資訊至所述頭戴式顯示裝置,且所述頭戴式顯示裝置將所述三維偵測資訊融合至所述第三座標資訊中。
- 如請求項1所述的車輛控制系統,其中所述頭戴式顯示裝置更用以:偵測所述使用者的手勢的指示方向;在所述擴增影像中,根據所述指示方向顯示指示射線;在所述擴增影像中,根據所述第三座標資訊以及所述指示射線判斷指示物件;以及根據所述指示物件,產生所述控制命令。
- 如請求項8所述的車輛控制系統,其中所述控制命令包括設定基於所述指示物件的駕駛路線或基於所述指示物件而設定所述車輛的行駛狀態。
- 一種頭戴式顯示裝置,包括:裝置感測器,用以感測使用者的周圍的裝置感測資訊;以及處理器,接收來自車輛的第一座標資訊,並接收所述裝置感測資訊以產生第二座標資訊,其中所述處理器將所述第一座標資訊與所述第二座標資訊進行匹配,以提供第三座標資訊並顯示基於所述第三座標資訊的擴增影像,響應於所述頭戴式顯示裝置接收所述使用者基於所述擴增影像輸入的控制指示,所述頭戴式顯示裝置輸出控制命令至所述車輛,以使所述車輛進行控制行為。
- 一種車輛控制方法,包括:接收來自車輛的第一座標資訊;接收來自頭戴式顯示裝置的第二座標資訊;將所述第一座標資訊與所述第二座標資訊進行匹配,以產生第三座標資訊;顯示基於所述第三座標資訊的擴增影像;接收使用者基於所述擴增影像輸入的控制指示;以及根據所述控制指示,輸出控制命令至所述車輛,以使所述車輛進行控制行為。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111142965A TWI817823B (zh) | 2022-11-10 | 2022-11-10 | 車輛控制系統、頭戴式顯示裝置及車輛控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111142965A TWI817823B (zh) | 2022-11-10 | 2022-11-10 | 車輛控制系統、頭戴式顯示裝置及車輛控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI817823B true TWI817823B (zh) | 2023-10-01 |
TW202419324A TW202419324A (zh) | 2024-05-16 |
Family
ID=89858009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111142965A TWI817823B (zh) | 2022-11-10 | 2022-11-10 | 車輛控制系統、頭戴式顯示裝置及車輛控制方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI817823B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102398600A (zh) * | 2010-09-13 | 2012-04-04 | 现代自动车株式会社 | 使用扩增实境来控制车内装置的***及其方法 |
TW202033394A (zh) * | 2019-01-28 | 2020-09-16 | 英屬開曼群島商鴻騰精密科技股份有限公司 | 車用擴增實境眼鏡輔助裝置 |
US20200361482A1 (en) * | 2016-05-30 | 2020-11-19 | Lg Electronics Inc. | Vehicle display device and vehicle |
TWI773375B (zh) * | 2021-06-11 | 2022-08-01 | 英業達股份有限公司 | 偵測系統 |
-
2022
- 2022-11-10 TW TW111142965A patent/TWI817823B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102398600A (zh) * | 2010-09-13 | 2012-04-04 | 现代自动车株式会社 | 使用扩增实境来控制车内装置的***及其方法 |
US20200361482A1 (en) * | 2016-05-30 | 2020-11-19 | Lg Electronics Inc. | Vehicle display device and vehicle |
TW202033394A (zh) * | 2019-01-28 | 2020-09-16 | 英屬開曼群島商鴻騰精密科技股份有限公司 | 車用擴增實境眼鏡輔助裝置 |
TWI773375B (zh) * | 2021-06-11 | 2022-08-01 | 英業達股份有限公司 | 偵測系統 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10293748B2 (en) | Information presentation system | |
US11827274B2 (en) | Turn path visualization to improve spatial and situational awareness in turn maneuvers | |
US11486726B2 (en) | Overlaying additional information on a display unit | |
US8983679B2 (en) | Movement trajectory generator | |
US11325471B2 (en) | Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program | |
US7605773B2 (en) | Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver | |
WO2015163205A1 (ja) | 車両用表示システム | |
JP6591087B2 (ja) | 表示制御装置、表示装置および表示制御方法 | |
JP2020064047A (ja) | コンテンツを視覚化する装置及び方法 | |
US9514650B2 (en) | System and method for warning a driver of pedestrians and other obstacles when turning | |
CN108202669B (zh) | 基于车车通信的不良天气视觉增强行车辅助***及其方法 | |
JP6107590B2 (ja) | ヘッドアップディスプレイ装置 | |
US11325470B2 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle | |
US20150187214A1 (en) | Drive assist device | |
JP2005202678A (ja) | 走行支援装置 | |
US11934188B2 (en) | Monitoring and planning a movement of a transportation device | |
US10209857B2 (en) | Display control apparatus and display system | |
CN113784861A (zh) | 显示控制方法及显示控制装置 | |
JP2013196595A (ja) | 車両走行支援システム | |
JP2020125033A (ja) | 表示制御装置および表示制御プログラム | |
WO2020105685A1 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
TWI817823B (zh) | 車輛控制系統、頭戴式顯示裝置及車輛控制方法 | |
WO2017061183A1 (ja) | ヒューマンインターフェース | |
US20220397895A1 (en) | Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program | |
CN114252086B (zh) | 提示信息的输出方法、装置、设备、介质和车辆 |