TW202325049A - 用於車輛乘員輔助的車輛和行動裝置介面 - Google Patents

用於車輛乘員輔助的車輛和行動裝置介面 Download PDF

Info

Publication number
TW202325049A
TW202325049A TW111137671A TW111137671A TW202325049A TW 202325049 A TW202325049 A TW 202325049A TW 111137671 A TW111137671 A TW 111137671A TW 111137671 A TW111137671 A TW 111137671A TW 202325049 A TW202325049 A TW 202325049A
Authority
TW
Taiwan
Prior art keywords
vehicle
occupant
data
state
mobile device
Prior art date
Application number
TW111137671A
Other languages
English (en)
Inventor
齊亞德 阿斯哈爾
威斯利詹姆士 侯蘭德
塞佛拉哈利特 歐古茲
巴拉 拉瑪薩米
雷歐尼德 辛恩伯雷特
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202325049A publication Critical patent/TW202325049A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4845—Toxicology, e.g. by detection of alcohol, drug or toxic products
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B60K2360/5915—Inter vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Dermatology (AREA)
  • Developmental Disabilities (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Toxicology (AREA)
  • Pulmonology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Vascular Medicine (AREA)

Abstract

提供了用於車輛乘員輔助的車輛和行動裝置介面的系統、方法和非暫時性媒體。示例方法可包括基於車輛內部部分的一或多個圖像，決定行動裝置相對於車輛的座標系的姿勢；決定車輛乘員的狀態；及向車輛發送指示乘員的狀態和行動裝置相對於車輛的座標系的姿勢的資料。

Description

用於車輛乘員輔助的車輛和行動裝置介面
本揭示案整體上係關於用於車輛乘員輔助的擴展現實。例如，本揭示案的態樣係關於用於車輛中的擴展現實的車輛到裝置介面。
許多裝置和系統允許經由產生場景的圖像（或訊框）及/或視訊資料（包括多訊框）來擷取場景。例如，具有相機的裝置可擷取場景的訊框序列（例如，場景的視訊）。在一些情況下，訊框序列可被處理用於一或多個功能、顯示輸出、處理輸出及/或由其他裝置消耗，及其他用途。車輛是可包括一或多個相機的裝置的一個實例。例如，車輛可包括能夠捕捉車輛內部及/或車輛外部區域的訊框的相機。可出於各種目的處理訊框，諸如決定或辨識道路狀況；辨識車輛附近的其他車輛、物件、行人及/或障礙物；及其他目的。
擴展現實（XR）裝置是可包括一或多個相機的裝置的另一個實例。XR裝置可包括增強現實（AR）裝置、虛擬實境（VR）裝置、混合現實（MR）裝置等。例如，AR裝置的實例包括智慧眼鏡和頭戴式顯示器（HMD）。通常，AR裝置可實施相機和各種感測器來追蹤AR裝置的位置和實體環境中的其他物件。AR裝置可使用追蹤資訊來向AR裝置的使用者提供真實的AR體驗。例如，AR裝置可允許使用者體驗沉浸式虛擬環境或內容或與之交互。為了提供真實的AR體驗，AR技術通常意欲將虛擬內容與實體世界相整合。在一些實例中，AR技術可匹配物件與裝置的相對姿勢和移動。例如，AR裝置可使用追蹤資訊來計算真實世界環境的裝置、物件及/或地圖的相對姿勢，以便匹配裝置、物件及/或真實世界環境的相對位置和移動。使用一或多個裝置、物件及/或真實世界環境的姿勢和移動，AR裝置可以令人信服的方式將內容錨定到真實世界環境。相對姿勢資訊可用於將虛擬內容與使用者感知的運動及裝置、物件和真實世界環境的時空狀態相匹配。
本文描述了用於將諸如增強現實（AR）裝置的行動裝置與車輛的操作整合的系統和技術。根據至少一個實例，提供了一種用於車輛乘員輔助的增強現實的方法。該方法可包括基於車輛內部部分的一或多個圖像，決定行動裝置相對於車輛的座標系的姿勢；決定車輛乘員的狀態；及向車輛發送指示乘員的狀態和行動裝置相對於車輛的座標系的姿勢的資料。
根據至少一個實例，提供了一種用於車輛乘員輔助的增強現實的非暫時性電腦可讀取媒體。非暫時性電腦可讀取媒體可包括儲存在其上的指令，當由一或多個處理器執行時，該等指令使一或多個處理器基於車輛內部部分的一或多個圖像，決定行動裝置（例如裝置）相對於車輛的座標系的姿勢；決定車輛乘員的狀態；及向車輛發送指示乘員的狀態和行動裝置相對於車輛的座標系的姿勢的資料。
根據至少一個實例，提供了一種用於車輛乘員輔助的增強現實的裝置。該裝置可包括記憶體和耦合到記憶體的一或多個處理器，該一或多個處理器被配置為基於車輛內部部分的一或多個圖像，決定行動裝置（例如該裝置）相對於車輛的座標系的姿勢；決定車輛乘員的狀態；及向車輛發送指示乘員的狀態和行動裝置相對於車輛的座標系的姿勢的資料。
根據至少一個實例，提供了用於車輛乘員輔助的增強現實的另一裝置。該裝置可包括用於基於車輛內部部分的一或多個圖像，決定行動裝置相對於車輛的座標系的姿勢；決定車輛乘員的狀態；及向車輛發送指示乘員的狀態和行動裝置相對於車輛的座標系的姿勢的資料的手段。
在一些態樣，上述方法、非暫時性電腦可讀取媒體和裝置可基於與一或多個感測器相關聯的資料來決定車輛的內容。在一些實例中，內容可包括與車輛相關的事件。
在一些態樣，上述方法、非暫時性電腦可讀取媒體和裝置可決定車輛乘員的眼睛注視。在一些實例中，乘員的狀態包括乘員的眼睛注視，並且乘員與行動裝置相關聯（例如，乘員佩戴行動裝置）。
在一些實例中，乘員的狀態可包括乘員在操作車輛態樣的削弱。在一些情況下，削弱可包括關於車輛的操作和與車輛相關聯的事件中的至少一個的分心狀態、醉酒狀態、健康狀況、清醒狀態、偵測到的情緒狀態、控制車輛的削弱位置和削弱視野中的至少一個。
在一些情況下，決定乘員的狀態可包括從車輛接收與車輛的一或多個感測器相關聯的資料；及基於與車輛的一或多個感測器相關聯的資料和行動裝置的姿勢來決定乘員的狀態。在一些實例中，與車輛的一或多個感測器相關聯的資料指示車輛的狀態和與車輛相關聯的事件中的至少一個。
在一些實例中，與車輛相關聯的事件可包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。在一些情況下，車輛路徑內或接近車輛路徑的臨限值內的物件可包括行人、動物和另一車輛中的至少一個。
在一些情況下，決定乘員的狀態可包括從與行動裝置和乘員佩戴的可穿戴裝置中的至少一個相關聯的一或多個感測器接收與乘員相關聯的一或多個健康量測；及基於一或多個健康量測來決定乘員的狀態。在一些實例中，一或多個健康量測可包括心率、血壓、體溫、皮膚電反應、來自乘員心臟的電信號的量測、乘員大腦的電活動的量測、眼睛發紅的程度和瞳孔大小中的至少一個。
在一些態樣，決定乘員的狀態可包括決定乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦；及基於乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦及決定該時間段超過臨限值時間段來決定乘員的受削弱狀態。
在一些情況下，決定乘員的眼睛注視在該時間段內遠離車輛前方的道路聚焦可包括決定乘員的眼睛注視在該時間段的至少一部分時間內聚焦在由行動裝置呈現的虛擬內容上。
在一些實例中，決定乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦可包括決定乘員的眼睛注視聚焦在與車輛路徑內或接近車輛路徑的臨限值內的障礙物的方向不同的方向上。
在一些態樣，上述方法、非暫時性電腦可讀取媒體和裝置可向第二車輛、車輛基礎設施系統、與第二車輛的第二乘員相關聯的第一遠端裝置及與行人相關聯的第二遠端裝置中的至少一個發送乘員狀態的指示。
在一些情況下，決定乘員的狀態可包括決定佩戴行動裝置的乘員的眼睛注視；及基於行動裝置的姿勢和乘員的眼睛注視來決定乘員的狀態。
在一些實例中，決定行動裝置的姿勢可包括從車輛接收包括與車輛相關聯的一或多個標記的車輛範本；及基於一或多個圖像和車輛範本決定行動裝置相對於車輛的座標系的姿勢。
在一些實例中，一或多個標記可包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
在一些實例中，一或多個圖像圖示了一或多個標記，並且決定行動裝置的姿勢可包括偵測一或多個圖像中的一或多個標記；及基於偵測到的一或多個標記和車輛範本來決定行動裝置相對於車輛的座標系的姿勢。
在一些態樣，上述方法、非暫時性電腦可讀取媒體和裝置可使用行動裝置的一或多個圖像感測器，獲得車輛內部部分的圖像集，該圖像集圖示與車輛相關聯的一或多個視覺地標；及基於該圖像集產生車輛範本。在一些實例中，車輛範本可包括一或多個視覺地標。
在一些情況下，決定行動裝置的姿勢可包括獲得與行動裝置相關聯的慣性感測器資料；及基於一或多個圖像和慣性感測器資料來決定行動裝置的姿勢。
在一些態樣，上述裝置中的每一個是、可屬於或可包括：行動裝置、可穿戴裝置、相機系統、個人計算裝置及/或擴展現實（XR）裝置（例如，虛擬實境（VR）裝置、增強現實（AR）裝置或混合現實（MR）裝置）。在一些實例中，裝置可包括或者屬於及/或與之介面：車輛、行動裝置（例如，行動電話或所謂的「智慧型電話」或其他行動裝置）、可穿戴裝置、個人電腦、膝上型電腦、平板電腦、伺服器電腦、機器人裝置或系統、航空系統或其他裝置。在一些態樣，該裝置包括用於擷取一或多個圖像的圖像感測器（例如，相機）或多個圖像感測器（例如，多個相機）。在一些態樣，該裝置包括用於顯示一或多個圖像、通知及/或其他可顯示資料的一或多個顯示器。在一些態樣，該裝置包括一或多個揚聲器、一或多個發光裝置及/或一或多個麥克風。在一些態樣，上述裝置可包括一或多個感測器。在一些情況下，一或多個感測器可用於決定裝置的姿勢、裝置的狀態（例如，追蹤狀態、操作狀態、溫度、濕度位準及/或其他狀態）及/或用於其他目的。如本文所使用的，術語姿勢指的是裝置、感測器或其他真實世界裝置或結構相對於座標系的位置和方向。
本概要不意欲辨識所主張的標的的關鍵或基本特徵，亦不意欲單獨用於決定所主張的標的的範圍。應經由參考本專利的整個說明書的適當部分、任何或所有附圖和每項請求項來理解標的。
在參考以下說明書、申請專利範圍和附圖時，上述及其他特徵和實施例將變得更加明顯。
下文提供本揭示案的某些態樣和實施例。該等態樣和實施例中的一些可獨立地應用，並且其中的一些可組合應用，如對於本領域技藝人士而言將是顯而易見的。在下文的描述中，為了解釋的目的，闡述了具體細節，以便提供對本揭示案的實施例的透徹理解。然而，顯而易見的是，可在沒有該等具體細節的情況下實施各種實施例。附圖和說明並不意欲限制。
隨後的描述僅提供示例實施例，並不意欲限制本揭示案的範圍、適用性或配置。相反，接下來對示例性實施例的描述將為本領域技藝人士提供實施示例性實施例的賦能描述。應當理解，在不脫離如所附專利申請範圍中所述的應用的範疇的情況下，可對元件的功能和佈置進行各種改變。
擴展現實（XR）系統或裝置可向使用者提供虛擬內容及/或可將現實世界或實體環境與虛擬環境（由虛擬內容組成）相結合，以向使用者提供XR體驗。真實世界環境可包括真實世界物件（亦稱為實體物件），例如書籍、人、車輛、建築物、桌子、椅子及/或其他真實世界或實體物件。XR系統或裝置可促進與不同類型的XR環境的交互（例如，使用者可使用XR系統或裝置與XR環境交互）。XR系統可包括促進與VR環境交互的虛擬實境（VR）系統、促進與AR環境交互的增強現實（AR）系統、促進與MR環境交互的混合現實（MR）系統及/或其他XR系統。如本文所用，術語XR系統和XR裝置可互換使用。XR系統或裝置的實例包括頭戴式顯示器（HMD）、智慧眼鏡等。在一些情況下，XR系統可追蹤使用者的部位（例如，使用者的手及/或指尖），以允許使用者與虛擬內容的各項進行交互。
AR是一種在實體、真實世界場景或環境的使用者視圖上提供虛擬或電腦產生內容（稱為AR內容）的技術。AR內容可包括虛擬內容，諸如視訊、圖像、圖形內容、位置資料（例如，全球定位系統（GPS）資料或其他位置資料）、聲音、其任意組合及/或其他增強內容。AR系統或裝置意欲提高（或增強）而不是取代一個人當前對現實的感知。例如，使用者可經由AR裝置顯示器看到真實靜止或移動的實體物件，但是可經由該物件的虛擬影像（例如，被DELOREAN的虛擬影像取代的真實世界汽車）、經由添加到實體物件的AR內容（例如，被添加到活體動物的虛擬翅膀）、經由相對於實體物件顯示的AR內容（例如，在建築物上的標誌附近顯示的資訊虛擬內容、在一或多個圖像中被虛擬錨定到真實世界桌子（例如，放置在其上）的虛擬咖啡杯等），及/或經由顯示其他類型的AR內容來增強或提高使用者對實體物件的視覺感知。各種類型的AR系統可用於遊戲、娛樂及/或其他應用。
在一些情況下，可用於提供AR內容的兩種類型的AR系統包括視訊透視（亦稱為視訊直通）顯示器和光學透視顯示器。視訊透視和光學透視顯示器可用於增強使用者對真實世界或實體物件的視覺感知。在視訊透視系統中，顯示真實世界場景的即時視訊（例如，包括在即時視訊上增強或提高的一或多個物件）。視訊透視系統可使用行動裝置（例如，行動電話顯示器上的視訊）、HMD或可在視訊上顯示視訊和電腦產生的物件的其他合適裝置來實施。
具有AR特徵的光學透視系統可將AR內容直接顯示在真實世界場景的視圖上（例如，不顯示真實世界場景的視訊內容）。例如，使用者可經由顯示器（例如，眼鏡或鏡片）查看真實世界場景中的實體物件，並且AR系統可將AR內容（例如，投影或以其他方式顯示）顯示到顯示器上，以向使用者提供一或多個真實世界物件的增強視覺感知。光學透視AR系統或裝置的實例是AR眼鏡、HMD、另一個AR耳機或其他類似裝置，該等裝置可在每只眼睛前面包括透鏡或鏡片（或在雙眼上包括單個透鏡或鏡片），以允許使用者直接看到具有實體物件的真實世界場景，同時亦允許該物件的增強圖像或附加AR內容被投影到顯示器上，以增強使用者對真實世界場景的視覺感知。
VR在三維電腦產生的VR環境或圖示真實世界環境的虛擬版本的視訊中提供完整的沉浸式體驗。VR環境可以看似真實或實體的方式進行交互。當體驗VR環境的使用者在現實世界中移動時，在虛擬環境中呈現的圖像亦會改變，使使用者感覺到使用者在VR環境中移動。例如，使用者可左轉或右轉，向上或向下看，及/或向前或向後移動，從而改變使用者對VR環境的視點。呈現給使用者的VR內容可相應地改變，從而使使用者的體驗與現實世界一樣。在一些情況下，VR內容可包括VR視訊，該等視訊可以非常高的品質被擷取和呈現，從而有可能提供真正身臨其境的虛擬實境體驗。虛擬實境應用可包括遊戲、培訓、教育、體育視訊、線上購物等。可使用VR系統或裝置（諸如VR HMD或其他VR耳機）來呈現和顯示VR內容，該等系統或裝置在VR體驗期間完全覆蓋使用者的眼睛。
MR技術可結合VR和AR的各個態樣，為使用者提供身臨其境的體驗。例如，在MR環境中，真實世界和電腦產生的物件可交互（例如，真實的人可與虛擬的人交互，虛擬的人仿佛是真實的人）。
本文描述了用於整合來自車輛和行動（可攜式及/或可穿戴）裝置（諸如XR裝置（例如，增強現實（AR）或混合現實（MR）裝置、虛擬實境（VR）裝置等）、具有網路/通訊能力的可穿戴裝置、智慧型電話、個人計算裝置等）的資料、功能、動作及/或裝置能力的系統、裝置、方法（亦稱為程序）和電腦可讀取媒體（在此統稱為「系統和技術」）。在一些實例中，本文描述的系統和技術可使用來自XR裝置（例如，AR裝置、MR裝置等）及/或車輛的資料及/或功能向車輛的乘員提供輔助。例如，在一些情況下，本文描述的系統和技術可提供車輛到裝置（例如，車輛到行動計算裝置）介面，用於向車輛的乘員提供增強現實輔助。
在一些實例中，車輛可包括能夠捕捉車輛內部及/或車輛外部區域（例如，車輛周圍）的訊框的相機。可出於各種目的處理訊框，例如決定或辨識道路狀況；辨識車輛中人員的身份；辨識車輛附近的其他車輛、物件、行人及/或障礙物；決定及/或辨識與車輛相關聯的環境（例如，車輛外部的環境、車輛內部的環境等）中的活動及/或事件；等等。車輛亦可包括及/或實施其他類型的感測器系統，以量測及/或決定各種狀況。例如，在一些情況下，車輛可包括及/或實施一或多個無線電偵測和測距（RADAR）系統、慣性量測單元（IMU）、光偵測和測距（LIDAR）系統、超聲感測器、射頻（RF）感測器、聲音導航和測距（SONAR）系統、電磁偵測和測距（EmDAR）系統、聲音偵測和測距（SODAR）系統、全球導航衛星系統（GNSS）接收器系統（例如，一或多個全球定位系統（GPS）接收器系統）、加速度計、陀螺儀、速度感測器、紅外感測器系統、雷射測距儀系統、超聲感測器系統、次聲感測器系統、麥克風、其任意組合及/或其他感測器系統。
諸如XR裝置（例如，頭戴式顯示AR裝置、AR智慧眼鏡或其他XR裝置）的行動裝置亦可包括一或多個可擷取圖像及/或視訊的相機。例如，AR裝置可實施相機和各種感測器來決定及/或追蹤AR裝置和實體環境中的其他物件的位置。AR裝置可使用追蹤資訊來向AR裝置的使用者提供真實的AR體驗。例如，AR裝置可允許使用者體驗沉浸式虛擬環境或內容或與之交互。如前述，為了提供真實的AR體驗，AR技術通常意欲將虛擬內容與實體世界相整合。在一些實例中，AR裝置可使用來自一或多個感測器的追蹤資訊來計算真實世界環境的裝置、物件及/或地圖的相對姿勢，以便匹配裝置、物件及/或真實世界環境的相對位置和移動。藉由使用一或多個裝置、物件及/或真實世界環境的姿勢和移動，AR裝置可以令人信服的方式將內容錨定到真實世界環境。相對姿勢資訊可用於將虛擬內容與使用者感知的運動及裝置、物件和真實世界環境的時空狀態相匹配。
XR裝置（例如，AR裝置）的使用者有時可在使用者在車輛中時（例如，當使用者駕駛車輛或作為車輛中的乘客時）佩戴XR裝置。例如，在一些情況下，使用者可在操作（例如，駕駛）車輛時佩戴AR裝置。在一些情況下，佩戴AR裝置並操作車輛的使用者（例如，駕駛員）可能會受到一或多個情況（例如分心）的削弱。換言之，使用者操作車輛的能力可能會受到此種情況的削弱。分心可能是由多種原因引起的，例如使用者外部的原因。例如，使用者可能會被AR裝置呈現的虛擬內容（例如，電子郵件通知、世界鎖定的虛擬看板或標誌、應用內容、視訊及/或圖像內容、介面內容等）、發生在車輛外部環境中的物件及/或活動、發生在車輛內部的物件及/或事件、車輛的其他乘客、思想及/或注意力不集中（例如，白日夢等）、聲音或噪音（例如，車輛內部及/或外部）、使用者裝置等分散注意力。
即使沒有此種分心，車輛的乘員（例如，駕駛員）通常亦可能遭受其他削弱。其他削弱可包括及/或由某些身體及/或個人限制及/或狀況引起，例如有限的感知、有限的注意力、真實世界的事件和狀況、睡眠剝奪、中毒、健康狀況等。例如，佩戴AR裝置的車輛的乘員（例如，駕駛員）可能難以從乘員的視點或視野看到車輛周圍環境的某些區域/視圖（例如，車輛後側的區域、車輛下的區域、靠近車輛外部的區域、被一或多個物件及/或條件（例如，光線不足等）阻隔/阻擋的區域、車輛上方的區域、距離車輛一定距離的區域等）此外，車輛的乘員可能看不到或難以看到某些道路狀況，諸如積水、冰、車輛的一或多個燈（例如，前燈、霧燈、越野燈、應急燈、信號燈、日間行車燈、倒車燈、尾燈、刹車燈等）無法照射到的障礙物等。車輛的乘員亦可能被某些事件和物件分心，諸如路過的車輛、行人、周圍的活動/事件、導航警報等。在一些情況下，此種削弱會阻止或阻礙駕駛員安全操作車輛或對駕駛條件做出反應的能力。
在一些態樣，本文描述的系統和技術可允許車輛和XR裝置（例如，AR裝置）彼此介面，諸如共用/整合來自車輛和XR裝置的資料、功能、動作及/或裝置能力。彼此介面和共用/整合資料可允許車輛和XR裝置（例如，AR裝置）向車輛的乘員（例如車輛的駕駛員/操作員、車輛乘客等）提供輔助。在一些實例中，XR裝置（例如，AR裝置）可使用來自車輛及/或XR裝置上的一或多個感測器的資料來在車輛內（例如，在車輛的內部部分，諸如車輛駕駛室內）定位自身（決定其位置及/或方向，通常是其姿勢）。在一些情況下，XR裝置可實施定位程序，該定位程序可執行車載地標/標記（例如，車輛內部的快速回應（QR）碼、車輛內部的燈、車輛內部的物件（例如，門、窗、座椅、頭枕、儀錶板部件、車輛控制系統（例如，方向盤、喇叭、信號系統等）、車輛內部的圖案、車輛內部的形狀等）的基於成像（例如，基於視覺）及/或基於音訊（例如，經由音訊波束成形）的定位。定位程序可使用此種車載地標/標記來定位車輛內的XR裝置。例如，定位程序可使用車載地標/標記來決定XR裝置相對於XR裝置及/或車輛的座標系的姿勢。
在一些情況下，定位程序可基於來自XR裝置（例如AR裝置）上的一或多個裝置（例如，感測器、發射器、收發器、成像裝置等）（諸如一或多個相機、無線電介面、超聲感測器、雷達等）的資料來偵測車載地標。例如來自一或多個IMU的輔助感測器資料可用於追蹤XR裝置的姿勢。在一些情況下，定位程序可使用車輛範本來決定XR裝置相對於在車輛範本中指定並如前述偵測的一或多個車載地標的位置。例如，定位程序可使用車輛範本來辨識其可用於定位的一或多個車載地標。在一些情況下，車輛範本可指定一或多個車載地標的座標，諸如位置及/或方向資訊，定位程序可使用該等座標相對於XR裝置（例如，AR裝置）及/或車輛的座標系定位自身。例如，定位程序可使用來自如前述的一或多個裝置（例如，感測器、發射器、收發器等）的資料以偵測在車輛範本中辨識的一或多個車載地標。車輛範本可指定一或多個車載地標的座標，其可定義一或多個車載地標相對於車輛的座標系的位置及/或方向。車輛範本可是車輛特定的或特定於車輛模型、品牌、系列、類別或其組合。定位程序可使用車輛範本中指定的座標來決定由XR裝置（例如，AR裝置）偵測到的一或多個車載地標相對於車輛的座標系的位置及/或方向。定位程序可將一或多個車載地標相對於車輛的座標系的位置及/或方向變換、平移及/或關聯到相對於XR裝置的座標系的位置及/或方向。XR裝置（例如，AR裝置）可使用與一或多個車載地標相關聯的位置及/或方向資訊來理解、決定及/或追蹤XR裝置在車輛內及相對於XR裝置的座標系及/或車輛的座標系的姿勢。
在一些態樣，XR裝置可實施乘員監測程序，諸如駕駛員監測程序，該監測程序可基於車輛的狀態、乘員的位置/方向、由XR裝置呈現的虛擬內容、使用XR裝置上的一或多個相機的眼睛追蹤、慣性感測器資料、音訊感測器資料、雷達資料、無線電信號等來監測使用者的削弱。在一些實例中，XR裝置可包括虛擬內容過濾程序，該虛擬內容過濾程序可基於來自車輛的狀態和乘員監測程序來過濾或阻止虛擬內容，以免呈現給乘員（例如，駕駛員或乘客）。車輛使用者介面程序可基於例如來自車輛的狀態和乘員監測程序來呈現使用者介面元素。
在一些情況下，車輛可實施車輛監測程序，該監測程序可辨識和監測與車輛、車輛的乘員及/或車輛的周圍環境相關的狀態及/或事件。車輛監測程序可將關於此類狀況/事件的資料發送到例如與車輛配對（例如，經由無線無線電鏈路）的無線通訊中的XR裝置（例如，AR裝置）。XR裝置可將此類資料用於乘員監測程序、虛擬內容過濾程序、車輛使用者介面程序等。在一些實例中，車輛可實施事件緩解程序，該事件緩解程序可基於由XR裝置產生的乘員（例如，駕駛員）監測事件，諸如由XR裝置偵測到的乘員狀況及/或活動，來改變車輛操作及/或自動駕駛策略。
如前述，在一些情況下，XR裝置（例如，AR裝置）的車載定位程序可允許XR裝置理解XR裝置在車輛內的姿勢。XR裝置可使用定位程序來決定其相對於車輛的座標系及/或在車輛的座標系內的姿勢。例如，為了呈現來自基於車輛的感測器及/或指令的資料及/或事件，3DXR裝置可使用定位程序來獲得對XR裝置相對於車輛的座標系的姿勢的共同理解。在一些情況下，定位程序可執行從車輛的座標系到XR的座標系的轉換。在一些情況下，為了協助XR裝置在車輛內定位自身及/或在三維（3D）空間中映射車輛內部，車輛可向XR裝置提供車輛範本。車輛範本可包括例如但不限於一或多個車載地標的視覺、IR及/或RF描述符。車載地標的非限制性示例可包括固定到車輛內部（例如，駕駛室）中的物件或區域（例如，駕駛室中的物件/區域、擋風玻璃上的區域、儀錶板上的物件/區域、車門上的物件/區域、座椅上的物件/區域等）的視覺圖案（例如，QR碼、諸如棋盤圖案的校準圖案、銘文/雕刻、圖案化材料、標籤等）、固定到車輛內部中的物件及/或區域的主動照明（例如，發光二極體（LED）等）、車輛內部的不可移動元件（例如，儀錶組、儀錶板的拐角、車窗及/或擋風玻璃的角、車輛的車頂、車輛的中控台等）、車輛內部相對於車體的位置/偏離已知的可移動元件（例如，乘客座椅、方向盤等）等。在一些實例中，車輛範本可包括/指定車載地標相對於車輛的座標系的位置及/或方向。
XR裝置（例如，AR裝置）的定位程序可使用車載地標/標記、視覺、IR及/或RF描述符及位置及/或方向資訊來相對於車載地標和車輛的座標系定位自身。例如，使用XR裝置的一或多個相機，XR裝置可實施定位程序以（連續地）搜尋車輛範本中指定的車載地標，並相對於車載地標和（經由擴展）車輛定位自身。在一些情況下，XR裝置亦可使用其他感測器/裝置來協助定位，例如WiFi裝置、藍芽裝置、超聲裝置、IMU等。
車輛監測程序可監測XR裝置（例如，AR裝置）、車輛及/或一或多個環境等的狀態。車輛監測程序可辨識與車輛及其周圍環境、駕駛條件、道路狀況、車輛狀況等相關的事件。車輛監測程序可將關於該等事件的資料發送到XR裝置，XR裝置可將該等資料用於乘員監測程序、虛擬內容過濾程序、車輛使用者介面程序等。由車輛監測程序提供給XR裝置的資料的非限制性示例可包括儀錶讀數；感測器資料（例如，相機資料、RADAR資料、SONAR資料、SONAR資料、SODAR資料、EmDAR資料、GNSS資料、LIDAR資料、IMU資料、GPS資料等）、指示車輛路徑狀況的網際網路資料（例如，天氣狀況、交通狀況、道路狀況等）、導航資訊等。在一些實例中，感測器資料可在被提供給XR裝置之前由車輛預處理，例如，經由應用影像處理、感測器融合、物件/主體偵測等。在一些實例中，至少一些感測器資料可未經處理地提供給XR裝置。
在一些實例中，感測器資料可指示車輛的狀態或情況，諸如車輛的執行狀態，車輛的運動狀態，自動駕駛策略、車輛相關事件（例如，車輛元件的故障或感測器觸發的警報）及其組合、在車輛路徑中或接近車輛路徑存在物件或障礙物（例如，在一些情況下經由在正和負實例上訓練的機器學習分類器決定）、在車輛路徑中或接近車輛路徑存在行人（例如，在一些情況下經由在正和負實例上訓練的機器學習分類器決定）、在車輛路徑中存在某物（例如，坑洞、事故、動物、不平坦的道路部分、車道標記等）（例如，在一些情況下經由在正和負實例上訓練的機器學習分類器決定），在車輛路徑的後側或附近存在物件（例如，緊急車輛等）（例如，在一些情況下，經由在正和負實例上訓練的機器學習分類器決定）等。在一些情況下，感測器資料可指示沿著車輛路徑的交通控制（例如，停車標誌、停車燈等）（例如，在一些情況下經由在正和負實例上訓練的機器學習分類器決定）、車輛違反車道標記（例如，在一些情況下經由在正和負實例上訓練的機器學習分類器決定）、車輛超過速度限制（例如，在一些情況下基於車輛的速度計和速度限制區的資料庫決定）等。
在一些情況下，車輛監測程序可提供XR裝置（例如，AR裝置）車輛對一切（V2X）（例如，車輛對車輛（V2V）、車輛對基礎設施（V2I）等）資料及/或事件。車輛監測程序可向XR裝置提供的V2X資料的非限制性實例包括指示在車輛路徑中存在障礙物的V2X資料、指示在車輛路徑中或接近車輛路徑存在行人的V2X資料、指示在車輛的路徑中存在某物（例如，坑洞、動物、物件等）的V2X資料、指示在車輛路徑的後側或附近存在緊急車輛的V2X資料、指示沿著車輛路徑存在交通控制（例如，停車標誌、停車燈等）的V2X資料、指示車輛違反車道標記的V2X資料、指示車輛超過速度限制的V2X資料、指示在車輛路徑中存在某些狀況（例如，天氣狀況、道路狀況、交通狀況、事故等）的V2X資料等。
在一些實例中，乘員監測程序可基於來自車輛的事件資料及/或狀態資訊、由XR裝置（例如，AR裝置）呈現的虛擬內容、乘員的位置/方向、使用者活動（例如，手勢、運動等）、眼睛追蹤、慣性感測器資料、音訊資料（例如，語音資料、聲學資料、聲波等）、使用者頭部姿勢等來監測使用者/乘員的削弱。在一些情況下，可獨立於XR裝置呈現的虛擬內容及/或車輛狀態來偵測乘員（例如，駕駛員、乘客等）削弱。例如，在一些情況下，可使用感測器資料及/或感測器資料處理（例如眼睛追蹤、慣性感測、心率資訊、溫度資料）來偵測乘員削弱。在一些情況下，眼睛追蹤、慣性感測、心率資訊、溫度資料等可指示（例如，在一些情況下經由在正和負實例上訓練的機器學習分類器決定）困倦、中毒、健康緊急情況（例如，癲癇發作、心臟病發作、失去知覺等）、壓力或情緒高漲狀態一般注意力不集中/分心等。在一些情況下，可使用虛擬內容、車輛狀態資訊及/或感測器資料的組合來偵測削弱。例如，在一些情況下，可基於指示乘員的眼睛注視已經在特定（可配置）時間段內聚焦在虛擬內容上的眼睛追蹤資料、指示當車輛事件監測器偵測到即將發生的事件或物件（例如，障礙物、行人、坑洞、動物等）時乘員的注視聚焦在別處的眼睛追蹤資料、乘員注視的光線追蹤、車輛範本、報告的車輛事件中的位置資訊、指示乘員的位置及/或運動的感測器資料等來偵測乘員削弱。
在一些情況下，XR裝置可調變/修改（例如，經由虛擬內容過濾程序及/或使用者介面程序）由XR裝置呈現給乘員的虛擬內容。例如，XR裝置可回應於乘員監測程序對乘員受削弱的決定、來自車輛監測程序的車輛事件即將發生或正在發生的報告、乘員請求的虛擬內容可能使乘員對某些駕駛及/或相關事件分心的決定等來調變虛擬內容。在一些實例中，XR裝置可經由禁用、變暗，或者增加除標記為需要的虛擬內容的子集（例如，平視顯示器（HUD）內容、車輛儀錶內容等）之外的所有虛擬內容、乘員聚焦的虛擬內容的任何部分（例如，在一些情況下基於乘員注視的光線追蹤及/或捕捉乘員注視的圖像資料決定）、模糊車輛事件的任何虛擬內容（例如，在一些情況下基於從XR裝置到車輛事件的位置的光線追蹤、車輛範本及/或報告的車輛事件中的資訊決定）等的透明度來調變虛擬內容。
在一些情況下，除了禁用分心的虛擬內容之外，AR裝置亦可呈現其他虛擬內容，以喚醒受削弱的乘員及/或強調即將發生或正在發生的車輛事件。在一些實例中，XR裝置可對乘員的視野（FOV）的邊緣進行脈衝處理，圈出或突出顯示所顯示的圖像/視訊中的車輛事件的位置，呈現頭部鎖定箭頭，對乘員視覺的周邊進行脈衝處理，使用其他方向指示器來在車輛事件的方向引導乘員的頭部及/或注視，在車輛事件的位置附近資料串流車輛相機饋送（例如，備用相機、側視相機等），資料串流車輛狀態（例如，儀錶等）作為頭部鎖定的HUD或世界鎖定的使用者介面（UI）元素，呈現鎖定到車輛的區域（例如，車輛壁等）的扭曲的及/或透視校正的外部視圖使得車輛看起來透明或半透明並且車輛事件可見，呈現虛擬內容以替換使人分心的真實世界內容（例如，看板、事故等）。在一些情況下，可使用深度神經網路來呈現此類虛擬內容，深度神經網路被訓練成從圖像的資料庫產生合成的或「深度偽造的」虛擬內容，並以AR裝置及/或車輛觀察到的風格來呈現。
如前述，車輛監測程序可向XR裝置（例如，AR裝置）發送車輛事件。類似地，XR裝置的乘員監測程序可向車輛發送乘員監測事件（例如，削弱等）。在一些實例中，車輛可具有一些自動或半自動駕駛能力，這可受益於知曉由XR裝置產生的乘員監測事件。車輛可使用該等事件作為自動駕駛策略或能力的一部分。例如，在接收到指示乘員（例如，駕駛員）受削弱的乘員監測事件時，車輛可賦能自主能力來警告乘員及/或防止與受削弱駕駛相關聯的某些事件或風險，增加已經啟動的自主能力的級別或置信度等。在一些實例中，在接收到指示健康緊急情況的乘員監測事件時，車輛可賦能自主能力來安全地停止車輛或前進到某個位置尋求幫助（例如，醫院、診所等）。在一些情況下，車輛可使用線上或強化學習演算法來隨著時間的推移學習哪些車輛及/或世界事件與特定駕駛員狀態（例如，特定削弱等）具有更高的相關性，並使用該資訊來處理及/或避免此種情況。例如，若乘員經常被看板分心，車輛可在有看板的環境中降低速度或更積極地實現緊急刹車。
在一些情況下，XR裝置可使用來自乘員的一或多個可穿戴裝置的資料來協助乘員監測程序。可穿戴裝置可具有額外的及/或冗餘的感測器模態，其可幫助乘員監測。可穿戴裝置可將此類資料（或相關事件的摘要）發送到XR裝置，以協助其乘員監測程序。在一些實例中，可穿戴裝置可發送XR裝置感測器資料，例如慣性感測器資料、心率量測、血壓量測、皮膚電反應量測、ECG/EKG/EEG資料、溫度資料、氧氣位準、運動資訊、睡眠追蹤資訊等。在一些情況下，來自可穿戴裝置的資料可指示及/或可用於決定（例如，經由在正和負實例上訓練的機器學習分類器）削弱，諸如困倦、醉酒、健康緊急情況、壓力、情緒高漲狀態、失去知覺等。
在一些情況下，XR裝置可從車輛獲得乘員監測資訊。例如，在一些情況下，車輛可結合其自己的乘員監測能力/功能。在一些情況下，XR裝置可向車輛發送來自XR裝置的乘員監測程序的原始乘員監測資料，用於與車輛的乘員監測系統進行融合處理（例如，除了發送車輛處理的乘員監測事件之外或代替發送車輛處理的乘員監測事件）。
在一些情況下，車輛可向基礎設施及/或其他車輛發送乘員監測事件，以允許緩解駕駛員事件。例如，車輛可向其他車輛報告其駕駛員受削弱，以便其他車輛可採取預防措施，改變其自動駕駛策略（例如，減速，給受削弱的駕駛員一個寬闊的泊位等），通知他們的駕駛員的XR裝置（例如，在一些情況下，該裝置可突出顯示或以虛擬內容指示附近的車輛有受削弱的駕駛員）等。在一些情況下，車輛可向以下各者報告其駕駛員受削弱：行人過街基礎設施（例如，因此過街信號可阻止行人在駕駛員受削弱的車輛前方過街等）、執法部門（例如，為了幫助及/或保護）、行人的XR裝置（例如，因此行人的XR裝置可呈現訊號傳遞通知受削弱駕駛員的虛擬內容等）。在一些情況下，車輛可相對於XR裝置呈現本文描述的任何虛擬內容。例如，車輛可呈現與本文針對XR及/或行動裝置描述的相同的內容及/或內容類別型。除了XR裝置呈現的任何內容之外或代替XR裝置呈現的任何內容，車輛可呈現此種內容。
將參照附圖描述應用的各個態樣。
圖1是圖示行動裝置150的計算系統100的實例的圖。行動裝置150是可由終端使用者使用的計算裝置的實例。例如，行動裝置150可包括可攜式裝置、行動電話、XR裝置（例如，HMD、智慧眼鏡等）、平板電腦、膝上型電腦、可穿戴裝置（例如，智慧手錶等）、連接的或物聯網路（IoT）裝置及/或使用者用來經由無線通訊網路進行通訊的任何其他裝置。計算系統100包括可經由諸如匯流排的通訊系統134電耦合或通訊耦合（或者可在適當的情況下以其他方式進行通訊）的軟體和硬體部件。
計算系統100可包括一或多個感測器系統102、計算部件110、一或多個輸入裝置120（例如，滑鼠、鍵盤、觸敏螢幕、觸控板、小鍵盤、麥克風、控制器等）、一或多個輸出裝置122（例如，一或多個顯示器、揚聲器、發光裝置、印表機、投影儀等）、一或多個數據機126、一或多個無線收發器128、一或多個天線130及/或一或多個記憶體裝置132。在一些情況下，計算系統100可可選地包括一或多個SIM 124。計算系統100可包括可在計算系統100的部件之間傳送資料的通訊系統134（例如，匯流排）。在一些實例中，一或多個輸出裝置122可包括行動裝置150的左顯示器和右顯示器，諸如HMD、智能眼鏡等。在一些實例中，一或多個輸出裝置122可包括行動裝置150的後顯示器及/或前顯示器，諸如智慧型電話、智慧手錶等。在一些情況下，一或多個輸出裝置122可包括一或多個光學裝置，諸如一或多個投影儀。
在一些實例中，通訊系統134可互連一或多個感測器系統102、計算部件110、一或多個輸入裝置120、一或多個輸出裝置122、一或多個數據機126、一或多個無線收發器128、一或多個天線130及/或一或多個記憶體裝置132。例如，在一些情況下，計算部件110可使用通訊系統134在處理處理器/核之間及/或與計算系統100的任何裝置/部件（例如，一或多個感測器系統102、一或多個輸入裝置120、一或多個輸出裝置122、一或多個SIM 124、一或多個數據機126、一或多個無線收發器128、一或多個天線130及/或一或多個記憶體裝置132）進行通訊。
計算部件110可包括例如一或多個中央處理單元（CPU）112、圖形處理單元（GPU）114、數位訊號處理器（DSP）116及/或圖像信號處理器（ISP）118。在一些情況下，計算部件110可附加地或替代地包括圖1中未圖示的一或多個其他處理部件，例如但不限於一或多個特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）、應用處理器（AP）、視覺處理單元（VPU）、神經網路信號處理器（NSP）、微控制器、電腦視覺（CV）處理器、專用硬體、其任意組合及/或其他處理裝置或系統。在一些情況下，一或多個計算部件110可包括其他電子電路或硬體、電腦軟體、韌體或其任意組合，以執行本文描述的各種操作中的任何一個。在一些實例中，一或多個計算部件110可包括比圖1中所示的更多或更少的計算部件。此外，CPU 112、GPU 114、DSP 116和ISP 118僅僅是為解釋目的而提供的計算部件的說明性實例。
計算系統100可使用一或多個計算部件110來執行各種計算操作，例如擴展現實操作（例如，追蹤、定位、物件偵測、分類、姿勢估計、映射、內容錨定、內容呈現等）、裝置控制操作、圖像/視訊處理、圖形呈現、事件映射、機器學習、資料處理、建模、計算、電腦視覺、事件監測、本文描述的任何操作及/或任何其他操作。例如，在一些情況下，一或多個計算部件110可使用來自感測器系統102、一或多個輸入裝置120、一或多個SIM 124、一或多個數據機126、一或多個無線收發器128、一或多個天線130、一或多個記憶體裝置132、圖2中示出的車輛計算系統210及/或任何其他裝置的資料來執行圖像/視訊處理、事件映射、XR處理、裝置管理/控制及/或本文所述的其他操作。
為了說明，在一些實例中，一或多個計算部件110可執行監測（例如，裝置監測，使用者監測，車輛監測，事件監視，活動監控，物件監控等）、裝置控制/管理、追蹤（例如，裝置追蹤、物件追蹤、手追蹤、眼睛注視追蹤等）、定位、物件偵測及/或辨識、物件分類、姿勢估計、形狀估計、場景映射、場景偵測及/或場景辨識、面部偵測及/或辨識、情感偵測及/或辨識、內容錨定、內容呈現、內容過濾、影像處理、建模、內容產生、手勢偵測及/或辨識、使用者介面產生、電源管理、事件偵測及/或辨識，及/或基於來自使用者計算系統100、車輛計算系統210及/或任何其他系統或部件的一或多個部件的資料的其他操作。
在一些實例中，一或多個計算部件110可實施一或多個軟體引擎及/或演算法，例如，特徵提取器（例如，尺度不變特徵變換（SIFT），加速穩健特性（SURF），定向的FAST和旋轉的BRIEF（ORB）等）、機器學習模型、電腦視覺演算法、神經網路、追蹤演算法、定位演算法、物件偵測演算法、辨識演算法、映射演算法、應用（例如，XR應用、訊息收發應用、社交媒體網路應用、網頁瀏覽器應用、生產力應用程式、遊戲應用、娛樂應用、多媒體應用、認證應用、攝影應用、掃描應用、媒體重播應用、安全應用、電子商務應用、內容管理應用、介面及/或訊窗應用、助手應用、自動化應用、電子郵件應用、語音應用、相機應用、導航應用、車輛應用等）、電腦視覺演算法、影像處理演算法、內容過濾演算法及/或任何其他演算法及/或部件。
圖像感測器104A及/或圖像感測器104N可包括任何圖像及/或視訊感測器或擷取裝置，諸如數碼相機感測器、攝像機感測器、智慧手機相機感測器、諸如電視或電腦、相機等的電子裝置上的圖像/視訊擷取裝置。在一些情況下，圖像感測器104A及/或圖像感測器104N可是諸如數碼相機、攝像機、IP相機、智慧手機、智慧電視、遊戲系統等的相機或計算裝置的一部分。此外，在一些情況下，圖像感測器104A和圖像感測器104N可包括及/或實施雙（或多）圖像感測器系統或設置，諸如後感測器裝置和前感測器裝置。在一些實例中，圖像感測器104A和圖像感測器104N可是雙相機或其他多相機組件（例如，包括兩個相機、三個相機、四個相機或其他數量的相機）的一部分。在一些情況下，圖像感測器104A及/或圖像感測器104N可包括RF感測器，諸如被配置為執行環境的RF及/或IR成像的雷達感測器、LIDAR感測器及/或IR感測器。
在一些實例中，每個圖像感測器104A和104N可擷取圖像資料並基於圖像資料產生訊框及/或將圖像資料或訊框提供給一或多個計算部件110以供處理。訊框可包括視訊序列的視訊訊框或靜止圖像。訊框可包括表示場景的像元陣列。例如，訊框可是每個像元具有紅色、綠色和藍色分量的紅-綠-藍（RGB）訊框；每像元具有亮度分量和兩個色度（顏色）分量（色度-紅色和色度-藍色）的亮度、色度-紅色、色度-藍色（YCbCr）訊框；或任何其他合適類型的彩色或單色圖片。
一或多個無線收發器128可經由一或多個天線130從一或多個其他裝置及/或網路接收無線信號（例如，信號140），諸如其他使用者裝置、車輛（例如，圖2中示出的車輛202）、網路裝置（例如，諸如eNB及/或gNB的基地台、WiFi裝置（例如，路由器、存取點等）、伺服器、交換機、路由器、閘道、防火牆等）、雲網路、私人網路絡、公共網路、資料中心、網際網路、衛星、連接或物聯網裝置、基礎設施裝置/部件等。在一些實例中，計算系統100可包括多個天線。無線信號140可經由無線網路發送。無線網路可是任何無線網路，諸如蜂巢或電信網路（例如，3G、4G、5G等）、無線區域網路（例如WiFi網路）、藍芽 TM網路及/或任何其他無線網路。在一些實例中，一或多個無線收發器128可包括射頻（RF）前端。RF前端可包括一或多個部件，例如一或多個放大器、用於信號降頻轉換的混頻器（亦稱為信號乘法器）、向一或多個混頻器提供信號的頻率合成器（亦稱為振盪器）、基頻濾波器、類比數位轉換器（ADC）、功率放大器、RF埠（例如發送（Tx）及/或接收（Rx）埠）、移相器、IQ增益和相位補償器、上取樣器、增益控制、數位類比轉換器、波束形成器、低通濾波器、時間延遲濾波器等。在一些實例中，RF前端通常可處理無線信號140到基頻或中頻的選擇和轉換，並且可將RF信號轉換到數位域。
在一些情況下，計算系統100可包括被配置為對使用一或多個無線收發器128發送及/或接收的資料進行編碼及/或解碼的編碼-解碼裝置（或轉碼器）。在一些情況下，計算系統100可包括被配置為加密及/或解密（例如，根據高級加密標準（AES）、資料加密標準（DES）及/或任何其他標準）由一或多個無線收發器128發送及/或接收的資料的加密-解密裝置或部件。
SIM是可安全地儲存特定使用者或使用者的國際行動使用者身份（IMSI）號碼和相關金鑰（例如，加密-解密金鑰）的裝置（例如，積體電路）。IMSI和金鑰可用於辨識和認證特定UE上的使用者。在圖1中，一或多個SIM 124中的每一個可安全地儲存分配給行動裝置150的使用者的IMSI號碼和相關金鑰。當存取由與一或多個SIM 124相關聯的網路服務提供商或服務供應商提供的網路時，IMSI和金鑰可用於辨識和認證使用者。
數據機是調變一或多個載波信號以編碼用於傳輸的數位資訊，並且解調信號以解碼發送的資訊的裝置。一或多個數據機126可調變一或多個信號以編碼用於使用一或多個無線收發器128傳輸的資訊。一或多個數據機126亦可解調由一或多個無線收發器128接收的信號，以便對發送的資訊進行解碼。在一些實例中，一或多個數據機126可包括4G（或LTE）數據機、5G（或新無線電（NR））數據機、配置用於車輛對一切（V2X）通訊的數據機及/或其他類型的數據機。一或多個數據機126和一或多個無線收發器128可用於為一或多個SIM 124傳送資料。
如前述，計算系統100可包括一或多個感測器系統102。在一些實例中，一或多個感測器系統102可包括一或多個圖像感測器，諸如圖像感測器104A和104N（以下統稱為「圖像感測器104」）、位置感測器106（例如，超聲感測器、次聲感測器、SONAR感測器、基於RF的感測器系統（例如，WiFi、藍芽等）、麥克風等）、慣性量測單元（IMU）108及/或一或多個其他感測器。在一些情況下，計算系統100可可選地包括一或多個其他/附加感測器或感測器系統，例如但不限於RADAR感測器系統、LIDAR感測器系統、電磁偵測和測距（EmDAR）感測器系統、紅外感測器系統、雷射測距儀系統、聲音偵測和測距（SODAR）系統、觸摸感測器、壓力感測器（例如，氣壓感測器及/或任何其他壓力感測器）、陀螺儀、加速度計、磁力計及/或任何其他感測器。在一些實例中，計算系統100可包括附加部件，例如發光二極體（LED）裝置、快取記憶體、無線網路介面等。下文參照圖15進一步描述可由計算系統100實施的示例架構和示例硬體部件。
計算系統100可包括（及/或與其通訊）一或多個非暫時性機器可讀儲存媒體或儲存裝置（例如，一或多個記憶體裝置132），其可包括（例如但不限於）本端及/或網路可存取儲存、磁碟機、驅動器陣列、光儲存裝置、諸如RAM及/或ROM的固態儲存裝置（例如，其可是可程式設計的及/或可快閃記憶體更新的）等。此種儲存裝置可被配置為實施任何適當的資料儲存，包括但不限於各種檔案系統、資料庫結構等。
在一些實例中，功能可作為一或多個電腦程式產品（例如，指令或代碼）儲存在記憶體裝置132中，並由計算部件110執行。計算系統100亦可包括軟體元件（例如，位於一或多個記憶體裝置132內），包括例如作業系統、裝置驅動程式、可執行庫及/或其他代碼，諸如一或多個應用程式，其可包括實施由各種實施例提供的功能的電腦程式，及/或可被設計成實施方法及/或配置系統，如本文所述。
在一些實施方式中，使用者裝置（UE）可被配置用於雙SIM雙啟動（DSDA）功能。例如，行動裝置150、圖2所示的車輛202及/或其他UE可配備有DSDA功能。具有DSDA功能的UE可配備至少兩個SIM。在一個說明性實例中，具有DSDA功能的車輛（例如，圖2中示出的車輛202）和使用者裝置（例如，行動裝置150）可使車輛和車輛的乘員（例如，駕駛員、乘客等）及使用者裝置能夠選擇獨立的網路服務供應商（或提供商）訂閱，每個服務供應商訂閱與特定的SIM相關聯。例如，車輛可使用第一服務供應商進行無線通訊存取，並且使用者裝置可使用第二服務供應商進行無線通訊存取。
在一些情況下，DSDA功能可支援車輛的至少兩個活動SIM，包括OEM SIM和使用者SIM，諸如下文關於圖2的車輛計算系統210描述的彼等。如下該，OEM SIM及/或使用者SIM可與一或多個數據機（例如，圖2所示的數據機228及/或圖2所示的通訊系統222的其他數據機）一起使用。在一些實施方式中，車輛的OEM SIM、使用者SIM和數據機可是車輛的遠端資訊處理控制單元（TCU）的一部分，或者可是TCU的網路存取裝置（NAD）（在一些情況下亦稱為網路控制單元或NCU）的一部分（例如，作為圖2的通訊系統222的一部分）。如下該，OEM SIM可儲存提供用於執行基於車輛的操作的無線通訊（例如，用於eCall功能，用於與車輛製造商通訊，諸如用於軟體更新等，及其他操作）的存取的資訊。OEM SIM支援車輛的各種服務，包括用於撥打緊急電話的eCall。使用者SIM可用於為使用者的UE執行無線網路存取，以便支援使用者資料連接，諸如用於促進電話撥叫、訊息傳遞、資訊娛樂相關服務等。
DSDA可允許車輛的使用者SIM和數據機用於無線網路存取（例如，用於蜂巢連接），以替代UE的SIM及/或數據機。例如，在被帶入車輛的通訊範圍時，使用者裝置（例如，行動裝置）可經由介面（例如，經由藍芽 TM、WiFi TM、USB埠、lightning埠及/或其他無線或有線介面）與車輛連接。一旦連接，使用者裝置的通訊單元可將無線網路存取功能從使用者裝置轉移到車輛的通訊單元。車輛的通訊單元可開始與基地台交互以執行一或多個無線通訊操作，諸如促進電話撥叫、發送及/或接收資料（例如，訊息傳遞、視訊、音訊等），及其他操作。如前述，裝置（例如，車輛、使用者裝置、其他UE、路邊單元（RSU）等）的「通訊單元」可是TCU、NAD、數據機、SIM、收發器（或單獨的接收器及/或發送器）、其任意組合，及/或被配置為執行無線通訊操作的其他系統、裝置或部件。在一個說明性實例中，使用者裝置（例如，行動裝置）的使用者SIM（例如，儲存在SIM及/或實際SIM卡上的資訊）可被傳送到車輛的TCU NAD，之後車輛的數據機可使用使用者SIM資訊來與使用者的無線網路服務供應商通訊。
圖2是圖示車輛202的車輛計算系統210的實例的方塊圖。車輛202是可使用V2X通訊（例如，經由PC5介面或其他裝置到裝置的直接介面）與網路（例如，eNB、gNB、定位信標、位置量測單元及/或其他網路實體）及/或與其他UE（例如，行動裝置150）通訊的UE的實例。如圖所示，車輛計算系統210可包括至少電源管理系統212、控制系統214、資訊娛樂系統216、智慧傳輸系統（ITS）218、一或多個感測器系統220和通訊系統222。在一些情況下，車輛計算系統210可包括或可使用任何類型的處理裝置或系統來實施，諸如一或多個CPU、DSP、GPU、ISP、ASIC、FPGA、應用處理器（AP）、視覺處理單元（VPU）、神經處理單元（NPU）、控制電壓處理器（CVP）、微控制器、專用硬體、其任意組合及/或其他處理裝置或系統。
控制系統214可被配置為控制車輛202、功率管理系統212、計算系統210、資訊娛樂系統216、ITS 218及/或車輛202的一或多個其他系統（例如，制動系統、轉向系統、除ITS 218之外的安全系統、駕駛室系統及/或其他系統）的一或多個操作。在一些實例中，控制系統214可包括一或多個電子控制單元（ECU）。ECU可控制車輛中的一或多個電氣系統或子系統。可被包括為控制系統214的一部分的特定ECU的實例包括引擎控制模組（ECM）、動力總成控制模組（PCM）、變速器控制模組（TCM）、制動控制模組（BCM）、中央控制模組（CCM）、中央計時模組（CTM）等。在一些情況下，控制系統214可從一或多個感測器系統220接收感測器信號，並且可與車輛計算系統210的其他系統通訊以操作車輛202。
車輛計算系統210亦包括電源管理系統212。在一些實施方式中，電源管理系統212可包括電源管理積體電路（PMIC）、備用電池及/或其他部件。在一些情況下，車輛計算系統210的其他系統可包括一或多個PMIC、電池及/或其他部件。電源管理系統212可執行車輛202的電源管理功能，諸如管理計算系統210及/或車輛的其他部分的電源。例如，考慮到電力波動，電源管理系統212可諸如基於啟動車輛的引擎來提供穩定的電力供應。在另一實例中，電源管理系統212可執行熱監控操作，諸如經由檢查環境溫度及/或電晶體結溫度。在另一實例中，電源管理系統212可基於偵測到特定溫度位準來執行特定功能，諸如導致冷卻系統（例如，一或多個風扇、空調系統等）冷卻車輛計算系統210的某些部件（例如，控制系統214，諸如一或多個ECU），關閉車輛計算系統210的某些功能（例如，限制資訊娛樂系統216，諸如經由關閉一或多個顯示器、斷開與無線網路的連接等），及其他功能。
車輛計算系統210可包括通訊系統222。通訊系統222可包括用於向網路（例如，gNB或其他網路實體）及/或其他UE（例如，經由PC5介面、WiFi介面、藍芽 TM介面及/或其他無線及/或有線介面向另一車輛或UE）發送信號和從其接收信號的軟體和硬體部件。例如，通訊系統222可被配置為經由任何合適的無線網路（例如，3G網路、4G網路、5G網路、WiFi網路、藍芽 TM網路及/或其他網路）無線發送和接收資訊。通訊系統222包括用於執行無線通訊功能的各種部件或裝置，包括原始裝置製造商（OEM）使用者辨識模組（稱為SIM或SIM卡）224、使用者SIM 226和數據機228。儘管車輛計算系統210被示出為具有兩個SIM和一個數據機，但在一些實施方式中，計算系統210可具有任意數量的SIM（例如，一個SIM或多於兩個SIM）和任意數量的數據機（例如，一個數據機、兩個數據機或多於兩個數據機）。
如前述，SIM是可安全地儲存特定使用者或使用者的國際行動使用者身份（IMSI）號碼和相關金鑰（例如，加密-解密金鑰）的裝置（例如，積體電路）。IMSI和金鑰可用於辨識和認證特定UE上的使用者。OEM SIM 224可由通訊系統222用於建立用於基於車輛的操作的無線連接，諸如用於進行緊急撥叫（eCall）功能、與車輛製造商的通訊系統通訊（例如，用於軟體更新等），及其他操作。OEM SIM 224對於支援關鍵服務的通訊系統可能是重要的，諸如用於在發生車禍或其他緊急情況時進行緊急撥叫的eCall。例如，eCall可包括在發生車輛事故時自動撥打緊急號碼（例如，美國的「9-1-1」，歐洲的「1-1-2」等）的服務並將車輛的位置傳達給緊急服務部門，諸如警察局、消防局等。
通訊系統222可使用使用者SIM 226來執行無線網路存取功能，以便支援使用者資料連接（例如，用於進行電話撥叫、訊息傳遞、資訊娛樂相關服務等）。在一些情況下，使用者的使用者裝置可經由介面（例如，經由PC5、藍芽 TM、WiFi TM、通用序列匯流排（USB）埠及/或其他無線或有線介面）與車輛計算系統210連接。一旦連接，使用者裝置可將無線網路存取功能從使用者裝置轉移到車輛的通訊系統222，在此種情況下，使用者裝置可停止無線網路存取功能的執行（例如，在通訊系統222正在執行無線存取功能的期間）。通訊系統222可開始與基地台交互以執行一或多個無線通訊操作，諸如促進電話撥叫、發送及/或接收資料（例如，訊息傳遞、視訊、音訊等），及其他操作。在此種情況下，車輛計算系統210的其他部件可用於輸出由通訊系統222接收的資料。例如，資訊娛樂系統216（下文描述）可在一或多個顯示器上顯示通訊系統222接收的視訊及/或可使用一或多個揚聲器輸出通訊系統222接收的音訊。
數據機228（及/或通訊系統222的一或多個其他數據機）可用於OEM SIM 224及/或使用者SIM 226的資料通訊。在一些實例中，數據機228可包括4G（或LTE）數據機，並且通訊系統222的另一數據機（未圖示）可包括5G（或NR）數據機。在一些實例中，通訊系統222可包括一或多個藍芽 TM數據機（例如，用於藍芽 TM低能量（BLE）或其他類型的藍芽通訊）、一或多個WiFi TM數據機（例如，用於專用短程通訊（DSRC）及/或其他WiFi通訊）、寬頻數據機（例如，超寬頻（UWB）數據機）、其任意組合及/或其他類型的數據機。
在一些情況下，數據機228（及/或通訊系統222的一或多個其他數據機）可用於執行V2X通訊（例如，與其他車輛進行車輛到車輛（V2V）通訊，與其他裝置進行裝置到裝置（D2D）通訊，與基礎設施系統進行車輛到基礎設施（V2I）通訊，與行人UE進行車輛到行人（V2P）通訊等）。在一些實例中，通訊系統222可包括用於執行V2X通訊（例如，經由PC5介面的側鏈路通訊）的V2X數據機，在此種情況下，V2X數據機可與用於無線網路存取功能（例如，用於經由網路或空中介面（例如，通用行動電信系統（UMTS）介面或「Uu介面」等）的網路通訊及/或除了V2X通訊之外的側鏈路通訊）的一或多個數據機分開。
在一些實例中，通訊系統222可是或可包括遠端資訊處理控制單元（TCU）。在一些實施方式中，TCU可包括網路存取裝置（NAD）（在一些情況下亦稱為網路控制單元或NCU）。在一些情況下，NAD可包括數據機228、圖2中未圖示的任何其他數據機、OEM SIM 224、使用者SIM 226及/或用於無線通訊的其他部件。在一些實例中，通訊系統222可包括全球導航衛星系統（GNSS）。在一些情況下，GNSS可是一或多個感測器系統220的一部分，如下所述。GNSS可為車輛計算系統210提供執行一或多個位置服務、導航服務及/或可利用GNSS功能的其他服務的能力。
在一些情況下，通訊系統222可包括用於發送和接收無線通訊的一或多個無線介面（例如，包括用於每個無線介面的一或多個收發器和一或多個基頻處理器）、用於經由一或多個硬佈線連接執行通訊的一或多個有線介面（例如，諸如通用序列匯流排（USB）輸入的序列介面、lightening連接器及/或其他有線介面），及/或可允許車輛202與網路及/或其他UE通訊的其他組件。
車輛計算系統210亦可包括可控制內容的資訊娛樂系統216和可用於輸出內容的車輛202的一或多個輸出裝置。資訊娛樂系統216亦可被稱為車載資訊娛樂（IVI）系統或車載娛樂（ICE）系統。內容可包括導航內容、媒體內容（例如，視訊內容、音樂或其他音訊內容，及/或其他媒體內容）及其他內容。一或多個輸出裝置可包括一或多個圖形化使用者介面、一或多個顯示器、一或多個揚聲器、一或多個擴展現實裝置（例如，VR、AR及/或MR耳機）、一或多個觸覺回饋裝置（例如，配置為振動座椅、方向盤及/或車輛202的其他部分的一或多個裝置）及/或其他輸出裝置。
在一些實例中，計算系統210可包括智慧傳輸系統（ITS）218。在一些實例中，ITS 218可用於實施V2X通訊。例如，ITS 218的ITS堆疊可基於來自ITS的應用層的資訊產生V2X訊息。在一些情況下，應用層可決定是否已經滿足某些條件來產生供ITS 218使用的訊息及/或產生要發送到其他車輛（例如，用於V2V通訊）、行人UE（例如，用於V2P通訊）及/或基礎設施系統（例如，用於V2I通訊）的訊息。在一些情況下，通訊系統222及/或ITS 218可（例如，經由CAN匯流排從車輛的其他部件）獲得汽車存取網路（CAN）資訊。在一些實例中，通訊系統222（例如，TCU NAD）可經由CAN匯流排獲得CAN資訊，並且可將CAN資訊發送到ITS堆疊。CAN資訊可包括車輛相關資訊，諸如車輛的航向、車輛的速度、刹車資訊及其他資訊。CAN資訊可連續地或週期性地（例如，每1毫秒（ms）、每10毫秒等）提供給ITS 218。
用於決定是否產生訊息的條件可基於安全相關應用及/或其他應用，包括與道路安全、交通效率、資訊娛樂、商業及/或其他應用相關的應用，使用CAN資訊來決定。在一個說明性實例中，ITS 218可執行車道變換輔助或協商。例如，使用CAN資訊，ITS 218可決定車輛202或車輛202的駕駛員正試圖將車道從當前車道改變到另一車道，諸如相鄰車道（例如，基於閃光燈被啟動，基於使用者轉向或轉向到相鄰車道等）。基於車輛202正試圖改變車道的決定，ITS 218可決定已經滿足與將被發送到相鄰車道中的車輛附近的其他車輛的訊息相關聯的車道改變條件。ITS 218可觸發ITS堆疊來產生一或多個訊息以傳輸到其他車輛，該訊息可用於與其他車輛協商車道改變。應用的其他實例包括前方碰撞警告、自動緊急刹車、車道偏離警告、行人迴避或保護（例如，當在車輛202附近偵測到行人時，諸如基於與使用者的UE的V2P通訊）、交通標誌辨識等。
ITS 218可使用任何合適的協定來產生訊息（例如，V2X訊息）。ITS 218可使用的協定的實例包括一或多個汽車工程學會（SAE）標準，諸如SAE J2735、SAE J2945、SAE J3161及/或其他標準。
ITS 218的安全層可用於對來自ITS堆疊的訊息進行安全簽名，該訊息被發送到被配置用於V2X通訊的其他UE（諸如其他車輛、行人UE及/或基礎設施系統）並由其驗證。安全層可驗證從此類其他UE接收到的訊息。在一些實施方式中，簽名和驗證程序可基於車輛202的安全內容。在一些實例中，安全內容可包括一或多個加密-解密演算法、用於使用加密-解密演算法產生簽名的公開金鑰及/或私密金鑰，及/或其他資訊。例如，由ITS堆疊產生的每個ITS訊息皆可由安全層簽名。可使用公開金鑰和加密-解密演算法來匯出簽名。接收簽名訊息的車輛、行人UE及/或基礎設施系統可驗證簽名以確保訊息來自授權的車輛。在一些實例中，一或多個加密-解密演算法可包括一或多個對稱加密演算法（例如，高級加密標準（AES）、資料加密標準（DES）及/或其他對稱加密演算法）、一或多個使用公開金鑰和私密金鑰的非對稱加密演算法（例如，Rivest-Shamir-Adleman（RSA）及/或其他非對稱加密演算法）及/或其他加密-解密演算法。
在一些實例中，ITS 218可基於從諸如行動裝置150的其他UE接收的訊息來決定要執行的某些操作（例如，基於V2X的操作）。操作可包括，例如但不限於，安全相關操作、導航操作、駕駛操作及/或其他操作，諸如用於道路安全、交通效率、導航、資訊娛樂、商業、駕駛操作及/或其他應用的操作。在一些實例中，操作可包括使車輛202（例如，控制系統214）執行自動功能，諸如自動制動、自動轉向（例如，在特定車道中保持航向）、與其他車輛的自動車道變換協商、自動加速及/或減速，及其他自動功能。在一個說明性實例中，通訊系統222可從諸如另一車輛（例如，經由PC5介面）或行動裝置的另一個UE接收訊息。該訊息可指示另一車輛即將停止。回應於接收到訊息，ITS 218可產生訊息或指令並將該訊息或指令發送到控制系統214。該訊息或指令可使控制系統214在與其他車輛發生碰撞之前（例如，在撞上其他車輛/與其他車輛碰撞之前）自動制動車輛202以停止車輛202（或降低車輛202的速度）。
在其他說明性實例中，該操作可包括觸發提醒車輛202的乘員（例如，駕駛員）車輛相關事件（諸如另一車輛在車輛202旁邊的車道上）的訊息、提醒乘員（例如，駕駛員）停止車輛202的訊息、提醒乘員（例如，駕駛員）行人處於即將到來的人行橫道（例如，在接近車輛202的臨限值內的人行橫道及/或估計在特定的時間段內由車輛202接近及/或靠近的人行橫道等）的訊息、提醒乘員（例如，駕駛員）收費站在車輛202的特定距離內（例如，在1英哩內或根據任何量測單位的任何其他距離內）的訊息等的呈現/顯示。
計算系統210可包括一或多個感測器系統220（例如，第一感測器系統到第N個感測器系統，其中N是等於或大於2的值）。在一些實例中，感測器系統220可包括可佈置在車輛202的不同部分上或不同部分中的不同類型的感測器系統。在一些實例中，感測器系統220可包括一或多個相機感測器系統、LIDAR感測器系統、RADAR感測器系統、EmDAR感測器系統、SONAR感測器系統、SODAR感測器系統、GNSS接收器系統（例如，一或多個GPS接收器系統）、加速度計、速度感測器、陀螺儀、磁力計、壓力感測器系統、IMU、紅外感測器系統、射頻（RF）感測器系統、雷射測距儀系統、超聲感測器系統、次聲感測器系統、麥克風、重量感測器、其任意組合及/或其他感測器系統。應當理解，可包括任何數量的感測器或感測器系統作為車輛202的計算系統210的一部分。
儘管車輛計算系統210被示出為包括某些部件及/或系統，但是一般技藝人士將理解，車輛計算系統210可包括比圖2中示出的元件更多或更少的部件。例如，車輛計算系統210亦可包括一或多個輸入裝置和一或多個輸出裝置（未圖示）。在一些實施方式中，車輛計算系統210亦可包括（例如，作為控制系統214、資訊娛樂系統216、通訊系統222及/或感測器系統220的一部分或與之分離）至少一個處理器和至少一個記憶體，該至少一個儲存器具有由該至少一個處理器執行的電腦可執行指令。該至少一個處理器與該至少一個記憶體通訊及/或電連接到（稱為「耦合到」或「通訊耦合」）至少一個記憶體。該至少一個處理器可包括例如一或多個微控制器、一或多個CPU、一或多個FPGA、一或多個ASIC、一或多個GPU、一或多個NPU、一或多個DSP、一或多個ISP、一或多個VPU、一或多個應用處理器（AP）（例如，用於執行或執行一或多個軟體應用）及/或其他處理器。該至少一個記憶體可包括例如唯讀記憶體（ROM）、隨機存取記憶體（RAM）（例如靜態RAM（SRAM））、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、一或多個緩衝器、一或多個資料庫及/或其他記憶體。儲存在該至少記憶體中或上的電腦可執行指令可被執行以執行本文所述的一或多個功能或操作。
圖3是圖示用於車載定位的示例系統程序300的圖。在該實例中，行動裝置150位於車輛202的內部。行動裝置150可包括由車輛202的乘員（諸如車輛202的駕駛員）佩戴的AR裝置。行動裝置150可使用系統程序300將其自身定位在車輛202內。
行動裝置150可使用車載定位來理解其相對於車輛202的姿勢、監測車輛202的乘員以偵測乘員的任何乘員削弱（例如，分心、醉酒、困倦、健康緊急情況/狀況、壓力及/或情緒高漲狀態、注意力不集中等）、監測乘員活動/事件、監測/偵測車輛事件/活動、緩解車輛事件及/或控制車輛202的操作、決定為乘員呈現（及/或過濾）什麼（若有）內容（例如，虛擬內容、事件、資料、使用者介面等）等。在一些情況下，由行動裝置150呈現/過濾的內容可包括來自（或基於來自）車輛202及/或行動裝置150上的感測器系統102的資料，諸如感測器量測、偵測到的事件等。
在一些情況下，車輛202亦可為乘員呈現/過濾內容。例如，車輛202可使用車輛202上/處的螢幕、車輛202上/處的平視顯示器、車輛202的儀錶板上的顯示器、車輛202上/處的投影儀裝置及/或任何其他顯示裝置來呈現內容。在一些實例中，由車輛202呈現的內容可包括來自車輛202的資料、來自感測器系統102的資料及/或來自一或多個其他裝置（諸如可穿戴裝置、另一車輛的計算系統等）的資料。在一些情況下，車輛202可接收行動裝置150相對於車輛202的座標系的姿勢，並且使用姿勢資訊來決定呈現及/或過濾什麼內容，及/或決定在哪裡及/或何時呈現/過濾此種內容。
如圖所示，車輛計算系統210上的車輛應用302可向行動裝置150發送車輛範本304。如本文進一步描述的，行動裝置150可使用車輛範本304將其自身定位在車輛202內。車輛範本304可指定及/或描述車輛202內部的地標/標記306。車輛範本304亦可指定地標/標記306相對於車輛202的座標系的座標。地標/標記306的座標可包括地標/標記306相對於車輛202的座標系的位置及/或方向。地標/標記306可包括可使用行動裝置150上的一或多個圖像感測器（例如，圖像感測器104）成像和偵測的任何視覺地標/標記。例如，地標/標記306可包括車輛202內部的一或多個視覺圖案、車輛202內部的主動照明、車輛202內部的元件或物件（可移動及/或不可移動的元件）、裝置、車輛202內部的部分及/或任何其他視覺地標/標記。在一些實例中，一或多個圖像感測器可被配置為執行RF及/或IR成像。在該等實例中，地標/標記306可包括可在RF及/或IR中感測的車輛202內部的物件及/或圖案。
在一些實例中，地標/標記306可包括位於及/或固定到車輛202的內部部分（及/或車輛202內部的物件）的一或多個圖案或代碼（例如，快速回應（QR）碼、條碼、諸如棋盤圖案、形狀、符號等的圖案化設計）、位於及/或固定到車輛202的內部部分（及/或車輛202內部的物件）的燈（例如，發光二極體（LED）、燈泡等）、車輛202內部的物件（例如，車門、車窗、座椅、頭枕、儀錶板/面板中的部件及/或車輛202的中控台（例如，儀錶、無線電/媒體系統（及/或其部件））、方向盤、喇叭、訊號傳遞系統、變速桿、杯架、控制器等）、車輛202內部的可移動及/或不可移動元件（例如，諸如車輛202的內部部分（例如，擋風玻璃、車窗、儀錶板、車門、側板、後車窗等）的角的一部分、汽車座椅、方向盤等）。
行動裝置150可使用一或多個圖像感測器104來對地標/標記306成像。例如，行動裝置150可使用一或多個圖像感測器104來擷取圖示車輛202中的地標/標記306的一或多個圖像。行動裝置150的定位引擎312可使用來自一或多個圖像感測器104和車輛範本304的一或多個圖像來將其自身定位在車輛202內。例如，行動裝置150可偵測由一或多個圖像感測器104擷取的一或多個圖像中圖示的地標/標記306。定位引擎312可使用車輛範本304來決定地標/標記306相對於車輛202的座標系的座標（和方向）。定位引擎312可實施諸如變換的演算法，以將地標306相對於車輛202的座標系的座標轉換為相對於行動裝置150的座標系的相關聯的座標。定位引擎312可使用地標/標記306相對於車輛202的座標及地標/標記306相對於行動裝置150的座標來決定行動裝置150在車輛202內的姿勢（例如，相對於車輛202的座標系）。
在一些實例中，定位引擎312可使用行動裝置150相對於行動裝置150的座標系的被追蹤位置（例如，基於來自行動裝置150上的一或多個感測器的感測器資料）來決定行動裝置150相對於地標/標記306的位置及/或方向的姿勢。定位引擎312可使用行動裝置150相對於地標/標記306的位置及/或方向的姿勢來決定行動裝置150相對於車輛202的座標系的姿勢。
在一些情況下，定位引擎312可使用來自其他感測器（例如，位置感測器106、IMU 108等）的資料以協助決定行動裝置150在車輛202內的姿勢。例如，位置感測器106可使用感測器資料/信號（例如，諸如WiFi或藍芽的RF信號、超聲信號等）以決定行動裝置150相對於車輛202中的一或多個物件的姿勢。位置感測器106可向定位引擎312提供所決定的行動裝置150的姿勢。定位引擎312可使用此種姿勢資訊及基於先前描述的地標/標記306決定的位置及/或方向資訊來將行動裝置150定位在車輛202內。
基於車載定位，定位引擎312可產生指示行動裝置150相對於車輛202的座標系的姿勢的定位資料314。定位引擎312可向行動裝置150上的AR應用310提供定位資料314。在一些實例中，AR應用310可使用定位資料314來為車輛202的乘員（例如，為行動裝置150的使用者）呈現使用者介面，決定要為乘員呈現什麼內容（若有），決定要過濾什麼內容（若有），監測乘員（例如，針對削弱、活動/事件等）、緩解事件，及/或本文描述的任何其他輸出及/或決策。在一些情況下，定位引擎312及/或行動裝置150可向車輛計算系統210提供定位資料314，並且車輛計算系統210上的車輛應用302可使用定位資料314來呈現使用者介面及/或本文描述的任何其他資料。在一些情況下，車輛應用302可附加地或替代地使用事件資料、關於乘員的狀態的資料（例如，指示乘員的削弱的資料）、車輛儀錶資料及/或任何其他資料來為乘員呈現使用者介面及/或任何其他虛擬內容。
在一些情況下，行動裝置150可使用一或多個圖像並且使用或不使用任何其他資料及/或模態來決定行動裝置150的姿勢。例如，行動裝置150可使用車輛202內部部分的一或多個圖像來決定行動裝置150相對於車輛202的座標系的姿勢。該一或多個圖像可圖示車輛202的內部部分中的一或多個地標/標記。行動裝置150可使用一或多個圖像來辨識一或多個地標/標記相對於自身的位置，行動裝置150可使用該位置來決定行動裝置150在車輛202內的姿勢（例如，相對於一或多個地標/標記及/或相對於車輛202的座標系）。
圖4A是圖示用於車輛乘員輔助的增強現實的示例系統程序400的圖。在該實例中，車輛202可包括如前述的地標306。車輛計算系統210可從車輛202上的感測器系統220獲得感測器資料406。如本文進一步描述的，感測器資料406可用於產生提供給行動裝置150的車輛資料408的至少一部分。在一些實例中，感測器資料406亦可由車輛應用302的車輛監測引擎402用於監測車輛202及/或車輛202的操作，及/或由車輛應用302的事件緩解引擎404來執行事件緩解（例如，輔助駕駛員、糾正由駕駛員發起/觸發的錯誤及/或操作等）。例如，車輛監測引擎402可使用感測器資料406來辨識及/或監測與車輛202及其周圍環境相關的狀態事件及/或其他事件（例如，即將發生及/或正在發生的事件）。作為另一個實例，事件緩解引擎404可使用感測器資料406來執行駕駛員事件緩解動作，例如但不限於防止及/或實施一或多個車輛功能、操作及/或動作；為駕駛員產生警告/警報；糾正由駕駛員發起/觸發的錯誤及/或操作；實施保障措施；啟動一或多個自動駕駛能力；等等。在一些實例中，事件緩解引擎404可回應於從行動裝置150接收到一或多個駕駛員監測事件來執行駕駛員事件緩解動作，如本文所述。
感測器資料406可提供關於車輛202的狀態/狀態、車輛周圍的狀態、導航資訊、駕駛/操作事件、安全事件等的資訊。例如，感測器資料406可包括指示車輛202的操作（例如，速度、航向/方向、加速度/減速度等）的資料、車輛202的位置、與車輛202相關聯的駕駛/操作統計、與偵測到的與車輛202相關聯的活動/事件相關聯的時間戳記、任何狀況（例如，物件、車道標記、交通訊號、行人、其他車輛、動物、道路狀況、交通、天氣、基礎設施狀況、照明、附近障礙物等）及/或車輛202外部的活動/事件（例如，沿著車輛202的路徑、發生在車輛202外部、圍繞車輛202、在車輛202外部的環境中、在車輛202附近等）、導航資訊等。
作為另一個實例，感測器資料406可（附加地或替代地）包括車輛202的任何狀況及/或狀態（例如，電池充電狀態，剩餘的燃料量，警告及/或錯誤，故障或失靈等）、車輛202的一或多個部件（例如，輪胎、刹車、車輛感測器、引擎、門鎖、無線電及/或音響系統、控制及/或訊號傳遞系統、車輛計算系統210、盲點資訊系統、駕駛員監測系統、制動系統、自動駕駛部件、停車感測器、駕駛員輔助系統、導航系統、汽車平視顯示器、光感測器、車燈、車輛通訊系統（例如，V2V、V2I、V2X）等）的任何狀況及/或狀態、由車輛202實施或正在實施的任何功能/動作（例如，自動駕駛、牽引力控制、巡航控制、碰撞避免、車道偏離、車道居中、穩定性控制、制動輔助、交通警報、車道保持、高速公路輔助、停車、交通標誌辨識、盲點監測、駕駛員監測、交叉口輔助、車道變換輔助、智慧速度自我調整、輪胎壓力監測、轉彎、加速/減速、訊號傳遞通知等）、任何車輛安全相關事件（例如，即將發生的碰撞、操作錯誤、違反一或多個規則（例如，速度限制、安全帶規則、車道交叉規則、道路安全規則等）、碰撞及/或衝擊事件等。
在一些情況下，感測器資料406可包括與車輛202的乘員相關聯的量測。例如，感測器資料406可包括來自車輛202的一或多個座椅上的一或多個重量感測器的量測。來自一或多個重量感測器的量測可指示乘員在車輛202的特定座椅上。在一些實例中，一或多個重量感測器的量測可用於幫助決定乘員及/或行動裝置150的位置，如本文進一步解釋的。例如，量測可指示乘員在車輛202的特定座位上。如本文進一步描述的，行動裝置150可使用一或多個感測器來確認乘員的定位/位置。
如前述，車輛202可包括地標306。車輛計算系統210可向行動裝置150提供車輛資料408。車輛資料408可包括車輛範本（例如，車輛範本304）。在一些實例中，車輛資料408亦可包括感測器資料406及/或基於感測器資料406產生的資料中的任何一個。在一些情況下，基於感測器資料406產生的資料可包括，例如但不限於，感測器資料406中的資訊的描述（例如，感測器量測及/或作為車輛儀器的描述），從感測器資料406產生的一或多個決定及/或預測（例如，在車輛202的環境中發生的決定及/或預測的事件及/或估計為影響車輛202的操作（及/或相關聯的安全風險）等）、從感測器資料406產生的一或多個輸出及/或推斷、與感測器資料406相關聯的統計及/或度量、由感測器資料406辨識及/或描述的事件、與車輛202相關聯的狀態資訊（例如，車輛202的狀態/狀態）、感測器資料406的一或多個屬性等。
例如，在一些情況下，車輛資料408可包括車輛範本和包括在感測器資料406中及/或從感測器資料406產生的事件資料及/或包括在感測器資料406中及/或從感測器資料406產生的車輛狀態資訊中的至少一個。在一些情況下，事件資料可包括在車輛202周圍及/或與之相關聯的環境中的事件（例如，即將到來/接近事件、出發事件、靜止事件、移動事件、預測事件等）的指示，諸如一或多個物件及/或主體（例如，行人、動物、基礎設施物件、建築物、裝置、自行車、摩托車、交通、大門、標誌等）、障礙物（例如，坑洞、路緣、錐體、樹、道路工程、事故、路障、電纜、路邊垃圾或物件、碎片、水、冰、雪等）、事故（例如，碰撞、近距離或即將發生的遭遇、另一車輛的機動、路邊活動、緊急情況或緊急車輛等）、另一車輛等。
在一些情況下，基於一或多個事件及/或車輛的位置/軌跡及/或與車輛202的操作/導航的相關性，事件可包括一或多個事件。例如，事件可包括在車輛202的臨限值時間段或臨限值行駛距離內在車輛202的路徑中/沿著車輛202的路徑偵測到的事件及/或預測為在車輛202的路徑中/沿著車輛202的路徑的事件、在距車輛202及/或車輛202的路徑的臨限值接近/距離內的事件、估計為觸發/提示車輛202的機動（例如，加速、減速、轉彎、制動、車道居中、避免碰撞、停車、訊號傳遞通知等）及/或車輛202的操作（例如，策略）的改變（例如，路線改變、自動駕駛功能的改變或實施、一或多個駕駛參數及/或臨限值的改變等）的事件等。
車輛資料408中的車輛範本可包括車輛202中的地標306的指示及地標/標記306相對於車輛202的座標系（例如，相對於車輛202上的車輛計算系統210的座標系）的座標及/或方向。例如，車輛範本可包括車輛202中的地標/標記的描述及地標/標記相對於車輛202的座標系的座標及/或方向。如前述，行動裝置150可使用車輛資料408（及車輛資料408的任何其他部分）中的車輛範本來將其自身定位在車輛202內。在一些實例中，行動裝置150亦可使用車輛資料408來執行本文描述的任何功能，例如，本文描述的AR、監測、呈現、控制、通訊、駕駛員輔助及/或緩解功能中的任何一個。
定位引擎312可產生定位車輛202內的行動裝置150的定位資料314。定位引擎312可向AR應用310提供定位資料314，以供監測引擎410、內容過濾引擎412及/或車輛使用者介面414使用，如本文進一步描述的。定位資料314可包括行動裝置150相對於車輛202的座標系的姿勢。在一些實例中，定位引擎312可基於車輛資料408（例如，基於車輛資料408中的車輛範本）和來自行動裝置150的一或多個圖像感測器104的圖像資料來產生定位資料314。
例如，定位引擎312可從一或多個圖像感測器104獲得地標/標記306的一或多個圖像。一或多個圖像可圖示一或多個地標/標記306。定位引擎312可偵測在一或多個圖像中圖示的地標/標記306。定位引擎312可使用車輛範本來決定車輛範本中參考/描述的任何偵測到的地標/標記的座標及/或方向。基於車輛範本中的座標及/或方向，定位引擎312可決定偵測到的地標/標記相對於車輛202的座標系的位置及/或方向。
在一些情況下，定位引擎312亦可使用來自追蹤引擎420的追蹤資料422來決定行動裝置150的姿勢。在一些實例中，追蹤資料422可包括行動裝置150在實體空間中的姿勢，如下文進一步描述的。在一些情況下，定位引擎312可決定行動裝置150相對於偵測到的地標的姿勢，以決定行動裝置150相對於車輛202的座標系的姿勢。例如，定位引擎312可使用圖示地標/標記306的一或多個圖像來決定地標/標記306相對於行動裝置150的座標系的位置及/或方向。定位引擎312可使用地標/標記306的位置及/或方向及來自追蹤引擎420的追蹤資料422中指示的行動裝置150的姿勢來決定行動裝置150相對於地標/標記306的姿勢。定位引擎312可使用行動裝置150和地標/標記306的相對姿勢來決定行動裝置150相對於車輛202的座標系的姿勢。
在一些實例中，為了決定行動裝置150相對於車輛202的座標系的姿勢，定位引擎312可變換（例如，轉換、平移等）所偵測到的地標相對於車輛202的座標系的座標到相對於行動裝置150的座標系的相應座標。例如，在一些情況下，定位引擎312可決定相對於行動裝置150的座標系的座標，該座標對應於所偵測到的地標/標記相對於車輛202的座標系的座標。定位引擎312可使用所偵測到的地標/標記相對於車輛202的座標系的位置（例如座標），及行動裝置150相對於行動裝置150的座標系相對於所偵測到的地標/標記相對於行動裝置150的座標系的位置（例如座標）的位置（例如座標），來決定行動裝置150相對於車輛202的座標系的姿勢。
在一些情況下，定位引擎312亦可使用來自位置感測器106的資料來輔助產生定位資料314，如前述。例如，在一些情況下，位置感測器106可使用一或多個定位信號/演算法，例如基於RF的定位/定位、基於超聲的定位/定位等，來決定行動裝置150及/或一或多個地標/標記306的姿勢。
在一些情況下，感測器資料406可包括來自車輛202的一或多個座椅上的一或多個重量感測器的量測。來自一或多個重量感測器的量測可指示持有或佩戴行動裝置150的乘員處於車輛202的特定座椅上。如前述，該資訊可用於確認由行動裝置150決定的行動裝置150的定位/位置。
追蹤引擎420可獲得感測器資料並使用感測器資料來執行追蹤操作。追蹤操作可追蹤行動裝置150、車輛202的乘員（及/或乘員的一或多個身體部位，諸如手、眼睛、手指、頭部姿勢等）等的姿勢（例如，位置、方向等）。感測器資料可包括來自一或多個圖像感測器104的圖像資料、來自IMU 108的位置資訊（例如，角速率、線性加速度、方向；及/或俯仰、滾動和偏航的變化）及/或來自行動裝置150及/或車輛202的一或多個其他感測器（諸如位置感測器106）的資料。在一些實例中，追蹤引擎420可使用來自一或多個圖像感測器104、IMU 108及/或位置感測器106的資料來執行位置追蹤（例如，六自由度（6DOF）位置追蹤等）以決定行動裝置150的姿勢。追蹤引擎420可產生追蹤資料422並將追蹤資料422提供給AR應用310以供監測引擎410、內容過濾引擎412及/或車輛使用者介面414使用。在一些實例中，追蹤資料422可包括行動裝置150相對於行動裝置150的座標系的姿勢。
追蹤引擎420可使用一或多個追蹤演算法，諸如卡爾曼濾波器、手追蹤演算法、機器學習演算法、光線追蹤演算法、注視及/或眼睛追蹤演算法、電腦視覺演算法、位置追蹤演算法等，來追蹤行動裝置150及/或車輛202的乘員的一或多個身體部位（例如，眼睛、手、手指、頭等）。乘員可包括車輛202的駕駛員或乘客。追蹤引擎420可向AR應用310提供追蹤資料422。追蹤資料422可包括如本文進一步描述的位置及/或方向資訊。
在一些情況下，追蹤引擎420可執行多個追蹤操作。例如，追蹤引擎420可追蹤行動裝置150和車輛202的乘員的一或多個身體部位（例如，手、眼睛、頭、手指、姿勢等）。在一些實例中，追蹤引擎420可追蹤車輛202的乘員的手。在一些實例中，追蹤引擎420可追蹤車輛202的乘員的眼睛及/或眼睛注視。
為了說明，參考圖4B，追蹤引擎420可包括裝置追蹤引擎430、手追蹤引擎432及/或眼睛追蹤引擎434。如前述，裝置追蹤引擎430可追蹤行動裝置150的位置及/或方向。裝置追蹤引擎430可為AR應用310產生裝置追蹤資料440。在一些情況下，裝置追蹤資料440可包括或表示圖4A中所示的追蹤資料422的至少一部分。
裝置追蹤引擎430可使用來自一或多個圖像感測器104的一或多個圖像及/或來自IMU 108的慣性感測器資料來追蹤行動裝置150的姿勢。在一些情況下，裝置追蹤引擎430可（附加地或替代地）使用來自一或多個附加感測器（諸如位置感測器106）的資料來追蹤行動裝置150的姿勢。例如，位置感測器106可獲得一或多個RF信號，並基於與一或多個RF信號相關聯的往返時間（RTT）、與一或多個RF信號相關聯的到達時間（TOA）、與一或多個RF信號相關聯的接收信號強度指示符（RSSI）等來產生與行動裝置150相關聯的姿勢資訊。裝置追蹤引擎430可使用來自位置感測器106的姿勢資訊來追蹤行動裝置150的姿勢。
手追蹤引擎432可追蹤與行動裝置150相關聯的乘員的一隻或多隻手。手追蹤引擎432可為AR應用310產生手追蹤資料442。在一些情況下，手追蹤資料442可包括或表示圖4A中所示的追蹤資料422的至少一部分。手追蹤引擎432可使用來自一或多個圖像感測器104的圖像資料來追蹤乘員的一隻或多隻手。圖像資料可包括乘員的一隻或多隻手的一或多個圖像。手追蹤引擎432可偵測一或多個圖像中的一隻或多隻手，並且基於圖示一隻或多隻手的一或多個圖像來決定一隻或多隻手在實體空間中的姿勢。在一些情況下，手追蹤引擎432可（附加地或替代地）使用來自一或多個附加感測器（諸如位置感測器106）的資料來追蹤一隻或多隻手的姿勢。例如，位置感測器106可獲得一或多個RF信號，並基於與一或多個RF信號相關聯的RTT、與一或多個RF信號相關聯的TOA、與一或多個RF信號相關聯的RSSI等來產生與一隻或多隻手相關聯的姿勢資訊。手追蹤引擎432可使用來自位置感測器106的姿勢資訊來追蹤一隻或多隻手。
手追蹤引擎432可使用一或多個追蹤演算法，諸如手追蹤演算法、機器學習演算法、光線追蹤演算法、電腦視覺演算法等來追蹤一隻或多隻手。手追蹤引擎432可向AR應用310提供手追蹤資料442。手追蹤資料442可包括一隻或多隻手在實體空間中的姿勢。
眼睛追蹤引擎434可使用來自一或多個圖像感測器104的圖像資料來追蹤乘員的眼睛及/或眼睛注視。眼睛追蹤引擎434可為AR應用310產生眼睛追蹤資料444。眼睛追蹤資料444可包括在一或多個時間或時間段決定的乘員的眼睛注視。在一些情況下，眼睛追蹤資料444可包括或表示圖4A中所示的追蹤資料422的至少一部分。
圖像資料可包括圖示乘員的眼睛的一或多個圖像。眼睛追蹤引擎434可偵測一或多個圖像中的眼睛，並且基於在一或多個圖像中偵測到的眼睛來決定乘員的眼睛注視。在一些實例中，眼睛追蹤引擎434可使用一或多個圖像和一或多個演算法，諸如光線追蹤演算法、機器學習演算法、電腦視覺演算法等，來偵測乘員的眼睛注視。如前述，眼睛追蹤引擎434可向AR應用310提供眼睛追蹤資料444。
AR應用310可使用定位資料（例如，定位資料314）和追蹤資料（例如，追蹤資料422、裝置追蹤資料440、手追蹤資料442及/或眼睛追蹤資料444）來執行各種功能，例如，乘員監測（例如，經由監測引擎410）、虛擬內容過濾（例如，經由內容過濾引擎412）、內容呈現（例如，經由車輛使用者介面414）、其組合及/或本文所述的其他功能。例如，在一些情況下，AR應用310可實施被配置為監測與車輛202相關聯的事件及/或與行動裝置150相關聯的乘員的監測引擎410。
AR應用310可附加地或替代地實施內容過濾引擎412，該引擎被配置為使用當地語系化資料（例如，定位資料314）、追蹤資料（例如，追蹤資料422、裝置追蹤資料440、手追蹤資料442及/或眼睛追蹤資料444）、來自監測引擎410的乘員資料、來自車輛應用302上的車輛資料408及/或監測引擎402的車輛狀態資料及/或事件資料、感測器資料及/或任何其他資料，以過濾/阻止為乘員呈現虛擬內容及/或從虛擬內容呈現切換到諸如即時攝像機饋送的即時內容。
AR應用310可附加地或替代地實施車輛使用者介面414，該車輛使用者介面414被配置為呈現諸如虛擬內容、即時內容（例如，攝像機饋送等）之類的資料及/或使用者介面元素的資料。車輛使用者介面414可基於定位資料（例如，定位資料314）、追蹤資料（例如，追蹤資料422、裝置追蹤資料440、手追蹤資料442及/或眼睛追蹤資料444）、來自監測引擎410的乘員資料、來自車輛應用302上的車輛資料408及/或監測引擎402的車輛及/或事件資料、感測器資料及/或任何其他資料來呈現資料。
監測引擎410可監測與行動裝置150相關聯的乘員，並偵測乘員的狀態。在一些實例中，乘員的狀態可包括乘員的眼睛注視、乘員的姿勢、乘員的活動、乘員的任何削弱及/或關於乘員的任何其他資訊。乘員的削弱可包括任何事件、活動、分心、狀態、屬性、行為及/或狀況（例如，認知、情感或心理、生理、視覺、聽覺及/或情境事件、狀況、屬性、活動、行為、分心及/或狀態），其可衝擊/影響乘員安全操作（例如，駕駛、控制、管理等）車輛202的能力。例如，削弱可包括可負面衝擊/影響乘員操作（例如，駕駛、控制、管理等）車輛202的能力（及/或相關聯的回應/反應時間）的任何東西，偵測/辨識車輛202在車輛202的操作期間遇到的任何事件/狀況，避免及/或對車輛202在車輛202的操作期間遇到的事件/狀況做出反應，在操作車輛202（及/或與車輛202、車輛202的操作、車輛202的環境/周圍等相關聯的任何事件/狀況）上保持注意力/焦點的臨限值量（及/或在臨限值持續時間內保持注意力/焦點）等。
在一些實例中，削弱可包括分心（例如，從車輛202及/或相關聯的車輛的操作及/或相關事件）、困倦狀態、醉酒狀態、健康緊急情況（例如，中風、心臟病發作、癲癇發作、緊張狀態、失去知覺等）、情緒或心理壓力的狀態、情緒高漲狀態、失去知覺、喪失能力、生理狀態、乘員環境（例如，乘員位置/姿勢、乘員行為、乘員運動、乘員活動、乘員與車輛202的接觸及/或乘員的環境、乘員服裝（諸如約束/限制乘員的運動自由或靈活性及/或減少乘員的反應時間的服裝）、未能佩戴醫療或安全裝置（諸如處方眼鏡或安全帶）、在低能見度條件下降低乘員能見度的物品（諸如太陽鏡），或者可能阻擋或部分阻擋乘員能見度的服裝等），該乘員環境可能增加安全風險及/或降低乘員控制車輛202及/或回應駕駛及/或車輛相關事件的能力、乘員的認知狀態、車輛202內的高雜訊級別（例如，其可能限制乘員集中注意力及/或聽到相關聲音的能力）等。
在一些情況下，削弱可包括乘員對車輛202的操作及/或與車輛202相關聯的事件的分心的狀態、乘員的醉酒狀態、乘員的健康狀況、乘員的清醒狀態、偵測到的乘員的情緒狀態、控制車輛202的（乘員的）受削弱位置（例如，在駕駛時彎腰、遠離車輛202的一或多個控制裝置、一隻或多隻手被除了用於控制車輛202的操作/行為的駕駛控制裝置之外的一或多個物件佔據等）、受削弱的視野（例如，道路及/或環境的視野/能見度的障礙、光線及/或能見度條件的障礙或降低等），及/或任何其他削弱。
在一些實例中，監測引擎410可使用定位資料（例如，定位資料314）、追蹤資料（例如，追蹤資料422、裝置追蹤資料440、手追蹤資料442及/或眼睛追蹤資料444）及/或諸如車輛資料408（或其一部分）的任何其他事件、狀態及/或感測器資料來監測乘員（例如，駕駛員、乘客等）並偵測乘員的任何削弱。例如，監測引擎410可基於車輛202的內容（係關於、表徵及/或影響乘員安全操作車輛的能力，例如狀態/狀態、操作、車輛事件等）（例如，根據車輛資料408及/或感測器資料406決定）、乘員的姿勢（例如，根據定位資料（例如，定位資料314）、追蹤資料（例如，追蹤資料422、裝置追蹤資料440、手追蹤資料442及/或眼睛追蹤資料444）及/或來自一或多個圖像感測器104、IMU108、位置感測器106及/或任何其他感測器的資料及/或資料決定）、由行動裝置150為乘員呈現的任何虛擬內容及/或任何偵測到的使用者與所呈現的虛擬內容交互（例如，乘員交互）（例如，輸入、眼睛注視及/或聚焦、手勢等）、眼睛追蹤資料、慣性感測器資料、駕駛統計、其他感測器資料、其任意組合，及/或任何其他資料來決定乘員的任何削弱。
例如，車輛202的內容可指示特定事件（例如，影響車輛的安全操作）已經發生或預期會發生。監測引擎410可決定，為了回應於特定事件來控制車輛202及/或避免與特定事件相關聯的安全問題及/或風險，乘員應該專注於及/或注意事件（及/或與事件相關聯的特定區域/方向），不應該被虛擬內容（或其他內容）分心，不應該以特定方式移動，不應該參與某些虛擬內容，應該注意車輛202的操作，不應該參與與車輛202的某些操作無關的某些活動，應該面向特定方向，應該以特定方式定位以允許乘員回應特定事件（及/或車輛202的操作）等。否則，監測引擎410可基於車輛202的狀態/狀態及/或乘員的位置、注意力/焦點、眼睛注視、取向、運動、內容參與、活動等來決定乘員受削弱。
在一些情況下，車輛202的內容可包括車輛202的狀態/狀態、車輛事件等。在一些實例中，與車輛202相關聯的事件（例如，車輛事件）可包括車輛202的路徑內的障礙物、接近車輛202的路徑的臨限值內的障礙物、車輛202的路徑內的不同的車輛（例如，汽車、公共汽車、摩托車、越野車、自行車、火車、卡車等）、接近車輛202的臨限值內的不同車輛、與車輛202的路徑相關聯的（例如，在車輛202的路徑中/沿著車輛202的路徑，在車輛202的路徑附近等）交通控制（例如，交通標誌、引導標誌、可變資訊標誌、交通錐、箭頭板、建築區段、路障、交通標誌、臨時凸起島、交通燈等）、車輛202未能保持在速度限制內、車輛202未能保持在車道或車道標記內、車輛202未能保持在道路內、交通事件（例如，事故、交通改道、停車、交通流量增加、道路封閉等）等。在一些實例中，障礙物可包括行人、動物、物件、另一車輛、道路狀況、樹、障礙物等。
在一些情況下，車輛202的狀態可包括車輛202的操作及/或狀態，例如但不限於，加速、減速、訊號傳遞（例如，轉向信號等）、選擇/主動檔位、警告（例如，引擎警告、電池警告、燃料警告、輪胎警告、燈光警告等）、機動（例如，轉彎、出口/出口、入口/入口、掉頭、停止/制動等）、車輛及/或車輛部件狀況/狀態（例如，引擎、電池、一或多個車輛燈（例如，前燈、尾燈、日間行車燈、倒車燈、應急燈、霧燈、越野燈、信號燈、刹車燈等）的狀況/狀態、輪胎（例如，輪胎壓力、輪胎警告、漏氣輪胎狀況等）、一或多個制動器或制動系統的狀況/狀態、燃料狀態及/或燃料表讀數等）、一或多個車輛部件/功能的故障或特定操作、駕駛狀態、自主狀態、車輛功能狀態等。
在一些情況下，監測引擎410可基於各種提示（例如，視覺及/或音訊提示）及/或關於乘員的資訊（諸如乘員的狀態、特徵及/或狀況）；乘員的任何活動/運動；乘員的行為；乘員的眼睛注視；等等來決定乘員的狀態（例如，乘員的削弱）。例如，監測引擎410可基於乘員的眼睛注視或眼睛運動模式（例如，不規則的眼睛運動、對刺激的回應性降低、長時間的眼睛注視、不穩定的眼睛注視、聚焦於某些位置或方向等）、眼睛的特徵（例如，發紅、瞳孔大小、呆滯的眼睛等）、乘員對一或多個事件的反應時間及/或特徵（例如，誇張的反應、降低的反應時間等）、乘員的面部表情、乘員的頭部姿勢及/或頭部運動（例如，催眠抽搐，搖頭，頭部傾斜或下垂等）、乘員的姿勢或姿態（例如，俯身、蹲下、身體傾斜、不規則姿勢等）、乘員的運動（例如，抽搐、運動功能、誇張的動作等）、乘員的手勢、乘員的駕駛姿勢（例如，鑒於車輛202的當前狀態/狀態/操作及/或一般情況）、乘員的駕駛模式（例如，加速/減速模式、車道變化模式、制動模式、訊號傳遞模式（或缺乏訊號傳遞模式）、車輛機動模式、轉彎模式等）來決定削弱。
在一些情況下，監測引擎410可基於音訊提示（除了視覺提示之外或代替視覺提示）來決定乘員的削弱。例如，在一些情況下，監測引擎410可從行動裝置150及/或車輛202的一或多個感測器（諸如麥克風）獲得音訊資料，並基於音訊資料決定削弱。為了說明，監測引擎410可基於一或多個語音特徵（例如，含糊不清的語音、快速的語音等）、乘員的聲音（例如，聲音的響度或柔和度等）、乘員的已辨識語音的內容等來決定削弱。
在一些情況下，監測引擎410可基於車輛202的狀態及/或行動裝置150呈現的內容來決定削弱。例如，若車輛202的狀態指示車輛正在高速行駛、在能見度差的環境中行駛、在具有挑戰性的條件（例如，潮濕或結冰條件、惡劣天氣條件、急轉彎、交通繁忙的區域、大量行人及/或其他交通等）中行駛、執行機動等，若決定乘員在臨限值時間段內聚焦在由行動裝置150呈現的虛擬內容上或者在臨限值時間段內聚焦在遠離某些區域/位置（例如，道路、車輛事件的位置等），若決定乘員從事其他活動（例如，與車輛202的操作或安全操作（例如，駕駛）無關），若決定乘員定位在遠離特定車輛控制裝置某個距離以上，若決定乘員具有決定為降低駕駛安全性或增加駕駛風險（例如，無精打采、彎腰、轉彎等）的特定姿勢/位置，若乘員未系安全帶，若乘員在能見度低的情況下（例如，在夜間、在惡劣天氣狀況期間、在大霧期間等）在沒有車燈（例如，前燈、霧燈、尾燈、刹車燈等）的情況下操作車輛202等，則監測引擎410可決定乘員的削弱。監測引擎410可基於車輛202的狀態/狀態及/或行動裝置150所呈現的內容，除了如前述的關於乘員的任何提示（視覺及/或音訊）之外或者沒有如前述的關於乘員的任何提示（視覺及/或音訊）來決定削弱。
在一些情況下，車輛應用302的車輛監測引擎402可類似地決定乘員的任何削弱。除了由AR應用310的監測引擎410決定的任何削弱資訊之外或代替由AR應用310的監測引擎410決定的任何削弱資訊，車輛監測引擎402可決定任何削弱。例如，在一些情況下，車輛監測引擎402可結合由AR應用310的監測引擎410決定的削弱資訊來決定削弱資訊。作為另一個實例，在一些情況下，車輛監測引擎402可決定與由AR應用310的監測引擎410決定的任何削弱資訊分開的削弱資訊及/或在沒有由AR應用310的監測引擎410決定的任何削弱資訊的情況下決定削弱資訊。此外，車輛監測引擎402可決定除任何車輛資料（諸如指示車輛202的內容的資料）之外的任何削弱，如下文進一步描述的。
在一些實例中，內容過濾引擎412可使用定位資料（例如，定位資料314）、追蹤資料（例如，追蹤資料422、裝置追蹤資料440、手追蹤資料442及/或眼睛追蹤資料444）、來自監測引擎410（及/或車輛監測引擎402）的削弱資訊及/或諸如車輛資料408（或其一部分）的任何其他事件、狀態及/或感測器資料，來決定/選擇為乘員過濾/阻止及/或呈現的內容。例如，內容過濾引擎412可使用行動裝置150相對於車輛202（例如，車輛計算系統210）的座標系的姿勢和指示車輛202的內容（例如，車輛202的狀態/狀態、車輛事件/操作等）的車輛資料過濾/阻止某些內容，該等內容可能會分散乘員對車輛202的操作及/或車輛事件的注意力，及/或可能會阻礙乘員對車輛事件及/或內容過濾引擎412決定其應該對乘員保持可見的車輛202外部的某個區域的視線。在一些情況下，代替過濾/阻止內容或除了過濾/阻止內容之外，內容過濾引擎412可用可能不阻礙乘員對車輛事件或車輛202外部環境的視線的即時內容（例如，即時攝像機饋送）替換由行動裝置150呈現的虛擬內容。作為另一個實例，內容過濾引擎412可使用行動裝置150的姿勢和關於車輛202的狀態的資訊來呈現虛擬內容，該虛擬內容將乘員的注意力吸引到某個方向及/或某個位置，例如特定事件的方向/位置。
在一些情況下，內容過濾引擎412可使用行動裝置150相對於車輛202的座標系的姿勢來將來自車輛202及/或與車輛202相關聯的資訊與行動裝置150的姿勢相關聯。例如，車輛202的狀態/狀態可指示由車輛計算系統210報告的車輛事件的位置。車輛事件的位置可相對於車輛的座標系。因此，行動裝置150的姿勢可與車輛事件的位置相關聯，因為兩者相對於車輛的座標系是已知的。內容過濾引擎412可使用行動裝置150相對於車輛202的座標系的姿勢來決定為乘員呈現的任何虛擬內容是否會阻礙乘員對車輛202相對於車輛202的座標系所報告的事件的視線。若內容過濾引擎412決定在相對於車輛202的座標系的特定位置處阻止內容，則內容過濾引擎412可使用行動裝置150相對於車輛202的座標系的姿勢來過濾/阻止任何內容在特定位置處呈現。
在一些實例中，內容過濾引擎412可過濾分散乘員注意力或被決定為分散乘員注意力的任何虛擬內容。例如，內容過濾引擎412可決定視訊遊戲內容（或任何其他內容）可分散乘員的注意力，並且過濾任何視訊遊戲內容以防止在操作車輛202時為乘員呈現此種內容。在其他實例中，內容過濾引擎412可過濾被決定為阻擋/阻礙乘員對特定事件（諸如沿著車輛202的路徑（或在路徑附近）的障礙物、交通事件或本文描述的任何車輛事件）的視線/可見性的任何虛擬內容。例如，內容過濾引擎412可基於行動裝置150相對於車輛202的座標系的姿勢和車輛事件相對於車輛202的座標系的位置（例如，可在車輛資料408中指示），決定乘員對車輛資料408中辨識的車輛事件的視線將被虛擬內容阻擋。隨後，內容過濾引擎412可過濾/阻止此種虛擬內容，以防止乘員對車輛事件的視線被阻礙及/或可從呈現虛擬內容切換到提供即時饋送。在一些實例中，即時饋送可圖示車輛事件或者可不阻礙車輛事件。
車輛使用者介面414可為乘員呈現內容及/或使用者介面元素。在一些實例中，車輛使用者介面414可基於車輛202的狀態/狀態來呈現或產生內容及/或使用者介面元素。在一些實例中，車輛使用者介面414可使用削弱資訊來決定是否為乘員呈現內容及/或呈現什麼內容。例如，若來自監測引擎410的削弱資訊指示乘員被分散注意力，則車輛使用者介面414可使用此種資訊來停止呈現可能分散（或繼續分散）乘員注意力的內容，或者呈現被配置為將乘員的注意力吸引到特定位置及/或動作/操作（並且遠離引起乘員分散注意力的不同位置及/或動作/操作）的內容。
車輛使用者介面414可使用行動裝置150相對於車輛202的座標系的姿勢來決定在哪裡（或是否）為乘員呈現內容。例如，為了在特定位置呈現內容以將乘員的注意力吸引到相對於車輛202的座標系的東西上，車輛使用者介面414可使用行動裝置150相對於車輛202的座標系的姿勢來在該特定位置處呈現內容。作為另一個實例，若車輛計算系統210報告與相對於車輛202的座標系的特定位置相關聯的某些資料，則車輛使用者介面414可使用行動裝置150相對於車輛的座標系的姿勢來在相對於車輛202的座標系的該特定位置處呈現資料，或者在相對於相對於車輛202的座標系的該特定位置決定的不同位置處呈現資料。
在一些實例中，車輛使用者介面414可使用行動裝置150相對於車輛202的座標系的姿勢來決定在哪裡為乘員呈現內容。例如，車輛使用者介面414可在與車輛事件相關聯的特定位置呈現虛擬內容（例如，箭頭、邊界框、圖像、脈衝光等），以吸引乘客對車輛事件的注意。作為另一個實例，車輛使用者介面414可在與車輛事件的位置不同的位置呈現虛擬內容，以防止虛擬內容阻礙乘員對車輛事件的視線。在一些實例中，車輛使用者介面414可基於乘員的狀態及/或車輛202的內容來選擇要為乘員呈現的特定內容。例如，為了避免阻礙乘員對特定事件的視線，車輛使用者介面414可呈現即時內容（例如，即時攝像機饋送）而不是虛擬內容。作為另一個實例，為了避免分散乘員注意力，車輛使用者介面414可呈現虛擬內容而不是即時內容。為了說明，若車輛202的內容指示另一車輛在路邊拋錨或被員警攔下，則車輛使用者介面414可呈現虛擬內容（或無內容）而不是即時內容，以防止乘員觀看。替代地，內容過濾引擎412可過濾掉即時內容以防止觀看，並且車輛使用者介面414可替代地呈現虛擬內容或根本不呈現內容。在一些情況下，即時內容可包括來自行動裝置150上的一或多個圖像感測器104及/或車輛202的一或多個圖像感測器的即時饋送。
在一些情況下，AR應用310可產生事件資料424。AR應用310亦可將事件資料424發送到車輛計算系統210。在一些情況下，AR應用310可基於定位資料（例如，定位資料314）；追蹤資料（例如，追蹤資料422、裝置追蹤資料440、手追蹤資料442及/或眼睛追蹤資料444）；來自監測引擎410、內容過濾引擎412及/或車輛使用者介面414的任何輸出及/或資料；來自行動裝置150的任何感測器（例如，圖像感測器104、位置感測器106、IMU 108等）的資料；應用資料；使用者輸入；及/或任何其他資料產生事件資料424。在一些情況下，事件資料424可包括定位資料（例如，定位資料314）；追蹤資料（例如，追蹤資料422、裝置追蹤資料440、手追蹤資料442及/或眼睛追蹤資料444）；來自監測引擎410、內容過濾引擎412及/或車輛使用者介面414的任何輸出及/或資料；來自行動裝置150的任何感測器（例如，圖像感測器104、位置感測器106、IMU 108等）的資料；應用資料；使用者輸入；及/或任何其他資料。在一些情況下，事件資料424可附加地或替代地包括從定位資料（例如，定位資料314）；追蹤資料（例如，追蹤資料422、裝置追蹤資料440、手追蹤資料442及/或眼睛追蹤資料444）；來自監測引擎410、內容過濾引擎412及/或車輛使用者介面414的任何輸出及/或資料；來自行動裝置150的任何感測器（例如，圖像感測器104、位置感測器106、IMU 108等）的資料；應用資料；使用者輸入；及/或任何其他資料產生的事件及/或對其的描述。
在一些實例中，事件資料424可包括、指示及/或描述如前述由監測引擎410決定的乘員的狀態、來自AR應用310的內容、其任意組合及/或任何其他乘員及/或裝置資訊。在一些實例中，乘員的狀態可包括由監測引擎410決定的乘員的削弱。在一些情況下，乘員的狀態可附加地或替代地包括乘員的姿勢（例如，位置、方向、姿勢等）、乘員的任何運動、乘員的任何活動、乘員的眼睛注視、乘員的頭部姿勢、關於乘員的任何資訊，及/或指示乘員的注意力/焦點、乘員的活動、乘員的運動、乘員的能見度或視野（FOV）、乘員的行為、乘員的位置（例如，位置、方向、姿勢等）、乘員的觸及範圍（例如，觸及一或多個車輛控制器）、乘員的接合的任何其他資訊，及/或乘員控制車輛202的操作及/或對與車輛202相關聯的事件做出反應的能力（及/或可能性）。
如前述，AR應用310可將事件資料424發送到車輛202。例如，AR應用310可將事件資料424發送到車輛計算系統210。在一些情況下，車輛計算系統210可接收事件資料424並將事件資料424提供給車輛應用302用於處理/分析。在一些情況下，車輛應用302可基於事件資料424及/或感測器資料406來控制車輛202的行為、操作、功能及/或狀態。
例如，在一些情況下，車輛應用302的事件緩解引擎404可控制（例如，修改、實施、賦能、禁用、管理等）基於事件資料424及/或感測器資料406的車輛202的行為、操作、功能及/或狀態。在一些實例中，事件緩解引擎404可控制及/或賦能一或多個車輛功能、車輛系統、自主能力等。例如，事件緩解引擎404可控制及/或賦能自動駕駛功能，牽引力控制功能，巡航控制功能、碰撞避免功能、車道偏離功能、車道居中功能、制動協助工具、車道保持功能、高速公路協助工具、車道改變協助工具、速度適應功能、訊號傳遞功能、交叉路口協助工具、盲點監測系統、駕駛員監測系統（例如，監測引擎402及/或任何駕駛員監測系統）、制動系統、自動駕駛控制系統、駕駛員輔助系統、導航系統、轉向控制系統、車輛通訊系統、汽車平視顯示器及/或任何其他車輛系統、功能及/或能力。
在一些情況下，事件緩解引擎404可基於事件資料424來控制車輛202，以緩解由事件資料424中包括的乘員的狀態及/或關於乘員的其他資訊所導致的任何事件及/或風險。在一些實例中，事件緩解引擎404可基於事件資料424啟動車輛的一或多個駕駛員協助工具（諸如由一或多個高級駕駛員輔助系統（ADAS）執行的功能）及/或增加車輛的自動駕駛的策略/級別。為了說明，若事件資料424指示車輛202的乘員受削弱（例如，分心、醉酒等），則事件緩解引擎404可賦能車輛202的自主能力及/或修改車輛202的自主駕駛策略/級別，以在乘員受削弱時至少部分控制車輛202的操作。作為另一個實例，若事件資料424指示車輛202的乘員沒有注意感測器資料406中辨識的附近障礙物或者不能看到附近障礙物（例如，因為乘員的眼睛注視在不同的方向上，因為乘員的視線被阻擋，因為低能見度條件等），事件緩解引擎404可賦能車輛202的自主能力及/或修改車輛202的自主駕駛策略/級別，以至少部分控制車輛202的操作，直到至少障礙物被避免或不再是潛在問題。
在一些實例中，事件緩解引擎404可通知/警告其他外部裝置任何偵測到的乘員削弱。例如，事件緩解引擎404可通知其他車輛、與其他使用者（例如，行人、另一車輛的乘員、交通警衛/控制器等）相關聯的一或多個遠端計算裝置、車輛基礎設施（例如，交通燈、交通攝像機、路燈、標誌、停車計時器、車道標誌等）、一或多個應急回應系統及/或人員等。
車輛應用302的監測引擎402可使用感測器資料406來監測及/或偵測車輛202的內容（係關於、表徵及/或影響乘員（安全地）操作車輛的能力）。如前述，在一些實例中，車輛202的內容可包括車輛202的狀態（例如，狀態、操作、行為、軌跡、條件、配置、操作度量、環境、車輛參數、功能等）、車輛事件等。例如，車輛202的內容可指示特定的車輛事件（影響車輛的安全操作，例如，特定活動、狀況、事故、環境、操作等）已經發生或預期會發生。作為另一個實例，車輛202的內容可指示車輛202的操作、行為及/或狀態。在一些實例中，監測引擎402可使用感測器資料406來決定車輛202的內容的任何態樣，例如車輛202的狀態、車輛事件等。
例如，監測引擎402可經由偵測、辨識及/或定位感測器資料406中的一或多個圖像（例如，由感測器系統220的一或多個圖像感測器擷取的車輛202外部的場景及/或環境的一部分的一或多個圖像）圖示的一或多個項（例如，物件、事件、人、動物、道路、車輛、場景、活動、交通控制、結構、障礙物、裝置、手勢等）來決定車輛202的內容，從感測器資料406（包括一或多個運動量測（例如，速度、角速率、方向、航向、加速、減速等））決定慣性感測器資料，決定感測器資料406中的位置資訊（例如，來自諸如全球定位系統（GPS）接收器或全球導航衛星系統（GNSS）接收器的一或多個定位裝置），及/或決定感測器資料406中指示/描述一或多個項（例如，物件、事件、人、動物、道路、樹木、車輛、場景、交通控制、活動、手勢、裝置、結構、障礙物等）相對於車輛202的定位/位置及/或一或多個項與車輛202的接近度/距離的附加位置資訊（例如，來自諸如RADAR、 LIDAR、圖像感測器、基於RF的定位系統等的一或多個感測器）等。
在一些情況下，監測引擎402亦可使用來自行動裝置150的AR應用310的事件資料424來監測及/或偵測車輛202的內容。例如，監測引擎402可在決定車輛202的內容時，考慮在事件資料424中指示的乘員的狀態（例如，削弱、眼睛注視、位置、活動等）。
圖5是圖示用於調變為車輛（例如，車輛202）的乘員502呈現的虛擬內容的示例用例500的圖。如前述，AR應用310可調變/修改（例如，經由內容過濾引擎412及/或車輛使用者介面414）由行動裝置150呈現的虛擬內容。AR應用310可基於由AR應用310的監測引擎410決定的乘員的狀態及/或在車輛資料408中辨識的及/或由車輛應用302的監測引擎402決定的車輛202的內容來調變（例如，經由內容過濾引擎412及/或車輛使用者介面414）虛擬內容。
在一些實例中，AR應用310可經由禁用、調暗或調整虛擬內容的特徵（例如，大小、亮度、透明度、位置、方相等）來調變虛擬內容。在一些情況下，AR應用310可調變一段時間內的所有虛擬內容、車輛202的特定內容期間的所有虛擬內容、乘員狀態期間的所有虛擬內容、除了標記為例外或需要（例如，HUD內容、車輛儀錶內容、導航內容、緊急警報等）的虛擬內容的子集之外的所有虛擬內容、乘員關注的虛擬內容的任何部分、模糊車輛事件的任何虛擬內容等。
例如，AR應用310可經由過濾/阻止（例如，經由內容過濾引擎412）由行動裝置150呈現的一或多個虛擬內容項（或所有虛擬內容）來調變虛擬內容。作為另一實例，AR應用310可經由控制（例如，經由車輛使用者介面414）呈現什麼虛擬內容、何時呈現虛擬內容、在何處呈現虛擬內容、所呈現的虛擬內容一或多個特徵（例如，透明度、大小、亮度、位置、方向等）等來調變虛擬內容。在一些實例中，AR應用310可基於由AR應用310的監測引擎410決定的乘員的狀態及/或在車輛資料408中辨識的及/或由車輛應用302的監測引擎402決定的車輛202的內容來過濾/阻止（例如，經由內容過濾引擎412）虛擬內容。在一些實例中，AR應用310可基於由監測引擎410決定的乘員的狀態及/或在車輛資料408中辨識的及/或由監測引擎402決定的車輛202的內容來調變（例如，經由車輛使用者介面414）由行動裝置150呈現的虛擬內容。
在圖5所示的示例用例500中，車輛202的乘員502在使用車輛202的方向盤505駕駛車輛202的同時佩戴行動裝置150，諸如HMD或智慧眼鏡。在時間T 1，當乘員502正在駕駛車輛202時，行動裝置150正在呈現虛擬內容510。隨後，行動裝置150決定（例如，基於車輛資料408或來自車輛應用302的監測引擎402的通知）需要乘員502的注意及/或交互的事件512正在發生或即將發生（例如，將在臨限值時間段內及/或在車輛202行駛距離的臨限值量內發生）。在一些情況下，行動裝置150可決定事件512的位置（例如，基於車輛資料408或來自車輛應用302的監測引擎402的通知）。在該實例中，事件512的位置是車輛202外部的位置，並且事件512是嬰兒車穿過車輛202的路徑。這裡的事件512僅僅是為解釋目的而提供的一個說明性實例。因此，其他示例可包括其他事件及/或事件類型。在一些實例中，事件可經由車輛應用302的監測引擎402及/或車輛使用者介面414（例如，經由在正和負實例上訓練的機器學習分類器）被分類為需要乘員502的注意及/或交互。
虛擬內容510相對於行動裝置150的座標系的位置與事件512相對於車輛202的座標系的位置相關聯。在該實例中，虛擬內容510位於/沿著從行動裝置150的位置到事件512的位置的視線內。因此，來自行動裝置150的視線及/或來自行動裝置150的事件512的視圖/可見性被正在呈現的虛擬內容510阻擋/阻礙。
為了防止虛擬內容510阻礙/阻擋乘員502看到事件512的能力，行動裝置150可調整虛擬內容510的一或多個特徵。在該實例中，在時間T 2，行動裝置150增加虛擬內容510的透明度，以使事件512能夠經由虛擬內容510可見。如圖所示，在時間T 2，事件512在其透明度已經增加之後經由虛擬內容510可見。這允許乘員502看到（並監視/追蹤）事件512，並基於事件512對車輛202的操作進行乘員502認為必要的任何調整。例如，乘員502可停止車輛202以允許與事件512相關聯的嬰兒車經由。一旦嬰兒車經過，乘員502就可開車離開。作為另一個實例，乘員502可加速/減速車輛202及/或實施可允許車輛202避開與事件512相關聯的嬰兒車的任何機動。
另一態樣，若虛擬內容510沒有如前述被調整以允許乘員502看到事件512，則乘員502可能潛在地錯過/忽略事件512。若沒有看到事件512（或者沒有及時看到事件512以做出反應），則乘員502可能不能夠避開與事件512相關聯的嬰兒車，或者可能會突然地及/或從更近的距離做出反應，這可能會造成危險或者可能沒有足夠及時地避開嬰兒車。
圖6A至圖6E是圖示用於調變虛擬內容的示例用例的圖。參考圖6A，該示例中的行動裝置150已經決定車輛202的乘員602分心，並且事件將在乘員602的視野（FOV）610內發生。在本揭示案中，乘員602的FOV 610可由行動裝置150修改或定義。更具體地，FOV 610可由在行動裝置150的相應顯示區域上或經由行動裝置150的相應顯示區域可見的視野來定義。而言舉例而言，佩戴智慧眼鏡的乘員602的FOV 610可由經由智慧眼鏡的FOV來定義，該FOV與乘員的裸眼的FOV相比通常是減小的。在另一實例中，可經由在HMD的顯示器上顯示更大的FOV來放大乘員的生理/解剖FOV。在一些實例中，FOV 610可是行動裝置150可在其上呈現虛擬內容的FOV。為了強調FOV 610內的事件及/或將乘員602的注意力吸引到FOV 610內的事件，行動裝置150可呈現FOV 610內的事件相關虛擬內容612。在該實例中，虛擬內容612包括FOV 610的邊緣（或輪廓）的脈衝。邊緣的脈衝可強調脈衝邊緣內的區域，並將乘員602的注意力吸引到該區域。
在圖6B中，行動裝置150已經例如基於車輛資料408偵測到車輛事件625，其中行人620已經從樹615後側出現並且正在朝著（或進入）車輛202的路徑移動。行人620先前被樹615阻擋，並且對於乘員602或行動裝置150或車輛202是不可見的，直到行人620經過樹615並朝向（或進入）車輛202的路徑。為了將乘員602的注意力吸引到車輛事件625（包括行人620）及/或強調車輛事件625（包括行人620）的位置，行動裝置150在車輛事件625的位置周圍，並且更具體地，在與車輛事件625相關聯的行人620的位置周圍，呈現高亮622。
在一些實例中，行動裝置150可在車輛事件625及/或其一部分（諸如行人620）周圍呈現邊界框（或任何其他形狀/幾何形狀）。在一些情況下，行動裝置150可根據意欲吸引（或進一步吸引）乘員602的注意力的一或多個特徵來呈現高亮622。例如，行動裝置150可根據特定尺寸、顏色、圖案、形狀、透明度、亮度、厚度、動畫及/或用於呈現高亮622的任何其他特徵來呈現高亮622，以更好地吸引乘員602的注意力。
圖6C圖示用於呈現內容以將乘客602的注意力吸引到車輛事件625（包括行人620）及/或強調車輛事件625（包括行人620）的另一個實例。在該實例中，行動裝置150已在乘員602的FOV 610內呈現方向指示符630。方向指示符630將乘員602的頭部和注視引導向包括行人620在內的車輛事件625的方向。在該實例中，方向指示符630被示出為頭部鎖定箭頭。然而，其他示例可包括方向指示符的其他類型及/或配置。
在一些情況下，行動裝置150可根據意欲吸引/捕捉（或進一步吸引/捕捉）乘員602的注意力的一或多個特徵來呈現方向指示符630。例如，行動裝置150可根據特定尺寸、顏色、圖案、形狀、透明度、亮度、厚度、動畫及/或任何其他特徵來呈現方向指示符630。在一些情況下，行動裝置150可對乘員602的視覺/視野的周邊進行脈衝，以進一步吸引/捕捉乘員602的注意力。
圖6D圖示對應於由行動裝置150為車輛202的乘員602呈現的車輛事件的即時內容的實例。如前述，該示例中的車輛事件包括行人620從樹615後側穿過/經過。然而，在此種情況下，代替為乘員602呈現虛擬內容，行動裝置150已呈現由行動裝置150從車輛202的車輛攝像機（例如，備用攝像機、側視攝像機、前置攝像機等）獲得的攝像機饋送640。攝像機饋送640可圖示包括行人620的車輛事件，並且因此可允許乘員602觀察車輛事件。
例如，車輛攝像機可將其饋送資料串流到行動裝置150。隨後，行動裝置150可呈現來自車輛攝像機的攝像機饋送640，以供乘員602使用。攝像機饋送640可圖示車輛事件，包括行人620。因此，由行動裝置150呈現的攝像機饋送640可允許乘員602從由行動裝置150呈現的攝像機饋送640觀看車輛事件（包括行人620）。
圖6E圖示由行動裝置150呈現的車輛事件625的外部視圖650。在該實例中，外部視圖650被鎖定到（及/或投影到）車輛壁641上。在一些實例中，車輛壁641可基於本文先前描述的車輛範本。車輛壁641被示出為車輛202的乘客側的內壁。然而，外部視圖650可呈現在及/或鎖定到車輛內部的任何壁、側或部分。
外部視圖650可圖示車輛事件625，包括行人620。在一些實例中，外部視圖650可包括車輛事件625的虛擬內容呈現。在其他實例中，外部視圖650可包括車輛事件625的即時內容呈現（例如，攝像機饋送）。可呈現外部視圖650，使得車輛壁641對乘員602而言是透明或半透明的，並且車輛事件625對乘員602而言是可見的（例如，如由外部視圖650所呈現的）。在一些情況下，外部視圖650可基於行動裝置150（及因此佩戴行動裝置150的乘員602）相對於車輛的座標系的位置及/或車輛事件625相對於車輛的座標系的位置而被扭曲及/或透視校正。
在一些情況下，由行動裝置150呈現的內容可包括車輛資料（例如，車輛資料408）或車輛資料的一部分。例如，在圖6A到6E所示的任何示例中呈現的內容可包括車輛資料或車輛資料的一部分，例如，車輛狀態資訊、車輛儀錶資料、車輛資訊、來自車輛202的一或多個感測器的資料等。為了說明，由行動裝置150呈現的內容可包括車輛202的速度、車輛202的方向、車輛202的路線、車輛202的電池狀態、車輛202的燃料狀態、車輛202的油狀態、與車輛202相關聯的里程、與車輛202相關聯的導航資料、與車輛202的一或多個輪胎相關聯的輪胎壓力（及/或輪胎狀態/狀態）的指示、在車輛202處啟動/開啟/賦能的控制信號的指示、關於車輛制動器的資訊、車輛警告、車輛錯誤、關於一或多個車輛燈（例如，前燈、尾燈、倒車燈、日間行車燈、霧燈、越野燈、信號燈、制動燈、應急燈等）的資訊（例如，狀態/狀態、警告等）、關於轉向系統的資訊、關於一或多個車輛系統及/或自主功能的資訊、巡航控制狀態資訊、安全帶資訊及/或任何其他車輛資訊及/或儀錶。
在一些情況下，行動裝置150可呈現從車輛202資料串流的車輛資訊（例如，車輛狀態資訊、儀錶、導航資訊等）。在一些實例中，行動裝置150可將車輛資訊呈現為頭部鎖定的HUD或世界鎖定的使用者介面（UI）元素。在一些情況下，行動裝置150可呈現虛擬內容以替換可能分散乘員注意力的真實世界內容及/或事件，諸如看板、事故等。在一些態樣，行動裝置150可使用被訓練成從圖像資料庫產生「深度偽造的」（例如，合成的）虛擬內容的深度神經網路來呈現本文描述的任何虛擬內容。在一些情況下，「深度偽造的」虛擬內容可以行動裝置150及/或車輛202觀察到的風格呈現。
如前述，行動裝置150的AR應用310的監測引擎410可監測和理解車輛202的一或多個乘員的狀態。在一些情況下，車輛計算系統210的車輛應用302的監測引擎402可替代地或附加地（例如，與AR應用310的監測引擎410組合或單獨地）監測和理解車輛202的一或多個乘員的狀態。在一些實例中，乘員的狀態可包括乘員的一或多個特徵，例如偵測到的削弱、眼睛注視、位置、乘員的姿勢（例如，方向、位置等）、乘員的頭部姿勢、姿勢、面部表情、手勢、活動、情感、運動、執行動作的意圖及/或乘員的其他特徵。
例如，監測引擎410及/或監測引擎402（單獨或與來自諸如監測引擎410的行動裝置150的資料組合）可偵測及/或辨識車輛乘員的各種狀態。圖7A至圖7I是圖示由行動裝置150的AR應用310的監測引擎410及/或車輛202的監測引擎402偵測到的駕駛車輛202的乘員750的不同示例狀態的圖。圖7A至圖7I所示的示例中的乘員750是佩戴行動裝置150的車輛202的駕駛員。
在圖7A所示的實例中，乘員750佩戴行動裝置150，諸如智慧眼鏡，並且執行正常駕駛活動702。監測引擎410可決定乘員750正在執行正常駕駛活動702。如圖所示，該示例中的正常駕駛活動702包括乘員750的雙手放在方向盤上，直接從車輛202的擋風玻璃向外看。此外，在正常駕駛活動702期間，乘員750沒有受到削弱（例如，分心等）。
圖7B圖示乘員750在駕駛車輛202時的示例狀態704。在該實例中，狀態704包括乘員750在駕駛車輛202時經由將行動電話752放在她的耳朵上來使用行動電話752。在一些情況下，監測引擎410可決定乘員750正在使用行動電話752，並且決定行動電話752的使用會削弱（例如，注意力分散）乘員750。因此，在一些實例中，監測引擎410可基於行動電話752的使用來決定乘員750的削弱。該示例中的削弱包括注意力分散。監測引擎410亦可決定，若乘員750需要使用握持行動電話752的手來控制方向盤及/或任何其他車輛控制，則佔用該手會延遲（並因此削弱）乘員控制方向盤及/或任何其他車輛控制的能力，並因此增加事故的風險。通常，監測引擎410可基於乘員的一隻手或兩隻手的位置及/或活動，例如基於決定至少一隻手不在方向盤上，來偵測削弱狀態。在一些實例中，監測引擎410可基於操作行動電話的乘員來偵測削弱狀態。
圖7C圖示駕駛車輛202的乘員750的另一示例狀態706。在該實例中，乘員750的狀態706包括乘員750飲用飲料。監測引擎410可決定乘員750正在飲用飲料，如圖7C所示。在一些情況下，監測引擎410可決定飲用飲料削弱了乘員750（例如，削弱了乘員750駕駛車輛202的能力，削弱了乘員750對車輛事件的反應及/或反應時間，增加了駕駛車輛202的難度，增加了事故的風險等）。例如，監測引擎410可決定飲用飲料分散了乘員750的注意力及/或佔用了乘員750的至少一隻手，並因此防止乘員750使用該手來操作車輛202及/或回應車輛事件。監測引擎410亦可決定，若乘員750需要使用該手來控制方向盤及/或任何其他車輛控制，則佔用該手會延遲（並因此削弱）乘員控制方向盤及/或任何其他車輛控制的能力，並因此增加事故的風險。通常，監測引擎410可基於乘員的一隻手或兩隻手的位置及/或活動，例如基於決定至少一隻手不在方向盤上，來偵測削弱狀態。
圖7D圖示駕駛車輛202的乘員750的另一示例狀態708。在該實例中，狀態708包括乘員750調整她的頭髮。如圖所示，當乘員750調整她的頭髮時，她的雙手離開車輛202的方向盤。監測引擎410可決定乘員750正在調整她的頭髮並且雙手離開方向盤。在一些情況下，監測引擎410可決定雙手離開方向盤削弱了乘員750（例如，削弱了乘員750駕駛車輛202的能力，削弱了乘員750對車輛事件的反應及/或反應時間，增加了駕駛車輛202的難度，增加了事故的風險等）。例如，監測引擎410可決定調節頭髮分散了乘員750的注意力及/或使雙手離開方向盤阻止了乘員750使用手來操作車輛202及/或回應事件。監測引擎410亦可決定，若乘員750需要控制方向盤（及/或任何其他車輛控制），使她的手離開方向盤以調整她的頭髮會延遲（並因此削弱）她控制方向盤（及/或任何其他車輛控制）的能力，並因此增加事故的風險。通常，監測引擎410可基於乘員的一隻手或兩隻手的位置及/或活動，例如基於決定至少一隻手不在方向盤上，來偵測削弱狀態。
圖7E圖示駕駛車輛202的乘員750的另一示例狀態710。在該實例中，狀態710包括將臂756伸出車輛202的駕駛員側窗。如圖所示，乘員750使臂756伸到駕駛員側窗之外，使該臂756的手離開方向盤和任何其他車輛控制。監測引擎410可決定乘員750的臂756伸到駕駛員側窗之外，並且該臂756的手離開方向盤和任何其他車輛控制。在一些情況下，監測引擎410可決定使臂756伸出駕駛員側窗並且該臂756的手離開方向盤和任何其他車輛控制削弱了乘員750（例如，削弱了乘員750駕駛車輛202的能力，削弱了乘員750對車輛事件的反應及/或反應時間，增加了駕駛車輛202的難度，增加了事故的風險等）。例如，監測引擎410可決定使臂756伸出駕駛員側窗並且該臂756的手離開方向盤和任何其他車輛控制防止乘員750快速使用該手來操作車輛202及/或回應事件。在一些實例中，監測引擎410可決定，若乘員750需要使用臂756的手來控制方向盤及/或任何其他車輛控制，則使臂756和該臂756的手暫時不可用（例如，伸到駕駛員側窗之外）會延遲（並因此削弱）乘員控制方向盤及/或任何其他車輛控制的能力，並因此增加事故的風險。通常，監測引擎410可基於乘員的一隻手或兩隻手的位置及/或活動，例如基於決定至少一隻手不在方向盤上，來偵測削弱狀態。
圖7F圖示駕駛車輛202的乘員750的另一示例狀態712。在該實例中，狀態712包括在駕駛車輛202時打哈欠。監測引擎410可決定乘員750在駕駛車輛202時正在打哈欠。在一些情況下，監測引擎410可決定打哈欠指示乘員750的削弱。例如，監測引擎410可決定打哈欠指示困倦/困倦狀態及/或有限的焦點/注意力，這可負面地影響乘員750駕駛車輛202及/或回應車輛事件的能力。通常，監測引擎410可基於面部表情（諸如打哈欠、閉上/下垂的眼睛/眼瞼等）及/或指示焦點/注意力有限/減少的乘員狀態的乘員的身體姿勢來偵測削弱狀態。
圖7G圖示駕駛車輛202的乘員750的另一示例狀態714。在該實例中，狀態714包括乘員750在駕駛車輛202時向下看乘員750的膝蓋。監測引擎410可決定乘員750在駕駛車輛202時正向下看著乘員750的膝蓋。在一些情況下，監測引擎410可決定在駕駛時向下看乘員750的膝蓋削弱了乘員750操作車輛202及/或回應車輛事件的能力。例如，監測引擎410可決定向下看乘員750的膝蓋分散了乘員750的注意力，並防止乘員750看到道路和外部環境，及快速偵測和回應與車輛202的駕駛相關聯的車輛事件。通常，監測引擎410可基於面部表情（諸如打哈欠、閉上/下垂的眼睛/眼瞼等）及/或指示焦點/注意力有限/減少的乘員狀態的乘員的身體姿勢來偵測削弱狀態。
圖7H圖示駕駛車輛202的乘員750的另一示例狀態716。在該實例中，狀態716包括乘員750在駕駛車輛202時向她的左側和車輛202的駕駛員側窗外看。監測引擎410可決定乘員750在駕駛車輛202時正向她的左側和車輛202的駕駛員側窗外看。在一些情況下，取決於車輛202的環境，監測引擎410可決定在駕駛時向她的左側和車輛202的駕駛員側窗外看削弱了乘員750操作車輛202及/或回應車輛事件的能力。例如，取決於車輛202的環境，監測引擎410可決定向她的左側和車輛202的駕駛員側窗外看分散了乘員750的注意力，並阻止乘員750看到前方的道路及/或沿著車輛202的前進路徑的任何東西，並且削弱乘員750偵測和回應沿著車輛202的前進路徑的車輛事件的能力。通常，監測引擎410可基於乘員的眼睛注視來偵測削弱狀態，諸如注視/聚焦於遠離前方道路的方向。
在其他情況下，取決於車輛202的環境，監測引擎410可決定在駕駛時向她的左側和車輛202的駕駛員側窗外看不會削弱乘員750操作車輛202及/或回應車輛事件的能力。例如，若車輛202的內容指示車輛事件已經發生在駕駛員側窗之外，並且乘員750應該意識到及/或回應該車輛事件，則監測引擎410可決定向她的左側和車輛202的駕駛員側窗外看允許乘員750看到車輛事件，並且決定如何（或是否）回應該車輛事件。因此，監測引擎410可決定，在該示例內容中，乘員750在駕駛時向她的左側和車輛202的駕駛員側窗外看是合適的，並且不應該被分類或處理為削弱。
圖7I圖示駕駛車輛202的乘員750的另一示例狀態718。在該實例中，狀態718包括乘員750在駕駛車輛202時沒有系緊安全帶。監測引擎410可決定乘員750在駕駛車輛202時沒有系緊安全帶。在一些情況下，若在駕駛車輛202時沒有系緊安全帶增加了對乘員750和其他人（例如，車輛202的任何其他乘客和車輛202環境中的任何其他人，諸如其他車輛的乘員、行人等）的安全的風險，則監測引擎410可決定在駕駛車輛202時沒有系緊安全帶是削弱。在其他情況下，若在駕駛車輛202時沒有系緊安全帶不削弱乘員750駕駛車輛202或回應車輛事件的能力，則監測引擎410可決定在駕駛車輛202時沒有系緊安全帶不是削弱。
圖8是圖示包括乘員監測事件的V2X通訊800的實例的圖。在該實例中，行動裝置150是由車輛202的乘員佩戴的可穿戴增強現實（AR）裝置，諸如HMD或AR眼鏡。車輛202的乘員亦佩戴可穿戴裝置802，諸如智慧或連接的手錶、健康追蹤器/監測器裝置、智慧或連接的手環裝置、可穿戴醫療裝置或任何其他可穿戴裝置。
行動裝置150和車輛計算系統210可如前述交換資料，諸如車輛資料（例如，車輛內容資訊、車輛範本、車輛感測器資料等）、事件資料及/或乘員資料（例如，乘員狀態資訊、乘員感測器量測、乘員健康量測等）。可穿戴裝置802可包括可穿戴應用804，可穿戴應用804可追蹤/量測關於乘員的資訊，諸如健康度量、生物測定等。可穿戴裝置802可包括健康和其他感測器，例如但不限於血氧計、皮膚感測器、光學心臟感測器、光電容積脈搏波感測器、電心臟感測器、加速度計、陀螺儀、心電圖感測器、溫度感測器、血壓感測器、皮膚電回應感測器、腦電圖感測器及/或任何其他感測器。
在一些實例中，可穿戴裝置802可具有額外的及/或冗餘的感測器模態（例如，相對於行動裝置150的感測器模態），其可幫助乘員監測。可穿戴裝置802可將此類資料（或相關事件的摘要）發送到行動裝置150，以協助其乘員監測程序。在一些實例中，可穿戴裝置802可向行動裝置150發送感測器資料，例如慣性感測器資料、心率量測、血壓量測、皮膚電反應量測、ECG/EKG/EEG資料、溫度資料、氧氣位準、運動資訊、睡眠追蹤資訊等。在一些情況下，來自可穿戴裝置802的資料可指示及/或可用於決定（例如，經由在正和負實例上訓練的機器學習分類器）削弱，諸如困倦、醉酒、健康緊急情況、壓力、情緒高漲狀態、失去知覺等。
可穿戴裝置802的可穿戴應用804可從可穿戴裝置802上的一或多個感測器獲得健康量測和任何其他量測。可穿戴裝置802可向行動裝置150發送任何健康量測。行動裝置150可使用健康量測來監測乘員的狀態。行動裝置150可單獨使用健康量測或者與來自行動裝置150的其他量測（諸如先前關於監測引擎410描述的任何量測）組合使用健康量測。在一些實例中，行動裝置150可執行感測器資料融合，並且使用來自可穿戴裝置802的健康量測和來自行動裝置150的任何乘員監測量測及/或資料的組合來決定乘員的狀態。如前述，行動裝置150可使用監測引擎410來決定乘員的狀態。監測引擎410可使用來自行動裝置150及/或可穿戴裝置802的任何資料來決定乘員的狀態。
在一些情況下，行動裝置150可將決定的乘員狀態發送到車輛計算系統210。如前述，行動裝置150可附加地或替代地向車輛計算系統210發送任何事件資料。在一些情況下，行動裝置150可將決定的乘員狀態發送到其他裝置，例如車輛810（例如，車輛計算系統812）、基礎設施820及/或任何其他裝置。基礎設施820可包括任何基礎設施系統、裝置及/或部件，例如但不限於交通燈、交通攝像機、路燈、標誌、停車計時器、車道標記、一或多個應急回應系統、其組合及/或任何其他基礎設施系統、裝置及/或部件。在一些情況下，車輛計算系統210可將決定的乘員狀態發送/轉發到其他裝置，例如車輛810（例如，車輛計算系統812）、基礎設施820及/或任何其他裝置。
在一些情況下，車輛計算系統210亦可使用來自車輛202的一或多個感測器（諸如一或多個圖像感測器、慣性感測器、重量感測器、壓力感測器、音訊感測器等）的資料及/或來自行動裝置150的事件資料424來決定（例如，經由監測引擎402）乘員的狀態。例如，在一些情況下，除了由行動裝置150決定乘員的狀態之外，車輛計算系統210亦可決定乘員的狀態。在一些實例中，車輛計算系統210可使用來自行動裝置150、可穿戴裝置802及/或車輛202的一或多個感測器的感測器資料來決定乘員的狀態。例如，車輛計算系統210可融合來自行動裝置150、可穿戴裝置802及/或車輛202的一或多個感測器的感測器資料，以決定乘員的狀態。在一些情況下，車輛計算系統210可使用從行動裝置150接收的乘員的狀態來協助其自身決定乘員的狀態。在其他情況下，車輛計算系統210可單獨地決定乘員的狀態，而不需要由行動裝置150及/或來自行動裝置150的感測器資料決定乘員的狀態。
車輛202的車輛計算系統210可將任何車輛及/或乘員資料傳送到其他裝置，例如車輛810及/或基礎設施820。例如，車輛計算系統210可向車輛810及/或基礎設施820發送決定的乘員狀態（例如，除了行動裝置150向車輛810及/或基礎設施820發送乘員的狀態之外或代替行動裝置150向車輛810及/或基礎設施820發送乘員的狀態）。車輛810及/或基礎設施820可使用從行動裝置150及/或車輛202接收的乘員的任何狀態資訊來尋求對乘員的協助，若該狀態資訊指示乘員的削弱，及/或執行任何動作來防止與乘員在削弱時操作的車輛202的任何事故或碰撞。
例如，車輛810的車輛計算系統812的車輛應用814可使用來自車輛202及/或行動裝置150的資料來調整車輛810的操作/行為，以避免與車輛202的任何事故或碰撞。在一些情況下，車輛810的車輛計算系統812的車輛應用814可使用來自車輛202及/或行動裝置150的資料來重新路由車輛810，以避開車輛202及/或與車輛202保持至少一定距離。車輛計算系統812可被配置並包括與先前結合圖2描述的車輛計算系統210相同或相似的部件。
作為另一個實例，基礎設施820的基礎設施應用822可使用來自車輛202及/或行動裝置150的資料來調整基礎設施820的操作/行為。為了說明，基礎設施820的基礎設施應用822可使用來自車輛202及/或行動裝置150的資料來基於車輛202的乘員的削弱來調整與基礎設施820相關聯的交通控制/信號及/或向執法及/或其他緊急或援助人員及/或系統報告車輛202的乘員的削弱。
在一些實例中，車輛計算系統210亦可向車輛810及/或基礎設施820發送其他資訊。例如，車輛計算系統210可將來自車輛202的感測器資料及/或車輛202的決定內容發送到車輛810及/或基礎設施820。在一些情況下，除了關於車輛202的乘員的任何狀態資訊之外，車輛計算系統210亦可發送此種資訊。
圖9是圖示基於由駕駛車輛202的乘員佩戴的行動裝置150決定的乘員狀態的示例車輛緩解事件的圖。在該實例中，行動裝置150已經決定（例如，經由監測引擎410，並且可能基於來自可穿戴裝置802的資料）指示駕駛車輛202的乘員受到健康緊急情況的削弱的乘員狀態910。行動裝置150可將乘員狀態910發送到車輛202的車輛電腦系統（例如，車輛計算系統210），以通知車輛202乘員受到健康緊急情況的削弱。
車輛202的車輛電腦系統（例如，車輛計算系統210）決定描述車輛202的狀態（諸如，車輛202的運動狀態）的車輛內容912。在該實例中，車輛內容912指示車輛202正以每小時10英哩（mph）的速度向西行駛，並且已經遇到前方的車輛事件。該示例中的車輛事件是沿著車輛202的路線的障礙物902。
基於從行動裝置150獲得的乘員狀態910和車輛內容912，車輛202的車輛計算系統（例如，經由諸如事件緩解引擎404的事件緩解引擎）可觸發動作916。在該實例中，動作916包括賦能車輛202的自主能力以在乘員受到健康緊急情況削弱時控制車輛202。在一些實例中，車輛202可使用自主能力將乘員驅動到目的地路線。在其他實例中，車輛202可使用自主能力來改變車輛202的路線，並將乘員驅動到醫院/診所或乘員可獲得健康緊急情況治療的位置。在一些情況下，車輛202亦可向諸如健康緊急情況系統的遠端系統發送訊息/通知，指示乘員正在經歷健康緊急情況及/或請求對健康緊急情況的協助。
動作916亦包括執行機動904以避開障礙物902。車輛202可使用自主能力來執行機動904以避開障礙物902。在該實例中，機動904包括在障礙物902之前的道路上左轉。
圖9中示出的障礙物902、機動904、乘員狀態910、車輛內容912和動作916僅僅是為了解釋目的而提供的說明性實例。其他示例可包括相同或不同及/或附加的障礙物、機動、乘員狀態、車輛內容、動作等。
在一些實例中，車輛內容可包括與車輛的操作/駕駛相關的資訊；事件或車輛事件可包括與車輛安全、車輛安全事件/狀況等相關的資訊；並且乘員的狀態可包括及/或係關於乘員的分心或健康狀況。在一些情況下，分心或健康狀況可包括乘員的短暫分心或健康狀況。
圖10是圖示基於由駕駛車輛202的乘員佩戴的行動裝置150決定的乘員狀態的另一示例車輛緩解事件的圖。在該實例中，行動裝置150已經決定（例如，經由監測引擎410）指示駕駛車輛202的乘員分心的乘員狀態1002。行動裝置150可將乘員狀態1002發送到車輛202的車輛電腦系統（例如，車輛計算系統210），以通知車輛202乘員分心。
車輛202可偵測到（例如，經由諸如監測引擎402的監測引擎）車輛202正在穿過中心車道1012或車輛202正在行駛的道路1010的車道分隔線。基於指示乘員分心的乘員狀態1002及決定車輛202正在穿過道路1010的中心車道1012，在時間T 1，車輛202可觸發（例如，經由諸如事件緩解引擎404的事件緩解引擎）動作1004以協助分心的乘員。在該實例中，動作1004包括賦能車輛202的車道保持協助工具，以採取校正動作將車輛202保持在其車道1020中，並避免車輛202穿越到另一車道1022中。
在時間T 2，在車輛202已經賦能車道保持協助工具並採取校正動作之後，車輛202現在在其車道1020內行駛。如圖10所示，乘員狀態1006亦指示車輛的乘員在時間T 2處於正常狀態（例如，未被削弱）。車輛202可允許乘員在有或沒有自動輔助的情況下駕駛車輛202，可繼續實施一或多個自動駕駛操作，或者可向乘員提供選擇是否手動控制車輛202（完全或部分）的選項，以允許車輛202自主操作等。
圖11是圖示用於在車輛操作期間控制虛擬內容的呈現的示例程序1100的流程圖。在框1102，程序1100可包括基於車輛（例如，車輛202）的內部部分的一或多個圖像來決定行動裝置（例如，行動裝置150）相對於車輛的座標系的姿勢。
在框1104，程序1100可包括從車輛接收與車輛的一或多個感測器相關聯的資料。
在框1106，程序1100可包括基於與一或多個感測器相關聯的資料及行動裝置相對於車輛的座標系的姿勢，使用行動裝置的顯示裝置來顯示虛擬內容。
在一些態樣，程序1100可包括基於與一或多個感測器相關聯的資料來決定車輛的內容。在一些實例中，內容可包括與車輛相關的事件。
在一些態樣，程序1100可包括將虛擬內容相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置相關聯；及基於虛擬內容相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置的關聯，顯示來自行動裝置的一或多個視覺圖像感測器的即時內容饋送。
在一些實例中，顯示即時內容饋送可包括基於行動裝置相對於車輛的座標系的姿勢和車輛相對於事件的姿勢來決定行動裝置相對於事件的姿勢；及基於行動裝置相對於事件的姿勢及虛擬內容相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置的關聯，決定虛擬內容在車輛的乘員的視野中至少部分阻隔事件。
在一些態樣，程序1100可包括將虛擬內容項相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置相關聯；及基於虛擬內容相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置的關聯來過濾或修改虛擬內容項。
在一些實例中，過濾或修改虛擬內容項可包括修改虛擬內容項的一或多個特徵。在一些情況下，一或多個特徵可包括虛擬內容項的透明度、大小、位置和虛擬內容項的亮度級別中的至少一個。
在一些實例中，過濾或修改虛擬內容項可包括決定車輛的乘員的眼睛注視，該乘員與行動裝置相關聯；基於乘員的眼睛注視和事件的位置決定事件對乘員的可見性；及進一步基於事件對乘員的可見性來過濾或修改虛擬內容項。
在一些實例中，事件可包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。在一些情況下，車輛路徑內或接近車輛路徑的臨限值內的物件包括行人、動物和另一車輛中的至少一個。
在一些態樣，程序1100可包括決定車輛的乘員的眼睛注視，其中乘員與行動裝置相關聯；及在車輛的乘員的眼睛注視的方向內呈現虛擬內容。
在一些情況下，在乘員的眼睛注視的方向內呈現虛擬內容可包括呈現虛擬內容覆蓋，該虛擬內容覆蓋包括事件、事件的位置和事件的方向中的至少一個的虛擬指示符。
在一些情況下，在乘員的眼睛注視的方向內呈現虛擬內容可包括修改虛擬內容的一或多個特徵。在一些情況下，一或多個特徵可包括虛擬內容的透明度、尺寸、位置和亮度級別中的至少一個。
在一些態樣，程序1100可包括基於車輛的內容和行動裝置的姿勢過濾虛擬內容的至少一部分。
在一些情況下，過濾虛擬內容的至少一部分可包括賦能虛擬內容的子集的呈現。在一些實例中，虛擬內容的子集可包括車輛狀態的指示和車輛儀錶資訊中的至少一個。
在一些態樣，顯示虛擬內容可包括呈現與車輛相關聯的虛擬內容項，該虛擬內容項相對於車輛的表面被呈現。
在一些情況下，所呈現的虛擬內容項可包括在與一或多個感測器相關聯的資料中辨識的事件的第一指示、車輛的內容的第二指示及與車輛的內容相關聯的警報中的至少一個。
在一些態樣，呈現虛擬內容項可包括從車輛的攝像機裝置接收攝像機饋送；及在行動裝置的顯示區域內顯示該攝像機饋送的至少一部分。
在一些情況下，決定行動裝置的姿勢可包括獲得一或多個射頻（RF）信號；及基於一或多個圖像及與一或多個RF信號相關聯的往返時間、與一或多個RF信號相關聯的到達時間及與一或多個RF信號相關聯的接收信號強度指示符（RSSI）中的至少一個來決定行動裝置的姿勢。
在一些情況下，決定行動裝置的姿勢可包括從車輛接收包括與車輛相關聯的一或多個標記的車輛範本；及基於一或多個圖像和車輛範本決定行動裝置相對於車輛的座標系的姿勢。
在一些實例中，一或多個標記可包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
在一些情況下，決定行動裝置的姿勢可包括偵測一或多個圖像中的一或多個標記；及基於偵測到的一或多個標記和車輛範本來決定行動裝置相對於車輛的座標系的姿勢。
在一些態樣，程序1100可包括使用行動裝置的一或多個圖像感測器、車輛內部部分的圖像集，該圖像集圖示與車輛相關聯的一或多個標記；及基於該圖像集產生包括一或多個標記的車輛範本。
圖12是圖示用於監測車輛的乘員的示例程序1200的流程圖。在框1202，程序1200可包括基於車輛的內部部分的一或多個圖像來決定行動裝置相對於車輛的座標系的姿勢。在一些情況下，削弱可包括關於車輛的操作和與車輛相關聯的事件中的至少一個的分心狀態、醉酒狀態、健康狀況、清醒狀態、偵測到的情緒狀態、控制車輛的削弱位置和削弱視野中的至少一個。
在框1204，程序1200可包括決定車輛的乘員的狀態。在一些實例中，乘員的狀態可包括乘員在操作車輛態樣的削弱。
在框1206，程序1200可包括向車輛發送指示乘員的狀態和行動裝置相對於車輛的座標系的姿勢的資料。
在一些實例中，決定乘員的狀態可包括從車輛接收與車輛的一或多個感測器相關聯的資料；及基於與車輛的一或多個感測器相關聯的資料和行動裝置的姿勢來決定乘員的狀態。
在一些情況下，與車輛的一或多個感測器相關聯的資料指示車輛的狀態和與車輛相關聯的事件中的至少一個。
在一些情況下，與車輛相關聯的事件可包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。
在一些實例中，車輛路徑內或接近車輛路徑的臨限值內的物件可包括行人、動物和另一車輛中的至少一個。
在一些情況下，乘員的削弱包括會對乘員安全操作車輛的能力產生負面影響的任何事件、活動、分心、狀態、屬性、行為及/或狀況。
在一些態樣，程序1200可包括決定車輛乘員的眼睛注視。在一些情況下，乘員的狀態可包括乘員的眼睛注視，並且乘員可與行動裝置相關聯。例如，乘員可是佩戴行動裝置的使用者。
在一些情況下，決定乘員的狀態可包括從與行動裝置和乘員佩戴的可穿戴裝置中的至少一個相關聯的一或多個感測器接收與乘員相關聯的一或多個健康量測；及基於一或多個健康量測來決定乘員的狀態。
在一些實例中，一或多個健康量測可包括心率、血壓、體溫、皮膚電反應、來自乘員心臟的電信號的量測、乘員大腦的電活動的量測、眼睛發紅的程度和瞳孔大小中的至少一個。
在一些情況下，決定乘員的狀態可包括決定乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦；及基於乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦及決定該時間段超過臨限值時間段來決定乘員的受削弱狀態。
在一些實例中，決定乘員的眼睛注視在該時間段內遠離車輛前方的道路聚焦可包括決定乘員的眼睛注視在該時間段的至少一部分時間內聚焦在由行動裝置呈現的虛擬內容上。
在一些情況下，決定乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦可包括決定乘員的眼睛注視聚焦在與車輛路徑內或接近車輛路徑的臨限值內的障礙物的方向不同的方向上。
在一些態樣，程序1200可包括向第二車輛、車輛基礎設施系統、與第二車輛的第二乘員相關聯的第一遠端裝置及與行人相關聯的第二遠端裝置中的至少一個發送乘員狀態的指示。
在一些情況下，決定乘員的狀態可包括決定佩戴行動裝置的乘員的眼睛注視；及基於行動裝置的姿勢和乘員的眼睛注視來決定乘員的狀態。
在一些情況下，決定行動裝置的姿勢可包括從車輛接收包括與車輛相關聯的一或多個標記的車輛範本；及基於一或多個圖像和車輛範本決定行動裝置相對於車輛的座標系的姿勢。
在一些情況下，一或多個標記可包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
在一些情況下，一或多個圖像圖示了一或多個標記，並且決定行動裝置的姿勢可包括偵測一或多個圖像中的一或多個標記；及基於偵測到的一或多個標記和車輛範本來決定行動裝置相對於車輛的座標系的姿勢。
在一些態樣，程序1200可包括使用行動裝置的一或多個圖像感測器，獲得車輛內部部分的圖像集，該圖像集圖示與車輛相關聯的一或多個視覺地標；及基於該圖像集產生包括一或多個視覺地標的車輛範本。
在一些情況下，決定行動裝置的姿勢可包括獲得與行動裝置相關聯的慣性感測器資料；及基於一或多個圖像和慣性感測器資料來決定行動裝置的姿勢。
圖13是圖示用於控制車輛的操作的示例程序1300的流程圖。在框1302，程序1300可包括從與車輛的乘員相關聯的行動裝置接收乘員相對於車輛的座標系的姿勢。在框1304，程序1300可包括基於乘員相對於車輛的座標系的姿勢來控制車輛的一或多個功能。
在一些實例中，控制車輛的一或多個功能可包括賦能車輛的一或多個車輛功能。在一些實例中，一或多個車輛功能可包括自動駕駛功能、牽引力控制功能、巡航控制功能、碰撞避免功能、車道偏離功能、車道居中功能、制動協助工具、車道保持功能、高速公路協助工具、車道變換協助工具、速度自我調整功能和交叉口協助工具中的至少一個。
在一些實例中，控制車輛的一或多個功能可包括控制或賦能車輛的一或多個自主車輛系統。在一些實例中，一或多個自主車輛系統可包括盲點監測系統、駕駛員監測系統、制動系統、自主駕駛控制系統、駕駛員輔助系統、導航系統、轉向控制系統、車輛通訊系統和汽車平視顯示器中的至少一個。
在一些態樣，程序1300可包括將與車輛的一或多個感測器相關聯的資料發送到行動裝置、第二車輛、車輛基礎設施系統、與第二車輛的第二乘員相關聯的第一遠端裝置及與行人相關聯的第二遠端裝置中的至少一個。
在一些態樣，程序1300可包括向第二車輛、車輛基礎設施系統、與第二車輛的第二乘員相關聯的第一遠端裝置及與行人相關聯的第二遠端裝置中的至少一個發送指示乘員狀態的資料。
在一些態樣，程序1300可包括向行動裝置發送用於決定乘員相對於車輛的座標系的姿勢的車輛範本，該車輛範本包括與車輛相關聯的一或多個標記。
在一些實例中，一或多個標記可包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
在一些態樣，程序1300可包括至少部分地基於乘員相對於車輛的座標系的姿勢來產生輸出。在一些實例中，輸出可包括到行動裝置的通訊、修改車輛的一或多個功能的指令及乘員狀態的指示中的至少一個。
在一些情況下，到行動裝置的通訊可包括虛擬內容項和顯示虛擬內容項的請求中的至少一個。
在一些態樣，程序1300可包括從行動裝置接收指示車輛乘員的狀態的資料。在一些情況下，資料可包括來自行動裝置的一或多個感測器的感測器資料和基於來自行動裝置的一或多個感測器的感測器資料產生的經處理資料中的至少一個。
在一些情況下，經處理的資料可包括對乘員狀態的描述和辨識乘員狀態的分類輸出中的至少一個。
在一些態樣，程序1300可包括從行動裝置接收指示車輛乘員的狀態的資料。在一些情況下，資料可包括乘員的眼睛注視的指示、方法相對於車輛的座標系的姿勢及與乘員相關聯的一或多個健康量測中的至少一個。
在一些情況下，一或多個健康量測可包括心率、血壓、體溫、皮膚電反應、來自乘員心臟的電信號的量測、乘員大腦的電活動的量測、眼睛發紅的程度和瞳孔大小中的至少一個。
在一些態樣，程序1300可包括從車輛的一或多個感測器獲得感測器資料，該感測器資料包括與車輛的操作相關的事件的指示、至少部分由乘員控制的車輛的一或多個操作期間的一或多個駕駛模式的指示及車輛儀錶資料中的至少一個。在一些情況下，程序1300可包括進一步基於感測器資料控制車輛的一或多個功能。
在一些態樣，程序1300可包括決定乘員的狀態。在一些情況下，決定乘員的狀態可包括從與行動裝置和可穿戴裝置中的至少一個相關聯的一或多個健康感測器接收與乘員相關聯的一或多個健康量測；及基於與乘員相關聯的一或多個健康量測來決定乘員的狀態。
在一些態樣，程序1300可包括獲得乘員的狀態。在一些實例中，乘員的狀態可包括乘員在操作車輛態樣的削弱。在一些實例中，乘員的削弱可包括乘員的短暫削弱。在一些情況下，削弱可包括關於車輛的操作和與車輛相關聯的事件中的至少一個的分心狀態、醉酒狀態、健康狀況、清醒狀態、偵測到的情緒狀態、控制車輛的削弱位置和削弱視野中的至少一個。在一些情況下，乘員的削弱包括會對乘員安全操作車輛的能力產生負面影響的任何事件、活動、分心、狀態、屬性、行為及/或狀況。
在一些實例中，事件可包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。在一些實例中，物件可包括行人、動物和另一車輛中的至少一個。
在一些態樣，程序1300可包括獲得車輛內部部分的一或多個圖像，該一或多個圖像圖示了與車輛相關聯的一或多個視覺地標；及基於該一或多個圖像產生車輛範本，該車輛範本描述該一或多個視覺地標。
在一些態樣，程序1300可包括將車輛範本發送到行動裝置；及從行動裝置接收乘員相對於在車輛範本中定義的一或多個座標的姿勢。在一些實例中，一或多個座標相對於一或多個視覺地標，並且對應於車輛的座標系。
在一些態樣，程序1300可包括從行動裝置接收指示乘員的狀態的資料。在一些情況下，控制車輛的一或多個功能可包括基於乘員的姿勢和指示乘員狀態的資料來控制車輛的一或多個功能。
在一些態樣，程序1300可包括至少部分地基於乘員相對於車輛的座標系的姿勢來產生輸出。在一些實例中，輸出可包括修改車輛的一或多個功能的指令和乘員的更新狀態中的至少一個。
在一些實例中，車輛的一或多個功能可經由車輛的電腦系統來控制，該電腦系統被配置為控制車輛的一或多個功能和車輛的一或多個自主車輛系統中的至少一個。
圖14是圖示用於將車輛和與車輛的乘員相關聯的行動裝置介面的示例程序1300的流程圖。在框1402，程序1400可包括從與車輛的電腦系統連接的增強現實（AR）裝置接收請求。在一些實例中，請求可請求由車輛產生及/或獲得的資料，例如來自車輛的一或多個感測器的資料。
在框1404，程序1400可包括回應於該請求，向AR裝置發送與車輛的一或多個感測器相關聯的資料。在一些實例中，資料可包括指示車輛的內容的車輛資料。在一些實例中，車輛的內容可包括車輛的狀態和車輛遇到的或決定在車輛的一或多個操作期間發生的一或多個事件中的至少一個。
在一些實例中，一或多個事件可包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。在一些情況下，車輛路徑內或接近車輛路徑的臨限值內的物件可包括行人、動物和另一車輛中的至少一個。
在一些態樣，程序1400可包括向AR裝置發送顯示資料，用於在相對於AR裝置相對於車輛的座標系的姿勢和一或多個事件的相應位置中的至少一個的位置處呈現。在一些實例中，顯示資料可包括車輛資料的至少一部分。
在一些態樣，程序1400可包括向AR裝置發送一或多個事件的相應位置的指示。在一些態樣，程序1400可包括向AR裝置發送用於決定AR裝置相對於車輛的座標系的姿勢的車輛範本。在一些實例中，車輛範本可描述車輛內部部分中的一或多個標記。
在一些實例中，一或多個標記可包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
在一些態樣，程序1400可包括從AR裝置接收AR裝置相對於車輛的座標系的姿勢。
在一些態樣，程序1400可包括基於與一或多個感測器相關聯的資料和AR裝置相對於車輛的座標系的姿勢中的至少一個來控制由電腦系統呈現的與車輛相關聯的虛擬內容。在一些情況下，控制虛擬內容的呈現可包括基於AR裝置相對於車輛的座標系的姿勢，向AR裝置提供來自車輛的一或多個圖像感測器的即時內容饋送。
在一些情況下，提供即時內容饋送可包括基於AR裝置相對於車輛的座標系的姿勢和車輛相對於車輛事件的位置來決定AR裝置相對於車輛事件的姿勢；及基於AR裝置相對於車輛事件的姿勢，決定與電腦系統和AR裝置中的至少一個相關聯的虛擬內容在AR裝置的視野中至少部分阻隔車輛事件。
在一些實例中，控制虛擬內容的呈現可包括將電腦系統呈現的虛擬內容項的位置與車輛事件相對於車輛的座標系的位置相關聯；及基於虛擬內容的位置與車輛事件相對於車輛的座標系的位置的關聯來過濾或修改該虛擬內容項。
在一些情況下，過濾或修改虛擬內容項可包括修改虛擬內容項的一或多個特徵。在一些實例中，一或多個特徵可包括虛擬內容項的透明度、尺寸、位置和亮度級別中的至少一個。
在一些實例中，過濾或修改虛擬內容項可包括接收車輛乘員的眼睛注視；基於乘員的眼睛注視和車輛事件的位置決定車輛事件對乘員的可見性；及進一步基於車輛事件對乘員的可見性來過濾或修改虛擬內容項。
在一些情況下，控制虛擬內容的呈現可包括接收車輛乘員的眼睛注視；及在車輛的乘員的眼睛注視的方向內呈現虛擬內容。
在一些實例中，呈現虛擬內容可包括呈現虛擬內容覆蓋，該虛擬內容覆蓋包括車輛事件、車輛事件的位置和車輛事件的方向中的至少一個的虛擬指示符。
在一些情況下，呈現虛擬內容可包括修改虛擬內容的一或多個特徵。在一些實例中，一或多個特徵可包括透明度、尺寸、虛擬內容的位置和亮度級別中的至少一個。
在一些態樣，程序1400可包括向一或多個顯示裝置發送指令以顯示提供關於車輛操作的資訊的虛擬內容項。在一些情況下，指令可指示虛擬內容項相對於車輛中位於乘員視野內的位置的放置。
在一些實例中，虛擬內容項可包括電腦系統偵測到的車輛事件的第一指示、車輛內容的第二指示及與車輛內容相關聯的警報中的至少一個。
在一些態樣，程序1400可包括從車輛上的攝像機裝置接收攝像機饋送；及向AR裝置發送攝像機饋送的至少一部分以供顯示。
在一些態樣，程序1400可包括向AR裝置發送乘員的狀態指示。在一些實例中，乘員的狀態可包括乘員在操作車輛態樣的削弱。在一些實例中，削弱可包括短暫削弱。在一些情況下，削弱可包括關於車輛的操作和與車輛相關聯的事件中的至少一個的分心狀態、醉酒狀態、健康狀況、清醒狀態、偵測到的情緒狀態、控制車輛的削弱位置和削弱視野中的至少一個。
在一些態樣，程序1400可包括基於乘員的削弱來控制車輛的操作。在一些實例中，乘員的削弱包括會對乘員安全操作車輛的能力產生負面影響的任何事件、活動、分心、狀態、屬性、行為及/或狀況。
在一些態樣，程序1400可包括基於乘員的削弱產生顯示資料。在一些實例中，顯示資料可包括車輛事件和車輛儀錶資料中的至少一個。
在一些態樣，程序1400可包括基於乘員的削弱向AR裝置發送顯示資料。在一些實例中，顯示資料可包括車輛事件和車輛儀錶資料中的至少一個。
在一些實例中，電腦系統被配置為控制車輛的一或多個自主功能和車輛的一或多個自主車輛系統中的至少一個。
在一些實例中，AR裝置可包括頭戴式顯示器。在一些實例中，AR裝置可包括可穿戴AR裝置。
在一些實例中，程序1100、1200、1300及/或1400中的任何一個可由一或多個計算裝置或裝置來執行。在一個說明性實例中，程序1100、1200、1300及/或1400中的任何一個可由圖1所示的行動裝置150及/或圖2所示的車輛202（及/或車輛計算系統210）來執行。在一些實例中，程序1100、1200、1300及/或1400中的任何一個可由具有圖15中所示的計算裝置架構1500的一或多個計算裝置來執行。在一些情況下，此種計算裝置或裝置可包括處理器、微處理器、微型電腦或裝置的其他部件，其被配置為執行程序1100、1200、1300及/或1400中的任何一個的步驟。在一些實例中，此種計算裝置或裝置可包括被配置為擷取圖像資料及/或其他感測器量測的一或多個感測器。例如，計算裝置可包括智慧手機、頭戴式顯示器、行動裝置或其他合適的裝置。在一些實例中，此種計算裝置或裝置可包括被配置為擷取一或多個圖像或視訊的相機。在一些情況下，此種計算裝置可包括用於顯示圖像的顯示器。在一些實例中，一或多個感測器及/或相機與計算裝置分離，在此種情況下，計算裝置接收感測到的資料。此種計算裝置亦可包括被配置為傳送資料的網路介面。
計算裝置的部件可在電路中實施。例如，部件可包括及/或可使用電子電路或其他電子硬體來實施，電子電路或其他電子硬體可包括一或多個可程式設計電子電路（例如微處理器、圖形處理單元（GPU）、數位訊號處理器（DSP）、中央處理單元（CPU），及/或其他合適的電子電路），及/或可包括及/或使用電腦軟體、韌體或其任何組合來實施，以執行本文所述的各種操作。計算裝置亦可包括顯示器（作為輸出裝置的示例或除了輸出裝置之外）、被配置為通訊及/或接收資料的網路介面、其任意組合及/或其他部件。網路介面可被配置為通訊及/或接收基於網際網路協定（IP）的資料或其他類型的資料。
程序1100、1200、1300和1400被示出為邏輯流程圖，其動作表示可在硬體、電腦指令或其組合中實施的操作序列。在電腦指令的內容中，該動作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，該電腦可執行指令在由一或多個處理器執行時執行該操作。通常，電腦可執行指令包括執行特定功能或實施特定資料類型的常式、程式、物件、部件、資料結構等。描述操作的順序不意欲被解釋為限制，並且可以任何順序及/或並行地組合任何數量的所描述的操作以實施該程序。
此外，程序1100、1200、1300及/或1400中的任何一個可在配置有可執行指令的一或多個電腦系統的控制下執行，並且可被實施為經由硬體或其組合在一或多個處理器上共同執行的代碼（例如，可執行指令、一或多個電腦程式或一或多個應用）。如前述，代碼可例如以包括可由一或多個處理器執行的多個指令的電腦程式的形式儲存在電腦可讀或機器可讀儲存媒體上。電腦可讀或機器可讀儲存媒體可是非暫時的。
圖15圖示可實施本文描述的各種技術的示例計算裝置的示例計算裝置架構1500。例如，計算裝置架構1500可實施圖1所示的計算系統100或圖2所示的計算系統210的至少一些部分。計算裝置架構1500的部件被示出為使用諸如匯流排的連接1505彼此電通訊。示例計算裝置架構1500包括處理單元（CPU或處理器）1510和計算裝置連接1505，計算裝置連接1505將包括諸如唯讀記憶體（ROM）1520和隨機存取記憶體（RAM）1525的計算裝置記憶體1515的各種計算裝置部件耦合到處理器1510。
計算裝置架構1500可包括高速記憶體的快取記憶體，高速記憶體直接與處理器1510連接、靠近處理器1510或整合為處理器1510的一部分。計算裝置架構1500可將資料從記憶體1515及/或儲存裝置1530複製到快取記憶體1512，以供處理器1510快速存取。以此種方式，快取記憶體可提供在等待資料時避免處理器1510延遲的效能提升。該等模組和其他模組可控制或被配置為控制處理器1510以執行各種動作。其他計算裝置記憶體1515亦可使用。記憶體1515可包括具有不同效能特徵的多個不同類型的記憶體。處理器1510可包括任何通用處理器和儲存在儲存裝置1530中並且被配置為控制處理器1510的硬體或軟體服務及其中軟體指令被結合到處理器設計中的專用處理器。處理器1510可是自包含系統，包含多個核或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可是對稱的或不對稱的。
為了使使用者能夠與計算裝置架構1500交互，輸入裝置1545可表示任何數量的輸入機制，諸如用於語音的麥克風、用於手勢或圖形輸入的觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等等。輸出裝置1535亦可是本領域技藝人士已知的多個輸出機制中的一或多個，諸如顯示器、投影儀、電視、揚聲器裝置。在一些實例中，多模態計算裝置可使使用者能夠提供多種類型的輸入以與計算裝置架構1500通訊。通訊介面1540通常可支配和管理使用者輸入和計算裝置輸出。對於在任何特定硬體設定上的操作沒有限制，因此本文的基本特徵可容易地被替換為改進的硬體或韌體配置，因為其正在開發。
儲存裝置1530是非揮發性記憶體，並且可是硬碟或可儲存電腦可存取的資料的其他類型的電腦可讀取媒體，諸如磁帶、快閃記憶卡、固態記憶體裝置、數位多功能光碟、盒式磁帶、隨機存取記憶體（RAM）1525、唯讀記憶體（ROM）1520及其混合體。儲存裝置1530可包括用於控制處理器1510的軟體、代碼、韌體等。亦可考慮其他硬體或軟體模組。儲存裝置1530可連接到計算裝置連接1505。在一個態樣，執行特定功能的硬體模組可包括儲存在電腦可讀取媒體中的軟體部件，該軟體部件與諸如處理器1510、連接1505、輸出裝置1535等必要的硬體部件相結合，以執行功能。
術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式儲存裝置、光學儲存裝置和能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可包括可儲存資料的非暫時性媒體，並且不包括無線或經由有線連接傳播的載波及/或暫時性電子信號。非暫時性媒體的實例可包括但不限於磁碟或磁帶，諸如光碟（CD）或數位通用磁碟（DVD）之類的光學儲存媒體、快閃記憶體、記憶體或儲存裝置。電腦可讀取媒體可在其上儲存有代碼及/或機器可執行指令，該等指令可表示程序、函數、副程式、程式、常式、副程式、模組、套裝軟體、軟體組件或指令、資料結構或程式語句的任何組合。程式碼片段可經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容來耦合到另一程式碼片段或硬體電路。可經由任何合適的手段（包括記憶體共享、訊息傳遞、符記傳遞、網路發送等）傳遞、轉發或發送資訊、引數、參數、資料等。
在一些實施例中，電腦可讀儲存裝置、媒體和記憶體可包括包含位元串流等的電纜或無線信號。然而，當提及時，非暫時性電腦可讀取儲存媒體明確地排除諸如能量，載波信號，電磁波和信號本身的媒體。
在上述描述中提供了具體細節，以提供對本文提供的實施例和示例的徹底理解。然而，本領域的一般技藝人士將理解，可在沒有該等具體細節的情況下實踐實施例。為了解釋清楚起見，在某些情況下，本技術可被呈現為包括單獨的功能方塊，該單獨的功能方塊以軟體或硬體和軟體的組合體現的方法來包括裝置、裝置部件、步驟或常式。除了圖中所示及/或本文所述的部件之外，亦可使用其他部件。例如，電路、系統、網路、程序和其他部件可以方塊圖形式被示出為元件，以便不會在不必要的細節上使實施例模糊。在其他情況下，可在沒有不必要的細節的情況下示出已知的電路、程序、演算法、結構和技術，以避免使實施例模糊。
各個實施例可在上面被描述為程序或方法，該程序和方法被圖示為流程圖、流程圖、資料串流圖、結構圖或方塊圖。儘管流程圖可將操作描述為順序程序，但許多操作可並行或併發地執行。此外，可重新安排操作順序。程序在其操作完成時終止，但可能有其他步驟未包含在圖中。程序可對應於方法、函數、程序、子常式、副程式等。當程序對應於函數時，其終止可對應於函數返回到調用函數或主函數。
可使用儲存在電腦可讀取媒體中或以其他方式從電腦可讀取媒體中獲得的電腦可執行指令來實施根據上述示例的程序和方法。該等指令可包括，例如，使得或以其他方式配置通用電腦、專用電腦或處理裝置以執行某一功能或功能組的指令和資料。可經由網路存取使用的部分電腦資源。電腦可執行指令可是例如二進位、諸如組合語言的中間格式指令、韌體、原始程式碼。可用於儲存指令、所使用的資訊，及/或在根據該示例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、設置有非揮發性記憶體的USB裝置、網路儲存裝置等。
根據該等公開實施程序和方法的裝置可包括硬體、軟體、韌體、仲介軟體、微代碼、硬體描述語言或其任何組合，並且可採取各種形式因素的任何一種。當在軟體、韌體、仲介軟體或微代碼中實施時，執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可儲存在電腦可讀或機器可讀取媒體中。處理器可執行必要的任務。典型的形式因素實例包括膝上型電腦、智慧手機、行動電話、平板電腦裝置或其他小型個人電腦、個人數位助理、機架安裝裝置、獨立裝置等。本文描述的功能亦可體現在周邊裝置或外掛程式卡中。經由進一步的實例，此種功能亦可在不同晶片之間的電路板上實施，或者在單個裝置中執行的不同程序上實施。
指令、用於傳送此類指令的媒體、用於執行該指令的計算資源及用於支援此類計算資源的其他結構是用於提供本揭示案中描述的功能的示例手段。
在前述描述中，參考本揭示案的具體實施例來描述本揭示案的各個態樣，但是本領域技藝人士將認識到本揭示案不限於此。因此，儘管在此已經詳細描述了本揭示案的說明性實施例，但是應當理解，本揭示案的概念可以其他方式不同地體現和應用，並且所附請求項意欲被解釋為包括此類變型，除非受到現有技術的限制。可單獨地或聯合地使用上述申請的各種特徵和態樣。此外，在不脫離本說明書更廣泛的範圍的情況下，可在本文所描述的彼等環境和應用之外的任何數量的環境和應用中使用實施例。因此，說明書和附圖被認為是說明性的而不是限制性的。為了說明的目的，以特定順序描述了方法。應當理解，在替代實施例中，可以與所描述的順序不同的順序來執行該等方法。
一般技藝人士將理解，本文中使用的小於（「＜」）和大於（「＞」）符號或術語可分別替換為小於或等於（「≦」）和大於或等於（「≧」）符號，而不脫離本說明書的範圍。
在將部件描述為被「配置為」執行某些操作的情況下，可例如經由設計電子電路或其他硬體來執行操作，通程序式設計可程式設計電子電路（例如微處理器，或其他合適的電子電路）來執行操作，或其任何組合來實現此種配置。
短語「耦合到」是指實體上直接或間接連接到另一部件的任何部件，及/或與另一部件通訊（例如，經由有線或無線連接連接到其他部件，及/或其他合適的通訊介面）的任何部件。
列舉集合「中的至少一個」及/或集合中的「一或多個」的公開中的請求項語言或其他語言指示集合中的一個成員或集合中的多個成員（在任何組合中）滿足該請求項。例如，請求項語言列舉的「A和B中的至少一個」或「A或B中的至少一個」是指A、B或A和B。在另一實例中，請求項語言列舉的「A、B和C中的至少一個」或「A、B或C中的至少一個」是指A、B、C，或A和B，或A和C，或B和C，或A和B和C。語言集合「中的至少一個」及/或集合中的「一或多個」不將集合限制為集合中列出的項。例如，申請專利範圍語言列舉的「A和B中的至少一個」或「A或B中的至少一個」可表示A、B或A和B，並且可另外包括A和B集合中未列出的項。
結合本文公開的示例描述的各種說明性邏輯區塊、模組、電路和演算法步驟可實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體和軟體的此種可互換性，上面已經大體上就其功能性描述了各種說明性部件、方塊、模組、電路和步驟。該等功能是實現為硬體亦是軟體取決於施加在整個系統上的特定應用和設計約束。技藝人士可針對每個特定應用以不同的方式實施所描述的功能，但是此種實施方式決定不應被解釋為導致偏離本揭示案的範圍。
本文所描述的技術亦可在電子硬體、電腦軟體、韌體或其任何組合中實施。該等技術可在各種裝置（例如通用電腦、無線通訊裝置手持機或具有多種用途的積體電路裝置，包括在無線通訊裝置手持機和其他裝置中的應用）中的任何一種中實施。描述為模組或部件的任何特徵可在整合邏輯裝置中一起實施，或者單獨地作為離散但可交交互操作的邏輯裝置來實施。若以軟體實施，則該等技術可至少部分地由電腦可讀取資料儲存媒體實現，該電腦可讀取資料儲存媒體包括程式碼，該程式碼包括在執行時執行上述方法、演算法及/或操作中的一或多個的指令。電腦可讀取資料儲存媒體可形成電腦程式產品的一部分，電腦程式產品可包括包裝材料。電腦可讀取媒體可包括記憶體或資料儲存媒體，例如隨機存取記憶體（RAM），例如同步動態隨機存取記憶體（SDRAM）、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、磁或光資料儲存媒體等。附加地或替代地，可至少部分地由電腦可讀通訊媒體來實現該等技術，該電腦可讀通訊媒體以指令或資料結構的形式攜帶或傳送程式碼，並且該程式碼可由電腦（例如傳播的信號或波）存取、讀取及/或執行。
該程式碼可由處理器執行，處理器可包括一或多個處理器，例如一或多個數位訊號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）或其他等效整合或離散邏輯電路。此種處理器可被配置成執行本揭示案中描述的任何技術。通用處理器可是微處理器，但是在替代方案中，處理器可是任何一般處理器、控制器、微控制器或狀態機。處理器亦可實施為計算裝置的組合，例如，DSP和微處理器、多個微處理器的組合、一或多個微處理器與DSP核心的結合，或任何其他此種配置。因此，如本文所使用的術語「處理器」可指前述結構中的任何一個、前述結構的任何組合，或適於實施本文該技術的任何其他結構或裝置。
本揭示案的說明性實例包括：
態樣1。一種裝置，包括：記憶體；及耦合到記憶體的一或多個處理器，一或多個處理器被配置為：決定裝置相對於車輛的座標系的姿勢；從車輛接收與車輛的一或多個感測器相關聯的資料；及基於與一或多個感測器相關聯的資料和裝置相對於車輛的座標系的姿勢，使用裝置的顯示裝置顯示虛擬內容。
態樣2。根據態樣1的裝置，其中為了決定裝置的姿勢，一或多個處理器被配置為基於車輛內部部分的一或多個圖像來決定裝置的姿勢。
態樣3。根據態樣1至2中任一態樣的裝置，其中一或多個處理器被配置為基於與一或多個感測器相關聯的資料來決定車輛的內容，其中內容包括與車輛相關的事件。
態樣4。根據態樣3的裝置，其中一或多個處理器亦被配置為：過濾或修改將分散車輛的乘員對車輛的操作或車輛事件的注意力，或者將阻礙乘員對車輛事件或車輛外部被決定為不可覆蓋的區域的視線的虛擬內容項。
態樣5。根據態樣3至4中任一態樣的裝置，其中一或多個處理器被配置為：將虛擬內容相對於裝置的座標系的位置與事件相對於車輛的座標系的位置相關聯；及基於虛擬內容相對於裝置的座標系的位置與事件相對於車輛的座標系的位置的關聯，顯示來自裝置的一或多個視覺圖像感測器的即時內容饋送。
態樣6。根據態樣5的裝置，其中為了顯示即時內容饋送，一或多個處理器被配置為：基於裝置相對於車輛的座標系的姿勢和車輛相對於事件的姿勢來決定裝置相對於事件的姿勢；及基於裝置相對於事件的姿勢及虛擬內容相對於裝置的座標系的位置與事件相對於車輛的座標系的位置的關聯，決定虛擬內容在車輛的乘員的視野中至少部分阻隔事件。
態樣7。根據態樣5的裝置，其中一或多個處理器被配置為進一步基於決定虛擬內容至少部分地阻礙裝置的一或多個圖像感測器對事件的視線來顯示即時內容。
態樣8。根據態樣3至7中任一態樣的裝置，其中一或多個處理器被配置為：將虛擬內容項相對於裝置的座標系的位置與事件相對於車輛的座標系的位置相關聯；及基於虛擬內容相對於裝置的座標系的位置與事件相對於車輛的座標系的位置的關聯來過濾或修改虛擬內容項。
態樣9。根據態樣8的裝置，其中為了過濾或修改虛擬內容項，一或多個處理器被配置為：修改虛擬內容項的一或多個特徵，一或多個特徵包括虛擬內容項的透明度、大小、位置和虛擬內容項的亮度級別中的至少一個。
態樣10。根據態樣8至9中任一態樣的裝置，其中為了過濾或修改虛擬內容項，一或多個處理器被配置為：決定車輛的乘員的眼睛注視，該乘員與裝置相關聯；基於乘員的眼睛注視和事件的位置決定事件對乘員的可見性；及進一步基於事件對乘員的可見性來過濾或修改虛擬內容項。
態樣11。根據態樣3的裝置，其中事件包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。
態樣12。根據態樣11的裝置，其中車輛路徑內或接近車輛路徑的臨限值內的物件包括行人、動物和另一車輛中的至少一個。
態樣13。根據態樣3的裝置，其中一或多個處理器被配置為：決定車輛的乘員的眼睛注視，其中乘員與裝置相關聯；及在車輛的乘員的眼睛注視的方向內呈現虛擬內容。
態樣14。根據態樣13的裝置，其中為了在乘員的眼睛注視的方向內呈現虛擬內容，一或多個處理器被配置為：呈現虛擬內容覆蓋，該虛擬內容覆蓋包括事件、事件的位置和事件的方向中的至少一個的虛擬指示符。
態樣15。根據態樣13至14中任一態樣的裝置，其中為了在乘員的眼睛注視的方向內呈現虛擬內容，一或多個處理器被配置為：修改虛擬內容的一或多個特徵，該一或多個特徵包括虛擬內容的透明度、尺寸、位置和亮度級別中的至少一個。
態樣16。根據態樣1至15中任一態樣的裝置，其中一或多個處理器被配置為：基於車輛的內容和裝置的姿勢，過濾虛擬內容的至少一部分。
態樣17。根據態樣16的裝置，其中為了過濾虛擬內容的至少一部分，一或多個處理器被配置為使得能夠呈現虛擬內容的子集，虛擬內容的子集包括車輛的狀態的指示和車輛儀錶資訊中的至少一個。
態樣18。根據態樣1至17中任一態樣的裝置，其中為了顯示虛擬內容，一或多個處理器被配置為呈現與車輛相關聯的虛擬內容項，虛擬內容項相對於車輛的表面被呈現。
態樣19。根據態樣18的裝置，其中呈現的虛擬內容項包括在與一或多個感測器相關聯的資料中辨識的事件的第一指示、車輛的內容的第二指示及與車輛的內容相關聯的警報中的至少一個。
態樣20。根據態樣18至19中任一態樣的裝置，其中為了呈現虛擬內容項，一或多個處理器被配置為：從車輛的攝像機裝置接收攝像機饋送；及在裝置的顯示區域內顯示該攝像機饋送的至少一部分。
態樣21。根據態樣1至20中任一態樣的裝置，其中為了決定裝置的姿勢，一或多個處理器被配置為：獲得一或多個射頻（RF）信號；及基於車輛內部部分的一或多個圖像及與一或多個RF信號相關聯的往返時間、與一或多個RF信號相關聯的到達時間及與一或多個RF信號相關聯的接收信號強度指示符（RSSI）中的至少一個來決定裝置的姿勢。
態樣22。根據態樣1至21中任一態樣的裝置，其中為了決定裝置的姿勢，一或多個處理器被配置為：從車輛接收包括與車輛相關聯的一或多個標記的車輛範本；及基於車輛內部部分的一或多個圖像和車輛範本來決定裝置相對於車輛的座標系的姿勢。
態樣23。根據態樣22的裝置，其中一或多個標記包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
態樣24。根據態樣22至23中任一態樣的裝置，其中為了決定裝置的姿勢，一或多個處理器被配置為：偵測一或多個圖像中的一或多個標記；及基於偵測到的一或多個標記和車輛範本來決定裝置相對於車輛的座標系的姿勢。
態樣25。根據態樣1至24中任一態樣的裝置，其中一或多個處理器被配置為：使用裝置的一或多個圖像感測器獲得車輛內部部分的圖像集，該圖像集圖示與車輛相關聯的一或多個標記；及基於該圖像集產生包括一或多個標記的車輛範本。
態樣26。根據態樣1至25中任一態樣的裝置，其中裝置包括頭戴式顯示器。
態樣27。根據態樣1至26中任一態樣的裝置，亦包括一或多個圖像感測器。
態樣28。一種方法，包括：決定行動裝置相對於車輛的座標系的姿勢；從車輛接收與車輛的一或多個感測器相關聯的資料；及基於與一或多個感測器相關聯的資料和行動裝置相對於車輛的座標系的姿勢，使用行動裝置的顯示裝置顯示虛擬內容。
態樣29。根據態樣28的方法，其中決定行動裝置的姿勢包括基於車輛內部部分的一或多個圖像來決定行動裝置的姿勢。
態樣30。根據態樣28至29中任一態樣的方法，亦包括基於與一或多個感測器相關聯的資料決定車輛的內容，其中內容包括與車輛相關的事件。
態樣31。根據態樣30的方法，亦包括：過濾或修改將分散車輛的乘員對車輛的操作或車輛事件的注意力，或者將阻礙乘員對車輛事件或車輛外部被決定為不可覆蓋的區域的視線的虛擬內容項。
態樣32。根據態樣30至31中任一態樣的方法，亦包括：將虛擬內容相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置相關聯；及基於虛擬內容相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置的關聯，顯示來自行動裝置的一或多個視覺圖像感測器的即時內容饋送。
態樣33。根據態樣32的方法，其中顯示即時內容饋送包括：基於行動裝置相對於車輛的座標系的姿勢和車輛相對於事件的姿勢來決定行動裝置相對於事件的姿勢；及基於行動裝置相對於事件的姿勢及虛擬內容相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置的關聯，決定虛擬內容在車輛的乘員的視野中至少部分阻隔事件。
態樣34。根據態樣32至33中任一態樣的方法，亦包括進一步基於決定虛擬內容至少部分地阻礙行動裝置的一或多個圖像感測器對事件的視線來顯示即時內容。
態樣35。根據態樣30的方法，亦包括：將虛擬內容項相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置相關聯；及基於虛擬內容相對於行動裝置的座標系的位置與事件相對於車輛的座標系的位置的關聯來過濾或修改虛擬內容項。
態樣36。根據態樣35的方法，其中為了過濾或修改虛擬內容項，一或多個處理器被配置為：修改虛擬內容項的一或多個特徵，一或多個特徵包括虛擬內容項的透明度、大小、位置和虛擬內容項的亮度級別中的至少一個。
態樣37。根據態樣35至36中任一態樣的方法，其中為了過濾或修改虛擬內容項，一或多個處理器被配置為：決定車輛的乘員的眼睛注視，該乘員與行動裝置相關聯；基於乘員的眼睛注視和事件的位置決定事件對乘員的可見性；及進一步基於事件對乘員的可見性來過濾或修改虛擬內容項。
態樣38。根據態樣30的方法，其中事件包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。
態樣39。根據態樣38的方法，其中車輛路徑內或接近車輛路徑的臨限值內的物件包括行人、動物和另一車輛中的至少一個。
態樣40。根據態樣30的方法，亦包括：決定車輛的乘員的眼睛注視，其中乘員與行動裝置相關聯；及在車輛的乘員的眼睛注視的方向內呈現虛擬內容。
態樣41。根據態樣40的方法，其中在乘員的眼睛注視的方向內呈現虛擬內容包括：呈現虛擬內容覆蓋，該虛擬內容覆蓋包括事件、事件的位置和事件的方向中的至少一個的虛擬指示符。
態樣42。根據態樣40至41中任一態樣的方法，其中為了在乘員的眼睛注視的方向內呈現虛擬內容，一或多個處理器被配置為：修改虛擬內容的一或多個特徵，該一或多個特徵包括虛擬內容的透明度、尺寸、位置和亮度級別中的至少一個。
態樣43。根據態樣28至42中任一態樣的方法，亦包括：基於車輛的內容和行動裝置的姿勢過濾虛擬內容的至少一部分。
態樣44。根據態樣43的方法，其中過濾虛擬內容的至少一部分包括使得能夠呈現虛擬內容的子集，虛擬內容的子集包括車輛的狀態的指示和車輛儀錶資訊中的至少一個。
態樣45。根據態樣28至44中任一態樣的方法，其中顯示虛擬內容包括呈現與車輛相關聯的虛擬內容項，虛擬內容項相對於車輛的表面被呈現。
態樣46。根據態樣45的方法，其中呈現的虛擬內容項包括在與一或多個感測器相關聯的資料中辨識的事件的第一指示、車輛的內容的第二指示及與車輛的內容相關聯的警報中的至少一個。
態樣47。根據態樣45至46中任一態樣的方法，其中呈現虛擬內容項包括：從車輛的攝像機裝置接收攝像機饋送；及在行動裝置的顯示區域內顯示該攝像機饋送的至少一部分。
態樣48。根據態樣28至47中任一態樣的方法，其中決定行動裝置的姿勢包括：獲得一或多個射頻（RF）信號；及基於車輛內部部分的一或多個圖像及與一或多個RF信號相關聯的往返時間、與一或多個RF信號相關聯的到達時間及與一或多個RF信號相關聯的接收信號強度指示符（RSSI）中的至少一個來決定行動裝置的姿勢。
態樣49。根據態樣28至48中任一態樣的方法，其中決定行動裝置的姿勢包括：從車輛接收包括與車輛相關聯的一或多個標記的車輛範本；及基於車輛內部部分的一或多個圖像和車輛範本來決定行動裝置相對於車輛的座標系的姿勢。
態樣50。根據態樣49的方法，其中一或多個標記包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
態樣51。根據態樣49至50中任一態樣的方法，其中決定行動裝置的姿勢包括：偵測一或多個圖像中的一或多個標記；及基於偵測到的一或多個標記和車輛範本來決定行動裝置相對於車輛的座標系的姿勢。
態樣52。根據態樣28至51中任一態樣的方法，亦包括：使用行動裝置的一或多個圖像感測器獲得車輛內部部分的圖像集，該圖像集圖示與車輛相關聯的一或多個標記；及基於該圖像集產生包括一或多個標記的車輛範本。
態樣53。一種在其上儲存有指令的非暫時性電腦可讀取媒體，當該指令由一或多個處理器執行時，使一或多個處理器執行根據態樣28至52中任一態樣的方法。
態樣54。一種裝置，包括用於執行根據態樣28至52中任一態樣的方法的手段。
態樣55。一種裝置，包括：記憶體；及耦合到記憶體的一或多個處理器，一或多個處理器被配置為：基於車輛內部部分的一或多個圖像，決定裝置相對於車輛的座標系的姿勢；決定車輛乘員的狀態；及向車輛發送指示乘員的狀態和裝置相對於車輛的座標系的姿勢的資料。
態樣56。根據態樣55的裝置，其中乘員的狀態包括乘員在操作車輛態樣的削弱。
態樣57。根據態樣56的裝置，其中乘員的削弱包括會對乘員安全操作車輛的能力產生負面影響的任何事件、活動、分心、狀態、屬性、行為及/或狀況。
態樣58。根據態樣56至57中任一態樣的裝置，其中削弱包括關於車輛的操作和與車輛相關聯的事件中的至少一個的分心狀態、醉酒狀態、健康狀況、清醒狀態、偵測到的情緒狀態、控制車輛的削弱位置和削弱視野中的至少一個。
態樣59。根據態樣56至58中任一態樣的裝置，其中為了決定乘員的狀態，一或多個處理器被配置為：從車輛接收與車輛的一或多個感測器相關聯的資料；及基於與車輛的一或多個感測器相關聯的資料和裝置的姿勢來決定乘員的狀態。
態樣60。根據態樣59的裝置，其中與車輛的一或多個感測器相關聯的資料指示車輛的狀態和與車輛相關聯的事件中的至少一個。
態樣61。根據態樣60的裝置，其中與車輛相關聯的事件包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。
態樣62。根據態樣61的裝置，其中車輛路徑內或接近車輛路徑的臨限值內的物件包括行人、動物和另一車輛中的至少一個。
態樣63。根據態樣56至62中任一態樣的裝置，其中乘員的削弱包括會對乘員安全操作車輛的能力產生負面影響的任何事件、活動、分心、狀態、屬性、行為及/或狀況。
態樣64。根據態樣55至63中任一態樣的裝置，其中一或多個處理器被配置為：決定車輛的乘員的眼睛注視，其中乘員的狀態包括乘員的眼睛注視，其中乘員與裝置相關聯。
態樣65。根據態樣55至64中任一態樣的裝置，其中為了決定乘員的狀態，一或多個處理器被配置為：從與裝置和乘員佩戴的可穿戴裝置中的至少一個相關聯的一或多個感測器接收與乘員相關聯的一或多個健康量測；及基於一或多個健康量測來決定乘員的狀態。
態樣66。根據態樣65的裝置，其中一或多個健康量測包括心率、血壓、體溫、皮膚電反應、來自乘員心臟的電信號的量測、乘員大腦的電活動的量測、眼睛發紅的程度和瞳孔大小中的至少一個。
態樣67。根據態樣55至66中任一態樣的裝置，其中為了決定乘員的狀態，一或多個處理器被配置為：決定乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦；及基於乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦及決定該時間段超過臨限值時間段來決定乘員的受削弱狀態。
態樣68。根據態樣67的裝置，其中為了決定乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦，一或多個處理器被配置為：決定乘員的眼睛注視在該時間段的至少一部分時間內聚焦在由裝置呈現的虛擬內容上。
態樣69。根據態樣67至68中任一態樣的裝置，其中為了決定乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦，一或多個處理器被配置為：決定乘員的眼睛注視聚焦在與車輛路徑內或接近車輛路徑的臨限值內的障礙物的方向不同的方向上。
態樣70。根據態樣55至69中任一態樣的裝置，其中一或多個處理器被配置為：向第二車輛、車輛基礎設施系統、與第二車輛的第二乘員相關聯的第一遠端裝置及與行人相關聯的第二遠端裝置中的至少一個發送乘員狀態的指示。
態樣71。根據態樣55至70中任一態樣的裝置，其中為了決定乘員的狀態，一或多個處理器被配置為：決定佩戴裝置的乘員的眼睛注視；及基於裝置的姿勢和乘員的眼睛注視決定乘員的狀態。
態樣72。根據態樣55至71中任一態樣的裝置，其中為了決定裝置的姿勢，一或多個處理器被配置為：從車輛接收包括與車輛相關聯的一或多個標記的車輛範本；及基於一或多個圖像和車輛範本來決定裝置相對於車輛的座標系的姿勢。
態樣73。根據態樣72的裝置，其中一或多個標記包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
態樣74。根據態樣72的裝置，其中一或多個圖像圖示一或多個標記，並且其中為了決定裝置的姿勢，一或多個處理器被配置為：偵測一或多個圖像中的一或多個標記；及基於偵測到的一或多個標記和車輛範本來決定裝置相對於車輛的座標系的姿勢。
態樣75。根據態樣55至74中任一態樣的裝置，其中一或多個處理器被配置為：使用裝置的一或多個圖像感測器獲得車輛內部部分的圖像集，該圖像集圖示與車輛相關聯的一或多個視覺地標；及基於該圖像集產生車輛範本，該車輛範本包括一或多個視覺地標。
態樣76。根據態樣55至75中任一態樣的裝置，其中為了決定裝置的姿勢，一或多個處理器被配置為：獲得與裝置相關聯的慣性感測器資料；及基於一或多個圖像和慣性感測器資料決定裝置的姿勢。
態樣77。根據態樣55至76中任一態樣的裝置，其中裝置包括頭戴式顯示器。
態樣78。一種方法，包括：基於車輛內部部分的一或多個圖像，決定行動裝置相對於車輛的座標系的姿勢；決定車輛乘員的狀態；及向車輛發送指示乘員的狀態和行動裝置相對於車輛的座標系的姿勢的資料。
態樣79。根據態樣78的方法，其中乘員的狀態包括乘員在操作車輛態樣的削弱。
態樣80。根據態樣78至79中任一態樣的方法，其中乘員的削弱包括會對乘員安全操作車輛的能力產生負面影響的任何事件、活動、分心、狀態、屬性、行為及/或狀況。
態樣81。根據態樣78至80中任一態樣的方法，其中削弱包括關於車輛的操作和與車輛相關聯的事件中的至少一個的分心狀態、醉酒狀態、健康狀況、清醒狀態、偵測到的情緒狀態、控制車輛的削弱位置和削弱視野中的至少一個。
態樣82。根據態樣78至81中任一態樣的方法，其中決定乘員的狀態包括：從車輛接收與車輛的一或多個感測器相關聯的資料；及基於與車輛的一或多個感測器相關聯的資料和行動裝置的姿勢來決定乘員的狀態。
態樣83。根據態樣82的方法，其中與車輛的一或多個感測器相關聯的資料指示車輛的狀態和與車輛相關聯的事件中的至少一個。
態樣84。根據態樣83的方法，其中與車輛相關聯的事件包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。
態樣85。根據態樣84的方法，其中車輛路徑內或接近車輛路徑的臨限值內的物件包括行人、動物和另一車輛中的至少一個。
態樣86。根據態樣78至85中任一態樣的方法，亦包括：決定車輛的乘員的眼睛注視，其中乘員的狀態包括乘員的眼睛注視，其中乘員與行動裝置相關聯。
態樣87。根據態樣78至86中任一態樣的方法，其中決定乘員的狀態包括：從與行動裝置和乘員佩戴的可穿戴裝置中的至少一個相關聯的一或多個感測器接收與乘員相關聯的一或多個健康量測；及基於一或多個健康量測來決定乘員的狀態。
態樣88。根據態樣87的方法，其中一或多個健康量測包括心率、血壓、體溫、皮膚電反應、來自乘員心臟的電信號的量測、乘員大腦的電活動的量測、眼睛發紅的程度和瞳孔大小中的至少一個。
態樣89。根據態樣78至87中任一態樣的方法，其中決定乘員的狀態包括：決定乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦；及基於乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦及決定該時間段超過臨限值時間段來決定乘員的受削弱狀態。
態樣90。根據態樣89的方法，其中決定乘員的眼睛注視在該時間段內遠離車輛前方的道路聚焦包括：決定乘員的眼睛注視在該時間段的至少一部分時間內聚焦在由行動裝置呈現的虛擬內容上。
態樣91。根據態樣89的方法，其中決定乘員的眼睛注視在一段時間內遠離車輛前方的道路聚焦包括：決定乘員的眼睛注視聚焦在與車輛路徑內或接近車輛路徑的臨限值內的障礙物的方向不同的方向上。
態樣92。根據態樣78至91中任一態樣的方法，亦包括：向第二車輛、車輛基礎設施系統、與第二車輛的第二乘員相關聯的第一遠端裝置及與行人相關聯的第二遠端裝置中的至少一個發送乘員狀態的指示。
態樣93。根據態樣78至92中任一態樣的方法，其中決定乘員的狀態包括：決定佩戴行動裝置的乘員的眼睛注視；及基於行動裝置的姿勢和乘員的眼睛注視來決定乘員的狀態。
態樣94。根據態樣78至93中任一態樣的方法，其中決定行動裝置的姿勢包括：從車輛接收包括與車輛相關聯的一或多個標記的車輛範本；及基於一或多個圖像和車輛範本來決定行動裝置相對於車輛的座標系的姿勢。
態樣95。根據態樣94的方法，其中一或多個標記包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
態樣96。根據態樣94的方法，其中一或多個圖像圖示了一或多個標記，並且其中決定行動裝置的姿勢包括：偵測一或多個圖像中的一或多個標記；及基於偵測到的一或多個標記和車輛範本來決定行動裝置相對於車輛的座標系的姿勢。
態樣97。根據態樣78至96中任一態樣的方法，亦包括：使用行動裝置的一或多個圖像感測器獲得車輛內部部分的圖像集，該圖像集圖示與車輛相關聯的一或多個視覺地標；及基於該圖像集產生車輛範本，該車輛範本包括一或多個視覺地標。
態樣98。根據態樣78至97中任一態樣的方法，其中決定行動裝置的姿勢包括：獲得與行動裝置相關聯的慣性感測器資料；及基於一或多個圖像和慣性感測器資料來決定行動裝置的姿勢。
態樣99。根據態樣78至98中任一態樣的方法，其中乘員的削弱包括會對乘員安全操作車輛的能力產生負面影響的任何事件、活動、分心、狀態、屬性、行為及/或狀況。
態樣100。一種在其上儲存有指令的非暫時性電腦可讀取媒體，當該指令由一或多個處理器執行時，使一或多個處理器執行根據態樣78至99中任一態樣的方法。
態樣101。一種裝置，包括用於執行根據態樣78至99中任一態樣的方法的手段。
態樣102。一種用於控制車輛的一或多個操作的方法，該方法包括：從與車輛的乘員相關聯的行動裝置接收乘員相對於車輛的座標系的姿勢；及基於乘員相對於車輛的座標系的姿勢，控制車輛的一或多個功能。
態樣103。根據態樣102的方法，其中控制車輛的一或多個功能包括賦能車輛的一或多個車輛功能。
態樣104。根據態樣103的方法，其中一或多個車輛功能包括自動駕駛功能、牽引力控制功能、巡航控制功能、碰撞避免功能、車道偏離功能、車道居中功能、制動協助工具、車道保持功能、高速公路協助工具、車道變換協助工具、速度自我調整功能和交叉口協助工具中的至少一個。
態樣105。根據態樣102至104中任一態樣的方法，其中控制車輛的操作包括控制或賦能車輛的一或多個自主車輛系統。
態樣106。根據態樣105的方法，其中一或多個自主車輛系統包括盲點監測系統、駕駛員監測系統、制動系統、自主駕駛控制系統、駕駛員輔助系統、導航系統、轉向控制系統、車輛通訊系統和汽車平視顯示器中的至少一個。
態樣107。根據態樣102至106中任一態樣的方法，亦包括將與車輛的一或多個感測器相關聯的資料發送到行動裝置、第二車輛、車輛基礎設施系統、與第二車輛的第二乘員相關聯的第一遠端裝置及與行人相關聯的第二遠端裝置中的至少一個。
態樣108。根據態樣102至107中任一態樣的方法，亦包括向第二車輛、車輛基礎設施系統、與第二車輛的第二乘員相關聯的第一遠端裝置及與行人相關聯的第二遠端裝置中的至少一個發送指示乘員的狀態的資料。
態樣109。根據態樣102至108中任一態樣的方法，亦包括向行動裝置發送用於決定乘員相對於車輛的座標系的姿勢的車輛範本，該車輛範本包括與車輛相關聯的一或多個標記。
態樣110。根據態樣109的方法，其中一或多個標記包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
態樣111。根據態樣109的方法，亦包括至少部分地基於乘員相對於車輛的座標系的姿勢來產生輸出，該輸出包括到行動裝置的通訊、修改車輛的一或多個功能的指令及乘員的狀態的指示中的至少一個。
態樣112。根據態樣111的方法，其中到行動裝置的通訊包括虛擬內容項和顯示虛擬內容項的請求中的至少一個。
態樣113。根據態樣102至112中任一態樣的方法，亦包括從行動裝置接收指示車輛乘員的狀態的資料，其中該資料包括來自行動裝置的一或多個感測器的感測器資料和基於來自行動裝置的一或多個感測器的感測器資料產生的經處理資料中的至少一個。
態樣114。根據態樣113的方法，其中經處理的資料包括對乘員狀態的描述和辨識乘員狀態的分類輸出中的至少一個。
態樣115。根據態樣102至114中任一態樣的方法，亦包括從行動裝置接收指示車輛乘員的狀態的資料，其中該資料包括乘員的眼睛注視的指示、行動裝置相對於車輛的座標系的姿勢及與乘員相關聯的一或多個健康量測中的至少一個。
態樣116。根據態樣115的方法，其中一或多個健康量測包括心率、血壓、體溫、皮膚電反應、來自乘員心臟的電信號的量測、乘員大腦的電活動的量測、眼睛發紅的程度和瞳孔大小中的至少一個。
態樣117。根據態樣102至116中任一態樣的方法，亦包括從車輛的一或多個感測器獲得感測器資料，該感測器資料包括與車輛的操作相關的事件的指示、至少部分由乘員控制的車輛的一或多個操作期間的一或多個駕駛模式的指示及車輛儀錶資料中的至少一個，及基於該感測器資料控制車輛的一或多個功能。
態樣118。根據態樣117的方法，亦包括決定乘員的狀態，其中決定乘員的狀態包括從與行動裝置和可穿戴裝置中的至少一個相關聯的一或多個健康感測器接收與乘員相關聯的一或多個健康量測；及基於與乘員相關聯的一或多個健康量測來決定乘員的狀態。
態樣119。根據態樣102至118中任一態樣的方法，亦包括獲得乘員的狀態，其中乘員的狀態包括乘員在操作車輛態樣的削弱。
態樣120。根據態樣119的方法，其中乘員的削弱包括乘員的削弱。在一些實例中，削弱可包括短暫削弱。
態樣121。根據態樣119的方法，其中削弱包括關於車輛的操作和與車輛相關聯的事件中的至少一個的分心狀態、醉酒狀態、健康狀況、清醒狀態、偵測到的情緒狀態、控制車輛的削弱位置和削弱視野中的至少一個。
態樣122。根據態樣121的方法，其中事件包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。
態樣123。根據態樣122的方法，其中物件包括行人、動物和另一車輛中的至少一個。
態樣124。根據態樣102至123中任一態樣的方法，亦包括獲得車輛內部部分的一或多個圖像，該一或多個圖像圖示了與車輛相關聯的一或多個視覺地標；及基於該一或多個圖像產生車輛範本，該車輛範本描述該一或多個視覺地標。
態樣125。根據態樣124的方法，亦包括將車輛範本發送到行動裝置；及從行動裝置接收乘員相對於在車輛範本中定義的一或多個座標的姿勢，其中一或多個座標相對於一或多個視覺地標並且對應於車輛的座標系。
態樣126。根據態樣125的方法，亦包括從行動裝置接收指示乘員的狀態的資料，其中控制車輛的一或多個功能包括基於乘員的姿勢和指示乘員的狀態的資料來控制車輛的一或多個功能。
態樣127。根據態樣126的方法，亦包括至少部分地基於乘員相對於車輛的座標系的姿勢來產生輸出，該輸出包括修改車輛的一或多個功能的指令及乘員的更新狀態中的至少一個。
態樣128。根據態樣102至128中任一態樣的方法，其中經由車輛的電腦系統來控制車輛的一或多個功能，該電腦系統被配置為控制車輛的一或多個功能和車輛的一或多個自主車輛系統中的至少一個。
態樣129。根據態樣102至128中任一態樣的方法，其中行動裝置包括可穿戴增強現實裝置。
態樣130。根據態樣102至129中任一態樣的方法，其中行動裝置包括頭戴式顯示器。
態樣131。根據態樣119至121中任一態樣的方法，其中乘員的削弱包括會對乘員安全操作車輛的能力產生負面影響的任何事件、活動、分心、狀態、屬性、行為及/或狀況。
態樣132。一種裝置，包括記憶體和耦合到記憶體的一或多個處理器，一或多個處理器被配置為執行根據態樣102至131中任一態樣的方法。
態樣133。一種裝置，包括用於執行根據態樣102至131中任一態樣的方法的手段。
態樣134。一種在其上儲存有指令的非暫時性電腦可讀取媒體，當該指令由一或多個處理器執行時，使一或多個處理器執行根據態樣102至131中任一態樣的方法。
態樣135。一種用於向與車輛的乘員相關聯的裝置提供車輛資料的方法，該方法包括：從與車輛的電腦系統連接的增強現實（AR）裝置接收請求；及回應於該請求，向AR裝置發送與車輛的一或多個感測器相關聯的資料。
態樣136。根據態樣135的方法，其中資料包括指示車輛的內容的車輛資料，並且其中車輛的內容包括車輛的狀態和車輛遇到的或決定在車輛的一或多個操作期間發生的一或多個事件中的至少一個。
態樣137。根據態樣136的方法，其中一或多個事件包括以下至少一項：在車輛路徑內或接近車輛路徑的臨限值內存在物件、與車輛路徑相關聯的交通控制及車輛未能保持在速度限制和車道標記中的至少一個內。
態樣138。根據態樣137的方法，其中車輛路徑內或接近車輛路徑的臨限值內的物件包括行人、動物和另一車輛中的至少一個。
態樣139。根據態樣136的方法，亦包括：向AR裝置發送顯示資料，用於在相對於AR裝置相對於車輛的座標系的姿勢和一或多個事件的相應位置中的至少一個的位置處呈現，該顯示資料包括車輛資料的至少一部分。
態樣140。根據態樣139的方法，亦包括：向AR裝置發送一或多個事件的相應位置的指示。
態樣141。根據態樣135至140中任一態樣的方法，亦包括：向AR裝置發送用於決定AR裝置相對於車輛的座標系的姿勢的車輛範本，該車輛範本描述車輛內部部分中的一或多個標記。
態樣142。根據態樣141的方法，其中一或多個標記包括車輛內部部分內的區域和固定到車輛內部部分的物件中的至少一個上的視覺圖案、車輛內部部分的元素、車輛內部部分內的表面和車輛內部的被照亮的物件中的至少一個。
態樣143。根據態樣141的方法，亦包括：從AR裝置接收AR裝置相對於車輛的座標系的姿勢。
態樣144。根據態樣143的方法，亦包括：基於與一或多個感測器相關聯的資料和AR裝置相對於車輛的座標系的姿勢中的至少一個來控制由電腦系統呈現的與車輛相關聯的虛擬內容。
態樣145。根據態樣144的方法，其中控制虛擬內容的呈現包括：基於AR裝置相對於車輛的座標系的姿勢，向AR裝置提供來自車輛的一或多個圖像感測器的即時內容饋送。
態樣146。根據態樣145的方法，其中提供即時內容饋送包括：基於AR裝置相對於車輛的座標系的姿勢和車輛相對於車輛事件的位置來決定AR裝置相對於車輛事件的姿勢；及基於AR裝置相對於車輛事件的姿勢，決定與電腦系統和AR裝置中的至少一個相關聯的虛擬內容在AR裝置的視野中至少部分阻隔車輛事件。
態樣147。根據態樣144的方法，其中控制虛擬內容的呈現包括：將電腦系統呈現的虛擬內容項的位置與車輛事件相對於車輛的座標系的位置相關聯；及基於虛擬內容的位置與車輛事件相對於車輛的座標系的位置的關聯來過濾或修改虛擬內容項。
態樣148。根據態樣147的方法，其中過濾或修改虛擬內容項包括：修改虛擬內容項的一或多個特徵，一或多個特徵包括虛擬內容項的透明度、大小、位置和亮度級別中的至少一個。
態樣149。根據態樣147的方法，其中過濾或修改虛擬內容項包括：接收車輛乘員的眼睛注視；基於乘員的眼睛注視和車輛事件的位置決定車輛事件對乘員的可見性；及進一步基於車輛事件對乘員的可見性來過濾或修改虛擬內容項。
態樣150。根據態樣144的方法，其中控制虛擬內容的呈現包括：接收車輛乘員的眼睛注視；及在車輛的乘員的眼睛注視的方向內呈現虛擬內容。
態樣151。根據態樣150的方法，其中呈現虛擬內容包括：呈現虛擬內容覆蓋，該虛擬內容覆蓋包括車輛事件、車輛事件的位置和車輛事件的方向中的至少一個的虛擬指示符。
態樣152。根據態樣151的方法，其中呈現虛擬內容包括：修改虛擬內容的一或多個特徵，一或多個特徵包括虛擬內容的透明度、尺寸、位置和亮度級別中的至少一個。
態樣153。根據態樣135至152中任一態樣的方法，亦包括：向一或多個顯示裝置發送指令以顯示提供關於車輛的操作的資訊的虛擬內容項，該指令指示虛擬內容項相對於車輛中位於乘員的視野內的位置的放置。
態樣154。根據態樣153的方法，其中虛擬內容項包括電腦系統偵測到的車輛事件的第一指示、車輛內容的第二指示及與車輛內容相關聯的警報中的至少一個。
態樣155。根據態樣135至154中任一態樣的方法，亦包括：從車輛上的攝像機裝置接收攝像機饋送；及向AR裝置發送攝像機饋送的至少一部分以供顯示。
態樣156。根據態樣135至155中任一態樣的方法，亦包括向AR裝置發送乘員的狀態指示。
態樣157。根據態樣156的方法，其中乘員的狀態包括乘員在操作車輛態樣的削弱。
態樣158。根據態樣157的方法，其中削弱包括關於車輛的操作和與車輛相關聯的事件中的至少一個的分心狀態、醉酒狀態、健康狀況、清醒狀態、偵測到的情緒狀態、控制車輛的削弱位置和削弱視野中的至少一個。
態樣159。根據態樣157的方法，亦包括基於乘員的削弱來控制車輛的操作。
態樣160。根據態樣157的方法，亦包括基於乘員的削弱產生顯示資料，該顯示資料包括車輛事件和車輛儀錶資料中的至少一個。
態樣161。根據態樣157的方法，亦包括基於乘員的削弱向AR裝置發送顯示資料，該顯示資料包括車輛事件和車輛儀錶資料中的至少一個。
態樣162。根據態樣135至161中任一態樣的方法，其中電腦系統被配置為控制車輛的一或多個自主功能和車輛的一或多個自主車輛系統中的至少一個。
態樣163。根據態樣135至162中任一態樣的方法，其中AR裝置包括頭戴式顯示器。
態樣164。根據態樣135至163中任一態樣的方法，其中AR裝置包括可穿戴AR裝置。
態樣165。根據態樣157至158的方法，其中乘員的削弱包括會對乘員安全操作車輛的能力產生負面影響的任何事件、活動、分心、狀態、屬性、行為及/或狀況。
態樣166。一種裝置，包括記憶體和耦合到記憶體的一或多個處理器，一或多個處理器被配置為執行根據態樣135至165中任一態樣的方法。
態樣167。一種裝置，包括用於執行根據態樣135至165中任一態樣的方法的手段。
態樣168。一種在其上儲存有指令的非暫時性電腦可讀取媒體，當該指令由一或多個處理器執行時，使一或多個處理器執行根據態樣135至165中任一態樣的方法。
態樣169：一種方法，包括基於車輛內部部分的一或多個圖像決定行動裝置相對於車輛的座標系的位置。該方法亦可包括從車輛接收與車輛的一或多個感測器相關聯的資料；及基於與一或多個感測器相關聯的資料和裝置相對於車輛的座標系的位置，使用裝置的顯示裝置顯示虛擬內容。附加地或替代地，該方法亦可包括決定車輛乘員的狀態；及向車輛發送指示乘員的狀態和行動裝置相對於車輛的座標系的位置的資料。
態樣170。根據態樣169的方法，亦包括根據態樣28至52及/或態樣78至99中任一態樣的方法。
態樣171。一種裝置，包括記憶體和耦合到記憶體的一或多個處理器，一或多個處理器被配置為執行根據態樣169至170中任一態樣的方法。
態樣172。一種裝置，包括用於執行根據態樣169至170中任一態樣的方法的手段。
態樣173。一種在其上儲存有指令的非暫時性電腦可讀取媒體，當該指令由一或多個處理器執行時，使一或多個處理器執行根據態樣169至170中任一態樣的方法。
態樣174。一種方法，包括基於車輛內部部分的一或多個圖像決定行動裝置相對於車輛的座標系的位置。該方法亦可包括決定車輛乘員的狀態；及向車輛發送指示乘員的狀態和行動裝置相對於車輛的座標系的位置的資料。附加地或替代地，該方法亦可包括從車輛接收與車輛的一或多個感測器相關聯的資料；及基於與一或多個感測器相關聯的資料和裝置相對於車輛的座標系的位置，使用裝置的顯示裝置顯示虛擬內容。
態樣175。根據態樣174的方法，亦包括根據態樣28至52及/或態樣78至99中任一態樣的方法。
態樣176。一種裝置，包括記憶體和耦合到記憶體的一或多個處理器，一或多個處理器被配置為執行根據態樣174至175中任一態樣的方法。
態樣177。一種裝置，包括用於執行根據態樣174至175中任一態樣的方法的手段。
態樣180。一種在其上儲存有指令的非暫時性電腦可讀取媒體，當該指令由一或多個處理器執行時，使一或多個處理器執行根據態樣174至175中任一態樣的方法。
態樣181。一種方法，包括：從與車輛的乘員相關聯的行動裝置接收乘員相對於車輛的座標系的姿勢；及基於乘員相對於車輛的座標系的姿勢，控制車輛的一或多個功能。附加地或替代地，該方法亦可包括從與車輛的電腦系統連接的增強現實（AR）裝置接收請求；及回應於該請求，向AR裝置發送與車輛的一或多個感測器相關聯的資料。
態樣182。根據態樣181的方法，亦包括根據態樣102至131及/或態樣135至165中任一態樣的方法。
態樣183。一種裝置，包括記憶體和耦合到記憶體的一或多個處理器，一或多個處理器被配置為執行根據態樣181至182中任一態樣的方法。
態樣184。一種裝置，包括用於執行根據態樣181至182中任一態樣的方法的手段。
態樣185。一種在其上儲存有指令的非暫時性電腦可讀取媒體，當該指令由一或多個處理器執行時，使一或多個處理器執行根據態樣181至182中任一態樣的方法。
態樣186。一種方法，包括：從與車輛的電腦系統連接的增強現實（AR）裝置接收請求；及回應於該請求，向AR裝置發送與車輛的一或多個感測器相關聯的資料。附加地或替代地，該方法亦可包括從與車輛的乘員相關聯的行動裝置接收乘員相對於車輛的座標系的姿勢；及基於乘員相對於車輛的座標系的姿勢，控制車輛的一或多個功能。
態樣187。根據態樣186的方法，亦包括根據態樣102至131及/或態樣135至165中任一態樣的方法。
態樣183。一種裝置，包括記憶體和耦合到記憶體的一或多個處理器，一或多個處理器被配置為執行根據態樣186至187中任一態樣的方法。
態樣184。一種裝置，包括用於執行根據態樣186至187中任一態樣的方法的手段。
態樣185。一種在其上儲存有指令的非暫時性電腦可讀取媒體，當該指令由一或多個處理器執行時，使一或多個處理器執行根據態樣186至187中任一態樣的方法。
100:使用者計算系統 102:感測器系統 104A:圖像感測器 104N:圖像感測器 106:位置感測器 108:IMU 110:計算部件 112:CPU 114:GPU 116:DSP 118:ISP 120:輸入裝置 122:輸出裝置 124:SIM 126:數據機 128:無線收發器 130:天線 132:記憶體裝置 134:通訊系統 140:信號 150:行動裝置 202:車輛 210:車輛計算系統 212:電源管理系統 214:控制系統 216:資訊娛樂系統 218:智慧傳輸系統 220:感測器系統 222:通訊系統 224:OEM使用者辨識模組 226:使用者SIM 228:數據機 300:系統程序 302:車輛應用 304:車輛範本 306:地標/標記 310:AR應用 312:定位引擎 314:定位資料 400:系統程序 402:車輛監測引擎 404:事件緩解引擎 406:車輛應用 408:車輛資料 410:監測引擎 412:內容過濾引擎 414:車輛使用者介面 420:追蹤引擎 422:追蹤資料 424:事件資料 430:裝置追蹤引擎 432:手追蹤引擎 434:眼睛追蹤引擎 440:裝置追蹤資料 442:手追蹤資料 444:眼睛追蹤資料 500:示例用例 502:乘員 505:方向盤 510:虛擬內容 512:事件 602:乘員 610:FOV 612:虛擬內容 615:樹 620:行人 622:高亮 625:車輛事件 630:方向指示符 640:攝像機饋送 641:車輛壁 650:外部視圖 702:正常駕駛活動 704:狀態 706:狀態 708:狀態 710:狀態 712:狀態 714:狀態 716:狀態 718:狀態 750:乘員 752:行動電話 756:臂 800:V2X通訊 802:可穿戴裝置 804:可穿戴應用 810:車輛 812:車輛計算系統 814:車輛應用 820:基礎設施 822:基礎設施應用 902:障礙物 904:操縱 910:乘員狀態 912:車輛內容 916:動作 1002:乘員狀態 1004:動作 1006:乘員狀態 1010:道路 1012:中心車道 1020:車道 1022:車道 1100:程序 1102:步驟 1104:步驟 1106:步驟 1200:程序 1202:步驟 1204:步驟 1206:步驟 1300:程序 1302:步驟 1304:步驟 1400:程序 1402:步驟 1404:步驟 1500:計算裝置架構 1505:連接 1510:處理器 1512:快取記憶體 1515:記憶體 1520:ROM 1525:RAM 1530:儲存裝置 1535:輸出裝置 1540:通訊介面 1545:輸入裝置 T 1:時間 T 2:時間
下文參考以下附圖詳細描述本揭示案的說明性實例：
圖1是圖示根據本揭示案的一些實例的行動裝置的計算系統的實例的圖；
圖2是圖示根據本揭示案的一些實例的車輛的示例計算系統的方塊圖；
圖3是圖示根據本揭示案的一些實例的用於車載定位的示例系統程序的圖；
圖4A和圖4B是圖示根據本揭示案的一些實例的用於車輛乘員輔助的增強現實的示例系統程序的圖；
圖5是圖示根據本揭示案的一些實例的用於調變為車輛的乘員呈現的虛擬內容的示例用例的圖；
圖6A至圖6E是圖示根據本揭示案的一些實例的用於調變虛擬內容的示例用例的圖；
圖7A至圖7I是圖示根據本揭示案的一些實例的駕駛車輛的乘員的不同示例狀態的圖；
圖8是圖示根據本揭示案的一些實例的包括乘員監測事件的車輛對一切通訊的實例的圖；
圖9和圖10是圖示根據本揭示案的一些實例的基於由駕駛車輛的乘員佩戴的行動裝置決定的乘員狀態的示例車輛緩解事件的圖；
圖11是圖示根據本揭示案的一些實例的用於在車輛操作期間控制虛擬內容的呈現的示例程序的流程圖；
圖12是圖示根據本揭示案的一些實例的用於監測車輛乘員的示例程序的流程圖；
圖13是圖示根據本揭示案的一些實例的用於控制車輛操作的示例程序的流程圖；
圖14是圖示根據本揭示案的一些實例的用於將車輛和與車輛的乘員相關聯的行動裝置介面的示例程序的流程圖；及
圖15圖示根據本揭示案的一些實例的示例計算裝置架構。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
104:圖像感測器
106:位置感測器
108:IMU
150:行動裝置
202:車輛
210:車輛計算系統
220:感測器系統
302:車輛應用
310:AR應用
312:定位引擎
314:定位資料
402:車輛監測引擎
404:事件緩解引擎
406:車輛應用
408:車輛資料
410:監測引擎
412:內容過濾引擎
414:車輛使用者介面
420:追蹤引擎
430:裝置追蹤引擎
432:手追蹤引擎
434:眼睛追蹤引擎
440:裝置追蹤資料
442:手追蹤資料
444:眼睛追蹤資料

Claims (41)

  1. 一種裝置，包括： 記憶體；及 一或多個處理器，耦合到該記憶體，該一或多個處理器被配置為： 基於一車輛一內部部分的一或多個圖像，決定該裝置相對於該車輛的一座標系的一姿勢； 決定該車輛的一乘員的一狀態；及 向該車輛發送指示該乘員的該狀態和該裝置相對於該車輛的該座標系的該姿勢的資料。
  2. 如請求項1之裝置，其中該乘員的該狀態包括該乘員在操作該車輛態樣的一削弱。
  3. 如請求項2之裝置，其中該削弱包括關於該車輛的操作和與該車輛相關聯的事件中的至少一個的分心狀態、醉酒狀態、健康狀況、清醒狀態、偵測到的情緒狀態、控制該車輛的削弱位置和削弱視野中的至少一個。
  4. 如請求項2之裝置，其中為了決定該乘員的該狀態，該一或多個處理器被配置為： 從該車輛接收與該車輛的一或多個感測器相關聯的資料；及 基於與該車輛的該一或多個感測器相關聯的該資料和該裝置的該姿勢決定該乘員的該狀態。
  5. 如請求項4之裝置，其中與該車輛的該一或多個感測器相關聯的該資料指示該車輛的一狀態和與該車輛相關聯的一事件中的至少一個。
  6. 如請求項5之裝置，其中與該車輛相關聯的該事件包括以下至少一項：在該車輛一路徑內或接近該車輛路徑的一臨限值內存在一物件、與該車輛路徑相關聯的一交通控制及該車輛未能保持在一速度限制和一車道標記中的至少一個內。
  7. 如請求項6之裝置，其中該車輛路徑內或接近該車輛路徑的該臨限值內的該物件包括一行人、一動物和另一車輛中的至少一個。
  8. 如請求項1之裝置，其中該一或多個處理器被配置為： 決定該車輛的該乘員的一眼睛注視，其中該乘員的該狀態包括該乘員的該眼睛注視，其中該乘員與該裝置相關聯。
  9. 如請求項1之裝置，其中為了決定該乘員的該狀態，該一或多個處理器被配置為： 從與該裝置和該乘員佩戴的一可穿戴裝置中的至少一個相關聯的一或多個感測器接收與該乘員相關聯的一或多個健康量測；及 基於該一或多個健康量測決定該乘員的該狀態。
  10. 如請求項9之裝置，其中該一或多個健康量測包括一心率、一血壓、一體溫、一皮膚電反應、來自該乘員心臟的一電信號的量測、該乘員大腦的一電活動的量測、一眼睛發紅的程度和一瞳孔大小中的至少一個。
  11. 如請求項1之裝置，其中為了決定該乘員的該狀態，該一或多個處理器被配置為： 決定該乘員的一眼睛注視在一段時間內遠離該車輛前方的一道路聚焦；及 基於該乘員的該眼睛注視在該時間段內遠離該車輛前方的該道路聚焦及決定該時間段超過一臨限值時間段，從而決定該乘員的一受削弱狀態。
  12. 如請求項11之裝置，其中為了決定該乘員的該眼睛注視在該時間段內遠離該車輛前方的該道路聚焦，該一或多個處理器被配置為： 決定該乘員的該眼睛注視在該時間段的至少一部分時間內聚焦在由該裝置呈現的虛擬內容上。
  13. 如請求項11之裝置，其中為了決定該乘員的該眼睛注視在該時間段內遠離該車輛前方的該道路聚焦，該一或多個處理器被配置為： 決定該乘員的該眼睛注視聚焦在與該車輛一路徑內或接近該車輛路徑的一臨限值內的一障礙物的方向不同的一方向上。
  14. 如請求項1之裝置，其中該一或多個處理器被配置為： 向一第二車輛、一車輛基礎設施系統、與該第二車輛的一第二乘員相關聯的一第一遠端裝置及與一行人相關聯的一第二遠端裝置中的至少一個發送該乘員的該狀態的一指示。
  15. 如請求項1之裝置，其中為了決定該乘員的該狀態，該一或多個處理器被配置為： 決定佩戴該裝置的該乘員的一 眼睛注視；及 基於該裝置的該姿勢和該乘員的該眼睛注視決定該乘員的該狀態。
  16. 如請求項1之裝置，其中為了決定該裝置的該姿勢，該一或多個處理器被配置為： 從該車輛接收包括與該車輛相關聯的一或多個標記的一車輛範本；及 基於該一或多個圖像和該車輛範本決定該裝置相對於該車輛的該座標系的該姿勢。
  17. 如請求項16之裝置，其中該一或多個標記包括該車輛內部部分內的一區域和固定到該車輛內部部分的一物件中的至少一個上的一視覺圖案、該車輛內部部分的一元素、該車輛內部部分內的一表面和該車輛內部的被照亮的一物件中的至少一個。
  18. 如請求項16之裝置，其中該一或多個圖像圖示該一或多個標記，並且其中為了決定該裝置的該姿勢，該一或多個處理器被配置為： 偵測該一或多個圖像中的該一或多個標記；及 基於該偵測到的一或多個標記和該車輛範本，決定該裝置相對於該車輛的該座標系的該姿勢。
  19. 如請求項1之裝置，其中該一或多個處理器被配置為： 使用該裝置的一或多個圖像感測器獲得該車輛內部部分的一圖像集，該圖像集圖示與該車輛相關聯的一或多個視覺地標；及 基於該圖像集產生一車輛範本，該車輛範本包括該一或多個視覺地標。
  20. 如請求項1之裝置，其中為了決定該裝置的該姿勢，該一或多個處理器被配置為： 獲得與該裝置相關聯的慣性感測器資料；及 基於該一或多個圖像和該慣性感測器資料決定該裝置的該姿勢。
  21. 如請求項1之裝置，其中該裝置包括一頭戴式顯示器。
  22. 一種方法，包括： 基於一車輛內部部分的一或多個圖像，決定一行動裝置相對於該車輛的一座標系的一姿勢； 決定該車輛的一乘員的一狀態；及 向該車輛發送指示該乘員的該狀態和該行動裝置相對於該車輛的該座標系的該姿勢的資料。
  23. 如請求項22之方法，其中該乘員的該狀態包括該乘員在操作該車輛態樣的一削弱。
  24. 如請求項23之方法，其中該削弱包括關於該車輛的一操作和與該車輛相關聯的一事件中的至少一個的一分心狀態、一醉酒狀態、一健康狀況、一清醒狀態、偵測到的一情緒狀態、控制該車輛的一削弱位置和一削弱視野中的至少一個。
  25. 如請求項23之方法，其中決定該乘員的該狀態包括： 從該車輛接收與該車輛的一或多個感測器相關聯的資料；及 基於與該車輛的該一或多個感測器相關聯的該資料和該行動裝置的該姿勢決定該乘員的該狀態。
  26. 如請求項25之方法，其中與該車輛的該一或多個感測器相關聯的該資料指示該車輛的一狀態和與該車輛相關聯的一事件中的至少一個。
  27. 如請求項26之方法，其中與該車輛相關聯的該事件包括以下至少一項：在該車輛路徑內或接近該車輛一路徑的一臨限值內存在一物件、與該車輛路徑相關聯的一一速度限制和一車道標記中的至少一個內。
  28. 如請求項27之方法，其中該車輛路徑內或接近該車輛路徑的該臨限值內的該物件包括一行人、一動物和另一車輛中的至少一個。
  29. 如請求項22之方法，亦包括： 決定該車輛的該乘員的一眼睛注視，其中該乘員的該狀態包括該乘員的該眼睛注視，其中乘員與該行動裝置相關聯。
  30. 如請求項22之方法，其中決定該乘員的該狀態包括： 從與該行動裝置和該乘員佩戴的一可穿戴裝置中的至少一個相關聯的一或多個感測器接收與該乘員相關聯的一或多個健康量測；及 基於該一或多個健康量測決定該乘員的該狀態。
  31. 如請求項30之方法，其中該一或多個健康量測包括一心率、一血壓、一體溫、一皮膚電反應、來自該乘員心臟的一電信號的量測、該乘員大腦的一電活動的量測、一眼睛發紅的程度和一瞳孔大小中的至少一個。
  32. 如請求項22之方法，其中決定該乘員的該狀態包括： 決定該乘員的一眼睛注視在一段時間內遠離該車輛前方的一道路聚焦；及 基於該乘員的該眼睛注視在該時間段內遠離該車輛前方的該道路聚焦及決定該時間段超過一臨限值時間段，從而決定該乘員的一受削弱狀態。
  33. 如請求項32之方法，其中決定該乘員的該眼睛注視在該時間段內遠離該車輛前方的該道路聚焦包括： 決定該乘員的該眼睛注視在該時間段的至少一部分時間內聚焦在由該行動裝置呈現的一虛擬內容上。
  34. 如請求項32之方法，其中決定該乘員的該眼睛注視在該時間段內遠離該車輛前方的該道路聚焦包括： 決定該乘員的該眼睛注視聚焦在與該車輛路徑內或接近該車輛路徑的一臨限值內的一障礙物的方向不同的一方向上。
  35. 如請求項22之方法，亦包括： 向一第二車輛、一車輛基礎設施系統、與該第二車輛的一第二乘員相關聯的一第一遠端裝置及與一行人相關聯的一第二遠端裝置中的至少一個發送該乘員的該狀態的一指示。
  36. 如請求項22之方法，其中決定該乘員的該狀態包括： 決定佩戴該行動裝置的該乘員的一眼睛注視；及 基於該行動裝置的該姿勢和該乘員的該眼睛注視決定該乘員的該狀態。
  37. 如請求項22之方法，其中決定該行動裝置的該姿勢包括： 從該車輛接收包括與該車輛相關聯的一或多個標記的一車輛範本；及 基於該一或多個圖像和該車輛範本決定該行動裝置相對於該車輛的該座標系的該姿勢。
  38. 如請求項37之方法，其中該一或多個標記包括該車輛內部部分內的一區域和固定到該車輛一內部部分的一物件中的至少一個上的一視覺圖案、該車輛內部部分的一元素、該車輛內部部分內的一表面和該車輛內部的一被照亮的物件中的至少一個。
  39. 如請求項37之方法，其中該一或多個圖像圖示該一或多個標記，並且其中決定該行動裝置的該姿勢包括： 偵測該一或多個圖像中的該一或多個標記；及 基於該偵測到的一或多個標記和該車輛範本，決定該行動裝置相對於該車輛的該座標系的該姿勢。
  40. 如請求項22之方法，亦包括： 使用該行動裝置的一或多個圖像感測器獲得該車輛內部部分的一圖像集，該圖像集圖示與該車輛相關聯的一或多個視覺地標；及 基於該圖像集產生一車輛範本，該車輛範本包括該一或多個視覺地標。
  41. 如請求項22之方法，其中決定該行動裝置的該姿勢包括： 獲得與該行動裝置相關聯的慣性感測器資料；及 基於該一或多個圖像和該慣性感測器資料決定該行動裝置的該姿勢。
TW111137671A 2021-10-06 2022-10-04 用於車輛乘員輔助的車輛和行動裝置介面 TW202325049A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/495,748 2021-10-06
US17/495,748 US20230106673A1 (en) 2021-10-06 2021-10-06 Vehicle and mobile device interface for vehicle occupant assistance

Publications (1)

Publication Number Publication Date
TW202325049A true TW202325049A (zh) 2023-06-16

Family

ID=84330053

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111137671A TW202325049A (zh) 2021-10-06 2022-10-04 用於車輛乘員輔助的車輛和行動裝置介面

Country Status (5)

Country Link
US (1) US20230106673A1 (zh)
KR (1) KR20240074777A (zh)
CN (1) CN118119523A (zh)
TW (1) TW202325049A (zh)
WO (1) WO2023060049A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018203287B4 (de) * 2018-03-06 2024-03-07 Audi Ag Verfahren und System zum Betreiben einer Spurhalteassistenzvorrichtung eines Kraftfahrzeugs
JP7279530B2 (ja) * 2019-06-07 2023-05-23 マツダ株式会社 映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体
EP4116738A4 (en) * 2020-03-31 2024-03-20 Bitsensing Inc. RADAR DEVICE AND METHOD FOR CLASSIFYING OBJECTS
DE112021004410T5 (de) * 2020-09-30 2023-07-13 Joyson Safety Systems Acquisition Llc Kraftmessende sicherheitsgurtanordnung
US11950582B2 (en) 2020-11-19 2024-04-09 Ford Global Technologies, Llc Pet bowl having integrated sensing
US11897334B2 (en) 2020-11-19 2024-02-13 Ford Global Technologies, Llc Vehicle having pet bowl communication
US11999232B2 (en) * 2020-12-17 2024-06-04 Ford Global Technologies, Llc Vehicle having pet monitoring and related controls
US11904794B2 (en) 2021-01-28 2024-02-20 Ford Global Technologies, Llc Pet restraint system for a vehicle
US11951878B2 (en) 2021-05-04 2024-04-09 Ford Global Technologies, Llc Vehicle having seat control based on monitored pet location
US11932156B2 (en) 2021-05-17 2024-03-19 Ford Global Technologies, Llc Vehicle having sliding console
US11900550B2 (en) * 2021-09-30 2024-02-13 Snap Inc. AR odometry using sensor data from a personal vehicle
US20230278593A1 (en) * 2022-03-01 2023-09-07 Mitsubishi Electric Research Laboratories, Inc. System and Method for Parking an Autonomous Ego-Vehicle in a Dynamic Environment of a Parking Area

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100131148A1 (en) * 2008-11-26 2010-05-27 Jaime Camhi System and method for estimated driver intention for driver assistance system control
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
KR20180104235A (ko) * 2017-03-10 2018-09-20 만도헬라일렉트로닉스(주) 운전자 상태 모니터링 방법 및 장치
WO2020152678A1 (en) * 2019-01-22 2020-07-30 Adam Cogtech Ltd. Detection of cognitive state of a driver
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム
US11654921B2 (en) * 2020-11-10 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for limiting driver distraction

Also Published As

Publication number Publication date
KR20240074777A (ko) 2024-05-28
US20230106673A1 (en) 2023-04-06
CN118119523A (zh) 2024-05-31
WO2023060049A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
US20230106673A1 (en) Vehicle and mobile device interface for vehicle occupant assistance
US11562550B1 (en) Vehicle and mobile device interface for vehicle occupant assistance
US11295143B2 (en) Information processing apparatus, information processing method, and program
US10699569B2 (en) Information processing apparatus, information processing method, and program
US10766500B2 (en) Sensory stimulation system for an autonomous vehicle
US20210078408A1 (en) System and method for correlating user attention direction and outside view
EP3128462B1 (en) Driver assistance apparatus and control method for the same
KR101895485B1 (ko) 운전 보조 장치 및 그 제어 방법
US10607485B2 (en) System and method for communicating a message to a vehicle
KR101750178B1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
US20170343375A1 (en) Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions
JP6562239B2 (ja) 表示制御装置、表示制御方法、表示制御プログラムおよび投影装置
US20170240185A1 (en) Driver assistance apparatus and vehicle having the same
US20220348217A1 (en) Electronic apparatus for vehicles and operation method thereof
KR20180132922A (ko) 차량용 디스플레이 장치 및 차량
CN106240457A (zh) 车辆驾驶辅助装置及车辆
US20190276044A1 (en) User interface apparatus for vehicle and vehicle including the same
US11752940B2 (en) Display controller, display system, mobile object, image generation method, and carrier means
JPWO2020100585A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN114340970A (zh) 信息处理设备、移动设备、信息处理***、方法和程序
KR101781689B1 (ko) 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량
US20230415652A1 (en) Camera module, information processing system, information processing method, and information processing apparatus
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR20190017549A (ko) 차량에 구비된 차량 제어 장치
KR20180041024A (ko) 차량 운전 보조장치 및 이를 포함하는 차량