CN110168581A - 保持车内乘员的意识 - Google Patents

Abstract

一般来说，本发明描述用于保持载具内乘员的意识的技术。一种经配置以保持载具内的乘员的意识的装置包括：处理器及显示器，其可经配置以执行所述技术。所述处理器可确定乘员正凝视的位置且在所述经确定的位置指示所述乘员并未注目于所述载具正行进的方向时产生一或多个情境相关图像，所述一或多个情境相关图像能够辅助所述乘员保持所述载具当前正操作的情境的意识。所述显示器可基于所述经确定的位置而于所述载具的所述座舱内接近所述所确定位置处呈现所述一或多个情境相关图像，以在所述载具不再能够自主地控制所述载具的所述操作时辅助所述乘员取得所述载具的控制。

Description

保持车内乘员的意识

技术领域

本发明涉及载具，且更特定来说涉及保持载具内的意识。

背景技术

载具日益变得自主程度更高。即，载具在无任何乘员互动情况下开始执行乘员将正常地执行的任务。载具的自主层级已通过通常指示未自动化的层级零直到层级四或五来界定，层级四或五可指个人需要仅指定完全自主载具将驶往的目的地的完全自主载具。

当前，多数产品载具是在层级零与五之间。中间层级(例如，层级二到三)自主载具在使用自适应性巡航控制、提供车道监视并执行自动化碰撞避免(通常通过应用刹车)等操作载具时可执行正常地由乘员执行的一些任务。

在中间层级自主载具中且甚至在完全自主(例如，层级四到五)载具中，当载具并未经装备以处置的问题出现时，自主载具可将载具的控制转换回到乘员。乘员可接着操作载具，直到问题已被克服。

发明内容

一般来说，本发明描述用于进行以下操作的技术：保持自主载具中的乘员的意识，使得例如当载具并未经装备以处置的问题出现时，乘员可重新开始载具的操作。

在一个实例中，本发明描述一种保持载具内乘员的意识的方法，所述方法包括通过一或多个处理器确定载具内的乘员正凝视的位置。所述方法还包括通过所述一或多个处理器且在所述经确定的位置指示所述乘员并未注目于所述载具正行进的方向时产生一或多个情境相关图像，所述一或多个情境相关图像能够辅助所述乘员保持所述载具当前正操作的情境的意识。所述方法进一步包括通过显示器且基于所述经确定的位置呈现所述一或多个情境相关图像。

在一个实例中，本发明描述一种经配置以保持载具内的乘员的意识的装置，所述装置包括一或多个处理器，其经配置以确定乘员正凝视的位置。所述一或多个处理器还经配置以在所述经确定的位置指示所述乘员并未注目于所述载具正行进的方向时产生一或多个情境相关图像，所述一或多个情境相关图像能够辅助所述乘员保持所述载具当前正操作的情境的意识。所述装置进一步包括显示器，所述显示器经配置以基于所述经确定的位置于所述载具的座舱内接近于所述经确定的位置呈现所述一或多个情境相关图像以在所述载具不再能够自主地控制所述载具的所述操作时辅助所述乘员取得所述载具的控制。

在一个实例中，本发明描述一种经配置以保持载具中的乘员的意识的装置，所述装置包括：用于确定所述载具内的乘员正凝视的位置的装置；用于在所述经确定的位置指示所述乘员并非注目于所述载具正行进的方向时产生一或多个情境相关图像的装置，所述一或多个情境相关图像能够辅助所述乘员保持所述载具当前正操作的情境的意识；及用于基于所述经确定的位置呈现所述一或多个情境图像的装置。

在一个实例中，本发明描述一种上面存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时使得载具的一或多个处理器：确定所述载具内的乘员正凝视的位置；在所述经确定的位置指示所述乘员并非注目于所述载具正行进的方向时产生一或多个情境相关图像，所述一或多个情境相关图像能够辅助所述乘员保持所述载具当前正操作的情境的意识；及与显示器介接以基于所述经确定的位置呈现所述一或多个情境图像。

在以下随附图式及描述中阐述一或多个实例的细节。其它特征、目标及优势从描述、图式及权利要求书将为显而易见的。

附图说明

图1为说明经配置以执行本发明中所描述的乘员意识技术的各种方面的实例自主载具的框图。

图2为说明经配置以执行本发明中所描述的技术的各种方面的实例自主载具的俯视图的图。

图3A到3E为说明展示于图1及2中的自主载具的座舱的不同实例的图，在所述图1及2中，一或多个情境相关图像根据描述于本发明中的技术的各种方面呈现。

图4为说明经配置以执行本发明中所描述的技术的各种方面的头戴式显示***70的实例的图。

图5A到5C为展示根据本发明中所描述的技术的各种方面应用的具有不同强调程度的实例前视野的图。

图6A到6C为展示根据本发明中所描述的技术的各种方面应用的具有不同强调程度的实例前视野的图。

图7为说明图1的载具在执行本发明中所描述的技术的各种方面中的实例操作的流程图。

图8为说明图1的载具在执行本发明中所描述的技术的各种方面中的实例操作的流程图。

具体实施方式

由于自主载具的乘员变得更少地涉及于载具的操作中，因此乘员可变得分心及/或得意的，从而不花费比必要时间多的时间在驾驶任务上。然而，自主载具可将载具的控制转移到乘员。举例来说，当自主载具并未经装备以处置的问题出现时，自主载具可将载具的控制转移到乘员。取得控制的乘员可被称作“主乘员”，此是由于此乘员主要负责取得控制权，例如，当自主载具可不再安全自主地控制载具时。

例如当用以提供自动化的装备归因于天气、故障及类似者失效时，将自主载具的控制转换到主乘员可突然发生。控制到潜在地分心的主乘员的突然转换可能并未向主乘员提供重新获得安全地操作载具的足够情境的时间。

当载具已使驾驶的某方面自动化时，本发明中阐述的技术的各种方面可促进自主载具中的乘员的意识。技术可保持乘员的意识，使得主要乘员及潜在地其它乘员可监视应将主要乘员突然(例如，在几分钟内或在一些情况下数秒内)置于载具的控制的当前驾驶情境。此驾驶情境可允许主要乘员在接收到突然控制之后更安全地操作载具。

所述技术的一个方面可包含在自主载具是在控制中同时在乘员正在查看的任何方向上重新产生前视野(指在汽车的前挡风玻璃外部的视野)。在一些实例中，自主载具可在娱乐材料后方显示前视野或将前视野作为图像显示于娱乐材料的图像内(其常常被称作“子母画面”)。

自主载具还可经由抬头显示器(例如，扩增实境耳机或内置式抬头显示器)呈现触发乘员的生理反应以重新获得驾驶意识的图像。自主载具在处于载具的操作的控制同时可呈现对在抬头显示器中检视到的所识别物体的强调。举例来说，自主载具可与抬头显示器介接以为道路上的机车或其它载具加框，所述机车或其它载具可相对小但在意识方面具有重要性。

作为进一步实例，当在自主载具的附近行进的汽车向自主载具(直接地或间接地)传达汽车已认识到危险时，自主载具可呈现图像，所述图像相较于尚未传达危险的检测的其它汽车强调所述汽车更多。作为另一实例，自主载具可基于以下各者通过自主载具来强调正在行进的一或多个其它载具：一或多个其它载具正在车道中偏向多少，一或多个其它载具正加速/减速多少，或一或多个其它载具改变车道的频度等。自主载具还可基于色彩(或对比度)强调一或多个其它载具，其中考虑到较暗淡色彩(或低对比度物体)更难以识别，较暗淡载具(或具有低对比度外观的载具，例如，归因于日光眩光或其它环境光状况)可被强调更多。

自主载具可介接抬头显示器以***人造物体，从而强调可触发乘员的生理反应的各种状况或载具。举例来说，自主载具可将人造车道标记物体***于车道的检测到的边缘处，从而在载具的安全操作下保持此些车道标记为小的但于将控制转换到乘员之前放大此些车道标记以产生视觉唤醒以便重新获得乘员意识。

图1为说明经配置以执行根据本发明中所描述的乘员意识技术的各种方面的实例自主载具10的组件的框图。在图1的实例中，自主载具10可表示经配置以使与载具10的操作相关联的一或多个任务自动化的载具，包含使与载具10的操作相关联的大部分任务(如果非全部任务)自动化，使得乘员不必在大部分状况下保持载具10正在操作的情形的意识。

自主载具10在以下描述中假设为汽车。然而，描述于本发明中的技术可应用到能够运送一或多个乘员并自主地操作的任何类型的载具，例如机车、公共汽车、休旅车(RV)、半挂车卡车、牵引车或其它类型的农场装备、火车、飞机、直升机、无人机、个人运输载具及类似者。

在图1的实例中，自主载具10包含处理器12、图形处理单元(GPU)14及***存储器16。在一些实例中，处理器12、GPU 14及收发器模块22可形成为集成电路(IC)。举例来说，IC可被认为是芯片封装内的处理芯片，且可为***单芯片(SoC)。

处理器12及GPU 14的实例可包含固定功能处理电路及/或可编程处理电路，且可包含(但不限于)一或多个数字信号处理器(DSP)、通用微处理器、特殊应用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成式或离散逻辑电路。处理器12可为自主载具10的中央处理单元(CPU)。在一些实例中，GPU 14可为包含集成式及/或离散逻辑电路的专用硬件，所述集成式及/或离散逻辑电路向GPU 14提供适合于图形处理的大规模并行处理能力。在一些情况下，GPU 14还可包含通用处理能力，且在实施通用处理任务(即，非图形相关任务)时可被称作通用GPU(GPGPU)。

处理器12可执行各种类型的应用。应用的实例包含导航应用、载具控制应用、调度应用、安全应用、网页浏览器、电子邮件应用、电子试算表、视频游戏，或产生可检视物体以供显示的其它应用。***存储器16可存储指令以供一或多个应用执行。应用于处理器12上的执行使得处理器12产生针对待显示的图像内容的图形数据。处理器12可将图像内容的图形数据发射到GPU 14以基于处理器12发射到GPU 14的指令或命令而进一步处理。

处理器12可根据特定应用处理接口(API)与GPU 14通信。此类API的实例包含的Khronos集团的或OpenGL以及OpenCL^TM；然而，本发明的方面不限于DirectX、OpenGL或OpenCL API，且可延伸到其它类型的API。此外，本发明中描述的技术并不被要求以根据API起作用，且处理器12及GPU 14可利用用于通信的任何技术。

***存储器16可为装置10的存储器。***存储器16可包括一或多个计算机可读存储媒体。***存储器16的实例包含(但不限于)随机存取存储器(RAM)、电可抹除可编程只读存储器(EEPROM)、快闪存储器，或可用以携载或存储呈指令及/或数据结构的形式的所要程序代码并可由计算机或处理器存取的其它媒体。

在一些方面中，***存储器16可包含使得处理器12执行本发明中归属于处理器12的功能的指令。因此，***存储器16可为上面存储有指令的计算机可读存储媒体，所述指令在执行时使得一或多个处理器(例如，处理器12)执行各种功能。

***存储器16为非暂时性存储媒体。术语“非暂时性”指示存储媒体并不以载波或传播信号体现。然而，术语“非暂时性”不应解释成意谓***存储器16为非可移动的或其内容为静态的。作为一个实例，可从自主载具10移除***存储器16，并将其移动到另一装置。作为另一实例，大体上类似于***存储器16的存储器可***到自主载具10中。在某些实例中，非暂时性存储媒体可存储可随时间改变的数据(例如，RAM中)。

如图1的实例中进一步展示，自主载具10可包含显示器20及用户接口22。显示器20可表示图像可投影于上面的任何类型的被动反射屏幕，或能够投影图像的主动反射、发射或透射式显示器(例如，发光二极管(LED)显示器、有机LED(OLED)显示器、液晶显示器(LCD)或任何其它类型的主动显示器)。尽管展示为包含单一显示器20，但自主载具10可包含可遍及自主载具10的座舱定位的多个显示器。在一些实例中，被动型式的显示器20或某些类型的主动型式显示器20(例如，OLED显示器)可集成于座椅、工作台、车顶衬里、地板、窗中(或在无窗或具有很少窗户、壁情况下集成于载具中)或自主载具的座舱的其它方面中。当显示器20表示被动显示器时，显示器20还可包含投影机或能够将图像投影或以其它方式重新产生于被动显示器20上的其它图像投影装置。

显示器20还可表示与自主载具10有线或无线通信的显示器。显示器20可例如表示计算装置，例如膝上型计算机、抬头显示器、头戴式显示器、扩增实境计算装置或显示器(例如，“智能眼镜”)、虚拟实境计算装置或显示器、移动电话(包含所谓的“智能手机”)、平板计算机、游戏***，或能够充当集成于自主载具10中的显示器的延伸或替代集成于所述自主载具中的显示器的另一类型的计算装置。

用户接口22可表示用户可介接以控制自主载具10的功能性的任何类型的物理或虚拟接口。用户接口22可包含物理按钮、旋钮、滑动块或其它物理控制实施。用户接口22还可包含虚拟接口，借此自主载具10的乘员作为一个实例经由触敏式屏幕或经由无触碰接口与虚拟按钮、旋钮、滑动块或其它虚拟接口元件互动。乘员可与用户接口22介接以控制以下各者中的一或多个：自主载具10内的气温、自主载具10的音乐播放、自主载具10的视频播放、经由自主载具10的发射(例如，蜂窝式电话呼叫、视频会议呼叫及/或网页会议呼叫)，或能够由自主载具10执行的任何其它操作。

用户接口22还可表示在充当集成于自主载具10中的显示器的延伸或替代所述显示器时延伸到显示器20的接口。即，用户接口22可包含经由以上提及的HUD、扩增实境计算装置、虚拟实境计算装置或显示器、平板计算机或上文列出的不同类型的延伸显示器中的任何其它者呈现的虚拟接口。

在自主载具10的情形下，用户接口22可进一步表示用于手动或半手动地控制自主载具10的物理元件。举例来说，用户接口22可包含用于控制自主载具10的行进方向的一或多个方向盘、用于控制自主载具10的行进速率的一或多个踏板、一或多个手刹等。

自主载具10可进一步包含自主控制***24，其表示经配置以自主地操作载具10的一或多个方面而不需要自主载具10的乘员干预的***。自主控制***24可包含各种传感器及单元，例如全球定位***(GPS)单元、一或多个加速度计单元、一或多个陀螺仪单元、一或多个罗盘单元、一或多个雷达单元、一或多个激光雷达(其指光检测及测距)单元、一或多个摄像机、用于测量载具10的各种方面的一或多个传感器(例如方向盘扭矩传感器、方向盘抓握传感器、一或多个踏板传感器、轮胎传感器、胎压传感器)，及可辅助载具10的自主操作的任何其它类型的传感器或单元。

就此来说，自主控制***24可控制载具10的操作，从而允许乘员参与不与载具10的操作相关的任务。随着自主载具10的乘员变得较少地涉及于载具10的操作中，乘员可变得分心及/或掉以轻心，从而不再花费比必要时间多的时间在驾驶任务上。然而，当自主载具10并未经装备以处置的问题出现时，自主载具10可将载具10的控制转移到乘员。取得控制的乘员可被称作“主要乘员”，此是由于此乘员例如当自主载具10可不再安全自主地控制载具10时主要负责取得控制。

例如当由自主控制***24使用的装备归因于天气、故障及类似者失效时，将自主载具10的控制转换到主要乘员可突然发生。控制到潜在地分心的主要乘员的突然转换可能并未向主要乘员提供重新获得安全地操作载具10的足够情境的时间。

转移控制可指将控制的职责传回到乘员，使得乘员指导载具10的操作(例如，使用方向盘、踏板及传统载具中的其它实施方案；或使用各种非传统接口，例如允许加速、刹车及操纵的虚拟接口)。转移控制取决于环境还可为仅控制的部分转移。举例来说，允许确定行进速率的传感器可能失效，但用于操纵及导航的所有其它自主控制***可为可操作的。在此实例中，载具10可转移加速及刹车的控制但保留操纵及导航的控制。因此，当一或多个自主执行的操作的职责被转移到乘员时，载具10可转移载具10的操作的控制。

根据本发明中所描述的技术的各种方面，自主载具10可保持乘员的意识，使得主要乘员及潜在地其它乘员可监视主要乘员应被突然置于控制载具10的当前驾驶情形。此驾驶情形可允许主要乘员在控制从自主控制***10转移到主要乘员之后便更安全地操作载具。

在操作中，载具10可包含乘员跟踪单元26，其经配置以确定乘员正凝视的位置，所述位置可被称作“眼睛凝视位置”。在一些实例中，乘员跟踪单元26可包含经配置以捕获主要乘员的一或多个图像的摄像机或其它图像捕获装置。乘员跟踪单元26可定位摄像机(例如，旋转摄像机到特定方位角及高度)以允许随着主要乘员围绕载具10的座舱移动而捕获主要乘员的图像。

为了确定乘员正凝视(或换句话说注目)的位置，乘员跟踪单元26可相对于描绘主要乘员的图像执行眼睛跟踪(其还可被称作“凝视跟踪”)中的一或多个。关于眼睛跟踪的更多信息可在以下各者中找到：克拉夫卡(Krafka)等人的注明日期为2016年5月5日的题为“针对每人的眼睛跟踪(Eye Tracking for Everyone)”的论文，及开米(Kim)等人的注明日期为1999年10月12日到15日的题为“针对人类计算机界面的基于视觉之眼睛凝视跟踪(Vision-Based Eye-Gaze Tracking for Human Computer Interface)”的论文。

大体来说，眼睛跟踪经由使用通过红外及/或近红外非准直光的投射产生的角膜反射跟踪光瞳的移动。因此，乘员跟踪单元26可包含红外及/或近红外光源以产生类似于通常被称为图像中的“红眼”的效应的明亮光瞳效应。乘员跟踪单元24通常可跟踪主要乘员且接着拉近拍摄主要乘员的面部或眼部以捕获乘员的至少一只眼睛的图像，同时用红外及/或近红外光源照射眼睛。在图像中乘员的眼睛的亮度代表角膜反射的程度。在眼睛的图像中光瞳的亮度指示光瞳直接注目于红外及/或近红外光源上的程度，其中较高亮度指示更直接注视。从光瞳的此亮度，乘员跟踪单元26可确定主要乘员正凝视的位置。

尽管乘员跟踪单元26描述为执行乘员正注目的位置的确定，但乘员跟踪单元26可仅执行上文所描述的眼睛跟踪的某些方面。举例来说，乘员跟踪单元26通常可跟踪主要乘员，从而捕获乘员的眼睛的图像，同时以便于产生角膜反射的方式导引红外及/或近红外光源。乘员跟踪单元26可接着提供乘员的眼睛的图像到处理器12从而让处理器12确定乘员正凝视的位置。

假设乘员跟踪单元26确定出了主要乘员正凝视的位置，乘员跟踪单元26可提供经确定的位置到处理器12。基于所述经确定的位置，处理器12可确定主要乘员是否正凝视允许主要乘员保持足以接管载具10的控制的适当驾驶情境的方向。允许主要乘员保持适当驾驶情境的此位置(其可被称为“情境感知位置”)可包含允许主要乘员直接看见载具10正行进的方向的位置。此类情境感知位置在向前行进时可界定为从主要乘员到挡风玻璃或其它面向前窗外部的一或多个角度。乘员跟踪单元26可确定情境感知位置，或处理器12可在乘员跟踪单元26并不执行眼睛跟踪时确定情境感知位置。

处理器12可比较所述经确定的位置与情境感知位置。当经确定的注目位置属于界定情境感知位置的一或多个角度内时，处理器12可确定主要乘员注目于驾驶情境。尽管描述为基于经确定的注目位置与界定情境感知位置的一或多个角度的比较而确定主要乘员注目于驾驶情境，但处理器12可使确定基于额外信息，所述额外信息包含主要乘员的检测到的心跳速率、主要乘员的经确定的疲劳度(经由检测到更频繁眨眼或经确定的注目位置的一贯降低的眼睛跟踪、检测呵欠的主要乘员图像等)或任何其它图像分析及/或传感器信号分析。

当经确定的注目位置在界定情境感知位置的一或多个角度外部时，处理器12可确定主要乘员并非注目于载具10正行进的方向(其假设为向前)。处理器12在经确定的位置指示主要乘员并非注目于载具10正在行进的方向时产生一或多个图像，所述一或多个图像能够辅助主要乘员保持载具10当前正操作的操作情境的意识。举例来说，处理器12可与摄像机28介接以捕获描绘载具10的前视野的一或多个图像，其中此前视野描绘沿着载具10的向前行进方向或在所述向前行进方向上的视图。即，载具28可包含安装在座舱内或座舱外部的摄像机28，所述摄像机经配置以捕获前视野。

作为另一实例，处理器12可产生载具10的平面图，其中平面图可提供载具10及载具10周围的各种物体(其它行进载具、标识、障碍物、危险等)的俯视视图。处理器12可与自主控制***24介接以产生平面图，或替代地自主控制***24可产生平面图并提供所述平面图到处理器12。自主控制***24可由于GPS、雷达及激光雷达信息辅助产生平面图，所述自主控制***24使用所述GPS、雷达及激光雷达信息来产生载具10周围的物体的大体表示。平面图可类似于展示于图2的实例中的俯视视图。就此来说，载具10可产生一或多个图像(其可被称为“情境相关图像”)，其能够辅助主要乘员保持载具当前正自主地操作的操作情境的意识。

处理器12可接着与显示器20介接以于载具10的座舱内接近所述经确定的注目位置或与所述经确定的注目位置重叠的位置呈现一或多个所产生的情境图像以辅助主要乘员取得载具10的控制，例如当载具10不再能够自主地控制载具10的操作时或当载具能够自主地控制载具10的操作但在可削弱安全或准确性的一些方面可能受到威胁时。作为一个实例，显示器20可将情境相关图像投影于载具10的座舱内的各种表面处，例如乘员已被确定为注目于同时阅读或玩游戏所在的工作台、主要乘员正凝视的窗、邻近于主要乘员正与之进行谈话的另一乘员的区域等。

显示器20可接近于经确定的注目位置(其还被称作“位置”)但不与所述经确定的注目位置直接重叠地投影情境相关图像以避免对主要乘员或其它乘员的明显干扰。举例来说，显示器20可呈现情境相关图像以避免将图像投影于主要乘员正与之进行谈话的另一乘员的面部上。接近的显示器20投影情境相关图像的方式可取决于可被称作座舱情境的内容，如下文更详细地描述。处理器12可指导显示器20以基于检测到的座舱情境而重新定位情境相关图像的投影。

在一些实例中，显示器20可以与经确定的注目位置重叠的方式投影情境相关图像。作为一个实例，显示器20可投影情境相关图像，使得当交递即将发生以便更好地重新获得用户情境相关意识时，情境相关图像的一部分是在经确定的注目位置的顶部上或换句话说与经确定的注目位置重叠。

显示器20还可经由遍及载具10的座舱定位的一或多个主动显示器而呈现情境相关图像，从而基于经确定的注目位置而选择主动显示器中的哪一组合。当主动显示器中的所选择一个当前正显示描绘娱乐内容(例如，视频、图像、游戏等)的图像时，显示器20可产生复合图像，所述复合图像包含描绘娱乐内容的图像及情境相关图像两者。尽管显示器20描述为产生复合图像，但处理器12还可产生复合图像并提供复合图像到显示器20以显示给乘员。

当产生复合图像时，处理器12可覆叠情境相关图像于娱乐内容上，从而基于各种准则设定情境相关图像的透明度。一个实例准则为载具10的控制将被转移到乘员的紧急情况。即，处理器12可确定将载具10的控制转移到乘员并减小情境相关图像的透明度的时间，使得乘员能够更好地看到情境相关图像而无娱乐材料的分心且借此改进操作环境的情境相关意识。当载具10恢复自主控制时，处理器12可增大情境相关图像的透明度。

用于调变情境相关图像的透明度的其它准则可基于展示于情境相关图像中的场景的内容。处理器12可执行视觉分析以确定展示于情境相关图像中的物体的警戒或风险程度。举例来说，小的或难以看见(因为暗淡色彩或低对比度)载具可表示对载具10的更大风险。处理器12可减低情境相关图像的透明度，使得乘员能够更好地看见情境相关图像而无娱乐材料的分心且借此改进操作环境的情境相关意识。当警戒或风险程度降低时，处理器12可增大情境相关图像的透明度。

处理器12还可与用户接口22介接以提供情境相关图像，使得情境相关图像可通过延伸显示器(例如平板计算机、移动电话、头戴式显示器或主要乘员当前正交互的其它连接装置)显示。处理器12可向用户接口22提供情境相关图像，所述用户接口又提供情境相关图像到延伸显示器。延伸显示器可产生以上提及的复合图像，且呈现复合图像到主要乘员。

显示器20除处理器12外或作为对处理器12的替代还可执行上文所描述的技术的各种方面。即，当显示器20表示头戴式显示器时，头戴式显示器可执行眼睛跟踪以确定乘员正凝视的位置，从载具10接收情境相关图像且接近于经确定的位置呈现情境相关图像到乘员。因此，关于处理器12描述的技术中的任一者可替代地或还由头戴式显示器执行。

另外，显示器20还可经由抬头显示器呈现图像，所述图像触发乘员的生理反应以重新获得驾驶意识。处理器12及/或GPU 20可产生合成(或换句话说虚拟)物体，所述物体强调抬头显示器中检视到的所识别物体。举例来说，处理器12可经由用户接口22与抬头显示器介接以为道路上的机车或其它载具加框，所述机车或其它载具可相对小但在意识方面具有重要性。

作为进一步实例，当在自主载具10附近行进的另一载具传达载具已识别到危险时，处理器12可与显示器20或用户接口22介接以呈现图像，所述图像相较于尚未传达危险的检测的其它载具强调检测到危险的载具更多。作为另一实例，处理器12可基于以下各者而产生具有虚拟物体的图像，所述虚拟物体强调在自主载具10附近行进的载具，例如，为高风险的载具：载具在车道中偏向多少，与自主载具一起行进的载具正在加速/减速多少，或载具改变车道的频度等。处理器12还可产生具有虚拟物体的图像，所述虚拟物体基于色彩(或对比度)强调其它载具，其中考虑到较暗淡色彩(或低对比度物体)更难以识别，较暗淡载具(或具有低对比度外观的载具，例如，归因于日光眩光或其它环境照明状况)可被强调更多。

处理器12可与抬头显示器介接以***人造物体，从而强调可触发乘员的生理反应的各种状况或载具。举例来说，处理器12可在车道的经检测到的边缘处***人造车道标记，从而在载具10的安全操作下使此些车道标记保持为小的，但在转换控制之前放大此些车道标记以产生视觉唤醒以便重新获得乘员意识。

就此来说，本发明中阐述的技术的各种方面在自主载具已使驾驶的一些方面自动化时可促进所述载具中的乘员意识。所述技术可保持乘员的意识，使得主要乘员及潜在地其它乘员可监视应将主要乘员突然置于载具的控制的当前驾驶情境。此驾驶情境可允许主要乘员在接收到突然控制之后更安全地操作载具。

尽管描述为通过处理器12执行，但描述于本发明中的技术的各种方面可通过GPU14或处理器12及GPU 14的组合来执行。因此，上文对处理器12的参考可理解为指一或多个处理器，其可包含处理器12、GPU 14、处理器12与GPU 14的组合或各种处理器的任何组合，其一些可能尚未展示于图1的实例中。

此外，尽管描述为在具有载具10的操作的自主控制能力的载具10的情形下执行，但本发明中描述的技术可应用到任何类型的载具而不管是否具有自主控制的能力。即，不可自主地驾驶载具的层级一载具可执行本发明中描述的技术。因此，所述技术不应限于自主载具。

图2为说明经配置以执行本发明中所描述的技术的各种方面的实例自主载具10的俯视图的图。在图2的实例中，自主载具10包含接近载具10的前部在外部安装的摄像机28。摄像机28可捕获前视野40，作为一个实例，自主载具10于载具10的座舱内接近经确定的位置可呈现前视野40，主要乘员注目于所述经确定的位置。

图3A到3E为说明自主载具10的座舱50的不同实例的图，其中一或多个情境相关图像根据本发明中描述的技术的各种方面来呈现。在图3A的实例中，乘员跟踪单元26可确定主要乘员注目于座舱50内的窗52。处理器12可介接摄像机28以捕获前视野40的图像(其中下文中为了易于参考，此些图像可被称作“前视野40”)。处理器12可接着介接显示器20以接近于窗52投影前视野40。

为了确定座舱50内投影前视野40的位置，处理单元12可确定座舱情境。处理单元12可具有预配置的座舱情境，其界定座舱50的几何形状连同指定窗52、座椅54A到54D、工作台56、仪表板58、控制台60、座舱地板62及额外耗用单元64相对于彼此的位置。在一些实例中，处理器12可经由使用定位于额外耗用单元64中的乘员跟踪单元26的摄像机66分析座舱50来产生座舱情境以确定座舱50的几何形状连同上文提及的各种位置。在一些实例中，处理器12可预配置有座舱情境(例如，通过制造商)，其可引起预定义的座舱情境，所述座舱情境在一些实例中随着座舱情境随时间改变而使用摄像机66来更新。

处理器12可基于座舱情境确定座舱50内接近于窗52上的注目位置的位置，在所述注目位置处投影前视野40。在图3A的实例中，处理器12可确定主要乘员的注目位置是窗52外部。处理器12可接着选择投影位置为接近于窗52，使得前视野40的很少部分与窗52重叠或全部不与所述窗重叠。处理器12可避免将前视野40投影于窗52上，此是由于窗52可能并未提供足够反射以允许主要乘员以足够清晰度检视前视野40以保持情境相关意识。

在一些情况下，处理器12可基于外部因数确定接近于注目位置的位置(或接近位置)。在图3B的实例中，当处理器12确定存在穿过窗52的不足背光(例如，基于当日时间及/或经由与自主控制***24的互动)时，处理器12可确定接近于经确定的注目位置的投影位置以与窗52重叠。

尽管关于窗52描述，但处理器12介接显示器20以将前视野40投影于座舱50内的任何表面上，包含座椅54A到54D、工作台56、仪表板58、控制台60及地板62。此外，尽管在图3A及3B的实例中未展示，但显示器20可使用安装于地板62或座舱50的其它表面上的其它显示元件(例如，投影机)将前视野投影于座舱50的顶板上。

图3C为说明载具10的座舱50的剖视图的图，在所述座舱中执行本发明中描述的技术的各种方面。在图3C的实例中，主要乘员61A正与次要乘员61B进行交谈，同时自主控制***24当前正自主地控制载具10。乘员跟踪单元26可确定主要乘员61A直接注目于次要乘员61B。乘员跟踪单元26可提供经确定的注目位置到处理器12。

处理器12可保持上文提及的座舱情境，使得处理器12感知主要乘员61A及第二乘员61B两者在座舱内的位置。处理器12可比较经确定的注目位置与座舱情境。如图3C的实例中的状况一般，当处理器12确定经确定的注目位置接近于次要乘员61B的位置时，处理器12可确定前视野40的投影位置为使得前视野40的投影并不与次要乘员61B重叠。

在图3D的实例中，乘员跟踪单元26可确定主要乘员61A注目于显示器20上，所述显示器在图3D的实例中展示为与载具10无线通信的平板计算机(其可表示一种类型的主动显示器)。因此，乘员跟踪单元26可将注目位置作为显示器20的位置提供到处理器12。处理器12可保持座舱情境以识别显示器20(及无线耦合到载具10的任何其它显示器或装置)的位置，从而比较经确定的注目位置与显示器20的位置。如展示于图3D的实例中的状况一般，当经确定的注目位置接近于显示器20的位置时，处理器12可经由用户接口22介接显示器20以在显示器上呈现前视野40。

在一些实例中，显示器20可将前视野40作为图像呈现于当前正由显示器20显示的任何内容的图像内。在此些及其它实例中，显示器20可将前视野40作为层呈现于当前正由显示器20显示的任何内容下方，其中内容可为半透明的以准许主要乘员61A来同时检视内容及前视野40两者。尽管描述为与无线地耦合到载具10的显示器20介接，但处理器12还可将前视野40呈现于集成或固定于座舱50内及/或通过有线连接耦合到载具10的显示器上。

在图3E的实例中，乘员跟踪单元26可确定针对主要乘员61A及次要乘员61B两者的注目位置。乘员跟踪单元26可提供针对主要乘员61A的注目位置(“主要注目位置”)及针对次要乘员61B的注目位置(“次要注目位置”)到处理器12。处理器12可介接显示器20以接近于主要注目位置及次要注目位置中的一或多个(例如在图3E中所展示的实例中的两个)呈现前视野40。在次要注目位置处呈现前视野40可允许次要乘员61B还保持载具10的情境相关意识。因此，次要乘员61B可辅助主要乘员61A保持足够意识以接管载具10的控制。

图4为说明经配置以执行本发明中所描述的技术的各种方面的头戴式显示***70的实例的图。头戴式显示器(HMD)***70包含可由乘员72佩戴的HMD 80，乘员72可表示主要乘员61A或次要乘员61B中的一或多个。HMD 80可经配置以由乘员72佩戴，例如，类似于一副眼镜，其中框架84具有从镜片夹持器88延伸的臂86。HMD 80经配置以与载具10无线通信，且可充当用户接口22的延伸件。

在一些实例中，HMD 10可包含与处理器12分离的处理器连同***存储器、GPU及与上文关于图1的实例描述的载具10的那些分离的其它计算组件。在其它实例中，HMD 10可简单地构成显示器20的延伸件，其中处理器12介接HMD 10以呈现各种图像，例如前视野40。

在任何情况下，处理器12可提供情境相关图像(例如，前视野40)到HMD 10，所述HMD可呈现前视野40以便保持乘员72的情境相关意识。处理器12可介接HMD 10而以类似于在上文在展示于图3A到3E中的实例的情形下关于投影前视野40论述的方式的方式经由HMD10呈现图像，在适当时考虑座舱情境。

然而，因为HMD 80随着乘员72注目于载具10的座舱50内的位置而移动，所以处理器12在一些实例中可指示HMD 80将前视野40呈现于HMD 80的设定位置(例如，右上隅角)中而非将前视野40呈现于座舱50内的锚定位置处。即，HMD 80可将前视野40呈现于座舱50内的特定位置处，使得前视野40类似于上文关于将前视野40投影于接近于经确定的注目位置的特定位置处所描述显现为锚定于位置处。替代地，HMD 80可始终呈现前视野40于HMD 80自身的给定片段中(例如，右上隅角)，使得前视野40可显现为在乘员72当前正注目的座舱50内浮动。处理器12可检测乘员72正查看前方的时间且在检测到乘员72查看前方的时间之后便选择性地停用前视野40的显示。

当处理器12检测到乘员72正查看前方时，处理器12可介接HMD 80以显示合成或换句话说虚拟物体，其强调乘员72的前视野内的各种物体。尽管关于扩增乘员72的前视野予以描述，但处理器12还可以类似于下文关于扩增乘员72的前视野描述的方式的方式扩增通过摄像机28捕获的前视野(其本文中还被称作“前视野40”)的图像。此外，尽管本文中关于HMD 80予以描述，但所述技术可关于能够扩增乘员72的前视野的任何类型的装置(例如抬头显示器(HUD))执行。

使用强调的一个实例目的为刺激乘员72，使得乘员72可以足以潜在地接管载具10的控制的时间快速地感知驾驶情境。人类视觉***(HVS)对于某些视觉刺激为敏感的，处理器12可经由HMD 80重新产生所述视觉刺激以重新获得乘员72的载具10的操作情境的意识。举例来说，HVS对于显现于在之前先前未观测到物体之处的物体、越过视野的运动及物体速率的急剧改变为敏感的。

HVS可处理此些视觉提示，从而注目于事件发生的区域且潜在地诱发唤醒或换句话说意识的增大。举例来说，HVS可在感知到朝向眼睛/面部快速地移动的物体之后便诱发意识，其可引起唤醒的增大(例如，肾上腺素释放以及心跳速率及血压的增大)，继之以退缩反射以保护眼睛及面部。引起此反应的刺激可进一步取决于乘员72的状态，其中疲倦或精力受损的驾驶员可需要更多刺激来触发唤醒。因此，可能要求速度的较大改变或较大物体显现从而产生相同程度的视觉唤醒。本发明中描述的技术的各种方面可使用HMD 80来触发生理反应。

图5A到5C为展示根据本发明中描述的技术的各种方面应用的具有不同强调程度的实例前视野90A到90C的图。前视野90A到90C可表示前视野(上文被称作前视野40)或经由HMD 80看见的实际前视野的图像。

在图5A的实例中，前视野90A并不包含任何强调，且因此表示无借助于虚拟物体的扩增的前视野。前视野90A展示在与载具10相同的车道中且载具10正跟随的小型载具(例如，机车92，其中标示机车92的括号并非显示于屏幕上而是仅用于读者参考)。在图5B的实例中，前视野90B与前视野90A相同或大体上相同，唯前视野90B包含由HMD 80呈现以强调状况(例如载具92的存在)的两个次要虚拟物体94A及94B。在图5C的实例中，前视野90C与前视野90A相同或大体相同，唯前视野90C包含由HMD 80呈现以强调状况的两个主要虚拟物体96A及96B。

为了扩增前视野90B或90C，处理器12可使用摄像机28或安装在HMD 80上的摄像机捕获前视野90B或90C(其中前视野可被指称为“前视野90”)的图像。处理器12可分析前视野90的图像(其可表示上文所论述的前视野40的一个实例)以检测可受益于强调的状况。所述状况可表示在控制转移到乘员情况下(例如当载具10不再能够自主地控制载具10的操作时)与载具10的操作相干的某一类型的状况。

在图5B及5C的实例中，其状况为载具92的大小的状况。大小可表示载具92的大小在阈值大小以下的状况。即，处理器12可能确定载具92具有低于阈值大小的大小，且基于所述确定使用次要强调物体94A、94B或主要强调物体96A、96B强调载具92。处理器12可介接HMD 10以呈现次要虚拟物体94A、94B或主要虚拟物体96A、96B。处理器12可基于如下文更详细地描述的一或多个因数确定呈现次要虚拟物体94A、94B抑或主要虚拟物体96A、96B。简单来说，一些因数可包含来自测量主要乘员的状态(例如，以确定疲劳程度等)、从所述状况感知到的威胁(例如，如由载具92进行的驾驶先前不稳定的程度所测量)及类似者的传感器的结果。

图6A到6C为展示根据本发明中所描述的技术的各种方面应用的具有不同强调程度的实例前视野100A到100C的图。前视野100A到100C可表示前视野(其上文被称作前视野40)或经由HMD 80检视的实际前视野的图像。

在图6A的实例中，前视野100A并不包含任何强调，且因此表示无借助于虚拟物体的扩增的前视野。前视野100A展示长的笔直道路。在图6B的实例中，前视野100B与前视野100A相同或大体相同，唯前视野100B包含标记出道路的中心线的三个次要虚拟物体102A到102C以及标记出道路的外部线的三个主要虚拟物体104A到104C，两者可都由HMD 80呈现以强调载具10当前正行驶的车道。在图5C的实例中，前视野100C与前视野100A相同或大体相同，唯前视野100C包含标记出道路的中心线的三个主要虚拟物体106A到106C以及标记出道路的外部线的三个主要虚拟物体108A到108C，两者可都由HMD 80呈现以强调载具10当前正行驶的车道。

HMD 80可呈现虚拟物体102A到108C(其还可被称作“人造实境物体102A到108C”)以增大视觉唤醒。当在无其它交通情况下沿着开放道路行驶时，例如图6A到6C中展示的情形，HMD 80可呈现表示道路标记的虚拟实境物体102A到108C，其与道路的检测到的边缘同步。当呈现次要虚拟物体102A到104C以充当车道标记时，HMD 80可对车道的边缘做标记。当呈现主要虚拟物体106A到108C时，HMD 80可诱发乘员72的较高程度的视觉唤醒，此是由于主要虚拟物体106A到108C可显现为看起来朝向乘员72移动的大型物体。在可能需要乘员72的增大的警觉性时，例如，就在控制从自主控制***24到乘员72的交递之前，或当另一***检测到乘员72疲倦或其它方式精力受损时，HMD 80可增大虚拟物体102A到104C的大小。

HMD 80还可辅助保持疲倦及/或精力受损乘员的意识。疲倦及/或精力受损的乘员倾向于在其视野中看得愈来愈低。由于驾驶可能是通过不查看任何事项而是查看就在载具及器具前方的道路来进行(但很可能并不非常安全)，因此非常疲倦的驾驶员常常继续在此状况下驾驶。HMD 80可试图通过将抬头器具移动到视野的不同部分而解决疲倦及/或精力受损乘员的降低的视野，其可以两种方式来帮助。首先，移动抬头器具可于视野较高处保持重要(但并非安全关键的)信息，借此潜在地减小向下看的倾向。第二，HMD80可在视野下部呈现安全关键信息(例如，速度警告、接近速度警告、自主控制将要脱离的指示、载具故障等)，借此潜在地确保乘员72可看到安全关键信息，即使当其视野正降低时。

HMD 80在汽车内的另一***(例如，可通过乘员跟踪单元26来实施的乘员机警性检测***)确定乘员72可为疲倦的或精力受损时起始器具的移动。替代地，HMD 80可常规地移动器具以保持意识。

尽管所述技术的前述方面中的许多方面可在任何时间实施，但通过强调视觉提示、来回移动视觉实体或改变视觉信息的呈现来强化意识的尝试可能并不引起视觉唤醒历时持久量的时间。乘员可变得适应于所述改变，使得HMD 80可不再诱发视觉唤醒。HMD 80在利用前述技术历时简短时间或短的时间段时可更有效地诱发视觉唤醒。

在控制的交递状况下，HMD 80可在控制交递之前执行技术的前述方面历时短的时间。在一些状况下，处理器12可实施交递预测器算法以预测交递很可能发生的时间。处理器12接着可介接HMD 80以在交递经预测为发生之前的固定时间呈现强调。在疲倦或精力受损乘员的状况下，HMD 80可执行技术的前述方面足够长的时间以供驾驶员撤离道路且将载具带到安全停靠处(例如，回应于HMD 80提示乘员72进行此操作)。

处理器12可检测可受益于强调的数个不同状况及/或物体(潜在地结合用户接口22、自主控制***24及乘员跟踪单元26中的一或多个工作)。在图5A到5C的实例中，处理器12可识别机车92并从机车92的大小确定借助于虚拟物体94A、94B或96A、96B的强调应经呈现以增大机车92的察觉到的大小。增大机车92的察觉到的大小可允许乘员72对机车92有更大的意识，使得乘员72不会忽视机车92。

其它状况包含基于视觉速度的那些状况。处理器12可确定另一载具正过快地逼近的时间。处理器12可使用摄像机28或由自主控制***24使用的其它摄像机、激光雷达设备及类似者检测逼近的载具。处理器12可比较针对载具10周围的每一物体(或仅确定为拦截载具10的那些)的接近速率，从而比较接近速率与阈值速率。当接近速率超出阈值速率时，处理器12可确定另一物体(例如，载具)正过快地逼近。处理器12可接着介接HMD 80以相较于以较慢速度接近的物体更多强调以高于阈值速率的速率接近载具10的物体(或潜在地根本未强调以较慢速度接近的那些物体)。

前文还应用于正在减速(或“刹车”)的载具。即，处理器12可识别载具10前方的载具的接近速率(当此些载具正在刹车时)。替代地或结合识别接近速率，处理器12可经由自主控制***24从另一载具(经由某通信)接收此载具正在刹车的通知。处理器12可介接HMD80以呈现虚拟物体，从而相较于并未刹车的载具更多强调刹车的载具。

处理器12还可经由自主控制***24从另一载具(经由某通信)接收此载具已识别出危险的通知。处理器12可介接HMD 80以呈现虚拟物体，从而相较于并未识别出危险的载具更多强调识别出危险的载具。

处理器12还可潜在地基于由自主控制***24提供的信息检测具有引起交递的较高可能的高风险载具。处理器12可执行算法或以其它方式经配置以基于以下各者而预测另一载具的将来动作：其它载具在车道内偏向多少，其它载具正在加速/减速多少，或其它载具改变车道的频度。处理器12可介接HMD 80以呈现围绕高风险载具的强调。

其它状况包含基于色彩的那些状况。处理器12可检测更暗淡地着色的载具且介接HMD 80以相较于较明亮地着色的载具更多强调更暗淡地着色的载具。更暗淡地着色的载具可接收更多强调，此是由于更暗淡地着色的载具可更易于被忽视。

其它状况可包含载具的类型。处理器12可经由图像检测或经由通信检测应急载具，例如警车、消防车、救护车及类似者。处理器12可强调应急载具，使得乘员72在一旦交递发生时采取适当动作。

处理器12可在以下各者内关于每一周围物体检测此些状况中的一或多个：载具10的视野或载具10的通信范围，或载具10的传感器的感测范围。周围物体可包含行人、标志、碎片或其它载具。处理器12可评估每一周围物体的接近速率、接收自每一周围物体的任何通信(例如，传达危险、刹车或其它状态)、每一周围物体的大小、每一周围物体的色彩及/或相对视觉对比度、每一周围物体的类型，及针对每一周围物体预测以导出视觉强调的得分的可能将来动作。

处理器12可比较每一周围物体的视觉强调得分与次要强调阈值及主要强调阈值。当视觉强调得分低于次要强调阈值时，处理器12可确定强调并不被需要用于对应物体。当视觉强调得分高于次要强调阈值但低于主要强调阈值时，处理器12可确定HMD 80将关于对应周围物体呈现次要强调(例如，使用次要虚拟物体94A、94B)。当视觉强调得分高于主要强调阈值时，处理器12可确定HMD 80将关于对应周围物体呈现主要强调(例如，使用主要虚拟物体96A、96B)。

尽管关于展示于图5A到6C中的实例予以描述，但处理器12可执行围绕周围物体的数个不同类型的个别强调。处理器12介接HMD 80以***不仅增大大小(例如，对于机车92)及接近速率(例如，使用虚拟物体106A到108C)而且强调区域以增大所述区域(例如，行人斑马线区域)的大小或高度的虚拟物体。

处理器12还可介接HMD 80以产生具有各种形状的虚拟物体，所述形状不同于展示于图5A到6C的实例中的基于块的形状。处理器12可介接HMD 80以产生以高速率接近的呈载具的形状的虚拟物体。处理器12可介接HMD 80以使得其如同虚拟载具形状的物体以超出当前接近速率的速率接近一般显现以提升乘员72的唤醒。

处理器12还可介接HMD 80以强调各种周围物体而不呈现虚拟物体。举例来说，处理器12可介接HMD 80以增大或降低周围物体的亮度，或增大或减低周围物体的对比度。

周围物体的强调可进一步被划分成全域强调及个别强调。即，处理器12可利用视觉强调得分来不仅强调个别周围物体。处理器12可基于周围物体的个别视觉强调得分而确定平均视觉强调得分(其在一些实例中可为经加权的平均值)。处理器12可基于平均视觉强调得分而执行各种全域操作，例如减低或增大前视野40的透明度，在呈现为子母画面时增大或降低前视野40的大小，或当呈现前视野40时增大或降低显示器20的亮度。在一些实施中，当载具是在已知危险区域(例如学校斑马线或行人斑马线)内时，各种物体的强调得分可经修改(例如，增大)。

图7为说明执行本发明中所描述的技术的各种方面中图1的载具10的实例操作的流程图。初始地，载具10的自主控制***24可取得载具10的操作的自主控制(120)。

在取得载具10的操作的自主控制之后(或在一些情况下在取得载具10的操作的自主控制之前)，处理器12可介接乘员跟踪单元26以确定乘员(且潜在地两个或多于两个乘员)正凝视的位置(其可被称作“注目位置”)(122)。乘员跟踪单元26可执行凝视跟踪或确定注目位置所藉以的任何其它过程。

处理器12可接着产生一或多个情境相关图像，其能够辅助乘员保持操作情境的意识(124)。情境相关图像可包含以下各者中的一个：例如前视野40的前视野，或可类似于展示于图2的实例中的俯视视图的平面图。处理器12还可更新情境相关图像从而以上文所描述的方式***合成物体，其中合成物体可强调各种物体(例如，载具、行人、标志、车道标记等)。

处理器12可接着介接显示器20以在载具10的座舱内接近于经确定的位置呈现情境相关图像(126)。情境相关图像可辅助乘员在载具不再能够自主地控制载具10的操作时取得载具10的控制。处理器12可确定载具10的控制交递到乘员之前的持续时间，且在交递之前呈现图像历时经确定的持续时间。处理器12可在呈现情境相关图像之后将载具10的控制转移到乘员(128)。

再者，转移控制可指将控制的职责传回到乘员，使得乘员指导载具10的操作(例如，使用方向盘、踏板及传统载具中的其它实施方案；或使用各种非传统接口，例如允许加速、刹车及操纵的虚拟接口)。转移控制取决于环境还可为仅控制的部分转移。举例来说，允许确定行进速率的传感器可能失效，但用于操纵及导航的所有其它自主控制***可为可操作的。在此实例中，载具10可转移加速及刹车的控制但保留操纵及导航的控制。因此，当一或多个自主执行的操作的职责被转移到乘员时，载具10可转移载具10的操作的控制。

图8为说明执行本发明中所描述的技术的各种方面中图1的载具10的实例操作的流程图。初始地，载具10的自主控制***24可取得载具10的操作的自主控制(140)。

在取得载具10的操作的自主控制之后(或在一些情况下在取得载具10的操作的自主控制之前)，处理器12可介接摄像机28或具有载具10的前视野的任何其它摄像机(例如集成于HMD 80内的摄像机)来捕获载具10的前视野(例如前视野40)的图像(142)。

例如在载具10不再能够自主地控制载具10的操作情况下，处理器12可接着检测与载具10的操作相干的状况(144)。在一些实例中，处理器12可在载具10正行进的方向上关于一或多个图像执行视觉图像分析以检测上述各种状况。在此些及其它实例中，处理器12可基于来自上文提及的传感器(例如，激光雷达、雷达、摄像机或提供乘员的生理数据的传感器等)中的任一者的数据来检测状况。

处理器12可接着介接显示器20(其可为抬头显示器或头戴式显示器，例如HMD 80)以呈现合成物体以强调状况(146)。处理器12可确定载具10的控制到乘员的交递之前的持续时间，且在交递之前呈现合成物体历时确定的持续时间。处理器12可在呈现情境相关图像之后将载具10的操作的控制转移到乘员(148)。

尽管所述技术的各种方面描述为由载具10执行，但技术的各种方面可通过具有经由通信协议提供到载具10的结果的其它装置执行。即，情境相关图像、凝视或眼睛跟踪，乘员跟踪，任何图像或视频混合(例如，以形成复合图像)及情境相关图像的透明度确定(提供几个实例)的图像或视频分析可通过替代载具12的那些或除载具12的那些外的具有处理器及/或GPU的另一载具、网络服务器或计算机服务器群(即，通过“云端”)执行。因此，技术不应限于直接由载具自身执行。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或程序代码而在计算机可读媒体上存储或发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体。以此方式，计算机可读媒体一般可对应于为非暂时性的有形计算机可读存储媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以取得指令、程序代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例且非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。应理解，计算机可读存储媒体及数据存储媒体并不包含载波、信号或其它暂时性媒体，但确切来说是针对非暂时性、有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软盘及Blu-ray光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合还应包含于计算机可读媒体的范围内。

可由一或多个处理器执行指令，所述一或多个处理器是例如一或多个数字信号处理器(DSP)、通用微处理器、特殊应用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入组合式编码解码器内。此外，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可以包含以下各者的广泛的多种装置或设备实施：无线手机、集成电路(IC)或IC集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切来说，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件而提供各种单元。

各种实例已予以描述。此些及其它实例是在以下权利要求书的范围内。

Claims (30)

1.一种保持载具中的乘员的意识的方法，所述方法包括：

通过一或多个处理器确定所述载具内的乘员正凝视的位置；

通过所述一或多个处理器且在所述经确定的位置指示所述乘员并未注目于所述载具正行进的方向时产生一或多个情境相关图像，所述一或多个情境相关图像能够辅助所述乘员保持所述载具当前正操作的情境的意识；及

通过显示器且基于所述经确定的位置呈现所述一或多个情境相关图像。

2.根据权利要求1所述的方法，其中所述载具包括处理器，且所述载具在确定所述位置并产生所述一或多个情境相关图像时自主地控制所述载具的操作，且

3.根据权利要求2所述的方法，其中呈现所述一或多个情境相关图像包括接近于所述经确定的位置或至少与所述经确定的位置重叠地呈现所述一或多个情境相关图像，以在所述载具的控制从所述载具转移到所述乘员时辅助所述乘员保持所述情境的意识。

4.根据权利要求1所述的方法，其中确定所述乘员正凝视的所述位置包括执行对所述乘员的关于所述一或多个图像的眼睛跟踪以确定所述乘员正凝视的所述位置。

5.根据权利要求1所述的方法，其中所述乘员正佩戴头戴式显示器，所述头戴式显示器包含以下的至少一个：所述一或多个处理器，其确定所述乘员正凝视的所述位置并产生所述一或多个情境相关图像；及所述显示器，其呈现所述一或多个情境相关图像。

6.根据权利要求1所述的方法，其中所述载具包含以下的至少一个：所述一或多个处理器，其确定所述乘员正凝视的所述位置并产生所述一或多个情境相关图像；及所述显示器，其呈现所述一或多个情境相关图像。

7.根据权利要求1所述的方法，

其中所述乘员正佩戴头戴式显示器，所述头戴式显示器包含呈现所述一或多个情境相关图像的所述显示器，

其中所述载具包含所述一或多个处理器中的第二处理器，其执行以下各者中的一或多个：确定所述乘员正凝视的所述位置，产生所述一或多个情境相关图像，及呈现所述一或多个情境相关图像。

8.根据权利要求1所述的方法，

其中所述显示器包括投影机，

其中呈现所述一或多个情境相关图像包括通过所述投影机接近于所述经确定的位置投影所述一或多个情境相关图像。

9.根据权利要求1所述的方法，其中所述显示器包括主动显示器，使所述主动显示器的至少一部分与所述经确定的位置重叠或邻近。

10.根据权利要求1所述的方法，其进一步包括：

基于展示于所述一或多个情境相关图像中的场景的内容而确定所述一或多个情境相关图像的透明度；及

扩增所述一或多个图像以使用所述一或多个情境相关图像的所述所确定透明度将所述情境相关图像覆叠于所述娱乐材料上。

11.根据权利要求10所述的方法，其中确定所述透明度包括：

执行所述一或多个情境相关图像的视觉分析以识别展示于所述一或多个情境相关图像中的所述场景的物体；

确定所述物体对所述载具的警戒程度；及

基于所述经确定的警戒程度确定所述透明度。

12.根据权利要求1所述的方法，其中所述一或多个情境相关图像包括沿着所述载具的所述行进方向的图像，或所述载具及周围物体的从上而下平面视图的图像中的一个。

13.根据权利要求1所述的方法，其进一步包括扩增所述一或多个情境相关图像以包含虚拟物体，所述虚拟物体与所述场景中的状况或与所述载具的操作相干的状况相关联。

14.根据权利要求13所述的方法，

其中所述状况包含以下各者中的至少一个：另一载具被检测为以高于阈值速率的速率靠近所述载具，另一载具传达危险，另一载具在车道上偏向达高于阈值偏向量，及另一载具具有一或多个暗淡色彩或低对比度，且

其中所述方法进一步包括：

基于所述载具当前正在操作的所述情境确定视觉强调得分；及

基于所述视觉强调得分调整所述虚拟物体。

15.根据权利要求1所述的方法，其进一步包括扩增所述一或多个情境相关图像以包含强调物体的虚拟物体，其中所述物体包括车道标记、行人或另一载具中的一个。

16.根据权利要求15所述的方法，其进一步包括：

基于所述载具当前正在操作的所述情境确定视觉强调得分；及

基于所述视觉强调得分调整所述虚拟物体。

17.一种经配置以保持载具中的乘员的意识的装置，所述装置包括：

一或多个处理器，其经配置以执行以下操作：

确定乘员正凝视的位置；及

在所述经确定的位置指示所述乘员并非注目于所述载具正在行进的方向时产生一或多个情境相关图像，所述一或多个情境相关图像能够辅助所述乘员保持所述载具当前正操作的情境的意识；及

显示器，其经配置以基于所述经确定的位置而于所述载具的座舱内接近于所述经确定的位置呈现所述一或多个情境相关图像，以在所述载具不再能够自主地控制所述载具的所述操作时辅助所述乘员取得所述载具的控制。

18.根据权利要求17所述的装置，其中所述载具包括所述处理器，且所述载具在确定所述位置且产生所述一或多个情境相关图像时自主地控制所述载具的操作，且

19.根据权利要求18所述的装置，其中所述显示器接近于所述经确定的位置或至少与所述经确定的位置部分重叠地呈现所述一或多个情境相关图像以在所述载具的控制从所述载具转移到所述乘员情况下辅助所述乘员保持所述情境的意识。

20.根据权利要求17所述的装置，其中所述一或多个处理器执行对所述乘员的关于所述一或多个图像的眼睛跟踪以确定所述乘员正凝视的所述位置。

21.根据权利要求17所述的装置，其中所述乘员正佩戴头戴式显示器，所述头戴式显示器包含以下的至少一个：所述一或多个处理器，其确定所述乘员正凝视的所述位置并产生所述一或多个情境相关图像；及所述显示器，其呈现所述一或多个情境相关图像。

22.根据权利要求17所述的装置，其中所述载具包含以下的至少一个：所述一或多个处理器，其确定所述乘员正凝视的所述位置并产生所述一或多个情境相关图像；及

所述显示器，其呈现所述一或多个情境相关图像。

23.根据权利要求17所述的装置，

其中所述乘员正佩戴头戴式显示器，所述头戴式显示器包含呈现所述一或多个情境相关图像的所述显示器，

其中所述载具包含所述一或多个处理器中的第二处理器，其执行以下各者中的一或多个：确定所述乘员正凝视的所述位置，产生所述一或多个情境相关图像，及呈现所述一或多个情境相关图像。

24.根据权利要求17所述的装置，

其中所述显示器包括投影机，所述投影机接近于所述经确定的位置投影所述一或多个情境相关图像。

25.根据权利要求17所述的装置，其中所述显示器包括主动显示器，使所述主动显示器的至少一部分与所述经确定的位置重叠或邻近。

26.根据权利要求17所述的装置，其中所述一或多个处理器经进一步配置以：

执行所述一或多个情境相关图像的视觉分析以识别展示于所述一或多个情境相关图像中的所述场景的物体；

确定所述物体对所述载具的警戒程度；

基于所述经确定的警戒程度确定透明度；及

扩增所述一或多个图像以使用所述一或多个情境相关图像的所述所确定透明度将所述情境相关图像覆叠于所述娱乐材料上。

27.根据权利要求17所述的装置，其中所述一或多个处理器经进一步配置以：

基于所述载具当前正在操作的所述情境确定视觉强调得分；及

基于所述视觉强调得分调整虚拟物体，所述虚拟物体与场景中的状况或与所述载具的操作相干的状况相关联；及

扩增所述一或多个情境相关图像以包含所述虚拟物体。

28.根据权利要求17所述的装置，其进一步包括：

基于所述载具当前正在操作的所述情境确定视觉强调得分；

基于所述视觉强调得分调整强调所述物体的虚拟物体；及

扩增所述一或多个情境相关图像以包含所述虚拟物体，其中所述虚拟物体包括车道标记、行人或另一载具中的一个。

29.一种经配置以保持载具中的乘员的意识的装置，所述装置包括：

用于确定所述载具内的乘员正凝视的位置的装置；

用于在所述经确定的位置指示所述乘员并非注目于所述载具正在行进的方向时产生一或多个情境相关图像的装置，所述一或多个情境相关图像能够辅助所述乘员保持所述载具当前正操作的情境的意识；及

用于基于所述经确定的位置呈现所述一或多个情境相关图像的装置。

30.一种上面存储有指令的非暂时性计算机可读存储媒体，所述指令在执行时使得一或多个处理器：

确定载具内的乘员正凝视的位置；

在所述经确定的位置指示所述乘员并非注目于所述载具正在行进的方向时产生一或多个情境相关图像，所述一或多个情境相关图像能够辅助所述乘员保持所述载具当前正操作的情境的意识；及

与显示器介接以基于所述经确定的位置呈现所述一或多个情境相关图像。