CN107380164A - 基于计算机视觉的驾驶员辅助***和支持*** - Google Patents

Abstract

本发明包括基于计算机视觉的驾驶员辅助设备、***、方法和相关的计算机可执行代码(以下统称为“ADAS”)。根据一些实施例，ADAS可以以不同范围的视场为基础，包括一个或多个固定的图像/视频传感器和一个或多个可调整或可移动的图像/视频传感器。根据本发明的一些实施例，ADAS可包括改进的图像处理。根据一些实施例，ADAS还可包括一个或多个传感器以监测/感测车辆内部和/或其中的人。ADAS可包括一个或多个传感器以探测与车辆驾驶员有关的参数，且处理电路被配置为评估驾驶员的精神状况/警觉性和驾驶员的注视方向。这些可以用来修改ADAS操作/阈值。

Description

基于计算机视觉的驾驶员辅助***和支持***

技术领域

本发明总体上涉及驾驶辅助***领域。更具体地，本发明涉及基于计算机视觉的驾驶员辅助设备、***、方法和相关的计算机可执行代码。

本申请基于申请号为US15/203,881、申请日为2016年7月7日的美国专利申请提出，并要求该美国专利申请的优先权，该美国专利申请的全部内容在此引入本申请作为参考。

背景技术

全世界每天都有数亿人驾驶他/她们的汽车。对于驾驶员、乘员和行人来说，驾驶本质上是一个有风险的过程，每年造成超过130万人死亡以及数以千百万计的重大伤害(参照非专利文献1)。

大多数事故是驾驶员犯错、分心或注意力不集中所造成的结果，是能避免或减轻的。

现有技术文献

非专利文献

非专利文献1：Association for Safe International Road Travel(ASIRT),2016；http://www.asirt.org/

发明内容

在此描述的车辆驾驶辅助***旨在通过及时发现危险状况来减少与车辆驾驶相关的风险，并为驾驶员或车辆控制提供适当的信号。

本发明包括基于计算机视觉的驾驶员辅助设备、***、方法和相关的计算机可执行代码(以下统称为：“ADAS”；Advanced Driver Assistance System)。根据本发明的一些实施例，可提供基于计算机视觉的驾驶员辅助***，包含：一个或多个图像/视频传感器，其安装于车辆；以及一个或多个处理器，其与传感器连接，并被配置为处理由传感器捕获的图像/视频，且识别与车辆有关的潜在危险状况。根据一些实施例，一个或多个处理器可以被配置为：评估潜在危险状况的级别和/或性质/特点，并相应作出反应。***对危险状况作出反应可包括向驾驶员和/或周围环境发出警告/警报和/或可包括车辆***的自动或半自动激活/操纵(例如，自动刹车的应用)。

根据一些实施例，ADAS可以包括一个或多个固定的图像/视频传感器和一个或多个可调整的或可移动的图像/视频传感器。根据一些实施例，固定的图像/视频传感器可用于调整和/或校准可调整的/可移动的图像/视频传感器。根据一些实施例，ADAS可以包括具有不同范围(dimension)的视场的图像/视频传感器。根据另一些实施例，具有不同范围的视场的图像/视频传感器组可用于相互补足和/或实现不同目标。例如，广角图像/视频传感器可用于监测短距离和侧向方向，而窄视场图像/视频传感器用于监测更远距离的特定区域。根据一些实施例，广角图像/视频传感器可以是具有超过70度水平视场的图像/视频传感器。根据另一些实施例，可使用具有大致75度(或更大)水平视场的一个或多个图像/视频传感器。根据另一些实施例，可使用具有大致100度(或更大)水平视场的一个或多个图像/视频传感器。根据另一些实施例，可使用具有大致120度(或更大)水平视场的一个或多个图像/视频传感器。根据又一些实施例，可使用上述广角图像传感器的组合。根据一些实施例，窄角图像/视频传感器可以是具有低于70度水平视场的图像/视频传感器。根据另一些实施例，可使用具有大致60度水平视场(或更少)的一个或多个图像/视频传感器。根据另一些实施例，可使用具有大致45度水平视场(或更少)的一个或多个图像/视频传感器。根据又一些实施例，可使用上述窄角图像传感器的组合。类似地，广角图像/视频传感器可用于监测、探测和跟踪侧向方向上和/或附近区域中的对象和目标，如行人、路标、交通灯，而窄视场图像/视频传感器用于监测车辆前方的较远区域(和/或在各传感器跟前的附近区域)，如车道、前方较远处的车辆、行人和交通灯。一些实施例可以包括ADAS，其具有一个广角可调整的视频/图像传感器和两个以上的窄角固定的图像/视频传感器。例如，ADAS可以包括：一个广角可调整的视频/图像传感器，其安装于后视镜的前侧；以及两个以上的窄角固定的图像/视频传感器，其安装于挡风玻璃或前照灯/前保险杠或汽车的其他位置。

ADAS***从两种相机协同利用信息和优势。一方面，窄角相机的视场和方向能相对于车体而被准确地校准和保持，这样的相机能提供车辆前方的较远对象的较高分辨率，另一方面，广角相机能提供车辆侧方的对象的成像，提供对侧方来的行人以及位于车辆侧方的路标和交通灯的探测。来自未校准的可调整的广角相机的图像与来自已校准的固定的低角相机的图像之间的匹配/对比产生广角相机的校准。

根据本发明的一些实施例，ADAS可以包括改进的图像处理。改进图像处理可以通过以下方式实现：(1)将详细的图像处理局限于被确定为与当前驾驶状况有关的特定的区域或角度，(2)实现有针对性的处理，用于识别特定的对象、形状或运动(例如，可以实施一种图像处理算法，用于识别其他车辆，尤其监测它们的位置、取向和运动，或者，可以仅针对超过给定速度进行移动或具有大于某尺寸的对象进行详细的图像处理)。根据一些实施例，为了避免对与驾驶无关的较小对象进行图像处理，图像处理可以包括对象尺寸阈值(或其他形状/范围/速度标准)用于处理。根据另一些实施例，ADAS可以包括处理逻辑，其被配置为使处理与距离相关联，从而使得对较近区域的图像/视频执行与较远区域的图像/视频不同的处理。

根据一些实施例，ADAS还可以包括一个或多个传感器，其被配置为监测/感测车辆内部和/或其中的人。ADAS可以包括一个或多个传感器，其被配置为探测与车辆驾驶员有关的参数，处理电路被配置为评估驾驶员的精神状况/警觉性，并根据评估出的驾驶员的状况来修改ADAS的操作参数。例如，警报阈值可根据驾驶员的警觉性来调整。进而，驾驶员的注视方向以及当前意识可用于修改ADAS操作。例如，ADAS***可以优先处理驾驶员面朝区域以外的区域。

根据一些实施例，ADAS***可以被配置为：确定车辆内的人的位置和特性(例如，重量)，并相应修改/启动安全***。例如，ADAS可以根据乘员位置和重量在事故发生时部署安全气囊。

附图说明

本发明的主题在说明书的结论部分特别指出并明确要求。而本发明的组织和操作方法及其对象、特征和优点可以结合附图并参考以下详细说明而加以理解。

图1A示出根据本发明的一些实施例的由安装于车辆的示例性的前置相机捕获的示例性的道路图像的示意图。

图1B示出根据本发明的一些实施例的示例性的ADAS算法的流程图。应当理解，进一步的实施例可以仅包括所公开的要素中的一部分。

图2示出根据本发明的一些实施例的由ADAS的示例性的对象探测器组件估计出的图像中的示例性的搜索区域。

图3示出根据本发明的一些实施例的由ADAS执行的对象搜索的示例性的高效方法，该方法将估计出的对象的尺寸以及该对象相对于道路和车道的位置纳入考虑。

图4示出根据本发明的一些实施例的可调整的相机与固定的相机的示例性的组合使用。

图5示出根据本发明的一些实施例的可调整的相机与固定立体相机对的示例性的组合使用。

图6示意性地示出根据本发明的一些实施例的前视相机和驾驶员监测相机的示例性的视场。

图7A是根据本发明的一些实施例的取决于驾驶员警觉性水平(级别)/值而触发警告信号的示例性的方法的步骤的流程图。

图7B示出状况感知的ADAS操作的示例性的原则的流程图。

图8示出根据本发明的一些实施例的作为驾驶员警觉功能的警报触发的示例性的阈值级别。

应当理解，为了简单明了地说明，图中所示的要素不一定是按比例绘制的。例如，某些要素的尺寸相对于其他要素可能被夸大，以便更清晰。此外，在认为适当的情况下，可以在附图之间重复附图标记以指示对应或类似的要素。

具体实施方式

在下面的详细描述中，列出了许多具体细节，以便提供对本发明的透彻理解。然而，本领域技术人员将理解，在没有这些具体细节的情况下，仍可以实施本发明。另外，并未详细描述众所周知的方法、过程、组件和电路，以免模糊本发明的主旨。

除非特别说明，否则，从下面的讨论中应当明确理解的是，在说明书中，诸如“处理”、“运算”、“计算”、“确定”或类似术语，指的是计算机或计算***或类似的电子计算设备的动作和/或过程，这些***或设备操作和/或将物理形式的数据(如计算***的寄存器和/或存储器中的电子、数量)转换为计算***的存储器、寄存器或其他信息存储、传输和显示装置中的以物理量类似表示的其他数据。

本发明的实施例可以包括用于执行此处的操作的装置。该装置可以专门构造用于预期的目的，也可以包括由计算机中存储的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，例如，但不限于包括硬盘驱动器的任何类型的磁盘、固态驱动器、闪存、随机存取存储器(RAM)或适合存储电子指令的任何其它类型的介质。

本文所述的过程和呈示与任何特定的计算机或其他设备没有本质上的关联。各种通用***可以根据本文中的教导而与程序一起使用，也可以证明构造一个更专门的装置来执行所需的方法是方便的。下面的描述将显示各种***的所需结构。此外，没有参照任何特定编程语言来描述本发明的实施例。可以理解，各种编程语言可用于实现本文所述的发明的教导。

本发明包括基于计算机视觉的驾驶员辅助设备、***、方法和相关的计算机可执行代码(以下统称为：“ADAS”)。根据本发明的一些实施例，基于计算机视觉的驾驶员辅助***包含：一个或多个图像/视频传感器，其安装于车辆；以及一个或多个处理器，其与传感器通信连接，并被配置为处理由传感器捕获的图像/视频，且识别与车辆有关的潜在危险状况。根据一些实施例，一个或多个处理器可被配置为评估潜在危险状况的级别和/或性质/特性，并相应作出反应。对危险状况的***反应可以包括：向驾驶员和/或周围环境发出警告/警报、和/或可以包括车辆***的自动或半自动激活/操纵(如自动刹车的应用)。

根据一些实施例，ADAS可以包括一个或多个固定的图像/视频传感器和一个或多个可调整的或可移动的图像/视频传感器。根据一些实施例，固定的图像/视频传感器可用于调整和/或校准可调整的/可移动的图像/视频传感器。根据一些实施例，ADAS可以包括具有不同范围的视场的图像/视频传感器。根据另一些实施例，具有不同范围的视场的图像/视频传感器组可用于相互补足和/或实现不同目标。例如，广角图像/视频传感器可用于监测短距离，而窄视场图像/视频传感器用于监测更远距离的特定区域。类似地，广角图像/视频传感器可用于整体监测，而窄视场图像/视频传感器用于监测特定的区域，如车道。一些实施例可以包括ADAS，其具有一个广角可调整的视频/图像传感器和两个以上的窄角固定的图像/视频传感器。例如，ADAS可以包括：一个广角可调整的视频/图像传感器，其安装于后视镜的前侧；以及两个以上的窄角固定的图像/视频传感器，其安装于挡风玻璃或前照灯/前保险杠。

ADAS***从两种相机协同利用信息和优势。一方面，窄角相机的视场和方向能相对于车体而被准确地校准和保持，这样的相机能提供车辆前方的较远对象的较高分辨率，另一方面，广角相机能提供车辆侧方的对象的成像，提供对侧方来的行人以及位于车辆侧方的路标和交通灯的探测。来自未校准的可调整的广角相机的图像与来自已校准的固定的低角相机的图像之间的匹配/对比产生广角相机的校准。

ADAS***配置包括可调整的相机和固定的相机的作用进一步在于：通过对由可调整的和固定的相机获取的图像之间进行三维立体匹配，来重建到对象的距离。

可选地或附加地，在包括两个或多个固定的相机的配置中，由固定的相机捕获的立体图像能用于确定距离。在一些实施例中，固定的相机在立体对(stereo pair)的配置中被设计和构造，并考虑相机之间的一定的刚性。在一些实施例中，执行由每个相机获取的视频帧之间的同步。相应帧的积分时间的开始和停止可以在大约1毫秒或更好的时间内同步。这是由于期望从空间中的可控的类似位置获取相应的帧，只通过相机之间的立体基线来分离，而不是通过非同步相机的自我运动来分离。车辆的高速，如车速为108公里/小时时将在一个毫秒提前约3厘米。

可以维持立体对的相机之间的机械刚度，以保持相机之间的子像素级的相互振动，或保持约0.5～5角分或更好的相互振动。这是因为，希望图像上对应像素之间的差异主要是由立体配置引起的，而与相机的相互振动基本无关，同时即使是子像素级的立体匹配，也使相互振动的影响微不足道。

来自立体相机的关于环境的三维信息至少在以下方面增强ADAS***的性能：(1)至探测到的对象的距离既能用于探测的验证，也能用于选择合适的区域尺度进行探测；(2)环境的三维地图能用于对象分割和探测；(3)环境的三维地图用于道路分割的是基本平坦的区域；(4)环境的三维地图用于探测未分类的障碍物和对象。

根据本发明的一些实施例，ADAS可以包括改进的图像处理。改进图像处理可以通过以下方式实现：(1)将详细的图像处理局限于被确定为与当前驾驶状况有关的特定的区域或角度，(2)实现有针对性的处理，用于识别特定的对象、形状或运动(例如，可以实施一种图像处理算法，用于识别其他车辆，尤其监测它们的位置、取向和运动，或者，可以仅针对超过给定速度进行移动或具有大于某尺寸的对象进行详细的图像处理)。根据一些实施例，为了避免对与驾驶无关的较小对象进行图像处理，图像处理可以包括对象尺寸阈值(或其他形状/范围/速度标准)用于处理。根据另一些实施例，ADAS可以包括处理逻辑，其被配置为使处理与距离相关联，从而使得对较近区域的图像/视频执行与较远区域的图像/视频不同的处理。

根据一些实施例，ADAS还可以包括一个或多个传感器，其被配置为监测/感测车辆内部和/或其中的人。ADAS可以包括一个或多个传感器，其被配置为探测与车辆驾驶员有关的参数，处理电路被配置为评估驾驶员的精神状况/警觉性，并根据评估出的驾驶员的状况来修改ADAS的操作参数。例如，警报阈值可根据驾驶员的警觉性来调整。进而，驾驶员的注视方向以及当前意识可用于修改ADAS操作。例如，ADAS***可以优先处理驾驶员面朝区域以外的区域。

根据一些实施例，ADAS***可被配置为确定车辆中的人的位置和特性(例如，重量)，并相应修改/启动安全***。例如，ADAS可以根据乘员的位置和重量而在事故中部署安全气囊。

本公开的ADAS***可以包括：传感器，其从环境获取数据；车辆传感器，其观察驾驶员和乘员；一个或多个处理器，其处理所获取的数据；一个或多个接口，其将相关的警告或信息传送给驾驶员，并从驾驶员和乘员接收命令，可能的话，进一步的接口与车辆***/控制交互以修改车辆对驾驶员控制行为的反应，通过ADAS***激活汽车的安全***/设备和/或直接参与车辆控制。

从环境获取数据的传感器可以包括：摄像机，其以连续帧序列的方式获取视频。各个帧可以称为帧或图像、或类似的术语。

在一些实施例中，ADAS***包括：广角相机，其面向前进方向的道路，并安装于车辆的适当位置(如后视镜、引擎盖、前格栅等)；以及一对立体相机(立体相机对)，其具有窄视场，也面向前进方向的道路，安装于车辆的适当位置(如挡风玻璃、引擎盖、前格栅、前照灯等)。

立体相机对可以固定于某处(例如粘在挡风玻璃上)来进行调整和校准，使它们的视场、取向相对于所在车辆的几何尺寸是已知的。安装在后视镜上的广角相机可以通过旋转和转动后视镜或者通过使相机相对于后视镜进行移动而具有自由度。广角相机的自由度能用偏航角、俯仰角和滚转角来描述。

广角相机的镜头的光学参数可以是已知的。广角相机相对于立体相机对的自由度可以通过针对来自广角相机的图像与来自立体相机对的图像之间的对应点的图像配准和搜索技术来进行确定和消除歧义。

广角相机获取的图像可以具有较高的像素数，然后由立体相机对获取图像，反之亦然。

广角相机获取的图像可用于探测对象、道路和背景。对象可以包括不同类型的车辆、摩托车、自行车、路标、交通标志和交通灯、行人、儿童、动物、背景、建筑物、植树造林等

环境和/或对象的三维地图可以由一对立体相机重构。重构后的三维地图有多种用途。三维地图可用于对象分割，用于对象探测的验证，用于拒绝误探测，用于对象检测，其是为了通过空间(深度)三维分离将对象从它的环境中分离出来。道路和环境的三维形状能用于道路探测，并将其从环境中分割出来。

三维地图允许测量被测对象的距离，被测对象包括车辆、行人、路标和环境，从而评估它们的运动以及主机车辆的自我运动。

在一些实施例中，对象检测算法仅在感兴趣区域或更多地侧重于感兴趣区域运行，该区域可能仅构成输入图像的一部分。在一些实施例中，可以使用神经网络或深度神经网络进行对象探测。

汽车探测算法的目标之一是探测包含潜在碰撞风险的主机车辆的自车道(self-lane；***车辆行驶的车道)上的车辆，并将相关数据传送到碰撞估计算法。在一些实施例中，汽车探测包括一个阶段的特征提取以及提取出的特征的基础的探测(在它们被送入预训练好的分类器后)。

术语“探测器”与“分类器”将交替使用。通常，探测器被定义为用于探测输入中某个特定类的对象或类的存在的引擎，而分类器是两个以上的类的标签归入输入查询中的引擎。然而，探测也可以被认为是一个分类问题，其中有两类“对象存在”和“对象缺席”。

类似地，分类器能被认为是一个探测器，其输出不仅是二进制的“是/否”回答，而且是被监测对象的类标签，甚至是包含属于某类的对象的特定区域的概率向量。

各种探测算法能用于目标探测，我们将列出一些非限制性示例。在经典的对象探测方法中，可以区分三个不同的阶段。

(1)图像被划分为不同尺度的重叠区域。由于被探测的对象的图像能在任何未知的距离和位置上存在，因此以如下方式选择区域：对于对象的任何可能的尺度和位置，将有至少一个区域具有相应的尺度和位置，使得该区域将大致围绕对象，其尺度将正比于对象的尺寸以便于鲁棒检测。

(2)特征提取，根据给定区域内的像素值，推导出该区域的特征向量值。特征提取的目的是为了获得一种更有效的用于对象探测的图像表示。本领域中有各种各样的特征，如HOG(方向梯度直方图)、SIFT(尺度不变特征变换)、SURF(加速鲁棒特征)、PCA(主成分分析)等。从数学上讲，特征提取可以看作是从输入信号空间到特征空间的转换，构造特征空间是为了使类间方差最大化和类内方差最小化，因此便于分类。

(3)最后，利用从标记的训练集图像中提取的特征来训练分类器，然后将测试图像中提取出的特征送入分类器来探测输入图像中的对象。各种分类器是本领域中已知的，其中，SVM(支持向量机)和决策森林分类器是最成功和最流行的。

最近，深度神经网络(DNN)至少对于具有足够大的计算能力的情况和训练集而言，成为最有效的对象探测方法。多层神经网络的第一层可以看作是对特征空间的转换，而最后一层则执行分类/检测。

探测器中提取的特征的特征提取和处理都是计算要求很高的任务。此外，寻找的对象在不同的尺度上、在图像的不同位置的组合增加了计算量。考虑获取到的视频中的对象探测的问题，例如探测车辆。一辆非常接近的车辆可以占据大部分的图像区域，而远处车辆的图像只能跨几个像素。在没有事先了解对象的预期尺度和位置的情况下，搜索必须针对图像的所有位置以不同尺度来执行。每个尺度的区域在图像上形成一个重叠区域的规则网格，这相当于巨大的计算量，如图2所示。

图2示出了形成搜索网格的区域的小的子集。考虑行人210和其周围的区域215。为了探测行人210，整个图像应以此尺度而在所有不同的位置上进行扫描。217显示了一些位置。考虑行人220和其周围的区域225。为了检测行人220，整个图像应该以该尺度在所有不同的位置上进行扫描。227显示了一些位置。

搜索区域应该是重叠的，它们之间的步长与区域的大小成比例，通常为区域大小的25％或更少。长宽比取决于要检测的对象的性质。对于车辆探测，区域通常是方形的，而行人探测的首选区域将是垂直定向矩形。

对于高清晰度视频的1920×1080帧，大约有192×108≈20,000个位置，其每个方向上的步长为10个像素，并且有500,000个位置，其每个方向上的步长为2个像素。

对不同尺度区域的搜索总量可达数百万，并在特征提取和识别阶段在各区域内进一步乘以十万到百万个操作，即单独达到针对对象探测操作的数十亿的计算操作。

计算机视觉应用的计算要求总是很苛刻，而硬件资源总是有限的，这对于ADAS应用尤其现实。关于ADAS应用，对硬件价格的敏感度、有限的散热量、对短响应和处理时间的要求、大量要求计算的任务、为了提高性能而额外增加计算资源的渴求，使得对算法效率的要求达到了极致。

因此，ADAS算法要经过严格的运行时间分析、解析和优化。此外，在每秒30帧ADAS操作的1小时中，大约有100,000个输入帧。再乘以100万个或更多个不同的位置和尺度，以识别行人、车辆、道路和交通标志、交通灯、自行车和其他对象，我们估计在一小时驾驶中可能会检查多达100,000,000个潜在的对象位置。即使***每小时发出一次错误警报，驾驶员也会感到烦恼。同时，缺少哪怕是一个行人或碰撞的警告也可能导致严重后果。

因此，使计算量减少的方法、筛出误探测和提高检测精度是ADAS***的关键价值。下面我们披露以下的方法来提高ADAS处理。

通过根据图像中道路和相关背景的所期望或检测出的位置来选择搜索区域，从而减少对象探测操作中的计算量。

图1A提供示例性的道路场景的简化视图。它能包括具有标记车道的道路区域、各种类型的车辆、自行车、轨道、行人、动物、交通标志、交通灯等等。

ADAS***获取和分析道路状况，并在探测到某些风险时通过及时警告来协助驾驶员。道路状况的分析包括低级别的探测操作和更高级别分析的操作，通过该低级别的探测操作，对车辆、行人、车道、交通标志和信号灯进行探测，而通过该更高级别分析的操作，探测风险状况，如非故意的偏离车道、车辆或行人的潜在碰撞、或潜在的违反交通法规、标志、信号灯和规则。

图1B示出示例性的ADAS算法的流程图。在一些实施例中，仅实现一些公开的要素，并且在本公开的其他地方描述了一些其他新要素。

道路数据152表示来自道路观测传感器的输入，如来自摄像机(例如一个前视相机)的输入。视频输入被导向各种探测器，其中可以包括车道探测器154、行人探测器156、车辆探测器158、其他障碍物和对象探测器160、交通灯、标志和路标探测器162。

探测器能在几种不同的模式下工作。对于具有低计算能力的硬件实现，可以采用经典的探测方式，包括特征提取阶段和探测阶段。特征提取是一种转换操作，其将输入图像在像素空间中的像素表示转换为特征空间中的表示。

为图像表示所选择的特征可以是HOG(梯度方向直方图)、SIFT(尺度不变特征变换)、SURF(加速鲁棒特征)、BRIEF(二进制鲁棒独立基本特征)、ORB(定向旋转的BRIEF)、LESH(基于局部能量的形状直方图)或出于效率考虑的任何其他特征空间。

该探测器能出于效率的考虑，基于SVM(支持向量机)、决策树、决策森林或任何其他机器学习方法而选择。

任何探测器的两个主要特性是召回率和准确率。高召回率意味着丢失的对象(漏报、漏探测)的数量少，高准确率意味着误报(误警报)率低。

探测器中的第三个关键特性、以及ADAS中使用的任何其他算法是在执行过程中实施的操作的数量。该算法的执行时间等于硬件内的操作数除以硬件的执行速度(也称为处理能力)。

现代的(2016)低端嵌入式硬件每秒执行约10^10个操作，中间范围的硬件每秒执行约10^11，高端的硬件每秒执行约10^12个浮点操作。ADAS执行相关的道路状况分析一段时间，如果探测到危险状况，则通过警报向驾驶员通知。因此，与某一特定状况有关的警告不会在状况刚好发生的时刻发布给驾驶员，而是在经历与图像采集和场景处理有关的延迟之后发出的。这种延迟被加至驾驶员的反应时间，因此，要求保持延迟短是至关重要的。

ADAS的处理时间应为100毫秒或更少，最好是小于50毫秒，而处理时间超过200毫秒在大部分情况下是不能容忍的。

探测器的替代解决方案是基于神经网络的方法，包括深度学***台。

探测器154、156、158、160、162可以处理从环境获得的输入，其被表示为道路数据152。在许多实施例中，道路数据是来自前相机(例如广角可调整的相机)的视频输入，其具有刚性固定在车辆上的可选的单目相机或立体相机，例如固定在挡风玻璃上。

探测到的对象的坐标和置信度被送入对象跟踪模块170。对象***保持探测到的对象的类型和位置的履历，当它们为了在感兴趣区域中精加工和探测到而访问原始图像，通常位于探测到的或预期的目标位置附近。

精加工允许达到几个目标：过滤掉误探测，减少失误，通过更精确的位置估计来分析对象运动，确定对象的速度和离该对象的距离等。更准确但速度较慢的探测器可以再次执行在特定的感兴趣区域检测，其通常在探测到的或所期望的对象位置附近。事实上，在探测阶段，对象的位置和尺度是已知的，与探测器相比，减少了数千个命令带来的搜索和处理的数量。进而，探测器输出可以包括置信度的测量。一个独立的探测器仅能将这个置信度与阈值比较，而***能考虑以前的探测，以便在一个较低的置信度上根据重复的探测来执行确定，同时即使在较高的置信度上也过滤掉零星的误探测。

车道***168通过在前一帧已知的车道参数和新车道参数的概率的基础上，不断更新所估计的车道参数，从而跟踪已探测到的车道。车道参数以连续性原则进行估计和更新，有利于车道参数的渐变和平滑变化。在数学上，应用诸如卡尔曼滤波器的滤波技术，而这种方法的物理基础是基于如下事实：由于车辆和相机的逐渐运动，直线估计逐渐改变。

框172表示用于估计探测出的对象的参数的软件模块，参数例如包括距离和车辆的速度、至碰撞的距离和时间、以及与车道、行人、障碍物、车道的位置和类型、交通标志的特定类型的识别、交通信号灯的颜色、车辆相对于车道、道路等的位置的相关性等。

框174在从框172接收到的参数以及来自车辆的数据(自我速度、方向指示器灯、刹车、车轮的状态)的基础上，执行道路状况的高级别的分析。在一些实施例中，还有来自可见光或红外线范围的相机或其他传感器的驾驶员探测数据180。在数据180中对驾驶员警觉性级别和注意点进行了评估，它们影响框174中的状况分析，并确定警报阈值。

例如，大量时间的低程度的碰撞风险、加上驾驶员的高警觉性级别以及他/她对潜在危险方向的注视可能不会导致碰撞警告发布，而完全同样的道路状况，但由于驾驶员分心玩手机，则将会是一个完全不同的故事。到状况分析模块174的附加的输入是算法配置参数164，它可以通过训练数据上的***的高级别调整来调整。

最后，在接口逻辑模块174中，根据接口逻辑模块174中提取出的信息，进行关于向驾驶员发送特定的警告的决定或者向车辆控制进行输出，该配置由166定义。

图2示出在搜索对象(例如车辆、行人或交通标志)时探测器中存在大量计算的原因。210表示较大尺度下的行人，215表示围绕该行人的具有适当尺度和位置的边界框，217表示在其他位置上的具有相同尺度的边界框。为了不错过图像中的行人，通常在图像中针对所有位置以不同尺度进行搜索。

类似地，220表示较小尺度下的行人，225表示相应位置和尺度下的适当的边界框，227表示该尺度下的边界框的小的子集。

图3示出减少探测器的计算负担的公开方法之一。310、320和330表示对应于与相机之间的不同距离而对行人采用的不同尺度，而315、325和335表示在相应的尺度和位置上的边界框。305表示车辆运动的自车道。人们可以注意到，对象的相关尺度取决于与相机之间的距离、相关对象的位置仅限于车辆的运动轨迹(称为“自车道”)。区域317、327和337表示在相应的尺度和位置上的搜索区域。探测器搜索中的边界框应该依次重叠，以便在每个可能的位置进行搜索。

一组重叠的框在图像上形成一个网格。相邻框之间的步长通常选择与框尺寸成比例，因此它在最小尺度下为最小值，通常等于1至2像素。因此，探测器在最小尺度(如第337区)下对对象区域进行的扫描包含最大区域，并形成最重的计算负担。将区域337与图像的总面积进行比较，人们可以用所公开的方法估计探测器运行时的潜在好处，这是由成百上千的因素来估计的。

例如，让我们考虑搜索一个在图像中的尺寸大约为10×36像素的行人。小尺寸的对象需要适当小的区域来用于搜索，其将达到约12×40像素。对于帧内的行人的全局搜索，整个帧应该由重叠区域的网格覆盖，在大约2像素的区域之间有水平步长，以及在大约4像素的区域之间有垂直步长。因此，在网格中，将有(1920-12)/2＝854个水平位置和(1080-40)/4＝260个垂直位置，仅在该特定尺度下共得到(1+(1920-12)/2)×(1+(1080-40)/4)＝855×261＝223,155个各自的区域。在该特定尺度下，对用于特征提取和分类的每个区域中的约10,000个操作进行估计将导致需要约20亿操作用于帧内的对象探测，这是针对最实用的***的难以忍受的大计算量。

或者，如果搜索区域面积仅减少到道路的适当位置上的相关区域(如区域337)，让我们假设区域面积大小为80×40像素，在这种情况下，它将只包含(1+(80-12)/4)×(1+(40-40)/2)＝18个搜索区域，其使得比以往的蛮力方法降低约12400倍计算负担。

上面给出的所有数字仅用于说明目的，并且可以在不同的实施例之间基本上有所不同。

根据本发明实施例的确定到对象的距离的方法之一是根据从立体相机图像获得的三维地图来进行确定。另一种是根据对象相对于道路的位置进行确定，其中道路由车道和道路探测算法来确定。图像中的对象尺寸也可以用来确定距离。由于许多对象的一定范围是已知的，并且图像中的对象的尺寸是相对于它与相机的距离有关，所以图像中已知尺寸的大小可以用来计算到对象的距离。例如，可以根据图像中车牌的高度来计算到前方车辆的距离。也可使用范围传感器(例如激光测距传感器)、或参考标记、或任何其他当前已知或将在未来制定的深度确定方法。

在图4中，存在ADAS中针对相机视场的矛盾性需求。想要尽早分辨出行人或车辆，这就导致需要视野狭窄的相机，其允许对具有较高分辨率的远距离物体进行想象，但由于视野狭窄，可能会错过两侧的对象。

想要捕获两侧的对象(包括靠近车辆的在侧旁的行人、以及靠近车辆和/或在车辆的侧方或上方的交通标志和交通灯)，特别是在城市环境中或人行横道上慢速行驶的情况下，将导致需要广角相机，其捕获横向上的图像中像素较少的远程对象，该对象模糊，且细节丢失。

安装ADAS摄像机的传统方法是将该ADAS摄像机永久和刚性附接至车身或挡风玻璃，它允许对相机相对于车身的位置和方向进行校准，并更好的将相机与从挡风玻璃的反射光隔离开来。

许多驾驶员安装影像对齐/定位相机(通常是广角相机)，其一般指向前，但位置和方向往往变化，可以由驾驶员调整。许多这样的相机安装或内置到后视镜中。将ADAS功能添加至这样的车载相机是自然的愿望，但由于影像对齐/定位相机的校准的欠缺，而且方向能由驾驶员随时调整，因此这将严重影响ADAS功能。

解决上述难题的方法之一是将一个或多个窄视野相机刚性附接至车身或挡风玻璃，同时利用宽视野的可调整的相机(例如影像对齐/定位相机)。图4示意性地示出上述公开内容。410是广角相机，附接于后视镜412，415显示了它的视场。

430示出窄视野相机，其固定于挡风玻璃、车身或相对于车身固定。435示出永久附接的相机430的视场，在一些实施例中可以比415表示的视场更窄。刚性附接于车身或挡风玻璃的相机也被称为“固定的相机”。

在一些实施例中，通过找到与由固定的相机获得的图像的相互对应来校准可调整的相机的方向。

在一些实施例中，上述固定的相机可以如图5所示，是由两个相机组成的立体相机。535和536示出来自立体对530的各自的相机的视场，而537是它们的视场的重叠区域，其中可以进行立体匹配和提取距离图。一旦从重叠区域提取出深度信息，可以使用已知的深度估计技术在非重叠区域中估计/计算深度信息。

在由泥浆、雨水、挡风玻璃雨刷或其他原因引起的相机之一中的全部或部分图像阻塞的情况下，使用立体对的无障碍相机作为障碍图像区域的输入。

考虑图6，ADAS***的目标是增加驾驶安全度并增加驾驶员的经验。在该领域，调整警告阈值的问题是非平凡的折衷。若将警告阈值设得过高，则***可能会错过需要警告驾驶员的情况，或因在情况恶化后发出警告过迟而错过适当的时间，从而留给驾驶员反应的时间和选择余地很小。若将警告阈值设得过低，当驾驶员细心、充分注意并对状况和驾驶风格有信心把控时，则该***由于在正常或不明确的状况下向驾驶员发出警告从而对驾驶员无任何帮助并成为驾驶员的困扰。

针对该矛盾，本公开的解决方案之一是使用驾驶员监测相机。警告阈值根据估计出的驾驶员警觉性和/或该驾驶员注意的方向进行调整。例如，若探测到潜在障碍物，但驾驶员完全警惕并朝障碍物方向望去，则使警告阈值级别保持相对较高或甚至稍微升高，且警报不会被触发。在相反的情况下，若探测到驾驶员注意力不集中，或他/她的目光是游离于有潜在危险的障碍物之外的，则将警报阈值降低，因此即便处于相对低风险的状况，也能触发警报。图6示意性地示出上述公开内容。620表示握持驱动轮的驾驶员，610表示监测驾驶员的相机；410和430表示可调整的相机和固定的相机；415和435表示它们的相应的视场。

在一些实施例中，驾驶员监测相机还能支持驾驶员与***的接口，其包括手势接口和声音接口。

此外，驾驶员/乘员在车内的三维位置和姿势是从驾驶员监测相机和传感器估计出的，他/她们的位置被用于事故缓解控制和安全气囊部署。在即将发生的事故的状况下(图8所示的区域852)，可以使用车辆控制来减轻制动的后果。除了刹车之外，还可以改变车辆的位置，以保护驾驶员、乘员和对应的相邻的车辆区域。例如，汽车的油门、转向和制动可用于改变位置、方向和/或车辆速度，以要么避免碰撞，要么修改碰撞参数来使损伤最小化(例如，转动车辆，这样碰撞就在车辆的后部，而不是驾驶员的车门上)。

智能安全气囊部署考虑到驾驶员/乘员的身***置，使他/她们更好地被保护，而不是因安全气囊的部署而受伤。

图7A示出将驾驶员监测并入ADAS***的原理的流程图。框710和715代表简化形式的示例性的ADAS算法，框725表示来自驾驶员监测传感器的输入，框730示出对所述输入的分析。驾驶员的注意力水平可以通过分析他/她的注视方向、该注视方向与由ADAS探测和识别出的潜在风险状况之间的相关性和延迟来进行评估，还可以通过分析应用至车辆的驾驶员控制与由ADAS探测出的对应状况之间的相关性和延迟来进行评估。例如，ADAS可以测量道路上探测出事件的时刻与驾驶员对该事件进行反应的时刻之间的时间。进而，可以创建驾驶员简档来作为参考参数。例如，ADAS可以针对每个驾驶员标准反应时间进行记录，从而能执行个人警觉性评估。

针对构成明确的高级别风险的状况，如从框720指向框740的箭头上的文字“高”所示，启动对应的警报或车辆控制。针对无风险的状况，继续从框710块进行监测，而对于相对较低风险的边界情况，则将驾驶员的警觉性级别和其注意方向与风险进行比较。若驾驶员对探测到的潜在的碰撞方向进行注视，且距离还比较远，同时风险相对较低，则警告可能会推迟，直到或除非在后期阶段察觉到更高风险。而在驾驶员因他/她自己的电话或车内其他对象而分心的相反的情况下，警告阈值将被大幅降低。

图7B示出说明状况感知ADAS操作的原则的流程图。750表示探测器的灵敏度阈值、搜索的区域和精度、计算资源的分配和算法执行的优先顺序等。755表示交通标志检测模块；760和765表示***中所有的各种探测器以及相应的跟踪模块和算法，包括车道、行人、车辆和其他对象；780表示所有从车辆获取数据的传感器和接口，该数据包括速度、灯和指示器的状态、刹车、方向盘方向等；775表示一个或多个摄像机，提供视频输入；770表示高级别状况评价模块，它在来自检测/跟踪的输入以及车辆数据的基础上，总结当前状况，并针对车辆和驾驶员接口的模块785，发送合适的输出，从而发布合适的驾驶员警告和/或适当改变车辆的控制。

从状况评价模块770到阈值和***参数模块750的反馈表示***参数的自适应更新，并促成对状况自适应的ADAS行为和调整。例如，若探测到突出学校或儿童的交通标志，则可以降低速度警告阈值，行人探测算法可以获得更多的计算资源，可以降低行人探测和警告阈值，甚至在虚警概率增加的情况下也能使响应曲线面向更少的失误。

图8示出用于说明状况风险与由***发布的驾驶员警觉性和警告或车辆控制之间的关系的图表。

进而，对驾驶员设备和/或车辆设备的接口可以添加至ADAS。这样的接口可以从驾驶员/车辆设备接收数据，以便在特定时间驱动设备的使用，并据此评估他/她的关注级别。例如，若来自驾驶员的电话机的信号表明他/她刚打开一个短信，则ADAS可以断定他/她目前分心和不专注驾驶。类似地，来自车辆媒体***的信号表明，驾驶员目前正在操作无线电/导航***。

在图8中，水平轴指示驾驶员警觉性级别，而垂直轴指示由***评估的道路状况的风险。810、820和830是图表的一部分，将未警告区840与警告区850分开。

警告区是指对驾驶员发出警告或对车辆进行特别控制的状态。特别控制可以包括减少发动机功率、停止加速、应用刹车、交替控制灵敏度，以防止或减轻事故和/或任何其他对车辆控制的干预。为简洁起见，将警告驾驶员、对车辆施加适当的控制或者这两者一起称为“ADAS警告”。

825表示难以忍受的低驾驶员警觉性的区域，在这种情况下，不管道路状况如何都发出警告。区域835、845和852指的是风险被估计得高于可接受阈值的道路状况，且无论驾驶员的注意程度如何，都发出警告。835表示警告区，845表示严重警告区，而852表示事故缓解区。对驾驶员发出什么样的警告和对车辆的事故缓解控制取决于具体的实施例、以及图1所示的算法和接口配置164和166。

最后，图的区域810表示折衷区域，其中警告发布和类型既取决于估计出的状况风险又取决于驾驶员警觉级别。

根据一些实施例，提供基于计算机视觉的驾驶员辅助***。所述***可以包括以下的一个或多个：

可调整的相机，其具有75度以上的视角，并以可调整的方式安装于车辆，使得与车辆有关的该可调整的相机的取向是可调整的；

一个或多个面朝外图像传感器，其安装于车辆，捕获车辆的前方区域的图像；

一个或多个内部传感器，其定位在车辆内，并感测与车辆的驾驶员的警觉性有关的参数；

一个或多个固定的相机，其具有70度以下的视角，安装于车辆，使得与车辆有关的该固定的相机的取向是固定的；

传感器，其被配置为感测车辆驾驶员和车辆内乘员的位置；

第一处理电路，其与可调整的和固定的相机进行通信连接，被配置为处理由可调整的和固定的相机捕获的图像，以识别与车辆有关的危险状况；

通信电路，其被配置为通过分布式数据网络进行通信；

一个或多个驾驶员探测器，包括面朝内图像传感器，该面朝内图像传感器定位在车辆内，并感测车辆的驾驶员的注视方向；

第二处理电路，其与所述第一处理电路和所述驾驶员探测器进行通信连接，并被配置为：

(i)针对每个识别出的危险状况，确定风险级别，以及

(ii)在确定与给定的危险状况有关的风险级别高于动态阈值时，发出警告或干预车辆控制；

第三处理电路，其与内部传感器通信连接，并被配置为：

(i)在确定与给定的危险状况有关的风险级别高于动态阈值时，发出警告或干预车辆控制；

(ii)其中，动态阈值取决于处理电路根据由内部传感器感测到的与车辆的驾驶员的警觉性有关的参数而确定出的该驾驶员的当前的警觉性。

根据一些实施例，一个或多个固定的相机包括具有70度以下视角的至少两个相机；

根据一些实施例，该至少两个相机捕获车辆的前方区域的立体图像，第一处理电路进一步被配置为根据立体图像来获取与图像中出现的对象有关的深度信息；

根据一些实施例，第一处理电路进一步被配置为使用由至少两个相机中的一个相机捕获的图像数据来补偿该至少两个相机中的另一个相机的视野障碍。

根据一些实施例，第一处理电路进一步被配置为使用所述固定的相机来校准可调整的相机。

根据一些实施例，可调整的相机安装于车辆的后视镜。

根据一些实施例，固定的相机安装于车辆的挡风玻璃。

根据一些实施例，固定的相机安装得靠近车辆的前照灯。

根据一些实施例，第一处理电路被配置为利用神经网络来执行图像处理的至少一部分。

根据一些实施例，可调整的相机安装于车辆的后视镜，且固定的相机包括安装于车辆的挡风玻璃处的至少两个相机。

根据一些实施例，动态阈值取决于由驾驶员探测器感测到的驾驶员的当前的注视方向。

根据一些实施例，第二处理电路进一步被配置为测量每个事件a)与事件b)之间的时间间隔，事件a)表示识别出的危险状况中的一个或多个给定的危险状况的发生，事件b)表示驾驶员的注视方向朝给定的危险状况的转移。

根据一些实施例，第二处理电路进一步被配置为根据测量出的时间间隔来评估驾驶员的警觉性。

根据一些实施例，***进一步被配置为：

a.通过针对每个个人用户记录危险状况发生这一事件与注视转向该危险状况这一事件之间的参考时间间隔数据，来为个人用户组中的每个个人用户动态创建参考时间间隔数据；以及

b.将当前识别出的危险状况的时间间隔数据与针对当前驾驶员的参考时间间隔数据进行比较，以评估当前驾驶员的警觉性。

根据一些实施例，第二处理电路进一步被配置为：根据感测到的驾驶员和乘员的位置，控制车辆改变撞击点以减轻对驾驶员和乘员的伤害。

根据一些实施例，第三处理电路进一步被配置为：从车辆内的媒体设备接收用于指示驾驶员与媒体设备的交互级别的信号，并在评估驾驶员的当前的警觉性时将由媒体设备指示的当前的交互级别作为因素包括进去。

本领域技术人员还应理解，在本发明的其他实施例中，由***的特定组件执行的上述一些功能可以由***的不同组件执行。

在本发明的实施例的描述和要求中，每个单词“包括”、“包含”和“具有”以及它们的形式不必局限于与单词相关联的列表中的成员。

本公开示出和描述了本发明的示例性实施例和其通用的几个示例。需要理解的是，本发明能够在各种其他组合和环境中使用，并且能够在本文所述的本发明主旨范围内进行更改或修改。

虽然本发明已经说明和描述了本发明的某些特征，但对于本领域的技术人员来说，能想到多种修改、替换、更改和等价物。因此，应理解所附权利要求书旨在涵盖所有此类修改和更改。

Claims (20)

1.一种基于计算机视觉的驾驶员辅助***，包含：

可调整的相机，其具有75度以上的视角，并以可调整的方式安装于车辆，使得与所述车辆有关的所述可调整的相机的取向是可调整的；

一个或多个固定的相机，其具有70度以下的视角，并安装于车辆，使得与所述车辆有关的所述固定的相机的取向是固定的；以及

第一处理电路，其与所述可调整的相机和所述固定的相机进行通信连接，并被配置为对由所述可调整的相机和所述固定的相机捕获的图像进行处理，以识别与所述车辆有关的危险状况。

2.根据权利要求1所述的***，其中，

所述一个或多个固定的相机包括具有70度以下的视角的至少两个相机。

3.根据权利要求2所述的***，其中，

所述至少两个相机捕捉所述车辆的前方区域的立体图像，所述第一处理电路进一步被配置为根据所述立体图像来获取与所述图像中出现的对象有关的深度信息。

4.根据权利要求2所述的***，其中，

所述第一处理电路进一步被配置为使用由所述至少两个相机中的一个相机捕获的图像数据来补偿所述至少两个相机中的另一个相机的视野障碍。

5.根据权利要求1所述的***，其中，

所述第一处理电路进一步被配置为使用所述固定的相机来校准所述可调整的相机。

6.根据权利要求1所述的***，其中，

所述可调整的相机安装于所述车辆的后视镜。

7.根据权利要求1所述的***，其中，

所述固定的相机安装于所述车辆的挡风玻璃。

8.根据权利要求1所述的***，其中，

所述固定的相机安装得靠近所述车辆的前照灯。

9.根据权利要求1所述的***，还包括通信电路，所述通信电路被配置为通过分布式数据网络进行通信，

所述第一处理电路被配置为利用神经网络来执行所述图像处理的至少一部分。

10.根据权利要求1所述的***，其中，

所述可调整的相机安装于所述车辆的后视镜，且所述固定的相机包括安装于所述车辆的挡风玻璃处的至少两个相机。

11.根据权利要求1所述的***，还包括：

一个或多个驾驶员探测器，其具有面朝内图像传感器，所述面朝内图像传感器定位在车辆内，并感测所述车辆的驾驶员的注视方向；以及

第二处理电路，其与所述第一处理电路和所述驾驶员探测器进行通信连接，并被配置为：

针对每个识别出的危险状况，确定风险级别；以及

在确定与给定的危险状况有关的风险级别高于动态阈值时，

发出警告或干预车辆控制，所述动态阈值取决于由所述驾驶员探测器感测到的所述驾驶员的当前的注视方向。

12.根据权利要求11所述的***，其中，

所述第二处理电路进一步被配置为测量每个事件a)与事件b)之间的时间间隔，事件a)表示所述识别出的危险状况中的一个或多个给定的危险状况的发生，事件b)表示所述驾驶员的所述注视方向朝所述给定的危险状况的转移。

13.一种基于计算机视觉的驾驶员支持***，包含：

一个或多个面朝外图像传感器，其安装于车辆，以捕获所述车辆的前方区域的图像；

一个或多个驾驶员探测器，其包含面朝内图像传感器，所述面朝内图像传感器定位在车辆内，并感测所述车辆的驾驶员的注视方向；以及

处理电路，其与所述面朝外图像传感器和所述驾驶员探测器进行通信连接，并被配置为：

处理由所述面朝外图像传感器捕获的图像，以识别与所述车辆有关的危险状况；

针对每个识别出的危险状况，确定风险级别；以及

在确定与给定的危险状况有关的风险级别高于动态阈值时，发出警告或干预车辆控制，所述动态阈值取决于由所述驾驶员探测器感测到的所述驾驶员的当前的注视方向。

14.根据权利要求13所述的***，其中，

所述处理电路进一步被配置为测量每个事件a)与事件b)之间的时间间隔，事件a)表示所述识别出的危险状况中的一个或多个给定的危险状况的发生，事件b)表示所述驾驶员的所述注视方向朝所述给定的危险状况的转移。

15.根据权利要求14所述的***，其中，

所述处理电路进一步被配置为根据测量出的所述时间间隔来评估所述驾驶员的警觉性。

16.根据权利要求14所述的***，其中，

所述***进一步被配置为：

通过针对每个个人用户记录危险状况发生这一事件与注视转向所述危险状况这一事件之间的参考时间间隔数据，来为个人用户组中的所述每个个人用户动态创建参考时间间隔数据；以及

将当前识别出的危险状况的时间间隔数据与针对当前驾驶员的参考时间间隔数据进行比较，以评估所述当前驾驶员的警觉性。

17.根据权利要求13所述的***，还包括传感器，所述传感器被配置为感测所述车辆的所述驾驶员的位置以及所述车辆内的乘员的位置。

18.根据权利要求17所述的***，其中，

所述处理电路进一步被配置为：根据感测到的所述驾驶员和乘员的所述位置，控制所述车辆改变撞击点以减轻对所述驾驶员和乘员的伤害。

19.一种基于计算机视觉的驾驶员支持***，包含：

一个或多个图像传感器，其安装于车辆，以捕获所述车辆的前方区域的图像；

一个或多个内部传感器，其定位在车辆内，并感测与所述车辆的驾驶员的警觉性有关的参数；以及

处理电路，其与所述图像传感器和所述内部传感器进行通信连接，并被配置为：

处理由所述图像传感器捕获的图像，以识别与所述车辆有关的危险状况；

针对每个识别出的危险状况，确定风险级别；以及

在确定与给定的危险状况有关的风险级别高于动态阈值时，发出警告或干预车辆控制，所述动态阈值取决于所述处理电路根据由所述内部传感器感测到的与所述车辆的驾驶员的警觉性有关的所述参数而确定出的所述驾驶员的当前的警觉性。

20.根据权利要求19所述的***，其中，

所述处理电路进一步被配置为：从所述车辆内的媒体设备接收用于指示所述驾驶员与所述媒体设备的交互级别的信号，并在评估所述驾驶员的当前的警觉性时将由所述媒体设备指示的当前的交互级别作为因素包括进去。