CN114475511A - 基于视觉的气囊启动 - Google Patents

基于视觉的气囊启动 Download PDF

Info

Publication number
CN114475511A
CN114475511A CN202110504103.1A CN202110504103A CN114475511A CN 114475511 A CN114475511 A CN 114475511A CN 202110504103 A CN202110504103 A CN 202110504103A CN 114475511 A CN114475511 A CN 114475511A
Authority
CN
China
Prior art keywords
dimensional
image
segmented
height
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110504103.1A
Other languages
English (en)
Other versions
CN114475511B (zh
Inventor
I.德鲁克
G.卡姆希
M.巴尔塔克斯
K.尼斯特尔
R.默圭
D.M.萨拉
L.A.法伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN114475511A publication Critical patent/CN114475511A/zh
Application granted granted Critical
Publication of CN114475511B publication Critical patent/CN114475511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B60R21/23—Inflatable members
    • B60R21/231—Inflatable members characterised by their shape, construction or spatial configuration
    • B60R21/2334—Expansion control features
    • B60R21/2338—Tethers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01516—Passenger detection systems using force or pressure sensing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01204—Actuation parameters of safety arrangents
    • B60R2021/01211—Expansion of air bags
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B60R2021/161—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags characterised by additional means for controlling deployment trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Air Bags (AREA)
  • Image Analysis (AREA)

Abstract

基于视觉的气囊启用可以包括捕获乘客的二维图像、分割图像、对图像进行分类以及根据图像确定乘客的就座高度。可以至少部分基于所确定的就座高度来控制气囊的启用或禁用展开。

Description

基于视觉的气囊启动
技术领域
本公开涉及汽车辅助乘客约束***。更具体地，本发明涉及用于控制这种***的乘客检测和乘客属性确定。
背景技术
可充气约束***(例如安全气囊)存在于乘用车中。对于某些乘客来说，可能期望抑制气囊的展开。例如，对于儿童乘客来说，可能不希望气囊展开。当乘客就坐区域被面后向的儿童约束***(CRS)占据时，气囊抑制也是可取的。当就坐区域被以这种方式占据时，可以使用某些手动锁定和重量感测技术来降低气囊展开的风险。
发明内容
在一个示例性实施例中，一种设备可以包括：提供车辆就坐区域的二维图像的摄像头和具有高度属性模型的控制器，该高度属性模型用于确定出现在二维图像中的车辆就坐区域中的就座乘客的就座高度。可以在与经分割的二维训练图像的训练数据库对应的三维骨架上训练高度属性模型。该设备还可以包括控制器，该控制器能够基于所确定的就座乘客的就座高度来展开气囊。
除了本文描述的一个或多个特征之外，可以对经分割的二维训练图像进行二维骨架提取，以产生投影在与经分割的二维训练图像对应的三维训练图像上的二维骨架，从而产生三维骨架。
除了本文描述的一个或多个特征之外，该设备还可以包括座椅重量传感器，其提供就座乘客的感测重量，其中高度属性模块还可以包括就座乘客的感测重量的融合。
除了本文描述的一个或多个特征之外，控制器还可以包括姿态模型，用于确定出现在二维图像中的车辆就坐区域中的就座乘客的姿态，其中可以在来自训练数据库的经分割的二维训练图像上训练了姿态模型。
除了本文描述的一个或多个特征之外，控制器还可以包括分割模型，该分割模型执行二维图像的背景分割，以向高度属性模型提供经分割的二维图像，其中可以在来自所述训练数据库的经分割的二维训练图像上训练分割模型，并且其中可以基于同时捕获的二维和三维训练图像对来产生所述经分割的二维训练图像。
除了本文描述的一个或多个特征之外，控制器还可以包括分割模型，分割模型执行二维图像的背景分割，以向高度属性模型和姿态模型提供经分割的二维图像，可以在来自训练数据库的经分割的二维训练图像上训练了分割模型，且其中可以基于同时捕获的二维和三维训练图像对产生经分割的二维训练图像。
除了本文描述的一个或多个特征之外，能够基于所确定的就座乘客的就座高度展开气囊的控制器还能够基于就座乘客的重量展开气囊。
在另一个示例性实施例中，一种设备可以包括提供车辆就坐区域的二维图像的摄像头、提供就坐区域中的座位上的感测重量的座位重量传感器以及控制器。控制器可以包括:分割模型，执行二维图像的背景分割，以提供出现在二维图像中的车辆就坐区域中的就座乘客的经分割的二维图像；姿态模型，基于经分割的二维图像确定车辆就坐区域中就座乘客的姿态；高度和重量属性模型，其基于经分割的二维图像和感测到的就座乘客的重量来确定车辆就座区域中就座乘客的就座高度和重量，以及控制器，其能够基于所确定的就座乘客的就座高度和重量来展开气囊。
除了本文描述的一个或多个特征之外，分割模型、姿态模型以及高度和重量属性模型中的每一个可以包括离线训练的机器学习模型。
除了本文描述的一个或多个特征之外，机器学习模型可以包括神经网络。
除了本文描述的一个或多个特征之外，分割模型可以包括在经分割的二维训练图像的训练数据库上训练的神经网络，其中经分割的二维训练图像是基于同时捕获的二维和三维训练图像对而产生的。
除了本文描述的一个或多个特征之外，姿态模型可以包括在经分割的二维训练图像的训练数据库上训练的神经网络，其中经分割的二维训练图像是基于同时捕获的二维和三维训练图像对而产生的。
除了本文描述的一个或多个特征之外，高度和重量属性模型可以包括在与经分割的二维训练图像对应的训练数据库的三维骨架上训练的神经网络，其中经分割的二维训练图像是基于同时捕获的二维和三维训练图像对而产生的。
除了本文描述的一个或多个特征之外，可以对经分割的二维训练图像进行二维骨架提取，以产生投影在与经分割的二维训练图像对应的三维训练图像上的二维骨架，从而产生三维骨架。
在又一示例性实施例中，一种方法可以包括:捕获车辆就坐区域的二维图像；用分割模型分割二维图像，以提供经分割的二维图像；用姿态模型将经分割的二维图像分类为乘客具有可接受姿态和没有乘客具有可接受姿态中的一种；利用高度属性模型，基于经分割的二维图像，确定具有可接受姿态的乘客的就座高度；和能够至少部分地基于满足预定高度要求的具有可接受姿态的乘客的经确定就座高度来展开气囊。
除了本文描述的一个或多个特征之外，该方法还可以包括至少部分地基于未满足预定高度要求的具有可接受姿态的乘客的经确定就座高度来禁止气囊的展开。
除了本文描述的一个或多个特征之外，该方法还可以包括基于被分类为没有乘客具有可接受姿态的经分割二维图像来禁止气囊的展开。
除了本文描述的一个或多个特征之外，该方法还可以包括感测就坐区域中的座位上的重量，其中使气囊能够展开还至少部分地基于感测到的座位上的重量。
除了本文描述的一个或多个特征之外，该方法还可以包括感测就坐区域中的座位上的重量，其中禁用气囊的展开还至少部分地基于感测到的座位上的重量。
除了本文描述的一个或多个特征之外，分割模型、姿态模型和高度属性模型中的每一个都可以包括离线训练的神经网络。
当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，详细描述参考附图，其中:
图1示出了根据本公开的示例性车辆；
图2示出了根据本公开的离线训练环境；和
图3示出了根据本公开的示例性方法。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或使用。在所有附图中，相应的附图标记表示相似或相应的部件和特征。
现在转向图1，示例性车辆10可包括乘客可充气约束展开启用***12，用于执行下述展开启用方法。根据该示例，***12包括车辆硬件14，该车辆硬件14具有车辆摄像头21、车辆数据处理模块40、车辆通信模块50、车辆自主驾驶模块60、可充气约束(安全气囊)感测和诊断模块(SDM)65、其他车辆电子模块70，以及执行本文描述的方法、步骤和/或功能所需的***、模块、设备、部件、硬件、软件等的任何其他合适的组合。车辆硬件14 的各种部件可以通过车辆通信网络80(例如，有线车辆通信总线、无线车辆通信网络或一些其他合适的通信网络)连接。车辆10可以是传统的非自主车辆或自主或半自主车辆。短语“自动或半自动车辆”以及任何衍生术语，广义上是指能够自动执行与驾驶相关的动作或功能的任何车辆，无需驾驶员请求，并且包括属于汽车工程师协会(SAE)国际分类***1-5级的动作。
本领域的普通技术人员将会理解，车辆硬件14的示意性框图仅仅意味着示出与本方法一起使用的一些更相关的硬件部件，并且不意味着是通常在这种车辆上存在的车辆硬件的精确或详尽的表示。此外，车辆硬件14的结构或架构可以与图1所示的结构或架构有很大不同(例如，模块40-70可以被集成或以其他方式彼此组合或与其他设备组合，而不是全部是分离的、独立的部件)。由于无数种可能的布置，并且为了简洁和清楚起见，结合图1 所示的实施例描述了车辆硬件14，但是应当理解，本***和方法不限于此。
车辆摄像头21安装在车厢内部，并向本***和方法提供摄像头图像数据。尽管以下示例在生成相应图像或静止帧的摄像头的背景下描述了车辆摄像头21，但是摄像头21可以包括工业中已知或使用的任何合适的摄像头或视觉***，只要它能够收集关于车厢内部环境的图像、表示(representation) 和/或其他信息。根据特定的应用，摄像头21可以包括:静态摄像头、视频摄像头；BW和/或彩色摄像头；模拟和/或数字摄像头；宽和/或窄视场(FOV) 摄像头；并且可以是单通道和/或立体成像***的一部分，以上仅是举例。根据非限制性示例，车辆硬件14包括摄像头21，摄像头21是面向乘客的CMOS 摄像头，并且经由车辆通信网络80向包括车辆数据处理模块40的***12 的其余部分提供摄像头图像数据。摄像头21可以是广角摄像头(例如，具有大约170°或更大的FOV)，从而可以获得相关就坐区域的全景或几乎全景图像。由摄像头21输出的摄像头图像数据可以包括原始视频或静止图像数据(即，没有或很少预处理)，或者在摄像头具有其自己的图像处理资源并且在将捕获的图像作为摄像头图像数据输出之前对其执行预处理的情况下，摄像头图像数据可以包括经预处理的视频或静止图像数据。
车辆摄像头21可以根据任何数量的不同配置被布置或设置在车厢中。例如，摄像头21可以安装在车顶盖或顶篷中且位于驾驶员侧和乘客侧座椅之间的中央位置。在这种配置中，摄像头21可以安装在后视镜部件中、信息娱乐单元等中，或者安装在其他中央位置。另一方面，本***可以具有安装在车厢中靠近车辆A柱或B柱的侧部位置的摄像头21。可以采用其他配置，包括具有附加摄像头和不同安装位置的配置。
座椅重量传感器31可以安装在前排乘客就坐区域内，特别是其下部水平部分。当乘客座椅被乘客占据时，座椅重量传感器将指示乘客是否超过校准重量，这在本领域中是众所周知和理解的。座椅重量传感器31的确切形式或结构可以变化，并且不限于任何特定的实施例。
车辆数据处理模块40、车辆通信模块50、车辆自动驾驶模块60、SDM 65以及其他车辆电子模块70可以包括任何合适的部件，并且可以根据行业中已知或使用的任何合适的配置来布置。因为模块40-70的具体架构不是关键的，并且因为这些模块可以根据如此多的不同实施例来提供，所以模块40 的部件的以下描述可以适用于模块40-70中的任何一个，除非另有说明。例如，模块40-70中的每一个可以包括一个或多个处理设备42、存储设备44、输入/输出设备以及通常在这些模块上存在的任何其他硬件和/或软件。处理设备42可以是能够处理电子指令的任何类型的设备，包括微处理器、微控制器、主处理器、控制器、车辆通信处理器、通用处理单元(GPU)、加速器、现场可编程门阵列(FPGA)和专用集成电路(ASIC)，仅举几个例子。它可以是仅用于模块40的专用处理器，或者可以与其他车辆***、模块、设备、部件等共享。处理设备42可以执行各种类型的电子指令，例如存储在存储设备44中的软件和/或固件程序，这使得模块40能够执行各种功能。存储设备44可以是非暂时性计算机可读介质；这些包括不同类型的随机存取存储器(RAM)，包括各种类型的动态RAM(DRAM)和静态RAM(SRAM)、只读存储器(ROM)、固态驱动器(SSD)(包括其他固态存储器，例如固态混合驱动器(SSHD))、硬盘驱动器(HDD)、磁盘或光盘驱动器或其他合适的电子存储信息的计算机介质。在一个示例中，处理设备42执行程序或处理数据，并且存储器设备44存储程序或其他数据，以便帮助执行或支持本方法的至少一部分。
车辆数据处理模块40接收来自摄像头21的摄像头图像数据和来自座椅重量传感器31的重量数据，并且可以被配置为在气囊展开确定信息之前评估、分析和/或以其他方式处理这些输入，如下所述。车辆数据处理模块40 可以间接或直接连接到车辆摄像头21和座椅重量传感器31，以及其他模块 50-70的任何组合(例如，通过车辆通信网络80)。车辆数据处理模块40可以与车辆摄像头21和/或座椅重量传感器31集成或结合，使得它们是单个封装模块或单元的一部分，或者模块40可以与车辆中的任何数量的其他***、模块、设备和/或部件结合。
车辆通信模块50为车辆提供短程和/或远程无线通信能力，使得车辆可以与各种设备和***通信和交换数据，包括例如与自主或半自主车辆一起使用的其他车辆或后端或基于云的设施。例如，车辆通信模块50可以包括短距离无线电路，其能够实现短距离无线通信(例如，蓝牙TM,、其他IEEE 802.15 通信、Wi-FiTM,、其他IEEE 802.11通信、车辆对车辆通信等)。模块50还可以包括蜂窝芯片组和/或车辆远程信息处理单元，其能够与后端设施或其他远程实体进行远程无线通信(例如，蜂窝、远程信息处理通信等)。根据一个非限制性示例，车辆通信模块50包括与上述类似的处理和存储设备52、54、短程无线电路56、蜂窝芯片组形式的远程无线电路58以及一个或多个天线。车辆通信模块50可以间接或直接连接到车辆摄像头21和座椅重量传感器31，以及其他模块40、60、65、70的任何组合(例如，通过车辆通信网络80)。模块50可以与车辆中的任何数量的其他***、模块、设备和/或部件相结合。
车辆自主驾驶模块60可以为车辆提供自主和/或半自主驾驶能力，并且根据特定实施例，可以是单个模块或单元或者模块或单元的组合。车辆自主驾驶模块60的具体布置、配置和/或架构不是必须的，只要该模块有助于使车辆能够执行自主和/或半自主驾驶功能。车辆自主驾驶模块60可以间接或直接连接到车辆摄像头21和座椅重量传感器31，以及其他模块40、50、70 的任何组合(例如，通过车辆通信网络80)。模块60可以与车辆中的任何数量的其他***、模块、设备和/或部件相结合，或者，模块60可以完全省略。
SDM 65可以执行与车辆上的可充气约束***相关的功能。SDM 65可以接收和处理来自惯性传感器的信号，该惯性传感器测量碰撞严重程度，并且在一些***中还会测量方向。SDM 65可以在碰撞事件之前的一段时间内存储某些车辆信息。SDM 65可以向车辆的各种气囊提供展开信号，导致气囊充气。根据控制算法，通过SDM 65，可以针对整个车辆中的各个安全气囊抑制安全气囊展开信号。传统上，前排乘客座椅中的座椅重量传感器31 可以直接或经由例如车身控制模块或由SDM做出乘客气囊(一个或多个) 展开决定所需的其他控制器向SDM提供信号。例如，除非乘客在座椅重量传感器31处指示预定重量，否则可以抑制展开。
车辆电子模块70可以包括帮助实现本方法所需的任何其他合适的模块。例如，模块70可以包括信息娱乐模块、动力传动***控制模块(PCM)、发动机控制模块(ECM)、变速器控制模块(TCM)、车身控制模块(BCM)、牵引力控制或稳定性控制模块、巡航控制模块、转向控制模块、制动控制模块等的任意组合。与前面的模块一样，车辆电子模块70可以间接或直接连接到车辆摄像头21和座椅重量传感器31，以及其他模块40、50、60、65 的任意组合(例如经由车辆通信网络80)。模块70可以与车辆中的任何数量的其他***、模块、设备和/或部件相结合。
根据本公开，确定能够展开乘客可充气约束装置的适当性条件可以包括由在离线环境中训练的分类器进行的在线图像处理。在一个实施例中，参考图2，离线训练环境200可以包括二维(2D)摄像头202和三维(3D)摄像头204。2D摄像头202可以是用于提供图像数据的任何合适的种类，例如传统的RGB CMOS或CCD摄像头。本领域普通技术人员将理解，在离线训练和在线应用处理中，图像分辨率对于图像保真度而言在低端的裁剪图像级别和在高端相对于数据吞吐量而言都是至关重要的。在一个实施例中，大约 300×300像素的最终裁剪图像分辨率提供了令人满意的平衡。其他解决方案也在本公开的范围内，并且本示例仅作为说明，而不是限制或必要的。例如， 3D摄像头204可以是用于通过三角测量或使用已知的CCD或CMOS的飞行时间来提供深度图图像(depth map image)的任何合适的种类。3D摄像头204可以是单个或立体成像设备以及提供深度图图像的相关处理。2D摄像头202和3D摄像头204的一个使用目的是提供3D图像到2D图像平面的图像对应。因此，由于这里参考了2D和3D图像，因此假设3D图像按照 2D空间一致性被映射到2D图像。因此，应当理解，理想地，2D摄像头202 和3D摄像头204的视点是相同的。就2D摄像头202和3D摄像头204的功能可以集成到单个设备中而言，这种配置可能是优选的。否则，2D摄像头 202和3D摄像头204的放置尽可能地接近。
在离线训练过程中，2D摄像头202和3D摄像头204被配置为优选地提供时不变图像(time invariant image)。也就是说，图像是在相同的时刻或非常接近的时间被捕获的，以便近似同时捕获的图像。这种同时捕获的2D和 3D图像可以被称为图像对。这可以是优选的，特别是在图像捕获会话期间图像对象可能易于移动的情况下。此外，在本实施例中，2D摄像头202和 3D摄像头204被布置在实际车辆乘客车厢中，并且优选地被布置在空间中的位置尽可能实际地对应于如本文所讨论的图像捕获车载应用。或者，理想的是在几何结构方面尽可能接近车载应用的仿真模型环境(mock-up environment)。除非此处特别说明，否则此处的进一步参考是关于离线车辆或仿真模型。在本实施例中，例如，优选的是与包括图1所示的车辆摄像头 21的乘客可充气约束展开启用***12的示例性车载配置对应的离线布置。在本实施例中，捕获坐在乘客座椅上的人类对象的图像。可以捕获代表许多不同人类对象的许多不同图像。此外，可以捕捉代表许多不同座位、姿态或姿势的许多不同图像。图像对(image pair)被保留在训练数据库201中，其中2D图像和3D图像相互参照索引，从而确保对应性。作为图像捕获过程的一部分，可以将图像从其原始分辨率裁剪为较低的分辨率，从而提供视野更有限并且特别对应于感兴趣区域的图像，该感兴趣区域是车辆或仿真模型的就坐区域。在训练数据库201的初始构建期间，可以执行图像的标记或注释。例如，某些基本事实，例如对象的就坐高度和重量，可以被手动地与图像相关联。就座高度是指就座对象从水平就座表面到其头顶的高度。
在一个实施例中，训练数据库201提供2D图像203和3D图像205的图像对，用于2D图像203的背景的分割(segmentation)207，其中人类对象和背景被容易地从3D图像205深度图中区分，并且背景被抑制。在分割 207之后，经分割的2D图像209被输出并提供给训练数据库211。训练数据库211可以独立于训练数据库201。或者，训练数据库211可以是训练数据库201的一部分。无论如何，经分割的2D图像209可以参考地索引到在分割207中使用的2D图像203和3D图像205的相应图像对。然后可以基于来自训练数据库211的经分割的2D图像209和由2D图像203提供的基础事实来训练分割模型213。分割模型213可以是任何合适的机器学习算法，例如深度神经网络。训练的分割模型213可用于在线方法中，以执行如本文所述的2D图像的背景分割。
在一个实施例中，训练数据库211为3D网格重建221提供经分割的2D 图像209。在3D网格重建之后，网格姿态219被输出，并且可以被提供给训练数据库，例如训练数据库211或201。例如，网格姿态可以包括诸如正常、倾斜(左或右)、懒散、交叉腿、腿胸相抵、二郎腿、伸展手臂等姿势属性。网格姿态219可以参考地索引到网格重建221中使用的分割2D图像209和/或2D图像203和3D图像205的相关相应图像对。然后可以基于经分割的2D图像209和网格姿态219来训练姿态模型229，从而为从经分割的2D图像209中提取对象姿态提供了基础事实。姿态模型229可以是任何合适的机器学习算法，例如深度神经网络。经训练的姿态模型229可用于在线方法中，以从2D图像中执行姿态提取，如本文所述。
在一个实施例中，训练数据库211为2D骨架提取215提供经分割的2D 图像209。在2D骨架提取之后，2D骨架217被输出，并且可以被提供给训练数据库，例如训练数据库211或201。2D骨架217可以被参考索引到2D 骨架提取215中使用的经分割的2D图像209和/或2D图像203和3D图像 205的相关相应图像对。然后，可以将2D骨架217投影223到3D图像205 上，以产生用于就座高度提取227的3D骨架225。然后可以基于经分割的 2D图像209、就座高度提取227和对象重量235来训练对象高度和重量属性模型231，对象重量235可以是例如图像注释数据。应当理解，高度和重量属性模型231提供了图像数据和重量数据的融合。高度和重量属性模型231 可以是任何合适的机器学习算法，例如深度神经网络。高度和重量属性模型 231可用于在线方法中，以如本文所述从2D图像中执行就座高度和重量提取。或者，例如，可以忽略重量并基于经分割的2D图像209和就座高度提取227来训练更有限的高度模型。
图3示出了在线方法300，用于确定启用乘客可充气约束装置的适当性，该装置包括应用如本文所述在离线环境中训练的模型。在一个实施例中，包括硬件实现方式的在线环境可以基本上符合图1的示例性车辆硬件14。方法 300可包括具有分割模型213的第一阶段303、包括姿态模型229的第二阶段305和包括高度和重量属性模型231的第三阶段307，所有这些都如上文所述地被离线训练。
方法300开始于301，进入第一阶段303，在该阶段，在框309，车辆摄像头21捕获乘客就坐区域的2D图像。图像捕获可以在车辆运行期间定期执行，包括以基本连续的方式，其中车辆摄像头以预定的帧速率提供视频馈送，并且2D图像可以是来自视频流的独立帧。可以在框309执行图像预处理，包括例如将图像从本地车辆摄像头21分辨率裁剪到期望的分辨率和区域，例如300×300像素。背景分割可以在框311发生，包括通过使用分割模型213，由此多余的图像背景信息被抑制，并且产生经分割的2D图像。
在框313，方法300的第二阶段305从第一阶段303接收经分割的2D 图像。框313可以包括姿态模型229，其中经分割的2D图像可以被分类为代表就坐区域的乘客姿势的多个姿势之一。在一个实施例中，姿态模型229 还可以将2D图像分类为面向后的儿童约束***(CRS)、空座椅、货物、未定义等。来自姿态模型229的分类可以传递到判定框315，在那里相对于该分类进行确定。例如，在姿态模型229将经分割的二维图像分类为乘客具有用于可充气约束展开的可接受姿态或姿势或者可接受进一步处理要求的情况下，方法300的执行可以在第三阶段307继续。然而，在姿态模型229提供了经分割的二维图像的分类(而非乘客(例如面向后方的CRS、货物)或处于不可接受的姿态或姿势的乘客)的情况下，方法300的执行可以在框317 处继续，在框317处可以调用对这种分类的适当响应。例如，框317可以通过向SDM 65提供适当的信息(例如展开标志(一个或多个))来简单地禁用与乘客就坐区域相关联的一些或所有可充气约束装置的展开，或者可以提供乘客离开位置的通知和相应的可充气约束装置的禁用，直到呈现正确的就坐位置。对于本领域普通技术人员来说，其他通知和动作可以是易于理解的。方法300可以从框317继续回到框309，重新开始该过程。
方法300的第三阶段307可以采用高度和重量属性模型231，其中经分割的2D图像和重量传感器31可以向其提供输入。高度和重量属性模型231 可以将乘客的就座高度和重量传递到判定框319和321，在该处针对乘客的就座高度和重量确定是否能够展开对应于乘客就座区域的可充气约束装置。可选地，简化的重量属性模型可以仅将乘客的就坐高度传递到判定框319和 321，在该处至少部分地基于乘客的就坐高度来确定是否能够展开对应于乘客就坐区域的可充气约束装置。例如，在由高度和重量属性模型231返回的乘客就座高度小于预定高度的情况下，判定框319可以设置不展开标志323。否则，在由高度和重量属性模型231返回的乘客就座高度不小于预定高度的情况下，判定框319可以退出到判定框321，以进一步评估乘客重量。在由高度和重量属性模型231返回的乘客的重量小于预定重量的情况下，判定框 321可以设置不展开标志325。否则，在由高度和重量属性模型231返回的乘客重量不小于预定重量的情况下，判定框321可以设置展开标志327。标志323、325、327可以向SDM 65提供信息，用于在碰撞的情况下启用或禁用对应于乘客就坐区域的一些或全部气囊的展开。在设置每个标志323、325、 327之后，方法300可以继续回到框309，再次开始该过程。
除非明确描述为“直接”，否则当在上述公开中描述第一和第二元件之间的关系时，该关系可以是在第一和第二元件之间不存在其他介入元件的直接关系，但是也可以是在第一和第二元件之间存在一个或多个介入元件(在空间上或功能上)的间接关系。
应当理解，方法中的一个或多个步骤可以以不同的顺序(或同时)执行，而不改变本公开的原理。此外，尽管每个实施例在上面被描述为具有某些特征，但是关于本公开的任何实施例描述的那些特征中的任何一个或多个可以在任何其他实施例中实现和/或与任何其他实施例的特征相结合，即使该结合没有被明确描述。换句话说，所描述的实施例不是相互排斥的，并且一个或多个实施例彼此的置换仍在本公开的范围内。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以进行各种改变，并且等同物可以替代其元件。此外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种设备，包括:
摄像头，提供车辆就坐区域的二维图像；
控制器，其包括高度属性模型，用于确定出现在二维图像中的车辆就坐区域中的就座乘客的就座高度，已经在与经分割的二维训练图像的训练数据库对应的三维骨架上训练了高度属性模型；和
控制器，其能够基于所确定的就座乘客的就座高度来展开气囊。
2.根据权利要求1所述的设备，其中，对经分割的二维训练图像进行二维骨架提取，以产生投影在与经分割的二维训练图像对应的三维训练图像上的二维骨架，从而产生三维骨架。
3.根据权利要求1所述的设备，还包括提供所述就座乘客的感测重量的座椅重量传感器，其中所述高度属性模块还包括所述就座乘客的感测重量的融合。
4.根据权利要求1所述的设备，其中，所述控制器还包括姿态模型，用于确定出现在二维图像中的车辆就坐区域中的就座乘客的姿态，已经在来自训练数据库的经分割的二维训练图像上训练了所述姿态模型。
5.根据权利要求1所述的设备，其中所述控制器还包括分割模型，所述分割模型执行所述二维图像的背景分割，以向所述高度属性模型提供经分割的二维图像，已经在来自所述训练数据库的经分割的二维训练图像上训练了所述分割模型，其中基于同时捕获的二维和三维训练图像对来产生所述经分割的二维训练图像。
6.根据权利要求4所述的设备，其中所述控制器还包括分割模型，所述分割模型执行所述二维图像的背景分割，以向所述高度属性模型和所述姿态模型提供经分割的二维图像，已经在来自所述训练数据库的经分割的二维训练图像上训练了所述分割模型，其中基于同时捕获的二维和三维训练图像对产生所述经分割的二维训练图像。
7.根据权利要求3所述的设备，其中能够基于所确定的就座乘客的就座高度展开气囊的所述控制器还能够基于就座乘客的重量展开气囊。
8.一种方法，包括:
捕获车辆就坐区域的二维图像；
用分割模型分割二维图像，以提供经分割的二维图像；
用姿态模型将经分割的二维图像分类为具有可接受姿态的乘客和不具有可接受姿态的乘客中的一种；
利用高度属性模型，基于经分割的二维图像，确定具有可接受姿态的乘客的就座高度；和
能够至少部分地基于满足预定高度要求的具有可接受姿态的乘客的经确定就座高度来展开气囊。
9.根据权利要求8所述的方法，还包括至少部分地基于未满足预定高度要求的具有可接受姿态的乘客的经确定就座高度来禁止气囊的展开。
10.根据权利要求8所述的方法，还包括基于被分类为不具有可接受姿态的乘客的经分割二维图像来禁止气囊的展开。
CN202110504103.1A 2020-10-27 2021-05-10 基于视觉的气囊启动 Active CN114475511B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/081,428 2020-10-27
US17/081,428 US11807181B2 (en) 2020-10-27 2020-10-27 Vision-based airbag enablement

Publications (2)

Publication Number Publication Date
CN114475511A true CN114475511A (zh) 2022-05-13
CN114475511B CN114475511B (zh) 2024-03-08

Family

ID=81076990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110504103.1A Active CN114475511B (zh) 2020-10-27 2021-05-10 基于视觉的气囊启动

Country Status (3)

Country Link
US (1) US11807181B2 (zh)
CN (1) CN114475511B (zh)
DE (1) DE102021112630B4 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022129408A1 (de) * 2022-11-08 2024-05-08 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Steuern eines Beifahrerairbags eines Fahrzeugs

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232460A1 (en) * 2002-04-19 2005-10-20 Marc Schmiz Safety device for a vehicle
CN1876444A (zh) * 2005-06-08 2006-12-13 现代奥途纳特株式会社 使用立体图像拼接识别车辆中乘客姿态的***和方法
US20090066065A1 (en) * 1995-06-07 2009-03-12 Automotive Technologies International, Inc. Optical Occupant Sensing Techniques
CN107031548A (zh) * 2015-11-08 2017-08-11 昶洧新能源汽车发展有限公司 自动乘客气囊开关
CN108805946A (zh) * 2017-05-05 2018-11-13 通用电气公司 用于为二维超声图像绘阴影的方法和***
CN110139607A (zh) * 2016-11-22 2019-08-16 通用电气公司 用于患者扫描设置的方法和***
FR3079652A1 (fr) * 2018-03-27 2019-10-04 Valeo Comfort And Driving Assistance Procede d'evaluation d'une distance, systeme d'evaluation associe et systeme de gestion d'un coussin gonflable
US20200126297A1 (en) * 2018-10-17 2020-04-23 Midea Group Co., Ltd. System and method for generating acupuncture points on reconstructed 3d human body model for physical therapy
CN111507174A (zh) * 2019-01-30 2020-08-07 斯特拉德视觉公司 预测乘客的身高及体重的方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6116640A (en) * 1997-04-01 2000-09-12 Fuji Electric Co., Ltd. Apparatus for detecting occupant's posture
DE19814691B4 (de) 1997-04-01 2008-11-27 Fuji Electric Co., Ltd., Kawasaki Vorrichtung zur Erfassung der Haltung eines Insassen
US20120018989A1 (en) * 2004-08-31 2012-01-26 Automotive Technologies International, Inc. Method for deploying a vehicular occupant protection system
CN102300749A (zh) * 2009-02-06 2011-12-28 马斯普罗电工株式会社 乘坐状态检测设备以及用于移动体的乘坐者监控***
JP6303907B2 (ja) * 2014-08-08 2018-04-04 株式会社デンソー 運転者監視装置
WO2018006019A1 (en) * 2016-07-01 2018-01-04 Itay Katz System and method for driver monitoring
JP7060790B2 (ja) * 2018-02-06 2022-04-27 ミツミ電機株式会社 カメラおよび乗員検知システム
DE102018206777B4 (de) 2018-05-02 2020-12-10 Zf Friedrichshafen Ag Tiefenauswertung zur Lokalisierung eines Fahrzeuginsassen in einem Fahrzeuginnenraum
DE102018207977B4 (de) 2018-05-22 2023-11-02 Zf Friedrichshafen Ag Innenüberwachung für Sicherheitsgurteinstellung
DE102018212877B4 (de) 2018-08-02 2020-10-15 Audi Ag Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs
DE102018214445A1 (de) 2018-08-27 2020-01-02 Audi Ag Verfahren zur Ermittlung eines Insassenmodells und Bildaufnahmeeinrichtung
CN111071113A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 车辆座椅智能调节方法和装置、车辆、电子设备、介质
WO2020165908A2 (en) * 2019-02-17 2020-08-20 Guardian Optical Technologies Ltd System, device, and methods for detecting and obtaining information on objects in a vehicle
WO2021005603A1 (en) * 2019-07-09 2021-01-14 Guardian Optical Technologies Ltd Systems, devices and methods for measuring the mass of objects in a vehicle
US11485308B2 (en) * 2020-06-29 2022-11-01 Nvidia Corporation In-cabin hazard prevention and safety control system for autonomous machine applications

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090066065A1 (en) * 1995-06-07 2009-03-12 Automotive Technologies International, Inc. Optical Occupant Sensing Techniques
US20050232460A1 (en) * 2002-04-19 2005-10-20 Marc Schmiz Safety device for a vehicle
CN1876444A (zh) * 2005-06-08 2006-12-13 现代奥途纳特株式会社 使用立体图像拼接识别车辆中乘客姿态的***和方法
CN107031548A (zh) * 2015-11-08 2017-08-11 昶洧新能源汽车发展有限公司 自动乘客气囊开关
CN110139607A (zh) * 2016-11-22 2019-08-16 通用电气公司 用于患者扫描设置的方法和***
CN108805946A (zh) * 2017-05-05 2018-11-13 通用电气公司 用于为二维超声图像绘阴影的方法和***
FR3079652A1 (fr) * 2018-03-27 2019-10-04 Valeo Comfort And Driving Assistance Procede d'evaluation d'une distance, systeme d'evaluation associe et systeme de gestion d'un coussin gonflable
US20200126297A1 (en) * 2018-10-17 2020-04-23 Midea Group Co., Ltd. System and method for generating acupuncture points on reconstructed 3d human body model for physical therapy
CN111507174A (zh) * 2019-01-30 2020-08-07 斯特拉德视觉公司 预测乘客的身高及体重的方法及装置

Also Published As

Publication number Publication date
DE102021112630B4 (de) 2023-05-17
US11807181B2 (en) 2023-11-07
CN114475511B (zh) 2024-03-08
US20220126772A1 (en) 2022-04-28
DE102021112630A1 (de) 2022-04-28

Similar Documents

Publication Publication Date Title
CN108621883B (zh) 监控车辆车厢
CN107428302B (zh) 利用车辆内部相机的占用者尺寸和姿势的检测
CN111469802B (zh) 座椅安全带状态确定***和方法
US6757009B1 (en) Apparatus for detecting the presence of an occupant in a motor vehicle
US7609893B2 (en) Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model
US6493620B2 (en) Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
US20040220705A1 (en) Visual classification and posture estimation of multiple vehicle occupants
US20080255731A1 (en) Occupant detection apparatus
JP2008269496A (ja) 乗員情報検出システム、乗員拘束システム、車両
JP2007022401A (ja) 乗員情報検出システム、乗員拘束装置、車両
JP2008129948A (ja) 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
US8560179B2 (en) Adaptive visual occupant detection and classification system
US20190329671A1 (en) Occupant information determination apparatus
CN114475511B (zh) 基于视觉的气囊启动
US11983952B2 (en) Physique determination apparatus and physique determination method
US20050175235A1 (en) Method and apparatus for selectively extracting training data for a pattern recognition classifier using grid generation
DE102021130589A1 (de) Vorrichtung zur auslösung eines airbags eines autonomen fahrzeugs und steuerungsverfahren davon
CN115376111A (zh) 眼睛注视跟踪校准
CN116348342A (zh) 用于确定驾驶者的姿势的方法
CN117121061A (zh) 用于生成注意区域的计算机实现的方法
CN115641568A (zh) 基于相机的车厢内对象定位

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant