CN110997418A - 车辆占用管理***和方法 - Google Patents
车辆占用管理***和方法 Download PDFInfo
- Publication number
- CN110997418A CN110997418A CN201780093931.2A CN201780093931A CN110997418A CN 110997418 A CN110997418 A CN 110997418A CN 201780093931 A CN201780093931 A CN 201780093931A CN 110997418 A CN110997418 A CN 110997418A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- passenger
- image
- passengers
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001815 facial effect Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 6
- 230000036651 mood Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
- B60N2210/10—Field detection presence sensors
- B60N2210/16—Electromagnetic waves
- B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
- B60N2210/24—Cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2220/00—Computerised treatment of data for controlling of seats
- B60N2220/10—Computerised treatment of data for controlling of seats using a database
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
描述了示例车辆占用管理***和方法。在一个实施方式中,一种方法接收当前车辆图像,所述当前车辆图像表示车辆的当前内部。占用管理***基于所述当前车辆图像来检测所述车辆中的至少一个乘客并确定所述乘客的就座位置。生成座位图,所述座位图标识所述车辆中的所述乘客的所述就座位置。
Description
技术领域
本公开涉及车辆***,并且更具体地涉及管理车辆中的乘员的***和方法。
背景技术
对于商业、政府和私人实体,汽车和其他交通工具提供很大一部分运输。当将乘客或物体从一个位置运输到另一位置时,诸如自主车辆的车辆在道路、停车场和其他区域行驶。自主车辆的示例应用是作为出租车或班车服务运行,所述出租车或班车服务响应于运输请求来接载一个或多个乘客。当以出租车或班车服务的形式运行时,自主汽车会驶向接载地点,使得一个或多个请求服务的乘客可以进入车辆。然后,车辆驶向一个或多个目的地,并允许一个或多个乘客离开车辆。
当自主车辆作为出租车或班车服务运行时,管理车辆的占用情况非常重要。例如,自主车辆需要知道哪些座位被占用以及有多少额外的乘客可以进入车辆。另外,自主车辆可能想要确定正确的乘客在适当的目的地离开车辆。
附图说明
参考以下附图描述本公开的非限制性和非详尽性实施例,其中除非另有说明,否则相同的附图标记贯穿各个附图指代相同的部分。
图1是示出包括占用管理***的车辆控制***的实施例的框图。
图2是示出占用管理***的实施例的框图。
图3示出具有多个内部相机的车辆的实施例,所述多个内部相机捕获车辆的内部的不同方位。
图4示出用于标识车辆中的乘客的方法的实施例。
图5示出用于在乘客进入或离开车辆时管理车辆的占用的方法的实施例。
图6A和图6B示出具有四个乘客就座位置的车辆的内部的示例图像。
图7A和图7B示出具有五个乘客的车辆的内部的示例图像。
图8示出在一些乘客改变了就座位置之后的图7A和图7B所示的车辆的内部的示例图像。
具体实施方式
在以下公开内容中,参考附图,所述附图形成本公开的一部分并且其中通过说明示出可以实践本公开的具体实施方式。应当理解,在不脱离本公开的范围的情况下,可以利用其他实施方式并且可以做出结构改变。说明书中对于“一个实施例”、“一种实施例”、“示例实施例”等的引用指示所述的实施例可以包括特定特征、结构或特性,但每一个实施例都可以不必包括所述特定特征、结构或特性。此外,此类短语不一定是指同一实施例。此外,当结合实施例描述特定特征、结构或特性时,无论是否明确描述,结合其他实施例实现这样的特征、结构或特性都在本领域技术人员的知识范围内。
本文公开的***、装置和方法的实现方式可以包括或利用包括计算机硬件(诸如,例如本文所讨论的一个或多个处理器和***存储器)的专用或通用计算机。本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可以为可以由通用或专用计算机***存取的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此,作为示例而非限制,本公开的实施方式可以包括至少两种截然不同的计算机可读介质:计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如,基于RAM)、快闪存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码装置并且可以由通用或专用计算机存取的任何其他介质。
本文公开的装置、***以及方法的实施方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机***和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬接线、无线或硬接线或无线的组合)向计算机传递或提供信息时,计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路,所述网络和/或数据链路可以用于以计算机可执行指令或数据结构的形式携带所需的程序代码手段并且可以由通用或专用计算机访问。上述的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如在处理器中执行时使通用计算机、专用计算机或专用处理装置执行某个功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)或者甚至源代码。尽管用特定于结构特征和/或方法动作的语言描述了本主题,但是应理解,在所附权利要求中限定的主题不必限于上面描述的所述特征或动作。更确切地,所述特征和动作被公开作为实施权利要求的示例性形式。
本领域技术人员将了解,本公开可以在网络计算环境中利用许多类型的计算机***配置进行实践,所述计算机***配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器***、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、传呼机、路由器、交换机、各种存储装置等等。本公开还可以在分布式***环境中实践,其中通过网络链接(通过硬接线数据链路、无线数据链路或通过硬接线与无线数据链路的组合)的本地和远程计算机***都执行任务。在分布式***环境中,程序模块可以位于本地和远程存储器存储装置两者中。
此外,在适当的情况下,本文描述的功能可以在以下一个或多个中执行:硬件、软件、固件、数字部件或模拟部件。例如,一个或多个专用集成电路(ASIC)可以被编程为执行本文中描述的***和过程中的一个或多个。某些术语在整个描述和权利要求中用于指代特定的***部件。本领域技术人员应了解,可以通过不同名称来指代部件。本文件并不意图区分名称不同但功能相同的部件。
应注意,本文讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行其功能的至少一部分。例如,传感器可以包括被配置为在一个或多个处理器中执行的计算机代码,并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文出于说明目的而提供,而无意进行限制。如相关领域的技术人员知道的,本公开的实施例可在另外的类型的装置中实现。
本公开的至少一些实施例涉及计算机程序产品,其包括存储在任何计算机可用介质上的这种逻辑(例如,以软件形式)。此类软件在一种或多种数据处理装置中执行时使装置如本文所描述的进行操作。
图1是示出包括占用管理***104的车辆内的车辆控制***100的实施例的框图。自动驾驶/辅助***102可以用于自动化或控制车辆的操作或者向人类驾驶员提供辅助。例如,自动驾驶/辅助***102可以控制车辆的制动、转向、安全带张紧、加速、灯、警报、驾驶员通知、无线电、车辆锁或任何其他辅助***中的一个或多个。在另一示例中,自动驾驶/辅助***102可能不能够提供对驾驶(例如,转向、加速或制动)的任何控制,但可以提供通知和警报以辅助人类驾驶员安全驾驶。车辆控制***100包括占用管理***104,所述占用管理***与车辆中的各个部件相互作用以标识乘客及其在车辆中的就座位置。尽管占用管理***104在图1中被示出为单独部件,但在替代实施例中,占用管理***104可以并入自动驾驶/辅助***102或任何其他车辆部件中。车辆控制***100可以与任何类型的车辆一起使用,诸如汽车、卡车、公共汽车、火车、飞机、船等。
车辆控制***100还包括一个或多个传感器***/装置,所述一个或多个传感器***/装置用于检测附近物体(或障碍物)的存在或确定主车辆(例如,包括车辆控制***100的车辆)的位置。例如,车辆控制***100可以包括一个或多个雷达(雷达探测和测距)***106、一个或多个激光雷达(光探测和测距)***108、一个或多个相机***110、全球定位***(GPS)112和/或超声***114。一个或多个相机***110可以包括安装到车辆(例如,车辆的后部)的后置相机、前置相机和侧置相机。如本文所讨论的,相机***110还可以包括一个或多个内部相机,所述一个或多个内部相机捕获车辆内部的乘客和其他物体的图像。激光雷达***108可以包括一个或多个内部激光雷达传感器,所述一个或多个内部激光雷达传感器捕获与车辆内部区域相关联的数据。车辆控制***100可以包括数据存储区116,所述数据存储区用于存储有关导航和安全性的相关或有用数据,诸如地图数据、驾驶历史或其他数据。车辆控制***100还可以包括收发器118,所述收发器用于与移动或无线网络、其他车辆、基础设施或任何其他通信***进行无线通信。
车辆控制***100可以包括车辆控制致动器120以控制车辆驾驶的各个方面(诸如电动马达、开关或其他致动器),从而控制制动、加速、转向、安全带张紧、门锁等。车辆控制***100还可以包括一个或多个显示器122、扬声器124或其他装置,使得可以向人类驾驶员或乘客提供通知。显示器122可以包括抬头显示器、仪表盘显示器或指示器、显示屏或可由车辆的驾驶员或乘客看见的任何其他可视指示器。扬声器124可以包括车辆的音响***的一个或多个扬声器,或者可以包括专用于驾驶员或乘客通知的扬声器。
应了解,图1的实施例仅以举例的方式给出。在不脱离本公开的范围的情况下,其他实施例可以包括更少或另外的部件。另外地,所示部件可以组合或包括在其他部件内而没有限制。
在一个实施例中,自动驾驶/辅助***102被配置为控制主车辆的驾驶或导航。例如,自动驾驶/辅助***102可以控制车辆控制致动器120以在道路、停车场、行车道或其他位置行驶按一定路径行驶。例如,自动驾驶/辅助***102可以基于由部件106-118中的任何一个提供的信息或感知数据而确定路径。还可以基于操纵车辆以避免或缓和与另一车辆或物体的潜在碰撞的路线来确定路径。传感器***/装置106-110和114可以用于获得实时传感器数据,使得自动驾驶/辅助***102可以实时地辅助驾驶员或驾驶车辆。
在一些实施例中,车辆控制***100还包括一个或多个乘客输入装置,诸如麦克风、触摸屏显示器、按钮等。这些乘客输入装置允许车辆中的乘客向车辆控制***100提供输入,诸如回答问题、请求信息、请求车辆操作等。
图2是示出占用管理***104的实施例的框图。如图2所示,占用管理***104包括通信管理器202、处理器204和存储器206。通信管理器202允许占用控制***104与其他***(诸如自动驾驶/辅助***102)通信。处理器204执行各种指令以实现由占用管理***104提供的功能,如本文所讨论。存储器206存储这些指令以及由处理器204和包含在占用管理***104中的其他模块和部件使用的其他数据。
另外,占用管理***104包括图像处理模块208,所述图像处理模块从一个或多个相机***110接收当前图像数据(例如,表示车辆当前内部的图像数据)。另外,图像处理模块可以接收表示在没有任何乘客的情况下车辆内部的图像数据(例如,空车图像)。如本文所讨论的,当前车辆图像和空车图像用于标识车辆中的乘客以及乘客就座位置。在一些实施例中,图像处理模块208包括图像管理算法或过程,所述图像管理算法或过程管理来自位于车辆内部的多个相机***110的一个或多个空车图像。这些相同的相机***110用于捕获内部的当前车辆图像以与空车图像进行比较。在一些实施例中,为了适当地比较图像,从近似相同的位置或视角捕获当前车辆图像和空车图像。
占用管理***104还包括图像相减模块210,所述图像相减模块从当前车辆图像中减去空车图像以标识图像之间的差异。这些差异可表示坐在车辆内特定位置的乘客。图像相减模块210可以使用多种背景相减算法中的任一种,诸如帧差、加权移动平均值、自适应背景学习、模糊高斯、高斯混合模型、多层BGS等。
乘客标识模块212基于例如从当前车辆图像中减去空车图像的结果来标识车辆中的一个或多个乘客。基于这些结果(例如,空车图像和当前车辆图像之间的差异),乘客标识模块212可以标识乘客面部或身体并将每个标识出的乘客与车辆内的特定座位位置相关联。另外,乘客标识模块212可以标识每个标识出的乘客的特定特征,诸如着装、面部特征、头发特征等。如果这些乘客特征移动到车辆中的不同座位,则可以用来标识同一乘客。
在一些实施例中,面部识别模块214尝试基于当前车辆图像来确定车辆中的每个乘客的身份。面部识别模块214可以访问数据库或其他数据存储机制,以使当前乘客的面部特征与已知个体(例如,当前车辆或其他车辆的先前乘客)相关。面部识别模块214可以使用各种面部识别算法中的任一种,诸如PCA(主成分分析)、LDA(线性判别分析)、ICA(独立成分分析)、EP(进化追踪)、基于核、SVM(支持向量机)、CLM(约束局部模型)、神经网络等。如果面部识别模块214可以确定车辆中一个或多个乘客的身份,则车辆控制***100可以基于乘客的已知偏好来调整一个或多个车辆设置或操作参数(例如,无线电台偏好、温度偏好等)。
占用管理***104还包括座位图生成器216,所述座位图生成器基于车辆中的当前乘客来创建车辆的当前座位图。座位图标识了每个座位位置上的乘客。座位图还标识了车辆中的空座位。座位图生成器216还可以将乘客标识信息、乘客特征和面部识别身份与车辆中的每个乘客相关联。例如,可以将乘客标识信息、乘客特征和面部识别身份作为与每个座位位置相关联的元数据包括在内。
估计模块218可以确定(或估计)其他乘客特征,诸如乘客身高、乘客体重、乘客年龄、乘客性别和乘客情绪。在一些实施例中,这些额外的乘客特征对于确定正确/安全的安全气囊展开、标识对儿童座椅或加高座椅的需求等很有用。在特定实施例中,车辆座椅中的一个或多个传感器可以估计乘客的体重。例如,可以相对于座位表面的已知尺寸基于接收到的图像和乘客头部的顶部的位置来估计乘客的身高。在一些实施例中,可以使用诸如神经网络的机器学习技术来估计乘客年龄、乘客性别和乘客情绪。警报生成器220基于由占用管理***104检测到的活动和情况来生成各种警报和警告。例如,如果特定乘客试图在错误的目的地离开车辆,则警报生成器220可以生成听觉或视觉警报,告知乘客留在车辆中。另外,如果一个或多个乘客没有系安全带,则警报生成器220可以生成听觉或视觉警报,告知乘客系紧他们的安全带。另一类型的警报指示是否已为特定的就座位置启用或禁用了安全气囊。在一些实施例中,可以为特定乘客(例如,计划将要上车的乘客)预留车辆中的特定就座位置。如果其他人试图坐在预留的就座位置,则警报可以指示所述就座位置已经为其他乘客预留。
图3示出具有多个内部相机的车辆300的实施例,所述多个内部相机捕获车辆的内部的不同方位。如图3所示,车辆300具有四个内部相机302、304、306和308。在一些实施例中,相机302-308在车辆300中被定位和定向成使得所有就座位置都在至少一个相机302-308的视野内。车辆300内部的其他区域也可以在一个或多个相机302-308的视野内。相机302-308可以是任何类型的相机,诸如RGB(红色、绿色和蓝色)相机、IR(红外)相机、立体相机等。在一些实施例中,可以使用其他类型的传感器(例如,激光雷达***108)代替相机302-308或与相机结合使用以检测车辆300中的乘客和其他物品。
在车辆300的配置中,相机302和304被定位和定向成捕获车辆300的前部中的就座位置的图像。另外,相机306和308被定位和定向成捕获车辆300的后部中的就座位置的图像。尽管图3中示出了四个内部相机302-308,但在替代实施例中,车辆300可以具有任何数量的内部相机,所述内部相机位于整个车辆的各个位置并且对准不同的角度。在一些实施例中,相机302-308可以捕获各种类型的图像,诸如RGB图像、RGB-D图像、IR图像、热图像、立体摄影图像等。
图4示出用于标识车辆中的乘客的方法400的实施例。最初,占用管理***接收402车辆内部的一个或多个当前图像。占用管理***还访问404与车辆内部相关联的一个或多个空车图像。这些空车图像表示车辆中没有乘客时(即,车辆为空)车辆的内部。这些空车图像也可以被称为参比图像。在一些实施例中,每个空车图像(或每个空车图像中捕获的区域)的视角与车辆内部的每个当前图像(或捕获的区域)的视角基本上相同。占用管理***可以从车辆内部或车辆外部的存储装置访问空车图像。
随着占用管理***基于当前车辆图像和空车图像检测406车辆中的乘客,方法400继续。在一些实施例中,通过从当前车辆图像中减去空车图像以标识图像之间的差异来检测乘客。在其他实施例中,可以使用神经网络或其他技术来检测乘客。在特定实施方式中,占用管理***分析图像之间的差异,以确定所述差异是否代表乘客。例如,如果所述差异表示人的面部或身体,则占用管理***可以确定所述差异是乘客。如下面更详细地讨论的,所述方法可以在空车图像内标识期望乘客所在的感兴趣区域。当分析空车图像和当前车辆图像之间的差异时,方法400可以集中于所标识的感兴趣区域内的差异。
然后,占用管理***为车辆中的每个乘客确定408就座位置。占用管理***基于对当前车辆图像和空车图像的分析,确定乘客当前正在占用车辆中的哪些座位。基于所标识的就座位置,占用管理***生成410与车辆相关联的座位图。座位图定义了车辆中的所有就座位置,并标识了乘客当前所占用的就座位置。
随着占用管理***试图通过对当前车辆图像执行412面部识别来确定车辆中每个乘客的身份,方法400继续。在一些实施例中,面部识别过程可以访问数据库或其他数据存储机制,以使当前乘客的面部特征与已知个体(例如,当前车辆或其他车辆的先前乘客)相关。在其他实施例中,可以使用任何其他类型的标识***或识别***来确定特定乘客的身份。
如果面部识别未能成功确定特定乘客的身份,则占用管理***标识该特定乘客的特征(414)。乘客特征可以包括例如着装、面部特征、头发特征等。在这种情况下,可以通过唯一的标签(例如,乘客A、乘坐者B或乘客4)来标识乘客,以将所述乘客与其他乘客区分开。可以在乘客当前乘车期间使用该标签,然后在乘客到达目的地后丢弃该标签。通过为每个乘客提供唯一的标签,本文所述的***和方法能够跟踪车辆内的每个乘客的位置(例如,跟踪每个乘客的当前就座位置)。在一些实施例中,如果这些乘客特征(和标签)移动到车辆中的不同座位,则可以用来标识同一乘客。另外,即使乘客的实际身份是未知的,该乘客特征也可用于区分一个乘客与另一个乘客。
如果使用面部识别检测到乘客的身份,则将该身份信息与座位图相关联416。例如,如果确定了特定用户的身份,则将该身份信息与乘客当前所在的特定就座位置相关联。类似地,将任何乘客特征与座位图相关联416,使得那些特征与乘客当前所在的特定就座位置相关联。
随着占用管理***估计418车辆中每个乘客的年龄、体重、身高、性别和/或情绪,方法400继续。占用管理***基于所标识的乘客来调整420一个或多个车辆设置或操作参数。例如,车辆设置或操作参数可以包括无线电台设置、温度设置、自主驾驶特性(慢/平稳驾驶或较快的驾驶和较快的转弯)。在一些实施例中,可以基于在乘客简档或其他乘客数据设置中标识的乘客的已知偏好来确定这些车辆设置或操作参数。
在一些实施例中,占用管理***知道特定车辆内的多个可用就座位置。在占用管理***确定车辆中的当前乘客的数量之后,占用管理***可以确定车辆中的可用座位的数量。基于可用座位的数量,占用管理***可以确定车辆是否可以容纳额外的乘客。
在一些实施例中,车辆座椅表面中的一个或多个传感器可以确认在特定座位位置中是否存在乘客。例如,如果座椅表面中的传感器检测到的重量与乘客的体重一致,则该数据可以确认(基于车辆内部的当前图像)特定座位位置被乘客占用的确定。
图5示出用于在乘客进入或离开车辆时管理车辆的占用的方法500的实施例。最初,车辆停止502以允许一个或多个乘客进入和/或离开车辆。占用管理***标识504当前车辆乘客(在乘客完成进入和/或离开车辆之后)。在一些实施例中,占用管理***基于当前车辆乘客生成506更新的座位图。例如,将离开了车辆的乘客从先前的座位图中删除,并将进入了车辆的乘客添加到座位图中。另外,还针对车辆中更改了就座位置的乘客来更新座位图。在一些实施例中,以本文相对于图4所讨论的方式来标识和分析进入了车辆的新乘客。
随着占用管理***确定508是否有正确的乘客离开车辆,方法500继续。在一些实施例中,占用管理***为车辆中的每个乘客维护目的地列表。如果正确的乘客离开了510车辆,则无需采取任何行动。然而,如果一个或多个乘客在错误的目的地意外离开510车辆,则占用管理***生成512警报,指示乘客在错误的位置错误地离开了车辆。所述警报可以是听觉警报、视觉警报、触觉警报或任何其他类型的警报。在某些情况下,车辆可能不被允许再次开始驾驶,直到错误的乘客重新进入车辆或指示车辆可以在没有他们的情况下继续行驶。如果车辆未被允许514继续,则方法500返回到504并等待直到错误下车的乘客已经重新进入车辆。当车辆被允许514继续时,方法500基于当前标识出的乘客调整516一个或多个车辆设置或操作参数。例如,在一个或多个乘客离开车辆和/或进入车辆后,乘客的偏好可能会发生变化。
图6A和图6B示出具有四个乘客就座位置的车辆的内部的示例图像。图6A示出具有四个乘客就座位置的空车内部600。图6B示出具有由边界框602-608标识的四个乘客就座位置的同一车辆内部600。如本文所使用的,边界框也可以被称为感兴趣区域。具体地,第一边界框602标识第一乘客就座位置,第二边界框602标识第二乘客就座位置,第三边界框606标识第三乘客就座位置,第四边界框608标识第四乘客就座位置。在一些实施例中,边界框是由操作员为特定车辆限定的。在特定车型具有一致的座位安排和一致的相机位置的情况下,可以针对该车型的所有量产车辆或自主车队中的所有车辆使用相同的边界框。在特定实施例中,使用自动过程以通过标识车辆内的座位表面来限定特定车辆的边界框。图像(诸如图6A和图6B中所示的图像)表示如本文所讨论的空车图像的示例。
图7A和图7B示出具有五个乘客的车辆的内部的示例图像。图7A示出其中五个乘客占用了车辆的当前车辆内部700。用边界框或感兴趣区域标识五个乘客的面部。具体地,第一边界框702标识第一乘客,第二边界框704标识第二乘客,第三边界框706标识第三乘客,第四边界框708标识第四乘客,第五边界框710标识第五乘客。
图7B示出了其中五个乘客由边界框702-710标识的相同的当前车辆内部700。如图7B所示,乘客身份或乘客标签与每个边界框702-710相关联。如果确定了乘客的身份(例如,使用面部识别),则将该乘客的姓名与适当的边界框相关联。如果未确定乘客的身份,则创建标签并将其与适当的边界框关联。例如,将由边界框702标识的第一乘客标记为“乘坐者A”并将其与车辆中的座位#2相关联。将由边界框704标识的第二乘客标记为“Robert”(例如,面部识别将该乘客标识为Robert)并将其与车辆中的座位#5相关联。将由边界框706标识的第三乘客标记为“乘坐者C”并将其与车辆中的座位#4相关联。将由边界框708标识的第四乘客标记为“乘坐者B”并将其与车辆中的座位#3相关联。将由边界框710标识的第四乘客标记为“James”并将其与车辆中的座位#1相关联。如本文中所讨论的,可以将关于占用的车辆座位以及与每个乘客相关联的身份(或标签)的信息与针对车辆生成的座位图相关联。
图8示出在一些乘客更改了就座位置之后,图7A和图7B所示的车辆的内部的示例图像。图8示出其中五个乘客占用了车辆的当前车辆内部800。当前车辆内部800是与当前车辆700所示的同一车辆,但是是在车辆已经停下以允许乘客进入或离开车辆之后。如当前车辆内部空间800所示,James和Robert已更改了就座位置,乘坐者C留在相同的就座位置,乘坐者B已移至不同的就座位置,乘坐者A已离开车辆,并且乘坐者D已进入车辆。如本文所讨论的,将为车辆生成的座位图更新为包括关于占用的车辆座位的当前信息以及与每个乘客相关联的身份(或标签)。
尽管已经在本文描述了本公开的各种实施例,但应理解,这些实施例仅通过示例而非限制的方式呈现。相关领域技术人员应明白,可以在不脱离本公开的精神和范围的情况下作出形式和细节方面的各种改变。因此,本公开的广度和范围不应受所述示例性实施例中的任一个限制,而是应仅根据所附权利要求及其等效物来限定。出于说明和描述目的而呈现了本描述。它不是穷举的或不将本公开限制为所公开的精确形式。鉴于所公开的教导,许多修改和变化是可能的。此外,应注意,任何或所有本文讨论的替代实施方式可以所需的任何组合使用以形成本公开的附加混合实施方式。
Claims (20)
1.一种方法,包括:
接收当前车辆图像,所述当前车辆图像表示车辆的当前内部;
由占用管理***基于所述当前车辆图像来检测所述车辆中的至少一个乘客;
由所述占用管理***确定所述乘客的就座位置;以及
由所述占用管理***生成座位图,所述座位图标识所述车辆中的所述乘客的所述就座位置。
2.如权利要求1所述的方法,还包括通过使用所述当前车辆图像执行面部识别来确定所述乘客的身份。
3.如权利要求2所述的方法,还包括基于所述乘客的所述身份来调整至少一个车辆设置或操作参数。
4.如权利要求1所述的方法,还包括基于所述当前车辆图像来标识所述乘客的特征。
5.如权利要求4所述的方法,其中所述乘客的所述特征包括乘客着装、乘客面部特征和乘客头发特征中的至少一项。
6.如权利要求4所述的方法,其中所述乘客的所述特征与所述座位图相关联。
7.如权利要求1所述的方法,还包括估计所述乘客的年龄、体重、身高、性别和情绪中的至少一个。
8.如权利要求1所述的方法,还包括:
基于所述当前车辆图像检测所述车辆中的多个乘客;
由所述占用管理***确定所述多个乘客中的每一个的就座位置;以及
由所述占用管理***生成座位图,所述座位图标识所述车辆中的所述多个乘客中的每一个的所述就座位置。
9.如权利要求1所述的方法,还包括访问表示所述车辆内部在没有任何乘客的情况下的空车图像,其中检测所述车辆中的至少一个乘客包括将所述空车图像与所述当前车辆图像进行比较。
10.如权利要求9所述的方法,其中将所述空车图像与所述当前车辆图像进行比较包括从所述当前车辆图像中减去所述空车图像。
11.如权利要求1所述的方法,其中所述车辆为自主车辆。
12.一种方法,包括:
接收当前车辆图像,所述当前车辆图像表示车辆的当前内部;
由占用管理***基于所述当前车辆图像来检测所述车辆中的多个乘客;
由所述占用管理***确定所述多个乘客中的每一个的就座位置;
由所述占用管理***通过使用所述当前车辆图像执行面部识别来确定所述多个乘客中的每一个的身份;以及
由所述占用管理***生成座位图,所述座位图包括所述车辆中的所述多个乘客中的每一个的所述身份和所述就座位置。
13.如权利要求12所述的方法,还包括基于所述多个乘客中的至少一个的所述身份来调整至少一个车辆设置或操作参数。
14.如权利要求12所述的方法,还包括基于所述当前车辆图像来标识所述多个乘客中的至少一个的特征。
15.如权利要求14所述的方法,其中所述乘客的所述特征包括乘客着装、乘客面部特征和乘客头发特征中的至少一项。
16.如权利要求12所述的方法,还包括访问表示所述车辆内部在没有任何乘客的情况下的空车图像,其中检测所述车辆中的多个乘客包括将所述空车图像与所述当前车辆图像进行比较。
17.如权利要求16所述的方法,其中将所述空车图像与所述当前车辆图像进行比较包括从所述当前车辆图像中减去所述空车图像。
18.一种设备,包括:
通信管理器,所述通信管理器被配置为接收当前车辆图像,所述当前车辆图像表示车辆的当前内部;
图像处理模块,所述图像处理模块被配置为基于所述当前车辆图像检测所述车辆中的乘客,其中所述图像处理模块还被配置为确定所述乘客的就座位置;以及
座位图生成器,所述座位图生成器被配置为生成座位图,所述座位图标识所述车辆中的所述乘客的所述就座位置。
19.如权利要求18所述的设备,还包括面部识别模块,所述面部识别模块被配置为确定所述乘客的身份。
20.如权利要求18所述的设备,其中所述图像处理模块还被配置为访问表示所述车辆内部在没有任何乘客的情况下的空车图像,其中所述图像处理模块通过将所述空车图像与所述当前车辆图像进行比较来检测所述车辆中的乘客。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2017/044743 WO2019027433A1 (en) | 2017-07-31 | 2017-07-31 | SYSTEMS AND METHODS FOR MANAGING VEHICLE OCCUPANCY |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110997418A true CN110997418A (zh) | 2020-04-10 |
Family
ID=65233950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780093931.2A Pending CN110997418A (zh) | 2017-07-31 | 2017-07-31 | 车辆占用管理***和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11479147B2 (zh) |
CN (1) | CN110997418A (zh) |
DE (1) | DE112017007713T5 (zh) |
WO (1) | WO2019027433A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113415220A (zh) * | 2021-06-23 | 2021-09-21 | 深圳市元征科技股份有限公司 | 一种车辆座椅温度调节方法及相关设备 |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11935281B2 (en) * | 2010-06-07 | 2024-03-19 | Affectiva, Inc. | Vehicular in-cabin facial tracking using machine learning |
US11393133B2 (en) | 2010-06-07 | 2022-07-19 | Affectiva, Inc. | Emoji manipulation using machine learning |
US11511757B2 (en) | 2010-06-07 | 2022-11-29 | Affectiva, Inc. | Vehicle manipulation with crowdsourcing |
US11657288B2 (en) | 2010-06-07 | 2023-05-23 | Affectiva, Inc. | Convolutional computing using multilayered analysis engine |
US11430561B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Remote computing analysis for cognitive state data metrics |
US11704574B2 (en) | 2010-06-07 | 2023-07-18 | Affectiva, Inc. | Multimodal machine learning for vehicle manipulation |
US11587357B2 (en) | 2010-06-07 | 2023-02-21 | Affectiva, Inc. | Vehicular cognitive data collection with multiple devices |
US11465640B2 (en) | 2010-06-07 | 2022-10-11 | Affectiva, Inc. | Directed control transfer for autonomous vehicles |
US11887352B2 (en) | 2010-06-07 | 2024-01-30 | Affectiva, Inc. | Live streaming analytics within a shared digital environment |
US11823055B2 (en) * | 2019-03-31 | 2023-11-21 | Affectiva, Inc. | Vehicular in-cabin sensing using machine learning |
US11700420B2 (en) | 2010-06-07 | 2023-07-11 | Affectiva, Inc. | Media manipulation using cognitive state metric analysis |
US11484685B2 (en) | 2010-06-07 | 2022-11-01 | Affectiva, Inc. | Robotic control using profiles |
US11430260B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Electronic display viewing verification |
DE112017007713T5 (de) * | 2017-07-31 | 2020-03-19 | Ford Global Technologies, Llc | Systeme und Verfahren zur Fahrzeugbelegungsverwaltung |
US11465631B2 (en) * | 2017-12-08 | 2022-10-11 | Tesla, Inc. | Personalization system and method for a vehicle based on spatial locations of occupants' body portions |
US11021081B2 (en) * | 2018-01-25 | 2021-06-01 | Mitsubishi Electric Corporation | Occupant detection device, occupant detection system, and occupant detection method |
JP7172464B2 (ja) * | 2018-11-07 | 2022-11-16 | トヨタ自動車株式会社 | 車両及び車両の運用方法 |
BR112021004557B1 (pt) * | 2018-11-09 | 2023-09-26 | Beijing DIDI Infinity Technology and Development Co., Ltd | Sistema e método para detecção de conflitos em veículo |
US11386678B2 (en) * | 2018-11-13 | 2022-07-12 | Denso International America, Inc. | Driver authentication for vehicle-sharing fleet |
US11167693B2 (en) * | 2018-11-19 | 2021-11-09 | Honda Motor Co., Ltd. | Vehicle attention system and method |
JP2020148501A (ja) * | 2019-03-11 | 2020-09-17 | 日本電産モビリティ株式会社 | 車内監視装置、車内監視システム、及び車内監視プログラム |
US11887383B2 (en) | 2019-03-31 | 2024-01-30 | Affectiva, Inc. | Vehicle interior object management |
KR20210032766A (ko) * | 2019-09-17 | 2021-03-25 | 현대자동차주식회사 | 차량 및 그 제어방법 |
US11769056B2 (en) | 2019-12-30 | 2023-09-26 | Affectiva, Inc. | Synthetic data for neural network training using vectors |
JP7401338B2 (ja) * | 2020-02-20 | 2023-12-19 | フォルシアクラリオン・エレクトロニクス株式会社 | 情報処理装置、プログラム及び情報処理方法 |
EP3961483A1 (en) * | 2020-09-01 | 2022-03-02 | Aptiv Technologies Limited | Method and system for authenticating an occupant within an interior of a vehicle |
US11951875B2 (en) * | 2020-10-14 | 2024-04-09 | International Business Machines Corporation | Multi-sensor life detection within vehicles |
US20220153218A1 (en) * | 2020-11-16 | 2022-05-19 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Car assistance system to activate dispatch and relay medical information |
US12030509B1 (en) * | 2020-11-25 | 2024-07-09 | Waymo Llc | Realism in log-based simulations |
US11954180B2 (en) * | 2021-06-11 | 2024-04-09 | Ford Global Technologies, Llc | Sensor fusion area of interest identification for deep learning |
US20230139013A1 (en) * | 2021-11-04 | 2023-05-04 | Ford Global Technologies, Llc | Vehicle occupant physical state detection |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5531472A (en) * | 1995-05-01 | 1996-07-02 | Trw Vehicle Safety Systems, Inc. | Apparatus and method for controlling an occupant restraint system |
US8560179B2 (en) | 2003-02-20 | 2013-10-15 | Intelligent Mechatronic Systems Inc. | Adaptive visual occupant detection and classification system |
US8036795B2 (en) * | 2008-10-08 | 2011-10-11 | Honda Motor Company, Ltd. | Image based occupant classification systems for determining occupant classification and seat belt status and vehicles having same |
US10052972B2 (en) * | 2013-03-26 | 2018-08-21 | Intel Corporation | Vehicular occupancy assessment |
US20160301698A1 (en) * | 2013-12-23 | 2016-10-13 | Hill-Rom Services, Inc. | In-vehicle authorization for autonomous vehicles |
US9544679B2 (en) * | 2014-12-08 | 2017-01-10 | Harman International Industries, Inc. | Adjusting speakers using facial recognition |
US9852355B2 (en) * | 2015-04-21 | 2017-12-26 | Thales Avionics, Inc. | Facial analysis for vehicle entertainment system metrics |
US20160381412A1 (en) * | 2015-06-26 | 2016-12-29 | Thales Avionics, Inc. | User centric adaptation of vehicle entertainment system user interfaces |
US10173643B2 (en) * | 2017-02-20 | 2019-01-08 | Ford Global Technologies, Llc | Object detection for vehicles |
US10252688B2 (en) * | 2017-03-22 | 2019-04-09 | Ford Global Technologies, Llc | Monitoring a vehicle cabin |
US10373316B2 (en) * | 2017-04-20 | 2019-08-06 | Ford Global Technologies, Llc | Images background subtraction for dynamic lighting scenarios |
DE112017007713T5 (de) * | 2017-07-31 | 2020-03-19 | Ford Global Technologies, Llc | Systeme und Verfahren zur Fahrzeugbelegungsverwaltung |
US11376992B2 (en) * | 2018-08-08 | 2022-07-05 | Uatc, Llc | Automated vehicle seats |
US20200393835A1 (en) * | 2019-06-17 | 2020-12-17 | Toyota Research Institute, Inc. | Autonomous rideshare rebalancing |
-
2017
- 2017-07-31 DE DE112017007713.3T patent/DE112017007713T5/de active Pending
- 2017-07-31 CN CN201780093931.2A patent/CN110997418A/zh active Pending
- 2017-07-31 WO PCT/US2017/044743 patent/WO2019027433A1/en active Application Filing
- 2017-07-31 US US16/634,410 patent/US11479147B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113415220A (zh) * | 2021-06-23 | 2021-09-21 | 深圳市元征科技股份有限公司 | 一种车辆座椅温度调节方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2019027433A1 (en) | 2019-02-07 |
US20200171977A1 (en) | 2020-06-04 |
US11479147B2 (en) | 2022-10-25 |
DE112017007713T5 (de) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11479147B2 (en) | Vehicle occupancy management systems and methods | |
US10095229B2 (en) | Passenger tracking systems and methods | |
US20230356721A1 (en) | Personalization system and method for a vehicle based on spatial locations of occupants' body portions | |
US20230023870A1 (en) | Neural network applications in resource constrained environments | |
US10576994B1 (en) | Autonomous system operator cognitive state detection and alerting | |
US10421459B2 (en) | Contextual-assessment vehicle systems | |
US10011216B1 (en) | Auto turn signal initiation based on lane change and driver history | |
US10304165B2 (en) | Vehicle stain and trash detection systems and methods | |
CN107220581B (zh) | 通过后置摄像机的行人检测和运动预测 | |
JP6751436B2 (ja) | 自律走行車両へのアクセス及び運転制御 | |
US20170343375A1 (en) | Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions | |
US20180074494A1 (en) | Passenger tracking systems and methods | |
US20180075565A1 (en) | Passenger validation systems and methods | |
US20170330044A1 (en) | Thermal monitoring in autonomous-driving vehicles | |
US20200001892A1 (en) | Passenger assisting apparatus, method, and program | |
US11232350B2 (en) | System and method for providing road user classification training using a vehicle communications network | |
US20180307926A1 (en) | Stain and Trash Detection Systems and Methods | |
CN107415938A (zh) | 基于乘员位置和注意力控制自主车辆功能和输出 | |
CN110103878B (zh) | 用于控制无人车的方法和装置 | |
CN112534487B (zh) | 信息处理设备、移动体、信息处理方法和程序 | |
CN108263324A (zh) | 基于姿势信息的行人检测和行人碰撞预防装置及方法 | |
CN110088422B (zh) | 车库门控制***和方法 | |
CN114269621A (zh) | 运输工具、用于定位可自动化行驶的运输工具的装置和方法 | |
WO2022024803A1 (ja) | 学習モデルの生成方法、情報処理装置、情報処理システム | |
US11365975B2 (en) | Visual confirmation system for driver assist system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |