CN111566660A - 用于检测车辆中的人数的***和方法 - Google Patents

用于检测车辆中的人数的***和方法 Download PDF

Info

Publication number
CN111566660A
CN111566660A CN201880081102.7A CN201880081102A CN111566660A CN 111566660 A CN111566660 A CN 111566660A CN 201880081102 A CN201880081102 A CN 201880081102A CN 111566660 A CN111566660 A CN 111566660A
Authority
CN
China
Prior art keywords
vehicle
human
detecting
people
human subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880081102.7A
Other languages
English (en)
Inventor
沈海峰
赵元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN111566660A publication Critical patent/CN111566660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/08—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the cargo, e.g. overload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/049—Number of occupants
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • G07B15/06—Arrangements for road pricing or congestion charging of vehicles or vehicle users, e.g. automatic toll systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种用于确定车辆(100)中乘客的人数的***。该***包括至少一个相机，该相机(110)被配置用于捕获车辆中的至少一个图像。该***还包括与至少一个相机(110)通信的控制器(120)。控制器(120)被配置为从图像中检测至少两个人体对象(410)，检测每个人体对象(410)中的一个或以上的车辆乘客，并基于检测到的车辆乘客确定人数。

Description

用于检测车辆中的人数的***和方法
技术领域
本申请涉及一种用于检测车辆中的人数的***和方法，更具体地，涉及一种用于基于在车辆内获取的图像来自动检测车辆中的人数的***和方法。
背景技术
网约车平台(例如，DiDiTM在线)通过分派运输服务车辆(例如，出租车、私家车等)向乘客提供共乘服务。某些情况可能导致对共乘服务的高需求，例如在高峰时段、恶劣天气条件下、或在大型社交聚会之前/之后。因此，难以找到运输服务车辆。减少寻找乘车的等待时间可能激励共享司机和乘客使服务车辆超载。
然而，车辆超载会导致事故并会引起安全问题。例如，当车辆载运的乘客多于其容量时，重量可能会影响车辆转向。此外，超载乘客没有自己的安全带，可能在事故中承受更严重的伤害。因此，在发生任何事故之前检测超载车辆并将其停止是非常重要的。
现有的车辆超载检测方法包括设置检查点以手动筛选车辆并对车辆内的人进行计数。但是，人工筛查只能检查车辆(只有通过检查点的车辆)，但不能有效检查道路上的所有车辆。此外，设立检查站和雇用检查人员的费用也不可避免地高。屏幕也可能减慢交通并导致交通拥堵。
本申请的实施例通过使用由车辆中的至少一个相机捕获的图像来自动检测车辆中的人数来解决上述问题。
发明内容
本申请的实施例提供了一种用于确定车辆中乘客的人数的***。该***包括至少一个相机，所述相机被配置用于捕获车辆中的至少一个图像。该***还包括与至少一个相机通信的控制器。控制器被配置为从图像中检测至少两个人体对象，检测每一个人体中的一个或以上的车辆乘客，并基于检测到的车辆乘客确定人数。
本申请的实施例还提供了一种用于确定车辆中乘客的人数的方法。该方法包括由至少一个相机捕获车辆中的至少一个图像。该方法还包括由处理器从图像中检测至少两个人体对象，并且由处理器检测每个人体对象中的一个或以上车辆乘客。该方法还包括由处理器基于检测到的车辆乘客确定人数。
本申请的实施例还提供了一种存储一组指令的非暂时性计算机可读介质。当由电子设备的至少一个处理器执行时，该组指令使得电子设备执行用于确定车辆中乘客的人数的方法。该方法包括捕获车辆中的至少一个图像。该方法还包括从图像中检测至少两个人体对象，并检测每个人体中的一个或以上的车辆乘客。该方法还包括基于检测到的车辆乘客确定人数。
应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本发明的限制。
附图说明
图1是根据本申请的实施例所示的配备有人数检测***的示例性车辆内部的示意图。
图2是根据本申请的实施例所示的示例性控制器的框图。
图3是根据本申请的实施例所示的图2中所示的控制器中的示例性处理器的数据流程图。
图4是根据本申请的实施例所示的图3的示例性粗略人数估计单元的数据流程图。
图5是根据本申请的实施例所示的图3的示例性精细的人数估计单元的数据流程图。
图6是根据本申请的实施例所示的用于确定车辆人数的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。只要有可能，在整个附图中将使用相同的附图标记来表示相同或相似的部分。
图1是根据本申请的实施例所示的配备有冲突检测***的示例性车辆100的示意图。与一些实施例一致，车辆100可以被配置为由占用车辆的操作员远程控制和/或自主操作。预期的车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。车辆100可以具有可以是任何车身类型的车身，例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或转换车。
如图1所示，由车身围绕的车辆100的内部可包括用于容纳车辆内的人的一排或以上的座椅。例如，前排座椅可容纳司机102和乘客(未示出)。后排座椅106可容纳一个或以上乘客，例如乘客104。车辆100可包括用于容纳更多乘客的两排以上的座椅。在一些实施例中，扶手或杯架可安装在座椅之间。例如，杯架可容纳水瓶108。
车辆100可以设计成容纳有限数量的乘客，这被称为车辆容量。例如，轿跑车可以具有2-4的容量、紧凑的车辆或轿车可以具有4-5的容量、SUV可以具有5-7的容量、并且小型货车可以具有7-8的容量。如果在车辆100中装载比其设计容量更多的乘客，则车辆100超载。在一些实施例中，车辆100可配备有人数检测***，以自动确定车辆中的人数，以便检测超载情况。
如图1所示，人数检测***包括除了其他方面的至少一个相机110和控制器120等。相机110可以安装或以其他方式安装在车辆100中。在一些实施例中，相机110可以安装在仪表板上、挡风玻璃上方、天花板上、角落中等。在一些实施例中，相机110可以集成在移动设备中，例如安装在车辆100的仪表板上的移动电话、平板电脑或全球定位***(GPS)导航设备。在一些实施例中，当车辆100正在完成服务行程时，相机110可以被配置用于捕获车辆100内的图像。与本申请一致，相机110可以是数码相机或数码相机，用于拍摄车辆100内部的图片或视频。图像可以捕获车辆100内的各种物体，例如司机102、乘客104、空座106和水瓶108。
在一些实施例中，多个相机110可以安装在车辆100内的不同位置，并从不同视角拍摄内部照片。当车辆100朝向目的地行进时，相机110可以连续捕获图像。在特定时间点捕获的每一个图像称为图像帧。例如，相机110可以记录由在多个时间点捕获的多个图像帧组成的视频。
回到图1，在一些实施例中，相机110可以与控制器120通信。在一些实施例中，控制器120可以是车辆100的车载控制器，例如电子控制单元或车辆信息控制器。在一些实施例中，控制器120可以是本地物理服务器、云服务器(如图1所示)、虚拟服务器、分布式服务器或任何其他合适的计算设备的一部分。控制器120可以经由网络与相机110和/或车辆100的其他组件通信，例如无线局部区域网络(WLAN)、广域网(WAN)、诸如无线电波的无线网络、蜂窝网络、卫星通信网络、和/或本地或短程无线网络(例如，BluetoothTM)。
与本申请一致，控制器120可以负责处理由相机110捕获的图像，并基于图像来检测车载冲突。在一些实施例中，控制器120可使用各种图像处理方法识别人体对象，例如司机102和一个或以上乘客104。例如，控制器120可以执行图像分割和对象分类方法以识别人体对象并基于此确定粗略的人数。根据相机110的视角和乘客的乘坐位置，由于乘客在他面前，一个乘客可能完全或部分地隐藏在图像中。因此，检测到的人体对象有时可能包含一个以上的乘客。在一些实施例中，控制器120可以进一步检测每一个人体对象中的一个或以上的车辆乘客，并基于在车辆100中检测到的总车辆乘客来确定精细的人数。例如，如果检测到两个人体对象，一个包括一个占用者而另一个包括两个，则精细的人数是三个。在一些实施例中，控制器120可将所确定的人数与车辆100的容量进行比较以检测超载情况。
例如，图2是根据本申请的实施例所示的示例性控制器120的框图。与本申请一致，控制器120可以从一个或以上相机110接收图像数据203。在一些实施例中，图像数据203可包含二维(2D)图像或三维(3D)图像。在一些实施例中，当多个相机110安装在车辆100内的不同位置时，图像数据203可包含从不同视角捕获的图像数据。
控制器120可以基于从图像数据203中检测到的人体对象来确定粗略的人数，并且基于从人体对象检测到的车辆乘客来确定精细的人数。然后可以使用人数来检测车辆100中的超载情况。在一些实施例中，如图2所示，控制器120包括通信接口202、处理器204、内存206和存储器208。在一些实施例中，控制器120包括单个设备中的不同模块，例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或具有专用功能的单独设备。在一些实施例中，控制器120的一个或以上组件可以定位在云中，或者可以在单个位置(诸如车辆100内或移动设备内)或分布式位置中替代。控制器120的组件可以在集成设备中，或者分布在不同位置，但是通过网络(未示出)彼此通信。
通信接口202可以经由通信光缆、无线局部区域网络(WLAN)、广域网(WAN)、诸如无线电波的无线网络、蜂窝网络、和/或本地或短程无线网络(例如，BluetoothTM)和或其他通讯方法从组件，例如相机110，中发送和接收数据，在一些实施例中，通信接口202可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器，以提供数据通信连接。又例如，通信接口202可以是局部区域网络(LAN)卡，以提供与兼容LAN的数据通信连接。无线链路也可以由通信接口202实现。在这样的实施中，通信接口202可以发送和接收电信号、电磁信号或光信号，其携带经由网络表示各种类型信息的数字数据流。
与一些实施例一致，通信接口202可以接收由相机110捕获的图像数据203。通信接口202还可以将接收的数据提供给存储器208以便存储或提供给处理器204以进行处理。
处理器204可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置为专用于基于由相机110捕获的图像数据执行车内冲突检测的单独处理器模块。或者，处理器204可以被配置为用于执行其他功能的共享处理器模块。
如图2所示，处理器204包括多个模块，例如粗略的人数估计单元210、精细的人数估计单元212、人数确定单元214等。在一些实施例中，处理器204可另外包括超载检测单元216。这些模块(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如，集成电路的部分)，其被设计为与处理器204通过执行程序的至少一部分而实现的其他组件或软件单元一起使用。程序可以存储在计算机可读介质上，并且当由处理器204执行时，它可以执行一个或以上的功能。尽管图2示出了在一个处理器204内的所有单元210-216，但是可以预期这些单元可以分布在彼此靠近或远离的多个处理器之间。
图3是根据本申请的实施例所示的图2中所示的控制器120中的处理器204的数据流程图300。如图3所示，粗略的人数估计单元210可以从通信接口202接收图像数据203并且被配置用于基于从图像数据203检测到的人体对象来确定粗略的人数。精细的人数估计单元212可以进一步检测在粗略的人数估计单元210中检测到的每一个人体对象中的一个或以上车辆乘客，并且基于检测到的总车辆乘客确定精细的人数。可以将粗略的人数和精细的人数提供给人数确定单元214，基于此确定的最终的人数302。
在一些实施例中，图像分割和对象检测方法可以由粗略的人数估计单元210应用以识别人体对象。例如，图4是根据本申请的实施例所示的图3的示例性粗略的人数估计单元210的数据流程图400。如图4所示，粗略的人数估计单元210还可包括对象分割单元402和人体对象检测单元404。对象分割单元402可从通信接口202接收图像数据203，并对图像数据203应用分割以识别来自图像的对象。通过图像分割识别的对象可以包括车辆100内的各种对象，例如人体对象、空座椅、袋子、安全带、放置在杯架中的瓶子或杯子、以及可以安装或带入车辆100的其他物体。在一些实施例中，对象分割单元402可以应用对象分割模型406来执行图像分割。对象检测模型408可以是机器学习模型，例如CNN模型，使用这些图像中训练的图像和相应对象训练。
然后，人体对象检测单元404可以使用对象检测模型408来检测所识别的对象中的人体对象。在一些实施例中，对象检测模型408可以是机器学习模型，例如CNN模型，使用这些图像中训练的图像和对象的相应类型训练。例如，训练对象图像可以用其中描绘的已知对象(例如，人体、座位、水瓶等)标记。在一些实施例中，可以通过确定人体对象的轮廓信息来识别人体对象。
在一些备选实施例中，可以按顺序切换对象分割单元402和人体对象检测单元404，使得在人体对象分割之前执行对象检测。例如，人体对象检测单元404可以从图像数据203中确定包含人体对象的边界区域，例如，通过应用对象检测模型408。边界区域可以是任何合适的形状，例如矩形、正方形、圆形、椭圆形、菱形等。然后，对象分割单元402可以应用对象分割模型406来分割每一个边界区域以识别其中的人体对象。
粗略的人数估计单元210可以提供两个输出：检测到的人体对象410和粗略的人数412。在一些实施例中，粗略的人数412是检测到的人体对象410的数量。人体对象410可以由精细的人数估计单元212接收和使用，以进一步确定精细的人数。人数确定单元214可以接收粗略的人数412以确定最终的人数。
在一些实施例中，精细的人数估计单元212可以应用头部检测和/或骨架关键点检测来检测每一个人体对象中的一个或以上车辆乘客。例如，图5是根据本申请的实施例所示的图3的示例性精细的人数估计单元212的数据流程图500。如图5所示，精细的人数估计单元212还可包括头部检测单元502、骨架检测单元504和融合单元510。在一些实施例中，精细的人数估计单元212可以仅包括头部检测单元502和骨架检测单元504中的一个，并且可以省略融合单元510。
头部检测单元502和骨架检测单元504可以分别从粗略的人数估计单元210接收人体对象410，并进一步检测每个人体对象中的一个或以上的车辆乘客。在一些实施例中，头部检测单元502和骨架检测单元504的处理可以并行执行。头部检测单元502可以应用头部检测模型506来检测人体头部。头部检测模型506可以是机器学习模型，例如CNN模型，使用训练图像中标记的训练的图像和人体头部训练。在一些实施例中，精细的人数估计单元212可以使用在所有人体对象上检测到的人数的总数作为精细人数。例如，如果在人体对象I中检测到两个头部，并且在人体对象II中检测到另外两个头部，则将精细的人数确定为四个。
骨架检测单元504可以应用骨架检测模块508来检测每个人体对象中的人体骨架。与专注于人头部特征的头部检测模型506不同，骨架检测单元504侧重于人体骨架的关键点以检测不同的骨架。骨架检测模块508可以是机器学习模型，例如CNN模型，使用训练图像中标记的训练图像和人体骨架训练。人体骨架结构可以通过许多关键点来定义，例如头部、颈部、肩部、手腕、腿部、脚部、手臂、手等。这些关键点可以在训练图像中标记。在一些情况下，为了检测人体对象中的不同乘客，骨架检测可能比头部检测更准确。例如，如果司机后面的乘客的头部在图像中完全看不见，头部检测方法可能无法判断司机背后是否有另一名乘客。然而，只要乘客的一些关键骨架点在图像中可见，骨架检测方法就能够将乘客识别为独特的乘客。
在一些实施例中，可以同时执行头部检测和骨架检测，如图5所示，以进一步提高检测精度。来自头部检测单元502和骨架检测单元504的检测结果可以被提供给融合单元510，其融合检测结果来提供最终的乘客检测。在一些实施例中，融合单元510可以对两个检测结果执行OR运算。也就是说，如果一个检测方法返回人体对象中的两个乘客，并且另一个检测方法返回该同一人体对象中的一个占用者，则融合单元510将采用两个结果。在一些其他实施例中，头部检测模型506和骨架检测模块508可以由融合单元510联合训练和应用以检测乘客。融合单元510将精细的人数512输出到人数确定单元214。
返回参考图3，人数确定单元214基于粗略的人数412和精细的人数512确定最终人数302。在一些实施例中，人数确定单元214可以执行最大操作。例如，如果粗略的人数412是a，并且精细的人数512是b，则最终人数302可以被确定为c＝max(a,b)。
在一些实施例中，处理器204可以重复执行数据流程图300以确认人数或检测车辆中人数的任何变化。如果基于在特定时间点或在短时间段内获取的图像数据检测到人数，则检测结果可能不可靠。例如，乘客104可能偶尔弯曲以从地板上拾取物品，因此从图像数据203中完全丢失。因此，处理器204可以周期性地重复人数检测以确认最终人数并降低计数不足的可能性。在一些实施例中，处理器204可以生成控制信号以使相机110在相对长的时间段(例如，10、20或30秒)内获取更多的图像。或者，如果相机110捕获包含多个图像帧的视频，则处理器204可以在一段时间内(例如10、20或30秒)取样图像帧。处理器204可以针对每个图像帧重复由单元210-214执行的检测过程。如果在样本图像帧上持续检测到相同的人数，则人数确定单元214可以确认最终的人数。如果人数随时间变化，则人数确定单元214可以查询车辆操作信息，例如车辆停止、开门、重量变更等确定人数变动是否由乘客装载或卸载引起。
返回参考图2，超载检测单元216可以通过将最终人数与阈值进行比较来检测超载情况。在一些实施例中，可以预先确定阈值作为车辆容量。例如，如果在4乘客紧凑型车辆中检测到五个乘客，则检测到超载情况。在检测时，处理器204可以生成控制信号以触发警报并且经由通信接口202将控制信号发送到终端230。在一些实施例中，终端230可以是司机终端或乘客终端，例如智能电话、PDA、可穿戴设备等。例如，司机/乘客终端可以安装有司机/乘客用于运输服务的共乘应用程序。超载情况可以通过终端230通知司机/乘客，以促使司机/乘客结束超载情况。在一些实施例中，控制信号可以使终端230产生警告通知，例如终端230的显示屏上的弹出窗口、哔哔声、振动或音频警报等。
在一些实施例中，终端230可以是服务平台的调节模块，或警察局的服务器/控制器。在一些实施例中，控制信号可以触发对终端230的电话呼叫以报告超载情况。在一些其他实施例中，控制信号可以触发数据传输给终端230，包括例如车辆登记信息、司机信息、乘客信息、车辆位置和最终人数。终端230可以进行干预来要求司机/乘客立即停止超载情况。例如，警察局可以在车辆位置附近派遣一名警官来追逐和停止车辆100。
内存206和存储器208可以包括任何适当类型的大容量存储器，其被提供以存储处理器204可能需要操作的任何类型的信息。内存206和存储器208可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即，非暂时性)计算机可读介质，包括但是不限于ROM、闪存、动态RAM和静态RAM。内存206和/或存储器208可以被配置为存储一个或以上计算机程序，其可以由处理器204执行以执行本文公开的图像数据处理和冲突检测。例如，内存206和/或存储器208可以被配置为存储程序，其可以由处理器204执行以确定车辆100中的人数，并且基于人数来检测超载情况。
内存206和/或存储器208可以进一步被配置为存储信息和处理器204使用的数据。例如，内存206和/或存储器208可以被配置用于存储由相机110捕获的各种类型的数据(例如，图像数据203)和与相机设置有关的数据。内存206和/或存储器208还可以存储中间数据，例如人体对象、头部和骨架特征等。内存206和/或存储器208可以进一步存储处理器204使用的各种学习模型，例如对象分割模型406、对象检测模型408、头部检测模型506和骨架检测模块508。各种类型的数据可以在处理每个数据帧之后永久存储，周期性地移除，或者立即被忽略。
图6是根据本申请的实施例所示的用于确定车辆中的人数的示例性方法600的流程图。在一些实施例中，方法600可以由控制器120实现，控制器120尤其包括处理器204。然而，方法600不限于该示例性实施例。方法600可以包括如下所述的步骤S602-S618。应当理解，一些步骤可以是可选的，以执行本文提供的申请。此外，一些步骤可以同时执行，或者以与图6中所示不同的顺序执行。
在步骤S602，当车辆100正在完成服务行程时，相机110捕获车辆100中的至少一个对象的图像数据203。在一些实施例中，多个相机110可以安装在车辆100内的各个位置，并且可以从不同角度同时捕获图像数据。例如，相机110可以是安装在车辆100的仪表板上或者嵌入安装在车辆100的仪表板上的GPS导航装置或手机中的后向相机。在一些实施例中，对象可包括司机(例如，司机102)，一个或以上乘客(例如，乘客104)、空座位(例如，空座位106)、安全带以及安装在车辆100内的任何其他物品或将其带入车辆100(例如，水瓶108)。
相机110可以被配置为连续地或在特定时间点捕获图像数据203。例如，相机110可以是被配置的视频相机，用于捕获包含多个图像帧的视频。在一些实施例中，图像数据203可以包含2D图像和/或3D图像。由相机110捕获的图像数据203可以例如经由网络发送到控制器120。
在步骤S604，控制器120使用对象分割模型406从图像数据203内的图像识别对象。通过图像分割识别的对象可以包括车辆100内的各种对象，例如人体对象、空座椅、袋子、安全带、放置在杯架中的瓶子或杯子，以及可以安装或带入车辆100的其他物体。对象检测模型408可以使用这些图像中训练的图像和的相应对象来训练。
在步骤S606，控制器120可以使用对象检测模型408识别在步骤S604中检测到的对象中的人体对象。可以使用在这些图像中训练对象图像和的标记对象来训练对象检测模型408。在一些实施例中，可以通过确定人体对象的轮廓信息来识别人体对象。
在一些实施例中，可以按顺序切换步骤S604和步骤S606。也就是说，控制器120可以首先使用对象检测模型408执行对象检测，以确定包含人体对象的边界区域，然后使用对象分割模型406分割每一个边界区域以识别人体对象。在步骤S608，控制器120基于在步骤S606检测到的人体对象确定粗略的人数。
在步骤S610，控制器120使用头部检测模型506检测每一个人体对象中的头部。可以使用训练图像中训练的图像和人体头部来训练头部检测模型506。在步骤S612，控制器120使用骨架检测模块508检测每个人体对象中的骨架关键点。可以使用训练图像中标记的训练图像和人体骨架关键点来训练骨架检测模块508。在一些实施例中，控制器120可并行执行步骤S610和S612以获取头部检测和骨架检测结果。在一些实施例中，步骤S610和S612中的一个可以是可选的并且从方法600中省略。
在步骤S614，控制器120确定车辆中的精细的人数。在一些实施例中，控制器120可以使用在所有人体对象中检测到的人头的总数作为精细的人数。在一些其他实施例中，控制器120可以使用在所有人体对象上检测到的不同人体骨架结构的总数作为精细的人数。在其他一些实施例中，可以融合来自步骤S610和S612的检测结果以确定最终的乘客检测。例如，控制器120可以对两个检测结果执行OR运算。
在步骤S616，控制器120可以将最终人数与预设阈值进行比较。例如，可以将阈值设置为车辆容量。如果人数超过阈值(S616：是)，则检测到车辆超载情况，并且方法600前进到步骤S618以产生警报。否则(S616：否)方法600返回到步骤S602以继续捕获车辆100内的图像，然后重复步骤S604-S616以确定车辆100是否超载。在一些实施例中，如果在相机110捕获的多个图像帧上持久地检测到在步骤S616检测到的超载情况，则可以确认超载。
在步骤S618，控制器120产生控制信号以触发警报并将控制信号发送到终端230。在一些实施例中，终端230可以是用于共乘服务的司机终端或乘客终端。通过终端230，可以通知司机或车辆100内的乘客超载情况并且促使其停止该情况。例如，控制信号可以使终端230产生警告通知，例如终端230的显示屏上的弹出窗口、哔哔声、振动或音频警报等。在一些实施例中，如果条件在警告之后仍然存在，则控制器120可以进一步生成控制信号以触发对诸如服务平台或警察部门的其他终端230的警报。在一些实施例中，控制信号可以触发电话呼叫或向警报接收器230发送数据。例如，数据传输可以包括例如车辆登记信息、司机信息、乘客信息、车辆位置以及车辆中的最终人数。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得一个或以上处理器执行如上所述的方法。所述计算机可读介质包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如本申请的计算机可读介质可以是存储设备或其上存储有计算机指令的存储模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
显而易见，本领域普通技术人员可以对本申请的***和相关方法进行各种修改和变化。考虑到本申请的***和相关方法的说明书和实践，其他实施例对于本领域普通技术人员是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的，真正的范围由以下权利要求及其等同物限定。

Claims (20)

1.一种用于自动确定车辆中乘客人数的***，包括：
至少一个相机，所述相机被配置用于捕获所述车辆中的至少一个图像；和
控制器与所述至少一个相机通信并被配置为：
从所述图像中检测至少两个人体对象；
检测每个人体对象中的一个或以上车辆乘客；和
基于所述检测到的车辆乘客确定所述人数。
2.根据权利要求1所述的***，其特征在于，为检测所述人体对象，所述控制器被配置为：
从所述图像中确定包含所述人体对象的边界区域；和
分割所述边界区域以检测所述人体对象。
3.根据权利要求1所述的***，其特征在于，为检测所述人体对象，所述控制器被配置为：
分割所述至少一个图像来识别物体；和
基于对象检测模型在所述对象中检测人体对象。
4.根据权利要求1所述的***，其特征在于，为检测每个人体对象中的一个或以上车辆乘客，所述控制器被配置为基于头部检测模型在所述人体对象中检测至少一个头部。
5.根据权利要求4所述的***，其特征在于，所述人数是在所述人体对象中检测到的头部总数。
6.根据权利要求1所述的***，其特征在于，检测每个人体对象中的一个或以上车辆乘客，所述控制器被配置为：
基于骨架检测模型检测所述人体对象中的关键骨架点；和
映射所述关键骨架点到所述一个或以上的车辆乘客。
7.根据权利要求1所述的***，其特征在于，所述控制器进一步被配置为基于所述识别的人体对象确定所述车辆中的粗略的人数。
8.根据权利要求1所述的***，其特征在于，所述控制器进一步被配置为：
通过比较所述人数与车辆容量来检测超载情况；和
检测到所述超载情况后发出警报。
9.根据权利要求1所述的***，其特征在于，所述控制器进一步被配置用于基于所述人数随时间的变化来检测乘客的上车或下车事件。
10.一种用于自动确定车辆中乘客的人数的方法，包括：
通过至少一个相机捕获所述车辆中的至少一个图像；
通过处理器从所述图像中检测至少两个人体对象；
通过所述处理器检测每个人体对象中的一个或以上车辆乘客；以及
通过所述处理器基于所述检测到的车辆乘客确定所述人数。
11.根据权利要求10所述的方法，其特征在于，检测所述人体对象包括：
从所述图像中确定包含所述人体对象的边界区域；和
分割所述边界区域以检测所述人体对象。
12.根据权利要求10所述的方法，其中检测所述人体对象包括：
分割所述至少一个用于识别物体的图像；和
基于物体检测模型检测所述对象中的人体对象。
13.根据权利要求10所述的方法，其特征在于，检测每个人体对象中的所述一个或以上的车辆乘客包括基于头部检测模型在所述人体对象中检测至少一个头部。
14.根据权利要求13所述的方法，其特征在于，所述人数是在所述人体对象中检测到的头部总数。
15.根据权利要求10所述的方法，其特征在于，检测每个人体对象中的所述一个或以上的车辆乘客包括：
基于骨架检测模型检测所述人体对象中的关键骨架点；
映射所述关键骨架点到所述一个或以上的车辆乘客。
16.根据权利要求10所述的方法，还包括基于所述识别的人体对象确定所述车辆中的粗略的人数。
17.根据权利要求10所述的方法，其特征在于，所述方法进一步包括：
通过比较所述人数与车辆容量来检测超载情况；和
检测到所述超载情况后发出警报。
18.根据权利要求10所述的方法，还包括基于所述人数随时间的变化来检测乘客的上车或下车事件。
19.一种存储一组指令的非暂时性计算机可读介质，当由电子设备的至少一个处理器执行时，使得所述电子设备执行用于自动确定车辆中的乘客的人数的方法，包括：
在所述车辆中捕获至少一个图像；
从所述图像中检测至少两个人体对象；
检测每个人体对象中的一个或以上的车辆乘客；和
基于所述检测到的车辆乘客确定所述人数。
20.根据权利要求19所述的非暂时性计算机可读介质，其中所述方法还包括：
通过比较所述人数与车辆容量来检测超载情况；和
检测到所述超载情况时发出警报。
CN201880081102.7A 2018-11-28 2018-11-28 用于检测车辆中的人数的***和方法 Pending CN111566660A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/117856 WO2020107251A1 (en) 2018-11-28 2018-11-28 System and method for detecting in-vehicle headcount

Publications (1)

Publication Number Publication Date
CN111566660A true CN111566660A (zh) 2020-08-21

Family

ID=70854258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880081102.7A Pending CN111566660A (zh) 2018-11-28 2018-11-28 用于检测车辆中的人数的***和方法

Country Status (2)

Country Link
CN (1) CN111566660A (zh)
WO (1) WO2020107251A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114407735A (zh) * 2022-02-17 2022-04-29 芜湖雄狮汽车科技有限公司 汽车座舱的控制方法、装置、车辆及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931644A (zh) * 2020-08-10 2020-11-13 济南博观智能科技有限公司 一种车载人数检测的方法、***、设备及可读存储介质
CN112188702A (zh) * 2020-09-30 2021-01-05 中车青岛四方机车车辆股份有限公司 轨道车辆的照明设备的控制方法、控制装置和控制***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046843A (ja) * 2001-08-02 2003-02-14 Omron Corp 撮像装置及び車両における人体検知システム
CN103280108A (zh) * 2013-05-20 2013-09-04 中国人民解放军国防科学技术大学 基于视觉感知和车联网的客车安全预警***
US20140327752A1 (en) * 2013-05-01 2014-11-06 Nissan North America, Inc. Vehicle occupancy detection system
CN108416254A (zh) * 2018-01-17 2018-08-17 上海鹰觉科技有限公司 一种用于人流行为识别和人数统计的统计***以及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770642A (zh) * 2008-12-26 2010-07-07 深圳先进技术研究院 一种车内人数计数方法和***
WO2015052896A1 (ja) * 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
US9544679B2 (en) * 2014-12-08 2017-01-10 Harman International Industries, Inc. Adjusting speakers using facial recognition
CN204547917U (zh) * 2015-04-15 2015-08-12 郭帅 一种轿车超员检测报警***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046843A (ja) * 2001-08-02 2003-02-14 Omron Corp 撮像装置及び車両における人体検知システム
US20140327752A1 (en) * 2013-05-01 2014-11-06 Nissan North America, Inc. Vehicle occupancy detection system
CN103280108A (zh) * 2013-05-20 2013-09-04 中国人民解放军国防科学技术大学 基于视觉感知和车联网的客车安全预警***
CN108416254A (zh) * 2018-01-17 2018-08-17 上海鹰觉科技有限公司 一种用于人流行为识别和人数统计的统计***以及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王君泽等: "基于Kinect骨架追踪的人体摔倒自动检测", 《上海交通大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114407735A (zh) * 2022-02-17 2022-04-29 芜湖雄狮汽车科技有限公司 汽车座舱的控制方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
WO2020107251A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
US10112585B1 (en) Vehicle cleanliness detection systems and methods
US8606492B1 (en) Driver log generation
US11615545B2 (en) System and method for detecting in-vehicle conflicts
US11904779B2 (en) Interior camera system for a self driving car
US9491420B2 (en) Vehicle security with accident notification and embedded driver analytics
CN111566660A (zh) 用于检测车辆中的人数的***和方法
EP3664011A1 (en) Systems and methods for vehicle condition inspection for shared vehicles
US20180307926A1 (en) Stain and Trash Detection Systems and Methods
CN104776849A (zh) 车辆定位装置与方法
CN111368612B (zh) 超员检测***、人员检测方法及电子设备
CN111615721A (zh) 基于车辆与乘客之间进行识别的接送服务
CN108805026A (zh) 用于检测和分类与车辆相关联的对象的方法和设备
CN110941982A (zh) 乘车举止评价装置、评价***、评价方法以及存储介质
CN110164163A (zh) 便于环境能见度确定的方法和设备
US11270525B2 (en) Automated vehicle occupancy detection
CN114475511B (zh) 基于视觉的气囊启动
CN113537117B (zh) 车载遗留物监控告警方法及其5g***
AU2018102204A4 (en) System and method for detecting in-vehicle conflicts
CN114898544A (zh) 一种基于网络的交通接驳方法及***
JP7070827B2 (ja) 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム
CN110475694A (zh) 车辆控制装置、车辆控制方法及程序
US20200027140A1 (en) System and method to charge a penalty fee to an uncooperative client of an automated-taxi
US20230343111A1 (en) Computer implemented method, computer system and non-transitory computer readable medium for detecting an occupancy of a seat in a vehicle cabin

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination