CN110781799B - 车舱内图像处理方法及装置 - Google Patents

车舱内图像处理方法及装置 Download PDF

Info

Publication number
CN110781799B
CN110781799B CN201911008608.8A CN201911008608A CN110781799B CN 110781799 B CN110781799 B CN 110781799B CN 201911008608 A CN201911008608 A CN 201911008608A CN 110781799 B CN110781799 B CN 110781799B
Authority
CN
China
Prior art keywords
face detection
detection frame
cabin
area
vehicle cabin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911008608.8A
Other languages
English (en)
Other versions
CN110781799A (zh
Inventor
吴阳平
肖琴
娄松亚
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202210188771.2A priority Critical patent/CN114821546A/zh
Priority to CN201911008608.8A priority patent/CN110781799B/zh
Publication of CN110781799A publication Critical patent/CN110781799A/zh
Priority to PCT/CN2020/099998 priority patent/WO2021077796A1/zh
Priority to JP2021571023A priority patent/JP2022535375A/ja
Priority to KR1020227006965A priority patent/KR20220041901A/ko
Application granted granted Critical
Publication of CN110781799B publication Critical patent/CN110781799B/zh
Priority to US17/724,978 priority patent/US20220245966A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0265—Vehicular advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本申请提供了一种车舱内图像处理方法，包括：获取经设置在车舱内的摄像设备采集的车舱内图像；对所述车舱内图像进行人脸检测，得到所述车舱内图像包括的至少一张人脸的人脸检测框；根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。上述方案有利于提高通过车舱内图像获知车舱人员信息的效率，以及提高车舱内监控***的利用价值。

Description

车舱内图像处理方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种车舱内图像处理方法及装置。
背景技术
随着科技的发展，车辆从传统的机械工具逐步发展成为具有信息化功能、娱乐化功能的交通工具。近年来，车辆信息已经通过网络进行了连接，可以通过视频监控调取车辆监控录像，但车舱内的人员信息并没有通过网络进行连接，即便通过视频监控录像找到了车辆信息，但并不能了解车辆的车舱人员信息。
目前，车辆车舱内的监控***基本都停留在传统的监控模式，即采集得到视频监控录像和存储视频监控录像，若用户需要了解车舱内的人员信息，可以查看监控录像且对录像进行主观分析，从而获知车舱内人员的信息，但通过该方法获取车舱内人员信息的效率不高，也使得车辆监控录像的价值没有得到充分利用。
发明内容
本申请提供的车舱内图像处理方法及装置，能够对车舱内图像的车舱人员信息进行充分挖掘，提高通过车舱内图像获知车舱人员信息的效率，以及提高车舱内监控***的利用价值。
第一方面，本申请提供了一种车舱内图像处理方法，包括：
获取经设置在车舱内的摄像设备采集的车舱内图像；
对所述车舱内图像进行人脸检测，得到所述车舱内图像包括的至少一张人脸的人脸检测框；
根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
上述车舱内图像处理方法，通过对车舱内图像进行人脸检测，得到至少一张人脸的人脸检测框，然后，基于人脸检测框确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，而无需提取人脸特征，因此，有利于减少运算复杂度，有效地提高通过车舱内图像获知车舱人员的身份属性信息和位置信息的效率。
在一种可能的实施例中，所述确定各人脸检测框对应的车舱人员的身份属性包括：
确定各人脸检测框对应的车舱人员为以下至少之一的身份属性：驾驶员、乘客、车内前排座位区人员、车内后排座位区人员、车内中间排座位区人员、驾驶座位区人员、副驾驶座位区人员、非驾驶座位区人员。
在一种可能的实施例中，所述确定各人脸检测框对应的车舱人员在所述车舱内的位置包括：
确定各人脸检测框对应的车舱人员在所述车舱内的以下至少之一的位置：车内前排座位区、车内后排座位区、车内中间排座位区、驾驶座位区、副驾驶座位区、非驾驶座位区。
在一种可能的实施例中，所述根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
确定所述人脸检测框的面积信息，其中，所述面积信息包括以下至少之一：所述人脸检测框面积，所述人脸检测框的面积在所述车舱内图像中的面积占比；
针对任一人脸检测帧，根据所述人脸检测框的面积信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
针对任一人脸检测帧，根据所述人脸检测框的面积信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
将预设面积阈值信息与所述人脸检测框的面积信息进行比较，所述预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述根据比较结果确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述预设面积阈值与所述人脸检测框的面积的比值小于第一预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积阈值与所述人脸检测框在的面积的比值大于或者等于所述第一预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值小于第二预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第二预设阈值小于第三预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内中间排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第三预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述根据比较结果确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第四预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于或者等于所述第四预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第五预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第五预设阈值小于第六预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内中间排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第六预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区。
上述方法中，根据预设面积阈值信息与人脸检测框的面积信息的比较结果，确定各人脸检测框对应的车舱人员的身份属性为车内前排座位人员、中间排座位人员或者后排座位人员，和/或，确定各人脸检测框对应的车舱人员在所述车舱内的位置为车内前排座位区、车内中间排座位区或者车内后排座位区，而不是通过传统的人为分析视频监控获取信息的方式，也无需提取人脸特征，因此，有利于减少运算复杂度，有效地节省人力、物力和时间等，提高了工作效率。
在一种可能的实施例中，所述根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
确定所述人脸检测框在所述车舱内图像中的相对位置信息；
针对任一人脸检测帧，根据所述人脸检测框的相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
根据所述人脸检测框的相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述人脸检测框的相对位置位于第二预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是副驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述人脸检测框的相对位置位于所述第一预设区域之外和所述第二预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是非驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
上述方法中，通过人脸检测技术检测出人脸检测框的相对位置信息，然后根据人脸检测框的相对位置信息，可以确定各人脸检测框对应的车舱人员的身份属性为驾驶座位区人员、副驾驶座位区人员或者非驾驶座位区人员，和/或，确定各人脸检测框对应的车舱人员在所述车舱内的位置为驾驶座位区、副驾驶座位区或者非驾驶座位区，而不是通过传统的人为分析视频监控获取信息的方式，也无需提取人脸特征，因此，有利于减少运算复杂度，有效地节省人力、物力和时间等，提高了工作效率。
在一种可能的实施例中，所述根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
确定所述人脸检测框的面积信息及其在所述车舱内图像中的相对位置信息，其中，所述面积信息包括以下至少之一：所述人脸检测框在所述车舱内图像中的面积，所述人脸检测框的面积在所述车舱内图像中的面积占比；
根据所述人脸检测框的面积信息和相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
根据所述人脸检测框的面积信息和相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
将预设面积阈值信息与所述人脸检测框的面积信息进行比较，所述预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果和所述相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端且镜头朝向车舱内车尾方向拍摄而得的图像；
针对任一人脸检测帧，根据比较结果和所述相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述预设面积阈值与所述人脸检测框的面积的比值小于第一预设阈值且所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值小于所述第一预设阈值且所述人脸检测框的相对位置位于所述第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第一预设阈值且所述人脸检测框的相对位置位于所述第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端且镜头朝向车舱内车尾方向拍摄而得的图像；
针对任一人脸检测帧，根据比较结果和所述相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第四预设阈值且所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于所述第四预设阈值且所述人脸检测框的相对位置位于第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第四预设阈值且所述人脸检测框的相对位置位于第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
上述方法中，根据人脸检测框的面积信息及其相对位置信息，确定各人脸检测框对应的车舱人员的身份属性为驾驶员，和/或，确定各人脸检测框对应的车舱人员在所述车舱内的位置为驾驶座位区、副驾驶座位区或者非驾驶座位区，而不是通过传统的人为分析视频监控获取信息的方式，也无需提取人脸特征，因此，有利于减少运算复杂度，有效地节省人力、物力和时间等，提高了工作效率。
在一种可能的实施例中，所述摄像设备为红外摄像头，其设置于车舱内的后视镜上且镜头朝向为面向车尾的方向。
上述方法中，摄像设备为红外摄像头，可以保证白天和晚上都能正常采集车舱内的图像信息得到车舱内图像，另外，将摄像设备设置于其设置于车舱内的后视镜上且镜头朝向为面向车尾的方向，便于全面地采集车舱内的车舱人员信息。
在一种可能的实施例中，所述方法还包括：
确定预设驾驶员人脸框和预设副驾驶员人脸框的位置信息，在车舱内图像中显示所述预设驾驶员人脸框和所述预设副驾驶员人脸框；
根据所述预设驾驶员人脸框的位置和所述预设副驾驶员人脸框的位置进行所述第一预设区域和所述第二预设区域的显示控制，并将所述第一预设区域和所述第二预设区域的位置信息保存至配置文件。
在一种可能的实施例中，得到所述车舱内图像包括的至少一张人脸的人脸检测框之后，所述方法还包括：
对车舱内图像中与各所述人脸检测框对应的图像区域分别进行特征提取；
根据提取的特征确定各人脸检测框对应的车舱人员的人脸属性，其中，所述人脸属性包括以下至少之一：性别、年龄、情绪状态、是否戴口罩、是否戴眼镜、是否抽烟、是否是小孩。
上述方法中，对车舱内图像中与各人脸检测框对应的图像区域分别进行特征提取，根据提取的特征确定各人脸检测框对应的车舱人员的人脸属性，深入挖掘了视频监控的价值，从而有效地提高通过车舱内图像获知车舱人员的人脸属性信息的效率。
在一种可能的实施例中，所述方法还包括：
通过车舱设置的显示屏显示所述车舱内图像，并在所述车舱内图像中显示所述人脸检测框和/或检测结果。
在一种可能的实施例中，所述方法还包括：
获取所述人脸检测框和/或检测结果的显示设置信息；
根据显示设置信息在所述车舱内图像中进行所述人脸检测框和/或检测结果的显示控制。
上述方法中，通过车舱设置的显示屏显示的车舱内图像中显示人脸检测框和/或检测结果进行显示，能够快速定位车舱内图像中车舱人员的位置，获知车舱人员的信息，无需对监控视频进行主观分析。同时，还可以根据显示设置信息在车舱内图像中进行人脸检测框和/或检测结果的显示控制，优化用户的交互体验。
在一种可能的实施例中，所述方法还包括：
根据各个人脸检测框对应的车舱人员的人脸属性，确定广告信息；
通过所述车舱设置的显示屏显示所述广告信息。
在一种可能的实施例中，所述方法还包括：
根据各个人脸检测框对应的至少一个车舱人员的情绪状态，确定预定提示信息；
通过所述车舱设置的显示屏显示和/或播放所述预定提示信息。
在一种可能的实施例中，所述方法还包括：将检测结果发送至服务器。
上述方法中，可以根据人脸检测框对应的检测结果为用户提供更多优质服务，充分发挥了车舱内视频监控***的利用价值。
第二方面，本申请提供了一种车舱内图像处理装置，包括：
获取模块，用于获取经设置在车舱内的摄像设备采集的车舱内图像；
检测模块，用于对所述车舱内图像进行人脸检测，得到所述车舱内图像包括的至少一张人脸的人脸检测框；
确定模块，用于根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述确定模块用于：
确定各人脸检测框对应的车舱人员为以下至少之一的身份属性：驾驶员、乘客、车内前排座位区人员、车内后排座位区人员、车内中间排座位区人员、驾驶座位区人员、副驾驶座位区人员、非驾驶座位区人员。
在一种可能的实施例中，所述确定模块用于：
确定各人脸检测框对应的车舱人员在所述车舱内的以下至少之一的位置：车内前排座位区、车内后排座位区、车内中间排座位区、驾驶座位区、副驾驶座位区、非驾驶座位区。
在一种可能的实施例中，所述确定模块具体用于：
确定所述人脸检测框的面积信息，其中，所述面积信息包括以下至少之一：所述人脸检测框面积，所述人脸检测框的面积在所述车舱内图像中的面积占比；
针对任一人脸检测帧，根据所述人脸检测框的面积信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
将预设面积阈值信息与所述人脸检测框的面积信息进行比较，所述预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
在所述预设面积阈值与所述人脸检测框的面积的比值小于第一预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积阈值与所述人脸检测框在的面积的比值大于或者等于所述第一预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值小于第二预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第二预设阈值小于第三预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内中间排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第三预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第四预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于或者等于所述第四预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第五预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第五预设阈值小于第六预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内中间排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第六预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区。
在一种可能的实施例中，所述确定模块还用于：
确定所述人脸检测框在所述车舱内图像中的相对位置信息；
针对任一人脸检测帧，根据所述人脸检测框的相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
在所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述人脸检测框的相对位置位于第二预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是副驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述人脸检测框的相对位置位于所述第一预设区域之外和所述第二预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是非驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
在一种可能的实施例中，所述确定模块具体用于：
确定所述人脸检测框的面积信息及其在所述车舱内图像中的相对位置信息，其中，所述面积信息包括以下至少之一：所述人脸检测框在所述车舱内图像中的面积，所述人脸检测框的面积在所述车舱内图像中的面积占比；
根据所述人脸检测框的面积信息和相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
将预设面积阈值信息与所述人脸检测框的面积信息进行比较，所述预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果和所述相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端且镜头朝向车舱内车尾方向拍摄而得的图像；
所述确定模块具体用于：
在所述预设面积阈值与所述人脸检测框的面积的比值小于第一预设阈值且所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值小于所述第一预设阈值且所述人脸检测框的相对位置位于所述第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第一预设阈值且所述人脸检测框的相对位置位于所述第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
在一种可能的实施例中，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端且镜头朝向车舱内车尾方向拍摄而得的图像；
所述确定模块具体用于：
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第四预设阈值且所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于所述第四预设阈值且所述人脸检测框的相对位置位于第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第四预设阈值且所述人脸检测框的相对位置位于第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
在一种可能的实施例中，所述摄像设备为红外摄像头，其设置于车舱内的后视镜上且镜头朝向为面向车尾的方向。
在一种可能的实施例中，所述装置还包括：
显示模块，用于确定预设驾驶员人脸框和预设副驾驶员人脸框的位置信息，在车舱内图像中显示所述预设驾驶员人脸框和所述预设副驾驶员人脸框；
显示控制模块，用于根据所述预设驾驶员人脸框的位置和所述预设副驾驶员人脸框的位置进行所述第一预设区域和所述第二预设区域的显示控制，并将所述第一预设区域和所述第二预设区域的位置信息保存至配置文件。
在一种可能的实施例中，所述装置还包括：
特征提取模块，用于对车舱内图像中与各所述人脸检测框对应的图像区域分别进行特征提取；
所述确定模块，还用于根据提取的特征确定各人脸检测框对应的车舱人员的人脸属性，其中，所述人脸属性包括以下至少之一：性别、年龄、情绪状态、是否戴口罩、是否戴眼镜、是否抽烟、是否是小孩。
在一种可能的实施例中，所述显示模块，还用于通过车舱设置的显示屏显示所述车舱内图像，并在所述车舱内图像中显示所述人脸检测框和/或检测结果。
在一种可能的实施例中，所述显示控制模块，还用于：
获取所述人脸检测框和/或检测结果的显示设置信息；
根据显示设置信息在所述车舱内图像中进行所述人脸检测框和/或检测结果的显示控制。
在一种可能的实施例中，所述确定模块，还用于根据各个人脸检测框对应的车舱人员的人脸属性，确定广告信息；
所述显示模块，还用于通过所述车舱设置的显示屏显示所述广告信息。
在一种可能的实施例中，所述确定模块，还用于根据各个人脸检测框对应的至少一个车舱人员的情绪状态，确定预定提示信息；
所述显示模块，还用于通过所述车舱设置的显示屏显示和/或播放所述预定提示信息。
在一种可能的实施例中，所述装置还包括：发送模块，用于将检测结果发送至服务器。
第三方面，本申请提供了一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被硬件执行以实现权利要求1至21任一项权利要求的方法。
第四方面，本申请提供了一种计算机程序产品，其特征在于，当所述计算机程序产品被计算机读取并执行时，实现如权利要求1至21任一项权利要求所述的方法。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种车舱内图像处理方法的流程示意图；
图2是本申请提供的一种人脸检测框及图像坐标系的示意图；
图3是本申请提供的一种可能的车舱人员的身份属性和位置的示意图；
图4是本申请提供的一种第一预设区域和第二预设区域的示意图；
图5是本申请提供的一种人脸检测框和/或检测结果的显示的示意图；
图6是本申请提供的一种人脸检测框和/或检测结果的显示控制的示意图；
图7是本申请提供的一种车舱内图像处理装置的结构示意图；
图8是本申请提供的另一种车舱内图像处理装置的结构示意图；
图9是本申请提供的另一种车舱内图像处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
首先，请参阅图1，图1为本申请提供的一种车舱内图像处理方法的流程示意图，可以包括如下步骤：
S101、获取经设置在车舱内的摄像设备采集的车舱图像。
在一个可能的示例中，上述设置在车辆的车舱内的摄像设备用以实时采集车舱内的信息，拍摄得到车舱内图像，得到的车舱内图像可以是图片信息(如采集时刻连续的多张图片)、或是视频信息(如一定时长的视频，如10s长的视频)等等，此处不作具体限定。车舱内图像处理装置获取上述摄像设备采集的车舱内图像，可以为实时获取，也可以每隔预设时间获取，此处不作具体限定。
在实际应用中，上述摄像设备可以是模拟摄像机或者智能摄像头等，如红外摄像头，具有夜视距离远、隐蔽性强及性能稳定等优点，可以保证白天和晚上都能正常采集车舱内的图像信息得到车舱内图像。上述车舱可以为五座车厢也可以为七座车厢，车舱可以为左侧驾驶车舱或者右侧驾驶车舱，此处不作具体限定。
S102、对车舱内图像进行人脸检测，得到车舱内图像包括的至少一张人脸的人脸检测框。
其中，进行人脸检测的车舱内图像中可以包括一张或者多张人脸，一张或者多张人脸对应的车舱人员可以为坐在车舱前排座位区的人员，也可以为坐在车舱后排座位区的人员，车舱人员的脸部可以有装饰物，车舱人员可以为男性或者女性等，此处不作具体限定。因为车舱人员的脸部信息存在多种可能，所以摄像设备采集的车舱图像中人脸的信息也可以多种多样，如可以为正脸，也可以为存在一定角度偏转的侧脸，可以为大人人脸也可以为小孩人脸，此处不作具体限定。
在一个可能的示例中，在对车舱内图像进行人脸检测之前，可结合车型和/或实际需求对摄像设备的位置进行设置，使设置在车舱内的摄像设备采集到的车舱内图像尽可能包括车舱人员的人脸图像，无论该车舱人员是坐在车舱的前排座位区、中间排座位区还是后排座位区，因此要预先确定摄像设备在车舱内的位置。在本申请中，摄像设备可以位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端，如，设置于车舱内的后视镜上，也可以设置于车舱内的导航仪上，还可以设置于车舱前端的显示屏附近，此处不作具体限定。
由上述方案可知，将摄像设备设置于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端，便于全面地采集车舱内的车舱人员信息，为后续人脸检测做准备。
在对摄像设备获取的车舱内图像进行人脸检测之前，还可以对图像进行预处理，消除光照不均衡和角度不同等问题带来的不良影响。如，首先对输入的车舱内图像利用Haar特征级联分类器检测人脸，定位人眼位置，得到双眼距离和双眼倾斜角度；然后利用该角度做二维仿射变换，旋转人脸，解决角度不同的影响；然后利用直方图均衡化进行亮度归一，利用平滑处理消除噪声，达到人脸光照均衡的效果。经过上述预处理后得到人脸特性相对统一的车舱内图像，为后续人脸检测工作做准备。
在一个可能的示例中，可通过人脸检测算法对车舱内图像进行人脸检测，得到包含车舱内图像的人脸区域的人脸检测框。其中，人脸检测框用于指示人脸所在的位置，人脸检测框可以为矩形框，人脸检测框的位置信息包括人脸检测框的长和宽，以及人脸检测框的中任意一个顶角在图像坐标系下的坐标。例如，如果车舱内图像中包含四个不同的人，则可以获得四个矩形框，分别框中这四个人的人脸区域。其中，人脸检测算法可以是开源人脸算法(OpenFace)、目标检测算法(deformable partmodel，DMP)，级联卷积神经网络算法(cascade cnn)，稠密块算法(densebox)等等，本申请对人脸检测算法不做具体限定。
举例来说，如图2所示，图2为本申请提供的一种人脸检测框及图像坐标系的示意图，在图2中，车舱内图像中包含一张人脸，对该车舱内图像进行人脸检测，得到人脸检测框a、b、c、d在图像坐标系xoy下的坐标。
S103、根据至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置。
其中，确定各人脸检测框对应的车舱人员为以下至少之一的身份属性：驾驶员、乘客、车内前排座位区人员、车内后排座位区人员、车内中间排座位区人员、驾驶座位区人员、副驾驶座位区人员、非驾驶座位区人员；确定各人脸检测框对应的车舱人员在所述车舱内的以下至少之一的位置：车内前排座位区、车内后排座位区、车内中间排座位区、驾驶座位区、副驾驶座位区、非驾驶座位区。
如图3所示，图3为本申请实施例提供的一种可能的车舱人员的身份属性和位置的示意图，在图3中，车舱内图像中显示的5个包括人脸区域在内的矩形框为对车舱内图像进行检测得到的人脸检测框1、人脸检测框2、人脸检测框3、人脸检测框4、人脸检测框5，从图3中可以看出，人脸检测框1、人脸检测框2的面积比人脸检测框3、人脸检测框4、人脸检测框5的面积大，可以理解，人脸检测框1和人脸检测框2在车舱内图像中的面积占比也比人脸检测框3、人脸检测框4、人脸检测框5在车舱内图像中的面积占比大。另外，从图3中还可以看出，人脸检测框1和人脸检测框2位于车舱内图像中的靠近左右两侧的位置，人脸检测框3、人脸检测框4和人脸检测框5位于车舱内图像中靠近中间区域的位置。
因此，在本申请中，可以根据人脸检测框的不同，确定人脸检测框对应的车舱人员的身份属性和/或确定人脸检测框对应的车舱人员在车舱内的位置。如图3所示，根据人脸检测框1、人脸检测框2、人脸检测框3、人脸检测框4、人脸检测框5的不同，可以确定人脸检测框1对应的车舱人员的身份属性是驾驶员(Driver),可以理解，人脸检测框1对应的车舱人员在车舱内的位置为车内前排座位区的驾驶座位区；还可以确定人脸检测框2对应的车舱人员的身份属性是乘客(Passenger)，可以理解，人脸检测框2对应的车舱人员在车舱内的位置为车内前排座位区的副驾驶座位区；还可以确定人脸检测框3、人脸检测框4和人脸检测框5对应的车舱人员的身份属性是乘客(Passenger),可以理解，人脸检测框3、人脸检测框4和人脸检测框5对应的车舱人员在车舱内的位置为车内后排座位区，即非驾驶座位区。
接下来对步骤S103中所述的根据至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置的过程，进行详细阐述。
在一个可能的示例中，根据至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置，可以包括如下步骤：
A1：确定人脸检测框的面积信息。
在一个可能的示例中，通过上述步骤S102可以得到车舱内图像包括的至少一张人脸的人脸检测框，可以理解为得到人脸检测框的位置信息，例如上述人脸检测框的四个顶点a、b、c、d的坐标，得到人脸框的位置信息之后就可以得出人脸检测框的面积信息。其中，人脸检测框的面积信息包括以下至少之一：人脸检测框的面积，人脸检测框的面积在车舱内图像中的面积占比。
A2：针对任一人脸检测帧，根据人脸检测框的面积信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置。
在一个可能的示例中，根据人脸检测框的面积信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置，可以为，将预设面积阈值信息与人脸检测框的面积信息进行比较，然后，根据比较结果确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置。其中，预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，根据预设面积阈值信息与人脸检测框的面积信息的比较结果确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置，包括以下至少之一：
在预设面积阈值与人脸检测框的面积的比值小于第一预设阈值且车舱为前后两排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内前排座位区；
此处以第一预设阈值为1.5，预设面积阈值为3平方厘米为例，假设人脸检测框的面积为2.4平方厘米，则预设面积阈值和人脸检测框的面积的比值为1.25，小于第一预设阈值1.5，可确定人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内前排座位区。
在预设面积阈值与人脸检测框的面积的比值大于或者等于第一预设阈值且车舱为前后两排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内后排座位区；
此处继续以第一预设阈值为1.5，预设面积阈值为3平方厘米为例，假设人脸检测框的面积为1.6平方厘米，则预设面积阈值和人脸检测框的面积的比值为1.875，大于第一预设阈值1.5，可确定人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内后排座位区。
在预设面积阈值与人脸检测框的面积的比值小于第二预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内前排座位区；
在预设面积阈值与人脸检测框的面积的比值大于第二预设阈值小于第三预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内中间排座位区；
在预设面积阈值与人脸检测框的面积的比值大于第三预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内后间排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内后排座位区。
在车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，与在车舱为前后两排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置的过程相类似，此处不再举例。
需要说明的是，上述举例中预设阈值1.5，预设人脸面积3平方厘米，以及检测到的人脸检测框的面积2.4平方厘米和1.6平方厘米等，仅作为本申请实施例的一种示例，便于本领域技术人员理解本申请，不应视为对本申请实施例的限定。在另一种可能的实施方式中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，还可以根据预设面积阈值信息中的预设面积占比阈值与人脸检测框的面积信息中的人脸检测框的面积在车舱内图像中的面积占比的比较结果确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置，包括以下至少之一：
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值小于第四预设阈值且车舱为前后两排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内前排座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值大于或者等于第四预设阈值且车舱为前后两排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内后排座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值小于第五预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内前排座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值大于第五预设阈值小于第六预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内中间排座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值大于第六预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内后间排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内后排座位区。
这里，在根据预设面积阈值信息与人脸检测框的面积信息的比较结果对车舱人员的身份属性和/或位置进行确定之前，需要预先确定预设面积阈值信息和第一预设阈值、第二预设阈值等预设阈值的大小，其中，预设面积阈值信息和第一预设阈值、第二预设阈值等预设阈值的确定均与摄像设备的设置位置有关，因此，进行人脸检测的车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像，进一步地，摄像设备的拍摄画面的横向中央位置可以位于车舱内前排两座位中间位置附近，拍摄画面的垂直方向尽可能地使车舱人员的人脸都靠近图像中央。在设置完摄像设备的位置后，可以确定预设面积阈值信息和第一预设阈值、第二预设阈值等预设阈值。
其中，预设面积阈值可以理解为预设驾驶员人脸面积，该预设面积阈值可以是预存的人脸面积，如预先合成的人脸的面积或者预先设置的人脸的面积等。
此处以预设面积阈值为预先设置的人脸的面积为例，可以预先选定驾驶员坐在车辆的驾驶座位区，选取车舱内图像中预设驾驶员的人脸框，该预设驾驶员人脸框可以为对车舱内图像进行人脸检测得到的人脸检测框，还可以为通过鼠标或者键盘等输入指令选取的车舱内图像中包含该预设驾驶员人脸区域的人脸框，该人脸框具有坐标信息，根据人脸框的坐标信息可以计算人脸框的长和宽，从而可进一步计算出图像中的预设驾驶员的人脸面积，即预设面积阈值。然后，可以根据预设面积阈值计算出预设面积阈值占比，即预设面积阈值与车舱内图像面积的比值。
得到预设面积阈值和预设面积阈值占比后，将该预设面积阈值和预设面积阈值占比保存至配置文件中，然后便可在配置文件中配置第一预设阈值、第二预设阈值等预设阈值。
具体地，在车舱为前后两排座位车舱的情况下，只需配置第一预设阈值，其中，第一预设阈值表示预设前后排人脸面积比值；在车舱为前中后三排座位车舱的情况下，需配置第二预设阈值和第三预设阈值，其中，第二预设阈值表示预设前排和中排人脸面积比值，第三预设阈值表示预设前后排人脸面积比值。在不同类型的车辆中，摄像设备距离车舱前排座位和后排座位的距离可能相同，因此，第一预设阈值和第三预设阈值可能相同，此处不作具体限定。第四预设阈值、第五预设阈值及第六预设阈值的设置情况与第一预设阈值、第二预设阈值及第三预设阈值的配置过程相类似，此处不再展开赘述。
在实际应用中，预先选定的驾驶员可以为一个，也可以为多个，此处不作具体限定。在预先选定的驾驶员为一个的情况下，计算出的图像中的预设驾驶员人脸面积即为预设面积阈值；在预先选定的驾驶员为多个的情况下，计算出的多个预设驾驶员人脸面积的平均值即为预设面积阈值，还可以通过其他计算方法得出预设面积阈值，此处不作具体限定。
由上述方案可知，本申请能够通过人脸检测技术检测出人脸检测框的面积信息，然后根据预设面积阈值信息与人脸检测框的面积信息的比较结果，确定各人脸检测框对应的车舱人员的身份属性为车内前排座位人员、中间排座位人员或者后排座位人员，和/或，确定各人脸检测框对应的车舱人员在所述车舱内的位置为车内前排座位区、车内中间排座位区或者车内后排座位区，而不是通过传统的人为分析视频监控获取信息的方式，也无需提取人脸特征，因此，有利于减少运算复杂度，有效地节省人力、物力和时间等，提高了工作效率。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，针对任一人脸检测帧，还可以根据人脸检测框的相对位置信息确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置，包括以下至少之一：
在人脸检测框的相对位置位于第一预设区域内的情况下，确定人脸检测框对应的车舱人员的身份属性是驾驶座位区人员和/或人脸检测框对应的车舱人员在车舱的驾驶座位区；
在人脸检测框的相对位置位于第二预设区域内的情况下，确定人脸检测框对应的车舱人员的身份属性是副驾驶座位区人员和/或确定人脸检测框对应的车舱人员在车舱的副驾驶座位区；
在人脸检测框的相对位置位于第一预设区域之外和第二预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是非驾驶座位区人员和/或确定人脸检测框对应的车舱人员在车舱的非驾驶座位区。
其中，第一预设区域与第二预设区域的确定也与摄像设备的设置位置有关，因此，需要提前确定摄像设备的位置。需要说明的是，在实际应用中，对于不同类型的车辆，车舱的驾驶座位区可以为车舱前排座位的左侧座位，也可以为右侧座位。因此要针对不同类型的车辆调整摄像设备的位置，通常，摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端，更具体地，摄像设备的拍摄画面的横向中央位置可以位于车舱内前排两座位中间位置附近，拍摄画面的垂直方向尽可能地使车舱人员的人脸都靠近图像中央。设置完摄像设备在车舱中的位置，便可进一步确定第一预设区域与第二预设区域。
由上述方案可知，本申请能够通过人脸检测技术检测出人脸检测框的相对位置信息，然后根据人脸检测框的相对位置信息，可以确定各人脸检测框对应的车舱人员的身份属性为驾驶座位区人员、副驾驶座位区人员或者非驾驶座位区人员，和/或，确定各人脸检测框对应的车舱人员在所述车舱内的位置为驾驶座位区、副驾驶座位区或者非驾驶座位区，而不是通过传统的人为分析视频监控获取信息的方式，也无需提取人脸特征，因此，有利于减少运算复杂度，有效地节省人力、物力和时间等，提高了工作效率。
在一个可能的示例中，确定第一预设区域与第二预设区域的过程可以为：
B1：确定预设驾驶员人脸框和预设副驾驶员人脸框的位置信息，在车舱内图像中显示预设驾驶员人脸框和预设副驾驶员人脸框。
其中，预设驾驶员人脸框和预设副驾驶员人脸框的位置信息的确定，可以为预先选定驾驶员坐在车辆的驾驶座位区，预先选定副驾驶员坐在车辆的副驾驶座位区，然后，便可看到车舱内图像中显示的预设驾驶员人脸和预设副驾驶员人脸，然后，可以在车舱内图像中选取预设驾驶员人脸框和预设副驾驶员人脸框，预设驾驶员人脸框和预设副驾驶员人脸框可以为对车舱内图像进行人脸检测得到的人脸检测框，还可以为通过鼠标或者键盘在车舱内的显示屏上输入指令选取的车舱内图像中预设驾驶员和预设副驾驶员的人脸框，其中，预设驾驶员人脸框和预设副驾驶员人脸框均为具有坐标的人脸框。
B2：根据预设驾驶员人脸框的位置和预设副驾驶员人脸框的位置进行第一预设区域和第二预设区域的显示控制，并将第一预设区域和第二预设区域的位置信息保存至配置文件。
根据车舱设置的显示屏显示的上述驾驶员人脸框的位置和预设副驾驶员人脸框的位置，可以在显示屏上输入指令确定第一预设区域和第二预设区域，并将第一预设区域和第二预设区域的位置信息保存至配置文件。
如图4所示，图4为本申请提供的一种第一预设区域和第二预设区域的示意图，图5中显示了第一预设区域和第二预设区域的位置。可以理解，上述图4仅仅是作为一种示例，在实际应用中，第一预设区域和第二预设区域的面积可以更大或者更小，第一预设区域和第二预设区域的位置还可以是其他位置，此处不作具体限定。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，针对任一人脸检测帧，还可以根据人脸检测框的面积信息及其在车舱图像中的相对位置信息确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置，包括以下至少之一：
在预设面积阈值与人脸检测框的面积的比值小于第一预设阈值且人脸检测框的相对位置位于第一预设区域内的情况下，确定人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定人脸检测框对应的车舱人员在车舱的驾驶座位区；
在预设面积阈值与人脸检测框的面积的比值小于第一预设阈值且人脸检测框的相对位置位于第一预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是乘客和/或确定人脸检测框对应的车舱人员在车舱的副驾驶座位区；
在预设面积阈值与人脸检测框的面积的比值大于第一预设阈值且人脸检测框的相对位置位于第一预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是乘客和/或确定人脸检测框对应的车舱人员在车舱的非驾驶座位区。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，针对任一人脸检测帧，还可以根据人脸检测框的面积信息及其在车舱图像中的相对位置信息确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置，包括以下至少之一：
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值小于第四预设阈值且人脸检测框的相对位置位于第一预设区域内的情况下，确定人脸检测框对应的车舱人员的身份属性是驾驶员和确定人脸检测框对应的车舱人员在车舱的驾驶座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值小于第四预设阈值且人脸检测框的相对位置位于第一预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是乘客和确定人脸检测框对应的车舱人员在车舱的副驾驶座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值大于第四预设阈值且人脸检测框的相对位置位于第一预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是乘客和确定人脸检测框对应的车舱人员在车舱的非驾驶座位区。
由上述方案可知，本申请能够通过人脸检测技术检测出人脸检测框的面积信息及其相对位置信息，然后根据人脸检测框的面积信息及其相对位置信息，确定各人脸检测框对应的车舱人员的身份属性为驾驶员，和/或，确定各人脸检测框对应的车舱人员在所述车舱内的位置为驾驶座位区、副驾驶座位区或者非驾驶座位区，而不是通过传统的人为分析视频监控获取信息的方式，也无需提取人脸特征，因此，有利于减少运算复杂度，有效地节省人力、物力和时间等，提高了工作效率。
在一个可能的示例中，在得到车舱内图像包括的至少一张人脸的人脸检测框之后，对车舱内图像中与各人脸检测框对应的图像区域分别进行特征提取，根据提取的特征确定各人脸检测框对应的车舱人员的人脸属性，其中，人脸属性可以包括性别、年龄、情绪状态、是否戴口罩、是否戴眼镜、是否抽烟、是否是小孩等。在实际应用中，还可以存储提取出的人脸属性特征，便于在下一次对相同车舱人员的人脸进行人脸检测时，加快检索速度。
可选地，可以使用卷积神经网络对车舱内图像中与各人脸检测框对应的图像区域进行特征提取，其中，卷积神经网络可以是简单结构的网络，比如只有2个卷积层的小网络，从而可以高效准确地检测出车舱图像中人物的人脸面积和人脸区域，卷积神经网络也可以是具有10个卷积层的复杂网络，用于检测车舱图像中人物的年龄和表情等细微的人脸属性，此处不作具体限定。另外，卷积神经网络可以是残差神经网络(Residual Network,ResNet)、VGG网络(VGG Network,VGGNet)等等，此处不作具体限定。
由此可见，本申请还能够对车舱内图像中与各人脸检测框对应的图像区域分别进行特征提取，根据提取的特征确定各人脸检测框对应的车舱人员的人脸属性，深入挖掘了视频监控的价值，从而有效地提高通过车舱内图像获知车舱人员的人脸属性信息的效率。
在一个可能的示例中，可以通过车舱设置的显示屏显示车舱内图像，并在车舱内图像中显示人脸检测框和/或检测结果，其中，检测结果可以包括人脸检测框对应的车舱人员的身份属性、位置、人脸属性等。如图5所示，图5为一种可能的人脸检测框和/或检测结果的显示示意图。图5中显示了人脸检测框和检测结果中的身份属性、位置、情绪状态、性别和年龄。可以理解，上述图5仅仅是作为一种示例，在实际应用中，显示的检测结果还可以是其他或者更多，此处不作具体限定。
进一步地，还可以通过车舱设置的显示屏获取人脸检测框和/或检测结果的显示设置信息，根据显示设置信息在车舱内图像中进行人脸检测框和/或检测结果的显示控制。如图6所示，图6是一种可能的人脸检测框和/或检测结果的显示控制示意图。图6中显示了人脸检测框/、性别和位置的显示控制，其中，性别和人脸检测框处于显示状态，位置处于不显示状态。可以理解，上述图6仅仅是作为一种示例，在实际应用中，显示控制还可以是人脸检测框和/或其他检测结果的显示控制，此处不作具体限定。
由此可见，本申请能够在车舱设置的显示屏上显示的车舱内图像中显示人脸检测框和/或检测结果进行显示，能够快速定位车舱内图像中车舱人员的位置，获知车舱人员的信息，无需对监控视频进行主观分析。同时，还可以根据显示设置信息在车舱内图像中进行人脸检测框和/或检测结果的显示控制，优化用户的交互体验。
在一个可能的示例中，可以根据各个人脸检测框对应的车舱人员的人脸属性，确定广告信息，然后通过车舱设置的显示屏显示广告信息。
例如，可以预先将广告信息按照不同人的年龄、性别等属性特征进行分类，生成与不同人的年龄、性别等属性特征所对应的广告推送列表，然后可以根据各个人脸检测框对应的车舱人员的性别或者年龄属性等人脸属性筛选出与之匹配的广告信息并根据匹配度对筛选出的广告信息进行排序和按序播放，其中，匹配度可以设定为按照性别相关度或者年龄相关度等进行排序。例如，针对男性可以推送汽车、房产、游戏等类型广告，针对女性可以推送美食、美容、服饰等类型广告等等。另外，还可以定期对广告推送列表中的广告信息进行更新操作。
在一个可能的示例中，还可以根据各个人脸检测框对应的至少一个车舱人员的情绪状态，确定预定提示信息，然后通过车舱设置的显示屏显示和/或播放所述预定提示信息。
例如，车舱内图像处理装置在检测到各个人脸检测框对应的至少一个车舱人员的情绪状态为伤心、愤怒、痛苦、哭泣等情绪时，可以筛选出与对应情绪状态匹配的预定提示消息，并在车舱设置的显示屏进行显示和播放。例如，针对小孩哭泣的情绪可以播放儿童节目或者儿童歌曲等，针对女性愤怒的情绪可以播放舒缓的音乐等。另外，还可以定期对预定提示消息进行更新操作。
在一个可能的示例中，还可以将检测结果发送至服务器，便于相关部门或者工作人员快速掌握车舱人员的详细信息，无需人工查看录像。例如，可以将检测结果通过车载网络通讯实时发送至公安车辆监管***终端，可以预防车辆被盗。
可以看出，本申请实施例的方案中，通过人脸检测技术对摄像设备采集的车舱内图像中的人脸进行检测，得到人脸检测框，从而确定人脸检测框的面积信息和相对位置信息，根据人脸检测框的面积信息和/或相对位置信息，确定人脸检测框对应的车舱人员的身份属性，如驾驶员、乘客、车内前排座位区人员、车内后排座位区人员等身份，还可以确定人脸检测框对应的车舱人员在车舱内的位置，如驾驶座位区、非驾驶座位区、车内前排座位区、车内中间排座位区等位置。由此可知，本申请在无需提取人脸特征的前提下，充分挖掘了车舱内视频监控***的有效信息，从而大大地提高通过车舱内图像获知车舱人员身份属性信息和位置信息的效率。同时，本申请还能够对检测出的人脸检测框和/或人脸属性等检测结果进行显示控制，以及利用检测结果为用户提供更多优质服务，充分发挥了车舱内视频监控***的利用价值。
上文详细阐述了本申请实施例的一种车舱内图像处理方法，基于相同的发明构思，下面继续提供本申请实施例的一种车舱内图像处理装置。
参见图7，图7是本申请提供的一种车舱内图像处理装置700的结构示意图，至少包括：获取模块710、检测模块720、确定模块730。其中，获取模块710，用于获取经设置在车舱内的摄像设备采集的车舱内图像。
检测模块720，用于对车舱内图像进行人脸检测，得到车舱内图像包括的至少一张人脸的人脸检测框。
确定模块730，用于根据至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置。
在一个可能的示例中，确定模块730还用于：
确定各人脸检测框对应的车舱人员为以下至少之一的身份属性：驾驶员、乘客、车内前排座位区人员、车内后排座位区人员、车内中间排座位区人员、驾驶座位区人员、副驾驶座位区人员、非驾驶座位区人员，
和/或，
确定各人脸检测框对应的车舱人员在车舱内的以下至少之一的位置：车内前排座位区、车内后排座位区、车内中间排座位区、驾驶座位区、副驾驶座位区、非驾驶座位区。
在一个可能的示例中，确定模块730具体用于：
确定人脸检测框的面积信息，其中，面积信息包括以下至少之一：人脸检测框面积，人脸检测框的面积在车舱内图像中的面积占比；
针对任一人脸检测帧，根据人脸检测框的面积信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，确定模块730具体用于：
将预设面积阈值信息与人脸检测框的面积信息进行比较，预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，确定模块730具体用于：
在预设面积阈值与人脸检测框的面积的比值小于第一预设阈值且车舱为前后两排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内前排座位区；
在预设面积阈值与人脸检测框在的面积的比值大于或者等于第一预设阈值且车舱为前后两排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内后排座位区；
在预设面积阈值与人脸检测框的面积的比值小于第二预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内前排座位区；
在预设面积阈值与人脸检测框的面积的比值大于第二预设阈值小于第三预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内中间排座位区；
在预设面积阈值与人脸检测框的面积的比值大于第三预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内后排座位区。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，确定模块730具体用于：
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值小于第四预设阈值且车舱为前后两排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内前排座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值大于或者等于第四预设阈值且车舱为前后两排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内后排座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值小于第五预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内前排座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值大于第五预设阈值小于第六预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内中间排座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值大于第六预设阈值且车舱为前中后三排座位车舱的情况下，确定人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定人脸检测框对应的车舱人员在车舱的车内后排座位区。
在一个可能的示例中，确定模块730还用于：
确定人脸检测框在车舱内图像中的相对位置信息；
针对任一人脸检测帧，根据人脸检测框的相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，确定模块730具体用于：
在人脸检测框的相对位置位于第一预设区域内的情况下，确定人脸检测框对应的车舱人员的身份属性是驾驶座位区人员和/或确定人脸检测框对应的车舱人员在车舱的驾驶座位区；
在人脸检测框的相对位置位于第二预设区域内的情况下，确定人脸检测框对应的车舱人员的身份属性是副驾驶座位区人员和/或确定人脸检测框对应的车舱人员在车舱的副驾驶座位区；
在人脸检测框的相对位置位于第一预设区域之外和第二预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是非驾驶座位区人员和/或确定人脸检测框对应的车舱人员在车舱的非驾驶座位区。
在一个可能的示例中，确定模块730具体用于：
确定人脸检测框的面积信息及其在车舱内图像中的相对位置信息，其中，面积信息包括以下至少之一：人脸检测框在车舱内图像中的面积，人脸检测框的面积在车舱内图像中的面积占比；
根据人脸检测框的面积信息和相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，确定模块730具体用于：
将预设面积阈值信息与人脸检测框的面积信息进行比较，预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果和相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，确定模块730具体用于：
在预设面积阈值与人脸检测框的面积的比值小于第一预设阈值且人脸检测框的相对位置位于第一预设区域内的情况下，确定人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定人脸检测框对应的车舱人员在车舱的驾驶座位区；
在预设面积阈值与人脸检测框的面积的比值小于第一预设阈值且人脸检测框的相对位置位于第一预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是乘客和/或确定人脸检测框对应的车舱人员在车舱的副驾驶座位区；
在预设面积阈值与人脸检测框的面积的比值大于第一预设阈值且人脸检测框的相对位置位于第一预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是乘客和/或确定人脸检测框对应的车舱人员在车舱的非驾驶座位区。
在一个可能的示例中，在车舱内图像为摄像设备位于车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像的前提下，确定模块730具体用于：
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值小于第四预设阈值且人脸检测框的相对位置位于第一预设区域内的情况下，确定人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定人脸检测框对应的车舱人员在车舱的驾驶座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值小于第四预设阈值且人脸检测框的相对位置位于第一预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是乘客和/或确定人脸检测框对应的车舱人员在车舱的副驾驶座位区；
在预设面积占比阈值与人脸检测框的面积在车舱内图像中的面积占比的比值大于第四预设阈值且人脸检测框的相对位置位于第一预设区域之外的情况下，确定人脸检测框对应的车舱人员的身份属性是乘客和/或确定人脸检测框对应的车舱人员在车舱的非驾驶座位区。
在一个可能的示例中，摄像设备为红外摄像头，其设置于车舱内的后视镜上且镜头朝向为面向车尾的方向。
可选地，本申请实施例提供的一种车舱内图像处理装置700还可以包括特征提取模块740、显示模块750、显示控制模块760。其中，
特征提取模块740，用于对车舱内图像中与各人脸检测框对应的图像区域分别进行特征提取。
在特征提取模块740提取得到特征之后，使用确定模块730根据提取的特征确定各人脸检测框对应的车舱人员的人脸属性，其中，人脸属性包括以下至少之一：性别、年龄、情绪状态、是否戴口罩、是否戴眼镜、是否抽烟、是否是小孩。
显示模块750，用于确定预设驾驶员人脸框和预设副驾驶员人脸框的位置信息，在车舱内图像中显示预设驾驶员人脸框和预设副驾驶员人脸框；
显示控制模块760，用于根据预设驾驶员人脸框的位置和预设副驾驶员人脸框的位置进行第一预设区域和第二预设区域的显示控制，并将第一预设区域和第二预设区域的位置信息保存至配置文件。
在一个可能的示例中，显示模块750还用于通过车舱设置的显示屏显示车舱内图像，并在车舱内图像中显示人脸检测框和/或检测结果。
在一个可能的示例中，显示控制模块760还用于获取人脸检测框和/或检测结果的显示设置信息，然后根据显示设置信息在车舱内图像中进行人脸检测框和/或检测结果的显示控制。
在一个可能的示例中，上述确定模块730还用于根据各个人脸检测框对应的车舱人员的人脸属性，确定广告信息，在确定广告信息之后，使用显示模块750显示广告信息，可以理解为，通过车舱设置的显示屏显示广告信息。
在一个可能的示例中，确定模块730还可以用于根据各个人脸检测框对应的至少一个车舱人员的情绪状态，确定预定提示信息，然后使用显示模块750显示和/或播放预定提示信息，可以理解为通过车舱设置的显示屏显示和/或播放预定提示信息。
可选地，本申请实施例提供的一种车舱内图像处理装置700还可以包括发送模块770，用于将检测结果发送至服务器。
上述车舱内图像处理装置700的各功能模块可用于实现图1实施例所描述的方法，详细内容可参考图1实施例相关内容中的描述，为了说明书的简洁，这里不再赘述。
上述方案能够对车舱内图像进行检测得到人脸检测框，并根据人脸检测框的面积信息和/或相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在车舱内的位置，有效地通过车舱内图像获知车舱人员信息的效率，以及提高车舱内监控***的利用价值。
本申请的车舱内图像处理装置700可以在单个计算节点中实现，也可以在云计算基础设施上实现，此处不作具体限定。下面将分别介绍如何在单个计算节点和云计算基础设施上实现车舱内图像处理装置700。
参见图8，本申请提供了另一实施方式的车舱内图像处理装置的结构示意图，本实施方式的车舱内图像处理装置可以在如图8所示的计算机节点800中实现，至少包括：处理器810、通信接口820以及存储器830，其中，处理器810、通信接口820和存储器830通过总线840进行耦合。其中，
处理器810通过调用存储器830中的程序代码，用于运行图7中的获取模块710、检测模块720、确定模块730、特征提取模块740、显示模块750、显示控制模块760、发送模块770。在实际应用中，处理器810可以包括一个或者多个通用处理器，其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括中央处理器(Central Processing Unit，CPU)、微处理器、微控制器、主处理器、控制器以及ASIC(Application SpecificIntegrated Circuit，专用集成电路)等等。处理器810读取存储器830中存储的程序代码，与通信接口820配合执行本申请上述实施例中由车舱人员位置检测装置400执行的方法的部分或者全部步骤。
通信接口820可以为有线接口(例如以太网接口)，用于与其他计算节点或装置进行通信。当通信接口820为有线接口时，通信接口820可以采用TCP/IP之上的协议族，例如，RAAS协议、远程函数调用(Remote Function Call，RFC)协议、简单对象访问协议(SimpleObject Access Protocol，SOAP)协议、简单网络管理协议(Simple Network ManagementProtocol，SNMP)协议、公共对象请求代理体系结构(Common Object Request BrokerArchitecture，CORBA)协议以及分布式协议等等。
存储器830可以存储有程序代码以及程序数据。其中，程序代码包括图像获取模块710的代码、检测模块720的代码、确定模块730的代码、特征提取模块740的代码、显示模块750的代码、显示控制模块760的代码、发送模块770的代码。程序数据包括：检测出的人脸检测框，人脸检测框的面积信息、人脸检测框的相对位置信息和人脸检测框对应的人脸属性等等。在实际应用中，存储器830可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器也可以包括非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)存储器还可以包括上述种类的存储器的组合。
参见图9，本申请提供了另一实施方式的车舱内图像处理装置的结构示意图，本实施方式的车舱内图像处理装置可以在云服务集群900中实现，至少包括：包括至少一个计算节点910以及至少一个存储节点920。其中，
计算节点910包括一个或多个处理器911、通信接口912和存储器913，处理器911、通信接口912和存储器913之间可以通过总线914连接。
处理器911包括一个或者多个通用处理器，通过调用存储器913中的程序代码，用于运行图7中的获取模块710、检测模块720、确定模块730、特征提取模块740、显示模块750、显示控制模块760、发送模块770。其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括中央处理器(Central Processing Unit，CPU)、微处理器、微控制器、主处理器、控制器以及ASIC(Application Specific Integrated Circuit，专用集成电路)等等。它能够是仅用于计算节点910的专用处理器或者能够与其它计算节点910共享。处理器911读取存储器913中存储的程序代码，与通信接口912配合执行本申请上述实施例中由车舱人员位置检测装置400执行的方法的部分或者全部步骤。
通信接口912可以为有线接口(例如以太网接口)，用于与其他计算节点或用户进行通信。当通信接口912为有线接口时，通信接口912可以采用TCP/IP之上的协议族，例如，RAAS协议、远程函数调用(Remote Function Call，RFC)协议、简单对象访问协议(SimpleObject Access Protocol，SOAP)协议、简单网络管理协议(Simple Network ManagementProtocol，SNMP)协议、公共对象请求代理体系结构(Common Object Request BrokerArchitecture，CORBA)协议以及分布式协议等等。
存储器913可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器也可以包括非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)存储器还可以包括上述种类的存储器的组合。
存储节点920包括一个或多个存储控制器921、存储阵列922。其中，存储控制器921和存储阵列922之间可以通过总线923连接。
存储控制器921包括一个或者多个通用处理器，其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括CPU、微处理器、微控制器、主处理器、控制器以及ASIC等等。它能够是仅用于单个存储节点920的专用处理器或者能够与计算节点900或者其它存储节点920共享。可以理解，在本实施例中，每个存储节点包括一个存储控制器，在其他的实施例中，也可以多个存储节点共享一个存储控制器，此处不作具体限定。
存储器阵列922可以包括多个存储器。存储器可以是非易失性存储器，例如ROM、快闪存储器、HDD或SSD存储器还可以包括上述种类的存储器的组合。例如，存储阵列可以是由多个HDD或者多个SDD组成，或者，存储阵列可以是由HDD以及SDD组成。其中，多个存储器在存储控制器921的协助下按不同的方式组合起来形成存储器组，从而提供比单个存储器更高的存储性能和提供数据备份技术。可选地，存储器阵列922可以包括一个或者多个数据中心。多个数据中心可以设置在同一个地点，或者，分别在不同的地点，此处不作具体限定。存储器阵列922可以存储有程序代码以及程序数据。其中，其中，程序代码包括图像获取模块710的代码、检测模块720的代码、确定模块730的代码、特征提取模块740的代码、显示模块750的代码、显示控制模块760的代码、发送模块770的代码。程序数据包括：检测出的人脸检测框，人脸检测框的面积信息、人脸检测框的相对位置信息和人脸检测框对应的人脸属性等等。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被硬件(例如处理器等)执行，以实现本申请实施例中由车舱内图像处理装置执行的任意一种方法的部分或者全部步骤。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品被计算机读取并执行时，使得车舱内图像处理装置执行本申请实施例中车舱内图像处理方法的部分或全部步骤。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、存储盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态存储盘SolidState Disk，SSD))等。在所述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，也可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (44)

1.一种车舱内图像处理方法，其特征在于，包括：
获取经设置在车舱内的摄像设备采集的车舱内图像；
对所述车舱内图像进行人脸检测，得到所述车舱内图像包括的至少一张人脸的人脸检测框；
根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：根据所述至少一张人脸的人脸检测框的面积信息和/或在所述车舱内图像中的相对位置信息，确定各人脸检测框对应的车舱人员在所述车舱内的位置。
2.根据权利要求1所述的方法，其特征在于，所述确定各人脸检测框对应的车舱人员的身份属性，包括：
确定各人脸检测框对应的车舱人员为以下至少之一的身份属性：驾驶员、乘客、车内前排座位区人员、车内后排座位区人员、车内中间排座位区人员、驾驶座位区人员、副驾驶座位区人员、非驾驶座位区人员。
3.根据权利要求1或2所述的方法，其特征在于，所述确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
确定各人脸检测框对应的车舱人员在所述车舱内的以下至少之一的位置：车内前排座位区、车内后排座位区、车内中间排座位区、驾驶座位区、副驾驶座位区、非驾驶座位区。
4.根据权利要求1至3任一项权利要求所述的方法，其特征在于，所述根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
确定所述人脸检测框的面积信息，其中，所述面积信息包括以下至少之一：所述人脸检测框面积，所述人脸检测框的面积在所述车舱内图像中的面积占比；
针对任一人脸检测帧，根据所述人脸检测框的面积信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
5.根据权利要求4所述的方法，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
针对任一人脸检测帧，根据所述人脸检测框的面积信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
将预设面积阈值信息与所述人脸检测框的面积信息进行比较，所述预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
6.根据权利要求5所述的方法，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述根据比较结果确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述预设面积阈值与所述人脸检测框的面积的比值小于第一预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积阈值与所述人脸检测框在的面积的比值大于或者等于所述第一预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值小于第二预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第二预设阈值小于第三预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内中间排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第三预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区。
7.根据权利要求5所述的方法，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述根据比较结果确定人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第四预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于或者等于所述第四预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第五预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第五预设阈值小于第六预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内中间排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第六预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区。
8.根据权利要求1至3任一项权利要求所述的方法，其特征在于，所述根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
确定所述人脸检测框在所述车舱内图像中的相对位置信息；
针对任一人脸检测帧，根据所述人脸检测框的相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
9.根据权利要求8所述的方法，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
根据所述人脸检测框的相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述人脸检测框的相对位置位于第二预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是副驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述人脸检测框的相对位置位于所述第一预设区域之外和所述第二预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是非驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
10.根据权利要求1至3任一项权利要求所述的方法，其特征在于，所述根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
确定所述人脸检测框的面积信息及其在所述车舱内图像中的相对位置信息，其中，所述面积信息包括以下至少之一：所述人脸检测框在所述车舱内图像中的面积，所述人脸检测框的面积在所述车舱内图像中的面积占比；
根据所述人脸检测框的面积信息和相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
11.根据权利要求10所述的方法，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
根据所述人脸检测框的面积信息和相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：
将预设面积阈值信息与所述人脸检测框的面积信息进行比较，所述预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果和所述相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
12.根据权利要求11所述的方法，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端且镜头朝向车舱内车尾方向拍摄而得的图像；
针对任一人脸检测帧，根据比较结果和所述相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述预设面积阈值与所述人脸检测框的面积的比值小于第一预设阈值且所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值小于所述第一预设阈值且所述人脸检测框的相对位置位于所述第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第一预设阈值且所述人脸检测框的相对位置位于所述第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
13.根据权利要求11所述的方法，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端且镜头朝向车舱内车尾方向拍摄而得的图像；
针对任一人脸检测帧，根据比较结果和所述相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括以下至少之一：
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第四预设阈值且所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于所述第四预设阈值且所述人脸检测框的相对位置位于第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第四预设阈值且所述人脸检测框的相对位置位于第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
14.根据权利要求1至13任一项权利要求所述的方法，其特征在于，所述摄像设备为红外摄像头，其设置于车舱内的后视镜上且镜头朝向为面向车尾的方向。
15.根据权利要求1至14任一项权利要求所述的方法，其特征在于，所述方法还包括：
确定预设驾驶员人脸框和预设副驾驶员人脸框的位置信息，在车舱内图像中显示所述预设驾驶员人脸框和所述预设副驾驶员人脸框；
根据所述预设驾驶员人脸框的位置和所述预设副驾驶员人脸框的位置进行第一预设区域和第二预设区域的显示控制，并将所述第一预设区域和所述第二预设区域的位置信息保存至配置文件。
16.根据权利要求1至15任一项权利要求所述的方法，其特征在于，得到所述车舱内图像包括的至少一张人脸的人脸检测框之后，所述方法还包括：
对所述车舱内图像中与各所述人脸检测框对应的图像区域分别进行特征提取；
根据提取的特征确定各人脸检测框对应的车舱人员的人脸属性，其中，所述人脸属性包括以下至少之一：性别、年龄、情绪状态、是否戴口罩、是否戴眼镜、是否抽烟、是否是小孩。
17.根据权利要求1至16任一项权利要求所述的方法，其特征在于，所述方法还包括：
通过车舱设置的显示屏显示所述车舱内图像，并在所述车舱内图像中显示所述人脸检测框和/或检测结果。
18.根据权利要求1至17任一项权利要求所述的方法，其特征在于，所述方法还包括：
获取所述人脸检测框和/或检测结果的显示设置信息；
根据显示设置信息在所述车舱内图像中进行所述人脸检测框和/或检测结果的显示控制。
19.根据权利要求1至18任一项权利要求所述的方法，其特征在于，所述方法还包括：
根据各个人脸检测框对应的车舱人员的人脸属性，确定广告信息；
通过所述车舱设置的显示屏显示所述广告信息。
20.根据权利要求1至19任一项权利要求所述的方法，其特征在于，所述方法还包括：
根据各个人脸检测框对应的至少一个车舱人员的情绪状态，确定预定提示信息；
通过所述车舱设置的显示屏显示和/或播放所述预定提示信息。
21.根据权利要求1至20任一项权利要求所述的方法，其特征在于，所述方法还包括：
将检测结果发送至服务器。
22.一种车舱内图像处理装置，其特征在于，包括：
获取模块，用于获取经设置在车舱内的摄像设备采集的车舱内图像；
检测模块，用于对所述车舱内图像进行人脸检测，得到所述车舱内图像包括的至少一张人脸的人脸检测框；
确定模块，用于根据所述至少一张人脸的人脸检测框，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置，包括：根据所述至少一张人脸的人脸检测框的面积信息和/或在所述车舱内图像中的相对位置信息，确定各人脸检测框对应的车舱人员在所述车舱内的位置。
23.根据权利要求22所述的装置，其特征在于，所述确定模块用于：
确定各人脸检测框对应的车舱人员为以下至少之一的身份属性：驾驶员、乘客、车内前排座位区人员、车内后排座位区人员、车内中间排座位区人员、驾驶座位区人员、副驾驶座位区人员、非驾驶座位区人员。
24.根据权利要求22或23所述的装置，其特征在于，所述确定模块用于：
确定各人脸检测框对应的车舱人员在所述车舱内的以下至少之一的位置：车内前排座位区、车内后排座位区、车内中间排座位区、驾驶座位区、副驾驶座位区、非驾驶座位区。
25.根据权利要求22至24任一项权利要求所述的装置，其特征在于，所述确定模块具体用于：
确定所述人脸检测框的面积信息，其中，所述面积信息包括以下至少之一：所述人脸检测框面积，所述人脸检测框的面积在所述车舱内图像中的面积占比；
针对任一人脸检测帧，根据所述人脸检测框的面积信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
26.根据权利要求25所述的装置，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
将预设面积阈值信息与所述人脸检测框的面积信息进行比较，所述预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
27.根据权利要求26所述的装置，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
在所述预设面积阈值与所述人脸检测框的面积的比值小于第一预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积阈值与所述人脸检测框在的面积的比值大于或者等于所述第一预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值小于第二预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第二预设阈值小于第三预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内中间排座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第三预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区。
28.根据权利要求27所述的装置，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第四预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于或者等于所述第四预设阈值且所述车舱为前后两排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第五预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内前排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内前排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第五预设阈值小于第六预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内中间排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内中间排座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第六预设阈值且所述车舱为前中后三排座位车舱的情况下，确定所述人脸检测框对应的车舱人员的身份属性是车内后排座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的车内后排座位区。
29.根据权利要求22至24任一项权利要求所述的装置，其特征在于，所述确定模块还用于：
确定所述人脸检测框在所述车舱内图像中的相对位置信息；
针对任一人脸检测帧，根据所述人脸检测框的相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
30.根据权利要求29所述的装置，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
在所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述人脸检测框的相对位置位于第二预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是副驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述人脸检测框的相对位置位于所述第一预设区域之外和所述第二预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是非驾驶座位区人员和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
31.根据权利要求22至24任一项权利要求所述的装置，其特征在于，所述确定模块具体用于：
确定所述人脸检测框的面积信息及其在所述车舱内图像中的相对位置信息，其中，所述面积信息包括以下至少之一：所述人脸检测框在所述车舱内图像中的面积，所述人脸检测框的面积在所述车舱内图像中的面积占比；
根据所述人脸检测框的面积信息和相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
32.根据权利要求31所述的装置，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端并镜头朝向车舱内车尾的另一端拍摄而得的图像；
所述确定模块具体用于：
将预设面积阈值信息与所述人脸检测框的面积信息进行比较，所述预设面积阈值信息包括：预设面积阈值，或，预设面积占比阈值；
根据比较结果和所述相对位置信息，确定各人脸检测框对应的车舱人员的身份属性和/或确定各人脸检测框对应的车舱人员在所述车舱内的位置。
33.根据权利要求32所述的装置，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端且镜头朝向车舱内车尾方向拍摄而得的图像；
所述确定模块具体用于：
在所述预设面积阈值与所述人脸检测框的面积的比值小于第一预设阈值且所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值小于所述第一预设阈值且所述人脸检测框的相对位置位于所述第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述预设面积阈值与所述人脸检测框的面积的比值大于所述第一预设阈值且所述人脸检测框的相对位置位于所述第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
34.根据权利要求32所述的装置，其特征在于，所述车舱内图像为所述摄像设备位于所述车舱内靠近车头的一端且镜头朝向车舱内车尾方向拍摄而得的图像；
所述确定模块具体用于：
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于第四预设阈值且所述人脸检测框的相对位置位于第一预设区域内的情况下，确定所述人脸检测框对应的车舱人员的身份属性是驾驶员和/或确定所述人脸检测框对应的车舱人员在所述车舱的驾驶座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值小于所述第四预设阈值且所述人脸检测框的相对位置位于第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的副驾驶座位区；
在所述预设面积占比阈值与所述人脸检测框的面积在所述车舱内图像中的面积占比的比值大于所述第四预设阈值且所述人脸检测框的相对位置位于第一预设区域之外的情况下，确定所述人脸检测框对应的车舱人员的身份属性是乘客和/或确定所述人脸检测框对应的车舱人员在所述车舱的非驾驶座位区。
35.根据权利要求22至34任一项权利要求所述的装置，其特征在于，所述摄像设备为红外摄像头，其设置于车舱内的后视镜上且镜头朝向为面向车尾的方向。
36.根据权利要求22至35任一项权利要求所述的装置，其特征在于，所述装置还包括：
显示模块，用于确定预设驾驶员人脸框和预设副驾驶员人脸框的位置信息，在车舱内图像中显示所述预设驾驶员人脸框和所述预设副驾驶员人脸框；
显示控制模块，用于根据所述预设驾驶员人脸框的位置和所述预设副驾驶员人脸框的位置进行第一预设区域和第二预设区域的显示控制，并将所述第一预设区域和所述第二预设区域的位置信息保存至配置文件。
37.根据权利要求22至36任一项权利要求所述的装置，其特征在于，所述装置还包括：
特征提取模块，用于对车舱内图像中与各所述人脸检测框对应的图像区域分别进行特征提取；
所述确定模块，还用于根据提取的特征确定各人脸检测框对应的车舱人员的人脸属性，其中，所述人脸属性包括以下至少之一：性别、年龄、情绪状态、是否戴口罩、是否戴眼镜、是否抽烟、是否是小孩。
38.根据权利要求22至37任一项权利要求所述的装置，其特征在于，
显示模块，还用于通过车舱设置的显示屏显示所述车舱内图像，并在所述车舱内图像中显示所述人脸检测框和/或检测结果。
39.根据权利要求22至38任一项权利要求所述的装置，其特征在于，显示控制模块，还用于：
获取所述人脸检测框和/或检测结果的显示设置信息；
根据显示设置信息在所述车舱内图像中进行所述人脸检测框和/或检测结果的显示控制。
40.根据权利要求22至39任一项权利要求所述的装置，其特征在于，
所述确定模块，还用于根据各个人脸检测框对应的车舱人员的人脸属性，确定广告信息；
显示模块，还用于通过所述车舱设置的显示屏显示所述广告信息。
41.根据权利要求22至40任一项权利要求所述的装置，其特征在于，
所述确定模块，还用于根据各个人脸检测框对应的至少一个车舱人员的情绪状态，确定预定提示信息；
显示模块，还用于通过所述车舱设置的显示屏显示和/或播放所述预定提示信息。
42.根据权利要求22至41任一项权利要求所述的装置，其特征在于，所述装置还包括：发送模块，用于将检测结果发送至服务器。
43.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被硬件执行以实现权利要求1至21任一项权利要求的方法。
44.一种计算机程序产品，其特征在于，当所述计算机程序产品被计算机读取并执行时，实现如权利要求1至21任一项权利要求所述的方法。
CN201911008608.8A 2019-10-22 2019-10-22 车舱内图像处理方法及装置 Active CN110781799B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202210188771.2A CN114821546A (zh) 2019-10-22 2019-10-22 车舱内图像处理方法及装置
CN201911008608.8A CN110781799B (zh) 2019-10-22 2019-10-22 车舱内图像处理方法及装置
PCT/CN2020/099998 WO2021077796A1 (zh) 2019-10-22 2020-07-02 车舱内图像处理
JP2021571023A JP2022535375A (ja) 2019-10-22 2020-07-02 車室内画像処理
KR1020227006965A KR20220041901A (ko) 2019-10-22 2020-07-02 자동차 캐빈 내 이미지 처리
US17/724,978 US20220245966A1 (en) 2019-10-22 2022-04-20 Image processing in vehicle cabin

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911008608.8A CN110781799B (zh) 2019-10-22 2019-10-22 车舱内图像处理方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210188771.2A Division CN114821546A (zh) 2019-10-22 2019-10-22 车舱内图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110781799A CN110781799A (zh) 2020-02-11
CN110781799B true CN110781799B (zh) 2022-01-28

Family

ID=69386357

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210188771.2A Pending CN114821546A (zh) 2019-10-22 2019-10-22 车舱内图像处理方法及装置
CN201911008608.8A Active CN110781799B (zh) 2019-10-22 2019-10-22 车舱内图像处理方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210188771.2A Pending CN114821546A (zh) 2019-10-22 2019-10-22 车舱内图像处理方法及装置

Country Status (5)

Country Link
US (1) US20220245966A1 (zh)
JP (1) JP2022535375A (zh)
KR (1) KR20220041901A (zh)
CN (2) CN114821546A (zh)
WO (1) WO2021077796A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821546A (zh) * 2019-10-22 2022-07-29 上海商汤智能科技有限公司 车舱内图像处理方法及装置
CN111325127A (zh) * 2020-02-12 2020-06-23 上海云从汇临人工智能科技有限公司 一种异常对象判断方法、***、机器可读介质及设备
CN111414833A (zh) * 2020-03-16 2020-07-14 北京嘀嘀无限科技发展有限公司 目标检测跟踪方法、目标检测跟踪装置和存储介质
CN111439170B (zh) * 2020-03-30 2021-09-17 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质
CN111626222A (zh) * 2020-05-28 2020-09-04 深圳市商汤科技有限公司 宠物检测方法、装置、设备及存储介质
CN111782052B (zh) * 2020-07-13 2021-11-26 湖北亿咖通科技有限公司 一种车辆内的人机交互方法
CN112026790B (zh) * 2020-09-03 2022-04-15 上海商汤临港智能科技有限公司 车载机器人的控制方法及装置、车辆、电子设备和介质
CN113807169A (zh) * 2021-08-06 2021-12-17 上汽大众汽车有限公司 一种副驾驶位儿童检测预警方法及***
CN114312580B (zh) * 2021-12-31 2024-03-22 上海商汤临港智能科技有限公司 确定车辆内乘员的座位及车辆控制方法及装置
CN116597427B (zh) * 2023-07-18 2023-10-20 山东科技大学 一种基于深度学习的舰船驾驶台身份识别方法
CN117455929B (zh) * 2023-12-26 2024-03-15 福建理工大学 基于双流自注意力图卷积网络的牙齿分割方法及终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014181510A1 (ja) * 2013-05-07 2014-11-13 株式会社デンソー 運転者状態監視装置、および運転者状態監視方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5949319B2 (ja) * 2012-08-21 2016-07-06 富士通株式会社 視線検出装置及び視線検出方法
CN104252615A (zh) * 2013-06-30 2014-12-31 贵州大学 基于人脸识别的驾驶员座椅调整方法
US20150009010A1 (en) * 2013-07-03 2015-01-08 Magna Electronics Inc. Vehicle vision system with driver detection
CN105235615B (zh) * 2015-10-27 2018-01-23 浙江吉利控股集团有限公司 一种基于人脸识别的车辆控制***
CN105843375A (zh) * 2016-02-22 2016-08-10 乐卡汽车智能科技（北京）有限公司 用于车辆的设置方法、装置及车载电子信息***
CN107784281B (zh) * 2017-10-23 2019-10-11 北京旷视科技有限公司 人脸检测方法、装置、设备及计算机可读介质
CN109131167A (zh) * 2018-08-03 2019-01-04 百度在线网络技术（北京）有限公司 用于控制车辆的方法和装置
CN114821546A (zh) * 2019-10-22 2022-07-29 上海商汤智能科技有限公司 车舱内图像处理方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014181510A1 (ja) * 2013-05-07 2014-11-13 株式会社デンソー 運転者状態監視装置、および運転者状態監視方法

Also Published As

Publication number Publication date
CN114821546A (zh) 2022-07-29
WO2021077796A1 (zh) 2021-04-29
KR20220041901A (ko) 2022-04-01
JP2022535375A (ja) 2022-08-08
CN110781799A (zh) 2020-02-11
US20220245966A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
CN110781799B (zh) 车舱内图像处理方法及装置
CN108021933B (zh) 神经网络识别装置及识别方法
US10762649B2 (en) Methods and systems for providing selective disparity refinement
WO2022165809A1 (zh) 一种训练深度学习模型的方法和装置
AU2017206244A1 (en) System and method for generating an activity summary of a person
CN104598882A (zh) 用于生物特征验证的电子欺骗检测的方法和***
CN108174152A (zh) 一种目标监控方法及目标监控***
WO2022166625A1 (zh) 一种车辆行驶场景中信息推送的方法以及相关装置
DE102015201953A1 (de) System und Verfahren zum Erzeugen einer Tiefenkarte durch iterative Interpolation und Krümmung
US9872056B1 (en) Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame
WO2023050677A1 (zh) 一种车辆及图像拍摄方法、装置、设备、存储介质及计算机程序产品
JP2019106193A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
US20220156497A1 (en) Multi-view visual data damage detection
JP6472504B1 (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
Park et al. In-Vehicle Occupant Head Tracking Using aLow-Cost Depth Camera
US10410067B2 (en) Systems and methods for detecting vehicle attributes
JP2019029747A (ja) 画像監視システム
CN116567349A (zh) 基于多摄像机的视频展示方法、装置及存储介质
CN115880748A (zh) 人脸重建和遮挡区域识别方法、装置、设备及存储介质
JP2009070097A (ja) 車長計測装置および車種判定装置
CN111161397B (zh) 人脸三维重建方法、装置、电子设备及可读存储介质
JP6863461B2 (ja) 解析装置、解析方法及びプログラム
CN111461758A (zh) 广告投放的效果预估方法、装置及计算机存储介质
GB2439184A (en) Obstacle detection in a surveillance system
JP2020135076A (ja) 顔向き検出装置、顔向き検出方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant