CN114979425A - 车辆的车内多用监视装置 - Google Patents

车辆的车内多用监视装置 Download PDF

Info

Publication number
CN114979425A
CN114979425A CN202210155816.6A CN202210155816A CN114979425A CN 114979425 A CN114979425 A CN 114979425A CN 202210155816 A CN202210155816 A CN 202210155816A CN 114979425 A CN114979425 A CN 114979425A
Authority
CN
China
Prior art keywords
occupant
vehicle
driver
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210155816.6A
Other languages
English (en)
Inventor
中村亮太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of CN114979425A publication Critical patent/CN114979425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及车辆的车内多用监视装置。在车辆中，在将对于包含司机的乘员的监视种类多功能化时，要求用于该多功能化的拍摄部件的增加难以受到限制。车辆(1)的车内多用监视装置(15)具有：拍摄车辆(1)的车室(3)的乘员的第一拍摄部件(41)及第二拍摄部件(48)、可执行对于第一拍摄部件(41)的拍摄图像和第二拍摄部件(48)的拍摄图像的处理的控制部(37)。第一拍摄部件(41)和第二拍摄部件(48)以不同的视角或拍摄范围拍摄车室。控制部(37)基于不同的视角或拍摄范围的第一拍摄部件(41)的拍摄图像和第二拍摄部件(48)的拍摄图像，对于处于车室(3)的乘员执行多种处理。

Description

车辆的车内多用监视装置
技术领域
本发明涉及车辆的车内多用监视装置(車内マルチモニタリング装置)。
背景技术
在车辆中，为了监视乘车的司机，而设置乘员监视装置。
专利文献1公开一种车辆的乘员监视装置，该装置使焦点对准司机的眼进行拍摄并监视。
专利文献2公开一种车辆的乘员监视装置，在碰撞时向被拍摄的乘员的头部照射强光。
现有技术文献
专利文献
专利文献1：日本特开2018－088647号公报
专利文献2：日本特开2020－050078号公报
发明内容
发明所要解决的问题
但是，在车辆的乘员监视中，要求增加监视种类，并提高监视能力。特别是，在自动驾驶及高度驾驶辅助中，要求能够更准确地监视司机之类的乘员的状态是否维持成适于驾驶或移动的状态。
但是，上述各个车辆的乘员监视装置基本上由一个拍摄部件进行拍摄，并执行适于该拍摄图像的特定的监视处理。因此，为了增加对乘员的监视种类，必须以基本上与其成比例的方式增加用于监视乘员的拍摄部件的数量。当由于车辆设置空间的制约而难以增设拍摄部件时，作为其结果，车辆的乘员监视装置的多功能化受到限制，可能不能实现一定以上的多功能化。
这样，在车辆中，在将对于包含司机的乘员的监视种类多功能化时，要求用于该多功能化的拍摄部件的增加难以受到限制。
用于解决问题的技术方案
本发明提供一种车辆的车内多用监视装置，具有：第一拍摄部件及第二拍摄部件，其拍摄车辆的车室的乘员；控制部，其可执行对于所述第一拍摄部件的拍摄图像和所述第二拍摄部件的拍摄图像的处理，其中所述第一拍摄部件和所述第二拍摄部件以不同的视角或拍摄范围拍摄所述车室，所述控制部基于不同的视角或拍摄范围的所述第一拍摄部件的拍摄图像和所述第二拍摄部件的拍摄图像，对于处于所述车室的乘员执行多种处理。
优选的是，作为所述多种处理，所述控制部可以执行包含以下中的至少一种的多种处理：司机的斜视、司机的瞌睡、乘员的就座位置或就座姿势、乘员的紧急事件、乘员的座椅安全带的佩戴状态、及儿童座椅的装配状态、图像输出。
优选的是，所述第一拍摄部件可以拍摄司机的上半身或头部，所述第二拍摄部件以能够拍摄司机和司机以外的乘员的方式拍摄所述车室的内部。
优选的是，所述第一拍摄部件和所述第二拍摄部件可进行同步的拍摄，作为视作所述多种处理的、基于拍摄司机的上半身或头部的所述第一拍摄部件的拍摄图像和拍摄所述车室的内部的所述第二拍摄部件的拍摄图像的复眼处理，所述控制部可以执行对同步拍摄的所述第一拍摄部件与所述第二拍摄部件的视角的差或拍摄范围的差进行抑制的校正处理，获取所述第一拍摄部件与所述第二拍摄部件的视差信息或判定司机的就座位置。
优选的是，作为视作所述多种处理的、基于至少拍摄司机的上半身或头部的所述第一拍摄部件的拍摄图像的单眼处理，所述控制部可以判定司机的斜视，判定司机的瞌睡，或判定司机的紧急事件。
优选的是，作为视作所述多种处理的、基于至少拍摄所述车室的内部的所述第二拍摄部件的拍摄图像的单眼处理，所述控制部可以判定各乘员的就座位置或就座姿势，判定各乘员的紧急事件，判定各乘员的座椅安全带的佩戴状态，判定儿童座椅的装配状态，或输出所述第二拍摄部件的拍摄图像。
优选的是，作为所述多种处理，所述控制部可以执行基于所述第一拍摄部件的拍摄图像的单眼处理、基于以与所述第一拍摄部件不同的视角或拍摄范围拍摄所述车室的所述第二拍摄部件的拍摄图像的单眼处理、基于所述第一拍摄部件的拍摄图像和所述第二拍摄部件的拍摄图像的复眼处理。
优选的是，所述控制部可以在至少所述第一拍摄部件和所述第二拍摄部件同步地拍摄的情况和仅所述第一拍摄部件及所述第二拍摄部件中的一方拍摄的情况下，执行不同种类的处理。
发明效果
在本发明中，拍摄车辆车室的乘员的第一拍摄部件和第二拍摄部件以不同的视角或拍摄范围拍摄车室。因此，控制部能够基于第一拍摄部件的拍摄图像和第二拍摄部件的拍摄图像，对处于车室的乘员执行多种处理。
与之相对，假定在例如拍摄车辆车室的乘员的第一拍摄部件和第二拍摄部件以相同的视角或相同的拍摄范围拍摄的情况下，控制部仅得到同样的图像作为第一拍摄部件的拍摄图像及第二拍摄部件的拍摄图像。其结果，控制部仅能够执行基于该图像可处理的处理。仅能够如现有的乘员监视装置那样进行单功能的处理。在本发明中，为了最大限度地充分利用具有第一拍摄部件和第二拍摄部件的多个拍摄部件，而使它们的视角或拍摄范围不同，因此，不易产生如现有的乘员监视装置那样仅能够执行受拍摄部件的图像限制的有限处理。在本发明中，在将对于包含司机的乘员的监视处理等多功能化时，不需要以与其功能数的增加成比例的方式增加拍摄部件的数量。在本发明中，能够通过少数的拍摄部件，将对于包含司机的乘员的监视处理等进行多功能化。
附图说明
图1是应用本发明的汽车的说明图。
图2是图1的汽车的控制装置的说明图。
图3是图2的汽车的乘员监视装置的监视种类的一例的说明图。
图4是图3的乘员监视装置的说明图。
图5是具有图4的显示操作面板的液晶设备的配置的说明图。
图6是图4的第一摄像头模块及第二摄像头模块的配置的说明图。
图7是关于图4的第一摄像头模块及第二摄像头模块的、基本的拍摄及发光的时序图。
图8是本实施方式中的关于图4的第一摄像头模块及第二摄像头模块的拍摄及发光的时序图。
图9是图4的监视控制部进行的主控制的流程图。
图10是图4的监视控制部进行的多个乘员的监视控制的流程图。
具体实施方式
以下，基于附图说明本发明的实施方式。
图1是应用本发明的汽车1的说明图。
汽车1为车辆的一例。汽车1可以是以内燃机为行驶动力源，可以是以电池的蓄电电力为行驶动力源，也可以是组合了两者。
另外，汽车1可以是根据司机的驾驶操作进行行驶，可以是通过自动驾驶或驾驶辅助进行行驶，也可以是能够切换两者进行使用。
在这种车辆中，除了汽车1之外，还可假定个人移动车、动力两轮车、动力三轮车、公共汽车、卡车、航空器、有轨车辆之类的车辆。
在图1的汽车1的车身2中具有包含司机的多个乘员能够乘坐的车室3。在车室3中设置用于司机等多个乘员单独就座的多个前排座椅4、用于多个乘员并排就座的长条的后排座椅4。行驶中，要求司机等乘员基本上恰当地就座于座椅4，并佩戴座椅安全带等安全设备。
在处于前排多个座椅4的前侧的车室3的前部设置沿着车身2的车宽方向延伸的仪表板5。
图2是图1的汽车1的控制装置10的说明图。
图2的控制装置10具有：车门开闭传感器11、车速传感器12、驻车传感器13、扬声器设备14、乘员监视装置15、位置设定装置16、驾驶辅助装置17、车外通信装置18、乘员保护装置19、空调装置20、及连接它们的车内网络21。
车内网络21也可以是用于汽车1的例如依据CAN(Controller Area Network，控制器局部网)、LIN(Local Interconnect Network，局域互连网络)的有线的通信网络。车内网络21可以是LAN等通信用网络，也可以是组合了它们的网络。在车内网络21的一部分中也可以包含无线方式的通信网络。
车门开闭传感器11检测汽车1的车门的开闭。
车速传感器12检测行驶的汽车1的速度。车速传感器12也可以检测停止状态。
驻车传感器13检测将汽车1维持成停车状态的驻车状态。驻车传感器13也可以检测例如将未图示的变速杆操作至驻车位置和将未图示的停车杆操作至制动位置，作为驻车状态。
乘员监视装置15当例如车门开闭传感器11检测到车门的开闭时，执行乘坐于车室3的乘员的识别处理，然后监视乘员的状态。在识别到多个乘员的情况下，乘员监视装置15也可以对多个乘员分别监视。
乘员监视装置15也可以将关于所识别的各乘员的信息、基于监视的信息通过车内网络向控制装置10的各部输出。
在司机等乘员处于规定的状态的情况下，乘员监视装置15也可以执行用于唤起乘员注意的警告输出等控制，或执行用于危险预防或避免的控制。此时，乘员监视装置15也可以将控制信息等通过车内网络向控制装置10的各部输出。
扬声器设备14输出声音、警告声等。扬声器设备14也可以向乘员监视装置15监视的司机以外的乘员输出警告。
位置设定装置16调整例如座椅4的前后上下的位置及靠背的角度、转向盘7(参考后述的图4等)的前后上下的位置及角度、各种踏板的前后上下的位置及角度。位置设定装置16基于乘员监视装置15输出的乘员的信息，变更座椅位置。
驾驶辅助装置17进行辅助司机手动驾驶进行的汽车1的行驶操作的控制，或通过自动驾驶控制汽车1的行驶。驾驶辅助装置17控制汽车1的加速、减速、停止、转向。驾驶辅助装置17也可以基于乘员监视装置15输出的司机的信息，执行与司机对应的驾驶辅助。
车外通信装置18在例如与公共无线通讯网络的基站、商用无线通讯网络的基站、用于高度交通信息的基站之间建立无线通信路径，使用建立的无线通信路径执行数据通信。车外通信装置18也可以执行例如与辅助自动驾驶的服务器装置等的双方向数据通信。车外通信装置18也可以将乘员监视装置15输出的包含司机的乘员信息作为例如紧急辅助信息向服务器装置发送。
乘员保护装置19在检测或预测到汽车1的碰撞的情况下，执行用于保护乘员的控制。乘员保护装置19通过展开未图示的例如安全气囊，或对座椅安全带施加张力，而保护就座于座椅4的乘员。乘员保护装置19也可以根据乘员监视装置15输出的乘员的信息，对乘员执行乘员保护。
空调装置20控制车室3的温度、氧浓度。空调装置20将例如冷却的空气或加热的空气向车室3供给，由此，将车室3调整至设定温度。空调装置20也可以根据乘员监视装置15输出的乘员的信息执行空气调节。
通过基于乘员监视装置15输出的这些乘员信息的控制，乘员能够在例如根据自己的设定下舒适地乘车。司机能够集中于例如汽车1的行驶。
图3是图2的汽车1的乘员监视装置15的监视种类的一例的说明图。
在图3中，作为监视种类，示例有：斜视、瞌睡、就座姿势、紧急事件、座椅安全带的佩戴状态、儿童座椅的装配状态等。
乘员监视装置15即使仅执行这些中的一个监视控制也是有意义的，但优选作为车内多用监视装置，期望执行这些中的多个监视控制，或执行多个全部监视控制。
另外，这些监视种类中，特别是斜视、瞌睡、紧急事件，认为是对于司机来说必不可少的。
关于就座姿势、紧急事件、座椅安全带的佩戴状态，期望不仅监视司机，还监视司机以外的乘员。
就儿童座椅的装配状态而言，还存在已经具有检测或设定装配状态的功能的汽车1，因此，考虑也可以比这些降低监视的优先级。
通过实施这些多种监视，汽车1的乘员监视装置15的监视能力变高。在自动驾驶或高度驾驶辅助中，期望将司机之类的乘员的状态维持成适于行驶中的状态，期望能够更精确地执行多种监视中的每一个。
但是，在要将上述的多种监视安装于汽车1的情况下，乘员监视装置15可能按照每个监视种类且每个乘员需要拍摄传感器。另一方面，在车室3的内部能够设置拍摄传感器的空间是有限的。当由于汽车1的设置空间的制约而使拍摄传感器的增设变得困难时，作为其结果，汽车1的乘员监视装置15的多功能化受到限制，乘员监视装置15可能不能将多功能化实现至一定以上。
这样，在汽车1中，在将对于包含司机的多个乘员的监视种类多功能化时，用于监视的拍摄传感器的增加可能受限。另外，当拍摄传感器的拍摄图像的数量增加时，其处理负荷也增加。
在本实施方式中，公开了适当避免这种汽车1的乘员监视装置15的限制，并提高上述那样的多种监视的实现性的例子。
具体而言，本实施方式的乘员监视装置15要基于两个拍摄传感器的拍摄图像实现司机的斜视、司机的瞌睡、各乘员的就座位置或就座姿势、各乘员的紧急事件、各乘员的座椅安全带的佩戴状态、儿童座椅的装配状态、及图像输出之类的多种控制。
图4是本发明的实施方式的作为汽车1的车内多用监视装置的、图3的乘员监视装置15的说明图。
图4的乘员监视装置15不仅监视司机，还监视司机以外的就座于多个座椅4的多个乘员。
图4的乘员监视装置15具有：第一摄像头模块31、第二摄像头模块32、具有显示操作面板34的液晶设备33、输入输出设备35、存储器36、及连接它们的监视控制部37。
输入输出设备35与车内网络21连接。输入输出设备35通过车内网络21，在与设置于汽车1的其它各部之间输入输出数据。
液晶设备33作为液晶设备33，将供乘坐于汽车1的各乘员辨识的画面显示于显示操作面板34。在显示画面中具有例如由乘员操作的操作画面。
显示操作面板34是与液晶设备33的显示面重叠设置的透明或半透明的面板。显示操作面板34检测乘员对于液晶设备33的显示面的操作，并将操作位置等信息向监视控制部37输出。
第一摄像头模块31具有第一LED43、第一拍摄传感器41、及连接它们的第一设备控制器45。
第一拍摄传感器41也可以是例如CCD、CMOS传感器之类的半导体光学传感器。第一拍摄传感器41将包含拍摄图像的拍摄数据向监视控制部37输出。
在第一拍摄传感器41上重叠设置窄角透镜(狭角レンズ)42。为了抑制图像的周缘部分的失真，窄角透镜42也可以由多片光学透镜构成。
第一LED43也可以是半导体发光元件。在第一LED43上重叠设置投光窄角透镜44。第一LED43也可以投射例如红外线。在该情况下，第一拍摄传感器41将包含红外线的拍摄图像的拍摄数据向监视控制部37输出。
第一设备控制器45控制第一拍摄传感器41的动作和第一LED43的动作。第一设备控制器45在第一拍摄传感器41拍摄的期间，使第一LED43发光。第一设备控制器45的控制周期可由监视控制部37设定。
第二摄像头模块32具有第二LED46、第二拍摄传感器48、及连接它们的第二设备控制器50。
第二拍摄传感器48也可以是例如CCD、CMOS传感器之类的半导体光学传感器。第二拍摄传感器48将包含拍摄图像的拍摄数据向监视控制部37输出。
在第二拍摄传感器48上重叠设置广角透镜49。为了抑制图像的周缘部分的失真，广角透镜49也可以由多片光学透镜构成。
第二LED46也可以是半导体发光元件。在第二LED46上重叠设置投光广角透镜47。第二LED46也可以投射例如红外线。在该情况下，第二拍摄传感器48将包含红外线的拍摄图像的拍摄数据向监视控制部37输出。
第二设备控制器50控制第二拍摄传感器48的动作和第二LED46的动作。第二设备控制器50在第二拍摄传感器48拍摄的期间，使第二LED46发光。第二设备控制器50的控制周期可由监视控制部37设定。
而且，如图4所示，第一摄像头模块31的第一LED43窄角地投光至司机的上半身或头部，第一拍摄传感器41窄角地拍摄司机的上半身或头部。由此，第一拍摄传感器41能够拍摄关于司机的上半身或头部的明亮的高分辨率的图像。第一拍摄传感器41的拍摄图像中，能够以高分辨率拍摄司机的眼睛、眼球等。
与之相对，第二摄像头模块32的第二LED46相对于车室3的内部广角地整体投光，第二拍摄传感器48广角地整体拍摄车室3的内部。由此，第二拍摄传感器48能够拍摄包含司机和司机以外的多个乘员的明亮的图像。第二拍摄传感器48的图像中，可拍摄司机和司机以外的副驾驶席的同乘者、后席的同乘者。
拍摄汽车1的车室3的乘员的第一拍摄传感器41和第二拍摄传感器48在汽车1的车宽方向的中央部分沿着车宽方向并排，以不同的视角或拍摄范围拍摄车室3。
另外，第一拍摄传感器41和第二拍摄传感器48被设置为使拍摄范围的一部分重合，以共同拍摄司机。
存储器36存储程序及数据。存储器36也可以由非易失性存储器和易失性存储器构成。非易失性存储器中具有例如HDD、SSD、EEPROM等。易失性存储器中具有例如RAM。
在乘员监视装置15的存储器36中，也可以按照每个乘员管理并记录乘坐汽车1的多个乘员的数据。在图4中表示有关于第一乘员的第一乘员数据61和关于第二乘员的第二乘员数据62。通过多个乘员数据，在存储器36中构成数据库。
也可以在第一乘员数据61、第二乘员数据62之类的各乘员数据中包含每个乘员固有的识别信息、例如由第一拍摄传感器41或第二拍摄传感器48对乘员的头部或眼睛拍摄到的注册拍摄数据、乘员进行的各种设定数据。也可以在设定数据中包含例如关于乘员就座的座椅位置、驾驶辅助的有无的初始设定、自动驾驶下的行驶嗜好信息、使用的服务器装置的信息、乘员保护的设定、空调的设定之类的信息。
这样，存储器36能够将由第一拍摄传感器41或第二拍摄传感器48从正面对在液晶设备33中显示规定画面时的各乘员拍摄到的拍摄数据作为各个乘员的注册拍摄数据进行记录。
另外，存储器36也可以记录关于未注册的一般乘员(汎用の乗員)的乘员数据。
监视控制部37也可以是例如ECU、CPU、其它的微型计算机。监视控制部37从存储器36读入并执行程序。由此，实现监视控制部37作为乘员监视装置15的控制部。
监视控制部37可对于第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像执行处理。
监视控制部37也可以基于不同的视角或拍摄范围的第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像，对处于车室3的乘员执行上述那样的多种处理。
例如，监视控制部37也可以执行用于识别或注册乘坐于汽车1的乘员的控制。监视控制部37也可以执行例如与作为乘员对于液晶设备33的操作画面的操作所判断的操作内容对应的控制。
另外，监视控制部37当乘员乘坐于汽车1时，识别乘员，并执行乘员状态的监视控制。
特别是对于作为司机的乘员，监视控制部37也可以使用注册于存储器36的各自的注册拍摄数据作为判断时的基准数据，基于各乘员的眼睛的状态判断斜视、瞌睡、紧急情况之类的状态。
图5是具有图4的显示操作面板34的液晶设备33的配置的说明图。
在图5中表示有设置于车室3前部的仪表板5及中控台6。
而且，具有图4的显示操作面板34的液晶设备33在汽车1的车宽方向的中央部分，朝向汽车1的后方向设置。具有显示操作面板34的液晶设备33从仪表板5到中控台6纵长地埋设配置。
图6是图4的第一摄像头模块31及第二摄像头模块32的配置的说明图。
如图6所示，图4的第一摄像头模块31及第二摄像头模块32以配置于液晶设备33的上方的方式，配置于液晶设备33的显示操作面板34的背侧。
关于第一摄像头模块31及第二摄像头模块32的、第一LED43、第一拍摄传感器41、第二拍摄传感器48、及第二LED46沿着汽车1的车宽方向并排设置。
第一拍摄传感器41以汽车1的车宽方向的中央位置Y0为基准，设置于司机的相反侧。第二拍摄传感器48以汽车1的车宽方向的中央位置Y0为基准设置于司机侧。由此，窄角地拍摄司机的上半身或头部的第一拍摄传感器41与广角地整体拍摄车室3的内部的第二拍摄传感器48相比，在汽车1的车宽方向上更远离司机而并排。图5所示的转向盘7难以介于第一拍摄传感器41和司机之间。转向盘7难以映入第一拍摄传感器41的拍摄图像中。
这样，第一拍摄传感器41和第二拍摄传感器48在汽车1的车宽方向上并排设置，因此，相对于图6的司机产生视差。假定例如第一拍摄传感器41和第二拍摄传感器48以相同视角或相同的拍摄范围进行拍摄，则第一拍摄传感器41的拍摄图像中的司机的拍摄位置和第二拍摄传感器48的拍摄图像中的司机的拍摄位置也根据视差而位置偏离。该视差取决于第一拍摄传感器41和第二拍摄传感器48的传感器间隔。
第一LED43在汽车1的车宽方向上较远地设置，使得比第一拍摄传感器41更远离司机。第一LED43向司机输出的光不易被转向盘7遮挡。
第二LED46在汽车1的车宽方向上设置于比第二拍摄传感器48更靠司机侧。第二LED46在汽车1的车宽方向上设置成比第二拍摄传感器48更远离汽车1的车宽方向的中央位置Y0。由此，第二拍摄传感器48在汽车1的车宽方向的中央部分，能够接近中央位置Y0而配置。通过接近中央位置Y0而配置，第二拍摄传感器48能够从汽车1的车宽方向的中央部分广角地整体拍摄车室3的内部。第二拍摄传感器48不仅可拍摄就座于前排多个座椅4的乘员，还可拍摄就座于后排座椅4的多个乘员。
图7是关于图4的第一摄像头模块31及第二摄像头模块32的、基本的拍摄及发光的时序图。
在图7中，时间从左向右推移。
图7中(A)为第一拍摄传感器41的拍摄状态。第一拍摄传感器41每隔一定周期执行拍摄。基于第一拍摄传感器41的拍摄图像，可进行关于司机监视的窄角单眼处理(狭角単眼処理)。在高电平的期间，第一拍摄传感器41执行拍摄。其它也一样。
图7中(B)为第一LED43的投光状态。第一LED43在第一拍摄传感器41拍摄的期间，窄角地投光至第一拍摄传感器41的拍摄范围。
图7中(C)为第二拍摄传感器48的拍摄状态。第二拍摄传感器48每隔一定周期执行拍摄。基于第二拍摄传感器48的拍摄图像，可进行关于司机及其它乘员的监视的广角单眼处理。广角单眼处理中，不仅可以进行监视关于拍摄图像中所含的多个乘员中的每一个的状态的处理，还可以为了在移动终端等观察到该拍摄图像，进行发送的处理。在观察的图像中，可拍摄包含司机在内的所有的乘员。在该情况下，如图7中(C)所示，第二拍摄传感器48的拍摄图像也可以交替用于监视处理和发送处理。即使在该情况下，也由第一拍摄传感器41每隔短期间拍摄并监视司机的状态，因此，可假设汽车1的移动不会受到阻碍。
另外，第二拍摄传感器48的拍摄周期为第一拍摄传感器41的拍摄周期的二倍。另外，第二拍摄传感器48的拍摄定时(撮像タイミング)与第一拍摄传感器41的拍摄定时同步。在第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像同步的情况下，可基于这些拍摄图像中的司机的拍摄位置的偏离，高精度地运算基于第一拍摄传感器41和第二拍摄传感器48的传感器间隔等的视差。另外，可进行使用了同步的第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像的复眼处理(複眼処理)。
这样，窄角地拍摄司机的上半身或头部的第一拍摄传感器41以比广角地整体拍摄车室3的内部的第二拍摄传感器48短的周期拍摄，以多次比一次的比例(複数回に1回の割合で)进行与第二拍摄传感器48同步的拍摄。监视控制部37在第一拍摄传感器41和第二拍摄传感器48同步地拍摄的情况下，能够基于第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像执行监视处理。监视控制部37在第一拍摄传感器41和第二拍摄传感器48同步地拍摄的情况下，可执行与第一拍摄传感器41单独拍摄的情况及第二拍摄传感器48单独拍摄的情况不同的处理。
图7中(D)为第二LED46的投光状态。第二LED46在第二拍摄传感器48拍摄的期间，广角地投光至第二拍摄传感器48的拍摄范围。
图7中(E)是被投射有图7中(B)的第一LED43的光和图7中(D)的第二LED46的光的司机的投光量。如图7，在第一LED43和第二LED46以相同的方式输出光的情况下，司机的投光量每隔拍摄定时进行增减。拍摄图像中的司机的亮度根据投光量进行变化。
图8是本实施方式中的关于图4的第一摄像头模块31及第二摄像头模块32的拍摄及发光的时序图。
图8中(A)～图8中(E)基本上与图7中(A)～图7中(E)对应。
但是，如图8中(D)所示，第二LED46的投光被抑制地比图8中(B)所示的第一LED43的投光量低。第二LED46输出比第一LED43少的光量。
另外，在第二LED46同步地投光的情况下，第一LED43的投光量被抑制地比第二LED46未同步地投光的通常时低。第一LED43在第二LED46同步地投光的情况下，将输出的光量降低与大致第二LED46的输出光量对应的量。
由此，如图8中(E)所示，第一LED43和第二LED46同步地投光的情况下的司机的投光量与仅第一LED43投光的情况下的司机的投光量大致相同。拍摄图像中的司机的亮度可成为一定。基本上不需要与拍摄图像的投光状况对应的亮度校正的处理。
这样，在本实施方式中，为了第一拍摄传感器41和第二拍摄传感器48同步地拍摄，即使有时第一LED43和第二LED46同步地投光，在该同步投光的情况和除此以外的第一LED43单独投光的情况之间也能够不易改变例如向司机的投光量。监视乘员的监视控制部37可继续获取稳定亮度的图像来作为第一拍摄传感器41的拍摄图像。
图9是图4的监视控制部37进行的主控制的流程图。
监视控制部37当新的乘员乘坐于汽车1时，重复执行图9的处理。
在步骤ST1中，监视控制部37判断新的乘员是否乘车于汽车1。乘员打开汽车1的未图示的车门，就座于座椅4。监视控制部37也可以基于例如车门开闭传感器11的开闭的检测信号，检知并判断新的乘员乘坐于汽车1。除此之外，例如，监视控制部37也可以基于第一拍摄传感器41或第二拍摄传感器48的拍摄数据中拍摄到新的乘员，判断新的乘员是否乘车于汽车1。在没有新的乘员乘车于汽车1的情况下，监视控制部37重复进行本处理。当新的乘员乘车于汽车1时，监视控制部37使处理进入步骤ST2。
在步骤ST2中，监视控制部37判定新乘坐的乘员的乘车位置。监视控制部37也可以基于整体拍摄车内的第二拍摄传感器48的拍摄数据，判定新乘坐的乘员的乘车位置。监视控制部37当检测到乘员在就座于座椅4的状态下稳定时，判定为乘员乘车于该位置。
在步骤ST3中，监视控制部37对于新乘坐的乘员执行个人识别处理。监视控制部37也可以基于整体拍摄车内的第二拍摄传感器48的最新的拍摄数据，对新乘坐的乘员执行个人识别处理。
监视控制部37也可以例如比较拍摄数据的图像中所含的乘员的图像和存储器36中记录的多个乘员的乘员数据，而高精度地识别各乘员。此时，监视控制部37也可以仅基于注册于存储器36的各乘员的注册拍摄数据中的、正对观察的图像成分进行对照。另外，监视控制部37也可以不直接比较图像彼此，而比较从各个图像提取的特征点彼此。监视控制部37也可以在注册于存储器36的乘员数据中所含的注册拍摄数据以一定准确性以上一致的情况下，将乘车的乘员确定为该注册拍摄数据的乘员。在该情况下，监视控制部37将乘车的乘员识别为通过与注册于存储器36的多个乘员数据的对照而确定的乘员。在注册于存储器36的多个乘员数据中没有以一定准确性以上一致的注册拍摄数据的情况下，监视控制部37也可以识别为未注册的乘员。
另外，监视控制部37在存在乘员数据记录在存储器36中的乘员的情况下，也可以进一步使用该乘员数据执行设定处理。在该情况下，监视控制部37将设定数据的信息向汽车1的各部输出。由此，执行关于乘员就座的座椅位置、有无驾驶辅助的初始设定、自动驾驶下的行驶嗜好信息、使用的服务器装置的信息、乘员保护的设定、空调的设定等处理。另外，监视控制部37基于获取的最新的拍摄数据，判断例如儿童座椅向副驾驶席的座椅4的装配，在装配有儿童座椅的情况下，也可以执行禁止安全气囊向副驾驶席的座椅4的展开的设定。
在步骤ST4中，监视控制部37判断是否重新注册新乘坐的乘员。监视控制部37在例如液晶设备33中显示注册处理的确认画面，如果对显示操作面板34进行与之对应的乘员操作，则判断为重新注册，使处理进入步骤ST5。如果进行不需要注册的操作，则监视控制部37使处理进入步骤ST6。
在步骤ST5中，监视控制部37执行重新注册新乘坐的乘员的处理。监视控制部37向存储器36追加记录新乘员的乘员数据。
在步骤ST6中，监视控制部37对于新乘坐的乘员开始进行监视控制。
在步骤ST7中，监视控制部37判断是否结束乘员的监视控制。例如，在汽车1停止且关闭点火的情况、到达目的地并停止的情况、乘员下车的情况下，监视控制部37也可以判断为结束乘员的监视控制。监视控制部37也可以基于例如车门开闭传感器11的开闭检测、第一拍摄传感器41或第二拍摄传感器48的图像，判断乘员的下车。在未结束乘员的监视控制的情况下，监视控制部37重复进行本处理。在结束乘员的监视控制的情况下，监视控制部37使处理进入步骤ST8。
在步骤ST8中，监视控制部37执行关于乘员监视的结束处理。监视控制部37从汽车1的各部获取例如各乘员下车时的设定信息，并更新记录于存储器36的各乘员的乘员数据。由此，注册于存储器36的乘员数据成为适应乘员嗜好的数据。在下一次的乘车时，自动进行关于乘员的最新的设定。另外，监视控制部37也可以将关于未注册乘员的乘员数据暂时记录于存储器36。由此，在该乘员之后进行注册操作的情况下，能够立即关联设定。
然后，监视控制部37结束图9的监视控制。
图10是图4的监视控制部37进行的多个乘员的监视控制的流程图。
监视控制部37当判断为在图9的步骤ST6中开始进行关于最初的乘员的监视控制时，重复执行图10的监视控制，直到在步骤ST7中判断为最后的乘员下车并结束。
在步骤ST11中，监视控制部37判断是否为基于拍摄的处理定时。
窄角地拍摄司机的上半身或头部的第一拍摄传感器41和广角地整体拍摄车室3的内部的第二拍摄传感器48在图8的各个拍摄定时执行拍摄，并将拍摄数据向监视控制部37输出。监视控制部37在从第一拍摄传感器41或第二拍摄传感器48获取到新的拍摄数据的情况下，判断为是基于拍摄的处理定时，使处理进入步骤ST12。在未获取到新的拍摄数据的情况下，监视控制部37重复进行本处理并等待。
在步骤ST12中，监视控制部37仅基于基本上拍摄司机的上半身或头部的第一拍摄传感器41的拍摄图像开始进行窄角单眼处理。
在步骤ST13中，监视控制部37基于第一拍摄传感器41的拍摄图像判定司机的斜视。监视控制部37从第一拍摄传感器41的拍摄图像提取例如司机的眼睛的图像成分。监视控制部37判断由司机的眼睛的图像成分推定的视线是否朝向汽车1的行进方向。在司机的视线为汽车1的行进方向的情况下，监视控制部37判定为司机未斜视。在司机的视线不是汽车1的行进方向的状态连续多次的情况下，监视控制部37判定为司机发生斜视。
在步骤ST14中，监视控制部37基于第一拍摄传感器41的拍摄图像判定司机的瞌睡。监视控制部37从第一拍摄传感器41的拍摄图像提取例如司机的眼睛的图像成分。监视控制部37在由司机的眼睛的图像成分推定的开闭状态开启的情况下，判定为司机不瞌睡。在司机的眼睛连续多次闭眼的情况下，监视控制部37判定为司机瞌睡。
在步骤ST15中，监视控制部37基于第一拍摄传感器41的拍摄图像，判定司机的紧急事件。监视控制部37从第一拍摄传感器41的拍摄图像提取例如司机的就座姿势的图像成分。在司机的就座姿势为例如头部低下、未成为适于驾驶的状态的情况下，监视控制部37判定为司机有紧急事件。除此之外，例如，监视控制部37也可以从第一拍摄传感器41的拍摄图像，获得司机的脉搏、血流量等信息。在该情况下，监视控制部37在司机的脉搏大于阈值的情况、血流量的增减量为阈值以上的情况下，判定为司机有紧急事件。
由此，监视控制部37结束窄角单眼处理。
在步骤ST16中，监视控制部37判断此次的处理定时是否为广角同步拍摄的定时。
如图8所示，广角地整体拍摄车室3的内部的第二拍摄传感器48有时与第一拍摄传感器41同时拍摄，将拍摄数据向监视控制部37输出。在该同步拍摄的定时，监视控制部37判断为此次的处理定时为广角同步拍摄的定时，使处理进入步骤ST17。在此次的处理定时仅从第一拍摄传感器41获取新的拍摄数据的情况下，监视控制部37为了不执行其它的判断处理，而直接进行后处理，使处理进入步骤ST28。
在步骤ST17中，监视控制部37判断是否为关于同步拍摄的复眼处理的定时。如图8所示，在第二拍摄传感器48与第一拍摄传感器41同步地拍摄的情况下，监视控制部37交替执行共同使用第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像的复眼处理、基本上仅对第二拍摄传感器48的拍摄图像进行处理的广角单眼处理。在为开始进行图10的监视控制的最初的同步拍摄的情况下，在上一次执行广角单眼处理的情况下，监视控制部37判断为复眼处理的定时，使处理进入步骤ST18。在上一次执行复眼处理的情况下，监视控制部37判断为不是复眼处理的定时而是广角单眼处理的定时，使处理进入步骤ST22。与上一次的处理内容相关的信息也可以记录于存储器36中。监视控制部37也可以在步骤ST17中的处理判断后，更新记录于存储器36的上一次的处理的信息。
在步骤ST18中，监视控制部37开始进行共同使用第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像的复眼处理。监视控制部37也可以在第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像中确定第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像中共同包含的司机的拍摄位置。
在步骤ST19中，监视控制部37执行第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像的视角差的校正处理。监视控制部37基于例如第一拍摄传感器41的拍摄图像中所含的司机的拍摄位置和第二拍摄传感器48的拍摄图像中所含的司机的拍摄位置，运算与第一拍摄传感器41和第二拍摄传感器48的传感器间隔对应的视角差。监视控制部37也可以基于通过运算获取的视角差，校正关于第一拍摄传感器41的拍摄图像的窄角单眼处理中使用的每个像素的拍摄位置信息、关于第二拍摄传感器48的拍摄图像的广角单眼处理中使用的每个像素的拍摄位置信息。监视控制部37也可以将获取的视角差的信息、每个像素的拍摄位置信息记录于存储器36中。
在步骤ST20中，监视控制部37获取第一拍摄传感器41和第二拍摄传感器48的视差。监视控制部37也可以基于第一拍摄传感器41的配设位置、第二拍摄传感器48的配设位置、传感器间隔、视角差等运算第一拍摄传感器41和第二拍摄传感器48的视差。
在步骤ST21中，监视控制部37判定司机的就座位置。监视控制部37基于第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像，运算司机的例如头部、脖子、腰之类的部位的方向及距离，并确定该部位在座椅4中的位置。监视控制部37也可以判定对司机的部位确定的位置是否为正确的座椅位置中的位置。
由此，监视控制部37结束复眼处理。然后，为了后处理，监视控制部37使处理进入步骤ST28。
在步骤ST22中，监视控制部37开始进行基本上仅对于第二拍摄传感器48的拍摄图像进行处理的广角单眼处理。
在步骤ST23中，监视控制部37基于第二拍摄传感器48的拍摄图像，对包含司机的多个乘员中的每一个判定各自的就座位置(就座姿势)。监视控制部37从第二拍摄传感器48的拍摄图像提取例如各乘员的图像成分。监视控制部37判断各乘员的图像成分是否为适合作为汽车1移动中的就座位置(就座姿势)的成分。例如在乘员的就座位置(就座姿势)为横向的情况下，监视控制部37判定为该乘员的就座位置(就座姿势)不适合作为汽车1移动中的就座位置(就座姿势)。
在步骤ST24中，监视控制部37基于第二拍摄传感器48的拍摄图像，对包含司机的多个乘员中的每一个判定各自的紧急事件。监视控制部37从第二拍摄传感器48的拍摄图像提取例如各乘员的图像成分。监视控制部37判断各乘员的图像成分是否相当于紧急事件。例如在乘员的就座位置(就座姿势)为横向的情况下，监视控制部37判定为该乘员的就座位置(就座姿势)相当于紧急事件。
在步骤ST25中，监视控制部37基于第二拍摄传感器48的拍摄图像，对包含司机的多个乘员中的每一个判定各自的座椅安全带的佩戴状态。监视控制部37对于包含司机的多个乘员中的每一个提取座椅安全带的图像成分。监视控制部37在座椅安全带的图像成分不是在各乘员的上半身之前交叉的成分的情况下，判定为未恰当地佩戴座椅安全带。
在步骤ST26中，监视控制部37基于第二拍摄传感器48的拍摄图像，判定儿童座椅的装配状态。监视控制部37尝试提取儿童座椅的图像成分。在能够提取儿童座椅的图像成分的情况下，监视控制部37判定为装配有儿童座椅。
在步骤ST27中，监视控制部37基于第二拍摄传感器48的拍摄图像，生成并输出用于在移动终端等观察的监视图像。
由此，监视控制部37结束广角单眼处理。然后，为了后处理，监视控制部37使处理进入步骤ST28。
在步骤ST28中，监视控制部37开始进行基于上述多个监视种类的判断的后处理。监视控制部37首先判断在上述多个监视种类的判断中是否包含需要警告的内容，在包含的情况下使处理进入步骤ST29。在除此以外的情况下，监视控制部37使处理进入步骤ST30。
在步骤ST29中，监视控制部37输出与需要警告的监视种类的内容对应的警告。
向司机的警告也可以是例如液晶设备33的警告显示、来自扬声器设备14的警告声的输出。此外，在遍及规定的期间以上继续行驶的情况、眼睛以规定频率开闭的情况、头部的方向趋于下降的情况下，监视控制部37也可以判断为需要控制，并对司机执行促使休息等的输出。
在步骤ST30中，监视控制部37判断在上述多个监视种类的判断中是否包含需要紧急情况的控制，在包含的情况下使处理进入步骤ST31。在除此以外的情况下，监视控制部37结束图10的控制。
在步骤ST31中，监视控制部37执行与需要紧急处理的监视种类的内容对应的紧急控制。
监视控制部37在即使输出警告而司机也不正面观察的情况下，即连续判断为司机的视线不是正面观察的情况下，也可以将汽车1的行驶模式切换至自动驾驶，对汽车1的行驶进行减速停止。在对汽车1的行驶进行减速停止的情况下，监视控制部37也可以点亮未图示的危险警示灯、执行车外通信装置18的紧急情况信息的发送。例如判断为司机瞌睡或为高脉搏的情况下，监视控制部37也可以执行汽车1的行驶的减速停止。在对汽车1的行驶进行减速停止的情况下，监视控制部37也可以点亮未图示的危险警示灯、执行车外通信装置18的紧急情况信息的发送。
然后，监视控制部37结束图10的控制。
这样，作为用于监视的多种处理，监视控制部37执行：基于第一拍摄传感器41的拍摄图像的窄角单眼处理、基于以与第一拍摄传感器41不同的视角或拍摄范围拍摄车室3的第二拍摄传感器48的拍摄图像的广角单眼处理、基于第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像的复眼处理。
监视控制部37在第一拍摄传感器41和第二拍摄传感器48同步地拍摄的情况和仅第一拍摄传感器41及第二拍摄传感器48中的一方拍摄的情况下，执行不同种类的处理。
作为窄角单眼处理中的仅基于第一拍摄传感器41的拍摄图像的多种监视处理，监视控制部37判定司机的斜视，判定司机的瞌睡，判定司机的紧急事件。监视控制部37在窄角单眼处理中，可以执行除此以外的处理，也可以执行一部分处理。
作为复眼处理中的基于拍摄司机的上半身或头部的第一拍摄传感器41的拍摄图像和整体拍摄车室3的内部的第二拍摄传感器48的拍摄图像的多种监视处理，监视控制部37执行对同步拍摄中的第一拍摄传感器41和第二拍摄传感器48的视角的差或拍摄范围的差进行抑制的校正处理，获取第一拍摄传感器41和第二拍摄传感器48的视差信息，判定司机的就座位置。作为基于第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像的相关性的监视处理，监视控制部37基于乘员在第一拍摄传感器41的拍摄图像中的拍摄位置和在第二拍摄传感器48的拍摄图像中的拍摄位置的差异，判定乘员的就座位置。监视控制部37在复眼处理中，可以执行除此以外的处理，也可以执行一部分处理。
作为广角单眼处理中的仅基于第二拍摄传感器48的拍摄图像的多种监视处理，监视控制部37判定各乘员的就座位置或就座姿势，判定各乘员的紧急事件，判定各乘员的座椅安全带的佩戴状态，判定儿童座椅的装配状态，并输出第二拍摄传感器48的拍摄图像。监视控制部37在广角单眼处理中，可以执行除此以外的处理，也可以执行一部分处理。
如上，在本实施方式中，拍摄汽车1的车室3的乘员的第一拍摄传感器41和第二拍摄传感器48以不同的视角或拍摄范围拍摄车室3。因此，监视控制部37能够基于第一拍摄传感器41的拍摄图像和第二拍摄传感器48的拍摄图像，对于处于车室3的乘员执行多种处理。
与之相对，假定例如在拍摄汽车1的车室3的乘员的第一拍摄传感器41和第二拍摄传感器48以相同的视角或相同的拍摄范围拍摄的情况下，监视控制部37仅得到同样的图像作为第一拍摄传感器41的拍摄图像及第二拍摄传感器48的拍摄图像。其结果，监视控制部37仅能够执行基于该图像可处理的处理。仅能够如现有的乘员监视装置15那样进行单功能的处理。在本实施方式中，为了最大限度地充分利用具有第一拍摄传感器41和第二拍摄传感器48的多个拍摄传感器，而使它们的视角或拍摄范围不同，因此，不易产生如现有的乘员监视装置15那样仅能够执行受拍摄传感器的图像限制的有限处理。在本实施方式中，在将对于包含司机的乘员的监视处理等多功能化时，不需要与其功能数的增加成比例地增加拍摄传感器的数量。在本实施方式中，能够通过少数的拍摄传感器，将对于包含司机的乘员的监视处理等进行多功能化。
以上的实施方式为本发明优选的实施方式的例子，但本发明不限定于此，可在不脱离发明宗旨的范围内进行各种变形或变更。
例如上述的实施方式中，拍摄传感器为第一拍摄传感器41和第二拍摄传感器48两者。拍摄传感器也可以为3个以上。作为发光部件的LED也一样。LED也可以以与拍摄传感器不同的数量设置。
符号说明
1…汽车(车辆)，2…车身，3…车室，4…座椅，5…仪表板，6…中控台，7…转向盘，10…控制装置，11…车门开闭传感器，12…车速传感器，13…驻车传感器，14…扬声器设备，15…乘员监视装置，16…位置设定装置，17…驾驶辅助装置，18…车外通信装置，19…乘员保护装置，20…空调装置，21…车内网络，31…第一摄像头模块，32…第二摄像头模块，33…液晶设备，34…显示操作面板，35…输入输出设备，36…存储器，37…监视控制部，41…第一拍摄传感器，42…窄角透镜，43…第一LED，44…投光窄角透镜，45…第一设备控制器，46…第二LED，46…第二LED，47…投光广角透镜，48…第二拍摄传感器，49…广角透镜，50…第二设备控制器，61…第一乘员数据，62…第二乘员数据。

Claims (8)

1.一种车辆的车内多用监视装置，具有：
第一拍摄部件及第二拍摄部件，其拍摄车辆的车室的乘员；以及
控制部，其能够执行对于所述第一拍摄部件的拍摄图像和所述第二拍摄部件的拍摄图像的处理，
其中，所述第一拍摄部件和所述第二拍摄部件以不同的视角或拍摄范围拍摄所述车室，
所述控制部基于不同的视角或拍摄范围的所述第一拍摄部件的拍摄图像和所述第二拍摄部件的拍摄图像，对于处于所述车室的乘员执行多种处理。
2.根据权利要求1所述的车辆的车内多用监视装置，其中，
作为所述多种处理，所述控制部执行包含以下中的至少一种的多种处理：司机的斜视、司机的瞌睡、乘员的就座位置或就座姿势、乘员的紧急事件、乘员的座椅安全带的佩戴状态，以及儿童座椅的装配状态、图像输出。
3.根据权利要求1或2所述的车辆的车内多用监视装置，其中，
所述第一拍摄部件拍摄司机的上半身或头部，
所述第二拍摄部件以能够拍摄司机和司机以外的乘员的方式拍摄所述车室的内部。
4.根据权利要求1或2所述的车辆的车内多用监视装置，其中，
所述第一拍摄部件和所述第二拍摄部件能够进行同步的拍摄，
作为视作所述多种处理的、基于拍摄司机的上半身或头部的所述第一拍摄部件的拍摄图像和拍摄所述车室的内部的所述第二拍摄部件的拍摄图像的复眼处理，所述控制部
执行对同步拍摄的所述第一拍摄部件与所述第二拍摄部件的视角的差或拍摄范围的差进行抑制的校正处理，
获取所述第一拍摄部件与所述第二拍摄部件的视差信息，或，
判定司机的就座位置。
5.根据权利要求1或2所述的车辆的车内多用监视装置，其中，
作为视作所述多种处理的、基于至少拍摄司机的上半身或头部的所述第一拍摄部件的拍摄图像的单眼处理，所述控制部
判定司机的斜视，
判定司机的瞌睡，或，
判定司机的紧急事件。
6.根据权利要求1或2所述的车辆的车内多用监视装置，其中，
作为视作所述多种处理的、基于至少拍摄所述车室的内部的所述第二拍摄部件的拍摄图像的单眼处理，所述控制部
判定各乘员的就座位置或就座姿势，
判定各乘员的紧急事件，
判定各乘员的座椅安全带的佩戴状态，
判定儿童座椅的装配状态，或，
输出所述第二拍摄部件的拍摄图像。
7.根据权利要求1或2所述的车辆的车内多用监视装置，其中，
作为所述多种处理，所述控制部执行
基于所述第一拍摄部件的拍摄图像的单眼处理、
基于以与所述第一拍摄部件不同的视角或拍摄范围拍摄所述车室的所述第二拍摄部件的拍摄图像的单眼处理、
基于所述第一拍摄部件的拍摄图像和所述第二拍摄部件的拍摄图像的复眼处理。
8.根据权利要求7所述的车辆的车内多用监视装置，其中，
所述控制部在至少所述第一拍摄部件和所述第二拍摄部件同步地拍摄的情况和仅所述第一拍摄部件及所述第二拍摄部件中的一方拍摄的情况下，执行不同种类的处理。
CN202210155816.6A 2021-02-24 2022-02-21 车辆的车内多用监视装置 Pending CN114979425A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021027737A JP2022129155A (ja) 2021-02-24 2021-02-24 車両の車内マルチモニタリング装置
JP2021-027737 2021-02-24

Publications (1)

Publication Number Publication Date
CN114979425A true CN114979425A (zh) 2022-08-30

Family

ID=82702686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210155816.6A Pending CN114979425A (zh) 2021-02-24 2022-02-21 车辆的车内多用监视装置

Country Status (4)

Country Link
US (1) US11772563B2 (zh)
JP (1) JP2022129155A (zh)
CN (1) CN114979425A (zh)
DE (1) DE102022103605A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116279139B (zh) * 2023-05-16 2023-08-08 中国重汽集团济南动力有限公司 一种车辆货物监控报警***、方法、汽车

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7692548B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
US20150379362A1 (en) * 2013-02-21 2015-12-31 Iee International Electronics & Engineering S.A. Imaging device based occupant monitoring system supporting multiple functions
JP6699523B2 (ja) 2016-11-29 2020-05-27 株式会社デンソー 眼球追跡装置及び撮像システム
CN111417992A (zh) * 2017-11-30 2020-07-14 松下知识产权经营株式会社 图像处理装置、图像处理***、摄像装置、摄像***及图像处理方法
JP7185992B2 (ja) 2018-09-26 2022-12-08 株式会社Subaru 車両の乗員監視装置、および乗員保護システム
WO2021005603A1 (en) * 2019-07-09 2021-01-14 Guardian Optical Technologies Ltd Systems, devices and methods for measuring the mass of objects in a vehicle

Also Published As

Publication number Publication date
US11772563B2 (en) 2023-10-03
US20220266753A1 (en) 2022-08-25
JP2022129155A (ja) 2022-09-05
DE102022103605A1 (de) 2022-08-25

Similar Documents

Publication Publication Date Title
CN111660980A (zh) 车辆的乘员监控装置和交通***
US7983475B2 (en) Vehicular actuation system
US20090164069A1 (en) System for preventing operation by impaired operator and method for the same
CN105522992B (zh) 用于具有用于驾驶员面部的相机的机动车的控制器和用于拍摄车辆乘坐者面部的方法
US20070229662A1 (en) Object detecting system and method
JP2008199515A (ja) 同乗者着座姿勢検出・判定装置及び方法
CN110949301B (zh) 车辆的乘员监视装置以及乘员保护***
JP4893204B2 (ja) 車両用ミラー位置調整装置
JP2006193120A (ja) 車両用照明装置及び車両制御装置
CN110949303B (zh) 车辆的乘员监视装置以及乘员保护***
JP2020157938A (ja) 車載監視制御装置
CN114979425A (zh) 车辆的车内多用监视装置
CN114954485A (zh) 车辆的车内监视装置
KR20120024225A (ko) 영상 정보를 이용한 탑승자 신체조건에 적응하는 자동차시트 자동조절시스템
US10882484B2 (en) Occupant detection apparatus
JP2006015872A (ja) ドライビングポジションおよび視界調整システム
JP2017095008A (ja) 制御装置、制御方法、及び、プログラム
JP7495795B2 (ja) 車両の乗員監視装置
CN114954486A (zh) 车辆的乘员监视装置
WO2022185653A1 (ja) 車両用記録制御装置および記録制御方法
WO2020179656A1 (ja) 運転者監視装置
CN114954487A (zh) 车辆的乘员监视装置
CN114954484A (zh) 车辆的乘员监视装置
JP2022129368A (ja) 車両の乗員監視装置
JP4123985B2 (ja) カメラシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination