WO2024024148A1 - 車載監視装置、情報処理装置および車載監視システム - Google Patents

車載監視装置、情報処理装置および車載監視システム Download PDF

Info

Publication number
WO2024024148A1
WO2024024148A1 PCT/JP2023/007277 JP2023007277W WO2024024148A1 WO 2024024148 A1 WO2024024148 A1 WO 2024024148A1 JP 2023007277 W JP2023007277 W JP 2023007277W WO 2024024148 A1 WO2024024148 A1 WO 2024024148A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
vehicle
unit
image data
power consumption
Prior art date
Application number
PCT/JP2023/007277
Other languages
English (en)
French (fr)
Inventor
一騎 原
順一 坂本
慎弥 角倉
卓義 小曽根
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024024148A1 publication Critical patent/WO2024024148A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • the present disclosure relates to an in-vehicle monitoring device, an information processing device, and an in-vehicle monitoring system.
  • An in-vehicle monitoring system uses an image sensor to constantly monitor the surrounding situation of a vehicle parked in a parking lot or the like.
  • In-vehicle monitoring systems for example, use multiple image sensors to constantly capture images in the front, rear, left, and right directions of a vehicle, and then analyze or record the captured images through image processing under the control of an ECU (Electronic Control Unit) mounted on the vehicle. monitor the surroundings of the vehicle.
  • ECU Electronic Control Unit mounted on the vehicle.
  • Patent Document 1 discloses a technique in which cameras mounted as electronic mirrors provided on the left and right sides of the vehicle are used to capture images in the left-right direction of the vehicle.
  • the image sensor and ECU operate constantly when the vehicle is parked in the same way as when the vehicle is in operation, which consumes a large amount of power and battery, making it difficult to monitor parking for long periods of time. .
  • An object of the present disclosure is to provide an in-vehicle monitoring device, an information processing device, and an in-vehicle monitoring system that can suppress power consumption when monitoring the surrounding situation of a vehicle when it is parked.
  • An in-vehicle monitoring device is provided in a vehicle including a side mirror housing, and includes an imaging section that generates image data in response to imaging, and a control section that controls the imaging operation and imaging direction of the imaging section.
  • the control unit controls the imaging direction of the imaging unit according to a state of the side mirror housing, and controls the imaging operation of the imaging unit to a first power consumption level according to a determination that the ignition of the vehicle is turned off. mode, and the imaging unit is configured to set the imaging operation to the first power consumption mode when movement of a peripheral object is detected based on first image data generated in the first power consumption mode.
  • the second power consumption mode which consumes more power, is set.
  • FIG. 1 is a block diagram schematically showing the configuration of an example of an on-vehicle monitoring system.
  • FIG. 2 is a schematic diagram for explaining the operation of the in-vehicle monitoring system.
  • FIG. 1 is a block diagram illustrating a configuration example of a vehicle control system, which is an example of a mobile device control system applicable to each embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a sensing area by an external recognition sensor mounted on a vehicle, which is applicable to each embodiment of the present disclosure.
  • FIG. 1 is a block diagram schematically showing the configuration of an example of an on-vehicle monitoring device according to a first embodiment.
  • FIG. 3 is a schematic diagram for explaining low resolution, medium resolution, and high resolution image data according to the first embodiment.
  • FIG. 3 is a schematic diagram for explaining the operation of the in-vehicle monitoring device according to the first embodiment.
  • FIG. 3 is a schematic diagram for explaining each operation mode and its transition in the in-vehicle monitoring device according to the first embodiment.
  • FIG. 1 is a block diagram showing the configuration of an example of an image sensor according to the first embodiment.
  • FIG. 1 is a perspective view schematically showing the structure of an example of an image sensor according to the first embodiment.
  • FIG. 2 is a block diagram showing in more detail the configuration of an example of an imaging unit applicable to the first embodiment.
  • FIG. 2 is a schematic diagram showing an example of a Bayer array. It is a flow chart of an example showing parking monitoring processing concerning a 1st embodiment.
  • FIG. 3 is a flowchart of an example of image data recording processing according to the first embodiment.
  • 1 is a schematic diagram schematically showing a side mirror camera according to existing technology
  • FIG. 2 is a schematic diagram illustrating an example of an imaging range of a side mirror camera and a captured image when a side mirror is deployed according to an existing technique.
  • FIG. 2 is a schematic diagram showing an example of an imaging range of a side mirror camera and a captured image when a side mirror is retracted according to an existing technique.
  • FIG. 1 is a schematic diagram schematically showing a side mirror camera according to a first embodiment.
  • FIG. 3 is a schematic diagram for explaining control of the imaging direction of the side mirror camera according to the first embodiment.
  • FIG. 2 is a block diagram showing an example of a configuration of a camera fixing jig driving section that drives the camera fixing jig according to the first embodiment.
  • 7 is a flowchart of an example showing control of the imaging direction of the side mirror camera according to the first embodiment.
  • FIG. 7 is a block diagram showing an example of a configuration of a camera fixing jig driving section that drives a camera fixing jig according to a first modification of the first embodiment.
  • 12 is a flowchart of an example showing control of the imaging direction of the side mirror camera according to the first modification of the first embodiment.
  • FIG. 7 is a schematic diagram showing the principle of a detection method using IR light according to a second modification of the first embodiment.
  • FIG. 2 is a schematic diagram showing an example of the arrangement of color filters including an IR filter in a color filter section.
  • FIG. 2 is a schematic diagram showing an example of spectral characteristics of a sensor in which color filters that transmit light in each wavelength region of each RGB color and an IR filter that transmits light in an IR wavelength region are arranged.
  • FIG. 3 is a schematic diagram showing an example of spectral characteristics of a dual bandpass filter.
  • FIG. 3 is a block diagram showing the configuration of an example of a vehicle-mounted monitoring device according to a third modification of the first embodiment. It is a block diagram showing the composition of an example of the vehicle-mounted monitoring device concerning the 4th modification of a 1st embodiment.
  • FIG. 7 is a schematic diagram for explaining control of the imaging direction according to the second embodiment.
  • FIG. 7 is a schematic diagram for explaining control of the imaging direction according to the third embodiment.
  • the present disclosure relates to an in-vehicle monitoring system that implements a parking monitoring function that monitors the surroundings of a parked vehicle based on image data captured by a camera mounted on the vehicle.
  • the in-vehicle surveillance system controls the imaging operation of the surround camera mounted on the vehicle in a parking surveillance mode that realizes a parking surveillance function based on the image data captured by the surround camera, with low power consumption.
  • the imaging operation mode is controlled in stages from the imaging operation mode to the imaging operation mode with higher power consumption.
  • the in-vehicle monitoring system first sets the imaging operation by the surround camera to the first power consumption mode in which power consumption is low.
  • the in-vehicle monitoring system performs moving object detection based on image data captured by a surround camera in the first power consumption mode, and detects movement of peripheral objects that are objects around the vehicle.
  • the vehicle-mounted monitoring system sets the imaging operation by the surround camera to the second power consumption mode, which consumes more power than the first power consumption mode, when the movement of a surrounding object is detected by the moving object detection.
  • the vehicle-mounted monitoring system performs human detection based on image data captured by a surround camera in the second power consumption mode, and detects people around the vehicle.
  • the imaging operation by the surround camera is set to a third power consumption mode that consumes more power than the second power consumption mode.
  • the vehicle-mounted monitoring system records image data captured by the surround camera on a recording medium in the third power consumption mode.
  • the in-vehicle monitoring system controls the imaging operation mode of the surround camera in stages from a low power consumption mode to a higher power consumption mode based on the image data. , it is possible to suppress the power consumption of the device and realize parking monitoring for a longer period of time.
  • the in-vehicle monitoring system controls the imaging direction of a side mirror camera mounted on a side mirror among the surround cameras to be constant regardless of the state of the side mirror. More specifically, the in-vehicle monitoring system maintains the imaging direction of the side mirror camera when the side mirror is folded and stored, and the imaging direction when the side mirror is unfolded, which is the normally used state. control.
  • the in-vehicle monitoring system controls the imaging direction of the side mirror camera to be constant regardless of the state of the side mirror, thereby suppressing the blind spot of the side mirror camera when the vehicle is parked. It becomes possible to do so. Therefore, according to the in-vehicle monitoring system according to each embodiment of the present disclosure, even if the side mirrors are in the retracted state during parking, parking monitoring of 360° around the vehicle can be realized.
  • FIG. 1 is a block diagram schematically showing the configuration of an example of an on-vehicle monitoring system.
  • an on-vehicle monitoring system 3000 includes an image sensor 3100 and some functions of an ECU (Electronic Control Unit) 3200, which are each mounted on a vehicle.
  • the image sensor 3100 includes an image sensor and a drive circuit that drives the image sensor, and outputs image data acquired by imaging.
  • ECU 3200 may control the entire vehicle (center), or may control a part of the vehicle (zone).
  • ECU 3200 may include a versatile processor such as a CPU (Central Processing Unit) or a processor specialized for image processing such as an ISP (Image Signal Processor).
  • CPU Central Processing Unit
  • ISP Image Signal Processor
  • Imaging is performed by the image sensor 3100, and the captured image data is passed to the ECU 3200.
  • ECU 3200 executes recognition processing based on the image data passed from image sensor 3100, and recognizes moving objects and people included in the image data.
  • ECU 3200 may further perform segmentation analysis of image data, face recognition processing, etc. as cognitive processing.
  • ECU 3200 executes a determination process on the result of the recognition process, and performs predetermined control according to the determination result. For example, if the ECU 3200 determines that an unregistered person approaches the vehicle while the vehicle is parked, the ECU 3200 may transmit an alarm to the terminal device of the user of the vehicle.
  • FIG. 2 is a schematic diagram for explaining the operation of the in-vehicle monitoring system 3000.
  • the in-vehicle monitoring system 3000 captures an image using the image sensor 3100 in the parking monitoring mode.
  • the image sensor 3100 outputs image data 500 acquired by imaging in units of frames.
  • the ECU 3200 detects a moving object in image data 500 det output at time t det .
  • the ECU 3200 may perform recognition processing or the like by focusing on the area 501 in which a moving object is detected in the image data 500 from the image data 500 of the next frame after the image data 500 det in which a moving object is detected.
  • the vehicle-mounted monitoring system 3000 operates the image sensor 3100 at high resolution to obtain high-resolution image data as a captured image.
  • the high-resolution operation is, for example, an operation in which image data 500 is formed from each pixel data acquired by all pixels in an effective pixel area in an image sensor including a plurality of pixels.
  • section (b) schematically shows an example of power consumption of the image sensor 3100 and the ECU 3200.
  • the horizontal axis indicates time corresponding to section (a) in the figure, and the vertical axis indicates power consumption.
  • the relationship in power consumption between ECU 3200 and image sensor 3100 is not limited to this example.
  • ECU 3200 and image sensor 3100 are each kept in an active state at all times during the parking monitoring mode, and as shown by characteristic lines 502 and 503, power consumption is substantially constant during the parking monitoring mode.
  • FIG. 3 is a block diagram showing a configuration example of a vehicle control system 10011, which is an example of a mobile device control system applicable to each embodiment of the present disclosure.
  • the vehicle control system 10011 is provided in the vehicle 10000 and performs processing related to driving support, automatic driving, and parking monitoring of the vehicle 10000.
  • the vehicle control system 10011 includes a vehicle control ECU 10021, a communication section 10022, a map information storage section 10023, a position information acquisition section 10024, an external recognition sensor 10025, an in-vehicle sensor 10026, a vehicle sensor 10027, a storage section 10028, and a driving support/automatic driving control section. 10029, a DMS (Driver Monitoring System) 10030, an HMI (Human Machine Interface) 10031, and a vehicle control unit 10032.
  • a vehicle control ECU 10021 includes a vehicle control ECU 10021, a communication section 10022, a map information storage section 10023, a position information acquisition section 10024, an external recognition sensor 10025, an in-vehicle sensor 10026, a vehicle sensor 10027, a storage section 10028, and a driving support/automatic driving control section. 10029, a DMS (Driver Monitoring System) 10030, an HMI (Human Machine Interface) 10031, and a vehicle control unit 10032.
  • Vehicle control ECU 10021, communication unit 10022, map information storage unit 10023, location information acquisition unit 10024, external recognition sensor 10025, interior sensor 10026, vehicle sensor 10027, storage unit 10028, driving support/automatic driving control unit 10029, driver monitoring system ( DMS) 10030, human machine interface (HMI) 10031, and vehicle control unit 10032 are connected to be able to communicate with each other via a communication network 10041.
  • the communication network 10041 is, for example, an in-vehicle network compliant with digital two-way communication standards such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It consists of communication networks, buses, etc.
  • the communication network 10041 may be used depending on the type of data to be transmitted. For example, CAN may be applied to data related to vehicle control, and Ethernet may be applied to large-capacity data.
  • each part of the vehicle control system 10011 uses wireless communication that assumes communication over a relatively short distance, such as near field communication (NFC) or Bluetooth (registered trademark), without going through the communication network 10041. In some cases, the connection may be made directly using the .
  • NFC near field communication
  • Bluetooth registered trademark
  • the vehicle control ECU 10021 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit). Vehicle control ECU 10021 may include an ISP. Vehicle control ECU 10021 controls the entire or part of the functions of vehicle control system 10011. Further, the vehicle control system 10011 may include a plurality of ECUs.
  • the communication unit 10022 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and sends and receives various data. At this time, the communication unit 10022 can perform communication using a plurality of communication methods.
  • the communication unit 10022 communicates with an external network via a base station or an access point using a wireless communication method such as 5G (fifth generation mobile communication system), LTE (Long Term Evolution), or DSRC (Dedicated Short Range Communications). (hereinafter referred to as an external server), etc.
  • the external network with which the communication unit 10022 communicates is, for example, the Internet, a cloud network, or a network unique to the operator.
  • the communication method that the communication unit 10022 performs with the external network is not particularly limited as long as it is a wireless communication method that allows digital two-way communication at a communication speed of a predetermined rate or higher and over a predetermined distance or longer.
  • the communication unit 10022 can communicate with a terminal located near the own vehicle using P2P (Peer To Peer) technology.
  • Terminals that exist near your vehicle include, for example, terminals worn by moving objects that move at relatively low speeds such as pedestrians and bicycles, terminals that are installed at fixed locations in stores, or MTC (Machine Type) terminals. Communication) terminal.
  • the communication unit 10022 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, and vehicle-to-home communication. It also refers to communication between one's own vehicle and others, such as vehicle-to-pedestrian communication between pedestrians and terminals carried by pedestrians.
  • the communication unit 10022 can receive, for example, a program for updating software that controls the operation of the vehicle control system 10011 from the outside (over the air).
  • the communication unit 10022 can further receive map information, traffic information, information around the vehicle 10000, etc. from the outside. Further, for example, the communication unit 10022 can transmit information regarding the vehicle 10000, information around the vehicle 10000, etc. to the outside.
  • the information regarding the vehicle 10000 that the communication unit 10022 transmits to the outside includes, for example, data indicating the state of the vehicle 10000, recognition results by the recognition unit 10073, and the like. Further, for example, the communication unit 10022 performs communication compatible with a vehicle emergency notification system such as e-call.
  • the communication unit 10022 receives electromagnetic waves transmitted by a road traffic information and communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as a radio beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • the communication unit 10022 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 10022 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, or WUSB (Wireless USB) that allows digital two-way communication at a communication speed higher than a predetermined communication speed. Can be done.
  • the communication unit 10022 is not limited to this, and can also communicate with each device in the vehicle using wired communication.
  • the communication unit 10022 can communicate with each device in the vehicle through wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 10022 performs digital two-way communication at a predetermined communication speed or higher through wired communication, such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). It is possible to communicate with each device in the car using a communication method that allows for communication.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • in-vehicle equipment refers to, for example, equipment that is not connected to the communication network 10041 inside the car.
  • in-vehicle devices include mobile devices and wearable devices owned by passengers such as drivers, information devices brought into the vehicle and temporarily installed, and the like.
  • the map information storage unit 10023 stores one or both of a map acquired from the outside and a map created by the vehicle 10000.
  • the map information storage unit 10023 stores three-dimensional high-precision maps, global maps that are less accurate than high-precision maps, and cover a wide area, and the like.
  • Examples of high-precision maps include dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, semi-dynamic information, semi-static information, and static information, and is provided to the vehicle 10000 from an external server or the like.
  • a point cloud map is a map composed of point clouds (point cloud data).
  • a vector map is a map that is compatible with ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving) by associating traffic information such as lanes and traffic light positions with a point cloud map.
  • the point cloud map and vector map may be provided, for example, from an external server, or may be provided as a local map (described later) based on sensing results from a camera 10051, radar 10052, LiDAR (Laser Imaging Detection and Ranging) 10053, etc.
  • the map may be created by the vehicle 10000 and stored in the map information storage unit 10023 as a map for performing matching.
  • map data of, for example, several hundred meters square regarding the planned route that the vehicle 10,000 will travel from now on is acquired from the external server, etc. in order to reduce communication capacity. .
  • the position information acquisition unit 10024 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite and acquires the position information of the vehicle 10000.
  • the acquired position information is supplied to the driving support/automatic driving control unit 10029.
  • the location information acquisition unit 10024 is not limited to a method using a GNSS signal, and may acquire location information using a beacon, for example.
  • the external recognition sensor 10025 includes various sensors used to recognize the external situation of the vehicle 10000, and supplies sensor data from each sensor to each part of the vehicle control system 10011.
  • the type and number of sensors included in the external recognition sensor 10025 are arbitrary.
  • the external recognition sensor 10025 includes a camera 10051, a radar 10052, a LiDAR 10053, and an ultrasonic sensor 10054.
  • the configuration is not limited to this, and the external recognition sensor 10025 may include one or more types of sensors among a camera 10051, a radar 10052, a LiDAR 10053, and an ultrasonic sensor 10054.
  • the number of cameras 10051, radar 10052, LiDAR 10053, and ultrasonic sensors 10054 is not particularly limited as long as it can be realistically installed in vehicle 10000.
  • the types of sensors included in the external recognition sensor 10025 are not limited to this example, and the external recognition sensor 10025 may include other types of sensors. Examples of sensing areas of each sensor included in the external recognition sensor 10025 will be described later.
  • the shooting method of the camera 10051 is not particularly limited.
  • cameras with various imaging methods such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera that can perform distance measurement can be applied to the camera 10051 as necessary.
  • the camera 10051 is not limited to this, and the camera 10051 may be used simply to obtain a captured image, regardless of distance measurement.
  • a plurality of cameras 10051 are mounted on the vehicle 10000.
  • at least one camera 10051 may be provided at the front, rear, left side, and right side of the vehicle 10000 so that images of 360° around the vehicle 10000 can be obtained.
  • cameras 10051 may be provided on the left and right side mirrors on each side.
  • the external recognition sensor 10025 can include an environment sensor for detecting the environment for the vehicle 10000.
  • the environmental sensor is a sensor for detecting the environment such as weather, weather, and brightness, and can include various sensors such as a raindrop sensor, a fog sensor, a sunlight sensor, a snow sensor, and an illumination sensor.
  • the external recognition sensor 10025 includes a microphone used to detect sounds around the vehicle 10000 and the position of a sound source.
  • the in-vehicle sensor 10026 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 10011.
  • the types and number of various sensors included in the in-vehicle sensor 10026 are not particularly limited as long as they can be realistically installed in the vehicle 10000.
  • the in-vehicle sensor 10026 can include one or more types of sensors among a camera, radar, seating sensor, steering wheel sensor, microphone, and biological sensor.
  • the camera included in the in-vehicle sensor 10026 it is possible to use cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera.
  • the present invention is not limited to this, and the camera included in the in-vehicle sensor 10026 may simply be used to acquire captured images, regardless of distance measurement.
  • the camera included in the in-vehicle sensor 10026 will be appropriately referred to as an in-vehicle camera.
  • the in-vehicle camera may be configured such that its imaging direction can be changed under the control of the vehicle control ECU 10021, for example.
  • a biosensor included in the in-vehicle sensor 10026 is provided, for example, on a seat or a steering wheel, and detects various biometric information of a passenger such as a driver.
  • the vehicle sensor 10027 includes various sensors for detecting the state of the vehicle 10000, and supplies sensor data from each sensor to each part of the vehicle control system 10011.
  • the types and number of various sensors included in the vehicle sensor 10027 are not particularly limited as long as they can be realistically installed in the vehicle 10000.
  • the vehicle sensor 10027 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU) that integrates these.
  • the vehicle sensor 10027 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 10027 includes a rotation sensor that detects the rotation speed of an engine or motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects tire slip rate, and a wheel speed sensor that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 10027 includes a battery sensor that detects the remaining battery power and temperature, and an impact sensor that detects an external impact.
  • the storage unit 10028 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 10028 is used as, for example, EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and the storage medium includes magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices such as flash memory, and optical Storage devices and magneto-optical storage devices can be applied.
  • the storage unit 10028 stores various programs and data used by each unit of the vehicle control system 10011.
  • the storage unit 10028 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information about the vehicle 10000 before and after an event such as an accident and information acquired by the in-vehicle sensor 10026.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 10029 controls driving support and automatic driving of the vehicle 10000.
  • the driving support/automatic driving control unit 10029 includes an analysis unit 10061, an action planning unit 10062, and an operation control unit 10063.
  • the analysis unit 10061 performs analysis processing of the vehicle 10000 and the surrounding situation.
  • the analysis section 10061 includes a self-position estimation section 10071, a sensor fusion section 10072, and a recognition section 10073.
  • the self-position estimation unit 10071 estimates the self-position of the vehicle 10000 based on the sensor data from the external recognition sensor 10025 and the high-precision map stored in the map information storage unit 10023. For example, the self-position estimating unit 10071 estimates the self-position of the vehicle 10000 by generating a local map based on sensor data from the external recognition sensor 10025 and matching the local map with a high-precision map.
  • the position of the vehicle 10000 is, for example, based on the center of the rear wheel versus the axle.
  • the local map is, for example, a three-dimensional high-precision map created using a technology such as SLAM (Simultaneous Localization And Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 10000 into grids (grids) of a predetermined size and shows the occupancy state of objects in each grid.
  • the occupancy state of an object is indicated by, for example, the presence or absence of the object and the probability of its existence.
  • the local map is also used, for example, in detection processing and recognition processing of the external situation of the vehicle 10000 by the recognition unit 10073.
  • the self-position estimation unit 10071 may estimate the self-position of the vehicle 10000 based on the position information acquired by the position information acquisition unit 10024 and sensor data from the vehicle sensor 10027.
  • the sensor fusion unit 10072 performs sensor fusion processing to obtain new information by combining multiple different types of sensor data (for example, image data supplied from the camera 10051 and sensor data supplied from the radar 10052). .
  • Methods for combining different types of sensor data include integration, fusion, and federation.
  • the recognition unit 10073 executes a detection process for detecting a situation outside the vehicle 10000 and a recognition process for recognizing a situation outside the vehicle 10000.
  • the recognition unit 10073 performs detection processing and recognition processing of the external situation of the vehicle 10000 based on information from the external recognition sensor 10025, information from the self-position estimation unit 10071, information from the sensor fusion unit 10072, etc. .
  • the recognition unit 10073 performs detection processing and recognition processing of objects around the vehicle 10000.
  • the object detection process is, for example, a process of detecting the presence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing attributes such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not necessarily clearly separated, and may overlap.
  • the recognition unit 10073 detects objects around the vehicle 10000 by performing clustering to classify point clouds based on sensor data from the radar 10052, LiDAR 10053, etc. into point clouds. As a result, the presence, size, shape, and position of objects around vehicle 10000 are detected.
  • the recognition unit 10073 detects the movement of objects around the vehicle 10000 by performing tracking that follows the movement of a group of points classified by clustering. As a result, the speed and traveling direction (movement vector) of objects around the vehicle 10000 are detected.
  • the recognition unit 10073 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on the image data supplied from the camera 10051. Further, the recognition unit 10073 may recognize the types of objects around the vehicle 10000 by performing recognition processing such as semantic segmentation.
  • the recognition unit 10073 uses the map stored in the map information storage unit 10023, the self-position estimation result by the self-position estimating unit 10071, and the recognition result of objects around the vehicle 10000 by the recognition unit 10073 to: Recognition processing of traffic rules around the vehicle 10000 can be performed. Through this processing, the recognition unit 10073 can recognize the positions and states of traffic lights, the contents of traffic signs and road markings, the contents of traffic regulations, and the lanes in which the vehicle can travel.
  • the recognition unit 10073 can perform recognition processing of the environment around the vehicle 10000.
  • the surrounding environment to be recognized by the recognition unit 10073 includes weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action planning unit 10062 creates an action plan for the vehicle 10000.
  • the action planning unit 10062 creates an action plan by performing route planning and route following processing.
  • global path planning is a process of planning a rough route from the start to the goal. This route planning is called trajectory planning, and involves generating a trajectory (local path planning) that can safely and smoothly proceed near the vehicle 10,000 in consideration of the motion characteristics of the vehicle 10,000 on the planned route. It also includes the processing to be performed.
  • Route following is a process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 10062 can calculate the target speed and target angular velocity of the vehicle 10000, for example, based on the result of this route following process.
  • the motion control unit 10063 controls the motion of the vehicle 10000 in order to realize the action plan created by the action planning unit 10062.
  • the operation control unit 10063 controls a steering control unit 10081, a brake control unit 10082, and a drive control unit 10083 included in a vehicle control unit 10032, which will be described later, so that the vehicle 10000 follows a trajectory calculated by a trajectory plan. Acceleration/deceleration control and direction control are performed to move forward.
  • the operation control unit 10063 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, self-vehicle collision warning, and self-vehicle lane deviation warning.
  • the operation control unit 10063 performs cooperative control for the purpose of automatic driving in which the vehicle autonomously travels without depending on the driver's operation.
  • the DMS 10030 performs driver authentication processing, recognition processing of the driver's state, etc. based on sensor data from the in-vehicle sensor 10026 and input data input to the HMI 10031 (described later).
  • the driver's condition to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, gaze direction, drunkenness level, driving operation, and posture.
  • the DMS 10030 may perform authentication processing for passengers other than the driver and recognition processing for the state of the passenger. Further, for example, the DMS 10030 may perform recognition processing of the situation inside the vehicle based on sensor data from the in-vehicle sensor 10026.
  • the conditions inside the car that are subject to recognition include, for example, temperature, humidity, brightness, and odor.
  • the HMI 10031 inputs various data and instructions, and presents various data to the driver and the like.
  • HMI 10031 includes an input device for a person to input data.
  • the HMI 10031 generates input signals based on data, instructions, etc. input by an input device, and supplies them to each part of the vehicle control system 10011.
  • the HMI 10031 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the present invention is not limited to this, and the HMI 10031 may further include an input device capable of inputting information by a method other than manual operation using voice, gesture, or the like.
  • the HMI 10031 may use, as an input device, an externally connected device such as a remote control device using infrared rays or radio waves, or a mobile device or wearable device compatible with the operation of the vehicle control system 10011.
  • the HMI 10031 generates visual information, auditory information, and tactile information for the passenger or the outside of the vehicle. Furthermore, the HMI 10031 performs output control to control the output, output content, output timing, output method, etc. of each generated information.
  • the HMI 10031 generates and outputs, as visual information, information shown by images and light, such as an operation screen, a status display of the vehicle 10000, a warning display, and a monitor image showing the surrounding situation of the vehicle 10000.
  • the HMI 10031 generates and outputs, as auditory information, information indicated by sounds such as audio guidance, warning sounds, and warning messages.
  • the HMI 10031 generates and outputs, as tactile information, information given to the passenger's tactile sense by, for example, force, vibration, movement, or the like.
  • an output device for the HMI 10031 to output visual information for example, a display device that presents visual information by displaying an image or a projector device that presents visual information by projecting an image can be applied.
  • display devices that display visual information within the passenger's field of vision include, for example, a head-up display, a transparent display, and a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 10031 can also use a display device included in a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. provided in the vehicle 10000 as an output device that outputs visual information.
  • an output device through which the HMI 10031 outputs auditory information for example, an audio speaker, headphones, or earphones can be applied.
  • a haptics element using haptics technology can be applied as an output device from which the HMI 10031 outputs tactile information.
  • the haptic element is provided at a portion of the vehicle 10000 that comes into contact with a passenger, such as a steering wheel or a seat, for example.
  • the vehicle control unit 10032 controls each part of the vehicle 10000.
  • the vehicle control section 10032 includes a steering control section 10081, a brake control section 10082, a drive control section 10083, a body system control section 10084, a light control section 10085, and a horn control section 10086.
  • the steering control unit 10081 detects and controls the state of the steering system of the vehicle 10000.
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 10081 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 10082 detects and controls the state of the brake system of the vehicle 10000.
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 10082 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 10083 detects and controls the state of the drive system of the vehicle 10000.
  • the drive system includes, for example, an accelerator pedal, a drive force generation device such as an internal combustion engine or a drive motor, and a drive force transmission mechanism for transmitting the drive force to the wheels.
  • the drive control unit 10083 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 10084 detects and controls the state of the body system of the vehicle 10000.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an air bag, a seat belt, a shift lever, and the like.
  • the body system control unit 10084 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the body system control unit 10084 may, for example, control the ignition (ignition on/off) in response to a user operation. Further, the body system control unit 10084 may control opening/closing (expanding, retracting) operations of side mirrors.
  • the light control unit 10085 detects and controls the states of various lights on the vehicle 10000. Examples of lights to be controlled include headlights, backlights, fog lights, turn signals, brake lights, projections, and bumper displays.
  • the light control unit 10085 includes a light ECU that controls lights, an actuator that drives lights, and the like.
  • the horn control unit 10086 detects and controls the state of the car horn of the vehicle 10000.
  • the horn control unit 10086 includes, for example, a horn ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 4 is a diagram showing an example of a sensing area by the camera 10051, radar 10052, LiDAR 10053, ultrasonic sensor 10054, etc. of the external recognition sensor 10025 in FIG. 3.
  • a state in which the vehicle 10000 is viewed from the top is schematically shown, and in the figure, the lower end side is the front end (front) side of the vehicle 10000, and the upper end side is the rear end (rear) side of the vehicle 10000. There is.
  • the sensing region 10101F and the sensing region 10101B are examples of sensing regions of the ultrasonic sensor 10054.
  • Sensing region 10101F covers the vicinity of the front end of vehicle 10000 by a plurality of ultrasonic sensors 10054.
  • Sensing region 10101B covers the vicinity of the rear end of vehicle 10000 by a plurality of ultrasonic sensors 10054.
  • the sensing results in the sensing region 10101F and the sensing region 10101B are used, for example, for parking assistance for the vehicle 10000.
  • Sensing region 10102F to sensing region 10102B are examples of sensing regions of short-range or medium-range radar 10052.
  • Sensing area 10102F covers the front of vehicle 10000 to a position farther than sensing area 10101F.
  • Sensing area 10102B covers the rear of vehicle 10000 to a position farther than sensing area 10101B.
  • Sensing region 10102L covers the rear periphery of the left side of vehicle 10000.
  • Sensing region 10102R covers the rear periphery of the right side of vehicle 10000.
  • the sensing results in the sensing region 10102F are used, for example, to detect vehicles, pedestrians, etc. that are present in front of the vehicle 10000.
  • the sensing results in the sensing region 10102B are used, for example, for a rear collision prevention function of the vehicle 10000.
  • the sensing results in sensing region 10102L and sensing region 10102R are used, for example, to detect an object in a blind spot on the side of vehicle 10000.
  • Sensing area 10103F to sensing area 10103B are examples of sensing areas by camera 10051.
  • Sensing area 10103F corresponds to the imaging range of camera 10051 (appropriately referred to as front camera) whose imaging direction is directed toward the front of vehicle 10000, and covers the front of vehicle 10000 to a position farther than sensing area 10102F.
  • Sensing area 10103B corresponds to the imaging range of camera 10051 (appropriately referred to as a rear camera) whose imaging direction is directed toward the rear of vehicle 10000, and covers the rear of vehicle 10000 to a position farther than sensing area 10102B.
  • the sensing region 10103L covers the periphery of the left side of the vehicle 10000.
  • the sensing region 10103L is, for example, a region corresponding to the imaging range of a camera 10051 (hereinafter referred to as a left camera) provided on the side mirror 60L on the left side of the vehicle 10000. That is, the side mirror 60L is configured such that the camera is configured to image the left side space (sensing area 10103L) of the vehicle 10000 when the side mirror 60L is unfolded, in other words, when the side mirror 60L is normally used. 10051 is provided.
  • the sensing region 10103R covers the periphery of the right side of the vehicle 10000.
  • Sensing region 10103R like sensing region 10103L described above, is a region corresponding to the imaging range of camera 10051 (hereinafter referred to as right camera) provided, for example, on side mirror 60R on the right side of vehicle 10000.
  • the side mirror 60R is provided with a camera 10051 so as to image the space on the right side of the vehicle 10000 (sensing area 10103R) when the side mirror 60R is expanded.
  • the sensing areas of the front camera, rear camera, left camera, and right camera can cover approximately 360° around the vehicle 10000.
  • the front camera, rear camera, left camera, and right camera constitute a surround camera.
  • the imaging unit in the claims of the present disclosure corresponds to a plurality of cameras such as a front camera, a rear camera, a left camera, and a right camera.
  • the sensing results in the sensing region 10103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • Sensing results in sensing region 10103B can be used, for example, in parking assistance, parking monitoring, and surround view systems.
  • the sensing results in the sensing region 10103L and the sensing region 10103R can be used, for example, in parking monitoring and surround view systems.
  • the sensing region 10104 shows an example of the sensing region of the LiDAR 10053. Sensing area 10104 covers the front of vehicle 10000 to a position farther than sensing area 10103F. On the other hand, the sensing region 10104 has a narrower range in the left-right direction than the sensing region 10103F.
  • the sensing results in the sensing area 10104 are used, for example, to detect objects such as surrounding vehicles.
  • the sensing area 10105 shows an example of the sensing area of the long-distance radar 10052. Sensing area 10105 covers a position farther forward than sensing area 10104 in front of vehicle 10000. On the other hand, the sensing region 10105 has a narrower range in the left-right direction than the sensing region 10104. Sensing results in the sensing area 10105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, collision avoidance, and the like.
  • ACC Adaptive Cruise Control
  • the sensing areas of the cameras 10051, radar 10052, LiDAR 10053, and ultrasonic sensors 10054 included in the external recognition sensor 10025 may have various configurations other than those shown in FIG. 4.
  • the ultrasonic sensor 10054 may also sense the side of the vehicle 10000, or the LiDAR 10053 may sense the rear of the vehicle 10000.
  • the installation position of each sensor is not limited to each example mentioned above. Further, the number of each sensor may be one or more than one.
  • the in-vehicle monitoring system according to the first embodiment gradually increases the resolution of the image data to be subjected to the detection process, depending on the result of the detection process to the image data captured by the image sensor. Thereby, power consumption in the parking monitoring system can be suppressed.
  • FIG. 5 is a block diagram schematically showing the configuration of an example of the vehicle-mounted monitoring device 1 according to the first embodiment.
  • the in-vehicle monitoring device 1 according to the first embodiment includes an image sensor 10 and an ECU 20, each of which is mounted on a vehicle.
  • the image sensor 10 includes an imaging section 100 and a detection section 101.
  • the imaging unit 100 includes an imaging device and a drive circuit that drives the imaging device, and outputs image data generated by imaging with the imaging device.
  • the detection unit 101 performs moving object detection and human detection based on the image data output from the imaging unit 100.
  • the image sensor 10 may transmit image data output from the imaging section 100 to the ECU 20.
  • the ECU 20 includes a recognition section 200, a determination section 201, and a control section 202.
  • the recognition unit 200 executes recognition processing based on the image data transmitted from the image sensor 10.
  • the determination unit 201 may determine whether or not to record the image data transmitted from the image sensor 10. Note that the image data may be recorded for a certain period of time regardless of the determination by the determination unit 201.
  • the control unit 202 controls recording of the image data in the storage device according to the determination result of the determination unit 201. Further, the control unit 202 sets the operation mode of the image sensor 10. Further, the control section 202 can communicate with each section of the vehicle control system 10011 via the communication network 10041.
  • the storage device is a nonvolatile recording medium such as a hard disk drive or flash memory, and is built into the in-vehicle monitoring device 1.
  • the storage device is not limited to this, and the storage device may be connected to the vehicle-mounted monitoring device 1 via a predetermined cable or communication means as an external device for the vehicle-mounted monitoring device 1.
  • the ECU 20 includes a versatile processor such as a CPU and a processor specialized for image processing such as an ISP.
  • the ECU 20 may be one that controls the entire vehicle (center), like the vehicle control ECU 10021 in FIG. 3, or may be one that controls a part of the vehicle (zone). The configuration is not limited to this, and the ECU 20 may be included in the vehicle-mounted monitoring device 1.
  • the vehicle-mounted monitoring device 1 is described as a single device including the image sensor 10 and the ECU 20, but this is not limited to this example.
  • the in-vehicle monitoring device 1 may be configured as an in-vehicle monitoring system in which the image sensor 10 and the ECU 20 are separate devices, and the image sensor 10 and the ECU 20 communicate remotely.
  • Imaging is performed by the imaging unit 100 in the image sensor 10.
  • the detection unit 101 executes detection processing based on captured image data.
  • the image sensor 10 has a moving object detection mode, a person detection mode, and a recording mode as operating modes in the parking monitoring operation.
  • the moving object detection mode is an operation mode in which a moving object is detected using low resolution image data (hereinafter referred to as a low resolution image as appropriate).
  • the human detection mode is an operation mode in which a human is detected using medium resolution image data (hereinafter referred to as a medium resolution image as appropriate) having a higher resolution than a low resolution image.
  • the recording mode is an operation mode in which high-resolution image data (hereinafter referred to as a high-resolution image) having a higher resolution than a medium-resolution image is acquired in order to record the image data on a recording medium.
  • the operation mode of the image sensor 10 is set to the moving object detection mode in response to a trigger from the ECU 20.
  • the image sensor 10 sets the operation mode to the human detection mode, for example, depending on the detection result of the moving body detection mode. Further, the image sensor 10 sets the operation mode to the recording mode according to the detection result in the human detection mode.
  • FIG. 6 is a schematic diagram for explaining a low resolution image, a medium resolution image, and a high resolution image according to the first embodiment.
  • the image sensor included in the image sensor 10 includes pixels Pix of 2000 ⁇ 2000 pixels arranged in a matrix in its effective pixel area.
  • section (a) shows an example of a high resolution image 30a.
  • the high-resolution image 30a is processed at a resolution of 2000 pixels x 2000 pixels per frame in units of pixels Pix.
  • the high-resolution image 30a may be, for example, image data of the maximum resolution output by the imaging unit 100.
  • section (b) shows an example of a medium resolution image 30b.
  • the medium resolution image 30b is processed in blocks 31 of 2 pixels x 2 pixels. If the block 31 is regarded as one pixel, the medium resolution image 30b will be processed at a resolution of 100 pixels x 100 pixels in a frame of the same size as the high resolution image 30a.
  • the medium resolution image 30b may have a resolution that allows the detection unit 101 to detect an image that looks like a person (such as a silhouette of a person), for example.
  • section (c) shows an example of a low resolution image 30c.
  • the low resolution image 30c is processed in units of blocks 32 of 4 pixels x 4 pixels. If the block 32 is regarded as one pixel, the low-resolution image 30c will be processed with a resolution of 50 pixels x 50 pixels in a frame of the same size as the high-resolution image 30a.
  • the low-resolution image 30c may have a resolution that allows the detection unit 101 to detect a moving object, for example.
  • each block 32 may use a representative value of the pixel value of each pixel Pix included in the block 32 as the pixel value when the block 32 is regarded as a pixel.
  • the representative value for example, the area average in block 32 may be applied.
  • the present invention is not limited to this, and each block 32 may be configured by thinning out the pixels Pix within the effective pixel area according to the resolution. These techniques can be similarly applied to generation of the medium resolution image 30b.
  • FIG. 7 is a schematic diagram for explaining the operation of the in-vehicle monitoring device 1 according to the first embodiment.
  • the image sensor 10 in the in-vehicle monitoring device 1 first executes a moving object detection process based on the low resolution image 30c in the moving object detection mode using the detection unit 101. It is assumed that the detection unit 101 detects a moving object in the low resolution image 30c det1 acquired at time t det1 .
  • the detection unit 101 executes human detection processing using the medium resolution image 30b, for example, starting from the next frame of the low resolution image 30c det1 in which a moving object is detected.
  • the operation of the ECU 20 may be stopped or the ECU 20 may be transitioned to the power saving mode.
  • the detection unit 101 detects a person in the medium resolution image 30b det2 acquired at time t det2 .
  • the ECU 20 returns to the normal operation mode when the detection unit 101 detects a person as a trigger.
  • the ECU 20 uses the high resolution image 30a to focus on the region 33 where a person is detected by the recognition unit 200, for example, from the next frame of the medium resolution image 30b det2 where a person is detected. Cognitive processing etc. may be performed.
  • section (b) schematically shows an example of power consumption of the image sensor 10 and the ECU 20 in the first embodiment.
  • the horizontal axis indicates the time corresponding to section (a) in the figure, and the vertical axis indicates power consumption. Note that in the figure, the relationship in power consumption between the ECU 20 and the image sensor 10 is not limited to this example.
  • the image sensor 10 operates with low power consumption in the moving object detection mode, and when a moving object is detected at time t det1 and the operation mode changes to the human detection mode. , it operates with moderate power consumption. Further, when a person is detected at time t det2 and the operation mode changes to recording mode, the image sensor 10 operates with higher power consumption than in the person detection mode.
  • the power consumption of the image sensor 10 is determined by comparing the characteristic line 50 with the characteristic line 51 indicating the power consumption in the recording mode, and the power consumption in the motion detection mode is about 1/100 of that in the recording mode, and in the human detection mode it is about 1/100 of that in the recording mode. /10.
  • the ECU 20 only activates some functions and deactivates the remaining functions, thereby suppressing power consumption to an extremely low level. .
  • the entire ECU 20 is activated, for example, and consumes high power, as shown by the characteristic line 52.
  • FIG. 8 is a schematic diagram for explaining each operation mode and its transition in the in-vehicle monitoring device 1 according to the first embodiment.
  • the in-vehicle monitoring device 1 detects movement in the low resolution image 30c acquired by the image sensor 10 in the moving object detection mode (step S11).
  • the in-vehicle monitoring device 1 acquires, for example, a 50 ⁇ 50 processing unit of low resolution images 30c (see FIG. 6), and executes the moving object detection process.
  • the in-vehicle monitoring device 1 can realize low power consumption by operating only the minimum necessary processing blocks for detecting a moving object in the chip that constitutes the image sensor 10 (first power consumption mode).
  • the subsequent chip for example, the ECU 20
  • the subsequent chip may operate in a processing stopped state or in a power saving mode.
  • the in-vehicle monitoring device 1 may perform preprocessing such as geometric transformation and brightness scaling before inputting moving object detection.
  • the in-vehicle monitoring device 1 changes the operation mode to the human detection mode (step S12).
  • the in-vehicle monitoring device 1 detects a person included in the medium resolution image 30b acquired by the image sensor 10 in the person detection mode (step S21).
  • the human detection mode the in-vehicle monitoring device 1 acquires, for example, a medium resolution image 30b (see FIG. 6) in 100 ⁇ 100 processing units, and executes human detection processing.
  • the human detection mode as in the moving object detection mode, low power consumption can be achieved by operating only the minimum necessary processing blocks for human detection in the chip that constitutes the image sensor 10, for example. 2 power consumption mode). Since the human detection mode performs human detection processing using the medium resolution image 30b, which has a higher resolution than the above-described moving object detection mode, the power consumption is higher than that of the moving object detection mode.
  • the image sensor 10 side takes charge of the detection processing, so the subsequent chip (for example, the ECU 20) may operate in a processing stopped state or in a power saving mode.
  • the in-vehicle monitoring device 1 may perform preprocessing such as geometric transformation and brightness scaling before inputting human detection.
  • the in-vehicle monitoring device 1 changes the operation mode to the recording mode (step S22). On the other hand, if a person is not detected for a certain period of time in the person detection mode, the in-vehicle monitoring device 1 may change the operation mode of the image sensor 10 to the moving object detection mode (step S23).
  • the in-vehicle monitoring device 1 records the image data acquired by the image sensor 10 on the recording medium in the recording mode (step S31).
  • the vehicle-mounted monitoring device 1 acquires a high-resolution image 30a (see FIG. 6) and records the acquired high-resolution image 30a.
  • the in-vehicle monitoring device 1 changes the operation mode to the moving object detection mode (step S32).
  • FIG. 9 is a block diagram showing the configuration of an example of the image sensor 10 according to the first embodiment.
  • the image sensor 10 includes an imaging block 110 that performs imaging processing, and a signal processing block 120 that performs processing according to each of the operation modes described above on image data acquired by the imaging block 110. It is composed of:
  • the image sensor 10 includes an imaging block 110 and a signal processing block 120.
  • the imaging block 110 and the signal processing block 120 are electrically connected by connection lines CL1, CL2, and CL3, which are internal buses, respectively.
  • the imaging block 110 includes an imaging unit 111, an imaging processing section 112, an output control section 113, an output I/F (interface) 114, and an imaging control section 115, and images a subject to obtain a captured image.
  • the imaging unit 111 includes a pixel array in which a plurality of pixels, each of which is a light receiving element that outputs a signal according to light received through photoelectric conversion, are arranged in a matrix.
  • the imaging unit 111 is driven by the imaging processing section 112 and performs imaging of a subject.
  • the imaging unit 111 receives incident light from an optical system in each pixel included in the pixel array, performs photoelectric conversion, and outputs an analog image signal corresponding to the incident light.
  • the size of the image based on the image signal output by the imaging unit 111 can be selected from a plurality of sizes such as width x height of 3968 pixels x 2976 pixels, 1920 pixels x 1080 pixels, 640 pixels x 480 pixels, etc. can.
  • the image size that the imaging unit 111 can output is not limited to this example.
  • an imaging unit 111 repeatedly acquires information on pixels arranged in a matrix at a predetermined rate (frame rate) in time series.
  • the image sensor 10 collectively outputs the acquired information for each frame.
  • the imaging processing section 112 performs various operations in the imaging unit 111 under the control of the imaging control section 115, such as driving the imaging unit 111, AD (Analog to Digital) conversion of an analog image signal output from the imaging unit 111, and processing the imaging signal. performs imaging processing related to imaging the image.
  • AD Analog to Digital
  • the imaging signal processing carried out by the imaging processing unit 112 includes, for example, calculating the average value of pixel values for each predetermined small region of the image output by the imaging unit 111 to obtain the brightness of each small region. processing, AGC (Auto Gain Control) processing, noise removal processing, etc.
  • AGC Automatic Gain Control
  • the imaging processing section 112 outputs, as image data, a digital image signal obtained by AD conversion or the like of the analog image signal output by the imaging unit 111.
  • the image data output from the imaging processing unit 112 may be image data (RAW data) of a RAW image that is not subjected to processing such as development.
  • the image data output by the imaging processing section 112 is supplied to the output control section 113 and also to the image compression section 125 of the signal processing block 120 via the connection line CL2.
  • the output control unit 113 is supplied with image data from the imaging processing unit 112, and is also supplied with signal processing results of signal processing using image data and the like from the signal processing block 120 via the connection line CL3.
  • the output control unit 113 transmits the image data from the imaging processing unit 112 and the signal processing result from the signal processing block 120 through (one) output I/F 114 connected to the outside (for example, the outside of the ECU 20 or the image sensor 10). Performs output control to selectively output data to recording media (such as recording media). That is, the output control unit 113 selects the image data from the imaging processing unit 112 or the signal processing result from the signal processing block 120, and supplies the selected image data to the output I/F 114.
  • the output I/F 114 is an interface that outputs the image data and signal processing results supplied from the output control unit 113 to the outside.
  • a relatively high-speed parallel I/F such as MIPI (Mobile Industry Processor Interface) can be adopted.
  • the output I/F 114 outputs the image data from the imaging processing section 112 or the signal processing result from the signal processing block 120 to the outside according to the output control of the output control section 113. Therefore, for example, if only the signal processing result from the signal processing block 120 is required externally and image data based on RAW data is not required, only the signal processing result can be output from the output I/F 114. The amount of data output to the outside can be reduced.
  • the signal processing block 120 performs signal processing to obtain a signal processing result required externally, and outputs the signal processing result from the output I/F 114, thereby eliminating the need for external signal processing.
  • the load on external blocks can be reduced.
  • the imaging control unit 115 has a communication I/F 116 and a register group 117.
  • the communication I/F 116 is, for example, a first communication I/F such as a serial communication I/F such as I 2 C (Inter-Integrated Circuit), and communicates with the outside (for example, the ECU 20) in the register 117 group. Exchange necessary information such as reading and writing information.
  • a serial communication I/F such as I 2 C (Inter-Integrated Circuit)
  • I 2 C Inter-Integrated Circuit
  • the register group 117 has a plurality of registers, and stores imaging information related to the imaging of an image by the imaging unit 111 and other various information.
  • the register group 117 stores imaging information received from the outside through the communication I/F 116 and results of imaging signal processing by the imaging processing unit 112 (for example, the brightness of each small region of the captured image).
  • the imaging information stored in the register group 117 includes, for example, ISO (International Organization for Standardization) sensitivity (analog gain during AD conversion in the imaging processing unit 112), exposure time (shutter speed), frame rate, focus, There is (information representing) shooting mode, cropping range, etc.
  • ISO International Organization for Standardization
  • sensitivity analog gain during AD conversion in the imaging processing unit 112
  • exposure time shutter speed
  • frame rate frame rate
  • focus focus
  • There is (information representing) shooting mode cropping range, etc.
  • Photography modes include, for example, a manual mode in which exposure time, frame rate, etc. are manually set, and an automatic mode in which they are automatically set according to the scene.
  • the automatic mode includes, for example, modes corresponding to various shooting scenes such as night scenes and human faces.
  • the cropping range refers to a range to be cropped from the image output by the image capturing unit 111 when the image capturing processing unit 112 cuts out a part of the image output by the image capturing unit 111 and outputs it as image data.
  • the cropping range it becomes possible, for example, to crop only the range in which a person is shown from the image output by the imaging unit 111.
  • the imaging control section 115 controls the imaging processing section 112 according to the imaging information stored in the register group 117, thereby controlling the imaging of the image by the imaging unit 111.
  • the register group 117 can store not only imaging information and the results of imaging signal processing in the imaging processing unit 112 but also output control information related to output control in the output control unit 113.
  • the output control unit 113 can perform output control to selectively output the captured image and the signal processing result according to the output control information stored in the register group 117.
  • the imaging control unit 115 and the sensor control unit 121 of the signal processing block 120 are connected via a connection line CL1, and the sensor control unit 121 is connected to a register via the connection line CL1.
  • Information can be read and written to the group 117. That is, in the image sensor 10, information can be read and written to the register group 117 not only from the communication I/F 116 but also from the sensor control unit 121.
  • the signal processing block 120 includes a sensor control section 121, a signal processing section 122, a memory 123, a communication I/F 124, an image compression section 125, and an input I/F 126, and processes the captured image etc. obtained by the imaging block 110. and perform predetermined signal processing.
  • the sensor control unit 121 may be a processor such as a CPU or an MPU (Micro Processor Unit), or an MCU (Micro Controller Unit).
  • the sensor control unit 121, signal processing unit 122, memory 123, communication I/F 124, and input I/F 126 that constitute the signal processing block 120 are connected to each other via a bus, and exchange information as necessary. be able to.
  • the sensor control unit 121 controls the signal processing block 120, reads and writes information to the register group 117 of the imaging control unit 115 via the connection line CL1, and performs other operations by executing a program stored in the memory 123. Performs various processing.
  • the sensor control unit 121 functions as an imaging information calculation unit that calculates imaging information using the signal processing result obtained by signal processing in the signal processing unit 122, and calculates the signal processing result.
  • the new imaging information calculated using the image capturing controller 115 is fed back to the register group 117 of the imaging control unit 115 via the connection line CL1 and is stored therein.
  • the sensor control section 121 can control the imaging in the imaging unit 111 and the imaging signal processing in the imaging processing section 112, as a result, according to the signal processing result of the captured image.
  • the imaging information stored in the register group 117 by the sensor control unit 121 can be provided (output) to the outside from the communication I/F 116.
  • focus information among the imaging information stored in the register group 117 can be provided from the communication I/F 116 to a focus driver (not shown) that controls focus.
  • the signal processing unit 122 performs image processing on image data supplied from the imaging block 1102 to the signal processing block 120 via the connection line CL2, and signal processing using information received by the input I/F 126 from the outside.
  • the signal processing unit 122 performs development processing on the image data, which is, for example, RAW data supplied from the imaging processing unit 112, so that each pixel becomes each color data of R (red), G (green), and B (blue). You may generate RGB data with .
  • the signal processing unit 122 is not limited to this, but performs defect correction, AWB (Auto White Balance) processing on the image data supplied from the imaging processing unit 112, and converts the image data into an HDR (High Dynamic Range) image. HDR conversion processing or the like may be performed.
  • the signal processing unit 122 may further include a function as an ISP.
  • the signal processing unit 122 executes the moving body detection process in the above-described moving body detection mode and the human detection process in the human detection mode.
  • the signal processing unit 122 may execute the above-described moving body detection processing and human detection processing using machine learning models, respectively, regarding moving body detection and human detection.
  • the signal processing unit 122 may detect a moving object using motion vector detection based on the difference in image data between frames, or may detect a person using pattern matching or the like.
  • the signal processing unit 122 controls the transition of the operation modes shown in FIG. 8 based on the detection results of these moving object detection processes and human detection processes. Further, the signal processing unit 122 may include the detection results of the moving object detection processing and the human detection processing in the signal processing results and output them.
  • the memory 123 is composed of an SRAM (Static Random Access Memory), a DRAM (Dynamic RAM), etc., and stores data necessary for processing by the signal processing block 120.
  • SRAM Static Random Access Memory
  • DRAM Dynamic RAM
  • the memory 123 stores programs received from the outside in the communication I/F 124 , captured images compressed by the image compression unit 125 and used in signal processing by the signal processing unit 122 , and programs received by the signal processing unit 122 .
  • the signal processing result of signal processing, information received by the input I/F 126, etc. are stored.
  • the communication I/F 124 is, for example, a second communication I/F such as a serial communication I/F such as SPI (Serial Peripheral Interface), and communicates with the outside (for example, the ECU 20) by the sensor control unit 121 and signal processing. Necessary information such as programs to be executed by the unit 122 is exchanged.
  • a serial communication I/F such as SPI (Serial Peripheral Interface)
  • SPI Serial Peripheral Interface
  • the communication I/F 124 downloads a program to be executed by the sensor control unit 121 and the signal processing unit 122 from the outside, supplies it to the memory 123, and stores it. Therefore, depending on the program downloaded by the communication I/F 124, the sensor control unit 121 and the signal processing unit 122 can perform various processes.
  • the communication I/F 124 can exchange arbitrary data in addition to programs with the outside.
  • the communication I/F 124 can output a signal processing result obtained by signal processing in the signal processing unit 122 to the outside.
  • the communication I/F 124 outputs information according to instructions from the sensor control unit 121 to an external device, thereby making it possible to control the external device according to instructions from the sensor control unit 121.
  • the signal processing results obtained by signal processing in the signal processing unit 122 can be output to the outside from the communication I/F 124 and can also be written to the register group 117 of the imaging control unit 115 by the sensor control unit 121.
  • the signal processing results written in the register group 117 can be output from the communication I/F 116 to the outside. The same applies to the processing results of the processing performed by the sensor control unit 121.
  • a captured image is supplied to the image compression unit 125 from the imaging processing unit 112 via the connection line CL2.
  • the image compression unit 125 performs compression processing to compress image data, and generates compressed image data having a smaller amount of data than the image data.
  • the compressed image data generated by the image compression unit 125 is supplied to the memory 123 via the bus and stored therein.
  • signal processing in the signal processing unit 122 can be performed using not only the image data itself but also compressed image data generated from the image data in the image compression unit 125. Since compressed image data has a smaller amount of data than the image data supplied from the imaging processing section 112, it is possible to reduce the signal processing load on the signal processing section 122 and save the storage capacity of the memory 123 that stores compressed image data. can be achieved.
  • the compression process in the image compression unit 125 for example, scaling down can be performed to convert a captured image of 3968 pixels x 2976 pixels into an image of 640 pixels x 480 pixels.
  • the compression processing may include YUV data, which converts the RGB data into, for example, YUV image data. conversion can be performed.
  • image compression unit 125 can be realized by software or by dedicated hardware.
  • the input I/F 126 is an I/F that receives information from the outside.
  • the input I/F 126 receives, for example, an output from an external sensor (external sensor output) from an external sensor, and supplies the received output to the memory 123 via a bus for storage.
  • an external sensor external sensor output
  • a parallel I/F such as MIPI can be used as the input I/F 126.
  • the external sensor for example, a distance sensor that senses information regarding distance can be adopted. Furthermore, as the external sensor, for example, an image that senses light and outputs an image corresponding to the light can be adopted.
  • a sensor ie, an image sensor different from image sensor 10, can be employed.
  • the signal processing unit 122 uses the captured image or the compressed image generated from the captured image, and also uses the external sensor output received by the input I/F 126 from the above-mentioned external sensor and stored in the memory 123 to generate a signal. can be processed.
  • the signal processing unit 122 performs signal processing using image data obtained by imaging with the imaging unit 111 or compressed image data generated from the image data.
  • the signal processing results and image data are selectively output from the output I/F 114. Therefore, the image sensor 10 that outputs information required by the user can be configured to be small.
  • image data can be output without performing signal processing by the signal processing unit 122. That is, in this case, the image sensor 10 is configured to simply capture and output an image. In this case, the image sensor 10 can be configured only with the imaging block 110 without the output control section 113. Further, in this case, the moving body detection process and the human detection process may be executed at an output destination (such as the ECU 20) by the output I/F 114.
  • FIG. 10 is a perspective view schematically showing the structure of an example of the image sensor 10 according to the first embodiment described using FIG. 9.
  • the image sensor 10 can be configured as a one-chip semiconductor device having a stacked structure in which a plurality of dies are stacked.
  • the image sensor 10 is configured as a one-chip semiconductor device in which two dies 130 and 131 are stacked.
  • a die refers to a small piece of silicon with an electronic circuit built into it, and an individual product in which one or more dies are sealed is called a chip.
  • an imaging unit 111 is mounted on the upper die 130. Furthermore, the lower die 131 is equipped with an imaging processing section 112, an output control section 113, an output I/F 114, and an imaging control section 115. In this way, in the example of FIG. 10, the imaging unit 111 of the imaging block 110 is mounted on the die 130, and the parts other than the imaging unit 111 are mounted on the die 131.
  • a signal processing block 120 including a sensor control section 121, a signal processing section 122, a memory 123, a communication I/F 124, an image compression section 125, and an input I/F 126 is further mounted on the die 131.
  • the image sensor 10 has the imaging section 100 and the detection section 101 integrated into one chip.
  • the upper die 130 and the lower die 131 are electrically connected, for example, by forming a through hole that penetrates the die 130 and reaches the die 131.
  • the dies 130 and 131 are not limited to this, but the dies 130 and 131 may be made of metal such as a Cu-Cu bond that directly connects the metal wiring such as Cu exposed on the lower surface side of the die 130 and the metal wiring such as Cu exposed on the upper surface side of the die 131. - May be electrically connected by metal wiring or the like.
  • a column parallel AD method or an area AD method can be adopted as a method for AD converting the image signal output by the imaging unit 111 in the imaging processing section 112 as a method for AD converting the image signal output by the imaging unit 111 in the imaging processing section 112 as a method for AD converting the image signal output by the imaging unit 111 in the imaging processing section 112.
  • a column parallel AD method or an area AD method can be adopted as a method for AD converting the image signal output by the imaging unit 111 in the imaging processing section 112
  • an ADC Analog to Digital Converter
  • the ADC in each column is responsible for AD conversion of the pixel signal of the pixel in that column.
  • AD conversion of the image signals of pixels in each column of one row is performed in parallel.
  • a part of the imaging processing unit 112 that performs AD conversion in the column-parallel AD method may be mounted on the upper die 130.
  • pixels making up the imaging unit 111 are divided into a plurality of blocks, and an ADC is provided for each block. Then, the ADC of each block takes charge of AD conversion of the pixel signals of the pixels of that block, so that AD conversion of the image signals of the pixels of the plurality of blocks is performed in parallel.
  • AD conversion reading and AD conversion
  • image signals can be performed only for necessary pixels among the pixels constituting the imaging unit 111, using a block as the minimum unit.
  • the image sensor 10 can be configured with one die.
  • one-chip image sensor 10 is formed by stacking three or more dies. It can be configured as follows. For example, when three dies are stacked to form a one-chip image sensor 10, the memory 123 mounted on the die 131 in FIG. 10 can be mounted on a die different from the dies 130 and 131. .
  • an image sensor (hereinafter also referred to as a bump-connected sensor) in which a sensor chip, a memory chip, and a DSP chip are connected in parallel with each other through a plurality of bumps, a single-chip image sensor 10 configured in a stacked structure is used. Compared to , the thickness increases significantly and the device becomes larger.
  • the image sensor 10 having a laminated structure it is possible to prevent the device from increasing in size as described above and from being unable to secure a sufficient rate between the imaging processing section 112 and the output control section 113. be able to. Therefore, according to the image sensor 10 having a laminated structure, it is possible to make the configuration for outputting information required in the subsequent processing of the image sensor 10 compact.
  • the image sensor 10 can output the image data (RAW data, RGB data, etc.).
  • the image sensor 10 performs the signal processing in the signal processing unit 122 to obtain the information required by the user. It is possible to obtain and output signal processing results.
  • the signal processing performed by the image sensor 10 that is, the signal processing by the signal processing unit 122
  • detection processing for detecting a moving object or a person from image data
  • recognition processing (such as face recognition) based on image data (RAW data) acquired by the imaging unit 111 may be employed as the signal processing by the signal processing unit 122.
  • the image sensor 10 can receive, at the input I/F 126, the output of a distance sensor such as a ToF (Time of Flight) sensor that is arranged in a predetermined positional relationship with the image sensor 10.
  • a distance sensor such as a ToF (Time of Flight) sensor that is arranged in a predetermined positional relationship with the image sensor 10.
  • the signal processing of the signal processing unit 122 may include, for example, processing of removing noise in a distance image obtained from the output of the distance sensor received by the input I/F 126 using a captured image. It is possible to employ fusion processing that integrates the output and the captured image to obtain a highly accurate distance.
  • the image sensor 10 can receive, at the input I/F 126, an image output by an image sensor arranged in a predetermined positional relationship with the image sensor 10.
  • the signal processing of the signal processing unit 122 for example, self-position estimation processing (SLAM (Simultaneously Localization And Mapping)) using the image received by the input I/F 126 and the captured image as a stereo image is adopted.
  • SLAM Simultaneously Localization And Mapping
  • FIG. 11 is a block diagram showing in more detail the configuration of an example of the imaging unit 111 applicable to the first embodiment.
  • the imaging unit 111 includes a pixel array section 1011, a vertical scanning section 1012, an AD (Analog to Digital) conversion section 1013, a pixel signal line 1016, a vertical signal line 1017, and an imaging operation control section 1019. , and an imaging processing section 112.
  • AD Analog to Digital
  • the pixel array section 1011 includes a plurality of pixels Pix each having a photoelectric conversion element that performs photoelectric conversion on received light.
  • a photodiode can be used as the photoelectric conversion element.
  • a plurality of pixels Pix are arranged in a two-dimensional grid in the horizontal direction (row direction) and vertical direction (column direction).
  • the arrangement of pixels Pix in the row direction is called a line.
  • One frame of image (image data) is formed by pixel signals read out from a predetermined number of lines in this pixel array section 1011. For example, when one frame image is formed with 3000 pixels x 2000 lines, the pixel array section 1011 includes at least 2000 lines including at least 3000 pixels Pix.
  • a rectangular area formed by pixels Pix that output pixel signals effective for forming image data is referred to as an effective pixel area.
  • One frame of image is formed based on pixel signals of pixels Pix within the effective pixel area.
  • a pixel signal line 1016 is connected to each row and column of each pixel Pix, and a vertical signal line 1017 is connected to each column.
  • the end of the pixel signal line 1016 that is not connected to the pixel array section 1011 is connected to the vertical scanning section 1012.
  • the vertical scanning unit 1012 transmits control signals such as drive pulses for reading out pixel signals from the pixels Pix to the pixel array unit 1011 via the pixel signal line 1016 under the control of the imaging operation control unit 1019 described later.
  • An end of the vertical signal line 1017 that is not connected to the pixel array section 1011 is connected to the AD conversion section 1013.
  • the pixel signal read from the pixel is transmitted to the AD converter 1013 via the vertical signal line 1017.
  • a pixel signal is read out from a pixel by transferring charges accumulated in a photoelectric conversion element by exposure to light to a floating diffusion layer (FD), and converting the transferred charges in the floating diffusion layer into a voltage.
  • a voltage resulting from charge conversion in the floating diffusion layer is output to the vertical signal line 1017 via an amplifier.
  • the floating diffusion layer and vertical signal line 1017 are connected in accordance with a selection signal supplied via pixel signal line 1016. Further, in response to a reset pulse supplied via the pixel signal line 1016, the floating diffusion layer is connected to the power supply voltage VDD or the black level voltage supply line for a short period of time to reset the floating diffusion layer. A reset level voltage (referred to as voltage P) of the floating diffusion layer is output to the vertical signal line 1017.
  • a transfer pulse supplied via the pixel signal line 1016 turns on (closes) the space between the photoelectric conversion element and the floating diffusion layer, and transfers the charges accumulated in the photoelectric conversion element to the floating diffusion layer.
  • a voltage (referred to as voltage Q) corresponding to the amount of charge in the floating diffusion layer is output to the vertical signal line 1017.
  • the AD conversion unit 1013 includes an AD converter 1300 provided for each vertical signal line 1017, a reference signal generation unit 1014, and a horizontal scanning unit 1015.
  • the AD converter 1300 is a column AD converter that performs AD conversion processing on each column of the pixel array section 1011.
  • the AD converter 1300 performs AD conversion processing on the pixel signal supplied from the pixel Pix via the vertical signal line 1017, and performs two signals for correlated double sampling (CDS) processing to reduce noise. Two digital values (values corresponding to voltage P and voltage Q, respectively) are generated.
  • the AD converter 1300 supplies the two generated digital values to the imaging processing section 112.
  • the imaging processing unit 112 performs CDS processing based on the two digital values supplied from the AD converter 1300, and generates a pixel signal (pixel data) as a digital signal.
  • the pixel data generated by the imaging processing section 112 is output to the outside of the imaging unit 111.
  • One frame worth of pixel data output from the imaging processing section 112 is supplied as image data to, for example, the output control section 113 and the image compression section 125.
  • the reference signal generation unit 1014 generates a ramp signal RAMP used by each AD converter 1300 to convert a pixel signal into two digital values, based on the ADC control signal input from the imaging operation control unit 1019.
  • the ramp signal RAMP is a signal whose level (voltage value) decreases at a constant slope over time, or a signal whose level decreases stepwise.
  • Reference signal generation section 1014 supplies the generated ramp signal RAMP to each AD converter 1300.
  • the reference signal generation unit 1014 is configured using, for example, a DA (Digital to Analog) conversion circuit.
  • the horizontal scanning unit 1015 performs a selection scan to select each AD converter 1300 in a predetermined order under the control of the imaging operation control unit 1019, thereby scanning each digital image temporarily held by each AD converter 1300.
  • the values are sequentially output to the imaging processing unit 112.
  • the horizontal scanning unit 1015 is configured using, for example, a shift register or an address decoder.
  • the imaging operation control section 1019 performs drive control of the vertical scanning section 1012, AD conversion section 1013, reference signal generation section 1014, horizontal scanning section 1015, etc.
  • the imaging operation control unit 1019 generates various drive signals that serve as operating standards for the vertical scanning unit 1012, AD conversion unit 1013, reference signal generation unit 1014, and horizontal scanning unit 1015.
  • the imaging operation control unit 1019 allows the vertical scanning unit 1012 to scan each pixel Pix via the pixel signal line 1016 based on a vertical synchronization signal or an external trigger signal supplied from the outside (for example, the sensor control unit 121) and a horizontal synchronization signal. Generates control signals to supply to.
  • the imaging operation control unit 1019 supplies the generated control signal to the vertical scanning unit 1012.
  • the vertical scanning unit 1012 sends various signals including drive pulses to the pixel signal line 1016 of the selected pixel row of the pixel array unit 1011, based on the control signal supplied from the imaging operation control unit 1019, to each pixel Pix line by line. and outputs a pixel signal from each pixel Pix to the vertical signal line 1017.
  • the vertical scanning unit 1012 is configured using, for example, a shift register or an address decoder.
  • the imaging unit 111 configured in this manner is a column AD type CMOS (Complementary Metal Oxide Semiconductor) image sensor in which AD converters 1300 are arranged in each column.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging unit 111 by sharing the floating diffusion layer of a plurality of pixels Pix, it is possible to obtain the area sum value of the pixel values of the plurality of pixels Pix. For example, by making the floating diffusion layers of four pixels Pix included in a 2 pixel x 2 pixel area common, it is possible to obtain the area sum value of the pixel values in the area, and calculate the area average based on the area sum value. It can be calculated.
  • the present invention is not limited to this, and it is also possible to calculate the area average by image processing in the imaging processing section 112 or the signal processing section 122.
  • the control signal output line by line from the vertical scanning unit 1012 via the pixel signal line 1016 and the scanning of each column by the horizontal scanning unit 1015 thinning readout from each pixel Pix can be realized. It is.
  • the medium-resolution image 30b and low-resolution image 30c used in the moving body detection mode and the human detection mode are realized by sharing the floating diffusion layer in the imaging unit 111 or by controlling the readout of the pixel Pix, for example, the power consumption related to the readout of the pixel Pix Also, the load of AD conversion processing on the AD converter 1300 can be suppressed, and power saving can be achieved. Furthermore, the detection unit 101 can reduce the power consumption of the detection process by processing the medium-resolution image 30b or the low-resolution image 30c, which have a smaller number of processing units than the high-resolution image 30a.
  • the medium resolution image 30b and the low resolution image 30c by image processing in the signal processing unit 122, for example.
  • the reading process of the pixel Pix in the imaging unit 111 is performed in the same way as in the case of the high-resolution image 30a, so power saving in the imaging unit 111 cannot be achieved.
  • Each pixel Pix can be provided with a filter that selectively transmits light in a predetermined wavelength band.
  • the filter is called a color filter.
  • color filters for each wavelength band of red (R), green (G), and blue (B), which constitute the three primary colors, are arranged for each pixel Pix.
  • the invention is not limited to this, and color filters of complementary colors may be arranged for each pixel Pix, or filters that selectively transmit light in the infrared wavelength range, or filters that selectively transmit light in the infrared wavelength range, or filters that selectively transmit light in the infrared wavelength range, or It may also be a filter that transmits light in a band.
  • these various filters will be explained using color filters as a representative.
  • FIG. 12 is a schematic diagram showing an example of a commonly used Bayer array.
  • the Bayer array consists of two pixels Pix(G) where G color filters are arranged, one pixel Pix(R) where R color filters are arranged, and B color pixel Pix(R).
  • these four pixels are arranged in a grid of 2 pixels x 2 pixels so that no two pixels Pix(G) are adjacent to each other.
  • the Bayer array is an array in which pixels Pix in which color filters that transmit light in the same wavelength band are arranged are not adjacent to each other.
  • pixel Pix(R) where an R color filter is arranged will be referred to as “R color pixel Pix(R)” or simply “pixel Pix(R)". It is called. The same applies to the pixel Pix (G) where the G color filter is arranged and the pixel Pix (B) where the B color filter is arranged. Furthermore, if the color filter is not a particular issue, each pixel Pix(R), Pix(G), and Pix(B) will be described as being represented by the pixel Pix.
  • FIG. 13 is a flowchart of an example of parking monitoring processing according to the first embodiment. The process according to the flowchart of FIG. 13 is started in the vehicle 10000 in which the in-vehicle monitoring device 1 according to the first embodiment is mounted, using, for example, a determination that the ignition is turned off as a trigger.
  • step S101 when the ECU 20 executes the control of retracting the side mirror and changing the imaging direction of the camera provided on the side mirror when the ignition is turned off (step S100), in the next step S101, the control unit 202 performs the following:
  • the parking monitoring mode is activated as the operation mode of the on-vehicle monitoring device 1. Note that details of the process in step S100 will be described later.
  • step S102 the ECU 20 uses the control unit 202 to change its operating mode to the power saving mode or stop some of its functions.
  • step S102 the ECU 20 issues a trigger to the image sensor 10 to start the detection process using the control unit 202.
  • step S103 to step S107 is performed on the image sensor 10 side.
  • step S103 the image sensor 10 uses the imaging unit 100 to acquire the low resolution image 30c.
  • the detection unit 101 instructs the imaging unit 100 to acquire the low resolution image 30c.
  • the imaging unit 100 acquires a low-resolution image 30c by area averaging, thinning, or the like.
  • the detection unit 101 performs a moving object detection process on the low resolution image 30c acquired in step S103.
  • the detection unit 101 may execute the moving object detection process using the low resolution image 30c acquired in the immediately previous step S103 and the low resolution image 30c taken one to several frames before the immediately previous step S103. .
  • step S104 If a moving object is not detected from the low-resolution image 30c in step S104 (step S104, "No"), the detection unit 101 returns the process to step S103 and acquires the low-resolution image 30c of the next frame. On the other hand, when a moving object is detected from the low resolution image 30c in step S104 (step S104, "Yes"), the detection unit 101 shifts the process to step S105.
  • step S105 the image sensor 10 uses the imaging unit 100 to acquire the medium resolution image 30b.
  • the detection unit 101 instructs the imaging unit 100 to acquire the medium resolution image 30b.
  • the imaging unit 100 acquires a medium resolution image 30b by area averaging, thinning, or the like.
  • the detection unit 101 performs human detection processing on the medium resolution image 30b acquired in step S105.
  • the detection unit 101 may perform the human detection process using the medium resolution image 30b acquired in the immediately preceding step S105 and the medium resolution image 30b from one to several frames before the immediately preceding step S105. .
  • the detection target of the detection unit 101 in step S106 is not limited to humans.
  • the detection unit 101 may detect an object other than a person as long as it is an object that triggers the start of recording, which will be described later.
  • step S106 If no person is detected from the medium resolution image 30b in step S106 (step S106, "No"), the detection unit 101 moves the process to step S107.
  • step S107 the detection unit 101 determines whether a certain period of time has passed since the person detection process in step S106. If the detection unit 101 determines that the certain period of time has not elapsed (step S107, "No"), the process returns to step S105 and acquires the medium resolution image 30b of the next frame. On the other hand, when the detection unit 101 determines that the certain period of time has elapsed (step S107, "Yes"), the process returns to step S103 and executes moving object detection based on the low resolution image 30c.
  • step S106 If a person is detected in the medium resolution image 30b in step S106 (step S106, "Yes"), the detection unit 101 moves the process to step S108.
  • step S108 the detection unit 101 restores the operation of the ECU 20.
  • the detection unit 101 issues an instruction to restore the operation of the ECU 20, and passes the instruction to the ECU 20.
  • the ECU 20 receives this instruction, the ECU 20 transitions its own operating mode from the power saving mode or the inactive mode except for a part to the normal operating mode in accordance with the received instruction.
  • step S109 to step S111 is performed on the ECU 20 side.
  • step S109 the ECU 20 in the vehicle-mounted monitoring device 1 acquires the high-resolution image 30a using the imaging unit 100.
  • the ECU 20 instructs the image sensor 10 to acquire a high-resolution image 30a.
  • the image sensor 10 acquires a high-resolution image 30a without performing resolution reduction processing such as area averaging or thinning from the imaging unit 100.
  • the ECU 20 executes a recording process in the determination unit 201 and the control unit 202, and records the high resolution image 30a in the storage device 103.
  • the determination unit 201 in the ECU 20 determines whether or not to end recording of the high resolution image 30a.
  • step S111 determines in step S111 that the recording unit 102 does not end recording (step S111, “No”)
  • the ECU 20 returns the process to step S109 and acquires the high-resolution image 30a of the next frame.
  • the image sensor 10 is instructed to do so.
  • step S111 determines that recording has ended in step S111 (step S111, "No")
  • the determination unit 201 moves the process to step S102, and changes the operation mode of the ECU 20 to the power saving mode or Some functions will be stopped.
  • the ECU 20 uses the control unit 202 to issue a trigger to the image sensor 10 to start the detection process in step S102.
  • the operation mode of the image sensor 10 is changed to a moving body detection mode and a human detection mode in response to this trigger. Therefore, the ECU 20 functions as a control unit that controls the imaging operation of the image sensor 10.
  • FIG. 14 is a flowchart of an example of the image data recording process according to the first embodiment.
  • the flowchart of FIG. 14 shows in more detail the processing of steps S109 to S111 in the flowchart of FIG. 13 described above.
  • the ECU 20 receives an image data recording request from the detection unit 101 in the image sensor 10, for example, by the control unit 202 (step S200).
  • the control unit 202 in the ECU 20 starts up the ISP included in the ECU 20.
  • the control unit 202 in the ECU 20 activates a storage device for recording image data.
  • step S203 the control unit 202 in the ECU 20 acquires the high resolution image 30a from the image sensor 10.
  • the process in step S203 corresponds to the process in step S109 in the flowchart of FIG. 14, for example.
  • the recognition unit 200 in the ECU 20 executes the ISP function and performs image processing on the high resolution image 30a acquired in step S202.
  • the recognition unit 200 may cause the ISP to perform recognition processing for recognizing a recognition target on the high-resolution image 30a acquired as RAW data.
  • the recognition unit 200 may recognize the person detected in the process of step S106 according to the flowchart of FIG. 14 from the high-resolution image 30a as a recognition target.
  • the determination unit 201 in the ECU 20 determines whether the high-resolution image 30a acquired in step S202 is a recording-determined image. For example, if a person is recognized by the recognition process at the ISP in step S204, the determination unit 201 may determine that the high-resolution image 30a is image data that has been determined to be recorded as a recording target.
  • step S205 If the determination unit 201 in the ECU 20 determines that the high-resolution image 30a is image data for which recording has been determined (step S205, "Yes"), the process proceeds to step S206.
  • step S206 the control unit 202 in the ECU 20 records the high resolution image 30a in the storage device.
  • step S207 the determination unit 201 in the ECU 20 determines whether or not to finish recording the high-resolution image 30a. If the determining unit 201 determines that recording is not to be ended (step S207, "No"), the process returns to step S203. On the other hand, when the determination unit 201 determines that recording has ended (step S207, "Yes"), the process proceeds to step S209.
  • step S205 determines whether the high-resolution image 30a is image data for which recording has been determined. If the determining unit 201 in the ECU 20 determines in step S205 that the high-resolution image 30a is not image data for which recording has been determined (step S205, "No"), the process moves to step S208. In step S208, the determining unit 201 determines whether the high-resolution image 30a is image data of a scene to be recorded.
  • the determination unit 201 selects the high-resolution images 30a from the time when the recognition target is no longer recognized (determined that the image data is not recording-determined image data) to the predetermined number of frames for the scene to be recorded. It may be determined that the image data is That is, in parking monitoring, the context of frames in which a person or object is detected may also be important. Therefore, it is preferable to record image data after a person or object that has been recognized is no longer recognized.
  • step S208 determines in step S208 that the high-resolution image 30a is image data of a scene to be recorded (step S208, "Yes")
  • step S206 the control unit 202 in the ECU 20 records the high resolution image 30a in the storage device.
  • step S208 determines in step S208 that the high-resolution image 30a is not image data of a scene to be recorded (step S208, "No")
  • step S209 determines in step S208 that the high-resolution image 30a is not image data of a scene to be recorded
  • step S209 the control unit 202 in the ECU 20 stops the storage device for recording image data.
  • step S210 the control unit 202 stops the operation of the ISP.
  • the in-vehicle monitoring device 1 increases the resolution of the image data to be processed in stages according to the detection results for the image data.
  • the in-vehicle monitoring device 1 executes moving object detection and human detection using the minimum necessary processing blocks at each stage of image data resolution, and finally records a high-resolution image 30a.
  • the moving object detection and the human detection are executed with the ECU 20 downstream of the image sensor 10 in a stopped state or in a power saving mode. Therefore, the in-vehicle monitoring device 1 according to the first embodiment can monitor the surroundings of the vehicle during parking with low power consumption, and can perform continuous monitoring operation for a long time.
  • the in-vehicle monitoring device 1 records only the image data of the high-resolution image 30a after the human detection process in the storage device, and the medium-resolution image 30b and the image data used in the moving object detection mode and the human detection mode.
  • the low resolution image 30c is not recorded. Therefore, in the in-vehicle monitoring device 1 according to the first embodiment, it is possible to suppress the consumption of the storage capacity of the storage device, and since only necessary image data is recorded, the effort of checking the recorded image data is suppressed. It is also possible.
  • the side mirrors 60L and 60R have no difference other than the left and right sides, so unless otherwise specified, the side mirrors 60L and 60R will be described with the side mirror 60R as a representative. Further, when there is no need to distinguish between the side mirrors 60L and 60R, the side mirrors 60L and 60R may be collectively described as the side mirror 60.
  • the side mirror 60R is provided with a camera (referred to as a side mirror camera) for capturing an image of the sensing region 10103R that covers the periphery of the right side of the vehicle 10000.
  • the side mirror camera is attached to the side mirror 60R so as to image the sensing region 10103R when the side mirror 60R is deployed. Therefore, when the side mirror 60R is retracted, the imaging direction may change, making it difficult to image the sensing region 10103R.
  • FIG. 15 is a schematic diagram schematically showing a side mirror camera according to existing technology.
  • the side mirror 60R includes a mirror portion 61 and an arm portion 62, and is fixed to the side surface of the vehicle 10000 by the arm portion 62.
  • the side mirror 60R can be folded by a shaft 63 provided on the arm portion 62 so that the mirror surface faces the side surface of the vehicle 10000.
  • a state in which the side mirror 60R is folded is called a stored state, and a state in which it is opened as shown in the figure is called a deployed state.
  • the side mirror camera 70 is fixedly attached to the side mirror 60R using a camera fixing jig 72.
  • the side mirror camera 70 is attached to the side mirror 60R, for example, so that the lens portion 71 faces slightly downward.
  • the side mirror camera 70 is an example of the camera 10051 described using FIGS. 3 and 4.
  • FIG. 16A is a schematic diagram showing an example of the imaging range of the side mirror camera 70 and the captured image when the side mirror 60R is deployed, according to the existing technology.
  • the imaging range (sensing area 10103R) by the side mirror camera 70 provided on the side mirror 60R covers the periphery of the right side of the vehicle 10000. Covered.
  • Section (b) of FIG. 16A shows an example of an image captured by the side mirror camera 70 mounted on the side mirror 60R when the side mirror 60R is expanded.
  • the left side is the direction of the front of the vehicle 10000.
  • the lens section 71 often uses a fisheye lens or a super wide-angle lens so that a wide angle of view can be obtained.
  • a fisheye lens is used as the lens section 71.
  • FIG. 16B is a schematic diagram showing an example of the imaging range of the side mirror camera 70 and a captured image when the side mirror 60R is retracted according to the existing technology.
  • the imaging direction of the side mirror camera 70 mounted on the side mirror 60R faces toward the rear of the vehicle 10000 according to the state of the side mirror 60R. Put it away.
  • the imaging range (sensing area 10103R') by the side mirror camera 70 covers only the rear right side of the vehicle 10000, and the front right side of the vehicle 10000 becomes a blind spot, as shown by arrow C in the figure. It ends up.
  • the imaging direction of the side mirror camera 70 mounted on the side mirror 60L faces toward the rear of the vehicle 10000.
  • the sensing area 10103L' by the side mirror camera 70 covers only the rear left side of the vehicle 10000, and the front left side of the vehicle 10000 becomes a blind spot, as shown by arrow D in the figure.
  • Section (b) of FIG. 16B shows an example of an image captured by the side mirror camera 70 mounted on the side mirror 60R when the side mirror 60R is retracted. Since the side mirror camera 70 faces the rear of the vehicle 10000, the left half of the captured image is an image of the vehicle 10000, the right half is an image of the rear right side of the vehicle 10000, and does not include an image of the front of the vehicle 10000. In this way, it can be seen that when the side mirror 60R is retracted, the front of the vehicle 10000 is a blind spot.
  • FIG. 17 is a schematic diagram schematically showing the side mirror camera 70 according to the first embodiment.
  • the side mirror camera 70 is attached to the side mirror 60R using a camera fixing jig 72a.
  • the camera fixing jig 72a can control the attitude of the side mirror camera 70 using, for example, two rotation axes.
  • the camera fixing jig 72a can control the attitude of the side mirror camera 70 in the vertical direction and the horizontal direction within predetermined angle ranges, respectively, as shown by arrows A and B in the figure. has been done.
  • FIG. 18 is a schematic diagram for explaining control of the imaging direction of the side mirror camera 70 according to the first embodiment.
  • section (a) shows the side mirror 60R when it is unfolded.
  • the posture of the side mirror camera 70 is controlled by the camera fixing jig 72a so that the imaging direction (the direction of the lens portion 71) faces in the opposite direction to the vehicle 10000 when the side mirror camera 70 is deployed. Therefore, the imaging range of the side mirror camera 70 can cover the sensing region 10103R (not shown) on the right side of the vehicle 10000.
  • section (b) shows the side mirror 60R when it is stored.
  • the side mirror 60R is stored, it is folded by the shaft 63 with the mirror surface facing the vehicle 10000 side.
  • the attitude of the side mirror camera 70 is controlled by the camera fixing jig 72a so that the imaging direction faces in the opposite direction to the vehicle 10000.
  • the posture of the side mirror camera 70 is controlled by the camera fixing jig 72a so that when the side mirror 60R is retracted, the imaging direction, that is, the direction of the lens portion 71, maintains the direction when the side mirror 60R is expanded. be done.
  • the imaging range of the side mirror camera 70 can cover the sensing region 10103R (not shown) on the right side of the vehicle 10000 even when the side mirror 60R is retracted. Therefore, it is possible to suppress the occurrence of blind spots in the existing technology, which was explained using FIG. 16B.
  • the side mirror camera 70 in order to direct (fix or change) the imaging range of the side mirror camera 70 mounted on the side mirror 60 in any three-dimensional direction within a predetermined angular range, the side mirror camera 70 is mounted on the side mirror 60.
  • a motor or a driving component having a similar function to the motor is incorporated into the camera fixing jig 72a for fixing the camera to the side mirror 60.
  • the drive component is driven according to the attitude of the side mirror 60. More specifically, when the angle of the side mirror 60 with respect to the vehicle 10000 is changed, the drive component is controlled based on a control signal that offsets the movement of the side mirror camera 70 due to the angle change.
  • FIG. 19 is a block diagram showing the configuration of an example of a camera fixing jig driving section that drives the camera fixing jig 72a according to the first embodiment.
  • the camera fixing jig drive section 75a includes a drive control section 76a, drive circuits 77v and 77h, and motors 78v and 78h.
  • the drive control section 76a is included in the ECU 20.
  • the present invention is not limited to this, and the ECU 20 may further include the drive circuits 77v and 77h.
  • the drive circuits 77v and 77h generate drive signals for driving the camera fixing jig 72a vertically and horizontally within a predetermined angular range, respectively, according to the drive information supplied from the drive control unit 76a. .
  • the drive circuit 77v drives the motor 78v using the generated drive signal.
  • the motor 78v drives the camera fixing jig 72a in the vertical direction.
  • the drive circuit 77h drives the motor 78h using the generated drive signal.
  • the motor 78h drives the camera fixing jig 72a in the horizontal direction.
  • the attitude of the side mirror camera 70 changes in the horizontal direction.
  • the drive circuits 77v and 77h output information regarding the drive of the motors 78v and 78h, respectively, as motor information.
  • the motor information includes, for example, information indicating the rotation angle of the motor.
  • the drive control unit 76a acquires side mirror drive motor information from the vehicle control system 10011 via the communication network 10041, for example, to drive the side mirror 60R to the unfolded state and the retracted state. Furthermore, the drive control unit 76a acquires each motor information output from the drive circuits 77v and 77h. The drive control unit 76a maintains the imaging direction of the side mirror camera 70 in the imaging direction when the side mirror 60 is deployed, based on the side mirror drive motor information and each motor information output from the drive circuits 77v and 77h. For this purpose, drive information for each of drive circuits 77v and 77h is generated.
  • the ECU 20 includes the drive control section 76a and functions as a control section that controls the imaging direction of the side mirror camera 70.
  • FIG. 20 is a flowchart of an example showing control of the imaging direction of the side mirror camera 70 according to the first embodiment.
  • step S300 the drive control unit 76a acquires motor information of each motor that drives the side mirror 60.
  • the drive control unit 76a acquires at least motor information of a motor that drives the side mirror 60 to expand and retract.
  • the drive control unit 76a may further acquire motor information of a motor that drives the mirror surface of the side mirror 60.
  • the drive control unit 76a acquires motor information of the motors 78v and 78h that drive the camera fixing jig 72a to the side mirror 60.
  • the drive control unit 76a uses each motor information acquired in step S300 and each motor information acquired in step S301 to determine the three-dimensional relative position of the side mirror camera 70 with respect to the body of the vehicle 10000. Calculate posture. That is, the drive control unit 76a calculates the current posture information of the side mirror camera 70 in step S302.
  • the attitude information of the side mirror camera 70 may include three-dimensional rotation information (roll, pitch, yaw) of the side mirror camera 70 and orientation information including height information of the side mirror camera 70. That is, the attitude information of the side mirror camera 70 can be said to be information indicating the imaging direction of the side mirror camera 70.
  • the drive control unit 76a uses preset three-dimensional posture information of the side mirror camera 70 when parking (for example, when the side mirror 60 is retracted) and the current three-dimensional posture information calculated in step S302. Calculate the difference between the dimensional posture information.
  • the drive control unit 76a In the next step S304, the drive control unit 76a generates drive information for driving the camera fixing jig 72a based on the difference in posture information calculated in step S303. More specifically, the drive control unit 76a generates each piece of drive information for driving the motors 78v and 78h so that the difference approaches zero.
  • the drive control unit 76a supplies the generated drive information to drive circuits 77v and 77h, respectively.
  • Each of the drive circuits 77v and 77h generates a drive signal based on the supplied drive information, and drives the motors 78v and 78h, respectively.
  • the attitude control of the side mirror camera 70 of the first embodiment it is possible to significantly suppress the occurrence of a blind spot when the side mirror 60 is retracted, as described in the existing technology.
  • the vehicle 10000 and the side mirror camera 70 have IMUs (Inertial Measurement Units), and the outputs of these IMUs are used to determine the photographing range and photographing direction of the side mirror camera 70. This is an example of controlling the IMUs (Inertial Measurement Units).
  • IMUs Inertial Measurement Units
  • FIG. 21 is a block diagram showing the configuration of an example of a camera fixing jig driving section that drives the camera fixing jig 72a according to the first modification of the first embodiment.
  • camera fixing jig drive section 75b includes a drive control section 76b, drive circuits 77v and 77h, and motors 78v and 78h.
  • the drive control section 76b is included in the ECU 20.
  • the present invention is not limited to this, and the ECU 20 may further include the drive circuits 77v and 77h.
  • drive circuits 77v and 77h and the motors 78v and 78h are equivalent to the drive circuits 77v and 77h and the motors 78v and 78h described using FIG. 19, so their descriptions will be omitted here.
  • the drive control unit 76b is supplied with camera attitude information indicating the attitude of the side mirror camera 70, which is output from the IMU 79 included in the side mirror camera 70.
  • the IMU 79 is not limited to this, and may be provided near the side mirror camera 70 attachment position of the camera fixing jig 72a.
  • the drive control unit 76b further acquires vehicle body posture information indicating the body posture of the vehicle 10000 output from the IMU included in the vehicle sensor 10027 via the communication network 10041.
  • the drive control unit 76a controls drive circuits 77v and 77h to maintain the imaging direction of the side mirror camera 70 in the imaging direction when the side mirror 60 is deployed, based on the camera attitude information and the vehicle attitude information. Generate information.
  • Each drive circuit 77v and 77h generates each drive signal for driving each motor 78v and 78h, based on each drive information generated by drive control section 76b.
  • FIG. 22 is an example flowchart showing control of the imaging direction of the side mirror camera according to the first modification of the first embodiment.
  • step S400 the drive control unit 76b acquires three-dimensional posture information of the vehicle body (vehicle body posture information) from the IMU included in the vehicle sensor 10027.
  • step S401 the drive control unit 76b acquires three-dimensional attitude information (camera attitude information) of the side mirror camera 70 output from the IMU 79.
  • the drive control unit 76b uses the vehicle body posture information acquired in step S400 and the camera posture information acquired in step S401 to determine the three-dimensional relative position of the side mirror camera 70 with respect to the body of the vehicle 10000. Calculate posture. That is, the drive control unit 76b calculates the current posture information of the side mirror camera 70 in step S402.
  • the drive control unit 76b uses preset three-dimensional posture information of the side mirror camera 70 when parking (for example, when the side mirror 60 is retracted) and the current three-dimensional posture information calculated in step S402. Calculate the difference between the dimensional posture information.
  • the drive control unit 76b In the next step S404, the drive control unit 76b generates drive information for driving the camera fixing jig 72a based on the difference in posture information calculated in step S403. More specifically, the drive control unit 76b generates each piece of drive information for driving the motors 78v and 78h so that the difference approaches zero.
  • the drive control unit 76b supplies the generated drive information to drive circuits 77v and 77h, respectively.
  • Each of the drive circuits 77v and 77h generates a drive signal based on the supplied drive information, and drives the motors 78v and 78h, respectively.
  • the drive control unit 76b determines whether the attitude of the side mirror camera 70 has become the ideal attitude. For example, the drive control unit 76b may determine that the attitude of the side mirror camera 70 has become the ideal attitude when the difference calculated in step S403 is within a predetermined range including 0. The drive control unit 76b is not limited to this, and in step S405, the drive control unit 76b executes the processes of steps S400 to S403 described above again, and determines whether the attitude of the side mirror camera 70 has become the ideal attitude based on the difference calculated in step S403. It may be determined whether or not.
  • step S405, "No" the process returns to step S400.
  • step S405, "Yes” the drive control unit 76b determines that the side mirror camera 70 attitude has become the ideal attitude (step S405, "Yes"), it ends the series of processes according to the flowchart of FIG.
  • the attitude control of the side mirror camera 70 of the first modification of the first embodiment it is possible to significantly suppress the occurrence of a blind spot when the side mirror 60 is retracted, as described in the existing technology. be.
  • the attitude of the side mirror camera 70 is controlled using the output of the IMU included in the vehicle sensor 10027 of the vehicle 10000 and the output of the IMU 79 included in the side mirror camera 70, but this is limited to this example. Not done.
  • the IMU 79 is provided near the side mirror camera 70 or the side mirror camera 70 mounting position of the camera fixing jig 72a, and the vehicle 10000 is not provided with an IMU, or the output of the IMU provided in the vehicle 10000 is drive-controlled. There may also be a case where the section 76b is unavailable.
  • the attitude information of the vehicle 10000 can be estimated based on the attitude information of the side mirror camera 70 acquired by the IMU 79 and the state of the motor that drives the side mirror 60 to the expanded state and the retracted state.
  • the drive control unit 76b determines the three-dimensional relative attitude of the side mirror camera 70 with respect to the vehicle 10000 based on the attitude information of the vehicle 10000 estimated in this way and the attitude information of the side mirror camera 70.
  • the drive control unit 76b uses the relative posture obtained in this way to execute the processes from step S403 in the flowchart of FIG. 22.
  • the image data captured by the side mirror camera 70 may be converted into an image while taking into account the three-dimensional posture of the side mirror 60.
  • the above-mentioned motors 78v and 78h are not driven, and in order to adjust the imaging range when the side mirror 60 is retracted, the three-dimensional posture information of the side mirror camera 70 at the time of unfolding and retracting is held. You can.
  • the attitude of the side mirror camera 70 may be changed to an attitude preset for parking monitoring.
  • the imaging direction of the side mirror camera 70 when the side mirror 60 is unfolded is directed toward the ground in order to monitor the vicinity of the wheels, and therefore the imaging range when the side mirror 60 is unfolded. In this case, it is difficult to monitor a wide range around the vehicle 10000.
  • the imaging direction of the side mirror camera 70 for example, changing the imaging direction to the horizontal direction
  • the imaging unit 100 of the image sensor 10 a sensor that receives light in the visible wavelength range is used, which uses a color filter that transmits light in the wavelength range of each RGB color.
  • the imaging unit 100 is capable of receiving light in the infrared wavelength region (IR (Infrared) light) in addition to light in the visible wavelength region. Apply the sensor.
  • IR Infrared
  • nighttime performance When monitoring parking, we want to monitor it for 24 hours a day, but if we use a sensor that receives light in the visible wavelength range, the nighttime performance will depend on the sensor sensitivity, which will affect the monitoring accuracy. There is a limit. In the second modification of the first embodiment, nighttime performance is improved by using a sensor capable of receiving IR light.
  • FIG. 23 is a schematic diagram showing the principle of a detection method using IR light according to a second modification of the first embodiment.
  • a light source 80 capable of emitting light including IR light is used to irradiate a subject 81 with light.
  • the reflected light from the subject 81 is irradiated onto the imaging unit 111 via the lens 82, the dual bandpass filter 83, and the color filter section 84.
  • the color filter section 84 includes color filters that transmit light in the visible wavelength range of R, G, and B colors, and an IR filter that transmits light in the IR wavelength range, which are arranged for each pixel Pix. , including.
  • FIG. 24 is a schematic diagram showing an example of the arrangement of color filters including IR filters (referred to as RGBIR arrangement) in the color filter section 84.
  • the unit is 16 pixels (4 pixels x 4 pixels), each of which has two pixels Pix (R), two pixels Pix (B), eight pixels Pix (G), and an IR filter.
  • Each pixel Pix includes four pixels Pix (IR), and each pixel Pix is arranged such that pixels Pix in which filters that transmit light in the same wavelength band are disposed are not adjacent to each other.
  • FIG. 25 is a schematic diagram showing an example of spectral characteristics of a sensor in which color filters that transmit light in each wavelength region of each RGB color and an IR filter that transmits light in an IR wavelength region are arranged.
  • Characteristic lines 90R, 90G, and 90B are examples of the characteristics of each color filter that transmits light in the visible wavelength range of R color, G color, and B color, respectively, and characteristic line 90IR transmits light in the IR wavelength range. Examples of characteristics by IR filters are shown.
  • the wavelength range from 400 nm to 700 nm is the visible light wavelength range
  • the wavelength range near 940 nm is the IR light wavelength range.
  • FIG. 26 is a schematic diagram showing an example of the spectral characteristics of the dual bandpass filter 83. As shown as a characteristic line 91 in FIG. 26, the dual bandpass filter 83 selectively transmits light in a visible wavelength range of 400 nm to 700 nm and light in a wavelength range near 940 nm. It has the characteristics of
  • a sensor capable of receiving IR light and equipped with a color filter section 84 having an RGBIR array shown in FIG. 24 is used as the camera 10051 in the external recognition sensor 10025, and by projecting IR light at night, parking monitoring at night accuracy can be improved.
  • the detection function of the detection unit 101 for example, when a machine learning model is used for human detection, it also learns and deals with the IR light environment. Furthermore, in the case of a drive recorder, if it is installed inside a car, it may not be able to receive IR light due to the influence of glass, but in the case of a camera outside the car, this is not a problem.
  • FIG. 27 is a block diagram showing the configuration of an example of an in-vehicle monitoring device 1a according to a third modification of the first embodiment.
  • the imaging section 100 is included in the image sensor 10a as one chip, and the detection section 101 is included in the detection unit 11 as one chip.
  • the ECU 20 includes a recognition section 200, a determination section 201, and a control section 202, similar to the in-vehicle monitoring device 1 described using FIG.
  • the image sensor 10a outputs a low resolution image 30c in the moving object detection mode, and outputs a medium resolution image 30b in the human detection mode. Furthermore, the image sensor 10a outputs a high resolution image 30a in the recording mode.
  • each pixel in the imaging unit 100 is The load on the readout process from Pix and the detection process by the detection unit 101 is reduced, and the ECU 20 operates in a low power consumption mode, making it possible to save power.
  • the imaging section 100 and the detection section 101 are integrated into one chip, and the ECU 20 includes the recognition section 200, the determination section 201, and the control section 202.
  • the detection unit 101 is configured on the ECU 20 side.
  • FIG. 28 is a block diagram showing the configuration of an example of an in-vehicle monitoring device 1b according to a fourth modification of the first embodiment.
  • the ECU 20a includes a detection unit 101, a recognition unit 200, a determination unit 201, and a control unit 202, and the image sensor 10a includes only the imaging unit 100.
  • the image sensor 10a outputs a low resolution image 30c in the moving object detection mode, and outputs a medium resolution image 30b in the human detection mode. Furthermore, the image sensor 10a outputs a high resolution image 30a in the recording mode. Furthermore, when the detection unit 101 executes the detection process, the ECU 20a causes the recognition unit 200, the determination unit 201, and the control unit 202 to operate in a low power consumption mode.
  • each pixel in the imaging unit 100 is The load of read processing from Pix and detection processing by the detection unit 101 is reduced, and the recognition unit 200, determination unit 201, and control unit 202 in the ECU 20a operate in a low power consumption mode, making it possible to save power. .
  • the second embodiment of the present disclosure differs from the above-described first embodiment in that the imaging direction of one or more cameras 10051 among the front, rear, left, and right cameras 10051 is changed according to the detection result of moving object detection or human detection. This is an example of tracking a target.
  • the front, rear, left, and right cameras 10051 are each fixed to the vehicle body of the vehicle 10000 by the camera fixing jig 72a described in the first embodiment using FIGS. It is assumed that the imaging direction can be changed within a predetermined angular range in both the direction and the horizontal direction.
  • FIG. 29 is a schematic diagram for explaining control of the imaging direction according to the second embodiment.
  • the target object 95 is cut off at the left end of the image data captured in the sensing region 10103R and at the right end of the image data captured in the sensing region 10103F.
  • image distortion becomes large at the edges of the captured image data. Therefore, these image data may have low effectiveness as evidence.
  • the imaging directions of the front camera and the right camera whose captured images include the object 95 are directed toward the object 95.
  • the object 95 is located at the center of each of the sensing area 10103F' of the front camera and the sensing area 10103R' of the right camera. is improved.
  • the recognition unit 200 of the ECU 20 when the operation transitions to the recording mode according to the human detection result in the detection unit 101, the recognition unit 200 of the ECU 20 generates an image of the target object 95 based on the high-resolution image 30a. Find the position within.
  • the control unit 202 controls the motor 78v and the motor 78v, which control the imaging direction of the camera 10051 that can include the position in the center of the imaging range, among the cameras 10051, based on the determined position of the target object 95 in the image. 78h is generated.
  • Drive circuits 77v and 77h drive motors 78v and 78h according to drive information generated by control unit 202. Thereby, the imaging direction of the front camera and the right camera can be directed toward the target object 95, and the target object 95 can be tracked.
  • the ECU 20 changes the resolution of the image data taken by the front camera and the right camera to the resolution before directing the imaging direction toward the object 95.
  • a relatively high resolution is preferable.
  • the imaging directions of the front camera and the right camera are changed with respect to the object 95, but this is not limited to this example.
  • a mechanism for changing the imaging direction is provided only for the right and left cameras, and an event is detected based on image data captured by the front camera or rear camera, the imaging direction of the right or left camera can be changed.
  • the blind spots of other cameras such as the front camera and the rear camera may be covered.
  • the vehicle 10000 is equipped with a camera whose imaging direction can be changed according to control in addition to the front, rear, left, and right cameras 10051 (surround cameras), when the object 95 is detected, the image of the camera is The direction may be directed toward the target object 95.
  • the in-vehicle monitoring device even if the object 95 is completely visible in the imaging range of the front, rear, left, and right cameras 10051 provided in the vehicle 10000, the object 95 By changing the imaging direction of the camera 10051 that is completely out of view, the target object 95 can be included in the center of the imaging range. Therefore, it is possible to perform cognitive processing on the object 95 with high precision, and it is possible to improve the evidence capacity of image data.
  • a third embodiment of the present disclosure is such that, in the second embodiment described above, the imaging direction of the in-vehicle camera provided in the vehicle is changed to track the object in accordance with the detection result of moving object detection or human detection. This is an example.
  • the in-vehicle camera is an example of the in-vehicle sensor 10026 shown in FIG. , for example, at the center of the upper end of the windshield), and the imaging direction can be changed within a predetermined angular range in the vertical and horizontal directions according to instructions from the ECU 20.
  • FIG. 30 is a schematic diagram for explaining control of the imaging direction according to the third embodiment.
  • sensing region 10106 corresponds to the imaging range of in-vehicle camera 10160.
  • section (a) of FIG. 30 similar to section (a) of FIG. 10103F and 10103F respectively.
  • the imaging direction of the in-vehicle camera 10160 is directed toward the object 95, as shown in section (b) of FIG.
  • the object 95 is located at the center of the sensing area 10106' by the in-vehicle camera 10160, and the evidence is improved compared to the case of section (a) in FIG. 30.
  • the recognition unit 200 of the ECU 20 when the operation transitions to the recording mode according to the human detection result in the detection unit 101, the recognition unit 200 of the ECU 20 generates an image of the target object 95 based on the high-resolution image 30a. Find the position within.
  • the control unit 202 generates drive information for driving a motor that controls the imaging direction of the in-vehicle camera 10160, based on the determined position of the object 95 in the image.
  • a drive circuit that drives the motor drives the motor according to drive information generated by the control unit 202.
  • the imaging direction of the in-vehicle camera 10160 can be directed toward the object 95, and the object 95 can be tracked.
  • the in-vehicle monitoring device even when the object 95 is captured in the imaging range of the front, rear, left, and right cameras 10051 provided in the vehicle 10000, the in-vehicle camera 10160 By changing the imaging direction, imaging can be performed with the target object 95 included in the center of the imaging range. Therefore, it is possible to perform cognitive processing on the object 95 with high precision, and it is possible to improve the evidence capacity of image data.
  • each camera provided as a surround camera on the front, rear, left, and right sides of the vehicle body of the vehicle 10000 often uses an ultra-wide-angle lens or a fisheye lens to ensure a wide sensing area.
  • the in-vehicle camera 10160 generally uses a lens with a standard angle of view. Therefore, by controlling the imaging direction of the in-vehicle camera 10160 and tracking the object 95, it is possible to recognize the object 95 with higher accuracy, and the captured image data can be expected to have high evidentiary ability. .
  • the in-vehicle monitoring device detects a person based on the image data captured by the imaging unit 100, but this is not limited to this example.
  • the in-vehicle monitoring device may detect not only a person but also an object that may harm the vehicle 10000. Examples of objects that may cause harm to vehicle 10000 include other vehicles and bicycles. Examples of such objects may include people. Even in this case, the in-vehicle monitoring device may start recording captured image data to the storage device in response to detection of the object.
  • other cameras other than the detected camera may be transitioned to a high-resolution imaging state.
  • the in-vehicle monitoring device in order to realize keyless start-up of the vehicle 10000 using a DMS (Driver Monitoring System) or the like, the in-vehicle monitoring device according to each of the disclosed embodiments and modifications may be applied.
  • the in-vehicle monitoring device can reduce power consumption as a whole by reducing power consumption in stages for face detection, face recognition, and personal authentication processing.
  • an in-vehicle parking monitoring system that covers 360° around the vehicle 10000 as a monitoring range can be realized with low power consumption, and parking monitoring can be performed for a long time.
  • the side mirror camera 70 When the side mirror camera 70 according to each embodiment and each modification of the present disclosure is mounted on the electrically retractable side mirror 60, the side mirror camera 70 captures images when driving (unfolded) and when parking (folded). It becomes possible to change the direction, and blind spots caused by the side mirror camera 70 can be reduced. Furthermore, since the imaging direction of the side mirror camera 70 is generally directed toward the ground, by three-dimensionally changing the imaging direction (posture) of the side mirror camera 70 when parking, the recorded image can be It is possible to improve the strength of evidence.
  • RGBIR array filter to the imaging unit 100 and projecting IR light, in-vehicle parking monitoring with high nighttime performance can be realized, and 24-hour monitoring including nighttime can be realized.
  • each embodiment and each modification of the present disclosure it is possible to use a surround camera mounted on the vehicle 10000, eliminating the need for parking monitoring using an aftermarket drive recorder, and improving the design of the vehicle 10000. Loss of sexuality can also be avoided.
  • moving object detection and human detection are performed based on the captured image data, and high-resolution image data is recorded in the storage device according to the results. . Therefore, it is possible to reduce pressure on the recording capacity of the storage device and reduce the effort required by the user to check recorded moving images. Additionally, unnecessary recording is suppressed, data output outside the sensor is limited, and privacy protection and security can be improved.
  • an imaging unit that is installed in a vehicle and that includes a side mirror housing and that generates image data in response to imaging; a control unit that controls an imaging operation and an imaging direction of the imaging unit; Equipped with The control unit includes: controlling the imaging direction of the imaging unit according to the state of the side mirror housing; setting the imaging operation of the imaging unit to a first power consumption mode in response to a determination that the ignition of the vehicle is off; The imaging unit includes: When the movement of a peripheral object is detected based on the first image data generated in the first power consumption mode, the imaging operation is performed in a second power consumption mode in which power consumption is higher than that in the first power consumption mode. set to mode, In-vehicle monitoring device.
  • the second power consumption mode is a mode that generates second image data with a resolution lower than the maximum resolution of image data generated by the imaging unit
  • the first power consumption mode is a mode that generates second image data with a resolution lower than the maximum resolution of image data generated by the imaging unit.
  • the control unit includes: When an object that may cause harm to a person or the vehicle is detected based on the second image data generated by the imaging unit in the second power consumption mode, the imaging operation of the imaging unit is performed. , setting a third power consumption mode that consumes more power than the second power consumption mode; The in-vehicle monitoring device according to (1) or (2) above.
  • the third power consumption mode is a mode for generating third image data having a higher resolution than the second image data generated in the second power consumption mode.
  • the control unit includes: recording the third image data in a recording section; The in-vehicle monitoring device according to (4) above.
  • the control unit includes: controlling the imaging direction of the imaging unit to maintain the imaging direction when the side mirror casing is deployed, according to a state of the side mirror casing; The vehicle-mounted monitoring device according to any one of (1) to (5) above.
  • the control unit includes: controlling the imaging direction of the imaging unit to maintain the imaging direction when the side mirror casing is unfolded when the side mirror casing is retracted; The in-vehicle monitoring device according to (6) above.
  • the control unit includes: controlling the imaging direction of the imaging unit based on drive information for driving the side mirror housing and drive information for changing the imaging direction of the imaging unit with respect to the side mirror housing; The in-vehicle monitoring device according to (6) or (7) above.
  • the control unit includes: controlling the imaging direction of the imaging unit based on attitude information indicating the attitude of the vehicle and attitude information indicating the attitude of the imaging unit; The in-vehicle monitoring device according to (6) or (7) above.
  • the control unit includes: When a target object is detected based on the image data generated by the imaging unit, acquiring image data captured in the direction of the target object; The vehicle-mounted monitoring device according to any one of (1) to (9) above. (11) The control unit includes: changing the imaging direction by the imaging unit to the direction of the object; The in-vehicle monitoring device according to (10) above. (12) The control unit includes: changing the imaging direction of an in-vehicle camera provided inside the vehicle to the direction of the object; The in-vehicle monitoring device according to (10) above. (13) The control unit includes: When the target object is detected based on the first image data generated by the imaging unit in the first power consumption mode, the resolution is higher than the first image data obtained by capturing the direction of the target object.
  • the vehicle-mounted monitoring device obtain high image data
  • the vehicle-mounted monitoring device according to any one of (10) to (12) above.
  • the imaging unit and the control unit are integrally configured, The vehicle-mounted monitoring device according to any one of (1) to (13) above.
  • the imaging unit and the control unit are configured separately, The vehicle-mounted monitoring device according to any one of (1) to (13) above.
  • the control unit is included in the configuration of a processing unit that executes subsequent processing.
  • the in-vehicle monitoring device includes:
  • the vehicle includes first and second cameras provided in the side mirror housing of the vehicle, third and fourth cameras provided at the front and rear of the vehicle, and an in-vehicle camera provided inside the vehicle.
  • the vehicle-mounted monitoring device according to any one of (1) to (16) above.
  • a control unit that controls an imaging operation and an imaging direction of an imaging unit provided in a vehicle including a side mirror housing that generates image data in response to imaging; Equipped with The control unit includes: controlling the imaging direction of the imaging unit according to the state of the side mirror housing; setting the imaging operation of the imaging unit to a first power consumption mode in response to a determination that the ignition of the vehicle is off; When the movement of a peripheral object is detected based on the first image data generated by the imaging unit in the first power consumption mode, the imaging operation of the imaging unit is changed from the first power consumption mode to the first power consumption mode. is set to the second power consumption mode with high power consumption, Information processing device.
  • an imaging device that is installed in a vehicle and that includes a side mirror housing and that generates image data in response to imaging; a control device that communicates with the imaging device and controls the imaging operation and imaging direction of the imaging device; including;
  • the control device includes: controlling the imaging direction of the imaging device according to the state of the side mirror housing; setting the imaging operation of the imaging device to a first power consumption mode in response to a determination that the ignition of the vehicle is off;
  • the imaging device includes: When the motion of a peripheral object is detected based on the first image data generated in the first power consumption mode, the imaging operation operates in a second power consumption mode in which the imaging operation consumes more power than the first power consumption mode. set to mode, In-vehicle monitoring system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示に係る車載監視装置は、サイドミラー筐体を含む車両に設けられ、撮像に応じて画像データを生成する撮像部（１００）と、前記撮像部の撮像動作および撮像方向を制御する制御部（２０）と、を備え、前記制御部は、前記サイドミラー筐体の状態に応じて前記撮像部の前記撮像方向を制御し、前記車両のイグニッションオフ判定に応じて前記撮像部の前記撮像動作を第１の消費電力モードに設定し、前記撮像部は、前記第１の消費電力モードで生成された第１の画像データに基づき周辺物体の動きが検出された場合に、前記撮像動作が前記第１の消費電力モードより消費電力の大きい第２の消費電力モードに設定される。

Description

車載監視装置、情報処理装置および車載監視システム
　本開示は、車載監視装置、情報処理装置および車載監視システムに関する。
　駐車場などに駐車中の車両において、イメージセンサを用いて周囲の状況を常時監視する車載監視システムが知られている。車載監視システムは、例えば、複数のイメージセンサを用いて車両の前後左右方向をそれぞれ常時撮像し、撮像画像を、車両に搭載されたＥＣＵ(Electronic　Control　Unit)の制御に従い画像処理などにより解析あるいは記録して、車両の周囲の状況を監視する。特許文献１には、車両の左右に設けられる電子ミラーとして搭載されるカメラを用いて車両の左右方向を撮像するようにした技術が開示されている。
特開２０２０－１３６７１５号公報
　従来の車載監視システムでは、駐車時にも常時、車両の稼働時と同様にイメージセンサおよびＥＣＵが動作するため消費電力が大きく、バッテリを多く消費してしまい、長時間の駐車監視が困難であった。
　本開示は、駐車時の車両の周囲状況の監視において、消費電力の抑制が可能な車載監視装置、情報処理装置および車載監視システムを提供することを目的とする。
　本開示に係る車載監視装置は、サイドミラー筐体を含む車両に設けられ、撮像に応じて画像データを生成する撮像部と、前記撮像部の撮像動作および撮像方向を制御する制御部と、を備え、前記制御部は、前記サイドミラー筐体の状態に応じて前記撮像部の前記撮像方向を制御し、前記車両のイグニッションオフ判定に応じて前記撮像部の前記撮像動作を第１の消費電力モードに設定し、前記撮像部は、前記第１の消費電力モードで生成された第１の画像データに基づき周辺物体の動きが検出された場合に、前記撮像動作が前記第１の消費電力モードより消費電力の大きい第２の消費電力モードに設定される。
車載監視システムの一例の構成を概略的に示すブロック図である。 車載監視システムの動作を説明するための模式図である。 本開示の各実施形態に適用可能な移動装置制御システムの一例である車両制御システムの構成例を示すブロック図である。 本開示の各実施形態に適用可能な、車両に搭載される外部認識センサによるセンシング領域の例を示す図である。 第１の実施形態に係る車載監視装置の一例の構成を概略的に示すブロック図である。 第１の実施形態に係る低解像度、中解像度および高解像度の画像データを説明するための模式図である。 第１の実施形態に係る車載監視装置の動作を説明するための模式図である。 第１の実施形態に係る車載監視装置における各動作モードおよびその遷移を説明するための模式図である。 第１の実施形態に係るイメージセンサの一例の構成を示すブロック図である。 第１の実施形態に係るイメージセンサの一例の構造を概略的に示す斜視図である。 第１の実施形態に適用可能な撮像部の一例の構成をより詳細に示すブロック図である。 ベイヤ配列の例を示す模式図である。 第１の実施形態に係る駐車監視処理を示す一例のフローチャートである。 第１の実施形態に係る画像データの記録処理を示す一例のフローチャートである。 既存技術によるサイドミラーカメラを概略的に示す模式図である。 既存技術による、サイドミラーの展開時におけるサイドミラーカメラの撮像範囲および撮像画像の例を示す模式図である。 既存技術による、サイドミラーの格納時におけるサイドミラーカメラの撮像範囲および撮像画像の例を示す模式図である。 第１の実施形態に係るサイドミラーカメラを概略的に示す模式図である。 第１の実施形態に係るサイドミラーカメラの撮像方向の制御を説明するための模式図である。 第１の実施形態に係るカメラ固定治具を駆動するカメラ固定治具駆動部の一例の構成を示すブロック図である。 第１の実施形態に係るサイドミラーカメラの撮像方向の制御を示す一例のフローチャートである。 第１の実施形態の第１の変形例に係る、カメラ固定治具を駆動するカメラ固定治具駆動部の一例の構成を示すブロック図である。 第１の実施形態の第１の変形例に係るサイドミラーカメラの撮像方向の制御を示す一例のフローチャートである。 第１の実施形態の第２の変形例に係る、ＩＲ光を用いた検知方法を原理的に示す模式図である。 カラーフィルタ部における、ＩＲフィルタを含む各カラーフィルタの配列の例を示す模式図である。 ＲＧＢ各色の各波長領域の光を透過する各カラーフィルタと、ＩＲ波長領域の光を透過するＩＲフィルタとが配置されたセンサの分光特性の例を示す模式図である。 デュアルバンドパスフィルタの分光特性の例を示す模式図である。 第１の実施形態の第３の変形例に係る車載監視装置の一例の構成を示すブロック図である。 第１の実施形態の第４の変形例に係る車載監視装置の一例の構成を示すブロック図である。 第２の実施形態に係る撮像方向の制御について説明するための模式図である。 第３の実施形態に係る撮像方向の制御について説明するための模式図である。
　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
　以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示に係る技術の概要
２．本開示の各実施形態に適用可能な技術
３．本開示の第１の実施形態
　３－１．第１の実施形態に係る撮像制御の概略
　３－２．第１の実施形態の撮像制御に係る構成
　３－３．第１の実施形態の撮像制御に係る処理
　３－４．第１の実施形態に係るサイドミラーカメラ制御
　　３－４－１．既存技術による構成
　　３－４－２．第１の実施形態に係るサイドミラーカメラ制御について
　３－５．第１の実施形態の第１の変形例
　３－６．第１の実施形態の第２の変形例
　３－７．第１の実施形態の第３の変形例
　３－８．第１の実施形態の第４の変形例
４．本開示の第２の実施形態
５．本開示の第３の実施形態
６．本開示の他の実施形態
７．本開示の各実施形態および各変形例による効果
　本開示は、駐車中の車両の周辺の状況を、当該車両に搭載されるカメラにより撮像された画像データに基づき監視する駐車監視機能を実現する車載監視システムに関する。
（１．本開示に係る技術の概要）
　本開示の各実施形態に係る車載監視システムは、駐車監視機能を実現する駐車監視モードにおいて、車両に搭載されるサラウンドカメラの撮像動作を、サラウンドカメラにより撮像された画像データに基づき、低消費電力の撮像動作モードから、より消費電力の大きな撮像動作モードへと、段階的に制御する。
　より具体的には、本開示の各実施形態に係る車載監視システムは、駐車監視モードでは、先ず、サラウンドカメラによる撮像動作を、消費電力が低い第１の消費電力モードに設定する。各実施形態に係る車載監視システムは、第１の消費電力モードにおいて、サラウンドカメラにより撮像された画像データに基づき動体検出を行い、当該車両の周辺の物体である周辺物体の動きを検出する。当該車載監視システムは、動体検出により周辺物体の動きが検出された場合、サラウンドカメラによる撮像動作を、第１の消費電力モードより消費電力が大きい第２の消費電力モードに設定する。当該車載監視システムは、第２の消費電力モードにおいて、サラウンドカメラにより撮像された画像データに基づき人検出を行い、当該車両の周辺の人を検出する。
　当該車載監視システムは、人検出により人が検出された場合、サラウンドカメラによる撮像動作を、第２の消費電力モードより消費電力が大きい第３の消費電力モードに設定する。当該車載監視システムは、第３の消費電力モードにおいて、サラウンドカメラにより撮像された画像データを、記録媒体に記録する。
　本開示の各実施形態に係る車載監視システムは、このように、サラウンドカメラによる撮像動作モードを、画像データに基づき低消費電力のモードからより消費電力が大きいモードに段階的に制御しているため、装置の消費電力を抑制でき、より長時間の駐車監視を実現可能である。
　また、本開示の各実施形態に係る車載監視システムは、サラウンドカメラのうち、サイドミラーに搭載されるサイドミラーカメラの撮像方向を、サイドミラーの状態に関わらず一定に制御する。より具体的には、当該車載監視システムは、サイドミラーが折り畳まれた状態である格納時におけるサイドミラーカメラの撮像方向を、サイドミラーが通常利用する状態である展開時における撮像方向を維持するように制御する。
　本開示の各実施形態に係る車載監視システムは、このように、サイドミラーカメラの撮像方向をサイドミラーの状態に関わらず一定に制御するため、当該車両の駐車時におけるサイドミラーカメラの死角を抑制することが可能となる。したがって、本開示の各実施形態に係る車載監視システムによれば、駐車時にサイドミラーが格納状態とされた場合であっても、車両の周囲３６０°の駐車監視を実現できる。
　図１は、車載監視システムの一例の構成を概略的に示すブロック図である。
　図１において、車載監視システム３０００は、それぞれ車両に搭載されるイメージセンサ３１００と、ＥＣＵ(Electronic　Control　Unit)３２００の一部の機能とを含む。イメージセンサ３１００は、撮像素子と、撮像素子を駆動する駆動回路とを含み、撮像により取得した画像データを出力する。ＥＣＵ３２００は、車両の全体を制御するものであってもよいし（中央）、車両の一部の制御を行うものであってもよい（ゾーン）。ＥＣＵ３２００は、ＣＰＵ(Central　Processing　Unit)といった多用途のプロセッサや、ＩＳＰ(Image　Signal　Processor)といった画像処理に特化したプロセッサを含んでよい。
　イメージセンサ３１００により撮像が行われ、撮像された画像データがＥＣＵ３２００に渡される。ＥＣＵ３２００は、イメージセンサ３１００から渡された画像データに基づき認知処理を実行し、画像データに含まれる動体や人を認知する。ＥＣＵ３２００は、認知処理として、さらに画像データのセグメンテーション分析や、顔認識処理などを行ってもよい。ＥＣＵ３２００は、認知処理の結果に対して判定処理を実行し、判定結果に応じて、所定の制御を行う。例えば、ＥＣＵ３２００は、車両の駐車中に未登録の人物が接近してきたと判定された場合、当該車両のユーザの端末装置などに対してアラームを送信してよい。
　図２は、車載監視システム３０００の動作を説明するための模式図である。図２のセクション（ａ）に示されるように、車載監視システム３０００は、駐車監視モードにおいて、イメージセンサ３１００により撮像を行う。イメージセンサ３１００は、撮像により取得した画像データ５００をフレーム単位で出力する。車載監視システム３０００において、ＥＣＵ３２００は、時間ｔdetに出力された画像データ５００detにおいて、動体を検知したものとする。ＥＣＵ３２００は、例えば動体が検知された画像データ５００detの次のフレームの画像データ５００から、画像データ５００内で動体が検出された領域５０１に注目して認知処理等を実行してよい。
　車載監視システム３０００は、駐車監視モードにおいて、イメージセンサ３１００を高解像度動作させて、撮像画像として高解像度の画像データを取得する。高解像度動作は、例えば、複数の画素を含む撮像素子において、有効画素領域の全ての画素により取得した各画素データにより画像データ５００を形成する動作である。
　図２において、セクション（ｂ）は、イメージセンサ３１００およびＥＣＵ３２００の消費電力の例を模式的に示している。図２のセクション（ｂ）において、横軸が同図セクション（ａ）に対応する時間を示し、縦軸が消費電力を示している。なお、図２のセクション（ｂ）において、ＥＣＵ３２００とイメージセンサ３１００の消費電力の大小関係は、この例に限定されない。ＥＣＵ３２００およびイメージセンサ３１００は、それぞれ、駐車監視モードの期間において常時アクティブ状態とされ、特性線５０２および５０３に示されるように、消費電力は、駐車監視モードの期間内で略一定とされる。
　このように、車載監視システム３０００では、イメージセンサ３１００およびＥＣＵ３２００が常時動作するため、消費電力が大きくバッテリを多く消費してしまい、長期間の駐車監視を実現することが困難となる場合がある。
　駐車監視では、常時監視のため常時録画するものと、消費電力や記憶容量の消費を抑えるため動体検知などをトリガとして録画するものとがある。しかしながら、動体検知などをトリガとする場合、不要な録画も頻繁に発生する可能性があり、消費電力の抑制が困難となるおそれがある。また、ユーザとしても、頻繁に録画が実行されると、録画内容の確認の手間もかかってしまうことになる。
（２．本開示の各実施形態に適用可能な技術）
　次に、本開示の各実施形態に適用可能な技術について説明する。図３は、本開示の各実施形態に適用可能な移動装置制御システムの一例である車両制御システム１００１１の構成例を示すブロック図である。
　車両制御システム１００１１は、車両１００００に設けられ、車両１００００の走行支援及、自動運転、及び、駐車監視に関わる処理を行う。
　車両制御システム１００１１は、車両制御ＥＣＵ１００２１、通信部１００２２、地図情報蓄積部１００２３、位置情報取得部１００２４、外部認識センサ１００２５、車内センサ１００２６、車両センサ１００２７、記憶部１００２８、走行支援・自動運転制御部１００２９、ＤＭＳ(Driver　Monitoring　System)１００３０、ＨＭＩ(Human　Machine　Interface)１００３１、及び、車両制御部１００３２を備える。
　車両制御ＥＣＵ１００２１、通信部１００２２、地図情報蓄積部１００２３、位置情報取得部１００２４、外部認識センサ１００２５、車内センサ１００２６、車両センサ１００２７、記憶部１００２８、走行支援・自動運転制御部１００２９、ドライバモニタリングシステム（ＤＭＳ）１００３０、ヒューマンマシーンインタフェース（ＨＭＩ）１００３１、及び、車両制御部１００３２は、通信ネットワーク１００４１を介して相互に通信可能に接続されている。
　通信ネットワーク１００４１は、例えば、ＣＡＮ(Controller　Area　Network)、ＬＩＮ(Local　Interconnect　Network)、ＬＡＮ(Local　Area　Network)、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバスなどにより構成される。通信ネットワーク１００４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１００１１の各部は、通信ネットワーク１００４１を介さずに、例えば近距離無線通信（ＮＦＣ(Near　Field　Communication)）やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１００１１の各部が、通信ネットワーク１００４１を介して通信を行う場合、通信ネットワーク１００４１の記載を省略するものとする。例えば、車両制御ＥＣＵ１００２１と通信部１００２２が通信ネットワーク１００４１を介して通信を行う場合、単に車両制御ＥＣＵ１００２１と通信部１００２２とが通信を行うと記載する。
　車両制御ＥＣＵ１００２１は、例えば、ＣＰＵ(Central　Processing　Unit)、ＭＰＵ(Micro　Processing　Unit)といった各種のプロセッサにより構成される。車両制御ＥＣＵ１００２１は、ＩＳＰを含んでいてもよい。車両制御ＥＣＵ１００２１は、車両制御システム１００１１全体又は一部の機能の制御を行う。また、車両制御システム１００１１は、複数のＥＣＵを含んでいてもよい。
　通信部１００２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局などと通信を行い、各種のデータの送受信を行う。このとき、通信部１００２２は、複数の通信方式を用いて通信を行うことができる。
　通信部１００２２が実行可能な車外との通信について、概略的に説明する。通信部１００２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ(Long　Term　Evolution)、ＤＳＲＣ(Dedicated　Short　Range　Communications)などの無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）などと通信を行う。通信部１００２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワークなどである。通信部１００２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部１００２２は、Ｐ２Ｐ(Peer　To　Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車などの比較的低速で移動する移動体が装着する端末、店舗などに位置が固定されて設置される端末、又は、ＭＴＣ(Machine　Type　Communication)端末である。さらに、通信部１００２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間(Vehicle　to　Vehicle)通信、路側器などとの間の路車間(Vehicle　to　Infrastructure)通信、家との間(Vehicle　to　Home)の通信、及び、歩行者が所持する端末などとの間の歩車間(Vehicle　to　Pedestrian)通信などの、自車と他との通信をいう。
　通信部１００２２は、例えば、車両制御システム１００１１の動作を制御するソフトウェアを更新するためのプログラムを外部から受信することができる（Over　The　Air)。通信部１００２２は、さらに、地図情報、交通情報、車両１００００の周囲の情報などを外部から受信することができる。また例えば、通信部１００２２は、車両１００００に関する情報や、車両１００００の周囲の情報などを外部に送信することができる。通信部１００２２が外部に送信する車両１００００に関する情報としては、例えば、車両１００００の状態を示すデータ、認識部１００７３による認識結果などがある。さらに例えば、通信部１００２２は、ｅコールなどの車両緊急通報システムに対応した通信を行う。
　例えば、通信部１００２２は、電波ビーコン、光ビーコン、ＦＭ多重放送などの道路交通情報通信システム（ＶＩＣＳ(Vehicle　Information　and　Communication　System)（登録商標））により送信される電磁波を受信する。
　通信部１００２２が実行可能な車内との通信について、概略的に説明する。通信部１００２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部１００２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ(Wireless　USB)といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部１００２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部１００２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部１００２２は、例えば、ＵＳＢ(Universal　Serial　Bus)、ＨＤＭＩ(High-Definition　Multimedia　Interface)（登録商標）、ＭＨＬ(Mobile　High-definition　Link)といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク１００４１に接続されていない機器を指す。車内の機器としては、例えば、運転者などの搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器などが想定される。
　地図情報蓄積部１００２３は、外部から取得した地図及び車両１００００で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部１００２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップなどを蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップなどである。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバなどから車両１００００に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報などをポイントクラウドマップに対応付け、ＡＤＡＳ(Advanced　Driver　Assistance　System)やＡＤ(Autonomous　Driving)に適合させた地図である。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバなどから提供されてもよいし、カメラ１００５１、レーダ１００５２、ＬｉＤＡＲ(Laser　Imaging　Detection　and　Ranging)１００５３などによるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１００００で作成され、地図情報蓄積部１００２３に蓄積されてもよい。また、外部のサーバなどから高精度地図が提供される場合、通信容量を削減するため、車両１００００がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバなどから取得される。
　位置情報取得部１００２４は、ＧＮＳＳ(Global　Navigation　Satellite　System)衛星からＧＮＳＳ信号を受信し、車両１００００の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部１００２９に供給される。なお、位置情報取得部１００２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ１００２５は、車両１００００の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１００１１の各部に供給する。外部認識センサ１００２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ１００２５は、カメラ１００５１、レーダ１００５２、ＬｉＤＡＲ１００５３、及び、超音波センサ１００５４を備える。これに限らず、外部認識センサ１００２５は、カメラ１００５１、レーダ１００５２、ＬｉＤＡＲ１００５３、及び、超音波センサ１００５４のうち１種類以上のセンサを備える構成でもよい。カメラ１００５１、レーダ１００５２、ＬｉＤＡＲ１００５３、及び、超音波センサ１００５４の数は、現実的に車両１００００に設置可能な数であれば特に限定されない。また、外部認識センサ１００２５が備えるセンサの種類は、この例に限定されず、外部認識センサ１００２５は、他の種類のセンサを備えてもよい。外部認識センサ１００２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ１００５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ１００５１に適用することができる。これに限らず、カメラ１００５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　カメラ１００５１は、車両１００００に対して複数が搭載される。例えば、車両１００００の周囲３６０°の画像を取得可能なように、車両１００００の前部、後部、左側面、右側面に少なくとも１つずつカメラ１００５１を設けてよい。この場合、左側面および右側面においては、それぞれの側のサイドミラーにカメラ１００５１を設けてよい。
　また、例えば、外部認識センサ１００２５は、車両１００００に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさなどの環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサなどの各種センサを含むことができる。
　さらに、例えば、外部認識センサ１００２５は、車両１００００の周囲の音や音源の位置の検出などに用いられるマイクロフォンを備える。
　車内センサ１００２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１００１１の各部に供給する。車内センサ１００２６が備える各種センサの種類や数は、現実的に車両１００００に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ１００２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。
　車内センサ１００２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ１００２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。以下、車内センサ１００２６が備えるカメラを、適宜、車内カメラと呼ぶ。車内カメラは、例えば車両制御ＥＣＵ１００２１の制御に応じて撮像方向を変更可能としてよい。
　車内センサ１００２６が備える生体センサは、例えば、シートやステアリングホイールなどに設けられ、運転者などの搭乗者の各種の生体情報を検出する。
　車両センサ１００２７は、車両１００００の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１００１１の各部に供給する。車両センサ１００２７が備える各種センサの種類や数は、現実的に車両１００００に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ１００２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ(Inertial　Measurement　Unit)）を備える。例えば、車両センサ１００２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ１００２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ１００２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
　記憶部１００２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部１００２８は、例えばＥＥＰＲＯＭ(Electrically　Erasable　Programmable　Read　Only　Memory)及びＲＡＭ(Random　Access　Memory)として用いられ、記憶媒体としては、ＨＤＤ(Hard　Disc　Drive)といった磁気記憶デバイス、フラッシュメモリといった半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部１００２８は、車両制御システム１００１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部１００２８は、ＥＤＲ(Event　Data　Recorder)やＤＳＳＡＤ(Data　Storage　System　for　Automated　Driving)を備え、事故などのイベントの前後の車両１００００の情報や車内センサ１００２６によって取得された情報を記憶する。
　走行支援・自動運転制御部１００２９は、車両１００００の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部１００２９は、分析部１００６１、行動計画部１００６２、及び、動作制御部１００６３を備える。
　分析部１００６１は、車両１００００及び周囲の状況の分析処理を行う。分析部１００６１は、自己位置推定部１００７１、センサフュージョン部１００７２、及び、認識部１００７３を備える。
　自己位置推定部１００７１は、外部認識センサ１００２５からのセンサデータ、及び、地図情報蓄積部１００２３に蓄積されている高精度地図に基づいて、車両１００００の自己位置を推定する。例えば、自己位置推定部１００７１は、外部認識センサ１００２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１００００の自己位置を推定する。車両１００００の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ(Simultaneous　Localization　And　Mapping)などの技術を用いて作成される３次元の高精度地図、占有格子地図(Occupancy　Grid　Map)などである。３次元の高精度地図は、例えば、上述したポイントクラウドマップなどである。占有格子地図は、車両１００００の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部１００７３による車両１００００の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部１００７１は、位置情報取得部１００２４により取得される位置情報、及び、車両センサ１００２７からのセンサデータに基づいて、車両１００００の自己位置を推定してもよい。
　センサフュージョン部１００７２は、複数の異なる種類のセンサデータ（例えば、カメラ１００５１から供給される画像データ、及び、レーダ１００５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合などがある。
　認識部１００７３は、車両１００００の外部の状況の検出を行う検出処理、及び、車両１００００の外部の状況の認識を行う認識処理を実行する。
　例えば、認識部１００７３は、外部認識センサ１００２５からの情報、自己位置推定部１００７１からの情報、センサフュージョン部１００７２からの情報などに基づいて、車両１００００の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部１００７３は、車両１００００の周囲の物体の検出処理及び認識処理などを行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動きなどを検出する処理である。物体の認識処理とは、例えば、物体の種類などの属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部１００７３は、レーダ１００５２又はＬｉＤＡＲ１００５３などによるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１００００の周囲の物体を検出する。これにより、車両１００００の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部１００７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１００００の周囲の物体の動きを検出する。これにより、車両１００００の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部１００７３は、カメラ１００５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示などを検出又は認識する。また、認識部１００７３は、セマンティックセグメンテーションなどの認識処理を行うことにより、車両１００００の周囲の物体の種類を認識してもよい。
　例えば、認識部１００７３は、地図情報蓄積部１００２３に蓄積されている地図、自己位置推定部１００７１による自己位置の推定結果、及び、認識部１００７３による車両１００００の周囲の物体の認識結果に基づいて、車両１００００の周囲の交通ルールの認識処理を行うことができる。認識部１００７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。
　例えば、認識部１００７３は、車両１００００の周囲の環境の認識処理を行うことができる。認識部１００７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態などが想定される。
　行動計画部１００６２は、車両１００００の行動計画を作成する。例えば、行動計画部１００６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画(Global　path　planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１００００の運動特性を考慮して、車両１００００の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local　path　planning)を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部１００６２は、例えば、この経路追従の処理の結果に基づき、車両１００００の目標速度と目標角速度を計算することができる。
　動作制御部１００６３は、行動計画部１００６２により作成された行動計画を実現するために、車両１００００の動作を制御する。
　例えば、動作制御部１００６３は、後述する車両制御部１００３２に含まれる、ステアリング制御部１００８１、ブレーキ制御部１００８２、及び、駆動制御部１００８３を制御して、軌道計画により計算された軌道を車両１００００が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部１００６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告などのＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部１００６３は、運転者の操作によらずに自律的に走行する自動運転などを目的とした協調制御を行う。
　ＤＭＳ１００３０は、車内センサ１００２６からのセンサデータ、及び、後述するＨＭＩ１００３１に入力される入力データなどに基づいて、運転者の認証処理、及び、運転者の状態の認識処理などを行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢などが想定される。
　なお、ＤＭＳ１００３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ１００３０が、車内センサ１００２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭いなどが想定される。
　ＨＭＩ１００３１は、各種のデータや指示などの入力と、各種のデータの運転者などへの提示を行う。
　ＨＭＩ１００３１によるデータの入力について、概略的に説明する。ＨＭＩ１００３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ１００３１は、入力デバイスにより入力されたデータや指示などに基づいて入力信号を生成し、車両制御システム１００１１の各部に供給する。ＨＭＩ１００３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ１００３１は、音声やジェスチャなどにより手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ１００３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１００１１の操作に対応したモバイル機器又はウェアラブル機器などの外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ１００３１によるデータの提示について、概略的に説明する。ＨＭＩ１００３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ１００３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法などを制御する出力制御を行う。ＨＭＩ１００３１は、視覚情報として、例えば、操作画面、車両１００００の状態表示、警告表示、車両１００００の周囲の状況を示すモニタ画像などの画像や光により示される情報を生成及び出力する。また、ＨＭＩ１００３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージなどの音により示される情報を生成及び出力する。さらに、ＨＭＩ１００３１は、触覚情報として、例えば、力、振動、動きなどにより搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ１００３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented　Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ１００３１は、車両１００００に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera　Monitoring　System）、電子ミラー、ランプなどが有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ１００３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ１００３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１００００の搭乗者が接触する部分に設けられる。
　車両制御部１００３２は、車両１００００の各部の制御を行う。車両制御部１００３２は、ステアリング制御部１００８１、ブレーキ制御部１００８２、駆動制御部１００８３、ボディ系制御部１００８４、ライト制御部１００８５、及び、ホーン制御部１００８６を備える。
　ステアリング制御部１００８１は、車両１００００のステアリングシステムの状態の検出及び制御などを行う。ステアリングシステムは、例えば、ステアリングホイールなどを備えるステアリング機構、電動パワーステアリングなどを備える。ステアリング制御部１００８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータなどを備える。
　ブレーキ制御部１００８２は、車両１００００のブレーキシステムの状態の検出及び制御などを行う。ブレーキシステムは、例えば、ブレーキペダルなどを含むブレーキ機構、ＡＢＳ（Antilock　Brake　System）、回生ブレーキ機構などを備える。ブレーキ制御部１００８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータなどを備える。
　駆動制御部１００８３は、車両１００００の駆動システムの状態の検出及び制御などを行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータなどの駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構などを備える。駆動制御部１００８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータなどを備える。
　ボディ系制御部１００８４は、車両１００００のボディ系システムの状態の検出及び制御などを行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバーなどを備える。ボディ系制御部１００８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータなどを備える。ボディ系制御部１００８４は、例えば、ユーザ操作に応じてイグニッションの制御（イグニッションオン／オフ）を行ってよい。また、ボディ系制御部１００８４は、サイドミラーの開閉（展開、格納）の動作を制御してよい。
　ライト制御部１００８５は、車両１００００の各種のライトの状態の検出及び制御などを行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示などが想定される。ライト制御部１００８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータなどを備える。
　ホーン制御部１００８６は、車両１００００のカーホーンの状態の検出及び制御などを行う。ホーン制御部１００８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータなどを備える。
　図４は、図３の外部認識センサ１００２５のカメラ１００５１、レーダ１００５２、ＬｉＤＡＲ１００５３、及び、超音波センサ１００５４などによるセンシング領域の例を示す図である。なお、図４において、車両１００００を上面から見た様子が模式的に示され、図において下端側が車両１００００の前端（フロント）側であり、上端側が車両１００００の後端（リア）側となっている。
　センシング領域１０１０１Ｆ及びセンシング領域１０１０１Ｂは、超音波センサ１００５４のセンシング領域の例を示している。センシング領域１０１０１Ｆは、複数の超音波センサ１００５４によって車両１００００の前端周辺をカバーしている。センシング領域１０１０１Ｂは、複数の超音波センサ１００５４によって車両１００００の後端周辺をカバーしている。
　センシング領域１０１０１Ｆ及びセンシング領域１０１０１Ｂにおけるセンシング結果は、例えば、車両１００００の駐車支援などに用いられる。
　センシング領域１０１０２Ｆ乃至センシング領域１０１０２Ｂは、短距離又は中距離用のレーダ１００５２のセンシング領域の例を示している。センシング領域１０１０２Ｆは、車両１００００の前方において、センシング領域１０１０１Ｆより遠い位置までカバーしている。センシング領域１０１０２Ｂは、車両１００００の後方において、センシング領域１０１０１Ｂより遠い位置までカバーしている。センシング領域１０１０２Ｌは、車両１００００の左側面の後方の周辺をカバーしている。センシング領域１０１０２Ｒは、車両１００００の右側面の後方の周辺をカバーしている。
　センシング領域１０１０２Ｆにおけるセンシング結果は、例えば、車両１００００の前方に存在する車両や歩行者などの検出などに用いられる。センシング領域１０１０２Ｂにおけるセンシング結果は、例えば、車両１００００の後方の衝突防止機能などに用いられる。センシング領域１０１０２Ｌ及びセンシング領域１０１０２Ｒにおけるセンシング結果は、例えば、車両１００００の側方の死角における物体の検出などに用いられる。
　センシング領域１０１０３Ｆ乃至センシング領域１０１０３Ｂは、カメラ１００５１によるセンシング領域の例を示している。センシング領域１０１０３Ｆは、撮像方向を車両１００００の前方に向けたカメラ１００５１（適宜、前カメラと呼ぶ）の撮像範囲に対応し、車両１００００の前方において、センシング領域１０１０２Ｆより遠い位置までカバーしている。センシング領域１０１０３Ｂは、撮像方向を車両１００００の後方に向けたカメラ１００５１（適宜、後カメラと呼ぶ）の撮像範囲に対応し、車両１００００の後方において、センシング領域１０１０２Ｂより遠い位置までカバーしている。
　センシング領域１０１０３Ｌは、車両１００００の左側面の周辺をカバーしている。センシング領域１０１０３Ｌは、例えば車両１００００の左側面のサイドミラー６０Ｌに設けられたカメラ１００５１（適宜、左カメラと呼ぶ）の撮像範囲に対応する領域である。すなわち、サイドミラー６０Ｌは、サイドミラー６０Ｌが展開された状態、換言すれば、サイドミラー６０Ｌが通常使用される状態において、車両１００００の左側面の空間（センシング領域１０１０３Ｌ）を撮像するように、カメラ１００５１が設けられる。
　センシング領域１０１０３Ｒは、車両１００００の右側面の周辺をカバーしている。センシング領域１０１０３Ｒは、上述したセンシング領域１０１０３Ｌと同様に、例えば車両１００００の右側面のサイドミラー６０Ｒに設けられたカメラ１００５１（適宜、右カメラと呼ぶ）の撮像範囲に対応する領域である。上述と同様に、サイドミラー６０Ｒは、サイドミラー６０Ｒが展開された状態において、車両１００００の右側面の空間（センシング領域１０１０３Ｒ）を撮像するように、カメラ１００５１が設けられる。
　前カメラ、後カメラ、左カメラおよび右カメラの各センシング領域により、車両１００００の周囲の３６０°を、略カバーできる。このように、前カメラ、後カメラ、左カメラおよび右カメラにより、サラウンドカメラが構成される。なお、本開示の請求項における撮像部は、前カメラ、後カメラ、左カメラおよび右カメラなどの複数のカメラに対応する。
　センシング領域１０１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０１０３Ｂにおけるセンシング結果は、例えば、駐車支援、駐車監視、及び、サラウンドビューシステムに用いることができる。センシング領域１０１０３Ｌ及びセンシング領域１０１０３Ｒにおけるセンシング結果は、例えば、駐車監視、及び、サラウンドビューシステムに用いることができる。
　センシング領域１０１０４は、ＬｉＤＡＲ１００５３のセンシング領域の例を示している。センシング領域１０１０４は、車両１００００の前方において、センシング領域１０１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０１０４は、センシング領域１０１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０１０４におけるセンシング結果は、例えば、周辺車両などの物体検出に用いられる。
　センシング領域１０１０５は、長距離用のレーダ１００５２のセンシング領域の例を示している。センシング領域１０１０５は、車両１００００の前方において、センシング領域１０１０４より遠い位置までカバーしている。一方、センシング領域１０１０５は、センシング領域１０１０４より左右方向の範囲が狭くなっている。センシング領域１０１０５におけるセンシング結果は、例えば、ＡＣＣ(Adaptive　Cruise　Control)、緊急ブレーキ、衝突回避などに用いられる。
　なお、外部認識センサ１００２５が含むカメラ１００５１、レーダ１００５２、ＬｉＤＡＲ１００５３、及び、超音波センサ１００５４の各センサのセンシング領域は、図４以外に各種の構成をとってもよい。具体的には、超音波センサ１００５４が車両１００００の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ１００５３が車両１００００の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
（３．本開示の第１の実施形態）
　次に、本開示の第１の実施形態について説明する。第１の実施形態に係る車載監視システムは、イメージセンサにより撮像された画像データに対する検知処理による結果に応じて、検知処理の対象となる画像データの解像度を段階的に高解像度化する。これにより、駐車監視システムにおける消費電力を抑制することができる。
（３－１．第１の実施形態に係る撮像制御の概略）
　図５は、第１の実施形態に係る車載監視装置１の一例の構成を概略的に示すブロック図である。図５において、第１の実施形態に係る車載監視装置１は、それぞれ車両に搭載されるイメージセンサ１０と、ＥＣＵ２０とを含む。
　イメージセンサ１０は、撮像部１００と、検知部１０１と、を含む。撮像部１００は、撮像素子と、撮像素子を駆動する駆動回路と、を含み、撮像素子による撮像により生成された画像データを出力する。検知部１０１は、撮像部１００から出力された画像データに基づき動体検知および人検知を行う。イメージセンサ１０は、撮像部１００から出力された画像データを、ＥＣＵ２０に送信してよい。
　ＥＣＵ２０は、認知部２００と、判定部２０１と、制御部２０２と、を含む。認知部２００は、イメージセンサ１０から送信された画像データに基づき認知処理を実行する。判定部２０１は、イメージセンサ１０から送信された画像データを記録するか否かの判定を行ってよい。なお、当該画像データの記録は、判定部２０１の判定に依らず、一定時間の記録としてもよい。制御部２０２は、判定部２０１の判定結果に応じて、当該画像データのストレージ装置への記録を制御する。また、制御部２０２は、イメージセンサ１０の動作モードを設定する。さらに、制御部２０２は、通信ネットワーク１００４１を介して車両制御システム１００１１の各部と通信を行うことが可能である。
　なお、ストレージ装置は、ハードディスクドライブやフラッシュメモリといった不揮発性の記録媒体であって、車載監視装置１に内蔵される。これに限らず、ストレージ装置は、車載監視装置１に対する外部機器として、車載監視装置１と所定のケーブルや通信手段を介して接続されてもよい。
　ＥＣＵ２０は、ＣＰＵといった多用途のプロセッサや、ＩＳＰといった画像処理に特化したプロセッサを含む。ＥＣＵ２０は、図３の車両制御ＥＣＵ１００２１のように、車両の全体を制御するものであってもよいし（中央）、車両の一部の制御を行うものであってもよい（ゾーン）。これに限らず、ＥＣＵ２０は、当該車載監視装置１に含まれる構成としてもよい。
　なお、上述では、車載監視装置１がイメージセンサ１０とＥＣＵ２０とを含む単独の装置であるように説明したが、これはこの例に限定されない。例えば、車載監視装置１は、イメージセンサ１０とＥＣＵ２０とをそれぞれ別個の装置とし、イメージセンサ１０とＥＣＵ２０とが遠隔で通信を行う車載監視システムとして構成してもよい。
　イメージセンサ１０において撮像部１００により撮像が行われる。検知部１０１は、撮像された画像データに基づき検知処理を実行する。イメージセンサ１０は、駐車監視動作における動作モードとして、動体検知モードと、人検知モードと、記録モードとを有する。動体検知モードは、低解像度の画像データ（以下、適宜、低解像度画像と呼ぶ）を用いて動体を検知する動作モードである。人検知モードは、低解像度画像より解像度の高い中解像度の画像データ（以下、適宜、中解像度画像と呼ぶ）を用いて人を検知する動作モードである。記録モードは、画像データの記録媒体への記録のために、中解像度画像より解像度が高い高解像度の画像データ（以下、高解像度画像と呼ぶ）を取得する動作モードである。
　例えば、イメージセンサ１０は、ＥＣＵ２０からのトリガに応じて動作モードが動体検知モードに設定される。イメージセンサ１０は、例えば動体検知モードの検知結果に応じて、動作モードを人検知モードに設定する。また、イメージセンサ１０は、人検知モードの検知結果に応じて、動作モードを記録モードに設定する。
　図６は、第１の実施形態に係る低解像度画像、中解像度画像および高解像度画像を説明するための模式図である。なお、ここでは、説明のため、イメージセンサ１０が含む撮像素子は、行列状に配列された、２０００画素×２０００画素の画素Ｐｉｘを、有効画素領域に含むものとする。
　図６において、セクション（ａ）は、高解像度画像３０ａの例を示している。高解像度画像３０ａは、画素Ｐｉｘを単位として、１フレーム当たり２０００画素×２０００画素の解像度で処理が行われる。高解像度画像３０ａは、例えば、撮像部１００により出力される、最大の解像度の画像データであってよい。
　図６において、セクション（ｂ）は、中解像度画像３０ｂの例を示している。この例では、中解像度画像３０ｂは、２画素×２画素のブロック３１を単位として処理が行われる。ブロック３１を１画素と見做すと、中解像度画像３０ｂは、高解像度画像３０ａと同サイズのフレームにおいて、１００画素×１００画素の解像度で処理が行われることになる。中解像度画像３０ｂは、例えば検知部１０１が人らしき像（人のシルエットなど）を検知可能な程度の解像度を有していればよい。
　また、セクション（ｃ）は、低解像度画像３０ｃの例を示している。この例では、低解像度画像３０ｃは、４画素×４画素のブロック３２を単位として処理が行われる。ブロック３２を１画素と見做すと、低解像度画像３０ｃは、高解像度画像３０ａと同サイズのフレームにおいて、５０画素×５０画素の解像度で処理が行われることになる。低解像度画像３０ｃは、例えば検知部１０１が動きのある物体を検知可能な程度の解像度を有していればよい。
　例えば低解像度画像３０ｃにおいて、各ブロック３２は、当該ブロック３２を画素と見做した場合の画素値として、ブロック３２に含まれる各画素Ｐｉｘの画素値の代表値を適用してよい。代表値としては、例えばブロック３２における領域平均を適用してよい。これに限らず、各ブロック３２は、有効画素領域内の画素Ｐｉｘを解像度に応じて間引きして構成してもよい。これらの手法は、中解像度画像３０ｂの生成にも同様に適用できる。
　図７は、第１の実施形態に係る車載監視装置１の動作を説明するための模式図である。図７のセクション（ａ）に示されるように、車載監視装置１においてイメージセンサ１０は、検知部１０１により、先ず動体検知モードにより低解像度画像３０ｃに基づき動体検知処理を実行する。検知部１０１は、時間ｔdet1に取得された低解像度画像３０ｃdet1において、動体を検知したものとする。検知部１０１は、例えば動体が検知された低解像度画像３０ｃdet1の次のフレームから、中解像度画像３０ｂを用いて人検知処理を実行する。検知部１０１により動体検知処理および人検知処理が行われている期間は、ＥＣＵ２０の動作を停止あるいは省電力モードに遷移させてよい。
　検知部１０１は、時間ｔdet2に取得された中解像度画像３０ｂdet2において、人を検知したものとする。車載監視装置１において、ＥＣＵ２０は、検知部１０１による人検知をトリガとして、動作モードが通常の動作モードに復帰される。ＥＣＵ２０は、通常の動作モードにおいて、認知部２００により、例えば人が検知された中解像度画像３０ｂdet2の次のフレームから、高解像度画像３０ａを用いて、人が検知された領域３３に注目して認知処理などを実行してよい。
　図７において、セクション（ｂ）は、第１の実施形態におけるイメージセンサ１０およびＥＣＵ２０の消費電力の例を模式的に示している。図７のセクション（ｂ）において、横軸が同図セクション（ａ）に対応する時間を示し、縦軸が消費電力を示している。なお、図において、ＥＣＵ２０とイメージセンサ１０の消費電力の大小関係は、この例に限定されない。
　図７のセクション（ｂ）において特性線５０に示されるように、イメージセンサ１０は、動体検知モードでは低い消費電力で動作し、時間ｔdet1で動体が検知され動作モードが人検知モードに遷移すると、中程度の消費電力での動作となる。イメージセンサ１０は、さらに、時間ｔdet2で人が検知され動作モードが記録モードに遷移すると、人検知モードよりも高い消費電力での動作となる。一例として、イメージセンサ１０の消費電力は、特性線５０を記録モード時の消費電力を示す特性線５１と対比させ、動体検知モードで記録モードの１／１００程度、人検知モードで記録モードの１／１０程度となる。
　一方、ＥＣＵ２０は、時間ｔdet2で車載監視装置１の動作モードが記録モードに遷移するまでは、一部の機能のみがアクティブ、残りの機能が非アクティブとされ、消費電力が極めて低く抑制される。ＥＣＵ２０は、時間ｔdet2からの記録モードでは、例えば全体がアクティブとされ、特性線５２で示されるように、高消費電力となる。
　図８は、第１の実施形態に係る車載監視装置１における各動作モードおよびその遷移を説明するための模式図である。
　車載監視装置１は、動体検知モードで、イメージセンサ１０において取得された低解像度画像３０ｃにおける動きを検知する（ステップＳ１１）。車載監視装置１は、動体検知モードでは、例えば５０×５０処理単位の低解像度画像３０ｃ（図６参照）を取得し、動体検知処理を実行する。また、車載監視装置１は、動体検知モードでは、例えばイメージセンサ１０を構成するチップ内において動体検知のための必要最小限の処理ブロックのみを動作させることで、低消費電力を実現できる（第１の消費電力モード）。さらに、動体検知モードでは、イメージセンサ１０側が検知処理を担うため、後段チップ（例えばＥＣＵ２０）は、処理停止状態あるいは省電力モードでの動作としてよい。
　なお、低解像度画像３０ｃを、ブロック３２（図６参照）における画素値の領域平均を用いて作成した場合、ノイズの影響を抑制することができ、夜間における性能を高めることが可能である。また、車載監視装置１は、動体検知の入力前に幾何変換や輝度スケーリングなどの前処理を行ってもよい。
　車載監視装置１は、動体検知モードで動きが検知された場合、動作モードを人検知モードに遷移させる（ステップＳ１２）。
　車載監視装置１は、人検知モードで、イメージセンサ１０において取得された中解像度画像３０ｂに含まれる人を検知する（ステップＳ２１）。車載監視装置１は、人検知モードでは、例えば１００×１００処理単位の中解像度画像３０ｂ（図６参照）を取得し、人検知処理を実行する。また、人検知モードでは、動体検知モードと同様に、例えばイメージセンサ１０を構成するチップ内において人検知のための必要最小限の処理ブロックのみを動作させることで、低消費電力を実現できる（第２の消費電力モード）。人検知モードは、上述の動体検知モードと比較して解像度の高い中解像度画像３０ｂを用いて人検知処理を行うため、消費電力は、動体検知モードよりも高くなる。さらに、人検知モードでは、動体検知モードと同様に、イメージセンサ１０側が検知処理を担うため、後段チップ（例えばＥＣＵ２０）は、処理停止状態あるいは省電力モードでの動作としてよい。
　なお、中解像度画像３０ｂを、ブロック３１（図６参照）における画素値の領域平均を用いて作成した場合、ノイズの影響を抑制することができ、夜間における性能を高めることが可能である。また、車載監視装置１は、人検知の入力前に幾何変換や輝度スケーリングなどの前処理を行ってもよい。
　車載監視装置１は、人検知モードで人が検知された場合は、動作モードを記録モードに遷移させる（ステップＳ２２）。一方、車載監視装置１は、人検知モードにおいて一定時間の間、人が検知されなかった場合、イメージセンサ１０の動作モードを動体検知モードに遷移させてよい（ステップＳ２３）。
　車載監視装置１は、記録モードで、イメージセンサ１０により取得された画像データを記録媒体に記録する（ステップＳ３１）。車載監視装置１は、記録モードでは、高解像度画像３０ａ（図６参照）を取得し、取得した高解像度画像３０ａを記録する。車載監視装置１は、記録モードでの高解像度画像３０ａの記録処理の後、動作モードを動体検知モードに遷移させる（ステップＳ３２）。
（３－２．第１の実施形態の撮像制御に係る構成）
　次に、第１の実施形態に係る撮像制御に係る構成について、より詳細に説明する。図９は、第１の実施形態に係るイメージセンサ１０の一例の構成を示すブロック図である。図９の例では、イメージセンサ１０は、撮像処理を実行する撮像ブロック１１０と、撮像ブロック１１０で取得された画像データに対して上述した各動作モードによる処理を実行する信号処理ブロック１２０と、を含んで構成されている。
　図９において、イメージセンサ１０は、撮像ブロック１１０と信号処理ブロック１２０とを含む。撮像ブロック１１０と信号処理ブロック１２０とは、それぞれ内部バスである接続線ＣＬ１，ＣＬ２、および、ＣＬ３によって電気的に接続されている。
　撮像ブロック１１０は、撮像ユニット１１１、撮像処理部１１２、出力制御部１１３、出力Ｉ／Ｆ（インタフェース）１１４、および、撮像制御部１１５を有し、被写体を撮像し撮像画像を得る。
　撮像ユニット１１１は、それぞれ光電変換により受光した光に応じた信号を出力する受光素子である複数の画素が行列状の配列に従い配置された画素アレイを含む。撮像ユニット１１１は、撮像処理部１１２によって駆動され、被写体の撮像を行う。
　すなわち、撮像ユニット１１１には、図示されない光学系からの光が入射する。撮像ユニット１１１は、画素アレイに含まれる各画素において、光学系からの入射光を受光し、光電変換を行って、入射光に対応するアナログの画像信号を出力する。
　撮像ユニット１１１が出力する画像信号による画像のサイズは、例えば、幅×高さが３９６８画素×２９７６画素、１９２０画素×１０８０画素、６４０画素×４８０画素などの複数のサイズの中から選択することができる。撮像ユニット１１１が出力可能な画像サイズは、この例に限定されない。また、撮像ユニット１１１が出力する画像については、例えば、ＲＧＢ（赤、緑、青）のカラー画像とするか、あるいは、輝度のみの白黒画像とするかを選択することができる。撮像ユニット１１１に対するこれらの選択は、撮影モードの設定の一種として行うことができる。
　なお、画素アレイにおいて行列状に配列された各画素の出力に基づく情報を、フレームと呼ぶ。イメージセンサ１０は、撮像ユニット１１１において、行列状の画素の情報を、時系列に沿って所定のレート（フレームレート）で繰り返し取得する。イメージセンサ１０は、取得したそれぞれの情報を、フレームごとに纏めて出力する。
　撮像処理部１１２は、撮像制御部１１５の制御に従い、撮像ユニット１１１の駆動や、撮像ユニット１１１が出力するアナログの画像信号のＡＤ(Analog　to　Digital)変換、撮像信号処理等の、撮像ユニット１１１での画像の撮像に関連する撮像処理を行う。
　撮像処理部１１２が行う撮像信号処理としては、例えば、撮像ユニット１１１が出力する画像について、所定の小領域ごとに、画素値の平均値を演算すること等により、小領域ごとの明るさを求める処理や、ＡＧＣ(Auto　Gain　Control)処理、ノイズ除去処理などを含めてよい。
　撮像処理部１１２は、撮像ユニット１１１が出力するアナログの画像信号のＡＤ変換等によって得られるディジタルの画像信号を、画像データとして出力する。撮像処理部１１２から出力される画像データは、現像などの処理を施さないＲＡＷ画像による画像データ（ＲＡＷデータ）であってよい。
　撮像処理部１１２が出力する画像データは、出力制御部１１３に供給されると共に、接続線ＣＬ２を介して、信号処理ブロック１２０の画像圧縮部１２５に供給される。
　出力制御部１１３には、撮像処理部１１２から画像データが供給される他、信号処理ブロック１２０から、接続線ＣＬ３を介して、画像データなどを用いた信号処理の信号処理結果が供給される。
　出力制御部１１３は、撮像処理部１１２からの画像データ、および、信号処理ブロック１２０からの信号処理結果を、（１つの）出力Ｉ／Ｆ１１４から外部（例えばＥＣＵ２０やイメージセンサ１０の外部に接続される記録媒体など）に選択的に出力させる出力制御を行う。すなわち、出力制御部１１３は、撮像処理部１１２からの画像データ、または、信号処理ブロック１２０からの信号処理結果を選択し、出力Ｉ／Ｆ１１４に供給する。
　出力Ｉ／Ｆ１１４は、出力制御部１１３から供給される画像データ、および、信号処理結果を外部に出力するインタフェースである。出力Ｉ／Ｆ１１４としては、例えば、ＭＩＰＩ(Mobile　Industry　Processor　Interface)等の比較的高速なパラレルＩ／Ｆ等を採用することができる。
　出力Ｉ／Ｆ１１４では、出力制御部１１３の出力制御に応じて、撮像処理部１１２からの画像データ、または、信号処理ブロック１２０からの信号処理結果が、外部に出力される。したがって、例えば、外部において、信号処理ブロック１２０からの信号処理結果だけが必要であり、ＲＡＷデータによる画像データが必要でない場合には、信号処理結果だけを出力することができ、出力Ｉ／Ｆ１１４から外部に出力するデータ量を削減することができる。
　また、信号処理ブロック１２０において、外部で必要とする信号処理結果が得られる信号処理を行い、その信号処理結果を、出力Ｉ／Ｆ１１４から出力することにより、外部で信号処理を行う必要がなくなり、外部のブロックの負荷を軽減することができる。
　撮像制御部１１５は、通信Ｉ／Ｆ１１６およびレジスタ群１１７を有する。
　通信Ｉ／Ｆ１１６は、例えば、Ｉ2Ｃ(Inter-Integrated　Circuit)等のシリアル通信Ｉ／Ｆ等の第１の通信Ｉ／Ｆであり、外部（例えばＥＣＵ２０）との間で、レジスタ１１７群に読み書きする情報等の必要な情報のやりとりを行う。
　レジスタ群１１７は、複数のレジスタを有し、撮像ユニット１１１での画像の撮像に関連する撮像情報、その他の各種情報を記憶する。例えば、レジスタ群１１７は、通信Ｉ／Ｆ１１６において外部から受信された撮像情報や、撮像処理部１１２での撮像信号処理の結果（例えば、撮像画像の小領域ごとの明るさ等）を記憶する。
　レジスタ群１１７に記憶される撮像情報としては、例えば、ＩＳＯ(International　Organization　for　Standardization)感度（撮像処理部１１２でのＡＤ変換時のアナログゲイン）や、露光時間（シャッタスピード）、フレームレート、フォーカス、撮影モード、切り出し範囲等（を表す情報）がある。
　撮影モードには、例えば、露光時間やフレームレート等が手動で設定される手動モードと、シーンに応じて自動的に設定される自動モードとがある。自動モードには、例えば、夜景や、人の顔等の各種の撮影シーンに応じたモードがある。
　また、切り出し範囲とは、撮像処理部１１２において、撮像ユニット１１１が出力する画像の一部を切り出して、画像データとして出力する場合に、撮像ユニット１１１が出力する画像から切り出す範囲を表す。切り出し範囲の指定によって、例えば、撮像ユニット１１１が出力する画像から、人が映っている範囲だけを切り出すこと等が可能になる。なお、画像の切り出しとしては、撮像ユニット１１１が出力する画像から切り出す方法の他、撮像ユニット１１１から、切り出し範囲の画像（信号）だけを読み出す方法がある。
　撮像制御部１１５は、レジスタ群１１７に記憶された撮像情報に従って、撮像処理部１１２を制御し、これにより、撮像ユニット１１１での画像の撮像を制御する。
　なお、レジスタ群１１７は、撮像情報や、撮像処理部１１２での撮像信号処理の結果の他、出力制御部１１３での出力制御に関する出力制御情報を記憶することができる。出力制御部１１３は、レジスタ群１１７に記憶された出力制御情報に従って、撮像画像および信号処理結果を選択的に出力させる出力制御を行うことができる。
　また、イメージセンサ１０では、撮像制御部１１５と、信号処理ブロック１２０のセンサ制御部１２１とは、接続線ＣＬ１を介して接続されており、センサ制御部１２１は、接続線ＣＬ１を介して、レジスタ群１１７に対して、情報の読み書きを行うことができる。すなわち、イメージセンサ１０では、レジスタ群１１７に対する情報の読み書きは、通信Ｉ／Ｆ１１６から行う他、センサ制御部１２１からも行うことができる。
　信号処理ブロック１２０は、センサ制御部１２１、信号処理部１２２、メモリ１２３、通信Ｉ／Ｆ１２４、画像圧縮部１２５、および、入力Ｉ／Ｆ１２６を有し、撮像ブロック１１０で得られた撮像画像等を用いて、所定の信号処理を行う。センサ制御部１２１は、ＣＰＵやＭＰＵ(Micro　Processor　Unit)といったプロセッサや、ＭＣＵ(Micro　Controller　Unit)などであってよい。
　信号処理ブロック１２０を構成するセンサ制御部１２１、信号処理部１２２、メモリ１２３、通信Ｉ／Ｆ１２４および入力Ｉ／Ｆ１２６は、相互にバスを介して接続され、必要に応じて、情報のやりとりを行うことができる。
　センサ制御部１２１は、メモリ１２３に記憶されたプログラムを実行することで、信号処理ブロック１２０の制御、接続線ＣＬ１を介しての、撮像制御部１１５のレジスタ群１１７への情報の読み書き、その他の各種の処理を行う。
　例えば、センサ制御部１２１は、プログラムを実行することにより、信号処理部１２２での信号処理により得られる信号処理結果を用いて、撮像情報を算出する撮像情報算出部として機能し、信号処理結果を用いて算出した新たな撮像情報を、接続線ＣＬ１を介して、撮像制御部１１５のレジスタ群１１７にフィードバックして記憶させる。
　したがって、センサ制御部１２１は、結果として、撮像画像の信号処理結果に応じて、撮像ユニット１１１での撮像や、撮像処理部１１２での撮像信号処理を制御することができる。
　また、センサ制御部１２１がレジスタ群１１７に記憶させた撮像情報は、通信Ｉ／Ｆ１１６から外部に提供（出力）することができる。例えば、レジスタ群１１７に記憶された撮像情報のうちのフォーカスの情報は、通信Ｉ／Ｆ１１６から、フォーカスを制御するフォーカスドライバ（図示しない）に提供することができる。
　信号処理部１２２は、撮像ブロック１１０２から接続線ＣＬ２を介して信号処理ブロック１２０に供給される画像データに対する画像処理や、入力Ｉ／Ｆ１２６が外部から受け取る情報を用いた信号処理を行う。
　信号処理部１２２は、例えば、撮像処理部１１２から供給されるＲＡＷデータである画像データに対して現像処理を施し、各画素がＲ（赤色）、Ｇ（緑色）およびＢ（青色）の各色データを持つＲＧＢデータを生成してよい。これに限らず、信号処理部１２２は、撮像処理部１１２から供給される画像データに対して欠陥補正、ＡＷＢ(Auto　White　Balance）処理や、当該画像データをＨＤＲ(High　Dynamic　Range)画像に変換するＨＤＲ変換処理などを実行してよい。
　信号処理部１２２は、さらに、ＩＳＰとしての機能を含んでよい。信号処理部１２２は、上述した動体検知モードにおける動体検知処理や、人検知モードにおける人検知処理を実行する。信号処理部１２２は、例えば、動体検知および人検知について、それぞれ機械学習モデルを用いて、上述した動体検知処理および人検知処理を実行してよい。これに限らず、信号処理部１２２は、動体検知を、フレーム間の画像データの差分に基づく動きベクトル検出を用いて行ってもよいし、人検知をパターンマッチングなどを用いて行ってもよい。
　信号処理部１２２は、これら動体検知処理や人検知処理による検知結果に基づき図８に示した動作モードの遷移を制御する。また、信号処理部１２２は、これら動体検知処理や人検知処理による検知結果を、信号処理結果に含めて出力してよい。
　メモリ１２３は、ＳＲＡＭ(Static　Random　Access　Memory)やＤＲＡＭ(Dynamic　RAM)等で構成され、信号処理ブロック１２０の処理上必要なデータ等を記憶する。
　例えば、メモリ１２３は、通信Ｉ／Ｆ１２４において、外部から受信されたプログラムや、画像圧縮部１２５で圧縮され、信号処理部１２２での信号処理で用いられる撮像画像、信号処理部１２２で行われた信号処理の信号処理結果、入力Ｉ／Ｆ１２６が受け取った情報等を記憶する。
　通信Ｉ／Ｆ１２４は、例えば、ＳＰＩ(Serial　Peripheral　Interface)等のシリアル通信Ｉ／Ｆ等の第２の通信Ｉ／Ｆであり、外部（例えばＥＣＵ２０）との間で、センサ制御部１２１や信号処理部１２２が実行するプログラム等の必要な情報のやりとりを行う。
　例えば、通信Ｉ／Ｆ１２４は、センサ制御部１２１や信号処理部１２２が実行するプログラムを外部からダウンロードし、メモリ１２３に供給して記憶させる。したがって、通信Ｉ／Ｆ１２４がダウンロードするプログラムによって、センサ制御部１２１や信号処理部１２２で様々な処理を実行することができる。
　なお、通信Ｉ／Ｆ１２４は、外部との間で、プログラムの他、任意のデータのやりとりを行うことができる。例えば、通信Ｉ／Ｆ１２４は、信号処理部１２２での信号処理により得られる信号処理結果を、外部に出力することができる。また、通信Ｉ／Ｆ１２４は、センサ制御部１２１の指示に従った情報を、外部の装置に出力し、これにより、センサ制御部１２１の指示に従って、外部の装置を制御することができる。
　信号処理部１２２での信号処理により得られる信号処理結果は、通信Ｉ／Ｆ１２４から外部に出力する他、センサ制御部１２１によって、撮像制御部１１５のレジスタ群１１７に書き込むことができる。レジスタ群１１７に書き込まれた信号処理結果は、通信Ｉ／Ｆ１１６から外部に出力することができる。センサ制御部１２１で行われた処理の処理結果についても同様である。
　画像圧縮部１２５に対して、撮像処理部１１２から接続線ＣＬ２を介して、撮像画像が供給される。画像圧縮部１２５は、画像データを圧縮する圧縮処理を行い、その画像データよりもデータ量が少ない圧縮画像データを生成する。画像圧縮部１２５で生成された圧縮画像データは、バスを介して、メモリ１２３に供給されて記憶される。
　ここで、信号処理部１２２での信号処理は、画像データそのものを用いて行う他、画像圧縮部１２５で画像データから生成された圧縮画像データを用いて行うことができる。圧縮画像データは、撮像処理部１１２から供給される画像データよりもデータ量が少ないため、信号処理部１２２での信号処理の負荷の軽減や、圧縮画像データを記憶するメモリ１２３の記憶容量の節約を図ることができる。
　画像圧縮部１２５での圧縮処理としては、例えば、３９６８画素×２９７６画素の撮像画像を、６４０画素×４８０画素の画像に変換するスケールダウンを行うことができる。また、信号処理部１２２での信号処理が輝度を対象として行われ、かつ、画像データがＲＧＢデータである場合には、圧縮処理としては、ＲＧＢデータを、例えば、ＹＵＶの画像データに変換するＹＵＶ変換を行うことができる。
　なお、画像圧縮部１２５は、ソフトウェアにより実現することもできるし、専用のハードウェアにより実現することもできる。
　入力Ｉ／Ｆ１２６は、外部から情報を受け取るＩ／Ｆである。入力Ｉ／Ｆ１２６は、例えば、外部のセンサから、その外部のセンサの出力（外部センサ出力）を受け取り、バスを介してメモリ１２３に供給して記憶させる。入力Ｉ／Ｆ１２６としては、例えば、出力Ｉ／Ｆ１１４と同様に、ＭＩＰＩ等のパラレルＩ／Ｆ等を採用することができる。
　また、外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる、さらに、外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわち、イメージセンサ１０とは別のイメージセンサを採用することができる。
　信号処理部１２２では、撮像画像あるいは撮像画像から生成された圧縮画像を用いる他、入力Ｉ／Ｆ１２６が上述のような外部のセンサから受け取り、メモリ１２３に記憶される外部センサ出力を用いて、信号処理を行うことができる。
　以上のように構成されるイメージセンサ１０では、撮像ユニット１１１での撮像により得られる画像データあるいは画像データから生成される圧縮画像データを用いた信号処理が信号処理部１２２で行われ、その信号処理の信号処理結果、および、画像データが、出力Ｉ／Ｆ１１４から選択的に出力される。したがって、ユーザが必要とする情報を出力するイメージセンサ１０を、小型に構成することができる。
　ここで、イメージセンサ１０において、信号処理部１２２の信号処理を行わず、画像データを出力することができる。すなわちこの場合、イメージセンサ１０は、単に、画像を撮像して出力するだけの構成とされる。この場合、イメージセンサ１０は、出力制御部１１３を設けない撮像ブロック１１０だけで構成することができる。またこの場合、動体検知処理および人検知処理は、出力Ｉ／Ｆ１１４による出力先（ＥＣＵ２０など）において実行してよい。
　図１０は、図９を用いて説明した、第１の実施形態に係るイメージセンサ１０の一例の構造を概略的に示す斜視図である。
　イメージセンサ１０は、例えば、図１０に示すように、複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。図１０の例では、イメージセンサ１０は、ダイ１３０および１３１の２枚のダイが積層された１チップの半導体装置として構成されている。
　なお、ダイは、電子回路を作り込んだシリコンの小薄片をいい、１以上のダイを封止した個体をチップと呼ぶものとする。
　図１０において、上側のダイ１３０には、撮像ユニット１１１が搭載されている。また、下側のダイ１３１には、撮像処理部１１２、出力制御部１１３、出力Ｉ／Ｆ１１４および撮像制御部１１５が搭載されている。このように、図１０の例では、ダイ１３０には、撮像ブロック１１０のうち撮像ユニット１１１が搭載され、ダイ１３１には、撮像ユニット１１１以外の部分が搭載されている。ダイ１３１に対して、さらに、センサ制御部１２１、信号処理部１２２、メモリ１２３、通信Ｉ／Ｆ１２４、画像圧縮部１２５および入力Ｉ／Ｆ１２６を含む信号処理ブロック１２０が搭載されている。
　図１０の構成を図５の構成に当て嵌めると、イメージセンサ１０は、撮像部１００と検知部１０１とが１つのチップに一体的に構成される、といえる。
　上側のダイ１３０と下側のダイ１３１とは、例えば、ダイ１３０を貫き、ダイ１３１にまで到達する貫通孔を形成することにより、電気的に接続される。これに限らず、ダイ１３０および１３１は、ダイ１３０の下面側に露出したＣｕなどの金属配線と、ダイ１３１の上面側に露出したＣｕなどの金属配線とを直接接続するＣｕ－Ｃｕ接合など金属－金属配線を行うこと等により、電気的に接続されてもよい。
　ここで、撮像処理部１１２において、撮像ユニット１１１が出力する画像信号のＡＤ変換を行う方式としては、例えば、列並列ＡＤ方式やエリアＡＤ方式を採用することができる。
　列並列ＡＤ方式では、例えば、撮像ユニット１１１を構成する画素の列に対してＡＤＣ(Analog　to　Digital　Converter)が設けられ、各列のＡＤＣが、その列の画素の画素信号のＡＤ変換を担当することで、１行の各列の画素の画像信号のＡＤ変換が並列に行われる。列並列ＡＤ方式を採用する場合には、その列並列ＡＤ方式のＡＤ変換を行う撮像処理部１１２の一部が、上側のダイ１３０に搭載されることがある。
　エリアＡＤ方式では、撮像ユニット１１１を構成する画素が、複数のブロックに区分され、各ブロックに対して、ＡＤＣが設けられる。そして、各ブロックのＡＤＣが、そのブロックの画素の画素信号のＡＤ変換を担当することで、複数のブロックの画素の画像信号のＡＤ変換が並列に行われる。エリアＡＤ方式では、ブロックを最小単位として、撮像ユニット１１１を構成する画素のうちの必要な画素についてだけ、画像信号のＡＤ変換（読み出しおよびＡＤ変換）を行うことができる。
　なお、イメージセンサ１０の面積が大になることが許容されるのであれば、イメージセンサ１０は、１枚のダイで構成することができる。
　また、図１０の例では、２枚のダイ１３０および１３１を積層して、１チップのイメージセンサ１０を構成することとしたが、１チップのイメージセンサ１０は、３枚以上のダイを積層して構成することができる。例えば、３枚のダイを積層して１チップのイメージセンサ１０を構成する場合には、図１０においてダイ１３１に搭載されるメモリ１２３を、ダイ１３０および１３１とは異なるダイに搭載することができる。
　ここで、センサチップ、メモリチップ、および、ＤＳＰチップのチップ同士を複数のバンプで並列に接続したイメージセンサ（以下、バンプ接続センサともいう）では、積層構造に構成された１チップのイメージセンサ１０に比較して、厚みが大きく増加し、装置が大型化する。
　さらに、バンプ接続センサでは、バンプの接続部分での信号劣化等により、撮像処理部１１２から出力制御部１１３に撮像画像を出力するレートとして、十分なレートを確保することが困難になることがあり得る。
　積層構造のイメージセンサ１０によれば、以上のような装置の大型化や、撮像処理部１１２と出力制御部１１３との間のレートとして、十分なレートを確保することができなくなることを防止することができる。したがって、積層構造のイメージセンサ１０によれば、イメージセンサ１０の後段での処理において必要とされる情報を出力する構成を小型とすることが可能となる。
　後段において必要とされる情報が画像データである場合には、イメージセンサ１０は、画像データ（ＲＡＷデータ、ＲＧＢデータなど）を出力することができる。また、後段において必要とされる情報が画像データを用いた信号処理により得られる場合には、イメージセンサ１０は、信号処理部１２２において、その信号処理を行うことにより、ユーザが必要とする情報としての信号処理結果を得て出力することができる。
　イメージセンサ１０で行われる信号処理、すなわち信号処理部１２２の信号処理としては、例えば、画像データから、動体や人を検知する検知処理を採用することができる。さらに、信号処理部１２２の信号処理として、撮像ユニット１１１により取得された画像データ（ＲＡＷデータ）に基づく認識処理（顔認識など）を採用してもよい。
　また、例えば、イメージセンサ１０は、そのイメージセンサ１０と所定の位置関係になるように配置されたＴｏＦ(Time　of　Flight)センサ等の距離センサの出力を、入力Ｉ／Ｆ１２６で受け取ることができる。この場合、信号処理部１２２の信号処理としては、例えば、入力Ｉ／Ｆ１２６で受け取った距離センサの出力から得られる距離画像のノイズを、撮像画像を用いて除去する処理のような、距離センサの出力と撮像画像とを統合して、精度の良い距離を求めるフュージョン処理を採用することができる。
　さらに、例えば、イメージセンサ１０は、そのイメージセンサ１０と所定の位置関係になるように配置されたイメージセンサが出力する画像を、入力Ｉ／Ｆ１２６で受け取ることができる。この場合、信号処理部１２２の信号処理としては、例えば、入力Ｉ／Ｆ１２６で受け取った画像と、撮像画像とをステレオ画像として用いた自己位置推定処理（ＳＬＡＭ(Simultaneously　Localization　And　Mapping)）を採用することができる。
　図１１は、第１の実施形態に適用可能な撮像ユニット１１１の一例の構成をより詳細に示すブロック図である。図１１において、撮像ユニット１１１は、画素アレイ部１０１１と、垂直走査部１０１２と、ＡＤ(Analog　to　Digital)変換部１０１３と、画素信号線１０１６と、垂直信号線１０１７と、撮像動作制御部１０１９と、撮像処理部１１２と、を含む。
　画素アレイ部１０１１は、それぞれ受光した光に対して光電変換を行う光電変換素子を有する複数の画素Ｐｉｘを含む。光電変換素子としては、フォトダイオードを用いることができる。画素アレイ部１０１１において、複数の画素Ｐｉｘは、水平方向（行方向）および垂直方向（列方向）に二次元格子状に配列される。画素アレイ部１０１１において、画素Ｐｉｘの行方向の並びをラインと呼ぶ。この画素アレイ部１０１１において所定数のラインから読み出された画素信号により、１フレームの画像（画像データ）が形成される。例えば、３０００画素×２０００ラインで１フレームの画像が形成される場合、画素アレイ部１０１１は、少なくとも３０００個の画素Ｐｉｘが含まれるラインを、少なくとも２０００ライン、含む。
　また、画素アレイ部１０１１において、画像データを形成するために有効な画素信号を出力する画素Ｐｉｘにより構成される矩形領域を、有効画素領域と呼ぶ。１フレームの画像は、有効画素領域内の画素Ｐｉｘの画素信号に基づき形成される。
　また、画素アレイ部１０１１には、各画素Ｐｉｘの行および列に対し、行毎に画素信号線１０１６が接続され、列毎に垂直信号線１０１７が接続される。
　画素信号線１０１６の画素アレイ部１０１１と接続されない端部は、垂直走査部１０１２に接続される。垂直走査部１０１２は、後述する撮像動作制御部１０１９の制御に従い、画素Ｐｉｘから画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１０１６を介して画素アレイ部１０１１へ伝送する。垂直信号線１０１７の画素アレイ部１０１１と接続されない端部は、ＡＤ変換部１０１３に接続される。画素から読み出された画素信号は、垂直信号線１０１７を介してＡＤ変換部１０１３に伝送される。
　画素からの画素信号の読み出し制御について、概略的に説明する。画素からの画素信号の読み出しは、露光により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ：Floating　Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線１０１７に出力される。
　より具体的には、画素Ｐｉｘにおいて、露光中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露光終了後、画素信号線１０１６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線１０１７とを接続する。さらに、画素信号線１０１６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線１０１７には、浮遊拡散層のリセットレベルの電圧（電圧Ｐとする）が出力される。その後、画素信号線１０１６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線１０１７に対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｑとする）が出力される。
　ＡＤ変換部１０１３は、垂直信号線１０１７毎に設けられたＡＤ変換器１３００と、参照信号生成部１０１４と、水平走査部１０１５と、を含む。ＡＤ変換器１３００は、画素アレイ部１０１１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１３００は、垂直信号線１０１７を介して画素Ｐｉｘから供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）処理のための２つのディジタル値（電圧Ｐおよび電圧Ｑにそれぞれ対応する値）を生成する。
　ＡＤ変換器１３００は、生成した２つのディジタル値を撮像処理部１１２に供給する。撮像処理部１１２は、ＡＤ変換器１３００から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。撮像処理部１１２により生成された画素データは、撮像ユニット１１１の外部に出力される。撮像処理部１１２から出力される１フレーム分の画素データは、画像データとして例えば出力制御部１１３および画像圧縮部１２５に供給される。
　参照信号生成部１０１４は、撮像動作制御部１０１９から入力されるＡＤＣ制御信号に基づき、各ＡＤ変換器１３００が画素信号を２つのディジタル値に変換するために用いるランプ信号ＲＡＭＰを生成する。ランプ信号ＲＡＭＰは、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１０１４は、生成したランプ信号ＲＡＭＰを、各ＡＤ変換器１３００に供給する。参照信号生成部１０１４は、例えばＤＡ(Digital　to　Analog)変換回路などを用いて構成される。
　水平走査部１０１５は、撮像動作制御部１０１９の制御の下、各ＡＤ変換器１３００を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１３００が一時的に保持している各ディジタル値を撮像処理部１１２へ順次出力させる。水平走査部１０１５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
　撮像動作制御部１０１９は、垂直走査部１０１２、ＡＤ変換部１０１３、参照信号生成部１０１４および水平走査部１０１５などの駆動制御を行う。撮像動作制御部１０１９は、垂直走査部１０１２、ＡＤ変換部１０１３、参照信号生成部１０１４および水平走査部１０１５の動作の基準となる各種の駆動信号を生成する。撮像動作制御部１０１９は、外部（例えばセンサ制御部１２１）から供給される垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１０１２が画素信号線１０１６を介して各画素Ｐｉｘに供給するための制御信号を生成する。撮像動作制御部１０１９は、生成した制御信号を垂直走査部１０１２に供給する。
　垂直走査部１０１２は、撮像動作制御部１０１９から供給される制御信号に基づき、画素アレイ部１０１１の選択された画素行の画素信号線１０１６に駆動パルスを含む各種信号を、ライン毎に各画素Ｐｉｘに供給し、各画素Ｐｉｘから、画素信号を垂直信号線１０１７に出力させる。垂直走査部１０１２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
　このように構成された撮像ユニット１１１は、ＡＤ変換器１３００が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)イメージセンサである。
　なお、撮像ユニット１１１において、複数の画素Ｐｉｘの浮遊拡散層を共通化することで、当該複数の画素Ｐｉｘによる画素値の領域加算値を求めることができる。例えば、２画素×２画素の領域に含まれる４つの画素Ｐｉｘの浮遊拡散層を共通化することで、当該領域における画素値の領域加算値を求めることができ、領域加算値に基づき領域平均を算出することができる。これに限らず、領域平均を、撮像処理部１１２あるいは信号処理部１２２における画像処理により算出することも可能である。また、垂直走査部１０１２から画素信号線１０１６を介してラインごとに出力される制御信号と、水平走査部１０１５による各カラムの走査とを制御することで、各画素Ｐｉｘからの間引き読み出しを実現可能である。
　動体検知モードおよび人検知モードで用いる中解像度画像３０ｂおよび低解像度画像３０ｃを、撮像ユニット１１１における浮遊拡散層の共通化や画素Ｐｉｘの読み出し制御により実現する場合、例えば画素Ｐｉｘの読み出しに係る消費電力や、ＡＤ変換器１３００におけるＡＤ変換処理の負荷を抑制することができ、省電力化が可能である。さらに、検知部１０１は、高解像度画像３０ａに対して処理単位数の少ない中解像度画像３０ｂあるいは低解像度画像３０ｃを処理対象とすることで、検知処理を省電力化することが可能である。
　なお、中解像度画像３０ｂおよび低解像度画像３０ｃを、例えば信号処理部１２２などにおいて画像処理により生成することも可能である。この場合、撮像ユニット１１１における画素Ｐｉｘの読み出し処理は、高解像度画像３０ａの場合と同様に行われるため、撮像ユニット１１１における省電力化はできない。しかしながら、この場合においても、検知部１０１における省電力化は可能である。
（カラーフィルタ配列の概略）
　各画素Ｐｉｘは、所定の波長帯域の光を選択的に透過させるフィルタを配置することができる。透過させる波長帯域が可視光領域の波長帯域の場合、当該フィルタは、カラーフィルタと呼ばれる。以下では、各画素Ｐｉｘに対して、三原色を構成する赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各波長帯域のカラーフィルタを配置するものとする。これに限らず、各画素Ｐｉｘに対して補色関係にある各色のカラーフィルタを配置してもよいし、赤外領域の波長帯域の光を選択的に透過させるフィルタや、可視光領域の全波長帯域の光を透過させるフィルタであってもよい。以下、特に記載の無い限り、これらの各種のフィルタを、カラーフィルタで代表させて説明を行う。
　図１２は、一般的に用いられるベイヤ配列の例を示す模式図である。図１２において、ベイヤ(Bayer)配列は、それぞれＧ色のカラーフィルタが配置される２つの画素Ｐｉｘ（Ｇ）と、Ｒ色のカラーフィルタが配置される１つの画素Ｐｉｘ（Ｒ）と、Ｂ色のカラーフィルタが配置される画素Ｐｉｘ（Ｂ）と、を含む。ベイヤ配列においては、これら４つの画素が、２つの画素Ｐｉｘ（Ｇ）が隣接しないように、２画素×２画素の格子状に配列されて構成される。換言すれば、ベイヤ配列は、同一波長帯域の光を透過させるカラーフィルタが配置された画素Ｐｉｘが隣接しないような配列である。
　なお、以下では、特に記載の無い限り、「Ｒ色のカラーフィルタが配置される画素Ｐｉｘ（Ｒ）」を、「Ｒ色の画素Ｐｉｘ（Ｒ）」、あるいは、単に「画素Ｐｉｘ（Ｒ）」と呼ぶ。Ｇ色のカラーフィルタが配置される画素Ｐｉｘ（Ｇ）、および、Ｂ色のカラーフィルタが配置される画素Ｐｉｘ（Ｂ）、についても、同様である。また、カラーフィルタを特に問題にしない場合、各画素Ｐｉｘ（Ｒ）、Ｐｉｘ（Ｇ）およびＰｉｘ（Ｂ）を、画素Ｐｉｘで代表させて記述する。
（３－３．第１の実施形態の撮像制御に係る処理）
　次に、第１の実施形態の撮像制御に係る処理について、より詳細に説明する。図１３は、第１の実施形態に係る駐車監視処理を示す一例のフローチャートである。図１３のフローチャートによる処理は、第１の実施形態に係る車載監視装置１が搭載された車両１００００において、例えばイグニッションオフの判定をトリガとして開始される。
　車載監視装置１において、ＥＣＵ２０は、イグニッションオフに伴うサイドミラー格納、サイドミラーに設けられるカメラの撮像方向変更の制御が実行されると（ステップＳ１００）、次のステップＳ１０１で、制御部２０２により、車載監視装置１の動作モードとして駐車監視モードを起動させる。なお、ステップＳ１００の処理の詳細については、後述する。次のステップＳ１０２で、ＥＣＵ２０は、制御部２０２により、自身の動作モードの省電力モードへの遷移、あるいは、自身の一部の機能の停止を行う。それと共に、ＥＣＵ２０は、ステップＳ１０２で、制御部２０２により、イメージセンサ１０に対して検知処理を開始させるトリガを発行する。
　以降、ステップＳ１０３～ステップＳ１０７の処理は、イメージセンサ１０側での処理となる。
　ステップＳ１０３で、イメージセンサ１０は、撮像部１００により低解像度画像３０ｃを取得する。例えば、イメージセンサ１０において検知部１０１は、撮像部１００に対して、低解像度画像３０ｃを取得するよう指示する。撮像部１００は、この指示に応じて、領域平均、間引きなどにより低解像度画像３０ｃを取得する。
　次のステップＳ１０４で、検知部１０１は、ステップＳ１０３で取得した低解像度画像３０ｃに対して動体検知処理を実行する。検知部１０１は、直前のステップＳ１０３で取得された低解像度画像３０ｃと、直前のステップＳ１０３に対して１乃至数フレーム前までの低解像度画像３０ｃとを用いて、動体検知処理を実行してよい。
　検知部１０１は、ステップＳ１０４で低解像度画像３０ｃから動体が検知されなかった場合（ステップＳ１０４、「Ｎｏ」）、処理をステップＳ１０３に戻し、次のフレームの低解像度画像３０ｃを取得する。一方、検知部１０１は、ステップＳ１０４で低解像度画像３０ｃから動体が検知された場合（ステップＳ１０４、「Ｙｅｓ」）、処理をステップＳ１０５に移行させる。
　ステップＳ１０５で、イメージセンサ１０は、撮像部１００により中解像度画像３０ｂを取得する。例えば、イメージセンサ１０において検知部１０１は、撮像部１００に対して中解像度画像３０ｂを取得するよう指示する。撮像部１００は、この指示に応じて、領域平均、間引きなどにより中解像度画像３０ｂを取得する。
　次のステップＳ１０６で、検知部１０１は、ステップＳ１０５で取得した中解像度画像３０ｂに対して人検知処理を実行する。検知部１０１は、直前のステップＳ１０５で取得された中解像度画像３０ｂと、直前のステップＳ１０５に対して１乃至数フレーム前までの中解像度画像３０ｂとを用いて、人検知処理を実行してよい。
　なお、ステップＳ１０６における検知部１０１の検知対象は、人に限定されない。例えば、検知部１０１は、後述する記録開始のトリガとなる対象であれば、人以外の物体を検知の対象としてもよい。
　検知部１０１は、ステップＳ１０６で中解像度画像３０ｂから人が検知されなかった場合（ステップＳ１０６、「Ｎｏ」）、処理をステップＳ１０７に移行させる。ステップＳ１０７で、検知部１０１は、ステップＳ１０６の人検知処理から一定時間が経過したか否かを判定する。検知部１０１は、一定時間が経過していないと判定した場合（ステップＳ１０７、「Ｎｏ」）、処理をステップＳ１０５に戻し、次のフレームの中解像度画像３０ｂを取得する。一方、検知部１０１は、一定時間が経過したと判定した場合（ステップＳ１０７、「Ｙｅｓ」）、処理をステップＳ１０３に戻し、低解像度画像３０ｃに基づく動体検知を実行する。
　検知部１０１は、ステップＳ１０６で中解像度画像３０ｂから人が検知された場合（ステップＳ１０６、「Ｙｅｓ」）、処理をステップＳ１０８に移行させる。ステップＳ１０８で、検知部１０１は、ＥＣＵ２０の動作を復帰させる。例えば、検知部１０１は、ＥＣＵ２０の動作を復帰させる指示を発行し、当該指示をＥＣＵ２０に渡す。ＥＣＵ２０は、この指示を受け取ると、受け取った指示に従い、自身の動作モードを、省電力モードあるいは一部を除いて非アクティブとされたモードから、通常の動作モードに遷移させる。
　以降、ステップＳ１０９～ステップＳ１１１の処理は、ＥＣＵ２０側での処理となる。
　ステップＳ１０９で、車載監視装置１においてＥＣＵ２０は、撮像部１００により高解像度画像３０ａを取得する。例えば、車載監視装置１において、ＥＣＵ２０は、イメージセンサ１０に対して高解像度画像３０ａを取得するよう指示する。イメージセンサ１０は、この指示に応じて、撮像部１００から領域平均、間引きなどの低解像度化処理を行わない高解像度画像３０ａを取得する。
　次のステップＳ１１０で、ＥＣＵ２０は、判定部２０１および制御部２０２において記録処理を実行し、高解像度画像３０ａをストレージ装置１０３に記録する。次のステップＳ１１１で、ＥＣＵ２０において例えば判定部２０１は、高解像度画像３０ａの記録を終了するか否かを判定する。
　ＥＣＵ２０は、判定部２０１によりステップＳ１１１で記録部１０２により記録を終了しないと判定された場合（ステップＳ１１１、「Ｎｏ」）、処理をステップＳ１０９に戻し、次のフレームの高解像度画像３０ａを取得するよう、イメージセンサ１０に指示する。
　一方、判定部２０１は、ステップＳ１１１で記録が終了したと判定した場合（ステップＳ１１１、「Ｎｏ」）、処理をステップＳ１０２に移行させ、ＥＣＵ２０の動作モードの省電力モードへの遷移、あるいは、自身の一部機能を停止させる。
　上述したように、ＥＣＵ２０は、制御部２０２により、ステップＳ１０２でイメージセンサ１０に対して検知処理を開始させるトリガを発行している。イメージセンサ１０は、このトリガに応じて、動作モードが動体検知モードおよび人検知モードに遷移される。したがって、ＥＣＵ２０は、イメージセンサ１０の撮像動作を制御する制御部として機能する。
　図１４は、第１の実施形態に係る画像データの記録処理を示す一例のフローチャートである。図１４のフローチャートは、上述した図１３のフローチャートにおけるステップＳ１０９～ステップＳ１１１の処理をより詳細に示したものである。
　上述した図１４のステップＳ１０８でＥＣＵ２０の動作が復帰すると、ＥＣＵ２０は、例えば制御部２０２により、イメージセンサ１０における検知部１０１から、画像データの記録要求を受け付ける（ステップＳ２００）。次のステップＳ２０１で、ＥＣＵ２０において制御部２０２は、ＥＣＵ２０に含まれるＩＳＰを起動させる。次のステップＳ２０２で、ＥＣＵ２０において制御部２０２は、画像データを記録するためのストレージ装置を起動させる。
　次のステップＳ２０３で、ＥＣＵ２０において制御部２０２は、イメージセンサ１０から高解像度画像３０ａを取得する。このステップＳ２０３の処理は、例えば図１４のフローチャートにおけるステップＳ１０９の処理に対応する。
　次のステップＳ２０４で、ＥＣＵ２０において認知部２００は、ＩＳＰの機能を実行し、ステップＳ２０２で取得した高解像度画像３０ａに対して画像処理を実行する。例えば、認知部２００は、ＩＳＰに、ＲＡＷデータとして取得された高解像度画像３０ａに対して、認知対象を認知する認知処理を実行させてよい。この場合、認知部２００は、図１４のフローチャートによるステップＳ１０６の処理で検知された人を認知対象として、高解像度画像３０ａから認知してよい。
　次のステップＳ２０５で、ＥＣＵ２０において判定部２０１は、ステップＳ２０２で取得した高解像度画像３０ａが記録判定済み画像であるか否かを判定する。例えば、判定部２０１は、ステップＳ２０４におけるＩＳＰでの認知処理により人が認知されている場合、当該高解像度画像３０ａを、記録対象としての記録判定済みの画像データであると判定してよい。
　ＥＣＵ２０において判定部２０１は、当該高解像度画像３０ａが記録判定済みの画像データであると判定した場合（ステップＳ２０５、「Ｙｅｓ」）、処理をステップＳ２０６に移行させる。ステップＳ２０６で、ＥＣＵ２０において制御部２０２は、当該高解像度画像３０ａをストレージ装置に記録する。
　次のステップＳ２０７で、ＥＣＵ２０において判定部２０１は、高解像度画像３０ａの記録を終了するか否かを判定する。判定部２０１は、記録を終了しないと判定した場合（ステップＳ２０７、「Ｎｏ」）、処理をステップＳ２０３に戻す。一方、判定部２０１は、記録が終了したと判定した場合（ステップＳ２０７、「Ｙｅｓ」）、処理をステップＳ２０９に移行させる。
　ＥＣＵ２０において判定部２０１は、ステップＳ２０５で、当該高解像度画像３０ａが記録判定済みの画像データではないと判定した場合（ステップＳ２０５、「Ｎｏ」）、処理をステップＳ２０８に移行させる。ステップＳ２０８で、判定部２０１は、当該高解像度画像３０ａが記録すべきシーンの画像データであるか否かを判定する。
　例えば、判定部２０１は、ステップＳ２０５の判定において、認知対象が認知されなくなって（記録判定済み画像データではないと判定されて）から所定のフレーム数までの高解像度画像３０ａを、記録すべきシーンの画像データであると判定してよい。すなわち、駐車監視においては、人あるいは物体が検知されたフレームの前後関係も重要となる場合がある。そのため、一度認知された人や物体が認知されなくなってから後の画像データも、記録対象とすると好ましい。
　ＥＣＵ２０において判定部２０１は、ステップＳ２０８で当該高解像度画像３０ａが記録すべきシーンの画像データであると判定した場合（ステップＳ２０８、「Ｙｅｓ」）、処理をステップＳ２０６に移行させる。ステップＳ２０６で、ＥＣＵ２０において制御部２０２は、当該高解像度画像３０ａをストレージ装置に記録する。一方、判定部２０１は、ステップＳ２０８で当該高解像度画像３０ａが記録すべきシーンの画像データではないと判定した場合（ステップＳ２０８、「Ｎｏ」）、処理をステップＳ２０９に移行させる。
　ステップＳ２０９で、ＥＣＵ２０において制御部２０２は、画像データを記録するためのストレージ装置を停止させる。次のステップＳ２１０で、制御部２０２は、ＩＳＰの動作を停止させる。
　このように、第１の実施形態に係る車載監視装置１は、処理対象の画像データの解像度を、画像データに対する検知結果に応じて段階的に上げる。それと共に、車載監視装置１は、画像データの解像度の各段階において必要最小限の処理ブロックにより動体検知および人検知を実行し、最終的に、高解像度画像３０ａを記録している。また、動体検知および人検知は、イメージセンサ１０の後段のＥＣＵ２０を停止状態または省電力モードとして実行している。そのため、第１の実施形態に係る車載監視装置１は、駐車時の車両周辺の監視を低消費電力で実行でき、長時間の連続監視動作が可能となる。
　また、第１の実施形態に係る車載監視装置１は、人検知処理の後の高解像度画像３０ａによる画像データのみをストレージ装置記録し、動体検知モードおよび人検知モードにおいて用いた中解像度画像３０ｂおよび低解像度画像３０ｃを記録しない。そのため、第１の実施形態に係る車載監視装置１では、ストレージ装置の記録容量の消費を抑制できると共に、必要な画像データのみが記録されるので、記録された画像データを確認する手間を抑制することも可能である。
（３－４．第１の実施形態に係るサイドミラーカメラ制御）
　次に、第１の実施形態に係る、サイドミラー６０Ｌおよび６０Ｒ（図４参照）に搭載されるカメラの制御について説明する。
　なお、サイドミラー６０Ｌおよび６０Ｒは、左右の別以外は異なる点が無いため、以下では、特に記載の無い限り、サイドミラー６０Ｌおよび６０Ｒを、サイドミラー６０Ｒで代表させて説明を行う。また、サイドミラー６０Ｌおよび６０Ｒを区別する必要の無い場合、サイドミラー６０Ｌおよび６０Ｒを纏めて、サイドミラー６０として記述することがある。
（３－４－１．既存技術による構成）
　先ず、理解を容易とするために、既存技術による、サイドミラー６０に対するカメラの取り付けについて、概略的に説明する。図４を用いて説明したように、例えばサイドミラー６０Ｒは、車両１００００の右側面の周辺をカバーするセンシング領域１０１０３Ｒを撮像するためカメラ（サイドミラーカメラと呼ぶ）が設けられる。サイドミラーカメラは、サイドミラー６０Ｒの展開時にセンシング領域１０１０３Ｒを撮像するように、サイドミラー６０Ｒに取り付けられる。そのため、サイドミラー６０Ｒの格納時には、撮像方向が変化し、センシング領域１０１０３Ｒの撮像が困難になる場合がある。
　図１５は、既存技術によるサイドミラーカメラを概略的に示す模式図である。図１５において、サイドミラー６０Ｒは、ミラー部６１とアーム部６２とを含み、アーム部６２により車両１００００の側面に固定される。サイドミラー６０Ｒは、アーム部６２に設けられる軸６３により、ミラー面が車両１００００の側面と向き合うように折り畳むことができる。サイドミラー６０Ｒが折り畳まれた状態を格納状態、図に示すように開かれた状態を展開状態と呼ぶ。
　サイドミラーカメラ７０が、カメラ固定治具７２によりサイドミラー６０Ｒに固定的に取り付けられる。この例では、サイドミラーカメラ７０は、例えばレンズ部７１が若干下向きになるように、サイドミラー６０Ｒに取り付けられている。サイドミラーカメラ７０は、図３および図４を用いて説明したカメラ１００５１の一例である。
　図１６Ａは、既存技術による、サイドミラー６０Ｒの展開時におけるサイドミラーカメラ７０の撮像範囲および撮像画像の例を示す模式図である。図１６Ａのセクション（ａ）に示されるように、サイドミラー６０Ｒの展開時では、サイドミラー６０Ｒに設けられたサイドミラーカメラ７０による撮像範囲（センシング領域１０１０３Ｒ）は、車両１００００の右側面の周辺をカバーしている。
　図１６Ａのセクション（ｂ）は、サイドミラー６０Ｒの展開時における、サイドミラー６０Ｒに搭載されたサイドミラーカメラ７０による撮像画像の例を示している。図において、左側が車両１００００の先頭の方向である。サイドミラーカメラ７０において、レンズ部７１は、広い画角を得ることができるように、魚眼レンズや超広角レンズが用いられることが多い。図の例では、レンズ部７１として魚眼レンズが用いられている。
　図１６Ｂは、既存技術による、サイドミラー６０Ｒの格納時におけるサイドミラーカメラ７０の撮像範囲および撮像画像の例を示す模式図である。図１６Ｂのセクション（ａ）に示されるように、サイドミラー６０Ｒの格納時では、サイドミラー６０Ｒの状態に従い、サイドミラー６０Ｒに搭載されるサイドミラーカメラ７０の撮像方向が車両１００００の後方を向いてしまう。その結果、サイドミラーカメラ７０による撮像範囲（センシング領域１０１０３Ｒ’）は、車両１００００の後方右側面のみをカバーし、図上に矢印Ｃで示されるように、車両１００００の前方右側面が死角となってしまう。
　車両１００００の左側面も同様に、サイドミラー６０Ｌの格納時では、サイドミラー６０Ｌに搭載されるサイドミラーカメラ７０の撮像方向が車両１００００の後方を向いてしまう。その結果、サイドミラーカメラ７０によるセンシング領域１０１０３Ｌ’は、車両１００００の後方左側面のみをカバーし、図上に矢印Ｄで示されるように、車両１００００の前方左側面が死角となってしまう。
　図１６Ｂのセクション（ｂ）は、サイドミラー６０Ｒの格納時における、サイドミラー６０Ｒに搭載されたサイドミラーカメラ７０による撮像画像の例を示している。サイドミラーカメラ７０が車両１００００の後方を向くため、撮像画像は、左半分が車両１００００の画像、右半分が車両１００００の後方右側面の画像となり、車両１００００の前方の画像を含まない。このように、サイドミラー６０Ｒの格納時は、車両１００００の前方が死角になっていることが分かる。
（３－４－２．第１の実施形態に係るサイドミラーカメラ制御について）
　次に、第１の実施形態に係るサイドミラーカメラ７０の制御について説明する。
　図１７は、第１の実施形態に係るサイドミラーカメラ７０を概略的に示す模式図である。図１７において、サイドミラーカメラ７０は、カメラ固定治具７２ａによりサイドミラー６０Ｒに取り付けられる。第１の実施形態では、カメラ固定治具７２ａは、例えば２軸の回転軸によりサイドミラーカメラ７０の姿勢を制御可能とされている。図１７の例では、カメラ固定治具７２ａは、図中に矢印Ａ、Ｂにより示されるように、垂直方向および水平方向に、それぞれ所定の角度範囲で、サイドミラーカメラ７０の姿勢を制御可能とされている。
　図１８は、第１の実施形態に係るサイドミラーカメラ７０の撮像方向の制御を説明するための模式図である。図１８において、セクション（ａ）は、サイドミラー６０Ｒの展開時の様子を示している。サイドミラーカメラ７０は、展開時において、撮像方向（レンズ部７１の方向）が車両１００００に対して逆の方向に向くように、カメラ固定治具７２ａにより姿勢が制御される。したがって、サイドミラーカメラ７０の撮像範囲は、車両１００００の右側面のセンシング領域１０１０３Ｒ（図示しない）をカバー可能である。
　図１８において、セクション（ｂ）は、サイドミラー６０Ｒの格納時の様子を示している。サイドミラー６０Ｒは、格納時には、軸６３によりミラー面を車両１００００側に向けて折り畳まれる。第１の実施形態では、この場合においても、サイドミラーカメラ７０は、撮像方向が車両１００００に対して逆の方向に向くように、カメラ固定治具７２ａにより姿勢が制御される。換言すれば、サイドミラーカメラ７０は、サイドミラー６０Ｒの格納時において、撮像方向すなわちレンズ部７１の方向がサイドミラー６０Ｒの展開時における方向を維持するように、カメラ固定治具７２ａにより姿勢が制御される。
　したがって、サイドミラーカメラ７０は、サイドミラー６０Ｒの格納時においても、撮像範囲が車両１００００の右側面のセンシング領域１０１０３Ｒ（図示しない）をカバー可能とされる。そのため、図１６Ｂを用いて説明した、既存技術における死角の発生を抑制することができる。
　第１の実施形態では、サイドミラー６０に搭載されるサイドミラーカメラ７０の撮像範囲を、所定の角度範囲内における任意の３次元方向を向かせる（固定あるいは変更する）ために、サイドミラーカメラ７０をサイドミラー６０に固定するためのカメラ固定治具７２ａに、モータあるいはモータと同様の機能を有する駆動部品を組み込む。当該駆動部品を、サイドミラー６０の姿勢に応じて駆動する。より具体的には、サイドミラー６０の車両１００００に対する角度が変更される場合、角度変更によるサイドミラーカメラ７０の動きを相殺する制御信号に基づき、当該駆動部品を制御する。
　図１９は、第１の実施形態に係る、カメラ固定治具７２ａを駆動するカメラ固定治具駆動部の一例の構成を示すブロック図である。図１９において、カメラ固定治具駆動部７５ａは、駆動制御部７６ａと、駆動回路７７ｖおよび７７ｈと、モータ７８ｖおよび７８ｈと、を含む。これらのうち、駆動制御部７６ａは、ＥＣＵ２０に含まれる。これに限らず、駆動回路７７ｖおよび７７ｈをさらにＥＣＵ２０に含めてもよい。
　駆動回路７７ｖおよび７７ｈは、駆動制御部７６ａから供給される駆動情報に応じて、それぞれカメラ固定治具７２ａを垂直方向および水平方向に、所定の角度範囲内で駆動するための駆動信号を生成する。駆動回路７７ｖは、生成した駆動信号によりモータ７８ｖを駆動する。モータ７８ｖは、カメラ固定治具７２ａを垂直方向に駆動する。これにより、サイドミラーカメラ７０の姿勢が垂直方向に変化する。同様に、駆動回路７７ｈは、生成した駆動信号によりモータ７８ｈを駆動する。モータ７８ｈは、カメラ固定治具７２ａを水平方向に駆動する。これにより、サイドミラーカメラ７０の姿勢が水平方向に変化する。モータ７８ｖおよび７８ｈの動きを組み合わせることで、サイドミラーカメラ７０の姿勢すなわちサイドミラーカメラ７０の撮像範囲を、所定の角度範囲内における任意の方向に向けさせることができる。
　駆動回路７７ｖおよび７７ｈは、それぞれ、モータ７８ｖおよび７８ｈの駆動に関する情報を、モータ情報として出力する。モータ情報は、例えばモータの回転角を示す情報を含む。
　駆動制御部７６ａは、サイドミラー６０Ｒを展開状態および格納状態に駆動するための、サイドミラー駆動モータ情報を、例えば通信ネットワーク１００４１を介して車両制御システム１００１１から取得する。さらに、駆動制御部７６ａは、駆動回路７７ｖおよび７７ｈから出力された各モータ情報を取得する。駆動制御部７６ａは、サイドミラー駆動モータ情報と、駆動回路７７ｖおよび７７ｈから出力された各モータ情報とに基づき、サイドミラーカメラ７０の撮像方向を、サイドミラー６０の展開時における撮像方向に維持するための、駆動回路７７ｖおよび７７ｈそれぞれに対する駆動情報を生成する。
　このように、ＥＣＵ２０は、駆動制御部７６ａを含む構成として、サイドミラーカメラ７０の撮像方向を制御する制御部として機能する。
　図２０は、第１の実施形態に係るサイドミラーカメラ７０の撮像方向の制御を示す一例のフローチャートである。
　ステップＳ３００で、駆動制御部７６ａは、サイドミラー６０を駆動する各モータのモータ情報を取得する。ここでは、駆動制御部７６ａは、少なくともサイドミラー６０の展開および格納を駆動するモータのモータ情報を取得する。駆動制御部７６ａは、さらに、サイドミラー６０のミラー面を駆動するモータのモータ情報も取得してよい。
　次のステップＳ３０１で、駆動制御部７６ａは、サイドミラー６０にカメラ固定治具７２ａを駆動するモータ７８ｖおよび７８ｈのモータ情報を取得する。
　次のステップＳ３０２で、駆動制御部７６ａは、ステップＳ３００で取得した各モータ情報と、ステップＳ３０１で取得した各モータ情報とを用いて、車両１００００の車体に対するサイドミラーカメラ７０の３次元での相対姿勢を計算する。すなわち、駆動制御部７６ａは、ステップＳ３０２で、現時点でのサイドミラーカメラ７０の姿勢情報を算出する。
　なお、サイドミラーカメラ７０の姿勢情報は、サイドミラーカメラ７０の３次元の回転情報（ロール、ピッチ、ヨー）と、サイドミラーカメラ７０の高さ情報を含めた方位情報とを含んでよい。すなわち、サイドミラーカメラ７０の姿勢情報は、サイドミラーカメラ７０の撮像方向を示す情報であるといえる。
　次のステップＳ３０３で、駆動制御部７６ａは、予め設定された、サイドミラーカメラ７０の駐車時（例えばサイドミラー６０格納時）の３次元の姿勢情報と、ステップＳ３０２で算出された現時点での３次元の姿勢情報との差分を計算する。
　次のステップＳ３０４で、駆動制御部７６ａは、ステップＳ３０３で算出された姿勢情報の差分に基づき、カメラ固定治具７２ａを駆動するための駆動情報を生成する。より具体的には、駆動制御部７６ａは、当該差分を０に近づけるようにモータ７８ｖおよび７８ｈを駆動するための各駆動情報を生成する。
　駆動制御部７６ａは、生成した各駆動情報を、駆動回路７７ｖおよび７７ｈにそれぞれ供給する。各駆動回路７７ｖおよび７７ｈは、それぞれ供給された駆動情報に基づき駆動信号を生成し、それぞれモータ７８ｖおよび７８ｈを駆動する。
　上述のようにサイドミラーカメラ７０の姿勢を制御することで、サイドミラーカメラ７０の撮像範囲および撮像方向の、サイドミラー６０の状態への依存を抑制することができる。したがって、第１の実施形態のサイドミラーカメラ７０の姿勢制御によれば、既存技術において説明した、サイドミラー６０の格納時における死角の発生を大幅に抑制することが可能である。
（３－５．第１の実施形態の第１の変形例）
　次に、第１の実施形態の第１の変形例について説明する。第１の実施形態の第１の変形例は、車両１００００およびサイドミラーカメラ７０がＩＭＵ(Inertial　Measurement　Unit)を有し、これらのＩＭＵの出力を用いて、サイドミラーカメラ７０の撮影範囲および撮影方向を制御するようにした例である。
　図２１は、第１の実施形態の第１の変形例に係る、カメラ固定治具７２ａを駆動するカメラ固定治具駆動部の一例の構成を示すブロック図である。図２１において、カメラ固定治具駆動部７５ｂは、駆動制御部７６ｂと、駆動回路７７ｖおよび７７ｈと、モータ７８ｖおよび７８ｈと、を含む。これらのうち、駆動制御部７６ｂは、ＥＣＵ２０に含まれる。これに限らず、駆動回路７７ｖおよび７７ｈをさらにＥＣＵ２０に含めてもよい。
　なお、駆動回路７７ｖおよび７７ｈ、ならびに、モータ７８ｖおよび７８ｈは、図１９を用いて説明した駆動回路７７ｖおよび７７ｈ、ならびに、モータ７８ｖおよび７８ｈと同等であるので、ここでの説明を省略する。
　駆動制御部７６ｂは、サイドミラーカメラ７０が有するＩＭＵ７９から出力される、当該サイドミラーカメラ７０の姿勢を示すカメラ姿勢情報が供給される。ＩＭＵ７９は、これに限らず、カメラ固定治具７２ａのサイドミラーカメラ７０取り付け位置付近に設けられていてもよい。駆動制御部７６ｂは、さらに、車両センサ１００２７が備えるＩＭＵから出力される車両１００００の車体の姿勢を示す車体姿勢情報を、通信ネットワーク１００４１を介して取得する。
　駆動制御部７６ａは、カメラ姿勢情報と、車体姿勢情報とに基づき、サイドミラーカメラ７０の撮像方向を、サイドミラー６０の展開時における撮像方向に維持するための、駆動回路７７ｖおよび７７ｈそれぞれに対する駆動情報を生成する。各駆動回路７７ｖおよび７７ｈは、駆動制御部７６ｂで生成された各駆動情報に基づき、モータ７８ｖおよび７８ｈそれぞれを駆動するための各駆動信号を生成する。
　図２２は、第１の実施形態の第１の変形例に係るサイドミラーカメラの撮像方向の制御を示す一例のフローチャートである。
　ステップＳ４００で、駆動制御部７６ｂは、車両センサ１００２７が備えるＩＭＵから、車体の３次元の姿勢情報（車体姿勢情報）を取得する。次のステップＳ４０１で、駆動制御部７６ｂは、ＩＭＵ７９から出力された、サイドミラーカメラ７０の３次元の姿勢情報（カメラ姿勢情報）を取得する。
　次のステップＳ４０２で、駆動制御部７６ｂは、ステップＳ４００で取得した車体姿勢情報と、ステップＳ４０１で取得したカメラ姿勢情報とを用いて、車両１００００の車体に対するサイドミラーカメラ７０の３次元での相対姿勢を計算する。すなわち、駆動制御部７６ｂは、ステップＳ４０２で、現時点でのサイドミラーカメラ７０の姿勢情報を算出する。
　次のステップＳ４０３で、駆動制御部７６ｂは、予め設定された、サイドミラーカメラ７０の駐車時（例えばサイドミラー６０格納時）の３次元の姿勢情報と、ステップＳ４０２で算出された現時点での３次元の姿勢情報との差分を計算する。
　次のステップＳ４０４で、駆動制御部７６ｂは、ステップＳ４０３で算出された姿勢情報の差分に基づき、カメラ固定治具７２ａを駆動するための駆動情報を生成する。より具体的には、駆動制御部７６ｂは、当該差分を０に近づけるようにモータ７８ｖおよび７８ｈを駆動するための各駆動情報を生成する。
　駆動制御部７６ｂは、生成した各駆動情報を、駆動回路７７ｖおよび７７ｈにそれぞれ供給する。各駆動回路７７ｖおよび７７ｈは、それぞれ供給された駆動情報に基づき駆動信号を生成し、それぞれモータ７８ｖおよび７８ｈを駆動する。
　次のステップＳ４０５で、駆動制御部７６ｂは、サイドミラーカメラ７０の姿勢が理想姿勢になったか否かを判定する。例えば、駆動制御部７６ｂは、ステップＳ４０３で算出した差分が０を含む所定の範囲内にある場合に、サイドミラーカメラ７０の姿勢が理想姿勢になったと判定してよい。これに限らず、駆動制御部７６ｂは、ステップＳ４０５において上述のステップＳ４００～ステップＳ４０３の処理を再び実行し、ステップＳ４０３で算出された差分に基づき、サイドミラーカメラ７０の姿勢が理想姿勢になったか否かを判定してもよい。
　駆動制御部７６ｂは、サイドミラーカメラ７０姿勢が理想姿勢になっていないと判定した場合（ステップＳ４０５、「Ｎｏ」）、処理をステップＳ４００に戻す。一方、駆動制御部７６ｂは、サイドミラーカメラ７０姿勢が理想姿勢になったと判定した場合（ステップＳ４０５、「Ｙｅｓ」）、この図２２のフローチャートによる一連の処理を終了させる。
　上述のようにサイドミラーカメラ７０の姿勢を制御することで、サイドミラーカメラ７０の撮像範囲および撮像方向の、サイドミラー６０の状態への依存を抑制することができる。したがって、第１の実施形態の第１の変形例のサイドミラーカメラ７０の姿勢制御によれば、既存技術において説明した、サイドミラー６０の格納時における死角の発生を大幅に抑制することが可能である。
　なお、ここでは、車両１００００の車両センサ１００２７が備えるＩＭＵの出力と、サイドミラーカメラ７０が有するＩＭＵ７９の出力とを用いてサイドミラーカメラ７０の姿勢を制御しているが、これはこの例に限定されない。
　例えば、サイドミラーカメラ７０やカメラ固定治具７２ａのサイドミラーカメラ７０取り付け位置付近にＩＭＵ７９が設けられ、車両１００００にはＩＭＵが設けられていない、あるいは、車両１００００に設けられるＩＭＵの出力を駆動制御部７６ｂが利用できない場合も考えられる。
　この場合、ＩＭＵ７９により取得されるサイドミラーカメラ７０の姿勢情報と、サイドミラー６０を展開状態および格納状態に駆動するモータの状態とに基づき、車両１００００の姿勢情報を推定することができる。駆動制御部７６ｂは、このように推定された車両１００００の姿勢情報と、サイドミラーカメラ７０の姿勢情報とに基づき、サイドミラーカメラ７０の車両１００００に対する３次元の相対姿勢を求める。駆動制御部７６ｂは、こうして求めた相対姿勢を用いて、図２２のフローチャートにおけるステップＳ４０３以降の処理を実行する。
　また、サイドミラー６０の３次元の姿勢を考慮して、サイドミラーカメラ７０で撮像された画像データに対する画像変換を行ってもよい。この場合、上述した、モータ７８ｖおよび７８ｈの駆動は行わず、サイドミラー６０の格納時における撮像範囲の調整のために、展開時および格納時のサイドミラーカメラ７０の３次元の姿勢情報を保持してもよい。
　さらに、駐車時にサイドミラー６０を格納状態にしない場合も起こり得る。この場合には、サイドミラーカメラ７０の姿勢を、駐車監視用に予め設定された姿勢に変更してよい。
　さらにまた、一般的には、サイドミラー６０の展開時におけるサイドミラーカメラ７０の撮像方向は、車輪付近などの監視に対応して地面方向を向いているため、サイドミラー６０の展開時の撮像範囲では、車両１００００の周囲の広い範囲を監視することが困難である。第１の実施形態および第１の実施形態の第１の変形例により、サイドミラー６０の格納時に、サイドミラーカメラ７０の撮像方向を変更する（例えば撮像方向を水平方向に変更する）ことで、記録画像の証拠能力を向上させることが可能である。
（３－６．第１の実施形態の第２の変形例）
　次に、第１の実施形態の第２の変形例について説明する。第１の実施形態では、イメージセンサ１０の撮像部１００として、ＲＧＢ各色の波長領域の光を透過するカラーフィルタを用いた、可視光波長領域の光を受光するセンサを適用した。これに対して、第１の実施形態の第２の変形例では、撮像部１００として、可視光波長領域の光に加えて、赤外波長領域の光（ＩＲ(Infrared)光）を受光可能なセンサを適用する。
　駐車監視を行う場合、１日の２４時間の間、監視を行いたいが、可視光波長領域の光を受光するセンサを適用した場合、特に夜間性能がセンサ感度依存となってしまい、監視精度の限界がある。第１の実施形態の第２の変形例では、ＩＲ光を受光可能なセンサを用いることで、夜間性能を向上させる。
　図２３は、第１の実施形態の第２の変形例に係る、ＩＲ光を用いた検知方法を原理的に示す模式図である。
　図２３において、ＩＲ光を含む光を発光可能な光源８０を用いて被写体８１に光を照射させる。被写体８１から反射された反射光は、レンズ８２、デュアルバンドパスフィルタ８３およびカラーフィルタ部８４を介して撮像ユニット１１１に照射される。カラーフィルタ部８４は、それぞれ画素Ｐｉｘ単位で配置された、Ｒ色、Ｇ色およびＢ色の各可視光波長領域の光を透過する各カラーフィルタと、ＩＲ波長領域の光を透過するＩＲフィルタと、を含む。
　図２４は、カラーフィルタ部８４における、ＩＲフィルタを含む各カラーフィルタの配列（ＲＧＢＩＲ配列と呼ぶ）の例を示す模式図である。この例では、４画素×４画素の１６画素を単位とし、それぞれ２個の画素Ｐｉｘ（Ｒ）および画素Ｐｉｘ（Ｂ）と、８個の画素Ｐｉｘ（Ｇ）と、それぞれＩＲフィルタが配置される４個の画素Ｐｉｘ（ＩＲ）と、を含み、各画素Ｐｉｘが、同一波長帯域の光を透過させるフィルタが配置された画素Ｐｉｘが隣接しないように配列される。
　図２５は、ＲＧＢ各色の各波長領域の光を透過する各カラーフィルタと、ＩＲ波長領域の光を透過するＩＲフィルタとが配置されたセンサの分光特性の例を示す模式図である。特性線９０Ｒ、９０Ｇおよび９０Ｂは、それぞれＲ色、Ｇ色およびＢ色の各可視光波長領域の光を透過する各カラーフィルタによる特性の例、特性線９０ＩＲは、ＩＲ波長領域の光を透過するＩＲフィルタによる特性の例を、それぞれ示している。図２５によれば、波長が４００ｎｍ～７００ｎｍの波長領域が可視光波長領域、波長が９４０ｎｍの近傍の波長領域がＩＲ光波長領域となっている。
　図２６は、デュアルバンドパスフィルタ８３の分光特性の例を示す模式図である。図２６に特性線９１として示されるように、デュアルバンドパスフィルタ８３は、波長が４００ｎｍ～７００ｎｍの可視光波長領域の光と、波長が９４０ｎｍの近傍の波長領域の光と、を選択的に透過させる特性を有する。
　図２４に示したＲＧＢＩＲ配列のカラーフィルタ部８４を備えた、ＩＲ光を受光可能なセンサを外部認識センサ１００２５におけるカメラ１００５１として使用し、夜間においてＩＲ光を投光することで、夜間における駐車監視の精度を向上させることができる。検知部１０１における検知機能については、例えば、人検知は、機械学習モデルを利用する場合、ＩＲ光環境についても学習し対応する。また、ドライブレコーダの場合、車内に取り付けられるとガラスの影響でＩＲ光が受光できないことも考えられるが、車外カメラの場合、この点については問題にならない。
（３－７．第１の実施形態の第３の変形例）
　次に、第１の実施形態の第３の変形例について説明する。上述した第１の実施形態では、撮像部１００と検知部１０１とを１つのチップに一体的に構成していた。これに対して、第１の実施形態の第３の変形例では、撮像部１００と検知部１０１とを異なるチップに構成する。
　図２７は、第１の実施形態の第３の変形例に係る車載監視装置１ａの一例の構成を示すブロック図である。図２７において、撮像部１００は、１つのチップとしてのイメージセンサ１０ａに含まれ、検知部１０１は、１つのチップとしての検知ユニット１１に含まれる。ＥＣＵ２０は、図５を用いて説明した車載監視装置１と同様に、認知部２００と、判定部２０１と、制御部２０２とを含む。
　車載監視装置１ａにおいて、イメージセンサ１０ａは、動体検知モードでは低解像度画像３０ｃを出力し、人検知モードでは中解像度画像３０ｂを出力する。また、イメージセンサ１０ａは、記録モードでは、高解像度画像３０ａを出力する。
　この第１の実施形態の第３の変形例に係る車載監視装置１ａの構成によっても、第１の実施形態に係る構成と同様に、動体検知モードおよび人検知モードでは、撮像部１００における各画素Ｐｉｘからの読み出し処理や、検知部１０１による検知処理の負荷が軽減され、また、ＥＣＵ２０が低消費電力モードで動作し、省電力化が可能である。
（３－８．第１の実施形態の第４の変形例）
　次に、第１の実施形態の第４の変形例について説明する。上述した第１の実施形態では、撮像部１００と検知部１０１とを１つのチップに一体的に構成し、ＥＣＵ２０に認知部２００、判定部２０１および制御部２０２を構成した。これに対して、第１の実施形態の第４の変形例では、検知部１０１をＥＣＵ２０側の構成としている。
　図２８は、第１の実施形態の第４の変形例に係る車載監視装置１ｂの一例の構成を示すブロック図である。図２８において、ＥＣＵ２０ａは、検知部１０１と、認知部２００、判定部２０１および制御部２０２とを含み、イメージセンサ１０ａは、撮像部１００のみを含んでいる。
　車載監視装置１ａにおいて、イメージセンサ１０ａは、動体検知モードでは低解像度画像３０ｃを出力し、人検知モードでは中解像度画像３０ｂを出力する。また、イメージセンサ１０ａは、記録モードでは、高解像度画像３０ａを出力する。また、ＥＣＵ２０ａは、検知部１０１による検知処理の実行時は、認知部２００、判定部２０１および制御部２０２を、低消費電力モードで動作させる。
　この第１の実施形態の第４の変形例に係る車載監視装置１ｂの構成によっても、第１の実施形態に係る構成と同様に、動体検知モードおよび人検知モードでは、撮像部１００における各画素Ｐｉｘからの読み出し処理や、検知部１０１による検知処理の負荷が軽減され、また、ＥＣＵ２０ａにおいて認知部２００、判定部２０１および制御部２０２が低消費電力モードで動作し、省電力化が可能である。
（４．本開示の第２の実施形態）
　次に、本開示の第２の実施形態について説明する。本開示の第２の実施形態は、上述した第１の実施形態において、動体検知あるいは人検知の検知結果に応じて、前後左右のカメラ１００５１のうち１以上のカメラ１００５１の撮像方向を変更して対象を追跡するようにした例である。
　なお、ここでは、前後左右のカメラ１００５１それぞれは、第１の実施形態で図１８および図１９を用いて説明したカメラ固定治具７２ａにより車両１００００の車体に固定され、ＥＣＵ２０による指示に従い、それぞれ垂直方向および水平方向の所定の角度範囲内で撮像方向を変更可能とされているものとする。
　図２９は、第２の実施形態に係る撮像方向の制御について説明するための模式図である。図２９のセクション（ａ）に示すように、対象物９５が、右カメラによるセンシング領域１０１０３Ｒの左端、および、前カメラによるセンシング領域１０１０３Ｆの右端に検知された場合について考える。この場合、対象物９５は、センシング領域１０１０３Ｒで撮像された画像データの左端、センシング領域１０１０３Ｆで撮像された画像データの右端でそれぞれ見切れてしまう。また、前カメラおよび右カメラに魚眼レンズを用いたカメラが適用されている場合、撮像された画像データの端部は画像の歪みが大きくなる。そのため、これらの画像データは、証拠としての有効性が低いおそれがある。
　そこで、第２の実施形態では、図２９のセクション（ｂ）に示されるように、撮像画像に対象物９５が含まれる前カメラおよび右カメラの撮像方向を対象物９５の方向に向ける。これにより、対象物９５が、前カメラのセンシング領域１０１０３Ｆ’および右カメラのセンシング領域１０１０３Ｒ’それぞれの中央部に位置するようになり、図２９のセクション（ａ）の場合と比較して、証拠能力が向上される。
　例えば、第２の実施形態に係る車載監視装置は、検知部１０１における人検知結果に応じて動作が記録モードに遷移すると、ＥＣＵ２０の認知部２００において、高解像度画像３０ａに基づき対象物９５の画像内の位置を求める。ＥＣＵ２０において、例えば制御部２０２は、求めた対象物９５の画像内の位置に基づき、各カメラ１００５１のうち、当該位置を撮像範囲の中央部に含み得るカメラ１００５１の撮像方向を制御するモータ７８ｖおよび７８ｈを駆動するための駆動情報を生成する。駆動回路７７ｖおよび７７ｈは、制御部２０２に生成された駆動情報に従い、モータ７８ｖおよび７８ｈを駆動する。これにより、前カメラおよび右カメラの撮像方向を対象物９５の方向に向け、対象物９５を追跡することができる。
　前カメラおよび右カメラの撮像方向を対象物９５の方向に向けた場合において、ＥＣＵ２０は、前カメラおよび右カメラにより撮像される画像データの解像度を、撮像方向を対象物９５の方向に向ける前と比較して高い解像度とすると、好ましい。
　なお、上述では、対象物９５に対して前カメラおよび右カメラそれぞれの撮像方向を変更したが、これはこの例に限定されない。例えば、右カメラおよび左カメラにのみ、撮像方向変更の機構を設け、前カメラや後カメラにより撮像された画像データに基づきイベントを検知した場合に、右カメラや左カメラの撮像方向を変更して、前カメラや後カメラといった他のカメラの死角をカバーしてもよい。
　また、車両１００００が、前後左右のカメラ１００５１（サラウンドカメラ）の他に、制御に応じて撮像方向を変更可能なカメラを搭載している場合、対象物９５を検知した際に、当該カメラの撮像方向を当該対象物９５の方向に向けてもよい。
　このように、第２の実施形態に係る車載監視装置によれば、車両１００００に設けられた前後左右のカメラ１００５１の撮像範囲において対象物９５が見切れている場合であっても、当該対象物９５が見切れたカメラ１００５１の撮像方向を変更することで、当該対象物９５を撮像範囲の中央部に含めることができる。したがって、対象物９５に対する認知処理を高精度に実行可能となり、画像データの証拠能力を向上させることが可能である。
（５．本開示の第３の実施形態）
　次に、本開示の第３の実施形態について説明する。本開示の第３の実施形態は、上述した第２の実施形態において、動体検知あるいは人検知の検知結果に応じて、車内に設けられる車内カメラの撮像方向を変更して対象を追跡するようにした例である。
　車内カメラは、図３に示した車内センサ１００２６の一例であり、第１の実施形態で図１８および図１９を用いて説明したカメラ固定治具７２ａと同等の機構により車両１００００の車内（キャビン内、例えばフロントガラス上端の中央部）に固定され、ＥＣＵ２０による指示に従い、垂直方向および水平方向の所定の角度範囲内で撮像方向を変更可能とされているものとする。
　図３０は、第３の実施形態に係る撮像方向の制御について説明するための模式図である。図３０のセクション（ａ）および（ｂ）において、センシング領域１０１０６は、車内カメラ１０１６０の撮像範囲に対応する。
　図３０のセクション（ａ）は、上述した図２９のセクション（ａ）と同様に、対象物９５が、右カメラによるセンシング領域１０１０３Ｒおよび前カメラによるセンシング領域１０１０３Ｆの端部に検知され、センシング領域１０１０３Ｒおよび１０１０３Ｆそれぞれで撮像された各画像データの端部に映っている状態を示している。
　第３の実施形態では、このような場合に、図３０のセクション（ｂ）に示されるように、車内カメラ１０１６０の撮像方向を対象物９５の方向に向ける。これにより、対象物９５が、車内カメラ１０１６０によるセンシング領域１０１０６’の中央部に位置するようになり、図３０のセクション（ａ）の場合と比較して、証拠能力が向上される。
　例えば、第３の実施形態に係る車載監視装置は、検知部１０１における人検知結果に応じて動作が記録モードに遷移すると、ＥＣＵ２０の認知部２００において、高解像度画像３０ａに基づき対象物９５の画像内の位置を求める。ＥＣＵ２０において、制御部２０２は、求めた対象物９５の画像内の位置に基づき、車内カメラ１０１６０の撮像方向を制御するモータを駆動するための駆動情報を生成する。当該モータを駆動する駆動回路は、制御部２０２に生成された駆動情報に従い、当該モータを駆動する。これにより、車内カメラ１０１６０の撮像方向を対象物９５の方向に向け、対象物９５を追跡することができる。
　このように、第３の実施形態に係る車載監視装置によれば、車両１００００に設けられた前後左右のカメラ１００５１の撮像範囲において対象物９５が映っている場合であっても、車内カメラ１０１６０の撮像方向を変更することで、当該対象物９５を撮像範囲の中央部に含めた状態で撮像を行うことができる。したがって、対象物９５に対する認知処理を高精度に実行可能となり、画像データの証拠能力を向上させることが可能である。
　また、車両１００００の車体の前後左右にサラウンドカメラとして設けられる各カメラは、広いセンシング領域を確保するため、超広角レンズや魚眼レンズが用いられる場合が多い。これに対して、車内カメラ１０１６０は、一般的には、標準画角のレンズが用いられる。そのため、車内カメラ１０１６０の撮像方向を制御して対象物９５を追跡することで、対象物９５をより高精度に認知することが可能となると共に、撮像された画像データに高い証拠能力が期待できる。
（６．本開示の他の実施形態）
　上述では、本開示の各実施形態および変形例に係る車載監視装置が撮像部１００で撮像された画像データに基づき人を検知するように説明したが、これはこの例に限定されない。例えば、本開示の各実施形態および変形例に係る車載監視装置は、人に限らず、車両１００００に危害を加える可能性のある物体を検知してもよい。車両１００００に危害を与える可能性がある物体の例としては、他の車両や自転車などが挙げられる。当該物体の例として人を含めてもよい。この場合においても、車載監視装置は、当該物体の検知に応じて、撮像された画像データのストレージ装置への記録を開始してよい。
　また、他の実施形態として、ある１つのカメラでの検知に連動して、当該検知したカメラ以外の他のカメラを高解像度での撮像状態に遷移させてもよい。
　さらに、ＤＭＳ(Driver　Monitoring　System)等で車両１００００のキーレス起動を実現するために、開示の各実施形態および変形例に係る車載監視装置を適用してよい。この場合、当該車載監視装置は、顔検出、顔認識、個人認証の各処理で段階的に低消費電力化を実施することで、全体として省電力化が可能である。
（７．本開示の各実施形態および各変形例による効果）
　本開示の各実施形態および各変形例により、監視範囲として車両１００００の周囲３６０°をカバーする車載駐車監視システムを低消費電力で実現でき、長時間の駐車監視を行うことが可能となる。
　電動格納型のサイドミラー６０に本開示の各実施形態および各変形例に係るサイドミラーカメラ７０を搭載した場合、運転時（展開時）と駐車時（格納時）とでサイドミラーカメラ７０による撮像方向を変えることが可能となり、サイドミラーカメラ７０による死角を減らすことができる。また、サイドミラーカメラ７０は、一般的には、撮像方向が地面の方向を向いているので、サイドミラーカメラ７０の撮像方向（姿勢）を駐車時に３次元的に変更することにより、記録画像の証拠能力を向上させることが可能である。
　また、撮像部１００に対してＲＧＢＩＲ配列のフィルタを適用し、ＩＲ光の投光を行うことで、夜間性能も高い車載駐車監視を実現でき、夜間も含めた２４時間監視を実現できる。
　さらに、本開示の各実施形態および各変形例によれば、車両１００００に搭載されるサラウンドカメラを利用することが可能であり、後付けのドライブレコーダによる駐車監視が不要になると共に、車両１００００のデザイン性が損なわれることも避けられる。
　さらにまた、本開示の各実施形態および各変形例によれば、撮像された画像データに基づき動体検知および人検知を行い、その結果に応じて高解像度の画像データをストレージ装置に記録している。そのため、ストレージ装置の記録容量の圧迫や、ユーザによる記録動画の確認の手間を軽減することが可能である。また、不要な記録の発生が抑制されると共に、センサ外へのデータ出力が限定的とされ、プライバシー保護やセキュリティ面の向上も実現可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　サイドミラー筐体を含む車両に設けられ、撮像に応じて画像データを生成する撮像部と、
　前記撮像部の撮像動作および撮像方向を制御する制御部と、
を備え、
　前記制御部は、
　前記サイドミラー筐体の状態に応じて前記撮像部の前記撮像方向を制御し、
　前記車両のイグニッションオフ判定に応じて前記撮像部の前記撮像動作を第１の消費電力モードに設定し、
　前記撮像部は、
　前記第１の消費電力モードで生成された第１の画像データに基づき周辺物体の動きが検出された場合に、前記撮像動作が前記第１の消費電力モードより消費電力の大きい第２の消費電力モードに設定される、
車載監視装置。
（２）
　前記第２の消費電力モードは、前記撮像部により生成される画像データの最大の解像度より低い解像度の第２の画像データを生成するモードであり、前記第１の消費電力モードは、前記第２の画像データより低い解像度の前記第１の画像データを生成するモードである、
前記（１）に記載の車載監視装置。
（３）
　前記制御部は、
　前記撮像部により前記第２の消費電力モードで生成された第２の画像データに基づき人または前記車両に危害を与える可能性がある物体が検出された場合に、前記撮像部の前記撮像動作を、前記第２の消費電力モードより消費電力の大きい第３の消費電力モードに設定する、
前記（１）または（２）に記載の車載監視装置。
（４）
　前記第３の消費電力モードは、前記第２の消費電力モードで生成される第２の画像データより解像度の高い第３の画像データを生成するモードである、
前記（３）に記載の車載監視装置。
（５）
　前記制御部は、
　前記第３の画像データを記録部に記録する、
前記（４）に記載の車載監視装置。
（６）
　前記制御部は、
　前記撮像部の前記撮像方向を、前記サイドミラー筐体の状態に応じて、前記サイドミラー筐体の展開時における撮像方向を維持するように制御する、
前記（１）乃至（５）の何れかに記載の車載監視装置。
（７）
　前記制御部は、
　前記撮像部の前記撮像方向を、前記サイドミラー筐体の格納時に、前記サイドミラー筐体の展開時における前記撮像方向を維持するように制御する、
前記（６）に記載の車載監視装置。
（８）
　前記制御部は、
　前記サイドミラー筐体を駆動する駆動情報と、前記撮像部の前記サイドミラー筐体に対する撮像方向を変更するための駆動情報と、に基づき、前記撮像部の前記撮像方向を制御する、
前記（６）または（７）に記載の車載監視装置。
（９）
　前記制御部は、
　前記車両の姿勢を示す姿勢情報と、前記撮像部の姿勢を示す姿勢情報と、に基づき前記撮像部の前記撮像方向を制御する、
前記（６）または（７）に記載の車載監視装置。
（１０）
　前記制御部は、
　前記撮像部により生成された画像データに基づき対象物が検出された場合に、前記対象物の方向を撮像した画像データを取得する、
前記（１）乃至（９）の何れかに記載の車載監視装置。
（１１）
　前記制御部は、
　前記撮像部による前記撮像方向を、前記対象物の方向に変更する、
前記（１０）に記載の車載監視装置。
（１２）
　前記制御部は、
　前記車両の車内に設けられた車内カメラによる撮像方向を、前記対象物の方向に変更する、
前記（１０）に記載の車載監視装置。
（１３）
　前記制御部は、
　前記撮像部により前記第１の消費電力モードで生成された前記第１の画像データに基づき前記対象物が検出された場合に、前記対象物の方向を撮像した、前記第１の画像データより解像度の高い画像データを取得する、
前記（１０）乃至（１２）の何れかに記載の車載監視装置。
（１４）
　前記撮像部と前記制御部とが一体で構成される、
前記（１）乃至（１３）の何れかに記載の車載監視装置。
（１５）
　前記撮像部と前記制御部とが別体で構成される、
前記（１）乃至（１３）の何れかに記載の車載監視装置。
（１６）
　前記制御部は、後段の処理を実行する処理部の構成に含まれる、
前記（１５）に記載の車載監視装置。
（１７）
　前記撮像部は、
　前記車両の前記サイドミラー筐体に設けられる第１および第２のカメラと、前記車両の前後に設けられる第３および第４のカメラと、前記車両の車内に設けられる車内カメラと、を含む、
前記（１）乃至（１６）の何れかに記載の車載監視装置。
（１８）
　撮像に応じて画像データを生成する、サイドミラー筐体を含む車両に設けられる撮像部の撮像動作および撮像方向を制御する制御部、
を備え、
　前記制御部は、
　前記サイドミラー筐体の状態に応じて前記撮像部の前記撮像方向を制御し、
　前記車両のイグニッションオフ判定に応じて前記撮像部の前記撮像動作を第１の消費電力モードに設定し、
　前記撮像部により前記第１の消費電力モードで生成された第１の画像データに基づき周辺物体の動きが検出された場合に、前記撮像部の前記撮像動作が、前記第１の消費電力モードより消費電力の大きい第２の消費電力モードに設定される、
情報処理装置。
（１９）
　サイドミラー筐体を含む車両に設けられ、撮像に応じて画像データを生成する撮像装置と、
　前記撮像装置と通信し、前記撮像装置の撮像動作および撮像方向を制御する制御装置と、
を含み、
　前記制御装置は、
　前記サイドミラー筐体の状態に応じて前記撮像装置の前記撮像方向を制御し、
　前記車両のイグニッションオフ判定に応じて前記撮像装置の前記撮像動作を第１の消費電力モードに設定し、
　前記撮像装置は、
　前記第１の消費電力モードで生成された第１の画像データに基づき周辺物体の動きが検出された場合に、前記撮像動作が前記第１の消費電力モードより消費電力の大きい第２の消費電力モードに設定される、
車載監視システム。
１，１ａ，１ｂ　車載監視装置
１０，１０ａ，３１００　イメージセンサ
１１　検知ユニット
２０，２０ａ，３２００　ＥＣＵ
３０ａ　高解像度画像
３０ｂ，３０ｂdet2　中解像度画像
３０ｃ，３０ｃdet1　低解像度画像
６０，６０Ｌ，６０Ｒ　サイドミラー
６１　ミラー部
６２　アーム部
６３　軸
７０　サイドミラーカメラ
７１　レンズ部
７２，７２ａ　カメラ固定治具
７５ａ，７５ｂ　カメラ固定治具駆動部
７６ａ，７６ｂ　駆動制御部
７７ｖ，７７ｈ　駆動回路
７８ｖ，７８ｈ　モータ
８４　カラーフィルタ部
１００　撮像部
１０１　検知部
１１０　撮像ブロック
１１１　撮像ユニット
１１２　撮像処理部
１２０　信号処理ブロック
１２１　センサ制御部
１２２　信号処理部
２００　認知部
２０１　判定部
２０２　制御部
１００００　車両
１００１１　車両制御システム
１００２６　車内センサ
１００２７　車両センサ
１００５１　カメラ

Claims (19)

  1. 　サイドミラー筐体を含む車両に設けられ、撮像に応じて画像データを生成する撮像部と、
    　前記撮像部の撮像動作および撮像方向を制御する制御部と、
    を備え、
    　前記制御部は、
    　前記サイドミラー筐体の状態に応じて前記撮像部の前記撮像方向を制御し、
    　前記車両のイグニッションオフ判定に応じて前記撮像部の前記撮像動作を第１の消費電力モードに設定し、
    　前記撮像部は、
    　前記第１の消費電力モードで生成された第１の画像データに基づき周辺物体の動きが検出された場合に、前記撮像動作が前記第１の消費電力モードより消費電力の大きい第２の消費電力モードに設定される、
    車載監視装置。
  2. 　前記第２の消費電力モードは、前記撮像部により生成される画像データの最大の解像度より低い解像度の第２の画像データを生成するモードであり、前記第１の消費電力モードは、前記第２の画像データより低い解像度の前記第１の画像データを生成するモードである、
    請求項１に記載の車載監視装置。
  3. 　前記制御部は、
    　前記撮像部により前記第２の消費電力モードで生成された第２の画像データに基づき人または前記車両に危害を与える可能性がある物体が検出された場合に、前記撮像部の前記撮像動作を、前記第２の消費電力モードより消費電力の大きい第３の消費電力モードに設定する、
    請求項１に記載の車載監視装置。
  4. 　前記第３の消費電力モードは、前記第２の消費電力モードで生成される第２の画像データより解像度の高い第３の画像データを生成するモードである、
    請求項３に記載の車載監視装置。
  5. 　前記制御部は、
    　前記第３の画像データを記録部に記録する、
    請求項４に記載の車載監視装置。
  6. 　前記制御部は、
    　前記撮像部の前記撮像方向を、前記サイドミラー筐体の状態に応じて、前記サイドミラー筐体の展開時における撮像方向を維持するように制御する、
    請求項１に記載の車載監視装置。
  7. 　前記制御部は、
    　前記撮像部の前記撮像方向を、前記サイドミラー筐体の格納時に、前記サイドミラー筐体の展開時における前記撮像方向を維持するように制御する、
    請求項６に記載の車載監視装置。
  8. 　前記制御部は、
    　前記サイドミラー筐体を駆動する駆動情報と、前記撮像部の前記サイドミラー筐体に対する撮像方向を変更するための駆動情報と、に基づき、前記撮像部の前記撮像方向を制御する、
    請求項６に記載の車載監視装置。
  9. 　前記制御部は、
    　前記車両の姿勢を示す姿勢情報と、前記撮像部の姿勢を示す姿勢情報と、に基づき前記撮像部の前記撮像方向を制御する、
    請求項６に記載の車載監視装置。
  10. 　前記制御部は、
    　前記撮像部により生成された画像データに基づき対象物が検出された場合に、前記対象物の方向を撮像した画像データを取得する、
    請求項１に記載の車載監視装置。
  11. 　前記制御部は、
    　前記撮像部による前記撮像方向を、前記対象物の方向に変更する、
    請求項１０に記載の車載監視装置。
  12. 　前記制御部は、
    　前記車両の車内に設けられた車内カメラによる撮像方向を、前記対象物の方向に変更する、
    請求項１０に記載の車載監視装置。
  13. 　前記制御部は、
    　前記撮像部により前記第１の消費電力モードで生成された前記第１の画像データに基づき前記対象物が検出された場合に、前記対象物の方向を撮像した、前記第１の画像データより解像度の高い画像データを取得する、
    請求項１０に記載の車載監視装置。
  14. 　前記撮像部と前記制御部とが一体で構成される、
    請求項１に記載の車載監視装置。
  15. 　前記撮像部と前記制御部とが別体で構成される、
    請求項１に記載の車載監視装置。
  16. 　前記制御部は、後段の処理を実行する処理部の構成に含まれる、
    請求項１５に記載の車載監視装置。
  17. 　前記撮像部は、
    　前記車両の前記サイドミラー筐体に設けられる第１および第２のカメラと、前記車両の前後に設けられる第３および第４のカメラと、前記車両の車内に設けられる車内カメラと、を含む、
    請求項１に記載の車載監視装置。
  18. 　撮像に応じて画像データを生成する、サイドミラー筐体を含む車両に設けられる撮像部の撮像動作および撮像方向を制御する制御部、
    を備え、
    　前記制御部は、
    　前記サイドミラー筐体の状態に応じて前記撮像部の前記撮像方向を制御し、
    　前記車両のイグニッションオフ判定に応じて前記撮像部の前記撮像動作を第１の消費電力モードに設定し、
    　前記撮像部により前記第１の消費電力モードで生成された第１の画像データに基づき周辺物体の動きが検出された場合に、前記撮像部の前記撮像動作が、前記第１の消費電力モードより消費電力の大きい第２の消費電力モードに設定される、
    情報処理装置。
  19. 　サイドミラー筐体を含む車両に設けられ、撮像に応じて画像データを生成する撮像装置と、
    　前記撮像装置と通信し、前記撮像装置の撮像動作および撮像方向を制御する制御装置と、
    を含み、
    　前記制御装置は、
    　前記サイドミラー筐体の状態に応じて前記撮像装置の前記撮像方向を制御し、
    　前記車両のイグニッションオフ判定に応じて前記撮像装置の前記撮像動作を第１の消費電力モードに設定し、
    　前記撮像装置は、
    　前記第１の消費電力モードで生成された第１の画像データに基づき周辺物体の動きが検出された場合に、前記撮像動作が前記第１の消費電力モードより消費電力の大きい第２の消費電力モードに設定される、
    車載監視システム。
PCT/JP2023/007277 2022-07-26 2023-02-28 車載監視装置、情報処理装置および車載監視システム WO2024024148A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-118660 2022-07-26
JP2022118660 2022-07-26

Publications (1)

Publication Number Publication Date
WO2024024148A1 true WO2024024148A1 (ja) 2024-02-01

Family

ID=89705922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/007277 WO2024024148A1 (ja) 2022-07-26 2023-02-28 車載監視装置、情報処理装置および車載監視システム

Country Status (1)

Country Link
WO (1) WO2024024148A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240107185A1 (en) * 2022-09-23 2024-03-28 Pixart Imaging Inc. Motion sensor and motion detection system using the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009006974A (ja) * 2007-06-29 2009-01-15 Denso Corp サイドミラー装置およびサイドミラーシステム
JP2012242993A (ja) * 2011-05-18 2012-12-10 Nissan Motor Co Ltd 移動体監視装置及び移動体の監視方法
JP2018014554A (ja) * 2016-07-19 2018-01-25 株式会社クボタ 作業車
WO2019003826A1 (ja) * 2017-06-27 2019-01-03 ソニーセミコンダクタソリューションズ株式会社 撮像装置、車両利用システム、および車両監視システム
WO2020129279A1 (ja) * 2018-12-19 2020-06-25 株式会社Ｊｖｃケンウッド 記録制御装置、記録制御システム、記録制御方法、および記録制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009006974A (ja) * 2007-06-29 2009-01-15 Denso Corp サイドミラー装置およびサイドミラーシステム
JP2012242993A (ja) * 2011-05-18 2012-12-10 Nissan Motor Co Ltd 移動体監視装置及び移動体の監視方法
JP2018014554A (ja) * 2016-07-19 2018-01-25 株式会社クボタ 作業車
WO2019003826A1 (ja) * 2017-06-27 2019-01-03 ソニーセミコンダクタソリューションズ株式会社 撮像装置、車両利用システム、および車両監視システム
WO2020129279A1 (ja) * 2018-12-19 2020-06-25 株式会社Ｊｖｃケンウッド 記録制御装置、記録制御システム、記録制御方法、および記録制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240107185A1 (en) * 2022-09-23 2024-03-28 Pixart Imaging Inc. Motion sensor and motion detection system using the same

Similar Documents

Publication Publication Date Title
JP6795030B2 (ja) 撮像制御装置及び撮像制御方法、並びに撮像装置
KR102613792B1 (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
US11895398B2 (en) Imaging device and imaging system
US10704957B2 (en) Imaging device and imaging method
WO2020196092A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
JP7500798B2 (ja) 固体撮像装置、補正方法、および電子装置
WO2020080383A1 (ja) 撮像装置及び電子機器
DE112019001772T5 (de) Bildgebungsvorrichtung
US11585898B2 (en) Signal processing device, signal processing method, and program
US20220148432A1 (en) Imaging system
WO2024024148A1 (ja) 車載監視装置、情報処理装置および車載監視システム
JP2018064007A (ja) 固体撮像素子、および電子装置
JP6981416B2 (ja) 画像処理装置と画像処理方法
CN115918101A (zh) 摄像装置、信息处理装置、摄像***和摄像方法
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2021125076A1 (ja) 情報処理装置、情報処理方法、プログラム、撮像装置及び撮像システム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2024106196A1 (ja) 固体撮像装置および電子機器
WO2024106132A1 (ja) 固体撮像装置および情報処理システム
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2022153888A1 (ja) 固体撮像装置、固体撮像装置の制御方法及び固体撮像装置の制御プログラム
JP2024085173A (ja) 固体撮像装置及び電子機器
KR20200119790A (ko) 인식 장치와 인식 방법 그리고 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23845888

Country of ref document: EP

Kind code of ref document: A1