WO2018101063A1 - カメラモニタシステム、画像処理装置、車両及び画像処理方法 - Google Patents

カメラモニタシステム、画像処理装置、車両及び画像処理方法 Download PDF

Info

Publication number
WO2018101063A1
WO2018101063A1 PCT/JP2017/041284 JP2017041284W WO2018101063A1 WO 2018101063 A1 WO2018101063 A1 WO 2018101063A1 JP 2017041284 W JP2017041284 W JP 2017041284W WO 2018101063 A1 WO2018101063 A1 WO 2018101063A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
captured
captured image
vehicle
Prior art date
Application number
PCT/JP2017/041284
Other languages
English (en)
French (fr)
Inventor
須永　敏弘
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US16/464,776 priority Critical patent/US10893214B2/en
Priority to EP17876036.9A priority patent/EP3550819B1/en
Publication of WO2018101063A1 publication Critical patent/WO2018101063A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0085—Adjustable or movable supports with adjustment by rotation in their operational position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Definitions

  • the present disclosure relates to a camera monitor system, an image processing apparatus, a vehicle, and an image processing method.
  • a camera monitor system that captures an external region of a moving body such as a vehicle and displays the captured image on a monitor is known. Unlike the conventional optical mirror, the camera monitor system indirectly looks around the vehicle.
  • Patent Document 1 discloses a camera monitor system that changes the angle of view of an in-vehicle camera in accordance with the traveling speed of a vehicle.
  • the camera monitor system disclosed in Patent Document 1 reduces the angle of view of the in-vehicle camera when the traveling speed of the vehicle is low, and increases the angle of view of the in-vehicle camera when the traveling speed is high. Thereby, the characteristic of the driver's field of view that the field of view is reduced when traveling at high speed can be complemented.
  • Patent Document 2 discloses a camera monitor system that determines whether or not a change has occurred in the traveling direction of the vehicle and changes the shooting direction so as to follow the change in the traveling direction of the vehicle. Thereby, even when the road is curved, it is possible to acquire appropriate information.
  • a camera monitor system includes a first camera that captures an area that includes a predetermined area on the left side of the vehicle, a second camera that captures an area that includes the predetermined area on the right side of the vehicle, and the vehicle And a third camera that captures an area including a predetermined area behind.
  • the camera system further includes a composite image including a first captured image captured by the first camera, a second captured image captured by the second camera, and a third captured image captured by the third camera.
  • An image processing apparatus captures a first captured image captured by a first camera that captures a region including a predetermined region on the left side of the vehicle and a region including a predetermined region on the right side of the vehicle.
  • a communication unit that receives a second captured image captured by the second camera and a third captured image captured by a third camera that captures a region including a predetermined region behind the vehicle.
  • the image processing apparatus further includes an image processor that controls a layout of the composite image on a monitor that displays the composite image including the first captured image, the second captured image, and the third captured image. The image processor changes the layout according to at least one of moving body information and environment information.
  • a vehicle includes a camera monitor system.
  • the camera monitor system includes a first camera that captures an area including a predetermined area on the left side of the vehicle, a second camera that captures an area including a predetermined area on the right side of the vehicle, and a predetermined area behind the vehicle. And a third camera that images the region.
  • the camera monitor system further includes a composite image including a first captured image captured by the first camera, a second captured image captured by the second camera, and a third captured image captured by the third camera.
  • the image processor changes the layout according to at least one of moving body information and environment information.
  • An image processing method is an image processing method in a camera monitor system including a first camera, a second camera, a third camera, a monitor, and an image processor.
  • the first camera images a region including a predetermined region on the left side of the vehicle
  • the second camera images a region including a predetermined region on the right side of the vehicle
  • the third camera imaging an area including a predetermined area behind the vehicle.
  • the image processing method further includes a step in which the image processor controls a layout of a composite image displayed on the monitor according to at least one of moving body information and environment information, and the monitor includes the composite image. Displaying.
  • the composite image includes a first captured image captured by the first camera, a second captured image captured by the second camera, and a third captured image captured by the third camera.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a camera monitor system according to an embodiment of the present disclosure. It is the figure which looked at the vehicle provided with a camera monitor system from the left side. It is the figure which looked at the vehicle provided with a camera monitor system from the upper part. It is a side view of an example of the display range in the 1st mode. It is a top view of an example of a display range in the first mode. It is a side view of an example of the display range in the 2nd mode. It is a top view of an example of a display range in the second mode. It is an example of the layout at the time of displaying the image of the left side and the right side in portrait orientation.
  • positioning It is a side view of an example of the imaging range in the 1st mode. It is a top view of an example of an imaging range in the first mode. It is a side view of an example of the imaging range in the 2nd mode. It is a top view of an example of an imaging range in the second mode. It is a side view of the other example of the imaging range in 1st mode. It is a top view of other examples of the imaging range in the first mode. It is a side view of the other example of the imaging range in 2nd mode. It is a top view of other examples of the imaging range in the second mode.
  • the camera monitor system 1 includes a first camera 10, a second camera 20, a third camera 30, a monitor 40, and an image processing device 50.
  • Each component of the camera monitor system 1 can transmit and receive information via the network 60, for example.
  • the network 60 may include at least one of a wireless network and a wired network, for example.
  • the wired network may include a CAN (Controller Area Network) or the like.
  • some or all of the components of the camera monitor system 1 may be integrally configured as one device.
  • the structure etc. which incorporate the image processing apparatus 50 in the 1st camera 10, the 2nd camera 20, the 3rd camera 30, or the monitor 40 can be considered.
  • the first camera 10, the second camera 20, the third camera 30, the monitor 40, and the image processing device 50 may be provided in a moving body 61.
  • the “mobile body” in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like.
  • the vehicle may include, for example, an automobile, an industrial vehicle, a railway vehicle, a living vehicle, a fixed wing aircraft that runs on a runway, and the like.
  • Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses, and the like.
  • Industrial vehicles may include, for example, industrial vehicles for agriculture and construction.
  • Industrial vehicles may include, for example, forklifts and golf carts.
  • Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combiners, lawn mowers, and the like.
  • Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, crane trucks, dump trucks, road rollers, and the like.
  • the vehicle may include a vehicle that travels manually.
  • the classification of the vehicle is not limited to the example described above.
  • an automobile may include an industrial vehicle capable of traveling on a road. The same vehicle may be included in multiple classifications.
  • the ship may include, for example, a marine jet, a boat, a tanker, and the like.
  • Aircraft may include, for example, fixed wing aircraft and rotary wing aircraft. 2 and 3 show an example when the moving body is a vehicle.
  • the first camera 10, the second camera 20, and the third camera 30 are devices that capture a range including a range defined in the agreement rule No. 46 regarding indirect field of view.
  • the first camera 10 captures an area including the left side of the vehicle defined in any of classes I-VI.
  • the second camera 20 captures an area including the right side of the vehicle defined in any of classes I-VI.
  • the third camera 30 captures an area including the rear of the vehicle that is defined as one of classes I-VI.
  • the positions of the first camera 10, the second camera 20, and the third camera 30 are arbitrary inside and outside the moving body 61 as long as they can capture the above-described region.
  • the first camera 10 is located on the left side of the moving body 61 in the example of FIG.
  • the first camera 10 images the range of class III in the example of FIG.
  • the second camera 20 is located on the right side of the moving body 61 in the example of FIG.
  • the second camera 20 images the range of class III in the example of FIG.
  • the third camera 30 is located behind the moving body 61 in the example of FIG.
  • the third camera 30 images the range of class I in the example of FIG.
  • the position of the monitor 40 is arbitrary inside the moving body 61.
  • the monitor 40 is located in the dashboard of the moving body 61.
  • the monitor 40 can be visually recognized by the driver 62.
  • the position of the image processing apparatus 50 is arbitrary inside the moving body 61.
  • the first camera 10 captures an area including the left side of the vehicle defined as class III.
  • the first camera 10 includes a first lens 11, a first image sensor 12, a first communication unit 13, and a first controller 14.
  • the first lens 11 forms a subject image.
  • the first lens 11 may include a diaphragm.
  • the first lens 11 may include one or more lenses.
  • the first image sensor 12 has a plurality of pixels arranged two-dimensionally.
  • the first image sensor 12 may include, for example, a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • the first image sensor 12 can capture a subject image formed by the first lens 11 and generate a captured image.
  • the first communication unit 13 may include a communication interface capable of communicating with an external device.
  • the first communication unit 13 may be capable of transmitting / receiving information via the network 60.
  • the external device may include an image processing device 50, for example.
  • the “communication interface” in the present disclosure may include, for example, a physical connector and a wireless communication device.
  • the physical connector may include an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves.
  • the electrical connector is a connector conforming to IEC 60603, a connector conforming to the USB standard, a connector corresponding to the RCA terminal, a connector corresponding to the S terminal defined in EIAJ CP-1211A, and a D terminal defined in EIAJ RC-5237.
  • a connector corresponding to a coaxial cable including a corresponding connector, a connector conforming to the HDMI (registered trademark) standard, and a BNC (British Naval connector or Baby-series N connector) may be included.
  • the optical connector may include various connectors conforming to IEC 61754.
  • the wireless communication device may include a wireless communication device that complies with each standard including Bluetooth (registered trademark) and IEEE802.11.
  • the wireless communication device includes at least one antenna.
  • the first controller 14 includes one or more processors.
  • the “processor” in the present disclosure may include a dedicated processor specialized for a specific process and a general-purpose processor that executes a specific function by reading a specific program.
  • the dedicated processor may include a DSP (Digital Signal Processor) and an application specific IC (ASIC; Application Specific Integrated Circuit).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the first controller 14 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or a plurality of processors cooperate.
  • the first controller 14 controls the entire operation of the first camera 10.
  • the first controller 14 may perform predetermined image processing on the generated captured image.
  • the image processing may include, for example, exposure adjustment processing, white balance processing, distortion correction processing, and the like.
  • the first controller 14 outputs an image captured by the first camera 10 to the image processing device 50 via the first communication unit 13.
  • the second camera 20 images a region including the right side of the vehicle defined as class III.
  • the second camera 20 includes a second lens 21, a second imaging element 22, a second communication unit 23, and a second controller 24.
  • the configurations and functions of the second lens 21, the second imaging element 22, the second communication unit 23, and the second controller 24 are the first lens 11, the first imaging element 12, the first communication unit 13, and the first controller 14, respectively. Since it is the same as that of the structure and function, detailed description is abbreviate
  • the 3rd camera 30 images the area
  • the third camera 30 includes a third lens 31, a third imaging device 32, a third communication unit 33, and a third controller 34.
  • the configurations and functions of the third lens 31, the third image sensor 32, the third communication unit 33, and the third controller 34 are the first lens 11, the first image sensor 12, the first communication unit 13, and the first controller 14, respectively. Since it is the same as that of the structure and function, detailed description is abbreviate
  • the monitor 40 may include a display such as a liquid crystal display and an organic EL (Electroluminescence) display.
  • the monitor 40 may display an image input from the image processing device 50 via the network 60, for example.
  • the monitor 40 may function as a touch screen that can accept user operations.
  • the monitor 40 may include a switch and a key that can accept an operation by the user.
  • the switch may include a physical switch and an electronic switch.
  • the key may include a physical key and an electronic key.
  • the monitor 40 converts an electrical signal such as a video signal into an image drawn with visible light.
  • the monitor 40 displays the image acquired from the image processing device 50.
  • the images acquired by the monitor 40 from the image processing device 50 are a first captured image that is an image captured by the first camera 10, a second captured image that is an image captured by the second camera 20, and an image captured by the third camera 30. It is an image containing the 3rd captured image which is the image which carried out.
  • an image including the first captured image, the second captured image, and the third captured image is also referred to as a composite image.
  • the image processing device 50 includes a communication unit 51, a storage unit 52, and an image processor 53.
  • the communication unit 51 may include a communication interface capable of communicating with various external devices.
  • External devices include, for example, the first camera 10, the second camera 20, the third camera 30, the monitor 40, an ECU (Electronic Control Unit or Engine Control Unit) provided in the moving body 61, a speed sensor, an acceleration sensor, and a rotation angle sensor. , Steering rudder angle sensor, engine speed sensor, accelerator sensor, brake sensor, illuminance sensor, raindrop sensor, mileage sensor, millimeter wave radar, ultrasonic sonar, obstacle detection device, ETC (Electronic ⁇ Toll Collection System) A receiving device, a GPS (Global Positioning System) device, a navigation device, a server on the Internet, a mobile phone, and the like may be included.
  • GPS Global Positioning System
  • the communication unit 51 may include communication interfaces for inter-vehicle communication, road-to-vehicle communication, and vehicle-to-vehicle communication.
  • the communication unit 51 may include a receiver that supports optical beacons of DSRC (Dedicated Short-Range Communication) and VICS (Registered Trademark) (Vehicle Information Communication System) provided in Japan.
  • the communication unit 51 may include a receiver corresponding to a road traffic information providing system in another country.
  • the communication unit 51 may be able to acquire various information from an external device.
  • the communication unit 51 may be able to acquire mobile body information and environment information.
  • the moving body information may include arbitrary information regarding the moving body 61.
  • the moving body information includes, for example, the speed, acceleration, turning gravity, inclination, direction, and turning state of the moving body 61, the steering wheel steering angle, the temperature of the cooling water, the remaining amount of fuel, the remaining amount of the battery, the voltage of the battery, Engine speed, gear position, presence / absence of reverse signal, presence / absence of accelerator operation, accelerator opening, presence / absence of brake operation, brake depression, presence / absence of parking brake, front / rear wheel or four-wheel speed difference, tire pressure, damper Expansion / contraction amount, driver's eye space position, number of passengers and seat position, seat belt mounting information, door opening / closing, window opening / closing, interior temperature, air conditioning operation status, air conditioning set temperature, air conditioning air flow rate , Setting of outside air circulation, wiper operating status, travel mode, connection information with external device, current time, average fuel consumption, instantaneous fuel consumption, lighting state of various lamps, position information of moving body 61 And it may include
  • the environment information may include arbitrary information related to the external environment of the moving body 61.
  • the environmental information is, for example, brightness around the moving body 61, weather, barometric pressure, outside air temperature, map information, traffic information, road information, road construction information, temporary change in speed limit of the travel path, and detection by other vehicles
  • the target object, the lighting state of the traffic light, and the like may be included.
  • the storage unit 52 may include a temporary storage device and a secondary storage device.
  • the storage unit 52 may be configured using, for example, a semiconductor memory, a magnetic memory, an optical memory, or the like.
  • the semiconductor memory may include volatile memory and non-volatile memory.
  • the magnetic memory may include, for example, a hard disk and a magnetic tape.
  • the optical memory may include, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), and a BD (Blu-ray (registered trademark) Disc) (registered trademark).
  • the storage unit 52 stores various information and programs necessary for the operation of the image processing apparatus 50.
  • the image processor 53 includes one or more processors.
  • the image processor 53 controls the overall operation of the image processing apparatus 50.
  • the image processor 53 acquires the first captured image from the first camera 10, the second captured image from the second camera 20, and the third captured image from the third camera 30 via the communication unit 51.
  • the image processor 53 creates a composite image including the first captured image, the second captured image, and the third captured image, and transmits the created composite image to the monitor 40 via the communication unit 51.
  • the image processor 53 may acquire mobile body information and environment information from an external device via the communication unit 51.
  • the image processor 53 controls the layout of the composite image according to at least one of the moving body information and the environment information.
  • the layout means the shape of each image included in the composite image, the size of each image included in the composite image, the arrangement of each image in the composite image, and the like.
  • the shape or size of each image is changed by changing the layout, the range of the external area displayed by each image may be changed.
  • the image processor 53 may cut out a necessary range from the first captured image when creating a composite image. For example, when the first captured image has a horizontally long shape, the image processor 53 cuts out a horizontally long range from the acquired first captured image and creates a composite image. For example, when the first captured image has a vertically long shape, the image processor 53 cuts out a vertically long range from the acquired first captured image and creates a composite image. The image processor 53 may cut out a necessary range for the second captured image and the third captured image as in the case of the first captured image.
  • the state in which the image processor 53 has the first captured image and the second captured image in a vertically long shape in the composite image is also referred to as a first mode.
  • the state in which the image processor 53 makes the first captured image and the second captured image have a horizontally long shape in the composite image is also referred to as a second mode.
  • FIG. 4A to 4D show examples of the display range of the first captured image in the first mode and the second mode.
  • FIG. 4A is a side view in the first mode.
  • FIG. 4B is a top view in the first mode.
  • FIG. 4C is a side view in the second mode.
  • FIG. 4D is a top view in the second mode.
  • the vertical range 101 of the first captured image displayed in the first mode is wider than the vertical range 103 of the first captured image displayed in the second mode.
  • the lateral range 104 of the first captured image displayed in the second mode is wider than the lateral range 102 of the first captured image displayed in the first mode.
  • the image processor 53 displays the first captured image and the second captured image in either the first mode or the second mode so that the driver 62 can confirm an appropriate range according to the moving body information and the environment information. To control.
  • the image processor 53 controls to display the first captured image and the second captured image in the first mode. For example, when traveling at high speed, turning left and right, changing lanes, and traveling in multiple lanes, it is important that the lateral direction can be viewed widely. Therefore, the image processor 53 performs control so that the first captured image and the second captured image are displayed in the second mode.
  • the image processor 53 detects that the moving body 61 is traveling at a predetermined speed or more, it determines that the moving body 61 is in a high-speed traveling state.
  • the image processor 53 can detect that the moving body 61 is turning right or left or changing lanes by turning on the turn signal.
  • the image processor 53 can detect that the moving body 61 is turning right or left or changing lanes by detecting the operation of the turn signal switch.
  • the image processor 53 can detect from the moving body information whether the speed of the moving body 61, the gear of the moving body 61 is set to reverse, the turn signal switch is operated, or the like.
  • the image processor 53 can detect whether or not the moving body 61 is traveling in a plurality of lanes from the environmental information. For example, the image processor 53 can detect whether the moving body 61 is traveling in a plurality of lanes from road information acquired from the navigation device.
  • FIG. 5 shows an example of the layout of the composite image 110 in the first mode.
  • the first captured image 111 is displayed vertically on the left side.
  • the second captured image 112 is displayed vertically on the right side.
  • the third captured image 113 is displayed horizontally long below the center.
  • Other images 114 are displayed at the upper center.
  • the other image 114 may be, for example, an image of a car navigation system or an image of a peripheral monitoring camera.
  • FIG. 6 shows an example of the layout of the composite image 110 in the second mode.
  • the first captured image 111 is displayed horizontally in the lower left.
  • the second captured image 112 is displayed horizontally in the lower right.
  • the third captured image 113 is displayed horizontally in the upper right.
  • the other image 114 is displayed on the upper left.
  • the other image 114 may be, for example, an image of a car navigation system or an image of a peripheral monitoring camera.
  • FIG. 7A, FIG. 7B, FIG. 8A, and FIG. 8B are diagrams showing examples of layouts when the vertical length of the composite image is shorter than in FIG. 5 and FIG.
  • the 7A and 7B are variations of the layout in the first mode.
  • the first captured image 111 is displayed on the left side.
  • the first captured image 111 is a portion cut out from a vertically long image so as to exclude the protruding portion 121 below.
  • the second captured image 112 is displayed on the right side.
  • the second captured image 112 is a portion cut out from a vertically long image so as to exclude the protruding portion 122 below.
  • the third captured image 113 is displayed at the center.
  • the layout shown in FIG. 7A is suitable, for example, when the moving body 61 is traveling at a normal speed.
  • the first captured image 111 is displayed on the left side.
  • the first captured image 111 is a portion cut out from a vertically long image so as to exclude the upper protruding portion 121.
  • the second captured image 112 is displayed on the right side.
  • the second captured image 112 is a portion cut out from a vertically long image so as to exclude the upper protruding portion 122.
  • the third captured image 113 is displayed at the center.
  • the layout shown in FIG. 7B is suitable, for example, when the moving body 61 is traveling in the back during parking.
  • FIG. 8A and FIG. 8B are modified examples of the layout in the second mode.
  • the first captured image 111 is displayed on the left side.
  • the first captured image 111 is a portion cut out from a horizontally long image so as to exclude the left protruding portion 121.
  • the second captured image 112 is displayed on the right side.
  • the second captured image 112 is a portion cut out from a horizontally long image so as to exclude the right protruding portion 122.
  • the third captured image 113 is displayed at the center.
  • the size of the first captured image 111 and the size of the second captured image 112 are equal.
  • the layout shown in FIG. 8A is suitable, for example, when the moving body 61 is traveling at a high speed.
  • the first captured image 111 is displayed on the left side.
  • the first captured image 111 is a portion cut out from a horizontally long image so as to exclude the left protruding portion 121.
  • the second captured image 112 is displayed on the right side.
  • the third captured image 113 is displayed at the center.
  • the size of the second captured image 112 is larger than the size of the first captured image 111.
  • the layout shown in FIG. 8B is suitable, for example, when the moving body 61 makes a right turn or joins an overtaking lane.
  • the camera monitor system 2 includes a first camera 10, a first drive unit 15, a second camera 20, a second drive unit 25, and a third camera 30. , A monitor 40, an image processing device 50, and a controller 70.
  • the first drive unit 15 drives the rotation of the first camera 10.
  • the first drive unit 15 can rotate the first camera 10 without changing the optical axis, or can rotate the first camera 10 after tilting the optical axis.
  • the second drive unit 25 drives the rotation of the second camera 20.
  • the second drive unit 25 can rotate the second camera 20 without changing the optical axis, or can rotate the second camera 20 after tilting the optical axis.
  • the controller 70 controls the operation of the first drive unit 15 and the second drive unit 25.
  • the controller 70 includes a communication unit 71 and a processor 72.
  • the communication unit 71 may include a communication interface capable of communicating with various external devices.
  • the external device includes, for example, an ECU (Electronic) provided in the first camera 10, the first drive unit 15, the second camera 20, the second drive unit 25, the third camera 30, the monitor 40, the image processing device 50, and the moving body 61.
  • ECU Electronic
  • the communication unit 71 may include a communication interface for inter-vehicle communication, road-vehicle communication, and vehicle-vehicle communication.
  • the communication unit 71 may include a receiver that supports optical beacons of DSRC (Dedicated Short-Range Communication) and VICS (Registered Trademark) (Vehicle Information Communication System) provided in Japan.
  • the communication unit 71 may include a receiver corresponding to a road traffic information providing system in another country.
  • the communication unit 71 may be able to acquire various information from an external device.
  • the communication unit 71 may be able to acquire mobile body information and environment information.
  • the processor 72 includes one or more processors.
  • the processor 72 controls the overall operation of the controller 70.
  • the processor 72 controls the operations of the first drive unit 15 and the second drive unit 25.
  • the first lens 11 of the first camera 10 and the second lens 21 of the second camera 20 are not ultra-wide-angle lenses. Therefore, for example, the range of the first captured image captured by the first camera 10 is not wide enough to cut out both a vertically long image and a horizontally long image including the desired range.
  • the camera monitor system 2 according to the first modification can reduce the cost because the first lens 11 and the second lens 21 do not need to be super-wide-angle lenses.
  • the first image sensor 12 and the second image sensor 22 of the camera monitor system 2 according to the first modification image a rectangular range.
  • the first drive unit 15 can rotate the first camera 10 to arrange the first captured image in a horizontally long or vertically long arrangement.
  • the second drive unit 25 can rotate the second camera 20 to place the second captured image in a horizontally long or vertically long arrangement.
  • FIG. 10A shows the state of the imaging range when the first imaging element 12 is arranged horizontally.
  • FIG. 10B shows the state of the imaging range when the first imaging element 12 is arranged vertically.
  • the first captured image is horizontally long.
  • the first captured image is vertically long.
  • the first controller 14 of the first camera 10 displays the first captured image so that the upper side of the first camera 10 and the upper side of the first captured image coincide with each other.
  • the first captured image is converted and transmitted to the image processing device 50.
  • the conversion of the first captured image may be performed by the image processor 53 of the image processing apparatus 50.
  • the second controller 24 of the second camera 20 displays the second captured image so that the upper side of the second camera 20 and the upper side of the second captured image coincide with each other.
  • the second captured image is converted and transmitted to the image processing device 50.
  • the conversion of the second captured image may be performed by the image processor 53 of the image processing device 50.
  • FIGS. 11A to 11D show examples of imaging ranges of the first camera 10 in the first mode and the second mode.
  • the first drive unit 15 rotates the first camera 10 without changing the optical axis.
  • FIG. 11A is a side view in the first mode.
  • FIG. 11B is a top view in the first mode.
  • FIG. 11C is a side view in the second mode.
  • FIG. 11D is a top view in the second mode.
  • the vertical range 101 captured by the first camera 10 in the first mode is wider than the vertical range 103 captured by the first camera 10 in the second mode.
  • the horizontal range 104 captured by the first camera 10 in the second mode is better than the horizontal range 102 of the first captured image captured by the first camera 10 in the first mode. wide.
  • FIGS. 12A to 12D show examples of the imaging range of the first camera 10 in the first mode and the second mode.
  • the first drive unit 15 rotates the first camera 10 with the optical axis tilted.
  • the first drive unit 15 sets the direction of the optical axis upward and outward in the second mode than in the first mode.
  • the driver 62 can view a range suitable for the situation.
  • FIG. 12A is a side view in the first mode.
  • FIG. 12B is a top view in the first mode.
  • FIG. 12C is a side view in the second mode.
  • FIG. 12D is a top view in the second mode.
  • the vertical range 101 captured by the first camera 10 in the first mode is wider than the vertical range 103 captured by the first camera 10 in the second mode.
  • the lateral range 104 captured by the first camera 10 in the second mode is better than the lateral range 102 of the first captured image captured by the first camera 10 in the first mode. wide.
  • FIG. 13 shows an example of a mechanism in which the first drive unit 15 rotates the first camera 10.
  • the first camera 10 includes a gear 131 fixed to the casing of the first camera 10.
  • the first drive unit 15 includes a gear 132 that meshes with the gear 131.
  • the first drive unit 15 rotates the gear 132 to drive the gear 131 to rotate the first camera 10.
  • the second drive unit 25 can rotate the second camera 20.
  • the camera monitor system 3 includes a first camera 10a, a second camera 20a, a third camera 30, a monitor 40, an image processing device 50, and a controller 70. Is provided.
  • the first camera 10a includes a first drive unit 15 in addition to the first camera 10 shown in FIG.
  • the second camera 20a includes a second drive unit 25 in addition to the second camera 20 shown in FIG.
  • the first drive unit 15 drives and rotates the first lens 11 and the first image sensor 12 as a unit. Alternatively, the first drive unit 15 drives and rotates only the first image sensor 12.
  • the second drive unit 25 drives and rotates the second lens 21 and the second image sensor 22 as a unit. Alternatively, the second drive unit 25 drives and rotates only the second image sensor 22.
  • FIG. 15 shows an example of a mechanism in which the first driving unit 15 rotates the first lens 11 and the first imaging element 12 as a unit.
  • the first lens 11 and the first image sensor 12 are coupled so as to rotate as a unit.
  • the first lens 11 includes a gear 133 fixed to the first lens 11.
  • the first drive unit 15 includes a gear 134 that meshes with the gear 133.
  • the first drive unit 15 rotates the gear 134 to drive the gear 133 to rotate the first lens 11 and the first image sensor 12 as a unit.
  • the second drive unit 25 can rotate the second lens 21 and the second imaging element 22 as a unit.
  • FIG. 16 shows an example of a mechanism in which the first driving unit 15 rotates only the first image sensor 12.
  • the first lens 11 and the first image sensor 12 are configured such that the first image sensor 12 can rotate independently of the first lens 11.
  • the first image sensor 12 includes a gear 135 fixed to the first image sensor 12.
  • the first drive unit 15 includes a gear 136 that meshes with the gear 135.
  • the first drive unit 15 rotates the gear 136 to drive the gear 135 to rotate only the first image sensor 12.
  • the second drive unit 25 can rotate only the second image sensor 22.
  • the second modification is the same as the first modification, and thus the description thereof is omitted.
  • the camera monitor system 4 according to the third modification is obtained by adding a switch 80 to the camera monitor system 2 according to the first modification shown in FIG.
  • Switch 80 is a switch for switching between the first mode and the second mode.
  • the first drive unit 15 rotates the first camera 10 so that the first captured image becomes vertically long.
  • the second drive unit 25 rotates the second camera 20 so that the second captured image is vertically long.
  • the driver 62 switches to the second mode with the switch 80
  • the first drive unit 15 rotates the first camera 10 so that the first captured image is horizontally long.
  • the second driving unit 25 rotates the second camera 20 so that the second captured image is horizontally long.
  • the position of the switch 80 is arbitrary inside the moving body 61 as long as the driver 62 can operate it while the moving body 61 is traveling.
  • the switch 80 is located at the right back of the steering wheel 64 on the dashboard 63.
  • the switch 80 may be mounted on the steering wheel 64.
  • the switch 80 is not limited to a physical switch, and may be displayed as a switch button on a car navigation screen.
  • the image processor 53 determines the first captured image and the second captured image according to at least one of the moving body information and the environment information. And the layout of the composite image including the third captured image is changed.
  • the driver 62 who visually recognizes the composite image can recognize a region suitable for the situation of the moving body 61. For this reason, the convenience of the technique which displays the captured image of the external area
  • each component and function of the camera monitor systems 1 to 4 may be rearranged.
  • part or all of the configuration and functions of the image processing apparatus 50 may be included in any of the first camera 10, the second camera 20, the third camera 30, and the monitor 40.
  • the image processing apparatus 50 or the like may be realized as a communication device such as a mobile phone or an external server, and may be connected to other components of the camera monitor systems 1 to 4 by wire or wireless.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

カメラモニタシステムは、車両の左側方の所定領域を含む領域を撮像する第１カメラと、車両の右側方の所定領域を含む領域を撮像する第２カメラと、車両の後方の所定領域を含む領域を撮像する第３カメラと、を備える。カメラモニタシステムは、さらに、第１カメラが撮像した第１撮像画像と、第２カメラが撮像した第２撮像画像と、第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、合成画像のレイアウトを制御する画像プロセッサと、を備える。画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じてレイアウトを変更する。

Description

カメラモニタシステム、画像処理装置、車両及び画像処理方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１６－２３３４９０号（２０１６年１１月３０日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、カメラモニタシステム、画像処理装置、車両及び画像処理方法に関する。
　従来、車両等の移動体の外部領域を撮像し、撮像画像をモニタに表示させるカメラモニタシステムが知られている。カメラモニタシステムは、従来の光学的なミラーとは異なり、車両周囲を間接的に視るものである。
　例えば特許文献１には、車両の走行速度に応じて車載カメラの画角を変化させるカメラモニタシステムが開示されている。特許文献１のカメラモニタシステムは、車両の走行速度が遅いときは車載カメラの画角を小さくし、走行速度が速いときは車載カメラの画角を大きくする。これにより、高速走行時に視野が縮小するという運転者の視野の特性を補完することができる。
　例えば特許文献２には、車両の進行方向に変化が生じたか否かを判断し、車両の進行方向の変化に追従するように撮影方向を変更するカメラモニタシステムが開示されている。これにより、道路が曲がっている場合でも適切な情報を取得することが可能となる。
　従来、移動体の外部領域の撮像画像を表示する技術を改善する要求が高まっている。
特開２００６－２６４５７４号公報 国際公開第２００７／０３２４２７号
　本開示の一実施形態に係るカメラモニタシステムは、車両の左側方の所定領域を含む領域を撮像する第１カメラと、車両の右側方の所定領域を含む領域を撮像する第２カメラと、車両の後方の所定領域を含む領域を撮像する第３カメラと、を備える。前記カメラシステムは、さらに、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、前記合成画像のレイアウトを制御する画像プロセッサと、を備える。前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する。
　本開示の一実施形態に係る画像処理装置は、車両の左側方の所定領域を含む領域を撮像する第１カメラが撮像した第１撮像画像と、車両の右側方の所定領域を含む領域を撮像する第２カメラが撮像した第２撮像画像と、車両の後方の所定領域を含む領域を撮像する第３カメラが撮像した第３撮像画像とを受信する通信部を備える。前記画像処理装置は、さらに、前記第１撮像画像、前記第２撮像画像及び前記第３撮像画像を含む合成画像を表示するモニタにおける該合成画像のレイアウトを制御する画像プロセッサを備える。前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する。
　本開示の一実施形態に係る車両は、カメラモニタシステムを備える。前記カメラモニタシステムは、車両の左側方の所定領域を含む領域を撮像する第１カメラと、車両の右側方の所定領域を含む領域を撮像する第２カメラと、車両の後方の所定領域を含む領域を撮像する第３カメラと、を含む。前記カメラモニタシステムは、さらに、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、前記合成画像のレイアウトを制御する画像プロセッサと、を含む。前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する。
　本開示の一実施形態に係る画像処理方法は、第１カメラと、第２カメラと、第３カメラと、モニタと、画像プロセッサとを備えるカメラモニタシステムにおける画像処理方法である。前記画像処理方法は、前記第１カメラが、車両の左側方の所定領域を含む領域を撮像するステップと、前記第２カメラが、車両の右側方の所定領域を含む領域を撮像するステップと、前記第３カメラが、車両の後方の所定領域を含む領域を撮像するステップと、を含む。前記画像処理方法は、さらに、前記画像プロセッサが、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記モニタに表示される合成画像のレイアウトを制御するステップと、前記モニタが、前記合成画像を表示するステップと、を含む。前記合成画像は、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む。
本開示の一実施形態に係るカメラモニタシステムの概略構成を示すブロック図である。 カメラモニタシステムを備える車両を左側方から見た図である。 カメラモニタシステムを備える車両を上方から見た図である。 第１モードにおける表示範囲の一例の側面図である。 第１モードにおける表示範囲の一例の上面図である。 第２モードにおける表示範囲の一例の側面図である。 第２モードにおける表示範囲の一例の上面図である。 左側方及び右側方の画像を縦長で表示させた場合のレイアウトの一例である。 左側方及び右側方の画像を横長で表示させた場合のレイアウトの一例である。 左側方及び右側方の画像を切り出して表示させた場合のレイアウトの一例である。 左側方及び右側方の画像を切り出して表示させた場合のレイアウトの一例である。 左側方及び右側方の画像を切り出して表示させた場合のレイアウトの他の例である。 左側方及び右側方の画像を切り出して表示させた場合のレイアウトの他の例である。 本開示の一実施形態の第１変形例に係るカメラモニタシステムの概略構成を示すブロック図である。 撮像素子が横長の配置の場合の撮像範囲を示す図である。 撮像素子が縦長の配置の場合の撮像範囲を示す図である。 第１モードにおける撮像範囲の一例の側面図である。 第１モードにおける撮像範囲の一例の上面図である。 第２モードにおける撮像範囲の一例の側面図である。 第２モードにおける撮像範囲の一例の上面図である。 第１モードにおける撮像範囲の他の例の側面図である。 第１モードにおける撮像範囲の他の例の上面図である。 第２モードにおける撮像範囲の他の例の側面図である。 第２モードにおける撮像範囲の他の例の上面図である。 駆動部でカメラ全体を回転させる機構の一例を示す図である。 本開示の一実施形態の第２変形例に係るカメラモニタシステムの概略構成を示すブロック図である。 駆動部でカメラ及び撮像素子を回転させる機構の一例を示す図である。 駆動部で撮像素子を回転させる機構の一例を示す図である。 本開示の一実施形態の第３変形例に係るカメラモニタシステムの概略構成を示すブロック図である。 車内におけるスイッチの配置例を示す図である。
　以下、本開示の実施形態について、図面を参照して説明する。
（カメラモニタシステム）
　図１を参照して、本開示の一実施形態に係るカメラモニタシステム１について説明する。
　図１に示すように、カメラモニタシステム１は、第１カメラ１０と、第２カメラ２０と、第３カメラ３０と、モニタ４０と、画像処理装置５０とを備える。カメラモニタシステム１の各構成要素は、例えばネットワーク６０を介して情報を送受信可能である。ネットワーク６０は、例えば無線ネットワーク、及び有線ネットワークの少なくとも一方を含んでよい。有線ネットワークは、ＣＡＮ（Controller Area Network）等を含んでよい。
　他の実施形態において、カメラモニタシステム１の一部又は全部の構成要素が、１つの装置として一体的に構成されてよい。例えば、第１カメラ１０、第２カメラ２０、第３カメラ３０又はモニタ４０に、画像処理装置５０を内蔵させる構成等が考えられる。
　図２及び図３に示すように、第１カメラ１０、第２カメラ２０、第３カメラ３０、モニタ４０及び画像処理装置５０は、移動体６１に備えられてよい。本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。図２及び図３は、移動体が車両である場合の一例を示したものである。
　第１カメラ１０、第２カメラ２０及び第３カメラ３０は、間接視界に関する協定規則第４６号に規定される範囲を含む範囲を撮像するデバイスである。第１カメラ１０は、クラスＩ－ＶＩのいずれかに規定される車両の左側方を含む領域を撮像する。第２カメラ２０は、クラスＩ－ＶＩのいずれかに規定される車両の右側方を含む領域を撮像する。第３カメラ３０は、クラスＩ－ＶＩのいずれかに規定される車両の後方を含む領域を撮像する。
　第１カメラ１０、第２カメラ２０及び第３カメラ３０の位置は、上述の領域を撮像することが可能な位置であれば、移動体６１の内部及び外部において任意である。第１カメラ１０は、図３の例において移動体６１の左側に位置する。第１カメラ１０は、図３の例においてクラスＩＩＩの範囲を撮像する。第２カメラ２０は、図３の例において移動体６１の右側に位置する。第２カメラ２０は、図３の例においてクラスＩＩＩの範囲を撮像する。第３カメラ３０は、図３の例において移動体６１の後方に位置する。第３カメラ３０は、図３の例においてクラスＩの範囲を撮像する。モニタ４０の位置は、移動体６１の内部において任意である。例えば図２に示すように、モニタ４０は、移動体６１のダッシュボードの中に位置する。モニタ４０は、運転者６２によって視認可能である。画像処理装置５０の位置は、移動体６１の内部において任意である。
（第１カメラ）
　第１カメラ１０は、上述のように、クラスＩＩＩとして規定される車両の左側方を含む領域を撮像する。第１カメラ１０は、例えば図１に示すように、第１レンズ１１と、第１撮像素子１２と、第１通信部１３と、第１コントローラ１４とを備える。
　第１レンズ１１は、被写体像を結像させる。例えば、第１レンズ１１は、絞りを含んでよい。第１レンズ１１は、１つ以上のレンズを含んでよい。
　第１撮像素子１２は、２次元配列された複数の画素を有する。第１撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）撮像素子又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。第１撮像素子１２は、第１レンズ１１によって結像される被写体像を撮像して、撮像画像を生成可能である。
　第１通信部１３は、外部装置と通信可能な通信インタフェースを含んでよい。第１通信部１３は、ネットワーク６０を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置５０を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ　ＣＰ－１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ　ＲＣ－５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣ（British Naval Connector又はBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ　６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。
　第１コントローラ１４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、及び特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）及び特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。第１コントローラ１４は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。
　第１コントローラ１４は、第１カメラ１０全体の動作を制御する。第１コントローラ１４は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、及び歪み補正処理等を含んでよい。第１コントローラ１４は、第１通信部１３を介して画像処理装置５０へ、第１カメラ１０が撮像した画像を出力する。
（第２カメラ）
　第２カメラ２０は、上述のように、クラスＩＩＩとして規定される車両の右側方を含む領域を撮像する。第２カメラ２０は、例えば図１に示すように、第２レンズ２１と、第２撮像素子２２と、第２通信部２３と、第２コントローラ２４とを備える。
　第２レンズ２１、第２撮像素子２２、第２通信部２３及び第２コントローラ２４の構成及び機能は、それぞれ、第１レンズ１１、第１撮像素子１２、第１通信部１３及び第１コントローラ１４の構成及び機能と同様であるため、詳細な説明は省略する。
（第３カメラ）
　第３カメラ３０は、上述のように、クラスＩとして規定される車両の後方を含む領域を撮像する。第３カメラ３０は、例えば図１に示すように、第３レンズ３１と、第３撮像素子３２と、第３通信部３３と、第３コントローラ３４とを備える。
　第３レンズ３１、第３撮像素子３２、第３通信部３３及び第３コントローラ３４の構成及び機能は、それぞれ、第１レンズ１１、第１撮像素子１２、第１通信部１３及び第１コントローラ１４の構成及び機能と同様であるため、詳細な説明は省略する。
（モニタ）
　モニタ４０は、例えば液晶ディスプレイ及び有機ＥＬ（Electroluminescence）ディスプレイ等のディスプレイを含んでよい。モニタ４０は、例えばネットワーク６０を介して画像処理装置５０から入力される画像を表示してよい。モニタ４０は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。モニタ４０は、ユーザによる操作を受付可能なスイッチ及びキーを含んでよい。スイッチは、物理スイッチ及び電子スイッチを含んでよい。キーは、物理キー及び電子キーを含んでよい。モニタ４０は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置５０へ送信してよい。
　モニタ４０は、ビデオ信号などの電気信号を可視光線で描く映像に変換する。モニタ４０は、画像処理装置５０から取得した画像を表示する。モニタ４０が画像処理装置５０から取得する画像は、第１カメラ１０が撮像した画像である第１撮像画像、第２カメラ２０が撮像した画像である第２撮像画像、及び第３カメラ３０が撮像した画像である第３撮像画像を含む画像である。以下、第１撮像画像、第２撮像画像及び第３撮像画像を含む画像を、合成画像ともいう。
（画像処理装置）
　画像処理装置５０は、通信部５１と、記憶部５２と、画像プロセッサ５３とを備える。
　通信部５１は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば第１カメラ１０、第２カメラ２０、第３カメラ３０、モニタ４０、移動体６１に備えられたＥＣＵ（Electronic Control Unit又はEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。
　通信部５１は、歩車間通信、路車間通信及び車車間通信のための通信インタフェースを含んでよい。通信部５１は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）及びＶＩＣＳ（登録商標）（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。通信部５１は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。
　通信部５１は、外部装置から多様な情報を取得可能であってよい。例えば、通信部５１は、移動体情報及び環境情報を取得可能であってよい。
　移動体情報は、移動体６１に関する任意の情報を含んでよい。移動体情報は、例えば移動体６１の速度、加速度、旋回重力、傾き、方角、及び旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数及び座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体６１の位置情報、ならびに移動体６１の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、及びターンシグナルを含んでよい。
　環境情報は、移動体６１の外部環境に関する任意の情報を含んでよい。環境情報は、例えば移動体６１の周囲の明るさ、天気、気圧、外気温度、地図情報、交通情報、道路情報、道路工事情報、走行路の制限速度の一時的な変更、他の車両が検出した対象物、及び信号機の点灯状態等を含んでよい。
　記憶部５２は、一時記憶装置及び二次記憶装置を含んでよい。記憶部５２は、例えば半導体メモリ、磁気メモリ、及び光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、及びＢＤ（Blu-ray（登録商標） Disc）（登録商標）等を含んでよい。記憶部５２は、画像処理装置５０の動作に必要な種々の情報及びプログラムを記憶する。
　画像プロセッサ５３は、１つ以上のプロセッサを含む。画像プロセッサ５３は、画像処理装置５０全体の動作を制御する。
　画像プロセッサ５３は、通信部５１を介して、第１カメラ１０から第１撮像画像を、第２カメラ２０から第２撮像画像を、第３カメラ３０から第３撮像画像を取得する。
　画像プロセッサ５３は、第１撮像画像、第２撮像画像及び第３撮像画像を含む合成画像を作成し、作成した合成画像を、通信部５１を介してモニタ４０に送信する。
　画像プロセッサ５３は、通信部５１を介して外部装置から、移動体情報及び環境情報を取得してよい。画像プロセッサ５３は、少なくとも移動体情報及び環境情報のいずれか一方に応じて、合成画像のレイアウトを制御する。
　レイアウトは、合成画像が含む各画像の形状、合成画像が含む各画像の大きさ、及び、合成画像内における各画像の配置などを意味する。レイアウトの変更により各画像の形状又は大きさが変更される場合、各画像が表示している外部領域の範囲が変わってよい。
　画像プロセッサ５３は、合成画像を作成する際、第１撮像画像から必要な範囲を切り出してよい。画像プロセッサ５３は、例えば、第１撮像画像を横長の形状とする場合、取得した第１撮像画像から横長の範囲を切り出して合成画像を作成する。画像プロセッサ５３は、例えば、第１撮像画像を縦長の形状とする場合、取得した第１撮像画像から縦長の範囲を切り出して合成画像を作成する。画像プロセッサ５３は、第２撮像画像及び第３撮像画像についても、第１撮像画像と同様に必要な範囲を切り出してよい。
　以下、画像プロセッサ５３が、合成画像において、第１撮像画像及び第２撮像画像を縦長の形状としている状態を、第１モードともいう。画像プロセッサ５３が、合成画像において、第１撮像画像及び第２撮像画像を横長の形状としている状態を、第２モードともいう。
　図４Ａ～図４Ｄに、第１モード及び第２モードにおける、第１撮像画像の表示範囲の例を示す。図４Ａは、第１モード時の側面図である。図４Ｂは、第１モード時の上面図である。図４Ｃは、第２モード時の側面図である。図４Ｄは、第２モード時の上面図である。
　図４Ａと図４Ｃを比較すると、第１モードにおいて表示される第１撮像画像の縦の範囲１０１は、第２モードにおいて表示される第１撮像画像の縦の範囲１０３より広い。図４Ｂと図４Ｄを比較すると、第１モードにおいて表示される第１撮像画像の横の範囲１０２よりも、第２モードにおいて表示される第１撮像画像の横の範囲１０４の方が広い。
　画像プロセッサ５３は、移動体情報及び環境情報に応じて運転者６２が適切な範囲を確認できるように、第１撮像画像及び第２撮像画像を、第１モードと第２モードのいずれで表示させるかを制御する。
　例えば、通常速度の走行時、及び駐車時のバック走行時は、車両に近い範囲を視認することが重要である。そのため、画像プロセッサ５３は、第１撮像画像及び第２撮像画像を、第１モードで表示させるように制御する。例えば、高速走行時、右左折時、車線変更時、及び複数車線走行時は、横方向を広く視認できることが重要である。そのため、画像プロセッサ５３は、第１撮像画像及び第２撮像画像を、第２モードで表示させるように制御する。画像プロセッサ５３は、移動体６１が所定速度以上で走行していることを検出すると、高速走行状態であると判定する。画像プロセッサ５３は、ターンシグナルの点灯により、移動体６１が右左折時又は車線変更時であることを検出することができる。画像プロセッサ５３は、ターンシグナルスイッチの操作を検出することにより、移動体６１が右左折時又は車線変更時であることを検出することができる。
　画像プロセッサ５３は、移動体情報から、移動体６１の速度、移動体６１のギヤがリバースに設定されたか、ターンシグナルスイッチが操作されたかなどを検出することができる。画像プロセッサ５３は、環境情報から、移動体６１が複数車線を走行しているかなどを検出することができる。画像プロセッサ５３は、例えば、ナビゲーション装置から取得した道路情報から、移動体６１が複数車線を走行しているかを検出することができる。
　図５に、第１モードにおける合成画像１１０のレイアウトの一例を示す。図５に示す例においては、第１撮像画像１１１は、左側に縦長で表示される。第２撮像画像１１２は、右側に縦長で表示される。第３撮像画像１１３は、中央下方に横長で表示される。中央上方には、その他の画像１１４が表示される。その他の画像１１４は、例えば、カーナビの画像又は周辺監視カメラの画像であってよい。
　図６に、第２モードにおける合成画像１１０のレイアウトの一例を示す。図６に示す例においては、第１撮像画像１１１は、左下に横長で表示される。第２撮像画像１１２は、右下に横長で表示される。第３撮像画像１１３は、右上に横長で表示される。左上には、その他の画像１１４が表示される。その他の画像１１４は、例えば、カーナビの画像又は周辺監視カメラの画像であってよい。
（合成画像の変形例）
　図７Ａ、図７Ｂ、図８Ａ及び図８Ｂは、図５及び図６に比べて、合成画像の縦の長さが短い場合のレイアウトの例を示す図である。
　図７Ａ及び図７Ｂは、第１モードにおけるレイアウトの変形例である。図７Ａに示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、縦長の画像から、下方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第２撮像画像１１２は、縦長の画像から、下方のはみ出し部１２２を除くように切り出した部分である。第３撮像画像１１３は、中央に表示される。図７Ａに示すレイアウトは、例えば移動体６１が通常速度で走行しているときに適している。
　図７Ｂに示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、縦長の画像から、上方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第２撮像画像１１２は、縦長の画像から、上方のはみ出し部１２２を除くように切り出した部分である。第３撮像画像１１３は、中央に表示される。図７Ｂに示すレイアウトは、例えば移動体６１が駐車時などにおいてバックで走行しているときに適している。
　図８Ａ及び図８Ｂは、第２モードにおけるレイアウトの変形例である。図８Ａに示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、横長の画像から、左方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第２撮像画像１１２は、横長の画像から、右方のはみ出し部１２２を除くように切り出した部分である。第３撮像画像１１３は、中央に表示される。図８Ａにおいては、第１撮像画像１１１の大きさと、第２撮像画像１１２の大きさとは等しい。図８Ａに示すレイアウトは、例えば移動体６１が高速で走行しているときに適している。
　図８Ｂに示す例においては、第１撮像画像１１１は、左側に表示される。第１撮像画像１１１は、横長の画像から、左方のはみ出し部１２１を除くように切り出した部分である。第２撮像画像１１２は、右側に表示される。第３撮像画像１１３は、中央に表示される。図８Ｂにおいては、第２撮像画像１１２の大きさの方が、第１撮像画像１１１の大きさよりも大きい。図８Ｂに示すレイアウトは、例えば移動体６１が右折するとき、又は、追い越し車線に合流するときに適している。
（第１変形例）
　図９を参照して、本開示の一実施形態の第１変形例に係るカメラモニタシステム２について説明する。
　図９に示すように、第１変形例に係るカメラモニタシステム２は、第１カメラ１０と、第１駆動部１５と、第２カメラ２０と、第２駆動部２５と、第３カメラ３０と、モニタ４０と、画像処理装置５０と、コントローラ７０とを備える。
　第１駆動部１５は、第１カメラ１０の回転を駆動する。第１駆動部１５は、光軸を変えないまま第１カメラ１０を回転させることもできるし、光軸をチルトさせた上で第１カメラ１０を回転させることもできる。
　第２駆動部２５は、第２カメラ２０の回転を駆動する。第２駆動部２５は、光軸を変えないまま第２カメラ２０を回転させることもできるし、光軸をチルトさせた上で第２カメラ２０を回転させることもできる。
　コントローラ７０は、第１駆動部１５及び第２駆動部２５の動作を制御する。コントローラ７０は、通信部７１と、プロセッサ７２とを備える。
　通信部７１は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば第１カメラ１０、第１駆動部１５、第２カメラ２０、第２駆動部２５、第３カメラ３０、モニタ４０、画像処理装置５０、移動体６１に備えられたＥＣＵ（Electronic Control Unit又はEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。
　通信部７１は、歩車間通信、路車間通信及び車車間通信のための通信インタフェースを含んでよい。通信部７１は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）及びＶＩＣＳ（登録商標）（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。通信部７１は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。
　通信部７１は、外部装置から多様な情報を取得可能であってよい。例えば、通信部７１は、移動体情報及び環境情報を取得可能であってよい。
　プロセッサ７２は、１つ以上のプロセッサを含む。プロセッサ７２は、コントローラ７０全体の動作を制御する。
　プロセッサ７２は、第１駆動部１５及び第２駆動部２５の動作を制御する。
　第１変形例に係るカメラモニタシステム２においては、第１カメラ１０の第１レンズ１１、及び、第２カメラ２０の第２レンズ２１は、超広角レンズではない。そのため、例えば、第１カメラ１０が撮像する第１撮像画像の範囲は、そこから、所望の範囲を含む縦長画像及び横長画像の双方を切り出すことが可能な程度に広くないものとする。
　超広角レンズは、性能を確保するために多くのレンズ枚数が必要であり、それに伴いレンズサイズが大きくなることからコストアップの要因になる。第１変形例に係るカメラモニタシステム２は、第１レンズ１１及び第２レンズ２１を超広角レンズとする必要がないことにより、コストを低減することができる。
　第１変形例に係るカメラモニタシステム２の第１撮像素子１２及び第２撮像素子２２は、長方形の範囲を撮像する。第１駆動部１５は、第１カメラ１０を回転させることにより、第１撮像画像を横長又は縦長の配置とすることができる。第２駆動部２５は、第２カメラ２０を回転させることにより、第２撮像画像を横長又は縦長の配置とすることができる。
　図１０Ａに、第１撮像素子１２が横長に配置された場合の撮像範囲の様子を示す。図１０Ｂに、第１撮像素子１２が縦長に配置された場合の撮像範囲の様子を示す。図１０Ａの配置の場合、第１撮像画像は横長となる。図１０Ｂの配置の場合、第１撮像画像は縦長となる。
　第１駆動部１５が第１カメラ１０を回転させると、第１カメラ１０の第１コントローラ１４は、第１カメラ１０の上方と第１撮像画像の上方とが一致するように第１撮像画像を変換して、第１撮像画像を画像処理装置５０に送信する。該第１撮像画像の変換は、画像処理装置５０の画像プロセッサ５３が行ってもよい。
　第２駆動部２５が第２カメラ２０を回転させると、第２カメラ２０の第２コントローラ２４は、第２カメラ２０の上方と第２撮像画像の上方とが一致するように第２撮像画像を変換して、第２撮像画像を画像処理装置５０に送信する。該第２撮像画像の変換は、画像処理装置５０の画像プロセッサ５３が行ってもよい。
　図１１Ａ～図１１Ｄに、第１モード及び第２モードにおける、第１カメラ１０の撮像範囲の例を示す。図１１Ａ～図１１Ｄに示す例においては、第１駆動部１５は、光軸を変えないまま第１カメラ１０を回転させている。
　図１１Ａは、第１モード時の側面図である。図１１Ｂは、第１モード時の上面図である。図１１Ｃは、第２モード時の側面図である。図１１Ｄは、第２モード時の上面図である。
　図１１Ａと図１１Ｃを比較すると、第１モードにおいて第１カメラ１０が撮像する縦の範囲１０１は、第２モードにおいて第１カメラ１０が撮像する縦の範囲１０３より広い。図１１Ｂと図１１Ｄを比較すると、第１モードにおいて第１カメラ１０が撮像する第１撮像画像の横の範囲１０２よりも、第２モードにおいて第１カメラ１０が撮像する横の範囲１０４の方が広い。
　図１２Ａ～図１２Ｄに、第１モード及び第２モードにおける、第１カメラ１０の撮像範囲の例を示す。図１２Ａ～図１２Ｄに示す例においては、第１駆動部１５は、光軸をチルトさせた上で第１カメラ１０を回転させている。図１２Ａ～図１２Ｄに示す例では、第１駆動部１５は、第２モードにおいて、光軸の向きを、第１モードのときよりも、上方かつ外向きにしている。このように第１モードであるか第２モードであるかに応じて光軸の向きを変えることにより、運転者６２は、状況に適した範囲を視ることができる。
　図１２Ａは、第１モード時の側面図である。図１２Ｂは、第１モード時の上面図である。図１２Ｃは、第２モード時の側面図である。図１２Ｄは、第２モード時の上面図である。
　図１２Ａと図１２Ｃを比較すると、第１モードにおいて第１カメラ１０が撮像する縦の範囲１０１は、第２モードにおいて第１カメラ１０が撮像する縦の範囲１０３より広い。図１２Ｂと図１２Ｄを比較すると、第１モードにおいて第１カメラ１０が撮像する第１撮像画像の横の範囲１０２よりも、第２モードにおいて第１カメラ１０が撮像する横の範囲１０４の方が広い。
　図１３に、第１駆動部１５が第１カメラ１０を回転させる機構の一例を示す。第１カメラ１０は、第１カメラ１０の筐体に固定された歯車１３１を備える。第１駆動部１５は、歯車１３１と噛み合う歯車１３２を備える。第１駆動部１５は、歯車１３２を回転させることにより、歯車１３１を駆動して第１カメラ１０を回転させる。同様の機構により、第２駆動部２５は、第２カメラ２０を回転させることができる。
（第２変形例）
　図１４を参照して、本開示の一実施形態の第２変形例に係るカメラモニタシステム３について説明する。
　図１４に示すように、第２変形例に係るカメラモニタシステム３は、第１カメラ１０ａと、第２カメラ２０ａと、第３カメラ３０と、モニタ４０と、画像処理装置５０と、コントローラ７０とを備える。
　第１カメラ１０ａは、図１に示す第１カメラ１０に加えて第１駆動部１５を備える。第２カメラ２０ａは、図１に示す第２カメラ２０に加えて第２駆動部２５を備える。
　第１駆動部１５は、第１レンズ１１及び第１撮像素子１２を一体として駆動して回転させる。または、第１駆動部１５は、第１撮像素子１２のみを駆動して回転させる。
　第２駆動部２５は、第２レンズ２１及び第２撮像素子２２を一体として駆動して回転させる。または、第２駆動部２５は、第２撮像素子２２のみを駆動して回転させる。
　図１５に、第１駆動部１５が第１レンズ１１及び第１撮像素子１２を一体として回転させる機構の一例を示す。第１レンズ１１と第１撮像素子１２とは、一体として回転するように結合されている。第１レンズ１１は、第１レンズ１１に固定された歯車１３３を備える。第１駆動部１５は、歯車１３３と噛み合う歯車１３４を備える。第１駆動部１５は、歯車１３４を回転させることにより、歯車１３３を駆動して第１レンズ１１及び第１撮像素子１２を一体として回転させる。同様の機構により、第２駆動部２５は、第２レンズ２１及び第２撮像素子２２を一体として回転させることができる。
　図１６に、第１駆動部１５が第１撮像素子１２のみを回転させる機構の一例を示す。第１レンズ１１と第１撮像素子１２とは、第１撮像素子１２が第１レンズ１１とは独立して回転可能なように構成されている。第１撮像素子１２は、第１撮像素子１２に固定された歯車１３５を備える。第１駆動部１５は、歯車１３５と噛み合う歯車１３６を備える。第１駆動部１５は、歯車１３６を回転させることにより、歯車１３５を駆動して第１撮像素子１２のみを回転させる。同様の機構により、第２駆動部２５は、第２撮像素子２２のみを回転させることができる。
　回転機構以外に関しては、第２変形例は第１変形例と同様であるため、説明を省略する。
（第３変形例）
　図１７を参照して、本開示の一実施形態の第３変形例に係るカメラモニタシステム４について説明する。
　図１７に示すように、第３変形例に係るカメラモニタシステム４は、図９に示す第１変形例に係るカメラモニタシステム２に対し、スイッチ８０を加えたものである。
　スイッチ８０は、第１モードと第２モードとを切り替えるスイッチである。運転者６２がスイッチ８０によって第１モードに切り替えると、第１駆動部１５は、第１撮像画像が縦長になるように第１カメラ１０を回転させる。また、第２駆動部２５は、第２撮像画像が縦長になるように第２カメラ２０を回転させる。運転者６２がスイッチ８０によって第２モードに切り替えると、第１駆動部１５は、第１撮像画像が横長になるように第１カメラ１０を回転させる。また、第２駆動部２５は、第２撮像画像が横長になるように第２カメラ２０を回転させる。
　スイッチ８０の位置は、運転者６２が移動体６１の走行中に操作することが可能な位置であれば、移動体６１の内部において任意である。例えば、図１８に示すように、スイッチ８０は、ダッシュボード６３上のステアリングホイール６４の右奥に位置する。スイッチ８０は、ステアリングホイール６４上に取り付けられていてよい。スイッチ８０は、物理スイッチに限られず、カーナビ画面上などにスイッチボタンとして表示されていてよい。
　以上述べたように、一実施形態に係るカメラモニタシステム１～４によれば、画像プロセッサ５３は、少なくとも移動体情報及び環境情報のいずれか一方に応じて、第１撮像画像、第２撮像画像及び第３撮像画像を含む合成画像のレイアウトを変更する。合成画像を視認する運転者６２は、移動体６１の状況に適した領域を認識可能である。このため、移動体６１の外部領域の撮像画像を表示する技術の利便性が向上する。
　本発明の実施形態を諸図面及び実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。
　例えば、上述した実施形態に係るカメラモニタシステム１～４の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置５０の構成および機能の一部または全部を、第１カメラ１０、第２カメラ２０、第３カメラ３０及びモニタ４０のいずれかに包含させてもよい。
　上述の実施形態に係るカメラモニタシステム１～４の構成要素の一部は、移動体６１の外部に位置してよい。例えば、画像処理装置５０等は、携帯電話または外部サーバ等の通信機器として実現され、カメラモニタシステム１～４の他の構成要素と有線または無線によって接続されてもよい。
　１、２、３、４　カメラモニタシステム
　１０、１０ａ　第１カメラ
　１１　第１レンズ
　１２　第１撮像素子
　１３　第１通信部
　１４　第１コントローラ
　１５　第１駆動部
　２０、２０ａ　第２カメラ
　２１　第２レンズ
　２２　第２撮像素子
　２３　第２通信部
　２４　第２コントローラ
　２５　第２駆動部
　３０　第３カメラ
　３１　第３レンズ
　３２　第３撮像素子
　３３　第３通信部
　３４　第３コントローラ
　４０　モニタ
　５０　画像処理装置
　５１　通信部
　５２　記憶部
　５３　画像プロセッサ
　６０　ネットワーク
　６１　移動体
　６２　運転者
　６３　ダッシュボード
　６４　ステアリングホイール
　７０　コントローラ
　７１　通信部
　７２　プロセッサ
　８０　スイッチ
　１０１、１０２、１０３、１０４　範囲
　１１０　合成画像
　１１１　第１撮像画像
　１１２　第２撮像画像
　１１３　第３撮像画像
　１１４　カーナビの画像又は周辺監視カメラの画像
　１２１、１２２　はみ出し部
　１３１、１３２、１３３、１３４、１３５、１３６　歯車

Claims (13)

  1. 　車両の左側方の所定領域を含む領域を撮像する第１カメラと、
    　車両の右側方の所定領域を含む領域を撮像する第２カメラと、
    　車両の後方の所定領域を含む領域を撮像する第３カメラと、
    　前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、
    　前記合成画像のレイアウトを制御する画像プロセッサと、を備え、
    　前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する、カメラモニタシステム。
  2. 　請求項１に記載のカメラモニタシステムにおいて、前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて、前記モニタに表示される前記第１撮像画像及び前記第２撮像画像の縦横比を切り替える、カメラモニタシステム。
  3. 　請求項２に記載のカメラモニタシステムにおいて、前記画像プロセッサは、前記車両のターンシグナルスイッチの操作を検出すると、前記第１撮像画像及び前記第２撮像画像が横長に表示されるレイアウトに切り替える、カメラモニタシステム。
  4. 　請求項２又は３に記載のカメラモニタシステムにおいて、前記画像プロセッサは、前記車両の速度が所定速度以上になると、前記第１撮像画像及び前記第２撮像画像が横長に表示されるレイアウトに切り替える、カメラモニタシステム。
  5. 　請求項２から４のいずれか一項に記載のカメラモニタシステムにおいて、前記画像プロセッサは、前記車両が複数車線を走行していることを検出すると、前記第１撮像画像及び前記第２撮像画像が横長に表示されるレイアウトに切り替える、カメラモニタシステム。
  6. 　請求項２から５のいずれか一項に記載のカメラモニタシステムにおいて、前記画像プロセッサは、前記車両のギヤがリバースに設定されると、前記第１撮像画像及び前記第２撮像画像が縦長に表示されるレイアウトに切り替える、カメラモニタシステム。
  7. 　請求項２から６のいずれか一項に記載のカメラモニタシステムにおいて、
    　前記第１カメラの回転を駆動する第１駆動部と、
    　前記第２カメラの回転を駆動する第２駆動部と、
    　前記第１駆動部及び前記第２駆動部を制御するコントローラと、
    をさらに備え、
    　前記コントローラは、前記第１カメラを回転させて前記第１撮像画像の縦横比を切り替え、前記第２カメラを回転させて前記第２撮像画像の縦横比を切り替える、カメラモニタシステム。
  8. 　請求項２から６のいずれか一項に記載のカメラモニタシステムにおいて、
    　前記第１カメラは、第１レンズと、第１撮像素子と、該第１レンズ及び該第１撮像素子の回転を駆動する第１駆動部を備え、
    　前記第２カメラは、第２レンズと、第２撮像素子と、該第２レンズ及び該第２撮像素子の回転を駆動する第２駆動部を備え、
    　前記カメラモニタシステムは、前記第１駆動部及び前記第２駆動部を制御するコントローラをさらに備え、
    　前記コントローラは、前記第１レンズ及び前記第１撮像素子を回転させて前記第１撮像画像の縦横比を切り替え、前記第２レンズ及び前記第２撮像素子を回転させて前記第２撮像画像の縦横比を切り替える、カメラモニタシステム。
  9. 　請求項２から６のいずれか一項に記載のカメラモニタシステムにおいて、
    　前記第１カメラは、第１撮像素子と、該第１撮像素子の回転を駆動する第１駆動部を備え、
    　前記第２カメラは、第２撮像素子と、該第２撮像素子の回転を駆動する第２駆動部を備え、
    　前記カメラモニタシステムは、前記第１駆動部及び前記第２駆動部を制御するコントローラをさらに備え、
    　前記コントローラは、前記第１撮像素子を回転させて前記第１撮像画像の縦横比を切り替え、前記第２撮像素子を回転させて前記第２撮像画像の縦横比を切り替える、カメラモニタシステム。
  10. 　請求項１から９のいずれか一項に記載のカメラモニタシステムにおいて、前記第１カメラ、前記第２カメラ及び前記第３カメラは、間接視界に関する協定規則第４６号に規定される範囲を含む範囲を撮像するデバイスである、カメラモニタシステム。
  11. 　車両の左側方の所定領域を含む領域を撮像する第１カメラが撮像した第１撮像画像と、車両の右側方の所定領域を含む領域を撮像する第２カメラが撮像した第２撮像画像と、車両の後方の所定領域を含む領域を撮像する第３カメラが撮像した第３撮像画像とを受信する通信部と、
    　前記第１撮像画像、前記第２撮像画像及び前記第３撮像画像を含む合成画像を表示するモニタにおける該合成画像のレイアウトを制御する画像プロセッサと、を備え、
    　前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する、画像処理装置。
  12. 　車両の左側方の所定領域を含む領域を撮像する第１カメラと、
    　車両の右側方の所定領域を含む領域を撮像する第２カメラと、
    　車両の後方の所定領域を含む領域を撮像する第３カメラと、
    　前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含む合成画像を表示するモニタと、
    　前記合成画像のレイアウトを制御する画像プロセッサと、を含み、
    　前記画像プロセッサは、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記レイアウトを変更する、カメラモニタシステムを備える車両。
  13. 　第１カメラと、第２カメラと、第３カメラと、モニタと、画像プロセッサとを備えるカメラモニタシステムにおける画像処理方法であって、
    　前記第１カメラが、車両の左側方の所定領域を含む領域を撮像するステップと、
    　前記第２カメラが、車両の右側方の所定領域を含む領域を撮像するステップと、
    　前記第３カメラが、車両の後方の所定領域を含む領域を撮像するステップと、
    　前記画像プロセッサが、少なくとも移動体情報及び環境情報のいずれか一方に応じて前記モニタに表示される合成画像のレイアウトを制御するステップと、
    　前記モニタが、前記第１カメラが撮像した第１撮像画像と、前記第２カメラが撮像した第２撮像画像と、前記第３カメラが撮像した第３撮像画像とを含み、前記画像プロセッサによってレイアウトを制御された前記合成画像を表示するステップと、
    を含む画像処理方法。
PCT/JP2017/041284 2016-11-30 2017-11-16 カメラモニタシステム、画像処理装置、車両及び画像処理方法 WO2018101063A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/464,776 US10893214B2 (en) 2016-11-30 2017-11-16 Camera monitoring system, image processing device, vehicle and image processing method
EP17876036.9A EP3550819B1 (en) 2016-11-30 2017-11-16 Camera monitoring system, vehicle, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-233490 2016-11-30
JP2016233490A JP6626817B2 (ja) 2016-11-30 2016-11-30 カメラモニタシステム、画像処理装置、車両及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2018101063A1 true WO2018101063A1 (ja) 2018-06-07

Family

ID=62242818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041284 WO2018101063A1 (ja) 2016-11-30 2017-11-16 カメラモニタシステム、画像処理装置、車両及び画像処理方法

Country Status (4)

Country Link
US (1) US10893214B2 (ja)
EP (1) EP3550819B1 (ja)
JP (1) JP6626817B2 (ja)
WO (1) WO2018101063A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110628A1 (ja) * 2015-12-22 2017-06-29 京セラ株式会社 撮像装置、撮像システム、車両及び異物判定方法
JP6890288B2 (ja) * 2018-03-28 2021-06-18 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法
KR20200055596A (ko) * 2018-11-13 2020-05-21 삼성전자주식회사 차량에 탑재되는 단말 장치가 영상을 전송하는 방법 및 차량의 주행을 제어하는 원격 제어 장치가 영상을 수신하는 방법
JP7440235B2 (ja) 2019-09-26 2024-02-28 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法
US20230367098A1 (en) * 2022-05-16 2023-11-16 GM Global Technology Operations LLC Methods and systems for automated dynamic lens utilization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2006264574A (ja) 2005-03-25 2006-10-05 Matsushita Electric Ind Co Ltd 車載カメラ及び車載カメラシステム
WO2007032427A1 (ja) 2005-09-16 2007-03-22 Pioneer Corporation 運転支援装置、撮影制御方法、撮影制御プログラムおよび記録媒体
JP2007237785A (ja) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ 車載用情報提示システム
JP2011035816A (ja) * 2009-08-05 2011-02-17 Denso Corp 車両周囲画像表示制御装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0949818A3 (en) * 1998-04-07 2000-10-25 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
JP3298851B2 (ja) 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US6559761B1 (en) * 2001-10-05 2003-05-06 Ford Global Technologies, Llc Display system for vehicle environment awareness
KR100482598B1 (ko) * 2003-04-21 2005-04-14 현대자동차주식회사 차간거리 제어방법 및 장치
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
US8310520B2 (en) * 2009-08-19 2012-11-13 Avaya Inc. Flexible decomposition and recomposition of multimedia conferencing streams using real-time control information
JP5251947B2 (ja) * 2010-09-17 2013-07-31 日産自動車株式会社 車両用画像表示装置
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP6261542B2 (ja) * 2015-06-10 2018-01-17 株式会社デンソーテン 画像処理装置および画像処理方法
US20170094227A1 (en) * 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2006264574A (ja) 2005-03-25 2006-10-05 Matsushita Electric Ind Co Ltd 車載カメラ及び車載カメラシステム
WO2007032427A1 (ja) 2005-09-16 2007-03-22 Pioneer Corporation 運転支援装置、撮影制御方法、撮影制御プログラムおよび記録媒体
JP2007237785A (ja) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ 車載用情報提示システム
JP2011035816A (ja) * 2009-08-05 2011-02-17 Denso Corp 車両周囲画像表示制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3550819A4

Also Published As

Publication number Publication date
JP2018093311A (ja) 2018-06-14
EP3550819B1 (en) 2022-08-24
US10893214B2 (en) 2021-01-12
EP3550819A4 (en) 2020-07-15
EP3550819A1 (en) 2019-10-09
US20190394410A1 (en) 2019-12-26
JP6626817B2 (ja) 2019-12-25

Similar Documents

Publication Publication Date Title
WO2018101063A1 (ja) カメラモニタシステム、画像処理装置、車両及び画像処理方法
US11961162B2 (en) Imaging apparatus, image processing apparatus, display system, and vehicle
EP3451651B1 (en) Imaging control device, imaging control method, and imaging apparatus
CN109249939B (zh) 用于车辆的驱动***和车辆
CN109937568B (zh) 图像处理装置和图像处理方法
EP3229458A1 (en) Driver assistance apparatus
US20160229341A1 (en) Apparatus and method for a safety system of cameras for advantageously viewing vehicular traffic by the driver
JPWO2017221945A1 (ja) 表示装置、表示システム、移動体、および表示方法
TW201942615A (zh) 攝像裝置
CN114194105A (zh) 自动驾驶车用信息提示装置
CN111587572A (zh) 图像处理装置、图像处理方法和程序
US11100353B2 (en) Apparatus of controlling region of interest of image and method for controlling the same
US11030468B2 (en) Image processing apparatus
JP2018085584A (ja) 画像処理装置、撮像装置、および表示システム
JP2018107620A (ja) 撮像システム、移動体、および制御方法
JP6759072B2 (ja) 画像処理装置、撮像装置、および表示システム
JP6712942B2 (ja) 画像処理装置、撮像装置、および表示システム
JP6720063B2 (ja) 画像処理装置、撮像装置、および表示システム
US11964611B2 (en) Autonomous cabin lighting systems for vehicles
JP3231104U (ja) レーダー装置に対応する移動車両用画像撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17876036

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017876036

Country of ref document: EP

Effective date: 20190701