WO2018030491A1 - 周辺監査装置 - Google Patents

周辺監査装置 Download PDF

Info

Publication number
WO2018030491A1
WO2018030491A1 PCT/JP2017/029004 JP2017029004W WO2018030491A1 WO 2018030491 A1 WO2018030491 A1 WO 2018030491A1 JP 2017029004 W JP2017029004 W JP 2017029004W WO 2018030491 A1 WO2018030491 A1 WO 2018030491A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
captured images
captured image
processing unit
image
Prior art date
Application number
PCT/JP2017/029004
Other languages
English (en)
French (fr)
Inventor
昇幸 横田
明宏 砂坂
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US16/323,359 priority Critical patent/US11394926B2/en
Priority to CN202310549461.3A priority patent/CN116567399A/zh
Priority to CN201780048830.3A priority patent/CN109644252A/zh
Priority to DE112017004055.8T priority patent/DE112017004055T5/de
Publication of WO2018030491A1 publication Critical patent/WO2018030491A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • This disclosure relates to a peripheral inspection device mounted on a vehicle.
  • Patent Document 1 discloses a peripheral inspection device that displays a plurality of captured images obtained by a plurality of cameras provided at a plurality of different positions in a vehicle on a display device provided in the vehicle.
  • This peripheral inspection apparatus synthesizes a plurality of captured images having overlapping portions in which imaging portions partially overlap with each other as a single image by superimposing the overlapping portions on the basis of a plane such as a road surface. The obtained image is displayed on the display device.
  • the plurality of captured images are captured by a plurality of cameras provided at a plurality of different positions in the vehicle, a display mode of an object having a height such as a person or a vehicle in an overlapping portion of the captured images are different.
  • a part of the object to be displayed in the overlapping portion disappears from the display screen. A problem was found that it was difficult to see. Further, a problem has been found that the size of the object displayed on the display screen is small, and the driver is difficult to notice the object.
  • One aspect of the present disclosure is to provide a peripheral inspection device that can prevent a driver from easily viewing an object around a vehicle on a display screen.
  • a peripheral inspection device that includes a display processing unit and a determination unit.
  • the display processing unit obtains a plurality of captured images obtained by a plurality of cameras provided at a plurality of different positions in the vehicle and having overlapping portions in which imaging ranges partially overlap with each other while leaving the overlapping portions. Are respectively displayed on the display devices provided in.
  • the determination unit determines whether there is a predetermined object to be detected for each of the plurality of captured images.
  • the display processing unit includes an enlargement processing unit.
  • the enlargement processing unit enlarges at least one captured image that is determined to have an object among the plurality of captured images when the determination unit determines that the object is present in at least one of the plurality of captured images. Display on the display device.
  • each of the plurality of captured images is displayed on the display device while leaving an overlapping portion of the captured images. For this reason, even when an object having a height exists in the overlapping portion of the captured images, it is difficult for a part of the object to disappear from the display screen. Thereby, it can suppress that it becomes difficult for a driver
  • the captured image determined to have the target is enlarged and displayed. For this reason, it becomes difficult to produce the size of the target object displayed on a display screen becoming small. Thereby, it can suppress that a driver
  • [1. Constitution] 1 is mounted on a vehicle and includes a front camera 21, a rear camera 22, a left camera 23, a right camera 24, a sonar 25, an ECU 3, and a display device 4.
  • the vehicle on which the peripheral audit system 1 is mounted is referred to as “own vehicle”.
  • the front camera 21, the rear camera 22, the left side camera 23, and the right side camera 24 output signals representing captured images to the ECU 3.
  • the cameras 21 to 24 are provided at a plurality of different positions in the host vehicle. Specifically, the front camera 21 is provided at the front of the host vehicle, the rear camera 22 is provided at the rear of the host vehicle, the left side camera 23 is provided at the left side of the host vehicle, and the right side camera 24 is provided at the right side of the host vehicle. It has been.
  • the cameras 21 to 24 are provided so that a part of the imageable range overlaps with each other in the front area and the rear area of the host vehicle.
  • each of the cameras 21 to 24 is a wide-angle camera that can capture an image with an angle of view of about 180 degrees. Therefore, the range that can be imaged by the left side camera 23 and the right side camera 24 partially overlaps the range that can be imaged by the front camera 21 on the front side of the host vehicle, and the rear camera on the rear side of the host vehicle. 22 partially overlaps the imageable range.
  • the rear camera 22, the left side camera 23, and the right side camera 24 are used to realize a rear display function for displaying a captured image obtained by capturing the rear of the host vehicle on the display device 4.
  • the front camera 21, the left side camera 23, and the right side camera 24 are used to realize a front display function for displaying a captured image obtained by capturing the front of the host vehicle on the display device 4.
  • a captured image corresponding to a range that can be captured by each of the cameras 21 to 24 is referred to as an “original captured image”, and is a captured image displayed on the display device 4, in other words, a part of the original captured image.
  • This captured image is referred to as a “partially captured image”.
  • FIG. 2 shows an imaging range that is a range corresponding to a partial captured image displayed by the rear display function, among the ranges that can be captured by the rear camera 22, the left camera 23, and the right camera 24.
  • a part of the left side in the imaging range 53 of the rear camera 22 overlaps with a part of the rear side in the imaging range 51 of the left side camera 23 in the overlapping range 54.
  • a part on the right side in the imaging range 53 of the rear camera 22 overlaps with a part on the rear side in the imaging range 52 of the right side camera 24 in the overlapping range 55.
  • a part of the left side and a part of the right side of the imaging range of the front camera 21 are a part of the front side of the imaging range of the left side camera 23 and the imaging range of the right side camera 24. Each overlaps with a part of the front side.
  • the sonar 25 is an ultrasonic sensor for detecting an object existing around the host vehicle. Specifically, a plurality of sonars 25 are provided in the host vehicle in order to be able to detect an object in an imaging range corresponding to a partially captured image displayed by each of the rear display function and the front display function. The sonar 25 outputs the detection result to the ECU 3.
  • the ECU 3 includes an input signal processing unit 31, an image processing unit 32, an output signal processing unit 33, a memory 34, and a power supply circuit 35.
  • the ECU is an abbreviation for Electronic Control Unit.
  • the input signal processing unit 31 is an interface for outputting signals representing the partially captured images input from the cameras 21 to 24 to the image processing unit 32, respectively.
  • the image processing unit 32 is mainly configured by a known microcomputer having a CPU, a RAM, a ROM, and the like (not shown).
  • the image processing unit 32 executes a program stored in the memory 34 that is a non-transitional tangible recording medium. By executing the program, a method corresponding to the program is executed. Specifically, the image processing unit 32 executes an object detection process shown in FIG. 5 described later according to the program.
  • the image processing unit 32 outputs a signal representing a display image to be displayed on the display device 4 to the output signal processing unit 33.
  • the output signal processing unit 33 is an interface for outputting a signal representing a display image input by the image processing unit 32 to the display device 4.
  • the memory 34 is a recording medium for recording the above-described program, a partially captured image, and the like.
  • the power supply circuit 35 converts a voltage input from a battery (not shown) into a predetermined voltage and supplies it to each part of the ECU 3.
  • the display device 4 is a display for displaying an image, and is provided at a position where a driver of the own vehicle can visually recognize the displayed image. As shown in FIG. 3, the display device 4 of the present embodiment is a rearview mirror that includes a liquid crystal display inside the half mirror. The display device 4 is configured to be able to switch between a mirror mode in which the driver functions as a normal mirror and a display mode in which the mirror functions as a single display screen 6 by the driver operating a dedicated button. Yes.
  • the display screen 6 has a substantially rectangular shape that is long in the horizontal direction.
  • three partial captured images are displayed side by side on the display screen 6.
  • FIG. 3 is an example of a display image in the rear display function.
  • a partial captured image 62 by the left camera 23, a partial captured image 61 by the rear camera 22, and a partial captured image 63 by the right camera 24 are viewed from the driver.
  • a partially captured image by the left camera 23, a partially captured image by the front camera 21, and a partially captured image by the right camera 24 are displayed in order from the left as viewed from the driver.
  • the rear display function and the front display function are switched by the shift lever in the display mode described above.
  • the rear display function is a function used when the shift position is reverse
  • the front display function is a function used when the shift position is in the drive state.
  • the partially captured image 61 and the partially captured image 62 are divided on the left and right by a separation portion 64 that is a strip-like image extending in the vertical direction on the display screen 6 and are disposed apart from each other.
  • the partially captured image 61 and the partially captured image 63 are divided on the left and right by the separating portion 65 on the display screen 6 in the same manner as the separating portion 64, and are separated from each other.
  • the separation portions 64 and 65 have a shape that expands downward.
  • the driver can easily determine which of the left side camera 23 and the right side camera 24 the partial captured images 62 and 63 on the left and right sides of the display screen 6 are.
  • Icons 66 and 67 indicating the imaging range are displayed so that they can be recognized. Specifically, an icon 66 indicating the imaging range 51 on the left side of the host vehicle is displayed on the separation unit 64, and an icon 67 indicating the imaging range 52 on the right side of the host vehicle is displayed on the separation unit 65.
  • the separation portions 64 and 65 display the portions other than the icons 66 and 67 as, for example, a black image in order to make it easy to grasp the division of the partially captured images 61, 62, and 63.
  • the object detection process is a process for realizing a rear display function, and is periodically executed while the mode of the display device 4 is the display mode and the shift position of the shift lever is reverse.
  • the image processing unit 32 obtains a signal representing the original captured image by the rear camera 22, the left side camera 23 and the right side camera 24 and the detection result by the sonar 25 via the input signal processing unit 31.
  • the image processing unit 32 determines a predetermined object to be detected for each of the partial captured images that are part of the original captured image represented by the signals obtained by the rear camera 22, the left camera 23, and the right camera 24. Is determined using the detection result by the sonar 25 as well. Specifically, as described above, for each of the rear camera 22, the left side camera 23, and the right side camera 24, a captured image representing a part of the imageable range is displayed on the display screen 6 as a partially captured image. .
  • the target object in the present embodiment is a moving body such as a person or a vehicle.
  • the moving body is detected by performing image analysis processing on the partially captured image. Specifically, the moving body is detected by calculating a motion vector from a partially captured image that is continuous in time series using a known optical flow method.
  • moving bodies that cannot be detected by the optical flow method such as a moving body that is located directly in front of the rear camera 22, the left side camera 23, and the right side camera 24 and that faces the host vehicle, or a stationary moving body are well known. Detection is performed from a partially captured image using a pattern matching method.
  • the sonar 25 based on the detection result by the sonar 25, it is determined whether or not the moving body detected by the image analysis processing on the partially captured image actually exists at the detected position. As a result, it is determined that the moving object that is determined to actually exist is the target object.
  • the image processing unit 32 proceeds to S13. Then, the image processing unit 32 determines the display ratio that is the ratio of the display area for the partially captured images of the rear camera 22, the left camera 23, and the right camera 24 on the display screen 6 as a default display ratio, and performs processing. The process proceeds to S15.
  • the default display ratio is set such that the display areas of the partially captured image 62, the partially captured image 61, and the partially captured image 63 are 1: 3: 1 in the horizontal direction. Has been.
  • the image processing unit 32 proceeds to S14. Then, the image processing unit 32 enlarges the partial captured image determined to have the target object by expanding the display ratio of the partial captured images of the rear camera 22, the left side camera 23, and the right side camera 24 on the display screen 6. The display ratio for reducing and displaying the partially picked-up image determined to have no object is determined, and the process proceeds to S15.
  • the partial captured image 62, the partial captured image 61, and the partial captured image 63 are displayed as shown in FIG.
  • the display ratio is determined to be 2: 2: 1 in the horizontal direction.
  • the display ratio of the partial captured image 62, the partial captured image 61, and the partial captured image 63 in the horizontal direction is 1: 2: 2. To be determined.
  • the reason why the partial captured image 61 is not enlarged is that the partial captured image 61 has a larger display area than the other partial captured images 62 and 63 even at the default display ratio.
  • the display ratio is not changed, and the display ratio may be changed so that the partially captured image 61 is enlarged.
  • the target object exists in the two partial captured images.
  • the target object exists in the overlapping range 54
  • each display area of the partially captured image 62, the partially captured image 61, and the partially captured image 63 is determined to have a display ratio of 2: 2: 1 in the horizontal direction.
  • the target object exists in the overlapping range 55
  • each display area of the partially captured image 62, the partially captured image 61, and the partially captured image 63 is determined to have a display ratio of 1: 2: 2 in the horizontal direction.
  • the target images may exist in the plurality of partial captured images even when the objects do not exist in the overlapping ranges 54 and 55.
  • the display areas of the partially captured image 62, the partially captured image 61, and the partially captured image 63 are displayed. Is determined to be a display ratio of 2: 1: 2 in the horizontal direction. If it is determined in S12 that the object is present in all of the partial captured images 61 to 63, the display areas of the partial captured image 62, the partial captured image 61, and the partial captured image 63 are 1: The display ratio is 3: 1. In any example, the ratios of the vertical display areas of the partial captured images 61 to 63 are all the same and do not vary. Further, the imaging ranges of the partial captured images 61 to 63 are the same regardless of the display ratio.
  • the image processing unit 32 maintains the imaging range of each of the partial captured images 61 to 63 on the display screen 6 while changing the display ratio in the horizontal direction of the display area of each of the partial captured images 61 to 63 in the display image.
  • the partial captured image determined to have the target is enlarged, and the partial captured image determined to have no target is reduced.
  • the image processing unit 32 displays the display image on the display screen 6 at the display ratio determined in S13 or S14. Specifically, when the determined display ratio is different from the previous display ratio, the image processing unit 32 displays the display image on the display screen using a known morphing method that changes the display ratio stepwise. 6 to display. For example, when the previous display ratio is 1: 3: 1 and the current display ratio is 2: 2: 1, the horizontal width of the partially captured image 62 is gradually increased instead of instantaneously changing the display ratio. The horizontal width of the partially captured image 61 is gradually reduced. Thereafter, the image processing unit 32 ends the object detection process.
  • the mode of the display device 4 is the display mode and the shift position of the shift lever is the drive
  • the three partial captured images 61 to 63 are displayed on the display device 4 while leaving the overlapping portions corresponding to the overlapping ranges 54 and 55, respectively. For this reason, even when an object having a height exists in the overlapping portion of each of the partial captured images 61 to 63, it is difficult for a part of the object to disappear from the display screen 6. Thereby, it can suppress that a driver
  • FIG. a partially captured image that is determined to have an object is enlarged and displayed. For this reason, the size of the object displayed on the display screen 6 is less likely to be reduced. Thereby, it can suppress that a driver
  • the image processing unit 32 changes the display ratio for each of the partial captured images 61 to 63 on one display screen 6 of the display device 4, thereby comparing with the default display ratio.
  • the partially captured image determined to have an object is enlarged, and the partially captured image determined to have no object is reduced.
  • the image processing unit 32 enlarges the partial captured image determined to have the target compared to the display ratio when it is determined that the target does not exist in any of the partial captured images 61 to 63.
  • the partially captured image determined to have no target is reduced.
  • the display screen 6 is effectively used as compared with the case of enlarging the partial captured image determined that the target exists without reducing the partial captured image determined that the target does not exist. Can do.
  • the default display image has an object. Then, it is necessary to prepare a margin for enlarging the determined partial captured image in advance.
  • the partially captured image determined to have no target is reduced, so that both the default display image and the display image at the time of enlargement make the entire display screen 6 effective. Can be used.
  • the image processing unit 32 changes the display ratio of the partially captured image while maintaining the imaging range on the display screen 6 of the partially captured image in which the object is detected in the object detection process. Enlarge and display. Thus, unlike the case where only a partial range including the object in the partially captured image is displayed in an enlarged manner, that is, when the imaging range is reduced by zooming, the driver recognizes the object on the display screen 6. Can be easier. That is, since the image is enlarged while maintaining the imaging range, it is possible to easily recognize the object with the enlarged partial captured image while grasping the whole image of the partial captured image determined to be present.
  • the image processing unit 32 displays the partial captured images 61 to 63 separately from each other on the display screen 6. Thereby, since the partial captured images 61 to 63 by the cameras 21 to 24 are displayed separately, it is easy to recognize which camera the partial captured images 61 to 63 being displayed are. Can do.
  • the spacing portions 64 and 65 have a shape that expands downward. Therefore, it is possible to make the driver intuitively grasp the sense of perspective of each of the partial captured images 61 to 63.
  • icons 66 and 67 indicating the imaging ranges 51 and 52 are displayed in the separation portions 64 and 65, respectively. Thereby, the driver can easily recognize which of the left side camera 23 and the right side camera 24 is the partial captured images 62 and 63 on the left and right sides of the display screen 6.
  • the cameras 21 to 24 and the sonar 25 are used in combination when detecting an object. Therefore, compared with a configuration in which only the cameras 21 to 24 are used to detect the object, partial imaging displayed on the display screen 6 among the original captured images represented by the signals obtained by the cameras 21 to 24. It is possible to improve the detection accuracy of whether or not a predetermined object to be detected exists in the image.
  • the image processing unit 32 corresponds to a peripheral inspection device
  • S13 to 15 correspond to processing of a display processing unit
  • S12 corresponds to processing as a determination unit
  • S14 serves as an enlargement processing unit. It corresponds to processing.
  • a moving object such as a person or a vehicle is exemplified as the predetermined object to be detected, but the object is not limited to this.
  • the object may include, for example, a stationary object such as a utility pole.
  • the default display ratio on the display screen 6 is 1: 3: 1 from the left when viewed from the driver, but the default display ratio is not limited to this.
  • the default display ratio may be, for example, 1: 1: 1 or 1: 2: 1. Further, the display ratio other than the default display ratio is not limited to the display ratio shown in the embodiment.
  • the image processing unit 32 expands the display area of the partially captured image that is determined to be present in the object detection process, but instead is the partial image that is determined to be absent.
  • the configuration for reducing the image display area is illustrated.
  • the display mode of the partially captured image that is determined to have no target is not limited to this.
  • the display area of the partially captured image determined to be present may be enlarged without reducing the display area of the partially captured image determined to be absent.
  • Such a display mode can be realized, for example, by preparing in advance a margin for enlarging the display area of the partially captured image that is determined to be present in the default display image.
  • the display area of the partial captured image determined to be present is expanded by changing the display ratio in the horizontal direction of the display area of each of the partial captured images 61 to 63 in the display image.
  • the configuration is illustrated.
  • the method of changing the display ratio is not limited to this.
  • the display ratio in both the horizontal direction and the vertical direction of the display area of the partially captured image may be changed.
  • the display area of the partial captured image determined to be present is enlarged, and the partial imaging determined to be no target is present.
  • the image display area may be reduced.
  • Such a display mode can also be realized, for example, by preparing in advance a margin for enlarging the display area of the partially captured image that is determined to have an object in the default display image. Further, only the display ratio in the vertical direction of the display area of the partially captured image may be changed. For example, when a plurality of partially captured images are arranged in the vertical direction on the display screen, the display ratio of the partially captured images can be changed without providing a margin in the display image, as in the above embodiment.
  • the imaging range is maintained even when the display area of the partially captured image is enlarged or reduced
  • the present invention is not limited to this, and the imaging range of the partially captured image is changed. You may be made to do.
  • the imaging range may be reduced by enlarging and displaying only a partial range including the object in the partially captured image, that is, zooming.
  • the display device 4 is configured to be able to switch between the mirror mode and the display mode by operating a dedicated button, but the method of switching the mode of the display device 4 is this. It is not limited to.
  • the mirror mode may be automatically switched to the display mode when the vehicle shifts to a specific state, such as a reverse shift position or a traveling speed of the host vehicle below a threshold value.
  • you may make it function as a display mode always like a so-called electronic mirror.
  • the separation portions 64 and 65 have a shape that expands as they go downward so that the driver can intuitively grasp the perspective of the partial captured images 61 to 63.
  • the shape of the spacing portion is not limited to this.
  • the spacing portion may have a constant width.
  • the icons 66 and 67 are displayed below the separation portions 64 and 65, but the display position of the icons is not limited to this.
  • the icon may be displayed at a place other than the lower part of the separation part, such as an upper part of the separation part or a place other than the separation part. Further, the icon may not be displayed.
  • the partially captured image is displayed by being separated into the left and right by the separation portions 64 and 65 in the display image, but the display of the display image is not limited to this.
  • the partially captured image may not be divided by the separation portion.
  • the back mirror provided with the liquid crystal display inside the half mirror is exemplified as the display device, but the display device is not limited to this.
  • the display device may be, for example, a navigation device or a display mounted on the host vehicle other than the navigation device.
  • each of the cameras 21 to 24 and the sonar 25 are used to detect a predetermined object around the host vehicle.
  • the apparatus for detecting the object is not limited to this. It is not something.
  • a millimeter wave radar, a laser radar, or the like may be used in combination with each of the cameras 21-24.
  • the object may be detected only by the cameras 21 to 24.
  • the object detection process executes the process of realizing the front display function and the rear display function by the shift position of the shift lever when the mode of the display device 4 is the display mode.
  • the detection process is not limited to this.
  • the object detection process may execute a process for realizing only the rear display function.
  • the surroundings of the vehicle are imaged by the four cameras 21 to 24, but the number of cameras is not limited to this.
  • the number of cameras may be other than four.
  • the number of cameras may be three of the front camera 21, the left camera 23, and the right camera 24 that capture the front area, or the rear camera 22, the left camera 23, and the right camera that capture the rear area. Three cameras 24 may be provided.
  • part or all of the functions executed by the image processing unit 32 may be configured by hardware using one or a plurality of ICs.
  • the peripheral audit system 1 having the image processing unit 32 as a constituent element, a program for causing a computer to function as the image processing unit 32, a non-volatile memory such as a semiconductor memory storing the program, etc.
  • the present disclosure can also be realized in various forms such as a transitional physical storage medium and a method for enlarging a partially captured image when it is determined that an object exists.
  • a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate
  • at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment.
  • all the aspects included in the technical idea specified only by the wording described in the claims are embodiments of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

周辺監査装置（３２）は、表示処理部（Ｓ１３～１５）と、判定部（Ｓ１２）と、を備える。表示処理部は、車両における複数の異なる位置に設けられた複数台のカメラ（２１～２４）によって得られる、撮像範囲（５１～５３）の一部が互いに重複する重複部を有する複数の撮像画像を、重複部を残したまま、車両に設けられた表示装置（４）にそれぞれ表示する。判定部は、複数の撮像画像のそれぞれについて、検知すべき所定の対象物が存在するか否かを判定する。また、表示処理部は、拡大処理部（Ｓ１４）を備える。拡大処理部は、判定部により複数の撮像画像のうち少なくとも一つに対象物が存在すると判定された場合、複数の撮像画像のうち対象物が存在すると判定された少なくとも一つの撮像画像を拡大して表示装置に表示する。

Description

周辺監査装置 関連出願への相互参照
　本国際出願は、２０１６年８月１２日に日本国特許庁に出願された日本国特許出願第２０１６－１５８７５３号に基づく優先権を主張するものであり、日本国特許出願第２０１６－１５８７５３号の全内容を本国際出願に参照により援用する。
　本開示は、車両に搭載される周辺監査装置に関する。
　特許文献１には、車両における複数の異なる位置に設けられた複数台のカメラによって得られる複数の撮像画像を、車両に設けられた表示装置に表示する周辺監査装置が開示されている。この周辺監査装置は、撮像範囲の一部が互いに重複する重複部を有する複数の撮像画像を、路面などの平面を基準としてそれぞれの重複部を重ね合わせることにより一つの画像として合成し、その合成した画像を表示装置に表示する。
特許第３２８６３０６号公報
　上記の複数の撮像画像は、車両における複数の異なる位置に設けられた複数台のカメラにより撮像されたものであるため、撮像画像の重複部における人や車両などの高さを有する物体の表示態様がそれぞれ異なる。発明者の詳細な検討の結果、高さを有する物体が重複部に存在する場合、重複部に表示されるべき物体の一部が表示画面から消えてしまうなど、運転者が表示画面において物体を視認しづらくなるという課題が見出された。また、表示画面において表示される物体の大きさが小さく、運転者が物体に気づきにくいという課題が見出された。
　本開示の一局面は、表示画面において運転者が車両周辺の物体を視認しづらくなるのを抑制することができる周辺監査装置を提供することにある。
　本開示の一態様は、表示処理部と、判定部とを備える周辺監査装置である。表示処理部は、車両における複数の異なる位置に設けられた複数台のカメラによって得られる、撮像範囲の一部が互いに重複する重複部を有する複数の撮像画像を、重複部を残したまま、車両に設けられた表示装置にそれぞれ表示する。判定部は、複数の撮像画像のそれぞれについて、検知すべき所定の対象物が存在するか否かを判定する。また、表示処理部は、拡大処理部を備える。拡大処理部は、判定部により複数の撮像画像のうち少なくとも一つに対象物が存在すると判定された場合、複数の撮像画像のうち対象物が存在すると判定された少なくとも一つの撮像画像を拡大して表示装置に表示する。
　このような構成によれば、撮像画像の重複部を残したまま複数の撮像画像がそれぞれ表示装置に表示される。このため、撮像画像の重複部に高さを有する物体が存在する場合でも、物体の一部が表示画面から消えてしまうことが生じにくくなる。これにより、運転者が表示画面において物体を視認しづらくなることを抑制することができる。加えて、対象物が存在すると判定された撮像画像が拡大して表示される。このため、表示画面において表示される対象物の大きさが小さくなることが生じにくくなる。これにより、運転者が表示画面において対象物に気づきにくいことを抑制することができる。したがって、表示画面において運転者が車両周辺の対象物を視認しづらくなることを抑制することができる。
周辺監査システムの構成を示すブロック図である。 各カメラの設置位置及び後方表示機能の部分撮像画像の撮像範囲と重複範囲とを表す図である。 デフォルトの表示割合で表示された表示用画像を表す図である。 対象物検知処理のフローチャートである。 拡大時の表示割合で表示された表示用画像を表す図である。
　以下、本開示の例示的な実施形態について図面を参照しながら説明する。
　［１．構成］
　図１に示す周辺監査システム１は、車両に搭載され、前方カメラ２１、後方カメラ２２、左側方カメラ２３、右側方カメラ２４、ソナー２５、ＥＣＵ３及び表示装置４を備える。以下では、周辺監査システム１が搭載された車両を「自車両」という。
　前方カメラ２１、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４は、撮像画像を表す信号をＥＣＵ３へ出力する。図２に示すように、各カメラ２１～２４は、自車両における複数の異なる位置に設けられている。具体的には、前方カメラ２１は自車両の前部、後方カメラ２２は自車両の後部、左側方カメラ２３は自車両の左側部、そして右側方カメラ２４は自車両の右側部、にそれぞれ設けられている。
　各カメラ２１～２４は、自車両の前方領域及び後方領域のそれぞれにおいて、撮像可能な範囲の一部が互いに重複するように設けられている。具体的には、各カメラ２１～２４は、約１８０度の画角で撮像が可能な広角カメラである。このため、左側方カメラ２３及び右側方カメラ２４により撮像可能な範囲は、自車両の前方側において、前方カメラ２１により撮像可能な範囲と一部が重複し、自車両の後方側において、後方カメラ２２により撮像可能な範囲と一部が重複する。
　本実施形態において、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４は、自車両の後方を撮像した撮像画像を表示装置４に表示する後方表示機能を実現するために用いられる。また、前方カメラ２１、左側方カメラ２３及び右側方カメラ２４は、自車両の前方を撮像した撮像画像を表示装置４に表示する前方表示機能を実現するために用いられる。
　なお、以下の説明では、各カメラ２１～２４により撮像可能な範囲に対応する撮像画像を「原撮像画像」といい、表示装置４に表示される撮像画像、換言すれば原撮像画像の一部である撮像画像を「部分撮像画像」という。
　図２は、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４それぞれの撮像可能な範囲のうち、後方表示機能で表示される部分撮像画像に対応する範囲である撮像範囲を示す。後方カメラ２２の撮像範囲５３における左側の一部は、左側方カメラ２３の撮像範囲５１における後方側の一部と、重複範囲５４において重複する。また、後方カメラ２２の撮像範囲５３における右側の一部は、右側方カメラ２４の撮像範囲５２における後方側の一部と、重複範囲５５において重複する。
　なお、前方表示機能についても同様に、前方カメラ２１の撮像範囲における左側の一部及び右側の一部が、左側方カメラ２３の撮像範囲における前方側の一部、及び右側方カメラ２４の撮像範囲における前方側の一部、とそれぞれ重複する。
　図１に戻り、ソナー２５は、自車両の周辺に存在する物体を検知するための超音波センサである。具体的には、ソナー２５は、後方表示機能及び前方表示機能のそれぞれで表示される部分撮像画像に対応する撮像範囲における物体を検知可能とするため、自車両に複数設けられている。ソナー２５は、検知結果をＥＣＵ３へ出力する。
　ＥＣＵ３は、入力信号処理部３１、画像処理部３２、出力信号処理部３３、メモリ３４及び電源回路３５を備える。なお、ＥＣＵとはＥｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔの略である。
　入力信号処理部３１は、各カメラ２１～２４から入力された部分撮像画像を表す信号をそれぞれ画像処理部３２へ出力するためのインタフェースである。
　画像処理部３２は、図示しないＣＰＵ、ＲＡＭ及びＲＯＭなどを有する周知のマイクロコンピュータを中心に構成される。画像処理部３２は、非遷移的実体的記録媒体であるメモリ３４に格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、画像処理部３２は、当該プログラムに従い、後述する図５に示す対象物検知処理を実行する。画像処理部３２は、表示装置４に表示するための表示用画像を表す信号を出力信号処理部３３に出力する。
　出力信号処理部３３は、画像処理部３２により入力された表示用画像を表す信号を表示装置４へ出力するためのインタフェースである。
　メモリ３４は、前述したプログラムや部分撮像画像などを記録するための記録媒体である。
　電源回路３５は、図示しないバッテリーから入力した電圧を所定の電圧に変換し、ＥＣＵ３の各部へ供給する。
　表示装置４は、画像を表示するためのディスプレイであり、表示された画像を自車両の運転者などが視認できる位置に設けられる。図３に示すように、本実施形態の表示装置４は、ハーフミラーの内側に液晶ディスプレイを備えたバックミラーである。表示装置４は、運転者が専用のボタンを操作することにより、通常の鏡として機能するミラーモードと、鏡の部分が一つの表示画面６として機能するディスプレイモードと、を切り替え可能に構成されている。
　表示画面６は、横方向に長い概略長方形状である。後方表示機能及び前方表示機能のそれぞれにおいて、表示画面６には、３つの部分撮像画像が横並びに表示される。図３は、後方表示機能における表示用画像の一例であり、左側方カメラ２３による部分撮像画像６２、後方カメラ２２による部分撮像画像６１及び右側方カメラ２４による部分撮像画像６３が、運転者から見て左から順に表示される。なお、前方表示機能では、左側方カメラ２３による部分撮像画像、前方カメラ２１による部分撮像画像及び右側方カメラ２４による部分撮像画像が、運転者から見て左から順に表示される。
　後方表示機能及び前方表示機能は、前述したディスプレイモードにおいて、シフトレバーによって切り替わる。具体的には、後方表示機能は、シフトポジションがリバースの状態で利用される機能であり、前方表示機能は、シフトポジションがドライブの状態で利用される機能である。
　図３に示すように、部分撮像画像６１及び部分撮像画像６２は、表示画面６において、上下方向に延びる帯状の画像である離間部６４により左右に区分され、互いに離間して配置される。同様に部分撮像画像６１及び部分撮像画像６３は、表示画面６において、離間部６４と同様に離間部６５により左右に区分され、互いに離間して配置される。具体的には、離間部６４，６５は、下方に従って広がる形状である。
　離間部６４，６５の下部には、表示画面６における左右両側の部分撮像画像６２，６３が、左側方カメラ２３及び右側方カメラ２４のうちいずれの部分撮像画像であるかを運転者が容易に認識できるように、撮像範囲を示すアイコン６６，６７が表示されている。具体的には、離間部６４には、自車両の左側方の撮像範囲５１を示すアイコン６６が表示され、離間部６５には、自車両の右側方の撮像範囲５２を示すアイコン６７が表示されている。なお、離間部６４，６５は、部分撮像画像６１，６２，６３の区分を把握しやすくするため、アイコン６６，６７を除く部分が例えば黒色の画像として表示される。
　［２．処理］
　次に、画像処理部３２が実行する対象物検知処理について、図４のフローチャートを用いて説明する。対象物検知処理は、後方表示機能を実現する処理であって、表示装置４のモードがディスプレイモードでありかつシフトレバーのシフトポジションがリバースである間に周期的に実行される。
　Ｓ１１では、画像処理部３２は、入力信号処理部３１を介して、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４による原撮像画像を表す信号と、ソナー２５による検知結果と、を得る。
　Ｓ１２では、画像処理部３２は、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４によって得られた信号の表す原撮像画像の一部である部分撮像画像のそれぞれについて、検知すべき所定の物体である対象物が存在するか否かを、ソナー２５による検知結果も利用して判定する。具体的には、前述したように、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４のそれぞれについて、撮像可能な範囲の一部を表す撮像画像が部分撮像画像として表示画面６に表示される。本実施形態における上記の対象物とは、人や車両などの移動体である。
　移動体は、部分撮像画像に対して画像解析処理を行うことにより検知される。具体的には、移動体は、時系列的に連続する部分撮像画像から周知のオプティカルフロー法を用いて動きベクトルを算出することにより検知される。また、後方カメラ２２、左側方カメラ２３及び右側方カメラ２４の真正面に位置し自車両に向かってくる移動体や、静止している移動体など、オプティカルフロー法では検知できない移動体は、周知のパターンマッチング法を用いて部分撮像画像から検知される。
　さらに、本実施形態では、ソナー２５による検知結果に基づき、部分撮像画像に対する画像解析処理により検知された移動体が、検知された位置に実際に存在するか否かが判定される。その結果、実際に存在すると判定された移動体が、対象物であると判定される。
　Ｓ１２で対象物が存在しないと判定された場合、画像処理部３２は、処理をＳ１３へ移行する。そして、画像処理部３２は、表示画面６における後方カメラ２２、左側方カメラ２３及び右側方カメラ２４の部分撮像画像についての表示領域の割合である表示割合をデフォルトの表示割合に決定し、処理をＳ１５に移行する。本実施形態では、デフォルトの表示割合は、図３に示すように、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：３：１となる割合に設定されている。
　一方、前述したＳ１２で対象物が存在すると判定された場合、画像処理部３２は、処理をＳ１４へ移行する。そして、画像処理部３２は、表示画面６における後方カメラ２２、左側方カメラ２３及び右側方カメラ２４の部分撮像画像の表示割合を、対象物が存在すると判定された部分撮像画像を拡大し、対象物が存在しないと判定された部分撮像画像を縮小して表示させるための表示割合に決定し、処理をＳ１５に移行する。
　具体的には、前述したＳ１２で、対象物が部分撮像画像６２のみに存在すると判定された場合、図５に示すように、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において２：２：１となる表示割合に決定される。逆に、対象物が部分撮像画像６３のみに存在すると判定された場合、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：２：２となる表示割合に決定される。一方、対象物が部分撮像画像６１のみに存在すると判定された場合は、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：３：１となる表示割合、つまりデフォルトの表示割合と同じ表示割合に決定される。部分撮像画像６１を拡大しないのは、デフォルトの表示割合であっても部分撮像画像６１は他の部分撮像画像６２，６３と比較して表示領域が広いからである。ただし、表示割合を変更しないのはあくまでも一例であり、部分撮像画像６１が拡大されるように表示割合を変更してもよい。
　ここで、対象物が重複範囲５４，５５に存在する場合、当該対象物は二つの部分撮像画像に存在することになる。具体的には、対象物が重複範囲５４に存在する場合、前述したＳ１２で、対象物が部分撮像画像６２及び部分撮像画像６１の両方に存在すると判定される。この場合は、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において２：２：１となる表示割合に決定される。同様に、対象物が重複範囲５５に存在する場合、前述したＳ１２で、対象物が部分撮像画像６１及び部分撮像画像６３の両方に存在すると判定される。この場合、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：２：２となる表示割合に決定される。
　一方、自車両の周辺に対象物が複数存在する場合には、対象物が重複範囲５４，５５に存在しない場合にも、複数の部分撮像画像に対象画像が存在し得る。具体的には、前述したＳ１２で、対象物が部分撮像画像６２及び部分撮像画像６３の両方に存在すると判定された場合、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において２：１：２となる表示割合に決定される。また前述したＳ１２で、対象物が各部分撮像画像６１～６３のすべてに存在すると判定された場合、部分撮像画像６２、部分撮像画像６１及び部分撮像画像６３の各表示領域が横方向において１：３：１となる表示割合に決定される。なお、いずれの例においても、各部分撮像画像６１～６３の縦方向の表示領域の割合はすべて同一であり、変動はしない。また、各部分撮像画像６１～６３の撮像範囲は、表示割合に関係なく同一である。
　このように、画像処理部３２は、表示画面６における各部分撮像画像６１～６３の撮像範囲を維持しつつ、表示用画像における各部分撮像画像６１～６３の表示領域の横方向における表示割合を変えることにより、対象物が存在すると判定された部分撮像画像を拡大し、対象物が存在しないと判定された部分撮像画像を縮小する。
　Ｓ１５では、画像処理部３２は、Ｓ１３又はＳ１４で決定された表示割合で表示用画像を表示画面６に表示する。具体的には、画像処理部３２は、決定された表示割合が前回の表示割合と異なる場合には、表示割合を段階的に変化させる周知のモーフィングの手法を用いて、表示用画像を表示画面６に表示させる。例えば、前回の表示割合が１：３：１であり、今回の表示割合が２：２：１である場合、表示割合を瞬時に変化させるのではなく、部分撮像画像６２の横幅を徐々に増加させ、部分撮像画像６１の横幅を徐々に減少させる。その後、画像処理部３２は、対象物検知処理を終了する。
　なお、表示装置４のモードがディスプレイモードでありかつシフトレバーのシフトポジションがドライブである間は、前方表示機能を実現する処理であって図４に示す対象物検知処理と同様の処理が、周期的に実行される。
　［３．効果］
　以上詳述した実施形態によれば、以下の効果が得られる。
　（３ａ）本実施形態では、３つの部分撮像画像６１～６３が、重複範囲５４，５５に対応する重複部を残したまま、表示装置４にそれぞれ表示される。このため、各部分撮像画像６１～６３の重複部に高さを有する物体が存在する場合でも、物体の一部が表示画面６から消えてしまうことが生じにくくなる。これにより、運転者が表示画面６において物体を視認しづらくなることを抑制することができる。加えて、対象物が存在すると判定された部分撮像画像が拡大して表示される。このため、表示画面６において表示される対象物の大きさが小さくなることが生じにくくなる。これにより、運転者が表示画面６において対象物に気づきにくいことを抑制することができる。したがって、表示画面６において運転者が自車両周辺の対象物を視認しづらくなることを抑制することができる。
　（３ｂ）本実施形態では、画像処理部３２は、表示装置４の一つの表示画面６における各部分撮像画像６１～６３についての表示割合を変えることで、デフォルトの表示割合と比較して、対象物が存在すると判定された部分撮像画像を拡大し、対象物が存在しないと判定された部分撮像画像を縮小する。つまり画像処理部３２は、各部分撮像画像６１～６３のいずれにも対象物が存在しないと判定された場合の表示割合と比較して、対象物が存在すると判定された部分撮像画像を拡大し、対象物が存在しないと判定された部分撮像画像を縮小する。これにより、対象物が存在しないと判定された部分撮像画像を縮小せずに、対象物が存在すると判定された部分撮像画像を拡大する場合と比較して、表示画面６を有効に利用することができる。すなわち、対象物が存在しないと判定された部分撮像画像を縮小せずに、対象物が存在すると判定された部分撮像画像を拡大しようとした場合、デフォルトの表示用画像には、対象物が存在すると判定された部分撮像画像を拡大するための余白をあらかじめ用意しておく必要がある。これに対し、本実施形態では、対象物が存在しないと判定された部分撮像画像を縮小するので、デフォルトの表示用画像及び拡大時の表示用画像のいずれも、表示画面６の全体を有効に利用することができる。
　（３ｃ）本実施形態では、画像処理部３２は、対象物検知処理において対象物が検知された部分撮像画像を表示画面６における撮像範囲を維持したまま部分撮像画像の表示割合を変えることで、拡大して表示する。これにより、部分撮像画像における対象物を含む一部の範囲のみを拡大して表示する場合、つまりズームすることにより撮像範囲を小さくする場合とは異なり、運転者が表示画面６において対象物を認識しやすくすることができる。すなわち、撮像範囲を維持したまま拡大しているため、対象物が存在すると判定された部分撮像画像の全体像をつかみながら、拡大された部分撮像画像で対象物を認識しやすくすることができる。
　（３ｄ）本実施形態では、画像処理部３２は、各部分撮像画像６１～６３を表示画面６に互いに離間して表示する。これにより、各カメラ２１～２４による各部分撮像画像６１～６３が区分して表示されるため、表示されている各部分撮像画像６１～６３がどのカメラによる部分撮像画像かを認識しやすくすることができる。
　（３ｅ）本実施形態では、離間部６４，６５は、下方に行くに従って広がる形状である。したがって、各部分撮像画像６１～６３の遠近感を運転者に直感的に把握させやすくすることができる。
　（３ｆ）本実施形態では、離間部６４，６５に撮像範囲５１，５２を示すアイコン６６，６７が表示されている。これにより、表示画面６における左右両側の部分撮像画像６２，６３が左側方カメラ２３及び右側方カメラ２４のうちいずれの部分撮像画像であるかを運転者が認識しやすくすることができる。
　（３ｇ）本実施形態では、対象物を検知する際に各カメラ２１～２４及びソナー２５が併用される。したがって、各カメラ２１～２４のみを利用して対象物を検知する構成と比較して、各カメラ２１～２４により得られた信号の表す原撮像画像のうち、表示画面６に表示される部分撮像画像に、検知すべき所定の対象物が存在するか否かの検知精度を向上させることができる。
　なお、本実施形態では、画像処理部３２が周辺監査装置に相当し、Ｓ１３～１５が表示処理部の処理に相当し、Ｓ１２が判定部としての処理に相当し、Ｓ１４が拡大処理部としての処理に相当する。
　［４．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（４ａ）上記実施形態では、検知すべき所定の対象物として人や車両などの移動体を例示したが、対象物はこれに限定されるものではない。対象物には、例えば、電柱などの静止物が含まれてもよい。
　（４ｂ）上記実施形態では、表示画面６におけるデフォルトの表示割合は、運転者から見て左から順に１：３：１であるが、デフォルトの表示割合はこれに限定されるものではない。デフォルトの表示割合は、例えば、１：１：１や１：２：１等であってもよい。また、デフォルトの表示割合以外の表示割合も、上記実施形態で示した表示割合に限定されるものではない。
　（４ｃ）上記実施形態では、画像処理部３２は、対象物検知処理において対象物が存在すると判定された部分撮像画像の表示領域を拡大する代わりに、対象物が存在しないと判定された部分撮像画像の表示領域を縮小する構成を例示した。しかしながら、対象物が存在しないと判定された部分撮像画像の表示態様は、これに限定されるものではない。例えば、対象物が存在しないと判定された部分撮像画像の表示領域を縮小せずに、対象物が存在すると判定された部分撮像画像の表示領域のみを拡大してもよい。このような表示態様は、例えば、デフォルトの表示用画像に、対象物が存在すると判定された部分撮像画像の表示領域を拡大するための余白をあらかじめ用意しておくことで実現可能である。
　（４ｄ）上記実施形態では、表示用画像における各部分撮像画像６１～６３の表示領域の横方向における表示割合を変えることにより、対象物が存在すると判定された部分撮像画像の表示領域を拡大する構成を例示した。しかしながら表示割合の変更の仕方はこれに限定されるものではない。例えば、部分撮像画像の表示領域の横方向及び縦方向の両方における表示割合が変更されてもよい。具体的には、例えば、部分撮像画像の表示領域の縦横比を維持したまま、対象物が存在すると判定された部分撮像画像の表示領域が拡大され、対象物が存在しないと判定された部分撮像画像の表示領域が縮小されるようにしてもよい。このような表示態様も、例えば、デフォルトの表示用画像に対象物が存在すると判定された部分撮像画像の表示領域を拡大するための余白をあらかじめ用意しておくことで実現可能である。また、部分撮像画像の表示領域の縦方向における表示割合のみが変更されてもよい。例えば、複数の部分撮像画像が表示画面において縦方向に並んで配置されている場合、上記実施形態と同様、表示用画像に余白を設けることなく部分撮像画像の表示割合を変更することができる。
　（４ｅ）上記実施形態では、部分撮像画像の表示領域が拡大又は縮小されても撮像範囲が維持される構成を例示したが、これに限定されるものではなく、部分撮像画像の撮像範囲が変更されるようにしてもよい。例えば、部分撮像画像における対象物を含む一部の範囲のみを拡大して表示する、つまりズームすることにより撮像範囲が小さくされてもよい。
　（４ｆ）上記実施形態では、表示装置４は、専用のボタンを操作することにより、ミラーモードと、ディスプレイモードと、を切り替え可能に構成されているが、表示装置４のモードの切り替え方法はこれに限定されるものではない。例えば、シフトポジションがリバースの状態、自車両の走行速度がしきい値以下の状態など、特定の状態へ移行した場合にミラーモードからディスプレイモードに自動的に切り替わるようにしてもよい。また、いわゆる電子ミラーのように常時ディスプレイモードとして機能するようにしてもよい。
　（４ｇ）上記実施形態では、離間部６４，６５は、各部分撮像画像６１～６３の遠近感を運転者に直感的に把握させやすくすることができるように、下方に行くに従って広がる形状であるが、離間部の形状はこれに限定されるものではない。例えば、離間部は、幅が一定であってもよい。
　（４ｈ）上記実施形態では、離間部６４，６５の下部にアイコン６６，６７が表示されているが、アイコンの表示位置はこれに限定されるものではない。例えば、アイコンは、離間部の上部や、離間部以外の場所など、離間部の下部以外の場所に表示されていてもよい。また、アイコンが表示されないようにしてもよい。
　（４ｉ）上記実施形態では、部分撮像画像は、表示用画像において離間部６４，６５により左右に区分されて表示されているが、表示用画像の表示はこれに限定されるものではない。例えば、部分撮像画像は、離間部により区分されなくてもよい。
　（４ｊ）上記実施形態では、決定された表示割合が前回の表示割合と異なる場合に、表示割合を段階的に変化させるモーフィング手法が用いられるが、表示割合の変更方法はこれに限定されるものではない。例えば、表示割合を瞬時に変化させてもよい。
　（４ｋ）上記実施形態では、表示装置として、ハーフミラーの内側に液晶ディスプレイを備えたバックミラーを例示したが、表示装置はこれに限定されるものではない。表示装置は、例えば、ナビゲーション装置や、ナビゲーション装置以外の自車両に搭載されたディスプレイ等であってもよい。
　（４ｌ）上記実施形態では、自車両の周辺における所定の対象物を検知するために、各カメラ２１～２４及びソナー２５が使用されるが、対象物を検知するための装置はこれに限定されるものではない。例えば、ソナー２５に代えてミリ波レーダやレーザーレーダ等が各カメラ２１～２４と併用されてもよい。また例えば、各カメラ２１～２４のみにより対象物を検知してもよい。
　（４ｍ）上記実施形態では、対象物検知処理は、表示装置４のモードがディスプレイモードであるとき、シフトレバーのシフトポジションによって前方表示機能及び後方表示機能を実現する処理を実行するが、対象物検知処理はこれに限定されるものではない。対象物検知処理は、例えば、後方表示機能のみを実現する処理を実行してもよい。
　（４ｎ）上記実施形態では、４台のカメラ２１～２４により車両の周辺を撮像するが、カメラの台数はこれに限定されるものではない。例えば、カメラの台数は４台以外であってもよい。この場合において例えば、カメラの台数は、前方領域を撮像する前方カメラ２１、左側方カメラ２３及び右側方カメラ２４の３台、若しくは、後方領域を撮像する後方カメラ２２、左側方カメラ２３及び右側方カメラ２４の３台であってもよい。
　（４ｏ）上記実施形態では、画像処理部３２が実行する機能の一部又は全部を、１つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。
　（４ｐ）前述した画像処理部３２の他、当該画像処理部３２を構成要素とする周辺監査システム１、画像処理部３２としてコンピュータを機能させるためのプログラム、このプログラムを記憶した半導体メモリ等の非遷移的実体的記憶媒体、対象物が存在すると判定された場合の部分撮像画像の拡大方法など、種々の形態で本開示を実現することもできる。
　（４ｑ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

Claims (5)

  1. 　周辺監査装置（３２）であって、
    　車両における複数の異なる位置に設けられた複数台のカメラ（２１～２４）によって得られる複数の撮像画像であって撮像範囲（５１～５３）の一部が互いに重複する重複部を有する前記複数の撮像画像を、前記重複部を残したまま、前記車両に設けられた表示装置（４）にそれぞれ表示する表示処理部（Ｓ１３～１５）と、
    　前記複数の撮像画像のそれぞれについて、検知すべき所定の対象物が存在するか否かを判定する判定部（Ｓ１２）と、
    　を備え、
    　前記表示処理部は、前記判定部により前記複数の撮像画像のうち少なくとも一つに前記対象物が存在すると判定された場合、前記複数の撮像画像のうち前記対象物が存在すると判定された少なくとも一つの撮像画像を拡大して前記表示装置に表示する拡大処理部（Ｓ１４）を備える、周辺監査装置。
  2. 　請求項１に記載の周辺監査装置であって、
    　前記表示処理部は、前記複数の撮像画像を前記表示装置の一つの表示画面（６）に表示する、周辺監査装置。
  3. 　請求項２に記載の周辺監査装置であって、
    　前記拡大処理部は、前記表示画面における前記複数の撮像画像についての表示領域の割合を変えることで、前記判定部により前記複数の撮像画像のいずれにも前記対象物が存在しないと判定された場合と比較して、前記対象物が存在すると判定された少なくとも一つの前記撮像画像の前記表示画面における前記表示領域が大きくなるように拡大して表示し、前記対象物が存在しないと判定された少なくとも一つの前記撮像画像の前記表示画面における前記表示領域が小さくなるように縮小して表示する、周辺監査装置。
  4. 　請求項３に記載の周辺監査装置であって、
    　前記拡大処理部は、前記表示画面に表示する前記複数の撮像画像の撮像範囲を維持したまま、前記表示画面における前記表示領域の割合を変える、周辺監査装置。
  5. 　請求項２から請求項４までのいずれか１項に記載の周辺監査装置であって、
    　前記表示処理部は、前記複数の撮像画像を前記表示画面に互いに離間して表示する、周辺監査装置。
PCT/JP2017/029004 2016-08-12 2017-08-09 周辺監査装置 WO2018030491A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/323,359 US11394926B2 (en) 2016-08-12 2017-08-09 Periphery monitoring apparatus
CN202310549461.3A CN116567399A (zh) 2016-08-12 2017-08-09 周边检查装置
CN201780048830.3A CN109644252A (zh) 2016-08-12 2017-08-09 周边检查装置
DE112017004055.8T DE112017004055T5 (de) 2016-08-12 2017-08-09 Umgebungsuntersuchungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-158753 2016-08-12
JP2016158753A JP6551336B2 (ja) 2016-08-12 2016-08-12 周辺監査装置

Publications (1)

Publication Number Publication Date
WO2018030491A1 true WO2018030491A1 (ja) 2018-02-15

Family

ID=61162389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029004 WO2018030491A1 (ja) 2016-08-12 2017-08-09 周辺監査装置

Country Status (5)

Country Link
US (1) US11394926B2 (ja)
JP (1) JP6551336B2 (ja)
CN (2) CN116567399A (ja)
DE (1) DE112017004055T5 (ja)
WO (1) WO2018030491A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019179511A (ja) * 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 運転支援システム、情報処理装置及び運転支援方法
JP6857695B2 (ja) * 2018-09-14 2021-04-14 シャープ株式会社 後方表示装置、後方表示方法、およびプログラム
WO2020090512A1 (ja) * 2018-10-31 2020-05-07 ソニー株式会社 撮影装置、制御方法、及び、プログラム
WO2021192372A1 (ja) * 2020-03-27 2021-09-30 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及びプログラム
CN111539973B (zh) * 2020-04-28 2021-10-01 北京百度网讯科技有限公司 用于检测车辆位姿的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
JP2010287163A (ja) * 2009-06-15 2010-12-24 Alpine Electronics Inc 車載用画像表示装置および画像のトリミング方法
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1115250B1 (en) 1998-07-31 2012-06-06 Panasonic Corporation Method and apparatus for displaying image
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
US7937667B2 (en) * 2006-09-27 2011-05-03 Donnelly Corporation Multimedia mirror assembly for vehicle
JP2010116086A (ja) * 2008-11-14 2010-05-27 Alpine Electronics Inc 車載用表示装置、表示方法および表示プログラム
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
DE102011088332B4 (de) * 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
JP6205640B2 (ja) * 2012-07-30 2017-10-04 市光工業株式会社 車両用警告装置
US9242602B2 (en) * 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
CN203713784U (zh) 2013-12-06 2014-07-16 广州进强电子科技有限公司 汽车监控***
JP6398675B2 (ja) * 2014-12-09 2018-10-03 株式会社デンソー 画像生成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
JP2010287163A (ja) * 2009-06-15 2010-12-24 Alpine Electronics Inc 車載用画像表示装置および画像のトリミング方法
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置

Also Published As

Publication number Publication date
US11394926B2 (en) 2022-07-19
CN116567399A (zh) 2023-08-08
CN109644252A (zh) 2019-04-16
US20210289169A1 (en) 2021-09-16
DE112017004055T5 (de) 2019-04-25
JP6551336B2 (ja) 2019-07-31
JP2018026757A (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
WO2018030491A1 (ja) 周辺監査装置
JP4900232B2 (ja) 車両用駐車支援装置および映像表示方法
CN107351764B (zh) 车辆后方监视***
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
JP4985250B2 (ja) 駐車支援装置
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
US10611308B2 (en) Image generation device and image generation method
JP2009060404A (ja) 映像処理装置
US10609337B2 (en) Image processing apparatus
JP6628389B2 (ja) 操船支援システム及びそのシステムを搭載した船舶
JP2008013022A (ja) 車両の運転支援装置
JP4693561B2 (ja) 車両周辺監視装置
JP2005186648A (ja) 車両用周囲視認装置および表示制御装置
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2013506897A (ja) 交通状況のビデオデータと間隔データを組み合わせて視覚的に表示するための方法および装置
JP2016218795A (ja) 画像処理装置および画像処理方法
JP2006054662A (ja) 運転支援装置
JP6730617B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6730606B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP5067136B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JP5477394B2 (ja) 車両周辺監視装置
WO2019131763A1 (ja) 表示処理装置及び表示制御装置
JP2007088577A (ja) 車両周辺画像処理システム
KR102125738B1 (ko) 주차 보조 시스템
WO2018055873A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17839558

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17839558

Country of ref document: EP

Kind code of ref document: A1