WO2016157667A1 - 画像処理装置、運転支援システム及び画像処理方法 - Google Patents

画像処理装置、運転支援システム及び画像処理方法 Download PDF

Info

Publication number
WO2016157667A1
WO2016157667A1 PCT/JP2016/000094 JP2016000094W WO2016157667A1 WO 2016157667 A1 WO2016157667 A1 WO 2016157667A1 JP 2016000094 W JP2016000094 W JP 2016000094W WO 2016157667 A1 WO2016157667 A1 WO 2016157667A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
integrated
processing apparatus
lost
important
Prior art date
Application number
PCT/JP2016/000094
Other languages
English (en)
French (fr)
Inventor
健児 瀧田
哲郎 奥山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2016157667A1 publication Critical patent/WO2016157667A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image processing device, a driving support system, and an image processing method, and more particularly, to image processing for integrating images taken by a plurality of imaging devices.
  • Patent Document 1 Conventionally, various technologies that support driving of a vehicle using image processing technology have been proposed (see, for example, Patent Document 1).
  • Patent Document 1 discloses an in-vehicle image generation device that integrates images taken by a plurality of imaging devices mounted on a vehicle.
  • the in-vehicle image generation device disclosed in Patent Literature 1 by arranging a set of viewpoint conversion images beside the central image, the image is prevented from being blurred at the boundary portion between the images to be integrated. .
  • the present disclosure relates to an image processing device capable of suppressing loss of important image information included in a plurality of images when integrating a plurality of images, a driving support system including the image processing device, and an image processing method. I will provide a.
  • an image processing device is a first image shot from a first shooting position and a first image shot from a second shooting position different from the first shooting position.
  • An image processing apparatus that generates an integrated image using a second image in which a region including a part of a region that has been photographed is photographed, wherein the first image and the second image are based on a predetermined detection criterion.
  • a detection unit that detects an important image included in at least one of the images, and a first use image and a second use image that are parts used as part of the integrated image are extracted from the first image and the second image, respectively.
  • an adaptive control unit that generates a lost image that is an image indicating the lost part, and the first use Image, second use image and disappeared image Integrates and an integration unit for generating integrated image.
  • the image processing apparatus, the driving support system including the image processing apparatus, and the image processing method according to the present disclosure suppress loss of important image information included in the plurality of images when the plurality of images are integrated. it can.
  • FIG. 1 is an external view showing an example of a driving support apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a top view showing the arrangement of the first imaging device, the second imaging device, and the third imaging device constituting the driving support system according to Embodiment 1 with respect to the automobile.
  • FIG. 3 is a block diagram illustrating a functional configuration of the driving support system according to the first embodiment.
  • FIG. 4 is a conceptual diagram for explaining an example of a basic operation in the image processing apparatus according to the first embodiment.
  • FIG. 5 is a conceptual diagram for explaining an example of a basic operation in the image processing apparatus according to the first embodiment.
  • FIG. 6 is a conceptual diagram for explaining an example of a basic operation in the image processing apparatus according to the first embodiment.
  • FIG. 1 is an external view showing an example of a driving support apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a top view showing the arrangement of the first imaging device, the second imaging device, and the third imaging device constituting the driving support system according to
  • FIG. 7 is a conceptual diagram for explaining an image mixing process in the image processing apparatus according to the first embodiment.
  • FIG. 8 is a schematic diagram illustrating an example of the first image, the second image, and the third image acquired by the image processing apparatus according to the first embodiment.
  • FIG. 9A is a schematic diagram illustrating an example of an integrated image generated using only each use image according to Embodiment 1.
  • FIG. 9B is a schematic diagram illustrating an example of an integrated image generated using each use image and lost image according to Embodiment 1.
  • FIG. 10 is a flowchart showing the operation of the image processing apparatus according to the first embodiment.
  • FIG. 11 is a schematic diagram illustrating an example of an integrated image generated using only the use images according to the second embodiment.
  • FIG. 12A is a schematic diagram illustrating an example of an integrated image generated using only each use image according to Embodiment 3.
  • FIG. 12B is a schematic diagram illustrating an example of an integrated image generated using each use image according to Embodiment 3 and a lost image composed of alternative images.
  • FIG. 12C is a schematic diagram illustrating an example of an integrated image generated using each use image according to Embodiment 3 and a lost image composed of alternative images.
  • FIG. 1 is an external view showing an example of the driving support apparatus 100 according to the present embodiment.
  • FIG. 1 shows an overview of a driving assistance device 100 attached to the inside of an automobile 50.
  • FIG. 2 is a top view showing the arrangement of the first imaging device 20a, the second imaging device 20b, and the third imaging device 20c constituting the driving support system according to the present embodiment with respect to the automobile 50.
  • FIG. 2 is a top view showing the arrangement of the first imaging device 20a, the second imaging device 20b, and the third imaging device 20c constituting the driving support system according to the present embodiment with respect to the automobile 50.
  • FIG. 3 is a block diagram showing a functional configuration of the driving support system 110 according to the present embodiment.
  • the driving support system 110 is a system that is mounted on a moving body and supports driving of the moving body. As shown in FIGS. 1 and 2, the driving support system 110 according to the present embodiment is mounted on an automobile 50. As shown in FIG. 3, the driving support system 110 includes a driving support device 100, a first imaging device 20a, a second imaging device 20b, and a third imaging device 20c.
  • the first imaging device 20a is a device that captures the first image from the first imaging position.
  • the first imaging device 20 a is located at the center of the rear end 50 a of the automobile 50 that is the first imaging position (the center of the lower end of the automobile 50 shown in FIG. 2). It is attached and images the rear of the automobile 50 (below the automobile 50 shown in FIG. 2).
  • the second imaging device 20b is a device that captures a second image from a second imaging position different from the first imaging position.
  • the second imaging device 20 b is attached to the left door mirror 50 b of the automobile 50 that is the second imaging position and photographs the rear of the automobile 50.
  • the third imaging device 20c is a device that captures a third image from a third imaging position that is different from both the first imaging position and the second imaging position.
  • the third imaging device 20 c is attached to the right door mirror 50 c of the automobile 50 that is the third imaging position and photographs the rear of the automobile 50.
  • the directions of the visual axis of the first imaging device 20a, the second imaging device 20b, and the third imaging device 20c are indicated by dashed-dotted arrows. Further, in FIG. 2, the ends of the areas that can be imaged by the first imaging device 20a, the second imaging device 20b, and the third imaging device 20c are indicated by dotted lines, respectively. That is, the angle formed by the dotted line shown in FIG. 2 represents the angle of view of each imaging device.
  • the driving support device 100 is a device that is mounted on a moving body and supports driving of the moving body. As shown in FIG. 1, the driving assistance device 100 according to the present embodiment is attached to the front of the driver's seat inside the automobile 50 to assist the driver. As illustrated in FIG. 3, the driving support device 100 includes an image processing device 10 and a display device 30.
  • the display device 30 is a device that displays the integrated image generated by the image processing device 10.
  • the integrated image is generated using the first image, the second image, and the third image captured by the first imaging device 20a, the second imaging device 20b, and the third imaging device 20c, respectively.
  • the display device 30 includes, for example, a liquid crystal display device, an organic EL (Electro Luminescence) display device, and the like.
  • the image processing apparatus 10 includes a first image shot from the first shooting position, a second image shot from a second shooting position different from the first shooting position, and both the first shooting position and the second shooting position. It is an apparatus that generates an integrated image obtained by integrating third images taken from different third shooting positions. Here, each of the second image and the third image is captured in a region including a part of the region captured in the first image.
  • the image processing apparatus 10 is realized by, for example, a microcomputer including a program, a memory, and a processor. As illustrated in FIG. 3, the image processing apparatus 10 functionally includes a first acquisition unit 11a, a second acquisition unit 11b, a third acquisition unit 11c, a first preprocessing unit 12a, and a second preprocessing unit 12b. , A third preprocessing unit 12c, a detection unit 13, an adaptive control unit 14 and an integration unit 15.
  • the first acquisition unit 11a, the second acquisition unit 11b, and the third acquisition unit 11c are data acquisition units that acquire the first image, the second image, and the third image, respectively.
  • the first acquisition unit 11a, the second acquisition unit 11b, and the third acquisition unit 11c receive data of each image from the first imaging device 20a, the second imaging device 20b, and the third imaging device 20c, respectively. get.
  • the first preprocessing unit 12a, the second preprocessing unit 12b, and the third preprocessing unit 12c are processing units that perform preprocessing on the first image, the second image, and the third image, respectively.
  • the preprocessing includes a process for correcting distortion caused by the lens of the imaging apparatus, a process for correcting the optical axis of the imaging apparatus (the line of sight indicated by a one-dot chain line in FIG. 2), and the like.
  • the process for correcting the optical axis of the imaging apparatus includes, for example, a process for correcting the direction of the optical axis and a process for correcting the inclination of the optical axis with respect to the horizontal direction.
  • the optical axis of each imaging device is right behind the automobile 50, but in reality, the direction of the optical axis may be shifted in the vertical direction, the horizontal direction, and the rotation direction.
  • processing for correcting the deviation of the direction of the optical axis may be performed.
  • a process for generating a viewpoint conversion image described in Patent Document 1 may be used.
  • the size of the subject on the first image is the size of the subject on the second image and the third image. It will be bigger than that. Therefore, the size of the object of each image may be matched by a predetermined distance by performing a scaling process on the first image. For example, the first image is scaled so that the size of the three-dimensional object existing 20 m behind the automobile 50 matches in each image.
  • the closer to the car 50 side from the position 20 m behind the different the size of the object on the image, and in particular, the difference in the appearance of the ground near the car 50 becomes larger.
  • the deformation ratio of the ground image of the first image is closer to the ground image portion closer to the car 50 side so that the ground image of the first image matches the ground image of the second image and the third image.
  • the coordinates at which the horizon appears on the first image are stored, and the lower the coordinates (that is, the image portion of the ground near the automobile 50) at the coordinates below the horizon coordinates, the deformation rate increases.
  • the first image is deformed. Thereby, the ground image of the first image is matched with the ground image of the second image and the third image.
  • the first preprocessing unit 12a, the second preprocessing unit 12b, and the third preprocessing unit 12c receive the image data output from the first acquisition unit 11a, the second acquisition unit 11b, and the third acquisition unit 11c, respectively.
  • the preprocessed image data is output to the detection unit 13 and the integration unit 15.
  • the detection unit 13 is a processing unit that detects an important image in at least one of the first image, the second image, and the third image based on a predetermined detection criterion.
  • the detection criteria and definition of the important image are not particularly limited, in the present embodiment, the detection unit 13 detects an image of a three-dimensional object existing near the automobile 50 (or each imaging device) as the important image. .
  • a three-dimensional object existing within 20 m from the automobile 50 may be detected as an important image.
  • the image of the three-dimensional object is detected by, for example, stereo matching, plane projection stereo method, or the like.
  • the detection unit 13 may detect a three-dimensional object as an important image using object recognition.
  • the image of the three-dimensional object is detected by object recognition such as vehicle detection, two-wheel detection, and person detection.
  • the detection unit 13 may detect an important image based on relative speed information of at least one of the first shooting position, the second shooting position, and the third shooting position of the object shot in each image.
  • the relative speed information may be information on the relative speed between the object approaching the automobile 50 and the automobile 50.
  • the relative speed of an object approaching the automobile 50 is estimated based on a motion vector obtained from two images acquired at different times, and an image of an object approaching the automobile 50 with a large relative speed is detected as an important image. May be.
  • the detection unit 13 may detect an important image based on the movement of the automobile 50 that is a moving body provided with the first shooting position, the second shooting position, and the third shooting position.
  • the detection unit 13 may detect an important image according to the moving direction of the automobile 50, and may detect, for example, an image taken from a shooting position on the direction side in which the automobile 50 moves as an important image. That is, when the automobile 50 makes a right turn, an image on the right rear imaged from the third imaging position may be detected as an important image.
  • the detection unit 13 may detect an important image based on the speed of the automobile 50. For example, when the speed of the automobile 50 is relatively slow, an image showing an object relatively close to the automobile 50 may be detected as an important image.
  • the moving direction, moving speed, etc. of the automobile 50 can be detected using control information based on the CAN (Controller Area Network) standard used in the automobile 50, for example.
  • CAN Controller Area Network
  • the adaptive control unit 14 extracts a first use image, a second use image, and a third use image that are parts used as part of the integrated image from the first image, the second image, and the third image, respectively.
  • the first use image, the second use image, and the third use image may each include a first mixing unit, a second mixing unit, and a third mixing unit, which are portions mixed with each other in the integrated image.
  • each of the first mixing unit, the second mixing unit, and the third mixing unit may be weighted with a mixing ratio determined by the adaptive control unit 14.
  • the adaptive control unit 14 further includes a disappearance that is an image indicating a disappearance when there is a disappearance that is not included in any of the first use image, the second use image, and the third use image among the important images. Generate an image.
  • the adaptive control unit 14 also performs image shaping processing for making the size, inclination, and the like of the subject captured in the first use image, the second use image, and the third use image substantially coincide. Details of processing performed by the adaptive control unit 14 will be described later.
  • the integration unit 15 integrates the first use image, the second use image, and the third use image extracted by the adaptive control unit 14 and the lost image generated by the adaptive control unit 14 to generate an integrated image. It is a processing unit.
  • integrated means not only to integrate the images after arranging them without overlapping, but also to integrate a part of each image with another image. .
  • a process may be included in which the plurality of superimposed images are weighted with a mixing ratio and then mixed.
  • a process of deleting a part of the plurality of images may be included.
  • the integration unit 15 receives the first image, the second image, and the third image from the first preprocessing unit 12a, the second preprocessing unit 12b, and the third preprocessing unit 12c.
  • information related to the first use image, the second use image, and the third use image is input to the integration unit 15 from the adaptive control unit 14.
  • the information includes information indicating areas extracted as the first use image, the second use image, and the third use image among the first image, the second image, and the third image, and a mixing ratio of each image. Contains information to indicate.
  • the integration unit 15 generates a first use image, a second use image, and a third use image from the information, the first image, the second image, and the third image. Further, the lost image generated by the adaptive control unit 14 is input to the integration unit 15.
  • FIG. 4 is a conceptual diagram for explaining an example of a basic operation in the image processing apparatus 10 according to the present embodiment.
  • the Y-axis is shown so as to pass through the first imaging device 20a and coincide with the longitudinal direction of the automobile 50, and the forward direction of the automobile 50 (upward in FIG. 4) coincides with the positive direction of the Y-axis.
  • the X axis is shown so as to pass through the second imaging device 20b and the third imaging device 20c, and the direction from the second imaging device 20b in FIG. 4 to the third imaging device 20c (rightward in FIG. 4) is X. Matches the positive direction of the axis.
  • the ends of the areas that can be imaged by the first imaging device 20 a, the second imaging device 20 b, and the third imaging device 20 c are indicated by dotted lines. Therefore, for example, the imaging region of the first image captured by the first imaging device 20a is a region sandwiched by dotted lines extending from the first imaging device 20a in FIG. In FIG. 4, the angle of view of the first image is indicated by a dashed arrow 21a. Similarly, the imaging regions of the second image and the third image captured by the second imaging device 20b and the third imaging device 20c, respectively, are dotted lines extending from the second imaging device 20b and the third imaging device 20c in FIG. It becomes a sandwiched area. In FIG. 4, the angles of view of the second image and the third image are indicated by broken-line arrows 21b and 21c, respectively.
  • the adaptive control unit 14 uses the first use image and the second use that are parts used as a part of the integrated image from the first image, the second image, and the third image. An image and a third use image are extracted.
  • the adaptive control unit 14 extracts the first use image, the second use image, and the third use image so that the image of the region on the alignment line 60 located behind the automobile 50 is not interrupted in the integrated image.
  • the adaptive control unit 14 extracts each use image so that images included in the first use image, the second use image, and the third use image do not overlap each other.
  • FIG. 4 the adaptive control unit 14 uses the first use image and the second use that are parts used as a part of the integrated image from the first image, the second image, and the third image.
  • the angle of view of the first use image is indicated by a solid arrow 22a, and both ends of the angle of view are indicated by broken lines extending from the first imaging device 20a. That is, the region of the first use image is a region sandwiched by broken lines extending from the first imaging device 20a in FIG.
  • the angles of view of the second use image and the third use image are indicated by solid line arrows 22b and 22c, respectively, and both ends of the view angle of the second use image are from the second imaging device 20b. It is shown by the extended broken line and the dotted line L0b. That is, the region of the second use image is a region sandwiched between the broken line and the dotted line L0b extending from the second imaging device 20b in FIG.
  • both ends of the angle of view of the third use image are indicated by a broken line and a dotted line L0c extending from the second imaging device 20c. That is, the region of the third use image is a region sandwiched between the broken line and the dotted line L0c extending from the third imaging device 20c in FIG.
  • the position of the alignment line 60 can be set to a distance of about 10 m from the first imaging device 20a, for example.
  • the first use image, the second use image, and the third use image for example, the front ends of the two automobiles 51 and 52 whose front ends are located on the alignment line 60 shown in FIG.
  • the partial images do not break or overlap in the integrated image.
  • an interrupted part and an overlapping part are generated in the image of the region other than the region on the alignment line 60 in the integrated image.
  • an image in which an object existing in the hatched areas 25b and 25c shown in FIG. 4 is captured is not included in any use image. That is, the integrated image does not include images of objects existing in the hatched areas 25b and 25c.
  • FIG. 5 is a conceptual diagram for explaining an example of a basic operation in the image processing apparatus 10 according to the present embodiment.
  • the automobile 52 is closer to the automobile 50 than the alignment line 60.
  • a part of the image of the automobile 52 overlaps with the hatched area 25c. Therefore, the image of the part of the image of the automobile 52 that overlaps the hatched area 25c is not included in the integrated image. That is, the image of the part of the car 52 that overlaps the hatched area 25c is included in the first image and the third image, but is extracted from the first image and the third image. It is not included in the use image and the third use image.
  • an image region disappearing from the first image, the second image, and the third image is generated.
  • the image processing apparatus 10 used in the driving support system 110, it is preferable that an image important for assisting driving, such as an image of the car 52 located behind the car 50, is missing from the integrated image. Absent. Therefore, the image processing apparatus 10 according to the present embodiment detects an important image included in at least one of the first image, the second image, and the third image based on a predetermined detection criterion. In the image processing apparatus 10, the adaptive control unit 14 performs processing for suppressing the detected important image from being lost in the integrated image.
  • an operation of the image processing apparatus 10 according to the present embodiment for suppressing the loss of an important image in an integrated image will be described with reference to the drawings.
  • FIG. 6 is a conceptual diagram for explaining an example of a basic operation in the image processing apparatus 10 according to the present embodiment.
  • the automobile 52 is arranged at the same position as the automobile 52 shown in FIG. 5.
  • the angle of view of the third use image is expanded from the angle of view indicated by the solid line arrow 22 c of FIG. 6 to the angle of view indicated by the solid line arrow 23 c so that the image of the car 52 is included in the integrated image.
  • the angle of view of the first use image is reduced from the angle of view indicated by the solid line arrow 22a in FIG. 6 to the angle of view indicated by the solid line arrow 23a.
  • the hatched area 26c which is an area not included in any of the used images, has moved in the negative direction of the X axis in FIG. 6 from the area 25c shown in FIG.
  • a lost image that is an image of the automobile 52 that disappeared in the integrated image of the example shown in FIG. 5 is added to the third use image in the example shown in FIG.
  • the loss of the image of the automobile 52 that is an important image is suppressed.
  • FIG. 7 is a conceptual diagram for explaining the image mixing process in the image processing apparatus 10 according to the present embodiment.
  • the region within the angle of view of the first use image (that is, the angle of view indicated by the solid line arrow 22A)
  • a region 27b that overlaps the region within the angle of view of the second use image (that is, the angle of view indicated by the solid line arrow 22B).
  • a region 27c where the region within the angle of view of the first use image and the region within the angle of view of the third use image (that is, the angle of view indicated by the solid line arrow 22C) overlap.
  • the first use image and the second use image have portions obtained by photographing the same area on the alignment line 60
  • the first use image and the third use image have the same area on the alignment line 60. It has the part which photographed.
  • the first use image and the second use image each have a first mixing unit and a second mixing unit, which are portions obtained by photographing the same region on the alignment line 60.
  • the first use image and the second use image each have a first mixing unit and a second mixing unit, which are parts mixed with each other in the integrated image.
  • Each of the first mixing unit and the second mixing unit is weighted with a mixing ratio determined by the adaptive control unit 14. That is, the adaptive control unit 14 weights the pixel values of the first mixing unit and the second mixing unit with a predetermined mixing ratio.
  • the first mixing unit and the second mixing unit are mixed with each other in the integration unit 15. That is, the sum of the pixel values of the first mixing unit and the corresponding pixel values of the second mixing unit is the pixel value in the region in the integrated image corresponding to the first mixing unit and the second mixing unit.
  • the mixing ratio is gradually lowered from the position near the center of the first use image in the first mixing section toward the position near the end. Further, the mixing ratio is gradually lowered from the position near the center of the second use image in the second mixing section toward the position near the end.
  • difference in the boundary part between a 1st use image and a 2nd use image can be made inconspicuous. The same applies to the image mixing process for the first use image and the third use image.
  • This embodiment is particularly effective in the case where an integrated image with little image shift at the boundary portion between adjacent use images is required and the image outline is allowed to be blurred to some extent at the boundary portion. .
  • FIG. 8 is a schematic diagram illustrating an example of the first image, the second image, and the third image acquired by the image processing apparatus 10 according to the present embodiment.
  • (A), (b), and (c) of FIG. 8 show examples of the first image, the second image, and the third image, respectively.
  • the detection unit 13 detects an important image based on a predetermined detection criterion.
  • important images 61 and 62 are detected from the first image
  • important images 61 and 63 are detected from the second image.
  • the information of each image shown in FIG. 8 and the information of the important image detected by the detection unit 13 are input to the adaptive control unit 14.
  • the adaptive control unit 14 extracts predetermined portions of the first image, the second image, and the third image as the first use image, the second use image, and the third use image.
  • an example of an integrated image generated when these used images are integrated as they are will be described with reference to the drawings.
  • FIG. 9A is a schematic diagram illustrating an example of the integrated image 200 generated using only the first use image, the second use image, and the third use image according to the present embodiment.
  • a region 201 of the integrated image 200 illustrated in FIG. 9A is a region generated only by the second use image.
  • An area 203 is an area generated only from the first use image.
  • a region 206 is a region generated only by the third use image.
  • a region 202 is a region generated by mixing the first mixing portion of the first use image and the second mixing portion of the second use image.
  • An area 205 is an area generated by mixing the first mixing part of the first use image and the third mixing part of the third use image.
  • a region 204 is a region generated by mixing the second mixing portion of the second usage image and the third mixing portion of the third usage image.
  • the integrated image 200 includes only a part of the image 61a of the important image 61, and the other part of the important image 61 is lost. That is, of the important image 61, there is a lost part that is not included in any of the used images.
  • the adaptive control unit 14 generates a lost image that is an image indicating a lost portion when the integrated image generated using only each used image has a lost portion.
  • a lost image that is an image indicating a lost portion when the integrated image generated using only each used image has a lost portion.
  • FIG. 9B is a schematic diagram illustrating an example of the integrated image 210 generated using the first use image, the second use image, the third use image, and the lost image according to the present embodiment.
  • a region 213 of the integrated image 210 shown in FIG. 9B is a region generated only by the first use image.
  • a region 212 is a region generated using the first mixed portion of the first used image, the second mixed portion of the second used image, and the lost image.
  • broken lines are shown to show the boundaries between the regions, but the broken lines need not be shown in the integrated image 210.
  • the integrated image 210 includes a lost image 61b generated by the adaptive control unit 14.
  • the adaptive control unit 14 generates the lost image 61b from the image of the area including the lost portion of the second image. Specifically, the adaptive control unit 14 generates a lost image 61b from the important image 61 included in the second image shown in FIG.
  • the integration unit 15 integrates each used image and the lost image 61b to generate an integrated image 210.
  • the integrated image 210 may be equal to an image in which the position of the boundary between the region 202 and the region 203 of the integrated image 200 shown in FIG. 9A is shifted to the right in FIG. 9A.
  • the area 212 can be said to be an area generated by mixing the first use image and the second use image.
  • disappearance image 61b is visually recognizable in an integrated image by fully raising the mixing ratio of the 2nd use image of the area
  • the adaptive control unit 14 determines that the important image has been lost. Specifically, whether or not the important image can be viewed may be determined based on the contrast of the outline of the important image.
  • the disappearing portion is generated in the region 203 generated only by the first use image.
  • the disappearance portion is mixed with the second mixture portion of the second use image. It can also occur in the generated area 202.
  • a lost image can be generated by adjusting the mixing ratio.
  • FIG. 10 is a flowchart showing the operation of the image processing apparatus 10 according to the present embodiment.
  • the first acquisition unit 11a, the second acquisition unit 11b, and the third acquisition unit 11c are respectively from the first imaging device 20a, the second imaging device 20b, and the third imaging device 20c.
  • a first image, a second image, and a third image are acquired (S1).
  • the first preprocessing unit 12a, the second preprocessing unit 12b, and the third preprocessing unit 12c perform preprocessing such as lens distortion correction on the first image, the second image, and the third image, respectively.
  • preprocessing such as lens distortion correction
  • the detection unit 13 detects an important image included in at least one of the first image, the second image, and the third image based on a predetermined detection criterion (S3).
  • the adaptive control unit 14 determines, from the first image, the second image, and the third image, the first use image, the second use image, and the third use image that are parts used as a part of the integrated image, respectively. Extract (S4).
  • the adaptive control unit 14 loses the important image detected by the detection unit 13 when there is a lost part that is not included in any of the first use image, the second use image, and the third use image.
  • a lost image which is an image showing a portion, is generated (S5).
  • the integration unit 15 integrates the first use image, the second use image, the third use image, and the lost image to generate an integrated image (S6).
  • the image processing apparatus 10 can generate an integrated image using the first image, the second image, and the third image. Moreover, the adaptive control part 14 can suppress that the important image detected by the detection part 13 disappears in the integrated image.
  • an integrated image is generated using three images, but the number of images used may be plural.
  • the image processing apparatus 10 is captured from the first image captured from the first image capture position and the second image capture position different from the first image capture position, and is captured in the first image.
  • An integrated image is generated using the second image in which a region including a part of the region is captured.
  • the image processing apparatus 10 includes a detection unit 13 that detects an important image included in at least one of the first image and the second image based on a predetermined detection criterion.
  • the image processing apparatus 10 extracts the first use image and the second use image, which are parts used as part of the integrated image, from the first image and the second image, respectively, and among the important images, the first use image and the second use image are extracted.
  • the adaptive control unit 14 When there is a lost part that is not included in either the first use image or the second use image, the adaptive control unit 14 is provided that generates a lost image that is an image showing the lost part. Further, the image processing apparatus 10 includes an integration unit 15 that generates an integrated image by integrating the first use image, the second use image, and the lost image.
  • the adaptive control unit 14 generates a lost image from an image in a region including the lost portion of the first image or the second image.
  • the image processing apparatus 10 can generate the lost image from the important image included in the first image or the second image, the important image included in the first image or the second image is faithfully represented in the integrated image. Can be reproduced.
  • the first use image and the second use image each have a first mixing unit and a second mixing unit, which are parts to be mixed with each other in the integrated image.
  • Each of the first mixing unit and the second mixing unit is weighted with a mixing ratio determined by the adaptive control unit 14.
  • the image shift at the boundary portion between the adjacent use images can be made inconspicuous.
  • the adaptive control unit 14 may generate a lost image by adjusting the mixing ratio.
  • the detection unit 13 detects a three-dimensional object image existing within a predetermined distance from the first shooting position or the second shooting position as an important image.
  • a three-dimensional object existing near the moving body can be more reliably visually recognized. For this reason, it is possible to more reliably visually recognize a three-dimensional object having a relatively high possibility of interference with the moving body, and it is possible to assist in suppressing interference between the moving object and a three-dimensional object existing nearby.
  • the detection unit 13 may detect an image of an object having a large relative speed with at least one of the first shooting position and the second shooting position as an important image.
  • the first shooting position and the second shooting position are provided on the same moving body, and the detection unit 13 includes the first shooting position and the second shooting position.
  • the detection unit 13 includes the first shooting position and the second shooting position.
  • an image photographed from a photographing position on the moving direction side of the moving body may be detected as an important image.
  • the driving support system 110 displays an image processing device 10, a first imaging device 20a that captures a first image, a second imaging device 20b that captures a second image, and an integrated image. Display device 30.
  • the image processing method includes a first image shot from the first shooting position and one of the areas shot from the second shooting position different from the first shooting position and shot in the first image.
  • the image processing method includes a step of acquiring a first image and a second image, and a step of detecting an important image included in at least one of the first image and the second image based on a predetermined detection criterion. .
  • the image processing method includes extracting a first use image and a second use image, which are parts used as a part of the integrated image, from the first image and the second image, respectively, Generating a lost image that is an image indicating the lost portion when there is a lost portion that is not included in either the first used image or the second used image. Further, the image processing method includes a step of generating an integrated image by integrating the first use image, the second use image, and the lost image.
  • the image processing apparatus 10 according to the present embodiment has the same functional configuration as that of the image processing apparatus 10 according to the first embodiment shown in FIG. 3, but the processing performed by the adaptive control unit 14 is the same as that of the first embodiment. Different from the image processing apparatus 10. Hereinafter, the process in the adaptive control part 14 which concerns on this Embodiment is demonstrated.
  • the adaptive control unit 14 uses the first image, the second image, and the third image as a part of the integrated image.
  • the second use image and the third use image are extracted.
  • the adaptive control part 14 is a lost image which is an image which shows a loss
  • the adaptive control unit 14 according to the present embodiment does not perform image mixing processing. Therefore, none of the first use image, the second use image, and the third use image has a mixing portion.
  • the image processing apparatus 10 As with the image processing apparatus 10 according to the first embodiment, the image processing apparatus 10 according to the present embodiment generates each image when generating an integrated image using the first image, the second image, and the third image. The loss of important image information included in the image can be suppressed. In addition, since the image processing apparatus 10 according to the present embodiment does not perform the image mixing process, the processing load related to the image processing can be reduced.
  • FIG. 11 is a schematic diagram illustrating an example of the integrated image 220 generated using only the first use image 221a, the second use image 221b, and the third use image 221c according to the present embodiment.
  • FIG. 11 shows a boundary line 222 between the first use image 221a and the second use image 221b, a boundary line 223 between the first use image 221a and the third use image 221c, and the second use image 221b and the third use image.
  • a boundary line 224 with the image 221c is shown.
  • the adaptive control unit 14 generates a lost image that is an image of another part of the important image. Specifically, when each use image is extracted as shown in FIG. 11, the adaptive control unit 14 can generate a lost image from the first image from which the first use image 221a is extracted. That is, the adaptive control unit 14 may set a part of the important image adjacent to the portion extracted as the first use image 221a in the first image as the lost image.
  • the integration unit 15 can generate an integrated image using the lost image, thereby generating an integrated image including the entire important image.
  • the integrated image may be an image equal to an image obtained by shifting the boundary line 223 between the first use image 221a and the third use image 221c to the right in FIG.
  • the integrated image according to the present embodiment generates a boundary line at the boundary between the used images.
  • these boundary lines it is possible to suppress a sense of discomfort that a user who has viewed the integrated image feels due to image shifts at the boundary portions between the used images.
  • the image processing apparatus 10 does not perform the image mixing process.
  • the image processing apparatus 10 according to the present embodiment can suppress the loss of important image information included in a plurality of images when the plurality of images are integrated. Further, since the image processing apparatus 10 according to the present embodiment does not perform the image mixing process, the processing load is reduced compared to the image processing apparatus 10 according to the first embodiment.
  • Embodiment 3 An image processing apparatus according to Embodiment 3 will be described.
  • the lost image is generated from the first image, the second image, or the third image.
  • a substitute image that replaces the important image is generated as the lost image.
  • the present embodiment will be described with a focus on the configuration different from each embodiment, and the description of the common configuration will be omitted.
  • the image processing apparatus 10 according to the present embodiment has the same functional configuration as that of the image processing apparatus 10 according to the first embodiment shown in FIG. 3, but is implemented in the processing performed by the adaptive control unit 14 and the integration unit 15. This is different from the image processing apparatus 10 according to the first embodiment.
  • processing in the adaptive control unit 14 and the integration unit 15 according to the present embodiment will be described.
  • the adaptive control unit 14 uses the first image, the second image, and the third image as a part of the integrated image.
  • the second use image and the third use image are extracted.
  • the adaptive control part 14 is a lost image which is an image which shows a loss
  • the adaptive control unit 14 according to the present embodiment generates a substitute image that replaces the important image as the lost image. Specifically, the adaptive control unit 14 generates, as a substitute image, a symbol, a symbol, or the like indicating that a part of the important image has disappeared as the lost image.
  • the integration unit 15 integrates the first use image, the second use image and the third use image extracted by the adaptive control unit 14 and the substitute image generated by the adaptive control unit 14 to generate an integrated image.
  • the integration unit 15 arranges the substitute image on, for example, a boundary line between the use images.
  • the image processing apparatus 10 when the integrated image is generated using the first image, the second image, and the third image, similarly to the image processing apparatus 10 according to the first embodiment, It is possible to suppress the loss of important image information included in the image. That is, in addition to each use image, information indicating that there is a lost part of the important image can be added to the integrated image by using the lost image composed of the substitute image. Thereby, the user who sees the integrated image cannot recognize the image of the lost part of the important image itself in the integrated image, but can recognize that the lost part exists in the integrated image. For example, when the image processing apparatus 10 according to the present embodiment is applied to the driving support system, the driver's attention is drawn by indicating that the lost part of the important image exists in the integrated image by the substitute image. can do.
  • FIG. 12A is a schematic diagram illustrating an example of the integrated image 230 generated using only the first use image 231a, the second use image 231b, and the third use image 231c according to the present embodiment.
  • boundary lines 232, 233, and 234 are shown as in FIG.
  • the important image 65 is included in the first use image 231a without any disappearance.
  • FIG. 12B shows an example of an integrated image 240 generated using the first use image 241a, the second use image 241b, the third use image 241c, and the lost image composed of the substitute image 65b according to the present embodiment.
  • FIG. 12B boundary lines 242, 243, and 244 are shown as in FIG. 12A.
  • the substitute image 65 b of the important image is displayed on the boundary line 243 instead of the image of the region other than the image 65 a.
  • the substitute image 65b is arranged on the boundary line 243 and at a position adjacent to the image 65a.
  • a substitute image is generated as an image indicating a lost portion of an important image
  • an integrated image is generated using the substitute image and each used image.
  • FIG. 12B an example of image processing in which a part of the important image 65a is included in the integrated image is shown, but the present embodiment can be used even when the entire important image disappears in the integrated image. .
  • image processing when the entire important image disappears in the integrated image will be described with reference to the drawings.
  • FIG. 12C shows an example of the integrated image 250 generated using the first use image 251a, the second use image 251b, the third use image 251c, and the lost image composed of the substitute image 65b according to the present embodiment.
  • FIG. FIG. 12C shows boundary lines 252, 253, and 254 as in FIGS. 12A and 12B.
  • the integrated image 250 shown in FIG. 12C the entire important image 65 has disappeared.
  • an example in which the important image 65 exists at a position corresponding to the position on the right side of the boundary line 253 of the first use image 251 a is shown. Therefore, in the integrated image 250 shown in FIG. 12C, the substitute image 65b is displayed on the boundary line 253 near the position where the important image 65 should exist.
  • the integrated image 250 includes information indicating that the important image exists and the position where the important image exists. That is, also in the present image processing example, when the first image, the second image, and the third image are integrated, it is possible to avoid the loss of the important image information included in these images.
  • a symbol is used as an alternative image, but the alternative image is not limited to a symbol.
  • the substitute image for example, an arbitrary image that can be visually recognized by the user, such as an illustration or mark imitating an important image, a region of a specific color, or a character, can be used.
  • the adaptive control unit 14 generates a substitute image that replaces the important image as the lost image.
  • the image processing apparatus 10 since the image processing apparatus 10 according to the present embodiment generates a substitute image as a lost image, the load related to image processing can be reduced as compared with the case where the important image itself is generated.
  • the integration unit 15 arranges the substitute image at the boundary between the first use image and the second use image in the integrated image.
  • the number of images to be used is not limited to three.
  • the number of images used may be plural.
  • images taken from the back of a car are integrated has been shown, but the images to be integrated are not limited to this.
  • an image to be integrated for example, an arbitrary image such as an image obtained by photographing the front or side of a car can be used.
  • the mobile body in which a driving assistance system is mounted is not limited to a motor vehicle.
  • the driving support system may be mounted on an arbitrary moving body such as an airplane or a ship.
  • the technology in the present disclosure can be realized not only as an image processing apparatus, a driving support system, and an image processing method, but also a program including the image processing method as a step, and a computer-readable DVD (Digital Versatile Disc) recording the program. ) Or the like.
  • the present disclosure relates to an image processing device capable of suppressing loss of important image information included in the plurality of images when the plurality of images are integrated, a driving support system including the image processing device, and image processing. It is applicable as a method. Specifically, the present disclosure is applicable to an in-vehicle driving support system including a rear view camera, a rear view mirror, and an image processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

第一画像と第二画像とを用いて統合画像を生成する画像処理装置（１０）であって、予め定められた検出基準に基づいて、第一画像及び第二画像の少なくとも一方に含まれる重要画像を検出する検出部（１３）と、第一画像及び第二画像から、統合画像の一部として使用される部分である第一使用画像及び第二使用画像をそれぞれ抜き出し、かつ、重要画像のうち、第一使用画像及び第二使用画像のいずれにも含まれない消失部分がある場合に、当該消失部分を示す画像である消失画像を生成する適応制御部（１４）と、第一使用画像、第二使用画像及び消失画像を統合して統合画像を生成する統合部（１５）とを備える。

Description

画像処理装置、運転支援システム及び画像処理方法
　本開示は、画像処理装置、運転支援システム及び画像処理方法に関し、特に、複数の撮像装置によって撮影された画像を統合する画像処理に関する。
　従来、画像処理技術を用いて車の運転を支援する様々な技術が提案されている（例えば、特許文献１参照）。
　特許文献１では、車両に搭載された複数の撮像装置によって撮影された画像を統合する車載画像生成装置が開示されている。特許文献１に開示された車載画像生成装置では、中心画像の横に一組の視点変換画像を配置することにより、統合される画像同士の境界部分で画像が不鮮明になることを防止している。
国際公開第２０１４／０６８８２３号
　本開示は、複数の画像を統合する際に、複数の画像に含まれる重要な画像の情報が消失することを抑制できる画像処理装置、その画像処理装置を備える運転支援システム、及び、画像処理方法を提供する。
　上記目的を達成するために、本開示に係る画像処理装置の一形態は、第一撮影位置から撮影された第一画像と、第一撮影位置と異なる第二撮影位置から撮影され、第一画像に撮影された領域の一部を含む領域が撮影された第二画像とを用いて統合画像を生成する画像処理装置であって、予め定められた検出基準に基づいて、第一画像及び第二画像の少なくとも一方に含まれる重要画像を検出する検出部と、第一画像及び第二画像から、統合画像の一部として使用される部分である第一使用画像及び第二使用画像をそれぞれ抜き出し、かつ、重要画像のうち、第一使用画像及び第二使用画像のいずれにも含まれない消失部分がある場合に、消失部分を示す画像である消失画像を生成する適応制御部と、第一使用画像、第二使用画像及び消失画像を統合して統合画像を生成する統合部とを備える。
　本開示における画像処理装置、その画像処理装置を備える運転支援システム、及び、画像処理方法は、複数の画像を統合する際に、複数の画像に含まれる重要な画像の情報が消失することを抑制できる。
図１は、実施の形態１に係る運転支援装置の一例を示す外観図である。 図２は、実施の形態１に係る運転支援システムを構成する第一撮像装置、第二撮像装置及び第三撮像装置の自動車に対する配置を示す上面図である。 図３は、実施の形態１に係る運転支援システムの機能構成を示すブロック図である。 図４は、実施の形態１に係る画像処理装置における基本動作の一例を説明するための概念図である。 図５は、実施の形態１に係る画像処理装置における基本動作の一例を説明するための概念図である。 図６は、実施の形態１に係る画像処理装置における基本動作の一例を説明するための概念図である。 図７は、実施の形態１に係る画像処理装置における画像混合処理を説明するための概念図である。 図８は、実施の形態１に係る画像処理装置によって取得される第一画像、第二画像及び第三画像の一例を示す概略図である。 図９Ａは、実施の形態１に係る各使用画像だけを用いて生成された統合画像の一例を示す概略図である。 図９Ｂは、実施の形態１に係る各使用画像及び消失画像を用いて生成された統合画像の一例を示す概略図である。 図１０は、実施の形態１に係る画像処理装置の動作を示すフローチャートである。 図１１は、実施の形態２に係る各使用画像だけを用いて生成された統合画像の一例を示す概略図である。 図１２Ａは、実施の形態３に係る各使用画像だけを用いて生成された統合画像の一例を示す概略図である。 図１２Ｂは、実施の形態３に係る各使用画像と代替画像で構成された消失画像とを用いて生成された統合画像の一例を示す概略図である。 図１２Ｃは、実施の形態３に係る各使用画像と代替画像で構成された消失画像とを用いて生成された統合画像の一例を示す概略図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。つまり、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示における技術を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
　（実施の形態１）
　［１－１．構成］
　まず、実施の形態１に係る画像処理装置及び運転支援システムの構成について図面を用いて説明する。
　図１は、本実施の形態に係る運転支援装置１００の一例を示す外観図である。図１は、自動車５０の内部に取り付けられた運転支援装置１００の概観を示す。
　図２は、本実施の形態に係る運転支援システムを構成する第一撮像装置２０ａ、第二撮像装置２０ｂ及び第三撮像装置２０ｃの自動車５０に対する配置を示す上面図である。
　図３は、本実施の形態に係る運転支援システム１１０の機能構成を示すブロック図である。
　本実施の形態に係る運転支援システム１１０は、移動体に搭載されて、移動体の運転を支援するシステムである。図１及び図２に示されるように、本実施の形態に係る運転支援システム１１０は、自動車５０に搭載される。また、図３に示されるように、運転支援システム１１０は、運転支援装置１００、第一撮像装置２０ａ、第二撮像装置２０ｂ及び第三撮像装置２０ｃを備える。
　第一撮像装置２０ａは、第一撮影位置から第一画像を撮影する装置である。本実施の形態では、図２に示されるように、第一撮像装置２０ａは、第一撮影位置である自動車５０の後端５０ａの中央部（図２に示される自動車５０の下端中央部）に取り付けられて、自動車５０の後方（図２に示される自動車５０の下方）を撮影する。
　第二撮像装置２０ｂは、第一撮影位置と異なる第二撮影位置から第二画像を撮影する装置である。本実施の形態では、図２に示されるように、第二撮像装置２０ｂは、第二撮影位置である自動車５０の左側ドアミラー５０ｂに取り付けられて、自動車５０の後方を撮影する。
　第三撮像装置２０ｃは、第一撮影位置及び第二撮影位置のいずれとも異なる第三撮影位置から第三画像を撮影する装置である。本実施の形態では、図２に示されるように、第三撮像装置２０ｃは、第三撮影位置である自動車５０の右側ドアミラー５０ｃに取り付けられて、自動車５０の後方を撮影する。
　なお、図２には、第一撮像装置２０ａ、第二撮像装置２０ｂ及び第三撮像装置２０ｃの視線軸の向きが、それぞれ一点鎖線の矢印で示されている。また、図２には、第一撮像装置２０ａ、第二撮像装置２０ｂ及び第三撮像装置２０ｃによって撮像可能な領域の端が点線でそれぞれ示されている。すなわち、図２に示される点線のなす角が各撮像装置の画角を表す。
　運転支援装置１００は、移動体に搭載されて、移動体の運転を支援する装置である。図１に示されるように、本実施の形態に係る運転支援装置１００は、自動車５０の内部の運転席前方に取り付けられて、運転者の支援を行う。図３に示されるように、運転支援装置１００は、画像処理装置１０及び表示装置３０を備える。
　表示装置３０は、画像処理装置１０が生成した統合画像を表示する装置である。統合画像は、第一撮像装置２０ａ、第二撮像装置２０ｂ及び第三撮像装置２０ｃがそれぞれ撮影した第一画像、第二画像及び第三画像を用いて生成される。表示装置３０は、例えば、液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置などで構成される。
　画像処理装置１０は、第一撮影位置から撮影された第一画像と、第一撮影位置と異なる第二撮影位置から撮影された第二画像と、第一撮影位置及び第二撮影位置のいずれとも異なる第三撮影位置から撮影された第三画像とを統合した統合画像を生成する装置である。ここで、第二画像及び第三画像は、それぞれ第一画像に撮影された領域の一部を含む領域が撮影されている。画像処理装置１０は、例えば、プログラム、メモリ及びプロセッサを含むマイクロコンピュータ等で実現される。図３に示されるように、画像処理装置１０は、機能的には、第一取得部１１ａ、第二取得部１１ｂ、第三取得部１１ｃ、第一前処理部１２ａ、第二前処理部１２ｂ、第三前処理部１２ｃ、検出部１３、適応制御部１４及び統合部１５を備える。
　第一取得部１１ａ、第二取得部１１ｂ及び第三取得部１１ｃは、それぞれ、第一画像、第二画像及び第三画像を取得するデータ取得部である。本実施の形態では、第一取得部１１ａ、第二取得部１１ｂ及び第三取得部１１ｃは、それぞれ、第一撮像装置２０ａ、第二撮像装置２０ｂ及び第三撮像装置２０ｃから各画像のデータを取得する。
　第一前処理部１２ａ、第二前処理部１２ｂ及び第三前処理部１２ｃは、それぞれ、第一画像、第二画像及び第三画像に前処理を施す処理部である。前処理には、具体的には、撮像装置のレンズによる歪みを補正する処理、撮像装置の光軸（図２に一点鎖線で示される視線軸）を補正する処理などが含まれる。
　撮像装置の光軸を補正する処理としては、例えば、光軸の向きを補正する処理、及び、光軸の水平方向に対する傾きを補正する処理などが含まれる。図２に示される例では、各撮像装置の光軸は、自動車５０の真後ろ向きであるが、実際には、光軸の向きが鉛直方向、水平方向及び回転方向にずれ得る。本実施の形態では、光軸の向きのずれを補正する処理を行ってもよい。当該処理として、特許文献１に記載された視点変換画像を生成する処理などを用いてもよい。
　ここで、第一撮影位置は第二撮影位置及び第三撮影位置よりも物体までの距離が近いため、第一画像上の被写体の大きさは第二画像上及び第三画像上の被写体の大きさよりも大きくなる。そこで、第一画像をスケーリング処理することで、ある定められた距離で各画像の物体の大きさを一致させてもよい。例えば、自動車５０から後方２０ｍの位置に存在する立体物の大きさが各画像で一致するように第一画像をスケーリングする。ここで、後方２０ｍの位置から自動車５０側に近づくほど画像上の物体の大きさが異なるようになり、特に自動車５０付近の地面の見え方の違いが大きくなる。そのため、第一画像の地面の画像と第二画像及び第三画像の地面の画像とが一致するように、第一画像の地面の画像を、自動車５０側に近い地面の画像部分ほど変形率が大きくなるように変形してもよい。例えば、第一画像上で地平線が映る座標を記憶しておき、地平線の座標よりも下の座標では画像下部（すなわち、自動車５０に近い地面の画像部分）に近づくほど変形率が大きくなるように、第一画像を変形する。これにより、第一画像の地面画像を第二画像及び第三画像の地面画像と一致させる。
　第一前処理部１２ａ、第二前処理部１２ｂ及び第三前処理部１２ｃは、それぞれ、第一取得部１１ａ、第二取得部１１ｂ及び第三取得部１１ｃから出力された画像データを受け取り、前処理後の画像データを検出部１３及び統合部１５に出力する。
　検出部１３は、予め定められた検出基準に基づいて、第一画像、第二画像及び第三画像の少なくとも一つに写っている重要画像を検出する処理部である。重要画像の検出基準及び定義は、特に限定されないが、本実施の形態では、検出部１３は、自動車５０（又は、各撮像装置）から近い位置に存在する立体物の画像を重要画像として検出する。例えば、自動車５０から２０ｍ以内に存在する立体物を重要画像として検出してもよい。ここで、立体物の画像は、例えば、ステレオマッチング、平面投影ステレオ法などにより検出される。
　また、検出部１３は、物体認識を用いて立体物を重要画像として検出してもよい。ここで、立体物の画像は、例えば、車両検出、二輪検出、人物検出などの物体認識により検出される。
　また、検出部１３は、各画像に撮影された物体の、第一撮影位置、第二撮影位置及び第三撮影位置の少なくとも一つのとの相対速度情報に基づいて重要画像を検出してもよい。相対速度情報は、自動車５０に接近する物体と、自動車５０との相対速度情報であってもよい。例えば、異なる時間で取得された２枚の画像から求めた動きベクトルに基づいて自動車５０に接近する物体の相対速度を推定し、自動車５０に接近する相対速度が大きい物体の画像を重要画像として検出してもよい。
　また、検出部１３は、第一撮影位置、第二撮影位置及び第三撮影位置が設けられた移動体である自動車５０の動きに基づいて、重要画像を検出してもよい。検出部１３は、自動車５０の移動方向に応じて重要画像を検出してもよく、例えば、自動車５０が移動する方向側にある撮影位置から撮影された画像を重要画像として検出してもよい。すなわち、自動車５０が右折する場合に、第三撮影位置から撮影された右後方の画像を重要画像として検出してもよい。また、検出部１３は、自動車５０の速度に基づいて、重要画像を検出してもよい。例えば、自動車５０の速度が比較的遅い場合に、自動車５０の比較的近くの物体を写す画像を重要画像として検出してもよい。なお、自動車５０の移動方向、移動速度などは、例えば、自動車５０で使用されるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）規格に基づいた制御情報などを用いて検出することができる。
　適応制御部１４は、第一画像、第二画像及び第三画像から、統合画像の一部として使用される部分である第一使用画像、第二使用画像及び第三使用画像をそれぞれ抜き出す処理部である。ここで、第一使用画像、第二使用画像及び第三使用画像は、統合画像において互いに混合される部分である第一混合部、第二混合部及び第三混合部をそれぞれ有してもよい。この場合、第一混合部、第二混合部及び第三混合部の各々は、適応制御部１４によって定められた混合比率で重み付けされていてもよい。適応制御部１４は、さらに、上記重要画像のうち、第一使用画像、第二使用画像及び第三使用画像のいずれにも含まれない消失部分がある場合に、消失部分を示す画像である消失画像を生成する。また、適応制御部１４は、例えば、第一使用画像、第二使用画像及び第三使用画像に写された被写体の寸法、傾きなどをほぼ一致させるための画像整形処理も行う。適応制御部１４が行う処理の詳細については後述する。
　統合部１５は、適応制御部１４によって抜き出された第一使用画像、第二使用画像及び第三使用画像と、適応制御部１４によって生成された消失画像とを統合して統合画像を生成する処理部である。なお、ここで、「統合する」とは、各画像を重ねることなく並べた後に一体化することだけでなく、各画像の一部を他の画像と重ね合わせて一体化することなども意味する。また、各画像の一部を他の画像と重ね合わせて一体化する場合には、重ね合わされた複数の画像をそれぞれ混合比率で重み付けした後、混合する処理が含まれてもよいし、重ね合わされた複数の画像のうちの一部が削除される処理が含まれてもよい。
　統合部１５には、第一前処理部１２ａ、第二前処理部１２ｂ及び第三前処理部１２ｃから、第一画像、第二画像及び第三画像が入力される。また、統合部１５には、適応制御部１４から、第一使用画像、第二使用画像及び第三使用画像に関する情報が入力される。当該情報には、第一画像、第二画像及び第三画像のうち、第一使用画像、第二使用画像及び第三使用画像として抜き出される領域を示す情報、及び、各画像の混合比率を示す情報が含まれる。統合部１５は、当該情報と、第一画像、第二画像及び第三画像とから、第一使用画像、第二使用画像及び第三使用画像を生成する。また、統合部１５には、適応制御部１４が生成した消失画像が入力される。
　［１－２．画像処理装置の動作概要］
　続いて、本実施の形態に係る画像処理装置１０の動作概要について図面を用いて説明する。
　図４は、本実施の形態に係る画像処理装置１０における基本動作の一例を説明するための概念図である。
　図４において、第一撮像装置２０ａを通り、自動車５０の前後方向に一致するようにＹ軸が示されており、自動車５０の前方向き（図４の上向き）がＹ軸の正の向きと一致する。また、第二撮像装置２０ｂ及び第三撮像装置２０ｃを通るようにＸ軸が示されており、図４の第二撮像装置２０ｂから第三撮像装置２０ｃに向かう向き（図４の右向き）がＸ軸の正の向きと一致する。
　また、図４において、図２と同様に、第一撮像装置２０ａ、第二撮像装置２０ｂ及び第三撮像装置２０ｃによって撮像可能な領域の端が点線でそれぞれ示されている。したがって、例えば、第一撮像装置２０ａによって撮影される第一画像の撮影領域は、図４の第一撮像装置２０ａから延びる点線で挟まれた領域となる。図４においては、第一画像の画角が破線矢印２１ａで示されている。同様に、第二撮像装置２０ｂ及び第三撮像装置２０ｃによってそれぞれ撮影される第二画像及び第三画像の撮影領域は、図４の第二撮像装置２０ｂ及び第三撮像装置２０ｃからそれぞれ延びる点線で挟まれた領域となる。図４においては、第二画像及び第三画像の各画角がそれぞれ破線矢印２１ｂ及び２１ｃで示されている。
　本実施の形態に係る画像処理装置１０では、適応制御部１４が、第一画像、第二画像及び第三画像から統合画像の一部として使用される部分である第一使用画像、第二使用画像及び第三使用画像をそれぞれ抜き出す。適応制御部１４は、統合画像において、自動車５０の後方に位置する位置合わせライン６０上の領域の画像が途切れないように、第一使用画像、第二使用画像及び第三使用画像を抜き出す。また、図４に示される例では、適応制御部１４は、第一使用画像、第二使用画像及び第三使用画像に含まれる画像が互いに重複しないように各使用画像を抜き出す。図４においては、第一使用画像の画角が実線矢印２２ａで示され、画角の両端が、第一撮像装置２０ａから延びる破線で示されている。すなわち、第一使用画像の領域は、図４の第一撮像装置２０ａから延びる破線で挟まれた領域となる。同様に、図４においては、第二使用画像及び第三使用画像の各画角が、それぞれ実線矢印２２ｂ及び２２ｃで示され、第二使用画像の画角の両端が、第二撮像装置２０ｂから延びる破線及び点線Ｌ０ｂで示されている。すなわち、第二使用画像の領域は、図４の第二撮像装置２０ｂから延びる破線及び点線Ｌ０ｂで挟まれた領域となる。同様に、第三使用画像の画角の両端が、第二撮像装置２０ｃから延びる破線及び点線Ｌ０ｃで示されている。すなわち、第三使用画像の領域は、図４の第三撮像装置２０ｃから延びる破線及び点線Ｌ０ｃで挟まれた領域となる。なお、位置合わせライン６０の位置は、例えば、第一撮像装置２０ａから１０ｍ程度の距離に設定することができる。
　以上のように、第一使用画像、第二使用画像及び第三使用画像を抜き出すことにより、例えば、図４に示される位置合わせライン６０上に前端が位置する二台の自動車５１及び５２の前端部分の画像は、統合画像において途切れることも、重複することもない。しかしながら、この場合、統合画像における、位置合わせライン６０上の領域以外の領域の画像には、途切れる部分及び重複する部分が発生する。例えば、図４に示されるハッチングされた領域２５ｂ及び２５ｃに存在する物体が撮影された画像は、いずれの使用画像にも含まれない。すなわち、統合画像にはハッチングされた領域２５ｂ及び２５ｃに存在する物体の画像は含まれない。また、図４に示される位置合わせライン６０よりＹ軸の負方向の領域の各使用画像の境界付近の画像は、統合画像において重複する。すなわち、複数の使用画像の境界付近において、同一の領域を写す画像が存在する。それらの画像を統合した場合、統合画像において、同じ領域を撮影した画像が二つ存在する。
　ここで図４に示される方法で各使用画像を抜き出す場合に生じ得る問題について、図面を用いて説明する。
　図５は、本実施の形態に係る画像処理装置１０における基本動作の一例を説明するための概念図である。図５においては、自動車５２が位置合わせライン６０より自動車５０に近い位置にある。
　図５に示される例では、自動車５２の一部の画像が、ハッチングされた領域２５ｃと重なる。したがって、自動車５２の画像のうち、ハッチングされた領域２５ｃと重なる部分の画像は、統合画像には含まれない。つまり、自動車５２の画像のうち、ハッチングされた領域２５ｃと重なる部分の画像は、第一画像及び第三画像には含まれているが、第一画像及び第三画像から抜き出された第一使用画像及び第三使用画像には含まれない。このように、上述のような統合画像の生成方法によれば、第一画像、第二画像及び第三画像から消失する画像領域が発生する。特に、運転支援システム１１０に用いられる画像処理装置１０においては、自動車５０の後方に位置する自動車５２の画像のような、運転を支援する際に重要となる画像が統合画像から欠落することは好ましくない。そこで、本実施の形態に係る画像処理装置１０では、予め定められた検出基準に基づいて第一画像、第二画像及び第三画像の少なくとも一つに含まれる重要画像を検出する。画像処理装置１０では、適応制御部１４によって、検出された重要画像が統合画像において欠落することを抑制するための処理が行われる。以下、本実施の形態に係る画像処理装置１０の、統合画像において重要画像が欠落することを抑制するための動作について図面を用いて説明する。
　図６は、本実施の形態に係る画像処理装置１０における基本動作の一例を説明するための概念図である。図６では、自動車５２が、図５に示される自動車５２と同じ位置に配置されている。
　図６に示されるように、自動車５２の画像が統合画像に含まれるように第三使用画像の画角が図６の実線矢印２２ｃで示される画角から実線矢印２３ｃで示される画角に拡大されている。また、それに伴い、第一使用画像の画角が図６の実線矢印２２ａで示される画角から実線矢印２３ａで示される画角に縮小されている。これにより、いずれの使用画像にも含まれない領域であるハッチングされた領域２６ｃは、図５で示される領域２５ｃより、図６のＸ軸の負の向きに移動している。言い換えると、図５に示される例の統合画像において消失した自動車５２の画像である消失画像が、図６に示される例においては、第三使用画像に追加される。これにより、第一使用画像、第二使用画像及び第三使用画像を用いて生成される統合画像において、重要画像である自動車５２の画像が欠落することが抑制される。
　［１－３．画像処理装置における画像混合処理］
　続いて、本実施の形態に係る画像処理装置１０における画像混合処理について説明する。上述の画像処理装置１０の基本動作例では、複数の使用画像を繋ぎ合わせて統合画像を生成する方法が用いられているが、当該方法では、隣り合う使用画像間の境界部分において、画像のずれが発生する場合がある。当該画像のずれとしては、例えば、画像内の被写体の位置ずれなどがあげられる。そこで、本実施の形態に係る画像処理装置１０では、隣り合う使用画像間の境界部分における画像のずれを目立ちにくくすることによって、自然な統合画像を得るための画像混合処理を行う。以下、当該画像混合処理について図面を用いて説明する。
　図７は、本実施の形態に係る画像処理装置１０における画像混合処理を説明するための概念図である。
　図７に示されるように、本実施の形態では、位置合わせライン６０より自動車５０に近い領域において、第一使用画像の画角（すなわち、実線矢印２２Ａで示される画角）内の領域と、第二使用画像の画角（すなわち、実線矢印２２Ｂで示される画角）内の領域とが重なる領域２７ｂが存在する。また、同様に、第一使用画像の画角内の領域と、第三使用画像の画角（すなわち、実線矢印２２Ｃで示される画角）内の領域とが重なる領域２７ｃが存在する。つまり、第一使用画像及び第二使用画像は、位置合わせライン６０上の同一の領域を撮影した部分を有し、第一使用画像及び第三使用画像は、位置合わせライン６０上の同一の領域を撮影した部分を有する。
　本実施の形態では、これらの使用画像を用いて統合画像を生成する際に、隣り合う使用画像間の境界部分における画像のずれを目立ちにくくするための画像混合処理を行う。例えば、第一使用画像及び第二使用画像は、位置合わせライン６０上の同一の領域を撮影した部分である第一混合部及び第二混合部をそれぞれ有する。言い換えると、第一使用画像及び第二使用画像は、統合画像において互いに混合される部分である第一混合部及び第二混合部をそれぞれ有する。第一混合部及び第二混合部の各々は、適応制御部１４によって定められた混合比率で重み付けされている。すなわち、適応制御部１４は、第一混合部及び第二混合部の各画素値に、予め定められた混合比率で重み付けを行う。そして、第一混合部及び第二混合部は、統合部１５において互いに混合される。すなわち、第一混合部の各画素値と、それに対応する第二混合部の各画素値との和が、第一混合部及び第二混合部に対応する統合画像内の領域における各画素値として算出される。例えば、第一混合部における、第一使用画像の中央寄りの位置から、端部寄りの位置に向かって、混合比率を徐々に低くする。また、第二混合部における、第二使用画像の中央寄りの位置から、端部寄りの位置に向かって、混合比率を徐々に低くする。これにより、第一使用画像と第二使用画像との間の境界部分における画像のずれを目立ちにくくすることができる。第一使用画像及び第三使用画像に対する画像混合処理についても、同様である。
　本実施の形態は、隣り合う使用画像間の境界部分における画像のずれが少ない統合画像が必要とされ、かつ、当該境界部分において画像の輪郭がある程度ぼやけることが許容される場合に特に有効である。
　［１－４．画像処理例］
　続いて、本実施の形態に係る画像処理装置１０による画像処理の一例について図面を用いて説明する。
　図８は、本実施の形態に係る画像処理装置１０によって取得される第一画像、第二画像及び第三画像の一例を示す概略図である。図８の（ａ）、（ｂ）及び（ｃ）が、それぞれ第一画像、第二画像及び第三画像の一例を示す。
　図８に示される各画像から、検出部１３は、予め定められた検出基準に基づいて重要画像を検出する。図８に示される例では、第一画像から重要画像６１及び６２が検出され、第二画像から、重要画像６１及び６３が検出される。
　図８に示される各画像の情報及び検出部１３によって検出された重要画像の情報は、適応制御部１４に入力される。適応制御部１４は、第一画像、第二画像及び第三画像の予め定められた部分を第一使用画像、第二使用画像及び第三使用画像として抜き出す。ここで、仮に、これらの使用画像をそのまま統合する場合に生成される統合画像の例について図面を用いて説明する。
　図９Ａは、本実施の形態に係る第一使用画像、第二使用画像及び第三使用画像だけを用いて生成された統合画像２００の一例を示す概略図である。図９Ａに示される統合画像２００の領域２０１は、第二使用画像だけで生成された領域である。領域２０３は、第一使用画像だけで生成された領域である。領域２０６は、第三使用画像だけで生成された領域である。領域２０２は、第一使用画像の第一混合部と第二使用画像の第二混合部とを混合することによって生成された領域である。領域２０５は、第一使用画像の第一混合部と第三使用画像の第三混合部とを混合することによって生成された領域である。領域２０４は、第二使用画像の第二混合部と第三使用画像の第三混合部とを混合することによって生成された領域である。
　図９Ａに示されるように、統合画像２００には、重要画像６１の一部の画像６１ａだけが含まれており、重要画像６１のその他の部分の画像が失われている。すなわち、重要画像６１のうち、各使用画像のいずれにも含まれない消失部分がある。
　本実施の形態に係る適応制御部１４は、各使用画像だけを用いて生成した統合画像に消失部分がある場合に、消失部分を示す画像である消失画像を生成する。適応制御部１４によって生成された消失画像と各使用画像とを用いて生成された統合画像について、図面を用いて説明する。
　図９Ｂは、本実施の形態に係る第一使用画像、第二使用画像及び第三使用画像、並びに、消失画像を用いて生成された統合画像２１０の一例を示す概略図である。図９Ｂに示される統合画像２１０の領域２１３は、第一使用画像だけで生成された領域である。領域２１２は、第一使用画像の第一混合部と第二使用画像の第二混合部と消失画像とを用いて生成された領域である。なお、図９Ｂに示される統合画像２１０の例においては、各領域の境界を示すために破線が示されているが、当該破線は統合画像２１０に示されなくてもよい。
　図９Ｂに示されるように、統合画像２１０には適応制御部１４で生成された消失画像６１ｂが含まれる。本実施の形態では、適応制御部１４は、第二画像の、消失部分が含まれる領域の画像から、消失画像６１ｂを生成する。具体的には、適応制御部１４は、図８（ｂ）に示される第二画像に含まれる重要画像６１から消失画像６１ｂを生成する。
　統合部１５は、各使用画像と消失画像６１ｂとを統合して統合画像２１０を生成する。
　なお、本実施の形態に係る統合画像２１０は、図９Ａに示される統合画像２００の領域２０２と領域２０３との境界の位置を図９Ａの右側にずらした画像と等しくしてもよい。この場合、領域２１２は、第一使用画像と第二使用画像とを混合することによって生成された領域と言える。そして、領域２１２の第二使用画像の混合比率を十分に高くすることによって、統合画像において消失画像６１ｂの視認が可能となる。一方、第二使用画像の混合比率が十分に高くなければ、消失画像６１ｂを視認できない。このように、重要画像が、画像データとして統合画像にふくまれていても、視認できない場合がある。この場合も、適応制御部１４は重要画像が消失されていると判断する。具体的には、重要画像の輪郭のコントラストなどに基づいて、重要画像の視認の可否が判断されてもよい。
　また、図９Ａに示される例では、消失部分が、第一使用画像だけで生成された領域２０３で発生したが、例えば、第一混合部と第二使用画像の第二混合部と混合して生成された領域２０２で発生することもあり得る。この場合、混合比率を調整することにより、消失画像を生成することができる。
　［１－５．画像処理装置の動作］
　続いて、本実施の形態に係る画像処理装置１０の動作について図面を用いて説明する。
　図１０は、本実施の形態に係る画像処理装置１０の動作を示すフローチャートである。
　図１０に示されるように、まず、第一取得部１１ａ、第二取得部１１ｂ及び第三取得部１１ｃが、それぞれ、第一撮像装置２０ａ、第二撮像装置２０ｂ及び第三撮像装置２０ｃから、第一画像、第二画像及び第三画像を取得する（Ｓ１）。
　次に、第一前処理部１２ａ、第二前処理部１２ｂ及び第三前処理部１２ｃが、それぞれ、第一画像、第二画像及び第三画像に、レンズ歪み補正などの前処理を施す（Ｓ２）。
　次に、検出部１３は、予め定められた検出基準に基づいて、第一画像、第二画像及び第三画像の少なくとも一つに含まれる重要画像を検出する（Ｓ３）。
　次に、適応制御部１４は、第一画像、第二画像及び第三画像から、統合画像の一部として使用される部分である第一使用画像、第二使用画像及び第三使用画像をそれぞれ抜き出す（Ｓ４）。
　次に、適応制御部１４は、検出部１３で検出された重要画像のうち、第一使用画像、第二使用画像及び第三使用画像のいずれにも含まれない消失部分がある場合に、消失部分を示す画像である消失画像を生成する（Ｓ５）。
　次に、統合部１５は、第一使用画像、第二使用画像及び第三使用画像、並びに、消失画像を統合して統合画像を生成する（Ｓ６）。
　以上のように、本実施の形態に係る画像処理装置１０は、第一画像、第二画像及び第三画像を用いて統合画像を生成できる。また、適応制御部１４は、統合画像において、検出部１３で検出された重要画像が消失することを抑制することができる。なお、本実施の形態では、三つの画像を用いて統合画像を生成したが、用いる画像の数は複数であればよい。
　［１－６．効果など］
　以上のように、本実施の形態に係る画像処理装置１０は、第一撮影位置から撮影された第一画像と、第一撮影位置と異なる第二撮影位置から撮影され、第一画像に撮影された領域の一部を含む領域が撮影された第二画像とを用いて統合画像を生成する。画像処理装置１０は、予め定められた検出基準に基づいて、第一画像及び第二画像の少なくとも一方に含まれる重要画像を検出する検出部１３を備える。また、画像処理装置１０は、第一画像及び第二画像から、統合画像の一部として使用される部分である第一使用画像及び第二使用画像をそれぞれ抜き出し、かつ、重要画像のうち、第一使用画像及び第二使用画像のいずれにも含まれない消失部分がある場合に、消失部分を示す画像である消失画像を生成する適応制御部１４を備える。さらに、画像処理装置１０は、第一使用画像、第二使用画像及び消失画像を統合して統合画像を生成する統合部１５を備える。
　これにより、複数の画像を統合する際に、複数の画像に含まれる重要な画像の情報が消失することを抑制できる。
　また、本実施の形態に係る画像処理装置１０において、適応制御部１４は、第一画像又は第二画像の消失部分が含まれる領域の画像から、消失画像を生成する。
　これによれば、画像処理装置１０は、第一画像又は第二画像に含まれる重要画像から消失画像を生成できるため、統合画像において、第一画像又は第二画像に含まれる重要画像を忠実に再現することができる。
　また、本実施の形態に係る画像処理装置１０において、第一使用画像及び第二使用画像は、統合画像において互いに混合される部分である第一混合部及び第二混合部をそれぞれ有し、第一混合部及び第二混合部の各々は、適応制御部１４によって定められた混合比率で重み付けされている。
　これによれば、統合画像において、隣り合う使用画像間の境界部分における画像のずれを目立ちにくくすることができる。
　また、本実施の形態に係る画像処理装置１０において、適応制御部１４は、混合比率を調整することにより消失画像を生成してもよい。
　これによれば、比較的容易に消失画像を生成することができる。
　また、本実施の形態に係る画像処理装置１０において、検出部１３は、第一撮影位置又は第二撮影位置から予め定められた距離内に存在する立体物の画像を重要画像として検出する。
　これによれば、例えば、画像処理装置１０を自動車などの移動体の運転支援システム１１０に適用した場合に、移動体の近くに存在する立体物をより確実に視認することができる。このため、移動体との干渉の可能性が比較的高い立体物をより確実に視認でき、移動体と近くに存在する立体物との干渉を抑制することを支援できる。
　また、本実施の形態に係る画像処理装置１０において、検出部１３は、第一撮影位置及び第二撮影位置の少なくとも一つとの相対速度の大きい物体の画像を重要画像として検出してもよい。
　また、本実施の形態に係る画像処理装置１０において、第一撮影位置及び第二撮影位置は、同一の移動体上に設けられ、検出部１３は、第一撮影位置及び第二撮影位置のうち、移動体の移動方向側にある撮影位置から撮影された画像を重要画像として検出してもよい。
　また、本実施の形態に係る運転支援システム１１０は、画像処理装置１０と、第一画像を撮影する第一撮像装置２０ａと、第二画像を撮影する第二撮像装置２０ｂと、統合画像を表示する表示装置３０とを備える。
　これにより、画像処理装置１０と同様の効果を得ることができる。
　また、本実施の形態に係る画像処理方法は、第一撮影位置から撮影された第一画像と、第一撮影位置と異なる第二撮影位置から撮影され、第一画像に撮影された領域の一部を含む領域が撮影された第二画像とを用いて統合画像を生成する画像処理方法である。当該画像処理方法は第一画像及び第二画像を取得するステップと、予め定められた検出基準に基づいて、第一画像及び第二画像の少なくとも一方に含まれる重要画像を検出するステップとを含む。また、当該画像処理方法は、第一画像及び第二画像から、統合画像の一部として使用される部分である第一使用画像及び第二使用画像をそれぞれ抜き出すステップと、重要画像のうち、第一使用画像及び第二使用画像のいずれにも含まれない消失部分がある場合に、消失部分を示す画像である消失画像を生成するステップとを含む。さらに、当該画像処理方法は、第一使用画像、第二使用画像及び消失画像を統合して統合画像を生成するステップを含む。
　これにより、複数の画像を統合する際に、複数の画像に含まれる重要な画像の情報が消失することを抑制できる。
　（実施の形態２）
　実施の形態２に係る画像処理装置について説明する。実施の形態１は、画像混合処理を用いる構成を用いたが、本実施の形態では、画像混合処理を用いない。以下、本実施の形態について、上記実施の形態１と相違する構成を中心に説明し、共通する構成については説明を省略する。
　［２－１．構成］
　まず、本実施の形態に係る画像処理装置の構成について説明する。
　本実施の形態に係る画像処理装置１０は、図３に示される実施の形態１に係る画像処理装置１０と同様の機能構成を有するが、適応制御部１４が行う処理において、実施の形態１に係る画像処理装置１０と異なる。以下、本実施の形態に係る適応制御部１４における処理について説明する。
　本実施の形態に係る適応制御部１４は、上記実施の形態１と同様に、第一画像、第二画像及び第三画像から、統合画像の一部として使用される部分である第一使用画像、第二使用画像及び第三使用画像をそれぞれ抜き出す。また、適応制御部１４は、重要画像のうち、第一使用画像、第二使用画像及び第三使用画像のいずれにも含まれない消失部分がある場合に、消失部分を示す画像である消失画像を生成する。一方、本実施の形態に係る適応制御部１４は、画像混合処理を行わない。そのため、第一使用画像、第二使用画像及び第三使用画像は、いずれも混合部を持たない。
　本実施の形態に係る画像処理装置１０は、実施の形態１に係る画像処理装置１０と同様に、第一画像、第二画像及び第三画像を用いて統合画像を生成する際に、各画像に含まれる重要な画像の情報が消失することを抑制できる。また、本実施の形態の画像処理装置１０は、画像混合処理を行わないため、画像処理に係る処理負荷を軽減することができる。
　［２－２．画像処理例］
　続いて、本実施の形態に係る画像処理装置１０による画像処理の一例について図面を用いて説明する。
　図１１は、本実施の形態に係る第一使用画像２２１ａ、第二使用画像２２１ｂ及び第三使用画像２２１ｃだけを用いて生成された統合画像２２０の一例を示す概略図である。図１１には、第一使用画像２２１ａと第二使用画像２２１ｂとの境界線２２２、第一使用画像２２１ａと第三使用画像２２１ｃとの境界線２２３、及び、第二使用画像２２１ｂと第三使用画像２２１ｃとの境界線２２４が示されている。
　図１１に示されるように、統合画像２２０の、第一使用画像２２１ａ内に重要画像の一部を示す画像６５ａだけが含まれ、重要画像の他の部分は含まれない。そこで、本実施の形態でも、実施の形態１と同様に、適応制御部１４は、重要画像の他の部分の画像である消失画像を生成する。具体的には、適応制御部１４は、図１１に示されるように各使用画像が抜き出される場合、第一使用画像２２１ａが抜き出された第一画像から消失画像を生成することができる。すなわち、適応制御部１４は、第一画像における第一使用画像２２１ａとして抜き出す部分に隣接する重要画像の一部を消失画像とすればよい。統合部１５は、消失画像を用いて統合画像を生成することにより、重要画像の全体が含まれる統合画像を生成することができる。なお、統合画像は、図１１において、第一使用画像２２１ａと第三使用画像２２１ｃとの境界線２２３を右側にシフトさせた画像と等しい画像としてもよい。
　なお、図１１に示されるように、本実施の形態に係る統合画像は、各使用画像の境界に境界線を生成することが望ましい。これらの境界線により、統合画像を見たユーザが、各使用画像間の境界部分における画像のずれにより感じる違和感を抑制することができる。
　［２－３．効果など］
　以上のように本実施の形態に係る画像処理装置１０は、画像混合処理を行わない。
　本実施の形態に係る画像処理装置１０は、複数の画像を統合する際に、複数の画像に含まれる重要な画像の情報が消失することを抑制できる。また、本実施の形態に係る画像処理装置１０は、画像混合処理を行わないため、実施の形態１に係る画像処理装置１０より、処理負荷が軽減される。
　（実施の形態３）
　実施の形態３に係る画像処理装置について説明する。各実施の形態に係る画像処理装置は、消失画像が第一画像、第二画像又は第三画像から生成したが、本実施の形態では、消失画像として重要画像に代わる代替画像を生成する。以下、本実施の形態について、各実施の形態と相違する構成を中心に説明し、共通する構成については説明を省略する。
　［３－１．構成］
　まず、本実施の形態に係る画像処理装置の構成について説明する。
　本実施の形態に係る画像処理装置１０は、図３に示される実施の形態１に係る画像処理装置１０と同様の機能構成を有するが、適応制御部１４及び統合部１５が行う処理において、実施の形態１に係る画像処理装置１０と異なる。以下、本実施の形態に係る適応制御部１４及び統合部１５における処理について説明する。
　本実施の形態においても、各実施の形態と同様に、適応制御部１４は、第一画像、第二画像及び第三画像から、統合画像の一部として使用される部分である第一使用画像、第二使用画像及び第三使用画像をそれぞれ抜き出す。また、適応制御部１４は、重要画像のうち、第一使用画像、第二使用画像及び第三使用画像のいずれにも含まれない消失部分がある場合に、消失部分を示す画像である消失画像を生成する。ただし、本実施の形態に係る適応制御部１４は、消失画像として重要画像に代わる代替画像を生成する。具体的には、適応制御部１４は、消失画像として、重要画像の一部が消失したことを示すシンボル、記号などを代替画像として生成する。
　統合部１５は、適応制御部１４が抜き出した第一使用画像、第二使用画像及び第三使用画像、並びに、適応制御部１４が生成した代替画像を統合して統合画像を生成する。なお、統合部１５は、代替画像を、例えば、各使用画像間の境界線上に配置する。
　本実施の形態に係る画像処理装置１０においても、実施の形態１に係る画像処理装置１０と同様に、第一画像、第二画像及び第三画像を用いて統合画像を生成する際に、各画像に含まれる重要な画像の情報が消失することを抑制できる。すなわち、各使用画像に加えて、代替画像で構成される消失画像を用いることにより、重要画像の消失部分があること示す情報を統合画像に追加することができる。これにより、統合画像を見るユーザは、重要画像の消失部分の画像そのものを統合画像内に確認することはできないものの、消失部分が統合画像内に存在することを認識することができる。例えば、本実施の形態に係る画像処理装置１０を運転支援システムに適用する場合には、統合画像内に重要画像の消失部分が存在することを代替画像によって示すことにより、運転者の注意を喚起することができる。
　［３－２．画像処理例］
　本実施の形態に係る画像処理装置１０による画像処理の一例について図面を用いて説明する。なお、本画像処理例は、画像混合処理を用いない例である。
　図１２Ａは、本実施の形態に係る第一使用画像２３１ａ、第二使用画像２３１ｂ及び第三使用画像２３１ｃだけを用いて生成された統合画像２３０の一例を示す概略図である。図１２Ａには、図１１と同様に境界線２３２、２３３及び２３４が示されている。図１２Ａに示される統合画像２３０においては、重要画像６５が第一使用画像２３１ａ内に消失部分なく含まれている。
　図１２Ｂは、本実施の形態に係る第一使用画像２４１ａ、第二使用画像２４１ｂ及び第三使用画像２４１ｃと、代替画像６５ｂで構成された消失画像とを用いて生成された統合画像２４０の一例を示す概略図である。図１２Ｂには、図１２Ａと同様に境界線２４２、２４３及び２４４が示されている。図１２Ａに示される統合画像２４０においては、重要画像６５のうち一部の画像６５ａだけ含まれており、重要画像のうち、画像６５ａ以外の領域の画像の代わりに代替画像６５ｂが境界線２４３上に配置される。より詳しくは、代替画像６５ｂは、境界線２４３上であって、画像６５ａに隣接する位置に配置される。
　図１２Ｂに示されるように、本実施の形態では、重要画像の消失部分を示す画像として代替画像が生成されて、代替画像と各使用画像とを用いて統合画像を生成する。これにより、統合画像において、重要画像の一部が消失している場合においても、統合画像には、重要画像の消失部分があるという情報が含まれる。すなわち、本画像処理例においては、第一画像、第二画像及び第三画像を統合する際に、これらの画像に含まれる重要画像の情報が完全に消失することを回避できる。
　図１２Ｂでは、重要画像の一部の画像６５ａが統合画像に含まれる場合の画像処理例が示されたが、統合画像において重要画像の全体が消失する場合においても、本実施の形態は利用できる。以下、統合画像において重要画像の全体が消失する場合の画像処理例について、図面を用いて説明する。
　図１２Ｃは、本実施の形態に係る第一使用画像２５１ａ、第二使用画像２５１ｂ及び第三使用画像２５１ｃと代替画像６５ｂで構成される消失画像とを用いて生成された統合画像２５０の一例を示す概略図である。図１２Ｃには、図１２Ａ及び図１２Ｂと同様に境界線２５２、２５３及び２５４が示されている。図１２Ｃに示される統合画像２５０においては、重要画像６５の全体が消失している。図１２Ｃには示されないが、ここでは、重要画像６５が第一使用画像２５１ａの境界線２５３の右側の位置に相当する位置に存在する例が示される。そのため、図１２Ｃに示される統合画像２５０においては、重要画像６５が存在すべき位置付近の境界線２５３上に代替画像６５ｂが表示される。これにより、統合画像２５０は、重要画像が存在すること、及び、重要画像の存在位置を示す情報を含む。すなわち、本画像処理例においても、第一画像、第二画像及び第三画像を統合する際に、これらの画像に含まれる重要画像の情報が完全に消失することを回避できる。
　なお、上記画像処理例では、代替画像として、シンボルを用いたが、代替画像は、シンボルに限定されない。代替画像として、例えば、重要画像を模したイラスト又はマーク、特定の色の領域、文字など、ユーザが視認できる任意の画像を用いることができる。
　［３－３．効果など］
　以上のように本実施の形態に係る画像処理装置１０において、適応制御部１４は、消失画像として重要画像に代わる代替画像を生成する。
　これにより、複数の画像を統合する際に、複数の画像に含まれる重要な画像の情報が消失することを抑制できる。また、本実施の形態に係る画像処理装置１０は、消失画像として、代替画像を生成するため、重要画像そのものを生成する場合より、画像処理に係る負荷を軽減することができる。
　また、本実施の形態に係る画像処理装置１０において、統合部１５は、代替画像を統合画像における第一使用画像及び第二使用画像の境界部に配置する。
　これにより、重要画像が存在すべき位置に近い位置に代替画像を配置することができる。
　（他の実施の形態）
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。つまり、本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
　例えば、各実施の形態では、いずれも三つの画像を用いて統合画像を生成する例を示したが、用いる画像の個数は三つに限定されない。用いる画像の個数は複数であればよい。
　また、各実施の形態では、自動車の後方を撮影した画像を統合する例を示したが、統合される画像は、これに限定されない。統合される画像として、例えば、自動車の前方又は側方を撮影した画像など、任意の画像を用いることができる。
　また、各実施の形態では、運転支援システムとして、自動車の運転支援システムの例を示したが、運転支援システムが搭載される移動体は、自動車に限定されない。運転支援システムは、例えば、飛行機、船舶など、任意の移動体に搭載されてよい。
　また、本開示における技術は、画像処理装置、運転支援システム及び画像処理方法として実現できるだけでなく、画像処理方法をステップとして含むプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の記録媒体として実現することもできる。
　本開示は、複数の画像を統合する際に、当該複数の画像に含まれる重要な画像の情報が消失することを抑制できる画像処理装置、その画像処理装置を備える運転支援システム、及び、画像処理方法として適用可能である。具体的には、リアビューカメラ、リアビューミラー及び画像処理装置を備える車載の運転支援システム等に、本開示は適用可能である。
　１０　画像処理装置
　１１ａ　第一取得部
　１１ｂ　第二取得部
　１１ｃ　第三取得部
　１２ａ　第一前処理部
　１２ｂ　第二前処理部
　１２ｃ　第三前処理部
　１３　検出部
　１４　適応制御部
　１５　統合部
　２０ａ　第一撮像装置
　２０ｂ　第二撮像装置
　２０ｃ　第三撮像装置
　３０　表示装置
　５０、５１、５２　自動車
　５０ａ　後端
　５０ｂ　左側ドアミラー
　５０ｃ　右側ドアミラー
　６０　位置合わせライン
　６１、６２、６３、６５　重要画像
　６１ｂ　消失画像
　６５ｂ　代替画像（消失画像）
　１００　運転支援装置
　１１０　運転支援システム
　２００、２１０、２２０、２３０、２４０、２５０　統合画像
　２２１ａ、２３１ａ、２４１ａ、２５１ａ　第一使用画像
　２２１ｂ、２３１ｂ、２４１ｂ、２５１ｂ　第二使用画像
　２２１ｃ、２３１ｃ、２４１ｃ、２５１ｃ　第三使用画像
　２２２、２２３、２２４、２３２、２３３、２３４、２４２、２４３、２４４、２５２、２５３、２５４　境界線

Claims (11)

  1. 　第一撮影位置から撮影された第一画像と、前記第一撮影位置と異なる第二撮影位置から撮影され、前記第一画像に撮影された領域の一部を含む領域が撮影された第二画像とを用いて統合画像を生成する画像処理装置であって、
    　予め定められた検出基準に基づいて、前記第一画像及び前記第二画像の少なくとも一方に含まれる重要画像を検出する検出部と、
    　前記第一画像及び前記第二画像から、前記統合画像の一部として使用される部分である第一使用画像及び第二使用画像をそれぞれ抜き出し、かつ、前記重要画像のうち、前記第一使用画像及び前記第二使用画像のいずれにも含まれない消失部分がある場合に、前記消失部分を示す画像である消失画像を生成する適応制御部と、
    　前記第一使用画像、前記第二使用画像及び前記消失画像を統合して前記統合画像を生成する統合部とを備える
    　画像処理装置。
  2. 　前記適応制御部は、前記第一画像又は前記第二画像の前記消失部分が含まれる領域の画像から、前記消失画像を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記適応制御部は、前記消失画像として前記重要画像に代わる代替画像を生成する
    　請求項１に記載の画像処理装置。
  4. 　前記統合部は、前記代替画像を前記統合画像における前記第一使用画像及び前記第二使用画像の境界部に配置する
    　請求項３に記載の画像処理装置。
  5. 　前記第一使用画像及び前記第二使用画像は、前記統合画像において互いに混合される部分である第一混合部及び第二混合部をそれぞれ有し、
    　前記第一混合部及び前記第二混合部の各々は、前記適応制御部によって定められた混合比率で重み付けされている
    　請求項１又は２に記載の画像処理装置。
  6. 　前記適応制御部は、前記混合比率を調整することにより前記消失画像を生成する
    　請求項５に記載の画像処理装置。
  7. 　前記検出部は、前記第一撮影位置又は前記第二撮影位置から予め定められた距離内に存在する立体物の画像を前記重要画像として検出する
    　請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　前記検出部は、前記第一撮影位置及び前記第二撮影位置の少なくとも一つとの相対速度の大きい物体の画像を重要画像として検出する
    　請求項１～６のいずれか１項に記載の画像処理装置。
  9. 　前記第一撮影位置及び前記第二撮影位置は、同一の移動体上に設けられ、
    　前記検出部は、前記第一撮影位置及び前記第二撮影位置のうち、前記移動体の移動方向側にある撮影位置から撮影された画像を重要画像として検出する
    　請求項１～６のいずれか１項に記載の画像処理装置。
  10. 　移動体に搭載されて、当該移動体の運転を支援する運転支援システムであって、
    　請求項１～７のいずれか１項に記載の画像処理装置と、
    　前記第一画像を撮影する第一撮像装置と、
    　前記第二画像を撮影する第二撮像装置と、
    　前記統合画像を表示する表示装置とを備える
    　運転支援システム。
  11. 　第一撮影位置から撮影された第一画像と、前記第一撮影位置と異なる第二撮影位置から撮影され、前記第一画像に撮影された領域の一部を含む領域が撮影された第二画像とを用いて統合画像を生成する画像処理方法であって、
    　前記第一画像及び前記第二画像を取得するステップと、
    　予め定められた検出基準に基づいて、前記第一画像及び前記第二画像の少なくとも一方に含まれる重要画像を検出するステップと、
    　前記第一画像及び前記第二画像から、前記統合画像の一部として使用される部分である第一使用画像及び第二使用画像をそれぞれ抜き出すステップと、
    　前記重要画像のうち、前記第一使用画像及び前記第二使用画像のいずれにも含まれない消失部分がある場合に、前記消失部分を示す画像である消失画像を生成するステップと、
    　前記第一使用画像、前記第二使用画像及び前記消失画像を統合して前記統合画像を生成するステップとを含む
    　画像処理方法。
PCT/JP2016/000094 2015-03-27 2016-01-08 画像処理装置、運転支援システム及び画像処理方法 WO2016157667A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-067582 2015-03-27
JP2015067582 2015-03-27

Publications (1)

Publication Number Publication Date
WO2016157667A1 true WO2016157667A1 (ja) 2016-10-06

Family

ID=57004050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/000094 WO2016157667A1 (ja) 2015-03-27 2016-01-08 画像処理装置、運転支援システム及び画像処理方法

Country Status (1)

Country Link
WO (1) WO2016157667A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018074503A (ja) * 2016-11-02 2018-05-10 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP2010287163A (ja) * 2009-06-15 2010-12-24 Alpine Electronics Inc 車載用画像表示装置および画像のトリミング方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP2010287163A (ja) * 2009-06-15 2010-12-24 Alpine Electronics Inc 車載用画像表示装置および画像のトリミング方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018074503A (ja) * 2016-11-02 2018-05-10 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法

Similar Documents

Publication Publication Date Title
US10703272B2 (en) Vehicle device, and non-transitory tangible computer readable medium
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
WO2012096058A1 (ja) 画像生成装置
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
US20130300760A1 (en) Image display apparatus, image display program, and image display method
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP7150709B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP2008102620A (ja) 画像処理装置
WO2015129280A1 (ja) 画像処理装置および画像処理方法
EP2551817A2 (en) Vehicle rear view camera system and method
WO2016157667A1 (ja) 画像処理装置、運転支援システム及び画像処理方法
JP2013137698A (ja) 俯瞰画像提示装置
JP6293089B2 (ja) 後方モニタ
CN105323447B (zh) 多鱼眼图像处理方法、装置及车辆
JP6284980B2 (ja) 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
JP2010064646A (ja) 車両周辺監視装置および車両周辺監視方法
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP2012178639A (ja) 画像処理装置、駐車制御システム、及び、画像処理方法
JP2011065280A (ja) 画像処理装置、周辺監視システム、及び操作支援システム
JP6586972B2 (ja) 車両用画像表示装置及び画像処理方法
JP2016215726A (ja) 車両周辺表示装置、車両周辺表示方法
KR20150054021A (ko) 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771564

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16771564

Country of ref document: EP

Kind code of ref document: A1