WO2013047012A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2013047012A1
WO2013047012A1 PCT/JP2012/071084 JP2012071084W WO2013047012A1 WO 2013047012 A1 WO2013047012 A1 WO 2013047012A1 JP 2012071084 W JP2012071084 W JP 2012071084W WO 2013047012 A1 WO2013047012 A1 WO 2013047012A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
bird
display
overhead
Prior art date
Application number
PCT/JP2012/071084
Other languages
English (en)
French (fr)
Inventor
若林春樹
佐藤功祐
山本欣司
武田聖子
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201280043837.3A priority Critical patent/CN103988499B/zh
Priority to EP12835292.9A priority patent/EP2763407B1/en
Priority to US14/234,914 priority patent/US9467679B2/en
Publication of WO2013047012A1 publication Critical patent/WO2013047012A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention generates a bird's-eye view image from an upper virtual viewpoint above a camera viewpoint as a display image by projective transformation of a captured image acquired by an in-vehicle camera that captures a peripheral area of the vehicle, and displays the image on a monitor
  • the present invention relates to a peripheral monitoring device.
  • This bird's-eye view image is obtained by photographing the surroundings of a vehicle with a plurality of vehicle-mounted cameras, converting the captured images obtained by the plurality of vehicle-mounted cameras into an image looking down from a virtual viewpoint above the vehicle, and connecting them.
  • the vehicle image representing the vehicle is synthesized with the center of the overhead image displayed on the monitor, so that the driver can easily recognize the situation around the vehicle.
  • Patent Document 1 A vehicle periphery display device using such a bird's-eye view image is described in Patent Document 1.
  • this vehicle periphery display device an overhead view image around the vehicle is displayed based on each photographed image taken by a plurality of cameras.
  • This overhead view image is divided into a plurality of regions and corresponds to the region selected by the user.
  • the target image to be displayed is enlarged and displayed on the display. Therefore, since the specific region of the overhead image selected by the user is enlarged and displayed, there is an advantage that only the peripheral region to be noted is enlarged and displayed.
  • there is a problem in that an object with a height from the road surface is greatly distorted in a bird's-eye view image obtained from the captured image through projective transformation, and it is difficult for the driver to recognize the sense of distance and size.
  • the vehicle is viewed from an upper virtual viewpoint from an imaging unit that acquires an image around the own vehicle, an image around the own vehicle, and an image of the own vehicle.
  • Image conversion means for generating a bird's-eye view image
  • three-dimensional object detection means for detecting a three-dimensional object around the own vehicle and calculating the distance and relative speed of the three-dimensional object from the own vehicle as three-dimensional object information.
  • the scale is changed and displayed on the monitor so that the three-dimensional object is displayed at the end of the overhead image.
  • the scale image is changed so that the three-dimensional object becomes the end of the overhead image centering on the own vehicle, and the overhead image is enlarged and displayed.
  • this device since this device only enlarges a part of the overhead view image, in the enlarged view, an object having a height from the road surface is greatly distorted, and it is difficult for the driver to recognize the sense of distance and size. is there.
  • a three-dimensional projection surface composed of a spherical surface and a cylindrical surface is used for a projection image using a two-dimensional projection surface that is a road surface plane.
  • an image composition device that attempts to reduce image distortion by generating projection-projected images.
  • the finally displayed display image is a projection image using a three-dimensional projection plane, a straight line of an identification symbol on the road surface such as a white line that was possible with an overhead image from the upper virtual viewpoint. There is a problem that sufficient sex cannot be secured.
  • JP 2009-239664 A (paragraph number [0008-0013], FIG. 14) JP 2009-111946 (paragraph number [0011-0057], FIG. 4)
  • the vehicle periphery monitoring device includes an in-vehicle camera module that captures an area around the vehicle, and a first overhead view that generates a first overhead image by secondary plane projective transformation based on a captured image acquired by the in-vehicle camera module.
  • a display image generating unit that generates a second display image for monitor display having a display magnification larger than that of the first display image from the predetermined region of the second overhead image corresponding to the predetermined region of the first display image.
  • the first display image is based on a well-known normal overhead image (first overhead image) that uses a secondary plane (usually a road surface) as a projection plane.
  • first overhead image a well-known normal overhead image
  • secondary plane usually a road surface
  • the second display image is based on a second bird's-eye view image in which a three-dimensional object (a parked vehicle, a triangular pole, etc.) rising from the road surface is deformed less than the first bird's-eye view image by using a tertiary surface as a projection plane.
  • the second display image is limited to an area corresponding to the predetermined area of the first display image and is displayed in an enlarged manner, the driver's view of the attention area in the vicinity of the own vehicle, for example, a three-dimensional object existing in the vicinity of the own vehicle. Visibility is improved.
  • the tertiary surface as the projection surface here means that it is not a single plane like a road surface, and includes not only a curved surface but also a plane body composed of a plurality of different planes, for example, a bent plane or a stepped plane. It is. However, when considering visibility and linearity, concave curved surfaces including hemispherical surfaces and dome surfaces are suitable. Therefore, in a preferred embodiment of the present invention, the cubic surface projective transformation uses a concave curved surface as a projection surface.
  • the first display image and the second display image are displayed on the same monitor screen.
  • the driver can more accurately and easily compare the first display image in which the surrounding situation can be grasped in a map and the second display image in which the sense of distance between the three-dimensional object on the road surface can be easily grasped.
  • the vehicle periphery can be monitored.
  • the second display image that is also an enlarged image of the specific area of the first display image is important when a three-dimensional object on the road is present around the vehicle. Therefore, in one preferred embodiment of the present invention, the second display image including a region where the three-dimensional object exists based on the three-dimensional object detection information received from the three-dimensional object detection unit that detects a three-dimensional object around the vehicle. Is displayed on the monitor.
  • the vehicle peripheral area designated by the vehicle occupant is selected. You may employ
  • the second display image which is an enlarged bird's-eye view image of the vehicle surrounding area, is suitable for grasping the positional relationship between a traveling obstacle such as another vehicle and the own vehicle during parking traveling.
  • a parking assistance device that sets a parking area that can be parked in advance, calculates a parking path to the parking area, and assists parking travel along the parking path, the parking area is set when the parking area is set.
  • a three-dimensional object close to the vehicle to be parked is detected during calculation. When such a condition is satisfied, it is convenient to display the second display image when a part of the vehicle approaches a three-dimensional object during parking travel.
  • the timing for displaying the second display image is obtained from the parking support information including the information regarding the parking area and the parked vehicle, and the second display image is displayed on the monitor screen at the timing.
  • the in-vehicle camera module may be configured by a single camera, and the first and second overhead images and the display image may be generated from the captured image from the camera.
  • the use of only the back camera image that captures the rear peripheral area that is likely to be the maximum blind spot for the driver is sufficient for driving support.
  • the in-vehicle camera module is composed of a plurality of in-vehicle cameras having an overlap area where the imaging areas overlap each other, and the panoramic view of the captured images from each camera is panorama synthesized into an all-around image, the vehicle periphery monitoring Is optimal.
  • the first overhead image and the second overhead image are generated by panoramic synthesis of the respective captured images, and in this case, the overlap region Are blended at a predetermined width and a predetermined ratio.
  • the deformation form of the subject existing in the overlap region is different between the secondary plane projective transformation and the tertiary plane projective transformation.
  • the first overhead image and the second overhead image are individually set so that a predetermined width and / or a predetermined ratio of the overlap region are different.
  • a method for generating the second bird's-eye view image a method for generating a first bird's-eye view image from the photographed image and generating the second bird's-eye view image by performing a cubic plane projective transformation on the first bird's-eye view image, and a method for generating the second bird's-eye view directly from the photographed image.
  • An image may be generated.
  • the first bird's-eye view image is always generated, it is convenient to construct the second bird's-eye view image generation unit so as to generate the second bird's-eye view image by performing the third-plane projective transformation of the first bird's-eye view image. is there.
  • a basic process of displaying an image will be described with reference to FIG.
  • the in-vehicle camera is a back camera
  • the photographed image is a photograph of the periphery behind the vehicle. That is, FIG. 1 shows the generation of a bird's-eye view image using only the image captured by the back camera.
  • first projection transformation secondary plane projection transformation
  • first overhead image which is an overhead image from directly above the vehicle rear region
  • This first overhead image is subjected to trimming processing for shaping, and is displayed on the monitor screen as a first display image (# 3).
  • the projection plane is also curved.
  • Projective transformation is performed on a plane or a bent plane (# 4).
  • a dome-shaped concave curved surface is used as the tertiary surface.
  • this second bird's-eye view image is a projection image onto a tertiary surface such as a bent plane or a curved plane, it undergoes a certain amount of deformation, but partially cancels the deformation in the viewpoint conversion from the upper virtual viewpoint. For this reason, the second bird's-eye view image has an advantage that the distance between the own vehicle and the three-dimensional object on the road can be easily grasped, for example, by suppressing the deformation in the viewpoint conversion in which the three-dimensional object on the road extends. .
  • the designated image area is cut out from the second bird's-eye view image, and a further enlarged view of the cut-out image area is displayed on the monitor screen along with the first display image as a second display image (# 5).
  • a second display image for example, an image captured by the back camera 1a is displayed before the second display image is displayed.
  • the display timing of the second display image and the cut-out area from the second overhead image may be selected by the user, but if the vehicle has a three-dimensional object detection function, it is detected when the three-dimensional object is detected.
  • An image region in which a three-dimensional object is captured can be cut out and displayed on the monitor screen as a second display image.
  • the captured image of the back camera may be displayed as it is as a normal image in the display frame of the second display image.
  • the first overhead view image by the secondary plane projection transformation (road surface projection transformation) and the third plane projection transformation (concave curved surface projection transformation) are used, using only the photographed image from the back camera.
  • Two overhead images were generated, and a first display image and a second display image were generated from the overhead images.
  • the best way to monitor the surroundings is to show the driver a bird's-eye view of the surroundings in which the surroundings of the vehicle are centered on the vehicle, especially the road surface.
  • the flow of basic image processing for peripheral monitoring using the all-around overhead image will be described.
  • FIG. 2 shows an all-around first bird's-eye view image obtained from a photographed image by a plurality of cameras through secondary plane projective transformation and synthesis processing, and an all-around second bird's-eye view image obtained from this first bird's-eye view image through tertiary surface projective transformation.
  • FIG. 3 shows a first view of the entire surroundings obtained from the captured images of the plurality of cameras through the secondary plane projective transformation and the combining process, and the second of the entire surroundings obtained from the captured images through the third-order projection conversion and the combining process.
  • a back camera 1a, a left side camera 1b, a right side camera 1c, and a front camera 1d are prepared as in-vehicle camera modules, and these cameras are used for parking support in reverse parallel parking.
  • a device that generates two types of overhead images from the four surrounding captured images is handled.
  • a rear shot image by the back camera 1a is projectively converted as a rear region image of the all-around overhead image by normal secondary plane projection conversion from directly above the vehicle.
  • the left captured image by the left side camera 1b, the right captured image by the right side camera 1c, and the captured image by the front camera 1d are respectively projectively converted as a left region image, a right region image, and a front region image of the all-around overhead image.
  • the projective transformation is performed by mapping using a secondary plane projective transformation mapping table.
  • the first bird's-eye view image is generated by synthesizing the bird's-eye view images (one segment of the final first bird's-eye view image) generated from the respective shot images while forming an overlap region between the adjacent shot images.
  • blend composition processing alpha blend is performed at a predetermined ratio in an overlap region having a predetermined width.
  • the generated first bird's-eye view image is subjected to trimming processing as necessary and displayed on the monitor as a first display image.
  • the generated first bird's-eye view image is further subjected to tertiary surface projection transformation, for example, projection transformation to a concave curved projection surface, by mapping using the tertiary surface projection transformation mapping table. With this mapping, a second overhead image is generated.
  • the second bird's-eye view image is deformed by being projected onto the tertiary surface, but it is also possible to cancel the extension deformation of the three-dimensional object on the road that has occurred in the first bird's-eye view image.
  • the generated second bird's-eye view image is cut out in a designated image area, for example, an image area corresponding to a place where the driver should pay attention in the reverse parallel parking, and is further enlarged to be a second display image.
  • a monitor is displayed adjacent to one display image.
  • the proximity region between the left front portion of the host vehicle that is running in parallel parking and the right rear portion of the parked vehicle is regarded as a place to be noticed by the driver, and is displayed as the second display image.
  • FIG. 2 An example of a suitable timing for displaying the second display image on the monitor will be described with reference to FIG. In FIG. 2, parallel parking is schematically shown.
  • a search travel (a travel route indicated by S in the figure) for searching for a parking area to be parked is performed. Is called.
  • a parking area that is an empty space without a parked vehicle is detected during the search travel, the vehicle is advanced to a parking start point (reverse starting position) for parking in the parking area.
  • the parking area is detected, information of the parked vehicle (three-dimensional object) that bounds the parking area (including information that there is no parked vehicle) is obtained.
  • a parking route from the parking start point to the parking area (travel route indicated by K in the figure) is calculated, and parking assistance along the parking route is performed.
  • the steering control may be automatically performed along the parking route, and the driver may only adjust the speed. Since the information of the parked vehicle (three-dimensional object) has already been obtained at the time of retreating along the parking route, for example, the left front of the own vehicle approaches the parked vehicle ahead and comes into contact A second display image based on the captured image showing the vehicle is displayed on the monitor screen.
  • the rear shot image by the back camera 1a is projectively converted as a rear region image of the all-around overhead image by normal secondary plane projection conversion from directly above the vehicle.
  • the left captured image by the left side camera 1b, the right captured image by the right side camera 1c, and the captured image by the front camera 1d are respectively projectively converted as a left region image, a right region image, and a front region image of the all-around overhead image.
  • the first bird's-eye view image is generated by synthesizing the bird's-eye view image (one segment of the final first bird's-eye view image) generated from each photographed image while forming an overlap region between the adjacent photographed images. Is done.
  • an overlap region having a predetermined width suitable for the all-around bird's-eye view image by the quadratic plane projective transformation is set, and similarly, a blend composition process (alpha blend) at a predetermined ratio suitable for this all-around bird's-eye view image Is implemented.
  • the generated first bird's-eye view image is subjected to trimming processing as necessary, and is displayed on a monitor as a first display image.
  • the second bird's-eye view image is generated by synthesizing the bird's-eye view image segments that have been subjected to the third-plane projection conversion for each captured image from each camera. That is, the tertiary surface projective transformation, which is a projective transformation from directly above the vehicle to the tertiary projection surface arranged on the road surface, so that the rear shot image by the back camera 1a is generated as the rear region image of the final all-around overhead view image.
  • the left shot image by the left side camera 1b, the right shot image by the right side camera 1c, and the shot image by the front camera 1d are respectively projected similarly as the left region image, right region image, and front region image of the all-around overhead image. Get converted.
  • the overhead images generated from the respective captured images in this manner are combined while forming overlapping regions between the adjacent captured images, so that the second overhead image is obtained. Is generated. Also in this image composition, an overlap region having a predetermined width suitable for the all-around overhead image by the cubic projection conversion is set, and similarly, blend synthesis processing (alpha blend) at a predetermined ratio suitable for this all-around overhead image is performed. To be implemented. Since the first bird's-eye view image and the second bird's-eye view image have different image deformations (distortions) in the peripheral portion, different overlap region widths and blend ratios are set. The generated second bird's-eye view image is cut out in the designated image area, further enlarged, and displayed as a second display image adjacent to the first display image on the monitor.
  • the configuration of a specific embodiment of the vehicle periphery monitoring device according to the present invention will be described with reference to the drawings.
  • the image processing illustrated in FIG. 3 is employed. Therefore, an image processing system for generating the first display image and the second display image described above from the captured images from the four in-vehicle cameras, the back camera 1a, the front camera 1d, the left side camera 1b, and the right side camera 1c is constructed.
  • a vehicle periphery monitoring device is incorporated in the vehicle.
  • these in-vehicle cameras 1a, 1b, 1c, and 1d may be simply referred to as the camera 1 as appropriate.
  • the camera 1 uses a CCD (charge coupled device) or CIS (CMOS image sensor) or other imaging device to capture a 30-frame two-dimensional image in time series, digitally convert it, and output the captured image in real time. It is a digital camera.
  • the camera 1 includes a wide angle lens. In particular, in the present embodiment, a viewing angle of 140 to 190 ° is ensured in the horizontal direction, and the optical axis is installed in the vehicle with a depression angle of about 30 degrees.
  • a control unit (hereinafter simply referred to as an ECU) 20 that is the core of the vehicle periphery monitoring device is installed.
  • the ECU 20 includes a sensor input interface 23, a communication interface 70, and the like that process the signal input from the vehicle state detection sensor group as it is or evaluate and transfer it to the inside of the ECU 20, and process input information.
  • a microprocessor and a DSP digital signal processor
  • the vehicle state detection sensor group connected to the sensor input interface 23 detects the driving operation and the vehicle running state.
  • the vehicle state detection sensor group includes a steering sensor that measures the steering operation direction (steering direction) and the operation amount (steering amount), a shift position sensor that determines the shift position of the shift lever, and an accelerator pedal.
  • An accelerator sensor that measures the operation amount, a brake sensor that detects the operation amount of the brake pedal, a distance sensor that detects the travel distance of the host vehicle, and the like are included.
  • the communication interface 70 used as an input / output interface employs an in-vehicle LAN as a data transmission line, and includes control units such as a monitor 21, a touch panel 21T, a power steering unit PS, a transmission mechanism T, and a brake device BK. Connected to allow data transmission.
  • a speaker 22 is also provided as an audio information output device.
  • the ECU 20 is provided with various functional units constructed in the form of hardware and / or software.
  • a three-dimensional object as the three-dimensional object detection unit of the present invention is provided.
  • a detection module 30, an image processing module 50, a display control unit 71, and an audio processing module 72 are included.
  • the monitor display image generated by the image processing module 50 is converted into a video signal by the display control unit 71 and sent to the monitor 21.
  • the voice guide generated by the voice processing module 72, an emergency warning sound, and the like are played by the speaker 22.
  • the parking support module 73 has functions for assisting the vehicle to park in a predetermined parking area, such as a parking area setting function, a parking route generation function, a position calculation function, and a parking guidance function.
  • the parking area setting function is for automatically parking by image processing based on a photographed image, estimation processing based on three-dimensional object information from the three-dimensional object detection module 30, or setting by human operation, or a combination thereof, to park the vehicle. This is a function for setting the parking area.
  • the parking route generation function is a function for calculating a parking route from the parking start point to the parking area.
  • the position calculation function is a function of detecting the position information of the own vehicle that changes with the movement of the own vehicle and the relative positional relationship with the parking area that changes with the movement of the own vehicle.
  • the own vehicle position during actual parking travel can be obtained based on, for example, the amount of vehicle movement acquired by the distance sensor and the steering amount of the steering wheel measured by the steering sensor.
  • the parking guidance function is a function for guiding the host vehicle along the parking route while referring to the determined host vehicle position.
  • the parking guidance function may automatically control the steering wheel along the parking route, or instruct the driver on the screen and voice the operation direction and operation amount of the steering wheel along the parking route. Also good.
  • the three-dimensional object detection module 30 includes an ultrasonic evaluation unit 31 that performs detection of a three-dimensional object by evaluating detection signals from a plurality of ultrasonic sensors 3, and image recognition that performs three-dimensional object detection using a captured image from the camera 1.
  • Part 32 is included.
  • the ultrasonic sensors 3 are disposed at both ends and the center of the front, rear, left side, and right side of the vehicle, and the object (three-dimensional object) existing in the vicinity of the vehicle is reflected through them. Can be detected.
  • processing the return time and amplitude of the reflected wave in each ultrasonic sensor 3 not only the distance from the vehicle to the object and the size of the object can be estimated, but also the detection results of all the ultrasonic sensors 3 are processed over time.
  • the image recognition unit 32 implements an object recognition algorithm that is known per se, and detects a three-dimensional object around the vehicle from an input captured image, particularly a captured image that is continuous over time.
  • an object recognition algorithm that is known per se, and detects a three-dimensional object around the vehicle from an input captured image, particularly a captured image that is continuous over time.
  • any one of the ultrasonic evaluation unit 31 and the image recognition unit 32 may be used, but the image recognition unit 32 excellent in detecting the form of the three-dimensional object and the distance to the three-dimensional object That is, more accurate three-dimensional object detection can be performed by providing both of the ultrasonic evaluation units 31 excellent in calculating the position of the three-dimensional object and performing a cooperative operation.
  • the three-dimensional object detection module 30 can output three-dimensional object information describing the position, posture, size, color tone, and the like of the detected three-dimensional object. Therefore, any one or a combination of the ultrasonic evaluation unit 31 and the image recognition unit 32 functions as a three-dimensional object detection unit in the present invention, and further, other three-dimensional object detection using a laser radar. The device is also included.
  • FIG. 5 shows a functional block diagram of the image processing module 50 of the ECU 20.
  • the image processing module 50 has a function of generating an image such as an overhead image converted by projective transformation from a captured image acquired by the camera 1 that captures the periphery of the vehicle.
  • the image processing module 50 includes a captured image memory 51, a preprocessing unit 52, an image generation unit 60, a display image generation unit 53, a frame memory 56, and a three-dimensional object information acquisition unit 57.
  • the captured image acquired by the camera 1 is developed in the captured image memory 51, and the preprocessing unit 52 adjusts the luminance balance, color balance, and the like between the captured images individually acquired by the camera 1.
  • the three-dimensional object information acquisition unit 57 receives the three-dimensional object information output from the three-dimensional object detection module 30, and reads the position, posture, size, color tone, and the like of the three-dimensional object described in the three-dimensional object information.
  • the three-dimensional object information acquisition unit 57 obtains the position of the parked vehicle (three-dimensional object) obtained when setting the parking area from the parking support module 73 and the parked vehicle (three-dimensional object) as additional three-dimensional object information.
  • Parking support information including the positional relationship between the vehicle and the vehicle.
  • the image generation unit 60 includes a normal image generation unit 61, an overhead image generation management unit 62, a mapping table 63, a first overhead image generation unit 64, a second overhead image generation unit 65, and a blend adjustment unit 66.
  • the normal image generation unit 61 adjusts the captured image to an image quality suitable for monitor display as a vehicle peripheral image as it is.
  • the vehicle peripheral image displayed on the monitor may be one selected by the driver from images captured by the back camera 1a, left and right side cameras 1b and 1c, and the front camera 1d, or may be a combination of a plurality of captured images. .
  • the first bird's-eye view image generation unit 64 performs the above-described secondary plane projective transformation using the photographed image developed in the photographed image memory 51 to generate a first bird's-eye view image.
  • this quadratic plane projective transformation in this case, the projective transformation with the point located above the vehicle as the virtual viewpoint and the plane coincident with the road surface as the projection plane is set by default, but depending on the driver's preference or driving situation Can be changed.
  • the second bird's-eye view image generation unit 65 performs the above-described tertiary surface projective transformation using the photographed image developed in the photographed image memory 51 to generate a second bird's-eye view image.
  • a projective transformation using a point located above the vehicle as a virtual viewpoint and a dome-shaped concave curved surface disposed on the road surface as a projection surface is set as a default here.
  • the projection surface in this cubic surface projection transformation can be selected from other tertiary surfaces, such as a hemispherical surface, a cylindrical surface, and a curved plane, and the projection surface center and the projection center can be shifted by a predetermined offset amount. Is possible.
  • the projective transformation in the first overhead image generation unit 64 and the second overhead image generation unit 65 is performed by map transformation using a mapping table, and thus various projection transformations used here.
  • mapping tables are stored in advance so as to be selectable.
  • the aggregate and individual mapping table composed of a plurality of mapping tables that can be selected and stored are referred to as a mapping table 63 here.
  • Each mapping table constituting the mapping table 63 (hereinafter abbreviated as a map) can be constructed in various forms.
  • the pixel data of the photographed image and the pixel data of the projective transformation image (overhead image) And a destination pixel coordinate in the bird's-eye view image is described in each pixel of the captured image of one frame.
  • the map selected from the mapping table 63 is limited. However, since there are many types of cubic surface projection transformations used in the second overhead image generation unit 65, a map for many types of cubic surface projection transformations is registered in the mapping table 63, and an appropriate one is obtained. Can be configured to select. Furthermore, the selection of the tertiary surface projection conversion map to be used can be determined based on characteristics such as the position and size of the three-dimensional object. A process of selecting such a cubic surface projection conversion map based on the three-dimensional object information is schematically shown in FIG. The overhead image generation management unit 62 selects the projection conversion type used in the first overhead image generation unit 64 and the second overhead image generation unit 65, that is, the use map from the mapping table 63.
  • the selection of the projective transformation type used in the second overhead image generation unit 65 will be described in more detail with reference to FIG. Based on the three-dimensional object data (position, posture, shape, etc.) described in the three-dimensional object information output from the three-dimensional object detection module 30, or based on the parking support information output from the parking support module 73.
  • the process of displaying the second display image based on the photographed image in which the three-dimensional object is captured beside the first display image that is the overhead image by the overhead image generation unit 64 is started. First, a rule calculation process is performed using the three-dimensional object characteristic data read from the three-dimensional object information as an input parameter, and a map selection command for instructing an optimal type of projective transformation is determined.
  • a suitable map is selected from the mapping table 63 and set in the second overhead image generation unit 65. For example, based on the characteristic data of the three-dimensional object, the projection surface shape defining the projective transformation and the conversion parameter indicating the relative position between the projection surface and the three-dimensional object (precisely, the three-dimensional object image as the projective transformation source image) are set. Is done.
  • a plurality of projective transformations having different projection surface shapes and different relative positions of the three-dimensional object are prepared in the form of a map.
  • the shape of the projection surface include a cylindrical curved surface, a curved surface formed of a plane bent halfway, and a spherical curved surface.
  • a vertical plane perpendicular to the road surface and an inclined plane with respect to the road surface can also be used as the projection surface.
  • different projection transformations can be realized by arranging each projection plane at a different relative position to the three-dimensional object.
  • the three-dimensional object is projected in an inclined surface area or a curved surface area rising from the road surface of the projection surface, so that the entire three-dimensional object projection image is projected on the projection surface parallel to the road surface.
  • the strain that is extended during the generation is suppressed.
  • an arrangement in which the projection position of the road surface side end portion of the three-dimensional object coincides with the region position where the projection surface rises from the road surface is convenient.
  • the position of the road surface side end portion of the three-dimensional object can be detected by the edge detection processing, and therefore the three-dimensional object is used by using the projection surface arranged so that this position matches the rising position of the projection surface from the road surface. It is preferable to generate a bird's-eye view image.
  • the display image generation unit 53 includes an image synthesis unit 54 that synthesizes images generated by the image generation unit 60 and an image enlargement unit 55 that trims and enlarges the image.
  • the image composition unit 54 performs panoramic composition of the overhead image segments generated for each captured image of each camera, and generates a first overhead image and a second overhead image around the entire periphery. At the time of this panorama synthesis, the overlap region width and the blend ratio that are optimum for the use projection conversion and are determined by the blend adjustment unit 66 are used to perform the blend synthesis process described above.
  • the image enlarging unit 55 cuts out and enlarges the image area of the second overhead image in which the three-dimensional object is captured in order to generate the second display image from the second overhead image.
  • the final first display image and second display image are inserted into a predetermined template frame, transferred to the frame memory 56 as a monitor display image, and displayed on the monitor 21 via the display control unit 71.
  • a map for secondary plane projection conversion used in the first overhead image generation unit 64 here a map for projection conversion with the road surface as a projection plane, is used. Is set (# 01). In addition, the width of the overlap area and the blend ratio at the time of combining the overhead image segments are set (# 02). Next, a captured image of each in-vehicle camera 1 is acquired (# 03), and an overhead image segment is generated from each captured image using the set map (# 04).
  • the generated overhead image segments are combined and synthesized with the set overlap region width and blend ratio, and a first overhead image, which is a normal overhead image, is generated (# 05).
  • a vehicle overhead image (which may be an illustration or a symbol) set in advance at the own vehicle position is arranged.
  • the three-dimensional object information is output from the three-dimensional object detection module 30 or the parking support module 73 is checked (# 06).
  • the three-dimensional object information is not output (# 06 No branch)
  • the first overhead image generated in step # 05 is the normal image ( For example, a display overhead image is generated in combination with the back monitor image) (# 14).
  • the generated display overhead image is displayed on the monitor 21 (# 15).
  • the routine returns to step # 01 again and this routine is repeated.
  • step # 06 If the three-dimensional object information is output in the check of step # 06 (# 06 Yes branch), it is considered that the three-dimensional object to be noticed is reflected in the photographed image, and first, the three-dimensional object detected from the three-dimensional object information is detected. Data such as position, orientation, and size are read (# 07). The image area of the three-dimensional object in the captured image is calculated based on the read data regarding the three-dimensional object (# 08). Furthermore, in this embodiment, based on the data relating to the three-dimensional object, a map for the cubic surface projection conversion used in the first overhead image generation unit 64, here a map for the projection conversion with the hemisphere as the projection surface, is provided. It is set (# 09).
  • the width of the overlap region and the blend ratio at the time of combining the overhead image segments are set (# 10).
  • a bird's-eye view image segment is generated from the captured image using the set map for the third-plane projective transformation (# 11).
  • the generated overhead image segments are combined and synthesized with the set overlap region width and blend ratio, and a second overhead image that is a spherical projection overhead image is generated (# 12).
  • the generated second bird's-eye view image is cut out and enlarged within a range including the three-dimensional object based on the calculated three-dimensional object image area (# 13).
  • the partial area of the enlarged second bird's-eye image becomes the second bird's-eye image for display.
  • the second overhead image as the partially enlarged overhead image generated in this way is combined with the first overhead image to generate a display overhead image (# 14).
  • the monitor 21 displays the generated display overhead image (# 15).
  • a second display image based on the second overhead image is generated due to the presence of a three-dimensional object in the vicinity of the vehicle, and the second display image is displayed on the monitor 21 together with the first display image.
  • the monitor screen shown in FIGS. 2 and 3 is referred to.
  • the image processing method illustrated in FIG. 3 is employed.
  • the image processing method illustrated in FIG. 3 may be employed with substantially the same configuration.
  • the image processing method illustrated in FIG. 1, that is, an image processing method for generating two types of overhead images using a single camera can be employed.
  • the image processing module 50 in order to explain the functions of the image processing module 50 in an easy-to-understand manner, as shown in FIG.
  • the invention is not limited to functional blocks thus partitioned. For example, it may be constructed by combining any of the functional units, or conversely, the functional units may be further divided. Further, the image processing module 50 itself may incorporate all or some of the functions in another ECU.
  • the second display image is displayed on the monitor screen side by side with the first display image.
  • the first display is displayed so that the second display image is displayed instead of the first display image.
  • the image and the second display image may be switched and displayed.
  • the present invention can be used in all systems that monitor a vehicle periphery using a bird's-eye view image.
  • Camera module 30 Solid object detection module 21: Monitor 50: Image processing module 53: Display image generation unit 54: Image composition unit 55: Image enlargement unit 57: Solid object information acquisition unit 60: Image generation unit 61: Normal image Generation unit 62: overhead image generation management unit 63: mapping table 64: first overhead image generation unit 65: second overhead image generation unit 66: blend adjustment unit 71: display control unit 73: parking support module

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　車両周辺監視装置は、車載カメラモジュールによって取得された撮影画像に基づいて二次平面射影変換によって第１俯瞰画像を生成する第１俯瞰画像生成部と、撮影画像に基づいて三次面射影変換によって第２俯瞰画像を生成する第２俯瞰画像生成部と、第１俯瞰画像からモニタ表示用の第１表示画像を生成するとともに、当該第１表示画像の所定領域に対応する第２俯瞰画像の所定領域から第１表示画像より大きな表示倍率を有するモニタ表示用の第２表示画像を生成する表示画像生成部とを備えている。

Description

車両周辺監視装置
　本発明は、自車の周辺領域を撮影する車載カメラによって取得された撮影画像を射影変換することでカメラ視点より上方の上方仮想視点からの俯瞰画像を表示画像として生成し、モニタに表示する車両周辺監視装置に関する。
　従来、自車の死角を確認するために車両の上方仮想視点から見下ろした俯瞰画像をモニタに表示して、運転者を支援する技術が知られている。この俯瞰画像は、複数の車載カメラで車両周囲を撮影し、これら複数の車載カメラで取得された撮影画像を車両上方の仮想視点から見下ろした画像に視点変換して繋ぎ合わせることにより得られる。その際、自車を表す自車イメージをモニタに表示される俯瞰画像の中心に合成することで、自車周囲の様子を運転者に容易に認識させる工夫がなされている。
　そのような俯瞰画像を用いた車両周辺表示装置が特許文献１に記載されている。この車両周辺表示装置では、複数のカメラにより撮られた各撮影画像に基づいて車両周辺の俯瞰画像が表示されるが、この俯瞰画像を複数の領域に分割し、ユーザにより選択された領域に対応する対象画像が該ディスプレイに拡大表示される。従って、ユーザによって選択された俯瞰画像の特定領域が拡大表示されるので、周辺の注目すべき領域だけが拡大表示されるという利点がある。しかしながら、撮影画像から射影変換を通じて得られた上方仮想視点からの俯瞰画像では路面からの高さをもつ物体が大きく歪み、運転者にとって距離感や大きさを認識しにくいという問題がある。
　さらに特許文献２に記載されている駐車支援装置では、自車の周囲の画像を取得する撮像手段と、前記自車の周囲の画像及び自車の画像から前記自車を上方の仮想視点から見た俯瞰画像を生成する画像変換手段と、自車の周囲の立体物を検出し、立体物情報として立体物の自車からの距離及び相対速度を算出する立体物検出手段とが備えられている。さらに、立体物情報に基づいて立体物が移動体であると判定したとき、当該立体物が俯瞰画像の端に表示されるように縮尺を変更してモニタに表示される。つまり、俯瞰画像の表示において、自車と周囲の立体物とが接近したとき、自車を中心として立体物が俯瞰画像の端になるように縮尺を変更して俯瞰画像が拡大して表示される。しかしながら、この装置でも俯瞰画像の一部を拡大しているだけなので、その拡大図において、路面からの高さをもつ物体が大きく歪み、運転者が距離感や大きさを認識しにくいという問題がある。
　また、視点の異なる複数のカメラから得られた撮影画像を合成する際に、路面平面である二次元投影面を用いた投影画像に対してさらに球面と円筒面からなる三次元投影面を用いて射影変換された投影画像を生成することで、画像ひずみを低減しようとする画像合成装置も知られている。しかしながら、この装置では、最終的に表示される表示画像は三次元投影面を用いた投影画像であるため、上方仮想視点からの俯瞰画像では可能であった白線などの路面上の識別シンボルの直線性が十分に確保できないという問題点がある。
特開２００９‐２３９６７４号公報（段落番号〔０００８－００１３〕、図１４） 特開２００９‐１１１９４６号公報（段落番号〔００１１－００５７〕、図４）
　上記実情に鑑み、通常の俯瞰画像だけでなく、その部分拡大俯瞰画像もモニタ表示する際、それぞれの表示目的に適合した俯瞰画像が生成される車両周辺監視装置が要望されている。
　本発明の車両周辺監視装置は、車両の周辺領域を撮影する車載カメラモジュールと、前記車載カメラモジュールによって取得された撮影画像に基づいて二次平面射影変換によって第１俯瞰画像を生成する第１俯瞰画像生成部と、前記撮影画像に基づいて三次面射影変換によって第２俯瞰画像を生成する第２俯瞰画像生成部と、前記第１俯瞰画像からモニタ表示用の第１表示画像を生成するとともに、当該第１表示画像の所定領域に対応する前記第２俯瞰画像の所定領域から前記第１表示画像より大きな表示倍率を有するモニタ表示用の第２表示画像を生成する表示画像生成部とを備えている。
　この構成では、第１表示画像は投影面として二次平面（通常は路面）を用いた、これまでよく知られている通常の俯瞰画像（第１俯瞰画像）に基づいている。このため、路面平面に描かれた白線などの直線性は良好であり、この第１表示画像を通じて、運転者は、容易に概略的な周囲状況を把握することができる。第２表示画像は、投影面として三次面を用いることで路面上から立ち上がった立体物（駐車車両や三角ポールなど）の変形が第１俯瞰画像より少ない第２俯瞰画像に基づいている。さらに、この第２表示画像は第１表示画像の所定領域に対応する領域に限定され拡大表示されることから、自車近傍の注目領域、例えば自車の近傍に存在する立体物に対する運転者の視認性が良好なものとなる。
　なお、ここでいう投影面としての三次面とは、路面のような単一平面でないという意味であり、曲面だけではなく、複数の異なる平面からなる平面体、例えば屈曲平面や階段状平面も含まれる。ただ、視認性や直線性などを考慮した場合、半球面やドーム面などを含む凹曲面が適している。従って、本発明の好適な実施形態では、前記三次面射影変換は投影面として凹曲面を用いている。
　本発明の好適な実施形態の１つでは、前記第１表示画像と前記第２表示画像とが同一モニタ画面上に表示される。これにより、運転者は、周辺状況を地図的に把握できる第１表示画像と、路面上立体物の自車との距離感を把握し易い第２表示画像を見比べることで、より正確にかつ容易に車両周辺を監視することができる。
　注目すべき特定領域がないにもかかわらず、前記第１表示画像と前記第２表示画像とを表示スペースが限られているモニタに表示する必要はない。特に、第１表示画像の特定領域の拡大画像でもある第２表示画像は、路上立体物が自車周辺に存在している場合に重要となる。従って、本発明の好適な実施形態の１つでは、車両周辺の立体物を検出する立体物検出部から受け取った立体物検出情報に基づいて前記立体物の存在する領域を含む前記第２表示画像がモニタ表示される。
　ただし立体物検出部が搭載されていない場合や、立体物検出部で立体物が検出されていない領域の第２表示画像を見たいという要望を満たすために、車両乗員が指定する車両周辺領域を含む前記第２表示画像がモニタ表示される構成を採用してもよい。
　さらに、車両周辺領域の拡大された俯瞰画像である第２表示画像は、駐車走行時に他車などの走行障害物と自車との位置関係を把握するために適している。特に、予め駐車可能な駐車領域を設定し、その駐車領域への駐車経路を演算して、当該駐車経路に沿った駐車走行を支援する、駐車支援装置では、駐車領域の設定時や駐車経路の演算時に駐車しようとする自車に近接する立体物を検知している場合が少なくない。このような条件が満たされる場合、駐車走行時に自車の一部が立体物に接近したときに、第２表示画像を表示すると好都合である。このため、本発明の好適な実施形態の１つでは、駐車領域を設定するとともに当該駐車領域に車両を誘導するための駐車経路を生成する駐車制御を行う駐車支援モジュールから取得された駐車経路と駐車領域と駐車車両に関する情報を含む駐車支援情報から、前記第２表示画像を表示するタイミングが求められ、当該タイミングで前記第２表示画像がモニタ画面上に表示される。
　本発明では、車載カメラモジュールが１台のカメラで構成され、当該カメラからの撮影画像から第１と第２の俯瞰画像及び表示画像が生成されてもよい。特に運転者にとっての最大の死角となりやすい後方周辺領域を撮影するバックカメラの撮影画像だけを利用しても運転支援において十分な効果がある。しかしながら、車載カメラモジュールが互いの撮影領域が重なり合うオーバラップ領域を有する複数の車載カメラから構成され、各カメラからの撮影画像の俯瞰画像をパノラマ合成して全周囲画像とすると、車両周辺監視としては最適である。その際、隣り合う撮影画像の俯瞰画像をオーバラップ領域で重ね合わせて合成する場合には、そのオーバラップ領域に存在する被写体が変形しているために、オーバラップ領域ではブレンド合成されると好都合である。このため、複数カメラからの撮影画像を利用する本発明の好適な実施形態では、前記第１俯瞰画像及び前記第２俯瞰画像はそれぞれの撮影画像のパノラマ合成により生成され、その際前記オーバラップ領域が所定幅と所定比率でブレンドされる。
　さらには、そのオーバラップ領域に存在する被写体の変形形態は、二次平面射影変換と三次面射影変換とでは異なっている。この問題を解決するためには、前記第１俯瞰画像と前記第２俯瞰画像とでオーバラップ領域の所定幅又は所定比率あるいはその両方が異なるように個別に設定されるとよい。
　第２俯瞰画像の生成方法として、撮影画像から第１俯瞰画像を生成し、その第１俯瞰画像を三次平面射影変換することで第２俯瞰画像を生成する方法と、撮影画像から直接第２俯瞰画像を生成してもよい。いずれにせよ、第１俯瞰画像は常時生成されているので、第１俯瞰画像を三次面射影変換することにより第２俯瞰画像を生成するように第２俯瞰画像生成部を構築することが好都合である。
本発明による運転支援装置で用いられる、撮影画像を出発画像として二次平面射影変換を通じて得られた第１俯瞰画像と、撮影画像を出発画像として三次面射影変換を通じて得られた第２俯瞰画像とを表示する過程を図解する模式図である。 複数カメラによる撮影画像から二次平面射影変換と合成処理を通じて得られた全周囲第１俯瞰画像と、この第１俯瞰画から三次面射影変換を通じて得られた全周囲第２俯瞰画像とを表示する過程を図解する模式図である。 複数カメラによる撮影画像から二次平面射影変換と合成処理とを通じて得られた全周囲第１俯瞰画像と、撮影画像から三次面射影変換と合成処理とを通じて得られた全周囲第２俯瞰画像とを表示する過程を図解する模式図である。 運転支援装置のコントロールユニットを含む電子制御系の機能を説明する機能ブロック図である。 画像処理モジュールの機能ブロック図である。 種々の射影変換マップから選択された射影変換マップを用いて第２俯瞰画像を生成する過程を図解した模式図である。 俯瞰画像表示ルーチンを示すフローチャートである。
　まず、本発明による運転支援装置で用いられる、撮影画像を出発画像として二次平面射影変換を通じて得られた第１俯瞰画像と、撮影画像を出発画像として三次面射影変換を通じて得られた第２俯瞰画像とを表示する基本的な過程を、図１を用いて説明する。ここでは車載カメラはバックカメラであり、撮影画像は車両後方の周辺を写しだしたものである。つまり、図１では、バックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されている。
　車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まずバックカメラによって自車の後方周辺領域の撮影画像が取得される（＃１）。この撮影画像から、投影面を路面に平行な面とする第１の射影変換（二次平面射影変換）、つまり真上に仮想視点を設定した視点変換が行われる（＃２）。この二次平面射影変換処理を通じて、車両後方領域の真上からの俯瞰画像である第１俯瞰画像が得られる。この第１俯瞰画像は、整形のためのトリミング処理を受けて、第１表示画像としてモニタ画面に表示される（＃３）。
　さらに、撮影画像から、投影面を路面上に配置された三次面とする第２の射影変換（三次面射影変換）、つまり真上に仮想視点を設定した視点変換だけでなく、投影面も湾曲面ないしは屈曲平面とされた射影変換が行われる（＃４）。ここでは、三次面としてドーム状の凹湾曲面が用いられていることにする。この三次面射影変換を通じて、車両後方領域の真上から路面上に配置された湾曲面への俯瞰画像である第２俯瞰画像が得られる。この第２俯瞰画像は屈曲平面や湾曲平面のような三次面への投影画像であるため、それなりの変形をうけるが、上方仮想視点による視点変換での変形と部分的に相殺することになる。このため、第２俯瞰画像は、例えば、路上立体物が伸び上がるという上記視点変換におる変形が逆に抑えられることにより、自車と路上立体物との距離間隔が把握し易いという利点が得られる。
　この第２俯瞰画像から指定された画像領域が切り出され、その切り出し画像領域をさらに拡大したものが第２表示画像として、第１表示画像に並んでモニタ画面に表示される（＃５）。なお、第２表示画像が表示される領域には、第２表示画像が表示される前は例えばバックカメラ１ａで撮影された映像が表示されている。
　第２表示画像の表示タイミングや第２俯瞰画像からの切り出し領域は、ユーザによって選択されてもよいが、車両に立体物検出機能が備わっていれば、立体物が検出した時点で、検出された立体物が写っている画像領域を切り出して、第２表示画像としてモニタ画面に表示することができる。それ以外では、第２表示画像の表示枠にはバックカメラの撮影画像をそのまま通常画像として表示するとよい。
　図１における本発明の図解説明では、バックカメラからの撮影画像だけを用いて、二次平面射影変換（路面射影変換）による第１俯瞰画像と三次面射影変換（凹湾曲面射影変換）による第２俯瞰画像とを生成し、さらにそれぞれの俯瞰画像から第１表示画像と第２表示画像が生成された。しかしながら、自車を中心とする四方の周辺状況、特に路面状況が把握できる全周囲俯瞰画像を運転者に見せることが周辺監視としては最適の形態である。以下に、全周囲俯瞰画像を用いた周辺監視の基本的な画像処理の流れを説明する。
　図２は、複数カメラによる撮影画像から二次平面射影変換と合成処理を通じて得られた全周囲第１俯瞰画像と、この第１俯瞰画から三次面射影変換を通じて得られた全周囲第２俯瞰画像とを表示する過程を図解する模式図である。図３は、複数カメラによる撮影画像から二次平面射影変換と合成処理とを通じて得られた全周囲第１俯瞰画像と、撮影画像から三次面射影変換と合成処理とを通じて得られた全周囲第２俯瞰画像とを表示する過程を図解する模式図である。図２及び図３では、車載カメラモジュールとしてバックカメラ１ａ、左サイドカメラ１ｂ、右サイドカメラ１ｃ、フロントカメラ１ｄが用意されており、後進での縦列駐車における駐車支援のために、これらのカメラからの４つの周辺撮影画像から２種類の俯瞰画像を生成する装置が取り扱われている。
　図２で図解された画像処理過程では、まず、バックカメラ１ａによる後方撮影画像が車両真上からの通常の二次平面射影変換による全周囲俯瞰画像の後方領域画像として射影変換される。同様に、左サイドカメラ１ｂによる左撮影画像、右サイドカメラ１ｃによる右撮影画像、フロントカメラ１ｄによる撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、二次平面射影変換用マッピングテーブルを用いたマッピングによって行われる。各撮影画像から生成された俯瞰画像（最終的な第１俯瞰画像の１つのセグメント）が隣り合う撮影画像同士でオーバラップ領域を形成しながら画像合成されることで第１俯瞰画像が生成される。この画像合成では所定幅のオーバラップ領域において所定比率でのブレンド合成処理（アルファブレンド）が実施される。
　生成された第１俯瞰画像は、一方では、必要に応じてトリミング処理が施され、第１表示画像としてモニタ表示される。生成された第１俯瞰画像は、他方では、さらに三次面射影変換、例えば、凹湾曲状投影面への射影変換が、三次面射影変換用マッピングテーブルを用いたマッピングによって行われる。このマッピングにより、第２俯瞰画像が生成される。この第２俯瞰画像は三次面に投影されることによる変形を受けるが、この変形によって第１俯瞰画像で生じていた路上立体物の伸び上がり変形を相殺させることも可能である。生成された第２俯瞰画像は、指定された画像領域、例えば後進での縦列駐車において運転者が注目すべき場所に対応する画像領域で、切り出され、さらに拡大されて、第２表示画像として第１表示画像に隣接してモニタ表示される。図２の例では、縦列駐車走行中の自車の左前部分と駐車車両の右後部分との近接領域が運転者が注目すべき場所とみなされ、第２表示画像として表示されている。
　この第２表示画像をモニタ表示する好適なタイミングの一例を図２も用いて説明する。図２では縦列駐車が模式的に示されているが、駐車支援装置などが稼動している場合、まずは、駐車すべき駐車領域を探す探索走行（図中Ｓで示された走行経路）が行われる。その探索走行時に駐車車両のいない空きスペースである駐車領域が検知されると、その駐車領域に駐車するための駐車開始点（後退の開始位置）まで車両を進める。駐車領域を検知する際に、その駐車領域を境界付けている駐車車両（立体物）の情報（駐車車両がいないという情報も含まれる）が得られていることになる。駐車支援プロセスでは、駐車開始点から駐車領域への駐車経路（図中Ｋで示された走行経路）を演算し、その駐車経路に沿った駐車支援が行われる。なお、この駐車支援では、駐車経路に沿うように自動で操舵制御を行い、運転者は速度調節のみを行うようにしてもよい。この駐車経路に沿った後退の際、駐車車両（立体物）の情報が既に得られているため、例えば、自車の左前方が、前方の駐車車両に近づき、接触しそうなタイミングで、当該駐車車両を映し出している撮影画像に基づく第２表示画像をモニタ画面に表示する。
　図３で図解された画像処理過程でも、まず、バックカメラ１ａによる後方撮影画像が車両真上からの通常の二次平面射影変換による全周囲俯瞰画像の後方領域画像として射影変換される。同様に、左サイドカメラ１ｂによる左撮影画像、右サイドカメラ１ｃによる右撮影画像、フロントカメラ１ｄによる撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。さらに、各撮影画像から生成された俯瞰画像（最終的な第１俯瞰画像の１つのセグメント）が隣り合う撮影画像同士でオーバラップ領域を形成しながら画像合成されることで第１俯瞰画像が生成される。この画像合成においては、二次平面射影変換による全周囲俯瞰画像に適した所定幅のオーバラップ領域を設定し、同様にこの全周囲俯瞰画像に適した所定比率でのブレンド合成処理（アルファブレンド）が実施される。生成された第１俯瞰画像は、必要に応じてトリミング処理が施され、第１表示画像としてモニタ表示される。
　図３による画像処理過程では、第２俯瞰画像は、各カメラからの撮影画像毎に三次面射影変換された俯瞰画像セグメントを合成することで生成される。つまり、バックカメラ１ａによる後方撮影画像が最終的な全周囲俯瞰画像の後方領域画像として生成されるように車両真上から路面上に配置された三次投影面への射影変換である三次面射影変換を受ける。同様に、左サイドカメラ１ｂによる左撮影画像、右サイドカメラ１ｃによる右撮影画像、フロントカメラ１ｄによる撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として同様な射影変換を受ける。このようにして各撮影画像から生成された俯瞰画像（最終的な第２俯瞰画像の１つのセグメント）が隣り合う撮影画像同士でオーバラップ領域を形成しながら画像合成されることで第２俯瞰画像が生成される。この画像合成においても、三次面射影変換による全周囲俯瞰画像に適した所定幅のオーバラップ領域を設定し、同様にこの全周囲俯瞰画像に適した所定比率でのブレンド合成処理（アルファブレンド）が実施される。第１俯瞰画像と第２俯瞰画像とでは、周辺部における画像の変形（歪み）が異なるため、互いに異なるオーバラップ領域幅及びブレンド比率が設定される。生成された第２俯瞰画像は、指定された画像領域で切り出され、さらに拡大されて、第２表示画像として第１表示画像に隣接してモニタ表示される。
　以下、本発明による車両周辺監視装置の具体的な実施形態の構成を図面に基づいて説明する。本実施形態では、図３で図解された画像処理が採用されているとする。従って、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像から前述した第１表示画像と第２表示画像を生成する画像処理系が構築された車両周辺監視装置が車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。
　カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０～１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
　車両内部には、車両周辺監視装置の中核をなすコントロールユニット（以下単にＥＣＵと称する）２０が設置されている。このＥＣＵ２０は、図４に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。
　センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
　また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
　ＥＣＵ２０には、ハードウェア又はソフトウェアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、本発明の立体物検知部としての立体物検知モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２と、が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
　駐車支援モジュール７３は、駐車領域設定機能、駐車経路生成機能、位置算定機能、駐車誘導機能などの、自車が所定の駐車領域に駐車することを支援するための機能を備えている。駐車領域設定機能は、撮影画像に基づく画像処理や立体物検知モジュール３０からの立体物情報に基づく推定処理などによる自動設定、または人為操作による設定、あるいはそれらの組み合わせで、自車を駐車させるための駐車領域を設定する機能である。駐車経路生成機能は、駐車開始点から駐車領域への駐車経路を算定する機能である。位置算定機能は、自車の移動に伴って変化する自車の位置情報を検出するとともに、自車の移動に伴って変化する駐車領域との相対的な位置関係を検出する機能である。実際の駐車走行時の自車位置は、例えば、距離センサで取得する車両移動量と、ステアリングセンサで計測されるステアリングホイールの操舵量とに基づいて求めることができる。駐車誘導機能は、求められた自車位置を参照しながら、駐車経路に沿うように自車を誘導する機能である。駐車誘導機能は、駐車経路に沿うように自動でステアリングホイールを制御してもよいし、運転者に駐車経路に沿うようなステアリングホイールの操作方向、操作量を画面や音声で指示するようにしてもよい。
　立体物検知モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う超音波評価部３１と、カメラ１からの撮影画像を用いて立体物検知を行う画像認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（立体物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。画像認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を検知する。立体物の検知のためには、超音波評価部３１と画像認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた画像認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた超音波評価部３１の両方を備えて協働作業させることでより正確な立体物検知が可能となる。これにより、立体物検知モジュール３０は、検知した立体物の位置、姿勢、大きさ、色調などを記述した立体物情報を出力することができる。従って、超音波評価部３１と画像認識部３２のいずれでもあるいはその組み合わせであっても本発明における立体物検知部として機能するものであり、さらには、レーザーレーダを用いるような他の立体物検知装置も含むものである。
　図５に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
　画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部６０、表示画像生成部５３、フレームメモリ５６、立体物情報取得部５７を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物情報取得部５７は、立体物検知モジュール３０から出力された立体物情報を受け取り、当該立体物情報に記述された立体物の位置、姿勢、大きさ、色調などを読み出す。さらに、この立体物情報取得部５７は、付加的な立体物情報として、駐車支援モジュール７３からの、駐車領域を設定する際に得られた駐車車両（立体物）の位置及び当該駐車車両（立体物）と自車との位置関係などを含む駐車支援情報を受け取るように構成されている。
　画像生成部６０は、通常画像生成部６１、俯瞰画像生成管理部６２、マッピングテーブル６３、第１俯瞰画像生成部６４、第２俯瞰画像生成部６５、ブレンド調整部６６を含んでいる。通常画像生成部６１は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせででもよい。
　第１俯瞰画像生成部６４は、撮影画像メモリ５１に展開されている撮影画像を用いて上述した二次平面射影変換を行い、第１俯瞰画像を生成する。この二次平面射影変換として、ここでは車両の上方に位置する点を仮想視点とし路面に一致する面を投影面とした射影変換がデフォルト設定されているが、運転者の嗜好あるいは運転状況に応じて変更可能である。
　第２俯瞰画像生成部６５は、撮影画像メモリ５１に展開されている撮影画像を用いて上述した三次面射影変換を行い、第２俯瞰画像を生成する。この三次面射影変換として、ここでは車両の上方に位置する点を仮想視点とし路面上に配置されたドーム状の凹湾曲面を投影面とした射影変換がデフォルト設定されている。この三次面射影変換での投影面は、その他の三次面、例えば半球面、円柱面、屈曲平面などから選ぶことができるし、またその投影面中心と投影中心とを所定オフセット量だけずらすことも可能である。
　なお、この実施形態では、第１俯瞰画像生成部６４及び第２俯瞰画像生成部６５における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６３と称する。マッピングテーブル６３を構成する各マッピングテーブル（以下点にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（俯瞰画像）の画素データとの対応関係が記述されたマップとして構築され、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものである。
　第１俯瞰画像生成部６４は通常の俯瞰画像を生成するので、マッピングテーブル６３から選択されるマップは限定される。しかしながら、第２俯瞰画像生成部６５で利用される三次面射影変換の種類は多いので、多くの種類の三次面射影変換のためのマップをマッピングテーブル６３に登録しておいて、適切なものを選択するように構成することができる。さらには、用いる三次面射影変換用マップの選択を立体物の存在位置、大きさなどの特性に基づいて決定することができる。そのような三次面射影変換用マップを立体物情報に基づいて選択する過程が図６に模式的に図示されている。このような第１俯瞰画像生成部６４及び第２俯瞰画像生成部６５で利用される射影変換種類、つまりマッピングテーブル６３からの使用マップの選択は俯瞰画像生成管理部６２が行う。
　第２俯瞰画像生成部６５で利用される射影変換種類の選択に関して、図６を用いてさらに詳しく説明する。
　立体物検知モジュール３０から出力された立体物情報に記述された立体物のデータ（位置、姿勢、形状など）に基づいて、あるいは駐車支援モジュール７３から出力された駐車支援情報に基づいて、第１俯瞰画像生成部６４による俯瞰画像である第１表示画像の横に当該立体物が写っている撮影画像に基づく第２表示画像を表示する処理が開始される。まず、立体物情報から読み取られた立体物の特性データを入力パラメータとしてルール演算処理を行って、最適種類の射影変換を指示するマップ選択指令が決定される。このマップ選択指令に基づいて、適合するマップがマッピングテーブル６３から選択され、第２俯瞰画像生成部６５に設定される。例えば、立体物の特性データに基づいて、射影変換を規定する投影面形状や当該投影面と立体物（正確には射影変換元画像としての立体物画像）との相対位置を表す変換パラメータが設定される。
　ここでは、立体物の歪みを低減する射影変換として、図５で模式的に示すように、投影面形状と立体物との相対位置とが異なる複数の射影変換がマップの形態で準備されている。投影面形状としては、円柱状湾曲面、途中で折り曲げられた平面からなる屈曲面、球面状湾曲面などが挙げられる。もちろん、路面に垂直な垂直平面や路面に対して傾斜平面も投影面として利用可能である。また、それぞれの投影面は、立体物との異なる相対位置に配置することで異なる射影変換を実現することができる。特に好適な配置としては、立体物が投影面の路面からの立ち上がった傾斜面領域又は湾曲面領域で投影されることあり、これにより、立体物の投影画像全体にわたって、路面と平行な投影面において生じる間延びした歪が抑制される。このことから、立体物の路面側端部の投影位置が投影面の路面からの立ち上がった領域位置と一致する配置が好都合である。その際は、立体物の路面側端部の位置はエッジ検出処理で検出することができるので、この位置が投影面の路面からの立ち上がり位置に一致させるように配置した投影面を用いて立体物の俯瞰画像を生成するとよい。
　表示画像生成部５３は、画像生成部６０によって生成された画像を合成する画像合成部５４や画像をトリミングして拡大する画像拡大部５５を含む。画像合成部５４は、各カメラの撮影画像毎に生成された俯瞰画像セグメントをパノラマ合成して、全周囲の第１俯瞰画像及び第２俯瞰画像を生成する。このパノラマ合成の際、上述したブレンド合成処理を行うために、ブレンド調整部６６によって決定された、利用射影変換に最適なオーバラップ領域幅及びブレンド比率が用いられる。画像拡大部５５は、第２俯瞰画像から第２表示画像を生成するために立体物が写っている第２俯瞰画像の画像領域を切り出して拡大する。
　最終的な第１表示画像と第２表示画像は所定のテンプレート枠にはめ込まれて、モニタ表示画像としてフレームメモリ５６に転送され、表示制御部７１を介してモニタ２１に表示される。
　次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視装置による俯瞰画像表示の流れを図７のフローチャートを用いて説明する。
　この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、第１俯瞰画像生成部６４で用いられる二次平面射影変換のためのマップ、ここでは路面を投影面とする射影変換のためのマップが設定される（＃０１）。また、俯瞰画像セグメントの合成時のオーバラップ領域の幅やブレンド比率なども設定される（＃０２）。次いで、各車載カメラ１の撮影画像が取得され（＃０３）、設定されたマップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントは設定されたオーバラップ領域の幅やブレンド比率でもって組み合わせ合成され、通常の俯瞰画像である第１俯瞰画像が生成される（＃０５）。その際、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置される。
　立体物検知モジュール３０あるいは駐車支援モジュール７３から立体物情報が出力されているかどうかチェックされる（＃０６）。立体物情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなされ、ステップ＃０５で生成された第１俯瞰画像は、通常画像（例えば、バックモニタ画像）と組み合わされ表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像はモニタ２１に表示される（＃１５）。ここで、俯瞰画像表示ルーチンの終了指令がない限り（＃１６No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
　ステップ＃０６のチェックで、立体物情報が出力されている場合（＃０６Yes分岐）、注目すべき立体物が撮影画像に写り込んでいるとみなし、まず、立体物情報から検知された立体物の位置、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物に関するデータに基づいて撮影画像における当該立体物の画像領域を算定する（＃０８）。さらに、この実施形態では、立体物に関するデータに基づいて、第１俯瞰画像生成部６４で用いられる三次面射影変換のためのマップ、ここでは半球面を投影面とする射影変換のためのマップが設定される（＃０９）。同様に立体物に関するデータに基づいて、俯瞰画像セグメントの合成時のオーバラップ領域の幅やブレンド比率などが設定される（＃１０）。この設定された三次面射影変換のためのマップを用いて撮影画像から俯瞰画像セグメントが生成される（＃１１）。生成された俯瞰画像セグメントは設定されたオーバラップ領域の幅やブレンド比率でもって組み合わせ合成され、球面投影俯瞰画像である第２俯瞰画像が生成される（＃１２）。生成された第２俯瞰画像は、算定された立体物の画像領域に基づいて当該立体物が含まれる範囲で切り出され、拡大される（＃１３）。この拡大された第２俯瞰画像の部分領域が、表示のための第２俯瞰画像となる。従って、ステップ＃１２での第２俯瞰画像の生成の際、当該立体物が含まれる撮影画像だけを用いてもよい。このようにして生成された部分拡大俯瞰画像としての第２俯瞰画像が第１俯瞰画像と組み合わされ表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像をモニタ２１は表示される（＃１５）。なお、車両近傍に立体物が存在することにより第２俯瞰画像に基づく第２表示画像が生成され、第１表示画像とともに第２表示画像がモニタ２１に表示されたが、このモニタ画面としては、図２や図３で示したモニタ画面が参照される。
〔別実施の形態〕
（１）上述した具体的に実施形態では、図３で図解された画像処理方法が採用されていたが、実質的に同一な構成によって図３で図解された画像処理方法を採用することも、さらには、図１で図解された画像処理方法、つまり単一カメラによる２種類の俯瞰画像生成を行う画像処理方法も採用可能である。
（２）上述した実施形態では、画像処理モジュール５０の機能を分かりやすく説明するため、図５に示すように、その構成を機能別にブロック化しているが、この機能ブロックは説明目的であり、本発明がこのように区画された機能ブロックに限定されるわけではない。例えば、各機能部のいずれかを組み合わせて構築してもよいし、逆に、各機能部をさらに分割してもよい。また、画像処理モジュール５０自体もその全ての機能あるいはその一部の機能を他のＥＣＵに組み込んでもよい。
（３）上述した実施形態では、立体物検知方法として、超音波を用いた立体物検知と画像認識による立体物検知のいずれか又はその組み合わせが提示されていたが、もちろん、これ以外の立体物検知方法、例えば、レーザーレーダ法や赤外線法を利用することも本発明の範囲内である。
（４）上述した実施形態では、第２表示画像を第１表示画像に並んでモニタ画面に表示したが、例えば、第１表示画像に代えて第２表示画像を表示するように、第１表示画像と第２表示画像とを切り換えて表示して構成してもよい。
　本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
　１：カメラモジュール
３０：立体物検知モジュール
２１：モニタ
５０：画像処理モジュール
５３：表示画像生成部
５４：画像合成部
５５：画像拡大部
５７：立体物情報取得部
６０：画像生成部
６１：通常画像生成部
６２：俯瞰画像生成管理部
６３：マッピングテーブル
６４：第１俯瞰画像生成部
６５：第２俯瞰画像生成部
６６：ブレンド調整部
７１：表示制御部
７３：駐車支援モジュール

Claims (9)

  1. 　車両の周辺領域を撮影する車載カメラモジュールと、
    　前記車載カメラモジュールによって取得された撮影画像に基づいて二次平面射影変換によって第１俯瞰画像を生成する第１俯瞰画像生成部と、
    　前記撮影画像に基づいて三次面射影変換によって第２俯瞰画像を生成する第２俯瞰画像生成部と、
    　前記第１俯瞰画像からモニタ表示用の第１表示画像を生成するとともに、当該第１表示画像の所定領域に対応する前記第２俯瞰画像の所定領域から前記第１表示画像より大きな表示倍率を有するモニタ表示用の第２表示画像を生成する表示画像生成部と、
    を備えた車両周辺監視装置。
  2. 　前記三次面射影変換は投影面として凹曲面を用いる請求項１に記載の車両周辺監視装置。
  3. 　前記第１表示画像と前記第２表示画像とが同一モニタ画面上に表示される請求項１または２に記載の車両周辺監視装置。
  4. 　車両周辺の立体物を検出する立体物検出部から受け取った立体物検出情報に基づいて前記立体物の存在する領域を含む前記第２表示画像がモニタ表示される請求項１から３のいずれか一項に記載の車両周辺監視装置。
  5. 　車両乗員が指定する車両周辺領域を含む前記第２表示画像がモニタ表示される請求項１から３のいずれか一項に記載の車両周辺監視装置。
  6. 　前記車載カメラモジュールが互いの撮影領域が重なり合うオーバラップ領域を有する複数の車載カメラから構成され、前記第１俯瞰画像及び前記第２俯瞰画像はそれぞれの撮影画像のパノラマ合成により生成され、その際前記オーバラップ領域が所定幅と所定比率でブレンドされる請求項１から５のいずれか一項に記載の車両周辺監視装置。
  7. 　前記所定幅又は前記所定比率あるいはその両方が前記第１俯瞰画像と前記第２俯瞰画像とで異なっている請求項６に記載の車両周辺監視装置。
  8. 　前記第２俯瞰画像生成部は、前記第１俯瞰画像を曲面射影変換することにより前記第２俯瞰画像を生成する請求項１から５のいずれか一項に記載の車両周辺監視装置。
  9. 　駐車領域を設定するとともに当該駐車領域に車両を誘導するための駐車経路を生成する駐車制御を行う駐車支援モジュールから取得された駐車経路と駐車領域と駐車車両に関する情報を含む駐車支援情報から、前記第２表示画像を表示するタイミングが求められ、当該タイミングで前記第２表示画像がモニタ画面上に表示される請求項１から８のいずれか一項に記載の車両周辺監視装置。
PCT/JP2012/071084 2011-09-27 2012-08-21 車両周辺監視装置 WO2013047012A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280043837.3A CN103988499B (zh) 2011-09-27 2012-08-21 车辆周边监视装置
EP12835292.9A EP2763407B1 (en) 2011-09-27 2012-08-21 Vehicle surroundings monitoring device
US14/234,914 US9467679B2 (en) 2011-09-27 2012-08-21 Vehicle periphery monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011211289A JP5682788B2 (ja) 2011-09-27 2011-09-27 車両周辺監視装置
JP2011-211289 2011-09-27

Publications (1)

Publication Number Publication Date
WO2013047012A1 true WO2013047012A1 (ja) 2013-04-04

Family

ID=47995062

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/071084 WO2013047012A1 (ja) 2011-09-27 2012-08-21 車両周辺監視装置

Country Status (5)

Country Link
US (1) US9467679B2 (ja)
EP (1) EP2763407B1 (ja)
JP (1) JP5682788B2 (ja)
CN (1) CN103988499B (ja)
WO (1) WO2013047012A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243310A1 (ja) * 2022-06-17 2023-12-21 株式会社デンソー 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム
JP7442029B2 (ja) 2019-10-17 2024-03-04 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130037274A (ko) * 2011-10-06 2013-04-16 엘지이노텍 주식회사 멀티뷰 카메라를 이용한 주차 보조 장치 및 방법
WO2013058093A1 (ja) * 2011-10-18 2013-04-25 日立建機株式会社 作業機械の周囲監視装置
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
EP3106080A4 (en) * 2014-02-14 2017-10-25 Olympus Corporation Endoscope system
DE102014204303A1 (de) * 2014-03-10 2015-09-10 Robert Bosch Gmbh Verfahren zum Zusammenfügen von Einzelbildern, die von einem Kamerasystem aus unterschiedlichen Positionen aufgenommen wurden, zu einem gemeinsamen Bild
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
JP6599603B2 (ja) * 2014-04-18 2019-10-30 東芝ライフスタイル株式会社 自律走行体
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
KR101587147B1 (ko) * 2014-06-10 2016-01-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6311020B2 (ja) * 2014-06-20 2018-04-11 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法
JP6318999B2 (ja) * 2014-09-04 2018-05-09 株式会社Ｓｏｋｅｎ 駐車スペース認識装置、駐車スペース認識システム
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
EP3009983A1 (en) * 2014-10-13 2016-04-20 Conti Temic microelectronic GmbH Obstacle detection apparatus and method
KR101637716B1 (ko) * 2014-11-03 2016-07-07 현대자동차주식회사 차량의 장애물 위치 인식 장치 및 방법
CN105984387A (zh) * 2015-02-06 2016-10-05 德尔福电子(苏州)有限公司 具有自动对准的鸟瞰视野监测***
JP6584093B2 (ja) 2015-02-26 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
WO2016185556A1 (ja) * 2015-05-19 2016-11-24 三菱電機株式会社 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム
JP2017033402A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 車載表示制御装置、車載表示制御方法
JP2017046277A (ja) * 2015-08-28 2017-03-02 日立建機株式会社 作業機械の周囲監視装置
US10157452B1 (en) * 2015-09-28 2018-12-18 Amazon Technologies, Inc. Image processing system for image rectification
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
MY187205A (en) 2015-10-22 2021-09-10 Nissan Motor Display control method and display control device
DE102015221439B3 (de) * 2015-11-02 2017-05-04 Continental Automotive Gmbh Verfahren und Vorrichtung zur Auswahl und Übertragung von Sensordaten von einem ersten zu einem zweiten Kraftfahrzeug
US10906530B2 (en) * 2015-11-10 2021-02-02 Hyundai Motor Company Automatic parking system and automatic parking method
US10683035B2 (en) 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
JP6745456B2 (ja) * 2015-12-08 2020-08-26 パナソニックＩｐマネジメント株式会社 駐車支援装置、駐車支援方法及び駐車支援プログラム
JP6545108B2 (ja) * 2016-01-14 2019-07-17 アルパイン株式会社 駐車支援装置および駐車支援方法
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN108432242A (zh) * 2016-05-10 2018-08-21 Jvc 建伍株式会社 车辆用显示装置、车辆用显示方法以及程序
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
CN109195829B (zh) * 2016-05-18 2021-07-16 日产自动车株式会社 停车辅助方法和停车辅助装置
JP6609513B2 (ja) * 2016-05-19 2019-11-20 株式会社東海理化電機製作所 車両用視認装置
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
WO2018037789A1 (ja) * 2016-08-22 2018-03-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN106501808A (zh) * 2016-09-14 2017-03-15 芜湖扬展新材料科技服务有限公司 一种基于dsp的机器人通信数据处理***
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
US10368036B2 (en) * 2016-11-17 2019-07-30 Vivotek Inc. Pair of parking area sensing cameras, a parking area sensing method and a parking area sensing system
JP6851808B2 (ja) * 2016-12-22 2021-03-31 ダイハツ工業株式会社 運転支援装置
KR102674463B1 (ko) * 2016-12-23 2024-06-13 현대자동차주식회사 차량, 및 그 제어방법
US10313584B2 (en) 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
KR20180086794A (ko) 2017-01-23 2018-08-01 삼성전자주식회사 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치.
KR101931561B1 (ko) * 2017-03-20 2018-12-21 주식회사 에스더블유엠 차량의 주차 보조 장치
US10332002B2 (en) * 2017-03-27 2019-06-25 GM Global Technology Operations LLC Method and apparatus for providing trailer information
CN106926800B (zh) * 2017-03-28 2019-06-07 重庆大学 多摄像头适配的车载视觉感知***
DE102017003399A1 (de) * 2017-04-07 2018-10-11 Man Truck & Bus Ag Technik zur Ausgabe von Fahrzeugmeldungen
US10347030B2 (en) 2017-05-15 2019-07-09 Envisics Ltd Adjusting depth of augmented reality content on a heads up display
JP6859216B2 (ja) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
JP7130923B2 (ja) * 2017-07-19 2022-09-06 株式会社アイシン 表示制御装置
DE102017117094A1 (de) * 2017-07-28 2019-01-31 Connaught Electronics Ltd. Individualisierbare Darstellung einer Umgebung eines Kraftfahrzeugs durch eine Fahrerassistenzvorrichtung
WO2019049709A1 (ja) * 2017-09-07 2019-03-14 ソニー株式会社 画像処理装置、画像処理方法、および画像表示システム
JP6897442B2 (ja) * 2017-09-12 2021-06-30 株式会社Ｊｖｃケンウッド 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム
JP2019054395A (ja) * 2017-09-14 2019-04-04 オムロン株式会社 表示装置
JP7091624B2 (ja) * 2017-09-15 2022-06-28 株式会社アイシン 画像処理装置
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
CN107888894B (zh) * 2017-10-12 2019-11-05 浙江零跑科技有限公司 一种立体车载环视方法、***及车载中控装置
CN108364263B (zh) * 2018-02-05 2022-01-07 苏州沃科汽车科技有限公司 一种标清输入高清输出的车载图像处理方法
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP6809495B2 (ja) * 2018-03-05 2021-01-06 株式会社デンソー 画像作成装置
JP2020043400A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 周辺監視装置
CN109624854A (zh) * 2018-12-03 2019-04-16 浙江明航智能科技有限公司 一种适用于特种车辆的360°全景辅助可视***
JP7354649B2 (ja) * 2019-07-26 2023-10-03 株式会社アイシン 周辺監視装置
JP7458850B2 (ja) * 2020-03-26 2024-04-01 住友重機械建機クレーン株式会社 作業機械の周囲表示装置
JP2022016908A (ja) 2020-07-13 2022-01-25 フォルシアクラリオン・エレクトロニクス株式会社 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置
CN112672076A (zh) * 2020-12-11 2021-04-16 展讯半导体(成都)有限公司 一种图像的显示方法和电子设备
KR102437983B1 (ko) * 2020-12-29 2022-08-30 아진산업(주) 블록단위-룩업 테이블을 이용한 영상 생성 장치 및 그 방법
WO2023188046A1 (ja) * 2022-03-29 2023-10-05 株式会社ソシオネクスト 画像処理装置、画像処理方法、及び画像処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218451A (ja) * 2000-10-11 2002-08-02 Sharp Corp 移動体の周囲監視装置
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2009111946A (ja) 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2009239674A (ja) 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両周辺表示装置
JP2010130413A (ja) * 2008-11-28 2010-06-10 Alpine Electronics Inc 周辺状況表示装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019556A (ja) 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2004048295A (ja) * 2002-07-10 2004-02-12 Toyota Motor Corp 画像処理装置、駐車支援装置、及び画像処理方法
JP4766841B2 (ja) * 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 車両に搭載されるカメラ装置及び車両周辺監視装置
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
CN1621780A (zh) * 2004-12-14 2005-06-01 上海电力学院 基于图像处理的机动车周边状况动态监视的方法及装置
JP4604703B2 (ja) * 2004-12-21 2011-01-05 アイシン精機株式会社 駐車補助装置
JP4687160B2 (ja) 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
EP1696669B1 (en) 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP2006273190A (ja) 2005-03-30 2006-10-12 Alpine Electronics Inc 車載用ナビゲーション装置
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP2007176244A (ja) * 2005-12-27 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
JP4807104B2 (ja) 2006-03-01 2011-11-02 日産自動車株式会社 車両周囲監視システム及び画像表示方法
JP2008254710A (ja) 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP2008301091A (ja) 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 車両用周辺監視装置
JP4458138B2 (ja) * 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
EP2280547A4 (en) * 2008-05-19 2013-02-13 Panasonic Corp VEHICLE SURROUNDING MONITORING DEVICE AND VEHICLE ENTOURING MONITORING METHOD
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218451A (ja) * 2000-10-11 2002-08-02 Sharp Corp 移動体の周囲監視装置
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2009111946A (ja) 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2009239674A (ja) 2008-03-27 2009-10-15 Mitsubishi Motors Corp 車両周辺表示装置
JP2010130413A (ja) * 2008-11-28 2010-06-10 Alpine Electronics Inc 周辺状況表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2763407A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7442029B2 (ja) 2019-10-17 2024-03-04 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
WO2023243310A1 (ja) * 2022-06-17 2023-12-21 株式会社デンソー 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム

Also Published As

Publication number Publication date
CN103988499B (zh) 2017-09-26
JP2013074423A (ja) 2013-04-22
US20140152774A1 (en) 2014-06-05
CN103988499A (zh) 2014-08-13
EP2763407A1 (en) 2014-08-06
EP2763407A4 (en) 2015-05-20
JP5682788B2 (ja) 2015-03-11
US9467679B2 (en) 2016-10-11
EP2763407B1 (en) 2020-04-01

Similar Documents

Publication Publication Date Title
JP5682788B2 (ja) 車両周辺監視装置
WO2012096058A1 (ja) 画像生成装置
JP5870608B2 (ja) 画像生成装置
JP5444338B2 (ja) 車両周囲監視装置
EP2739050B1 (en) Vehicle surroundings monitoring system
WO2012169355A1 (ja) 画像生成装置
JP5516998B2 (ja) 画像生成装置
WO2019192359A1 (zh) 一种车载全景视频显示***、方法及车载控制器
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
JP4596978B2 (ja) 運転支援システム
WO2012043184A1 (ja) 駐車支援装置
WO2012172923A1 (ja) 車両周辺監視装置
WO2012039256A1 (ja) 運転支援装置
JP5158051B2 (ja) 運転支援装置
JP2007274377A (ja) 周辺監視装置、プログラム
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
JP2012071635A5 (ja)
WO2010070920A1 (ja) 車両周囲画像生成装置
JP5495071B2 (ja) 車両周辺監視装置
JP6471522B2 (ja) カメラパラメータ調整装置
JP5516997B2 (ja) 画像生成装置
JP2011049735A (ja) 車両周辺画像提供装置
JP5500392B2 (ja) 車両周辺監視装置
JP2012001126A (ja) 車両用周辺監視装置
JP4647975B2 (ja) 画像生成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12835292

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 14234914

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012835292

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE