WO2022090758A1 - 駐車支援方法及び駐車支援装置 - Google Patents

駐車支援方法及び駐車支援装置 Download PDF

Info

Publication number
WO2022090758A1
WO2022090758A1 PCT/IB2020/000915 IB2020000915W WO2022090758A1 WO 2022090758 A1 WO2022090758 A1 WO 2022090758A1 IB 2020000915 W IB2020000915 W IB 2020000915W WO 2022090758 A1 WO2022090758 A1 WO 2022090758A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
parking space
reference images
parking
Prior art date
Application number
PCT/IB2020/000915
Other languages
English (en)
French (fr)
Inventor
康啓 鈴木
椋 竹田
Original Assignee
日産自動車株式会社
ルノー エス． ア． エス．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社, ルノー エス． ア． エス． filed Critical 日産自動車株式会社
Priority to BR112023007828A priority Critical patent/BR112023007828A2/pt
Priority to EP20959661.8A priority patent/EP4239613A4/en
Priority to MX2023004918A priority patent/MX2023004918A/es
Priority to CN202080106745.XA priority patent/CN116508083B/zh
Priority to PCT/IB2020/000915 priority patent/WO2022090758A1/ja
Priority to US18/033,850 priority patent/US11884265B1/en
Priority to JP2022558363A priority patent/JP7405277B2/ja
Publication of WO2022090758A1 publication Critical patent/WO2022090758A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the present invention relates to a parking support method and a parking support device.
  • the location information of the parking space is registered in advance, and when parking in the parking space from the next time onward, the location information of the parking space is read from the memory and parking support control is performed.
  • a parking support device that executes the above (Patent Document 1).
  • This parking support device uses four cameras provided on each of the front bumper, rear trunk, and left and right door mirrors of the vehicle, and is a viewpoint image of the vehicle and the surrounding area of the vehicle from one virtual viewpoint, for example, a vehicle.
  • a bird's-eye view image that looks down on the vehicle is generated from the position directly above, and the parking space reflected in this image is registered in the memory or collated with the template image registered in the memory.
  • one bird's-eye view image is generated, and this is stored as an image of the surroundings of the vehicle captured at the current stop position or as a template image. Therefore, if the current image around the vehicle or the template image itself registered in the memory in advance is an image that is incompatible with the recognition process, such as the absence of feature points that are easy to match, the recognition accuracy of the target parking space to be parked from now on will be high. There is a problem of deterioration.
  • the problem to be solved by the present invention is to provide a parking support method and a parking support device having high recognition accuracy of the target parking space.
  • the present invention is a case where a plurality of different reference images including a target parking space generated by using an image pickup device that images the surroundings of the own vehicle are stored in advance, and then the own vehicle is parked in the target parking space. Recognizes the target parking space by collating the current image of the surroundings of the own vehicle with at least one reference image of the different plurality of reference images, thereby solving the above-mentioned problem.
  • the matching process of the target parking space is executed using a plurality of different reference images, it is possible to provide a parking support method and a parking support device having high recognition accuracy of the target parking space.
  • FIG. 1 It is a block diagram which shows one Embodiment of the parking support system to which the parking support method and the parking support device of this invention are applied. It is a perspective view which shows the image pickup apparatus of the parking support system of FIG. This is an example of a display image showing a bird's-eye view image generated by the image processing device of the parking support system of FIG. 1. It is a top view which shows the distance measuring device of the parking support system of FIG. It is a top view which shows the example of the line pattern which defines the parking space which concerns on embodiment of this invention. It is a top view which shows an example of a parking space. It is a figure which shows an example of the 1st reference image registered in the parking support apparatus of FIG.
  • FIG. 1 is a block diagram showing an embodiment of a parking support system 1 to which the parking support method and the parking support device of the present invention are applied.
  • the parking support system 1 described below is not particularly limited, but a parking space of a parking lot that is used relatively frequently, such as a parking lot at home or a parking lot at work, is registered in the parking support system 1 in advance. After that, when the own vehicle is parked in the registered parking space, the parking operation is supported by using the information of the parking space registered in advance and the autonomous driving control.
  • the parking support system 1 of the present embodiment includes a parking support device 10, an image pickup device 20, an image processing device 30, a distance measuring device 40, a vehicle controller 50, a drive system 60, a vehicle speed sensor 70, and a steering angle. It is equipped with a sensor 80. These devices are connected by a CAN (Control Area Network) or other in-vehicle LAN in order to exchange information with each other.
  • CAN Control Area Network
  • the parking support device 10 of the present embodiment includes a control device 11 and an output device 12.
  • the control device 11 includes a ROM (Read Only Memory) 111 in which a parking support program is stored, a CPU (Central Processing Unit) 112 that executes a program stored in the ROM 111, and a RAM (Random) that functions as an accessible storage device. It is a computer equipped with Access Memory) 113.
  • ROM Read Only Memory
  • CPU Central Processing Unit
  • RAM Random
  • ROM 111 for example, a parking space in which the own vehicle can be parked is detected, this parking space is displayed on the display 121, and a parking route for parking the own vehicle in the target parking space set by the driver. Is stored, and a parking support program that executes autonomous driving of the own vehicle along the parking route is stored.
  • the output device 12 includes a display 121 for presenting image information such as a parking space as a parking candidate for the own vehicle to the driver, and a speaker 122 for outputting instructions to the driver by voice.
  • the parking support device 10 of the present embodiment in addition to autonomous parking in which all of the steering, accelerator, and brake are autonomously operated, at least one of the steering, accelerator, and brake is manually operated, and the remaining operations are autonomously controlled. It can also be applied to semi-autonomous parking. Further, the parking support device 10 of the present embodiment is also applied to parking support in which the driver is presented with a parking route and the driver manually operates the steering, accelerator, and brake to park the vehicle in the target parking space. Can be done. When executing autonomous parking and semi-autonomous parking, it is more preferable to use an automatic return type switch such as a deadman switch.
  • the autonomous driving control of the own vehicle is executed only when the deadman switch is pressed, and when the pressing of the deadman switch is released, the autonomous driving control and semi-autonomous driving of the own vehicle are executed. This is because the travel control is canceled.
  • the parking support device 10 may be remotely controlled by a signal transmitted from a portable terminal device (a device such as a smartphone or a PDA) capable of exchanging information with the parking support device 10.
  • a portable terminal device a device such as a smartphone or a PDA
  • the parking support device 10 of the present embodiment can also be applied to remote parking in which the driver operates and parks his / her own vehicle from outside the vehicle.
  • the image pickup device 20, the image processing device 30, and the distance measuring device 40 of the present embodiment have a white line indicating a parking space around the own vehicle, such as the entire circumference of the own vehicle such as the front, side, and rear of the own vehicle, and parking. It is a device for detecting information on the driving environment including curbs, steps or walls that mark spaces, obstacles around the vehicle, and other conditions around the vehicle.
  • the image pickup device 20 of the present embodiment is an in-vehicle device for recognizing information on the traveling environment around the own vehicle from images.
  • the image pickup device 20 images the surroundings of the own vehicle, and includes a white line indicating the parking space existing around the own vehicle, a curb that serves as a mark of the parking space, a step or a wall, and an obstacle around the own vehicle. By acquiring the data, information on the driving environment around the own vehicle is acquired. Further, the image pickup device 20 includes a camera including an image pickup element such as a CCD, an ultrasonic camera, an infrared camera, and other cameras. The information about the traveling environment around the own vehicle acquired by the image pickup device 20 is output to the control device 11.
  • FIG. 2 is a perspective view showing the image pickup device 20 of the parking support system 1 of the present embodiment, and shows an arrangement example of the image pickup device 20 mounted on the own vehicle V1.
  • the image pickup device 20a is arranged on the front grille portion of the own vehicle V1
  • the image pickup device 20b is arranged under the left door mirror
  • the image pickup device 20c is arranged under the right door mirror
  • the image pickup device 20c is arranged on the upper part of the rear bumper.
  • An image pickup device 20d is arranged.
  • the image pickup devices 20a to 20d may be cameras provided with a wide-angle lens having a large viewing angle. As shown in FIG.
  • the image pickup device 20a mainly takes an image from the right front to the left front of the own vehicle V1
  • the image pickup device 20b mainly takes an image from the left front to the left rear of the own vehicle V1.
  • the image is mainly taken from the left rear to the right rear of the own vehicle V1
  • the image pickup apparatus 20d mainly takes an image from the right rear to the right front of the own vehicle V1.
  • the image processing device 30 of the present embodiment is a device for generating a bird's-eye view image showing the surrounding situation of the own vehicle V1 when the own vehicle V1 is viewed from an upper virtual viewpoint.
  • the virtual viewpoint is, for example, the virtual viewpoint VP1 shown in FIG.
  • the image processing device 30 generates a bird's-eye view image using a plurality of captured images acquired by using the image pickup device 20.
  • the image processing performed in the image processing apparatus 30 to generate a bird's-eye view image is not particularly limited, but for example, "Masayasu Suzuki, Satoshi Chino, Teruhisa Takano, Development of a bird's-eye view system, Pre-printed collection of the Society of Automotive Engineers of Japan, Academic Lecture, etc.” 116-07 (2007-10), 17-22. ”.
  • the bird's-eye view image generated by the image processing device 30 is output to the control device 11 and presented to the driver by the display 121 shown in FIGS. 2 and 3.
  • the installation position of the display 121 is not particularly limited, and the display 121 is installed at an appropriate position that can be visually recognized by the driver. can.
  • the image displayed on the display 121 is a bird's-eye view image from the virtual viewpoint VP1
  • an image viewed in the horizontal direction from another virtual viewpoint VP2 can be generated by the same image conversion method, and parking will be described later. Used for space registration. Details will be described later.
  • FIG. 3 is a display screen of the display 121 showing an example of a bird's-eye view image generated by the image processing device 30.
  • FIG. 3 shows a scene in which the own vehicle V1 is driving slowly in a parking lot in order to find a suitable parking space P.
  • the bird's-eye view image IM1 generated by the image processing device 30 is displayed on the left side of the display screen of the display 121 shown in FIG. 3, and the monitoring image IM2 for monitoring the surroundings of the own vehicle V1 is displayed on the right side. ..
  • the own vehicle V1 is displayed in the center of the bird's-eye view image IM1, and parking spaces separated by white lines are displayed on the left and right sides of the own vehicle V1.
  • the other vehicle V2 is displayed in the parking space in which the other vehicle V2 is detected.
  • a broken line frame indicating the parking space P is displayed as a space in which the own vehicle V1 can park.
  • a thick solid line frame is displayed in the target parking space Pt selected by the driver from the parking space P.
  • the monitoring image IM2 is an image acquired from the image pickup device 20a arranged on the front grille portion of the own vehicle V1 in order to present information on the surrounding environment in front of the current traveling direction of the own vehicle V1. Is displayed.
  • an obstacle such as another vehicle V2 is displayed.
  • the distance measuring device 40 of the present embodiment is a device for calculating the relative distance and the relative speed between the own vehicle V1 and the object.
  • the range measuring device 40 is, for example, a radar device such as a laser radar, a millimeter wave radar (LRF), a LiDAR unit (light detection and ranking unit), an ultrasonic radar, or a sonar.
  • the distance measuring device 40 detects the presence / absence of an object, the position of the object, and the distance to the object based on the received signal of the radar device or sonar.
  • the object is, for example, an obstacle around the own vehicle V1, a pedestrian, a bicycle, or another vehicle.
  • the information of the object detected by the distance measuring device 40 is output to the control device 11.
  • the control device 11 stops the own vehicle V1 and the object and the own vehicle V1 are close to each other.
  • the display 121 and the speaker 122 notify the driver to that effect.
  • FIG. 4 is a plan view showing the distance measuring device 40 of the parking support system 1 of the present embodiment, and shows an arrangement example when the distance measuring device 40 is mounted on the own vehicle V1.
  • the own vehicle V1 shown in FIG. 4 has four front distance measuring devices 40a for detecting an object in front of the own vehicle V1 and two right side distance measuring devices for detecting an object on the right side of the own vehicle V1.
  • the device 40b, two left-side ranging devices 40c for detecting an object on the left side of the own vehicle V1, and four rear ranging devices 40d for detecting an object behind the own vehicle V1 are provided. ..
  • These ranging devices 40a to 40d can be installed, for example, in the front bumper and the rear bumper of the own vehicle V1.
  • the vehicle controller 50 of the present embodiment is an in-vehicle computer such as an electronic control unit (ECU: Electronic Control Unit) for electronically controlling the drive system 60 that regulates the operation of the own vehicle V1.
  • ECU Electronic Control Unit
  • the vehicle controller 50 controls the drive device, the braking device, and the steering device included in the drive system 60, and when the parking support routine is executed, the own vehicle V1 moves from the current position to the target parking space Pt and parks. To support driving movements.
  • the vehicle controller 50 receives a control command based on a parking route, a target vehicle speed, and a target steering angle calculated in advance from the parking support device 10. Details of these parking routes, target vehicle speeds, and target steering angles will be described later.
  • the drive system 60 of the present embodiment includes an internal combustion engine and / or an electric motor as a traveling drive source, a power transmission device including a drive shaft and a transmission for transmitting the output from these traveling drive sources to the drive wheels, and the power transmission device. It includes various devices such as a drive device for controlling the wheel, a braking device for braking the wheels, and a steering device for controlling the steering wheel according to the steering angle of the steering wheel (so-called steering wheel).
  • the vehicle controller 50 receives a control command based on the parking route and the target vehicle speed calculated in advance from the parking support device 10.
  • the vehicle controller 50 generates a control signal to the drive device and the braking device of the drive system 60 based on the control command from the parking support device 10, and executes the control of the driving behavior including the acceleration / deceleration of the vehicle.
  • the drive system 60 can autonomously control the vehicle speed of the own vehicle V1 by receiving the control signal from the vehicle controller 50.
  • the drive system 60 includes a steering device.
  • the steering device includes a steering actuator, and the steering actuator includes a motor and the like attached to the column shaft of the steering.
  • the steering device of the drive system 60 is such that the vehicle travels while maintaining a predetermined lateral position (position in the left-right direction of the vehicle) of the own vehicle with respect to the pre-calculated parking route. It is controlled by the controller 50. Further, the vehicle controller 50 has the environmental information around the own vehicle V1 acquired by the image pickup device 20, the bird's-eye view image IM1 generated by the image processing device 30, and the obstacle around the own vehicle V1 detected by the distance measuring device 40.
  • the steering device is controlled by using at least one of the information of an object, a pedestrian, and another vehicle.
  • the parking support device 10 transmits a control command based on the parking route and the target steering angle calculated in advance to the vehicle controller 50. Then, the vehicle controller 50 generates a control signal to the steering device of the drive system 60 based on the control command from the parking support device 10, and executes the steering control of the own vehicle V1.
  • the drive system 60 can autonomously control the steering of the own vehicle V1 by receiving the control signal from the vehicle controller 50.
  • the vehicle speed sensor 70 of the present embodiment is a sensor provided in the drive device of the drive system 60 for detecting the vehicle speed of the own vehicle V1.
  • the steering angle sensor 80 of the present embodiment is a sensor provided in the steering device of the drive system 60 for detecting the steering angle of the own vehicle V1.
  • the vehicle speed of the own vehicle V1 detected by the vehicle speed sensor 70 and the steering angle of the own vehicle V1 detected by the steering angle sensor 80 are output to the control device 11 via the vehicle controller 50.
  • the control device 11 of the present embodiment has an environment information acquisition function for acquiring environment information around the own vehicle V1 by executing a parking support program stored in the ROM 111 by the CPU 112, and parking in which the own vehicle V1 can park.
  • a parking space detection function that detects an area
  • a parking space display function that displays the detected parking space P as a bird's-eye view image IM1 on the display 121
  • a parking space display function for the own vehicle V1 to move from the current position to the target parking space Pt and park.
  • a parking route calculation function for calculating a parking route and a traveling operation planning function for planning a traveling operation for the own vehicle V1 to park along the calculated parking route are realized.
  • the control device 11 of the present embodiment acquires information on the surrounding environment including the existence of obstacles located around the own vehicle V1 by the environment information acquisition function. For example, the control device 11 obtains information on the surrounding environment from the vehicle speed information of the own vehicle V1 detected by the vehicle speed sensor 70 and the steering angle information of the own vehicle V1 detected by the steering angle sensor 80 by the environment information acquisition function. Get as. Further, for example, the control device 11 has a position information of the own vehicle V1 detected by the own vehicle position detection device equipped with a GPS unit, a gyro sensor, and the like by the environmental information acquisition function, or a three-dimensional high-precision map stored in the ROM 111.
  • the position information of the own vehicle V1 detected by (including the position information of various facilities and specific points) is acquired as information on the surrounding environment.
  • the environment information acquisition function of the control device 11 automatically determines whether or not the traveling condition of the own vehicle V1 is a scene in which the own vehicle V1 is parked in the target parking space Pt. You may judge.
  • the parking space detection function is a function for detecting a parking area where the own vehicle V1 can park by using the environmental information around the own vehicle V1 acquired by the environmental information acquisition function.
  • the control device 11 creates a bird's-eye view image IM1 by the image processing device 30 using the captured image acquired by the image pickup device 20.
  • the control device 11 detects a line defining the boundary of the area from the created bird's-eye view image IM1 by the parking space detection function, and identifies a candidate line defining the parking area from the detected line.
  • the control device 11 determines whether or not the specified line candidate defines the parking area by the parking space detection function, and if it is determined that the specified line candidate defines the parking area, the control device 11 determines. It is determined whether or not the own vehicle V1 can park in the detected parking area.
  • the control device 11 In order to detect the line defining the boundary of the area from the bird's-eye view image IM1, the control device 11 performs edge detection on the bird's-eye view image IM1 by the parking space detection function, and calculates the luminance difference (contrast). Then, the control device 11 identifies a pixel sequence having a luminance difference of a predetermined value or more from the bird's-eye view image IM1 by the parking space detection function, and calculates the line thickness and the line length.
  • the color of the detected line does not necessarily have to be white, and may be red, yellow or other colors.
  • the control device 11 uses a known image processing technique such as pattern matching.
  • the pattern used for pattern matching is stored in advance in the ROM 111 of the control device 11.
  • FIG. 5A shows a scene in which the own vehicle V1 is about to park in the target parking space Pt1 where the own vehicle V1 can park, which is located between the other vehicle V2a and the other vehicle V2b.
  • the lines defining the parking space corresponding to the target parking space Pt1 are the lines L1, the line L2, and the line L3, which are three sides of the sides constituting the rectangle of the target parking space Pt1.
  • the ROM 111 of the control device 11 stores the combination of the line L1, the line L2, and the line L3 defining the parking space as a pattern corresponding to the scene of FIG. 5A.
  • FIG. 5B shows a scene in which the own vehicle V1 is trying to parallel park in the target parking space Pt2 between the other vehicle V2c and the other vehicle V2d.
  • the control device 11 detects the line L4 as a line defining the parking space corresponding to the target parking space Pt2 by using the image pickup device 20, and the curb located on the left side of the other vehicle V2c and the other vehicle V2d.
  • a wall or the like (not shown) is further detected.
  • the control device 11 cannot recognize the parking space only by the line L4 and the curb. Therefore, in the scene of FIG.
  • the control device 11 sets the virtual line L5 behind the other vehicle V2c and sets the virtual line L6 in front of the other vehicle V2d. Then, when the parking space can be recognized by adding the virtual lines L5 and L6 to the line L4 detected by the image pickup apparatus 20, it is determined that the line L4 is a line defining the parking space.
  • the ROM 111 of the control device 11 corresponds to the scene of FIG. 5B by combining the line L4, the virtual line L5 arranged behind the other vehicle V2c, and the virtual line L6 arranged in front of the other vehicle V2d. I remember it as a pattern.
  • FIG. 5C shows a scene in which the own vehicle V1 is trying to park in an oblique posture in the target parking space Pt3 where the own vehicle V1 can park, which is located between the other vehicle V2e and the other vehicle V2f.
  • the lines defining the parking area corresponding to the target parking space Pt3 are the lines L7, L8, L9, and L10, which are the sides constituting the parallelogram of the target parking space Pt3.
  • the ROM 111 of the control device 11 stores the combination of the line L7, the line L8, the line L9, and the line L10 defining the parking area as a pattern corresponding to the scene of FIG. 5C. Then, the parking space P detected by the parking space detection function is presented to the driver by the parking space display function.
  • the parking space detection function of the control device 11 of the present embodiment detects whether or not there is a space in which the own vehicle can park in an arbitrary place, but in addition to this, the parking lot at home or the like.
  • a parking space of a parking lot that is used relatively frequently such as a parking lot at work, is registered in the parking support system 1 in advance, it also has a function of detecting the pre-registered parking space.
  • the registration process of a specific parking space and the collation process thereof will be described. If there is a parking lot at home, a parking lot at work, or any other parking space where the driver wants to use autonomous parking control the next time he / she parks, for example, park his / her vehicle in that parking space and park in this state. Press the parking space registration button provided on the support device 10. As a result, the latitude and longitude of the parking space are stored in the memory of the control device 11 by the own vehicle position detection device (environmental information acquisition function) such as the GPS unit and the gyro sensor included in the control device 11. At the same time, the image pickup device 20 is used to image the surroundings of the own vehicle, and this is stored in the memory of the control device 11 as a reference image.
  • the own vehicle position detection device environment information acquisition function
  • the image pickup device 20 is used to image the surroundings of the own vehicle, and this is stored in the memory of the control device 11 as a reference image.
  • the position information of the parking space and the reference image are associated and stored, and the registration process of the specific parking space is completed. Then, when the vehicle approaches the parking space and tries to park after that, it can be set as one of the target parking spaces of the autonomous parking control.
  • the reference image stored in advance in the control device 11 of the present embodiment is an image for specifying the target parking space, but not one but a plurality of different reference images are stored.
  • the term "different reference images" as used herein means to include at least one of a plurality of reference images having different viewpoint positions, a plurality of reference images having different line-of-sight directions, and a plurality of reference images having different conversion methods. be.
  • a plurality of reference images having different viewpoint positions can be generated by using the image data captured by the image pickup device 20 in the same manner as the image processing using the image processing device 30 described with reference to FIG. For example, an image from a viewpoint position having a different height (z coordinate) or a position on a plane (xy coordinate) can be used as a reference image even if the line-of-sight direction is the same from top to bottom. Similarly, a plurality of reference images having different line-of-sight directions can also be generated by the image processing device 30 using the image data captured by the image pickup device 20.
  • images in different line-of-sight directions such as a vertically downward line-of-sight and a horizontal line-of-sight can be used as a reference image.
  • a plurality of reference images having different conversion methods can also be generated by the image processing device 30 using the image data captured by the image pickup device 20, for example, an image with fisheye conversion and an image without fisheye conversion. be.
  • a plurality of reference images in which both the viewpoint position and the line-of-sight direction, both the viewpoint position and the conversion method, both the line-of-sight direction and the conversion method, or all three are different are generated and stored. good.
  • the reference image may be generated using only the image data captured by one camera, or the image data may be captured by a plurality of cameras.
  • a reference image may be generated using a plurality of image data.
  • Such a reference image is generated by pressing a registration button or the like provided on the parking support device 10 of the present embodiment, and is stored in the memory of the control device 11. That is, when the registration button is pressed, the image pickup device 20 captures an image of the surroundings of the own vehicle, and the image processing device 30 processes the image to generate a reference image.
  • the plurality of different reference images to be stored those set in advance in a predetermined form such as the viewpoint position, the line-of-sight direction, or the return method may be automatically stored, or a part or all of the forms may be stored in the driver. It may be presented and selected by the driver. Further, when the reference image is used, the entire image generated by the image processing device 30 may be used as the reference image, or a portion of the image generated by the image processing device 30 that should be a feature portion may be automatically extracted. However, the driver may select it.
  • FIG. 6 is a plan view showing an example of a parking space to be registered in advance. It is assumed that the parking space shown in the figure is the parking space of the driver's home, the driver's home has a house H1, a courtyard H2, a courtyard passage H3, and a target parking space Pt next to the courtyard H2. H4 indicates a pole erected at the end of passage H3, and RD indicates a road in front of the house.
  • the parking support device 10 of the present embodiment uses image data captured by the image pickup device 20b attached to the left door mirror of the image pickup device 20 in a state where the own vehicle V1 is parked in the target parking space Pt, that is, in a state where parking is completed. It is assumed that the image processing apparatus 30 generates an image IM3 viewed directly below from the virtual viewpoint VP1 shown in FIG. 2 and an image IM4 viewed from the virtual viewpoint VP2 on the outside in the horizontal direction.
  • FIG. 7A is a diagram showing an example of the first reference image IM31 registered in the parking support device 10
  • FIG. 7B is a diagram showing an example of the second reference images IM41 and IM42 also registered in the parking support device 10.
  • the image IM3 shown in FIG. 7A is a planar image of the left side view of the own vehicle V1 parked in the target parking space Pt, viewed directly below from the virtual viewpoint VP1. Therefore, the boundary line L11 between the courtyard H2 and the passage H3 and the boundary line L12 between the courtyard H2 and the parking space Pt are characteristic points suitable for collation.
  • the courtyard H2 itself is not suitable for collation because it has uniform colors, no patterns, and no feature points. Therefore, in the present embodiment, the image IM31 of the portion including the boundary lines L11 and L12 is used as the first reference image.
  • the image IM4 shown in FIG. 7B is a front image of the left side view of the own vehicle V1 parked in the target parking space Pt, viewed from the virtual viewpoint VP2 toward the horizontal house H1. Therefore, the vertical line L13 on the entrance wall of the house H1 and the pole H4 at the end of the passage H3 are characteristic points suitable for collation. On the other hand, the courtyard H2 and the passage H3 are not suitable for collation because they have the boundary lines L11 and L12 but do not show much features in the horizontal front image. Therefore, in the present embodiment, at least one of the image IM41 of the portion including the vertical line L13 and the image IM42 of the portion including the pole H4 is used as the second reference image.
  • the first reference image IM31 and the second reference images IM41 and IM42 are subsequently set by the driver as the target parking space Pt.
  • it is read from the memory of the control device 11 and serves as a reference image for the collation process.
  • the reference images stored in the memory of the control device 11 are the images IM31, IM41, and IM42 obtained by cutting out a part of the entire images IM3 and IM4 that are particularly characteristic points.
  • the entire image IM3 and image IM4 may be used as a reference image.
  • a goodness of fit for collation may be set for each of a plurality of different reference images, and the set goodness of fit may be used for calculating the position information of the target parking space Pt.
  • the goodness of fit of the present embodiment is the likelihood, correlation coefficient, and other degrees of the reference image that are estimated to have a high matching probability, and the goodness of fit of all the reference images is 1 or 100%. It is a characteristic value. For example, if a feature point that can be easily distinguished from another image is included, or if a plurality of different feature points are included, the goodness of fit becomes high.
  • the position information of the target space calculated based on the reference image with a goodness of fit of 60% is weighted by 60%, and the position information of the target space calculated based on the reference image with a goodness of fit of 40% is 40%. May be weighted and weighted to calculate the final target parking space position information.
  • a traveling route from a predetermined parking start position P0 on the road RD to the target parking space Pt is associated with the registration.
  • R may be tracked and stored in the memory of the control device 11 in advance.
  • the image pickup device 20 is used to capture an image of the surroundings of the own vehicle. , By comparing this image with the reference image, the position information of the target parking space specified by the reference image is calculated. At this time, the image around the current own vehicle is converted into an image form corresponding to each of a plurality of different reference images. For example, in the case where one reference image is the first reference image IM31 which is a plane image viewed directly below from the virtual viewpoint VP1 shown in FIG.
  • the image processing device 30 when collating with the first reference image IM31, the image processing device 30 Is used to convert the image data captured by the image pickup apparatus 20 into a flat image viewed directly below from the virtual viewpoint VP1.
  • the other reference image is the second reference images IM41 and IM42 which are front images viewed in the horizontal direction from the virtual viewpoint VP2 shown in FIG. 7B
  • the collation with the second reference images IM41 and IM42 is performed.
  • the image processing device 30 is used to convert the image data captured by the image pickup device 20 into a front image viewed from the virtual viewpoint VP2 in the horizontal direction.
  • the image around the current own vehicle when collating the image around the current own vehicle with a plurality of different reference images, the image around the current own vehicle is collated with all the different reference images. It may be processed, or it may be collated with a part of reference images of a plurality of different reference images. Then, when collating the image around the current own vehicle with all the different reference images, the target parking space is weighted by the above-mentioned goodness of fit from all the recognized reference images. The position information of Pt is calculated. Further, when collating the image around the current own vehicle with the reference image of a part of a plurality of different reference images, there is a reference image that can be recognized by collating the different reference images in order. At that time, even if there is a remaining reference image, the collation process is terminated there, and the position information of the target parking space Pt is calculated based on the recognized reference image.
  • the parking space display function of the control device 11 of the present embodiment presents the parking space P to the driver, the parking space P detected by the control device 11 or the parking space registered in advance (FIG. 1). It is a function to display Pt of 6) on the display 121.
  • the control device 11 presents the parking space P to the driver in the broken line frame.
  • the driver selects the target parking space Pt for parking the own vehicle V1 from the parking space P shown in FIG.
  • the target parking space Pt can be selected, for example, by touching the screen of the display 121 made of a touch panel.
  • the control device 11 can calculate the parking route by the parking route calculation function.
  • the parking route calculation function of the control device 11 of the present embodiment is a function of calculating the parking route to the target parking space Pt in order to park the own vehicle V1 in the set target parking space Pt.
  • FIGS. 8 to 10 is an example of a flowchart showing the basic processing of the parking support process of the present embodiment
  • FIG. 9 is a flowchart showing an example of the subroutine of step S6 of FIG. 8
  • FIG. 10 is the subroutine of step S6 of FIG. It is a flowchart which shows the other example.
  • the parking support process described below is executed by the control device 11 at predetermined time intervals.
  • step S1 of FIG. 8 the control device 11 determines whether or not the autonomous parking start button has been pressed. For example, when the driver presses the autonomous parking button when he / she enters the parking lot, the parking support process of the present embodiment starts. Alternatively, instead of this, it may be determined whether or not autonomous parking is automatically started by the environmental information acquisition function. If it is determined that autonomous parking is to be started, the process proceeds to step S2, and if not, this step S1 is repeated.
  • step S2 it is determined whether or not the driver has selected the registered parking space registered in advance in the memory of the control device 11. If the registered parking space is selected, the process proceeds to step S6. If not, the process proceeds to step S3.
  • step S3 the control device 11 creates a bird's-eye view image IM1 by the image processing device 30 using the image acquired by the image pickup device 200 by the parking space detection function. Then, the parking area is detected from the bird's-eye view image IM1, and the parking space P is detected from the parking area by using the image pickup device 200 and the distance measuring device 40.
  • step S4 the control device 11 presents the parking space P to the driver using the display 121 by the parking space display function.
  • the driver selects a desired parking space from the displayed parking spaces P and sets this as the target parking space.
  • step S5 the control device 11 determines whether or not the target parking space Pt for parking the own vehicle V1 is set from the parking space P. If the driver determines that the target parking space Pt for parking the own vehicle V1 has not been selected from the parking spaces P, the process returns to step S4, and the parking space P is used until the driver selects the target parking space Pt. Continue to present to. On the other hand, if it is determined that the driver has selected the target parking space Pt for parking the own vehicle V1 from the parking space P, the process proceeds to step S7.
  • FIG. 9 is a flowchart showing the subroutine in step S6, in which, when the driver selects the registered parking space, the image of the current surroundings of the own vehicle captured by the image pickup device 20 and a plurality of different reference images registered in advance. Is collated, the target parking space Pt is recognized, and the position information of the target parking space Pt is calculated.
  • step S611 of FIG. 9 the image around the current own vehicle captured by the image pickup apparatus 20 is converted according to the form of the first reference image IM31 and collated with the first reference image IM31.
  • the first reference image IM31 is a plane image viewed directly below from the virtual viewpoint VP1
  • the image around the current own vehicle captured by the image pickup apparatus 20 is viewed directly below from the virtual viewpoint VP1. Convert to a flat image.
  • the first reference image IM31 in the image around the current own vehicle is recognized by using a matching method using a conventionally known template image, a feature point matching method, and other matching methods.
  • the image around the current own vehicle captured by the image pickup apparatus 20 is converted according to the form of the second reference images IM41 and IM42, and collated with the second reference images IM41 and IM42.
  • the second reference images IM41 and IM42 are front images viewed horizontally from the virtual viewpoint VP2
  • the image around the current own vehicle captured by the image pickup apparatus 20 is displayed horizontally from the virtual viewpoint VP2. Convert to a frontal image viewed in the direction.
  • the second reference images IM41 and IM42 in the image around the current own vehicle are recognized by using a matching method using a conventionally known template image, a feature point matching method, and other matching methods.
  • step S613 as a result of the collation executed in step S611, it is determined whether or not there is a part matching the first reference image IM31 in the image around the current own vehicle, and if it is determined that there is a matching part, it is determined. The process proceeds to step S614, and if it is determined that there is no matching portion, the process proceeds to step S617.
  • step S614 as a result of the collation executed in step S612, it is determined whether or not there is a portion matching the second reference images IM41 and IM42 in the image around the current own vehicle, and it is determined that there is a matching portion. Proceeds to step S615, and if it is determined that there is no matching portion, the process proceeds to step S616.
  • step S613 determines whether or not there is a portion matching the second reference images IM41 and IM42 in the surrounding image, and if it is determined that there is a matching portion, the process proceeds to step S618, and if it is determined that there is no matching portion, step S619 is performed. Proceed to.
  • step S615 it is determined in step S613 that there is a portion that matches the first reference image IM31, and further, in step S614, it is determined that there is a portion that matches the second reference images IM41 and IM42.
  • the position of the target parking space Pt is calculated based on the detection positions of the image IM31 and the second reference images IM41 and IM42. At this time, when the goodness of fit is set for the first reference image IM31 and the second reference images IM41 and IM42, the position of the target parking space Pt is calculated by the weighted average using the goodness of fit.
  • step S616 it was determined in step S613 that there was a portion matching the first reference image IM31, and in step S614 it was determined that there was no portion matching the second reference images IM41 and IM42.
  • the position of the target parking space Pt is calculated based on the detection position of IM31. In this case, the second reference images IM41 and IM42 are not used for calculating the position of the target parking space Pt.
  • step S618 it was determined in step S613 that there was no portion matching the first reference image IM31, and in step S614 it was determined that there was a portion matching the second reference images IM41 and IM42.
  • the position of the target parking space Pt is calculated based on the detection positions of IM41 and IM42. In this case, the first reference image IM31 is not used for calculating the position of the target parking space Pt.
  • step S619 it was determined in step S613 that there was no portion matching the first reference image IM31, and further in step S614 it was determined that there was no portion matching the second reference images IM41 and IM42.
  • the parking support process is terminated without calculating the position of Pt.
  • step S7 the control device 11 calculates the parking route R in which the own vehicle V1 moves to the set target parking space Pt, for example, from the current position or from the position after changing the traveling direction by the parking route calculation function. ..
  • step S8 the control device 11 plans a traveling operation for the own vehicle V1 to park along the calculated parking route R by the traveling operation planning function, and the calculated parking route R and the planned traveling.
  • the parking support of the own vehicle V1 is executed by using the vehicle controller 50, the drive system 60, the vehicle speed sensor 70, and the steering angle sensor 80.
  • the control device 11 detects an obstacle around the own vehicle V1 by using the image pickup device 200 and the distance measuring device 40 by the environmental information acquisition function during the execution of the parking support in step S8, and the obstacle and the control device 11 are used. Carry out parking assistance while avoiding interference.
  • step S9 it is determined whether or not the own vehicle V1 has finished parking in the target parking space Pt, and the parking support in step S8 is continued until the own vehicle V1 completes parking.
  • FIG. 10 is a flowchart showing another example of the subroutine of step S6 of FIG.
  • step S621 of FIG. 9 the image around the current own vehicle captured by the image pickup apparatus 20 is converted according to the form of the first reference image IM31 and collated with the first reference image IM31.
  • the first reference image IM31 is a plane image viewed directly below from the virtual viewpoint VP1
  • the image around the current own vehicle captured by the image pickup apparatus 20 is viewed directly below from the virtual viewpoint VP1. Convert to a flat image.
  • the first reference image IM31 in the image around the current own vehicle is recognized by using a matching method using a conventionally known template image, a feature point matching method, and other matching methods.
  • step S622 as a result of the collation executed in step S621, it is determined whether or not there is a part matching the first reference image IM31 in the image around the current own vehicle, and if it is determined that there is a matching part, it is determined. The process proceeds to step S623, and if it is determined that there is no matching portion, the process proceeds to step S624.
  • step S623 since it was determined in step S622 that there is a portion that matches the first reference image IM31, the position of the target parking space Pt is calculated based on the detection position of the first reference image IM31. In this case, the second reference images IM41 and IM42 are not used for calculating the position of the target parking space Pt.
  • step S624 the image around the current own vehicle captured by the image pickup apparatus 20 is converted according to the form of the second reference images IM41 and IM42, and collated with the second reference images IM41 and IM42.
  • the second reference images IM41 and IM42 are front images viewed horizontally from the virtual viewpoint VP2
  • the image around the current own vehicle captured by the image pickup apparatus 20 is displayed horizontally from the virtual viewpoint VP2. Convert to a frontal image viewed in the direction.
  • the second reference images IM41 and IM42 in the image around the current own vehicle are recognized by using a matching method using a conventionally known template image, a feature point matching method, and other matching methods.
  • step S625 as a result of the collation executed in step S624, it was determined whether or not there was a portion matching the second reference images IM41 and IM42 in the image around the current own vehicle, and it was determined that there was a matching portion. In that case, the process proceeds to step S626, and if it is determined that there is no matching portion, the process proceeds to step S627.
  • step S626 it was determined in step S622 that there was no portion matching the first reference image IM31, and in step S624 it was determined that there was a portion matching the second reference images IM41 and IM42.
  • the position of the target parking space Pt is calculated based on the detection positions of IM41 and IM42. In this case, the first reference image IM31 is not used for calculating the position of the target parking space Pt.
  • step S627 it was determined in step S622 that there was no portion matching the first reference image IM31, and further in step S625 it was determined that there was no portion matching the second reference images IM41 and IM42.
  • the parking support process is terminated without calculating the position of Pt.
  • the images first reference image IM31, second reference image IM41, IM42
  • the own vehicle V1 is parked in the target parking space Pt
  • the image around the current own vehicle V1 is used. Since the target parking space Pt is recognized by collating with at least one reference image of a plurality of different reference images, the recognition accuracy of the target parking space Pt can be improved.
  • the vehicle V1 travels along the travel path R to reach the target parking space Pt based on the recognized position information of the target parking space Pt. Since the operation is autonomously controlled, the own vehicle V1 can be autonomously controlled more reliably.
  • first reference image IM31, second reference image IM41, IM42 a plurality of reference images (first reference image IM31, second reference image IM41, IM42) different from the image around the current own vehicle V1. Since the target parking space Pt is recognized by collating with all of the above, the recognition accuracy of the target parking space Pt is further improved.
  • a plurality of reference images (first reference image IM31, second reference image IM41, IM42) different from the image around the current own vehicle V1. Since the target parking space Pt is recognized by collating with a part of the target parking space Pt, the recognition processing time of the target parking space Pt is shortened and the recognition processing load is also reduced.
  • the plurality of different reference images are a plurality of reference images having different viewpoint positions. Since at least one of a plurality of reference images having different line-of-sight directions and a plurality of reference images having different conversion methods is included, the recognition accuracy of the target parking space Pt is further improved.
  • a plurality of reference images (first reference image IM31, second reference image IM41, IM42) different from the image around the current own vehicle V1.
  • first reference image IM31, second reference image IM41, IM42 a plurality of reference images
  • the image around the current own vehicle is converted into an image form corresponding to each of a plurality of different reference images, so that the collation process is simplified and the collation accuracy is high.
  • the degree of conformity in the case of collation is set for each of a plurality of different reference images (first reference image IM31, second reference image IM41, IM42).
  • first reference image IM31, second reference image IM41, IM42 the target parking space Pt is recognized by weighting using the set degree of conformity. Therefore, the suitability of collation can be improved according to the environment of the target parking space Pt registered in advance, and the recognition accuracy of the target parking space Pt is further improved.
  • a predetermined parking start position is obtained.
  • the travel route R from to the target parking space Pt to the target parking space Pt is memorized and then the own vehicle V1 is parked in the target parking space Pt, if the target parking space Pt is recognized, the memorized travel route R is followed. Since the traveling operation of the own vehicle V1 is autonomously controlled, the calculation load of the traveling route can be reduced, and at the same time, the time until the start of parking support can be shortened.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

自車両（Ｖ１）の周囲を撮像する撮像装置（２０）を用いて生成した、目標駐車ス ペース（Ｐｔ）を特定する異なる複数の基準画像（ＩＭ３１，ＩＭ４１，ＩＭ４２） を予め記憶しておき、その後に自車両（Ｖ１）を前記目標駐車スペース（Ｐｔ）に駐 車させる場合には、現在の自車両の周囲の画像と、前記異なる複数の基準画像の少な くとも一つの基準画像とを照合して前記目標駐車スペースを認識し、認識された目標 駐車スペースの位置情報に基づいて、前記目標駐車スペースに至る自車両の走行動作 を自律制御する。

Description

駐車支援方法及び駐車支援装置
　本発明は、駐車支援方法及び駐車支援装置に関する。
　比較的利用頻度が高い駐車場に対し、その駐車スペースの位置情報などを予め登録しておき、次回以降その駐車スペースに駐車する際は、メモリから駐車スペースの位置情報などを読み出し、駐車支援制御を実行する駐車支援装置が知られている（特許文献１）。この駐車支援装置では、車両のフロントバンパ、リヤトランク、左右のドアミラーのそれぞれに設けられた４つのカメラを用い、１つの仮想視点から車両と車両の周辺領域とを見た視点画像、たとえば、車両の直上位置から車両を見下ろすような俯瞰画像を生成し、この画像に映った駐車スペースをメモリに登録したり、メモリに登録されたテンプレート画像と照合したりする。
特開２０１９−２０２６９７号公報
　しかしながら、上記従来技術では、１つの俯瞰画像を生成し、これを現在の停止位置で撮像された車両周囲の画像としたり、テンプレート画像として記憶したりする。そのため、現在の車両周囲の画像又は予めメモリに登録したテンプレート画像自体が、照合し易い特徴点が存在しないなど、認識処理に不適合な画像であると、これから駐車すべき目標駐車スペースの認識精度が低下するという問題がある。
　本発明が解決しようとする課題は、目標駐車スペースの認識精度が高い駐車支援方法及び駐車支援装置を提供することである。
　本発明は、自車両の周囲を撮像する撮像装置を用いて生成した、目標駐車スペースを含む異なる複数の基準画像を予め記憶しておき、その後に自車両を前記目標駐車スペースに駐車させる場合には、現在の自車両の周囲の画像と、前記異なる複数の基準画像の少なくとも一つの基準画像とを照合して前記目標駐車スペースを認識することによって、上記課題を解決する。
　本発明によれば、異なる複数の基準画像を用いて目標駐車スペースの照合処理を実行するので、目標駐車スペースの認識精度が高い駐車支援方法及び駐車支援装置を提供することができる。
本発明の駐車支援方法及び駐車支援装置を適用した駐車支援システムの一実施の形態を示すブロック図である。 図１の駐車支援システムの撮像装置を示す斜視図である。 図１の駐車支援システムの画像処理装置によって生成された俯瞰画像を示すディスプレイの表示画像の一例である。 図１の駐車支援システムの測距装置を示す平面図である。 本発明の実施形態に係る駐車スペースを規定する線のパターンの例を示す平面図である。 駐車スペースの一例を示す平面図である。 図１の駐車支援装置に登録する第１基準画像の一例を示す図である。 図１の駐車支援装置に登録する第２基準画像の一例を示す図である。 図１の駐車支援装置にて実行される駐車制御手順の一例を示すフローチャートである。 図６のステップＳ６のサブルーチンの一例を示すフローチャートである。 図６のステップＳ６のサブルーチンの他の例を示すフローチャートである。
　以下、図面を参照しながら、本発明を実施するための形態例を説明する。図１は、本発明の駐車支援方法及び駐車支援装置を適用した駐車支援システム１の一実施の形態を示すブロック図である。以下に説明する駐車支援システム１は、特に限定はされないが、たとえば自宅の駐車場や勤務先の駐車場のように、比較的頻繁に利用する駐車場の駐車スペースを予め駐車支援システム１に登録しておき、その後、この登録された駐車スペースに自車両を駐車する場合には、予め登録した駐車スペースの情報と自律走行制御を用いて駐車操作を支援するものである。
　本実施形態の駐車支援システム１は、駐車支援装置１０と、撮像装置２０と、画像処理装置３０と、測距装置４０と、車両コントローラ５０と、駆動システム６０と、車速センサ７０と、操舵角センサ８０とを備える。これらの装置は、相互に情報の授受を行うためにＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）その他の車載ＬＡＮによって接続されている。
　本実施形態の駐車支援装置１０は、制御装置１１と、出力装置１２とを備える。制御装置１１は、駐車支援プログラムが格納されたＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１１１と、ＲＯＭ１１１に格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１２と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１１３とを備えるコンピュータである。本実施形態に係るＲＯＭ１１１には、たとえば自車両が駐車可能な駐車スペースを検出し、この駐車スペースをディスプレイ１２１に表示し、ドライバーにより設定された目標駐車スペースに自車両を駐車するための駐車経路を演算し、自車両をその駐車経路に沿って自律走行などを実行する駐車支援プログラムが格納されている。また、自車両が駐車可能な駐車スペースを検出することに代えて、予め登録しておいた駐車スペースがある場合に、ドライバーがその駐車スペースに駐車する旨の設定がされたときは、その登録された駐車スペースに自車両を駐車するための駐車経路を演算し（又は予め登録されている場合はメモリから読み出し）、自車両をその駐車経路に沿って自律走行などを実行する駐車支援プログラムが格納されている。出力装置１２は、自車両の駐車候補となる駐車スペースなどの画像情報をドライバーに提示するためのディスプレイ１２１と、ドライバーへの指示内容などを音声で出力するためのスピーカ１２２とを備える。
　本実施形態の駐車支援装置１０は、ステアリング、アクセル、ブレーキの全てを自律操作する自律駐車のほか、ステアリング、アクセル、ブレーキのうち、少なくとも何れか１つを手動操作し、残りの操作を自律制御する半自律駐車にも適用することができる。また、本実施形態の駐車支援装置１０は、ドライバーに駐車経路を提示し、ドライバーがステアリング、アクセル、及びブレーキを手動操作することで自車両を目標駐車スペースに駐車させる駐車支援にも適用することができる。なお、自律駐車及び半自律駐車を実行する場合、デッドマンスイッチなどの自動復帰型スイッチを用いることがより好ましい。デッドマンスイッチを用いた駐車支援装置１０では、デッドマンスイッチが押されている場合に限り、自車両の自律走行制御が実行され、デッドマンスイッチの押し下げが解除されると自車両の自律走行制御及び半自律走行制御が中止されるからである。
　また、駐車支援装置１０は、当該駐車支援装置１０と情報の授受が可能な携帯端末装置（スマートフォン、ＰＤＡなどの機器）から送信された信号により遠隔操作してもよい。たとえば、本実施形態の駐車支援装置１０は、ドライバーが車外から自車両を操作して駐車させるリモートパーキングにも適用することができる。
　本実施形態の撮像装置２０、画像処理装置３０及び測距装置４０は、自車両の前方、側方及び後方といった自車両の全周囲など、自車両の周囲にある駐車スペースを表示する白線、駐車スペースの目印となる縁石、段差又は壁、自車両の周囲にある障害物などを含む走行環境に関する情報その他の自車両の周囲の状況を検出するための装置である。
　本実施形態の撮像装置２０は、自車両周囲の走行環境に関する情報を画像により認識するための車載装置である。撮像装置２０は、自車両の周囲を撮像し、自車両の周囲に存在する駐車スペースを表示する白線、駐車スペースの目印となる縁石、段差又は壁、自車両の周囲にある障害物を含む画像データを取得することによって、自車両周囲の走行環境に関する情報を取得する。また、撮像装置２０は、ＣＣＤ等の撮像素子を備えるカメラ、超音波カメラ、赤外線カメラその他のカメラを含む。撮像装置２０により取得された自車両周囲の走行環境に関する情報は、制御装置１１に出力される。
　図２は、本実施形態の駐車支援システム１の撮像装置２０を示す斜視図であって、自車両Ｖ１に搭載された撮像装置２０の配置例を示す。図２に示す配置例では、自車両Ｖ１のフロントグリル部に撮像装置２０ａを配置し、左ドアミラーの下部に撮像装置２０ｂを配置し、右ドアミラーの下部に撮像装置２０ｃを配置し、リアバンパ上部に撮像装置２０ｄを配置している。撮像装置２０ａ~２０ｄは、視野角の大きい広角レンズを備えたカメラであってもよい。図２に示すように、撮像装置２０ａは、主として自車両Ｖ１の右前方から左前方までを撮像し、撮像装置２０ｂは、主として自車両Ｖ１の左前方から左後方までを撮像し、撮像装置２０ｃは、主として自車両Ｖ１の左後方から右後方までを撮像し、撮像装置２０ｄは、主として自車両Ｖ１の右後方から右前方までを撮像する。このように撮像装置２０を配置することで、自車両Ｖ１の周囲の環境情報を取得する場合に、情報が取得できない死角を減らすことができる。なお、撮像装置２０による障害物の検出には、撮像装置２０ａ~２０ｄを用いたモーションステレオの技術を用いてもよい。
　本実施形態の画像処理装置３０は、自車両Ｖ１を上方の仮想視点から見た場合に、自車両Ｖ１の周囲の状況を示す俯瞰画像を生成するための装置である。仮想視点は、たとえば図２に示す仮想視点ＶＰ１である。画像処理装置３０は、撮像装置２０を用いて取得した複数の撮像画像を用いて、俯瞰画像を生成する。画像処理装置３０において俯瞰画像を生成するために行われる画像処理は特に限定されないが、たとえば「鈴木政康・知野見聡・高野照久，俯瞰ビューシステムの開発，自動車技術会学術講演会前刷集，１１６−０７（２００７−１０），１７−２２．」に記載された処理方法である。画像処理装置３０によって生成された俯瞰画像は、制御装置１１に出力され、図２及び３に示すディスプレイ１２１によってドライバーに提示される。なお、図２に示すディスプレイ１２１は、ダッシュボード上部の、運転席と助手席の間に配置されているが、ディスプレイ１２１の設置位置は特に限定されず、ドライバーが視認可能な適宜の位置に設置できる。また、ディスプレイ１２１に表示される画像は仮想視点ＶＰ１からの俯瞰画像であるが、他の仮想視点ＶＰ２から水平方向を見た画像なども同様の画像変換方法で生成することができ、後述する駐車スペースの登録に利用される。詳細は後述する。
　図３は、画像処理装置３０によって生成された俯瞰画像の一例を示すディスプレイ１２１の表示画面である。図３は、自車両Ｖ１が、適当な駐車スペースＰを見つけるために駐車場を徐行しているシーンを示す。図３に示すディスプレイ１２１の表示画面の左側には、画像処理装置３０によって生成された俯瞰画像ＩＭ１が表示され、右側には、自車両Ｖ１の周囲を監視するための監視画像ＩＭ２が表示される。俯瞰画像ＩＭ１の中心には、自車両Ｖ１が表示され、自車両Ｖ１の左右には、白線で区切られた駐車スペースが表示される。これらの駐車スペースのうち、他車両Ｖ２が検出された駐車スペースには他車両Ｖ２が表示される。一方、他車両Ｖ２などの障害物が検出されていない駐車スペースには、自車両Ｖ１が駐車可能なスペースとして、駐車スペースＰを示す破線の枠が表示される。そして、駐車スペースＰの中からドライバーにより選択された目標駐車スペースＰｔには、太い実線の枠が表示される。これに対して、監視画像ＩＭ２には、自車両Ｖ１の現在の走行方向である前方の周辺環境情報を提示するために、自車両Ｖ１のフロントグリル部に配置された撮像装置２０ａから取得した画像を表示する。監視画像ＩＭ２には、白線で区切られた駐車スペースのほかに、たとえば他車両Ｖ２のような障害物が表示される。
　本実施形態の測距装置４０は、自車両Ｖ１と対象物との相対距離および相対速度を演算するための装置である。測距装置４０は、たとえばレーザーレーダー、ミリ波レーダー（ＬＲＦ）、ＬｉＤＡＲユニット（ｌｉｇｈｔ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｒａｎｇｉｎｇ　ｕｎｉｔ）、超音波レーダーなどのレーダー装置又はソナーである。測距装置４０は、レーダー装置又はソナーの受信信号に基づいて対象物の存否、対象物の位置、対象物までの距離を検出する。対象物は、たとえば自車両Ｖ１の周囲の障害物、歩行者、自転車、他車両である。測距装置４０により検出された対象物の情報は、制御装置１１に出力される。駐車支援中に、測距装置４０により検出された対象物に自車両Ｖ１が接触しそうな場合には、制御装置１１は、自車両Ｖ１を停止させ、対象物と自車両Ｖ１が接近している旨をディスプレイ１２１やスピーカ１２２によりドライバーに報知する。
　図４は、本実施形態の駐車支援システム１の測距装置４０を示す平面図であって、測距装置４０を自車両Ｖ１に搭載する場合の配置例を示したものである。図４に示す自車両Ｖ１には、自車両Ｖ１の前方の対象物を検出するための４つの前方測距装置４０ａ、自車両Ｖ１の右側の対象物を検出するための２つの右側方測距装置４０ｂ、自車両Ｖ１の左側の対象物を検出するための２つの左側方測距装置４０ｃ、自車両Ｖ１の後方の対象物を検出するための４つの後方測距装置４０ｄが設けられている。これらの測距装置４０ａ~４０ｄは、たとえば自車両Ｖ１のフロントバンパ及びリアバンパに設置することができる。このように測距装置４０を配置することで、自車両Ｖ１の周囲の対象物との相対距離および相対速度を正確に演算することができる。
　図１に戻り、本実施形態の車両コントローラ５０は、自車両Ｖ１の運転を律する駆動システム６０を電子的に制御するための電子コントロールユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）などの車載コンピュータである。車両コントローラ５０は、駆動システム６０に含まれる駆動装置、制動装置および操舵装置を制御し、駐車支援ルーチンを実行する場合には、自車両Ｖ１が現在位置から目標駐車スペースＰｔまで移動して駐車するための走行動作を支援する。車両コントローラ５０は、駐車支援装置１０から、予め算出された駐車経路、目標車速及び目標舵角に基づいた制御命令を受け取る。これら駐車経路、目標車速及び目標舵角の細部については後述する。
　本実施形態の駆動システム６０は、走行駆動源である内燃機関及び／又は電動モータ、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや変速機を含む動力伝達装置、この動力伝達装置を制御する駆動装置、車輪を制動する制動装置、及びステアリングホイール（いわゆるハンドル）の操舵角に応じて操舵輪を制御する操舵装置などの各種装置を含む。駐車支援ルーチンを実行する場合には、車両コントローラ５０は、駐車支援装置１０から、予め算出された駐車経路と目標車速に基づく制御命令を受信する。そして、車両コントローラ５０は、駐車支援装置１０からの制御命令に基づいて、駆動システム６０の駆動装置及び制動装置への制御信号を生成し、車両の加減速を含む運転行動の制御を実行する。駆動システム６０は、車両コントローラ５０からの制御信号を受信することで、自車両Ｖ１の車速を自律的に制御することができる。
　また、駆動システム６０は、操舵装置を備える。操舵装置は、ステアリングアクチュエータを備え、ステアリングアクチュエータは、ステアリングのコラムシャフトに取り付けられるモータ等を含む。駐車支援ルーチンを実行する場合には、駆動システム６０の操舵装置は、予め算出された駐車経路に対する自車両の所定の横位置（車両の左右方向の位置）を維持しながら走行するように、車両コントローラ５０により制御される。また、車両コントローラ５０は、撮像装置２０により取得した自車両Ｖ１の周囲の環境情報と、画像処理装置３０が生成した俯瞰画像ＩＭ１と、測距装置４０により検出された自車両Ｖ１の周囲の障害物、歩行者、他車両の情報のうち少なくとも一つ以上を用いて、操舵装置の制御を行う。この場合、駐車支援装置１０は、車両コントローラ５０に、予め算出された駐車経路と目標舵角に基づく制御命令を送信する。そして、車両コントローラ５０は、駐車支援装置１０からの制御命令に基づいて、駆動システム６０の操舵装置への制御信号を生成し、自車両Ｖ１の操舵制御を実行する。駆動システム６０は、車両コントローラ５０からの制御信号を受信することで、自車両Ｖ１の操舵を自律的に制御することができる。
　本実施形態の車速センサ７０は、駆動システム６０の駆動装置に備えられた、自車両Ｖ１の車速を検出するためのセンサである。また、本実施形態の操舵角センサ８０は、駆動システム６０の操舵装置に備えられた、自車両Ｖ１の舵角を検出するためのセンサである。車速センサ７０により検出された自車両Ｖ１の車速及び操舵角センサ８０により検出された自車両Ｖ１の舵角は、車両コントローラ５０を介して制御装置１１に出力される。
　本実施形態の制御装置１１は、ＲＯＭ１１１に格納された駐車支援プログラムをＣＰＵ１１２により実行することにより、自車両Ｖ１の周辺の環境情報を取得する環境情報取得機能と、自車両Ｖ１が駐車可能な駐車領域を検出する駐車スペース検出機能と、検出した駐車スペースＰを俯瞰画像ＩＭ１としてディスプレイ１２１に表示する駐車スペース表示機能と、自車両Ｖ１が現在位置から目標駐車スペースＰｔまで移動して駐車するための駐車経路を算出する駐車経路算出機能と、算出された駐車経路に沿って自車両Ｖ１が駐車するための走行動作を計画する走行動作計画機能を実現する。
　本実施形態の制御装置１１は、環境情報取得機能により、自車両Ｖ１の周辺に位置する障害物の存在を含む周辺環境に関する情報を取得する。たとえば、制御装置１１は、環境情報取得機能により、車速センサ７０によって検出された自車両Ｖ１の車速情報と、操舵角センサ８０によって検出された自車両Ｖ１の舵角情報とを、周辺環境に関する情報として取得する。またたとえば、制御装置１１は、環境情報取得機能により、ＧＰＳユニット及びジャイロセンサなどを備えた自車位置検出装置によって検出された自車両Ｖ１の位置情報又はＲＯＭ１１１に格納された三次元高精度地図（各種施設や特定の地点の位置情報を含む）によって検出された自車両Ｖ１の位置情報を、周辺環境に関する情報として取得する。なお、これらの周辺環境に関する情報を用いて、制御装置１１の環境情報取得機能により、自車両Ｖ１の走行状況が自車両Ｖ１を目標駐車スペースＰｔに駐車するシーンであるか否かを自動的に判定してもよい。
　駐車スペース検出機能は、環境情報取得機能によって取得した自車両Ｖ１の周辺の環境情報を用いて、自車両Ｖ１が駐車可能な駐車領域を検出するための機能である。駐車スペースＰの検出において、制御装置１１は、撮像装置２０によって取得した撮像画像を用いて、画像処理装置３０により俯瞰画像ＩＭ１を作成する。制御装置１１は、駐車スペース検出機能により、作成した俯瞰画像ＩＭ１から領域の境界を規定する線を検出し、検出された線から駐車領域を規定する線の候補を特定する。そして、制御装置１１は、駐車スペース検出機能により、特定された線の候補が駐車領域を規定するか否かを判定し、特定された線の候補が駐車領域を規定すると判定した場合には、検出した駐車領域に自車両Ｖ１が駐車可能であるか否かを判定する。
　俯瞰画像ＩＭ１から領域の境界を規定する線を検出するために、制御装置１１は、駐車スペース検出機能により、俯瞰画像ＩＭ１に対してエッジ検出を行い、輝度差（コントラスト）を算出する。そして、制御装置１１は、駐車スペース検出機能により、俯瞰画像ＩＭ１の中から輝度差が所定値以上の画素列を特定し、線の太さと線の長さを算出する。検出される線の色は、必ずしも白色である必要はなく、赤色、黄色その他の色であってもよい。
　検出された線から駐車領域を規定する線の候補を特定するために、制御装置１１は、パターンマッチングなどの公知の画像処理技術を用いる。パターンマッチングに用いるパターンは、制御装置１１のＲＯＭ１１１に予め記憶されている。たとえば、図５Ａは、自車両Ｖ１が、他車両Ｖ２ａと他車両Ｖ２ｂの間にある、自車両Ｖ１が駐車可能な目標駐車スペースＰｔ１に駐車しようとしているシーンを示す。図５Ａのシーンにおいて、目標駐車スペースＰｔ１に対応する駐車スペースを規定する線は、目標駐車スペースＰｔ１の長方形を構成する辺のうち３辺である線Ｌ１、線Ｌ２、及び線Ｌ３である。制御装置１１のＲＯＭ１１１は、駐車スペースを規定する線Ｌ１、線Ｌ２、及び線Ｌ３の組み合わせを、図５Ａのシーンに対応するパターンとして記憶している。
　また、図５Ｂは、自車両Ｖ１が、他車両Ｖ２ｃと他車両Ｖ２ｄの間にある目標駐車スペースＰｔ２に縦列駐車しようとしているシーンを示す。図５Ｂのシーンにおいて、制御装置１１は、線Ｌ４を目標駐車スペースＰｔ２に対応する駐車スペースを規定する線として撮像装置２０を用いて検出し、他車両Ｖ２ｃと他車両Ｖ２ｄの左側に位置する縁石又は壁など（図示せず）をさらに検出する。ただし、線Ｌ４と縁石のみでは、制御装置１１は、駐車スペースを認識できない。そこで、図５Ｂのシーンにおいて、制御装置１１は、他車両Ｖ２ｃの後方に仮想の線Ｌ５を設定し、他車両Ｖ２ｄの前方に仮想の線Ｌ６を設定する。そして、撮像装置２０により検出した線Ｌ４に、仮想の線Ｌ５と線Ｌ６を加えることにより駐車スペースを認識できる場合には、線Ｌ４が駐車スペースを規定する線であると判定する。制御装置１１のＲＯＭ１１１は、線Ｌ４と、他車両Ｖ２ｃの後方に配置された仮想の線Ｌ５と、他車両Ｖ２ｄの前方に配置された仮想の線Ｌ６の組み合わせを、図５Ｂのシーンに対応するパターンとして記憶している。
　さらに、図５Ｃは、自車両Ｖ１が、他車両Ｖ２ｅと他車両Ｖ２ｆの間にある、自車両Ｖ１が駐車可能な目標駐車スペースＰｔ３に、斜め姿勢で駐車しようとしているシーンを示す。図５Ｃのシーンにおいて、目標駐車スペースＰｔ３に対応する駐車領域を規定する線は、目標駐車スペースＰｔ３の平行四辺形を構成する辺である線Ｌ７、線Ｌ８、線Ｌ９、及び線Ｌ１０となる。制御装置１１のＲＯＭ１１１は、駐車領域を規定する線Ｌ７、線Ｌ８、線Ｌ９、及び線Ｌ１０の組み合わせを、図５Ｃのシーンに対応するパターンとして記憶している。そして、駐車スペース検出機能により検出した駐車スペースＰは、駐車スペース表示機能によりドライバーに提示される。
　本実施形態の制御装置１１の駐車スペース検出機能は、上述したように、任意の場所において自車両が駐車可能なスペースが存在するか否かを検出するが、このほかに、自宅の駐車場や勤務先の駐車場のように、比較的頻繁に利用する駐車場の駐車スペースを予め駐車支援システム１に登録しておいた場合、この予め登録された駐車スペースを検出する機能も備えている。
　ここで、特定の駐車スペースの登録処理と、その照合処理について説明する。自宅の駐車場や勤務先の駐車場その他、ドライバーが次に駐車する際に自律駐車制御を利用したいと考える駐車スペースがある場合、たとえば自車両をその駐車スペースに駐車し、この状態で、駐車支援装置１０に設けられた駐車スペース登録ボタンを押す。これにより、制御装置１１が備えるＧＰＳユニット及びジャイロセンサなどの自車位置検出装置（環境情報取得機能）により、その駐車スペースの緯度経度が当該制御装置１１のメモリに記憶される。これと同時に、撮像装置２０を用いて自車両の周囲を撮像し、これを基準画像として制御装置１１のメモリに記憶する。この操作により、その駐車スペースの位置情報と基準画像とが関連付けられて記憶され、特定の駐車スペースの登録処理が終了する。そして、その後に当該駐車スペースに近づいて駐車しようとした場合、自律駐車制御の目標駐車スペースの一つとして設定することができる。
　本実施形態の制御装置１１に予め記憶する基準画像は、この目標駐車スペースを特定するための画像であるが、１つではなく、異なる複数の基準画像を記憶する。ここでいう異なる複数の基準画像とは、視点位置が異なる複数の基準画像、視線方向が異なる複数の基準画像及び変換方法が異なる複数の基準画像のうちの少なくともいずれかの基準画像を含む意味である。
　視点位置が異なる複数の基準画像は、図２を参照して説明した画像処理装置３０を用いた画像処理と同様に、撮像装置２０で撮像された画像データを用いて生成することができる。たとえば、視線方向が同じ上から下方向であっても高さ（ｚ座標）や平面上の位置（ｘ−ｙ座標）が異なる視点位置からの画像を基準画像とすることができる。同様に、視線方向が異なる複数の基準画像も、画像処理装置３０により、撮像装置２０で撮像された画像データを用いて生成することができる。たとえば、視点位置が同じ自車両の上部であっても鉛直下向きの視線と水平方向の視線のように、異なる視線方向の画像を基準画像とすることができる。また、変換方法が異なる複数の基準画像も、画像処理装置３０により、撮像装置２０で撮像された画像データを用いて生成することができ、たとえば魚眼変換を施した画像と施していない画像である。また、このほかにも、視点位置と視線方向の両方、視点位置と変換方法の両方、視線方向と変換方法の両方、又はこれら３つの全てが異なる複数の基準画像を生成して記憶してもよい。
　また、基準画像の生成に用いられる撮像装置２０で撮像された画像データとしては、一つのカメラで撮像された画像データのみを用いて基準画像を生成してもよいし、複数のカメラで撮像された複数の画像データを用いて基準画像を生成してもよい。
　このような基準画像は、本実施形態の駐車支援装置１０に設けられた登録ボタンなどを押すことで生成され、制御装置１１のメモリに記憶される。すなわち、登録ボタンを押すと、撮像装置２０により自車両の周囲の画像が撮像され、これを画像処理装置３０で画像処理することにより基準画像が生成される。このとき、記憶する異なる複数の基準画像は、視点位置、視線方向又は返還方法など、予め所定の形態に設定したものを自動的に記憶してもよいし、一部又は全部の形態をドライバーに提示し、当該ドライバーが選択してもよい。また、基準画像とする場合、画像処理装置３０で生成した画像全体を基準画像としてもよいし、画像処理装置３０で生成した画像のうち特徴部分となるべき部分を自動的に抽出してもよいし、ドライバーが選択してもよい。
　図６は、予め登録する駐車スペースの一例を示す平面図である。同図に示す駐車スペースはドライバーの自宅の駐車スペースであり、ドライバーの自宅には、家屋Ｈ１、中庭Ｈ２、中庭の通路Ｈ３があり、中庭Ｈ２の隣に目標駐車スペースＰｔがあるものとする。Ｈ４は通路Ｈ３の端に立設されたポールを示し、ＲＤは自宅前の道路を示す。本実施形態の駐車支援装置１０では、自車両Ｖ１を目標駐車スペースＰｔに駐車した状態、すなわち駐車完了の状態で、撮像装置２０の左ドアミラーに取り付けられた撮像装置２０ｂにより撮像した画像データを用い、画像処理装置３０により、図２に示す仮想視点ＶＰ１から真下を見た画像ＩＭ３と、仮想視点ＶＰ２から水平方向外側を見た画像ＩＭ４とを生成するものとする。
　図７Ａは、駐車支援装置１０に登録する第１基準画像ＩＭ３１の一例を示す図、図７Ｂは、同じく駐車支援装置１０に登録する第２基準画像ＩＭ４１，ＩＭ４２の一例を示す図である。図７Ａに示す画像ＩＭ３は、目標駐車スペースＰｔに停めた自車両Ｖ１の左側の景色を、仮想視点ＶＰ１から真下に見た平面画像である。そのため、中庭Ｈ２と通路Ｈ３との境界線Ｌ１１や、中庭Ｈ２と駐車スペースＰｔとの境界線Ｌ１２が照合に適した特徴点となる。これに対して、中庭Ｈ２そのものは色彩が一様で模様などがなく特徴点がないので、照合には適さない。したがって、本実施形態では、境界線Ｌ１１，Ｌ１２が含まれた部分の画像ＩＭ３１を第１基準画像とする。
　図７Ｂに示す画像ＩＭ４は、目標駐車スペースＰｔに停めた自車両Ｖ１の左側の景色を、仮想視点ＶＰ２から水平方向の家屋Ｈ１に向かって見た正面画像である。そのため、家屋Ｈ１の入口壁の縦線Ｌ１３や、通路Ｈ３の端のポールＨ４が照合に適した特徴点となる。これに対して、中庭Ｈ２や通路Ｈ３は、境界線Ｌ１１，Ｌ１２はあるものの水平視した正面画像では特徴がそれほど出ないので、照合には適さない。したがって、本実施形態では、縦線Ｌ１３が含まれた部分の画像ＩＭ４１と、ポールＨ４が含まれた部分の画像ＩＭ４２の少なくとも一方を第２基準画像とする。
　これら制御装置１１のメモリに記憶された異なる複数の基準画像、すなわち第１基準画像ＩＭ３１及び第２基準画像ＩＭ４１，ＩＭ４２は、その後にドライバーが当該自宅の駐車スペースを目標駐車スペースＰｔとして設定した場合に、制御装置１１のメモリから読み出され、照合処理のための基準画像となる。なお、制御装置１１のメモリに記憶する基準画像は、図７Ａ及び図７Ｂに示すように、全体の画像ＩＭ３，ＩＭ４の中でも特に特徴点となる一部を切り出した画像ＩＭ３１，ＩＭ４１，ＩＭ４２としたが、これに代えて全体の画像ＩＭ３及び画像ＩＭ４を基準画像にしてもよい。
　また、本実施形態において、異なる複数の基準画像ごとに、照合する場合の適合度を設定し、設定した適合度を目標駐車スペースＰｔの位置情報の算出に用いてもよい。本実施形態の適合度とは、基準画像の、照合確率が高いと推定される尤度、相関係数その他の度合いであって、全ての基準画像の適合度を合算すると１又は１００％になる特性値である。たとえば、他の画像と識別し易い特徴点を含んでいたり、複数の異なる特徴点を含んでいたりすると適合度が高くなる。そして、たとえば４０％と６０％の適合度が設定された２つの基準画像が登録されている場合、現在の自車両の周囲の画像に対し、これら２つの基準画像の両方ともに認識できたときに、適合度が６０％の基準画像に基づいて算出される目標スペースの位置情報に６０％の重み付けをし、適合度が４０％の基準画像に基づいて算出される目標スペースの位置情報に４０％の重み付けをし、これらを加重して最終的な目標駐車スペースの位置情報を算出してもよい。
　また、本実施形態において、図６に示すように、自宅など所望の目標駐車スペースＰｔを登録する場合、これに関連付けて、道路ＲＤの所定の駐車開始位置Ｐ０から目標駐車スペースＰｔに至る走行経路Ｒをトラッキングし、予め制御装置１１のメモリに記憶しておいてもよい。そして、その後に、自車両Ｖ１を目標駐車スペースＰｔに駐車させる場合において、照合処理により目標駐車スペースＰｔを認識したら、記憶しておいた走行経路Ｒに沿って自車両の走行動作を自律制御してもよい。
　また、本実施形態において、制御装置１１のメモリに異なる複数の基準画像を記憶させたのち、その駐車スペースに自車両を駐車させる場合、撮像装置２０を用いて自車両の周囲の画像を撮像し、この画像と基準画像とを比較することで、基準画像で特定される目標駐車スペースの位置情報を算出する。このとき、現在の自車両の周囲の画像を、異なる複数の基準画像にそれぞれ対応する画像形態に変換する。たとえば、１つの基準画像が、図７Ａに示す仮想視点ＶＰ１から真下に見た平面画像である第１基準画像ＩＭ３１の場合、この第１基準画像ＩＭ３１との照合を行うときは、画像処理装置３０を用いて、撮像装置２０で撮像した画像データを、仮想視点ＶＰ１から真下に見た平面画像に変換する。同様に、他の１つの基準画像が、図７Ｂに示す仮想視点ＶＰ２から水平方向に見た正面画像である第２基準画像ＩＭ４１，ＩＭ４２の場合、この第２基準画像ＩＭ４１，ＩＭ４２との照合を行うときは、画像処理装置３０を用いて、撮像装置２０で撮像した画像データを、仮想視点ＶＰ２から水平方向に見た正面画像に変換する。
　また、本実施形態において、現在の自車両の周囲の画像と、異なる複数の基準画像とを照合処理する場合に、現在の自車両の周囲の画像と、全ての異なる複数の基準画像とを照合処理してもよいし、異なる複数の基準画像の一部の基準画像と照合処理してもよい。そして、現在の自車両の周囲の画像と、全ての異なる複数の基準画像とを照合処理する場合には、認識できた基準画像の全部から、上述した適合度で重み付けするなどして目標駐車スペースＰｔの位置情報を算出する。また、現在の自車両の周囲の画像と、異なる複数の基準画像の一部の基準画像とを照合処理する場合には、異なる複数の基準画像を順に照合処理し、認識できた基準画像があったときに、残りの基準画像があったとしてもそこで照合処理を終了し、その認識できた基準画像に基づいて目標駐車スペースＰｔの位置情報を算出する。
　図１に戻り、本実施形態の制御装置１１の駐車スペース表示機能は、ドライバーに駐車スペースＰを提示するために、制御装置１１が検出した駐車スペースＰ又は予め登録しておいた駐車スペース（図６のＰｔなど）をディスプレイ１２１に表示する機能である。たとえば図３に示すように、制御装置１１は、破線の枠で駐車スペースＰをドライバーに提示する。ドライバーは、図３に示す駐車スペースＰの中から、自車両Ｖ１を駐車させる目標駐車スペースＰｔを選択する。目標駐車スペースＰｔの選択は、たとえばタッチパネルからなるディスプレイ１２１の画面に触れることによって行うことができる。このようにドライバーが目標駐車スペースＰｔを設定することで、制御装置１１は、駐車経路算出機能により駐車経路を算出することができるようになる。
　本実施形態の制御装置１１の駐車経路算出機能は、設定された目標駐車スペースＰｔに自車両Ｖ１を駐車させるために、目標駐車スペースＰｔまでの駐車経路を算出する機能である。
　次に、図８~図１０を参照して、本実施形態の制御装置１１における駐車支援処理を説明する。図８は、本実施形態の駐車支援処理の基本的な処理を示すフローチャートの一例、図９は、図８のステップＳ６のサブルーチンの一例を示すフローチャート、図１０は、図８のステップＳ６のサブルーチンの他の例を示すフローチャートである。なお、以下に説明する駐車支援処理は、制御装置１１により所定時間間隔で実行される。
　図８のステップＳ１において、制御装置１１は、自律駐車開始ボタンが押されたか否かを判定する。たとえば、ドライバーが駐車場に入ったところで自律駐車ボタンを押すと、本実施形態の駐車支援処理が開始する。またはこれに代えて、環境情報取得機能により自動的に自律駐車を開始するか否かを判定してもよい。自律駐車を開始すると判定した場合はステップＳ２へ進み、そうでない場合はこのステップＳ１を繰り返す。
　ステップＳ２において、ドライバーが、制御装置１１のメモリに予め登録しておいた登録駐車スペースを選択したか否かを判定する。登録駐車スペースを選択した場合はステップＳ６へ進み、そうでない場合はステップＳ３へ進む。
　登録駐車スペースを選択していない場合は、ステップＳ３において、制御装置１１は、駐車スペース検出機能により、撮像装置２００によって取得した画像を用いて、画像処理装置３０により俯瞰画像ＩＭ１を作成する。そして、俯瞰画像ＩＭ１から駐車領域を検出し、撮像装置２００及び測距装置４０を用いて、駐車領域から駐車スペースＰを検出する。
　続くステップＳ４において、制御装置１１は、駐車スペース表示機能により、ディスプレイ１２１を用いて駐車スペースＰをドライバーに提示する。ドライバーは、表示された駐車スペースＰの中から所望の駐車スペースを選択し、これを目標駐車スペースに設定する。ステップＳ５において、制御装置１１は、駐車スペースＰの中から、自車両Ｖ１を駐車させる目標駐車スペースＰｔが設定されたか否かを判定する。ドライバーが、駐車スペースＰの中から自車両Ｖ１を駐車させる目標駐車スペースＰｔを選択していないと判定した場合は、ステップＳ４に戻り、ドライバーが目標駐車スペースＰｔを選択するまで駐車スペースＰをドライバーに提示し続ける。これに対して、ドライバーが、駐車スペースＰの中から自車両Ｖ１を駐車させる目標駐車スペースＰｔを選択したと判定した場合は、ステップＳ７に進む。
　ステップＳ２に戻り、ステップＳ２においてドライバーが登録駐車スペースを選択した場合はステップＳ６へ進む。図９はステップＳ６のサブルーチンを示すフローチャートであり、ドライバーが登録駐車スペースを選択した場合、撮像装置２０により撮像された現在の自車両の周囲の画像と、予め登録された異なる複数の基準画像とを照合し、目標駐車スペースＰｔを認識して当該目標駐車スペースＰｔの位置情報を算出する。
　具体的には、図９のステップＳ６１１において、撮像装置２０により撮像された現在の自車両の周囲の画像を第１基準画像ＩＭ３１の形態に合わせて変換し、第１基準画像ＩＭ３１と照合する。本実施形態では、第１基準画像ＩＭ３１は、仮想視点ＶＰ１から真下に見た平面画像であるため、撮像装置２０により撮像された現在の自車両の周囲の画像を仮想視点ＶＰ１から真下に見た平面画像に変換する。そして、従来公知のテンプレート画像によるマッチング手法や特徴点照合手法その他の照合手法を用いて、現在の自車両の周囲の画像における第１基準画像ＩＭ３１を認識する。
　続くステップＳ６１２では、撮像装置２０により撮像された現在の自車両の周囲の画像を第２基準画像ＩＭ４１，ＩＭ４２の形態に合わせて変換し、第２基準画像ＩＭ４１，ＩＭ４２と照合する。本実施形態では、第２基準画像ＩＭ４１，ＩＭ４２は、仮想視点ＶＰ２から水平方向に見た正面画像であるため、撮像装置２０により撮像された現在の自車両の周囲の画像を仮想視点ＶＰ２から水平方向に見た正面画像に変換する。そして、従来公知のテンプレート画像によるマッチング手法や特徴点照合手法その他の照合手法を用いて、現在の自車両の周囲の画像における第２基準画像ＩＭ４１，ＩＭ４２を認識する。
　続くステップＳ６１３では、ステップＳ６１１で実行した照合の結果、現在の自車両の周囲の画像に第１基準画像ＩＭ３１と合致する部分があったか否かを判定し、合致する部分があったと判定した場合はステップＳ６１４へ進み、合致する部分がなかったと判定した場合はステップＳ６１７へ進む。
　ステップＳ６１４では、ステップＳ６１２で実行した照合の結果、現在の自車両の周囲の画像に第２基準画像ＩＭ４１，ＩＭ４２と合致する部分があったか否かを判定し、合致する部分があったと判定した場合はステップＳ６１５へ進み、合致する部分がなかったと判定した場合はステップＳ６１６へ進む。一方、ステップＳ６１３において、現在の自車両の周囲の画像に第１基準画像ＩＭ３１と合致する部分がなかったと判定した場合、ステップＳ６１７にて、ステップＳ６１２で実行した照合の結果、現在の自車両の周囲の画像に第２基準画像ＩＭ４１，ＩＭ４２と合致する部分があったか否かを判定し、合致する部分があったと判定した場合はステップＳ６１８へ進み、合致する部分がなかったと判定した場合はステップＳ６１９へ進む。
　ステップＳ６１５では、ステップＳ６１３にて第１基準画像ＩＭ３１に合致する部分があると判定され、さらにステップＳ６１４にて第２基準画像ＩＭ４１，ＩＭ４２に合致する部分があると判定されたので、第１基準画像ＩＭ３１及び第２基準画像ＩＭ４１，ＩＭ４２の検出位置に基づいて、目標駐車スペースＰｔの位置を算出する。このとき、第１基準画像ＩＭ３１と第２基準画像ＩＭ４１，ＩＭ４２に適合度が設定されている場合は、当該適合度を用いた加重平均により目標駐車スペースＰｔの位置を算出する。
　ステップＳ６１６では、ステップＳ６１３にて第１基準画像ＩＭ３１に合致する部分があると判定され、ステップＳ６１４にて第２基準画像ＩＭ４１，ＩＭ４２に合致する部分がないと判定されたので、第１基準画像ＩＭ３１の検出位置に基づいて、目標駐車スペースＰｔの位置を算出する。この場合、第２基準画像ＩＭ４１，ＩＭ４２は、目標駐車スペースＰｔの位置算出には用いない。
　ステップＳ６１８では、ステップＳ６１３にて第１基準画像ＩＭ３１に合致する部分がないと判定され、ステップＳ６１４にて第２基準画像ＩＭ４１，ＩＭ４２に合致する部分があると判定されたので、第２基準画像ＩＭ４１，ＩＭ４２の検出位置に基づいて、目標駐車スペースＰｔの位置を算出する。この場合、第１基準画像ＩＭ３１は、目標駐車スペースＰｔの位置算出には用いない。
　ステップＳ６１９では、ステップＳ６１３にて第１基準画像ＩＭ３１に合致する部分がないと判定され、さらにステップＳ６１４にて第２基準画像ＩＭ４１，ＩＭ４２に合致する部分がないと判定されたので、目標駐車スペースＰｔの位置を算出しないで、駐車支援処理を終了する。
　ステップＳ６１５，Ｓ６１６，Ｓ６１８の各処理を実行したら、図８のステップＳ７へ進む。
　ステップＳ７において、制御装置１１は、駐車経路算出機能により、たとえば現在位置から、又は走行方向を変更した後の位置から、設定した目標駐車スペースＰｔまで自車両Ｖ１が移動する駐車経路Ｒを算出する。ステップＳ８において、制御装置１１は、走行動作計画機能により、算出された駐車経路Ｒに沿って自車両Ｖ１が駐車するための走行動作を計画し、算出された駐車経路Ｒと、計画された走行動作によって、車両コントローラ５０、駆動システム６０、車速センサ７０、及び操舵角センサ８０を用いて自車両Ｖ１の駐車支援を実行する。なお、ステップＳ２において、登録駐車スペースを選択した場合に、当該登録された目標駐車スペースＰｔの位置情報に関連付けた駐車経路Ｒが記憶されているときは、ステップＳ７においてこれを読み出す。
　なお、制御装置１１は、ステップＳ８の駐車支援の実行中に、環境情報取得機能により、撮像装置２００及び測距装置４０を用いて、自車両Ｖ１の周囲の障害物を検出し、障害物との干渉を避けながら駐車支援を実行する。
　ステップＳ９において、自車両Ｖ１が目標駐車スペースＰｔに駐車し終えたか否かを判定し、自車両Ｖ１が駐車を完了するまでステップＳ８の駐車支援を継続する。
　図９に示す駐車スペースの認識処理では、制御装置１１のメモリに登録された基準画像の全部、すなわち第１基準画像ＩＭ３１及び第２基準画像ＩＭ４１，ＩＭ４２との照合を行ったが、図１０に示すように制御装置１１のメモリに登録された基準画像の一部との照合を実行してもよい。図１０は、図８のステップＳ６のサブルーチンの他の例を示すフローチャートである。
　具体的には、図９のステップＳ６２１において、撮像装置２０により撮像された現在の自車両の周囲の画像を第１基準画像ＩＭ３１の形態に合わせて変換し、第１基準画像ＩＭ３１と照合する。本実施形態では、第１基準画像ＩＭ３１は、仮想視点ＶＰ１から真下に見た平面画像であるため、撮像装置２０により撮像された現在の自車両の周囲の画像を仮想視点ＶＰ１から真下に見た平面画像に変換する。そして、従来公知のテンプレート画像によるマッチング手法や特徴点照合手法その他の照合手法を用いて、現在の自車両の周囲の画像における第１基準画像ＩＭ３１を認識する。
　続くステップＳ６２２では、ステップＳ６２１で実行した照合の結果、現在の自車両の周囲の画像に第１基準画像ＩＭ３１と合致する部分があったか否かを判定し、合致する部分があったと判定した場合はステップＳ６２３へ進み、合致する部分がなかったと判定した場合はステップＳ６２４へ進む。
　ステップＳ６２３では、ステップＳ６２２にて第１基準画像ＩＭ３１に合致する部分があると判定されたので、第１基準画像ＩＭ３１の検出位置に基づいて、目標駐車スペースＰｔの位置を算出する。この場合、第２基準画像ＩＭ４１，ＩＭ４２は、目標駐車スペースＰｔの位置算出には用いない。
　一方、ステップＳ６２４では、撮像装置２０により撮像された現在の自車両の周囲の画像を第２基準画像ＩＭ４１，ＩＭ４２の形態に合わせて変換し、第２基準画像ＩＭ４１，ＩＭ４２と照合する。本実施形態では、第２基準画像ＩＭ４１，ＩＭ４２は、仮想視点ＶＰ２から水平方向に見た正面画像であるため、撮像装置２０により撮像された現在の自車両の周囲の画像を仮想視点ＶＰ２から水平方向に見た正面画像に変換する。そして、従来公知のテンプレート画像によるマッチング手法や特徴点照合手法その他の照合手法を用いて、現在の自車両の周囲の画像における第２基準画像ＩＭ４１，ＩＭ４２を認識する。
　続くステップＳ６２５では、ステップＳ６２４で実行した照合の結果、現在の自車両の周囲の画像に第２基準画像ＩＭ４１，ＩＭ４２と合致する部分があったか否かを判定し、合致する部分があったと判定した場合はステップＳ６２６へ進み、合致する部分がなかったと判定した場合はステップＳ６２７へ進む。
　ステップＳ６２６では、ステップＳ６２２にて第１基準画像ＩＭ３１に合致する部分がないと判定され、ステップＳ６２４にて第２基準画像ＩＭ４１，ＩＭ４２に合致する部分があると判定されたので、第２基準画像ＩＭ４１，ＩＭ４２の検出位置に基づいて、目標駐車スペースＰｔの位置を算出する。この場合、第１基準画像ＩＭ３１は、目標駐車スペースＰｔの位置算出には用いない。
　ステップＳ６２７では、ステップＳ６２２にて第１基準画像ＩＭ３１に合致する部分がないと判定され、さらにステップＳ６２５にて第２基準画像ＩＭ４１，ＩＭ４２に合致する部分がないと判定されたので、目標駐車スペースＰｔの位置を算出しないで、駐車支援処理を終了する。
　以上のように、本実施形態に係る駐車支援装置１０及び駐車支援方法によれば、自車両Ｖ１の周囲を撮像する撮像装置２０を用いて生成した、目標駐車スペースＰｔを特定する異なる複数の基準画像（第１基準画像ＩＭ３１、第２基準画像ＩＭ４１，ＩＭ４２）を予め記憶しておき、その後に自車両Ｖ１を目標駐車スペースＰｔに駐車させる場合には、現在の自車両Ｖ１の周囲の画像と、異なる複数の基準画像の少なくとも一つの基準画像とを照合して目標駐車スペースＰｔを認識するので、目標駐車スペースＰｔの認識精度を高めることができる。
　また、本実施形態に係る駐車支援装置１０及び駐車支援方法によれば、認識された目標駐車スペースＰｔの位置情報に基づいて、目標駐車スペースＰｔに至る走行経路Ｒに沿った自車両Ｖ１の走行動作を自律制御するので、より一層確実に自車両Ｖ１を自律制御することができる。
　また、本実施形態に係る駐車支援装置１０及び駐車支援方法によれば、現在の自車両Ｖ１の周囲の画像と、異なる複数の基準画像（第１基準画像ＩＭ３１、第２基準画像ＩＭ４１，ＩＭ４２）の全部とを照合して目標駐車スペースＰｔを認識するので、目標駐車スペースＰｔの認識精度がより一層高くなる。
　また、本実施形態に係る駐車支援装置１０及び駐車支援方法によれば、現在の自車両Ｖ１の周囲の画像と、異なる複数の基準画像（第１基準画像ＩＭ３１、第２基準画像ＩＭ４１，ＩＭ４２）の一部とを照合して目標駐車スペースＰｔを認識するので、目標駐車スペースＰｔの認識処理時間が短縮され、認識処理負荷も軽減される。
　また、本実施形態に係る駐車支援装置１０及び駐車支援方法によれば、異なる複数の基準画像（第１基準画像ＩＭ３１、第２基準画像ＩＭ４１，ＩＭ４２）は、視点位置が異なる複数の基準画像、視線方向が異なる複数の基準画像及び変換方法が異なる複数の基準画像のうちの少なくともいずれかの基準画像を含むので、目標駐車スペースＰｔの認識精度がより一層高くなる。
　また、本実施形態に係る駐車支援装置１０及び駐車支援方法によれば、現在の自車両Ｖ１の周囲の画像と、異なる複数の基準画像（第１基準画像ＩＭ３１、第２基準画像ＩＭ４１，ＩＭ４２）の少なくとも一つの基準画像とを照合する場合に、現在の自車両の周囲の画像を、異なる複数の基準画像にそれぞれ対応する画像形態に変換するので、照合処理が簡素化され、照合精度も高くなる。
　また、本実施形態に係る駐車支援装置１０及び駐車支援方法によれば、異なる複数の基準画像（第１基準画像ＩＭ３１、第２基準画像ＩＭ４１，ＩＭ４２）ごとに、照合する場合の適合度を設定しておき、現在の自車両Ｖ１の周囲の画像と、異なる複数の基準画像の少なくとも一つの基準画像とを照合する場合に、設定された適合度を用いた重み付けにより目標駐車スペースＰｔを認識するので、予め登録する目標駐車スペースＰｔの環境に応じて照合の適合性を高めることができ、目標駐車スペースＰｔの認識精度がより一層高くなる。
　また、本実施形態に係る駐車支援装置１０及び駐車支援方法によれば、複数の基準画像（第１基準画像ＩＭ３１、第２基準画像ＩＭ４１，ＩＭ４２）を予め記憶するときに、所定の駐車開始位置から目標駐車スペースＰｔに至る走行経路Ｒを記憶しておき、その後に自車両Ｖ１を目標駐車スペースＰｔに駐車させる場合に、目標駐車スペースＰｔを認識したら、記憶しておいた走行経路Ｒに沿って自車両Ｖ１の走行動作を自律制御するので、走行経路の算出負荷を軽減することができると同時に、駐車支援開始までの時間を短縮することができる。
１…駐車支援システム
　１０…駐車支援装置
　１１…制御装置
　１１１…ＲＯＭ
　１１２…ＣＰＵ
　１１３…ＲＡＭ
　１２…出力装置
　１２１…ディスプレイ
　１２２…スピーカ
　２０…撮像装置
　　２ａ…車両のフロントグリル部に配置された撮像装置
　　２ｂ…車両の左ドアミラーの下部に配置された撮像装置
　　２ｃ…車両の右ドアミラーの下部に配置された撮像装置
　　２ｄ…車両のリアバンパ近傍に配置された撮像装置
　３０…画像処理装置
　４０…測距装置
　　４ａ…前方測距装置
　　４ｂ…右側方測距装置
　　４ｃ…左側方測距装置
　　４ｄ…後方測距装置
　５０…車両コントローラ
　６０…駆動システム
　７０…車速センサ
ＩＭ１…俯瞰画像
ＩＭ２…監視画像
ＩＭ３１…第１基準画像
ＩＭ４１，ＩＭ４２…第２基準画像
Ｌ１~Ｌ１０…線
Ｐ…駐車スペース
Ｐｔ、Ｐｔ１、Ｐｔ２、Ｐｔ３…目標駐車スペース
Ｖ１…自車両
Ｖ２、Ｖ２ａ、Ｖ２ｂ、Ｖ２ｃ、Ｖ２ｄ、Ｖ２ｅ…他車両
ＶＰ１，ＶＰ２…仮想視点

Claims (9)

  1. 　自車両の周囲を撮像する撮像装置を用いて生成した、目標駐車スペースを特定する異なる複数の基準画像を予め記憶しておき、
    　その後に自車両を前記目標駐車スペースに駐車させる場合には、現在の自車両の周囲の画像と、前記異なる複数の基準画像の少なくとも一つの基準画像とを照合して前記目標駐車スペースを認識する駐車支援方法。
  2. 　前記認識された目標駐車スペースの位置情報に基づいて、前記目標駐車スペースに至る自車両の走行動作を自律制御する請求項１に記載の駐車支援方法。
  3. 　前記現在の自車両の周囲の画像と、前記異なる複数の基準画像の全部の基準画像とを照合して前記目標駐車スペースを認識する請求項１又は２に記載の駐車支援方法。
  4. 　前記現在の自車両の周囲の画像と、前記異なる複数の基準画像の一部の基準画像とを照合して前記目標駐車スペースを認識する請求項１又は２に記載の駐車支援方法。
  5. 　前記異なる複数の基準画像は、視点位置が異なる複数の基準画像、視線方向が異なる複数の基準画像及び変換方法が異なる複数の基準画像のうちの少なくともいずれかの基準画像を含む請求項１~４のいずれか一項に記載の駐車支援方法。
  6. 　現在の自車両の周囲の画像と、前記異なる複数の基準画像の少なくとも一つの基準画像とを照合する場合に、前記現在の自車両の周囲の画像を、前記異なる複数の基準画像にそれぞれ対応する画像形態に変換する請求項１~５のいずれか一項に記載の駐車支援方法。
  7. 　前記異なる複数の基準画像ごとに、照合する場合の適合度を設定しておき、現在の自車両の周囲の画像と、前記異なる複数の基準画像の少なくとも一つの基準画像とを照合する場合に、設定された適合度を用いた重み付けにより目標駐車スペースを認識する請求項１~６のいずれか一項に記載の駐車支援方法。
  8. 　前記複数の基準画像を予め記憶するときに、所定の駐車開始位置から前記目標駐車スペースに至る走行経路を記憶しておき、
    　その後に自車両を前記目標駐車スペースに駐車させる場合に、前記目標駐車スペースを認識したら、記憶しておいた走行経路に沿って自車両の走行動作を自律制御する請求項１~７のいずれか一項に記載の駐車支援方法。
  9. 　自車両の周囲を撮像する撮像装置を用いて生成した、目標駐車スペースを含む異なる複数の基準画像を予め記憶するメモリと、
    　その後に自車両を前記目標駐車スペースに駐車させる場合には、現在の自車両の周囲の画像と、前記異なる複数の基準画像の少なくとも一つの基準画像とを照合して前記目標駐車スペースを認識するコントローラと、を備える駐車支援装置。
PCT/IB2020/000915 2020-11-02 2020-11-02 駐車支援方法及び駐車支援装置 WO2022090758A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
BR112023007828A BR112023007828A2 (pt) 2020-11-02 2020-11-02 Método de assistência de estacionamento e dispositivo de assistência de estacionamento
EP20959661.8A EP4239613A4 (en) 2020-11-02 2020-11-02 PARKING ASSISTANCE METHOD AND PARKING ASSISTANCE DEVICE
MX2023004918A MX2023004918A (es) 2020-11-02 2020-11-02 Método de asistencia al estacionamiento y dispositivo de asistencia al estacionamiento.
CN202080106745.XA CN116508083B (zh) 2020-11-02 2020-11-02 停车辅助方法及停车辅助装置
PCT/IB2020/000915 WO2022090758A1 (ja) 2020-11-02 2020-11-02 駐車支援方法及び駐車支援装置
US18/033,850 US11884265B1 (en) 2020-11-02 2020-11-02 Parking assistance method and parking assistance device
JP2022558363A JP7405277B2 (ja) 2020-11-02 2020-11-02 駐車支援方法及び駐車支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2020/000915 WO2022090758A1 (ja) 2020-11-02 2020-11-02 駐車支援方法及び駐車支援装置

Publications (1)

Publication Number Publication Date
WO2022090758A1 true WO2022090758A1 (ja) 2022-05-05

Family

ID=81381414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2020/000915 WO2022090758A1 (ja) 2020-11-02 2020-11-02 駐車支援方法及び駐車支援装置

Country Status (7)

Country Link
US (1) US11884265B1 (ja)
EP (1) EP4239613A4 (ja)
JP (1) JP7405277B2 (ja)
CN (1) CN116508083B (ja)
BR (1) BR112023007828A2 (ja)
MX (1) MX2023004918A (ja)
WO (1) WO2022090758A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011994A (ja) * 2005-07-04 2007-01-18 Toyota Motor Corp 道路認識装置
JP2007315956A (ja) * 2006-05-26 2007-12-06 Aisin Aw Co Ltd 駐車場マップ作成方法、駐車場案内方法及びナビゲーション装置
JP2016197314A (ja) * 2015-04-03 2016-11-24 株式会社日立製作所 運転支援システム、運転支援装置及び運転支援方法
JP2018163530A (ja) * 2017-03-27 2018-10-18 クラリオン株式会社 対象物検知装置、対象物検知方法、及び対象物検知プログラム
JP2019202697A (ja) 2018-05-25 2019-11-28 トヨタ自動車株式会社 駐車支援装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009111536A (ja) * 2007-10-26 2009-05-21 Victor Co Of Japan Ltd 車両用後方確認システム及びその誘導方法
JP5268368B2 (ja) * 2008-01-14 2013-08-21 トヨタホーム株式会社 駐車支援システム及び建物
JP4940168B2 (ja) * 2008-02-26 2012-05-30 日立オートモティブシステムズ株式会社 駐車スペース認識装置
JP6406159B2 (ja) * 2015-08-04 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
JP2017067466A (ja) * 2015-09-28 2017-04-06 アイシン精機株式会社 駐車支援装置
KR102154510B1 (ko) * 2016-10-13 2020-09-10 닛산 지도우샤 가부시키가이샤 주차 지원 방법 및 주차 지원 장치
JP6946652B2 (ja) * 2017-02-02 2021-10-06 株式会社アイシン 駐車支援装置
JP6722616B2 (ja) * 2017-04-07 2020-07-15 クラリオン株式会社 駐車支援装置
JP7000822B2 (ja) * 2017-12-06 2022-01-19 株式会社アイシン 周辺監視装置
DE102018202738A1 (de) * 2018-02-23 2019-08-29 Bayerische Motoren Werke Aktiengesellschaft Fernbedienbares Parkassistenzsystem mit selbstständiger Entscheidung über das Vorliegen einer Ein- oder Ausparksituation und entsprechendes Parkverfahren
JP7151293B2 (ja) * 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
JP7130056B2 (ja) * 2018-11-08 2022-09-02 日立Astemo株式会社 車両制御装置、経路配信装置、車両誘導システム
US11107354B2 (en) * 2019-02-11 2021-08-31 Byton North America Corporation Systems and methods to recognize parking
JP2020142752A (ja) * 2019-03-08 2020-09-10 トヨタ自動車株式会社 駐車支援装置
JP7139284B2 (ja) * 2019-05-14 2022-09-20 本田技研工業株式会社 車両制御装置、駐車場管理装置、車両制御方法、およびプログラム
KR102061750B1 (ko) * 2019-05-15 2020-01-03 주식회사 라이드플럭스 사전 정보를 이용하여 차량의 주행을 제어하는 방법 및 장치
JP7053560B2 (ja) * 2019-12-13 2022-04-12 本田技研工業株式会社 駐車支援システムおよびその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011994A (ja) * 2005-07-04 2007-01-18 Toyota Motor Corp 道路認識装置
JP2007315956A (ja) * 2006-05-26 2007-12-06 Aisin Aw Co Ltd 駐車場マップ作成方法、駐車場案内方法及びナビゲーション装置
JP2016197314A (ja) * 2015-04-03 2016-11-24 株式会社日立製作所 運転支援システム、運転支援装置及び運転支援方法
JP2018163530A (ja) * 2017-03-27 2018-10-18 クラリオン株式会社 対象物検知装置、対象物検知方法、及び対象物検知プログラム
JP2019202697A (ja) 2018-05-25 2019-11-28 トヨタ自動車株式会社 駐車支援装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUANG, Y. ET AL.: "Vision-based Semantic Mapping and Localization for Autonomous Indoor Parking", 2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM, June 2018 (2018-06-01), pages 636 - 641, XP033423415, DOI: 10.1109/IVS.2018.8500516 *
JUNG, H. G. ET AL.: "Parking Slot Markings Recognition for Automatic Parking Assist System", 2006 IEEE INTELLIGENT VEHICLES SYMPOSIUM, June 2006 (2006-06-01), pages 106 - 113, XP010936998 *
See also references of EP4239613A4
SUZUKI MASAYASUCHINOMI SATOSHITAKANO TERUHISA: "Proceedings of Society of JSAE Annual Congress", vol. 116-07, October 2007, article "Development of Around View System", pages: 17 - 22

Also Published As

Publication number Publication date
JPWO2022090758A1 (ja) 2022-05-05
EP4239613A4 (en) 2023-09-20
BR112023007828A2 (pt) 2024-02-06
US20240034305A1 (en) 2024-02-01
JP7405277B2 (ja) 2023-12-26
MX2023004918A (es) 2023-11-10
CN116508083B (zh) 2024-04-26
US11884265B1 (en) 2024-01-30
CN116508083A (zh) 2023-07-28
EP4239613A1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
US10351060B2 (en) Parking assistance apparatus and vehicle having the same
US11086335B2 (en) Driving assistance system and vehicle comprising the same
US11377099B2 (en) Parking assist system
EP3184365A2 (en) Display device for vehicle and control method thereof
EP3290301A1 (en) Parking assist device
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2018531175A (ja) 自動車両を駐車するための駐車エリアを特定するための方法、運転者支援システム、及び自動車両
JP2018531175A6 (ja) 自動車両を駐車するための駐車エリアを特定するための方法、運転者支援システム、及び自動車両
US11842548B2 (en) Parking space recognition system and parking assist system including the same
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
CN114792475A (zh) 自动停车***
US20210294338A1 (en) Control apparatus, control method, and computer-readable storage medium storing program
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR20170018701A (ko) 운전자 보조 장치 및 그 제어 방법
CN112602124A (zh) 用于车辆调度***的通讯方法、车辆调度***以及通讯装置
WO2022090758A1 (ja) 駐車支援方法及び駐車支援装置
US20220379879A1 (en) Parking assistance device and parking assistance method
EP4102323B1 (en) Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program
EP4105087A1 (en) Parking assist method and parking assist apparatus
US20200282978A1 (en) Vehicle control system, vehicle control method, and storage medium
RU2791347C1 (ru) Способ помощи при парковке и устройство помощи при парковке
WO2024069689A1 (ja) 運転支援方法及び運転支援装置
WO2023002863A1 (ja) 運転支援装置、運転支援方法
US11548500B2 (en) Parking assist system
WO2024069690A1 (ja) 運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20959661

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022558363

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202080106745.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 202347030417

Country of ref document: IN

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023007828

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020959661

Country of ref document: EP

Effective date: 20230602

ENP Entry into the national phase

Ref document number: 112023007828

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20230425