WO2017179206A1 - 駐車支援用表示制御装置および駐車支援用表示制御方法 - Google Patents

駐車支援用表示制御装置および駐車支援用表示制御方法 Download PDF

Info

Publication number
WO2017179206A1
WO2017179206A1 PCT/JP2016/062156 JP2016062156W WO2017179206A1 WO 2017179206 A1 WO2017179206 A1 WO 2017179206A1 JP 2016062156 W JP2016062156 W JP 2016062156W WO 2017179206 A1 WO2017179206 A1 WO 2017179206A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parking space
vehicle
display
parking
Prior art date
Application number
PCT/JP2016/062156
Other languages
English (en)
French (fr)
Inventor
直志 宮原
下谷 光生
井上 悟
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018511866A priority Critical patent/JP6656359B2/ja
Priority to PCT/JP2016/062156 priority patent/WO2017179206A1/ja
Publication of WO2017179206A1 publication Critical patent/WO2017179206A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas

Definitions

  • the present invention relates to a parking assistance display control device and a parking assistance display control method.
  • An object of the present invention is to provide a parking assistance display control device and a parking assistance display control method capable of presenting a parking space in a display form that can be intuitively understood by a driver.
  • the display control device for parking assistance is a parking space determination unit that determines whether there is a parking space that can be parked around the vehicle based on the situation around the vehicle detected by the surrounding detection device. And image information representing vehicle side images of the side of the vehicle that are sequentially photographed along the traveling direction of the vehicle by the peripheral photographing device, and based on the acquired image information, the vehicle side image is When it is determined that there is a parking available space by the image combining unit that generates a combined image that is connected along the direction and the parking space determination unit, a parking space display object that indicates the position of the parking space is displayed as an image combining unit.
  • a control unit that generates a parking space image superimposed on the composite image generated by the control unit, and outputs the parking space image generated by the control unit to the display device Characterized in that it comprises an image output unit.
  • the display control method for parking assistance acquires image information representing a vehicle side image of a side of the vehicle that is sequentially photographed along the traveling direction of the vehicle by the peripheral imaging device, and based on the acquired image information.
  • a parking space display object indicating the position of the parking space is superimposed on the composite image to generate a parking space image
  • the generated parking space image is It outputs to a display apparatus, It is characterized by the above-mentioned.
  • the parking space determination unit determines whether there is a parking space around the vehicle based on the situation around the vehicle detected by the periphery detection device. Is done. Image information representing vehicle side images that are sequentially photographed along the traveling direction of the vehicle by the peripheral photographing device is acquired by the image composition unit, and based on the acquired image information, the vehicle side image is set in the traveling direction of the vehicle. A composite image joined together is generated.
  • the control unit superimposes the parking space display object on the combined image generated by the image combining unit, and generates a parking space image.
  • the parking space image generated by the control unit is output to the display device by the image output unit. Accordingly, it is possible to present a parking space in a display form that can be intuitively understood by the driver.
  • image information representing vehicle side images that are sequentially photographed along the traveling direction of the vehicle by the peripheral photographing device is acquired, and the vehicle is based on the acquired image information.
  • a composite image is generated by joining the side images along the traveling direction of the vehicle. It is determined whether there is a parking space around the vehicle based on the situation around the vehicle detected by the periphery detection device.
  • the parking space display object is superimposed on the composite image, and a parking space image is generated.
  • the generated parking space image is output to the display device. Accordingly, it is possible to present a parking space in a display form that can be intuitively understood by the driver.
  • FIG. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image. It is a figure which shows an example of the driving
  • FIG. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image. It is a figure which shows the other example of a parking space image.
  • FIG. 1 is a block diagram showing a configuration of a parking assistance apparatus 100 according to the first embodiment of the present invention.
  • the parking assistance device 100 includes a parking assistance display control device 1, a peripheral photographing device 2, a peripheral detection device 3, and a display device 4.
  • the parking assistance display control device 1 includes an image composition unit 11, a parking space determination unit 12, a control unit 13, and an image output unit 14.
  • the parking support display control device 1 is mounted on a vehicle and used.
  • the peripheral photographing device 2, the peripheral detection device 3, and the display device 4 are provided in a vehicle (hereinafter sometimes referred to as “own vehicle”) on which the parking assist display control device 1 is mounted.
  • the parking support display control method according to another embodiment of the present invention is executed by the parking support display control apparatus 1 of the present embodiment.
  • the peripheral photographing device 2 is constituted by a camera.
  • the peripheral photographing device 2 is provided on the right side, the left side, and the rear in the traveling direction of the host vehicle.
  • the peripheral imaging device 2 captures images of the vicinity of the host vehicle, specifically, images on the right side, left side, and rear of the traveling direction of the host vehicle.
  • an image on the right side of the traveling direction of the host vehicle is referred to as a “right side image”
  • an image on the left side of the traveling direction of the host vehicle is referred to as a “left side image”
  • the rear side in the traveling direction of the host vehicle These images may be referred to as “rear images”.
  • the peripheral imaging device 2 sequentially captures images of the side of the host vehicle (hereinafter sometimes referred to as “vehicle side image”) along the traveling direction of the host vehicle.
  • the peripheral photographing device 2 is connected to the image composition unit 11 of the parking assistance display control device 1. Image information representing an image photographed by the peripheral photographing device 2 is given to the image composition unit 11.
  • the image composition unit 11 acquires image information representing a vehicle side image and the like from the peripheral photographing device 2. Based on the acquired image information, the image composition unit 11 generates a composite image obtained by joining the vehicle side images along the traveling direction of the vehicle.
  • the periphery detection device 3 detects the situation around the host vehicle. Specifically, the periphery detection device 3 detects an object existing around the host vehicle and detects the relative position between the host vehicle and the object. Objects existing around the host vehicle are, for example, other vehicles and features.
  • the peripheral detection device 3 is configured by at least one of an ultrasonic sensor, an image processing sensor, a millimeter wave radar, and a laser radar, for example.
  • the image processing sensor may be a camera.
  • the periphery detection device 3 is connected to the parking space determination unit 12 of the parking assistance display control device 1.
  • the surroundings detection device 3 generates detection information representing the detected situation around the host vehicle.
  • the periphery detection device 3 generates detection information indicating the detected object and the relative position between the host vehicle and the object.
  • the surroundings detection device 3 gives the generated detection information to the parking space determination unit 12.
  • the parking space determination unit 12 is a space that can be parked around the host vehicle based on the situation around the host vehicle detected by the surroundings detection device 3, specifically based on the detection information provided from the surrounding detection device 3. Determine if there is a parking space available. In the present embodiment, the parking space determination unit 12 determines whether there is a parking space as a parking space.
  • the control part 13 produces
  • the control unit 13 superimposes the generated parking space display object on the composite image generated by the image composition unit 11 to generate a parking space image.
  • the image output unit 14 outputs the parking space image generated by the control unit 13, specifically, image information representing the parking space image to the display device 4.
  • the display device 4 is configured by a liquid crystal display, a head-up display, or the like, for example.
  • the display device 4 displays an image represented by the image information given from the image output unit 14 on the display screen.
  • various information for example, a parking space, can be presented to the user of the parking assistance display control device 1, for example, the driver of the host vehicle.
  • the control unit 13 When it is determined by the parking space determination unit 12 that there is a parking space, the control unit 13 superimposes the parking space display object on the synthesized image generated by the image synthesis unit 11 to generate a parking space image.
  • the parking space image generated by the control unit 13 is output to the display device 4 by the image output unit 14. Accordingly, it is possible to present a parking space in a display form that can be intuitively understood by the driver.
  • peripheral photographing device 2 and the peripheral detecting device 3 are provided separately, but the peripheral photographing device 2 may also serve as the peripheral detecting device 3.
  • FIG. 2 is a block diagram showing the configuration of the parking assistance apparatus 200 according to the second embodiment of the present invention.
  • the parking assistance device 200 includes a parking assistance display control device 10, a peripheral photographing device 2, a peripheral detection device 3, a display device 4, an in-vehicle LAN (Local Area Network) 5, and an operation input device 6.
  • the parking assistance display control device 10 includes an image composition unit 11, a parking space determination unit 12, a control unit 13, an image output unit 14, and an in-vehicle LAN interface 15.
  • the parking support display control device 10 is mounted on a vehicle and used.
  • the peripheral photographing device 2, the peripheral detection device 3, the display device 4, the in-vehicle LAN 5, and the operation input device 6 are provided in the own vehicle on which the parking assistance display control device 10 is mounted.
  • parking assist device 200 of the present embodiment includes the same configuration as parking assist device 100 of the first embodiment shown in FIG. 1, the same reference numerals are assigned to the same components. Thus, a common description is omitted.
  • the parking assistance display control method according to another embodiment of the present invention is executed by the parking assistance display control apparatus 10 of the present embodiment.
  • the in-vehicle LAN 5 is configured by, for example, CAN (Controller Area Network).
  • the in-vehicle LAN 5 is connected to the in-vehicle LAN interface 15 of the parking assistance display control device 10.
  • the in-vehicle LAN 5 gives various vehicle information related to the own vehicle to the in-vehicle LAN interface 15.
  • the vehicle information includes, for example, sensor information detected by various sensors provided on the host vehicle, information on vehicle equipment such as indicator lights and warning lights provided on the host vehicle, information indicating the state of the vehicle equipment, traveling of the vehicle Vehicle speed information indicating speed, information indicating steering angle, information indicating the state of the brake, information indicating the state of the shift lever, and the like.
  • the indicator lamp is, for example, a blinker
  • the information on the vehicle device is, for example, blinker information on the blinker.
  • the in-vehicle LAN interface 15 supplies the vehicle information given from the in-vehicle LAN 5 to the image composition unit 11, the parking space determination unit 12, and the control unit 13.
  • the control unit 13 obtains vehicle movement trajectory information representing a miracle of vehicle movement from the vehicle information given from the in-vehicle LAN 5.
  • the vehicle movement trajectory information obtained by the control unit 13 is used in each unit of the parking assistance display control device 10.
  • the operation input device 6 includes an operation input unit (not shown) operated by the user.
  • the operation input unit includes, for example, an operation switch and an operation button.
  • the operation input device 6 is used when the user inputs various information such as numerical information, character information, and instruction information to the parking assistance display control device 10.
  • the operation input device 6 When the operation input unit is operated by the user, the operation input device 6 generates operation information corresponding to the user's input operation and supplies the operation information to the control unit 13.
  • the operation input device 6 generates operation information including information indicating that the user is not operating anything when the user is not operating anything.
  • the operation input unit of the operation input device 6 may be configured by a touch panel or a voice input device capable of voice operation input instead of the operation switch and the operation button.
  • the touch panel is installed on the display screen of the display device 4 and detects the touch operation and the touch position of the user.
  • the touch panel generates operation information corresponding to the detected touch operation and the touch position, and supplies the operation information to the control unit 13.
  • the voice input device When the operation input unit of the operation input device 6 is composed of a voice input device, the voice input device recognizes the input voice. The voice input device generates operation information corresponding to the recognized voice and gives it to the control unit 13.
  • the control unit 13 functions as an image superimposing unit.
  • the control unit 13 functions as an image superimposing unit, it has the same function as the control unit 13 in the first embodiment described above. Specifically, when it is determined by the parking space determination unit 12 that there is a parking space, the control unit 13 generates a parking space display object indicating the position of the parking space, and generates the generated parking space display object.
  • the parking space image is generated by superimposing the image on the combined image generated by the image combining unit 11.
  • control unit 13 controls the entire parking assistance display control device 10 based on operation information given from the operation input device 6.
  • FIG. 3 is a block diagram showing a hardware configuration of the parking assistance display control apparatus 10 according to the second embodiment of the present invention.
  • the image composition unit 11, the parking space determination unit 12, the image output unit 14, and the control unit 13 in the parking assistance display control device 10 are realized by a processing circuit. That is, the parking support display control device 10 determines whether or not there is a parking space that can be parked around the vehicle based on the situation around the vehicle detected by the surroundings detection device 3 by the parking space determination unit 12.
  • the image composition unit 11 obtains image information representing a side image of the vehicle that is photographed in order along the traveling direction of the vehicle by the peripheral photographing device 2, and based on the obtained image information.
  • the controller 13 determines that there is a parking space by the parking space determination unit 12, the side image of the vehicle is joined along the traveling direction of the vehicle.
  • a parking space display object indicating the position is superimposed on the composite image generated by the image composition unit 11 to generate a parking space image, and the image output unit 14 Comprising a processing circuit for outputting a parking space image generated in the display device Te.
  • a dedicated hardware may be applied to the processing circuit, or a processor (Central Processing Unit, Graphics Processing Unit, processing device, arithmetic device, microprocessor, microcomputer, DSP that executes a program stored in the memory 102 101 (also referred to as “Digital Signal) Processor”) may be applied.
  • a processor Central Processing Unit, Graphics Processing Unit, processing device, arithmetic device, microprocessor, microcomputer, DSP that executes a program stored in the memory 102 101 (also referred to as “Digital Signal) Processor”) may be applied.
  • the processing circuit can be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array). Or a combination of these.
  • the functions of the image synthesizing unit 11, the parking space determination unit 12, the image output unit 14, and the control unit 13 may be realized by a plurality of processing circuits, or the functions of the respective units are combined into one processing circuit. It may be realized with.
  • each function of the image composition unit 11, the parking space determination unit 12, the image output unit 14, and the control unit 13 in the parking assistance display control device 10 includes software, firmware, Alternatively, it is realized by a combination of software and firmware.
  • Software and firmware are described as programs and stored in the memory 102.
  • the processing circuit implements the functions of each unit by reading and executing the program stored in the memory 102. That is, the parking assistance display control device 10 displays image information representing a vehicle side image of the side of the vehicle that is sequentially photographed along the traveling direction of the vehicle by the peripheral photographing device 2 when executed by the processing circuit. Based on the acquired image information, a step of generating a composite image obtained by connecting the vehicle side images along the traveling direction of the vehicle, and a situation around the vehicle detected by the periphery detection device 3 The step of determining whether there is a parking space that can be parked around the vehicle, and if it is determined that there is a parking space, a parking space display object indicating the position of the parking space is superimposed on the composite image. And a step of generating a parking space image and a step of outputting the generated parking space image to the display device 4 as a result.
  • these programs cause the computer to execute procedures and methods of processing performed by the image composition unit 11, the parking space determination unit 12, the control unit 13, and the image output unit 14.
  • the memory 102 is, for example, non-volatile or RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read Only Memory), or the like. Volatile semiconductor memories and magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versatile Discs), and the like are applicable.
  • each function of the image composition unit 11, the parking space determination unit 12, the control unit 13, and the image output unit 14 is realized by either hardware or software. It is. However, the present invention is not limited to these configurations, and part of the image composition unit 11, the parking space determination unit 12, the control unit 13, and the image output unit 14 is realized by dedicated hardware, and another part is software. A configuration realized by the above may be used.
  • the function of the control unit 13 is realized by a processing circuit as dedicated hardware, and other functions are realized by the processing circuit as a processor reading and executing a program stored in the memory 102 Is possible.
  • the processing circuit can realize the aforementioned functions by hardware, software, or the like, or a combination thereof.
  • FIG. 4 is a diagram schematically showing a state in which a vehicle side image is shot by the peripheral shooting device 2.
  • FIG. 4A is a diagram illustrating an example of a bird's-eye view of a vehicle existing on the left side of the traveling direction 32 of the host vehicle 31 as viewed from above.
  • FIG. 4B is a diagram illustrating a state in which the vehicle existing on the left side of the traveling direction 32 of the host vehicle 31 is viewed from the host vehicle 31.
  • FIG. 4C is a diagram showing the traveling direction 32 of the host vehicle 31.
  • the peripheral photographing device 2 includes a left camera 21 installed on the left side in the traveling direction 32 of the host vehicle 31 and a right camera 22 installed on the right side in the traveling direction 32 of the host vehicle 31.
  • the host vehicle 31 When performing a parking space search for searching for a parking space 30, the host vehicle 31 sequentially captures a plurality of left side images by the left camera 21 while moving forward in the traveling direction 32. As a result, images of other vehicles L1, L3, and L4 existing on the left side of the host vehicle 31 are taken.
  • photographs a some right side image in order with the right side camera 22, advancing toward the advancing direction 32.
  • FIG. Thereby, an image of another vehicle existing on the right side of the host vehicle 31 is taken.
  • the peripheral photographing device 2 photographs the vehicle side images of the side of the own vehicle 31 in order along the traveling direction 32 of the own vehicle 31.
  • the peripheral photographing device 2 generates image information representing the photographed vehicle side image and supplies the image information to the image composition unit 11 of the parking assistance display control device 10.
  • FIG. 5 is a diagram illustrating an example of a vehicle side image.
  • FIG. 5A is a diagram illustrating an example of the left side image.
  • FIG. 5B is a diagram illustrating the traveling direction 32 of the host vehicle 31.
  • FIG. 6 is a diagram illustrating an example of a composite image. In FIG. 6, a left composite image 40 is shown as an example of the left composite image.
  • FIG. 7 is a diagram illustrating an example of a parking space image. In FIG. 7, a parking space image 40A is shown as an example of the parking space image.
  • the own vehicle 31 presents a parking available space from the position Ts of the own vehicle 31 at the time when the parking space search is started (hereinafter sometimes referred to as “parking space search start position”).
  • the vehicle travels along the traveling direction 32 toward the position Te of the host vehicle 31 (hereinafter sometimes referred to as “parkable space presentation position”).
  • the peripheral photographing device 2 shown in FIG. 2 captures a side image of the side of the host vehicle 31 in order along the traveling direction 32 of the host vehicle 31.
  • a left side image of the vehicle that is, a left side image is captured by the left camera 21
  • a plurality of left side images P1, P2,..., Pn are captured as shown in FIG. .
  • FIG. 5A shows a case where n left side images are taken.
  • n is a natural number.
  • the image composition unit 11 Based on the image information acquired from the peripheral photographing apparatus 2, the image composition unit 11 generates a composite image obtained by joining the vehicle side images photographed as described above along the traveling direction 32 of the host vehicle 31. To do. For example, when a plurality of left side images P1, P2,..., Pn shown in FIG. 5A are photographed, the image composition unit 11 connects adjacent left side images P1, P2,. As shown in FIG. 6, one image is generated as the left composite image 40 of the host vehicle 31.
  • sensing by the periphery detection device 3 is performed along with shooting by the periphery imaging device 2.
  • the periphery detection device 3 is configured by, for example, an ultrasonic sensor, and senses left and right empty spaces in the traveling direction of the host vehicle 31.
  • the parking space determination unit 12 determines whether there is a parking space based on the detection information given from the periphery detection device 3.
  • a known method can be used for the sensing algorithm of the surrounding detection device 3 and the determination of the presence or absence of a parking space by the parking space determination unit 12.
  • the control unit 13 when the parking space determination unit 12 determines that there is a parking space, the control unit 13 generates a parking space display object 41 as shown in FIG.
  • the control unit 13 superimposes the generated parking space display object 41 on the synthesized image 40 shown in FIG. 6 generated by the image synthesizing unit 11, and generates a parking space image 40A shown in FIG.
  • the parking space image 40A generated in this way is given to the display device 4 and displayed on the display screen of the display device 4.
  • the parking space image 40A including the parking space display object 41 can be presented to the driver.
  • 5 to 7 show, as an example, a case where the composite image 40 and the parking space image 40A on the left side of the traveling direction 32 of the own vehicle 31 are generated, but the right side of the traveling direction 32 of the own vehicle 31 is shown.
  • the composite image and the parking space image can be generated in the same manner.
  • FIG. 8 and FIG. 9 are flowcharts showing processing procedures relating to display control processing in the parking assistance display control device 10 of the second embodiment of the present invention.
  • step S1 the in-vehicle LAN interface 15 acquires vehicle information from the in-vehicle LAN 5. If vehicle information is acquired, it will transfer to Step S2.
  • step S2 the control unit 13 acquires operation information from the operation input device 6. When the operation information is acquired, the process proceeds to step S3.
  • step S3 the control unit 13 determines whether or not a parking space search start condition is satisfied.
  • the parking space search start condition is that the vehicle speed is less than a predetermined speed, for example, less than 10 km / h, or that a parking space detection command is input from the user. If it is determined that the parking space search start condition is satisfied, the process proceeds to step S4. If it is determined that the parking space search start condition is not satisfied, the process returns to step S1.
  • step S4 the image composition unit 11 acquires image information from the peripheral photographing device 2. When the image information is acquired, the process proceeds to step S5.
  • step S ⁇ b> 5 the parking space determination unit 12 acquires vehicle periphery information from the periphery detection device 3.
  • the vehicle surrounding information is, for example, a relative position between the own vehicle and an obstacle such as another vehicle or a feature. If vehicle periphery information is acquired, it will transfer to step S6.
  • step S6 the parking space determination unit 12 performs a parking space detection process.
  • the parking space determination unit 12 determines whether there is a parking space using the vehicle periphery information acquired in step S5.
  • the parking space determination unit 12 obtains a parking space in the parking space detection process, and determines that parking is possible when there is a route for parking the host vehicle at that position. To do.
  • the parking space determination unit 12 obtains the travel route of the host vehicle from the vehicle information given from the in-vehicle LAN interface 15, the image captured by the peripheral imaging device 2, and the detection information detected by the peripheral detection device 3. Of time attribute and position attribute. The parking space determination unit 12 uses these to determine whether or not there is a route for the own vehicle to park at the position of the determined parking space. After the parking space detection process ends, the process proceeds to step S7.
  • step S7 the control unit 13 acquires operation information from the operation input device 6.
  • step S8 the process proceeds to step S8.
  • step S8 the in-vehicle LAN interface 15 acquires vehicle information from the in-vehicle LAN 5. If vehicle information is acquired, it will transfer to step S9 of FIG.
  • step S9 of FIG. 9 the control unit 13 determines whether or not a parking space search end condition is satisfied.
  • the parking space search end condition is that the vehicle speed is equal to or higher than a predetermined speed, for example, 10 km / h or higher, or that a parking space search end command is input from the user.
  • a predetermined speed for example, 10 km / h or higher
  • the process proceeds to step S10.
  • step S10 the control unit 13 determines whether or not a parking space display condition is satisfied.
  • the parking space display condition is to satisfy any of the cases where a parking space is found, the host vehicle stops, or a parking space display command is input from the user. .
  • the process proceeds to step S11.
  • the process proceeds to step S15.
  • step S11 the image composition unit 11 generates a composite image.
  • the process proceeds to step S12.
  • step S12 the control unit 13 generates a parking space display object.
  • the process proceeds to step S13.
  • step S13 the control unit 13 generates a parking space image by superimposing the parking space display object generated in step S12 on the composite image generated in step S11.
  • the process proceeds to step S14.
  • step S14 the image output unit 14 outputs the parking space image generated in step S14 to the display device 4. After outputting the parking space image to the display device 4, the process returns to step S4 in FIG.
  • step S15 the control unit 13 deletes the parking space image generated in step S14. After erasing the parking space image, the process returns to step S4 in FIG.
  • the parking space determination unit 12 determines whether or not there is a parking space around the host vehicle based on the situation around the host vehicle detected by the surroundings detection device 3.
  • Image information representing vehicle side images that are sequentially photographed along the traveling direction of the host vehicle by the peripheral photographing device 2 is acquired by the image synthesizing unit 11, and the vehicle side image is converted into the host vehicle based on the acquired image information.
  • a combined image is generated along the traveling direction.
  • the control unit 13 When it is determined by the parking space determination unit 12 that there is a parking space, the control unit 13 superimposes the parking space display object on the synthesized image generated by the image synthesis unit 11 to generate a parking space image.
  • the parking space image generated by the control unit 13 is output to the display device 4 by the image output unit 14. Accordingly, it is possible to present a parking space in a display form that can be intuitively understood by the driver.
  • FIG. 10 is a diagram showing another example of a parking space image.
  • the direction from the left side toward the right side toward the paper surface is the traveling direction 32 of the host vehicle 31.
  • the control unit 13 reduces the vehicle side image obtained by photographing the other vehicles L ⁇ b> 1, L ⁇ b> 3, and L ⁇ b> 4 as it goes from the front side to the rear side in the traveling direction 32 of the host vehicle 31.
  • the parking space image 50 may be generated. That is, the parking space image 50 may be a modified image obtained by performing image processing deformation so as to reduce the distance from the host vehicle 31 in perspective, as shown in FIG. In this case, the parking space display object 41 is also generated so as to become smaller from the front side in the traveling direction 32 of the host vehicle 31 toward the rear side together with the vehicle side images obtained by photographing the other vehicles L1, L3, and L4. Is done.
  • the parking space image 50 By constructing the parking space image 50 with such an image, the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • FIG. 11 is a diagram showing another example of a parking space image.
  • the host vehicle 31 is indicated by a virtual line for easy understanding.
  • the control unit 13 displays the vehicle side image from the upper side toward the display screen of the display device 4 along the traveling direction 32 of the host vehicle 31 corresponding to the display screen of the display device 4.
  • the parking space image 51 may be generated so as to be sequentially displayed on the lower side.
  • the parking space image 51 may include a parking space display object 41 together with a vehicle side image obtained by photographing the other vehicles L1, L3, and L4.
  • control unit 13 moves the vehicle side image toward the display screen of the display device 4 along the traveling direction 32 of the host vehicle 31 corresponding to the display screen of the display device 4.
  • the parking space image 40 ⁇ / b> A may be generated so as to be displayed in order from the left side to the right side.
  • the parking space images 40A and 51 by generating the parking space images 40A and 51, it is possible to display the parked vehicle L4 closest to the host vehicle 31 in a direction closer to the host vehicle 31. Therefore, the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • FIG. 12 is a diagram showing another example of a parking space image.
  • the control unit 13 may generate the parking space image 52 such that the composite image is displayed with a predetermined rotation angle ⁇ rotation from the traveling direction 32 of the host vehicle 31 with the position of the host vehicle 31 as a fulcrum.
  • ⁇ rotation rotation angle
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • control unit 13 may further generate a parking space image 52 by superimposing a vehicle position display object indicating the position of the host vehicle 31 on the composite image.
  • a vehicle position display object indicating the position of the host vehicle 31 on the composite image.
  • FIG. 13 is a diagram illustrating a situation where left and right vehicle side images are captured by the left and right cameras 21 and 22 of the vehicle.
  • FIG. 13A is a top view of the left region of the host vehicle 31 as viewed from above.
  • FIG. 13B is a diagram showing a captured left side image.
  • FIG. 13C is a diagram illustrating a traveling state of the host vehicle 31.
  • FIG. 13D is a diagram showing a captured right side image.
  • FIG. 13E is a top view of the right region of the host vehicle 31 as viewed from above.
  • the left and right vehicle side images that is, the right side image and the left side image are taken by the left and right cameras 21 and 22 of the apparatus 2.
  • the parking space determination unit 12 performs a parking space search for searching the left and right parking spaces. Thereby, for example, the left parking space SL and the right parking space SR are detected.
  • FIG. 14 is a diagram showing an example of a parking space image in the case shown in FIG.
  • the control unit 13 superimposes display objects indicating the parking spaces SL and SR on the left and right composite images 61 and 62, that is, the left composite image 61 and the right composite image 62.
  • the parking space image 60 including the left and right parking spaces SL and SR is generated.
  • a parking space image 60 By setting it as such a parking space image 60, a parking space can be shown to a driver with the display form which can be understood more intuitively.
  • the right composite image 62 is displayed so that the end of the image of the vehicle R4 closest to the host vehicle 31 coincides with the reference line 63, for example.
  • the left composite image 61 for example, the end of the image of the vehicle L4 closest to the host vehicle 31 is displayed away from the reference line 63 on the opposite side of the traveling direction of the host vehicle 31.
  • FIG. 15 is a diagram showing another example of a parking space image.
  • the control unit 13 displays the left composite image 61 in the predetermined first display area 71 and the right composite image 62 in the predetermined second display area 72 in the display screen of the display device 4.
  • the parking space image 70 may be generated.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • the first display area 71 is a left area toward the display screen of the display device 4
  • the second display area 72 is a right area toward the display screen of the display device 4.
  • the backgrounds of the display areas 71 and 72 may be displayed in different display forms.
  • the display area other than the second display area 72 having the recommended parking space SR that is, the background of the first display area 71 is semi-transparently processed and displayed darker than the background of the second display area 72. You may let them.
  • the first display area 71 is hatched to indicate that it is displayed darker than the background of the second display area 72.
  • the backgrounds of the display areas 71 and 72 may be displayed with a gradation or a pattern added instead of being displayed semi-transparently.
  • FIG. 16 is a diagram illustrating another example of the parking space image.
  • the control unit 13 causes the left composite image 61 and the right composite image 62 from the left to the right toward the display screen of the display device 4 along the traveling direction 32 of the host vehicle 31 corresponding to the display screen of the display device 4.
  • the parking space image 80 may be generated so as to be displayed in order.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • the control unit 13 displays the left composite image 61 in the predetermined first display area 81 in the display screen of the display device 4, and sets the predetermined second display area 82.
  • the parking space image 80 may be generated so that the right-side composite image 62 is displayed.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • the first display region 81 is an upper region toward the display screen of the display device 4, and the second display region 82 is a lower region toward the display screen of the display device 4. . This configuration is suitable when the display screen of the display device 4 is horizontally long.
  • the vehicle 31 is displayed on the right side toward the display screen of the display device 4.
  • the position of the host vehicle 31 is not limited to up / down / left / right, but may be in any direction.
  • the north side may be north up with the upper side facing the display screen.
  • the backgrounds of the display areas 81 and 82 may be displayed in different display forms as in the example shown in FIG.
  • the display area other than the second display area 82 where the recommended parking space SR is present that is, the background of the first display area 81 is translucently processed and displayed darker than the background of the second display area 82. You may let them.
  • the first display area 81 is hatched to indicate that it is displayed darker than the background of the second display area 82.
  • the background of each of the display areas 81 and 82 may be displayed with a gradation or a pattern added instead of being displayed semi-transparently.
  • FIG. 17 is a diagram showing another example of a parking space image.
  • the parking space image 90 includes a recommended space in addition to a first display area 91 in which the left composite image 61 is displayed and a second display area 92 in which the right composite image 62 is displayed.
  • the third display area 93 may be included.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • the right composite image 62 is similar to the left composite image 61 in the upward direction toward the display screen of the display device 4 and in the upward direction of the display objects indicating the vehicles R1, R2, and R4. May be displayed so as to be located.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • FIG. 18 is a diagram showing another example of a parking space image.
  • the control unit 13 displays the left composite image 61 and the right composite image 62 with predetermined rotation angles ⁇ l and ⁇ r rotated in opposite directions from the traveling direction 32 of the host vehicle 31 with the position of the host vehicle 31 as a fulcrum.
  • the parking space image 110 may be generated.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • the rotation angle ⁇ l of the left composite image 61 refers to the left side images of the vehicles L1, L3, and L4 included in the left composite image 61 from the own vehicle reference line 113 indicating the traveling direction 32 of the own vehicle 31. The angle by which the left reference line 111 as a reference is rotated.
  • the rotation angle ⁇ r of the right composite image 62 is the rotation of the right reference line 112 serving as a reference for arranging the right side images of the vehicles R1, R2, and R4 included in the right composite image 62 from the own vehicle reference line 113. Angle.
  • FIG. 19 is a diagram showing another example of a parking space image.
  • the parking space image 120 is obtained by rotating the left composite image 61 and the right composite image 62 by 90 ° in the opposite directions from the traveling direction 32 of the host vehicle 31 with the position of the host vehicle 31 as a fulcrum. It may be a thing.
  • the vehicles L1, L3, and L4 included in the left composite image 61 are arranged in a line along the virtual line 121, for example.
  • the vehicles R1, R2, R4 included in the right composite image 62 are arranged in a line along the virtual line 122, for example.
  • the left composite image 61 and the right composite image 62 may be displayed in a line along the same line.
  • the parking space image 120 shown in FIG. 19 is suitable, for example, when the display screen of the display device 4 is horizontally long. In this case, the entire parking space image 120 may be rotated.
  • FIG. 20 is a diagram illustrating an example of a travel locus 33 of the host vehicle 31.
  • 21 to 41 are diagrams showing other examples of parking space images.
  • the host vehicle 31 includes a left-side parked vehicle group including vehicles L 1, L 3, and L 4 that are parked at the center of the left and right parked vehicle groups, that is, the left side of the host vehicle 31.
  • the vehicle travels while performing a parking space search at a position slightly to the left of the middle position with the right-side parked vehicle group including the vehicles R1, R2, and R4 parked on the right side, and stops at the position shown in FIG.
  • the traveling locus 33 of the host vehicle 31 is as shown in FIG.
  • the parking assistance display control device 10 detects a candidate parking space.
  • the parking assistance display control device 10 detects two parking space candidates.
  • the parking support display control device 10 is configured so that, for example, by the periphery detection device 3, the distance between the host vehicle 31 on the side of the host vehicle 31 and the object on the side of the host vehicle 31 while the host vehicle 31 is traveling. (Hereinafter sometimes referred to as “side distance”). Specifically, the side distance is the shortest distance between the travel locus 33 at the time of parking space search of the host vehicle 31 and an object on the side of the host vehicle 31.
  • the side distance is the travel locus 33 when the parking space search of the host vehicle 31 is performed, and the vehicles L1, The distances dl and dr with the front ends of L3, L4, R1, R2 and R4 on the own vehicle 31 side.
  • the parking assist display control device 10 may be referred to as a distance between the host vehicle 31 and an object on the side of the host vehicle 31 in the traveling direction of the host vehicle 31 (hereinafter referred to as “traveling direction distance”), for example.
  • the traveling direction distance is the shortest distance between the rear end of the traveling direction of the host vehicle 31 at the stop position and the object on the side of the traveling vehicle 31.
  • the traveling direction distance is the end of the traveling direction rear side of the host vehicle 31 at the stop position and each vehicle L1.
  • L 3, L 4, R 1, R 2, R 4 distances H 1, Hr with the side surface portion on the own vehicle 31 side.
  • the control unit 13 determines whether the display device 4 is in accordance with the positional relationship between the host vehicle 31 and the vehicles or parking spaces that are present on the right and left sides of the travel locus 33 of the host vehicle 31.
  • the parking space images 140 and 150 may be generated so as to change the display positions of the left composite image 61 and the right composite image 62 on the display screen.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • the control unit 13 may generate the parking space image 160 so as to include a parking space display area 161 and an information display area 162. Similar to the parking space image 140 shown in FIG. 21 described above, an image including the parking spaces SL and SR is displayed in the parking space display area 161. In the information display area 162, for example, character information indicating whether the parking spaces SL and SR are present on the left side or the right side of the host vehicle 31 is displayed.
  • the parking space image 160 is divided into a plurality of areas, specifically, the parking space display area 161 and the information display area 162, so that the driver can understand the display more intuitively. Parking space can be presented.
  • the parking space images 150 and 170 may include a vehicle position display object 151 indicating the position of the host vehicle 31.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • the parking space image 170 is divided into a host vehicle display area 171 in which the host vehicle position display object 151 is displayed and a composite image display area 172 in which the composite images 61 and 62 are displayed. It may be a configured.
  • the control unit 13 displays a rear image 173 on the rear side in the traveling direction 32 of the host vehicle 31 photographed by the peripheral photographing device 2 between the left composite image 61 and the right composite image 62.
  • the parking space image 170 may be generated by inserting and joining the left composite image 61, the rear image 171 and the right composite image 62 together.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • the control unit 13 may generate the parking space image 180 so that a part of the parking space image 180 is displayed in a display form different from the remaining part.
  • a part of the parking space image 180 specifically, the own vehicle display area 183 in which the own vehicle 31 is displayed, in particular, the peripheral image 184 of the own vehicle 31 is displayed as an overhead image.
  • areas other than the host vehicle display area 183, for example, the composite image display areas 181 and 182 in which the composite images 61 and 62 are displayed may be displayed as two-dimensional images.
  • the parking space can be presented to the driver in a display form that can be more intuitively understood.
  • the parking available space may be displayed as a part of the parking space image in a display form different from the remaining part. As a result, the same effect can be obtained.
  • a parking space display object 192 generated by starting up a predetermined angle ⁇ as shown in FIG. 27 may be displayed as shown in FIG. Further, as shown in FIG. 28, a parallelogram parking space display object 193 may be used, or as shown in FIG. 29, a curved parking space display object 194 may be used. Further, as shown in FIGS. 30 to 34, parking space display objects 210, 211, 212, 213, and 214 having various shapes may be used.
  • the parking space display objects 223 and 224 may be displayed as bird's-eye images.
  • the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • the parking space display object 230 may include a marker display object 231 indicating a road surface scratch 232.
  • the parking space display object 240 may include a marker display object 241 indicating a portion where the wheel stopper 243 is damaged, that is, the damaged wheel stopper 242.
  • the control unit 13 may generate a parking space image 250 including a plurality of images expressed from different viewpoints.
  • the parking space image 250 may include two types of images: synthesized images 61 and 62 obtained by synthesizing the vehicle side images, and images expressed from viewpoints different from the synthesized images 61 and 62.
  • the parking space image 251 in the left area toward the paper surface of FIG. 38 is displayed as an overhead image or highlighted, and the parking space image 70 in the right area toward the paper surface in FIG.
  • the synthesized images 61 and 62 are displayed.
  • the parking space image 250 can be presented to the driver in a display form that can be understood more intuitively.
  • the parking space image 70 in the area on the right side of FIG. 38 includes a left area 71 on the left side of FIG. 38 and a right area 72 on the right side of FIG.
  • the left area 71 and the right area 72 are generated so that the backgrounds are different. Accordingly, the parking spaces SL and SR can be presented to the driver in a display form that can be more intuitively understood.
  • the parking space image 260 is generated so that the most recommended parking space and the remaining parking space are displayed in different display forms. May be. Specifically, as shown in FIG. 41, the most recommended parking space among the left composite image 61 and the right composite image 62 is displayed in a display form or display space different from the remaining one. As such, a parking space image may be generated. Thus, the parking space can be presented to the driver in a display form that can be understood more intuitively.
  • FIG. 42 is a block diagram showing the configuration of the parking assistance apparatus 201 according to the third embodiment of the present invention.
  • the parking assistance device 201 includes a parking assistance display control device 10 ⁇ / b> A, a peripheral photographing device 2, a peripheral detection device 3, a display device 4, an in-vehicle LAN 5, an operation input device 6, and a travel drive device 7.
  • the parking assistance display control device 10 ⁇ / b> A includes an image composition unit 11, a parking space determination unit 12, a control unit 13, an image output unit 14, and an automatic parking control unit 16.
  • the parking support display control device 10A is mounted on a moving body such as a vehicle, for example.
  • the peripheral photographing device 2, the peripheral detection device 3, the display device 4, the in-vehicle LAN 5, the operation input device 6, and the travel drive device 7 are provided in the host vehicle on which the parking assist display control device 10A is mounted.
  • parking support apparatus 201 of the present embodiment includes the same configuration as parking support apparatus 100 of the first embodiment and parking support apparatus 200 of the second embodiment, the same configuration is used. Are denoted by the same reference numerals, and a common description is omitted.
  • the parking assistance display control method according to another embodiment of the present invention is executed by the parking assistance display control apparatus 10A of the present embodiment.
  • the automatic parking control unit 16 controls the driving device 7 based on the parking space information and the parking space selection information, and executes automatic parking.
  • the traveling drive device 7 controls the steering wheel, brake, and accelerator of the vehicle to drive the vehicle.
  • FIG. 43 is a diagram showing an example of the parking space image 290 according to the third embodiment of the present invention.
  • the parking space image 290 includes a display object 291 for selecting a parking available space.
  • the display object 291 includes a character display area 292 for displaying characters such as “Please select a parking space”, a button 293 for selecting the left parking space SL, and a right parking space SR.
  • the parking space image 290 includes a vehicle side image, it is possible to obtain the same effects as those of the first and second embodiments described above.
  • the parking support display control device of the present embodiment described above is not only a navigation device that can be mounted on a vehicle, but also a parking support system constructed as a system by appropriately combining communication terminal devices, server devices, and the like. Can be applied.
  • the communication terminal device is, for example, a PND (Portable Navigation Device) and a portable communication device having a function of communicating with a server device.
  • the mobile communication device is, for example, a mobile phone, a smartphone, and a tablet terminal device.
  • each component of the parking assistance display control device includes each device that constructs the system. It may be arranged in a distributed manner, or may be arranged concentrated on any device.
  • the image composition unit, the parking space determination unit, and the control unit provided in the parking assistance display control device may be arranged in the server device or in a communication terminal device such as a portable communication device.
  • the parking assistance apparatus in the case where the image composition unit, the parking space determination unit, and the control unit provided in the parking assistance display control device described above are arranged in the server device has a configuration shown in the following fourth embodiment. . Moreover, the parking assistance apparatus in case the above-mentioned image composition part, parking space determination part, and control part are arrange
  • positioned at a portable communication apparatus has a structure shown in the following 5th Embodiment.
  • FIG. 44 is a block diagram showing a configuration of a parking assistance apparatus 500 according to the fourth embodiment of the present invention.
  • the parking assistance apparatus 500 according to the present embodiment includes an information providing apparatus 300 and a server apparatus 400. Since the parking support device 500 of the present embodiment includes the same configuration as the parking support devices 100 and 200 of the first and second embodiments described above, the same reference numerals are used for the same configuration. In addition, a common description is omitted.
  • the information providing apparatus 300 is mounted on a vehicle.
  • the information providing apparatus 300 includes an information providing apparatus main body 310, a peripheral photographing apparatus 2, a peripheral detection apparatus 3, a display apparatus 4, an in-vehicle LAN 5, and an operation input apparatus 6.
  • the information providing apparatus main body 310 includes an image output unit 14, an in-vehicle LAN interface 15, an in-vehicle side control unit 311, and an in-vehicle side communication unit 312.
  • the in-vehicle side control unit 311 includes, for example, a CPU (Central Processing Unit) and a memory such as a writable RAM.
  • the memory stores a control program.
  • the CPU controls the image output unit 14, the in-vehicle LAN interface 15, and the in-vehicle side communication unit 312 in an integrated manner by executing a control program stored in the memory.
  • the server device 400 includes an image composition unit 11, a parking space determination unit 12, a server side communication unit 401, and a server side control unit 402.
  • the server side communication unit 401 communicates with the information providing apparatus 300.
  • the server side communication unit 401 is configured to be able to communicate with the information providing apparatus 300 via a communication network such as the Internet, for example.
  • the server-side control unit 402 includes, for example, a CPU and a memory such as a writable RAM.
  • the memory stores a control program.
  • the CPU executes the control program stored in the memory, thereby comprehensively controlling the image composition unit 11, the parking space determination unit 12, and the server side communication unit 401.
  • the image composition unit 11, the parking space determination unit 12, and the server-side control unit 402 are arranged in the server device 400. Even in this arrangement, the same effects as those of the first to third embodiments can be obtained.
  • FIG. 45 is a block diagram showing a configuration of a parking assistance apparatus 510 according to the fifth embodiment of the present invention.
  • the parking assistance apparatus 510 according to the present embodiment includes an information providing apparatus 300 and a portable communication apparatus 410. Since the parking support device 500 of the present embodiment includes the same configuration as the parking support device 500 of the fourth embodiment described above, the same configuration is denoted by the same reference numeral and is common. Description to be omitted is omitted.
  • the mobile communication device 410 is realized by, for example, a mobile phone, a smartphone, or a tablet terminal device.
  • the mobile communication device 410 includes an image composition unit 11, a parking space determination unit 12, a mobile side communication unit 411, and a mobile side control unit 412.
  • the mobile communication unit 411 communicates with the information providing apparatus 300.
  • the mobile communication unit 411 When communicating with the information providing apparatus 300, the mobile communication unit 411 is configured to be able to communicate with the information providing apparatus 300 via a communication network such as the Internet, for example. Further, when communicating with the information providing apparatus 300, the portable communication unit 411 communicates with the information providing apparatus 300 by wireless such as Bluetooth (registered trademark) or wireless LAN, which is a short-range wireless communication standard. It may be configured to be possible. Further, the mobile communication unit 411 may be configured to be able to communicate with the information providing apparatus 300 by a wired line such as a USB (Universal Serial Bus) cable or a LAN cable.
  • USB Universal Serial Bus
  • the portable side control unit 412 is constituted by, for example, a CPU and a memory such as a writable RAM.
  • the memory stores a control program.
  • the CPU executes the control program stored in the memory, thereby comprehensively controlling the image composition unit 11, the parking space determination unit 12, and the mobile communication unit 411.
  • the image composition unit 11, the parking space determination unit 12, and the portable side control unit 412 are arranged in the portable communication device 410. Even in this arrangement, the same effects as those of the first to third embodiments can be obtained.
  • 1, 10, 10A Parking support display control device 2 peripheral photographing device, 3 peripheral detection device, 4 display device, 5 in-vehicle LAN, 6 operation input device, 7 travel drive device, 11 image compositing unit, 12 parking space judgment Unit, 13 control unit, 14 image output unit, 15 in-vehicle LAN interface, 16 automatic parking control unit, 21 left camera, 22 right camera, 100, 200, 201, 500, 510 parking assist device, 311 in-vehicle control unit, 312 On-vehicle side communication unit, 300 information providing device, 310 information providing device body, 400 server device, 401 server side communication unit, 402 server side control unit, 410 mobile communication device, 411 mobile side communication unit, 412 mobile side control unit.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

周辺撮影装置(21,22)によって車両(31)の進行方向(32)に沿って順に撮影される車両(31)の側方の車両側方画像(P1,P2,…,Pn)を表す画像情報を取得する。取得した画像情報に基づいて、車両側方画像(P1,P2,…,Pn)を車両(31)の進行方向(32)に沿って繋ぎ合わせた合成画像を生成する。周辺検出装置によって検出される車両(31)の周辺の状況に基づいて、駐車可能スペースが有るか否かを判断する。駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを合成画像に重畳して駐車スペース画像を生成し、表示装置に出力する。

Description

駐車支援用表示制御装置および駐車支援用表示制御方法
 本発明は、駐車支援用表示制御装置および駐車支援用表示制御方法に関する。
 車両の駐車を支援するために、駐車可能なスペースを検出し、運転者に提示する技術が提案されている。たとえば、特許文献1,2に開示される技術では、車両に搭載される複数のカメラで撮影された画像から、車両の上方から見たような俯瞰画像が合成され、運転者に提示される。
特開2006-129021号公報 特開2013-133098号公報
 駐車可能スペースを探すために車両が比較的低い速度で移動している場合、運転者は、運転席の位置から周辺を見る。前述の特許文献1,2に開示される技術では、駐車可能スペースは、俯瞰画像として運転者に提示されるので、運転者が現実に見た情景とは異なる。したがって、運転者が、提示された駐車可能スペースを即座に理解できない場合があるという問題がある。
 以上のことから、より直感的に運転者に駐車可能スペースを提示することができる技術が求められる。
 本発明の目的は、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる駐車支援用表示制御装置および駐車支援用表示制御方法を提供することである。
 本発明の駐車支援用表示制御装置は、周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断する駐車可能スペース判断部と、周辺撮影装置によって車両の進行方向に沿って順に撮影される車両の側方の車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像を生成する画像合成部と、駐車可能スペース判断部によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを、画像合成部によって生成された合成画像に重畳して、駐車スペース画像を生成する制御部と、制御部によって生成された駐車スペース画像を表示装置に出力する画像出力部とを備えることを特徴とする。
 本発明の駐車支援用表示制御方法は、周辺撮影装置によって車両の進行方向に沿って順に撮影される車両の側方の車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像を生成し、周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断し、駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを合成画像に重畳して駐車スペース画像を生成し、生成された駐車スペース画像を表示装置に出力することを特徴とする。
 本発明の駐車支援用表示制御装置によれば、周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能スペースが有るか否かが、駐車可能スペース判断部によって判断される。周辺撮影装置によって車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が画像合成部によって取得され、取得された画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。駐車可能スペース判断部によって駐車可能スペースが有ると判断された場合、制御部によって、駐車スペース表示オブジェクトが、画像合成部によって生成された合成画像に重畳されて、駐車スペース画像が生成される。制御部によって生成された駐車スペース画像が、画像出力部によって表示装置に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
 本発明の駐車支援用表示制御方法によれば、周辺撮影装置によって車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が取得され、取得された画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。周辺検出装置によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能スペースが有るか否かが判断される。駐車可能スペースが有ると判断された場合、駐車スペース表示オブジェクトが合成画像に重畳されて、駐車スペース画像が生成される。生成された駐車スペース画像が表示装置に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
 本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の第1の実施の形態における駐車支援装置100の構成を示すブロック図である。 本発明の第2の実施の形態における駐車支援装置200の構成を示すブロック図である。 本発明の第2の実施の形態における駐車支援用表示制御装置10のハードウェア構成を示すブロック図である。 周辺撮影装置2によって車両側方画像が撮影される様子を模式的に示す図である。 車両側方画像の一例を示す図である。 合成画像の一例を示す図である。 駐車スペース画像の一例を示す図である。 本発明の第2の実施の形態の駐車支援用表示制御装置10における表示制御処理に関する処理手順を示すフローチャートである。 本発明の第2の実施の形態の駐車支援用表示制御装置10における表示制御処理に関する処理手順を示すフローチャートである。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 車両の左右のカメラ21,22で左右の車両側方画像を撮影する様子を示す図である。 図13に示す場合の駐車スペース画像の一例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 自車両31の走行軌跡33の一例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 駐車スペース画像の他の例を示す図である。 本発明の第3の実施の形態における駐車支援装置201の構成を示すブロック図である。 本発明の第3の実施の形態における駐車スペース画像290の一例を示す図である。 本発明の第4の実施の形態における駐車支援装置500の構成を示すブロック図である。 本発明の第5の実施の形態における駐車支援装置510の構成を示すブロック図である。
 <第1の実施の形態>
 図1は、本発明の第1の実施の形態における駐車支援装置100の構成を示すブロック図である。駐車支援装置100は、駐車支援用表示制御装置1、周辺撮影装置2、周辺検出装置3および表示装置4を備えて構成される。駐車支援用表示制御装置1は、画像合成部11、駐車可能スペース判断部12、制御部13および画像出力部14を備える。
 駐車支援用表示制御装置1は、車両に搭載されて使用される。周辺撮影装置2、周辺検出装置3および表示装置4は、駐車支援用表示制御装置1を搭載する車両(以下「自車両」という場合がある)に設けられる。本発明の他の実施の形態である駐車支援用表示制御方法は、本実施の形態の駐車支援用表示制御装置1によって実行される。
 周辺撮影装置2は、カメラによって構成される。本実施の形態では、周辺撮影装置2は、自車両の進行方向の右側方、左側方および後方に設けられる。周辺撮影装置2は、自車両の周辺の画像、具体的には、自車両の進行方向の右側方、左側方および後方の画像を撮影する。以下の説明では、自車両の進行方向の右側方の画像を「右側方画像」といい、自車両の進行方向の左側方の画像を「左側方画像」といい、自車両の進行方向の後方の画像を「後方画像」という場合がある。
 周辺撮影装置2は、自車両の進行方向に沿って順に、自車両の側方の画像(以下「車両側方画像」という場合がある)を撮影する。周辺撮影装置2は、駐車支援用表示制御装置1の画像合成部11に接続されている。周辺撮影装置2によって撮影された画像を表す画像情報は、画像合成部11に与えられる。
 画像合成部11は、周辺撮影装置2から、車両側方画像などを表す画像情報を取得する。画像合成部11は、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合せた合成画像を生成する。
 周辺検出装置3は、自車両の周辺の状況を検出する。具体的には、周辺検出装置3は、自車両の周辺に存在する物体を検出するとともに、自車両と物体との相対位置を検出する。自車両の周辺に存在する物体は、たとえば他の車両および地物である。周辺検出装置3は、たとえば、超音波センサ、画像処理センサ、ミリ波レーダおよびレーザレーダのうちの少なくとも1つによって構成される。画像処理センサは、カメラであってもよい。
 周辺検出装置3は、駐車支援用表示制御装置1の駐車可能スペース判断部12に接続されている。周辺検出装置3は、検出した自車両の周辺の状況を表す検出情報を生成する。たとえば、周辺検出装置3は、検出した物体、および自車両と物体との相対位置を表す検出情報を生成する。周辺検出装置3は、生成した検出情報を駐車可能スペース判断部12に与える。
 駐車可能スペース判断部12は、周辺検出装置3によって検出される自車両の周辺の状況、具体的には周辺検出装置3から与えられる検出情報に基づいて、自車両の周辺に駐車可能なスペースである駐車可能スペースが有るか否かを判断する。本実施の形態では、駐車可能スペース判断部12は、駐車可能スペースとして、駐車可能な区画が有るか否かを判断する。
 制御部13は、駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを生成する。制御部13は、生成した駐車スペース表示オブジェクトを、画像合成部11によって生成された合成画像に重畳して、駐車スペース画像を生成する。
 画像出力部14は、制御部13によって生成された駐車スペース画像、具体的には駐車スペース画像を表す画像情報を表示装置4に出力する。
 表示装置4は、たとえば液晶ディスプレイ、ヘッドアップディスプレイなどによって構成される。表示装置4は、画像出力部14から与えられる画像情報が表す画像を表示画面に表示する。これによって、駐車支援用表示制御装置1の使用者、たとえば自車両の運転者に、各種の情報、たとえば駐車可能スペースを提示することができる。
 以上のように本実施の形態によれば、周辺検出装置3によって検出される自車両の周辺の状況に基づいて、自車両の周辺に駐車可能スペースが有るか否かが、駐車可能スペース判断部12によって判断される。周辺撮影装置2によって自車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が画像合成部11によって取得され、取得された画像情報に基づいて、車両側方画像を自車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。
 駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、制御部13によって、駐車スペース表示オブジェクトが、画像合成部11によって生成された合成画像に重畳されて、駐車スペース画像が生成される。制御部13によって生成された駐車スペース画像が、画像出力部14によって表示装置4に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
 以上に述べた本実施の形態では、周辺撮影装置2と周辺検出装置3とが別個に設けられているが、周辺撮影装置2が周辺検出装置3を兼ねていてもよい。
 <第2の実施の形態>
 図2は、本発明の第2の実施の形態における駐車支援装置200の構成を示すブロック図である。駐車支援装置200は、駐車支援用表示制御装置10、周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN(Local Area Network)5および操作入力装置6を備えて構成される。駐車支援用表示制御装置10は、画像合成部11、駐車可能スペース判断部12、制御部13、画像出力部14および車内LANインタフェース15を備える。
 駐車支援用表示制御装置10は、車両に搭載されて使用される。周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN5および操作入力装置6は、駐車支援用表示制御装置10を搭載する自車両に設けられる。
 本実施の形態の駐車支援装置200は、前述の図1に示す第1の実施の形態の駐車支援装置100と同一の構成を含んでいるので、同一の構成については同一の参照符号を付して、共通する説明を省略する。本発明の他の実施の形態である駐車支援用表示制御方法は、本実施の形態の駐車支援用表示制御装置10によって実行される。
 車内LAN5は、たとえばCAN(Controller Area Network)によって構成される。車内LAN5は、駐車支援用表示制御装置10の車内LANインタフェース15に接続されている。車内LAN5は、自車両に関する種々の車両情報を車内LANインタフェース15に与える。
 車両情報は、たとえば、自車両に設けられた種々のセンサによって検出したセンサ情報、自車両に設けられた表示灯および警告灯などの車両機器に関する情報、車両機器の状態を示す情報、車両の走行速度を表す車速情報、操舵角度を表す情報、ブレーキの状態を示す情報、ならびにシフトレバーの状態を示す情報などである。表示灯は、たとえばウインカーであり、車両機器に関する情報は、たとえばウインカーに関するウインカー情報である。
 車内LANインタフェース15は、車内LAN5から与えられた車両情報を、画像合成部11、駐車可能スペース判断部12および制御部13に与える。制御部13は、車内LAN5から与えられた車両情報から、車両の移動の奇跡を表す車両移動軌跡情報を求める。制御部13によって求められる車両移動軌跡情報は、駐車支援用表示制御装置10の各部で利用される。
 操作入力装置6は、使用者によって操作される不図示の操作入力部を備える。操作入力部は、たとえば、操作スイッチおよび操作ボタンを含む。操作入力装置6は、使用者が、数字情報、文字情報および駐車支援用表示制御装置10への指示情報などの各種の情報を入力するときに用いられる。使用者によって操作入力部が操作されると、操作入力装置6は、使用者の入力操作に応じた操作情報を生成して、制御部13に与える。操作入力装置6は、使用者が何も操作していないときには、使用者が何も操作していないことを表す情報を含む操作情報を生成する。
 操作入力装置6の操作入力部は、操作スイッチおよび操作ボタンの代わりに、タッチパネル、または音声による操作入力が可能な音声入力装置によって構成されてもよい。
 操作入力装置6の操作入力部がタッチパネルで構成される場合、タッチパネルは、表示装置4の表示画面上に設置され、使用者のタッチ操作とタッチ位置とを検出する。タッチパネルは、検出したタッチ操作とタッチ位置とに応じた操作情報を生成して、制御部13に与える。
 操作入力装置6の操作入力部が音声入力装置で構成される場合、音声入力装置は、入力された音声を認識する。音声入力装置は、認識した音声に応じた操作情報を生成して、制御部13に与える。
 制御部13は、画像重畳部として機能する。制御部13が画像重畳部として機能する場合、前述の第1の実施の形態における制御部13と同様の機能を有する。具体的には、制御部13は、駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを生成し、生成した駐車スペース表示オブジェクトを、画像合成部11によって生成された合成画像に重畳して、駐車スペース画像を生成する。
 また制御部13は、操作入力装置6から与えられる操作情報に基づいて、駐車支援用表示制御装置10の全体を制御する。
 図3は、本発明の第2の実施の形態における駐車支援用表示制御装置10のハードウェア構成を示すブロック図である。駐車支援用表示制御装置10における画像合成部11、駐車可能スペース判断部12、画像出力部14および制御部13は、処理回路によって実現される。すなわち、駐車支援用表示制御装置10は、駐車可能スペース判断部12が、周辺検出装置3によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断し、画像合成部11が、周辺撮影装置2によって車両の進行方向に沿って順に撮影される車両の側方の車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像を生成し、制御部13が、駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを、画像合成部11によって生成された合成画像に重畳して、駐車スペース画像を生成し、画像出力部14が、制御部13によって生成された駐車スペース画像を表示装置に出力するための処理回路を備える。
 処理回路には、専用のハードウェアが適用されてもよいし、メモリ102に記憶されるプログラムを実行するプロセッサ(Central Processing Unit、Graphics Processing Unit、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)ともいう)101が適用されてもよい。
 処理回路が専用のハードウェアである場合、処理回路は、たとえば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。画像合成部11、駐車可能スペース判断部12、画像出力部14および制御部13の各部の機能は、それぞれ、複数の処理回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
 処理回路がプロセッサを用いて構成されている場合、駐車支援用表示制御装置10における画像合成部11、駐車可能スペース判断部12、画像出力部14および制御部13の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ102に記憶される。
 処理回路は、メモリ102に記憶されたプログラムを読み出して実行することによって、各部の機能を実現する。すなわち、駐車支援用表示制御装置10は、処理回路によって実行されるときに、周辺撮影装置2によって車両の進行方向に沿って順に撮影される車両の側方の車両側方画像を表す画像情報を取得し、取得した画像情報に基づいて、車両側方画像を車両の進行方向に沿って繋ぎ合わせた合成画像を生成するステップと、周辺検出装置3によって検出される車両の周辺の状況に基づいて、車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断するステップと、駐車可能スペースが有ると判断された場合、駐車可能スペースの位置を示す駐車スペース表示オブジェクトを合成画像に重畳して駐車スペース画像を生成するステップと、生成された駐車スペース画像を表示装置4に出力するステップとが結果的に実行されることになるプログラムを記憶するためのメモリ102を備える。
 また、これらのプログラムは、画像合成部11、駐車可能スペース判断部12、制御部13および画像出力部14が行う処理の手順および方法をコンピュータに実行させるものであるともいえる。
 ここで、メモリ102は、たとえば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、ならびに磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、およびDVD(Digital Versatile Disc)などが該当する。
 以上のように、本実施の形態では、画像合成部11、駐車可能スペース判断部12、制御部13および画像出力部14の各機能は、ハードウェアおよびソフトウェアなどのいずれか一方で実現される構成である。しかし、これらの構成に限られるものではなく、画像合成部11、駐車可能スペース判断部12、制御部13および画像出力部14の一部を専用のハードウェアで実現し、別の一部をソフトウェアなどで実現する構成であってもよい。たとえば、制御部13については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサとしての処理回路がメモリ102に記憶されたプログラムを読み出して実行することによってその機能を実現することが可能である。
 以上のように、処理回路は、ハードウェア、ソフトウェアなど、またはこれらの組み合わせによって、前述の各機能を実現することができる。
 図4は、周辺撮影装置2によって車両側方画像が撮影される様子を模式的に示す図である。図4(a)は、自車両31の進行方向32の左側方に存在する車両を上方から見た俯瞰画像の一例を示す図である。図4(b)は、自車両31の進行方向32の左側方に存在する車両を自車両31から見た状態を示す図である。図4(c)は、自車両31の進行方向32を示す図である。周辺撮影装置2は、自車両31の進行方向32の左側に設置される左側カメラ21と、自車両31の進行方向32の右側に設置される右側カメラ22とを含む。
 駐車可能スペース30をサーチする駐車スペースサーチを行うとき、自車両31は、進行方向32に向かって前進しながら、左側カメラ21によって、複数の左側方画像を順に撮影する。これによって、自車両31の左側方に存在する他の車両L1,L3,L4の画像が撮影される。
 図示は省略するが、自車両31は、進行方向32に向かって前進しながら、右側カメラ22によって、複数の右側方画像を順に撮影する。これによって、自車両31の右側方に存在する他の車両の画像が撮影される。
 このように周辺撮影装置2は、自車両31の進行方向32に沿って順に、自車両31の側方の車両側方画像を撮影する。周辺撮影装置2は、撮影した車両側方画像を表す画像情報を生成し、駐車支援用表示制御装置10の画像合成部11に与える。
 図5は、車両側方画像の一例を示す図である。図5(a)は、左側方画像の一例を示す図である。図5(b)は、自車両31の進行方向32を示す図である。図6は、合成画像の一例を示す図である。図6では、左側合成画像の一例として、左側合成画像40を示す。図7は、駐車スペース画像の一例を示す図である。図7では、駐車スペース画像の一例として、駐車スペース画像40Aを示す。
 図5に示すように、自車両31は、駐車スペースサーチを開始した時点の自車両31の位置(以下「駐車スペースサーチ開始位置」という場合がある)Tsから、駐車可能スペースを提示する時点の自車両31の位置(以下「駐車可能スペース提示位置」という場合がある)Teに向かって、進行方向32に沿って進行する。
 この自車両31が進行する間に、前述の図2に示す周辺撮影装置2は、自車両31の進行方向32に沿って順に、自車両31の側方の車両側方画像を撮影する。たとえば、左側カメラ21によって左側方の車両側方画像、すなわち左側方画像が撮影された場合、図5(a)に示すように、複数の左側方画像P1,P2,…,Pnが撮影される。図5(a)では、n個の左側方画像が撮影される場合を示している。ここで、nは自然数である。
 画像合成部11は、周辺撮影装置2から取得した画像情報に基づいて、以上のようにして撮影された車両側方画像を、自車両31の進行方向32に沿って繋ぎ合せた合成画像を生成する。たとえば、図5(a)に示す複数の左側方画像P1,P2,…,Pnが撮影された場合、画像合成部11は、隣合う左側方画像P1,P2,…,Pnを繋ぎ合せて、図6に示すように、自車両31の左側合成画像40として、1枚の画像を生成する。
 駐車可能スペースを探索するときには、周辺撮影装置2による撮影と併せて、周辺検出装置3によるセンシングが行われる。周辺検出装置3は、たとえば超音波センサによって構成され、自車両31の進行方向の左右の空きスペースをセンシングする。駐車可能スペース判断部12は、周辺検出装置3から与えられる検出情報に基づいて、駐車可能スペースが有るか否かを判断する。周辺検出装置3のセンシングアルゴリズム、および駐車可能スペース判断部12による駐車可能スペースの有無の判断には、公知の方法を用いることができる。
 このようにして駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、制御部13は、たとえば図7に示すように、駐車スペース表示オブジェクト41を生成する。制御部13は、生成された駐車スペース表示オブジェクト41を、画像合成部11によって生成された図6に示す合成画像40に重畳し、図7に示す駐車スペース画像40Aを生成する。
 このようにして生成された駐車スペース画像40Aは、表示装置4に与えられ、表示装置4の表示画面に表示される。これによって、駐車スペース表示オブジェクト41を含む駐車スペース画像40Aを運転者に提示することができる。
 図5~図7では、一例として、自車両31の進行方向32の左側方における合成画像40および駐車スペース画像40Aを生成する場合を示しているが、自車両31の進行方向の32の右側方における合成画像および駐車スペース画像についても、同様にして生成することができる。
 図8および図9は、本発明の第2の実施の形態の駐車支援用表示制御装置10における表示制御処理に関する処理手順を示すフローチャートである。
 ステップS1において、車内LANインタフェース15は、車内LAN5から車両情報を取得する。車両情報を取得すると、ステップS2に移行する。
 ステップS2において、制御部13は、操作入力装置6から操作情報を取得する。操作情報を取得すると、ステップS3に移行する。
 ステップS3において、制御部13は、駐車スペースサーチ開始条件を満たすか否かを判断する。ここで、駐車スペースサーチ開始条件は、車速が予め定める速度未満になること、たとえば10km/h未満になること、または使用者からの駐車スペース検出命令が入力されることである。駐車スペースサーチ開始条件を満たすと判断された場合は、ステップS4に移行し、駐車スペースサーチ開始条件を満たさないと判断された場合は、ステップS1に戻る。
 ステップS4において、画像合成部11は、周辺撮影装置2から画像情報を取得する。画像情報を取得すると、ステップS5に移行する。
 ステップS5において、駐車可能スペース判断部12は、周辺検出装置3から車両周辺情報を取得する。車両周辺情報は、たとえば自車両と、他の車両または地物などの障害物との相対位置である。車両周辺情報を取得すると、ステップS6に移行する。
 ステップS6において、駐車可能スペース判断部12は、駐車可能スペース検出処理を行う。駐車可能スペース検出処理では、駐車可能スペース判断部12は、ステップS5で取得した車両周辺情報を用いて、駐車可能スペースの有無を判断する。
 本実施の形態では、駐車可能スペース判断部12は、駐車可能スペース検出処理において、駐車可能スペースを求め、その位置に自車両が駐車するための経路が存在する場合に、駐車可能であると判断する。
 このとき、駐車可能スペース判断部12は、車内LANインタフェース15から与えられる車両情報から自車両の走行経路を求め、周辺撮影装置2で撮影された画像、および周辺検出装置3で検出された検出情報の、時間属性および位置属性とする。駐車可能スペース判断部12は、これらを用いて、求めた駐車可能スペースの位置に自車両が駐車するための経路が存在するか否かを判断する。駐車可能スペース検出処理が終了した後は、ステップS7に移行する。
 ステップS7において、制御部13は、操作入力装置6から操作情報を取得する。操作情報を取得すると、ステップS8に移行する。
 ステップS8において、車内LANインタフェース15は、車内LAN5から車両情報を取得する。車両情報を取得すると、図9のステップS9に移行する。
 図9のステップS9において、制御部13は、駐車スペースサーチ終了条件を満たすか否かを判断する。ここで、駐車スペースサーチ終了条件は、車速が予め定める速度以上、たとえば10km/h以上になること、または使用者からの駐車スペースサーチ終了命令が入力されることである。駐車スペースサーチ終了条件を満たすと判断された場合は、全ての処理手順を終了し、駐車スペースサーチ終了条件を満たさないと判断された場合は、ステップS10に移行する。
 ステップS10において、制御部13は、駐車可能スペース表示条件を満たすか否かを判断する。ここで、駐車可能スペース表示条件は、駐車可能スペースが発見された場合、自車両が停車した場合、使用者から駐車スペース表示命令が入力された場合のうちのいずれかの場合を満たすことである。駐車可能スペース表示条件を満たすと判断された場合は、ステップS11に移行する。駐車可能スペース表示条件を満たさないと判断された場合は、ステップS15に移行する。
 ステップS11において、画像合成部11は、合成画像を生成する。合成画像を生成すると、ステップS12に移行する。
 ステップS12において、制御部13は、駐車スペース表示オブジェクトを生成する。駐車スペース表示オブジェクトを生成すると、ステップS13に移行する。
 ステップS13において、制御部13は、ステップS12で生成された駐車スペース表示オブジェクトを、ステップS11で生成された合成画像に重畳して、駐車スペース画像を生成する。駐車スペース画像を生成すると、ステップS14に移行する。
 ステップS14において、画像出力部14は、ステップS14で生成された駐車スペース画像を表示装置4に出力する。駐車スペース画像を表示装置4に出力した後は、図8のステップS4に戻る。
 ステップS15において、制御部13は、ステップS14で生成された駐車スペース画像を消去する。駐車スペース画像を消去した後は、図8のステップS4に戻る。
 以上の本実施の形態によれば、第1の実施の形態と同様の効果を得ることができる。具体的には、周辺検出装置3によって検出される自車両の周辺の状況に基づいて、自車両の周辺に駐車可能スペースが有るか否かが、駐車可能スペース判断部12によって判断される。周辺撮影装置2によって自車両の進行方向に沿って順に撮影される車両側方画像を表す画像情報が画像合成部11によって取得され、取得された画像情報に基づいて、車両側方画像を自車両の進行方向に沿って繋ぎ合わせた合成画像が生成される。
 駐車可能スペース判断部12によって駐車可能スペースが有ると判断された場合、制御部13によって、駐車スペース表示オブジェクトが、画像合成部11によって生成された合成画像に重畳されて、駐車スペース画像が生成される。制御部13によって生成された駐車スペース画像が、画像出力部14によって表示装置4に出力される。これによって、運転者にとって直観的に理解が可能な表示形態で駐車可能なスペースを提示することができる。
 図10は、駐車スペース画像の他の例を示す図である。図10では、紙面に向かって左側から右側に向かう方向が、自車両31の進行方向32となっている。制御部13は、たとえば図10に示すように、自車両31の進行方向32の前方側から後方側に向かうに従って、他の車両L1,L3,L4を撮影した車両側方画像が小さくなるように駐車スペース画像50を生成してもよい。すなわち、駐車スペース画像50は、図10に示すように、遠近法的に、自車両31から遠い方を小さくするように画像処理変形を行った変形画像でもよい。この場合、駐車スペース表示オブジェクト41も、他の車両L1,L3,L4を撮影した車両側方画像と合わせて、自車両31の進行方向32の前方側から後方側に向かうに従って小さくなるように生成される。
 このような画像で駐車スペース画像50を構成することによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 図11は、駐車スペース画像の他の例を示す図である。図11では、実際には表示されないが、理解を容易にするために、自車両31を仮想線で示している。制御部13は、図11に示すように、車両側方画像が、表示装置4の表示画面上に対応する自車両31の進行方向32に沿って、表示装置4の表示画面に向かって上側から下側に順に表示されるように、駐車スペース画像51を生成してもよい。駐車スペース画像51は、他の車両L1,L3,L4を撮影した車両側方画像とともに、駐車スペース表示オブジェクト41を含んでもよい。
 また制御部13は、前述の図7に示すように、車両側方画像が、表示装置4の表示画面上に対応する自車両31の進行方向32に沿って、表示装置4の表示画面に向かって左側から右側に順に表示されるように、駐車スペース画像40Aを生成してもよい。
 図7および図11に示すように駐車スペース画像40A,51を生成することによって、自車両31に最も近い駐車車両L4が自車両31に近い方向になるように表示することができる。したがって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 図12は、駐車スペース画像の他の例を示す図である。制御部13は、合成画像が、自車両31の位置を支点として自車両31の進行方向32から予め定める回転角度θ回転して表示されるように、駐車スペース画像52を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 また制御部13は、図12に示すように、合成画像に、自車両31の位置を示す車両位置表示オブジェクトをさらに重畳して、駐車スペース画像52を生成してもよい。このように合成画像の自車両31の位置に相当する位置に、車両位置表示オブジェクトを重畳することによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 図13は、車両の左右のカメラ21,22で左右の車両側方画像を撮影する様子を示す図である。図13(a)は、自車両31の左側の領域を上方から見た上面図である。図13(b)は、撮影された左側方画像を示す図である。図13(c)は、自車両31の走行状況を示す図である。図13(d)は、撮影された右側方画像を示す図である。図13(e)は、自車両31の右側の領域を上方から見た上面図である。
 図13(a)~図13(e)に示すように、自車両31の進行方向32の左右両側に他の車両L1,L3,L4,R1,R2,R4が駐車されている場合、周辺撮影装置2の左右のカメラ21,22によって、左右の車両側方画像、すなわち右側方画像および左側方画像が撮影される。
 駐車可能スペース判断部12は、左右の駐車可能スペースをサーチする駐車スペースサーチを行う。これによって、たとえば、左側駐車可能スペースSLおよび右側駐車可能スペースSRが検出される。
 図14は、図13に示す場合の駐車スペース画像の一例を示す図である。制御部13は、左右の合成画像61,62、すなわち左側合成画像61および右側合成画像62に、駐車可能スペースSL,SRを示す表示オブジェクトを重畳する。これによって、左右の駐車可能スペースSL,SRを含む駐車スペース画像60が生成される。このような駐車スペース画像60とすることによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 駐車スペース画像60において、右側合成画像62は、たとえば、自車両31に最も近い車両R4の画像の端部が基準線63に一致するように表示される。左側合成画像61は、たとえば、自車両31に最も近い車両L4の画像の端部が、基準線63よりも自車両31の進行方向の反対側に離れて表示される。
 図15は、駐車スペース画像の他の例を示す図である。制御部13は、表示装置4の表示画面のうち、予め定める第1の表示領域71に左側合成画像61が表示され、予め定める第2の表示領域72に右側合成画像62が表示されるように、駐車スペース画像70を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。図15では、第1の表示領域71は、表示装置4の表示画面に向かって左側の領域であり、第2の表示領域72は、表示装置4の表示画面に向かって右側の領域である。
 また図15に示すように、各表示領域71,72の背景を、異なる表示形態で表示するようにしてもよい。たとえば、推奨する駐車可能スペースSRがある第2の表示領域72以外の表示領域、すなわち第1の表示領域71の背景を、半透過処理して、第2の表示領域72の背景よりも暗く表示させてもよい。図15では、第1の表示領域71にハッチングを付して、第2の表示領域72の背景よりも暗く表示されることを示している。各表示領域71,72の背景は、半透過で表示されることに代えて、グラデーションまたは模様を付加して表示されてもよい。
 図16は、駐車スペース画像の他の例を示す図である。制御部13は、左側合成画像61および右側合成画像62が、表示装置4の表示画面上に対応する自車両31の進行方向32に沿って、表示装置4の表示画面に向かって左側から右側に順に表示されるように、駐車スペース画像80を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 また図16では、図15と同様に、制御部13は、表示装置4の表示画面のうち、予め定める第1の表示領域81に左側合成画像61が表示され、予め定める第2の表示領域82に右側合成画像62が表示されるように、駐車スペース画像80を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。図16では、第1の表示領域81は、表示装置4の表示画面に向かって上側の領域であり、第2の表示領域82は、表示装置4の表示画面に向かって下側の領域である。この構成は、表示装置4の表示画面が横長の場合に好適である。
 図16に示す例では、表示装置4の表示画面に向かって右側に自車両31が配置されるように表示している。これに限定されず、自車両31の位置は、上下左右だけでなく任意の方向でもよい。また北側が表示画面に向かって上側に来るノースアップとなるようにしてもよい。また、駐車可能スペースの形状で、駐車スペース画像の向きを変更してもよい。この構成は、たとえば、駐車領域が斜めに区画される駐車場で駐車するときなどに適用することができる。
 また図16に示す例では、図15に示す例と同様に、各表示領域81,82の背景を、異なる表示形態で表示するようにしてもよい。たとえば、推奨する駐車可能スペースSRがある第2の表示領域82以外の表示領域、すなわち第1の表示領域81の背景を、半透過処理して、第2の表示領域82の背景よりも暗く表示させてもよい。図16では、第1の表示領域81にハッチングを付して、第2の表示領域82の背景よりも暗く表示されることを示している。各表示領域81,82の背景は、半透過で表示されることに代えて、グラデーションまたは模様を付加して表示されてもよい。
 図17は、駐車スペース画像の他の例を示す図である。図17に示すように、駐車スペース画像90は、左側合成画像61が表示される第1の表示領域91と、右側合成画像62が表示される第2の表示領域92とに加えて、推奨スペースを示す第3の表示領域93を含んでもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 また、図17に示すように、右側合成画像62は、左側合成画像61と同様に、表示装置4の表示画面に向かって上方向に、各車両R1,R2,R4を示す表示オブジェクトの上方向が位置するように表示されてもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 図18は、駐車スペース画像の他の例を示す図である。制御部13は、左側合成画像61および右側合成画像62が、自車両31の位置を支点として自車両31の進行方向32から、互いに反対方向に予め定める回転角度θl,θr回転して表示されるように、駐車スペース画像110を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 この場合、左側合成画像61の回転角度θlと、右側合成画像62の回転角度θrとは、同じ大きさである(θl=θr)ことが好ましい。これによって、運転者に見易い配置とすることができる。ここで、左側合成画像61の回転角度θlとは、自車両31の進行方向32を示す自車両基準線113から、左側合成画像61に含まれる各車両L1,L3,L4の左側方画像が並べられる基準となる左側基準線111が回転した角度をいう。また、右側合成画像62の回転角度θrとは、自車両基準線113から、右側合成画像62に含まれる各車両R1,R2,R4の右側方画像が並べられる基準となる右側基準線112が回転した角度をいう。
 図19は、駐車スペース画像の他の例を示す図である。図19に示すように、駐車スペース画像120は、左側合成画像61および右側合成画像62を、自車両31の位置を支点として自車両31の進行方向32から、互いに反対方向に90°回転させたものであってもよい。
 この場合、左側合成画像61に含まれる車両L1,L3,L4は、たとえば仮想線121に沿って一列に並ぶ。右側合成画像62に含まれる車両R1,R2,R4は、たとえば仮想線122に沿って一列に並ぶ。左側合成画像61と右側合成画像62とは、同一の線に沿って一列に並んで表示されてもよい。図19に示す駐車スペース画像120は、たとえば、表示装置4の表示画面が横長である場合に好適である。この場合、駐車スペース画像120全体を回転させてもよい。
 図20は、自車両31の走行軌跡33の一例を示す図である。図21~図41は、駐車スペース画像の他の例を示す図である。
 自車両31は、たとえば図20に示すように、左右の駐車車両群の中心、すなわち自車両31の左側方に駐車される車両L1,L3,L4を含む左側駐車車両群と、自車両31の右側方に駐車される車両R1,R2,R4を含む右側駐車車両群との中間の位置よりも、やや左寄りの位置を、駐車スペースサーチを行いながら走行し、図20に示す位置で停車する。
 このとき、自車両31の走行軌跡33は、図20に示すようになる。自車両31が停車すると、駐車支援用表示制御装置10は、駐車可能スペースの候補を検出する。図20に示す例では、駐車支援用表示制御装置10は、2か所の駐車可能スペースの候補を検出する。
 また駐車支援用表示制御装置10は、自車両31が走行している間に、たとえば周辺検出装置3によって、自車両31の側方における自車両31と自車両31の側方の物体との距離(以下「側方距離」という場合がある)を求める。側方距離は、具体的には、自車両31の駐車スペースサーチのときの走行軌跡33と、自車両31の側方の物体との最短距離である。たとえば自車両31の側方の物体が車両L1,L3,L4,R1,R2,R4である場合、側方距離は、自車両31の駐車スペースサーチのときの走行軌跡33と、各車両L1,L3,L4,R1,R2、R4の自車両31側の先端との距離dl,drである。
 また駐車支援用表示制御装置10は、たとえば周辺検出装置3によって、自車両31の進行方向における自車両31と自車両31の側方の物体との距離(以下「進行方向距離」という場合がある)を求める。進行方向距離は、具体的には、停車位置における自車両31の進行方向後方側の端部と、自車両31の側方の物体との最短距離である。たとえば自車両31の側方の物体が車両L1,L3,L4,R1,R2,R4である場合、進行方向距離は、停車位置における自車両31の進行方向後方側の端部と、各車両L1,L3,L4,R1,R2,R4の自車両31側の側面部との距離Hl,Hrである。
 制御部13は、自車両31と、自車両31の走行軌跡33の右側および左側に存在する車両または駐車区画との位置関係に応じて、図21または図22に示すように、表示装置4の表示画面における左側合成画像61および右側合成画像62の表示位置を変更するように、駐車スペース画像140,150を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。この場合、たとえば、前述の図20に示す各車両の側方距離dl,drおよび進行方向距離Hl,Hrに応じて、表示装置4の表示画面における左側合成画像61および右側合成画像62の表示位置が変更される。
 また制御部13は、図23に示すように、駐車スペース表示エリア161と、情報表示エリア162とを含むように、駐車スペース画像160を生成してもよい。駐車スペース表示エリア161には、前述の図21に示す駐車スペース画像140と同様に、駐車可能スペースSL,SRを含む画像が表示される。情報表示エリア162には、たとえば、駐車可能スペースSL,SRが自車両31の左側方および右側方のいずれに存在するかを表す文字情報が表示される。
 このように駐車スペース画像160を複数のエリア、具体的には駐車スペース表示エリア161および情報表示エリア162に分割した構成とすることによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 また図22および図24に示すように、駐車スペース画像150,170は、自車両31の位置を示す車両位置表示オブジェクト151を含んでもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。この場合、図24に示すように、駐車スペース画像170は、自車両位置表示オブジェクト151が表示される自車両表示領域171と、合成画像61,62が表示される合成画像表示領域172とに分割された構成であってもよい。
 また図24に示すように、制御部13は、周辺撮影装置2によって撮影される自車両31の進行方向32の後方側の後方画像173を、左側合成画像61と右側合成画像62との間に挿入して、左側合成画像61と後方画像171と右側合成画像62とを繋ぎ合せるように、駐車スペース画像170を生成してもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 また図25に示すように、制御部13は、駐車スペース画像180の一部分が、残余の部分とは異なる表示形態で表示されるように、駐車スペース画像180を生成してもよい。図25に示す例では、駐車スペース画像180の一部分、具体的には自車両31が表示される自車両表示領域183、特に自車両31の周辺画像184が、俯瞰画像として表示される。また自車両表示領域183以外の領域、たとえば合成画像61,62が表示される合成画像表示領域181,182は、2次元画像として表示されてもよい。
 このように駐車スペース画像180の一部分を残余の部分とは異なる表示形態で表示することによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 図25に示す例とは異なるが、駐車スペース画像の一部分として、駐車可能スペースを、残余の部分とは異なる表示形態で表示してもよい。これによって、同様の効果を得ることができる。
 この場合、図26に示す駐車可能スペースを表す駐車スペース表示オブジェクト190を、図27に示すように予め定める角度α立ち上げて生成した駐車スペース表示オブジェクト192を表示してもよい。また図28に示すように、平行四辺形の駐車スペース表示オブジェクト193としてもよいし、図29に示すように、湾曲した形状の駐車スペース表示オブジェクト194としてもよい。また図30~図34に示すように、各種の形状の駐車スペース表示オブジェクト210,211,212,213,214を用いてもよい。
 また図35に示すように、駐車スペース表示オブジェクト223,224を、鳥瞰画像として表示してもよい。これによって、図33および図34に示す場合と同様に、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 また図36に示すように、駐車スペース表示オブジェクト230は、路面の傷232を示すマーカ表示オブジェクト231を含んでもよい。また図37に示すように、駐車スペース表示オブジェクト240は、車輪止め243が破損した部分、すなわち破損した車輪止め242を示すマーカ表示オブジェクト241を含んでもよい。
 また制御部13は、図38に示すように、異なる視点で表現した複数の画像を含む駐車スペース画像250を生成してもよい。具体的には、駐車スペース画像250は、車両側方画像を合成した合成画像61,62と、合成画像61,62とは異なる視点で表現された画像との2種類の画像を含んでもよい。たとえば、図38の紙面に向かって左側の領域の駐車スペース画像251は、俯瞰画像または強調表示で表示され、図38の紙面に向かって右側の領域の駐車スペース画像70は、車両側方画像を合成した合成画像61,62で表示される。
 このように駐車スペース画像250を、異なる視点で表現した複数の画像で構成することによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 図38の紙面に向かって右側の領域の駐車スペース画像70は、図38の紙面に向かって左側の左側領域71と、図38の紙面に向かって右側の右側領域72とを含む。左側領域71と、右側領域72とは、背景が異なるように生成される。これによって、運転者に、さらに直観的に理解が可能な表示形態で駐車可能スペースSL,SRを提示することができる。
 また図39~図41に示すように、駐車可能スペースが複数有る場合、最も推奨される駐車可能スペースと残余の駐車可能スペースとが異なる表示形態で表示されるように、駐車スペース画像260が生成されてもよい。具体的には、図41に示すように、左側合成画像61および右側合成画像62のうち、最も推奨される駐車可能スペースが存在する方が、残余の方と異なる表示形態または表示スペースで表示されるように、駐車スペース画像が生成されてもよい。これによって、運転者に、より直観的に理解が可能な表示形態で駐車可能スペースを提示することができる。
 <第3の実施の形態>
 図42は、本発明の第3の実施の形態における駐車支援装置201の構成を示すブロック図である。駐車支援装置201は、駐車支援用表示制御装置10A、周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN5、操作入力装置6および走行駆動装置7を備えて構成される。駐車支援用表示制御装置10Aは、画像合成部11、駐車可能スペース判断部12、制御部13、画像出力部14および自動駐車制御部16を備える。
 駐車支援用表示制御装置10Aは、たとえば、車両などの移動体に搭載される。周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN5、操作入力装置6および走行駆動装置7は、駐車支援用表示制御装置10Aを搭載する自車両に設けられる。
 本実施の形態の駐車支援装置201は、前述の第1の実施の形態の駐車支援装置100および第2の実施の形態の駐車支援装置200と同一の構成を含んでいるので、同一の構成については同一の参照符号を付して、共通する説明を省略する。本発明の他の実施の形態である駐車支援用表示制御方法は、本実施の形態の駐車支援用表示制御装置10Aによって実行される。
 自動駐車制御部16は、駐車可能スペース情報と駐車スペース選択情報により、走行駆動装置7を制御し、自動駐車を実行する。
 走行駆動装置7は、車両のハンドル、ブレーキ、アクセルを制御して、車両の駆動を行う。
 図43は、本発明の第3の実施の形態における駐車スペース画像290の一例を示す図である。本実施の形態では、駐車スペース画像290には、駐車可能スペースを選択するための表示オブジェクト291が含まれる。表示オブジェクト291は、「駐車スペースを選択してください」などの文字が表示される文字表示領域292と、左側駐車可能スペースSLを選択するためのボタン293と、右側駐車可能スペースSRを選択するためのボタン294とを含む。運転者は、表示オブジェクト291内のボタン293,294のいずれかを選択することによって、駐車可能スペースを選択する。
 本実施の形態においても、駐車スペース画像290は、車両側方画像を含むので、前述の第1および第2の実施の形態と同様の効果を得ることができる。
 以上に述べた本実施の形態の駐車支援用表示制御装置は、車両に搭載可能なナビゲーション装置だけでなく、通信端末装置、およびサーバ装置などを適宜に組み合わせてシステムとして構築される駐車支援システムに適用することができる。通信端末装置は、たとえばサーバ装置と通信を行う機能を有するPND(Portable Navigation Device)および携帯通信装置である。携帯通信装置は、たとえば携帯電話機、スマートフォンおよびタブレット型端末装置である。
 前述のようにナビゲーション装置と通信端末装置とサーバ装置とを適宜に組み合わせてシステムが構築される場合、本実施の形態の駐車支援用表示制御装置の各構成要素は、前記システムを構築する各装置に分散して配置されてもよいし、いずれかの装置に集中して配置されてもよい。
 たとえば、駐車支援用表示制御装置に備えられる画像合成部、駐車可能スペース判断部および制御部は、サーバ装置に配置されてもよいし、携帯通信装置などの通信端末装置に配置されてもよい。
 前述の駐車支援用表示制御装置に備えられる画像合成部、駐車可能スペース判断部および制御部がサーバ装置に配置される場合の駐車支援装置は、以下の第4の実施の形態に示す構成を有する。また、前述の画像合成部、駐車可能スペース判断部および制御部が携帯通信装置に配置される場合の駐車支援装置は、以下の第5の実施の形態に示す構成を有する。
 <第4の実施の形態>
 図44は、本発明の第4の実施の形態における駐車支援装置500の構成を示すブロック図である。本実施の形態の駐車支援装置500は、情報提供装置300とサーバ装置400とを備えて構成される。本実施の形態の駐車支援装置500は、前述の第1および第2の実施の形態の駐車支援装置100,200と同一の構成が含まれているので、同一の構成については同一の参照符号を付して、共通する説明を省略する。
 情報提供装置300は、車両に搭載される。情報提供装置300は、情報提供装置本体310、周辺撮影装置2、周辺検出装置3、表示装置4、車内LAN5および操作入力装置6を備えて構成される。
 情報提供装置本体310は、画像出力部14、車内LANインタフェース15、車載側制御部311および車載側通信部312を備える。車載側制御部311は、たとえばCPU(Central Processing Unit)と、書き込み可能なRAMなどのメモリとによって構成される。メモリは、制御プログラムを記憶する。CPUが、メモリに記憶されている制御プログラムを実行することによって、画像出力部14、車内LANインタフェース15および車載側通信部312を統括的に制御する。
 サーバ装置400は、画像合成部11、駐車可能スペース判断部12、サーバ側通信部401およびサーバ側制御部402を備えて構成される。
 サーバ側通信部401は、情報提供装置300と通信を行う。サーバ側通信部401は、情報提供装置300と通信を行う場合、たとえば、インターネットなどの通信網を介して、情報提供装置300と通信可能に構成される。
 サーバ側制御部402は、たとえばCPUと、書き込み可能なRAMなどのメモリとによって構成される。メモリは、制御プログラムを記憶する。CPUが、メモリに記憶されている制御プログラムを実行することによって、画像合成部11および駐車可能スペース判断部12およびサーバ側通信部401を統括的に制御する。
 以上のように本実施の形態では、画像合成部11、駐車可能スペース判断部12およびサーバ側制御部402は、サーバ装置400に配置される。このように配置される場合でも、前述の第1~第3の実施の形態と同様の効果を得ることができる。
 <第5の実施の形態>
 図45は、本発明の第5の実施の形態における駐車支援装置510の構成を示すブロック図である。本実施の形態の駐車支援装置510は、情報提供装置300と携帯通信装置410とを備えて構成される。本実施の形態の駐車支援装置500は、前述の第4の実施の形態の駐車支援装置500と同一の構成が含まれているので、同一の構成については同一の参照符号を付して、共通する説明を省略する。
 携帯通信装置410は、たとえば携帯電話機、スマートフォンまたはタブレット型端末装置によって実現される。携帯通信装置410は、画像合成部11、駐車可能スペース判断部12、携帯側通信部411および携帯側制御部412を備えて構成される。
 携帯側通信部411は、情報提供装置300と通信を行う。携帯側通信部411は、情報提供装置300と通信を行う場合、たとえば、インターネットなどの通信網を介して、情報提供装置300と通信可能に構成される。また、携帯側通信部411は、情報提供装置300と通信を行う場合、たとえば、近距離無線通信規格であるブルートゥース(Bluetooth(登録商標))または無線LANなどの無線によって、情報提供装置300と通信可能に構成されてもよい。また、携帯側通信部411は、USB(Universal Serial Bus)ケーブルまたはLANケーブルなどの有線によって、情報提供装置300と通信可能に構成されてもよい。
 携帯側制御部412は、たとえばCPUと、書き込み可能なRAMなどのメモリとによって構成される。メモリは、制御プログラムを記憶する。CPUが、メモリに記憶されている制御プログラムを実行することによって、画像合成部11および駐車可能スペース判断部12および携帯側通信部411を統括的に制御する。
 以上のように本実施の形態では、画像合成部11、駐車可能スペース判断部12および携帯側制御部412は、携帯通信装置410に配置される。このように配置される場合でも、前述の第1~第3の実施の形態と同様の効果を得ることができる。
 なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせることが可能である。また、各実施の形態の任意の構成要素を適宜、変更または省略することが可能である。
 本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。
 1,10,10A 駐車支援用表示制御装置、2 周辺撮影装置、3 周辺検出装置、4 表示装置、5 車内LAN、6 操作入力装置、7 走行駆動装置、11 画像合成部、12 駐車可能スペース判断部、13 制御部、14 画像出力部、15 車内LANインタフェース、16 自動駐車制御部、21 左側カメラ、22 右側カメラ、100,200,201,500,510 駐車支援装置、311 車載側制御部、312 車載側通信部、300 情報提供装置、310 情報提供装置本体、400 サーバ装置、401 サーバ側通信部、402 サーバ側制御部、410 携帯通信装置、411 携帯側通信部、412 携帯側制御部。

Claims (22)

  1.  周辺検出装置によって検出される車両の周辺の状況に基づいて、前記車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断する駐車可能スペース判断部と、
     周辺撮影装置によって前記車両の進行方向に沿って順に撮影される前記車両の側方の車両側方画像を表す画像情報を取得し、取得した前記画像情報に基づいて、前記車両側方画像を前記車両の進行方向に沿って繋ぎ合わせた合成画像を生成する画像合成部と、
     前記駐車可能スペース判断部によって前記駐車可能スペースが有ると判断された場合、前記駐車可能スペースの位置を示す駐車スペース表示オブジェクトを、前記画像合成部によって生成された前記合成画像に重畳して、駐車スペース画像を生成する制御部と、
     前記制御部によって生成された前記駐車スペース画像を表示装置に出力する画像出力部とを備えることを特徴とする駐車支援用表示制御装置。
  2.  前記制御部は、前記車両の進行方向の前方側から後方側に向かうに従って前記車両側方画像が小さくなるように前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  3.  前記制御部は、前記車両側方画像が、前記表示装置の表示画面上に対応する前記車両の進行方向に沿って、前記表示装置の表示画面に向かって左側から右側に順に表示されるように、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  4.  前記制御部は、前記車両側方画像が、前記表示装置の表示画面上に対応する前記車両の進行方向に沿って、前記表示装置の表示画面に向かって下側から上側に順に表示されるように、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  5.  前記制御部は、前記合成画像が、前記表示装置の表示画面上に対応する前記車両の位置を支点として前記車両の進行方向から予め定める回転角度回転して表示されるように、前記駐車スペース画像を生成することを特徴とする請求項3に記載の駐車支援用表示制御装置。
  6.  前記制御部は、前記合成画像に、前記車両の位置を示す車両位置表示オブジェクトをさらに重畳して、前記駐車スペース画像を生成することを特徴とする請求項3に記載の駐車支援用表示制御装置。
  7.  前記画像合成部は、前記合成画像として、前記車両側方画像のうち、前記車両の進行方向に向かって右側方の右側方画像を前記車両の進行方向に沿って繋ぎ合わせた右側合成画像と、前記車両の進行方向に向かって左側方の左側方画像を前記車両の進行方向に沿って繋ぎ合わせた左側合成画像とを生成し、
     前記制御部は、前記駐車スペース表示オブジェクトを前記右側合成画像と前記左側合成画像とにそれぞれ重畳して、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  8.  前記制御部は、前記表示装置の表示画面のうち、予め定める第1の表示領域に前記左側合成画像が表示され、予め定める第2の表示領域に前記右側合成画像が表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  9.  前記制御部は、前記車両の進行方向の前方側から後方側に向かうに従って前記車両側方画像が小さくなるように前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  10.  前記制御部は、前記右側方画像および前記左側方画像が、前記表示装置の表示画面上に対応する前記車両の進行方向に沿って、前記表示装置の表示画面に向かって左側から右側に順に表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  11.  前記制御部は、前記車両側方画像が、前記表示装置の表示画面上に対応する前記車両の進行方向に沿って、前記表示装置の表示画面に向かって下側から上側に順に表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  12.  前記制御部は、前記右側合成画像および前記左側合成画像が、前記車両の位置を支点として前記車両の進行方向から、互いに反対方向に予め定める回転角度回転して表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  13.  前記制御部は、前記合成画像に、前記車両の位置を示す車両位置表示オブジェクトをさらに重畳して、前記駐車スペース画像を生成することを特徴とする請求項12に記載の駐車支援用表示制御装置。
  14.  前記制御部は、前記車両と前記車両の進行方向に向かって右側および左側に存在する車両または駐車区画との位置関係に応じて、前記表示装置の表示画面における前記右側合成画像および前記左側合成画像の表示位置を変更するように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  15.  前記制御部は、前記周辺撮影装置によって撮影される前記車両の進行方向の後方側の後方画像を、前記右側合成画像と前記左側合成画像との間に挿入して、前記右側合成画像と前記後方画像と前記左側合成画像とを繋ぎ合せるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  16.  前記制御部は、前記駐車スペース画像の一部分が、残余の部分とは異なる表示形態で表示されるように、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  17.  前記制御は、前記駐車スペース画像の一部分が、俯瞰画像として表示されるように、前記駐車スペース画像を生成することを特徴とする請求項16に記載の駐車支援用表示制御装置。
  18.  前記駐車スペース画像の一部分は、前記駐車可能スペースであることを特徴とする請求項16に記載の駐車支援用表示制御装置。
  19.  前記制御部は、前記表示装置の表示画面のうち、前記駐車スペース画像の一部分が表示される表示エリアの背景と、前記残余の部分が表示される表示エリアの背景とが異なる表示形態となるように、前記駐車スペース画像を生成することを特徴とする請求項16に記載の駐車支援用表示制御装置。
  20.  前記制御部は、前記駐車可能スペースが複数有る場合、最も推奨される駐車可能スペースと残余の駐車可能スペースとが異なる表示形態で表示されるように、前記駐車スペース画像を生成することを特徴とする請求項1に記載の駐車支援用表示制御装置。
  21.  前記制御部は、前記駐車可能スペースが複数有る場合、前記右側合成画像および前記左側合成画像のうち、最も推奨される駐車可能スペースが存在する方が、残余の方と異なる表示形態または表示スペースで表示されるように、前記駐車スペース画像を生成することを特徴とする請求項7に記載の駐車支援用表示制御装置。
  22.  周辺撮影装置によって車両の進行方向に沿って順に撮影される前記車両の側方の車両側方画像を表す画像情報を取得し、
     取得した前記画像情報に基づいて、前記車両側方画像を前記車両の進行方向に沿って繋ぎ合わせた合成画像を生成し、
     周辺検出装置によって検出される前記車両の周辺の状況に基づいて、前記車両の周辺に駐車可能な駐車可能スペースが有るか否かを判断し、
     前記駐車可能スペースが有ると判断された場合、前記駐車可能スペースの位置を示す駐車スペース表示オブジェクトを前記合成画像に重畳して駐車スペース画像を生成し、
     生成された前記駐車スペース画像を表示装置に出力することを特徴とする駐車支援用表示制御方法。
PCT/JP2016/062156 2016-04-15 2016-04-15 駐車支援用表示制御装置および駐車支援用表示制御方法 WO2017179206A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018511866A JP6656359B2 (ja) 2016-04-15 2016-04-15 駐車支援用表示制御装置および駐車支援用表示制御方法
PCT/JP2016/062156 WO2017179206A1 (ja) 2016-04-15 2016-04-15 駐車支援用表示制御装置および駐車支援用表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062156 WO2017179206A1 (ja) 2016-04-15 2016-04-15 駐車支援用表示制御装置および駐車支援用表示制御方法

Publications (1)

Publication Number Publication Date
WO2017179206A1 true WO2017179206A1 (ja) 2017-10-19

Family

ID=60042419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062156 WO2017179206A1 (ja) 2016-04-15 2016-04-15 駐車支援用表示制御装置および駐車支援用表示制御方法

Country Status (2)

Country Link
JP (1) JP6656359B2 (ja)
WO (1) WO2017179206A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657832A (zh) * 2017-11-15 2018-02-02 吉林大学 一种车位引导方法及***
US10733889B2 (en) 2016-04-28 2020-08-04 Nissan Motor Co., Ltd. Method and device for parking assistance
JP2020147229A (ja) * 2019-03-15 2020-09-17 パナソニックIpマネジメント株式会社 表示制御装置、駐車支援装置、および表示制御方法
CN113706878A (zh) * 2020-05-20 2021-11-26 宏碁智通股份有限公司 车牌拍摄***与车牌拍摄方法
WO2024112092A1 (ko) * 2022-11-22 2024-05-30 주식회사 에이브이지니어스 원격 대행 주차 서비스 시스템 및 방법
US11999342B2 (en) 2021-05-26 2024-06-04 Panasonic Automotive Systems Co., Ltd. Display control device, parking assist apparatus and display control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009083735A (ja) * 2007-10-01 2009-04-23 Nissan Motor Co Ltd 駐車支援装置及び方法
JP2012175483A (ja) * 2011-02-23 2012-09-10 Renesas Electronics Corp 車線認識装置及び車線認識方法
JP2013154730A (ja) * 2012-01-30 2013-08-15 Fujitsu Ten Ltd 画像処理装置、画像処理方法、及び、駐車支援システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201680A (ja) * 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP6413477B2 (ja) * 2014-08-21 2018-10-31 アイシン精機株式会社 画像表示制御装置および画像表示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009083735A (ja) * 2007-10-01 2009-04-23 Nissan Motor Co Ltd 駐車支援装置及び方法
JP2012175483A (ja) * 2011-02-23 2012-09-10 Renesas Electronics Corp 車線認識装置及び車線認識方法
JP2013154730A (ja) * 2012-01-30 2013-08-15 Fujitsu Ten Ltd 画像処理装置、画像処理方法、及び、駐車支援システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733889B2 (en) 2016-04-28 2020-08-04 Nissan Motor Co., Ltd. Method and device for parking assistance
EP3451311B1 (en) * 2016-04-28 2021-06-16 Nissan Motor Co., Ltd. Method and device for parking assistance
CN107657832A (zh) * 2017-11-15 2018-02-02 吉林大学 一种车位引导方法及***
JP2020147229A (ja) * 2019-03-15 2020-09-17 パナソニックIpマネジメント株式会社 表示制御装置、駐車支援装置、および表示制御方法
JP7249541B2 (ja) 2019-03-15 2023-03-31 パナソニックIpマネジメント株式会社 表示制御装置、駐車支援装置、および表示制御方法
CN113706878A (zh) * 2020-05-20 2021-11-26 宏碁智通股份有限公司 车牌拍摄***与车牌拍摄方法
CN113706878B (zh) * 2020-05-20 2023-02-28 宏碁智通股份有限公司 车牌拍摄***与车牌拍摄方法
US11999342B2 (en) 2021-05-26 2024-06-04 Panasonic Automotive Systems Co., Ltd. Display control device, parking assist apparatus and display control method
WO2024112092A1 (ko) * 2022-11-22 2024-05-30 주식회사 에이브이지니어스 원격 대행 주차 서비스 시스템 및 방법

Also Published As

Publication number Publication date
JPWO2017179206A1 (ja) 2018-07-26
JP6656359B2 (ja) 2020-03-04

Similar Documents

Publication Publication Date Title
WO2017179206A1 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
EP3650285B1 (en) Parking assistance method and parking assistance device
US7554461B2 (en) Recording medium, parking support apparatus and parking support screen
US20170043808A1 (en) Parking assist apparatus and method
CN102740056B (zh) 图像显示***
WO2014051125A1 (ja) 駐車支援装置、駐車支援方法およびプログラム
US20210023994A1 (en) Periphery monitoring device
JP2017154711A (ja) 駐車支援装置
JP5104171B2 (ja) 駐車支援装置および駐車支援方法
JP6760122B2 (ja) 周辺監視装置
JP2012066709A (ja) 駐車支援装置
JP2016060235A (ja) 運転支援装置及び運転支援システム
JP2019186853A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP2008276642A (ja) 走行車線認識装置および走行車線認識方法
JP2021044751A (ja) 周辺監視装置
JP2017069739A (ja) 周辺監視装置
JP6611918B2 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
JP6720729B2 (ja) 表示制御装置
US11214197B2 (en) Vehicle surrounding area monitoring device, vehicle surrounding area monitoring method, vehicle, and storage medium storing program for the vehicle surrounding area monitoring device
JP2022023870A (ja) 表示制御装置
WO2019171528A1 (ja) 運転支援装置および運転支援方法
JP2007088577A (ja) 車両周辺画像処理システム
JP2017085410A (ja) 走行支援装置
JP2012081838A (ja) 駐車支援装置
JP2020006770A (ja) 運転支援装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018511866

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16898666

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16898666

Country of ref document: EP

Kind code of ref document: A1