WO2019244537A1 - 駐車支援システム及び駐車支援装置 - Google Patents
駐車支援システム及び駐車支援装置 Download PDFInfo
- Publication number
- WO2019244537A1 WO2019244537A1 PCT/JP2019/019906 JP2019019906W WO2019244537A1 WO 2019244537 A1 WO2019244537 A1 WO 2019244537A1 JP 2019019906 W JP2019019906 W JP 2019019906W WO 2019244537 A1 WO2019244537 A1 WO 2019244537A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- parking
- information
- vehicle
- parking lot
- unit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 10
- 240000004050 Pentaglottis sempervirens Species 0.000 description 7
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 235000021189 garnishes Nutrition 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
- E04H6/00—Buildings for parking cars, rolling-stock, aircraft, vessels or like vehicles, e.g. garages
- E04H6/42—Devices or arrangements peculiar to garages, not covered elsewhere, e.g. securing devices, safety devices, monitoring and operating schemes; centering devices
- E04H6/426—Parking guides
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/142—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces external to the vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/144—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces on portable or mobile units, e.g. personal digital assistant [PDA]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/18—Braking system
- B60W2510/186—Status of parking brakes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/215—Selection or confirmation of options
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Definitions
- the present invention relates to a parking assistance system and a parking assistance device that perform a parking assistance operation using parking information for parking a vehicle in a parking section of a parking lot.
- the parking surrounding environment and the parking pattern when the own vehicle is parked in the parking lot of the parking lot are stored, and these parking surrounding environment and the like are used when the own vehicle is parked again in the parking lot where the parking surrounding environment and the like are stored.
- a technique for performing a parking assisting operation is disclosed.
- Patent Literature 1 whether or not automatic parking is possible is merely displayed on the navigation device based on the parking lot information. Therefore, it has not been possible to share information on parking lots that have already been parked.
- an object of the present invention is to provide a parking assist system and a parking assist device that can share parking information of a parking lot that has already been parked.
- a parking assistance system includes a server device and a parking assistance device installed in the own vehicle and capable of communicating with the server device.
- the parking assist device has a server storage unit in which the parking information acquired when another vehicle different from the own vehicle is parked is stored, and the parking assistance device acquires a parking information from the server device.
- a parking assistance control unit that controls the own vehicle so as to park the own vehicle in a parking section of the parking lot based on the acquired parking lot information.
- parking lot information acquired when another vehicle different from the own vehicle is parked in the parking section of the parking lot is stored in the server storage unit of the server device,
- the parking assist control unit of the parking assist device controls the own vehicle based on the parking information acquired from the server device so as to park the own vehicle in the parking section of the parking lot.
- 1 is a functional block diagram illustrating a schematic configuration of an information communication terminal according to an embodiment.
- It is a functional block diagram showing a schematic structure of a server device which is an embodiment.
- 5 is a flowchart illustrating an example of an operation of the parking assistance device according to the embodiment.
- 5 is a flowchart illustrating an example of an operation of the parking assistance device according to the embodiment.
- 5 is a flowchart illustrating an example of an operation of the server device according to the embodiment;
- 9 is a flowchart for explaining another example of the operation of the server device according to the embodiment.
- FIG. 1 is a block diagram illustrating a schematic configuration of a parking assistance system according to an embodiment of the present invention.
- FIG. 2 is a diagram illustrating an example of an arrangement position of an imaging unit and a peripheral information detection unit of the parking assistance device according to the embodiment. It is.
- the parking support system S includes a parking support device 1, an information communication terminal 2, and a server device 3.
- the parking assistance device 1 is mounted on the vehicle V (see FIG. 2) and performs a parking assistance operation for parking the vehicle V in a parking section of a parking lot.
- the information communication terminal 2 is an information processing device having a communication function, such as a smartphone and a tablet terminal.
- the information communication terminal 2 is configured to be able to communicate with the parking assist device 1 and the server device 3, and sends parking lot information and the like transmitted from the server device 3 to the parking assist device 1.
- the information communication terminal 2 sends parking lot information and the like sent from the parking assistance device 1 to the server device 3.
- communication with the server device 3 is performed via a mobile communication network, while communication with the parking assist device 1 is performed by short-range wireless communication such as Bluetooth (registered trademark) or wireless LAN. Do.
- the parking assist device 1 including the navigation device described later often does not have a means for directly communicating with the server device 3. Therefore, the information communication terminal 2 mediates communication between the parking assist device 1 and the server device 3. Therefore, when the parking assistance device 1 has a mobile communication module or the like, the information communication terminal 2 may not be necessary.
- the information communication terminal 2 can be provided with a function of controlling the parking support operation by the parking support device 1. In this case, the information communication terminal 2 is indispensable for the parking support system S.
- the server device 3 is connected to a WAN (Wide Area Network) such as the Internet, for example, and can communicate with the information communication terminal 2 via the WAN and a mobile communication network.
- the server device 3 is preferably an information processing device.
- the parking lot information used when performing the parking assistance operation of parking the vehicle V in the parking section of the parking lot is stored in the server device 3.
- This parking lot information is obtained when performing a parking assistance operation of parking another vehicle having the same vehicle information as the vehicle V (own vehicle) to be parked in the same parking section.
- the parking assist device 1 according to the present embodiment has both functions that the own vehicle should have and functions that other vehicles should have. That is, the parking assist device 1 according to the present embodiment has both functions of the parking assist device of the own vehicle and the parking assist device of another vehicle.
- the parking assist device 1 transmits the parking information. To perform the parking assist operation.
- the parking lot information having the same vehicle information is not stored in the server device 3 (in this case, the parking assistance device of another vehicle)
- the driver manually operates the parking assistance device 1 (that is, the parking assistance device).
- the parking lot information is acquired. The acquired parking lot information is transmitted to the server device 3 and used for the parking assist device 1 of another vehicle (that is, the parking assist device of the own vehicle).
- the parking assist device 1 is mounted on a vehicle V shown in FIG. As shown in FIG. 2, a plurality of small cameras are provided on the front, rear, left and right of the vehicle V.
- a front camera 20a is mounted on a front bumper or a front grill of the vehicle V toward the front of the vehicle V.
- a rear camera 20b is mounted on the rear bumper or rear garnish of the vehicle V toward the rear of the vehicle V.
- a left camera 20c is mounted on a left door mirror of the vehicle V toward the left side of the vehicle V.
- a right side camera 20d is mounted on the right side mirror of the vehicle V toward the right side of the vehicle V.
- Each of the front camera 20a, the rear camera 20b, the left camera 20c, and the right camera 20d is equipped with a wide-angle lens or a fish-eye lens capable of observing a wide range.
- the area including the road surface can be observed without omission.
- sonars 30a to 30f are mounted on the front, rear, left and right of the vehicle V.
- a sonar 30a is mounted on a front bumper or a front grill of the vehicle V so as to face forward of the vehicle V. Also, sonars 30b and 30c are mounted on the left side of the vehicle V toward the left side of the vehicle V.
- a sonar 30d is mounted on the rear bumper or rear garnish of the vehicle V toward the rear of the vehicle V, and sonars 30e and 30f are mounted on the right side of the vehicle V toward the right side of the vehicle V. Have been.
- These sonars 30a to 30f each have a distance measuring range extending in the horizontal direction, and the distances around the vehicle V can be measured without leakage by combining all the sonars 30a to 30f.
- a radar device such as a millimeter wave radar may be installed instead of the sonars 30a to 30f.
- the radar is excellent in distance measurement performance far from the sonar, so that a sensor to be used may be appropriately selected based on the size of a distance range around the vehicle V required for performing automatic parking.
- the parking assistance device 1 controls a front camera 20a, a rear camera 20b, a left camera 20c, and a right camera 20d, these cameras, and generates a bird's-eye view image, detection of a parking space, and a target.
- a camera ECU 22 that performs processing such as setting a parking section and correcting the position of the parking section, sonars 30a to 30f, and a sonar ECU 32 that controls these sonars 30a to 30f and detects an obstacle around the vehicle V. Have.
- the parking assist device 1 has a navigation device 40 and a GPS device 50, and the navigation device 40 has a monitor 41 having an image display function.
- the GPS device 50 calculates the current position of the vehicle V in FIG.
- the navigation device 40 has a storage unit that stores route guidance map data and the like.
- the navigation device 40 provides route guidance to a target point set by the operator of the navigation device 40 based on the map data and the like and the current position of the vehicle V detected by the GPS device 50.
- Various images during the route guidance operation are displayed on the monitor 41.
- the navigation device 40 has a short-range wireless module and communicates with the information communication terminal 2.
- the parking assist device 1 determines a target parking section candidate when performing automatic parking based on information output from the camera ECU 22, the sonar ECU 32, the navigation device 40, and the GPS device 50. It has a vehicle control ECU 60 that performs parking assist operation control such as determining the approach direction to be taken.
- the parking assist device 1 includes an actuator 70 that controls each part of the vehicle V based on the parking assist operation control information determined by the vehicle control ECU 60.
- the actuator 70 here includes a control unit that controls these actuators 70.
- Examples of the actuator 70 include a steering control unit that controls the steering angle of the vehicle V, a power steering actuator that is driven and controlled by the steering control unit, a throttle control unit that controls the throttle of the vehicle V, and a drive control that is controlled by the throttle control unit. Throttle actuator, a brake control unit that controls the brake of the vehicle V, and a brake actuator that is driven and controlled by the brake control unit.
- the parking assist device 1 also has a sensor 80 for acquiring information necessary for performing parking assist operation control.
- the sensor 80 include a wheel speed sensor that obtains information necessary for specifying the current position of the vehicle V and information necessary for controlling the vehicle speed and the steering angle of the vehicle V when performing automatic parking. Includes angle sensor, yaw rate sensor, shift position sensor.
- the camera ECU 22 and the sonar ECU 32 and the vehicle control ECU 60 are connected to a sensor information network 90 that is a network laid in the vehicle V, for example, a CAN (Controller Area Network). It is connected. Further, a vehicle information system configured by, for example, CAN (registered trademark) is a network laid in the vehicle V between the navigation device 40, the GPS device 50, the actuator 70 and the sensor 80, and the vehicle control ECU 60. It is connected to a network 91.
- CAN Controller Area Network
- a radar not shown in FIG. 2 may be installed.
- a radar ECU (not shown in FIG. 2) that controls the radar and detects an obstacle around the vehicle V is installed.
- the sonars 30a to 30f and the radar have different ranging ranges, they may of course be mixed.
- an obstacle is detected by comparing images captured at different times by the front camera 20a, the rear camera 20b, the left camera 20c, and the right camera 20d.
- a so-called motion stereo function may be implemented.
- FIG. 3 is a functional block diagram illustrating a schematic configuration of the parking assistance device 1 applied to the parking assistance system S according to the present embodiment.
- the parking assistance device 1 includes a control unit 100, a parking assistance device storage unit 120, an imaging unit 130, a peripheral information detection unit 140, a position information acquisition unit 150, a display unit 160, an actuator 170, a sensor 180, an input It has a unit 190 and a communication unit 195.
- the control unit 100 mainly composed of the vehicle control ECU 60 controls the entire parking assist device 1.
- the control unit 100 includes a CPU, a programmable logic device such as an FPGA, and an arithmetic element represented by an integrated circuit such as an ASIC.
- a control program (not shown) is stored in the parking support device storage unit 120 of the parking support device 1.
- the control program is executed by the control unit 100 when the parking assist device 1 is activated, and the parking assist device 1 has a functional configuration as shown in FIG.
- the parking assist device 1 of the present embodiment performs high-speed image processing as described later, it is preferable that the parking assist device 1 include an arithmetic element capable of high-speed operation, such as an FPGA.
- the control unit 100 includes a parking lot image information obtaining unit 101, a parking lot surrounding information obtaining unit 102, a parking lot position information obtaining unit 103, a parking position information obtaining unit 104, a parking lot information obtaining unit 105, a parking lot information transmitting unit 106, It has a parking lot information receiving unit 107, a parking support control unit 108, a vehicle behavior information obtaining unit 109, a timing unit 110, and a display control unit 111.
- the parking lot image information acquisition unit 101 captures an image of a running path from the entrance to the parking lot to the point where the vehicle V is parked in the parking lot of the parking lot based on the image information obtained by the imaging unit 130 capturing the periphery of the vehicle V. To obtain parking lot image information.
- the parking lot image information acquired by the parking lot image information acquiring unit 101 is temporarily stored in the parking assist device storage unit 120.
- the parking lot surrounding information acquisition unit 102 is based on the surrounding information obtained by the surrounding information detecting unit 140, and controls the parking lot related to obstacles around the runway from the entrance of the parking lot to the parking of the vehicle V in the parking lot of the parking lot. Get peripheral information.
- the parking area surrounding information acquired by the parking area surrounding information acquiring section 102 is also temporarily stored in the parking assist device storage section 120.
- the parking lot position information acquisition unit 103 acquires the parking lot position information, which is the position information of the entrance of the parking lot, based on the current position information of the vehicle V obtained by the position information acquisition unit 150.
- the parking position information acquired by the parking position information acquiring unit 103 is also temporarily stored in the parking assist device storage unit 120.
- the parking position information acquisition unit 104 acquires parking position information, which is position information of a parking section in a parking lot, based on the current position information of the vehicle V obtained by the position information acquisition unit 150.
- the parking lot information obtaining unit 105 includes a parking lot image information obtaining unit 101, a parking lot surrounding information obtaining unit 102, a parking lot position information obtaining unit 103, and a parking lot information obtaining unit 104, respectively.
- the peripheral information, the parking position information, and the parking position information are collectively acquired as the parking information 122, and the parking information 122 is stored in the parking support device storage unit 120.
- the parking lot information transmitting unit 106 sends out the parking lot information 122 acquired by the parking lot information acquiring unit 105 to the server device 3 via the communication unit 195 and the information communication terminal 2.
- the timing at which the parking lot information transmitting unit 106 transmits the parking lot information 122 to the server device 3 is arbitrary, but preferably, when the vehicle V starts after the vehicle V is parked in the parking section, the parking lot information transmission is performed.
- the unit 106 sends the parking lot information 122 to the server device 3. More preferably, when the ignition switch is operated and the ACC (accessory) power is turned on, the parking lot information transmitting unit 106 sends the parking lot information 122 to the server device 3.
- the parking lot information receiving unit 107 acquires the parking lot information 122 sent from the server device 3 and stores the acquired parking lot information 122 in the parking assist device storage unit 120.
- the parking support control unit 108 controls the vehicle V based on the parking information 122 acquired by the parking information receiving unit 107 so as to park the vehicle V in the parking section of the parking lot. More specifically, the parking support control unit 108 controls the actuator 170 based on the parking lot information 122 so as to park the vehicle V in the parking lot of the parking lot.
- the parking assistance control unit 108 controls the imaging unit 130, the peripheral information detection unit 140, the position information acquisition unit 150, and the sensor 180 on the running path from the entrance of the parking lot to the time when the vehicle V is parked in the parking lot of the parking lot. The vehicle V is controlled based on the detection information. Since a specific control procedure by the parking assist control unit 108 is known, a detailed description thereof will be omitted in this specification.
- the vehicle behavior information acquisition unit 109 acquires vehicle behavior information relating to the behavior of the vehicle V from the entrance of the parking lot to the parking of the vehicle V in the parking lot based on the detection information detected by the sensor 180. Then, the parking lot information acquiring unit 105 also acquires the vehicle behavior information acquired by the vehicle behavior information acquiring unit 109 as the parking lot information 122, and stores the parking lot information 122 in the parking assist device storage unit 120.
- the timer 110 measures the current time.
- the display control unit 111 generates a display control signal for displaying a predetermined screen on the display unit 160 based on information obtained as a result of various control operations by the control unit 100, and sends the display control signal to the display unit 160. Send out.
- the parking assist device storage unit 120 mainly composed of the vehicle control ECU 60 has a storage medium such as a large-capacity storage medium such as a hard disk drive and a semiconductor storage medium such as a ROM and a RAM. Various kinds of data used for various operations in the control unit 100 are temporarily or non-temporarily stored in the parking assist device storage unit 120.
- the vehicle information 121 and the parking lot information 122 are stored in the parking assist device storage unit 120.
- the vehicle information 121 is information that can uniquely identify the vehicle V.
- the vehicle information 121 is vehicle information of another vehicle when the parking assistance device 1 is the parking assistance device of the own vehicle in the claims, and is self-evaluated when the parking assistance device is a parking assistance device of another vehicle. This is vehicle information of the vehicle.
- the imaging unit 130 mainly composed of the cameras 20a to 20d and the camera ECU 22 outputs an image signal obtained by capturing an image around the vehicle V.
- the imaging unit 130 according to the present embodiment has a function of generating a bird's-eye view image of a road surface around the vehicle V as viewed from directly above the vehicle V.
- FIG. 8 is a diagram illustrating an example of images captured by the front camera 20a, the rear camera 20b, the left camera 20c, and the right camera 20d (the imaging unit 130 in FIG. 3) installed in the vehicle V. As shown in FIG. 8, images including a road surface around the vehicle V are observed in a perspective-transformed state by the cameras 20a to 20d.
- FIG. 9 shows each image (If (x, y), Il (x, y), Ir (x, y), Ib (x, y)) shown in FIG. Is converted to a bird's-eye view image (Ife (x, y), Ile (x, y), Ire (x, y), Ibe (x, y)), and each bird's-eye view image is synthesized to form one It is a figure showing the example which generated synthetic picture Ie (x, y).
- the image captured by the image capturing unit 130 is subjected to coordinate transformation by assuming that a flat road surface that is a predetermined distance below a viewpoint position provided at a predetermined position in the sky is observed. Is converted to a bird's-eye view image. Since the relative relationship between the installation positions of the cameras (the front camera 20a, the rear camera 20b, the left camera 20c, and the right camera 20d) is known in advance, the overhead images are combined so as to have a predetermined positional relationship. Thus, one overhead composite image Ie (x, y) can be obtained. Since the central portion of the bird's-eye view composite image Ie (x, y) becomes a blind spot, an icon C indicating a state in which the vehicle V is looked down from directly above is displayed.
- a peripheral information detection unit 140 mainly composed of the sonars 30a to 30f and the sonar ECU 32 outputs a result of detecting the presence of an obstacle existing around the vehicle V, and furthermore, detects the distance from the vehicle V to the obstacle. It also outputs the distance measurement result.
- the position information acquisition unit 150 mainly composed of the GPS device 50 and the navigation device 40 measures the current position of the vehicle V, and outputs the measurement result as coordinate values.
- the coordinate value is an absolute coordinate value or a relative coordinate value, and examples thereof include latitude and longitude, Mapcode (registered trademark), a combination of a regional mesh code and normalized coordinates, and Morton @ Code.
- the display unit 160 mainly including the monitor 41 displays a predetermined screen based on the display control signal transmitted from the display control unit 111 of the control unit 100. Since the actuator 170 and the sensor 180 have substantially the same configuration as the actuator 70 and the sensor 80 in FIG. 1, the description here will be simplified.
- the input unit 190 mainly composed of a not-shown touch panel or the like included in the navigation device 40 receives an operation input from an operator such as a driver.
- the input unit 190 generates an operation input signal based on the received operation input, and sends the operation input signal to the control unit 100.
- the communication unit 195 mainly including the communication module of the navigation device 40 communicates with the information communication terminal 2.
- the communication unit 195 preferably has a configuration capable of short-range wireless communication such as Bluetooth or wireless LAN.
- FIG. 4 is a functional block diagram illustrating a schematic configuration of the information communication terminal 2 applied to the parking assistance system S according to the present embodiment.
- the information communication terminal 2 includes a control unit 200, a storage unit 210, and a communication unit 220.
- the control unit 200 has a parking lot information storage unit 201.
- the parking lot information storage unit 201 temporarily stores the parking lot information 122 transmitted from the parking assist device 1 or the server device 3 in the storage unit 210, and parks in response to a request from the parking assist device 1 or the server device 3.
- the garage information 122 is transmitted.
- the communication unit 220 communicates with the parking assist device 1 and the server device 3.
- the communication unit 220 preferably has a configuration capable of both mobile communication and short-range wireless communication such as Bluetooth and wireless LAN.
- FIG. 5 is a functional block diagram illustrating a schematic configuration of the server device 3 applied to the parking assistance system S according to the present embodiment.
- the server device 3 includes a control unit 300, a server storage unit 310, and a communication unit 320.
- the control unit 300 controls the entire server device 3.
- the server storage unit 310 stores a control program (not shown).
- the control program is executed by the control unit 300 when the server device 3 starts up, and the server device 3 has a functional configuration as shown in FIG.
- the control unit 300 includes a parking lot information transmitting / receiving unit 301, a parking lot information totalizing unit 302, and a billing processing unit 303.
- the parking lot information transmission / reception unit 301 stores the parking lot information 122 transmitted from the parking lot information transmission unit 106 of the parking assistance device 1 in the reception information DB (database) 311 of the server storage unit 310. Further, when a request for transmitting the parking lot information 122 stored in the server storage unit 310 is received from the control unit 100 of the parking assist device 1 together with the vehicle information 121, the parking lot information transmitting / receiving unit 301 sends the parking lot information 122 If the included vehicle information 121 corresponds to, for example, the vehicle information 121 transmitted from the parking assistance device 1, the parking information is stored in the parking assistance information DB 315 in the parking assistance device 1 that has requested transmission of the parking information 122. The transmitted parking lot information 122 is transmitted.
- the parking lot information transmitting / receiving unit 301 transmits the parking lot information 122 when the vehicle information 121 corresponds to the image pickup unit 130 such as the cameras 20a to 20d of the vehicle V, the sonars 30a to 30f, and the like. This is because there is a possibility that the installation position, imaging, and detection range of the surrounding information detection unit 140 may be different for each vehicle V. That is, in order for the parking support control unit 108 of the parking support apparatus 1 to perform the parking support operation, it is preferable that the parking lot information 122 serving as a criterion for the support operation can be used as it is.
- the parking lot information 122 obtained using the imaging unit 130 and the surrounding information detection unit 140 which are considered to be at substantially the same installation position or the like. Therefore, the usability of the information acquired by the imaging unit 130 and the peripheral information detection unit 140 is determined based on the identity of the vehicle information 121.
- the vehicle information 121 may be different, it may be possible to determine that the installation positions, the imaging, and the detection ranges of the imaging unit 130 and the peripheral information detection unit 140 are substantially the same. It is preferable to determine the transmission and reception of the parking lot information 122 in consideration of such points.
- the parking lot information totaling unit 302 totals the parking lot information 122 stored in the reception information DB 311 of the server storage unit 310, sorts and sorts the parking lot information 122, and stores the parking lot information 122 in the parking lot information DB 315. Store.
- the billing processing unit 303 refers to the contract management DB 314 stored in the server storage unit 310 and, based on the contract information in the contract management DB 314, uses the parking lot information 122 by the parking support apparatus 1. Charge the parking lot manager. The determination as to whether or not the parking lot information 122 has been used by the parking support apparatus 1 may be made, for example, by transmitting the parking lot information 122 requested to be transmitted from the parking support apparatus 1 by the parking lot information transmitting / receiving unit 301. Good.
- the server storage unit 310 temporarily or non-temporarily stores various data used in various operations in the control unit 300.
- the server storage unit 310 also stores a reception information DB 311, a parking lot POI (Point of Interest) DB 312, a parking lot location information DB 313, a contract management DB 314, and a parking lot information DB 315.
- a reception information DB 311 a parking lot POI (Point of Interest) DB 312, a parking lot location information DB 313, a contract management DB 314, and a parking lot information DB 315.
- FIG. 6 is a diagram illustrating a data structure of a database stored in the server storage unit 310 of the server device 3.
- Each DB shown in FIG. 6 constitutes a relational database as a whole, and FIG. 6 shows only fields or attributes of each DB.
- the reception information DB 311 includes, as fields or attributes, parking lot information ID 311a, recording date 311b, recording start time 311c, parking lot position information 311d, parking lot image information 311e, parking lot surrounding information 311f, vehicle behavior information 311g, parking position information. It has 311h, vehicle type 311j, year 311k, grade 311m, body number 311n, parking section number 311p, and record 311q.
- the parking lot information transmitting / receiving unit 301 of the server device 3 receives the parking lot information 122 from the parking assistance device 1 and stores it in the reception information DB 311, the parking lot information transmitting / receiving unit 301 stores This is an ID set to uniquely specify the parking lot information 122.
- the recording date 311b is the date when the parking information acquisition unit 105 of the parking assistance device 1 acquires the parking information 122.
- the recording start time 311c is the time at which the parking assist device 1 starts recording the parking lot information 122.
- the recording date 311b and the recording start time 311c are included in the parking lot information 122 transmitted from the parking assistance device 1.
- the parking lot position information 311d is obtained by the parking lot position information obtaining unit 103 of the parking assist device 1.
- the parking lot image information 311e is obtained by the parking lot image information obtaining unit 101 of the parking assistance device 1.
- the parking area surrounding information 311f is obtained by the parking area surrounding information obtaining unit 102 of the parking assist device 1.
- the vehicle behavior information 311g is acquired by the vehicle behavior information acquisition unit 109 of the parking assist device 1.
- the parking position information 311h is obtained by the parking position information obtaining unit 104 of the parking assist device 1.
- the vehicle type 311j, year 311k, grade 311m, and body number 311n are the model, year, grade, and body number of the vehicle V from which the parking lot information 122 was acquired.
- the vehicle information 121 of the own vehicle is constituted by the vehicle type 311j, year 311k, grade 311m, and body number 311n.
- the vehicle information 121 of the own vehicle is also included in the parking lot information 122 transmitted from the parking assistance device 1.
- Parking section number 311p is the number of this parking section when vehicle V has parked in the parking section of the parking lot.
- the record 311q is information indicating whether or not the vehicle V has successfully parked in the parking section of the parking lot.
- the parking section number 311p and the actual result 311q are also included in the parking lot information 122 transmitted from the parking assistance device 1.
- the ⁇ Parking Lot POI ⁇ DB 312 has a POI ID 312a, a parking lot name 312b, and center coordinates 312c.
- the ⁇ POI ⁇ ID 312a is an ID for uniquely specifying a parking lot, and is data serving as a key of a relational database stored in the server storage unit 310.
- the parking lot name 312b is the name of the parking lot specified by the POI @ ID 312a.
- the center coordinates 312c are position coordinates of the center of the parking lot specified by the POI @ ID 312a, and are used as position coordinates representing the parking lot.
- the parking location information DB 313 has a POI ID 313a, an entrance / exit name 313b, and parking location information 313c.
- the POI ID 313a is common to the POI ID 312a of the parking lot POI DB 312, and is an ID for uniquely specifying the parking lot.
- the entrance / exit name 313b is the name of the entrance / exit of the parking lot specified by the POI @ ID 313a.
- the parking position information 313c is the position coordinates of the entrance specified by the entrance name 313b, and is common to the parking position information 311d of the reception information DB 311.
- the $ contract management DB 314 has a POI $ ID 314a and contract information 314b.
- the POI ID 314a is common to the POI ID 312a of the parking lot POI DB 312, and is an ID for uniquely specifying the parking lot.
- the contract information 314b is contract information of the parking lot specified by the POI ID 314a.
- the contract information 314b is information serving as a reference when the charging processing unit 303 of the control unit 300 performs a charging process on the parking lot manager as described above.
- the charging amount is used. If the charge amount for each use count is different (for example, if the number increases, a discount is given), the correspondence between the count and the charge amount is also the contract information 314b.
- the charge amount based on the use of the parking lot information 122 is an amount corresponding to a certain period such as a month unit
- the period and the charge amount are also the contract information 314b.
- the accounting process is performed only when the vehicle V has successfully parked using the parking lot information 122, such a condition is also the contract information 314b.
- the parking lot information DB 315 includes a POI ID 315a, a vehicle type 315b, a model year 315c, a grade 315d, a parking lot number 315e, an actual number of times (success) 315f, an actual number of times (failure) 315g, a last parking date 315h, and a recording date 315j. It has start time 315k, parking lot information ID 315m, parking lot position information 315n, parking lot image information 315p, parking lot surrounding information 315q, vehicle behavior information 315r, and parking position information 315s.
- the POI ID 315a is common to the POI ID 312a of the parking lot POI DB 312, and is an ID for uniquely specifying the parking lot.
- the vehicle type 315b, the year type 315c, and the grade 315d are common to the vehicle type 311j, the year type 311k, and the grade 311m of the reception information DB 311.
- the vehicle information 121 of the own vehicle is also configured by these vehicle type 315b, year 315c, and grade 315d.
- the parking section number 315e is common to the parking section number 311p of the reception information DB 311.
- the actual number of times (success) 315f is the number of times indicating the number of successfully parked data in the actual result 311q of the reception information DB 311 (that is, the number of successful parkings).
- the actual number of times (failure) 315g is the number of times indicating the number of data that failed to park in the actual result 311q of the reception information DB 311 (that is, how many times parking failed).
- the recording date 311b included in the parking lot information 122 is overwritten, so that parking by the parking support apparatus 1 is performed.
- the date when the vehicle V was lastly parked (that is, recently) by the support operation is recorded.
- the recording start time 315k is common to the recording start time 311c of the reception information DB 311.
- the parking lot information ID 315n is common to the parking lot information ID 311a of the reception information DB 311.
- the parking lot position information 315n, the parking lot image information 315p, the parking lot surrounding information 315q, the vehicle behavior information 315r, and the parking position information 315s are respectively the parking lot position information 311d, the parking lot image information 311e, and the parking lot surrounding information of the reception information DB 311. 311f, vehicle behavior information 311g, and parking position information 311h.
- the communication unit 320 performs communication with the information communication terminal 2.
- the communication unit 320 has a configuration capable of communicating with a WAN represented by the Internet.
- FIG. 7 is a diagram illustrating exchange of information between the parking assist device 1 and the server device 3.
- the parking information 122 and the results are temporarily stored in the reception information DB 311, the parking lot information totaling unit 302 performs a totaling process at a predetermined timing, and stores the result in the parking lot information DB 315.
- the parking support device 1 (parking support device of the own vehicle) requests the server device 3 to transmit the parking lot information 122 when it wants to park in the parking section of the parking lot.
- the parking lot information transmission / reception unit 301 of the server device 3 receives the transmission request of the parking lot information 122 from the parking assistance device 1 and, on condition that the vehicle information 121 matches, the parking lot information stored in the parking lot information DB 315. 122 is transmitted to the parking assist device 1.
- FIGS. 10 and 11 are diagrams illustrating an example of operation of the parking assistance system S according to the embodiment.
- FIG. 10 when a certain driver parks in a parking lot of a parking lot with a vehicle (another vehicle), various data are acquired by the parking assistance device 1 mounted on the other vehicle, and the acquired data is used as parking lot information. It is transmitted to the server device 3 as 122 (1).
- the server device 3 stores the parking lot information 122 transmitted from the parking assistance device 1 (2).
- the operator (operating company) of the server device 3 provides the parking lot information 122 to the parking lot owner (administrator) corresponding to each parking lot information 122 to assist the parking lot.
- the owner of the parking lot is invited to perform a billing process (3).
- the parking lot owner requests the provision of the parking lot information 122, and pays a prepayment to the operator of the server device 3 depending on conditions (4).
- the server device 3 transmits the parking lot information 122 to the parking support device 1 (5). Then, the user (driver) of the parking assist device 1 parks in the parking section of the parking lot using the parking lot information 122 (6).
- the operation shown in FIG. 10 is an appropriate operation when the parking lot is relatively small.
- the operator of the server device 3 first provides the parking lot owner (manager) with the parking lot information 122 to the user (driver) of the parking assist device 1 instead of providing the parking lot information 122 to the user (driver).
- the owner is solicited for billing (1).
- the parking lot owner requests the provision of the parking lot information 122, and pays a prepayment to the operator of the server device 3 depending on conditions (2).
- the operator of the server device 3 sends a vehicle (other vehicle) to the parking lot of the parking lot owner who has been requested to provide the parking lot information 122 and acquires various data (3), and the other vehicles are parked. It is transmitted to the server device 3 as the parking lot information 122 (4).
- the server device 3 transmits the parking lot information 122 to the parking support device 1 (5). Then, the user (driver) of the parking assist device 1 parks in the parking section of the parking lot using the parking lot information 122 (6).
- the operation shown in FIG. 11 is a suitable operation when the parking lot is relatively large, for example, when the parking lot is a large-scale building, shopping center, or mall parking lot.
- Non-Patent Document 1 The parking assist operation disclosed in Non-Patent Document 1 will be described with reference to FIGS.
- the parking support operation used in the parking support system S according to the present embodiment is not limited to those shown in FIGS.
- the parking assist operation shown in FIGS. 13 and 14 is used. .
- FIG. 13 is a diagram illustrating an example of a screen displayed on the monitor 41 of the navigation device 40 of the parking assistance device 1 according to the present embodiment.
- the screen shown in FIG. 13 is displayed from the time when the vehicle V enters the parking lot L from the entrance of the parking lot L from which the parking lot information 122 has been acquired. On this screen, an overhead image P1 obtained using the cameras 20a to 20d and an image P2 ahead of the vehicle V obtained using the front camera 20a are displayed.
- FIG. 14 is a diagram illustrating an example of a screen displayed on a not-shown display unit of the information communication terminal 2 according to the present embodiment.
- the screen shown in FIG. 14 is also displayed from the time when the vehicle V enters the parking lot L from the entrance of the parking lot L from which the parking lot information 122 has been obtained, as in FIG.
- An arrow AR indicating the direction in which the vehicle V should proceed to park the vehicle V in the parking section A is also displayed on this screen, and when the operator keeps pressing the button displayed as the mark P on the image P1, The vehicle V is guided along the arrow AR.
- FIGS. 15 and 16 are flowcharts for explaining the operation of the parking assist device 1.
- the operation shown in the flowchart of FIG. 15 starts when the vehicle V equipped with the parking assist device 1 starts, that is, when the ignition switch is turned on.
- step S1 the ACC power is turned on when the driver operates (presses or turns) the ignition switch.
- step S2 it is determined whether or not the unsent parking information 122 is stored in the parking assist device storage unit 120. If it is determined that the parking lot information 122 has not been sent (YES in step S2), in step S3, the parking lot information transmitting unit 106 transmits the parking assisting device storage unit 120 via the communication unit 195 and the information communication terminal 2. Is transmitted to the parking lot information 122 which has not been sent yet. On the other hand, if it is determined that all the parking lot information 122 has been sent (NO in step S2), the program proceeds to step S4.
- the recording start date and time As an example of the information included in the parking lot information 122 sent in step S3, the recording start date and time, the parking lot location information, the parking lot surrounding information, the vehicle behavior provided from the timer 110 at the start of the recording of the parking lot information 122.
- Information, vehicle information, and parking section number As an example of the information included in the parking lot information 122 sent in step S3, the recording start date and time, the parking lot location information, the parking lot surrounding information, the vehicle behavior provided from the timer 110 at the start of the recording of the parking lot information 122.
- Information, vehicle information, and parking section number As an example of the information included in the parking lot information 122 sent in step S3, the recording start date and time, the parking lot location information, the parking lot surrounding information, the vehicle behavior provided from the timer 110 at the start of the recording of the parking lot information 122.
- Information, vehicle information, and parking section number As an example of the information included in the parking lot information 122 sent in step S3, the recording start date and time, the parking lot location information,
- step S ⁇ b> 4 the operator of the navigation device 40 searches the parking lot L in which the parking lot information 122 is already stored in the server device 3 for the purpose of parking the vehicle V in the parking section A of the parking lot L. An instruction as to whether or not the information is input via the touch panel of the navigation device 40 or the like.
- the control unit 100 of the parking assist device 1 determines whether or not the operator is searching the parking lot L based on the operation input. Then, when it is determined that the search input of the parking lot L has been performed (YES in step S4), the program proceeds to step S5. On the other hand, if it is determined that there is no parking area search input (NO in step S4), the program proceeds to step S21.
- step S5 the operator selects one of the parking lots based on the list of parking lots displayed on the monitor 41 of the navigation device 40, for example.
- the list of parking lots is created based on, for example, map data and the like of the navigation device 40.
- step S6 the control unit 100 of the parking assistance device 1 transmits the information specifying the parking lot selected in step S5, for example, the POI @ ID of the parking lot to the server device 3, and stores the information in the parking assistance device storage unit 120.
- the stored vehicle information 121 is transmitted to the server device 3.
- the server device 3 that has received the information specifying the parking lot and the vehicle information 121 searches the parking lot information DB 315 using the transmitted information specifying the parking lot and the vehicle information 121 as keys. If there is the parking information 122 having substantially the same vehicle information 121 and the POI @ ID coincident, the parking information transmitting / receiving unit 301 is parked in the parking assistance apparatus 1 to which the information was transmitted in step S6. The garage information 122 is transmitted.
- step S ⁇ b> 5 the parking information transmitting / receiving unit 301 may transmit a list of the parking information 122 whose vehicle information 121 matches, and the navigation apparatus 40 may select the list.
- step S7 the parking lot information receiving unit 107 determines whether or not the parking lot information 122 has been transmitted from the server device 3 in step S6. If it is determined that the parking lot information 122 has been transmitted (YES in step S7), the program proceeds to step S8. On the other hand, if it is determined that the parking lot information 122 is not transmitted, in other words, it is determined that the parking lot information 122 having substantially the same vehicle information 121 and having the same POI ID is not stored in the server storage unit 310. (NO in step S7), the program proceeds to step S20.
- step S8 the control unit 100 displays a list of parking sections A included in the parking lot information 122 transmitted in step S6 on the monitor 41, and waits for an operator's selection input.
- step S9 the control unit 100 determines whether or not there is a selection input of the parking section A in step S8. Then, if it is determined that there is a selection input of parking section A (YES in step S9), the program proceeds to step S10. On the other hand, if it is determined that there is no selection input of parking section A (NO in step S9), the program proceeds to step S20.
- step S ⁇ b> 10 the driver manually drives the vehicle V on which the parking assistance device 1 is mounted, and heads to the entrance of the parking lot L according to the obtained parking lot information 122.
- the navigation device 40 may provide route guidance based on the parking lot position information included in the parking lot information 122.
- step S11 on condition that the vehicle V has arrived at the entrance of the parking lot, the operator of the navigation device 40 gives an instruction for the parking support operation by the parking support device 1.
- the control unit 100 of the parking assistance device 1, particularly the parking assistance control unit 108, assists the operation of parking the vehicle V in the parking section A of the parking lot L based on the parking information 122 based on the instruction of the parking assistance operation.
- the control unit 100 of the parking assist device 1 causes the parking lot surrounding information acquisition unit 102 to record information on obstacles around the vehicle V and causes the vehicle behavior information acquisition unit 109 to acquire behavior information of the vehicle V.
- step S12 the control unit 100 of the parking assistance device 1 determines that the vehicle V is safe based on the parking area surrounding information acquired by the parking area surrounding information acquiring unit 102, the vehicle behavior information acquired by the vehicle behavior information acquiring unit 109, and the like. It is determined whether or not parking was possible in the parking section A. Then, if it is determined that the vehicle has been successfully parked in the parking section A (YES in step S12), the program proceeds to step S13. On the other hand, if it is determined that parking was not successfully performed in parking section A (NO in step S12), the program proceeds to step S15.
- step S13 the process waits for the driver to turn off the ACC power supply.
- step S14 the parking lot information transmission unit 106 stores the parking lot information ID included in the parking lot information 122 and the result (success) indicating that parking was successful. It is transmitted to the server device 3.
- step S15 the process waits for the driver to turn off the ACC power supply.
- step S16 the parking lot information transmitting unit 106 records the parking lot information ID included in the parking lot information 122 and the record indicating the success of parking (failure). Is transmitted to the server device 3.
- step S20 it is determined that there is no parking lot information 122 corresponding to the parking lot L to be parked or the parking section A of the parking lot L. Therefore, the vehicle V equipped with the parking assistance device 1 is The driver drives manually and heads for the entrance of the parking lot L where parking is desired.
- step S21 the control unit 100 of the parking assistance device 1 waits for the vehicle V to deviate from the road with reference to the map data of the GPS device 50 and the navigation device 40. It can be determined that the vehicle V deviated from the road because the vehicle V arrived at the parking lot entrance and entered the parking lot L from this entrance. If it is determined that vehicle V has deviated from the road (YES in step S21), the program proceeds to step S22.
- step S22 the control unit 100 of the parking assistance device 1 causes the parking lot image information obtaining unit 101, the parking lot surrounding information obtaining unit 102, and the vehicle behavior information obtaining unit 109 to output the parking lot image information, the parking lot surrounding information, and the vehicle behavior information.
- the parking lot image information acquisition unit 101, the parking lot surrounding information acquisition unit 102, and the vehicle behavior information acquisition unit 109 hold information from a point in time when the parking lot L is parked a predetermined distance (for example, several meters), It is preferable that the information at the time of going back is also included in the parking lot information 122.
- step S23 the control unit 100 of the parking assistance device 1 stores (records) the recording start time of the parking lot information 122 in the parking assistance device storage unit 120 with reference to the timing information provided from the timing unit 110. , And instructs the parking position information acquiring unit 103 to acquire the parking position information.
- step S24 the control unit 100 of the parking assistance device 1 determines whether or not the vehicle V has returned to the road with reference to the map data and the like of the GPS device 50 and the navigation device 40. If it is determined that the vehicle V has returned to the road (YES in step S24), it is considered that the driver has stopped parking in the parking lot L, and the program proceeds to step S31. On the other hand, if it is determined that the vehicle V has not returned to the road (NO in step S24), it is considered that the driver has continued the parking operation, and the program proceeds to step S25.
- step S25 the control unit 100 of the parking assistance device 1 waits for the mission (gear) of the vehicle V to be put in the parking position based on the vehicle behavior information acquired by the vehicle behavior information acquisition unit 109. It is considered that the parking operation of the vehicle V has been completed at that point in time by being placed in the parking position. If it is determined that the vehicle has been parked (YES in step S25), the program proceeds to step S26.
- step S26 based on the vehicle behavior information acquired by the vehicle behavior information acquisition unit 109, the control unit 100 of the parking assistance device 1 causes an accident such as contact with another vehicle while the vehicle V performs the parking operation. It is determined whether there was no. If it is determined that no accident has occurred (YES in step S26), the program proceeds to step S27. On the other hand, if it is determined that an accident has occurred (NO in step S26), the program proceeds to step S31.
- step S27 the control unit 100 of the parking assistance device 1 causes the monitor 41 of the navigation device 40 to display a screen prompting the input of the number of the parked parking section A, and prompts the operator to enter the parking section via the navigation apparatus 40. Ask for A number input.
- the reason why the operator is required to input the number of the parking section A is that such number is difficult to obtain from the imaging unit 130, the peripheral information detecting unit 140, and the like.
- step S28 the control unit 100 of the parking assistance device 1 determines whether or not the number of the parking section A has been input in step S27. If it is determined that a number has been input (YES in step S28), the program proceeds to step S29. On the other hand, if it is determined that the number has not been input or that the operator has refused to share the parking lot information 122 (NO in step S28), the program proceeds to step S31.
- step S29 the process waits for the ACC power supply of the vehicle V to be turned off.
- step S30 the parking lot information acquisition unit 105 of the parking assistance device 1 acquires the parking lot information 122 associated with the current parking operation of the vehicle V. Is stored (recorded) in the parking assist device storage unit 120.
- step S31 the recording of the parking lot information 122 has to be interrupted (returned to the road), and the recorded parking lot information 122 cannot be used by other vehicles (parking operation). There was no accident while the parking lot A number was not input), and furthermore, the sharing of the parking lot information 122 was refused, so the control unit 100 of the parking assistance device 1 records the information recorded up to that point. To be destroyed. Thereafter, the program returns to step S21.
- FIG. 17 is a flowchart for explaining the operation of the parking lot information transmitting / receiving unit 301 of the server device 3.
- step S40 the process waits for the parking lot information transmitting / receiving unit 301 to receive information from the parking assistance device 1. If it is determined that the information has been received (YES in step S40), the program proceeds to step S41.
- step S41 it is determined whether or not the information received by the parking lot information transmitting / receiving unit 301 in step S40 includes the POI @ ID. When it is determined that the POI @ ID is included (YES in step S41), the program proceeds to step S42. On the other hand, if it is determined that the POI @ ID is not included (NO in step S41), the program proceeds to step S44.
- step S42 it is determined that the information transmitted from the parking assistance device 1 is a request to transmit the parking lot information 122, and the parking lot information transmitting / receiving unit 301 searches the parking lot information DB 315 using the POI @ ID and the vehicle information 121 as keys. . Then, in step S43, the parking lot information transmitting / receiving unit 301 transmits the parking lot information 122 retrieved in step S42 to the parking assist device 1.
- step S44 it is determined that the information transmitted from the parking assistance device 1 is the parking lot information 122, and the parking lot information transmitting / receiving unit 301 stores (saves) the received parking lot information 122 in the reception information DB 311.
- FIG. 18 is a flowchart for explaining the operation of the parking lot information totaling unit 302 of the server device 3.
- the flowchart shown in FIG. 18 starts at a predetermined time (for example, every day at midnight).
- step S ⁇ b> 50 the parking lot information totaling unit 302 performs a totalizing process of the parking lot information 122 stored in the reception information DB 311, and stores the parking lot information 122 that has been subjected to the totalizing process in the parking lot information DB 315.
- This tallying process is performed by, for example, tallying the POI @ ID, the vehicle information 121, and the parking lot number, and sorting them in ascending order.
- the parking lot information 122 acquired when the vehicle V is parked in the parking section A of the parking lot L is stored in the server storage unit of the server device 3. 310.
- the parking support control unit 108 of the parking support device 1 controls the vehicle V to park in the parking section A of the parking lot L based on the parking lot information 122 obtained from the server device 3.
- the parking support system S since the server device 3 includes the charging processing unit 303, the parking support system S can be smoothly operated.
- the parking assist device 1 has the navigation device 40, but the navigation device 40 is not essential.
- map data for automatic driving can be used instead of the map data of the navigation device 40.
- a plurality of parking lot information 122 for the same vehicle information 121 and the same parking section A may be stored in the server storage unit 310 of the server device 3.
- the parking lot image information and the like included in the parking lot information 122 may be different, for example, when day and night are different. Therefore, if the time is near, it is preferable to select the parking lot information 122 that is easier to use by the parking assistance device 1.
- the server storage unit 310 of the server device 3 When storing a plurality of parking lot information 122 for the same vehicle information 121 and the same parking section A in the server storage unit 310 of the server device 3, it is also possible to discard the parking lot information 122 with a low usage rate. .
- the parking lot information 122 whose recording start time is the latest five can be left in the server storage unit 310.
- only the five pieces of parking information 122 may be left in the server storage unit 310 in the order of the number of achievements (success) (that is, popularity).
- only the five parking lot information 122 can be left in the server storage unit 310 in the descending order of the success rate (the ratio of the result (success)).
- the parking lot information 122 may include image information (thumbnail image information) of the parking lot entrance and exit, and the thumbnail image information may be displayed on the monitor 41 when the parking lot information 122 is selected.
- the parking assist operation based on the parking information 122 fails, the parking area surrounding information at that time may also be transmitted to the server device 3. This makes it possible to analyze why the parking assist operation failed.
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Architecture (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Combustion & Propulsion (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
既に駐車実績のある駐車場の駐車場情報を共有することが可能な駐車支援システム及び駐車支援装置を提供するために、駐車場の駐車区画に車両(V)が駐車した際に取得された駐車場情報(122)がサーバ装置(3)のサーバ記憶部(310)に格納され、駐車支援装置(1)の駐車支援制御部(108)が、サーバ装置(3)から取得した駐車場情報(122)に基づいて、駐車場の駐車区画に車両(V)を駐車するように制御する。
Description
本発明は、駐車場の駐車区画に自車両を駐車させるための駐車場情報を用いて駐車支援動作を行う駐車支援システム及び駐車支援装置に関するものである。
自車両が駐車場の駐車区画に駐車する際の駐車周辺環境と駐車パターンとを記憶し、駐車周辺環境等が記憶された駐車場に再度自車両を駐車させる際にこれら駐車周辺環境等を用いて駐車支援動作を行う技術が開示されている。
また、サーバ装置から駐車場情報の提供を受けて自動駐車を行う技術も開示されている(例えば特許文献1参照)。
しかし、この特許文献1では駐車場情報に基づいて自動駐車の可否をナビゲーション装置に表示するに止まっている。従って、既に駐車実績のある駐車場の情報を共有することはできなかった。
そこで、本発明は、既に駐車実績のある駐車場の駐車場情報を共有することが可能な駐車支援システム及び駐車支援装置を提供することを目的としている。
前記目的を達成するために、本発明の駐車支援システムは、サーバ装置と、自車両に設置されてサーバ装置と通信可能な駐車支援装置とを有し、サーバ装置は、駐車場の駐車区画に自車両とは異なる他の車両が駐車した際に取得された駐車場情報が格納されたサーバ記憶部を有し、駐車支援装置は、サーバ装置から駐車場情報を取得する駐車場情報受信部と、取得した駐車場情報に基づいて、駐車場の駐車区画に自車両を駐車するように自車両を制御する駐車支援制御部とを有することを特徴とする。
このように構成された本発明の駐車支援システムでは、駐車場の駐車区画に自車両とは異なる他の車両が駐車した際に取得された駐車場情報がサーバ装置のサーバ記憶部に格納され、駐車支援装置の駐車支援制御部が、サーバ装置から取得した駐車場情報に基づいて、駐車場の駐車区画に自車両を駐車するように自車両を制御する。
このようにすることで、既に駐車実績のある駐車場の駐車場情報を共有することが可能となる。
(駐車支援システムの概略構成)
以下、この発明の実施の形態を図面に基づいて説明する。図1は、本発明の実施の形態である駐車支援システムの概略構成を示すブロック図、図2は実施の形態である駐車支援装置の撮像部及び周辺情報検出部の配置位置の一例を示す図である。
以下、この発明の実施の形態を図面に基づいて説明する。図1は、本発明の実施の形態である駐車支援システムの概略構成を示すブロック図、図2は実施の形態である駐車支援装置の撮像部及び周辺情報検出部の配置位置の一例を示す図である。
図1に示すように、本実施の形態である駐車支援システムSは、駐車支援装置1、情報通信端末2及びサーバ装置3を有する。
駐車支援装置1は、車両V(図2参照)に搭載され、この車両Vを駐車場の駐車区画に駐車するための駐車支援動作を行う。
情報通信端末2は、例えばスマートフォン、タブレット端末等、通信機能を有する情報処理装置である。情報通信端末2は駐車支援装置1及びサーバ装置3にそれぞれ通信可能に構成され、サーバ装置3から送信される駐車場情報等を駐車支援装置1に送出する。また、情報通信端末2は、駐車支援装置1から送出される駐車場情報等をサーバ装置3に送出する。
情報通信端末2の一般的な構成として、サーバ装置3とは移動体通信網を介して通信を行い、一方、駐車支援装置1とはBluetooth(登録商標)や無線LANといった近距離無線により通信を行う。
一般的に、後述するナビゲーション装置を含めた駐車支援装置1はサーバ装置3と直接通信する手段を持たないことが多い。このため、情報通信端末2はこれら駐車支援装置1及びサーバ装置3の間の通信を仲介する。従って、駐車支援装置1が移動体通信モジュール等を有する場合、情報通信端末2が不要となることもある。あるいは、情報通信端末2に駐車支援装置1による駐車支援動作を制御する機能を持たせることも可能である。この場合、駐車支援システムSに情報通信端末2は必須となる。
サーバ装置3は、例えばインターネット等のWAN(Wide Area Network:広域通信網)に接続され、このWAN及び移動体通信網を介して情報通信端末2と通信可能である。サーバ装置3は情報処理装置であることが好ましい。
本実施の形態である駐車支援システムSでは、駐車場の駐車区画に車両Vを駐車させる駐車支援動作を行う際に用いられる駐車場情報がサーバ装置3に格納されている。この駐車場情報は、駐車しようとする車両V(自車両)と同一の車両情報を有する他の車両を同一の駐車区画に駐車する駐車支援動作を行う際に取得されたものである。
本実施の形態である駐車支援装置1は、自車両が有すべき機能と他の車両が有すべき機能とを兼ね備えている。つまり、本実施の形態である駐車支援装置1は、自車両の駐車支援装置と他の車両の駐車支援装置の双方の機能を有する。
従って、本実施の形態である駐車支援装置1は、同一の車両情報を有する駐車場情報がサーバ装置3に格納されていれば(この場合は自車両の駐車支援装置)、この駐車場情報を用いて駐車支援動作を行う。一方、駐車支援装置1は、同一の車両情報を有する駐車場情報がサーバ装置3に格納されていなければ(この場合は他の車両の駐車支援装置)、運転者が手動で(つまり駐車支援装置1による駐車支援動作がなされずに)駐車動作を行う際に駐車場情報を取得する。取得した駐車場情報はサーバ装置3に送信され、他の車両の駐車支援装置1(つまり自車両の駐車支援装置)に利用される。
(駐車支援装置の構成)
本実施の形態であるの駐車支援装置1は、図2に示す車両Vに搭載されている。車両Vの前後左右には、図2に示すように複数の小型カメラが備えられている。
本実施の形態であるの駐車支援装置1は、図2に示す車両Vに搭載されている。車両Vの前後左右には、図2に示すように複数の小型カメラが備えられている。
具体的には、車両Vのフロントバンパまたはフロントグリルには、車両Vの前方に向けて前方カメラ20aが装着されている。車両Vのリアバンパまたはリアガーニッシュには、車両Vの後方に向けて後方カメラ20bが装着されている。車両Vの左ドアミラーには、車両Vの左側方に向けて左側方カメラ20cが装着されている。車両Vの右ドアミラーには、車両Vの右側方に向けて右側方カメラ20dが装着されている。
前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20dには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、4台のカメラ20a~20dで車両Vの周囲の路面を含む領域を漏れなく観測することができるようになっている。
さらに、図1に示すように、車両Vの前後左右には、ソナー30a~30fが装着されている。
具体的には、車両Vのフロントバンパやフロントグリルには、車両Vの前方に向けてソナー30aが装着されている。また、車両Vの左側方部には、車両Vの左側方に向けてソナー30b、30cが装着されている。そして、車両Vのリアバンパやリアガーニッシュには、車両Vの後方に向けてソナー30dが装着されており、車両Vの右側方部には、車両Vの右側方に向けてソナー30e、30fが装着されている。
これらのソナー30a~30fは、それぞれ水平方向に広がった測距範囲を有しており、全てのソナー30a~30fを合わせて、車両Vの周囲を漏れなく測距できるようになっている。
なお、ソナー30a~30fの代わりに、ミリ波レーダ等のレーダ装置を設置しても構わない。一般に、レーダはソナーに対して遠方の測距性能に優れるため、自動駐車を行う際に必要となる車両Vの周囲の距離範囲の大きさに基づいて、使用するセンサを適宜選択すればよい。
本実施の形態である駐車支援装置1は、前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20dと、これらのカメラを制御するとともに、俯瞰画像の生成、駐車区画の検出、目標駐車区画の設定、駐車区画の位置補正等の処理を行うカメラECU22と、ソナー30a~30fと、これらのソナー30a~30fを制御するとともに車両Vの周囲の障害物の検出を行うソナーECU32とを有する。
また、駐車支援装置1はナビゲーション装置40及びGPS装置50を有し、ナビゲーション装置40は画像表示機能を有するモニター41を有する。GPS装置50は、図1において車両Vの現在位置を算出する。ナビゲーション装置40は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置40は、この地図データ等及びGPS装置50により検出された車両Vの現在位置に基づいて、ナビゲーション装置40の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター41に表示される。さらに、ナビゲーション装置40は近距離無線モジュールを有し、情報通信端末2との間で通信を行う。
さらに、駐車支援装置1は、カメラECU22、ソナーECU32、ナビゲーション装置40及びGPS装置50から出力される情報に基づいて、自動駐車を行う際の目標駐車区画候補を決定して、さらに、車両Vが採るべき進入方向を決定する等の駐車支援動作制御を行う車両制御ECU60を有する。
そして、駐車支援装置1は、車両制御ECU60で決定した駐車支援動作制御情報に基づいて、車両Vの各部位の制御を行うアクチュエータ70を有する。なお、ここにいうアクチュエータ70は、これらアクチュエータ70を制御する制御ユニットを含む。
アクチュエータ70の一例としては、車両Vの操舵角を制御するステアリング制御ユニット及びこのステアリング制御ユニットにより駆動制御されるパワステアクチュエータ、車両Vのスロットルを制御するスロットル制御ユニット及びこのスロットル制御ユニットにより駆動制御されるスロットルアクチュエータ、車両Vのブレーキを制御するブレーキ制御ユニット及びこのブレーキ制御ユニットにより駆動制御されるブレーキアクチュエータを含む。
また、駐車支援装置1は、駐車支援動作制御を行う際に必要な情報を取得するためのセンサ80を有する。センサ80の一例としては、車両Vの現在位置を特定するために必要な情報および自動駐車を行う際に車両Vの車速と操舵角を制御するために必要な情報を取得する車輪速センサ、舵角センサ、ヨーレートセンサ、シフト位置センサを含む。
なお、カメラECU22及びソナーECU32と、車両制御ECU60との間は、車両Vの車内に敷設されたネットワークである、例えばCAN(登録商標)(Controller Area Network)で構成されたセンサ情報系ネットワーク90に接続されている。また、ナビゲーション装置40、GPS装置50、アクチュエータ70及びセンサ80と、車両制御ECU60との間は、車両Vの車内に敷設されたネットワークである、例えばCAN(登録商標)で構成された車両情報系ネットワーク91に接続されている。
ここで、図2において、ソナー30a~30fの代わりに、図2に非図示のレーダを設置しても構わない。なお、レーダを設置したときは、レーダを制御するとともに、車両Vの周囲の障害物の検出を行う、図2に非図示のレーダECUが設置される。
ソナー30a~30fとレーダは、それぞれ測距範囲が異なるため、もちろん、両者を混在させても構わない。また、測距機能を実現するために、前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20dで、異なる時間に撮像された画像同士をそれぞれ比較することによって障害物を検出する、いわゆるモーションステレオ機能を実装しても構わない。以後、説明を簡単にするため、駐車支援装置1には、測距手段としてソナー30a~30fとソナーECU32のみが実装されているものとする。
(駐車支援装置の機能構成)
図3は、本実施の形態である駐車支援システムSに適用される駐車支援装置1の概略構成を示す機能ブロック図である。
図3は、本実施の形態である駐車支援システムSに適用される駐車支援装置1の概略構成を示す機能ブロック図である。
本実施の形態である駐車支援装置1は、制御部100、駐車支援装置記憶部120、撮像部130、周辺情報検出部140、位置情報取得部150、表示部160、アクチュエータ170、センサ180、入力部190及び通信部195を有する。
主に車両制御ECU60から構成される制御部100は、駐車支援装置1全体の制御を行う。制御部100はCPU、FPGAなどのプログラマブルロジックデバイス、ASIC等の集積回路に代表される演算素子を有する。
駐車支援装置1の駐車支援装置記憶部120には図略の制御用プログラムが格納されている。この制御用プログラムが駐車支援装置1の起動時に制御部100により実行されて、駐車支援装置1は図3に示すような機能構成を備えたものとなる。特に、本実施形態の駐車支援装置1は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばFPGAなどを有することが好ましい。
制御部100は、駐車場画像情報取得部101、駐車場周辺情報取得部102、駐車場位置情報取得部103、駐車位置情報取得部104、駐車場情報取得部105、駐車場情報送信部106、駐車場情報受信部107、駐車支援制御部108、車両挙動情報取得部109、計時部110及び表示制御部111を有する。
駐車場画像情報取得部101は、撮像部130が車両Vの周辺を撮像して得た画像情報に基づいて、駐車場の出入口から車両Vが駐車場の駐車区画に駐車するまでの走路を撮像して得られる駐車場画像情報を取得する。駐車場画像情報取得部101が取得した駐車場画像情報は駐車支援装置記憶部120に一時的に格納される。
駐車場周辺情報取得部102は、周辺情報検出部140が得た周辺情報に基づいて、駐車場の出入口から車両Vが駐車場の駐車区画に駐車するまでの走路の周辺の障害物に関する駐車場周辺情報を取得する。駐車場周辺情報取得部102が取得した駐車場周辺情報も駐車支援装置記憶部120に一時的に格納される。
駐車場位置情報取得部103は、位置情報取得部150が得た車両Vの現在位置情報に基づいて、駐車場の出入口の位置情報である駐車場位置情報を取得する。駐車場位置情報取得部103が取得した駐車場位置情報も駐車支援装置記憶部120に一時的に格納される。
駐車位置情報取得部104は、位置情報取得部150が得た車両Vの現在位置情報に基づいて、駐車場の駐車区画の位置情報である駐車位置情報を取得する。
駐車場情報取得部105は、これら駐車場画像情報取得部101、駐車場周辺情報取得部102、駐車場位置情報取得部103及び駐車位置情報取得部104がそれぞれ取得した駐車場画像情報、駐車場周辺情報、駐車場位置情報及び駐車位置情報をまとめて駐車場情報122として取得し、この駐車場情報122を駐車支援装置記憶部120に格納する。
駐車場情報送信部106は、駐車場情報取得部105が取得した駐車場情報122を、通信部195及び情報通信端末2を介してサーバ装置3に送出する。駐車場情報送信部106がサーバ装置3に駐車場情報122を送出するタイミングは任意であるが、好ましくは、車両Vが駐車区画に駐車された後に車両Vが始動したときに、駐車場情報送信部106はサーバ装置3に駐車場情報122を送出する。より好ましくは、イグニッションスイッチが操作されてACC(アクセサリー)電源がオンされたら、駐車場情報送信部106はサーバ装置3に駐車場情報122を送出する。
駐車場情報受信部107は、サーバ装置3から送出された駐車場情報122を取得し、取得した駐車場情報122を駐車支援装置記憶部120に格納する。
駐車支援制御部108は、駐車場情報受信部107が取得した駐車場情報122に基づいて、駐車場の駐車区画に車両Vを駐車するように車両Vを制御する。より詳しくは、駐車支援制御部108は、駐車場情報122に基づいて、駐車場の駐車区画に車両Vを駐車するようにアクチュエータ170を制御する。好ましくは、駐車支援制御部108は、駐車場の出入口から車両Vが駐車場の駐車区画に駐車するまでの走路における、撮像部130、周辺情報検出部140、位置情報取得部150及びセンサ180の検出情報にも基づいて、車両Vを制御する。駐車支援制御部108による具体的制御手順については公知であるので、本明細書ではこれ以上の詳細な説明を省略する。
車両挙動情報取得部109は、センサ180が検出した検出情報に基づいて、駐車場の出入口から車両Vが駐車場の駐車区画に駐車するまでの車両Vの挙動に関する車両挙動情報を取得する。そして、駐車場情報取得部105は、車両挙動情報取得部109が取得した車両挙動情報も駐車場情報122として取得し、この駐車場情報122を駐車支援装置記憶部120に格納する。
計時部110は現在の時刻を計時する。表示制御部111は、制御部100による各種制御動作の結果得られる情報に基づいて、表示部160に所定の画面を表示するための表示制御信号を生成し、この表示制御信号を表示部160に送出する。
主に車両制御ECU60から構成される駐車支援装置記憶部120は、ハードディスクドライブ等の大容量記憶媒体やROM、RAM等の半導体記憶媒体などの記憶媒体を有する。駐車支援装置記憶部120には、制御部100における各種動作の際に用いられる各種データが一時的または非一時的に格納される。
また、駐車支援装置記憶部120には車両情報121及び駐車場情報122が格納されている。車両情報121は、車両Vを一意に特定できる情報である。この車両情報121は、駐車支援装置1が請求の範囲における自車両の駐車支援装置である場合は他の車両の車両情報であり、駐車支援装置が他の車両の駐車支援装置である場合は自車両の車両情報である。
主にカメラ20a~20d及びカメラECU22から構成される撮像部130は、車両V周辺の画像を撮像して得られた画像信号を出力する。特に、本実施の形態における撮像部130は、車両Vの周辺の路面を車両Vの真上から俯瞰したような俯瞰画像を生成する機能を有する。
図8は、車両Vに設置された前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20d(図3の撮像部130)でそれぞれ撮像される画像の例を示す図である。図8に示すように、各カメラ20a~20dには、車両Vの周囲の路面を含む画像が透視変換された状態で観測される。
図9は、図8に示した各画像(If(x,y),Il(x,y),Ir(x,y),Ib(x,y))を、それぞれ車両Vを真上から見下ろした俯瞰画像(Ife(x,y),Ile(x,y),Ire(x,y),Ibe(x,y))に変換して、さらに各俯瞰画像を合成して、1枚の俯瞰合成画像Ie(x,y)を生成した例を示す図である。
撮像部130で撮像された画像は、上空の予め決められた位置に設けた視点位置から、所定距離だけ下にある平面状の路面を観測しているものと仮定して座標変換を行うことによって、俯瞰画像に変換される。そして、各カメラ(前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20d)の設置位置の相対関係は予めわかっているため、各俯瞰画像は所定の位置関係になるように合成されて、1枚の俯瞰合成画像Ie(x,y)とすることができる。そして、俯瞰合成画像Ie(x,y)の中心部分は死角になるため、車両Vを真上から見下ろした状態を示すアイコンCが表示される。
主にソナー30a~30f及びソナーECU32から構成される周辺情報検出部140は、車両Vの周囲に存在する障害物の存在を検知した結果を出力し、さらに、車両Vから障害物までの距離を測距した測距結果も出力する。
主にGPS装置50及びナビゲーション装置40から構成される位置情報取得部150は、車両Vの現在位置を測定し、その測定結果を座標値として出力する。座標値は絶対座標値または相対座標値であり、一例として、緯度経度、Mapcode(登録商標)、地域メッシュコードと正規化座標との組み合わせ、Morton Codeなどが挙げられる。
主にモニター41から構成される表示部160は、制御部100の表示制御部111から送出された表示制御信号に基づいて所定の画面を表示する。アクチュエータ170及びセンサ180は図1におけるアクチュエータ70及びセンサ80と略同一の構成であるため、ここでの説明は簡略化する。
主にナビゲーション装置40が有する図略のタッチパネル等から構成される入力部190は、運転者などの操作者からの操作入力を受け入れる。入力部190は受け入れた操作入力に基づいて操作入力信号を生成し、この操作入力信号を制御部100に送出する。
主にナビゲーション装置40が有する通信モジュールから構成される通信部195は、情報通信端末2との間で通信を行う。通信部195は、好ましくはBluetooth、無線LAN等の近距離無線通信が可能な構成を有する。
(情報通信端末の機能構成)
図4は、本実施の形態である駐車支援システムSに適用される情報通信端末2の概略構成を示す機能ブロック図である。
図4は、本実施の形態である駐車支援システムSに適用される情報通信端末2の概略構成を示す機能ブロック図である。
本実施の形態である情報通信端末2は、制御部200、記憶部210及び通信部220を有する。
制御部200は駐車場情報保管部201を有する。駐車場情報保管部201は、駐車支援装置1またはサーバ装置3から送信された駐車場情報122を一時的に記憶部210に格納し、駐車支援装置1またはサーバ装置3からの要求に応じて駐車場情報122を送出する。
通信部220は、駐車支援装置1及びサーバ装置3との間で通信を行う。通信部220は、好ましくは移動体通信及びBluetooth、無線LAN等の近距離無線通信の双方が可能な構成を有する。
(サーバ装置の機能構成)
図5は、本実施の形態である駐車支援システムSに適用されるサーバ装置3の概略構成を示す機能ブロック図である。
図5は、本実施の形態である駐車支援システムSに適用されるサーバ装置3の概略構成を示す機能ブロック図である。
本実施の形態であるサーバ装置3は、制御部300、サーバ記憶部310及び通信部320を有する。
制御部300は、サーバ装置3全体の制御を行う。サーバ記憶部310には図略の制御用プログラムが格納されている。この制御用プログラムがサーバ装置3の起動時に制御部300により実行されて、サーバ装置3は図5に示すような機能構成を備えたものとなる。
制御部300は、駐車場情報送受信部301、駐車場情報集計部302及び課金処理部303を有する。
駐車場情報送受信部301は、駐車支援装置1の駐車場情報送信部106から送出された駐車場情報122をサーバ記憶部310の受信情報DB(データベース)311に格納する。また、駐車場情報送受信部301は、駐車支援装置1の制御部100から車両情報121とともに、サーバ記憶部310に格納されている駐車場情報122の送信要求が来たとき、駐車場情報122に含まれる車両情報121が駐車支援装置1から送信されてきた車両情報121に一致するなど対応していると、駐車場情報122の送信要求があった駐車支援装置1に、駐車場情報DB315に格納されている駐車場情報122を送出する。
ここで、駐車場情報送受信部301が、車両情報121が対応するときに駐車場情報122を送信しているのは、車両Vが備えるカメラ20a~20dなどの撮像部130やソナー30a~30fなどの周辺情報検出部140の設置位置や撮像、検出範囲が車両V毎に異なる可能性があるからである。つまり、駐車支援装置1の駐車支援制御部108が駐車支援動作を行うためには、その支援動作の判断基準となる駐車場情報122ができるだけそのままで利用できることが好ましい。このためには、ほぼ同一の設置位置等であると考えられる撮像部130、周辺情報検出部140を用いて取得された駐車場情報122を利用することが好ましい。そこで、撮像部130、周辺情報検出部140により取得された情報の利用可能性を、車両情報121の同一性により判断している。
当然、車両情報121が異なっていても、撮像部130、周辺情報検出部140の設置位置や撮像、検出範囲がほぼ同一であると判断できる場合もあり得るので、駐車場情報送受信部301は、かかる点も考慮して駐車場情報122の送受信の判定を行うとよい。
駐車場情報集計部302は、サーバ記憶部310の受信情報DB311に格納されている駐車場情報122を集計し、ソート等の整理を行った上で、この駐車場情報122を駐車場情報DB315に格納する。
課金処理部303は、サーバ記憶部310に格納されている契約管理DB314を参照し、この契約管理DB314内の契約情報に基づいて、駐車場情報122が駐車支援装置1によって利用されたことに伴って駐車場の管理者に対して課金処理を行う。駐車支援装置1によって駐車場情報122が利用されたか否かの判定は、一例として、駐車支援装置1から送信要求のあった駐車場情報122を駐車場情報送受信部301が送信したことにより行えばよい。
サーバ記憶部310には、制御部300における各種動作の際に用いられる各種データが一時的または非一時的に格納される。
また、サーバ記憶部310には受信情報DB311、駐車場POI(Point Of Interest)DB312、駐車場位置情報DB313、契約管理DB314及び駐車場情報DB315が格納されている。
図6は、サーバ装置3のサーバ記憶部310に格納されたデータベースのデータ構造を示す図である。図6に示す各DBは全体としてリレーショナルデータベースを構成しており、図6においては各DBのフィールドまたは属性のみを示している。
受信情報DB311は、フィールドまたは属性として、駐車場情報ID311a、記録日311b、記録開始時刻311c、駐車場位置情報311d、駐車場画像情報311e、駐車場周辺情報311f、車両挙動情報311g、駐車位置情報311h、車種311j、年式311k、グレード311m、車体番号311n、駐車区画番号311p及び実績311qを有する。
駐車場情報ID311aは、サーバ装置3の駐車場情報送受信部301が駐車支援装置1から駐車場情報122を受信してこれを受信情報DB311に格納する際に、駐車場情報送受信部301が各々の駐車場情報122を一意に特定するために設定するIDである。
記録日311bは、駐車支援装置1の駐車場情報取得部105が駐車場情報122を取得した日である。記録開始時刻311cは、駐車支援装置1が駐車場情報122の記録を開始した時刻である。これら記録日311b及び記録開始時刻311cは、駐車支援装置1から送信されてきた駐車場情報122に含まれている。
駐車場位置情報311dは、駐車支援装置1の駐車場位置情報取得部103により取得されたものである。駐車場画像情報311eは、駐車支援装置1の駐車場画像情報取得部101により取得されたものである。駐車場周辺情報311fは、駐車支援装置1の駐車場周辺情報取得部102により取得されたものである。車両挙動情報311gは、駐車支援装置1の車両挙動情報取得部109により取得されたものである。駐車位置情報311hは、駐車支援装置1の駐車位置情報取得部104により取得されたものである。
車種311j、年式311k、グレード311m及び車体番号311nは、それぞれ駐車場情報122を取得した車両Vの車種、年式、グレード及び車体番号である。これら車種311j、年式311k、グレード311m及び車体番号311nにより自車両の車両情報121が構成されている。自車両の車両情報121も、駐車支援装置1から送信されてきた駐車場情報122に含まれている。
駐車区画番号311pは、車両Vが駐車場の駐車区画に駐車した際の、この駐車区画の番号である。実績311qは、車両Vが駐車場の駐車区画への駐車に成功したか否かを示す情報である。これら駐車区画番号311p及び実績311qも、駐車支援装置1から送信されてきた駐車場情報122に含まれている。
駐車場POI DB312は、POI ID312a、駐車場名称312b及び中心座標312cを有する。
POI ID312aは駐車場を一意に特定するためのIDであり、サーバ記憶部310に格納されているリレーショナルデータベースのキーとなるデータである。駐車場名称312bは、POI ID312aにより特定される駐車場の名称である。中心座標312cは、POI ID312aにより特定される駐車場の中心部の位置座標であり、この駐車場を代表する位置座標として用いられる。
駐車場位置情報DB313は、POI ID313a、出入口名称313b及び駐車場位置情報313cを有する。
POI ID313aは、駐車場POI DB312のPOI ID312aと共通であり、駐車場を一意に特定するためのIDである。出入口名称313bは、POI ID313aにより特定される駐車場の出入口の名称である。ここに、駐車場に複数の出入口がある場合、この出入口名称313bによりいずれの出入口であるかが特定される。駐車場位置情報313cは、出入口名称313bにより特定される出入口の位置座標であり、受信情報DB311の駐車場位置情報311dと共通である。
契約管理DB314は、POI ID314a及び契約情報314bを有する。
POI ID314aは、駐車場POI DB312のPOI ID312aと共通であり、駐車場を一意に特定するためのIDである。
契約情報314bは、POI ID314aにより特定される駐車場の契約情報である。契約情報314bは、上述したように制御部300の課金処理部303が駐車場の管理者に対して課金処理を行う際の基準となる情報である。契約情報314bの一例として、駐車場情報122が利用される度に課金処理部303が課金処理を行う場合は、その課金額が挙げられる。また、利用回数毎の課金額が異なる(例えば回数が多くなれば割引するなど)場合は回数と課金額との対応関係も契約情報314bである。さらに、駐車場情報122の利用を前提とした課金額が月単位などの一定期間に対応する額であれば、期間と課金額も契約情報314bである。加えて、駐車場情報122を用いて車両Vが駐車に成功した場合のみ課金処理を行う場合は、かかる条件も契約情報314bである。
駐車場情報DB315は、POI ID315a、車種315b、年式315c、グレード315d、駐車区画番号315e、実績回数(成功)315f、実績回数(失敗)315g、最終駐車年月日315h、記録日315j、記録開始時刻315k、駐車場情報ID315m、駐車場位置情報315n、駐車場画像情報315p、駐車場周辺情報315q、車両挙動情報315r及び駐車位置情報315sを有する。
POI ID315aは、駐車場POI DB312のPOI ID312aと共通であり、駐車場を一意に特定するためのIDである。
車種315b、年式315c及びグレード315dは受信情報DB311の車種311j、年式311k及びグレード311mと共通である。これら車種315b、年式315c及びグレード315dによっても自車両の車両情報121が構成されている。
駐車区画番号315eは受信情報DB311の駐車区画番号311pと共通である。実績回数(成功)315fは、受信情報DB311の実績311qにおいて駐車に成功したデータがいくつあるか(つまり何回駐車に成功したか)を表す回数である。同様に、実績回数(失敗)315gは、受信情報DB311の実績311qにおいて駐車に失敗したデータがいくつあるか(つまり何回駐車に失敗したか)を表す回数である。
最終駐車年月日315hには、駐車支援装置1から駐車場情報122が送信されてくる度に、この駐車場情報122に含まれる記録日311bが上書きされることで、駐車支援装置1による駐車支援動作により車両Vが最後に(つまり最近)駐車した年月日が記録される。
記録開始時刻315kは、受信情報DB311の記録開始時刻311cと共通である。駐車場情報ID315nは、受信情報DB311の駐車場情報ID311aと共通である。
駐車場位置情報315n、駐車場画像情報315p、駐車場周辺情報315q、車両挙動情報315r及び駐車位置情報315sは、それぞれ受信情報DB311の駐車場位置情報311d、駐車場画像情報311e、駐車場周辺情報311f、車両挙動情報311g及び駐車位置情報311hと共通である。
図5に戻って、通信部320は情報通信端末2との間で通信を行う。通信部320は、インターネットに代表されるWANと通信可能な構成を有する。
(駐車支援装置とサーバ装置との間の情報のやりとり)
図7は、駐車支援装置1とサーバ装置3との情報のやりとりを示す図である。
駐車支援装置1(他の車両の駐車支援装置)から、この駐車支援装置1が設置された車両V(この場合は他の車両)が駐車場の駐車区画に駐車する毎に、駐車場情報122と実績とがサーバ装置3に送信される。これら駐車場情報122及び実績は受信情報DB311に一旦格納され、駐車場情報集計部302が所定のタイミングで集計処理を行い、その結果を駐車場情報DB315に格納する。
図7は、駐車支援装置1とサーバ装置3との情報のやりとりを示す図である。
駐車支援装置1(他の車両の駐車支援装置)から、この駐車支援装置1が設置された車両V(この場合は他の車両)が駐車場の駐車区画に駐車する毎に、駐車場情報122と実績とがサーバ装置3に送信される。これら駐車場情報122及び実績は受信情報DB311に一旦格納され、駐車場情報集計部302が所定のタイミングで集計処理を行い、その結果を駐車場情報DB315に格納する。
駐車支援装置1(自車両の駐車支援装置)は、駐車場の駐車区画への駐車を希望する場合、サーバ装置3に駐車場情報122の送信を要求する。サーバ装置3の駐車場情報送受信部301は、駐車支援装置1からの駐車場情報122の送信要求があったら、車両情報121の一致を条件に、駐車場情報DB315に格納されている駐車場情報122を駐車支援装置1に送信する。
(駐車支援システムの運用)
図10及び図11は、それぞれ実施の形態である駐車支援システムSの運用の例を示す図である。
図10及び図11は、それぞれ実施の形態である駐車支援システムSの運用の例を示す図である。
図10において、ある運転者が車両(他の車両)で駐車場の駐車区画に駐車した際に、この他の車両に搭載された駐車支援装置1で各種データを取得し、これを駐車場情報122としてサーバ装置3に送信する(1)。サーバ装置3は駐車支援装置1から送信された駐車場情報122を蓄積する(2)。
サーバ装置3の運用者(運用会社)は、ある程度駐車場情報122が蓄積された段階で、各々の駐車場情報122に対応する駐車場のオーナー(管理者)に、駐車場情報122を駐車支援装置1の利用者(運転者)に提供するかわりにこの駐車場のオーナーに課金処理をする旨の募集を行う(3)。駐車場のオーナーはこれに応じて駐車場情報122の提供を依頼し、条件によっては前払い金をサーバ装置3の運用者に支払う(4)。
駐車支援装置1から駐車場情報122の送信要求があると、サーバ装置3は駐車場情報122を駐車支援装置1に送信する(5)。そして、駐車支援装置1の利用者(運転者)は、この駐車場情報122を用いて駐車場の駐車区画に駐車する(6)。
図10に示す運用は、駐車場が比較的小規模な場合に好適な運用である。
また、図11において、サーバ装置3の運用者は、まず駐車場のオーナー(管理者)に、駐車場情報122を駐車支援装置1の利用者(運転者)に提供するかわりにこの駐車場のオーナーに課金処理をする旨の募集を行う(1)。駐車場のオーナーはこれに応じて駐車場情報122の提供を依頼し、条件によっては前払い金をサーバ装置3の運用者に支払う(2)。
サーバ装置3の運用者は、駐車場情報122の提供の依頼があった駐車場オーナーの駐車場に車両(他の車両)を派遣して各種データを取得し(3)、他の車両は駐車場情報122としてサーバ装置3に送信する(4)。
駐車支援装置1から駐車場情報122の送信要求があると、サーバ装置3は駐車場情報122を駐車支援装置1に送信する(5)。そして、駐車支援装置1の利用者(運転者)は、この駐車場情報122を用いて駐車場の駐車区画に駐車する(6)。
図11に示す運用は、駐車場が比較的大規模な場合、一例として大規模ビルやショッピングセンター、モールの駐車場である場合に好適な運用である。
(駐車支援動作の一例)
図12~図14を参照して、上述した非特許文献1に開示された駐車支援動作について説明する。但し、本実施の形態である駐車支援システムSにおいて用いられる駐車支援動作は、これら図12~図14に示すものに限定されない。
図12~図14を参照して、上述した非特許文献1に開示された駐車支援動作について説明する。但し、本実施の形態である駐車支援システムSにおいて用いられる駐車支援動作は、これら図12~図14に示すものに限定されない。
図12に示すように、駐車場Lの駐車区画Aに車両V(自車両)を駐車する際の運転者による駐車動作を支援する際に、図13~図14で示す駐車支援動作が用いられる。
図13は、本実施の形態である駐車支援装置1のナビゲーション装置40のモニター41に表示される画面の一例を示す図である。
図13に示す画面は、駐車場情報122が取得できた駐車場Lの出入口から車両Vが駐車場Lに入庫した時点から表示される。この画面には、カメラ20a~20dを用いて得られる俯瞰画像P1と、前方カメラ20aを用いて得られる車両V前方の画像P2とが表示されている。
これら画像P1、P2には、いずれも車両Vを駐車区画Aに駐車させるために進行すべき方向を示す矢印ARが表示されており、画像P1にマークPとして表示されているボタンを操作者が押し続けることで、この矢印ARに沿って車両Vが誘導される。
図14は、本実施の形態である情報通信端末2の図略の表示部に表示される画面の一例を示す図である。
図14に示す画面も、図13と同様に、駐車場情報122が取得できた駐車場Lの出入口から車両Vが駐車場Lに入庫した時点から表示される。この画面にも、車両Vを駐車区画Aに駐車させるために進行すべき方向を示す矢印ARが表示されており、画像P1にマークPとして表示されているボタンを操作者が押し続けることで、この矢印ARに沿って車両Vが誘導される。
(駐車支援システムの動作)
次に、本実施の形態である駐車支援システムSの動作の一例を図15~図18のフローチャートを参照して説明する。なお、駐車支援システムSを構成する各部の動作のうち、既に詳細に説明している動作については適宜省略する。
次に、本実施の形態である駐車支援システムSの動作の一例を図15~図18のフローチャートを参照して説明する。なお、駐車支援システムSを構成する各部の動作のうち、既に詳細に説明している動作については適宜省略する。
図15~図16は駐車支援装置1の動作を説明するためのフローチャートである。図15のフローチャートに示す動作は、駐車支援装置1が搭載された車両Vが始動したときに、つまり、イグニッションスイッチがオンとなったときに開始する。まず、ステップS1では、運転者がイグニッションスイッチを操作する(押し込む、回す)ことによりACC電源がオンされる。
ステップS2では、駐車支援装置記憶部120に、未送付の駐車場情報122が格納されているか否かが判定される。そして、未送付の駐車場情報122があると判定されたら(ステップS2においてYES)、ステップS3において、駐車場情報送信部106が通信部195及び情報通信端末2を介して駐車支援装置記憶部120に格納されている未送付の駐車場情報122を送信する。一方、全ての駐車場情報122を送付したと判定されたら(ステップS2においてNO)、プログラムはステップS4に進む。
ステップS3で送付される駐車場情報122に含まれる情報の一例としては、駐車場情報122の記録開始時に計時部110から提供された記録開始日時、駐車場位置情報、駐車場周辺情報、車両挙動情報、車両情報及び駐車区画番号が挙げられる。
ステップS4では、ナビゲーション装置40の操作者が、車両Vを駐車場Lの駐車区画Aに駐車することを目的として、駐車場情報122がサーバ装置3に既に格納されている駐車場Lを検索するか否かの指示を、ナビゲーション装置40のタッチパネル等を介して入力する。駐車支援装置1の制御部100はこの操作入力に基づき、操作者が駐車場Lを検索しているか否かを判定する。そして、駐車場Lの検索入力があったと判定されたら(ステップS4においてYES)、プログラムはステップS5に進む。一方、駐車場の検索入力がなかったと判定されたら(ステップS4においてNO)、プログラムはステップS21に進む。
ステップS5では、例えばナビゲーション装置40のモニター41に表示された駐車場の一覧に基づいて、操作者がいずれかの駐車場を選択する。駐車場の一覧は、例えばナビゲーション装置40が有する地図データ等に基づいて作成される。
ステップS6では、駐車支援装置1の制御部100が、ステップS5で選択された駐車場を特定する情報、一例として駐車場のPOI IDをサーバ装置3に送信するとともに、駐車支援装置記憶部120に格納されている車両情報121をサーバ装置3に送信する。
駐車場を特定する情報及び車両情報121を受信したサーバ装置3は、送信されてきた駐車場を特定する情報及び車両情報121をキーとして駐車場情報DB315を検索する。そして、略同一の車両情報121を有し、かつ、POI IDが一致する駐車場情報122がある場合は、駐車場情報送受信部301が、ステップS6で情報送信のあった駐車支援装置1に駐車場情報122を送信する。
なお、ステップS5において、車両情報121が一致する駐車場情報122の一覧を駐車場情報送受信部301が送信し、ナビゲーション装置40で選択してもよい。
ステップS7では、ステップS6においてサーバ装置3から駐車場情報122が送信されたか否かが駐車場情報受信部107により判定される。そして、駐車場情報122が送信されたと判定されたら(ステップS7においてYES)、プログラムはステップS8に進む。一方、駐車場情報122が送信されてこない、言い換えれば、略同一の車両情報121を有し、かつ、POI IDが一致する駐車場情報122がサーバ記憶部310に格納されていないと判定されたら(ステップS7においてNO)、プログラムはステップS20に進む。
ステップS8では、ステップS6で送信されてきた駐車場情報122に含まれる駐車区画Aの一覧を制御部100がモニター41に表示し、操作者の選択入力を待つ。
ステップS9では、ステップS8において駐車区画Aの選択入力があったか否かが制御部100により判定される。そして、駐車区画Aの選択入力があったと判定されたら(ステップS9においてYES)、プログラムはステップS10に進む。一方、駐車区画Aの選択入力がなかったと判定されたら(ステップS9においてNO)、プログラムはステップS20に進む。
ステップS10では、駐車支援装置1が搭載された車両Vを運転手が手動で運転し、入手した駐車場情報122に係る駐車場Lの入口へと向かう。この際、駐車場情報122に含まれる駐車場位置情報に基づいて、ナビゲーション装置40が経路案内を行ってもよい。
図16に進み、ステップS11では、車両Vが駐車場出入口に到着したことを条件に、ナビゲーション装置40の操作者が、駐車支援装置1による駐車支援動作の指示を行う。駐車支援装置1の制御部100、特に駐車支援制御部108は、駐車支援動作の指示に基づき、駐車場情報122に基づいて、駐車場Lの駐車区画Aに車両Vを駐車させる動作を支援する。同時に、駐車支援装置1の制御部100は、駐車場周辺情報取得部102により車両V周辺の障害物に関する情報を記録させるとともに、車両挙動情報取得部109により車両Vの挙動情報を取得させる。
ステップS12では、駐車支援装置1の制御部100が、駐車場周辺情報取得部102が取得した駐車場周辺情報及び車両挙動情報取得部109が取得した車両挙動情報等に基づき、車両Vが無事に駐車区画Aに駐車できたか否かを判定する。そして、無事に駐車区画Aに駐車できたと判定されたら(ステップS12においてYES)、プログラムはステップS13に進む。一方、駐車区画Aにうまく駐車できなかった(ステップS12においてNO)と判定されたら、プログラムはステップS15に進む。
ステップS13では、運転者がACC電源をオフするのを待ち、ステップS14では、駐車場情報送信部106が、駐車場情報122に含まれる駐車場情報IDと駐車成功を示す実績(成功)とをサーバ装置3に送信する。
一方、ステップS15では、運転者がACC電源をオフするのを待ち、ステップS16では、駐車場情報送信部106が、駐車場情報122に含まれる駐車場情報IDと駐車成功を示す実績(失敗)とをサーバ装置3に送信する。
図15に戻って、ステップS20では、駐車したい駐車場Lまたはその駐車場Lの駐車区画Aに対応する駐車場情報122がないと判定されたので、駐車支援装置1が搭載された車両Vを運転手が手動で運転し、駐車を希望する駐車場Lの入口へと向かう。
図16に進み、ステップS21では、駐車支援装置1の制御部100が、GPS装置50及びナビゲーション装置40の地図データ等を参照して、車両Vが道路から逸脱するのを待つ。車両Vが道路から逸脱したのは、この車両Vが駐車場出入口に到着してこの出入口から駐車場Lに入庫したからであると判断できる。車両Vが道路から逸脱したと判定されたら(ステップS21においてYES)、プログラムはステップS22に進む。
ステップS22では、駐車支援装置1の制御部100が、駐車場画像情報取得部101、駐車場周辺情報取得部102、車両挙動情報取得部109に駐車場画像情報、駐車場周辺情報及び車両挙動情報の取得を指示する。この際、駐車場画像情報取得部101、駐車場周辺情報取得部102、車両挙動情報取得部109は駐車場Lへの入庫から所定距離(例えば数メートル)遡った時点からの情報を保持し、遡った時点での情報も駐車場情報122に含めることが好ましい。
ステップS23では、駐車支援装置1の制御部100が、計時部110から提供される計時情報を参照して、駐車場情報122の記録開始時刻を駐車支援装置記憶部120に格納(記録)するとともに、駐車場位置情報取得部103に駐車場位置情報の取得を指示する。
ステップS24では、駐車支援装置1の制御部100が、GPS装置50及びナビゲーション装置40の地図データ等を参照して、車両Vが道路に復帰したか否かを判定する。そして、車両Vが道路に復帰したと判定されたら(ステップS24においてYES)、運転者が駐車場Lへの駐車を中止したと考え、プログラムはステップS31に進む。一方、車両Vが道路に復帰していないと判定されたら(ステップS24においてNO)、運転者が駐車動作を継続しているものと考え、プログラムはステップS25に進む。
ステップS25では、駐車支援装置1の制御部100が、車両挙動情報取得部109が取得した車両挙動情報に基づいて、車両Vのミッション(ギア)がパーキング位置に入れられるのを待つ。パーキング位置に入れられたことにより、その時点で車両Vの駐車動作が終了したものと考えられる。パーキング位置に入れられたと判定されたら(ステップS25においてYES)、プログラムはステップS26に進む。
ステップS26では、駐車支援装置1の制御部100が、車両挙動情報取得部109が取得した車両挙動情報に基づいて、車両Vが駐車動作を行っている間に他の車両に接触したなどの事故がなかったかどうかを判定する。そして、事故がなかったと判定されたら(ステップS26においてYES)、プログラムはステップS27に進む。一方、事故があったと判定されたら(ステップS26においてNO)、プログラムはステップS31に進む。
ステップS27では、駐車支援装置1の制御部100が、ナビゲーション装置40のモニター41に、駐車した駐車区画Aの番号の入力を促す画面を表示させ、このナビゲーション装置40を介して操作者に駐車区画Aの番号入力を求める。
ここで、操作者に駐車区画Aの番号入力を求めるのは、かかる番号は撮像部130、周辺情報検出部140等からは入手しづらいためである。
ステップS28では、駐車支援装置1の制御部100が、ステップS27において駐車区画Aの番号入力があったか否かを判定する。そして、番号入力があったと判定されたら(ステップS28においてYES)、プログラムはステップS29に進む。一方、番号入力がなかった、あるいは操作者が駐車場情報122の共有を拒否したと判定されたら(ステップS28においてNO)、プログラムはステップS31に進む。
ステップS29では、車両VのACC電源がオフされるのを待ち、ステップS30では、駐車支援装置1の駐車場情報取得部105が、今回の車両Vの駐車動作に伴う駐車場情報122を取得し、駐車支援装置記憶部120に格納(記録)する。
一方、ステップS31では、駐車場情報122の記録を中断せざるを得ない状態になった(道路に復帰した)、記録した駐車場情報122が他の車両により利用できない状態になった(駐車動作中に事故があった、駐車区画Aの番号入力がなかった)、さらには、駐車場情報122の共有を拒否されたので、駐車支援装置1の制御部100は、それまで記録していた情報を破棄させる。その後、プログラムはステップS21に戻る。
次に、図17は、サーバ装置3の駐車場情報送受信部301の動作を説明するためのフローチャートである。
まず、ステップS40では、駐車場情報送受信部301が駐車支援装置1から情報を受信するのを待つ。情報を受信したと判定されたら(ステップS40においてYES)、プログラムはステップS41に進む。次いで、ステップS41では、ステップS40において駐車場情報送受信部301が受信した情報にPOI IDが含まれているか否かが判定される。そして、POI IDが含まれていると判定されたら(ステップS41においてYES)、プログラムはステップS42に進む。一方、POI IDが含まれていないと判定されたら(ステップS41においてNO)、プログラムはステップS44に進む。
ステップS42では、駐車支援装置1から送信された情報は駐車場情報122の送信要求であると判断し、駐車場情報送受信部301はPOI ID及び車両情報121をキーとして駐車場情報DB315を検索する。そして、ステップS43では、ステップS42で検索した駐車場情報122を駐車場情報送受信部301が駐車支援装置1に送信する。
一方、ステップS44では、駐車支援装置1から送信された情報は駐車場情報122であると判断し、駐車場情報送受信部301は受信した駐車場情報122を受信情報DB311に格納(保存)する。
次に、図18は、サーバ装置3の駐車場情報集計部302の動作を説明するためのフローチャートである。図18に示すフローチャートは、予め定められた時刻(例えば毎日午前0時)に起動する。
ステップS50では、駐車場情報集計部302が、受信情報DB311に格納されている駐車場情報122の集計処理を行い、集計処理を行った駐車場情報122を駐車場情報DB315に格納する。この集計処理は、一例として、POI ID、車両情報121、及び駐車場区画番号を集計し、昇順にソートすることで行われる。
以上のように構成された本実施の形態であるの駐車支援システムSでは、駐車場Lの駐車区画Aに車両Vが駐車した際に取得された駐車場情報122がサーバ装置3のサーバ記憶部310に格納される。駐車支援装置1の駐車支援制御部108が、サーバ装置3から取得した駐車場情報122に基づいて、駐車場Lの駐車区画Aに車両Vを駐車するように制御する。
このようにすることで、既に駐車実績のある駐車場の駐車場情報を共有することが可能となる。
また、本実施の形態である駐車支援システムSでは、サーバ装置3が課金処理部303を有しているので、この駐車支援システムSを円滑に運用することが可能となる。
また、本実施の形態である駐車支援システムSでは、サーバ装置3が課金処理部303を有しているので、この駐車支援システムSを円滑に運用することが可能となる。
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
一例として、上述の実施の形態では、駐車支援装置1がナビゲーション装置40を有していたが、ナビゲーション装置40は必須ではない。ナビゲーション装置40を有しない構成の場合、ナビゲーション装置40が有する地図データに代えて、自動運転用の地図データを用いることができる。
また、駐車場情報122が、同じ車両情報121、同じ駐車区画Aについて複数個、サーバ装置3のサーバ記憶部310に格納されることも可能である。この場合、現在時刻が駐車場情報122に含まれる記録開始時刻に近い駐車場情報122を選択することも可能である。駐車場情報122に含まれる駐車場画像情報等は、例えば昼夜が違えば異なる可能性がある。従って、時刻が近ければ、駐車支援装置1がより利用しやすい駐車場情報122を選択することが好ましい。同様に、季節という区分を用い、季節が同じまたは近い駐車場情報122を選択することも可能である。
また、サーバ装置3のサーバ記憶部310に、同じ車両情報121、同じ駐車区画Aについて複数個の駐車場情報122を格納する場合、利用率の低い駐車場情報122を破棄することも可能である。一例として、記録開始時刻が直近5つの駐車場情報122のみサーバ記憶部310に残すことができる。また、実績(成功)の回数が多い(つまり人気が高い)順に5つの駐車場情報122のみサーバ記憶部310に残すこともできる。さらに、成功率(実績(成功)の割合)が高い順に5つの駐車場情報122のみサーバ記憶部310に残すこともできる。
さらに、駐車場情報122に天候情報を含め、天候情報が一致または類似する駐車場情報122を選択することも可能である。同様に、駐車場情報122に、駐車場出入口の画像情報(サムネイル画像情報)を含め、駐車場情報122の選択の際にこのサムネイル画像情報をモニター41に表示してもよい。
そして、駐車場情報122による駐車支援動作に失敗した場合、その際の駐車場周辺情報もサーバ装置3に送信してもよい。これにより、何故駐車支援動作に失敗したかを解析することができる。
本出願は、2018年6月20日に日本国特許庁に出願された特願2018-116620に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。
Claims (5)
- サーバ装置と、自車両に設置されて前記サーバ装置と通信可能な駐車支援装置とを有する駐車支援システムであって、
前記サーバ装置は、
駐車場の駐車区画に前記自車両とは異なる他の車両が駐車した際に取得された駐車場情報が格納されたサーバ記憶部
を有し、
前記駐車支援装置は、
前記サーバ装置から前記駐車場情報を取得する駐車場情報受信部と、
取得した前記駐車場情報に基づいて、前記駐車場の前記駐車区画に前記自車両を駐車するように前記自車両を制御する駐車支援制御部と
を有することを特徴とする駐車支援システム。 - 前記駐車支援装置は、前記駐車支援装置を設置している車両の車両情報を前記サーバ装置ヘ送出し、前記サーバ記憶部に記憶された前記駐車場情報は、前記他の車両の車両情報を含み、
前記サーバ装置は、
前記駐車支援装置から受信した前記車両情報に対応する前記他の車両の車両情報を含む前記駐車場情報を前記駐車支援装置に送出する駐車場情報送受信部を有する
ことを特徴とする請求項1に記載の駐車支援システム。 - 前記駐車場情報は、
前記駐車場の出入口の位置情報である駐車場位置情報と、
前記駐車区画に駐車するまでの走路を撮像して得られる駐車場画像情報と、
前記駐車区画に駐車するまでの走路の周辺の障害物に関する駐車場周辺情報と、
前記駐車区画の位置情報である駐車位置情報と
を有し、
前記駐車支援制御部は、前記駐車場位置情報、前記駐車場画像情報、前記駐車場周辺情報及び前記駐車位置情報を参照して前記自車両を制御する
ことを特徴とする請求項2に記載の駐車支援システム。 - 前記駐車支援装置は、前記他の車両が前記駐車区画に駐車された後に前記他の車両のイグニッションスイッチがオンになったときに前記駐車区画の位置情報である駐車位置情報を前記サーバ装置に送出することを特徴とする請求項1に記載の駐車支援システム。
- 自車両に搭載された駐車支援装置であって、
前記自車両の車両情報が格納された駐車支援装置記憶部と、
前記自車両の車両情報をサーバ装置に送出する駐車場情報送信部と、
前記自車両の車両情報に対応する、駐車場の駐車区画に前記自車両とは異なる他の車両が駐車した際に取得された駐車場情報を前記サーバ装置から取得する駐車場情報受信部と、
取得された前記駐車場情報に基づいて、前記駐車場の前記駐車区画に前記自車両を駐車するように制御する駐車支援制御部と
を有することを特徴とする駐車支援装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980038672.2A CN112262420A (zh) | 2018-06-20 | 2019-05-20 | 停车辅助***和停车辅助装置 |
US17/254,012 US11370418B2 (en) | 2018-06-20 | 2019-05-20 | Parking assist system and parking assist device |
EP19822698.7A EP3813036B1 (en) | 2018-06-20 | 2019-05-20 | Parking assistance system and parking assistance device |
JP2020525374A JP7233426B2 (ja) | 2018-06-20 | 2019-05-20 | 駐車支援システム及び駐車支援装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-116620 | 2018-06-20 | ||
JP2018116620 | 2018-06-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019244537A1 true WO2019244537A1 (ja) | 2019-12-26 |
Family
ID=68982815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/019906 WO2019244537A1 (ja) | 2018-06-20 | 2019-05-20 | 駐車支援システム及び駐車支援装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11370418B2 (ja) |
EP (1) | EP3813036B1 (ja) |
JP (1) | JP7233426B2 (ja) |
CN (1) | CN112262420A (ja) |
WO (1) | WO2019244537A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022024547A1 (ja) * | 2020-07-28 | 2022-02-03 | 株式会社デンソー | 駐車場特定システム、駐車場特定方法、制御装置、センタ装置、および駐車エリア特定方法 |
JPWO2022070619A1 (ja) * | 2020-09-30 | 2022-04-07 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7319590B2 (ja) * | 2019-10-11 | 2023-08-02 | トヨタ自動車株式会社 | 車両駐車支援装置 |
CN113256984B (zh) * | 2021-06-25 | 2021-11-05 | 智道网联科技(北京)有限公司 | 基于车路协同的多数据源的数据融合处理方法和装置 |
CN113160571B (zh) * | 2021-06-28 | 2021-10-01 | 智道网联科技(北京)有限公司 | 基于车路协同的多数据源的数据融合处理方法和装置 |
CN113824929B (zh) * | 2021-08-27 | 2022-12-13 | 中铁二十局集团有限公司 | 停车场异常行为监控方法、装置及停车场监控*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006209429A (ja) * | 2005-01-27 | 2006-08-10 | Denso Corp | 駐車案内ナビゲーションシステム |
JP2009169527A (ja) * | 2008-01-11 | 2009-07-30 | Zenrin Datacom Co Ltd | 駐車可能施設判別システム、駐車可能施設判別方法および駐車可能施設判別装置 |
JP2010096890A (ja) * | 2008-10-15 | 2010-04-30 | Zenrin Co Ltd | 電子地図整備システム、電子地図整備方法およびプログラム |
JP2014085192A (ja) * | 2012-10-23 | 2014-05-12 | Jvc Kenwood Corp | ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末 |
JP2014125196A (ja) * | 2012-12-27 | 2014-07-07 | Nissan Motor Co Ltd | 駐車支援装置、駐車支援システム及び駐車支援方法 |
JP2014137743A (ja) * | 2013-01-17 | 2014-07-28 | Denso It Laboratory Inc | 情報提供システム |
JP2017102015A (ja) | 2015-12-02 | 2017-06-08 | 株式会社ゼンリンデータコム | ナビゲーション装置およびナビゲーション方法 |
JP2018116620A (ja) | 2017-01-20 | 2018-07-26 | 株式会社デンソーテン | 画像処理装置、画像処理システムおよび画像処理方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120138318A (ko) * | 2011-06-14 | 2012-12-26 | 이재풍 | 자동 주차 관리 시스템 |
WO2014016841A1 (en) * | 2012-07-27 | 2014-01-30 | Neuner Tomer | Intelligent state determination |
US9299256B2 (en) * | 2013-04-22 | 2016-03-29 | GM Global Technology Operations LLC | Real-time parking assistant application |
DE102015217036A1 (de) * | 2015-09-04 | 2017-03-09 | Robert Bosch Gmbh | Verfahren zur Planung eines unterstützten Einparkvorgangs |
JP6694710B2 (ja) * | 2015-12-25 | 2020-05-20 | 株式会社デンソーテン | 駐車支援装置、駐車支援方法、及び、駐車支援システム |
CN105551301A (zh) * | 2016-03-08 | 2016-05-04 | 京东方科技集团股份有限公司 | 停车场辅助停车方法及装置、导航方法及终端、导航*** |
KR101832466B1 (ko) | 2016-06-14 | 2018-04-13 | 엘지전자 주식회사 | 자동주차 보조장치 및 이를 포함하는 차량 |
GB2552020A (en) * | 2016-07-08 | 2018-01-10 | Jaguar Land Rover Ltd | Apparatus and method for car park optimisation |
GB201611886D0 (en) * | 2016-07-08 | 2016-08-24 | Jaguar Land Rover Ltd | Apparatus and method for vehicle parking |
US9984572B1 (en) * | 2017-01-16 | 2018-05-29 | Nio Usa, Inc. | Method and system for sharing parking space availability among autonomous vehicles |
US10169996B2 (en) * | 2017-05-17 | 2019-01-01 | Here Global B.V. | Method and apparatus for estimation of waiting time to park |
CN108010373B (zh) | 2017-09-15 | 2019-04-09 | 路特迩科技(杭州)有限公司 | 基于泊位状态信息的泊位服务与管理***及方法 |
US20190325522A1 (en) * | 2018-04-18 | 2019-10-24 | Conduent Business Services, Llc | Blockchain driven unified multi-party system and method for monitored transactions of urban assets |
-
2019
- 2019-05-20 EP EP19822698.7A patent/EP3813036B1/en active Active
- 2019-05-20 WO PCT/JP2019/019906 patent/WO2019244537A1/ja unknown
- 2019-05-20 JP JP2020525374A patent/JP7233426B2/ja active Active
- 2019-05-20 US US17/254,012 patent/US11370418B2/en active Active
- 2019-05-20 CN CN201980038672.2A patent/CN112262420A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006209429A (ja) * | 2005-01-27 | 2006-08-10 | Denso Corp | 駐車案内ナビゲーションシステム |
JP2009169527A (ja) * | 2008-01-11 | 2009-07-30 | Zenrin Datacom Co Ltd | 駐車可能施設判別システム、駐車可能施設判別方法および駐車可能施設判別装置 |
JP2010096890A (ja) * | 2008-10-15 | 2010-04-30 | Zenrin Co Ltd | 電子地図整備システム、電子地図整備方法およびプログラム |
JP2014085192A (ja) * | 2012-10-23 | 2014-05-12 | Jvc Kenwood Corp | ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末 |
JP2014125196A (ja) * | 2012-12-27 | 2014-07-07 | Nissan Motor Co Ltd | 駐車支援装置、駐車支援システム及び駐車支援方法 |
JP2014137743A (ja) * | 2013-01-17 | 2014-07-28 | Denso It Laboratory Inc | 情報提供システム |
JP2017102015A (ja) | 2015-12-02 | 2017-06-08 | 株式会社ゼンリンデータコム | ナビゲーション装置およびナビゲーション方法 |
JP2018116620A (ja) | 2017-01-20 | 2018-07-26 | 株式会社デンソーテン | 画像処理装置、画像処理システムおよび画像処理方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3813036A4 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022024547A1 (ja) * | 2020-07-28 | 2022-02-03 | 株式会社デンソー | 駐車場特定システム、駐車場特定方法、制御装置、センタ装置、および駐車エリア特定方法 |
JPWO2022024547A1 (ja) * | 2020-07-28 | 2022-02-03 | ||
JP7323074B2 (ja) | 2020-07-28 | 2023-08-08 | 株式会社デンソー | 駐車場特定システム、駐車場特定方法、制御装置、センタ装置、および駐車エリア特定方法 |
JPWO2022070619A1 (ja) * | 2020-09-30 | 2022-04-07 | ||
WO2022070619A1 (ja) * | 2020-09-30 | 2022-04-07 | 株式会社デンソー | 中継装置、データ中継方法、及びデータ中継プログラム |
JP7420279B2 (ja) | 2020-09-30 | 2024-01-23 | 株式会社デンソー | 中継装置、データ中継方法、及びデータ中継プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3813036A1 (en) | 2021-04-28 |
EP3813036A4 (en) | 2022-03-16 |
EP3813036B1 (en) | 2024-07-24 |
CN112262420A (zh) | 2021-01-22 |
JPWO2019244537A1 (ja) | 2021-07-26 |
US20210269020A1 (en) | 2021-09-02 |
US11370418B2 (en) | 2022-06-28 |
JP7233426B2 (ja) | 2023-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7233426B2 (ja) | 駐車支援システム及び駐車支援装置 | |
US10248116B2 (en) | Remote operation of autonomous vehicle in unexpected environment | |
WO2017168754A1 (ja) | 自動駐車システム、自動駐車制御装置および自動駐車制御方法 | |
JP7505927B2 (ja) | 車載装置、及び制御方法 | |
JP2007161119A (ja) | 駐車支援システム、駐車施設装置、及び駐車支援装置 | |
CN112172793B (zh) | 泊车路径规划方法、装置、车辆及存储介质 | |
JP2021094937A (ja) | 車両用表示装置及び駐車支援システム | |
US11113968B2 (en) | Method for mobile parking assistance | |
US20210197800A1 (en) | In-vehicle processing apparatus and in-vehicle processing system | |
US20200346638A1 (en) | Operating a motor vehicle | |
JP2021144593A (ja) | 駐車情報管理サーバ、駐車支援装置及び駐車支援システム | |
US11461817B2 (en) | Accommodation area management device | |
US20210304081A1 (en) | Accommodation area management device | |
US20210304082A1 (en) | Accommodation area management device | |
US20210300338A1 (en) | Accommodation area management device | |
JP2023028609A (ja) | 自動運転システム、自動運転方法およびプログラム | |
KR20120019186A (ko) | 주차위치 알림 시스템 | |
US11748790B2 (en) | Accommodation area management device | |
WO2022185645A1 (ja) | 駐車支援装置、駐車支援方法及び駐車支援プログラム | |
US20210295609A1 (en) | Accommodation area management device | |
US20240135815A1 (en) | Control device, control method, and control program | |
WO2021157056A1 (ja) | 駐車支援方法及び駐車支援装置 | |
JP2022071969A (ja) | 駐車支援装置及び駐車支援方法 | |
JP2021172311A (ja) | 駐車支援装置及び駐車支援方法 | |
JP2023034988A (ja) | 自動駐車システム、自動駐車方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19822698 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020525374 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019822698 Country of ref document: EP Effective date: 20210120 |