WO2023026962A1 - 自律走行システム及び自律走行システムにおける方法 - Google Patents
自律走行システム及び自律走行システムにおける方法 Download PDFInfo
- Publication number
- WO2023026962A1 WO2023026962A1 PCT/JP2022/031297 JP2022031297W WO2023026962A1 WO 2023026962 A1 WO2023026962 A1 WO 2023026962A1 JP 2022031297 W JP2022031297 W JP 2022031297W WO 2023026962 A1 WO2023026962 A1 WO 2023026962A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- autonomous vehicle
- image
- road surface
- position information
- map
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 9
- 238000012937 correction Methods 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C7/00—Tracing profiles
- G01C7/02—Tracing profiles of land surfaces
- G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Definitions
- the present disclosure relates to an autonomous driving system and a method in an autonomous driving system.
- SLAM Simultaneous Localization and Mapping
- SLAM is a technology for estimating the state of an unmanned vehicle, such as its position.
- SLAM is a technique for simultaneously estimating the position of a mobile object and creating an environment map, and is capable of creating an environment map in an unknown environment for the mobile object.
- the moving object uses the constructed map information to avoid obstacles and perform specific tasks.
- Patent Document 1 It is known to use a road surface image as a technique for estimating the self-position of an autonomous vehicle (see Patent Document 1, for example).
- a camera is installed on the car body to photograph the road surface, and features are detected from each of the map image obtained by photographing the road surface in advance and the actual road surface image obtained at the present time. The self-position is estimated by comparison.
- Location information is associated with the map image in advance. If the position indicated by the position information associated with the map image deviates from the actual position, the accuracy of self-position estimation deteriorates. In other words, if the actual road surface image is matched with a map image associated with inaccurate position information, the accuracy of self-position estimation will deteriorate.
- An autonomous driving system includes a road surface image acquisition device installed on a vehicle body of an autonomous vehicle and configured to acquire an image of a road surface below the vehicle body; and a map image associated with the position information of the autonomous vehicle is created based on the survey information acquired from the first survey instrument and the road surface image acquired by the road surface image acquisition device.
- a map creation unit mounted on the autonomous vehicle and configured to store the map image; and a map generator mounted on the autonomous vehicle and configured to store the map image, and the road surface acquired by the road surface image acquisition device.
- an estimating unit configured to estimate the position of the autonomous vehicle by comparing features extracted from an image with features extracted from the map image; and the map produced by the map producing unit.
- a determination unit configured to determine whether the position information of the autonomous vehicle associated with the image is appropriate; and when the position information of the autonomous vehicle associated with the map image is not appropriate.
- a correction unit configured to correct the position information of the autonomous vehicle associated with the map image using survey information acquired from a second survey instrument of a type different from that of the first survey instrument; Prepare.
- the method includes acquiring an image of the road surface below the vehicle body of the autonomous vehicle, and based on the survey information acquired from the first surveying instrument and the image of the road surface, the position information of the autonomous vehicle corresponds to the image of the road surface. estimating the position of the autonomous vehicle by comparing features extracted from the image of the road surface with features extracted from the map image; determining whether the position information of the autonomous vehicle associated with the image is appropriate; and performing the first survey if the position information of the autonomous vehicle associated with the map image is not appropriate. correcting the position information of the autonomous vehicle associated with the map image using survey information obtained from a second survey instrument of a type different from the instrument.
- FIG. 1 is an overall configuration diagram of an autonomous driving system
- FIG. 2 is an enlarged view of a portion surrounded by a rectangle indicated by symbol E in FIG. 1;
- FIG. FIG. 2 is a schematic plan view of the autonomous driving system of FIG. 1;
- 2 is a block diagram showing an electrical configuration of the autonomous driving system of FIG. 1;
- FIG. It is a figure which shows an example of the image acquired by the camera. It is a flow chart for explaining map creation processing outdoors. 4 is a flowchart for explaining map creation processing indoors.
- FIG. 2 is a timing chart for explaining processing executed by the autonomous driving system of FIG. 1;
- FIG. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information.
- an autonomous driving system 10 includes an autonomous vehicle 20 .
- the autonomous vehicle 20 is a four-wheeled vehicle and includes a vehicle body 21 , drive wheels 82 arranged below the vehicle body 21 , and steering wheels 85 arranged below the vehicle body 21 .
- the autonomous vehicle 20 includes a camera 30.
- the camera 30 is installed in the central portion of the lower surface 22 of the vehicle body 21 and can photograph the road surface Sr below the vehicle body 21 .
- a camera 30, which is a road surface image acquisition device, can acquire images of the road surface Sr at regular intervals.
- FIG. 5 shows an example of an image Pi acquired by the camera 30. As shown in FIG. The image Pi has a circular shape.
- the autonomous vehicle 20 is equipped with one or more light sources 31 for illumination.
- the light source 31 is installed on the lower surface 22 of the vehicle body 21 .
- the light source 31 is composed of, for example, a light emitting diode (LED).
- the light source 31 is for irradiating the imaging area of the camera 30 on the road surface Sr with light.
- the light source 31 lights up in synchronization with the imaging timing of the camera 30 .
- the autonomous driving system 10 has a mobile device 200 mounted on the autonomous vehicle 20 and a ground device 300 installed on the ground side where the autonomous vehicle 20 travels.
- the mobile device 200 is also called a vehicle device 200 .
- the ground side device 300 is also called a reference side device 300 .
- the mobile device 200 includes a control device 40 .
- Control device 40 includes processing unit 50 , storage unit 60 , map creation unit 70 , determination unit 100 and correction unit 101 .
- the processing unit 50 has an estimating unit 51 , and the estimating unit 51 has a feature extraction unit 52 and a matching unit 53 .
- the mobile device 200 includes a motor driver 80 , a traveling motor 81 , a motor driver 83 , a steering motor 84 , a light source driver 86 , a GNSS (Global Navigation Satellite System) antenna 87 , a GNSS receiver 88 , and a wireless communication device 89 .
- the GNSS antenna 87 and the GNSS receiver 88 are receiving devices in a navigation satellite system (NSS).
- NSS navigation satellite system
- the ground equipment 300 includes a total station 110 and a radio communication device 111, which are survey equipment. Wireless communication is possible between the wireless communication device 89 of the mobile side device 200 and the wireless communication device 111 of the ground side device 300 .
- a camera 30 is connected to the control device 40 as shown in FIG.
- the control device 40 can drive the driving wheels 82 by controlling the traveling motor 81 via the motor driver 80 .
- the control device 40 can drive the steered wheels 85 by controlling the steering motor 84 via the motor driver 83 .
- the control device 40 can control the light source 31 via the light source driver 86 .
- the control device 40 may include dedicated hardware, such as an application specific integrated circuit (ASIC), that executes at least part of the various types of processing.
- the control device 40 is configured as a processing circuit including one or more processors that operate according to a computer program, a processing circuit including one or more dedicated hardware circuits such as ASICs, or a combination thereof.
- the processor includes a CPU and memory such as RAM and ROM.
- the memory stores program code or instructions configured to cause the CPU to perform processes.
- Memory, or computer-readable media includes anything that can be accessed by a general purpose or special purpose computer.
- the control device 40 operates the autonomous vehicle 20 by controlling the travel motor 81 and the steering motor 84 according to the program stored in the storage unit 60 .
- the autonomous vehicle 20 of the present embodiment automatically travels and steers under the control of the control device 40 without being operated by the passenger.
- the storage unit 60 stores a map image 61 of the road surface, that is, a map image 61 obtained by photographing the road surface Sr in advance.
- the map image 61 is an image of the road surface associated with the position information of the autonomous vehicle 20 .
- the position information of the autonomous vehicle 20 includes the position coordinates and orientation information of the autonomous vehicle 20 .
- the estimating unit 51 for example, as shown in FIG. compare.
- the features F1 to F5 are, for example, a group of feature points present in the image of the road surface Sr.
- the estimating unit 51 can estimate the position of the autonomous vehicle 20, more specifically, the position coordinates and orientation, based on this comparison.
- the feature extraction unit 52 detects one or more feature points from the image Pi, which is the current road surface image (actual image) obtained from the camera 30 .
- the feature extraction unit 52 detects a feature amount for each feature point. That is, the feature extraction unit 52 detects a feature amount representing the difference between the brightness of a pixel forming each feature point and the brightness of pixels surrounding the pixel forming the feature point.
- the feature extraction unit 52 detects one or more feature points from a map image obtained by photographing in advance, and also detects feature amounts for each feature point. That is, the feature extraction unit 52 detects a feature amount representing the difference between the brightness of a pixel forming each feature point and the brightness of pixels surrounding the pixel forming the feature point.
- the matching unit 53 compares the feature amount of each feature point in the current road surface image with the feature amount of each feature point in the map image to obtain the position information (position coordinates and orientation information) of the autonomous vehicle 20 . to estimate
- the position coordinates and orientation information of the road surface pattern are stored as an environment map.
- the environment map is created by SLAM (Simultaneous Localization and Mapping), for example.
- SLAM is a technique for simultaneously estimating the position of a mobile object and creating an environment map, and enables the mobile object to create an environment map in an unknown environment.
- a moving object uses the constructed map information to accomplish a specific task.
- the position coordinates of the autonomous vehicle 20 are coordinates indicating one point on the vehicle body 21 as shown in FIG. By comparing the road surface image acquired by the camera 30 with the map image acquired in advance, the position information (position coordinates and orientation information) of the autonomous vehicle 20 is estimated.
- the control device 40 can move the autonomous vehicle 20 to a desired position by controlling the travel motor 81 and the steering motor 84 while estimating the position information of the autonomous vehicle 20 on the map.
- the autonomous vehicle 20 is equipped with a GNSS antenna 87.
- the GNSS antenna 87 can receive radio waves from satellites S1 to S4.
- GNSS antenna 87 is connected to controller 40 via GNSS receiver 88 .
- Controller 40 may capture survey information from GNSS antenna 87 via GNSS receiver 88 .
- attitude information is measured as an azimuth angle.
- the total station 110 is installed on the ground side where the autonomous vehicle 20 travels.
- the total station 110 is a known point, and can measure the position coordinates and orientation information (angle) of the autonomous vehicle 20 when creating the map image 61 .
- the autonomous vehicle 20 is provided with a reflecting member (for example, a 360-degree prism) 90 .
- a light wave emitted by the total station 110 is reflected by the reflecting member 90 and received by the total station 110 . This makes it possible to observe the relative position of the reflecting member 90 with respect to the total station 110 and measure the position coordinates and orientation information (angle) of the autonomous vehicle 20 .
- the survey information obtained by the total station 110 is wirelessly sent to the autonomous vehicle 20 via the wireless communication device 111.
- the survey information is captured by the control device 40 of the autonomous vehicle 20 via the wireless communication device 89 .
- attitude information is measured as an angle.
- the position information obtained by the total station 110 is highly accurate.
- the reflecting member 90 that reflects light waves from the total station 110, the camera 30, and the GNSS antenna 87 are arranged on the same vertical axis Axv.
- the map creation unit 70 of the control device 40 obtains survey information from the GNSS antenna 87, which is the first survey instrument, when creating a map outdoors. Then, the map creation unit 70 creates a map image of the road surface Sr in which the position information (position coordinates and orientation information) of the autonomous vehicle 20 is associated with the survey information and the image of the road surface Sr acquired by the camera 30. create.
- a first survey instrument can also be viewed as including a GNSS antenna 87 and a GNSS receiver 88 .
- the map creation unit 70 also obtains survey information from the GNSS antenna 87 when creating a map indoors. Then, the map creation unit 70 creates a map image of the road surface Sr in which the position information (position coordinates and orientation information) of the autonomous vehicle 20 is associated with the survey information and the image of the road surface Sr acquired by the camera 30. create.
- the determination unit 100 can determine whether the position information of the autonomous vehicle 20 in the map image of the road surface Sr created by the map creation unit 70 is appropriate.
- the correction unit 101 can correct the position information as follows.
- the correction unit 101 uses the survey information obtained by the total station 110, which is the second survey instrument of a type different from the GNSS antenna 87, which is the first survey instrument, to determine the position of the autonomous vehicle 20 associated with the map image of the road surface Sr. Information can be corrected.
- FIG. 6 shows outdoor map creation processing executed by the map creation unit 70 of the control device 40 while the autonomous vehicle 20 is traveling outdoors.
- the map creation unit 70 acquires and stores image data from the camera 30 in step S10. Image data acquisition by the camera 30 is performed, for example, at set distance intervals or at set time intervals.
- the autonomous vehicle 20 acquires data while traveling at low speed along a desired travel route. Alternatively, the autonomous vehicle 20 acquires data while repeatedly stopping and traveling along a desired travel route.
- step S11 the map creation unit 70 acquires survey information (satellite positioning data) from the GNSS antenna 87 and saves it.
- step S ⁇ b>12 the map creating unit 70 associates the position information of the autonomous vehicle 20 obtained based on the survey information with the image data obtained from the camera 30 . As a result, a map image of the road surface Sr associated with the position information of the autonomous vehicle 20 is obtained.
- FIG. 7 shows indoor map creation processing executed by the control device 40 while the autonomous vehicle 20 is traveling indoors.
- item (a) indicates that the trajectory of the position coordinates of the autonomous vehicle 20 is measured based on the survey information acquired from the total station 110 during the period from timing t1 to timing t9. .
- Item (b) indicates the timing at which the road surface image is acquired from the camera 30 .
- Item (c) shows the timing at which the survey information is acquired from the GNSS antenna 87 .
- Item (d) indicates the timing at which the map image is created.
- Item (e) indicates the timing at which position information quality determination is performed.
- Item (f) indicates the timing at which the position information is corrected.
- the period from timing t1 to timing t9 is the indoor running period of the autonomous vehicle 20 .
- the map creation unit 70 acquires survey information from the total station 110, and measures the trajectory of the position coordinates of the autonomous vehicle 20 based on this survey information. As shown in item (a) of FIG. 8, the trajectory of the position coordinates of the autonomous vehicle 20 is measured during the indoor running period from timing t1 to timing t9.
- the map creation unit 70 acquires and saves image data from the camera 30 in step S21 of FIG. As shown in item (b) of FIG. 8, image data is acquired from the camera 30 at timings t2 and t6.
- Acquisition of image data from the camera 30 is performed, for example, at set distance intervals or set time intervals.
- the autonomous vehicle 20 acquires image data while traveling at low speed along a desired travel route.
- the autonomous vehicle 20 acquires image data while repeatedly stopping and traveling along a desired travel route.
- the map creation unit 70 acquires survey information from the GNSS antenna 87 in step S22 of FIG. As shown in item (c) of FIG. 8, survey information is acquired from the GNSS antenna 87 at timings t2 and t6.
- step S23 of FIG. 7 the map creation unit 70 creates a map image by associating the position information obtained based on the survey information acquired from the GNSS antenna 87 with the image data. As shown in item (d) of FIG. 8, a map image in which position information is associated with a road surface image is created at timings t3 and t7.
- step S24 of FIG. 7 the determination unit 100 determines whether the position information (position coordinates and attitude information) of the autonomous vehicle 20 in the created map image of the road surface Sr is appropriate. As shown in item (e) of FIG. 8, it is determined whether or not the position information is appropriate at timings t4 and t8.
- the position coordinates (x, y) and attitude angle ⁇ which are the position information of the autonomous vehicle 20, are indicated by (x, y, ⁇ ).
- the position information P1 obtained last time is (x1, y1, ⁇ 1)
- the position information P2 obtained last time is (x2, y2, ⁇ 2)
- the position information P3 obtained this time is (x3, y3, ⁇ 3). ).
- FIG. 9 shows a case where the position information of the autonomous vehicle 20 in the created map image of the road surface Sr is appropriate.
- FIG. 10 shows a case where the position information of the autonomous vehicle 20 in the created map image of the road surface Sr is not appropriate.
- the deviation of the current position coordinates from the trajectory of the position coordinates based on the survey information acquired from the total station 110 or the extension of the trajectory is determined.
- the trajectory of the position coordinates based on the survey information acquired from the total station 110 or an extension of the trajectory will be referred to as a trajectory Tr.
- the deviation of the current position coordinates (x3, y3) with respect to the trajectory Tr is the distance r represented by It is determined whether or not the distance r is greater than or equal to the threshold, and if the distance r is greater than or equal to the threshold, it is determined that the current position coordinates (x3, y3) are not appropriate.
- the posture angle it is determined whether or not the change in the posture angle ⁇ is equal to or greater than a threshold. Specifically, in FIG. 10, it is determined whether or not the absolute value of the difference ( ⁇ 2- ⁇ 3) between the previous posture angle ⁇ 2 and the current posture angle ⁇ 3 is equal to or greater than a threshold. is equal to or greater than the threshold, it is determined that the current attitude angle ⁇ 3 is not appropriate. If at least one of the position coordinates and the attitude angle is determined to be inappropriate, the position information is determined to be inappropriate.
- the previous position information P1 is (x1, y1, ⁇ 1)
- the previous position information P2 is (x2, y2, ⁇ 2)
- the current position information P3 is (x3, y3, ⁇ 3). be.
- the current location information P3 is not appropriate.
- the correction unit 101 corrects the position information in step S25 of FIG. Specifically, the correction unit 101 uses the survey information from the total station 110, which is a second survey instrument of a type different from the first survey instrument, to determine the position information of the autonomous vehicle 20 associated with the map image of the road surface Sr. to correct. In item (e) of FIG. 8, if the position information is determined to be inappropriate at timing t4, position information is corrected at timing t5 in item (f) of FIG. On the other hand, in item (e) of FIG. 8, when it is determined that the position information is appropriate at the timing of t8, the position information is not corrected.
- the current position information P3 (x3, y3, ⁇ 3) is replaced with the position information P10 (x10, y10, ⁇ 10).
- the position coordinates are projected onto the trajectory Tr. That is, the intersection of the trajectory Tr and a straight line that is perpendicular to the trajectory Tr and passes through the current position coordinates (x3, y3) is set to the corrected position coordinates (x10, y10).
- the posture angle ⁇ 3 in the current position information P3 is corrected to the posture angle ⁇ 2 in the previous position information P2. Therefore, in the example of FIG. 10, the post-correction position information P10 this time is set to (x10, y10, ⁇ 2).
- step S25 of FIG. 7 After correcting in step S25 of FIG. 7, the correction unit 101 returns to step S20.
- the determination unit 100 returns to step S20 without performing the correction in step S25.
- An autonomous driving system is a system for automatically driving a mobile object, and it is possible to create a map image and estimate its own position using the created map image.
- the autonomous driving system performs feature matching that compares the features extracted from the map image with the features obtained from the road surface image obtained by photographing. Estimate posture, velocity, etc.
- position information is associated with the map image as the road surface is photographed.
- Autonomous vehicles are equipped with a camera, as well as a receiving device in a satellite positioning system or an inertial measurement unit (IMU). While driving, the autonomous vehicle takes pictures of the road surface at set distance and time intervals.
- position information position coordinates and attitude information
- the position information of the autonomous vehicle to be associated with the captured road surface image is acquired using a satellite positioning system or an inertial measurement device, for example, as shown in FIG.
- the accuracy of the creation of is lowered. Specifically, the positioning accuracy of the satellite positioning system or the inertial measurement device is low, and the accuracy of the position information of the autonomous vehicle associated with the road surface image acquired when creating the map image is low. As a result, the accuracy of estimating the position information of the autonomous vehicle is low, so the accuracy of autonomous driving is low.
- a map image is created by associating position coordinates acquired using a satellite positioning system with a road surface image while driving in a specific location, such as indoors.
- an unignorable deviation may occur between the actual position coordinates and the position coordinates associated with the map image.
- FIG. 11 shows that a large deviation ⁇ occurs between the actual position coordinates and the position coordinates associated with the map image for the specific position coordinates P100.
- the autonomous driving system 10 of this embodiment has a camera 30 that captures images of the road surface and a measurement system that creates map images. When creating a map image, the autonomous driving system 10 determines whether the position information in the created map image is appropriate, and if not appropriate, corrects the position information using the survey information obtained from the total station 110. do.
- position information in the created map image is appropriate, as shown in FIG. , position information is not corrected.
- position information is corrected.
- FIG. 13 when there is a large divergence between the expected positional coordinates and the positional coordinates associated with the map image, such as indoors, the positional information is corrected.
- the expected position coordinates are calculated from the trajectory Tr of the position coordinates obtained based on the survey information obtained from the total station 110 .
- Figs. 14 and 15 show an example of correcting the position (latitude and longitude) in orthogonal coordinates in order to correct the position coordinates and orientation information in the created map image to more accurate values.
- the position coordinates obtained based on the survey information obtained from the total station 110 are referred to as "total station-based position coordinates".
- the position coordinates associated with the map image are corrected to be positioned on the trajectory Tr. be done.
- the position coordinates P20 are corrected to the position coordinates P21, the position coordinates P22 to the position coordinates P23, and the position coordinates P24 to the position coordinates P25.
- the pre-correction position coordinates P30a to P30k are greatly deviated from the trajectory Tr of the total station base position coordinates. In this case, all of the position coordinates P30a-30k are corrected. In FIG. 15, the position coordinates P30a to 30k before correction are projected onto the trajectory Tr of the position coordinates of the total station base, resulting in position coordinates P31a to 31k after correction.
- total station base position coordinates P40 and P41 are stored. Time data may be given to the position coordinates P40 and P41 using a time stamp function.
- the intermediate point between the position coordinates (x40, y40) at time t40 and the position coordinates (x41, y41) at time t41 is set to the post-correction position coordinates (x42, y42). be.
- This position coordinate (x42, y42) is the position coordinate at time t42, that is, (t40+t41)/2.
- the posture angle correction described with reference to FIG. 10 was to set the previous posture angle to the current posture angle.
- the post-correction position coordinates P50 and P51 may be stored, and the posture at an arbitrary position coordinate P52 may be corrected using the position coordinates P50 and P51. That is, the attitude angle ⁇ at an arbitrary position coordinate P52 is calculated from the direction of the line connecting the position coordinates P50 and P51 before and after the arbitrary position coordinate P52. For example, the attitude angle ⁇ at an arbitrary position coordinate P52 is set to the angle of the line connecting the position coordinates P50 and P51.
- the angle of the line connecting the arbitrary position coordinates and the adjacent position coordinates is taken as the attitude angle at the arbitrary position coordinates.
- the angle of the line connecting the arbitrary position coordinate P52 and the adjacent position coordinate P50 is determined by the arbitrary position coordinate. Let it be the attitude angle at P52. 17, when there is no position coordinate P50 and the arbitrary position coordinate P52 is the starting point, the angle of the line connecting the arbitrary position coordinate P52 and the adjacent position coordinate P51 is the attitude angle at the arbitrary position coordinate P52.
- the following correction may be performed on the relationship between the post-correction position coordinates P60 and P61 and the position coordinate P62 for posture correction.
- the orientation of the line connecting the previous position coordinates P60 and the current position coordinates P62 is assumed to be the attitude angle ⁇ at the current position coordinates P62.
- the direction of the line connecting the current position coordinate P72 and the next position coordinate P71 is may be taken as the posture angle ⁇ at the current position coordinate P72.
- the autonomous driving system 10 includes a camera 30 that is installed on the vehicle body 21 of the autonomous vehicle 20 and that is a road surface image acquisition device that acquires an image of the road surface Sr below the vehicle body 21 .
- the autonomous driving system 10 includes a storage unit 60 that is mounted on the autonomous vehicle 20 and stores a map image of the road surface Sr associated with the position information of the autonomous vehicle 20 .
- the autonomous driving system 10 is mounted on an autonomous driving vehicle 20, and compares features F1 to F5 extracted from the image of the road surface Sr acquired by the camera 30 with the features extracted from the map image to determine whether the autonomous driving vehicle 20 is provided with an estimating unit 51 for estimating the position of .
- the autonomous driving system 10 includes a mapping unit 70 mounted on the autonomous vehicle 20 .
- the map creation unit 70 associates the position information of the autonomous vehicle 20 based on the survey information acquired from the GNSS antenna 87, which is the first survey instrument, and the image of the road surface Sr acquired by the camera 30. Create a map image.
- the autonomous driving system 10 includes a determination unit 100 that determines whether the position information of the autonomous vehicle 20 associated with the map image created by the map creation unit 70 is appropriate.
- the autonomous driving system 10 includes a correction section 101 .
- the correction unit 101 corrects the position information when the determination unit 100 determines that the position information of the autonomous vehicle 20 associated with the map image is not appropriate.
- the correction unit 101 corrects the position information of the autonomous vehicle 20 associated with the map image using the survey information acquired from the total station 110, which is the second survey instrument of a type different from the first survey instrument. do. Therefore, it is possible to improve the accuracy of the positional information of the autonomous vehicle 20 associated with the acquired image.
- the map data is corrected using the survey information acquired from the total station 110 .
- the total station 110 is expensive and takes a lot of man-hours to use, but can specify the position with high accuracy. Although the total station 110 has good accuracy, it has a limited range of use. Therefore, the survey information acquired from the total station 110 is used only for portions with poor map accuracy.
- the first surveying instrument is a satellite positioning system. Specifically, the first surveying instrument is a GNSS antenna 87, which is a receiving instrument in a satellite positioning system.
- the second surveying instrument is the total station 110 . Therefore, the accuracy of the positional information of the autonomous vehicle 20 associated with the acquired image can be further improved.
- the position information of the autonomous vehicle 20 is the position coordinates and orientation information of the autonomous vehicle 20 . Therefore, both the position coordinates and orientation information of the autonomous vehicle 20 can be associated with the acquired image.
- Embodiments are not limited to the above, and may be embodied as follows, for example.
- the first surveying instrument was the GNSS antenna 87, which is the receiving side instrument in the satellite positioning system, it is not limited to this.
- the first survey instrument may be an inertial measurement unit (IMU).
- IMU inertial measurement unit
- a gyro sensor, an accelerometer, or the like can be used as the inertial measurement device.
- the second surveying instrument was a total station, but it is not limited to this.
- the second surveying instrument may be a 3D-SLAM, that is, an instrument that can capture the environmental shape in detail using a 3D scanner or 3D camera.
- the second surveying instrument can use a self-localization device different from that of the first surveying instrument.
- the camera 30 is used as the road surface image acquisition device
- a device other than the camera may be used as the road surface image acquisition device.
- a linear sensor linear image sensor
- the road surface image acquisition device is installed on the underside of the vehicle body, the installation position of the road surface image acquisition device is not limited to the underside of the vehicle body.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
自律走行システム(10)は、自律走行車(20)の車体(21)の下方の路面の画像を取得する路面画像取得装置(30)を備える。自律走行システム(10)は、第1測量機器(87)から取得された測量情報と路面の画像とに基づいて、自律走行車(20)の位置情報が対応付けられた地図画像を作成し、地図画像に対応付けられた自律走行車(20)の位置情報が適切でない場合に、第1測量機器とは異なる種類の第2測量機器から取得された測量情報を用いて、地図画像に対応付ける自律走行車(20)の位置情報を補正する。
Description
本開示は、自律走行システム及び自律走行システムにおける方法に関するものである。
無人車両の位置等の状態を推定する技術としてSLAM(Simultaneous Localization and Mapping)がある。SLAMは、移動体の自己位置推定と環境地図作成とを同時に行う技術であり、移動体が未知の環境下で環境地図を作成できる。移動体は、構築した地図情報を使って障害物などを回避しつつ特定のタスクを遂行する。
自律走行車の自己位置を推定する技術として路面画像を用いることが知られている(例えば、特許文献1参照)。この技術は、車体に路面を撮影するカメラを設置し、予め路面を撮影することによって得られた地図画像と、現時点で得られた実際の路面画像とのそれぞれから特徴を検出し、それら特徴を比較して自己位置を推定するものである。
地図画像には位置情報が予め対応付けられている。地図画像に対応付けられた位置情報によって示される位置が実際の位置から乖離する場合、自己位置推定精度が悪化する。つまり、実際の路面画像を、不正確な位置情報が対応付けられた地図画像とマッチングすると自己位置推定精度が悪くなる。
本開示の一態様に係る自律走行システムは、自律走行車の車体に設置され、前記車体の下方の路面の画像を取得するように構成される路面画像取得装置と、前記自律走行車に搭載され、第1測量機器から取得された測量情報と前記路面画像取得装置により取得された前記路面の画像とに基づいて、前記自律走行車の位置情報が対応付けられた地図画像を作成するように構成される地図作成部と、前記自律走行車に搭載され、前記地図画像を記憶するように構成される記憶部と、前記自律走行車に搭載され、前記路面画像取得装置により取得された前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定するように構成される推定部と、前記地図作成部によって作成された前記地図画像に対応付けられた前記自律走行車の位置情報が適切であるか否か判定するように構成される判定部と、前記地図画像に対応付けられた前記自律走行車の位置情報が適切でない場合に、前記第1測量機器とは異なる種類の第2測量機器から取得された測量情報を用いて、前記地図画像に対応付ける前記自律走行車の位置情報を補正するように構成される補正部と、を備える。
本開示の別の態様では、自律走行システムにおける方法が提供される。前記方法は、自律走行車の車体の下方の路面の画像を取得することと、第1測量機器から取得された測量情報と前記路面の画像とに基づいて、前記自律走行車の位置情報が対応付けられた地図画像を作成することと、前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定することと、前記地図画像に対応付けられた前記自律走行車の位置情報が適切であるか否か判定することと、前記地図画像に対応付けられた前記自律走行車の位置情報が適切でない場合に、前記第1測量機器とは異なる種類の第2測量機器から取得された測量情報を用いて、前記地図画像に対応付ける前記自律走行車の位置情報を補正することと、を備える。
以下、一実施形態に係る自律走行システムを図面に従って説明する。
<システムの構成>
図1に示すように、自律走行システム10は、自律走行車20を備える。自律走行車20は、四輪車両であって、車体21と、車体21の下部に配置された駆動輪82と、車体21の下部に配置された操舵輪85と、を備える。
<システムの構成>
図1に示すように、自律走行システム10は、自律走行車20を備える。自律走行車20は、四輪車両であって、車体21と、車体21の下部に配置された駆動輪82と、車体21の下部に配置された操舵輪85と、を備える。
図1、図2に示すように、自律走行車20は、カメラ30を備える。カメラ30は、車体21の下面22の中央部に設置され、車体21の下方の路面Srを撮影することができる。路面画像取得装置であるカメラ30により、路面Srの画像を一定周期で取得することができるようになっている。図5には、カメラ30により取得された画像Piの一例を示す。画像Piは、円形をなしている。
図2に示すように、自律走行車20は、照明用の1つ以上の光源31を備える。光源31は、車体21の下面22に設置されている。光源31は、例えば発光ダイオード(LED)よりなる。光源31は、路面Srにおけるカメラ30の撮影領域に光を照射するためのものである。光源31は、カメラ30の撮影タイミングに同期して点灯する。
図4に示すように、自律走行システム10は、自律走行車20に搭載される移動体側機器200と、自律走行車20が走行する地上側に設置される地上側機器300と、を有する。移動体側機器200は車両側機器200ともいう。地上側機器300は基準側機器300ともいう。
移動体側機器200は、制御装置40を含む。制御装置40は、処理部50と記憶部60と地図作成部70と判定部100と補正部101とを含む。処理部50は、推定部51を有し、推定部51は特徴抽出部52とマッチング部53とを備える。移動体側機器200は、モータドライバ80、走行モータ81、モータドライバ83、操舵モータ84、光源ドライバ86、GNSS(Global Navigation Satellite System)アンテナ87、GNSS受信機88、及び、無線通信機89を含む。GNSSアンテナ87及びGNSS受信機88は、衛星測位システム(NSS:Navigation Satellite System)における受信側機器である。
地上側機器300は、測量機器であるトータルステーション110、無線通信機111を含む。
移動体側機器200の無線通信機89と地上側機器300の無線通信機111との間において無線通信が可能となっている。
移動体側機器200の無線通信機89と地上側機器300の無線通信機111との間において無線通信が可能となっている。
図4に示すように、制御装置40にはカメラ30が接続されている。制御装置40は、モータドライバ80を介して走行モータ81を制御することによって駆動輪82を駆動することができるようになっている。制御装置40は、モータドライバ83を介して操舵モータ84を制御することによって操舵輪85を駆動することができるようになっている。制御装置40は、光源ドライバ86を介して光源31を制御することができる。
記憶部60には、自律走行車20を制御するための種々のプログラムが記憶されている。制御装置40は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路:ASICを備えていてもよい。制御装置40は、コンピュータプログラムに従って動作する1つ以上のプロセッサを含む処理回路、ASIC等の1つ以上の専用のハードウェア回路を含む処理回路、あるいは、それらの組み合わせを含む処理回路、として構成し得る。プロセッサは、CPU、並びに、RAM及びROM等のメモリを含む。メモリは、処理をCPUに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。
制御装置40は、記憶部60に記憶されたプログラムに従い、走行モータ81及び操舵モータ84を制御することで、自律走行車20を動作させる。本実施形態の自律走行車20は、搭乗者による操作が行われることなく、制御装置40による制御によって自動で走行及び操舵を行う。
記憶部60には、路面の地図画像61、即ち、予め路面Srを撮影することによって得られた地図画像61が記憶されている。地図画像61は、自律走行車20の位置情報が対応付けられた路面の画像である。自律走行車20の位置情報は、自律走行車20の位置座標及び姿勢情報を含む。
推定部51は、例えば図5に示すようにカメラ30により撮影することによって取得された路面Srの画像から抽出された特徴F1~F5と、記憶部60の地図画像61から抽出された特徴とを比較する。特徴F1~F5は、例えば、路面Srの画像中に存在する複数の特徴点の群である。推定部51は、この比較により自律走行車20の位置、詳細には位置座標及び姿勢を推定することができる。
詳しくは、特徴抽出部52は、図5に示すように、カメラ30から得られた現時点での路面画像(実際の画像)である画像Piから1つ以上の特徴点を検出する。特徴抽出部52は、各特徴点についての特徴量を検出する。即ち、特徴抽出部52は、各特徴点を形成するピクセルの輝度と、その特徴点を形成するピクセルの周りのピクセルの輝度との差を表す特徴量を検出する。同様に、特徴抽出部52は、予め撮影することによって得られた地図画像から1つ以上の特徴点を検出するとともに、各特徴点についての特徴量を検出する。即ち、特徴抽出部52は、各特徴点を形成するピクセルの輝度と、その特徴点を形成するピクセルの周りのピクセルの輝度との差を表す特徴量を検出する。そして、マッチング部53は、現時点での路面画像における各特徴点の特徴量と、地図画像における各特徴点の特徴量とを比較することにより自律走行車20の位置情報(位置座標及び姿勢情報)を推定する。
地図画像61を予め記憶部60に記憶する場合、路面の模様の位置座標及び姿勢情報を環境地図として記憶する。環境地図は、例えば、SLAM(Simultaneous Localization and Mapping)により作成される。SLAMは、移動体の自己位置推定と環境地図作成とを同時に行う技術であり、移動体が未知の環境下で環境地図を作成することを可能にする。移動体は、構築した地図情報を使って特定のタスクを遂行する。自律走行車20の位置座標は、より詳しくは、図3に示すように車体21の一点を示す座標、例えば、車体21を平面視した場合における車体21の中央の座標である。そして、カメラ30で取得した路面画像と事前に取得した地図画像とを比較することで、自律走行車20の位置情報(位置座標及び姿勢情報)が推定される。
制御装置40は、地図上での自律走行車20の位置情報を推定しながら走行モータ81及び操舵モータ84を制御することで、所望の位置に自律走行車20を移動させることが可能である。
図1、図3に示すように、自律走行車20にはGNSSアンテナ87が搭載されている。GNSSアンテナ87は、人工衛星S1~S4から電波を受信することができる。図4に示すように、GNSSアンテナ87はGNSS受信機88を介して制御装置40と接続されている。制御装置40は、GNSSアンテナ87からGNSS受信機88を介して測量情報を取り込むことができる。
図1において、4つの人工衛星S1~S4からの電波をGNSSアンテナ87で受信することによって、自律走行車20の位置情報である位置座標(緯度及び経度)及び姿勢情報が求められる。GNSSアンテナ87による測位では、姿勢情報は方位角として測定される。
図1、図3に示すように、トータルステーション110は、自律走行車20が走行する地上側に設置されている。トータルステーション110は、既知点であり、地図画像61の作成時に自律走行車20の位置座標及び姿勢情報(角度)を測定することができる。詳しくは、自律走行車20には反射部材(例えば360度プリズム)90が設けられている。トータルステーション110が発する光波は反射部材90で反射されてトータルステーション110で受光される。これにより、トータルステーション110に対する反射部材90の相対位置を観測して自律走行車20の位置座標及び姿勢情報(角度)を測定することができる。
図4に示すように、トータルステーション110により得られた測量情報は、無線通信機111を介して自律走行車20に無線で送られる。測量情報は、無線通信機89を介して自律走行車20の制御装置40に取り込まれる。トータルステーション110による測量では、姿勢情報は角度として測定される。トータルステーション110により得られる位置情報は高精度である。
図1に示すように、トータルステーション110からの光波を反射させる反射部材90と、カメラ30と、GNSSアンテナ87とは、同一鉛直軸Axv上に配置されている。
図4に示すように、制御装置40の地図作成部70は、屋外での地図作成時に、第1測量機器であるGNSSアンテナ87から測量情報を得る。そして、地図作成部70は、この測量情報とカメラ30により取得された路面Srの画像とから、自律走行車20の位置情報(位置座標及び姿勢情報)が対応付けられた路面Srの地図画像を作成する。第1測量機器は、GNSSアンテナ87及びGNSS受信機88を含むものとしてみなすこともできる。
図4に示すように、制御装置40の地図作成部70は、屋外での地図作成時に、第1測量機器であるGNSSアンテナ87から測量情報を得る。そして、地図作成部70は、この測量情報とカメラ30により取得された路面Srの画像とから、自律走行車20の位置情報(位置座標及び姿勢情報)が対応付けられた路面Srの地図画像を作成する。第1測量機器は、GNSSアンテナ87及びGNSS受信機88を含むものとしてみなすこともできる。
また、地図作成部70は、屋内での地図作成時にも、GNSSアンテナ87から測量情報を得る。そして、地図作成部70は、この測量情報とカメラ30により取得された路面Srの画像とから、自律走行車20の位置情報(位置座標及び姿勢情報)が対応付けられた路面Srの地図画像を作成する。
図4に示すように、判定部100は、地図作成部70が作成した路面Srの地図画像における自律走行車20の位置情報が適切であるか否か判定することができる。補正部101は、作成した路面Srの地図画像における自律走行車20の位置情報が適切でない場合に、次のように、位置情報を補正することができる。補正部101は、第1測量機器であるGNSSアンテナ87とは異なる種類の第2測量機器であるトータルステーション110により得られた測量情報を用いて、路面Srの地図画像に対応付ける自律走行車20の位置情報を補正することができる。
<作用>
次に、本実施形態の作用について説明する。
<屋外での地図作成>
図6には自律走行車20の屋外の走行中において制御装置40の地図作成部70が実行する、屋外での地図作成処理を示す。
次に、本実施形態の作用について説明する。
<屋外での地図作成>
図6には自律走行車20の屋外の走行中において制御装置40の地図作成部70が実行する、屋外での地図作成処理を示す。
地図作成部70は、ステップS10において、カメラ30から画像データを取得して保存する。カメラ30による画像データの取得は、例えば、設定した距離間隔、あるいは、設定した時間間隔で行われる。屋外での地図画像作成の際、自律走行車20は所望の走行経路に沿って低速走行しながらデータの取得を行う。あるいは、自律走行車20は所望の走行経路に沿って停止と走行とを繰り返しながらデータの取得を行う。
地図作成部70は、ステップS11において、GNSSアンテナ87から測量情報(衛星測位データ)を取得して保存する。
地図作成部70は、ステップS12において、測量情報に基づき求められた自律走行車20の位置情報を、カメラ30から得られた画像データと対応付ける。その結果、自律走行車20の位置情報が対応付けられた路面Srの地図画像が得られる。
地図作成部70は、ステップS12において、測量情報に基づき求められた自律走行車20の位置情報を、カメラ30から得られた画像データと対応付ける。その結果、自律走行車20の位置情報が対応付けられた路面Srの地図画像が得られる。
<屋内での地図作成>
図7には自律走行車20の屋内の走行中において制御装置40が実行する、屋内での地図作成処理を示す。
図7には自律走行車20の屋内の走行中において制御装置40が実行する、屋内での地図作成処理を示す。
図8において、項目(a)には、t1のタイミングからt9のタイミングまでの期間の間、トータルステーション110から取得された測量情報に基づき自律走行車20の位置座標の軌跡が測定されることを示す。項目(b)には、カメラ30から路面画像が取得されるタイミングを示す。項目(c)には、GNSSアンテナ87から測量情報が取得されるタイミングを示す。項目(d)には、地図画像が作成されるタイミングを示す。項目(e)には、位置情報の良否判定が行われるタイミングを示す。項目(f)には、位置情報が補正されるタイミングを示す。
図8において、t1のタイミングからt9のタイミングまでの期間は、自律走行車20の屋内走行期間である。
地図作成部70は、図7のステップS20において、トータルステーション110から測量情報を取得するとともに、この測量情報に基づき自律走行車20の位置座標の軌跡を測定する。図8の項目(a)に示すように、t1のタイミングからt9のタイミングまでの屋内走行期間において、自律走行車20の位置座標の軌跡が測定される。
地図作成部70は、図7のステップS20において、トータルステーション110から測量情報を取得するとともに、この測量情報に基づき自律走行車20の位置座標の軌跡を測定する。図8の項目(a)に示すように、t1のタイミングからt9のタイミングまでの屋内走行期間において、自律走行車20の位置座標の軌跡が測定される。
地図作成部70は、図7のステップS21において、カメラ30から画像データを取得して保存する。図8の項目(b)に示すように、t2のタイミング及びt6のタイミングでカメラ30から画像データが取得される。
カメラ30からの画像データの取得は、例えば、設定した距離間隔、あるいは、設定した時間間隔で行われる。屋内での地図画像作成の際に、自律走行車20は所望の走行経路に沿って低速走行しながら画像データを取得する。あるいは、自律走行車20は所望の走行経路に沿って停止と走行とを繰り返しながら画像データを取得する。
地図作成部70は、図7のステップS22において、GNSSアンテナ87から測量情報を取得する。図8の項目(c)に示すように、t2のタイミング及びt6のタイミングで、GNSSアンテナ87から測量情報が取得される。
地図作成部70は、図7のステップS23において、GNSSアンテナ87から取得された測量情報に基づき求められる位置情報を画像データと対応付けて、地図画像を作成する。図8の項目(d)に示すように、t3のタイミング及びt7のタイミングで、路面画像に位置情報が対応付けられた地図画像が作成される。
判定部100は、図7のステップS24において、作成した路面Srの地図画像における自律走行車20の位置情報(位置座標及び姿勢情報)が適切であるか否か判定する。図8の項目(e)に示すように、t4のタイミング及びt8のタイミングで、位置情報が適切であるか否かが判定される。
図9において、自律走行車20の位置情報である位置座標(x,y)及び姿勢角θを、(x,y,θ)で示す。前々回得られた位置情報P1が(x1,y1,θ1)であり、前回得られた位置情報P2が(x2,y2,θ2)であり、今回得られた位置情報P3が(x3,y3,θ3)である。
一例として、図9は、作成した路面Srの地図画像における自律走行車20の位置情報が適切である場合を示す。図10は、作成した路面Srの地図画像における自律走行車20の位置情報が適切でない場合を示す。
位置座標については、地図画像において、トータルステーション110から取得された測量情報に基づく位置座標の軌跡又はその軌跡の延長線に対する今回の位置座標のずれが判定される。以下、「トータルステーション110から取得された測量情報に基づく位置座標の軌跡又はその軌跡の延長線」を軌道Trという。図10に示すように、軌道Trに対する今回の位置座標(x3,y3)のずれは、今回の位置座標(x3,y3)が軌道Trに対し、同軌道Trの垂線方向にずれている距離rによって表される。距離rが閾値以上か否か判定され、距離rが閾値以上である場合には、今回の位置座標(x3,y3)が適切ではないと判定される。
姿勢角については、姿勢角θの変化が閾値以上か否かが判定される。具体的には、図10において、前回の姿勢角θ2と今回の姿勢角θ3との差(θ2-θ3)の絶対値が閾値以上か否かが判定され、差(θ2-θ3)の絶対値が閾値以上である場合には、今回の姿勢角θ3が適切ではないと判定される。位置座標及び姿勢角の少なくとも一方が適切ではないと判定された場合、位置情報が適切ではないと判定される。
図10において、前々回の位置情報P1が(x1,y1,θ1)であり、前回の位置情報P2が(x2,y2,θ2)であり、今回の位置情報P3が(x3,y3,θ3)である。今回の位置情報P3は適切ではない。
作成した路面Srの地図画像における自律走行車20の位置情報が適切でない場合、補正部101は、図7のステップS25において、位置情報を補正する。具体的には、補正部101は、第1測量機器とは異なる種類の第2測量機器であるトータルステーション110からの測量情報を用いて、路面Srの地図画像に対応付ける自律走行車20の位置情報を補正する。図8の項目(e)において、t4のタイミングで位置情報が適切でないと判定された場合、図8の項目(f)において、t5のタイミングで位置情報の補正が行われる。一方、図8の項目(e)において、t8のタイミングで位置情報が適切であると判定された場合、位置情報の補正は行われない。
例えば、図10に示すように、作成した路面Srの地図画像における自律走行車20の位置情報が適切でない場合には、今回の位置情報P3(x3,y3,θ3)を位置情報P10(x10,y10,θ10)に補正する。具体的には、位置座標を軌道Tr上に投影する。即ち、軌道Trに対して垂直で且つ今回の位置座標(x3,y3)を通る直線と、軌道Trとの交点を、補正後の位置座標(x10,y10)に設定する。また、今回の位置情報P3における姿勢角θ3を、前回の位置情報P2における姿勢角θ2に補正する。よって、図10の例では、今回の補正後の位置情報P10は、(x10,y10,θ2)に設定される。
補正部101は、図7のステップS25で補正を行った後に、ステップS20に戻る。
判定部100は、図7のステップS24において、作成した路面Srの地図画像における自律走行車20の位置情報が適切であると判定すると、ステップS25での補正を行うことなく、ステップS20に戻る。
判定部100は、図7のステップS24において、作成した路面Srの地図画像における自律走行車20の位置情報が適切であると判定すると、ステップS25での補正を行うことなく、ステップS20に戻る。
以下、本実施形態の作用について詳しく説明する。
自律走行システムは移動体の自動走行を行うためのシステムであり、地図画像の作成、作成した地図画像を用いた自己位置推定が可能である。自律走行システムは、地図画像から抽出された特徴と、撮影によって得られた路面画像から得られた特徴とを比較する特徴マッチングを行い、地図画像に対応付けられた位置情報から移動体の位置、姿勢及び速度等を推定する。地図画像の作成時において、路面を撮影するのに伴い、位置情報が地図画像に対応付けられる。
自律走行システムは移動体の自動走行を行うためのシステムであり、地図画像の作成、作成した地図画像を用いた自己位置推定が可能である。自律走行システムは、地図画像から抽出された特徴と、撮影によって得られた路面画像から得られた特徴とを比較する特徴マッチングを行い、地図画像に対応付けられた位置情報から移動体の位置、姿勢及び速度等を推定する。地図画像の作成時において、路面を撮影するのに伴い、位置情報が地図画像に対応付けられる。
自律走行車には、カメラが搭載されるとともに、衛星測位システムにおける受信側機器、若しくは慣性測定機器(IMU:inertial measurement unit)が搭載される。自律走行車は走行しながら、設定した距離間隔や時間間隔で路面を撮影する。撮影によって得られた路面画像と対応付ける自律走行車の位置情報(位置座標及び姿勢情報)を衛星測位システム若しくは慣性測定機器を用いて取得する場合においては、例えば、図11に示すように、地図画像の作成精度が低くなってしまう。詳しくは、衛星測位システム若しくは慣性測定機器の測位精度が低く、地図画像の作成時に取得した路面画像と対応付ける自律走行車の位置情報の精度が低い。その結果、自律走行車の位置情報の推定精度が低いため、自動走行精度が低くなる。
例えば、特定の場所、例えば屋内の走行時に、衛星測位システムを用いて取得した位置座標を路面画像に対応付けた地図画像が作成されたとする。この場合、実際の位置座標と、地図画像に対応付けた位置座標との間には無視できないずれが生じ得る。例えば、図11には、特定の位置座標P100について、実際の位置座標と地図画像に対応付けた位置座標との間に大きなずれΔが生じることが示されている。その結果、この不正確な位置座標が対応付けられた地図画像を用いて行われる自己位置推定の精度は悪い。
本実施形態の自律走行システム10は、路面を撮影するカメラ30と、地図画像の作成のための計測システムと、を有する。自律走行システム10は、地図画像の作成の際に、作成した地図画像における位置情報が適切であるかを判定し、適切でない場合にはトータルステーション110から得られた測量情報を用いて位置情報を補正する。
作成した地図画像における位置情報が適切か否かの判定について、図12に示すように、屋外のように、予想される位置座標と地図画像に対応付けた位置座標との乖離が小さい場合には、位置情報の補正は行わない。一方、図13に示すように、屋内のように、予想される位置座標と地図画像に対応付けた位置座標との乖離が大きい場合には、位置情報の補正を行う。
予想される位置座標の計算例を説明する。具体的には、トータルステーション110から得られた測量情報に基づき求められる位置座標の軌道Trから、予想される位置座標を算出する。
位置情報の補正について、作成した地図画像における位置座標及び姿勢情報をより正確な値に修正すべく、直交座標において位置(緯度及び経度)を補正する例を図14、図15に示す。以下の説明において、トータルステーション110から得られた測量情報に基づき求められる位置座標を、「トータルステーションベースの位置座標」という。
図14に示すように、地図画像に対応付けた位置座標がトータルステーションベースの位置座標の軌道Trから閾値以上ずれている場合、地図画像に対応付けた位置座標が軌道Tr上に位置するように補正される。図14の例では、位置座標P20を位置座標P21に、位置座標P22を位置座標P23に、位置座標P24を位置座標P25に補正する。
図15の例では、補正前の位置座標P30a~30kがトータルステーションベースの位置座標の軌道Trから大きくずれている。この場合は、位置座標P30a~30kの全てが補正される。図15において、補正前の位置座標P30a~30kは、トータルステーションベースの位置座標の軌道Trに射影されて、補正後の位置座標P31a~31kとされる。
図16に示す例では、トータルステーションベースの位置座標P40,P41が記憶される。この位置座標P40,P41には、タイムスタンプ機能を用いて時刻データを付与されてもよい。図16においては、時刻t40での位置座標(x40,y40)と、時刻t41での位置座標(x41,y41)との間の中間点が、補正後の位置座標(x42,y42)に設定される。この位置座標(x42,y42)は、時刻t42、即ち、(t40+t41)/2の時刻における位置座標である。時刻t42での位置座標(x42,y42)に関し、x軸方向についてはx42=(x41+x42)/2が成立し、y軸方向についてはy42=(y41+y42)/2が成立する。
図10を用いて説明した姿勢角の補正は前回の姿勢角を今回の姿勢角に設定するものであったが、それ以外にも、次のようにしてもよい。図17に示すように、補正後の位置座標P50,P51を記憶しておき、その位置座標P50,P51を用いて任意の位置座標P52での姿勢を補正してもよい。すなわち、任意の位置座標P52の前後の位置座標P50,P51を結ぶ線の向きから、任意の位置座標P52での姿勢角θを算出する。例えば、任意の位置座標P52での姿勢角θは、位置座標P50,P51を結ぶ線の角度に設定される。なお、任意の位置座標が始点もしくは終点のときは、任意の位置座標とそれに隣接する位置座標とを結ぶ線の角度を、任意の位置座標での姿勢角とする。即ち、図17を用いて説明すると、位置座標P51が無く、任意の位置座標P52が終点のときは、任意の位置座標P52とそれに隣接する位置座標P50とを結ぶ線の角度を任意の位置座標P52での姿勢角とする。また、図17において位置座標P50が無く、任意の位置座標P52が始点のときは、任意の位置座標P52とそれに隣接する位置座標P51とを結ぶ線の角度を任意の位置座標P52での姿勢角とする。
図18に示すように、補正後の位置座標P60,P61と、姿勢を補正する位置座標P62との関係において、次のような補正を行ってもよい。前回の位置座標P60と今回の位置座標P62とを結ぶ線の向きを、今回の位置座標P62での姿勢角θとする。他にも、図19に示すように、補正後の位置座標P70,P71と、姿勢を補正する位置座標P72との関係において、今回の位置座標P72と次回の位置座標P71とを結ぶ線の向きを、今回の位置座標P72での姿勢角θとしてもよい。
<実施形態の効果>
上記実施形態によれば、以下のような効果を得ることができる。
(1)自律走行システム10は、自律走行車20の車体21に設置されて、車体21の下方の路面Srの画像を取得する路面画像取得装置であるカメラ30を備える。自律走行システム10は、自律走行車20に搭載され、自律走行車20の位置情報が対応付けられた路面Srの地図画像を記憶する記憶部60を備える。自律走行システム10は、自律走行車20に搭載され、カメラ30により取得された路面Srの画像から抽出された特徴F1~F5と、地図画像から抽出された特徴とを比較することにより自律走行車20の位置を推定する推定部51を備える。自律走行システム10は、自律走行車20に搭載された地図作成部70を備える。地図作成部70は、第1測量機器であるGNSSアンテナ87から取得された測量情報と、カメラ30により取得された路面Srの画像とに基づいて、自律走行車20の位置情報が対応付けられた地図画像を作成する。自律走行システム10は、地図作成部70において作成した地図画像に対応付けられた自律走行車20の位置情報が適切であるか否か判定する判定部100を備える。自律走行システム10は、補正部101を備える。補正部101は、判定部100において、地図画像に対応付けられた自律走行車20の位置情報が適切でない場合に、位置情報の補正を行う。具体的には、補正部101は、第1測量機器とは異なる種類の第2測量機器であるトータルステーション110から取得された測量情報を用いて、地図画像に対応付ける自律走行車20の位置情報を補正する。そのため、取得した画像と対応付ける自律走行車20の位置情報の精度を向上することができる。
上記実施形態によれば、以下のような効果を得ることができる。
(1)自律走行システム10は、自律走行車20の車体21に設置されて、車体21の下方の路面Srの画像を取得する路面画像取得装置であるカメラ30を備える。自律走行システム10は、自律走行車20に搭載され、自律走行車20の位置情報が対応付けられた路面Srの地図画像を記憶する記憶部60を備える。自律走行システム10は、自律走行車20に搭載され、カメラ30により取得された路面Srの画像から抽出された特徴F1~F5と、地図画像から抽出された特徴とを比較することにより自律走行車20の位置を推定する推定部51を備える。自律走行システム10は、自律走行車20に搭載された地図作成部70を備える。地図作成部70は、第1測量機器であるGNSSアンテナ87から取得された測量情報と、カメラ30により取得された路面Srの画像とに基づいて、自律走行車20の位置情報が対応付けられた地図画像を作成する。自律走行システム10は、地図作成部70において作成した地図画像に対応付けられた自律走行車20の位置情報が適切であるか否か判定する判定部100を備える。自律走行システム10は、補正部101を備える。補正部101は、判定部100において、地図画像に対応付けられた自律走行車20の位置情報が適切でない場合に、位置情報の補正を行う。具体的には、補正部101は、第1測量機器とは異なる種類の第2測量機器であるトータルステーション110から取得された測量情報を用いて、地図画像に対応付ける自律走行車20の位置情報を補正する。そのため、取得した画像と対応付ける自律走行車20の位置情報の精度を向上することができる。
つまり、トータルステーション110から取得される測量情報を用いて、地図データの補正を行う。トータルステーション110は高価で使用に工数がかかるが、高精度で位置を特定できる。トータルステーション110は、精度はいいものの、使用範囲が限られるため、地図精度の悪い部分のみにトータルステーション110から取得される測量情報が用いられる。
(2)第1測量機器は、衛星測位システムである。、詳細には、第1測量機器は、衛星測位システムにおける受信側機器であるGNSSアンテナ87である。第2測量機器は、トータルステーション110である。そのため、取得した画像と対応付ける自律走行車20の位置情報の精度をより向上することができる。
(3)自律走行車20の位置情報は、自律走行車20の位置座標及び姿勢情報である。そのため、取得した画像に対して、自律走行車20の位置座標及び姿勢情報の両方を対応付けることができる。
実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
○第1測量機器は、衛星測位システムにおける受信側機器であるGNSSアンテナ87であったが、これに限ることはない。例えば、第1測量機器は、慣性測定機器(IMU)であってもよい。慣性測定機器として、ジャイロセンサ、加速度計等を用いることができる。
○第1測量機器は、衛星測位システムにおける受信側機器であるGNSSアンテナ87であったが、これに限ることはない。例えば、第1測量機器は、慣性測定機器(IMU)であってもよい。慣性測定機器として、ジャイロセンサ、加速度計等を用いることができる。
○第2測量機器は、トータルステーションであったが、これに限ることはない。例えば、第2測量機器は、3D-SLAM、即ち、3Dスキャナや3Dカメラを用いて環境形状を詳細にとらえることができる機器であってもよい。つまり、第2測量機器は、第1測量機器とは異なる自己位置推定機器を利用することも可能である。
〇路面画像取得装置としてカメラ30を用いたが、カメラ以外の機器を路面画像取得装置として用いてもよい。路面画像取得装置として、例えば、リニアセンサ(リニアイメージセンサ)を用いることもできる。また、路面画像取得装置は、車体の下面に設置したが、路面画像取得装置の設置位置は、車体の下面に限らない。
Claims (4)
- 自律走行車の車体に設置され、前記車体の下方の路面の画像を取得するように構成される路面画像取得装置と、
前記自律走行車に搭載され、第1測量機器から取得された測量情報と前記路面画像取得装置により取得された前記路面の画像とに基づいて、前記自律走行車の位置情報が対応付けられた地図画像を作成するように構成される地図作成部と、
前記自律走行車に搭載され、前記地図画像を記憶するように構成される記憶部と、
前記自律走行車に搭載され、前記路面画像取得装置により取得された前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定するように構成される推定部と、
前記地図作成部によって作成された前記地図画像に対応付けられた前記自律走行車の位置情報が適切であるか否か判定するように構成される判定部と、
前記地図画像に対応付けられた前記自律走行車の位置情報が適切でない場合に、前記第1測量機器とは異なる種類の第2測量機器から取得された測量情報を用いて、前記地図画像に対応付ける前記自律走行車の位置情報を補正するように構成される補正部と、
を備える、自律走行システム。 - 前記第1測量機器は、衛星測位システム又は慣性測定機器であり、
前記第2測量機器は、トータルステーションである
請求項1に記載の自律走行システム。 - 前記自律走行車の位置情報は、前記自律走行車の位置座標及び姿勢情報である
請求項1又は2に記載の自律走行システム。 - 自律走行車の車体の下方の路面の画像を取得することと、
第1測量機器から取得された測量情報と前記路面の画像とに基づいて、前記自律走行車の位置情報が対応付けられた地図画像を作成することと、
前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定することと、
前記地図画像に対応付けられた前記自律走行車の位置情報が適切であるか否か判定することと、
前記地図画像に対応付けられた前記自律走行車の位置情報が適切でない場合に、前記第1測量機器とは異なる種類の第2測量機器から取得された測量情報を用いて、前記地図画像に対応付ける前記自律走行車の位置情報を補正することと、
を備える、自律走行システムにおける方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-139333 | 2021-08-27 | ||
JP2021139333A JP2023032947A (ja) | 2021-08-27 | 2021-08-27 | 自律走行システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023026962A1 true WO2023026962A1 (ja) | 2023-03-02 |
Family
ID=85322112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/031297 WO2023026962A1 (ja) | 2021-08-27 | 2022-08-19 | 自律走行システム及び自律走行システムにおける方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023032947A (ja) |
WO (1) | WO2023026962A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005062083A (ja) * | 2003-08-19 | 2005-03-10 | Komatsu Engineering Corp | 位置誤差補正機能を持つ測量システム |
WO2019124535A1 (ja) * | 2017-12-22 | 2019-06-27 | ヤマハ発動機株式会社 | オンデマンド既定ルート自動走行車両 |
-
2021
- 2021-08-27 JP JP2021139333A patent/JP2023032947A/ja active Pending
-
2022
- 2022-08-19 WO PCT/JP2022/031297 patent/WO2023026962A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005062083A (ja) * | 2003-08-19 | 2005-03-10 | Komatsu Engineering Corp | 位置誤差補正機能を持つ測量システム |
WO2019124535A1 (ja) * | 2017-12-22 | 2019-06-27 | ヤマハ発動機株式会社 | オンデマンド既定ルート自動走行車両 |
Also Published As
Publication number | Publication date |
---|---|
JP2023032947A (ja) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7082545B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
US11227168B2 (en) | Robust lane association by projecting 2-D image into 3-D world using map information | |
US10767990B2 (en) | Device, method, and system for processing survey data, and program therefor | |
RU2678960C1 (ru) | Устройство оценки положения транспортного средства, способ оценки положения транспортного средства | |
RU2720140C1 (ru) | Способ оценки собственной позиции и устройство оценки собственной позиции | |
KR101444685B1 (ko) | 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치 | |
JP2013040886A (ja) | 三次元点群計測方法、三次元点群計測プログラム | |
KR102174729B1 (ko) | 랜드마크를 활용한 주행차로 인식 방법 및 시스템 | |
JP6801269B2 (ja) | 自律移動装置 | |
US20210245777A1 (en) | Map generation device, map generation system, map generation method, and storage medium | |
JP2023164553A (ja) | 位置推定装置、推定装置、制御方法、プログラム及び記憶媒体 | |
JP5716273B2 (ja) | 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム | |
JP2021081272A (ja) | 位置推定装置および位置推定用コンピュータプログラム | |
US11287281B2 (en) | Analysis of localization errors in a mobile object | |
WO2023026962A1 (ja) | 自律走行システム及び自律走行システムにおける方法 | |
WO2020230314A1 (ja) | 自己位置補正方法及び自己位置補正装置 | |
JP2023086431A (ja) | 地図データ作成装置、及び地図データ作成方法 | |
US20220176990A1 (en) | Autonomous travel system | |
CN113218392A (zh) | 室内定位导航方法及导航装置 | |
US11681297B2 (en) | Autonomous vehicle and self-location estimating method in autonomous vehicle | |
JP7489002B2 (ja) | 自律走行車 | |
JP7226714B2 (ja) | 位置ずれ補正システム及びプログラム | |
KR102674613B1 (ko) | 차로 결정 방법 및 차로 결정 장치 | |
RU2781373C1 (ru) | Способ коррекции собственного местоположения и устройство коррекции собственного местоположения | |
JP6907952B2 (ja) | 自己位置補正装置及び自己位置補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22861250 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |