WO2023026962A1 - 自律走行システム及び自律走行システムにおける方法 - Google Patents

自律走行システム及び自律走行システムにおける方法 Download PDF

Info

Publication number
WO2023026962A1
WO2023026962A1 PCT/JP2022/031297 JP2022031297W WO2023026962A1 WO 2023026962 A1 WO2023026962 A1 WO 2023026962A1 JP 2022031297 W JP2022031297 W JP 2022031297W WO 2023026962 A1 WO2023026962 A1 WO 2023026962A1
Authority
WO
WIPO (PCT)
Prior art keywords
autonomous vehicle
image
road surface
position information
map
Prior art date
Application number
PCT/JP2022/031297
Other languages
English (en)
French (fr)
Inventor
彩加 山田
賢二 望月
峰志 宇野
Original Assignee
株式会社豊田自動織機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機 filed Critical 株式会社豊田自動織機
Publication of WO2023026962A1 publication Critical patent/WO2023026962A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present disclosure relates to an autonomous driving system and a method in an autonomous driving system.
  • SLAM Simultaneous Localization and Mapping
  • SLAM is a technology for estimating the state of an unmanned vehicle, such as its position.
  • SLAM is a technique for simultaneously estimating the position of a mobile object and creating an environment map, and is capable of creating an environment map in an unknown environment for the mobile object.
  • the moving object uses the constructed map information to avoid obstacles and perform specific tasks.
  • Patent Document 1 It is known to use a road surface image as a technique for estimating the self-position of an autonomous vehicle (see Patent Document 1, for example).
  • a camera is installed on the car body to photograph the road surface, and features are detected from each of the map image obtained by photographing the road surface in advance and the actual road surface image obtained at the present time. The self-position is estimated by comparison.
  • Location information is associated with the map image in advance. If the position indicated by the position information associated with the map image deviates from the actual position, the accuracy of self-position estimation deteriorates. In other words, if the actual road surface image is matched with a map image associated with inaccurate position information, the accuracy of self-position estimation will deteriorate.
  • An autonomous driving system includes a road surface image acquisition device installed on a vehicle body of an autonomous vehicle and configured to acquire an image of a road surface below the vehicle body; and a map image associated with the position information of the autonomous vehicle is created based on the survey information acquired from the first survey instrument and the road surface image acquired by the road surface image acquisition device.
  • a map creation unit mounted on the autonomous vehicle and configured to store the map image; and a map generator mounted on the autonomous vehicle and configured to store the map image, and the road surface acquired by the road surface image acquisition device.
  • an estimating unit configured to estimate the position of the autonomous vehicle by comparing features extracted from an image with features extracted from the map image; and the map produced by the map producing unit.
  • a determination unit configured to determine whether the position information of the autonomous vehicle associated with the image is appropriate; and when the position information of the autonomous vehicle associated with the map image is not appropriate.
  • a correction unit configured to correct the position information of the autonomous vehicle associated with the map image using survey information acquired from a second survey instrument of a type different from that of the first survey instrument; Prepare.
  • the method includes acquiring an image of the road surface below the vehicle body of the autonomous vehicle, and based on the survey information acquired from the first surveying instrument and the image of the road surface, the position information of the autonomous vehicle corresponds to the image of the road surface. estimating the position of the autonomous vehicle by comparing features extracted from the image of the road surface with features extracted from the map image; determining whether the position information of the autonomous vehicle associated with the image is appropriate; and performing the first survey if the position information of the autonomous vehicle associated with the map image is not appropriate. correcting the position information of the autonomous vehicle associated with the map image using survey information obtained from a second survey instrument of a type different from the instrument.
  • FIG. 1 is an overall configuration diagram of an autonomous driving system
  • FIG. 2 is an enlarged view of a portion surrounded by a rectangle indicated by symbol E in FIG. 1;
  • FIG. FIG. 2 is a schematic plan view of the autonomous driving system of FIG. 1;
  • 2 is a block diagram showing an electrical configuration of the autonomous driving system of FIG. 1;
  • FIG. It is a figure which shows an example of the image acquired by the camera. It is a flow chart for explaining map creation processing outdoors. 4 is a flowchart for explaining map creation processing indoors.
  • FIG. 2 is a timing chart for explaining processing executed by the autonomous driving system of FIG. 1;
  • FIG. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information. It is a graph for explaining position information.
  • an autonomous driving system 10 includes an autonomous vehicle 20 .
  • the autonomous vehicle 20 is a four-wheeled vehicle and includes a vehicle body 21 , drive wheels 82 arranged below the vehicle body 21 , and steering wheels 85 arranged below the vehicle body 21 .
  • the autonomous vehicle 20 includes a camera 30.
  • the camera 30 is installed in the central portion of the lower surface 22 of the vehicle body 21 and can photograph the road surface Sr below the vehicle body 21 .
  • a camera 30, which is a road surface image acquisition device, can acquire images of the road surface Sr at regular intervals.
  • FIG. 5 shows an example of an image Pi acquired by the camera 30. As shown in FIG. The image Pi has a circular shape.
  • the autonomous vehicle 20 is equipped with one or more light sources 31 for illumination.
  • the light source 31 is installed on the lower surface 22 of the vehicle body 21 .
  • the light source 31 is composed of, for example, a light emitting diode (LED).
  • the light source 31 is for irradiating the imaging area of the camera 30 on the road surface Sr with light.
  • the light source 31 lights up in synchronization with the imaging timing of the camera 30 .
  • the autonomous driving system 10 has a mobile device 200 mounted on the autonomous vehicle 20 and a ground device 300 installed on the ground side where the autonomous vehicle 20 travels.
  • the mobile device 200 is also called a vehicle device 200 .
  • the ground side device 300 is also called a reference side device 300 .
  • the mobile device 200 includes a control device 40 .
  • Control device 40 includes processing unit 50 , storage unit 60 , map creation unit 70 , determination unit 100 and correction unit 101 .
  • the processing unit 50 has an estimating unit 51 , and the estimating unit 51 has a feature extraction unit 52 and a matching unit 53 .
  • the mobile device 200 includes a motor driver 80 , a traveling motor 81 , a motor driver 83 , a steering motor 84 , a light source driver 86 , a GNSS (Global Navigation Satellite System) antenna 87 , a GNSS receiver 88 , and a wireless communication device 89 .
  • the GNSS antenna 87 and the GNSS receiver 88 are receiving devices in a navigation satellite system (NSS).
  • NSS navigation satellite system
  • the ground equipment 300 includes a total station 110 and a radio communication device 111, which are survey equipment. Wireless communication is possible between the wireless communication device 89 of the mobile side device 200 and the wireless communication device 111 of the ground side device 300 .
  • a camera 30 is connected to the control device 40 as shown in FIG.
  • the control device 40 can drive the driving wheels 82 by controlling the traveling motor 81 via the motor driver 80 .
  • the control device 40 can drive the steered wheels 85 by controlling the steering motor 84 via the motor driver 83 .
  • the control device 40 can control the light source 31 via the light source driver 86 .
  • the control device 40 may include dedicated hardware, such as an application specific integrated circuit (ASIC), that executes at least part of the various types of processing.
  • the control device 40 is configured as a processing circuit including one or more processors that operate according to a computer program, a processing circuit including one or more dedicated hardware circuits such as ASICs, or a combination thereof.
  • the processor includes a CPU and memory such as RAM and ROM.
  • the memory stores program code or instructions configured to cause the CPU to perform processes.
  • Memory, or computer-readable media includes anything that can be accessed by a general purpose or special purpose computer.
  • the control device 40 operates the autonomous vehicle 20 by controlling the travel motor 81 and the steering motor 84 according to the program stored in the storage unit 60 .
  • the autonomous vehicle 20 of the present embodiment automatically travels and steers under the control of the control device 40 without being operated by the passenger.
  • the storage unit 60 stores a map image 61 of the road surface, that is, a map image 61 obtained by photographing the road surface Sr in advance.
  • the map image 61 is an image of the road surface associated with the position information of the autonomous vehicle 20 .
  • the position information of the autonomous vehicle 20 includes the position coordinates and orientation information of the autonomous vehicle 20 .
  • the estimating unit 51 for example, as shown in FIG. compare.
  • the features F1 to F5 are, for example, a group of feature points present in the image of the road surface Sr.
  • the estimating unit 51 can estimate the position of the autonomous vehicle 20, more specifically, the position coordinates and orientation, based on this comparison.
  • the feature extraction unit 52 detects one or more feature points from the image Pi, which is the current road surface image (actual image) obtained from the camera 30 .
  • the feature extraction unit 52 detects a feature amount for each feature point. That is, the feature extraction unit 52 detects a feature amount representing the difference between the brightness of a pixel forming each feature point and the brightness of pixels surrounding the pixel forming the feature point.
  • the feature extraction unit 52 detects one or more feature points from a map image obtained by photographing in advance, and also detects feature amounts for each feature point. That is, the feature extraction unit 52 detects a feature amount representing the difference between the brightness of a pixel forming each feature point and the brightness of pixels surrounding the pixel forming the feature point.
  • the matching unit 53 compares the feature amount of each feature point in the current road surface image with the feature amount of each feature point in the map image to obtain the position information (position coordinates and orientation information) of the autonomous vehicle 20 . to estimate
  • the position coordinates and orientation information of the road surface pattern are stored as an environment map.
  • the environment map is created by SLAM (Simultaneous Localization and Mapping), for example.
  • SLAM is a technique for simultaneously estimating the position of a mobile object and creating an environment map, and enables the mobile object to create an environment map in an unknown environment.
  • a moving object uses the constructed map information to accomplish a specific task.
  • the position coordinates of the autonomous vehicle 20 are coordinates indicating one point on the vehicle body 21 as shown in FIG. By comparing the road surface image acquired by the camera 30 with the map image acquired in advance, the position information (position coordinates and orientation information) of the autonomous vehicle 20 is estimated.
  • the control device 40 can move the autonomous vehicle 20 to a desired position by controlling the travel motor 81 and the steering motor 84 while estimating the position information of the autonomous vehicle 20 on the map.
  • the autonomous vehicle 20 is equipped with a GNSS antenna 87.
  • the GNSS antenna 87 can receive radio waves from satellites S1 to S4.
  • GNSS antenna 87 is connected to controller 40 via GNSS receiver 88 .
  • Controller 40 may capture survey information from GNSS antenna 87 via GNSS receiver 88 .
  • attitude information is measured as an azimuth angle.
  • the total station 110 is installed on the ground side where the autonomous vehicle 20 travels.
  • the total station 110 is a known point, and can measure the position coordinates and orientation information (angle) of the autonomous vehicle 20 when creating the map image 61 .
  • the autonomous vehicle 20 is provided with a reflecting member (for example, a 360-degree prism) 90 .
  • a light wave emitted by the total station 110 is reflected by the reflecting member 90 and received by the total station 110 . This makes it possible to observe the relative position of the reflecting member 90 with respect to the total station 110 and measure the position coordinates and orientation information (angle) of the autonomous vehicle 20 .
  • the survey information obtained by the total station 110 is wirelessly sent to the autonomous vehicle 20 via the wireless communication device 111.
  • the survey information is captured by the control device 40 of the autonomous vehicle 20 via the wireless communication device 89 .
  • attitude information is measured as an angle.
  • the position information obtained by the total station 110 is highly accurate.
  • the reflecting member 90 that reflects light waves from the total station 110, the camera 30, and the GNSS antenna 87 are arranged on the same vertical axis Axv.
  • the map creation unit 70 of the control device 40 obtains survey information from the GNSS antenna 87, which is the first survey instrument, when creating a map outdoors. Then, the map creation unit 70 creates a map image of the road surface Sr in which the position information (position coordinates and orientation information) of the autonomous vehicle 20 is associated with the survey information and the image of the road surface Sr acquired by the camera 30. create.
  • a first survey instrument can also be viewed as including a GNSS antenna 87 and a GNSS receiver 88 .
  • the map creation unit 70 also obtains survey information from the GNSS antenna 87 when creating a map indoors. Then, the map creation unit 70 creates a map image of the road surface Sr in which the position information (position coordinates and orientation information) of the autonomous vehicle 20 is associated with the survey information and the image of the road surface Sr acquired by the camera 30. create.
  • the determination unit 100 can determine whether the position information of the autonomous vehicle 20 in the map image of the road surface Sr created by the map creation unit 70 is appropriate.
  • the correction unit 101 can correct the position information as follows.
  • the correction unit 101 uses the survey information obtained by the total station 110, which is the second survey instrument of a type different from the GNSS antenna 87, which is the first survey instrument, to determine the position of the autonomous vehicle 20 associated with the map image of the road surface Sr. Information can be corrected.
  • FIG. 6 shows outdoor map creation processing executed by the map creation unit 70 of the control device 40 while the autonomous vehicle 20 is traveling outdoors.
  • the map creation unit 70 acquires and stores image data from the camera 30 in step S10. Image data acquisition by the camera 30 is performed, for example, at set distance intervals or at set time intervals.
  • the autonomous vehicle 20 acquires data while traveling at low speed along a desired travel route. Alternatively, the autonomous vehicle 20 acquires data while repeatedly stopping and traveling along a desired travel route.
  • step S11 the map creation unit 70 acquires survey information (satellite positioning data) from the GNSS antenna 87 and saves it.
  • step S ⁇ b>12 the map creating unit 70 associates the position information of the autonomous vehicle 20 obtained based on the survey information with the image data obtained from the camera 30 . As a result, a map image of the road surface Sr associated with the position information of the autonomous vehicle 20 is obtained.
  • FIG. 7 shows indoor map creation processing executed by the control device 40 while the autonomous vehicle 20 is traveling indoors.
  • item (a) indicates that the trajectory of the position coordinates of the autonomous vehicle 20 is measured based on the survey information acquired from the total station 110 during the period from timing t1 to timing t9. .
  • Item (b) indicates the timing at which the road surface image is acquired from the camera 30 .
  • Item (c) shows the timing at which the survey information is acquired from the GNSS antenna 87 .
  • Item (d) indicates the timing at which the map image is created.
  • Item (e) indicates the timing at which position information quality determination is performed.
  • Item (f) indicates the timing at which the position information is corrected.
  • the period from timing t1 to timing t9 is the indoor running period of the autonomous vehicle 20 .
  • the map creation unit 70 acquires survey information from the total station 110, and measures the trajectory of the position coordinates of the autonomous vehicle 20 based on this survey information. As shown in item (a) of FIG. 8, the trajectory of the position coordinates of the autonomous vehicle 20 is measured during the indoor running period from timing t1 to timing t9.
  • the map creation unit 70 acquires and saves image data from the camera 30 in step S21 of FIG. As shown in item (b) of FIG. 8, image data is acquired from the camera 30 at timings t2 and t6.
  • Acquisition of image data from the camera 30 is performed, for example, at set distance intervals or set time intervals.
  • the autonomous vehicle 20 acquires image data while traveling at low speed along a desired travel route.
  • the autonomous vehicle 20 acquires image data while repeatedly stopping and traveling along a desired travel route.
  • the map creation unit 70 acquires survey information from the GNSS antenna 87 in step S22 of FIG. As shown in item (c) of FIG. 8, survey information is acquired from the GNSS antenna 87 at timings t2 and t6.
  • step S23 of FIG. 7 the map creation unit 70 creates a map image by associating the position information obtained based on the survey information acquired from the GNSS antenna 87 with the image data. As shown in item (d) of FIG. 8, a map image in which position information is associated with a road surface image is created at timings t3 and t7.
  • step S24 of FIG. 7 the determination unit 100 determines whether the position information (position coordinates and attitude information) of the autonomous vehicle 20 in the created map image of the road surface Sr is appropriate. As shown in item (e) of FIG. 8, it is determined whether or not the position information is appropriate at timings t4 and t8.
  • the position coordinates (x, y) and attitude angle ⁇ which are the position information of the autonomous vehicle 20, are indicated by (x, y, ⁇ ).
  • the position information P1 obtained last time is (x1, y1, ⁇ 1)
  • the position information P2 obtained last time is (x2, y2, ⁇ 2)
  • the position information P3 obtained this time is (x3, y3, ⁇ 3). ).
  • FIG. 9 shows a case where the position information of the autonomous vehicle 20 in the created map image of the road surface Sr is appropriate.
  • FIG. 10 shows a case where the position information of the autonomous vehicle 20 in the created map image of the road surface Sr is not appropriate.
  • the deviation of the current position coordinates from the trajectory of the position coordinates based on the survey information acquired from the total station 110 or the extension of the trajectory is determined.
  • the trajectory of the position coordinates based on the survey information acquired from the total station 110 or an extension of the trajectory will be referred to as a trajectory Tr.
  • the deviation of the current position coordinates (x3, y3) with respect to the trajectory Tr is the distance r represented by It is determined whether or not the distance r is greater than or equal to the threshold, and if the distance r is greater than or equal to the threshold, it is determined that the current position coordinates (x3, y3) are not appropriate.
  • the posture angle it is determined whether or not the change in the posture angle ⁇ is equal to or greater than a threshold. Specifically, in FIG. 10, it is determined whether or not the absolute value of the difference ( ⁇ 2- ⁇ 3) between the previous posture angle ⁇ 2 and the current posture angle ⁇ 3 is equal to or greater than a threshold. is equal to or greater than the threshold, it is determined that the current attitude angle ⁇ 3 is not appropriate. If at least one of the position coordinates and the attitude angle is determined to be inappropriate, the position information is determined to be inappropriate.
  • the previous position information P1 is (x1, y1, ⁇ 1)
  • the previous position information P2 is (x2, y2, ⁇ 2)
  • the current position information P3 is (x3, y3, ⁇ 3). be.
  • the current location information P3 is not appropriate.
  • the correction unit 101 corrects the position information in step S25 of FIG. Specifically, the correction unit 101 uses the survey information from the total station 110, which is a second survey instrument of a type different from the first survey instrument, to determine the position information of the autonomous vehicle 20 associated with the map image of the road surface Sr. to correct. In item (e) of FIG. 8, if the position information is determined to be inappropriate at timing t4, position information is corrected at timing t5 in item (f) of FIG. On the other hand, in item (e) of FIG. 8, when it is determined that the position information is appropriate at the timing of t8, the position information is not corrected.
  • the current position information P3 (x3, y3, ⁇ 3) is replaced with the position information P10 (x10, y10, ⁇ 10).
  • the position coordinates are projected onto the trajectory Tr. That is, the intersection of the trajectory Tr and a straight line that is perpendicular to the trajectory Tr and passes through the current position coordinates (x3, y3) is set to the corrected position coordinates (x10, y10).
  • the posture angle ⁇ 3 in the current position information P3 is corrected to the posture angle ⁇ 2 in the previous position information P2. Therefore, in the example of FIG. 10, the post-correction position information P10 this time is set to (x10, y10, ⁇ 2).
  • step S25 of FIG. 7 After correcting in step S25 of FIG. 7, the correction unit 101 returns to step S20.
  • the determination unit 100 returns to step S20 without performing the correction in step S25.
  • An autonomous driving system is a system for automatically driving a mobile object, and it is possible to create a map image and estimate its own position using the created map image.
  • the autonomous driving system performs feature matching that compares the features extracted from the map image with the features obtained from the road surface image obtained by photographing. Estimate posture, velocity, etc.
  • position information is associated with the map image as the road surface is photographed.
  • Autonomous vehicles are equipped with a camera, as well as a receiving device in a satellite positioning system or an inertial measurement unit (IMU). While driving, the autonomous vehicle takes pictures of the road surface at set distance and time intervals.
  • position information position coordinates and attitude information
  • the position information of the autonomous vehicle to be associated with the captured road surface image is acquired using a satellite positioning system or an inertial measurement device, for example, as shown in FIG.
  • the accuracy of the creation of is lowered. Specifically, the positioning accuracy of the satellite positioning system or the inertial measurement device is low, and the accuracy of the position information of the autonomous vehicle associated with the road surface image acquired when creating the map image is low. As a result, the accuracy of estimating the position information of the autonomous vehicle is low, so the accuracy of autonomous driving is low.
  • a map image is created by associating position coordinates acquired using a satellite positioning system with a road surface image while driving in a specific location, such as indoors.
  • an unignorable deviation may occur between the actual position coordinates and the position coordinates associated with the map image.
  • FIG. 11 shows that a large deviation ⁇ occurs between the actual position coordinates and the position coordinates associated with the map image for the specific position coordinates P100.
  • the autonomous driving system 10 of this embodiment has a camera 30 that captures images of the road surface and a measurement system that creates map images. When creating a map image, the autonomous driving system 10 determines whether the position information in the created map image is appropriate, and if not appropriate, corrects the position information using the survey information obtained from the total station 110. do.
  • position information in the created map image is appropriate, as shown in FIG. , position information is not corrected.
  • position information is corrected.
  • FIG. 13 when there is a large divergence between the expected positional coordinates and the positional coordinates associated with the map image, such as indoors, the positional information is corrected.
  • the expected position coordinates are calculated from the trajectory Tr of the position coordinates obtained based on the survey information obtained from the total station 110 .
  • Figs. 14 and 15 show an example of correcting the position (latitude and longitude) in orthogonal coordinates in order to correct the position coordinates and orientation information in the created map image to more accurate values.
  • the position coordinates obtained based on the survey information obtained from the total station 110 are referred to as "total station-based position coordinates".
  • the position coordinates associated with the map image are corrected to be positioned on the trajectory Tr. be done.
  • the position coordinates P20 are corrected to the position coordinates P21, the position coordinates P22 to the position coordinates P23, and the position coordinates P24 to the position coordinates P25.
  • the pre-correction position coordinates P30a to P30k are greatly deviated from the trajectory Tr of the total station base position coordinates. In this case, all of the position coordinates P30a-30k are corrected. In FIG. 15, the position coordinates P30a to 30k before correction are projected onto the trajectory Tr of the position coordinates of the total station base, resulting in position coordinates P31a to 31k after correction.
  • total station base position coordinates P40 and P41 are stored. Time data may be given to the position coordinates P40 and P41 using a time stamp function.
  • the intermediate point between the position coordinates (x40, y40) at time t40 and the position coordinates (x41, y41) at time t41 is set to the post-correction position coordinates (x42, y42). be.
  • This position coordinate (x42, y42) is the position coordinate at time t42, that is, (t40+t41)/2.
  • the posture angle correction described with reference to FIG. 10 was to set the previous posture angle to the current posture angle.
  • the post-correction position coordinates P50 and P51 may be stored, and the posture at an arbitrary position coordinate P52 may be corrected using the position coordinates P50 and P51. That is, the attitude angle ⁇ at an arbitrary position coordinate P52 is calculated from the direction of the line connecting the position coordinates P50 and P51 before and after the arbitrary position coordinate P52. For example, the attitude angle ⁇ at an arbitrary position coordinate P52 is set to the angle of the line connecting the position coordinates P50 and P51.
  • the angle of the line connecting the arbitrary position coordinates and the adjacent position coordinates is taken as the attitude angle at the arbitrary position coordinates.
  • the angle of the line connecting the arbitrary position coordinate P52 and the adjacent position coordinate P50 is determined by the arbitrary position coordinate. Let it be the attitude angle at P52. 17, when there is no position coordinate P50 and the arbitrary position coordinate P52 is the starting point, the angle of the line connecting the arbitrary position coordinate P52 and the adjacent position coordinate P51 is the attitude angle at the arbitrary position coordinate P52.
  • the following correction may be performed on the relationship between the post-correction position coordinates P60 and P61 and the position coordinate P62 for posture correction.
  • the orientation of the line connecting the previous position coordinates P60 and the current position coordinates P62 is assumed to be the attitude angle ⁇ at the current position coordinates P62.
  • the direction of the line connecting the current position coordinate P72 and the next position coordinate P71 is may be taken as the posture angle ⁇ at the current position coordinate P72.
  • the autonomous driving system 10 includes a camera 30 that is installed on the vehicle body 21 of the autonomous vehicle 20 and that is a road surface image acquisition device that acquires an image of the road surface Sr below the vehicle body 21 .
  • the autonomous driving system 10 includes a storage unit 60 that is mounted on the autonomous vehicle 20 and stores a map image of the road surface Sr associated with the position information of the autonomous vehicle 20 .
  • the autonomous driving system 10 is mounted on an autonomous driving vehicle 20, and compares features F1 to F5 extracted from the image of the road surface Sr acquired by the camera 30 with the features extracted from the map image to determine whether the autonomous driving vehicle 20 is provided with an estimating unit 51 for estimating the position of .
  • the autonomous driving system 10 includes a mapping unit 70 mounted on the autonomous vehicle 20 .
  • the map creation unit 70 associates the position information of the autonomous vehicle 20 based on the survey information acquired from the GNSS antenna 87, which is the first survey instrument, and the image of the road surface Sr acquired by the camera 30. Create a map image.
  • the autonomous driving system 10 includes a determination unit 100 that determines whether the position information of the autonomous vehicle 20 associated with the map image created by the map creation unit 70 is appropriate.
  • the autonomous driving system 10 includes a correction section 101 .
  • the correction unit 101 corrects the position information when the determination unit 100 determines that the position information of the autonomous vehicle 20 associated with the map image is not appropriate.
  • the correction unit 101 corrects the position information of the autonomous vehicle 20 associated with the map image using the survey information acquired from the total station 110, which is the second survey instrument of a type different from the first survey instrument. do. Therefore, it is possible to improve the accuracy of the positional information of the autonomous vehicle 20 associated with the acquired image.
  • the map data is corrected using the survey information acquired from the total station 110 .
  • the total station 110 is expensive and takes a lot of man-hours to use, but can specify the position with high accuracy. Although the total station 110 has good accuracy, it has a limited range of use. Therefore, the survey information acquired from the total station 110 is used only for portions with poor map accuracy.
  • the first surveying instrument is a satellite positioning system. Specifically, the first surveying instrument is a GNSS antenna 87, which is a receiving instrument in a satellite positioning system.
  • the second surveying instrument is the total station 110 . Therefore, the accuracy of the positional information of the autonomous vehicle 20 associated with the acquired image can be further improved.
  • the position information of the autonomous vehicle 20 is the position coordinates and orientation information of the autonomous vehicle 20 . Therefore, both the position coordinates and orientation information of the autonomous vehicle 20 can be associated with the acquired image.
  • Embodiments are not limited to the above, and may be embodied as follows, for example.
  • the first surveying instrument was the GNSS antenna 87, which is the receiving side instrument in the satellite positioning system, it is not limited to this.
  • the first survey instrument may be an inertial measurement unit (IMU).
  • IMU inertial measurement unit
  • a gyro sensor, an accelerometer, or the like can be used as the inertial measurement device.
  • the second surveying instrument was a total station, but it is not limited to this.
  • the second surveying instrument may be a 3D-SLAM, that is, an instrument that can capture the environmental shape in detail using a 3D scanner or 3D camera.
  • the second surveying instrument can use a self-localization device different from that of the first surveying instrument.
  • the camera 30 is used as the road surface image acquisition device
  • a device other than the camera may be used as the road surface image acquisition device.
  • a linear sensor linear image sensor
  • the road surface image acquisition device is installed on the underside of the vehicle body, the installation position of the road surface image acquisition device is not limited to the underside of the vehicle body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

自律走行システム（１０）は、自律走行車（２０）の車体（２１）の下方の路面の画像を取得する路面画像取得装置（３０）を備える。自律走行システム（１０）は、第１測量機器（８７）から取得された測量情報と路面の画像とに基づいて、自律走行車（２０）の位置情報が対応付けられた地図画像を作成し、地図画像に対応付けられた自律走行車（２０）の位置情報が適切でない場合に、第１測量機器とは異なる種類の第２測量機器から取得された測量情報を用いて、地図画像に対応付ける自律走行車（２０）の位置情報を補正する。

Description

自律走行システム及び自律走行システムにおける方法
　本開示は、自律走行システム及び自律走行システムにおける方法に関するものである。
　無人車両の位置等の状態を推定する技術としてＳＬＡＭ（Simultaneous Localization and Mapping）がある。ＳＬＡＭは、移動体の自己位置推定と環境地図作成とを同時に行う技術であり、移動体が未知の環境下で環境地図を作成できる。移動体は、構築した地図情報を使って障害物などを回避しつつ特定のタスクを遂行する。
　自律走行車の自己位置を推定する技術として路面画像を用いることが知られている（例えば、特許文献１参照）。この技術は、車体に路面を撮影するカメラを設置し、予め路面を撮影することによって得られた地図画像と、現時点で得られた実際の路面画像とのそれぞれから特徴を検出し、それら特徴を比較して自己位置を推定するものである。
米国特許第８７２５４１３号明細書
　地図画像には位置情報が予め対応付けられている。地図画像に対応付けられた位置情報によって示される位置が実際の位置から乖離する場合、自己位置推定精度が悪化する。つまり、実際の路面画像を、不正確な位置情報が対応付けられた地図画像とマッチングすると自己位置推定精度が悪くなる。
　本開示の一態様に係る自律走行システムは、自律走行車の車体に設置され、前記車体の下方の路面の画像を取得するように構成される路面画像取得装置と、前記自律走行車に搭載され、第１測量機器から取得された測量情報と前記路面画像取得装置により取得された前記路面の画像とに基づいて、前記自律走行車の位置情報が対応付けられた地図画像を作成するように構成される地図作成部と、前記自律走行車に搭載され、前記地図画像を記憶するように構成される記憶部と、前記自律走行車に搭載され、前記路面画像取得装置により取得された前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定するように構成される推定部と、前記地図作成部によって作成された前記地図画像に対応付けられた前記自律走行車の位置情報が適切であるか否か判定するように構成される判定部と、前記地図画像に対応付けられた前記自律走行車の位置情報が適切でない場合に、前記第１測量機器とは異なる種類の第２測量機器から取得された測量情報を用いて、前記地図画像に対応付ける前記自律走行車の位置情報を補正するように構成される補正部と、を備える。
　本開示の別の態様では、自律走行システムにおける方法が提供される。前記方法は、自律走行車の車体の下方の路面の画像を取得することと、第１測量機器から取得された測量情報と前記路面の画像とに基づいて、前記自律走行車の位置情報が対応付けられた地図画像を作成することと、前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定することと、前記地図画像に対応付けられた前記自律走行車の位置情報が適切であるか否か判定することと、前記地図画像に対応付けられた前記自律走行車の位置情報が適切でない場合に、前記第１測量機器とは異なる種類の第２測量機器から取得された測量情報を用いて、前記地図画像に対応付ける前記自律走行車の位置情報を補正することと、を備える。
自律走行システムの全体構成図である。 図１中の符号Ｅで示す四角で囲まれた部分の拡大図である。 図１の自律走行システムの概略平面図である。 図１の自律走行システムの電気的構成を示すブロック図である。 カメラにより取得された画像の一例を示す図である。 屋外での地図作成処理を説明するためのフローチャートである。 屋内での地図作成処理を説明するためのフローチャートである。 図１の自律走行システムが実行する処理を説明するためのタイミングチャートである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。 位置情報を説明するためのグラフである。
　以下、一実施形態に係る自律走行システムを図面に従って説明する。
　＜システムの構成＞
　図１に示すように、自律走行システム１０は、自律走行車２０を備える。自律走行車２０は、四輪車両であって、車体２１と、車体２１の下部に配置された駆動輪８２と、車体２１の下部に配置された操舵輪８５と、を備える。
　図１、図２に示すように、自律走行車２０は、カメラ３０を備える。カメラ３０は、車体２１の下面２２の中央部に設置され、車体２１の下方の路面Ｓｒを撮影することができる。路面画像取得装置であるカメラ３０により、路面Ｓｒの画像を一定周期で取得することができるようになっている。図５には、カメラ３０により取得された画像Ｐｉの一例を示す。画像Ｐｉは、円形をなしている。
　図２に示すように、自律走行車２０は、照明用の1つ以上の光源３１を備える。光源３１は、車体２１の下面２２に設置されている。光源３１は、例えば発光ダイオード（ＬＥＤ）よりなる。光源３１は、路面Ｓｒにおけるカメラ３０の撮影領域に光を照射するためのものである。光源３１は、カメラ３０の撮影タイミングに同期して点灯する。
　図４に示すように、自律走行システム１０は、自律走行車２０に搭載される移動体側機器２００と、自律走行車２０が走行する地上側に設置される地上側機器３００と、を有する。移動体側機器２００は車両側機器２００ともいう。地上側機器３００は基準側機器３００ともいう。
　移動体側機器２００は、制御装置４０を含む。制御装置４０は、処理部５０と記憶部６０と地図作成部７０と判定部１００と補正部１０１とを含む。処理部５０は、推定部５１を有し、推定部５１は特徴抽出部５２とマッチング部５３とを備える。移動体側機器２００は、モータドライバ８０、走行モータ８１、モータドライバ８３、操舵モータ８４、光源ドライバ８６、ＧＮＳＳ（Global Navigation Satellite System）アンテナ８７、ＧＮＳＳ受信機８８、及び、無線通信機８９を含む。ＧＮＳＳアンテナ８７及びＧＮＳＳ受信機８８は、衛星測位システム（ＮＳＳ：Navigation Satellite System）における受信側機器である。
　地上側機器３００は、測量機器であるトータルステーション１１０、無線通信機１１１を含む。
　移動体側機器２００の無線通信機８９と地上側機器３００の無線通信機１１１との間において無線通信が可能となっている。
　図４に示すように、制御装置４０にはカメラ３０が接続されている。制御装置４０は、モータドライバ８０を介して走行モータ８１を制御することによって駆動輪８２を駆動することができるようになっている。制御装置４０は、モータドライバ８３を介して操舵モータ８４を制御することによって操舵輪８５を駆動することができるようになっている。制御装置４０は、光源ドライバ８６を介して光源３１を制御することができる。
　記憶部６０には、自律走行車２０を制御するための種々のプログラムが記憶されている。制御装置４０は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路：ＡＳＩＣを備えていてもよい。制御装置４０は、コンピュータプログラムに従って動作する１つ以上のプロセッサを含む処理回路、ＡＳＩＣ等の１つ以上の専用のハードウェア回路を含む処理回路、あるいは、それらの組み合わせを含む処理回路、として構成し得る。プロセッサは、ＣＰＵ、並びに、ＲＡＭ及びＲＯＭ等のメモリを含む。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。
　制御装置４０は、記憶部６０に記憶されたプログラムに従い、走行モータ８１及び操舵モータ８４を制御することで、自律走行車２０を動作させる。本実施形態の自律走行車２０は、搭乗者による操作が行われることなく、制御装置４０による制御によって自動で走行及び操舵を行う。
　記憶部６０には、路面の地図画像６１、即ち、予め路面Ｓｒを撮影することによって得られた地図画像６１が記憶されている。地図画像６１は、自律走行車２０の位置情報が対応付けられた路面の画像である。自律走行車２０の位置情報は、自律走行車２０の位置座標及び姿勢情報を含む。
　推定部５１は、例えば図５に示すようにカメラ３０により撮影することによって取得された路面Ｓｒの画像から抽出された特徴Ｆ１～Ｆ５と、記憶部６０の地図画像６１から抽出された特徴とを比較する。特徴Ｆ１～Ｆ５は、例えば、路面Ｓｒの画像中に存在する複数の特徴点の群である。推定部５１は、この比較により自律走行車２０の位置、詳細には位置座標及び姿勢を推定することができる。
　詳しくは、特徴抽出部５２は、図５に示すように、カメラ３０から得られた現時点での路面画像（実際の画像）である画像Ｐｉから1つ以上の特徴点を検出する。特徴抽出部５２は、各特徴点についての特徴量を検出する。即ち、特徴抽出部５２は、各特徴点を形成するピクセルの輝度と、その特徴点を形成するピクセルの周りのピクセルの輝度との差を表す特徴量を検出する。同様に、特徴抽出部５２は、予め撮影することによって得られた地図画像から1つ以上の特徴点を検出するとともに、各特徴点についての特徴量を検出する。即ち、特徴抽出部５２は、各特徴点を形成するピクセルの輝度と、その特徴点を形成するピクセルの周りのピクセルの輝度との差を表す特徴量を検出する。そして、マッチング部５３は、現時点での路面画像における各特徴点の特徴量と、地図画像における各特徴点の特徴量とを比較することにより自律走行車２０の位置情報（位置座標及び姿勢情報）を推定する。
　地図画像６１を予め記憶部６０に記憶する場合、路面の模様の位置座標及び姿勢情報を環境地図として記憶する。環境地図は、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）により作成される。ＳＬＡＭは、移動体の自己位置推定と環境地図作成とを同時に行う技術であり、移動体が未知の環境下で環境地図を作成することを可能にする。移動体は、構築した地図情報を使って特定のタスクを遂行する。自律走行車２０の位置座標は、より詳しくは、図３に示すように車体２１の一点を示す座標、例えば、車体２１を平面視した場合における車体２１の中央の座標である。そして、カメラ３０で取得した路面画像と事前に取得した地図画像とを比較することで、自律走行車２０の位置情報（位置座標及び姿勢情報）が推定される。
　制御装置４０は、地図上での自律走行車２０の位置情報を推定しながら走行モータ８１及び操舵モータ８４を制御することで、所望の位置に自律走行車２０を移動させることが可能である。
　図１、図３に示すように、自律走行車２０にはＧＮＳＳアンテナ８７が搭載されている。ＧＮＳＳアンテナ８７は、人工衛星Ｓ１～Ｓ４から電波を受信することができる。図４に示すように、ＧＮＳＳアンテナ８７はＧＮＳＳ受信機８８を介して制御装置４０と接続されている。制御装置４０は、ＧＮＳＳアンテナ８７からＧＮＳＳ受信機８８を介して測量情報を取り込むことができる。
　図１において、４つの人工衛星Ｓ１～Ｓ４からの電波をＧＮＳＳアンテナ８７で受信することによって、自律走行車２０の位置情報である位置座標（緯度及び経度）及び姿勢情報が求められる。ＧＮＳＳアンテナ８７による測位では、姿勢情報は方位角として測定される。
　図１、図３に示すように、トータルステーション１１０は、自律走行車２０が走行する地上側に設置されている。トータルステーション１１０は、既知点であり、地図画像６１の作成時に自律走行車２０の位置座標及び姿勢情報（角度）を測定することができる。詳しくは、自律走行車２０には反射部材（例えば３６０度プリズム）９０が設けられている。トータルステーション１１０が発する光波は反射部材９０で反射されてトータルステーション１１０で受光される。これにより、トータルステーション１１０に対する反射部材９０の相対位置を観測して自律走行車２０の位置座標及び姿勢情報（角度）を測定することができる。
　図４に示すように、トータルステーション１１０により得られた測量情報は、無線通信機１１１を介して自律走行車２０に無線で送られる。測量情報は、無線通信機８９を介して自律走行車２０の制御装置４０に取り込まれる。トータルステーション１１０による測量では、姿勢情報は角度として測定される。トータルステーション１１０により得られる位置情報は高精度である。
　図１に示すように、トータルステーション１１０からの光波を反射させる反射部材９０と、カメラ３０と、ＧＮＳＳアンテナ８７とは、同一鉛直軸Ａｘｖ上に配置されている。
　図４に示すように、制御装置４０の地図作成部７０は、屋外での地図作成時に、第１測量機器であるＧＮＳＳアンテナ８７から測量情報を得る。そして、地図作成部７０は、この測量情報とカメラ３０により取得された路面Ｓｒの画像とから、自律走行車２０の位置情報（位置座標及び姿勢情報）が対応付けられた路面Ｓｒの地図画像を作成する。第１測量機器は、ＧＮＳＳアンテナ８７及びＧＮＳＳ受信機８８を含むものとしてみなすこともできる。
　また、地図作成部７０は、屋内での地図作成時にも、ＧＮＳＳアンテナ８７から測量情報を得る。そして、地図作成部７０は、この測量情報とカメラ３０により取得された路面Ｓｒの画像とから、自律走行車２０の位置情報（位置座標及び姿勢情報）が対応付けられた路面Ｓｒの地図画像を作成する。
　図４に示すように、判定部１００は、地図作成部７０が作成した路面Ｓｒの地図画像における自律走行車２０の位置情報が適切であるか否か判定することができる。補正部１０１は、作成した路面Ｓｒの地図画像における自律走行車２０の位置情報が適切でない場合に、次のように、位置情報を補正することができる。補正部１０１は、第１測量機器であるＧＮＳＳアンテナ８７とは異なる種類の第２測量機器であるトータルステーション１１０により得られた測量情報を用いて、路面Ｓｒの地図画像に対応付ける自律走行車２０の位置情報を補正することができる。
　＜作用＞
　次に、本実施形態の作用について説明する。
　＜屋外での地図作成＞
　図６には自律走行車２０の屋外の走行中において制御装置４０の地図作成部７０が実行する、屋外での地図作成処理を示す。
　地図作成部７０は、ステップＳ１０において、カメラ３０から画像データを取得して保存する。カメラ３０による画像データの取得は、例えば、設定した距離間隔、あるいは、設定した時間間隔で行われる。屋外での地図画像作成の際、自律走行車２０は所望の走行経路に沿って低速走行しながらデータの取得を行う。あるいは、自律走行車２０は所望の走行経路に沿って停止と走行とを繰り返しながらデータの取得を行う。
　地図作成部７０は、ステップＳ１１において、ＧＮＳＳアンテナ８７から測量情報（衛星測位データ）を取得して保存する。
　地図作成部７０は、ステップＳ１２において、測量情報に基づき求められた自律走行車２０の位置情報を、カメラ３０から得られた画像データと対応付ける。その結果、自律走行車２０の位置情報が対応付けられた路面Ｓｒの地図画像が得られる。
　＜屋内での地図作成＞
　図７には自律走行車２０の屋内の走行中において制御装置４０が実行する、屋内での地図作成処理を示す。
　図８において、項目（ａ）には、ｔ１のタイミングからｔ９のタイミングまでの期間の間、トータルステーション１１０から取得された測量情報に基づき自律走行車２０の位置座標の軌跡が測定されることを示す。項目（ｂ）には、カメラ３０から路面画像が取得されるタイミングを示す。項目（ｃ）には、ＧＮＳＳアンテナ８７から測量情報が取得されるタイミングを示す。項目（ｄ）には、地図画像が作成されるタイミングを示す。項目（ｅ）には、位置情報の良否判定が行われるタイミングを示す。項目（ｆ）には、位置情報が補正されるタイミングを示す。
　図８において、ｔ１のタイミングからｔ９のタイミングまでの期間は、自律走行車２０の屋内走行期間である。
　地図作成部７０は、図７のステップＳ２０において、トータルステーション１１０から測量情報を取得するとともに、この測量情報に基づき自律走行車２０の位置座標の軌跡を測定する。図８の項目（ａ）に示すように、ｔ１のタイミングからｔ９のタイミングまでの屋内走行期間において、自律走行車２０の位置座標の軌跡が測定される。
　地図作成部７０は、図７のステップＳ２１において、カメラ３０から画像データを取得して保存する。図８の項目（ｂ）に示すように、ｔ２のタイミング及びｔ６のタイミングでカメラ３０から画像データが取得される。
　カメラ３０からの画像データの取得は、例えば、設定した距離間隔、あるいは、設定した時間間隔で行われる。屋内での地図画像作成の際に、自律走行車２０は所望の走行経路に沿って低速走行しながら画像データを取得する。あるいは、自律走行車２０は所望の走行経路に沿って停止と走行とを繰り返しながら画像データを取得する。
　地図作成部７０は、図７のステップＳ２２において、ＧＮＳＳアンテナ８７から測量情報を取得する。図８の項目（ｃ）に示すように、ｔ２のタイミング及びｔ６のタイミングで、ＧＮＳＳアンテナ８７から測量情報が取得される。
　地図作成部７０は、図７のステップＳ２３において、ＧＮＳＳアンテナ８７から取得された測量情報に基づき求められる位置情報を画像データと対応付けて、地図画像を作成する。図８の項目（ｄ）に示すように、ｔ３のタイミング及びｔ７のタイミングで、路面画像に位置情報が対応付けられた地図画像が作成される。
　判定部１００は、図７のステップＳ２４において、作成した路面Ｓｒの地図画像における自律走行車２０の位置情報（位置座標及び姿勢情報）が適切であるか否か判定する。図８の項目（ｅ）に示すように、ｔ４のタイミング及びｔ８のタイミングで、位置情報が適切であるか否かが判定される。
　図９において、自律走行車２０の位置情報である位置座標（ｘ，ｙ）及び姿勢角θを、（ｘ，ｙ，θ）で示す。前々回得られた位置情報Ｐ１が（ｘ１，ｙ１，θ１）であり、前回得られた位置情報Ｐ２が（ｘ２，ｙ２，θ２）であり、今回得られた位置情報Ｐ３が（ｘ３，ｙ３，θ３）である。
　一例として、図９は、作成した路面Ｓｒの地図画像における自律走行車２０の位置情報が適切である場合を示す。図１０は、作成した路面Ｓｒの地図画像における自律走行車２０の位置情報が適切でない場合を示す。
　位置座標については、地図画像において、トータルステーション１１０から取得された測量情報に基づく位置座標の軌跡又はその軌跡の延長線に対する今回の位置座標のずれが判定される。以下、「トータルステーション１１０から取得された測量情報に基づく位置座標の軌跡又はその軌跡の延長線」を軌道Ｔｒという。図１０に示すように、軌道Ｔｒに対する今回の位置座標（ｘ３，ｙ３）のずれは、今回の位置座標（ｘ３，ｙ３）が軌道Ｔｒに対し、同軌道Ｔｒの垂線方向にずれている距離ｒによって表される。距離ｒが閾値以上か否か判定され、距離ｒが閾値以上である場合には、今回の位置座標（ｘ３，ｙ３）が適切ではないと判定される。
　姿勢角については、姿勢角θの変化が閾値以上か否かが判定される。具体的には、図１０において、前回の姿勢角θ２と今回の姿勢角θ３との差（θ２－θ３）の絶対値が閾値以上か否かが判定され、差（θ２－θ３）の絶対値が閾値以上である場合には、今回の姿勢角θ３が適切ではないと判定される。位置座標及び姿勢角の少なくとも一方が適切ではないと判定された場合、位置情報が適切ではないと判定される。
　図１０において、前々回の位置情報Ｐ１が（ｘ１，ｙ１，θ１）であり、前回の位置情報Ｐ２が（ｘ２，ｙ２，θ２）であり、今回の位置情報Ｐ３が（ｘ３，ｙ３，θ３）である。今回の位置情報Ｐ３は適切ではない。
　作成した路面Ｓｒの地図画像における自律走行車２０の位置情報が適切でない場合、補正部１０１は、図７のステップＳ２５において、位置情報を補正する。具体的には、補正部１０１は、第１測量機器とは異なる種類の第２測量機器であるトータルステーション１１０からの測量情報を用いて、路面Ｓｒの地図画像に対応付ける自律走行車２０の位置情報を補正する。図８の項目（ｅ）において、ｔ４のタイミングで位置情報が適切でないと判定された場合、図８の項目（ｆ）において、ｔ５のタイミングで位置情報の補正が行われる。一方、図８の項目（ｅ）において、ｔ８のタイミングで位置情報が適切であると判定された場合、位置情報の補正は行われない。
　例えば、図１０に示すように、作成した路面Ｓｒの地図画像における自律走行車２０の位置情報が適切でない場合には、今回の位置情報Ｐ３（ｘ３，ｙ３，θ３）を位置情報Ｐ１０（ｘ１０，ｙ１０，θ１０）に補正する。具体的には、位置座標を軌道Ｔｒ上に投影する。即ち、軌道Ｔｒに対して垂直で且つ今回の位置座標（ｘ３，ｙ３）を通る直線と、軌道Ｔｒとの交点を、補正後の位置座標（ｘ１０，ｙ１０）に設定する。また、今回の位置情報Ｐ３における姿勢角θ３を、前回の位置情報Ｐ２における姿勢角θ２に補正する。よって、図１０の例では、今回の補正後の位置情報Ｐ１０は、（ｘ１０，ｙ１０，θ２）に設定される。
　補正部１０１は、図７のステップＳ２５で補正を行った後に、ステップＳ２０に戻る。
　判定部１００は、図７のステップＳ２４において、作成した路面Ｓｒの地図画像における自律走行車２０の位置情報が適切であると判定すると、ステップＳ２５での補正を行うことなく、ステップＳ２０に戻る。
　以下、本実施形態の作用について詳しく説明する。
　自律走行システムは移動体の自動走行を行うためのシステムであり、地図画像の作成、作成した地図画像を用いた自己位置推定が可能である。自律走行システムは、地図画像から抽出された特徴と、撮影によって得られた路面画像から得られた特徴とを比較する特徴マッチングを行い、地図画像に対応付けられた位置情報から移動体の位置、姿勢及び速度等を推定する。地図画像の作成時において、路面を撮影するのに伴い、位置情報が地図画像に対応付けられる。
　自律走行車には、カメラが搭載されるとともに、衛星測位システムにおける受信側機器、若しくは慣性測定機器（ＩＭＵ：inertial measurement unit）が搭載される。自律走行車は走行しながら、設定した距離間隔や時間間隔で路面を撮影する。撮影によって得られた路面画像と対応付ける自律走行車の位置情報（位置座標及び姿勢情報）を衛星測位システム若しくは慣性測定機器を用いて取得する場合においては、例えば、図１１に示すように、地図画像の作成精度が低くなってしまう。詳しくは、衛星測位システム若しくは慣性測定機器の測位精度が低く、地図画像の作成時に取得した路面画像と対応付ける自律走行車の位置情報の精度が低い。その結果、自律走行車の位置情報の推定精度が低いため、自動走行精度が低くなる。
　例えば、特定の場所、例えば屋内の走行時に、衛星測位システムを用いて取得した位置座標を路面画像に対応付けた地図画像が作成されたとする。この場合、実際の位置座標と、地図画像に対応付けた位置座標との間には無視できないずれが生じ得る。例えば、図１１には、特定の位置座標Ｐ１００について、実際の位置座標と地図画像に対応付けた位置座標との間に大きなずれΔが生じることが示されている。その結果、この不正確な位置座標が対応付けられた地図画像を用いて行われる自己位置推定の精度は悪い。
　本実施形態の自律走行システム１０は、路面を撮影するカメラ３０と、地図画像の作成のための計測システムと、を有する。自律走行システム１０は、地図画像の作成の際に、作成した地図画像における位置情報が適切であるかを判定し、適切でない場合にはトータルステーション１１０から得られた測量情報を用いて位置情報を補正する。
　作成した地図画像における位置情報が適切か否かの判定について、図１２に示すように、屋外のように、予想される位置座標と地図画像に対応付けた位置座標との乖離が小さい場合には、位置情報の補正は行わない。一方、図１３に示すように、屋内のように、予想される位置座標と地図画像に対応付けた位置座標との乖離が大きい場合には、位置情報の補正を行う。
　予想される位置座標の計算例を説明する。具体的には、トータルステーション１１０から得られた測量情報に基づき求められる位置座標の軌道Ｔｒから、予想される位置座標を算出する。
　位置情報の補正について、作成した地図画像における位置座標及び姿勢情報をより正確な値に修正すべく、直交座標において位置（緯度及び経度）を補正する例を図１４、図１５に示す。以下の説明において、トータルステーション１１０から得られた測量情報に基づき求められる位置座標を、「トータルステーションベースの位置座標」という。
　図１４に示すように、地図画像に対応付けた位置座標がトータルステーションベースの位置座標の軌道Ｔｒから閾値以上ずれている場合、地図画像に対応付けた位置座標が軌道Ｔｒ上に位置するように補正される。図１４の例では、位置座標Ｐ２０を位置座標Ｐ２１に、位置座標Ｐ２２を位置座標Ｐ２３に、位置座標Ｐ２４を位置座標Ｐ２５に補正する。
　図１５の例では、補正前の位置座標Ｐ３０ａ～３０ｋがトータルステーションベースの位置座標の軌道Ｔｒから大きくずれている。この場合は、位置座標Ｐ３０ａ～３０ｋの全てが補正される。図１５において、補正前の位置座標Ｐ３０ａ～３０ｋは、トータルステーションベースの位置座標の軌道Ｔｒに射影されて、補正後の位置座標Ｐ３１ａ～３１ｋとされる。
　図１６に示す例では、トータルステーションベースの位置座標Ｐ４０，Ｐ４１が記憶される。この位置座標Ｐ４０，Ｐ４１には、タイムスタンプ機能を用いて時刻データを付与されてもよい。図１６においては、時刻ｔ４０での位置座標（ｘ４０，ｙ４０）と、時刻ｔ４１での位置座標（ｘ４１，ｙ４１）との間の中間点が、補正後の位置座標（ｘ４２，ｙ４２）に設定される。この位置座標（ｘ４２，ｙ４２）は、時刻ｔ４２、即ち、（ｔ４０＋ｔ４１）／２の時刻における位置座標である。時刻ｔ４２での位置座標（ｘ４２，ｙ４２）に関し、ｘ軸方向についてはｘ４２＝（ｘ４１＋ｘ４２）／２が成立し、ｙ軸方向についてはｙ４２＝（ｙ４１＋ｙ４２）／２が成立する。
　図１０を用いて説明した姿勢角の補正は前回の姿勢角を今回の姿勢角に設定するものであったが、それ以外にも、次のようにしてもよい。図１７に示すように、補正後の位置座標Ｐ５０，Ｐ５１を記憶しておき、その位置座標Ｐ５０，Ｐ５１を用いて任意の位置座標Ｐ５２での姿勢を補正してもよい。すなわち、任意の位置座標Ｐ５２の前後の位置座標Ｐ５０，Ｐ５１を結ぶ線の向きから、任意の位置座標Ｐ５２での姿勢角θを算出する。例えば、任意の位置座標Ｐ５２での姿勢角θは、位置座標Ｐ５０，Ｐ５１を結ぶ線の角度に設定される。なお、任意の位置座標が始点もしくは終点のときは、任意の位置座標とそれに隣接する位置座標とを結ぶ線の角度を、任意の位置座標での姿勢角とする。即ち、図１７を用いて説明すると、位置座標Ｐ５１が無く、任意の位置座標Ｐ５２が終点のときは、任意の位置座標Ｐ５２とそれに隣接する位置座標Ｐ５０とを結ぶ線の角度を任意の位置座標Ｐ５２での姿勢角とする。また、図１７において位置座標Ｐ５０が無く、任意の位置座標Ｐ５２が始点のときは、任意の位置座標Ｐ５２とそれに隣接する位置座標Ｐ５１とを結ぶ線の角度を任意の位置座標Ｐ５２での姿勢角とする。
　図１８に示すように、補正後の位置座標Ｐ６０，Ｐ６１と、姿勢を補正する位置座標Ｐ６２との関係において、次のような補正を行ってもよい。前回の位置座標Ｐ６０と今回の位置座標Ｐ６２とを結ぶ線の向きを、今回の位置座標Ｐ６２での姿勢角θとする。他にも、図１９に示すように、補正後の位置座標Ｐ７０，Ｐ７１と、姿勢を補正する位置座標Ｐ７２との関係において、今回の位置座標Ｐ７２と次回の位置座標Ｐ７１とを結ぶ線の向きを、今回の位置座標Ｐ７２での姿勢角θとしてもよい。
　＜実施形態の効果＞
　上記実施形態によれば、以下のような効果を得ることができる。
　（１）自律走行システム１０は、自律走行車２０の車体２１に設置されて、車体２１の下方の路面Ｓｒの画像を取得する路面画像取得装置であるカメラ３０を備える。自律走行システム１０は、自律走行車２０に搭載され、自律走行車２０の位置情報が対応付けられた路面Ｓｒの地図画像を記憶する記憶部６０を備える。自律走行システム１０は、自律走行車２０に搭載され、カメラ３０により取得された路面Ｓｒの画像から抽出された特徴Ｆ１～Ｆ５と、地図画像から抽出された特徴とを比較することにより自律走行車２０の位置を推定する推定部５１を備える。自律走行システム１０は、自律走行車２０に搭載された地図作成部７０を備える。地図作成部７０は、第１測量機器であるＧＮＳＳアンテナ８７から取得された測量情報と、カメラ３０により取得された路面Ｓｒの画像とに基づいて、自律走行車２０の位置情報が対応付けられた地図画像を作成する。自律走行システム１０は、地図作成部７０において作成した地図画像に対応付けられた自律走行車２０の位置情報が適切であるか否か判定する判定部１００を備える。自律走行システム１０は、補正部１０１を備える。補正部１０１は、判定部１００において、地図画像に対応付けられた自律走行車２０の位置情報が適切でない場合に、位置情報の補正を行う。具体的には、補正部１０１は、第１測量機器とは異なる種類の第２測量機器であるトータルステーション１１０から取得された測量情報を用いて、地図画像に対応付ける自律走行車２０の位置情報を補正する。そのため、取得した画像と対応付ける自律走行車２０の位置情報の精度を向上することができる。
　つまり、トータルステーション１１０から取得される測量情報を用いて、地図データの補正を行う。トータルステーション１１０は高価で使用に工数がかかるが、高精度で位置を特定できる。トータルステーション１１０は、精度はいいものの、使用範囲が限られるため、地図精度の悪い部分のみにトータルステーション１１０から取得される測量情報が用いられる。
　（２）第１測量機器は、衛星測位システムである。、詳細には、第１測量機器は、衛星測位システムにおける受信側機器であるＧＮＳＳアンテナ８７である。第２測量機器は、トータルステーション１１０である。そのため、取得した画像と対応付ける自律走行車２０の位置情報の精度をより向上することができる。
　（３）自律走行車２０の位置情報は、自律走行車２０の位置座標及び姿勢情報である。そのため、取得した画像に対して、自律走行車２０の位置座標及び姿勢情報の両方を対応付けることができる。
　実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
　○第１測量機器は、衛星測位システムにおける受信側機器であるＧＮＳＳアンテナ８７であったが、これに限ることはない。例えば、第１測量機器は、慣性測定機器（ＩＭＵ）であってもよい。慣性測定機器として、ジャイロセンサ、加速度計等を用いることができる。
　○第２測量機器は、トータルステーションであったが、これに限ることはない。例えば、第２測量機器は、３Ｄ－ＳＬＡＭ、即ち、３Ｄスキャナや３Ｄカメラを用いて環境形状を詳細にとらえることができる機器であってもよい。つまり、第２測量機器は、第１測量機器とは異なる自己位置推定機器を利用することも可能である。
　〇路面画像取得装置としてカメラ３０を用いたが、カメラ以外の機器を路面画像取得装置として用いてもよい。路面画像取得装置として、例えば、リニアセンサ（リニアイメージセンサ）を用いることもできる。また、路面画像取得装置は、車体の下面に設置したが、路面画像取得装置の設置位置は、車体の下面に限らない。

Claims (4)

  1. 　自律走行車の車体に設置され、前記車体の下方の路面の画像を取得するように構成される路面画像取得装置と、
    　前記自律走行車に搭載され、第１測量機器から取得された測量情報と前記路面画像取得装置により取得された前記路面の画像とに基づいて、前記自律走行車の位置情報が対応付けられた地図画像を作成するように構成される地図作成部と、
    　前記自律走行車に搭載され、前記地図画像を記憶するように構成される記憶部と、
    　前記自律走行車に搭載され、前記路面画像取得装置により取得された前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定するように構成される推定部と、
    　前記地図作成部によって作成された前記地図画像に対応付けられた前記自律走行車の位置情報が適切であるか否か判定するように構成される判定部と、
    　前記地図画像に対応付けられた前記自律走行車の位置情報が適切でない場合に、前記第１測量機器とは異なる種類の第２測量機器から取得された測量情報を用いて、前記地図画像に対応付ける前記自律走行車の位置情報を補正するように構成される補正部と、
    　を備える、自律走行システム。
  2. 　前記第１測量機器は、衛星測位システム又は慣性測定機器であり、
    　前記第２測量機器は、トータルステーションである
    　請求項１に記載の自律走行システム。
  3. 　前記自律走行車の位置情報は、前記自律走行車の位置座標及び姿勢情報である
    　請求項１又は２に記載の自律走行システム。
  4. 　自律走行車の車体の下方の路面の画像を取得することと、
    　第１測量機器から取得された測量情報と前記路面の画像とに基づいて、前記自律走行車の位置情報が対応付けられた地図画像を作成することと、
    　前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定することと、
    　前記地図画像に対応付けられた前記自律走行車の位置情報が適切であるか否か判定することと、
    　前記地図画像に対応付けられた前記自律走行車の位置情報が適切でない場合に、前記第１測量機器とは異なる種類の第２測量機器から取得された測量情報を用いて、前記地図画像に対応付ける前記自律走行車の位置情報を補正することと、
    　を備える、自律走行システムにおける方法。
PCT/JP2022/031297 2021-08-27 2022-08-19 自律走行システム及び自律走行システムにおける方法 WO2023026962A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-139333 2021-08-27
JP2021139333A JP2023032947A (ja) 2021-08-27 2021-08-27 自律走行システム

Publications (1)

Publication Number Publication Date
WO2023026962A1 true WO2023026962A1 (ja) 2023-03-02

Family

ID=85322112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/031297 WO2023026962A1 (ja) 2021-08-27 2022-08-19 自律走行システム及び自律走行システムにおける方法

Country Status (2)

Country Link
JP (1) JP2023032947A (ja)
WO (1) WO2023026962A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062083A (ja) * 2003-08-19 2005-03-10 Komatsu Engineering Corp 位置誤差補正機能を持つ測量システム
WO2019124535A1 (ja) * 2017-12-22 2019-06-27 ヤマハ発動機株式会社 オンデマンド既定ルート自動走行車両

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062083A (ja) * 2003-08-19 2005-03-10 Komatsu Engineering Corp 位置誤差補正機能を持つ測量システム
WO2019124535A1 (ja) * 2017-12-22 2019-06-27 ヤマハ発動機株式会社 オンデマンド既定ルート自動走行車両

Also Published As

Publication number Publication date
JP2023032947A (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
US11227168B2 (en) Robust lane association by projecting 2-D image into 3-D world using map information
US10767990B2 (en) Device, method, and system for processing survey data, and program therefor
RU2678960C1 (ru) Устройство оценки положения транспортного средства, способ оценки положения транспортного средства
RU2720140C1 (ru) Способ оценки собственной позиции и устройство оценки собственной позиции
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
JP2013040886A (ja) 三次元点群計測方法、三次元点群計測プログラム
KR102174729B1 (ko) 랜드마크를 활용한 주행차로 인식 방법 및 시스템
JP6801269B2 (ja) 自律移動装置
US20210245777A1 (en) Map generation device, map generation system, map generation method, and storage medium
JP2023164553A (ja) 位置推定装置、推定装置、制御方法、プログラム及び記憶媒体
JP5716273B2 (ja) 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム
JP2021081272A (ja) 位置推定装置および位置推定用コンピュータプログラム
US11287281B2 (en) Analysis of localization errors in a mobile object
WO2023026962A1 (ja) 自律走行システム及び自律走行システムにおける方法
WO2020230314A1 (ja) 自己位置補正方法及び自己位置補正装置
JP2023086431A (ja) 地図データ作成装置、及び地図データ作成方法
US20220176990A1 (en) Autonomous travel system
CN113218392A (zh) 室内定位导航方法及导航装置
US11681297B2 (en) Autonomous vehicle and self-location estimating method in autonomous vehicle
JP7489002B2 (ja) 自律走行車
JP7226714B2 (ja) 位置ずれ補正システム及びプログラム
KR102674613B1 (ko) 차로 결정 방법 및 차로 결정 장치
RU2781373C1 (ru) Способ коррекции собственного местоположения и устройство коррекции собственного местоположения
JP6907952B2 (ja) 自己位置補正装置及び自己位置補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22861250

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE