WO2018159398A1 - 移動体の位置推定装置及び方法 - Google Patents
移動体の位置推定装置及び方法 Download PDFInfo
- Publication number
- WO2018159398A1 WO2018159398A1 PCT/JP2018/006148 JP2018006148W WO2018159398A1 WO 2018159398 A1 WO2018159398 A1 WO 2018159398A1 JP 2018006148 W JP2018006148 W JP 2018006148W WO 2018159398 A1 WO2018159398 A1 WO 2018159398A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- moving body
- image
- imaging device
- moving
- processing unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000003384 imaging method Methods 0.000 claims abstract description 119
- 238000004364 calculation method Methods 0.000 description 36
- 230000007423 decrease Effects 0.000 description 10
- 230000010365 information processing Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013450 outlier detection Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000012776 robust process Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Definitions
- the present invention relates to a technique for estimating the position of a moving body such as a robot or an automobile.
- a control device mounted on a moving body integrates the speed or angular velocity of the moving body calculated by, for example, an IMU, or uses GPS positioning to determine the position (self-position) of the moving body itself. presume. Furthermore, the control device collects surrounding information with a laser sensor or a camera, and detects a road surface paint or a landmark such as a sign that serves as a reference for position estimation. And a control apparatus corrects the present position of a mobile body by comparing the position of the detected landmark with map information.
- the odometry method is used to estimate the relative position of objects around the moving body.
- the first vehicle position estimation unit estimates the estimated value and accuracy of the position and orientation of the vehicle on the ground fixed coordinate system based on the surrounding environment image of the vehicle.
- the relative position relationship between the reference point and direction and the vehicle position is estimated by integrating the amount of change in the vehicle position estimated based on the operation amount and the movement state of the vehicle by the second vehicle position estimation unit.
- a section having a high degree of difficulty in position estimation by the first vehicle position estimation unit is estimated on the target travel route.
- a landmark having a high possibility of entering the shooting range of the surrounding environment shooting unit in the near side area of the section estimated to have a high degree of difficulty is detected from the map information.
- the vehicle position estimation switching unit switches from the first vehicle position estimation unit to the second vehicle position estimation unit while traveling in a section where the position estimation difficulty is high. While traveling in a section with a high degree of position estimation difficulty, a section other than the section with a high position estimation difficulty is executed by executing travel control of the own vehicle based on the output of the second vehicle position estimation section based on the result of the own vehicle position estimation switching section. Then, the traveling control of the host vehicle is executed based on the output of the first host vehicle position estimation unit based on the result of the host vehicle position estimation switching unit.
- the vehicle's travel control is executed.
- travel control of the host vehicle is executed based on the output of the first host vehicle position estimation unit based on the result of the host vehicle position estimation switching unit.
- a mobile body position estimation device obtains a plurality of position candidates of the mobile body based on an imaging device attached to the mobile body and an image captured by the imaging device.
- An image processing unit that identifies and estimates the position of the moving body based on the plurality of position candidates and the moving speed of the moving body.
- FIG. 1 is a configuration diagram of a position estimation device for a moving body according to an embodiment of the present invention.
- a flowchart showing an image processing procedure performed by the image processing unit 14 Explanatory drawing of the maximum moving speed of the moving body 100 determined from the imaging range of the imaging device 12
- An example of one frame image in the captured video image Specific example of weighting by speed Example of weighting by obstacle Example in which the speed of the moving body 100 changes under the control of the control unit 15 Example in the case of a single imaging device 12
- FIG. 1 is a configuration diagram of a position estimation apparatus 1 according to an embodiment of the present invention.
- the position estimation device 1 is mounted on a moving body 100 such as an automobile or a robot.
- the position estimation device 1 includes one or more imaging devices 12 (12a, 12b,... 12n) and an information processing device 13.
- the imaging device 12 may be a still camera or a video camera, for example.
- the imaging device 12 may be a single application camera or a stereo camera.
- the information processing device 13 processes the image picked up by the image pickup device 12 and calculates the position or amount of movement of the moving body 100.
- the information processing apparatus 13 may perform display according to the calculated position or movement amount, or may output a signal related to control of the moving body 100.
- the information processing device 13 is, for example, a general computer, and includes an image processing unit 14 that processes an image captured by the imaging device 12, a control unit (CPU) 15 that performs processing based on the image processing result, and a memory 16. And a display unit 17 such as a display, and a bus 18 for connecting these components to each other.
- the information processing apparatus 13 may perform the following processing by causing the image processing unit 14 and the control unit 15 to execute a predetermined computer program.
- the imaging device 12a is installed in front of the moving body 100, for example.
- the lens of the imaging device 12 a is directed to the front of the moving body 100.
- the imaging device 12a images, for example, a distant view in front of the moving body 100.
- the other imaging devices 12b,..., And the imaging device 12n are installed at positions different from the imaging device 12a, and take images in an imaging direction or area different from the imaging device 12a.
- the imaging device 12b may be installed, for example, downward behind the moving body 100.
- the imaging device 12b may capture a close view behind the moving body 100.
- the imaging device 12 is a monocular camera, if the road surface is flat, the pixel position on the image and the actual positional relationship (x, y) are constant, so the distance from the imaging device 12 to the feature point is geometrically determined. Can be calculated.
- the imaging device 12 is a stereo camera, the distance to the feature point on the image can be measured more accurately.
- a camera having a standard lens of a single application is adopted will be described, but other cameras (such as a camera having a wide-angle lens or a stereo camera) may be used.
- the imaging devices 12a, imaging devices 12b,..., Imaging devices 12n may capture different objects at a certain time.
- the imaging device 12a may capture a distant view in front of the moving body 100.
- feature points such as obstacles or landmarks for position estimation may be extracted from an image obtained by capturing a distant view.
- the imaging device 12b may image a close view such as a road surface around the moving body 100.
- a white line around the moving body 100, road surface paint, or the like may be detected from an image obtained by capturing a near view.
- the imaging device 12a, the imaging device 12b,..., The imaging device 12n may be installed on the moving body 100 under conditions that are not affected by environmental disturbances such as rain and sunlight.
- the imaging device 12a may be installed forward in front of the moving body 100, whereas the imaging device 12b may be installed backward or downward in the rear of the moving body 100.
- the imaging device 12a, the imaging device 12b,..., The imaging device 12n may shoot under different imaging conditions (aperture value, white balance, etc.).
- an image pickup apparatus that adjusts parameters for a bright place and an image pickup apparatus that adjusts parameters for a dark place may be mounted to enable image pickup regardless of the brightness of the environment.
- the imaging device 12a, the imaging device 12b,..., The imaging device 12n may capture images when receiving a command to start shooting from the control unit 15, or at regular time intervals.
- the data of the captured image and the imaging time are stored in the memory 16.
- the memory 16 includes a main storage device (main memory) of the information processing device 13 and an auxiliary storage device such as a storage.
- the image processing unit 14 performs various image processing based on the image data stored in the memory 16 and the imaging time.
- image processing for example, an intermediate image is created and stored in the memory 16.
- the intermediate image may be used for determination and processing by the control unit 15 in addition to processing by the image processing unit 14.
- the image processing unit 14 specifies a plurality of position candidates of the moving body based on the image captured by the imaging device 12, and determines the position of the moving body 100 based on the plurality of position candidates and the moving speed of the moving body 100. presume.
- the image processing unit 14 processes, for example, an image captured by the imaging device 12 while the moving body 100 is traveling, and estimates the position of the moving body 100. For example, the image processing unit 14 may calculate the moving amount of the moving body 100 from the video image captured by the imaging device 12, and may add the moving amount to the start point to estimate the current position.
- the image processing unit 14 may extract feature points from each frame image of the video image. The image processing unit 14 further extracts the same feature point in the subsequent and subsequent frame images. Then, the image processing unit 14 may calculate the amount of movement of the moving body 100 by tracking feature points.
- the control unit 15 may output a command regarding the moving speed to the moving body 100 based on the result of the image processing of the image processing unit 14. For example, the control unit 15 instructs or decreases the moving speed of the moving body 100 according to the number of obstacle pixels in the image, the number of outliers among the feature points in the image, the type of image processing, or the like. Or a command to maintain may be output.
- FIG. 2 is a flowchart showing an image processing procedure performed by the image processing unit 14.
- the image processing unit 14 performs a plurality of moving body position candidate calculation processes 21 (21a, 21b,... 21n) and an estimation process 26 for estimating a moving body position from the plurality of moving body position candidates.
- the plurality of mobile object position candidate calculation processes 21 may be executed in parallel with each other.
- an image captured by the imaging device 12a may be processed.
- the moving body position candidate calculation processing 21b,... 21n an image captured by the imaging device 12b,.
- the image processing unit 14 may specify the position candidate of each moving body 100 from the image captured by each imaging device 12.
- the plurality of moving object position candidate calculation processes 21 (21a, 21b,... 21n) execute common steps. Hereinafter, each step will be described.
- the image processing unit 14 acquires image data from the memory 16 (S22a, S22b,... S22n).
- the image data acquired here may be data of a plurality of frame images.
- the image processing unit 14 extracts feature points in each acquired frame image (S23a, S23b,... S23n).
- the feature point may be, for example, an edge or a corner in the image.
- techniques such as Canny, Sover , FAST, Hessian, and Gaussian may be used.
- a specific algorithm is appropriately selected according to the feature of the image.
- the image processing unit 14 calculates the amount of movement of the moving body 100 based on the result of the feature point tracking, and calculates the current position candidate of the moving body 100 (S25a).
- the movement amount for example, Rigid Body Transformation, Sliding Window, basic matrix, median, and the like can be used. Further, outlier detection and optimization processing such as median filter, RANSAC, bundle adjustment, and key frame adjustment may be performed.
- a plurality of position candidates are calculated by performing processing for different video images in the plurality of moving body position candidate calculation processes 21a, 21b,.
- the position estimation process in step S26 estimates the current position of the moving body 100 by integrating the position candidates calculated by the respective moving body position candidate calculation processes 21a, 21b,. Details of the position estimation process will be described later.
- the maximum moving speed of the moving body 100 determined from the imaging range of the imaging device 12 will be described with reference to FIG.
- FIG. 3 is a side view schematically showing the imaging device 12 attached to the moving body 100. That is, the imaging device 12 is installed at a height H from the road surface 30 so that the optical axis is at an angle ⁇ with respect to the road surface 30. Further, the angle of view of the imaging device 12 is ⁇ , the maximum imaging distance from the imaging device 12 to the road surface is D, and the maximum imaging range is R.
- FIG. 4 shows an example of one frame image I in the captured video image.
- the figure shows an example in which an obstacle 34 is shown in the image 31.
- the obstacle 34 is not a target for feature point extraction. Therefore, the amount of information obtained from the image 31 decreases as the area occupied by the obstacle 34 in the image increases. That is, as the area occupied by the obstacle 34 increases, the number of feature points detected from the image 31 also decreases, and the tracking accuracy decreases. Therefore, the image processing unit 14 may perform position estimation according to the area of the obstacle in step S26. For example, the image processing unit 14 may perform position estimation using a weighting factor W ob due to an obstacle.
- the image processing unit 14 may perform position estimation according to the outlier 37 among the feature points in the image 31 in step 26. For example, the image processing unit 14 performs position estimation using a weighting factor W fp based on an outlier.
- W fp the weighting factor W fp by the outlier.
- the image processing unit 14 can use one or more of these in step S26.
- the image processing unit 14 may use one of these weighting factors individually, or integrate two or more weighting factors to identify one weighting factor W for each frame image I. May be.
- the weighting factor W (t) for the frame image I (t) at a certain time t is related to the weighting factor W v (t) due to the speed at the same time, the weighting factor W ob (t) for the obstacle, and the outlier of the feature point. Based on the weight coefficient W fp (t), for example, it is determined by the following equation (6).
- W (t) average (W v (t), W ob (t), W fp (t)) (6)
- the image processing unit 14 estimates the vehicle position from a plurality of vehicle position candidates in step S26. For example, in order to estimate the vehicle position Pos (t) at a certain time t, the image processing unit 14 uses a weighting coefficient W (t) for the frame image I (t) at that time.
- the host vehicle position Pos (t) at a certain time t may be calculated by, for example, Expression (7).
- Pos (t) (Pa (t) Wa (t) + Pb (t) Wb (t) +... + Pn (t) Wn (t)) / (Wa (t) + Wb (t) +. (T)) (7)
- the current position candidates calculated from a plurality of images can be integrated to estimate the current position of the moving object 100.
- FIG. 5A shows an example of the moving body 100 equipped with the imaging device 12a and the imaging device 12b.
- the imaging device 12a is an imaging device that is installed toward the front of the moving body 100 and images a distant view.
- the imaging device 12a has an imaging range RS .
- the imaging device 12b is an imaging device that is installed to face downward behind the moving body 100 and images a close-up view.
- the imaging device 12b has an imaging range RA .
- FIG. 5B is a graph showing the relationship between the time t and the vehicle speed V.
- the speed Vmax S is the maximum speed at which the feature point tracking is possible with the image captured by the imaging device 12a
- the speed Vmax A is the maximum speed at which the feature point tracking is possible with the image captured by the imaging device 12b.
- FIG. 5C is a graph showing the relationship between the time t and the weighting factor Wv depending on the speed.
- Time t S is the time when the speed of the moving body 100 becomes Vmax S.
- Time t A is the time when the speed of the moving body 100 becomes Vmax A.
- the weight WvS is a weight based on the vehicle speed V for the image of the imaging device 12a.
- the weight W vA is a weight based on the vehicle speed V for the image of the imaging device 12b.
- FIG. 6A shows an example of the moving body 100 on which the imaging device 12a and the imaging device 12b are mounted as in FIG.
- an obstacle 51 may further exist in the imaging range of the imaging device 12a.
- FIG. 6B is a graph showing the relationship between the time t and the vehicle speed V, as in FIG. 5B.
- Figure 6C is a graph showing the relationship between the weight coefficient W ob by time t and speed of the weight coefficient W v and obstacles.
- Weight coefficient W v by the speed is the same as in FIG. 5C.
- Time t ob is the time when the obstacle 51 enters the imaging range RS and begins to appear in the image to be captured.
- Time t obs ′ is the time when the obstacle 51 is out of the imaging range R S and no longer appears in the captured image.
- the control unit 15 may control the moving body 100 according to the processing result of the image processing unit 14.
- An example is shown in FIG.
- the detection of an obstacle is used as a trigger, but other triggers may be used. For example, it is good also as a trigger that the ratio of the number of outliers among a feature point is more than predetermined.
- FIG. 7 shows an example in which the speed of the moving body 100 changes under the control of the control unit 15 triggered by the detection of an obstacle under the same situation as FIG.
- FIG. 7A is a graph showing the relationship between time t and host vehicle speed V, as in FIGS. 5B and 6B.
- the obstacle 51 enters the image in the imaging range R S of the imaging device 12 a, and the image processing unit 14 detects this and notifies the control unit 15.
- the number of pixels of the obstacle 51 may be greater than or equal to a predetermined number, and the ratio of the number of pixels of the obstacle 51 to the number of pixels of the entire image may be greater than or equal to the predetermined criterion.
- the control unit 15 Upon receiving this notification, the control unit 15 outputs a command for maintaining the speed at that time.
- the velocity of the moving body 100 is maintained, the weight coefficient W v by the speed is also maintained. Instead of maintaining the speed of the moving body, the speed of the moving body may be decreased.
- the obstacle 51 disappears from the image in the imaging range RS of the imaging device 12a.
- the image processing unit 14 detects this and notifies the control unit 15 of it.
- the number of pixels of the obstacle 51 may be equal to or less than a predetermined number, and the ratio of the number of pixels of the obstacle 51 in the total number of pixels may be equal to or less than the predetermined value.
- the control unit 15 Upon receiving this notification, the control unit 15 outputs a command to cancel the speed maintenance up to that point. Thereby, the mobile body 100 accelerates again. As the speed increases, the weight coefficient due to the speed also increases.
- the current position can be accurately estimated according to the surrounding conditions observed by the moving body 100.
- the speed is kept constant or reduced to prevent further deterioration in position estimation accuracy due to speed increase.
- FIG. 8 shows an example in the case of a single imaging device 12.
- FIG. 8A shows an example of the moving body 100 equipped with one imaging device 12a.
- the imaging device 12a is attached to the front of the moving body 100
- the attachment position of the imaging device is not limited to the front.
- the moving body position candidate calculation process 21 is applied to each image captured by each imaging device 12 to calculate a position candidate for each image, whereas the imaging device 12 has one imaging device 12. In this case, different mobile object position candidate calculation processing 21 is applied to the common image.
- the moving object position candidate calculation process 21a is a non-robust process that is more susceptible to an obstacle, although the position estimation accuracy is higher than the moving object position candidate calculation process 21b.
- the mobile object position candidate calculation process 21b is a robust process that is less affected by obstacles in position estimation but has low accuracy in position estimation.
- the number of pixels of the obstacle 51 occupying the number of pixels of the entire image is constant.
- FIG. 8B shows the relationship between time t and the accuracy of the moving object position candidate calculation process 21a.
- FIG. 8C shows the relationship between the time t and the accuracy of the moving object position candidate calculation process 21b.
- the accuracy of the current position candidate calculation in the moving body position candidate calculation processes 21a and 21b changes according to the feature of the image.
- the image processing unit 14 in step S26 may be the position candidate P 2 calculated in a more accurate vehicle location candidate calculation process 21b as an estimated position Pos (t).
- an example in which two processes having different susceptibility to an obstacle are applied to a common image may be used.
- one of the processing results may be prioritized according to the speed of the moving body.
- priority may be given to either processing result depending on the number of outliers. Further, these may be combined.
- the number of processing is not limited as long as it is two or more.
- 1 position estimation device 12 imaging device, 13 information processing device, 14 image processing unit, 15 control unit, 16 memory, 17 display unit, 100 moving body
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本発明は、移動体の現在位置を精度良く推定する。本発明は、移動体の位置推定装置1は、移動体100に取り付けられた撮像装置12と、撮像装置12で撮像された画像に基づいて移動体100の複数の位置候補を特定し、複数の位置候補と移動体100の移動速度とに基づいて移動体100の位置を推定する画像処理部14とを有する。
Description
本発明は、ロボットや自動車などの移動体の位置を推定する技術に関する。
ロボット及び自動車などの移動体がその周囲の情報を収集し、移動体の現在位置及び走行状態を推定し、移動体の走行を制御する自律走行技術及び運転支援技術が開発されている。移動体の周囲の情報検出のためには様々なセンサが用いられる。一般に、周囲の情報を計測するためのセンサとしては、カメラなどの撮像装置、レーザセンサ、ミリ波レーダなどがある。移動体の位置を測定するためのセンサとしては、GPS(Global Positioning System)またはIMU(Inertial Measurement Unit)が用いられる。
自律走行制御においては、移動体に搭載された制御装置が、例えばIMUで算出した移動体の速度または角速度を積算したり、GPS測位を用いたりして、移動体自身の位置(自己位置)を推定する。さらに、制御装置は、レーザセンサあるいはカメラなどで周囲の情報を収集し、位置推定の際の基準となる路面ペイントまたは標識のようなランドマーク等を検出する。そして、制御装置が、検出されたランドマークの位置を地図情報と比較することにより、移動体の現在位置を修正する。
また、駐車場やトンネルのような環境では、地図情報とランドマークがなく、GPSも使えない場合があるため、移動体の周囲に存在する物体との相対位置を推定するオドメトリ法が用いられる。
例えば、特許文献1は、第1の自車位置推定部により自車の周囲環境の画像に基づき地上固定座標系上での自車の位置と姿勢の推定値及び推定精度を推定する。第2の自車位置推定部により自車の操作量及び運動状態に基づき推定される自車位置の変化量を積算することで基準点及び方位と自車位置との相対的な位置関係を推定し、目標走行経路上で第1の自車位置推定部による位置推定の難度が高い区間を推定する。難度が高いと推定された区間の手前側領域内で周囲環境撮影部の撮影範囲に入る可能性が高いランドマークを地図情報から検出する。検出されたランドマークに基づき位置推定難度の高い区間を走行中、自車位置推定切替部により第1の自車位置推定部から第2の自車位置推定部に切り替える。位置推定難度の高い区間を走行中、自車位置推定切替部の結果に基づく第2の自車位置推定部の出力に基づき自車の走行制御を実行し、位置推定難度の高い区間以外の区間では自車位置推定切替部の結果に基づく第1の自車位置推定部の出力に基づき自車の走行制御を実行する。
位置推定難度の高い区間を走行中、第1の自車位置推定部から第2の自車位置推定部に切り替え、位置推定難度の高い区間を走行中、自車位置推定切替部の結果に基づく第2の自車位置推定部の出力に基づき自車の走行制御を実行する。位置推定難度の高い区間以外の区間では自車位置推定切替部の結果に基づく第1の自車位置推定部の出力に基づき自車の走行制御を実行する。
ところで、移動体は移動及び停止を繰り返すので、移動体が観察する周囲の状況はめまぐるしく変化する。移動体の自律走行技術または運転支援技術において、どのような状況であっても精度良く現在位置を推定することが重要である。
本発明の一つの実施態様によれば、移動体の位置推定装置は、前記移動体に取り付けられた撮像装置と、前記撮像装置で撮像された画像に基づいて前記移動体の複数の位置候補を特定し、前記複数の位置候補と前記移動体の移動速度とに基づいて前記移動体の位置を推定する画像処理部と、を有する。
以下、本発明の実施形態に係る移動体の位置推定装置について、図面を用いて説明する。
図1は、本発明の一実施形態に係る位置推定装置1の構成図である。
位置推定装置1は、自動車またはロボットなどの移動体100に搭載されている。位置推定装置1は、一台以上の撮像装置12(12a、12b、・・・12n)と、情報処理装置13とを有する。
撮像装置12は、例えばスチルカメラまたはビデオカメラでよい。撮像装置12は単願カメラまたはステレオカメラでもよい。
情報処理装置13は、撮像装置12で撮像された画像を処理して移動体100の位置または移動量を算出する。情報処理装置13は、算出された位置または移動量に応じた表示を行ってもよく、または移動体100の制御に関する信号を出力してもよい。
情報処理装置13は、例えば一般的なコンピュータであって、撮像装置12によって撮像された画像を処理する画像処理部14と、画像処理結果に基づく処理を行う制御部(CPU)15と、メモリ16と、ディスプレイなどの表示部17と、これら構成要素を相互に接続するバス18とを有する。情報処理装置13は、画像処理部14及び制御部15が所定のコンピュータプログラムを実行することにより、以下の処理を行ってもよい。
撮像装置12aは、例えば、移動体100の前方に設置されている。撮像装置12aのレンズは移動体100の前方に向けられている。撮像装置12aは、例えば、移動体100の前方の遠景を撮像する。他の撮像装置12b、・・・撮像装置12nは、撮像装置12aと異なる位置に設置され、撮像装置12aと異なる撮像方向または領域を撮像する。
撮像装置12bは、例えば、移動体100の後方で下方に向けて設置されていてもよい。
撮像装置12bは、移動体100後方の近景を撮像するものでよい。
撮像装置12bは、例えば、移動体100の後方で下方に向けて設置されていてもよい。
撮像装置12bは、移動体100後方の近景を撮像するものでよい。
撮像装置12が単眼カメラの場合、路面が平らであれば、画像上のピクセル位置と実際の位置関係(x、y)が一定になるため、撮像装置12から特徴点までの距離を幾何学的に計算できる。撮像装置12がステレオカメラの場合、画像上の特徴点までの距離をより正確に計測できる。以下の説明では、単願の標準レンズを有するカメラを採用した事例について説明するが、これ以外のカメラ(広角レンズを有するカメラまたはステレオカメラなど)でもよい。
また、撮像装置12a、撮像装置12b・・・撮像装置12nが、ある時刻で撮像する対象物は、それぞれ互いに異なるものでよい。例えば、撮像装置12aは、移動体100の前方の遠景を撮像するものでよい。この場合、遠景を撮像した画像からは、障害物、または位置推定のためのランドマークなどの特徴点が抽出されるようにしてもよい。撮像装置12bは、移動体100周辺の路面などの近景を撮像するようにしてもよい。この場合、近景を撮像した画像からは、移動体100の周囲の白線、または路面ペイントなどが検出されるようにしてもよい。
また、撮像装置12a、撮像装置12b、・・・撮像装置12nは、同時に雨や日差しなどの環境外乱の影響を受けないような条件で移動体100に設置されてもよい。例えば、撮像装置12aは移動体100の前方で前向きに設置されるのに対して、撮像装置12bは移動体100の後方で後ろ向きまたは下向きに設置されてもよい。これにより、例えば、降雨時に撮像装置12aのレンズに雨滴が付着した場合でも、進行方向の逆向きまたは下向きの撮像装置12bのレンズには雨滴が付着しにくい。このため、撮像装置12aが撮像した画像が雨滴の影響で不鮮明であっても、撮像装置12bが撮像した画像は雨滴の影響を受けにくい。あるいは、日差しの影響で撮像装置12aの画像が不鮮明であっても、撮像装置12bが撮像した画像は鮮明である場合がある。
また、撮像装置12a、撮像装置12b、・・・撮像装置12nは、互いに異なる撮像条件(絞り値、ホワイトバランス、等)で撮影してもよい。例えば、明るい場所用にパラメータを調整した撮像装置と、暗い場所用にパラメータを調整した撮像装置とを搭載することで、環境の明暗によらず撮像可能としてもよい。
撮像装置12a、撮像装置12b、・・・撮像装置12nは、制御部15から撮影開始の指令を受けたとき、または一定の時間間隔で画像を撮像してもよい。撮像された画像のデータ及び撮像時刻は、メモリ16に格納される。
メモリ16は、情報処理装置13の主記憶装置(メインメモリ)およびストレージなどの補助記憶装置を含む。
画像処理部14がメモリ16に格納された画像データ及び撮像時刻に基づいて、様々な画像処理を行う。この画像処理では、例えば、中間画像が作成されてメモリ16に保存される。中間画像は、画像処理部14による処理の他、制御部15などの判断や処理に利用されてもよい。
バス18は、IEBUS(Inter Equipment Bus)やLIN(Local Interconnect Network)やCAN(Controller Area Network)などで構成できる。
画像処理部14は、撮像装置12で撮像された画像に基づいて複数の移動体の位置候補を特定し、その複数の位置候補と移動体100の移動速度とに基づいて移動体100の位置を推定する。
画像処理部14は、例えば、移動体100の走行中に撮像装置12が撮像した画像を処理して、移動体100の位置を推定する。例えば、画像処理部14は、撮像装置12が撮像したビデオ画像で移動体100の移動量を算出し、スタート地点に移動量を加算して現在位置を推定してもよい。
画像処理部14は、ビデオ画像の各フレーム画像で特徴点を抽出してもよい。画像処理部14は、さらに、次以降のフレーム画像で同じ特徴点を抽出する。そして、画像処理部14は、特徴点のトラッキングにより移動体100の移動量を算出してもよい。
制御部15は、画像処理部14の画像処理の結果に基づいて、移動体100に対して移動速度に関する指令を出力してもよい。例えば、制御部15は、画像内の障害物の画素数、画像内の特徴点のうちの外れ値の数または画像処理の種類等に応じて、移動体100の移動速度を増加させる指令、減少させる指令または維持させる指令を出力してもよい。
図2は、画像処理部14が行う画像処理手順を示すフローチャートある。
画像処理部14は、複数の移動***置候補算出処理21(21a、21b、・・・21n)と、複数の移動***置候補から移動***置を推定する推定処理26とを行う。
複数の移動***置候補算出処理21(21a、21b、・・・21n)は、互いに並列に実行されてもよい。例えば、移動***置候補算出処理21aでは、撮像装置12aによって撮像された画像が処理されてもよい。同様に、移動***置候補算出処理21b、・・・21nでは、撮像装置12b、・・・撮像装置12nによって撮像された画像が処理されてもよい。これにより、画像処理部14は、各撮像装置12が撮像した画像からそれぞれの移動体100の位置候補を特定してもよい。
また、撮像装置12aが撮像した画像が前方の遠景であるときは、移動***置候補算出処理21aでは移動体100の推進方向を推定しやすい遠方特徴点を用いて推進方向が推定されてもよい。撮像装置12bが撮像した画像が後方の近景であるときは、移動***置候補算出処理21bでは移動体100の移動量を推定しやすい近傍特徴点を用いて移動量が推定されてもよい。
図示するように、複数の移動***置候補算出処理21(21a、21b、・・・21n)は共通のステップを実行する。以下、各ステップについて説明する。
画像処理部14は、メモリ16から画像データを取得する(S22a、S22b、・・・S22n)。ここで取得する画像データは複数のフレーム画像のデータでよい。
次に、画像処理部14は、取得した各フレーム画像内の特徴点を抽出する(S23a、S23b、・・・S23n)。特徴点は、例えば、画像内のエッジやコーナーなどでよい。特徴点の抽出には、Canny、Sobel、FAST、Hessian、Gaussianなどの技術を用いてもよい。具体的なアルゴリズムは、画像の特徴に応じて適宜選択される。
画像処理部14は、フレーム画像の時系列に従って、各フレーム画像でそれぞれ抽出された特徴点をトラッキングする(S24a、S24b、・・・S24n)。トラッキングにはLucas-Kanade法やShi-Tomasi法やDirect Matching法などの技術を用いてもよい。具体的なアルゴリズムは、画像の特徴に応じて適宜選択される。
画像処理部14は、特徴点トラッキングの結果に基づいて、移動体100の移動量を算出して、移動体100の現在位置の候補を算出する(S25a)。移動量の算出には、例えばRigid Body Transformation、Sliding Window、基礎行列、中央値などを利用することができる。また、中央値フィルタ、RANSAC、バンドル調整、キーフレーム調整等の外れ値検出と最適化処理をしてもよい。
複数の移動***置候補算出処理21a、21b、・・・21nでそれぞれ異なるビデオ画像を対象とした処理が行われることで、複数の位置候補が算出される。
ステップS26の位置推定処理は、それぞれの移動***置候補算出処理21a、21b、・・・21nによって算出された位置候補を統合して、移動体100の現在位置を推定する。位置推定処理の詳細は後述する。
図3を用いて撮像装置12の撮像範囲から定まる移動体100の最大移動速度について説明する。
同図は、移動体100に取り付けられた撮像装置12を模式的に示す側面図である。つまり、撮像装置12は路面30から高さHの位置に、光軸が路面30に対して角度αとなるように設置されている。さらに、撮像装置12の画角がγ、撮像装置12から路面までの最大撮像距離がD、最大撮像範囲がRである。
ここで、ビデオ画像で特徴点のトラッキングを行うためには、少なくとも時間的に隣り合う2枚のフレーム画像に共通の特徴点が写っている必要がある。従って、フレーム間の時間間隔Δtでの移動体100の移動距離がR以下であることが必要である。
また、撮像装置12が撮像するビデオ画像のフレームレートをFPSとすると、フレーム間の時間間隔Δtは式(1)で表される。
Δt=2/FPS (1)
Δt=2/FPS (1)
従って、移動体100の移動中に撮像されたビデオ画像で特徴点トラッキングを可能とするためには、移動体100の移動速度に上限がある。その上限である最大移動速度Vmaxは以下の式(2)で定まる。
Vmax = R/Δt = [Dcos(α)-H/tan(α+γ)]FPS/2
(2)
Vmax = R/Δt = [Dcos(α)-H/tan(α+γ)]FPS/2
(2)
次に、特徴点トラッキングの精度を低下させる要因について説明する。
移動体100が最大移動速度Vmax以下で走行している場合であっても、移動体100の移動速度が増すほどトラッキングの精度が低下し、誤差が生じやすくなる。そこで、画像処理部14が複数の移動***置候補算出処理21a、21b、・・・21nで算出された位置候補を用いて現在位置を推定する際には、ステップS26において移動体100の移動速度に応じた位置推定を行っても良い。例えば、画像処理部14は、速度による重み係数Wvを用いて、位置推定を行う。速度による重み係数Wvは、例えば、以下の式(3)で定まる。
Wv = 1-V/Vmax(3)
Wv = 1-V/Vmax(3)
また、撮影された画像の特性に応じて特徴点トラッキングの精度が低下する場合がある。
図4は、撮影されたビデオ画像の中の一つのフレーム画像Iの一例を示す。
同図は、画像31内に障害物34が写っている例を示す。障害物34は特徴点抽出の対象とはならない。従って、画像内で障害物34が占める面積が大きくなるほど画像31から得られる情報量が減少する。つまり、障害物34が占める面積が大きくなると画像31から検出される特徴点数も減り、トラッキングの精度が低下する。そこで、画像処理部14は、ステップS26で障害物の面積に応じた位置推定をしてもよい。例えば、画像処理部14は、障害物による重み係数Wobを用いて位置推定を行ってもよい。
ここで、画像31のu軸の画素数をPu、v軸の画素数をPvとする。さらに、障害物34が占める面積の画素数をA(A1、A2、A3)とする。このとき、障害物による重み係数Wobは、例えば、以下の式(4)で定まる。なお、式(4)は一例であり、式(4)以外の障害物による重み係数を用いてもよい。
Wob = 1-(A1+A2+・・・+Ak)/(Pu・Pv)(4)
Wob = 1-(A1+A2+・・・+Ak)/(Pu・Pv)(4)
また、図4の画像31内にはさらに複数の特徴点36、37があり、これが検出されている。同図の例では、特徴点には、有効な特徴点(インライア)36と有効でない特徴点である外れ値(アウトライア)37とを含む。画像処理部14が特徴点36、37を検出した後、所定の外れ値検出処理により外れ値37を特定してもよい。
ここで、外れ値37が多いほど、特徴点トラッキングに使える特徴点が少なくなり、トラッキングの精度が低下する。そこで、画像処理部14は、ステップ26で画像31内の特徴点のうちの外れ値37に応じた位置推定を行っても良い。例えば、画像処理部14は、外れ値による重み係数Wfpを用いて位置推定を行う。画像31における有効な特徴点の個数をi、外れ値の個数をoとすると、外れ値による重み係数Wfpは、例えば、以下の式(5)で定まる。なお、式(5)は一例であり、式(5)以外の外れ値による重み係数を用いてもよい。
Wfp = 1-o/(o+i)(5)
Wfp = 1-o/(o+i)(5)
以上説明したように、一つのビデオ画像に対して、特徴点トラッキングの精度を低下させる要因が複数ある。そして、上述のように、各フレーム画像Iに対して、速度による重み係数Wv、障害物に関する重み係数Wob及び特徴点の外れ値に関する重み係数Wfpのそれぞれが算出可能である。画像処理部14は、ステップS26において、これらの1つ以上を用いることができる。例えば、画像処理部14は、これらのうちの1つの重み係数を個別に用いてもよいし、2つ以上の重み係数を統合して、各フレーム画像Iに対して一つの重み係数Wを特定してもよい。ある時刻tのフレーム画像I(t)に対する重み係数W(t)は、同じ時刻の速度による重み係数Wv(t)、障害物に関する重み係数Wob(t)、及び特徴点の外れ値に関する重み係数Wfp(t)に基づいて、例えば、以下の式(6)で定まる。
W(t)=average(Wv(t),Wob(t),Wfp(t)) (6)
上述のように、複数の撮像装置12で撮像した画像に基づき複数の位置候補が算出される。従って、画像処理部14は、ステップS26において複数の自車位置の候補から自車位置を推定する。例えば、画像処理部14は、ある時刻tの自車位置Pos(t)を推定するために、その時刻のフレーム画像I(t)に対する重み係数W(t)を用いる。ある時刻tの自車位置Pos(t)は、例えば、式(7)で算出されてもよい。
Pos(t)=(Pa(t)Wa(t)+Pb(t)Wb(t)+・・・+Pn(t)Wn(t))/(Wa(t)+Wb(t)+・・・Wn(t)) (7)
これにより、複数の画像からそれぞれ算出された現在位置候補を統合して移動体100の現在位置を推定できる。
次に、速度による重み付けの具体例を示す。
図5Aは、撮像装置12a及び撮像装置12bを搭載した移動体100の一例を示す。
撮像装置12aは、移動体100の前方に向けて設置され、遠景を撮像する撮像装置である。撮像装置12aは撮像範囲RSを有する。
撮像装置12bは、移動体100の後方で下方に向けて設置され、近景を撮像する撮像装置である。撮像装置12bは撮像範囲RAを有する。
図5Bは、時刻tと自車速度Vの関係を表すグラフである。
速度VmaxSは、撮像装置12aで撮像した画像で特徴点トラッキングが可能な最高速度であり、速度VmaxAは、撮像装置12bで撮像した画像で特徴点トラッキングが可能な最高速度である。
図5Cは、時刻tと速度による重み係数Wvの関係を表すグラフである。時刻tSは、移動体100の速度がVmaxSになる時刻である。時刻tAは、移動体100の速度がVmaxAになる時刻である。
重みWvSは撮像装置12aの画像に対する自車速度Vによる重みである。重みWvAは撮像装置12bの画像に対する自車速度Vによる重みである。
t=0のとき、移動体100は止まっているため、式(3)に従い、重み係数WvS及びWvAはいずれも1である。
t>0のとき、移動体100が移動している。従って速度がV>0であり、式(3)によればWvS<1、WvA<1になる。
t=tAになると、移動体100の移動速度がV=VmaxAになるので、式(3)に従いWvA=0となる。t>tAにおいて、WvA=0である。
同様に、t=tSになると、移動体100の移動速度がV=VmaxSになるので、式(3)に従いWvS=0となる。t>tSにおいて、WvS=0である。
次に、障害物による重み付けの具体例を示す。
図6Aは、図5Aと同様に撮像装置12a及び撮像装置12bを搭載した移動体100の一例を示す。この例ではさらに、撮像装置12aの撮像範囲に障害物51が存在し得る。
図6Bは、図5Bと同様に、時刻tと自車速度Vの関係を表すグラフである。
図6Cは、時刻tと速度による重み係数Wv及び障害物による重み係数Wobとの関係を表すグラフである。
速度による重み係数Wvは、図5Cの場合と同じである。
時刻tobは障害物51が撮像範囲RSに入り、撮像される画像に写り始める時刻である。時間tob’は、障害物51が撮像範囲RSから外れ、撮像される画像に写らなくなる時刻である。
0<t<tobのとき、撮像装置12aの撮像範囲RSに障害物51はないため、Wobs=1である。
t=tobになると、障害物51は撮像装置12aの撮像範囲RSに入るため、式(4)に従ってWobs<1になる。ここでは簡単のために画像全体の画素数に占める障害物の画素数は一定とする。
t=tob’になると、障害物51が撮像装置12aの撮像範囲RSから外れ、画像に写らなくなるため、式(4)によってWobs=1になる。
このように、障害物が映り込むと障害物による重み係数Wobが低下し、その画像による位置推定の精度が低下する。そこで、制御部15が画像処理部14の処理結果に応じて移動体100を制御するようにしてもよい。図6にその一例を示す。ここでは、画像処理部14が障害物を検出すると、制御部15の指令により移動体100の速度が一定に保たれる例を示す。ここでは、障害物の検出をトリガーとしているが、これ以外のトリガーであってもよい。例えば、特徴点のうち外れ値数の割合が所定以上であることをトリガーとしてもよい。
図7は、図6と同じ状況下で障害物の検出をトリガーとする制御部15の制御により、移動体100の速度が変化する例を示す。
図7Aは、図5B、図6Bと同様に、時刻tと自車速度Vの関係を表すグラフである。
0<t<tobのとき、移動体100が加速する。ここでは移動体100の速度V>0であるので、式(3)によりWvS<1、WvA<1になる。
t=tobになると、撮像装置12aの撮像範囲RSの画像に障害物51が入り、画像処理部14がこれを検出して、制御部15へ通知する。この通知を行う基準は、例えば、障害物51の画素数が所定以上でもよいし、画像全体の画素数に占める障害物51の画素数の割合が所定以上でもよい。制御部15は、この通知を受けると、そのときの速度を維持する指令を出力する。これにより、移動体100の速度が維持されるので、速度による重み係数Wvも維持される。なお、移動体の速度を維持する代わりに、移動体の速度を低下させてもよい。
時刻t=tob’になると、撮像装置12aの撮像範囲RSの画像から障害物51が消える。画像処理部14がこれを検出して、制御部15へ通知する。この通知を行う基準は、例えば、障害物51の画素数が所定以下でもよいし、画像全体の画素数に占める障害物51の画素数の割合が所定以下でもよい。制御部15は、この通知を受けると、それまでの速度維持を解除する指令を出力する。これにより、移動体100は再び加速する。速度の増加に伴って、速度による重み係数も増加する。
これにより、移動体100が観察する周囲の状況に応じて、精度良く現在位置を推定できる。特に、障害物が検出されているときは速度を一定に保つかまたは減少させ、速度上昇による位置推定の精度の更なる低下を防止する。
次に、図8は、撮像装置12が一台の場合の例を示す。
図8Aは、一台の撮像装置12aを搭載した移動体100の一例を示す。この例では、撮像装置12aが移動体100の前方に取り付けられている例で説明するが、撮像装置の取付位置は前方に限らない。
撮像装置12が複数台あるときは、各撮像装置12が撮像した画像別に移動***置候補算出処理21を適用して画像ごとに位置候補を算出したのに対して、撮像装置12が一台の場合は、共通の画像に対して異なる移動***置候補算出処理21を適用する。
以下の説明では、撮像装置12aが撮像したビデオ画像に移動***置候補算出処理21a及び移動***置候補算出処理21bの2種類の処理が適用され、これらの処理の精度による重み付けを行う例を示す。ここで、移動***置候補算出処理21aは移動***置候補算出処理21bと比べると、位置推定の精度は高いが、障害物の影響を受けやすい、ロバストでない処理である。移動***置候補算出処理21bは移動***置候補算出処理21aと比べると、位置推定にあたり障害物の影響を受けにくいが、位置推定の精度は低いロバストな処理である。
図6と同様に、時刻tobに障害物51が撮像範囲RSに入り、時間tob’に障害物51が撮像範囲RSから外れる。ここでは簡単のために画像全体の画素数に占める障害物51の画素数は一定とする。
図8Bは、時刻tと、移動***置候補算出処理21aの精度との関係を表す。図8Cは、時刻tと、移動***置候補算出処理21bの精度との関係を表す。つまり、移動***置候補算出処理21a、21bは、画像の特徴に応じて現在位置候補算出の精度が変化する。
ここで、0<t<tobのときは、撮像装置12aの撮像範囲RSに障害物51が写っていないため、移動***置候補算出処理21aの精度Pr1と移動***置候補算出処理21bの精度Pr2はともに高い。
この場合、画像処理部14はステップS26において、式(8)で示すように、移動***置候補算出処理21aで推定された位置P1と移動***置候補算出処理21bで推定された位置P2のいずれか一方を推定位置Pos(t)としてもよい。
Pos(t)=P1、if Pr1>Pr2Pos(t)=P2、if Pr1<Pr2 (8)
Pos(t)=P1、if Pr1>Pr2Pos(t)=P2、if Pr1<Pr2 (8)
あるいは、画像処理部14はステップS26において、式(9)に示すように、移動***置候補算出処理21aで推定された位置P1と移動***置候補算出処理21bで推定された位置P2に、移動***置候補算出処理21aと移動***置候補算出処理21bの精度に応じた重み付けをした平均位置を算出して、これを推定位置Pos(t)としてもよい。
Pos(t)=(P1・W1+P2・W2)/(W1+W2) (9)
W1:Pr1に応じた重み係数W2:Pr2に応じた重み係数
Pos(t)=(P1・W1+P2・W2)/(W1+W2) (9)
W1:Pr1に応じた重み係数W2:Pr2に応じた重み係数
tob<t<tob’では、障害物51が撮像装置12aの撮像範囲RSに写っているため、ステップS23a、ステップS23bで抽出できる特徴点が減少する。これにより、移動***置候補算出処理21aの精度がPr1’に、移動***置候補算出処理21bの精度がPr2’にそれぞれ低下する。そして、ロバストでない移動***置候補算出処理21aがロバストである移動***置候補算出処理21bよりも大きな影響を受け、Pr2’>Pr1’となる。
この場合、画像処理部14はステップS26で、より精度の高い移動***置候補算出処理21bで算出された位置候補P2を推定位置Pos(t)としてもよい。
Pos(t)= P2 (10)
t>tob’では、障害物51が写っていないので、0<t<tobと同じである。
これにより、一台の撮像装置で撮像された共通の画像から算出された複数の位置候補を統合して精度高く現在位置を推定することができる。
なお、上記の例では、共通の画像に対して障害物による影響の受けやすさが異なる2つの処理を適用する例を示したが、これ以外でもよい。例えば、移動体の速度による影響の受けやすさが異なる2つの処理の場合には、移動体の速度に応じていずれかの処理結果を優先させるようにしてもよい。あるいは、外れ値の個数による影響の受けやすさが異なる2つの処理の場合には、外れ値の個数に応じていずれかの処理結果を優先させるようにしてもよい。さらに、これらを組合わせてもよい。
また、処理数は2以上であればいくつでもよい。
1 位置推定装置、12 撮像装置、13 情報処理装置、14 画像処理部、15 制御部、16 メモリ、17 表示部、100 移動体
Claims (8)
- 移動体の位置推定装置であって、
前記移動体に取り付けられた撮像装置と、
前記撮像装置で撮像された画像に基づいて前記移動体の複数の位置候補を特定し、前記複数の位置候補と前記移動体の移動速度とに基づいて前記移動体の位置を推定する画像処理部と、を有する位置推定装置。 - 前記移動体に取り付けられた撮像装置を複数有し、
前記画像処理部は、各撮像装置の画像に対してそれぞれ前記移動体の位置候補を特定する、請求項1記載の位置推定装置。 - 前記画像処理部は、前記複数の位置候補に、それぞれの画像の画角及び前記移動体の移動速度に応じた重み付けをして、前記移動体の位置を推定する、請求項2記載の位置推定装置。
- 前記画像処理部は、前記複数の位置候補に、それぞれの画像内の障害物に応じた重み付けをして、前記移動体の位置を推定する、請求項2記載の位置推定装置。
- 前記画像処理部は、前記複数の位置候補に、それぞれの画像内の特徴点のうちの外れ値に応じた重み付けをして、前記移動体の位置を推定する、請求項2記載の位置推定装置。
- 前記画像内の障害物の画素数または前記画像内の特徴点のうちの外れ値数に応じて、前記移動体に対して移動速度に関する指令を出力する制御部をさらに有する、請求項1記載の位置推定装置。
- 前記画像処理部は、共通の画像に対して異なる処理をして前記複数の位置候補を特定する、請求項1記載の位置推定装置。
- 移動体の位置推定装置が行う方法であって、
画像処理部が、
前記移動体に取り付けられた撮像装置で撮像された画像に基づいて前記移動体の複数の位置候補を特定するステップと、
前記複数の位置候補と前記移動体の移動速度とに基づいて前記移動体の位置を推定するステップと、を行う方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-040234 | 2017-03-03 | ||
JP2017040234A JP6865064B2 (ja) | 2017-03-03 | 2017-03-03 | 移動体の位置推定装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018159398A1 true WO2018159398A1 (ja) | 2018-09-07 |
Family
ID=63371255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/006148 WO2018159398A1 (ja) | 2017-03-03 | 2018-02-21 | 移動体の位置推定装置及び方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6865064B2 (ja) |
WO (1) | WO2018159398A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110220524A (zh) * | 2019-04-23 | 2019-09-10 | 炬星科技(深圳)有限公司 | 路径规划方法、电子设备、机器人及计算机可读存储介质 |
JP7347194B2 (ja) * | 2019-12-18 | 2023-09-20 | 株式会社豊田自動織機 | 走行制御装置 |
JP7393987B2 (ja) * | 2020-03-18 | 2023-12-07 | 株式会社豊田中央研究所 | 地図作成装置、位置推定装置、車両制御システム、地図作成方法、コンピュータプログラム、および位置推定方法 |
WO2022034735A1 (ja) * | 2020-08-11 | 2022-02-17 | 日立Astemo株式会社 | 位置推定システム |
JP2024049400A (ja) * | 2021-01-29 | 2024-04-10 | 株式会社Nttドコモ | 情報処理システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002197470A (ja) * | 2000-12-27 | 2002-07-12 | Nissan Motor Co Ltd | 車線検出装置 |
JP2007255979A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP2008175717A (ja) * | 2007-01-19 | 2008-07-31 | Xanavi Informatics Corp | 現在位置算出装置、現在位置算出方法 |
JP2011065308A (ja) * | 2009-09-16 | 2011-03-31 | Hitachi Ltd | 自律移動システム及び自律移動装置 |
JP2012150655A (ja) * | 2011-01-19 | 2012-08-09 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
-
2017
- 2017-03-03 JP JP2017040234A patent/JP6865064B2/ja active Active
-
2018
- 2018-02-21 WO PCT/JP2018/006148 patent/WO2018159398A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002197470A (ja) * | 2000-12-27 | 2002-07-12 | Nissan Motor Co Ltd | 車線検出装置 |
JP2007255979A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP2008175717A (ja) * | 2007-01-19 | 2008-07-31 | Xanavi Informatics Corp | 現在位置算出装置、現在位置算出方法 |
JP2011065308A (ja) * | 2009-09-16 | 2011-03-31 | Hitachi Ltd | 自律移動システム及び自律移動装置 |
JP2012150655A (ja) * | 2011-01-19 | 2012-08-09 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2018146326A (ja) | 2018-09-20 |
JP6865064B2 (ja) | 2021-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018159398A1 (ja) | 移動体の位置推定装置及び方法 | |
KR101188588B1 (ko) | 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법 | |
US9151626B1 (en) | Vehicle position estimation system | |
JP6567659B2 (ja) | レーン検出装置およびレーン検出方法 | |
US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
JP6872128B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6129981B2 (ja) | 移動***置推定装置および移動***置推定方法 | |
US11132813B2 (en) | Distance estimation apparatus and method | |
US11151729B2 (en) | Mobile entity position estimation device and position estimation method | |
JP6032034B2 (ja) | 物体検知装置 | |
WO2019208101A1 (ja) | 位置推定装置 | |
JP6780648B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2014034251A (ja) | 車両走行制御装置及びその方法 | |
US11346670B2 (en) | Position estimating device | |
BR102015005652A2 (pt) | aparelho para controlar operações de formação de imagem de uma câmera óptica, e, sistema para reconhecer um número de veículo de uma placa de licença de um veículo | |
US11120292B2 (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
WO2020230410A1 (ja) | 移動体 | |
US10643077B2 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
JP6704307B2 (ja) | 移動量算出装置および移動量算出方法 | |
US20240098231A1 (en) | Image processing device, image processing method, and computer-readable medium | |
US20230023651A1 (en) | Information processing apparatus, control system for mobile object, information processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18760888 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18760888 Country of ref document: EP Kind code of ref document: A1 |