JP2018152692A - Position estimation program and moving body - Google Patents
Position estimation program and moving body Download PDFInfo
- Publication number
- JP2018152692A JP2018152692A JP2017047002A JP2017047002A JP2018152692A JP 2018152692 A JP2018152692 A JP 2018152692A JP 2017047002 A JP2017047002 A JP 2017047002A JP 2017047002 A JP2017047002 A JP 2017047002A JP 2018152692 A JP2018152692 A JP 2018152692A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- vehicle
- interval
- speed
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、位置推定技術に関し、特に移動体の位置を推定するための位置推定プログラム、及びその位置推定プログラムを利用した移動体に関する。 The present invention relates to a position estimation technique, and more particularly to a position estimation program for estimating the position of a moving body and a moving body using the position estimation program.
自律走行が可能な自動運転車が開発されている。レベル3及びレベル4の自動運転車は、加速、操舵、及び制動を全て制御するので、走行中に自己の位置を精確に推定する必要がある。移動体が自己位置を推定する方法は、例えば、特許文献1において提案されている。 Autonomous vehicles that can run autonomously have been developed. Level 3 and level 4 autonomous vehicles control all acceleration, steering, and braking, so it is necessary to accurately estimate their position during travel. For example, Patent Document 1 proposes a method in which a mobile object estimates its own position.
特許文献1には、移動体の移動に伴う画像上での特徴点の変化から移動体周囲の物体の位置を検出することで、移動体周囲の物体に対する自己位置を推定する技術が開示されている。 Patent Document 1 discloses a technique for estimating a self-position with respect to an object around the moving body by detecting the position of the object around the moving body from a change in feature points on the image accompanying the movement of the moving body. Yes.
このような自己位置推定方法においては、特徴点が2以上の画像に撮像されている必要があるため、特徴点がロストすると自己位置を精確に推定することができないという問題がある。特許文献1には、移動体がその場で回転する前に取得した画像に存在した特徴点の少なくとも一部が撮像されるように、撮像装置の向きを制御する技術が記載されているが、本発明者は、それとは異なる方法により、特徴点がロストする可能性を低減し、精確に自己位置を推定することを可能とする技術に想到した。 In such a self-position estimation method, since the feature points need to be captured in two or more images, there is a problem that if the feature points are lost, the self-position cannot be estimated accurately. Patent Document 1 describes a technique for controlling the orientation of an imaging device so that at least a part of feature points existing in an image acquired before the moving body rotates on the spot is captured. The inventor of the present invention has come up with a technique that can reduce the possibility that a feature point is lost and accurately estimate the self-position by a different method.
本発明はこうした状況に鑑みてなされたものであり、その目的は、移動体の位置をより精確に推定する技術を提供することにある。 This invention is made | formed in view of such a condition, The objective is to provide the technique which estimates the position of a moving body more correctly.
上記課題を解決するために、本発明のある態様の位置推定プログラムは、コンピュータを、撮影装置が設けられた移動体の移動速度を取得する速度取得部、移動体の向きを取得する方向取得部、移動体の移動中に撮影装置により撮影された移動体の周囲の画像に基づいて移動体の推定位置を演算する演算部、移動体の移動速度、又は、移動体の向きの変化速度に基づいて、演算部が移動体の位置を推定するために使用する移動体の周囲の画像の撮影間隔を決定する間隔決定部、として機能させ、演算部は、間隔決定部により決定された撮影間隔で撮影された画像に基づいて移動体の推定位置を演算する。 In order to solve the above problems, a position estimation program according to an aspect of the present invention includes a computer, a speed acquisition unit that acquires the moving speed of a moving body provided with an imaging device, and a direction acquisition unit that acquires the direction of the moving body. A calculation unit that calculates an estimated position of the moving object based on an image of the surroundings of the moving object captured by the imaging device while the moving object is moving, based on the moving speed of the moving object, or the changing speed of the direction of the moving object The calculation unit functions as an interval determination unit that determines a shooting interval of an image around the moving body that is used to estimate the position of the moving body, and the calculation unit is the shooting interval determined by the interval determination unit. Based on the captured image, the estimated position of the moving object is calculated.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、移動体の位置をより精確に推定する技術を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the technique which estimates the position of a moving body more accurately can be provided.
本発明の実施例は、撮影装置を搭載した移動体において、異なる2以上の視点位置で撮影された画像に基づいて移動体の位置を推定する技術を提供する。このような位置推定技術として、例えば、SfM(Structure from Motion)を利用することができる。SfMは、視点の異なる複数の二次元画像から三次元形状及び視点位置を復元することを可能とする技術である。SfMを利用するためには、移動体の移動中に、視点の異なる複数の画像を撮影する必要があるが、視点位置(撮影装置の位置)又は視線方向(撮影装置の向き)の変化が大き過ぎると、撮影された複数の画像に共通して含まれる特徴点の数が少なくなって、特徴点同士の対応を検出する精度が低下する可能性があるし、視点位置及び視線方向にほとんど変化がないと、特徴点同士の視差が小さくなって、特徴点と撮影装置との間の相対位置を検出する精度が低下する可能性がある。したがって、本実施例では、視点位置及び視線方向の変化量が適切となる複数の画像を使用して、SfMにより移動体の位置を推定する。これにより、移動体の位置をより精確に推定することができる。 Embodiments of the present invention provide a technique for estimating the position of a moving body based on images taken at two or more different viewpoint positions in a moving body equipped with an imaging device. As such a position estimation technique, for example, SfM (Structure from Motion) can be used. SfM is a technique that makes it possible to restore a three-dimensional shape and a viewpoint position from a plurality of two-dimensional images with different viewpoints. In order to use SfM, it is necessary to capture a plurality of images with different viewpoints while the moving body is moving. However, the change in the viewpoint position (position of the imaging apparatus) or the line-of-sight direction (direction of the imaging apparatus) is large. If it is too long, the number of feature points included in a plurality of captured images may be reduced, and the accuracy of detecting correspondence between feature points may be reduced, and the viewpoint position and the line-of-sight direction are almost changed. Otherwise, the parallax between the feature points becomes small, and there is a possibility that the accuracy of detecting the relative position between the feature points and the imaging device may be reduced. Therefore, in this embodiment, the position of the moving body is estimated by SfM using a plurality of images with appropriate changes in the viewpoint position and the line-of-sight direction. Thereby, the position of a mobile body can be estimated more correctly.
以下、実施例として、ステレオカメラを搭載した自動運転車について説明する。自動運転車においては、ステレオカメラの向きのずれに起因して、ステレオカメラにより撮影された画像の解析により取得される各種の情報の誤差が増大しないようにするために、通常、ステレオカメラの向きが車両に対して固定される。したがって、本実施例では、ステレオカメラにより撮影される複数の画像における視点位置及び視線方向の変化量が適切になるようにするために、SfMに使用される画像の撮影間隔を動的に調整する。以降、単に「撮影間隔」というときは、撮影される位置の間隔ではなく時間の間隔を指す。 Hereinafter, as an embodiment, an autonomous driving vehicle equipped with a stereo camera will be described. In self-driving cars, the orientation of the stereo camera is usually used to prevent errors in various information obtained by analyzing the images captured by the stereo camera from increasing due to a deviation in the orientation of the stereo camera. Is fixed to the vehicle. Therefore, in the present embodiment, the shooting interval of images used for SfM is dynamically adjusted so that the amount of change in viewpoint position and line-of-sight direction in a plurality of images shot by a stereo camera is appropriate. . Hereinafter, the term “photographing interval” simply refers to a time interval, not an interval between positions where images are taken.
なお、ステレオカメラが現実に画像を撮影する時間間隔は、適切な撮影間隔とされる時間間隔に合わせて動的に変更されてもよいし、適切な撮影間隔とされる時間間隔よりも短ければ、適切な撮影間隔とされる時間間隔と異なっていてもよい。後者の例として、ステレオカメラは、一定の時間間隔で定期的に画像を撮影してもよい。この場合は、一定の時間間隔で撮影された画像の中から、SfMに使用する画像の撮影間隔が適切となるように、使用する画像を取捨選択する。要は、適切な撮影間隔で撮影された画像がSfMにおいて使用されればよく、ステレオカメラが現実に画像を撮影する時間間隔は、適切な撮影間隔とされる時間間隔と同じであっても、異なっていてもよい。前者の場合は、ステレオカメラのフレームレートを動的に制御する必要がないので、構成を簡略化することができる。後者の場合は、撮影される画像のデータ容量、ステレオカメラと位置を推定するための構成との間の通信量、ステレオカメラの撮影や位置推定に要する処理負荷などを低減させることができる。 Note that the time interval at which the stereo camera actually captures images may be dynamically changed according to the time interval that is set as the appropriate shooting interval, or if it is shorter than the time interval that is set as the appropriate shooting interval. The time interval may be different from the appropriate shooting interval. As an example of the latter, the stereo camera may capture images periodically at regular time intervals. In this case, images to be used are selected from among images taken at regular time intervals so that the shooting interval of images used for SfM is appropriate. In short, it is sufficient that images taken at an appropriate shooting interval are used in SfM, and even if the time interval at which the stereo camera actually takes an image is the same as the appropriate shooting interval, May be different. In the former case, since it is not necessary to dynamically control the frame rate of the stereo camera, the configuration can be simplified. In the latter case, it is possible to reduce the data volume of the image to be shot, the communication amount between the stereo camera and the configuration for estimating the position, the processing load required for shooting and position estimation of the stereo camera, and the like.
図1は、車両が直進しているときの撮影間隔を説明するための図である。図1は、直線状の道路12aを走行している車両10に搭載されたステレオカメラの撮影範囲を模式的に示す。車両10aの位置でステレオカメラが撮影した画像には標識14が含まれる。この標識14が別の視点位置から撮影された画像にも含まれていれば、それらの画像を使用したSfMにより、標識14が特徴点として画像間で対応付けられ、標識14と車両10の間の相対位置を算出することができる。また、標識14の位置情報を含む地図データを更に参照すれば、車両10の位置を推定することができる。したがって、図1の例では、車両10bの位置でもステレオカメラにより画像を撮影すればよい。車両10bの位置を超えてしまうと、ステレオカメラが撮影した画像に標識14が含まれなくなり、標識14は特徴点として見失われる。このように、車両10の走行中、十分な量の特徴点が複数の撮影画像に含まれるような適切な撮影間隔で、連続的にステレオカメラにより車両10の周囲の画像を撮影すれば、車両10の位置を精確に推定し続けることができる。
FIG. 1 is a diagram for explaining a shooting interval when the vehicle is traveling straight. FIG. 1 schematically shows an imaging range of a stereo camera mounted on a
本発明者の実験によれば、直線状の道路12を車両10が走行しているときに、SfMにより高い精度で車両10の位置を推定するために適切な画像間における視点位置の変化量x[m]は、0.5〜3.5m、好ましくは1〜3m、より好ましくは1.5〜2.5m、更に好ましくは約2mである。視点位置の変化量をx[m]、車両10の速度を毎時v[km]とすると、撮影間隔は次式で表される。
(撮影間隔)=3600×x/(v×1000)・・・(式1)
また、ステレオカメラによる単位時間当たりの撮影回数、すなわちフレームレートを表すFPS(Frames per second)は、撮影間隔の逆数で与えられる。撮影間隔は、式1に、上述したxの範囲のうちのいずれかの値と、車両10の車速vを代入することにより算出される。したがって、車両10の速度が速いほど、撮影間隔は短くされ、FPSは増加される。
According to the experiments of the present inventor, when the
(Shooting interval) = 3600 × x / (v × 1000) (Formula 1)
In addition, the number of shootings per unit time by the stereo camera, that is, FPS (Frames per second) representing the frame rate is given by the reciprocal of the shooting interval. The photographing interval is calculated by substituting any value in the above-described x range and the vehicle speed v of the
式1のxには、上記の範囲に含まれるいずれかの値が定数として代入されてもよいし、車両の状態や車両の周囲の状況などに応じて動的に変更された値が代入されてもよい。後者の例として、SfMにより推定される位置の誤差など、SfMの精度の指標となるパラメータを算出し、その値が所定値以上となった場合には、xの値をより小さくしてもよい。また、特徴点となりうる静止した対象物が周囲に多数存在する領域においては、特徴点となりうる対象物が少ない領域に比べて、xの値をより大きくしてもよい。このような領域であるか否かは、地図データを参照して判定されてもよいし、SfMの演算結果を参照して判定されてもよい。また、路面に凹凸などが存在し、走行中に上下方向の加速度が生じるような道路においては、ステレオカメラの位置が上下方向にずれて、画像間の撮影範囲の重なりが減少する可能性があるので、路面の凹凸が少ない道路に比べて、xの値をより小さくしてもよい。このような道路であるか否かは、地図データを参照して判定されてもよいし、加速度センサの値やステレオカメラにより撮影された画像の解析結果などを参照して判定されてもよい。また、周囲に存在する他の車両などがステレオカメラの撮影範囲に入り、特徴点となりうる対象物が遮蔽されて十分に撮影されない状況においては、xの値をより小さくしてもよい。このような状況であるか否かは、地図データと渋滞情報などを参照して判定されてもよいし、ステレオカメラにより撮影された画像の解析結果などを参照して判定されてもよい。 Any value included in the above range may be assigned as a constant to x in Equation 1, or a value that is dynamically changed according to the state of the vehicle, the situation around the vehicle, or the like. May be. As an example of the latter, a parameter serving as an index of SfM accuracy, such as a position error estimated by SfM, may be calculated, and if the value exceeds a predetermined value, the value of x may be made smaller. . Further, in a region where there are many stationary objects that can be feature points, the value of x may be larger than in a region where there are few objects that can be feature points. Whether it is such a region may be determined with reference to map data, or may be determined with reference to the calculation result of SfM. Also, on roads where there is unevenness on the road surface and vertical acceleration occurs while traveling, the position of the stereo camera may shift in the vertical direction, which may reduce the overlap of shooting ranges between images. Therefore, the value of x may be made smaller than on a road with less road surface unevenness. Whether or not the road is such a road may be determined with reference to map data, or may be determined with reference to an acceleration sensor value, an analysis result of an image taken by a stereo camera, or the like. Further, in a situation where other vehicles or the like existing in the vicinity enter the imaging range of the stereo camera and the object that can be a feature point is shielded and cannot be sufficiently imaged, the value of x may be made smaller. Whether such a situation is present may be determined with reference to map data and traffic jam information, or may be determined with reference to an analysis result of an image taken by a stereo camera.
図2は、車両がカーブを曲がっているときの撮影間隔を説明するための図である。図2は、曲線状の道路12bを走行している車両10に搭載されたステレオカメラの撮影範囲を模式的に示す。車両10cの位置でステレオカメラが撮影した画像には標識16が含まれる。この標識16が別の視点位置から撮影された画像にも含まれていれば、それらの画像を使用したSfMにより、標識16が特徴点として画像間で対応付けられ、標識16と車両10の間の相対位置を算出することができる。また、標識16の位置情報を含む地図データを更に参照すれば、車両10の位置を推定することができる。したがって、図2の例では、車両10dの位置でもステレオカメラにより画像を撮影すればよい。車両10dの位置を超えて更にカーブを曲がってしまうと、ステレオカメラが撮影した画像に標識16が含まれなくなり、標識16は特徴点として見失われる。このように、車両10が曲線状の道路12bを走行しているときには、ステレオカメラの位置が車両の進行方向に変化するだけでなく、ステレオカメラの向きも車両のヨー角の変化に伴って変化するので、視線方向の変化量を基準として、十分な量の特徴点が複数の撮影画像に含まれるような適切な撮影間隔で、連続的にステレオカメラにより車両10の周囲の画像を撮影するのが望ましい。
FIG. 2 is a diagram for explaining a photographing interval when the vehicle is turning a curve. FIG. 2 schematically shows a photographing range of a stereo camera mounted on the
視線方向が左右方向に変化するときに、変化の前後に撮影された画像の双方に十分な量の特徴点が含まれるようにするためには、変化前に撮影された画像の撮影範囲と変化後に撮影された画像の撮影範囲が重なる範囲、すなわち撮影範囲として残る範囲18aの、撮影範囲全体18に対する割合(以降、「残映率」という)が所定値以上であるのが望ましい。例えば、ステレオカメラの画角が30度である場合に、残映率を80%以上とすると、視線方向が6度変化するまで、すなわち、車両のヨー角が6度傾くまでに、次の画像を撮影するのが望ましい。車両10のヨー角速度が毎秒20度である場合には、撮影間隔は6/20=0.3[秒]となり、FPSは20/6=3.3[フレーム/秒]となる。ステレオカメラの画角が一定であるとすると、残映率と車両のヨー角速度に基づいて、撮影間隔が決定されることになる。残映率は、70%以上、好ましくは75%以上、より好ましくは80%以上であってもよい。車両10のヨー角速度が速いほど、撮影間隔は短くされ、FPSは増加される。
When the line-of-sight direction changes in the left-right direction, in order to ensure that a sufficient amount of feature points are included in both the images taken before and after the change, the shooting range and change of the image taken before the change are changed. It is desirable that the ratio (hereinafter referred to as “remaining rate”) of the range where the shooting ranges of the images shot later overlap, that is, the
残映率についても、上述した式1のxと同様に、上記の範囲に含まれるいずれかの値が定数として代入されてもよいし、車両の状態や車両の周囲の状況などに応じて動的に変更された値が代入されてもよい。後者の例として、SfMにより推定される位置の誤差など、SfMの精度の指標となるパラメータを算出し、その値が所定値以上となった場合には、残映率の値をより大きくしてもよい。また、特徴点となりうる静止した対象物が周囲に多数存在する領域においては、特徴点となりうる対象物が少ない領域に比べて、残映率の値をより小さくしてもよい。このような領域であるか否かは、地図データを参照して判定されてもよいし、SfMの演算結果を参照して判定されてもよい。また、路面に凹凸などが存在し、走行中に上下方向の加速度が生じるような道路においては、ステレオカメラの位置が上下方向にずれて、画像間の撮影範囲の重なりが減少する可能性があるので、路面の凹凸が少ない道路に比べて、残映率の値をより大きくしてもよい。このような道路であるか否かは、地図データを参照して判定されてもよいし、加速度センサの値やステレオカメラにより撮影された画像の解析結果などを参照して判定されてもよい。また、周囲に存在する他の車両などがステレオカメラの撮影範囲に入り、特徴点となりうる対象物が遮蔽されて十分に撮影されない状況においては、残映率の値をより大きくしてもよい。このような状況であるか否かは、地図データと渋滞情報などを参照して判定されてもよいし、ステレオカメラにより撮影された画像の解析結果などを参照して判定されてもよい。なお、直線状の道路を走行している場合にも、残映率に基づいて撮影間隔が決定されてもよい。 As for the afterimage rate, as in the case of x in Equation 1 described above, any value included in the above range may be substituted as a constant, and may vary depending on the state of the vehicle, the situation around the vehicle, and the like. Changed values may be substituted. As an example of the latter, a parameter that is an index of the accuracy of SfM, such as a position error estimated by SfM, is calculated, and when the value exceeds a predetermined value, the residual rate value is increased. Also good. Further, in a region where there are many stationary objects that can be feature points, the value of the afterglow ratio may be made smaller than in a region where there are few objects that can be feature points. Whether it is such a region may be determined with reference to map data, or may be determined with reference to the calculation result of SfM. Also, on roads where there is unevenness on the road surface and vertical acceleration occurs while traveling, the position of the stereo camera may shift in the vertical direction, which may reduce the overlap of shooting ranges between images. Therefore, the value of the afterimage rate may be increased as compared with a road with less road surface unevenness. Whether or not the road is such a road may be determined with reference to map data, or may be determined with reference to an acceleration sensor value, an analysis result of an image taken by a stereo camera, or the like. Further, in a situation where other vehicles or the like that exist in the vicinity enter the shooting range of the stereo camera and an object that can be a feature point is shielded and is not sufficiently shot, the remaining rate value may be increased. Whether such a situation is present may be determined with reference to map data and traffic jam information, or may be determined with reference to an analysis result of an image taken by a stereo camera. Even when the vehicle is traveling on a straight road, the shooting interval may be determined based on the afterimage rate.
以上のように、SfMにおいて特徴点を見失わないようにするためには、視点位置の変化速度に関する基準と視線方向の変化速度に関する基準の双方を満たすように、ステレオカメラによる撮影間隔を決定する必要がある。したがって、本実施例では、視点位置の変化速度、すなわち車両の車速を基準として決定された撮影間隔と、視線方向の変化速度、すなわち車両のヨー角速度を基準として決定された撮影間隔のうち、短い方の撮影間隔を採用する。FPSで言えば、高い方を採用する。 As described above, in order not to lose sight of the feature points in SfM, it is necessary to determine the shooting interval by the stereo camera so as to satisfy both the reference for the change speed of the viewpoint position and the reference for the change speed of the line-of-sight direction. There is. Therefore, in this embodiment, the imaging interval determined based on the change speed of the viewpoint position, that is, the vehicle speed of the vehicle, and the imaging interval determined based on the change speed of the line-of-sight direction, that is, the yaw angular velocity of the vehicle, are short. Adopt one of the shooting intervals. In terms of FPS, the higher one is adopted.
図3は、実施例に係る車両10の構成を概略的に示す。車両10は、車両10のタイヤ、エンジン、モータ、ギア、ブレーキなど、車両10を駆動するための構成を含む車両駆動系40と、車両10の状態及び車両の周囲の状況などを検出するための車両情報センサ44と、車両駆動系40から取得される車両10の駆動状態に関する情報や、車両情報センサ44から取得される各種センサ値に基づいて、車両10の車速及びヨー角速度を計測する車両計測部42と、車両10の周囲を撮影するステレオカメラ46と、車両計測部42により計測された車両10の車速及びヨー角速度に応じた適切な態様で、ステレオカメラ46により撮影された画像から車両10の位置を推測する位置推定部50と、位置推定部50により推測された車両10の位置に基づいて車両10の行動を決定し、決定された行動にしたがって車両駆動系40を駆動する制御部20と、制御部20及び位置推定部50により使用される情報を格納する記憶部30とを備える。車両計測部42は、車両駆動系40から取得されるタイヤの回転速度などの情報から車速を計測してもよいし、車両情報センサ44から取得される車速センサや加速度センサなどのセンサ値から車速を計測してもよい。また、車両駆動系40から取得されるハンドルの舵角などの情報からヨー角速度を計測してもよいし、車両情報センサ44から取得されるジャイロセンサ、地磁気センサ、加速度センサ、傾斜センサなどのセンサ値からヨー角速度を計測してもよい。
FIG. 3 schematically illustrates the configuration of the
位置推定部50は、図1に示した例のように、車両10の車速を基準としてステレオカメラ46のFPSを計算する速度基準FPS計算部52と、図2に示した例のように、車両10のヨー角速度を基準としてステレオカメラ46のFPSを計算する角速度基準FPS計算部54と、速度基準FPS計算部52により計算されたFPSと、角速度基準FPS計算部54により計算されたFPSのうち、大きい方をFPSとして決定するFPS決定部56と、FPS決定部56により決定されたFPSでステレオカメラ46により撮影された車両10の周囲の画像を使用したSfMにより、車両10と周囲の対象物との間の相対位置を演算するSfM演算部58とを備える。
The
これらの構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。 These configurations can be realized in terms of hardware by a CPU, memory, or other LSI of any computer, and in terms of software, they are realized by programs loaded into the memory. It depicts the functional blocks that are realized. Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms only by hardware, or by a combination of hardware and software.
制御部20は、位置推定部50から、車両10と周囲の対象物との間の相対位置を取得し、記憶部30に格納された対象物の三次元形状及び三次元位置情報を含む地図データを参照して、車両10の位置を算出する。これにより、GNSS(Global Navigation Satellite System(s))受信機が信号を受信することができない、トンネル内や屋内などの場所においても、高い精度で車両10の位置を推定することができる。
The
制御部20は、位置推定部50により推定された車両10の位置と、車両10の速度センサ、加速度センサ、地磁気センサ、ジャイロセンサ、傾斜センサなどのセンサ値から計測された車両10の位置と、GNSS受信機が受信した信号から計測された車両10の位置を総合考慮して、車両10の位置を推定してもよい。例えば、それぞれの計測結果の重み付け平均により、車両10の位置を推定してもよい。それぞれの計測結果に付与される重みは、車両10の状態や車両10の周囲の状況に応じて決定されてもよい。例えば、トンネル内を通過しているなど、GNSS受信機が受信した信号の精度が十分でない状況においては、GNSS受信機が受信した信号による計測結果の重みを低くしてもよいし、路面に凹凸がある道路状況においては、加速度センサによる計測結果の重みを低くしてもよい。
The
本実施例によれば、車両の速度又はヨー角速度に応じて、適切な撮影間隔で撮影された車両の周囲の画像を使用するので、SfMにおいて特徴点の対応を検出する精度を向上させることができ、より精確に車両の位置を推定することができる。また、特徴点の検出精度の低い無駄な演算を省略することができるので、移動体の位置を推定するための演算量を低減させることができる。また、演算に使用する画像のみを撮影装置に撮影させる場合には、データ容量や通信量を低減させることができる。 According to the present embodiment, since the surrounding image of the vehicle photographed at an appropriate photographing interval is used according to the vehicle speed or the yaw angular velocity, it is possible to improve the accuracy of detecting the correspondence between the feature points in SfM. And the position of the vehicle can be estimated more accurately. Moreover, since a useless calculation with low feature point detection accuracy can be omitted, the amount of calculation for estimating the position of the moving body can be reduced. In addition, when the image capturing apparatus captures only images used for calculation, the data capacity and the communication amount can be reduced.
本発明の一態様の概要は、次の通りである。本発明のある態様の位置推定プログラムは、コンピュータを、撮影装置が設けられた移動体の移動速度を取得する速度取得部、移動体の向きを取得する方向取得部、移動体の移動中に撮影装置により撮影された移動体の周囲の画像に基づいて移動体の推定位置を演算する演算部、移動体の移動速度、又は、移動体の向きの変化速度に基づいて、演算部が移動体の位置を推定するために使用する移動体の周囲の画像の撮影間隔を決定する間隔決定部、として機能させ、演算部は、間隔決定部により決定された撮影間隔で撮影された画像に基づいて移動体の推定位置を演算する。 The outline of one embodiment of the present invention is as follows. A position estimation program according to an aspect of the present invention is a computer that captures a computer while a moving body provided with an imaging device acquires a moving speed, a direction acquiring unit that acquires a moving body direction, and the moving body moving. The calculation unit calculates the estimated position of the moving body based on the image of the surroundings of the moving body photographed by the device, the moving speed of the moving body, or the changing speed of the direction of the moving body. It functions as an interval determination unit that determines an imaging interval of an image around the moving body used for estimating the position, and the calculation unit moves based on an image captured at the imaging interval determined by the interval determination unit. Calculate the estimated position of the body.
この態様によると、適切な撮影間隔で撮影された画像に基づいて移動体の推定位置を演算するので、より精確に移動体の位置を推定することができる。また、精度の低い無駄な演算を省略することができるので、移動体の位置を推定するための演算量を低減させることができる。また、演算に使用する画像のみを撮影装置に撮影させる場合には、データ容量や通信量を低減させることができる。 According to this aspect, since the estimated position of the moving body is calculated based on images taken at appropriate shooting intervals, the position of the moving body can be estimated more accurately. Moreover, since useless calculation with low accuracy can be omitted, the amount of calculation for estimating the position of the moving body can be reduced. In addition, when the image capturing apparatus captures only images used for calculation, the data capacity and the communication amount can be reduced.
間隔決定部は、移動体の移動速度に基づいて算出した撮影間隔と、移動体の向きの変化速度に基づいて算出した撮影間隔のうち、短い方の撮影間隔を採用してもよい。この態様によると、移動体の移動態様に応じて、より適切な撮影間隔を採用するので、より精確に移動体の位置を推定することができる。 The interval determination unit may adopt the shorter one of the shooting interval calculated based on the moving speed of the moving body and the shooting interval calculated based on the changing speed of the direction of the moving body. According to this aspect, since a more appropriate shooting interval is adopted according to the movement mode of the moving body, the position of the moving body can be estimated more accurately.
本発明の別の態様は、移動体である。この移動体は、移動体の周囲を撮影するための撮影装置と、移動体の位置を推定する位置推定部と、位置推定部により推定された位置に基づいて移動体を制御する制御部と、を備える。位置推定部は、撮影装置が設けられた移動体の移動速度を取得する速度取得部と、移動体の向きを取得する方向取得部と、移動体の移動中に撮影装置により撮影された移動体の周囲の画像に基づいて移動体の推定位置を演算する演算部と、移動体の移動速度、又は、移動体の向きの変化速度に基づいて、演算部が移動体の位置を推定するために使用する移動体の周囲の画像の撮影間隔を決定する間隔決定部と、を備える。演算部は、間隔決定部により決定された撮影間隔で撮影された画像に基づいて移動体の推定位置を演算する。 Another embodiment of the present invention is a mobile object. The moving body includes a photographing device for photographing the periphery of the moving body, a position estimating unit that estimates the position of the moving body, a control unit that controls the moving body based on the position estimated by the position estimating unit, Is provided. The position estimation unit includes a speed acquisition unit that acquires the moving speed of the moving body provided with the imaging device, a direction acquisition unit that acquires the orientation of the moving body, and a moving body that is imaged by the imaging device while the moving body is moving. A calculation unit that calculates the estimated position of the moving body based on the surrounding image, and the calculation unit to estimate the position of the moving body based on the moving speed of the moving body or the changing speed of the direction of the moving body An interval determination unit that determines an imaging interval of an image around the moving body to be used. The computing unit computes the estimated position of the moving object based on the images taken at the photographing interval determined by the interval determining unit.
この態様によっても、適切な撮影間隔で撮影された画像に基づいて移動体の推定位置を演算するので、より精確に移動体の位置を推定することができる。また、精度の低い無駄な演算を省略することができるので、移動体の位置を推定するための演算量を低減させることができる。また、演算に使用する画像のみを撮影装置に撮影させる場合には、データ容量や通信量を低減させることができる。 Also according to this aspect, since the estimated position of the moving body is calculated based on images captured at appropriate shooting intervals, the position of the moving body can be estimated more accurately. Moreover, since useless calculation with low accuracy can be omitted, the amount of calculation for estimating the position of the moving body can be reduced. In addition, when the image capturing apparatus captures only images used for calculation, the data capacity and the communication amount can be reduced.
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 In the above, this invention was demonstrated based on the Example. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to each of those constituent elements or combinations of processing processes, and such modifications are also within the scope of the present invention. .
図1及び図2に示した実施例では、ステレオカメラが車両の正面前方に向けられて固定されたが、別の例では、ステレオカメラは車両の正面以外の方向、例えば、やや左寄りの方向に向けられて固定されてもよい。この場合、車両の右側に対向車などが存在している場合であっても、道路の左側に存在する目標物をより確実に撮影することができるが、単位時間ごとに撮影された画像間における道路の左側に存在する目標物の変位量は、ステレオカメラが車両の正面の方向に向けられている場合よりも大きくなる。したがって、より短い撮影間隔でステレオカメラにより画像を撮影してもよい。この場合の撮影間隔は、車両がカーブを曲がる場合と同様に、残映率が所定値以上となるように決定されてもよい。なお、車両が道路の右側を走行するように規定されている国又は地域においては、ステレオカメラはやや右寄りの方向に向けられてもよい。また、向きが可変なカメラが車両に搭載されてもよい。この場合であっても、適切な撮影間隔で撮影された画像を使用することにより、演算量を低く抑えつつ、より精確に車両の位置を推定することができる。 In the embodiment shown in FIG. 1 and FIG. 2, the stereo camera is directed and fixed in front of the front of the vehicle. However, in another example, the stereo camera is in a direction other than the front of the vehicle, for example, slightly to the left. It may be directed and fixed. In this case, even if there is an oncoming vehicle on the right side of the vehicle, the target existing on the left side of the road can be captured more reliably, but between the images captured every unit time The amount of displacement of the target existing on the left side of the road is larger than when the stereo camera is directed toward the front of the vehicle. Therefore, images may be taken with a stereo camera at shorter shooting intervals. The shooting interval in this case may be determined so that the afterimage rate is equal to or greater than a predetermined value, as in the case where the vehicle turns a curve. In a country or region where the vehicle is regulated to travel on the right side of the road, the stereo camera may be directed slightly to the right. A camera with a variable orientation may be mounted on the vehicle. Even in this case, the position of the vehicle can be estimated more accurately while suppressing the amount of calculation by using images taken at an appropriate shooting interval.
実施例では、車両の車速を基準として決定された撮影間隔と、車両のヨー角速度を基準として決定された撮影間隔の双方を算出し、それらのうち短い方を採用したが、車両を人間が運転する場合であっても、車両が自律的に走行する場合であっても、車速とヨー角速度の双方が非常に高い、すなわち、カーブを高速で曲がることは、通常はあまり考えられない。したがって、別の例では、車速が所定の閾値以上である場合は、ヨー角速度を基準とした撮影間隔の算出は省略して、車速のみを基準として撮影間隔を決定し、車速が所定の閾値未満である場合にのみ、車両のヨー角速度を基準として決定された撮影間隔を考慮してもよい。また、ヨー角の変化に起因する特徴点のロストは、典型的には、車両がカーブや交差点を曲がっているときや、Uターンや駐車をしているときなど、車両のヨー角が大きく変化してステレオカメラの向きが大きく変化するときに発生しうるので、ヨー角速度が所定の閾値未満である場合は、ヨー角速度を基準とした撮影間隔の算出は省略して、車速のみを基準として撮影間隔を決定し、ヨー角速度が所定の閾値以上である場合にのみ、車両のヨー角速度を基準として決定された撮影間隔を考慮してもよい。 In the embodiment, both the shooting interval determined based on the vehicle speed of the vehicle and the shooting interval determined based on the yaw angular velocity of the vehicle are calculated, and the shorter one of them is adopted. Even when the vehicle is traveling autonomously, both the vehicle speed and the yaw angular velocity are very high, that is, it is usually not considered to bend at a high speed. Therefore, in another example, when the vehicle speed is equal to or higher than a predetermined threshold, the calculation of the shooting interval based on the yaw angular velocity is omitted, and the shooting interval is determined based only on the vehicle speed, and the vehicle speed is less than the predetermined threshold. Only in this case, the photographing interval determined with reference to the yaw angular velocity of the vehicle may be considered. In addition, lost feature points due to changes in yaw angle typically change significantly when the vehicle is turning around a curve or intersection, or when making a U-turn or parking. Therefore, when the yaw angular velocity is less than the predetermined threshold, the calculation of the shooting interval based on the yaw angular velocity is omitted, and the shooting is performed based only on the vehicle speed. The shooting interval determined based on the yaw angular velocity of the vehicle may be considered only when the interval is determined and the yaw angular velocity is equal to or greater than a predetermined threshold.
10 車両、20 制御部、30 記憶部、40 車両駆動系、42 車両計測部、44 車両情報センサ、46 ステレオカメラ、50 位置推定部、52 速度基準FPS計算部、54 角速度基準FPS計算部、56 FPS決定部、58 SfM演算部。
DESCRIPTION OF
Claims (3)
撮影装置が設けられた移動体の移動速度を取得する速度取得部、
前記移動体の向きを取得する方向取得部、
前記移動体の移動中に前記撮影装置により撮影された前記移動体の周囲の画像に基づいて前記移動体の推定位置を演算する演算部、
前記移動体の移動速度、又は、前記移動体の向きの変化速度に基づいて、前記演算部が前記移動体の位置を推定するために使用する前記移動体の周囲の画像の撮影間隔を決定する間隔決定部、
として機能させ、
前記演算部は、前記間隔決定部により決定された撮影間隔で撮影された画像に基づいて前記移動体の推定位置を演算する
ことを特徴とする位置推定プログラム。 Computer
A speed acquisition unit for acquiring the moving speed of the moving body provided with the imaging device;
A direction acquisition unit for acquiring the direction of the moving body;
A computing unit that computes an estimated position of the moving body based on an image of the surroundings of the moving body captured by the imaging device during the movement of the moving body;
Based on the moving speed of the moving body or the changing speed of the direction of the moving body, the calculation unit determines an imaging interval of an image around the moving body used for estimating the position of the moving body. Interval determination unit,
Function as
The position calculation program characterized in that the calculation unit calculates an estimated position of the moving body based on images taken at a shooting interval determined by the interval determination unit.
前記移動体の位置を推定する位置推定部と、
前記位置推定部により推定された位置に基づいて前記移動体を制御する制御部と、
を備え、
前記位置推定部は、
撮影装置が設けられた移動体の移動速度を取得する速度取得部と、
前記移動体の向きを取得する方向取得部と、
前記移動体の移動中に前記撮影装置により撮影された前記移動体の周囲の画像に基づいて前記移動体の推定位置を演算する演算部と、
前記移動体の移動速度、又は、前記移動体の向きの変化速度に基づいて、前記演算部が前記移動体の位置を推定するために使用する前記移動体の周囲の画像の撮影間隔を決定する間隔決定部と、
を備え、
前記演算部は、前記間隔決定部により決定された撮影間隔で撮影された画像に基づいて前記移動体の推定位置を演算する
ことを特徴とする移動体。 A photographing device for photographing the surroundings of the moving object;
A position estimation unit for estimating the position of the moving body;
A control unit that controls the moving body based on the position estimated by the position estimation unit;
With
The position estimation unit
A speed acquisition unit that acquires the moving speed of the moving object provided with the imaging device;
A direction acquisition unit for acquiring the direction of the moving body;
A calculation unit that calculates an estimated position of the moving body based on an image of the surroundings of the moving body captured by the imaging device during the movement of the moving body;
Based on the moving speed of the moving body or the changing speed of the direction of the moving body, the calculation unit determines an imaging interval of an image around the moving body used for estimating the position of the moving body. An interval determination unit;
With
The said calculating part calculates the estimated position of the said moving body based on the image image | photographed with the imaging | photography interval determined by the said space | interval determination part.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017047002A JP2018152692A (en) | 2017-03-13 | 2017-03-13 | Position estimation program and moving body |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017047002A JP2018152692A (en) | 2017-03-13 | 2017-03-13 | Position estimation program and moving body |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018152692A true JP2018152692A (en) | 2018-09-27 |
Family
ID=63681974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017047002A Pending JP2018152692A (en) | 2017-03-13 | 2017-03-13 | Position estimation program and moving body |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018152692A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102342945B1 (en) * | 2021-03-31 | 2021-12-24 | (주)뉴빌리티 | Estimating location method and apparatus for autonomous driving with surround image |
US12046002B1 (en) * | 2022-03-01 | 2024-07-23 | Amazon Technologies, Inc. | Depth-guided structure-from-motion techniques |
-
2017
- 2017-03-13 JP JP2017047002A patent/JP2018152692A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102342945B1 (en) * | 2021-03-31 | 2021-12-24 | (주)뉴빌리티 | Estimating location method and apparatus for autonomous driving with surround image |
US12046002B1 (en) * | 2022-03-01 | 2024-07-23 | Amazon Technologies, Inc. | Depth-guided structure-from-motion techniques |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6350374B2 (en) | Road surface detection device | |
CN106289275B (en) | Unit and method for improving positioning accuracy | |
CA2987373C (en) | Position estimation device and position estimation method | |
JP5962771B2 (en) | Moving object position / posture angle estimation apparatus and moving object position / posture angle estimation method | |
CN101970273B (en) | Vehicle travel support device, vehicle, and vehicle travel support program | |
JP5966747B2 (en) | Vehicle travel control apparatus and method | |
JP5269024B2 (en) | Road surface state estimation device and road surface state estimation method | |
JP6273352B2 (en) | Object detection apparatus, object detection method, and mobile robot | |
KR102086270B1 (en) | Control method and traveling control device of the traveling control device | |
US11874660B2 (en) | Redundant lateral velocity determination and use in secondary vehicle control systems | |
JP6520740B2 (en) | Object detection method, object detection device, and program | |
CN103270543A (en) | Driving assist device | |
CN108519085B (en) | Navigation path acquisition method, device, system and storage medium thereof | |
JP7107931B2 (en) | Method and apparatus for estimating range of moving objects | |
US20200207342A1 (en) | Lane tracking method and lane tracking system for an autonomous vehicle | |
CN113175925B (en) | Positioning and navigation system and method | |
WO2020137110A1 (en) | Movement amount estimation device | |
JP2007278813A (en) | Vehicle-position positioning device | |
JP2018152692A (en) | Position estimation program and moving body | |
US11780424B2 (en) | Vehicle control device and vehicle control method | |
JP6790951B2 (en) | Map information learning method and map information learning device | |
CN116118770A (en) | Self-adaptive rationalizer of vehicle sensing system for robust automatic driving control | |
CN109309785A (en) | Imaging control device and filming control method | |
JP6522270B1 (en) | SUPPORT IMAGE DISPLAY DEVICE, SUPPORT IMAGE DISPLAY METHOD, AND SUPPORT IMAGE DISPLAY PROGRAM | |
JP2018194417A (en) | Position estimation device, mobile device |