JP2008020225A - Self position estimation program, self position estimation method and self position estimation apparatus - Google Patents
Self position estimation program, self position estimation method and self position estimation apparatus Download PDFInfo
- Publication number
- JP2008020225A JP2008020225A JP2006190095A JP2006190095A JP2008020225A JP 2008020225 A JP2008020225 A JP 2008020225A JP 2006190095 A JP2006190095 A JP 2006190095A JP 2006190095 A JP2006190095 A JP 2006190095A JP 2008020225 A JP2008020225 A JP 2008020225A
- Authority
- JP
- Japan
- Prior art keywords
- included angle
- self
- landmark
- maximum
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Navigation (AREA)
Abstract
Description
この発明は、自己位置推定プログラム、自己位置推定方法および自己位置推定装置に関する。 The present invention relates to a self-position estimation program, a self-position estimation method, and a self-position estimation apparatus.
従来より、移動体の自己位置を推定する自己位置推定装置が知られている。このような自己位置推定装置では、移動体に搭載されているカメラにより撮影された画像から複数個のランドマークの位置情報を検索し、移動体に搭載されているカメラを中心とした各ランドマーク間の挟角を算出し、これをもとに位置標定原理である三角法を用いた演算処理を行い、自己位置を推定する。すなわち、このような自己位置推定装置では、2つのランドマークの位置情報と挟角から、自己位置が存在する可能性のある拘束円を算出し、このような拘束円を別の組み合わせの2つのランドマークにおいても算出し、2つ以上の拘束円の交点をもって自己位置と推定する(例えば、特許文献1や特許文献2を参照)。
Conventionally, a self-position estimation device that estimates the self-position of a moving body is known. In such a self-position estimation device, the position information of a plurality of landmarks is searched from images taken by a camera mounted on a moving body, and each landmark centered on the camera mounted on the moving body is searched. The included angle is calculated, and based on this, a calculation process using the trigonometry that is the position locating principle is performed to estimate the self-position. That is, in such a self-position estimation device, a constraint circle in which a self-position may exist is calculated from the position information and the included angle of two landmarks, and such a constraint circle is converted into two different combinations. A landmark is also calculated, and the self-position is estimated at the intersection of two or more constraint circles (see, for example,
ここで、自己位置推定装置は、ランドマーク間の挟角の算出に際しては、画像上のランドマークの代表ピクセルを選択し、そのピクセル間の距離を、カメラ素子や光学レンズのパラメータ情報を利用して、角度に変換することでランドマーク間の挟角を算出する。そして、自己位置推定装置では、代表ピクセルの選択を計算機に自動的に決定させることが高度な認識アルゴリズムを用いても非常に困難であるため、検出されたランドマーク画像領域の中心値を代表ピクセルとして簡便に利用することが一般的である。また、自己位置推定装置では、代表ピクセルから算出された挟角に基づき算出された2つ以上の拘束円の交点の算出に際しては、最小二乗法などの手法により算出する。 Here, when calculating the included angle between landmarks, the self-position estimation apparatus selects representative pixels of landmarks on the image and uses the parameter information of the camera element and optical lens to determine the distance between the pixels. Thus, the angle between the landmarks is calculated by converting the angle. In the self-position estimation apparatus, since it is very difficult to have the computer automatically determine the selection of the representative pixel even if an advanced recognition algorithm is used, the center value of the detected landmark image area is used as the representative pixel. It is common to use it simply as In the self-position estimation apparatus, the intersection of two or more constraint circles calculated based on the included angle calculated from the representative pixel is calculated by a method such as a least square method.
ところで、上記した従来の技術では、自己位置推定の精度が悪いという問題点があった。すなわち、上記した従来技術では、必然的に幅のあるランドマークの画像から中心値を代表ピクセルとして選択して挟角を算出し、拘束円を算出することから、代表ピクセルの選択を誤りやすく、自己位置推定の精度が悪くなるという問題点があった。 However, the above-described conventional technique has a problem in that the accuracy of self-position estimation is poor. That is, in the above-described prior art, the center value is necessarily selected as a representative pixel from a wide landmark image, the included angle is calculated, and the constraint circle is calculated. There was a problem that the accuracy of self-position estimation deteriorated.
そして、2つ以上の拘束円の交点の算出には、最小二乗法などの解析的な方法が用いられているが、算出された挟角の精度が悪ければ、いかなる解析的な方法を用いても自己位置推定の精度は向上せず、依然として自己位置推定の精度向上にはならなかった。 An analytical method such as a least square method is used to calculate the intersection of two or more constrained circles, but if the calculated included angle is not accurate, any analytical method can be used. However, the accuracy of self-position estimation did not improve, and the accuracy of self-position estimation still did not improve.
また、自己位置の推定には、冗長な複数個ペアのランドマークから算出された複数個の拘束円が用いられているが、精度の悪い挟角から定まる拘束円が混入する確率が増えれば、ランドマークの組み合わせを増やしても自己位置推定の精度は向上せず、依然として自己位置推定の精度向上にはならなかった。 In addition, a plurality of constraining circles calculated from redundant pairs of landmarks are used for self-position estimation, but if the probability of constraining constraining circles determined from inaccurate included angles increases, Increasing the number of landmark combinations did not improve the accuracy of self-position estimation, and still did not improve the accuracy of self-position estimation.
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、自己位置推定精度を向上させることが可能な自己位置推定プログラム、自己位置推定方法および自己位置推定装置を提供することを目的とする。 Accordingly, the present invention has been made to solve the above-described problems of the prior art, and provides a self-position estimation program, a self-position estimation method, and a self-position estimation apparatus that can improve self-position estimation accuracy. The purpose is to do.
上述した問題を解決し、目的を達成するため、請求項1に係る発明は、入力画像に含まれる複数のランドマーク間ごとに当該入力画像の撮像位置である自己位置を中心とした各ランドマーク間の狭角をそれぞれ算出し、当該算出した各狭角から前記自己位置として拘束される拘束円をそれぞれ算出して当該自己位置を推定する自己位置推定方法をコンピュータに実行させる自己位置推定プログラムであって、前記複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出する挟角算出手順と、前記複数のランドマーク間ごとに、前記挟角算出手順によって算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出する拘束円算出手順と、前記複数のランドマーク間ごとに、前記拘束円算出手順によって算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、前記最大挟角と最小挟角との間で各角度における前記狭角としての尤度を規定した尤度モデルを適用して、前記領域内の座標位置ごとに前記自己位置としての可能性を示すスコアを算出するとともに、前記複数のランドマーク間ごとに算出されたスコアを前記座標位置ごとに加算するスコア算出手順と、前記スコア算出手順によって算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を前記自己位置として推定する自己位置推定手順と、をコンピュータに実行させることを特徴とする。
In order to solve the above-described problem and achieve the object, the invention according to
また、請求項2に係る発明は、上記の発明において、前記スコア算出手順は、前記最大挟角と最小挟角との間で前記尤度を単放性の曲線で規定した尤度モデルを適用して前記スコアを算出することを特徴とする。
In the invention according to
また、請求項3に係る発明は、上記の発明において、前記スコア算出手順は、前記最大挟角と最小挟角との間で前記尤度を一様直線で規定した尤度モデルを適用して前記スコアを算出することを特徴とする。
In the invention according to
また、請求項4に係る発明は、上記の発明において、前記スコア算出手順は、前記入力画像における前記ランドマークの撮像状態が良好である場合には、前記最大挟角と最小挟角との間で前記尤度を単放性の曲線で規定した尤度モデルを適用して前記スコアを算出し、前記入力画像における前記ランドマークの撮像状態が良好でない場合には、前記最大挟角と最小挟角との間で前記尤度を一様直線で規定した尤度モデルを適用して前記スコアを算出することを特徴とする。 According to a fourth aspect of the present invention, in the above invention, the score calculation step is performed between the maximum and minimum included angles when the imaging state of the landmark in the input image is good. The score is calculated by applying a likelihood model in which the likelihood is defined by a single-release curve, and when the landmark imaging state in the input image is not good, the maximum sandwich angle and the minimum sandwich angle are calculated. The score is calculated by applying a likelihood model in which the likelihood is defined by a straight line between corners.
また、請求項5に係る発明は、上記の発明において、前記スコア算出手順は、前記入力画像における前記ランドマークの撮像状態に応じて、前記尤度モデルを当該撮像状態に応じた重み付けで適用して前記スコアを算出することを特徴とする。
In the invention according to
請求項1の発明によれば、複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出し、複数のランドマーク間ごとに、挟角算出手順によって算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出し、複数のランドマーク間ごとに、拘束円算出手順によって算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、最大挟角と最小挟角との間で各角度における狭角としての尤度を規定した尤度モデルを適用して、領域内の座標位置ごとに前記自己位置としての可能性を示すスコアを算出するとともに、複数のランドマーク間ごとに算出されたスコアを座標位置ごとに加算し、スコア算出手順によって算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を自己位置として推定するので、挟角の算出誤差の影響を低減させことができ、自己位置推定精度を向上させることが可能になる。 According to the first aspect of the present invention, for each of the plurality of landmarks, the maximum included angle indicating the maximum value of the included angle between the landmarks from the farthest distance and the nearest distance between the landmarks, and the included angle The maximum narrow angle constraint circle determined from the maximum narrow angle based on the maximum sandwich angle and the minimum sandwich angle calculated by the sandwich angle calculation procedure for each of a plurality of landmarks. And the minimum narrow angle constraint circle determined from the minimum narrow angle is calculated, and the area surrounded by the maximum included angle constraint circle and the minimum included angle constraint circle calculated by the constraint circle calculation procedure between a plurality of landmarks, Apply a likelihood model that defines the likelihood as a narrow angle at each angle between the maximum and minimum included angles, and calculate a score indicating the possibility of the self position for each coordinate position in the region As well as multiple The score calculated for each mark is added for each coordinate position, and based on the score calculated by the score calculation procedure and added, the coordinate position where the score is maximum is estimated as the self-position. The influence of the calculation error can be reduced, and the self-position estimation accuracy can be improved.
また、請求項2の発明によれば、最大挟角と最小挟角との間で尤度を単放性の曲線で規定した尤度モデルを適用してスコアを算出するので、2つのランドマークの端によって規定される最大挟角拘束円もしくは最小挟角拘束円の円周部が自己位置とされることはなく、また前記最大挟角と前記最小挟角の中心値である中心挟角を最大尤度とした単放性の曲線に対応したスコアを算出することができ、例えば2つのランドマークの撮像状態が良好である場合には、特に自己位置推定精度を向上させることが可能になる。具体的には、2つのランドマークの撮像状態が良好である場合には、それぞれのランドマークの中心からなる中心挟角が自己位置を示す最大尤度をあたえるので、単放性の曲線で規定される尤度モデルを適用することで、自己位置推定精度を向上させることが可能になる。
According to the invention of
また、請求項3の発明によれば、最大挟角と最小挟角との間で尤度を一様直線で規定した尤度モデルを適用してスコアを算出するので、2つのランドマークの端によって規定される最大挟角拘束円もしくは最小挟角拘束円の円周部が自己位置とされることはなく、また前記最大挟角と前記最小挟角の間の角度に対しては一様直線としてスコアを算出することができ、例えば2つのランドマークの撮像状態が良好でない場合には、特に自己位置推定精度を向上させることが可能になる。具体的には、2つのランドマークの撮像状態が良好でない場合には、算出された最大挟角と最小挟角との間にあるどの角度が最大尤度をあたえるか判定できないので、一様直線で規定される尤度モデルを適用することで、自己位置推定精度を向上させることが可能になる。
According to the invention of
また、請求項4の発明によれば、入力画像におけるランドマークの撮像状態が良好である場合には、最大挟角と最小挟角との間で前記尤度を単放性の曲線で規定した尤度モデルを適用してスコアを算出し、入力画像におけるランドマークの撮像状態が良好でない場合には、最大挟角と最小挟角との間で尤度を一様直線で規定した尤度モデルを適用してスコアを算出するので、撮像状態に応じて自動的に尤度モデルを選択することができ、自己位置推定精度を向上させることが可能になる。 According to a fourth aspect of the present invention, when the imaging state of the landmark in the input image is good, the likelihood is defined by a single-release curve between the maximum included angle and the minimum included angle. A likelihood model that calculates a score by applying a likelihood model, and that defines the likelihood as a uniform straight line between the maximum and minimum included angles if the landmark imaging state in the input image is not good Is applied to calculate the score, the likelihood model can be automatically selected according to the imaging state, and the self-position estimation accuracy can be improved.
また、請求項5の発明によれば、入力画像におけるランドマークの撮像状態に応じて、尤度モデルを当該撮像状態に応じた重み付けで適用してスコアを算出するので、撮像状態に応じて自動的に尤度モデルから算出されるスコアに重み付けを適用でき、自己位置推定精度を向上させることが可能になる。
According to the invention of
以下に添付図面を参照して、この発明に係る自己位置推定プログラム、自己位置推定方法および自己位置推定装置の実施例を詳細に説明する。なお、以下では、この発明に係る自己位置推定プログラムを含んで構成される自己位置推定装置を車両に搭載した実施例として説明する。また、以下では、実施例1における自己位置推定装置の構成および処理の手順、実施例1の効果を順に説明し、次に実施例1と同様に、実施例2に係る自己位置推定装置、実施例3に係る自己位置推定装置、実施例4に係る自己位置推定装置について順に説明する。 Exemplary embodiments of a self-position estimation program, a self-position estimation method, and a self-position estimation apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. In the following description, the self-position estimation apparatus configured to include the self-position estimation program according to the present invention will be described as an embodiment mounted on a vehicle. In the following, the configuration and processing procedure of the self-position estimation apparatus in the first embodiment and the effects of the first embodiment will be described in order, and then the self-position estimation apparatus according to the second embodiment will be described. The self-position estimation apparatus according to Example 3 and the self-position estimation apparatus according to Example 4 will be described in order.
[実施例1における自己位置推定装置の概要および特徴]
まず最初に、図1を用いて、実施例1における自己位置推定装置の主たる特徴を具体的に説明する。図1は、実施例1における自己位置推定装置の概要および特徴を説明するための図である。
[Outline and Features of Self-Position Estimating Device in Embodiment 1]
First, the main features of the self-position estimation apparatus according to the first embodiment will be specifically described with reference to FIG. FIG. 1 is a diagram for explaining the outline and features of the self-position estimation apparatus according to the first embodiment.
実施例1における自己位置推定装置は、入力画像に含まれる複数のランドマーク間ごとに当該入力画像の撮像位置である自己位置を中心とした各ランドマーク間の狭角をそれぞれ算出し、当該算出した各狭角から自己位置として拘束される拘束円をそれぞれ算出して当該自己位置を推定することを概要とする。ここで、「ランドマーク」とは、自己位置を推定するために目印として使用されるものであり、例えばビルディングや道路標識などが挙げられる。また、「自己位置」とは、撮像装置(もしくは撮像装置が搭載される車両)が存在する場所の情報であり、例えば車両が位置する緯度と経度などがこれに当たる。また、「挟角」とは、車両と2つのランドマークからなる三角形のうち、車両とランドマークを結ぶ2つの辺によって挟まれる角度のことである。また、「拘束円」とは、2つのランドマークの位置情報と、「挟角」によって規定される円であり、その円周上に撮像装置が存在する場所の情報である「自己位置」が存在する。 The self-position estimation apparatus according to the first embodiment calculates a narrow angle between landmarks centered on a self-position that is an imaging position of the input image for each of a plurality of landmarks included in the input image, and calculates the calculation. The outline is to calculate the restraint circle restrained as the self-position from each narrow angle and estimate the self-position. Here, the “landmark” is used as a landmark for estimating the self position, and examples thereof include a building and a road sign. The “self position” is information on a location where the image pickup apparatus (or a vehicle on which the image pickup apparatus is mounted) exists. For example, latitude and longitude where the vehicle is located correspond to this. In addition, the “squeezed angle” is an angle between two sides connecting the vehicle and the landmark among the triangle composed of the vehicle and the two landmarks. The “constrained circle” is a circle defined by the position information of the two landmarks and “the included angle”, and the “self position” that is information on the location where the imaging device exists on the circumference of the circle. Exists.
ここで、本発明は、自己位置推定精度を向上させることに主たる特徴がある。この主たる特徴について簡単に説明すると、実施例1における自己位置推定装置は、複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出する。具体的には、図1の(A)に示すように、ランドマーク間の挟角を、ランドマークの幅に基づいた最大挟角と最小挟角から規定される幅をもった角度として算出する。なお、図1では、車両に搭載されている撮像装置から自己位置推定装置に入力された入力画像に、ランドマーク1、ランドマーク2、ランドマーク3の3つのランドマークが検出された場合を例に説明しており、図1の(A)では、ランドマーク1とランドマーク2とについて最大挟角と最小挟角とを求める場合を表しているが、同様にランドマーク1とランドマーク3、ランドマーク2とランドマーク3とについても最大挟角と最小挟角とを算出する。
Here, the present invention is mainly characterized in improving self-position estimation accuracy. This main feature will be briefly described. The self-position estimation apparatus according to the first embodiment determines the maximum value of the included angle between the landmarks from the farthest distance and the nearest distance between the landmarks for each of the plurality of landmarks. And the minimum included angle indicating the minimum value of the included angle is calculated. Specifically, as shown in FIG. 1A, the included angle between the landmarks is calculated as an angle having a width defined from the maximum included angle and the minimum included angle based on the width of the landmark. . FIG. 1 shows an example in which three landmarks of
続いて、実施例1における自己位置推定装置は、複数のランドマーク間ごとに、上記で算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出する。具体的には、図1の(B)に示すように、算出された最大挟角と最小挟角とともに、後述するランドマークの絶対位置情報に基づき、最大挟角拘束円と最小挟角拘束円を算出する。この最大挟角拘束円と最小挟角拘束円により包囲される領域が、撮像位置である自己位置が存在する可能性のある領域となる。ここでランドマークの「絶対位置情報」とは、例えばランドマークが位置する緯度および経度がこれに対応する。 Subsequently, the self-position estimation apparatus according to the first embodiment includes a maximum narrow-angle constraining circle determined from the maximum narrow angle based on each of the maximum included angle and the minimum included angle calculated between the plurality of landmarks, and A minimum narrow angle constrained circle determined from the minimum narrow angle is calculated. Specifically, as shown in FIG. 1 (B), the maximum included angle constrained circle and the minimum included angle constrained circle based on the absolute position information of landmarks described later together with the calculated maximum included angle and minimum included angle. Is calculated. A region surrounded by the maximum included angle constrained circle and the minimum included angle constrained circle is a region where the self-position that is the imaging position may exist. Here, the “absolute position information” of the landmark corresponds to, for example, the latitude and longitude at which the landmark is located.
続いて、実施例1における自己位置推定装置は、複数のランドマーク間ごとに、上記で算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、最大挟角と最小挟角との間で各角度における狭角としての尤度を規定した尤度モデルを適用して、領域内の座標位置ごとに前記自己位置としての可能性を示すスコアを算出する。具体的には、最大挟角と最小挟角との中心値である中心挟角から、中心挟角拘束円を算出し、この中心挟角拘束円を利用してスコアを算出する。すなわち、図1の(C)に示すように、最大挟角拘束円および最小挟角拘束円によって包囲される領域全体に、尤度モデルから算出されるスコアを算出する。なお、図1の(C)では、中心挟角拘束円の中心を通る直線と最大挟角拘束円との交点である交点Aと最小挟角拘束円との交点である交点Bからなる線分ABに沿って算出されたスコアをグラフで示す。また、ここで示すのは、単放性の曲線からなる尤度モデルから算出したスコアである。さらに、x−y平面は予めグリッドに分割されており、線分ABが通る座標位置に対応するグリッドに対し、スコア付けを行っている。 Subsequently, the self-position estimation apparatus according to the first embodiment includes the maximum included angle and the minimum included in the region surrounded by the maximum included angle restricted circle and the minimum included angle restricted circle calculated above for each of the plurality of landmarks. A likelihood model that defines the likelihood as a narrow angle at each angle with respect to the angle is applied, and a score indicating the possibility as the self-position is calculated for each coordinate position in the region. Specifically, a center included angle constraint circle is calculated from the center included angle that is the center value of the maximum included angle and the minimum included angle, and a score is calculated using the center included angle restricted circle. That is, as shown in FIG. 1C, the score calculated from the likelihood model is calculated for the entire region surrounded by the maximum included angle constraint circle and the minimum included angle constraint circle. In FIG. 1C, a line segment composed of an intersection point A, which is an intersection point between a straight line passing through the center of the center included angle constraint circle and the maximum included angle constraint circle, and an intersection point B between the minimum included angle constraint circle. The score calculated along AB is shown in a graph. Moreover, what is shown here is a score calculated from a likelihood model consisting of a single-release curve. Further, the xy plane is divided into grids in advance, and scoring is performed on the grid corresponding to the coordinate position through which the line segment AB passes.
続いて、実施例1における自己位置推定装置は、複数のランドマーク間ごとに算出されたスコアを座標位置ごとに加算する。具体的には、図1の(D)に示すように、ランドマーク間ごとに算出されグリッドに対し対応付けられたスコアを、あらためてグリッドごとに加算する。なお、図1の(D)では、ランドマーク1とランドマーク2とから算出された最大挟角拘束円および最小挟角拘束円によって包囲される領域に対し算出されたスコアと、ランドマーク2とランドマーク3とから算出された最大挟角拘束円および最小挟角拘束円によって包囲される領域に対し算出されたスコアとを加算する場合を示している。また、図1の(D)では、ランドマーク1とランドマーク2とから規定される最大挟角拘束円とランドマーク2とランドマーク3とから規定される最大挟角拘束円の交点である交点Cと、ランドマーク1とランドマーク2とから規定される最小挟角拘束円とランドマーク2とランドマーク3とから規定される最小挟角拘束円の交点である交点Dからなる線分CDに沿って算出したスコアと、その加算したスコアのパターンをグラフで示している。
Subsequently, the self-position estimation apparatus according to the first embodiment adds the score calculated for each of the plurality of landmarks for each coordinate position. Specifically, as shown in FIG. 1D, a score calculated for each landmark and associated with the grid is added again for each grid. In FIG. 1D, the score calculated for the area surrounded by the maximum included angle constrained circle and the minimum included angle constrained circle calculated from the
続いて、実施例1における自己位置推定装置は、上記で加算されたスコアに基づいて、当該スコアが最大となる座標位置を自己位置として推定する。すなわち、実施例1における自己位置推定装置は、すべての座標位置(グリッド)において、複数のランドマーク間から算出し加算したスコアから、最大値を示す場所を自己推定位置として出力する。具体的には、図1の(E)では、ランドマーク1とランドマーク2とから算出されたスコアと、ランドマーク2とランドマーク3とから算出されたスコアを加算した結果に基づいて、最大値となった座標位置(グリッド)を自己推定位置として出力している。
Subsequently, the self-position estimation apparatus according to the first embodiment estimates the coordinate position where the score becomes the maximum as the self-position based on the score added above. In other words, the self-position estimation apparatus according to the first embodiment outputs, as a self-estimated position, a place indicating the maximum value from the scores calculated and added between a plurality of landmarks at all coordinate positions (grids). Specifically, in FIG. 1E, based on the result of adding the score calculated from the
このようなことから、実施例1における自己位置推定装置は、挟角の算出誤差の影響を低減させることができ、上記した主たる特徴の通り、自己位置推定精度を向上させることが可能になる。 For this reason, the self-position estimation apparatus according to the first embodiment can reduce the influence of the calculation error of the included angle, and can improve the self-position estimation accuracy as described above.
[実施例1における自己位置推定装置の構成]
次に、図2〜13を用いて、実施例1における自己位置推定装置を説明する。図2は、実施例1における自己位置推定装置の構成を示すブロック図であり、図3は、ランドマーク検出結果記憶部に記憶されるランドマーク検出結果を示す図であり、図4は、ランドマーク情報記憶部に記憶されるランドマーク情報を示す図であり、図5は、ランドマーク検索結果記憶部に記憶されるランドマーク検索結果を示す図であり、図6は、狭角算出処理部による狭角算出処理を説明するための図であり、図7は、狭角算出結果記憶部に記憶される狭角算出結果を示す図であり、図8は拘束円算出処理部による拘束円算出処理を説明するための図であり、図9は、拘束円算出結果記憶部に記憶される拘束円算出結果を示す図であり、図10は、尤度モデル記憶部に記憶されている尤度モデルを示す図であり、図11は、投票処理部による投票処理を説明するための図であり、図12は、投票処理結果記憶部に記憶される投票処理結果を示す図であり、図13は、自己位置推定部による自己位置推定を説明するための図である。
[Configuration of Self-position Estimation Device in Embodiment 1]
Next, the self-position estimation apparatus according to the first embodiment will be described with reference to FIGS. FIG. 2 is a block diagram illustrating a configuration of the self-position estimation apparatus according to the first embodiment, FIG. 3 is a diagram illustrating a landmark detection result stored in a landmark detection result storage unit, and FIG. FIG. 5 is a diagram showing landmark information stored in the mark information storage unit, FIG. 5 is a diagram showing landmark search results stored in the landmark search result storage unit, and FIG. 6 is a narrow angle calculation processing unit. FIG. 7 is a diagram illustrating a narrow angle calculation result stored in the narrow angle calculation result storage unit, and FIG. 8 is a constraint circle calculation by the constraint circle calculation processing unit. FIG. 9 is a diagram for explaining the processing, FIG. 9 is a diagram illustrating a constraint circle calculation result stored in the constraint circle calculation result storage unit, and FIG. 10 is a likelihood stored in the likelihood model storage unit. FIG. 11 is a diagram showing a model, and FIG. FIG. 12 is a diagram showing the voting process result stored in the voting process result storage unit, and FIG. 13 is a diagram for explaining the self-position estimation by the self-position estimating unit. FIG.
図2に示すように、実施例1における自己位置推定装置10は、カメラ画像入力部11と、自己位置推定出力部12と、入出力部I/F部13と、記憶部20と、処理部30とから構成され、さらに、カーナビ出力装置40と、衝突回避車両制御装置50とに接続される。
As illustrated in FIG. 2, the self-
カメラ画像入力部11は、処理部20による各種処理に用いるカメラ画像データを入力する。具体的には、ランドマークが撮像されていて自己位置推定に用いられる画像データであって、例えば、JPEG(Joint Photographic Experts Group)などの形式で保存された画像データなどをカメラから直接入力する。なお自己位置推定装置10は、図示しない入力部として、キーボードや、タッチパネルを備えており、これにより自己位置推定要求を受け付けるようにしている。
The camera
自己推定位置出力部12は、後述する自己位置推定部36による処理結果として得られる自己推定位置を、カーナビ出力装置40や衝突回避車両制御装置50に出力する。具体的には、自己位置推定位置として地球上における座標、例えば経度、経度を出力する。
The self-estimated
入出力制御I/F部13は、カメラ画像入力部11および自己推定位置出力部12と、記憶部20および処理部30との間におけるデータ転送を制御する。
The input / output control I /
記憶部20は、処理部30による各種処理に用いるデータと、処理部30による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、図2に示すように、ランドマーク検出結果記憶部21と、ランドマーク情報記憶部22と、ランドマーク検索結果記憶部23と、カメラパラメータ記憶部24と、挟角算出結果記憶部25と、拘束円算出結果記憶部26と、尤度モデル記憶部27と、投票処理結果記憶部28とを備える。なお、各部については、後に詳述する。
The
処理部30は、入出力制御I/F部13から転送された画像データに基づき各種処理を実行し、特に本発明に密接に関連するものとしては、図2に示すように、ランドマーク検出処理部31と、ランドマーク検索処理部32と、挟角算出処理部33と、拘束円算出処理部34と、投票処理部35と、自己位置推定部36とを備える。ここで、挟角算出処理部33は、特許請求の範囲に記載の「挟角算出手順」に対応し、拘束円算出処理部34は、同じく「拘束円算出手順」に対応し、投票処理部35は、同じく「スコア算出手順」に対応し、自己位置推定部36は、同じく「自己位置推定手順」に対応する。なお、各部については、以下に詳述する。
The
ランドマーク検出処理部31は、入力された画像データに含まれるランドマークを検出する。具体的には、公知のパターン認識の手法を用いて、画像データのなかからビルディングや標識などのランドマークを検出し、画像データにおけるランドマークの座標位置、幅、高さおよび画像特徴量などの情報を算出する。なお、「座標位置(X座標およびY座標)、幅および高さ」は、画面上の画像データにおいてランドマークが占める範囲を示すものであって、特にX座標はランドマークの左端の座標位置を示すものである。また、「画像特徴量」とは、検出されたランドマークの画像そのものでも、使用したパターン認識の手法によって算出される情報(例えば勾配ヒストグラムやDCT(Discrete Cosine Transform)係数など)でも、どちらでも良く、検出されたランドマークを識別するために付与される情報である。これらの算出結果は、後述するランドマーク検出結果記憶部21に記憶される。
The landmark
ランドマーク検出結果記憶部21は、上述したランドマーク検出処理部31による処理結果を記憶する。具体的には、図3に示すように、「ランドマーク領域ID」、「X座標、Y座標」、「幅」、「高さ」および「画像特徴量」を対応付けて記憶する。ここで図3における「ランドマーク領域ID」とは、検出されたランドマークごとに付与されるIDである。また、「X座標、Y座標」、「幅」、「高さ」および「画像特徴量」とは、上記したランドマーク検出処理部31により、検出されたランドマークの画像から算出されるものである。
The landmark detection
ランドマーク情報記憶部22は、後述するランドマーク検索処理部32による処理に用いるデータを記憶する。具体的には、ランドマーク情報記憶部22は、例えばランドマークとして使用可能なビルや標識を、あらかじめ高精度GPS(Global Positioning Systems)装置による測位することで得られた情報と、撮像装置により撮影することにより得られた情報とを記憶する。すなわち、図4に示すように、「ランドマークID」、「X座標、Y座標」、「画像データ」および「画像特徴量」を対応付けて記憶する。ここで、図4における「ランドマークID」とは、ランドマーク情報記憶部22に保持されているランドマークごとに付与されるIDである。また、「X座標、Y座標」は、高精度GPS装置によって得られたランドマークの測位情報であり、例えば緯度および経度がこれらに対応する。また、「画像データ」は、撮像装置によって得られたランドマークの画像データであり、また「画像特徴量」は、「画像データ」から公知のパターン認識の手法によって算出される情報(例えば勾配ヒストグラムやDCT(Discrete Cosine Transform)係数など)であり、上述したランドマーク検出結果記憶部21に記憶するランドマークの画像特徴量と同質のものである。
The landmark information storage unit 22 stores data used for processing by a landmark
ランドマーク検索処理部32は、入力された画像データに撮像されているランドマークから、既知のランドマークを検索する。具体的には、ランドマーク検出結果記憶部21に記憶されている画像特徴量と、ランドマーク情報記憶部22に記憶されている画像特徴量とを照合して、画像特徴量が一致する「画像データに撮像されているランドマーク」と「既知のランドマーク」とを検索し対応付ける。その結果は、後述するランドマーク検索結果記憶部23に記憶する。
The landmark
ランドマーク検索結果記憶部23は、ランドマーク検索処理部32の処理結果を記憶する。具体的には、図5に示すように、「ランドマーク領域ID」および「ランドマークID」を対応付けて記憶する。ここで「ランドマーク領域ID」とは、ランドマーク検出結果記憶部21に保持されている検出されたランドマークごとに付与されるIDであり、図3における「ランドマーク領域ID」に対応する。また、「ランドマークID」とは、ランドマーク情報記憶部22に保持されているランドマークごとに付与されるIDであり、図4における「ランドマークID」に対応する。
The landmark search
カメラパラメータ記憶部24は、撮像装置であるカメラが使用しているカメラレンズから定義されるパラメータを記憶する。具体的には、撮像装置であるカメラが使用しているカメラレンズから定義される1ピクセル当りの角度であり、後述する狭角算出処理部33の挟角算出処理に用いられる。
The camera parameter storage unit 24 stores parameters defined by camera lenses used by a camera that is an imaging device. Specifically, it is an angle per pixel defined by a camera lens used by a camera that is an imaging device, and is used for a narrow angle calculation process of the narrow angle
挟角算出処理部33は、複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出し、その結果を、後述する狭角算出結果記憶部25に記憶する。具体的には、ランドマーク検出結果記憶部21が記憶しているランドマークの「X座標と幅」およびカメラパラメータ記憶部24が記憶している「カメラパラメータ」に基づいて、画像に含まれるランドマーク間の最大挟角と最小挟角とを算出する。すなわち、図6の(A)に示すように、ランドマーク検出結果記憶部21に記憶されているランドマークiのX座標「x_i」および幅「w_i」、ランドマークjのX座標「x_j」および幅「w_j」から、ランドマークiとランドマークjの最大挟角である「θ_ij_max」と、最小挟角である「θ_ij_min」とを算出する。ここで、図6の(B)では、カメラパラメータ記憶部24に格納されている撮像装置であるカメラが使用しているカメラレンズから定義されるパラメータである、1ピクセル当りの角度Δθ(デルタシータ)に基づき、最大挟角「θ_ij_max」と、最小挟角「θ_ij_min」を算出する数式を示している。
The included angle
挟角算出結果記憶部25は、上述した挟角算出処理部33の処理結果を記憶する。具体的には、図7に示すように、「ランドマーク領域IDの組み合わせ(L、R)」、「最小挟角(°)」および「最大挟角(°)」を対応付けて記憶する。ここで図7における「ランドマーク領域IDの組み合わせ(L、R)」とは、処理されている2つの検出されたランドマークの「ランドマーク領域ID」を入力画像において相対的に左(L)に位置するランドマーク領域IDと、入力画像において相対的に右(R)にあるランドマーク領域IDの順に表記したものである。また、「最小挟角(°)」および「最大挟角(°)」は、「ランドマーク領域IDの組み合わせ(L、R)」について挟角算出処理部33で算出された、最小挟角と最大挟角に対応する。
The included angle calculation
拘束円算出処理部34は、複数のランドマーク間ごとに、上記で算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出し、その結果を、後述する拘束円算出結果記憶部26に記憶する。具体的には、ランドマーク検索結果記憶部23が記憶しているランドマークの「X座標、Y座標(例えば緯度および経度)」および挟角算出結果記憶部25が記憶している「最大挟角および最小挟角」に基づき、最大挟角拘束円と最小挟角拘束円を算出し、自己位置が存在する可能性のある領域を算出する。
The constraining circle
すなわち、図8の(A)に示すように、2つのランドマークの位置情報および挟角が与えられれば、自己位置が存在する拘束円を算出することができる。より詳細には、図8の(A)に示すように、ランドマーク検索結果記憶部23に記憶されている「ランドマーク領域ID」が「IL_i1」の絶対位置情報である「Loc_i=(X_i、Y_i)」と、「ランドマーク領域ID」が「IL_i1」の絶対位置情報である「Loc_j=(X_j、Y_j)」と「挟角(θ_ij)」とに基づき、これらの条件を満たす拘束円をあらわす「拘束円パラメータ(λ_ij)」を算出する。なお、「拘束円パラメータ(λ_ij)」は、その円の中心である「ベクトルO(θ_ij)」と半径である「r(θ_ij)」とのふたつの要素からなるパラメータである。図8の(B)では、拘束円パラメータの二つの要素を算出する数式を示す。なお「θ_ij」は挟角算出結果記憶部25が保持している最大挟角「θ_ij_max」と、最小挟角「θ_ij_min」の間にある角度である。これによって、拘束円算出処理部34は、最大挟角から定まる最大挟角拘束円と、最小挟角から定まる最小挟角拘束円とを算出する。なお、拘束円算出処理部34は、後述する投票処理部35においてスコア算出の際に利用され、最大挟角と最小挟角の中心値である中心挟角から定まる中心挟角拘束円の拘束円パラメータも予め算出する。
That is, as shown in FIG. 8A, if the position information and the included angle of two landmarks are given, a constraining circle in which the self position exists can be calculated. More specifically, as shown in FIG. 8A, “Loc_i = (X_i, X_i, which is absolute position information whose“ landmark area ID ”stored in the landmark search
拘束円算出結果記憶部26は、拘束円算出処理部34によって算出された結果を記憶する。具体的には、図9に示すように、「最小値時半径」、「最小値時中心」、「最大値時半径」、「最大値時中心」、「中心値時半径」および「中心値時中心」を対応付けて記憶する。ここで、図9における「最小値時半径」および「最小値時中心」は、最小挟角拘束円の拘束円パラメータであり、「最大値時半径」および「最大値時中心」は、最大挟角拘束円の拘束円パラメータであり、「中心値時半径」および「中心値時中心」は、中心挟角拘束円の拘束円パラメータである。ここでは、予め算出された中心挟角拘束円の拘束円パラメータが、最小挟角拘束円の拘束円パラメータと最大挟角拘束円の拘束円パラメータとともに記憶されている。
The constraint circle calculation result storage unit 26 stores the result calculated by the constraint circle
尤度モデル記憶部27は、後述する投票処理部35のスコア算出に適用される尤度モデルを記憶する。具体的には、尤度モデル記憶部27は、図10の(B)に示すように単放性の曲線で規定される尤度モデルを記憶する。これについて詳細に説明すると、図10の(A)は、図6の(A)で示したものと同じであり、ランドマークの幅に基づき最大挟角である「θ_ij_max」と最小挟角である「θ_ij_min」とが与えられることを示している。図10の(B)では、最大挟角と最小挟角との間の各角度に対し、中心挟角である「θ_ij_μ」が最大尤度である単放性の曲線からなる尤度モデルをグラフで示している。また、図10の(C)では、前記尤度モデル関数(P(θ_ij))を算出する数式を示している。
The likelihood
投票処理部35は、複数のランドマーク間ごとに、上記で算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、最大挟角と最小挟角との間で各角度における狭角としての尤度を規定した尤度モデルを適用して、領域内の座標位置ごとに自己位置としての可能性を示すスコアを算出する。具体的には、図11に示すように、拘束円算出結果記憶部26に記憶されている「最小挟角拘束円の拘束円パラメータ」、「最大挟角拘束円の拘束円パラメータ」および「中心挟角拘束円の拘束円パラメータ」と、尤度モデル記憶部27に記憶されている「尤度モデル」とに基づき、最大挟角拘束円と最小挟角拘束円によって包囲される領域全体に、尤度モデルから算出されるスコアを算出する。すなわち、図11の(A)では、中心挟角拘束円の中心を通る直線と最大挟角拘束円との交点である交点Aと最小挟角拘束円との交点である交点Bからなる線分ABに沿って、尤度モデル記憶部27に記憶されている尤度モデルを適用して算出したスコアを投票することを示している。図11(B)では、線分ABに図10の(B)で示した尤度モデルを適応して算出されたスコアの形状をグラフで示し、また、図11の(C)では、線分ABからの距離uにおけるスコアを算出する関数P´(u)を示している。
The
ここで、上記した投票処理は、最大挟角拘束円と最小挟角拘束円とによって包囲される領域全体に対し行われるが、その手順は以下のステップにより行われる。まずは、中心挟角拘束円の円周に均等間隔で点をあたえる。続いて、中心挟角拘束円の中心と上記の点からなる直線と最大挟角拘束円との交点である交点Aと最小挟角拘束円との交点である交点Bとを算出する。続いて、線分AB上の点に対し、上記図11の(C)で示した関数によりスコアを算出する。続いて、線分ABが存在するグリッド(GRID(x,y))を算出し、各グリッドに対し対応するスコアを対応付ける。この処理を、例えば中心挟角拘束円の円周に均等間隔で点が100個あたえられたとすると、100個の点すべてについてステップ2からステップ4の処理を行う。ただし、例えば34個目の点の処理により既に投票されていたグリッドに対し、35個目の点の処理でも投票することができる場合は、投票をしないこととする。これは、ひとつのランドマーク間での処理において、スコアが重複して投票されることを防ぐものである。ただし、別のランドマーク間の処理においての投票は許される。上記したようなスコア投票処理を行うことで、一つのランドマーク間において、図12に示すような投票スコアが得られる。
Here, the voting process described above is performed on the entire region surrounded by the maximum included angle constraint circle and the minimum included angle constraint circle, and the procedure is performed according to the following steps. First, the points are given at equal intervals around the circumference of the center included angle constraining circle. Subsequently, the intersection point A, which is the intersection of the center of the center included angle constraint circle, the straight line composed of the above points, and the maximum included angle constraint circle and the intersection point of the minimum included angle constraint circle is calculated. Subsequently, for the points on the line segment AB, a score is calculated by the function shown in FIG. Subsequently, a grid (GRID (x, y)) where the line segment AB exists is calculated, and a corresponding score is associated with each grid. For example, if 100 points are given at equal intervals on the circumference of the center included angle constraining circle, the processing from
また、投票処理部35は、複数のランドマーク間ごとに算出されたスコアを座標位置ごとに加算する。具体的には、図13に示すように、ランドマーク間ごとに算出されグリッドに対し対応付けられたスコアを、あらためてグリッドごとに加算する。
In addition, the
投票処理結果記憶部28は、投票処理部35の処理結果を記憶する。具体的には、図12や図13の(B)に示すように、最大挟角拘束円と最小挟角拘束円とによって包囲される領域全体に対応するグリッドに対して投票されたスコアを記憶する。図12の「ランドマーク1と2の投票スコア」や、図13の(B)の「ランドマーク1と2の投票スコア」および「ランドマーク2と3の投票スコア」では、グリッドことにスコアが対応付けられている様子を表形式で示している。
The voting processing result storage unit 28 stores the processing result of the
自己位置推定部36は、上記で算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を自己位置として推定する。具体的には、投票処理結果記憶部28に記憶されている加算後の結果に基づき、最大値を示す位置を自己推定位置として出力する。図13は、「ランドマーク1とランドマーク2」および「ランドマーク2とランドマーク3」を処理し、自己位置を推定する場合を示す。図13の(A)に示すように、投票処理部35の処理によって、「ランドマーク1とランドマーク2」および「ランドマーク2とランドマーク3」について、それぞれの最大挟角拘束円および最小挟角拘束円によって規定される領域に対応するグリッドにスコアが算出され、加算されている。ここで、自己位置推定部36は、図13の(B)の「ランドマーク間ごとのスコア加算」の結果(投票処理結果記憶部28に記憶されているもの)のうち、最大値を示すグリッドを自己位置として推定する。ここでは、GRID(X,Y)=(3,4)の座標位置が自己位置として推定されている。なお、当該座標位置は、ランドマークの絶対位置情報から、具体的に緯度および経度に変換されてもよい。
Based on the score calculated and added as described above, the self-
カーナビ出力装置40は、自己推定位置出力部12の出力結果を、カーナビ装置(カーナビゲーション装置ともいう)に出力する。例えば、カーナビ装置の画面上に、自己推定位置として算出された緯度や経度の情報を、既存の地図情報とともに表示する。
The car navigation output device 40 outputs the output result of the self-estimated
衝突回避車両制御装置50は、車両の動作を制御する。例えば、道路の位置情報および形状情報をカーナビ装置が保有する場合には、カーナビ装置から道路の位置情報および形状情報を取得するとともに、自己推定位置出力部12の出力結果を取得し、道路の位置情報および形状情報と、自己推定位置出力部12の出力結果との情報に基づいて、車両が道路外に突入する可能性があるかどうかを判定し、道路外に突入する可能性がありと判断した場合は、道路外への突入を回避するために、車両の動作停止制御を行う。
The collision avoidance
[実施例1における自己位置推定装置による処理の手順]
次に、図14を用いて、実施例1における自己位置推定装置による処理を説明する。図14は、実施例1における自己位置推定装置の処理の手順を示すフローチャートである。
[Procedure for Processing by Self-position Estimation Device in Embodiment 1]
Next, processing performed by the self-position estimation apparatus according to the first embodiment will be described with reference to FIG. FIG. 14 is a flowchart illustrating a processing procedure of the self-position estimation apparatus according to the first embodiment.
まず、実施例1における自己位置推定装置10は、キーボードやタッチパネルから自己位置推定要求を受け付けると(ステップS1401肯定)、ランドマーク検出処理部31は、入力された画像データに含まれるランドマークを検出する(ステップS1402)。
First, when the self-
そして、ランドマーク検索処理部32は、入力された画像データに撮像されているランドマークから、既知のランドマークを検索する(ステップS1403)。
Then, the landmark
続いて、挟角算出処理部33は、上記で検索された複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出する挟角算出処理を行う(ステップS1404)。すなわち、ランドマーク検出結果記憶部21が記憶しているランドマークの「X座標と幅」およびカメラパラメータ記憶部24が記憶している「カメラパラメータ」に基づいて、画像に含まれるランドマーク間の最大挟角と最小挟角とを算出する。
Subsequently, the included angle
そして、拘束円算出処理部34は、複数のランドマーク間ごとに、上記で算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出する(ステップS1405)。すなわち、ランドマーク検索結果記憶部23が記憶しているランドマークの「X座標、Y座標(例えば緯度および経度)」および挟角算出結果記憶部25が記憶している「最大挟角および最小挟角」に基づき、最大挟角拘束円と最小挟角拘束円を算出し、自己位置が存在する可能性のある領域を算出する。
Then, the constrained circle
続いて、投票処理部35は、複数のランドマーク間ごとに、上記で算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、最大挟角と最小挟角との間で各角度における狭角としての尤度を規定した尤度モデルを適用して、領域内の座標位置ごとに自己位置としての可能性を示すスコアを算出するスコア算出処理を行う(ステップS1406)。すなわち、拘束円算出結果記憶部26に記憶されている「最小挟角拘束円の拘束円パラメータ」、「最大挟角拘束円の拘束円パラメータ」および「中心挟角拘束円の拘束円パラメータ」と、尤度モデル記憶部27に記憶されている「尤度モデル」とに基づき、最大挟角拘束円と最小挟角拘束円によって包囲される領域全体に、尤度モデルから算出されるスコアを算出する。
Subsequently, the
そして、上記投票処理部35は、複数のランドマーク間ごとに算出されたスコアを座標位置ごとに加算する(ステップS1407)。すなわち、ランドマーク間ごとに算出されグリッドに対し対応付けられたスコアを、あらためてグリッドごとに加算する。
Then, the
そして、自己位置推定部36は、上記で算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を自己位置として推定し(ステップS1408)、処理を終了する。すなわち、投票処理結果記憶部28に記憶されている「ランドマーク間ごとのスコア加算」の結果のうち、最大値を示すグリッドを自己位置として推定し、その位置を自己位置として出力し、処理を終了する。
Then, based on the score calculated and added as described above, the self-
[実施例1の効果]
上記したように、実施例1によれば、複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出し、複数のランドマーク間ごとに、挟角算出手順によって算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出し、複数のランドマーク間ごとに、最大挟角拘束円および最小挟角拘束円で包囲される領域に、最大挟角と最小挟角との間で各角度における狭角としての尤度を規定した尤度モデルを適用して、領域内の座標位置ごとに自己位置としての可能性を示すスコアを算出するとともに、複数のランドマーク間ごとに算出されたスコアを座標位置ごとに加算し、当該スコアが最大となる座標位置を自己位置として推定するので、挟角の算出誤差の影響を低減させことができ、自己位置推定精度を向上させることが可能になる。
[Effect of Example 1]
As described above, according to the first embodiment, for each of a plurality of landmarks, from the farthest distance and the nearest distance between the landmarks, The minimum included angle indicating the minimum included angle is calculated, and the maximum narrowness determined from the maximum narrow angle based on the maximum included angle and the minimum included angle calculated by the included angle calculation procedure for each of the plurality of landmarks. Calculates the minimum angle and the minimum angle determined from the minimum angle, and the maximum angle and the minimum angle in the area surrounded by the maximum angle and the minimum angle constraint circle between multiple landmarks. Applying a likelihood model that defines the likelihood as a narrow angle at each angle between the included angle and calculating a score indicating the possibility of self-position for each coordinate position in the area, and a plurality of lands Calculated for each mark Since the score is added for each coordinate position and the coordinate position where the score is maximum is estimated as the self position, the influence of the calculation error of the included angle can be reduced and the self position estimation accuracy can be improved. Become.
また、実施例1によれば、最大挟角と最小挟角との間で各角度における狭角としての尤度を規定した尤度モデルを適用して、領域内の座標位置ごとに自己位置としての可能性を示すスコアを算出するので、例えば実施例1で適用した最大挟角と最小挟角との間で尤度を単放性の曲線で規定した尤度モデルの場合、2つのランドマークの端によって規定される最大挟角拘束円もしくは最小挟角拘束円の円周部が自己位置とされることはなく、自己位置推定の精度を向上させることが可能になる。 Further, according to the first embodiment, a likelihood model that defines the likelihood as a narrow angle at each angle between the maximum included angle and the minimum included angle is applied, and the self position is determined for each coordinate position in the region. In the case of a likelihood model in which the likelihood is defined by a single-release curve between the maximum included angle and the minimum included angle applied in the first embodiment, for example, two landmarks are calculated. The circumferential portion of the maximum included angle constrained circle or the minimum included angle constrained circle defined by the end of the position is not self-positioned, and the accuracy of self-position estimation can be improved.
また、実施例1によれば、例えば人工衛星からの電波がGPS装置に届かないような場所を移動中の車両においても、撮動装置からの入力画像データだけで、精度の高い自己位置推定を行うことが可能になる。 Further, according to the first embodiment, for example, even in a vehicle moving in a place where radio waves from an artificial satellite do not reach the GPS device, highly accurate self-position estimation is performed only with input image data from the imaging device. It becomes possible to do.
また、実施例1によれば、撮動装置からの入力画像データだけで、GPS装置による自己位置推定より高い解像度で自己位置推定を行うので、例えば、道路外への突入を回避することが可能になる。 Further, according to the first embodiment, since the self-position estimation is performed with higher resolution than the self-position estimation by the GPS apparatus using only the input image data from the imaging device, for example, it is possible to avoid the entry to the outside of the road. become.
上述した実施例1では、予め用意された一つの尤度モデルを適用していたが、実施例2では、複数の尤度モデルのなかから、ランドマークの撮像状態に応じて尤度モデルを選択し、選択した尤度モデルを適用する自己位置推定装置について説明する。 In the first embodiment described above, one likelihood model prepared in advance is applied, but in the second embodiment, a likelihood model is selected from a plurality of likelihood models according to the imaging state of the landmark. A self-position estimation apparatus that applies the selected likelihood model will be described.
[実施例2における自己位置推定装置の概要および特徴]
まず最初に、図15を用いて、実施例2における自己位置推定装置の主たる特徴を具体的に説明する。図15は、実施例2における自己位置推定装置の概要および特徴を説明するための図である。
[Outline and Features of Self-Location Estimation Device in Embodiment 2]
First, the main features of the self-position estimation apparatus according to the second embodiment will be specifically described with reference to FIG. FIG. 15 is a diagram for explaining the outline and features of the self-position estimation apparatus according to the second embodiment.
実施例2における自己位置推定装置は、最大狭角と最小狭角との間で尤度を単放性の曲線で規定した尤度モデルを適用してスコアを算出し、入力画像におけるランドマークの撮像状態が良好でない場合には、最大狭角と最小狭角との間で尤度を一様直線で規定した尤度モデルを適用してスコアを算出する。 The self-position estimation apparatus according to the second embodiment calculates a score by applying a likelihood model in which the likelihood is defined by a single-release curve between the maximum narrow angle and the minimum narrow angle, and the landmark in the input image is calculated. When the imaging state is not good, a score is calculated by applying a likelihood model in which the likelihood is defined by a uniform straight line between the maximum narrow angle and the minimum narrow angle.
具体的には、図15に示すように、入力画像に検出されたランドマークの撮像状態を評価し、スコア算出処理を行う2つのランドマークの評価がともに「良」の場合は、最大狭角と最小狭角との間で尤度を単放性の曲線で規定した尤度モデルを適用してスコアを算出し、スコア算出処理を行う2つのランドマークの評価のどちらか一方が「悪」の場合は、最大狭角と最小狭角との間で尤度を一様直線で規定した尤度モデルを適用してスコアを算出する。 Specifically, as shown in FIG. 15, when the imaging state of the landmark detected in the input image is evaluated and the evaluation of the two landmarks for which score calculation processing is both “good”, the maximum narrow angle The score is calculated by applying a likelihood model in which the likelihood is defined by a single-release curve between the angle and the minimum narrow angle, and one of the two landmark evaluations that perform score calculation processing is “bad” In the case of, the score is calculated by applying a likelihood model in which the likelihood is defined by a uniform straight line between the maximum narrow angle and the minimum narrow angle.
なお、図15では、車両に搭載されている撮像装置から自己位置推定装置に入力された入力画像に、ランドマーク1、ランドマーク2、ランドマーク3の3つのランドマークが検出された場合を例に説明しており、入力画像に検出されたランドマーク1、ランドマーク2、ランドマーク3の画像データと、ランドマーク情報記憶部に記憶されていたランドマーク1、ランドマーク2、ランドマーク3の画像データとをそれぞれ比較して、評価を行っている。ここで、ランドマーク1およびランドマーク2の評価は「良」、ランドマーク3の評価は「悪」である。ランドマーク1およびランドマーク2のように、2つとも評価が「良」であるランドマーク間で処理を行う際には、単放性の曲線で規定した尤度モデルP1を適用し引き続きスコア算出処理を行う。ランドマーク2およびランドマーク3のように、少なくとも1つの評価が「悪」であるランドマーク間で処理を行う際には、一様直線で規定した尤度モデルP2を適用し引き続きスコアを算出する。
FIG. 15 shows an example in which three landmarks of
このようなことから、実施例2における自己位置推定装置は、撮像状態に応じて自動的に尤度モデルを選択することができ、自己位置推定精度を向上させることが可能になる。 For this reason, the self-position estimation apparatus according to the second embodiment can automatically select a likelihood model according to the imaging state, and can improve self-position estimation accuracy.
[実施例2における自己位置推定装置の構成]
次に、図16〜18を用いて、実施例2における自己位置推定装置を説明する。図16は、実施例2における自己位置推定装置の構成を示すブロック図であり、図17は、尤度モデル記憶部に格納されている選択尤度モデルを説明するための図であり、図18は、ランドマーク検出画像評価結果記憶部と選択尤度モデル記憶部に記憶されるランドマーク検出画像評価結果と選択尤度モデルとを説明するための図である。
[Configuration of Self-Position Estimation Device in Embodiment 2]
Next, the self-position estimation apparatus according to the second embodiment will be described with reference to FIGS. FIG. 16 is a block diagram illustrating a configuration of the self-position estimation apparatus according to the second embodiment, and FIG. 17 is a diagram for explaining a selection likelihood model stored in the likelihood model storage unit. These are the figures for demonstrating the landmark detection image evaluation result and selection likelihood model which are memorize | stored in a landmark detection image evaluation result memory | storage part and a selection likelihood model memory | storage part.
図16に示すように、実施例2における自己位置推定装置は、図2に示した実施例1における自己位置推定装置と基本的に同様であり、ランドマーク検出画像評価結果記憶部29と、選択尤度モデル記憶部210と、ランドマーク検出画像評価部37と、尤度モデル選択部38とを新たに備えているところが相違する。以下、これらを中心に説明する。
As shown in FIG. 16, the self-position estimation apparatus in the second embodiment is basically the same as the self-position estimation apparatus in the first embodiment shown in FIG. 2, and includes a landmark detection image evaluation
尤度モデル記憶部27は、最大狭角と最小狭角との間で尤度を単放性の曲線で規定した尤度モデルと、最大狭角と最小狭角との間で尤度を一様直線で規定した尤度モデルとを記憶する。具体的には、図17に示すように、尤度モデル記憶部27は、最大狭角と最小狭角との間で尤度を単放性の曲線で規定した尤度モデル尤度モデルP1(図17の(A))と、最大狭角と最小狭角との間で尤度を一様直線で規定した尤度モデルP2(図17の(B))とを記憶する。なお、ここでは尤度モデルP1を導く数式および尤度モデルP2を導く数式を、あわせて示す。
The likelihood
ランドマーク検出画像評価部37は、入力画像に検出されたランドマークの撮像状態を評価する。具体的には、ランドマーク検出結果記憶部21に記憶されているランドマーク検出画像データと、ランドマーク情報記憶部22に記憶されているランドマーク画像データとを比較して、ランドマーク検出画像の撮像状態を評価する。すなわち、図18に示すように、ランドマーク画像データ「Crop」と、ランドマーク検出画像「IL」との重なり具合を数値化する評価関数「dup」を用い、その数値があらかじめ設定した閾値(TH)より大きければ、「良」と評価し、小さければ「悪」と評価する。
The landmark detection
ランドマーク検出画像評価結果記憶部29は、ランドマーク検出画像評価部37によって評価されたランドマーク検出画像の評価結果を記憶する。具体的には、図18に示すように、「ランドマーク領域IDの組み合わせ(L、R)」、「最小挟角(°)」、「最大挟角(°)」、「検出状態(L、R)」および「選択モデル」を対応付けて記憶する。ここで図18における「ランドマーク領域IDの組み合わせ(L、R)」、「最小挟角(°)」および「最大挟角(°)」は、図7に示す「ランドマーク領域IDの組み合わせ(L、R)」、「最小挟角(°)」および「最大挟角(°)」と同じものであり、「検出状態(L、R)」は処理されている2つの検出されたランドマークのうち、相対的に左「L」に位置するランドマーク領域IDの画像データの評価結果と、入力画像において相対的に右「R」にあるランドマーク領域IDの画像データとの評価結果を順に表記したものである。ここでは、ランドマーク検出画像評価結果記憶部29に記憶される結果を判りやすく説明するために、挟角算出結果記憶部25に記憶される挟角算出結果とともに示している。なお、「選択モデル」については、選択尤度モデル記憶部210にて後述する。
The landmark detection image evaluation
尤度モデル選択部38は、ランドマーク検出画像評価結果記憶部29に記憶されているランドマーク検出画像評価結果に基づき、適用する尤度モデルを尤度モデル記憶部27から選択する。すなわち、ランドマーク検出画像評価結果記憶部29に記憶されているランドマーク検出画像評価結果において、スコア算出を行う2つのランドマークのうち両方とも「良」であれば、最大狭角と最小狭角の間で尤度を単放性の曲線で規定した尤度モデルP1を選択し、少なくともどちらか一方が「悪」ならば、最大狭角と最小狭角の間で尤度を一様直線で規定した尤度モデルP2を選択する。
The likelihood
選択尤度モデル記憶部210は、尤度モデル選択部38により選択された尤度モデルを記憶する。具体的には、図18に示すように、「ランドマーク領域IDの組み合わせ(L、R)」、「最小挟角(°)」、「最大挟角(°)」、「検出状態(L、R)」および「選択モデル」を対応付けて記憶する。ここで、図18において、「ランドマーク領域IDの組み合わせ(L、R)」、「最小挟角(°)」、「最大挟角(°)」および「検出状態(L、R)」は、上記ランドマーク検出画像評価結果記憶部29にて説明したものと同じであり、「選択モデル」は尤度モデル選択部38で選択された尤度モデルを示している。例えば図18に示すように、「IL_i1」と「IL_j1」では尤度モデルP1が選択され、「IL_i2」と「IL_j2」では尤度モデルP2が選択されたことを記憶する。なお、ここでは、選択尤度モデル記憶部210に記憶される結果を判りやすく説明するために、挟角算出結果記憶部25に記憶される挟角算出結果とともに示している。
The selection likelihood model storage unit 210 stores the likelihood model selected by the likelihood
投票処理部35は、入力画像におけるランドマークの撮像状態が良好である場合には、最大狭角と最小狭角との間で尤度を単放性の曲線で規定した尤度モデルを適用してスコアを算出し、入力画像におけるランドマークの撮像状態が良好でない場合には、最大狭角と最小狭角との間で尤度を一様直線で規定した尤度モデルを適用してスコアを算出する。具体的には、ランドマーク間ごとに、尤度モデルP1、もしくは尤度モデルP2が2つのランドマークの撮像状態に応じて自動的に選択され、適用された尤度モデルに応じたスコアが算出される。
The
[実施例2における自己位置推定装置による処理の手順]
次に、図19を用いて、実施例2における自己位置推定装置による処理を説明する。図19は、実施例2における自己位置推定装置の処理の手順を示すフローチャートである。
[Procedure of Processing by Self-position Estimation Device in Embodiment 2]
Next, processing performed by the self-position estimation apparatus according to the second embodiment will be described with reference to FIG. FIG. 19 is a flowchart illustrating a processing procedure of the self-position estimation apparatus according to the second embodiment.
まず、実施例2における自己位置推定装置10は、キーボードやタッチパネルから自己位置推定要求を受け付けると(ステップS1901肯定)、実施例1と同様(図14に示したステップS1402〜ステップS1405処理と同様)に、「ランドマーク検出」、「ランドマーク検索」、「挟角算出」、「拘束円算出」を行なう(ステップS1902〜ステップS1905)。
First, when the self-
続いて、ランドマーク検出画像評価部37は、入力画像に検出されたランドマークの撮像状態を評価する(ステップS1906)。すなわち、ランドマーク検出結果記憶部21に記憶されているランドマーク検出画像データと、ランドマーク情報記憶部22に記憶されているランドマーク画像データとを比較して、ランドマーク検出画像の撮像状態を評価する。
Subsequently, the landmark detection
そして、尤度モデル選択部38は、ランドマーク検出画像評価結果記憶部29に記憶されているランドマーク検出画像評価結果に基づき、適用する尤度モデルを尤度モデル記憶部27から選択する(ステップS1907)。すなわち、ランドマーク検出画像評価結果記憶部29に記憶されているランドマーク検出画像評価結果において、スコア算出を行う2つのランドマークのうち両方とも「良」であれば、最大狭角と最小狭角の間で尤度を単放性の曲線で規定した尤度モデルP1を選択し、少なくともどちらか一方が「悪」ならば、最大狭角と最小狭角の間で尤度を一様直線で規定した尤度モデルP2を選択する。
Then, the likelihood
続いて、投票処理部35は、複数のランドマーク間ごとに、上記で算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、最大挟角と最小挟角との間で各角度における狭角としての尤度を規定した尤度モデルを適用して、領域内の座標位置ごとに自己位置としての可能性を示すスコアを算出するスコア算出処理を行う(ステップS1908)。すなわち、拘束円算出結果記憶部26に記憶されている「最小挟角拘束円の拘束円パラメータ」、「最大挟角拘束円の拘束円パラメータ」および「中心挟角拘束円の拘束円パラメータ」と、選択尤度モデル記憶部210に記憶されている「尤度モデル」とに基づき、最大挟角拘束円と最小挟角拘束円によって包囲される領域全体に、尤度モデルから算出されるスコアを算出する。
Subsequently, the
そして、上記投票処理部35は、複数のランドマーク間ごとに算出されたスコアを座標位置ごとに加算する(ステップS1909)。すなわち、ランドマーク間ごとに算出されグリッドに対し対応付けられたスコアを、あらためてグリッドごとに加算する。
Then, the
そして、自己位置推定部36は、上記で算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を自己位置として推定し(ステップS1910)、処理を終了する。すなわち、投票処理結果記憶部28に記憶されている「ランドマーク間ごとのスコア加算」の結果のうち、最大値を示すグリッドを自己位置として推定し、その位置を自己位置として出力し、処理を終了する。
Then, based on the score calculated and added as described above, the self-
[実施例2の効果]
上記したように、実施例2によれば、ランドマークの撮像状態に応じて尤度モデルを自動的に選択することができるので、自己位置推定精度を向上されることが可能になる。
[Effect of Example 2]
As described above, according to the second embodiment, since the likelihood model can be automatically selected according to the imaging state of the landmark, the self-position estimation accuracy can be improved.
また、実施例2によれば、最大挟角と最小挟角との中心値である中心挟角を最大尤度とした単放性の曲線に対応したスコアを算出することができ、例えば2つのランドマークの撮像状態が良好である場合には、特に自己位置推定精度を向上させることが可能になる。具体的には、2つのランドマークの撮像状態が良好である場合には、それぞれのランドマークの中心からなる中心挟角が自己位置を示す最大尤度をあたえるので、単放性の曲線で規定される尤度モデルを適用することで、自己位置推定精度を向上させることが可能になる。 Further, according to the second embodiment, it is possible to calculate a score corresponding to a single-release curve with the central likelihood that is the central value of the maximum included angle and the minimum included angle as the maximum likelihood. When the landmark is imaged well, it is possible to improve the self-position estimation accuracy. Specifically, when the imaging state of two landmarks is good, the center included angle consisting of the center of each landmark gives the maximum likelihood indicating its own position, so it is specified by a single-release curve. By applying the likelihood model, it is possible to improve the self-position estimation accuracy.
また、実施例2によれば、最大挟角と最小挟角との間の角度に対しては一様直線としてスコアを算出することができ、例えば2つのランドマークの撮像状態が良好でない場合には、特に自己位置推定精度を向上させることが可能になる。具体的には、2つのランドマークの撮像状態が良好でない場合には、算出された最大挟角と最小挟角との間にあるどの角度が最大尤度をあたえるか判定できないので、一様直線で規定される尤度モデルを適用することで、自己位置推定精度を向上させることが可能になる。 Further, according to the second embodiment, the score can be calculated as a uniform straight line with respect to the angle between the maximum included angle and the minimum included angle. For example, when the imaging state of two landmarks is not good In particular, the self-position estimation accuracy can be improved. Specifically, when the imaging state of the two landmarks is not good, it is impossible to determine which angle between the calculated maximum and minimum included angles gives the maximum likelihood. By applying the likelihood model defined in (2), it is possible to improve the self-position estimation accuracy.
上述した実施例2では、複数の尤度モデルのなかから、ランドマークの撮像状態に応じて尤度モデルを選択し、選択した尤度モデルを適用して自己位置としてのスコアを算出したが、実施例3では、ランドマークの撮像状態に応じて、選択した尤度モデルを当該撮像状態に応じた重み付けで適用しスコアを算出する自己位置推定装置について説明する。 In the above-described second embodiment, the likelihood model is selected from the plurality of likelihood models according to the imaging state of the landmark, and the score as the self-position is calculated by applying the selected likelihood model. In the third embodiment, a self-position estimation apparatus that calculates a score by applying a selected likelihood model with weighting according to the imaging state according to the imaging state of the landmark will be described.
[実施例3における自己位置推定装置の概要および特徴]
まず最初に、図20を用いて、実施例3における自己位置推定装置の主たる特徴を具体的に説明する。図20は、実施例3における自己位置推定装置の概要および特徴を説明するための図である。
[Outline and Features of Self-Location Estimation Device in Embodiment 3]
First, the main features of the self-position estimation apparatus according to the third embodiment will be specifically described with reference to FIG. FIG. 20 is a diagram for explaining the outline and features of the self-position estimation apparatus according to the third embodiment.
実施例3における自己位置推定装置は、入力画像におけるランドマークの撮像状態が良好である場合には、最大挟角と最小挟角との間で尤度を単放性の曲線で規定した尤度モデルを適用してスコアを算出し、入力画像におけるランドマークの撮像状態が良好でない場合には、最大挟角と最小挟角との間で尤度を一様直線で規定した尤度モデルを適用してスコアを算出するとともに、入力画像におけるランドマークの撮像状態に応じて、尤度モデルを当該撮像状態に応じた重み付けで適用してスコアを算出する。 In the self-position estimation apparatus according to the third embodiment, when the landmark imaging state in the input image is good, the likelihood defined by the single-release curve between the maximum included angle and the minimum included angle When the score is calculated by applying the model, and the landmark imaging state in the input image is not good, the likelihood model that defines the likelihood as a uniform straight line between the maximum and minimum included angles is applied Then, a score is calculated by applying a likelihood model with a weighting according to the imaging state according to the imaging state of the landmark in the input image.
具体的には、図20に示すように、ランドマーク検出画像評価により算出された評価値に基づき、選択された尤度モデルから算出されたスコアにさらに重み付けを適用してスコアを算出する。なお、図20では、車両に搭載されている撮像装置から自己位置推定装置に入力された入力画像に、ランドマーク1、ランドマーク2、ランドマーク3の3つのランドマークが検出された場合を例に説明しており、入力画像に検出されたランドマーク1、ランドマーク2、ランドマーク3の画像データと、ランドマーク情報記憶部に保持されていたランドマーク1、ランドマーク2、ランドマーク3の画像データとをそれぞれ比較し評価する。
Specifically, as shown in FIG. 20, the score is calculated by further applying weighting to the score calculated from the selected likelihood model, based on the evaluation value calculated by the landmark detection image evaluation. Note that FIG. 20 shows an example in which three landmarks of
ここでは、ランドマーク1とランドマーク2の評価値は、ここで設定されている「閾値THが0.5」より高い値であるため両者とも同じ「良」であり、かつ尤度モデルとしてP1が選択される。しかし、ランドマーク1の評価値が最大評価値「1」であるのに対し、ランドマーク2の評価値が「0.65」と低い値であるために、この評価値に応じ、尤度モデルP1を適用して算出したスコアに対し、さらに重み付けを適用して算出したスコアを算出する。また、ランドマーク2とランドマーク3の組み合わせでは、ランドマーク2の評価が「良」で、ランドマーク3の評価が「悪」であるので、尤度モデルP2が選択され、スコアが算出されるが、さらにこれらの評価値に基づいて、重み付けを適用したスコアが算出する。
Here, since the evaluation values of the
このようなことから、実施例3における自己位置推定装置は、上記した主たる特徴の通り、撮像状態に応じて自動的に尤度モデルを選択するとともに、撮像状態に応じて自動的に選択された尤度モデルから算出されるスコアに重み付けを適用することができ、自己位置推定精度を向上させることが可能になる。 For this reason, the self-position estimation apparatus according to the third embodiment automatically selects the likelihood model according to the imaging state and is automatically selected according to the imaging state, as described above. Weighting can be applied to the score calculated from the likelihood model, and the self-position estimation accuracy can be improved.
[実施例3における自己位置推定装置の構成]
次に、図21と、図22とを用いて、実施例3における自己位置推定装置を説明する。図21は、実施例3における自己位置推定装置の構成を示すブロック図であり、図22は、重み付け投票処理部を説明するための図である。
[Configuration of Self-Position Estimation Device in Embodiment 3]
Next, the self-position estimation apparatus according to the third embodiment will be described with reference to FIG. 21 and FIG. FIG. 21 is a block diagram illustrating a configuration of the self-position estimation apparatus according to the third embodiment, and FIG. 22 is a diagram for explaining a weighted voting processing unit.
図21に示すように、実施例3における自己位置推定装置は、図16に示した実施例2における自己位置推定装置と基本的に同様であり、投票処理部35の代わりに重み付け投票処理部39を備えているところが相違する。以下、これを中心に説明する。
As shown in FIG. 21, the self-position estimation apparatus in the third embodiment is basically the same as the self-position estimation apparatus in the second embodiment shown in FIG. 16, and a weighted
重み付け投票処理部39は、入力画像におけるランドマークの撮像状態に応じて、尤度モデルを当該撮像状態に応じた重み付けで適用してスコアを算出する。具体的には、ランドマーク検出画像評価結果記憶部29に記憶されている評価値と、選択尤度モデル記憶部に記憶されている選択された尤度モデルから算出されるスコアに基づき、さらに重み付けを適用したスコアを算出する。例えば、図22に示すように、「選択された尤度モデルP」から「スコアを算出する関数P’」に「評価関数dup」から算出された「評価値s」を乗ずることによって導かれる「関数P’’」により重み付けを適用したスコアが算出する。
The weighting
[実施例3における自己位置推定装置による処理の手順]
次に、図23を用いて、実施例3における自己位置推定装置による処理を説明する。図23は、実施例3における自己位置推定装置の処理の手順を示すフローチャートである。
[Procedure of processing by self-position estimation apparatus in Embodiment 3]
Next, processing performed by the self-position estimation apparatus according to the third embodiment will be described with reference to FIG. FIG. 23 is a flowchart illustrating a processing procedure of the self-position estimation apparatus according to the third embodiment.
まず、実施例3における自己位置推定装置10は、キーボードやタッチパネルから自己位置推定要求を受け付けると(ステップS2301肯定)、実施例2と同様(図19に示したステップS1902〜ステップS1907処理と同様)に、「ランドマーク検出」、「ランドマーク検索」、「挟角算出」、「拘束円算出」、「ランドマーク検出画像評価」、「尤度モデル選択」を行なう(ステップS2302〜ステップS2307)。
First, when the self-
続いて、重み付け投票処理部39は、入力画像におけるランドマークの撮像状態に応じて、尤度モデルを当該撮像状態に応じた重み付けで適用してスコアを算出する(ステップS2308)。具体的には、ランドマーク検出画像評価結果記憶部29に記憶されている評価値と、選択尤度モデル記憶部210に記憶されている選択された尤度モデルから算出されるスコアに基づき、さらに重み付けを適用したスコアを算出する。
Subsequently, the weighting
続いて、上記重み付け投票処理部39は、複数のランドマーク間ごとに算出されたスコアを座標位置ごとに加算する(ステップS2309)。すなわち、ランドマーク間ごとに算出されグリッドに対し対応付けられたスコアを、あらためてグリッドごとに加算する。
Subsequently, the weighted
そして、自己位置推定部36は、上記で算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を自己位置として推定し(ステップS2310)、処理を終了する。すなわち、投票処理結果記憶部28に記憶されている「ランドマーク間ごとのスコア加算」の結果のうち、最大値を示すグリッドを自己位置として推定し、その位置を自己位置として出力し、処理を終了する。
Then, based on the score calculated and added as described above, the self-
[実施例3の効果]
上記したように、実施例3によれば、入力画像の撮像状態を評価して自動的に尤度モデルを選択しスコアを算出するとともに、さらに評価の基準となった評価値に応じた重み付けで適用してスコアを算出するので、自己位置推定精度を向上させることが可能になる。すなわち、検出されたランドマークの画像データの評価が同じものであっても、その評価値の程度で、さらにスコアに重み付けを適用できるので、自己位置推定精度を向上させることが可能になる。
[Effect of Example 3]
As described above, according to the third embodiment, the imaging state of the input image is evaluated, the likelihood model is automatically selected, the score is calculated, and the weight is further set according to the evaluation value that is the evaluation reference. Since the score is calculated by application, self-position estimation accuracy can be improved. That is, even if the evaluation of the detected landmark image data is the same, weighting can be further applied to the score according to the degree of the evaluation value, so that self-position estimation accuracy can be improved.
さて、これまで実施例1〜3における自己位置推定装置について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてもよいものである。そこで、以下では、実施例4における自己位置推定装置として、種々の異なる実施例を(1)〜(5)に区分けして説明する。 Now, although the self-position estimation apparatus in Examples 1-3 was demonstrated so far, this invention may be implemented with a various different form other than the Example mentioned above. Therefore, in the following, various different embodiments will be described as being divided into (1) to (5) as the self-position estimation apparatus according to the fourth embodiment.
(1)重み付け
上記の実施例3では、複数の尤度モデルのなかから、ランドマークの撮像状態に応じて尤度モデルを選択し、選択した尤度モデルを当該撮像状態に応じた重み付けで適用しスコアを算出する自己位置推定装置について説明したが、本発明はこれに限定されるものではなく、与えられた一つの尤度モデルを、ランドマークの撮像状態に応じた重み付けで適用しスコアを算出する自己位置推定装置であってもよい。すなわち、「ランドマーク検出画像評価部37」および「重み付け投票処理39」が実施例1の処理部30にさらに備えられている自己位置推定装置10であってもよい。
(1) Weighting In the third embodiment, a likelihood model is selected from a plurality of likelihood models according to the imaging state of the landmark, and the selected likelihood model is applied with weighting according to the imaging state. However, the present invention is not limited to this, and the present invention is not limited to this. The given likelihood model is applied with weighting according to the imaging state of the landmark, and the score is calculated. It may be a self-position estimation device that calculates. That is, the “landmark detection
(2)尤度モデル
上記の実施例1では、尤度モデル記憶部27に最大狭角と最小狭角の間で尤度を単放性の曲線で規定した尤度モデルが記憶されている自己位置推定装置10を説明したが、本発明はこれに限定されるものではなく、最大狭角と最小狭角の間で尤度を一様直線で規定した尤度モデルであっても、別の尤度モデルであってもよい。
(2) Likelihood model In the first embodiment, the likelihood
また、上記の実施例2および実施例3では、尤度モデル記憶部27に最大狭角と最小狭角の間で尤度を単放性の曲線で規定した尤度モデルP1と、最大狭角と最小狭角の間で尤度を一様直線で規定した尤度モデルP2の2つの尤度モデルが記憶されている自己位置推定装置10を説明したが、本発明はこれに限定されるものではなく、別の尤度モデルと置き換わった、もしくは加えた2つ以上の尤度モデルが記憶されていてもよい。ここで、別の尤度モデルとは、ランドマークの形状(丸みを帯びているビルディングや、四角錐のテレビ塔など)やランドマークの見え方(樹木などの遮蔽物により右半分しか見えないなど)に応じた尤度モデルである。
In the second and third embodiments, a likelihood model P1 in which the likelihood is defined by a single-release curve between the maximum narrow angle and the minimum narrow angle in the likelihood
(3)適用対象
また、上記の実施例では、この発明に係る自己位置推定プログラムを含んで構成される自己位置推定装置を搭載した車両を適用対象として説明したが、本発明はこれに限定されるものではなく、例えばどこで撮像されたか不明な写真を処理して、その写真が撮像された場所を推定する自己位置推定装置として使用してもよい。
(3) Applicable object In the above-described embodiment, the vehicle equipped with the self-position estimating device configured to include the self-position estimating program according to the present invention has been described as an applicable object. However, the present invention is not limited to this. For example, it may be used as a self-position estimation device that processes a photograph in which it is unknown where the image was taken and estimates the place where the photograph was taken.
(4)システム構成等
また、上記の実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動でおこなうこともでき(例えば、キーボードやタッチパネルから自己位置推定要求を受け付けるのではなく、一定時間ごと自動的に自己位置推定要求を生成するなど)、あるいは、手動的におこなうものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。例えば、この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報(例えば図9に示す情報)については、特記する場合を除いて任意に変更することができる。
(4) System configuration etc. In addition, among the processes described in the above embodiments, all or a part of the processes described as being automatically performed can be performed manually (for example, from the keyboard or the touch panel). Instead of accepting a position estimation request, a self-position estimation request is automatically generated at regular intervals), or all or part of the processing described as being performed manually is automatically performed by a known method. You can also. For example, in addition to this, the processing procedures, specific names, and information including various data and parameters shown in the drawings (for example, information shown in FIG. 9) are arbitrarily changed unless otherwise specified. be able to.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各処理部および各記憶部の分散・統合の具体的形態(例えば、図2の形態など)は図示のものに限られず、例えば、投票処理部35と自己位置推定部36を統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. That is, the specific form (for example, the form of FIG. 2) of distribution and integration of each processing unit and each storage unit is not limited to the illustrated one. For example, the
(5)自己位置推定プログラム
ところで上記の実施例1〜3では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本発明はこれに限定されるものではなく、あらかじめ用意されたプログラムをコンピュータで実行するようにしてもよい。そこで以下では、図24を用いて、上記の実施例1に示した自己位置推定装置10と同様の機能を有する自己位置推定プログラムを実行するコンピュータの一例を説明する。図24は、実施例1における自己位置推定プログラムを実行するコンピュータを示す図である。
(5) Self-position estimation program In the above first to third embodiments, the case where various processes are realized by hardware logic has been described. However, the present invention is not limited to this, and a program prepared in advance. May be executed on a computer. Therefore, in the following, an example of a computer that executes a self-position estimation program having the same function as the self-
図24に示すように、情報処理装置としてのコンピュータ240は、キーボード241、ディスプレイ242、CPU243、ROM244、HDD245およびRAM246をバス247などで接続して構成され、さらにカーナビ出力装置40と衝突回避車両制御装置50に接続される。
As shown in FIG. 24, a
ROM244には、上記の実施例1に示した自己位置推定装置10と同様の機能を発揮する自己位置推定プログラム、つまり、図24に示すように、ランドマーク検出プログラム244a、ランドマーク検索プログラム244b、狭角算出プログラム244c、拘束円算出プログラム244d、投票プログラム244e、自己位置推定プログラム244fが予め記憶されている。なお、これらのプログラム244a〜244fについては、図2に示した自己位置推定装置10の各構成要素と同様、適宜統合または分散してもよい。
In the
そして、CPU243が、これらのプログラム244a〜244fをROM244から読みだして実行することで、図24に示すように、各プログラム244a〜244fは、ランドマーク検出プロセス243a、ランドマーク検索プロセス243b、狭角算出プロセス243c、拘束円算出プロセス243d、投票プロセス243e、自己位置推定プロセス243fとして機能するようになる。なお、各プロセス243a〜243fは、図2に示した、ランドマーク検出処理部31、ランドマーク検索処理部32、狭角算出処理部33、拘束円算出処理部34、投票処理部35、自己位置推定部36にそれぞれ対応する。
Then, the
また、HDD245には、図24に示すように、ランドマーク情報テーブル245aと、カメラパラメータテーブル245bと、尤度モデルテーブル245cが設けられる。このランドマーク情報テーブル245aは、図2に用いたランドマーク情報記憶部22に対応し、カメラパラメータテーブル245bはカメラパラメータ記憶部24に対応し、尤度モデルテーブル245cは尤度モデル記憶部27に対応する。そしてCPU243は、ランドマーク情報データ246bをランドマーク情報テーブル245aに対して登録し、カメラパラメータデータ246dをカメラパラメータテーブル245bに対して登録し、尤度モデルデータ246gを尤度モデルテーブル245cに対して登録し、このランドマーク情報データ246bと、カメラパラメータデータ246dと、尤度モデルデータ246gを読み出してRAM246に格納し、RAM246に格納されたランドマーク検出データ246aと、ランドマーク検索データ246cと、狭角算出データ246eと、拘束円算出データ246fと、投票処理データ246hとに基づいて自己位置推定処理を実行する。
Further, as shown in FIG. 24, the HDD 245 is provided with a landmark information table 245a, a camera parameter table 245b, and a likelihood model table 245c. The landmark information table 245a corresponds to the landmark information storage unit 22 used in FIG. 2, the camera parameter table 245b corresponds to the camera parameter storage unit 24, and the likelihood model table 245c is stored in the likelihood
なお、上記した各プログラム244a〜244fについては、必ずしも最初からROM244に記憶させておく必要はなく、例えばコンピュータ240に挿入されるフレキシブルディスク(FD)、CD−ROM、MOディスク、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、または、コンピュータ240の内外に備えられるHDDなどの「固定用物理媒体」、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータ240に接続される「他のコンピュータ(またはサーバ)」などに各プログラムを記憶させておき、コンピュータ240がこれらから各プログラムを読み出して実行するようにしてもよい。
The above-described
(付記1)入力画像に含まれる複数のランドマーク間ごとに当該入力画像の撮像位置である自己位置を中心とした各ランドマーク間の狭角をそれぞれ算出し、当該算出した各狭角から前記自己位置として拘束される拘束円をそれぞれ算出して当該自己位置を推定する自己位置推定方法をコンピュータに実行させる自己位置推定プログラムであって、
前記複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出する挟角算出手順と、
前記複数のランドマーク間ごとに、前記挟角算出手順によって算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出する拘束円算出手順と、
前記複数のランドマーク間ごとに、前記拘束円算出手順によって算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、前記最大挟角と最小挟角との間で各角度における前記狭角としての尤度を規定した尤度モデルを適用して、前記領域内の座標位置ごとに前記自己位置としての可能性を示すスコアを算出するとともに、前記複数のランドマーク間ごとに算出されたスコアを前記座標位置ごとに加算するスコア算出手順と、
前記スコア算出手順によって算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を前記自己位置として推定する自己位置推定手順と、
をコンピュータに実行させることを特徴とする自己位置推定プログラム。
(Supplementary Note 1) A narrow angle between landmarks centered on a self-position that is an imaging position of the input image is calculated for each of the plurality of landmarks included in the input image, and the calculated narrow angle is used to calculate the narrow angle. A self-position estimation program that causes a computer to execute a self-position estimation method that calculates a restraint circle constrained as a self-position and estimates the self-position,
For each of the plurality of landmarks, the maximum included angle indicating the maximum value of the included angle between the landmarks and the minimum included angle indicating the minimum value of the included angle from the farthest distance and the nearest distance between the landmarks. A procedure for calculating the included angle,
For each of the plurality of landmarks, based on the maximum included angle and the minimum included angle calculated by the included angle calculation procedure, the maximum narrow angle constrained circle determined from the maximum narrow angle and the minimum narrow angle determined from the minimum narrow angle. A constraint circle calculation procedure for calculating an angle constraint circle;
Each angle between the maximum included angle and the minimum included angle in a region surrounded by the maximum included angle restricted circle and the minimum included angle restricted circle calculated by the restricted circle calculation procedure for each of the plurality of landmarks. Applying a likelihood model that defines the likelihood as the narrow angle in, to calculate a score indicating the possibility as the self position for each coordinate position in the region, and for each of the plurality of landmarks A score calculation procedure for adding the calculated score for each coordinate position;
Based on the score calculated and added by the score calculation procedure, a self-position estimation procedure for estimating the coordinate position where the score is maximum as the self-position,
A self-position estimation program that causes a computer to execute.
(付記2)前記スコア算出手順は、前記最大挟角と最小挟角との間で前記尤度を単放性の曲線で規定した尤度モデルを適用して前記スコアを算出することを特徴とする付記1に記載の自己位置推定プログラム。
(Additional remark 2) The said score calculation procedure calculates the said score by applying the likelihood model which prescribed | regulated the said likelihood with the single-release curve between the said maximum included angle and the minimum included angle, It is characterized by the above-mentioned. The self-position estimation program according to
(付記3)前記スコア算出手順は、前記最大挟角と最小挟角との間で前記尤度を一様直線で規定した尤度モデルを適用して前記スコアを算出することを特徴とする付記1に記載の自己位置推定プログラム。 (Additional remark 3) The said score calculation procedure calculates the said score by applying the likelihood model which prescribed | regulated the said likelihood with the uniform straight line between the said maximum included angle and the minimum included angle. The self-position estimation program according to 1.
(付記4)前記スコア算出手順は、前記入力画像における前記ランドマークの撮像状態に応じて、複数の尤度モデルのなかから当該撮像状態に応じた尤度モデルを選択し、当該選択した尤度モデルを適用して前記スコアを算出することを特徴とする付記1に記載の自己位置推定プログラム。
(Additional remark 4) The said score calculation procedure selects the likelihood model according to the said imaging state from the some likelihood models according to the imaging state of the said landmark in the said input image, The said selected likelihood The self-position estimation program according to
(付記5)前記スコア算出手順は、前記入力画像における前記ランドマークの撮像状態が良好である場合には、前記最大挟角と最小挟角との間で前記尤度を単放性の曲線で規定した尤度モデルを適用して前記スコアを算出し、前記入力画像における前記ランドマークの撮像状態が良好でない場合には、前記最大挟角と最小挟角との間で前記尤度を一様直線で規定した尤度モデルを適用して前記スコアを算出することを特徴とする付記1に記載の自己位置推定プログラム。
(Supplementary Note 5) When the landmark is captured in the input image in the score calculation procedure, the likelihood is expressed as a single-release curve between the maximum and minimum included angles. The score is calculated by applying a prescribed likelihood model, and the likelihood is uniform between the maximum included angle and the minimum included angle when the imaging state of the landmark in the input image is not good. The self-position estimation program according to
(付記6)前記スコア算出手順は、前記入力画像における前記ランドマークの撮像状態に応じて、前記尤度モデルを当該撮像状態に応じた重み付けで適用して前記スコアを算出することを特徴とする付記1に記載の自己位置推定プログラム。
(Additional remark 6) The said score calculation procedure applies the said likelihood model with the weighting according to the said imaging state according to the imaging state of the said landmark in the said input image, It is characterized by the above-mentioned. The self-position estimation program according to
(付記7)入力画像に含まれる複数のランドマーク間ごとに当該入力画像の撮像位置である自己位置を中心とした各ランドマーク間の狭角をそれぞれ算出し、当該算出した各狭角から前記自己位置として拘束される拘束円をそれぞれ算出して当該自己位置を推定する自己位置推定方法であって、
前記複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出する挟角算出工程と、
前記複数のランドマーク間ごとに、前記挟角算出工程によって算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出する拘束円算出工程と、
前記複数のランドマーク間ごとに、前記拘束円算出工程によって算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、前記最大挟角と最小挟角との間で各角度における前記狭角としての尤度を規定した尤度モデルを適用して、前記領域内の座標位置ごとに前記自己位置としての可能性を示すスコアを算出するとともに、前記複数のランドマーク間ごとに算出されたスコアを前記座標位置ごとに加算するスコア算出工程と、
前記スコア算出工程によって算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を前記自己位置として推定する自己位置推定工程と、
を含んだことを特徴とする自己位置推定方法。
(Additional remark 7) The narrow angle between each landmark centering | focusing on the self position which is the imaging position of the said input image is calculated for every some landmark included in an input image, respectively, and the said narrow angle is calculated from each said calculated narrow angle. A self-position estimation method for estimating a self-position by calculating a restraint circle constrained as a self-position,
For each of the plurality of landmarks, the maximum included angle indicating the maximum value of the included angle between the landmarks and the minimum included angle indicating the minimum value of the included angle from the farthest distance and the nearest distance between the landmarks. An included angle calculating step to calculate,
For each of the plurality of landmarks, based on the maximum included angle and the minimum included angle calculated by the included angle calculating step, the maximum narrow angle constrained circle determined from the maximum narrow angle and the minimum narrow angle determined from the minimum narrow angle. A constraint circle calculation step for calculating an angle constraint circle;
Each angle between the maximum included angle and the minimum included angle in a region surrounded by the maximum included angle restricted circle and the minimum included angle restricted circle calculated by the restricted circle calculating step for each of the plurality of landmarks. Applying a likelihood model that defines the likelihood as the narrow angle in, to calculate a score indicating the possibility as the self position for each coordinate position in the region, and for each of the plurality of landmarks A score calculation step of adding the calculated score for each coordinate position;
Based on the score calculated and added by the score calculation step, a self-position estimation step for estimating the coordinate position where the score is maximum as the self-position,
A self-position estimation method comprising:
(付記8)入力画像に含まれる複数のランドマーク間ごとに当該入力画像の撮像位置である自己位置を中心とした各ランドマーク間の狭角をそれぞれ算出し、当該算出した各狭角から前記自己位置として拘束される拘束円をそれぞれ算出して当該自己位置を推定する自己位置推定装置であって、
前記複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出する挟角算出手段と、
前記複数のランドマーク間ごとに、前記挟角算出手段によって算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出する拘束円算出手段と、
前記複数のランドマーク間ごとに、前記拘束円算出手段によって算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、前記最大挟角と最小挟角との間で各角度における前記狭角としての尤度を規定した尤度モデルを適用して、前記領域内の座標位置ごとに前記自己位置としての可能性を示すスコアを算出するとともに、前記複数のランドマーク間ごとに算出されたスコアを前記座標位置ごとに加算するスコア算出手段と、
前記スコア算出手段によって算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を前記自己位置として推定する自己位置推定手段と、
を備えたことを特徴とする自己位置推定装置。
(Additional remark 8) The narrow angle between each landmark centering on the self-position which is the imaging position of the said input image is calculated for every some landmark included in an input image, respectively, and the said narrow angle is calculated from each said calculated narrow angle. A self-position estimation device that calculates a restraint circle constrained as a self-position and estimates the self-position,
For each of the plurality of landmarks, the maximum included angle indicating the maximum value of the included angle between the landmarks and the minimum included angle indicating the minimum value of the included angle from the farthest distance and the nearest distance between the landmarks. An included angle calculating means for calculating;
Based on the maximum included angle and the minimum included angle calculated by the included angle calculating means for each of the plurality of landmarks, the maximum narrow angle constrained circle determined from the maximum narrow angle and the minimum narrow angle determined from the minimum narrow angle A constraint circle calculation means for calculating an angle constraint circle;
Each angle between the maximum included angle and the minimum included angle in an area surrounded by the maximum included angle restricted circle and the minimum included angle restricted circle calculated by the restricted circle calculating means for each of the plurality of landmarks. Applying a likelihood model that defines the likelihood as the narrow angle in, to calculate a score indicating the possibility as the self position for each coordinate position in the region, and for each of the plurality of landmarks Score calculating means for adding the calculated score for each coordinate position;
Based on the score calculated and added by the score calculation means, self-position estimation means for estimating the coordinate position where the score is maximized as the self-position,
A self-position estimation apparatus comprising:
以上のように、本発明における自己位置推定プログラム、自己位置推定方法および自己位置推定装置は、入力画像に含まれる複数のランドマーク間ごとに当該入力画像の撮像位置である自己位置を中心とした各ランドマーク間の狭角をそれぞれ算出し、当該算出した各狭角から自己位置として拘束される拘束円をそれぞれ算出して当該自己位置を推定する場合に有用であり、特に、自己位置推定精度を向上させることに適する。 As described above, the self-position estimation program, the self-position estimation method, and the self-position estimation apparatus according to the present invention center around the self-position that is the imaging position of the input image for each of the plurality of landmarks included in the input image. It is useful for calculating the narrow angle between each landmark and estimating the self position by calculating the constrained circle constrained as the self position from each calculated narrow angle. Suitable for improving.
10 自己位置推定装置
11 カメラ画像入力部
12 自己推定位置出力部
13 入出力制御I/F部
20 記憶部
21 ランドマーク検出結果記憶部
22 ランドマーク情報記憶部
23 ランドマーク検索結果記憶部
24 カメラパラメータ記憶部
25 挟角算出結果記憶部
26 拘束円算出結果記憶部
27 尤度モデル記憶部
28 投票処理結果記憶部
30 処理部
31 ランドマーク検出処理部
32 ランドマーク検索処理部
33 挟角算出処理部
34 拘束円算出処理部
35 投票処理部
36 自己位置推定部
40 カーナビ出力装置
50 衝突回避車両制御装置
DESCRIPTION OF
Claims (5)
前記複数のランドマーク間ごとに、各ランドマーク間の最遠距離および最近距離から、各ランドマーク間の挟角の最大値を示す最大挟角および当該挟角の最小値を示す最小挟角を算出する挟角算出手順と、
前記複数のランドマーク間ごとに、前記挟角算出手順によって算出された最大挟角および最小挟角それぞれに基づいて、当該最大狭角から定まる最大狭角拘束円および当該最小狭角から定まる最小狭角拘束円を算出する拘束円算出手順と、
前記複数のランドマーク間ごとに、前記拘束円算出手順によって算出された最大挟角拘束円および最小挟角拘束円で包囲される領域に、前記最大挟角と最小挟角との間で各角度における前記狭角としての尤度を規定した尤度モデルを適用して、前記領域内の座標位置ごとに前記自己位置としての可能性を示すスコアを算出するとともに、前記複数のランドマーク間ごとに算出されたスコアを前記座標位置ごとに加算するスコア算出手順と、
前記スコア算出手順によって算出されて加算されたスコアに基づいて、当該スコアが最大となる座標位置を前記自己位置として推定する自己位置推定手順と、
をコンピュータに実行させることを特徴とする自己位置推定プログラム。 For each landmark included in the input image, a narrow angle between each landmark centered on the self-position that is the imaging position of the input image is calculated, and constrained as the self-position from each calculated narrow angle A self-position estimation program for causing a computer to execute a self-position estimation method for calculating a restrained circle to be estimated and estimating the self-position,
For each of the plurality of landmarks, the maximum included angle indicating the maximum value of the included angle between the landmarks and the minimum included angle indicating the minimum value of the included angle from the farthest distance and the nearest distance between the landmarks. A procedure for calculating the included angle,
For each of the plurality of landmarks, based on the maximum included angle and the minimum included angle calculated by the included angle calculation procedure, the maximum narrow angle constrained circle determined from the maximum narrow angle and the minimum narrow angle determined from the minimum narrow angle. A constraint circle calculation procedure for calculating an angle constraint circle;
Each angle between the maximum included angle and the minimum included angle in a region surrounded by the maximum included angle restricted circle and the minimum included angle restricted circle calculated by the restricted circle calculation procedure for each of the plurality of landmarks. Applying a likelihood model that defines the likelihood as the narrow angle in, to calculate a score indicating the possibility as the self position for each coordinate position in the region, and for each of the plurality of landmarks A score calculation procedure for adding the calculated score for each coordinate position;
Based on the score calculated and added by the score calculation procedure, a self-position estimation procedure for estimating the coordinate position where the score is maximum as the self-position,
A self-position estimation program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006190095A JP4851874B2 (en) | 2006-07-11 | 2006-07-11 | Self-position estimation program, self-position estimation method, and self-position estimation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006190095A JP4851874B2 (en) | 2006-07-11 | 2006-07-11 | Self-position estimation program, self-position estimation method, and self-position estimation apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008020225A true JP2008020225A (en) | 2008-01-31 |
JP4851874B2 JP4851874B2 (en) | 2012-01-11 |
Family
ID=39076284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006190095A Expired - Fee Related JP4851874B2 (en) | 2006-07-11 | 2006-07-11 | Self-position estimation program, self-position estimation method, and self-position estimation apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4851874B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010152139A (en) * | 2008-12-25 | 2010-07-08 | Zhencheng Hu | Map information creation device, map information creation method, instrument for measuring position of moving body, and method of measuring position of moving body |
JP2013025401A (en) * | 2011-07-15 | 2013-02-04 | Fujitsu Ltd | Self-position estimation device, self-position estimation method and program |
WO2014162419A1 (en) * | 2013-04-01 | 2014-10-09 | パイオニア株式会社 | Display device, control method, program, and storage medium |
JP2015148601A (en) * | 2014-02-08 | 2015-08-20 | 本田技研工業株式会社 | System and method for mapping, localization and pose correction |
US9232128B2 (en) | 2011-03-28 | 2016-01-05 | Nec Corporation | Image capture position and image capture direction estimation device, image capture device, image capture position and image capture direction estimation method and program |
JP2018072316A (en) * | 2016-08-30 | 2018-05-10 | ザ・ボーイング・カンパニーThe Boeing Company | Localization of two-dimensional position of vehicle using geoarcs |
JP2018169961A (en) * | 2017-03-30 | 2018-11-01 | 三菱重工業株式会社 | Vehicle control device, position specifying system, control method, and program |
JPWO2018221453A1 (en) * | 2017-05-31 | 2020-03-26 | パイオニア株式会社 | Output device, control method, program, and storage medium |
CN111105124A (en) * | 2019-10-28 | 2020-05-05 | 东华理工大学 | Multi-landmark influence calculation method based on distance constraint |
JP2021105607A (en) * | 2015-02-10 | 2021-07-26 | モービルアイ ビジョン テクノロジーズ リミテッド | System for autonomously navigating autonomous vehicle, autonomous vehicle, and method for navigating autonomous vehicle |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06241730A (en) * | 1991-10-25 | 1994-09-02 | Tatsumi Denshi Kogyo Kk | Robot position measuring system |
JP2000337887A (en) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | Self position-locating system of movable body |
JP2001059715A (en) * | 1999-08-23 | 2001-03-06 | Fu's Lab Co Ltd | Method for restoring shape using spatio-temporal image of real object, method for processing image and shape restoring system |
JP2001142532A (en) * | 1999-11-12 | 2001-05-25 | Nippon Signal Co Ltd:The | Position detection device for mobile object |
JP2003187220A (en) * | 2001-12-14 | 2003-07-04 | Toshiba Corp | Object detector and its detecting method |
JP2004046464A (en) * | 2002-07-10 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus and method for estimating three-dimensional position of mobile object, program, and recording medium thereof |
-
2006
- 2006-07-11 JP JP2006190095A patent/JP4851874B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06241730A (en) * | 1991-10-25 | 1994-09-02 | Tatsumi Denshi Kogyo Kk | Robot position measuring system |
JP2000337887A (en) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | Self position-locating system of movable body |
JP2001059715A (en) * | 1999-08-23 | 2001-03-06 | Fu's Lab Co Ltd | Method for restoring shape using spatio-temporal image of real object, method for processing image and shape restoring system |
JP2001142532A (en) * | 1999-11-12 | 2001-05-25 | Nippon Signal Co Ltd:The | Position detection device for mobile object |
JP2003187220A (en) * | 2001-12-14 | 2003-07-04 | Toshiba Corp | Object detector and its detecting method |
JP2004046464A (en) * | 2002-07-10 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus and method for estimating three-dimensional position of mobile object, program, and recording medium thereof |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010152139A (en) * | 2008-12-25 | 2010-07-08 | Zhencheng Hu | Map information creation device, map information creation method, instrument for measuring position of moving body, and method of measuring position of moving body |
US9232128B2 (en) | 2011-03-28 | 2016-01-05 | Nec Corporation | Image capture position and image capture direction estimation device, image capture device, image capture position and image capture direction estimation method and program |
JP2013025401A (en) * | 2011-07-15 | 2013-02-04 | Fujitsu Ltd | Self-position estimation device, self-position estimation method and program |
WO2014162419A1 (en) * | 2013-04-01 | 2014-10-09 | パイオニア株式会社 | Display device, control method, program, and storage medium |
JP6058123B2 (en) * | 2013-04-01 | 2017-01-11 | パイオニア株式会社 | Display device, control method, program, and storage medium |
JP2015148601A (en) * | 2014-02-08 | 2015-08-20 | 本田技研工業株式会社 | System and method for mapping, localization and pose correction |
JP2021105607A (en) * | 2015-02-10 | 2021-07-26 | モービルアイ ビジョン テクノロジーズ リミテッド | System for autonomously navigating autonomous vehicle, autonomous vehicle, and method for navigating autonomous vehicle |
JP7497549B2 (en) | 2015-02-10 | 2024-06-11 | モービルアイ ビジョン テクノロジーズ リミテッド | SYSTEM FOR AUTONOMOUSLY NAVIGATING AN AUTONOMOUS VEHICLE, ... AND METHOD FOR NAVIGATING AN AUTONOMOUS VEHICLE |
JP2018072316A (en) * | 2016-08-30 | 2018-05-10 | ザ・ボーイング・カンパニーThe Boeing Company | Localization of two-dimensional position of vehicle using geoarcs |
JP7057632B2 (en) | 2016-08-30 | 2022-04-20 | ザ・ボーイング・カンパニー | Identifying the two-dimensional position of the vehicle using geoarc |
JP2018169961A (en) * | 2017-03-30 | 2018-11-01 | 三菱重工業株式会社 | Vehicle control device, position specifying system, control method, and program |
JPWO2018221453A1 (en) * | 2017-05-31 | 2020-03-26 | パイオニア株式会社 | Output device, control method, program, and storage medium |
US11512962B2 (en) | 2017-05-31 | 2022-11-29 | Pioneer Corporation | Output device, control method, program and storage medium |
CN111105124A (en) * | 2019-10-28 | 2020-05-05 | 东华理工大学 | Multi-landmark influence calculation method based on distance constraint |
Also Published As
Publication number | Publication date |
---|---|
JP4851874B2 (en) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4851874B2 (en) | Self-position estimation program, self-position estimation method, and self-position estimation apparatus | |
EP3505869B1 (en) | Method, apparatus, and computer readable storage medium for updating electronic map | |
JP6456562B1 (en) | Driving support system, driving support method, and driving support program | |
JP2020057387A (en) | Vehicle positioning method, vehicle positioning device, electronic apparatus, and computer-readable storage medium | |
WO2021254019A1 (en) | Method, device and system for cooperatively constructing point cloud map | |
CN112198878B (en) | Instant map construction method and device, robot and storage medium | |
CN111707275A (en) | Positioning method, positioning device, electronic equipment and computer readable storage medium | |
WO2018131546A1 (en) | Information processing device, information processing system, information processing method, and information processing program | |
CN113945937A (en) | Precision detection method, device and storage medium | |
CN110555352B (en) | Interest point identification method, device, server and storage medium | |
CN112212851B (en) | Pose determination method and device, storage medium and mobile robot | |
CN112184906A (en) | Method and device for constructing three-dimensional model | |
CN110839202A (en) | Positioning method, positioning device, electronic equipment and storage medium | |
CN115578386A (en) | Parking image generation method and device, electronic equipment and storage medium | |
CN111351497A (en) | Vehicle positioning method and device and map construction method and device | |
CN114067555B (en) | Registration method and device for data of multiple base stations, server and readable storage medium | |
CN114972530A (en) | Method, device and equipment for calibrating camera based on virtual scene and storage medium | |
CN111488771B (en) | OCR hooking method, device and equipment | |
CN113687336A (en) | Radar calibration method and device, electronic equipment and medium | |
CN114756634A (en) | Method and device for discovering interest point change, electronic equipment and storage medium | |
CN111383337A (en) | Method and device for identifying objects | |
CN111862163A (en) | Trajectory optimization method and device | |
CN116579960B (en) | Geospatial data fusion method | |
CN116704037B (en) | Satellite lock-losing repositioning method and system based on image processing technology | |
CN113200039B (en) | Road generation method and device based on parking, vehicle and readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111021 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |