JP5614100B2 - Image processing apparatus and moving body position estimation method - Google Patents

Image processing apparatus and moving body position estimation method Download PDF

Info

Publication number
JP5614100B2
JP5614100B2 JP2010118252A JP2010118252A JP5614100B2 JP 5614100 B2 JP5614100 B2 JP 5614100B2 JP 2010118252 A JP2010118252 A JP 2010118252A JP 2010118252 A JP2010118252 A JP 2010118252A JP 5614100 B2 JP5614100 B2 JP 5614100B2
Authority
JP
Japan
Prior art keywords
feature information
surface structure
feature
information
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010118252A
Other languages
Japanese (ja)
Other versions
JP2011248441A (en
Inventor
泰仁 佐野
泰仁 佐野
安藤　敏之
敏之 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2010118252A priority Critical patent/JP5614100B2/en
Publication of JP2011248441A publication Critical patent/JP2011248441A/en
Application granted granted Critical
Publication of JP5614100B2 publication Critical patent/JP5614100B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、撮像した画像を処理する画像処理装置、及び、画像処理に基づいて移動体の位置を推定する移動***置推定方法に関する。   The present invention relates to an image processing apparatus that processes captured images, and a moving body position estimation method that estimates the position of a moving body based on image processing.

従来より、移動体の位置を推定する技術としては、下記の特許文献１に記載されたものが知られている。この特許文献１には、移動型ロボットの自己の位置を推定する方法が記載されている。この方法は、ロボットに搭載されたカメラの画像から画像特徴量を検出し、当該検出された画像特徴量と、地図情報として予め保存された画像特徴量との相関に基づいて、ロボットの位置を推定している。   Conventionally, what was described in the following patent document 1 is known as a technique of estimating the position of a moving body. This Patent Document 1 describes a method for estimating the position of a mobile robot. In this method, an image feature amount is detected from an image of a camera mounted on the robot, and the position of the robot is determined based on a correlation between the detected image feature amount and an image feature amount stored in advance as map information. Estimated.

特開２００３−２６６３４５号公報JP 2003-266345 A

しかしながら、上述した特許文献１に記載された方法では、相関がある画像特徴量として目印にしていた物体が、例えば障害物に隠れたために撮像されなくなった場合には、自己の位置を推定する精度が低下する問題があった。   However, in the method described in Patent Document 1 described above, when an object that has been marked as a correlated image feature amount is no longer imaged because it is hidden behind an obstacle, for example, the accuracy of estimating its own position There was a problem that decreased.

そこで、本発明は、上述した実情に鑑みて提案されたものであり、周囲の状況に関わらず自己の位置の推定精度を向上させることができる画像処理装置及び移動***置推定方法を提供することを目的とする。   Therefore, the present invention has been proposed in view of the above-described circumstances, and provides an image processing apparatus and a moving object position estimation method that can improve the estimation accuracy of its own position regardless of surrounding conditions. With the goal.

本発明は、移動体周囲の複数の特徴情報を含む領域の面構造を設定し、当該設定された面構造によって、移動体の位置から特徴情報が撮像不能である場合に、当該特徴情報を可視性がないと判定し、可視性がないと判定された特徴情報を除いて、移動体の位置を推定する。   The present invention sets a surface structure of a region including a plurality of feature information around a moving body, and when the feature information cannot be imaged from the position of the moving body by the set surface structure, the feature information is visible. The position of the moving object is estimated by removing the feature information that is determined not to be visible and that is determined not to be visible.

本発明によれば、可視性がない特徴情報を除いて移動体の位置を推定するので、障害物によって特徴情報が隠れるといった周囲の状況に関わらず自己の位置を推定でき、自己の位置の推定精度を向上させることができる。   According to the present invention, since the position of the moving object is estimated except for feature information that is not visible, it is possible to estimate its own position regardless of surrounding conditions such as feature information being hidden by an obstacle, and estimation of its own position. Accuracy can be improved.

本発明の第１実施形態として示す自己位置推定システムの機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of the self-position estimation system shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す自己位置推定システムにおいて、面構造について説明する図である。It is a figure explaining a surface structure in the self-position estimation system shown as 1st Embodiment of this invention. 本発明の第１実施形態として示す自己位置推定システムにおいて、面構造の遮蔽によって排除される特徴情報を示す斜視図である。In the self-position estimation system shown as 1st Embodiment of this invention, it is a perspective view which shows the feature information excluded by shielding of a surface structure. 本発明の第１実施形態として示す自己位置推定システムにおいて、面構造の法線方向と撮像カメラの撮像方向との関係を示す斜視図である。In the self-position estimation system shown as 1st Embodiment of this invention, it is a perspective view which shows the relationship between the normal line direction of a surface structure, and the imaging direction of an imaging camera. 本発明の第１実施形態として示す自己位置推定システムによって自己の位置を推定する処理手順を示すフローチャートである。It is a flowchart which shows the process sequence which estimates an own position with the self-position estimation system shown as 1st Embodiment of this invention. 本発明の第２実施形態として示す自己位置推定システムにおいて、複数の物体について設定された面構造を示す斜視図である。In the self-position estimation system shown as 2nd Embodiment of this invention, it is a perspective view which shows the surface structure set about the several object. 本発明の第２実施形態として示す自己位置推定システムにおいて、面構造を分割した分割面を示す斜視図である。In the self-position estimation system shown as 2nd Embodiment of this invention, it is a perspective view which shows the division surface which divided | segmented the surface structure. 本発明の第２実施形態として示す自己位置推定システムにおいて、面構造を修正した状態を示す斜視図である。In the self-position estimation system shown as 2nd Embodiment of this invention, it is a perspective view which shows the state which corrected the surface structure.

以下、本発明の実施の形態について図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明の第１実施形態として示す自己位置推定システムは、例えば図１に示すように構成される。この自己位置推定システムは、例えば、車両（以下、移動体とも言う）に搭載されている。   The self-position estimation system shown as the first embodiment of the present invention is configured, for example, as shown in FIG. This self-position estimation system is mounted on, for example, a vehicle (hereinafter also referred to as a moving body).

自己位置推定システムは、図１に示すように、画像処理装置１と、撮像カメラ２とを有する。   As shown in FIG. 1, the self-position estimation system includes an image processing device 1 and an imaging camera 2.

撮像カメラ２は、所定の方向を撮像するように移動体に取り付けられている。移動体の回転や移動に伴なって、その撮像方位が変化する撮像カメラ２は、撮像した撮像画像を画像処理装置１の画像内特徴量検出部１４に供給する。撮像カメラ２は、移動体が移動しているときには、連続して画像を撮像し、連続して当該撮像画像を画像処理装置１に供給する。   The imaging camera 2 is attached to the moving body so as to capture a predetermined direction. The imaging camera 2 whose imaging orientation changes as the moving body rotates and moves supplies the captured image to the in-image feature quantity detection unit 14 of the image processing apparatus 1. The imaging camera 2 continuously captures images when the moving body is moving, and continuously supplies the captured images to the image processing apparatus 1.

画像処理装置１は、周囲地図記憶部１１、地図内面構造設定部１２、地図内特徴点可視性判断部１３、画像内特徴量検出部１４、自己位置推定部１５を含む。なお、画像処理装置１は、実際にはＲＯＭ、ＲＡＭ、ＣＰＵ等にて構成されているが、当該ＣＰＵがＲＯＭに格納された自己位置推定用のプログラムに従って処理をすることによって実現できる機能をブロックとして説明する。   The image processing apparatus 1 includes a surrounding map storage unit 11, a map inner surface structure setting unit 12, an in-map feature point visibility determination unit 13, an in-image feature amount detection unit 14, and a self-position estimation unit 15. The image processing apparatus 1 is actually composed of a ROM, a RAM, a CPU, and the like, but blocks functions that can be realized when the CPU performs processing according to a program for self-position estimation stored in the ROM. Will be described.

周囲地図記憶部１１は、位置情報２１と、当該位置情報２１に対応付けられた特徴情報２２とを含む周囲地図を記憶する（特徴記憶手段）。この特徴情報２２は、自己位置を推定するために用いられる画像特徴量である。この画像特徴量としては、エッジ、コーナー、色分布が含まれる。周囲地図記憶部１１は、移動体の位置の推定時に、位置情報２１及び特徴情報２２とを多数含む移動体周囲の地図を、後段の処理で利用できるようにメモリーに読み込む。   The surrounding map storage unit 11 stores a surrounding map including position information 21 and feature information 22 associated with the position information 21 (feature storage means). The feature information 22 is an image feature amount used for estimating the self position. The image feature amount includes an edge, a corner, and a color distribution. When estimating the position of the moving object, the surrounding map storage unit 11 reads a map around the moving object including a large number of position information 21 and feature information 22 into a memory so that it can be used in subsequent processing.

周囲地図とは、画像によるトラッキングが可能なコーナーなどの画像特徴量の３次元配置であり、Ｍ（Ip, x, y, z）の集合である。Ｉｐは特徴情報２２としての部分画像、ｘ，ｙ，ｚは３次元の位置情報２１である。周囲地図を取得する手法としては、移動体における異なる位置のカメラにより撮像された２以上の画像を用いたステレオマッチング手法、距離が計測できるＬＲＦや投光式計測装置と撮像装置をあわせて使用し、トラッキング可能な特徴点までの距離を計測する方法、予め人工的に周囲環境を直接的に計測する方法が挙げられる。   The surrounding map is a three-dimensional arrangement of image feature amounts such as corners that can be tracked by an image, and is a set of M (Ip, x, y, z). Ip is a partial image as feature information 22, and x, y, and z are three-dimensional position information 21. As a method for acquiring a surrounding map, a stereo matching method using two or more images captured by cameras at different positions in a moving body, an LRF capable of measuring a distance, a projection type measuring device, and an imaging device are used. , A method of measuring the distance to a feature point that can be tracked, and a method of directly measuring the surrounding environment artificially in advance.

画像内特徴量検出部１４は、移動体に設けられた撮像カメラ２により撮像された撮像画像から、実特徴を抽出する（実特徴抽出手段）。この実特徴とは、移動体の周囲の状況に応じて画像内に含まれた画像特徴量としての部分画像である。この画像特徴量としては、エッジ、コーナー、色分布が含まれる。   The in-image feature amount detection unit 14 extracts an actual feature from the captured image captured by the imaging camera 2 provided on the moving body (actual feature extraction unit). The actual feature is a partial image as an image feature amount included in the image according to the situation around the moving body. The image feature amount includes an edge, a corner, and a color distribution.

自己位置推定部１５は、周囲地図記憶部１１に記憶された特徴情報２２及び位置情報２１と、画像内特徴量検出部１４により抽出された実特徴とに基づいて、移動体の位置を推定する（位置推定手段）。より具体的には、自己位置推定部１５は、自己の位置として、撮像カメラ２の位置を推定する。   The self-position estimation unit 15 estimates the position of the moving object based on the feature information 22 and the position information 21 stored in the surrounding map storage unit 11 and the actual feature extracted by the in-image feature amount detection unit 14. (Position estimation means). More specifically, the self-position estimation unit 15 estimates the position of the imaging camera 2 as its own position.

地図内面構造設定部１２は、周囲地図記憶部１１に記憶された複数の特徴情報２２を用いて、当該複数の特徴情報２２を含む領域の面構造を設定する（面構造設定手段）。地図内面構造設定部１２は、周囲地図記憶部１１に記憶された画像特徴量の部分集合に対して、面構造を設定する。この面構造は、面状の障害物が存在する箇所に現れる。例えば、面構造は、壁、他車両の存在する箇所に位置すると設定される。本実施形態における「面構造」は、複数の特徴情報２２の位置関係が面状に離散しているときにおいて、当該位置関係から推定できる面を指しており、実在する面ではない。また、「面構造」は、特徴情報２２が厳密に面状に配置されている場合のみならず、多少の幅を持たせて定義している。この点で、単に「面」とは異なる。   The map inner surface structure setting unit 12 sets the surface structure of the region including the plurality of feature information 22 using the plurality of feature information 22 stored in the surrounding map storage unit 11 (surface structure setting means). The map inner surface structure setting unit 12 sets a surface structure for a subset of image feature values stored in the surrounding map storage unit 11. This surface structure appears in a place where a planar obstacle exists. For example, the surface structure is set to be located at a place where a wall or another vehicle exists. The “surface structure” in the present embodiment refers to a surface that can be estimated from the positional relationship when the positional relationship of the plurality of feature information 22 is discrete in a planar shape, and is not an actual surface. Further, the “surface structure” is defined not only when the feature information 22 is strictly arranged in a planar shape but also with a slight width. In this respect, it differs from simply a “surface”.

具体的には、この地図内面構造設定部１２は、図２に示すように、周囲地図記憶部１１に、移動体の周囲の特徴情報２２として、複数の特徴情報２２ａ，２２ｂが記憶されているとする。このとき、地図内面構造設定部１２は、周囲地図記憶部１１で得られた特徴情報２２ａ，２２ｂの位置情報２１に基づいて、複数の特徴情報２２ａを含む部分集合と、複数の特徴情報２２ｂを含む部分集合を検出する。地図内面構造設定部１２は、当該部分集合の位置関係が、平面的な配置をしているかを判断する。地図内面構造設定部１２は、当該部分集合の位置関係が平面的な配置をしていると判断した場合に、当該部分集合に対して面構造３０を設定する。図２の例では、特徴情報２２ａが面構造３０ａという平面に配置されているので、複数の特徴情報２２ａを含む面構造３０ａを設定でき、特徴情報２２ｂが面構造３０ｂという平面的に配置されているので、複数の特徴情報２２ｂを含む面構造３０ｂを設定できる。図２のように、３次元空間において、直立した面構造３０としては、壁、障害物、コーナー等が挙げられる。   Specifically, as shown in FIG. 2, the map inner surface structure setting unit 12 stores a plurality of feature information 22 a and 22 b as feature information 22 around the moving body in the surrounding map storage unit 11. And At this time, the map inner surface structure setting unit 12 generates a subset including a plurality of feature information 22a and a plurality of feature information 22b based on the position information 21 of the feature information 22a and 22b obtained in the surrounding map storage unit 11. Detect the subset that contains it. The map inner surface structure setting unit 12 determines whether or not the positional relationship of the subset is planar. When the map inner surface structure setting unit 12 determines that the positional relationship of the subset is planar, the map inner surface structure setting unit 12 sets the surface structure 30 for the subset. In the example of FIG. 2, the feature information 22a is arranged in a plane called the surface structure 30a. Therefore, a surface structure 30a including a plurality of feature information 22a can be set, and the feature information 22b is arranged in a plane called the surface structure 30b. Therefore, the surface structure 30b including a plurality of feature information 22b can be set. As shown in FIG. 2, in the three-dimensional space, examples of the upright surface structure 30 include a wall, an obstacle, and a corner.

地図内特徴点可視性判断部１３は、地図内面構造設定部１２により面構造３０と自己位置推定部１５により推定されている移動体の位置との位置関係に基づいて、当該面構造３０における特徴情報２２の可視性を判断する（可視性判断手段）。地図内特徴点可視性判断部１３は、当該移動体の位置から当該面構造３０に含まれる特徴情報２２が、撮像カメラ２によって撮像不能である場合に可視性がないと判定する。一方、地図内特徴点可視性判断部１３は、当該面構造３０に含まれる特徴情報２２が、撮像カメラ２によって撮像可能である場合に可視性があると判定する。   The feature point visibility determination unit 13 in the map is based on the positional relationship between the surface structure 30 by the map inner surface structure setting unit 12 and the position of the moving object estimated by the self-position estimation unit 15. The visibility of the information 22 is determined (visibility determination means). The in-map feature point visibility determination unit 13 determines that the feature information 22 included in the surface structure 30 from the position of the moving body is not visible when the imaging camera 2 cannot capture the image. On the other hand, the in-map feature point visibility determination unit 13 determines that the feature information 22 included in the surface structure 30 is visible when the imaging camera 2 can capture an image.

具体的には、図３に示すように、撮像カメラ２の撮像位置２ａや画角等によって決定される撮像範囲に、特徴情報２２ａ，２２ｂ，２２ｃが周囲地図記憶部１１に記憶されているとする。地図内面構造設定部１２は、３つの特徴情報２２ｂを含む面構造３０を設定する。そして、地図内特徴点可視性判断部１３は、面構造３０に対して撮像カメラ２側に位置する特徴情報２２ａ及び面構造３０上の特徴情報２２ｂを可視性があると判断する。一方、地図内面構造設定部１２は、撮像カメラ２の撮像範囲であっても面構造３０によって遮蔽される特徴情報２２ｃを、可視性がないと判断する。   Specifically, as shown in FIG. 3, when the feature information 22a, 22b, 22c is stored in the surrounding map storage unit 11 in the imaging range determined by the imaging position 2a of the imaging camera 2, the angle of view, and the like. To do. The map inner surface structure setting unit 12 sets a surface structure 30 including three pieces of feature information 22b. The in-map feature point visibility determining unit 13 determines that the feature information 22a located on the imaging camera 2 side with respect to the surface structure 30 and the feature information 22b on the surface structure 30 are visible. On the other hand, the map inner surface structure setting unit 12 determines that the feature information 22c shielded by the surface structure 30 is not visible even in the imaging range of the imaging camera 2.

また、図４に示すように、面構造３０上の特徴情報２２に対する撮像カメラ２の撮像方向と、面構造３０の法線方向（面構造３０の向き）との角度θが９０度以上である場合には、特徴情報２２を、可視性が無いものとする。   As shown in FIG. 4, the angle θ between the imaging direction of the imaging camera 2 with respect to the feature information 22 on the surface structure 30 and the normal direction of the surface structure 30 (orientation of the surface structure 30) is 90 degrees or more. In this case, it is assumed that the feature information 22 has no visibility.

このような自己位置推定システムにおいて、自己位置推定部１５は、地図内特徴点可視性判断部１３によって可視性がないと判定された特徴情報２２を除いて、移動体の位置を推定する。このために、自己位置推定部１５は、地図内特徴点可視性判断部１３により可視性があると判断された面構造３０に含まれる特徴情報２２のみを用いて、自己の位置を推定する。すなわち、自己位置推定部１５は、可視性がある特徴情報２２のみが地図内特徴点可視性判断部１３から供給され、当該可視性がある特徴情報２２と、画像内特徴量検出部１４によって検出された実特徴とを比較する。そして、自己位置推定部１５は、双方の特徴が合致する位置情報２１を取得して、当該取得した位置情報２１に基づいて、自己の位置を推定する。換言すれば、自己位置推定部１５は、地図内特徴点可視性判断部１３によって可視性がないと判定された特徴情報２２を除いて、移動体の位置を推定する。   In such a self-position estimation system, the self-position estimation unit 15 estimates the position of the moving object except for the feature information 22 determined by the in-map feature point visibility determination unit 13 to be invisible. For this purpose, the self-position estimation unit 15 estimates the position of itself using only the feature information 22 included in the surface structure 30 determined to be visible by the in-map feature point visibility determination unit 13. That is, the self-position estimation unit 15 is supplied with only the feature information 22 with visibility from the feature point visibility determination unit 13 in the map, and is detected by the feature information 22 with visibility and the feature amount detection unit 14 in the image. Compare with the actual features made. Then, the self-position estimating unit 15 acquires the position information 21 in which both features match, and estimates its own position based on the acquired position information 21. In other words, the self-position estimation unit 15 estimates the position of the moving object except for the feature information 22 that is determined not to be visible by the in-map feature point visibility determination unit 13.

このような自己位置推定システムは、移動体が移動しているときに、周囲地図記憶部１１に記憶された位置情報２１及び特徴情報２２を含む周囲地図を読み込む。そして、地図内面構造設定部１２及び地図内特徴点可視性判断部１３によって、面構造３０を定義して特徴情報２２の可視性がない部分を排除し、自己の位置を推定する。   Such a self-position estimation system reads the surrounding map including the position information 21 and the feature information 22 stored in the surrounding map storage unit 11 when the moving body is moving. Then, the map inner surface structure setting unit 12 and the in-map feature point visibility determination unit 13 define the surface structure 30 to exclude the portion of the feature information 22 that is not visible, and estimate its own position.

つぎに、上述した自己位置推定システムにおいて、移動体が移動しているときに自己の位置を推定する具体的な処理手順について、図５を参照して説明する。   Next, a specific processing procedure for estimating the self position when the moving body is moving in the self-position estimation system described above will be described with reference to FIG.

先ずステップＳ１において、撮像カメラ２によって撮像画像を取得する。ステップＳ１は、移動体が移動しているときに所定時間毎に行われる。   First, in step S1, a captured image is acquired by the imaging camera 2. Step S1 is performed every predetermined time when the moving body is moving.

ステップＳ２において、画像処理装置１により、周囲地図を取得する必要性があるか否かを判断する。本実施形態においては、既に周囲地図が周囲地図記憶部１１に構築されており、移動体の位置の推定時に周囲地図記憶部１１に記憶された周囲地図をすべて読み込むものとする。したがって、ステップＳ２において、移動体の移動開始時の最初の一回だけ周囲地図を取得する必要性があると判断することとなる。   In step S <b> 2, the image processing apparatus 1 determines whether it is necessary to acquire a surrounding map. In the present embodiment, it is assumed that the surrounding map is already built in the surrounding map storage unit 11 and all the surrounding maps stored in the surrounding map storage unit 11 are read when the position of the moving object is estimated. Therefore, in step S2, it is determined that it is necessary to acquire the surrounding map only once at the beginning of the movement of the moving body.

ステップＳ２にて肯定判定された後のステップＳ３において、周囲地図記憶部１１は、予め記憶された周囲地図を読み出す。これにより、画像処理装置１は、周囲地図を取得する。周囲地図はファイル形式で保存されているとし、画像処理装置１は、周囲地図記憶部１１を構成する記録媒体から計算メモリー内にロードする。   In step S3 after a positive determination is made in step S2, the surrounding map storage unit 11 reads out a surrounding map stored in advance. Thereby, the image processing apparatus 1 acquires a surrounding map. Assume that the surrounding map is stored in a file format, and the image processing apparatus 1 loads the surrounding map into the calculation memory from the recording medium constituting the surrounding map storage unit 11.

次のステップＳ４において、地図内面構造設定部１２は、面構造３０の設定を行う。このとき、地図内面構造設定部１２は、特徴情報２２の位置情報２１に基づいて、特徴情報２２を部分集合に分類（クラスタリング）する。そして、地図内面構造設定部１２は、当該部分集合が平面的に分布している場合には面構造３０を設定し、そうでない場合には、当該部分集合によって面構造３０を設定しない。   In next step S <b> 4, the map inner surface structure setting unit 12 sets the surface structure 30. At this time, the map inner surface structure setting unit 12 classifies the feature information 22 into a subset (clustering) based on the position information 21 of the feature information 22. The map inner surface structure setting unit 12 sets the surface structure 30 when the subset is distributed in a plane, and does not set the surface structure 30 according to the subset otherwise.

なお、クラスタリング手法にはさまざまな手法が存在するが、既存のあらゆるクラスタリング手法を採用できる。例えば、k-means手法、複数のカーネルを設定してそれらのパラメータを最尤推定で最適化する手法等が挙げられる。   There are various clustering methods, and any existing clustering method can be adopted. For example, a k-means method, a method of setting a plurality of kernels, and optimizing those parameters by maximum likelihood estimation may be used.

また、部分集合に含まれる複数の特徴情報２２が平面状に分布しているか否かの判断は、例えば以下のように行う。先ず、各部分集合に対して、当該部分集合に含まれる特徴情報２２（特徴点）が平面（ｘ，ｙ，ｚ，ｗ）Ｔ上に分布することを仮定して、平面パラメータｘ，ｙ，ｚ，ｗを設定する。その後、当該仮想平面（ｘ，ｙ，ｚ，ｗ）Ｔ上に特徴情報２２が分布したと仮定したときの残差（residual error：ｅｒｅｓ）を、下記の式１を用いて求める。

Figure 0005614100
Further, for example, the determination as to whether or not the plurality of feature information 22 included in the subset is distributed in a planar manner is performed as follows. First, for each subset, assuming that the feature information 22 (feature points) included in the subset is distributed on the plane (x, y, z, w) T, the plane parameters x, y, Set z and w. Thereafter, the residual (residual error: e res ) when it is assumed that the feature information 22 is distributed on the virtual plane (x, y, z, w) T is obtained using the following Equation 1.
Figure 0005614100

式１において、ｎは部分集合内の特徴情報２２の数であり、ｘｔは周囲地図内の特徴情報２２の位置情報２１であり、ｘ＾ｉは、仮想平面（ｘ，ｙ，ｚ，ｗ）Ｔに対して位置情報ｘｔから垂線を下ろしたときの接点である。また、関数ｄ（ｘ）は、各特徴情報２２の位置情報２１と接点ｘ＾ｉとの２点間距離を表す。 In Equation 1, n is the number of feature information 22 in the subset, x t is the position information 21 of the feature information 22 in the surrounding map, and x ^ i is the virtual plane (x, y, z, w ) is a contact point when a perpendicular line is drawn from the position information x t with respect to T. The function d (x) represents a distance between two points between the position information 21 of each feature information 22 and the contact point x i .

式１を用いて得られる残差ｅｒｅｓは、仮想平面（ｘ，ｙ，ｚ，ｗ）Ｔと、特徴情報２２の位置情報２１との差異（エラー）である。そして、当該差異と、所定のしきい値ｅｔｈを比較して、当該差異がしきい値ｅｔｈよりも小さい特徴情報２２を、当該仮想平面（ｘ，ｙ，ｚ，ｗ）Ｔに含まれるとする。しきい値ｅｔｈは、予め設定した値であり、仮想平面（ｘ，ｙ，ｚ，ｗ）Ｔに対して特徴情報２２が分布する誤差の許容度を表す。 The residual e res obtained using Equation 1 is a difference (error) between the virtual plane (x, y, z, w) T and the position information 21 of the feature information 22. Then, the difference is compared with a predetermined threshold value eth, and the feature information 22 having the difference smaller than the threshold value eth is included in the virtual plane (x, y, z, w) T. And The threshold value eth is a preset value and represents the tolerance of an error in which the feature information 22 is distributed with respect to the virtual plane (x, y, z, w) T.

地図内面構造設定部１２は、残差ｅｒｅｓがしきい値ｅｔｈよりも小さい場合には、仮想平面（ｘ，ｙ，ｚ，ｗ）Ｔに含まれる部分集合とする。一方、残差ｅｒｅｓがしきい値ｅｔｈよりも大きい場合には、当該特徴情報２２が当該仮想平面（ｘ，ｙ，ｚ，ｗ）Ｔに含まれないとする。そして、地図内面構造設定部１２は、仮想平面（ｘ，ｙ，ｚ，ｗ）Ｔを面構造３０として設定でき、当該面構造３０に含まれる特徴情報２２を特定できる。ここで、面構造３０の大きさは、分類した特徴情報２２を仮想平面（ｘ，ｙ，ｚ，ｗ）Ｔに投影したとき、平面座標上で、ｘ，ｙの最大値、最小値により定義される大きさであるとする。 Map inner surface structure setting unit 12, the residual e res is smaller than the threshold e th is a subset included in the virtual plane (x, y, z, w ) T. On the other hand, when the residual e res is larger than the threshold value e th , it is assumed that the feature information 22 is not included in the virtual plane (x, y, z, w) T. The map inner surface structure setting unit 12 can set the virtual plane (x, y, z, w) T as the surface structure 30 and can specify the feature information 22 included in the surface structure 30. Here, the size of the surface structure 30 is defined by the maximum and minimum values of x and y on the plane coordinates when the classified feature information 22 is projected onto the virtual plane (x, y, z, w) T. Suppose that it is the size to be.

このように、地図内面構造設定部１２は、複数の特徴情報２２を当該複数の特徴情報２２の位置情報２１に基づいて部分集合に分類する。そして、当該部分集合に含まれる特徴情報２２と、仮想平面との差異が所定のしきい値ｅｔｈよりも小さい場合に、当該仮想平面に含まれる特徴情報２２を含む領域を面構造３０として設定することができる。 Thus, the map inner surface structure setting unit 12 classifies the plurality of feature information 22 into a subset based on the position information 21 of the plurality of feature information 22. When the difference between the feature information 22 included in the subset and the virtual plane is smaller than a predetermined threshold value eth , an area including the feature information 22 included in the virtual plane is set as the surface structure 30. can do.

一方、ステップＳ２にて否定判定がされた後又はステップＳ４の後のステップＳ５において、地図内特徴点可視性判断部１３は、周囲地図内における特徴点（特徴情報２２）の可視性を判断する。可視性がある場合とは、撮像カメラ２によって特徴情報２２が撮像可能である場合である。   On the other hand, after a negative determination is made in step S2 or in step S5 after step S4, the in-map feature point visibility determination unit 13 determines the visibility of the feature points (feature information 22) in the surrounding map. . The case where there is visibility means that the feature information 22 can be captured by the imaging camera 2.

このとき、地図内特徴点可視性判断部１３は、２つの判断要素を用いて、特徴情報２２の可視性を判断する。第１の判断要素は、地図内特徴点可視性判断部１３が、面構造３０による特徴情報２２の遮蔽に基づいて特徴情報２２の可視性を判定する。第２の判断要素は、地図内特徴点可視性判断部１３が、地図内面構造設定部１２により設定された面構造３０における法線方向と撮像カメラ２の撮像方向との角度に基づいて特徴情報２２の可視性を判定する。   At this time, the feature point visibility determination unit 13 in the map determines the visibility of the feature information 22 using two determination elements. In the first determination element, the in-map feature point visibility determination unit 13 determines the visibility of the feature information 22 based on the shielding of the feature information 22 by the surface structure 30. The second determination element is the feature information based on the angle between the normal direction in the surface structure 30 set by the map inner surface structure setting unit 12 and the imaging direction of the imaging camera 2 by the in-map feature point visibility determination unit 13. 22 visibility is determined.

具体的には、図３に示すように、面構造３０による特徴情報２２の遮蔽に基づいて、撮像カメラ２に対して面構造３０の反対側に存在する特徴情報２２を可視性がないと判定する。更に、図４に示すように、面構造３０における法線方向と撮像カメラ２の撮像方向との角度θに基づいて、角度θが９０度以上であるときには当該面構造３０上の特徴情報２２を可視性がないと判定する。   Specifically, as shown in FIG. 3, based on the shielding of the feature information 22 by the surface structure 30, it is determined that the feature information 22 existing on the opposite side of the surface structure 30 with respect to the imaging camera 2 is not visible. To do. Furthermore, as shown in FIG. 4, based on the angle θ between the normal direction in the surface structure 30 and the imaging direction of the imaging camera 2, the feature information 22 on the surface structure 30 is displayed when the angle θ is 90 degrees or more. Determine that there is no visibility.

また、面構造３０の法線方向と、面構造３０上の特徴情報２２を撮像カメラ２から撮像する方向との差に応じて、特徴情報２２を構成する部分画像の見え方が変化する。このため、撮像カメラ２の撮像方向と面構造３０の法線方向との角度θが９０度よりも小さい場合において、地図内特徴点可視性判断部１３は、特徴情報２２を構成する部分画像の外郭形状を、撮像カメラ２の位置に応じて変換することが望ましい。このとき、地図内特徴点可視性判断部１３は、例えば、特徴情報２２を構成する部分画像を、アフィン（Affine）変換により、下記の式４によって撮像カメラ２からの特徴情報２２の見え方にあわせて変換する。そして、地図内特徴点可視性判断部１３は、当該変換された特徴情報２２を用いて、可視性を判断する。   Further, the appearance of the partial images constituting the feature information 22 changes according to the difference between the normal direction of the surface structure 30 and the direction in which the feature information 22 on the surface structure 30 is imaged from the imaging camera 2. For this reason, when the angle θ between the imaging direction of the imaging camera 2 and the normal direction of the surface structure 30 is smaller than 90 degrees, the intra-map feature point visibility determination unit 13 determines the partial image constituting the feature information 22. It is desirable to convert the outline shape according to the position of the imaging camera 2. At this time, the feature point visibility determination unit 13 in the map, for example, converts the partial image constituting the feature information 22 into the appearance of the feature information 22 from the imaging camera 2 by the following equation 4 by affine transformation. Convert together. Then, the in-map feature point visibility determining unit 13 determines the visibility using the converted feature information 22.

Ｉｐ’＝ＡＩｐ （式２）
ここで、Ｉｐは、周囲地図内に含まれる特徴情報２２を構成する部分画像、Ｉｐ’は撮像カメラ２の位置から観測した特徴情報２２の部分画像であって、当該特徴情報２２の変換後の画像である。 Ip ′ = AIp (Formula 2)
Here, Ip is a partial image constituting the feature information 22 included in the surrounding map, Ip ′ is a partial image of the feature information 22 observed from the position of the imaging camera 2, and the feature information 22 is converted. It is an image.

次のステップＳ６において、画像内特徴量検出部１４は、ステップＳ５にて可視性があると判断された特徴情報２２の撮像画像内での位置を検出する。このとき、画像内特徴量検出部１４は、撮像カメラ２から撮像画像を取得する。画像内特徴量検出部１４は、取得した撮像画像と、地図内特徴点可視性判断部１３から供給された可視性のある特徴情報２２とを比較する。画像内特徴量検出部１４は、可視性のある特徴情報２２に対応した実特徴が撮像画像に含まれている場合には、当該撮像画像中の特徴情報２２とみなされる実特徴の画像位置を、当該特徴情報２２の画像内位置として検出する。   In the next step S6, the in-image feature quantity detection unit 14 detects the position in the captured image of the feature information 22 determined to be visible in step S5. At this time, the in-image feature amount detection unit 14 acquires a captured image from the imaging camera 2. The in-image feature amount detection unit 14 compares the acquired captured image with the visible feature information 22 supplied from the in-map feature point visibility determination unit 13. When the actual feature corresponding to the visible feature information 22 is included in the captured image, the in-image feature amount detection unit 14 determines the image position of the actual feature regarded as the feature information 22 in the captured image. The feature information 22 is detected as an in-image position.

撮像画像内の特徴情報２２を探索する方法は、様々な方法が提案されている。例えば、一般的に知られている、下記の式３により表されるＳＡＤ（Sum of Absolute Difference）、式４により表されるＳＳＤ（Sum of Squared intensity Difference）による画像比較を、ラスタースキャンにより撮像画像の全体に対して行い、最も特徴情報２２との一致度合いが高い撮像画像内の領域を検出位置とする。

Figure 0005614100
Various methods have been proposed for searching the feature information 22 in the captured image. For example, a generally known image comparison based on SAD (Sum of Absolute Difference) represented by Equation 3 and SSD (Sum of Squared Intensity Difference) represented by Equation 4 is performed by raster scanning. The region in the captured image having the highest degree of coincidence with the feature information 22 is set as the detection position.
Figure 0005614100

上記の式３，４において、ＭＬは撮像カメラ２により得られた撮像画像の部分画像であり、ＭＲは周囲地図内特徴情報２２である部分画像である。また、ラスタースキャンとは、撮像画像の左上から、真横に移動させて探索し、当該撮像画像の右端まで探索したら、一画素だけ下に下がる手順を繰り返しながら、撮像画像の全体を探索する順番である。 In formula 3 and 4 above, M L is the partial image of the captured image obtained by the imaging camera 2, M R is the partial image which is a peripheral map the feature information 22. The raster scan is an order in which the entire captured image is searched while repeating the procedure of moving down by one pixel when searching by moving to the right end of the captured image from the upper left of the captured image. is there.

次のステップＳ７において、自己位置推定部１５は、ステップＳ６にて検出された特徴情報２２に対応した実特徴の撮像画像内での位置と、当該特徴情報２２の周囲地図内での位置とから、撮像カメラ２の位置を推定する。この撮像カメラ２の位置を求める方法は、多く知られている。例えば、先ず、自己位置推定部１５は、撮像カメラ２の位置を任意の値で仮置きする。この仮の撮像カメラ２の位置において、周囲地図上の特徴情報２２を周囲地図上に投影したときの特徴情報２２の位置と、実際に撮像画像内に含まれる特徴情報２２の位置との差を求める。そして、当該差を、撮像カメラ２の位置をパラメータとして最小化する。この方法は、効率の観点から望ましい。   In the next step S7, the self-position estimating unit 15 calculates the position of the actual feature corresponding to the feature information 22 detected in step S6 in the captured image and the position of the feature information 22 in the surrounding map. The position of the imaging camera 2 is estimated. Many methods for obtaining the position of the imaging camera 2 are known. For example, first, the self-position estimation unit 15 temporarily places the position of the imaging camera 2 with an arbitrary value. The difference between the position of the feature information 22 when the feature information 22 on the surrounding map is projected on the surrounding map and the position of the feature information 22 actually included in the captured image at the position of the temporary imaging camera 2 is calculated. Ask. Then, the difference is minimized using the position of the imaging camera 2 as a parameter. This method is desirable from the viewpoint of efficiency.

以上のように、本発明の第１実施形態として示す自己位置推定システムによれば、既存の周囲の特徴情報２２を読み込み、当該特徴情報２２から面構造３０を定義し、撮像カメラ２から可視性がない特徴情報２２を排除して、自己の位置を推定することができる。したがって、この自己位置推定システムによれば、可視性がある特徴情報２２のみを使用して位置を推定できるので、障害物によって特徴情報２２が隠れるといった周囲の状況に関わらず、自己の位置の推定精度を向上させることができる。   As described above, according to the self-position estimation system shown as the first embodiment of the present invention, the existing surrounding feature information 22 is read, the surface structure 30 is defined from the feature information 22, and the visibility from the imaging camera 2 is reached. It is possible to estimate the position of the self by eliminating the feature information 22 that is not present. Therefore, according to this self-position estimation system, since the position can be estimated using only the feature information 22 having visibility, the self-position estimation is performed regardless of the surrounding situation in which the feature information 22 is hidden by an obstacle. Accuracy can be improved.

例えば、駐車車両などの障害物が多く存在する場合、特徴情報２２が隠れると、自己位置の推定が継続不可能になってしまう可能性が高い。これに対し、自己位置推定システムによれば、面構造３０によって隠れる特徴情報２２を排除して自己の位置の推定するので、当該問題を回避して、自己の位置の推定をすることができる。   For example, when there are many obstacles such as parked vehicles, if the feature information 22 is hidden, there is a high possibility that the estimation of the self position cannot be continued. On the other hand, according to the self-position estimation system, the feature information 22 hidden by the surface structure 30 is excluded and the self-position is estimated, so that the problem can be avoided and the self-position can be estimated.

また、この自己位置推定システムによれば、面構造３０による遮蔽に基づいて特徴情報２２の可視性を判定すると共に、面構造３０の向きと撮像カメラ２の撮像方向との角度に基づいて特徴情報２２の可視性を判定するので、撮像カメラ２から見えない特徴情報２２を確実に排除できる。これにより、自己位置推定システムによれば、更に自己の位置の推定精度を高めることができる。   Further, according to this self-position estimation system, the visibility of the feature information 22 is determined based on the shielding by the surface structure 30, and the feature information is based on the angle between the orientation of the surface structure 30 and the imaging direction of the imaging camera 2. Since the visibility of 22 is determined, the feature information 22 that cannot be seen from the imaging camera 2 can be reliably excluded. Thereby, according to the self-position estimation system, the estimation accuracy of the self-position can be further increased.

更に、この自己位置推定システムによれば、面構造３０上の特徴情報２２については、当該面構造３０の向きと、撮像カメラ２の撮像方向との角度に基づいて、当該特徴情報２２としての画像を変換する。これにより、自己位置推定システムによれば、喩え周囲地図記憶部１１に記憶されている特徴情報２２と、撮像カメラ２によって撮像された撮像画像内の特徴情報２２とが異なる形状であっても、周囲地図記憶部１１に記憶されている特徴点の形状を変換して、精度よく撮像画像内の特徴情報２２を検出できる。これにより、自己位置推定システムによれば、更に自己の位置の推定精度を高めることができる。   Furthermore, according to this self-position estimation system, the feature information 22 on the surface structure 30 is an image as the feature information 22 based on the angle between the orientation of the surface structure 30 and the imaging direction of the imaging camera 2. Convert. Thereby, according to the self-position estimation system, even if the feature information 22 stored in the metaphor surrounding map storage unit 11 and the feature information 22 in the captured image captured by the imaging camera 2 have different shapes, The feature information 22 in the captured image can be detected with high accuracy by converting the shape of the feature points stored in the surrounding map storage unit 11. Thereby, according to the self-position estimation system, the estimation accuracy of the self-position can be further increased.

更に、この自己位置推定システムによれば、複数の特徴情報２２を当該位置情報２１に基づいて部分集合に分類し、当該部分集合に含まれる特徴情報２２と、仮想平面との差異が所定のしきい値よりも小さい場合に、当該仮想平面に含まれる特徴情報２２を含む領域を面構造３０として設定する。これにより、自己位置推定システムによれば、位置が近い特徴情報２２のうちで平面状の位置関係にある複数の特徴情報２２によって面構造３０を設定でき、当該面構造３０によって隠れる特徴情報２２を精度良く排除できる。したがって、自己位置推定システムによれば、更に自己の位置の推定精度を高めることができる。   Furthermore, according to this self-position estimation system, a plurality of feature information 22 is classified into subsets based on the location information 21, and the difference between the feature information 22 included in the subset and the virtual plane is predetermined. When it is smaller than the threshold value, an area including the feature information 22 included in the virtual plane is set as the surface structure 30. As a result, according to the self-position estimation system, the surface structure 30 can be set by the plurality of feature information 22 having a planar positional relationship among the feature information 22 having close positions, and the feature information 22 hidden by the surface structure 30 can be obtained. Can be eliminated with high accuracy. Therefore, according to the self-position estimation system, the self-position estimation accuracy can be further increased.

［第２実施形態］
つぎに、第２実施形態に係る情報表示システムについて説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。 [Second Embodiment]
Next, an information display system according to the second embodiment will be described. Note that parts similar to those in the above-described embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.

第２実施形態として示す自己位置推定システムは、精度良く面構造３０を設定する点で、第１実施形態とは異なる。   The self-position estimation system shown as the second embodiment is different from the first embodiment in that the surface structure 30 is set with high accuracy.

第２実施形態の自己位置推定システムにおける地図内面構造設定部１２は、ステップＳ４において、面構造３０を複数の分割面の集合に分割する。地図内特徴点可視性判断部１３は、当該分割した複数の分割面における向きと撮像カメラ２の撮像方向との角度のみに基づいて、当該各分割面における特徴情報２２の可視性を判定する。   In step S4, the map inner surface structure setting unit 12 in the self-position estimation system of the second embodiment divides the surface structure 30 into a set of a plurality of divided surfaces. The feature point visibility determination unit 13 in the map determines the visibility of the feature information 22 on each divided plane based only on the angle between the direction of the divided plurality of divided planes and the imaging direction of the imaging camera 2.

このとき、地図内面構造設定部１２は、当該分割した複数の分割面よりも、撮像カメラ２からら遠方に位置する特徴情報２２が、撮像カメラ２によって撮像されている場合に、当該分割面を面構造３０から取り除く。これにより、地図内面構造設定部１２は、面構造３０を適切に設定して、地図内特徴点可視性判断部１３は、当該設定された面構造３０に基づいて特徴情報２２の可視性を判断する。   At this time, the map inner surface structure setting unit 12 displays the division plane when the feature information 22 located farther from the imaging camera 2 than the plurality of divided division planes is captured by the imaging camera 2. Remove from the planar structure 30. Thereby, the map inner surface structure setting unit 12 appropriately sets the surface structure 30, and the in-map feature point visibility determining unit 13 determines the visibility of the feature information 22 based on the set surface structure 30. To do.

第１実施形態においては、ステップＳ４にて分類した特徴情報２２の集合に対し、単一の平面からなる面構造３０を設定したが、特徴情報２２の集合が実際に単一の平面により構成されている保証は無い。例えば図６に示すように、平面状に並んだ複数の物体４０Ａ，４０Ｂが単一の面構造３０として設定される可能性がある。この場合、複数の物体４０Ａ，４０Ｂの間は何も無い空間であり、より遠方に存在する特徴情報２２が撮像カメラ２によって撮像される可能性も考えられる。   In the first embodiment, the surface structure 30 consisting of a single plane is set for the set of feature information 22 classified in step S4. However, the set of feature information 22 is actually composed of a single plane. There is no guarantee. For example, as shown in FIG. 6, a plurality of objects 40 </ b> A and 40 </ b> B arranged in a plane may be set as a single surface structure 30. In this case, there is nothing between the plurality of objects 40 </ b> A and 40 </ b> B, and there is a possibility that the feature information 22 that exists farther away is captured by the imaging camera 2.

このような問題に対し、第２実施形態の自己位置推定システムは、ステップＳ４において、地図内面構造設定部１２によって、図７に示すように、面構造３０を、複数の分割面３０ａの集合に分割する。このとき、地図内面構造設定部１２は、図６のように設定された面構造３０を、所定の大きさの分割面３０ａに分割する。この所定の大きさは、周囲地図に含まれる特徴情報２２を含む程度の大きさであることが望ましい。具体的には、物体４０Ａ，４０Ｂのエッジ成分が含まれる部分画像（特徴情報２２）を含む程度の大きさを、分割面３０ａの大きさとする。そして、地図内面構造設定部１２は、同一の法線ベクトルを有する分割された分割面３０ａの集合として面構造３０の設定を行う。   For such a problem, the self-position estimation system according to the second embodiment, in step S4, the map inner surface structure setting unit 12 converts the surface structure 30 into a set of a plurality of divided surfaces 30a as shown in FIG. To divide. At this time, the map inner surface structure setting unit 12 divides the surface structure 30 set as shown in FIG. 6 into divided surfaces 30a having a predetermined size. The predetermined size is desirably a size that includes the feature information 22 included in the surrounding map. Specifically, the size of the division plane 30a is set to a size that includes the partial image (feature information 22) including the edge components of the objects 40A and 40B. Then, the map inner surface structure setting unit 12 sets the surface structure 30 as a set of divided divided surfaces 30a having the same normal vector.

このステップＳ４の後のステップＳ５では、撮像カメラ２の撮像方向と分割面３０ａの法線方向との角度のみに基づいて可視性の判断を行う。すなわち、第１実施形態のステップＳ５においては、面構造３０による遮蔽による特徴情報２２の可視性の判断と、撮像方向と面構造３０の法線方向との角度θによる可視性の判断を行っていたが、第２実施形態においては、当該角度θのみに基づいて可視性を判断する。   In step S5 after step S4, the visibility is determined based only on the angle between the imaging direction of the imaging camera 2 and the normal direction of the dividing plane 30a. That is, in step S5 of the first embodiment, the visibility of the feature information 22 due to the shielding by the surface structure 30 is determined, and the visibility is determined by the angle θ between the imaging direction and the normal direction of the surface structure 30. However, in the second embodiment, visibility is determined based only on the angle θ.

次のステップＳ６において、画像内特徴量検出部１４は、ステップＳ５で可視性があると判断された特徴情報２２が、撮像カメラ２による撮像された撮像画像内に実特徴として含まれるかを判断し、当該実特徴の撮像画像内の位置を検出する。これにより、ステップＳ６においては、面構造３０によって遮蔽される特徴情報２２についても、撮像画像内での位置を検出する。画像内特徴量検出部１４は、上述したように、ＳＡＤやＳＳＤ等により十分小さい値が得られないときは、当該特徴情報２２に対応した実特徴が撮像画像内では検出されなかったものとする。   In the next step S <b> 6, the in-image feature amount detection unit 14 determines whether the feature information 22 determined to be visible in step S <b> 5 is included as an actual feature in the captured image captured by the imaging camera 2. Then, the position of the actual feature in the captured image is detected. Thereby, in step S6, the position in the captured image is also detected for the feature information 22 shielded by the surface structure 30. As described above, the in-image feature amount detection unit 14 assumes that the actual feature corresponding to the feature information 22 has not been detected in the captured image when a sufficiently small value cannot be obtained by SAD, SSD, or the like. .

このステップＳ６にて撮像画像内に実特徴として検出されない特徴情報２２は、ステップＳ７での自己の位置の推定には使用しない。すなわち、ステップＳ６にて撮像画像内に実特徴として検出されない特徴情報２２は、周囲地図上では面構造３０に遮蔽されるものとなる。   The feature information 22 that is not detected as an actual feature in the captured image in step S6 is not used for the estimation of its own position in step S7. That is, the feature information 22 that is not detected as an actual feature in the captured image in step S6 is shielded by the surface structure 30 on the surrounding map.

これに対して、周囲地図上では面構造３０によって遮蔽されると考えられる特徴情報２２が、撮像画像内で実特徴として検出された場合は、当該特徴情報２２を、ステップＳ７の自己の位置の推定に使用する。また、当該実特徴よりも撮像カメラ２に対して近い位置に設定された分割面３０ａを削除する。   On the other hand, when the feature information 22 that is considered to be shielded by the surface structure 30 on the surrounding map is detected as an actual feature in the captured image, the feature information 22 is converted into the position of its own position in step S7. Used for estimation. Further, the division plane 30a set at a position closer to the imaging camera 2 than the actual feature is deleted.

これにより、図８に示すように、実際には撮像カメラ２から撮像可能な物体４０Ａ上の領域４０ａと撮像カメラ２との間の分割面３０ａを削除して、物体４０Ａについての面構造３０Ａと、物体４０Ｂについての面構造３０Ｂとを設定できる。   As a result, as shown in FIG. 8, the divided surface 30a between the area 40a on the object 40A that can be imaged from the imaging camera 2 and the imaging camera 2 is actually deleted, and the surface structure 30A about the object 40A The surface structure 30B for the object 40B can be set.

以上のように、本発明の第２実施形態として示す自己位置推定システムによれば、第１実施形態と同様に、既存の周囲の特徴情報２２を読み込み、当該特徴情報２２から面構造３０を定義し、撮像カメラ２から可視性がない特徴情報２２を排除して、自己の位置を推定することができる。したがって、この自己位置推定システムによれば、可視性がある特徴情報２２のみを使用して位置を推定できるので、障害物によって特徴情報２２が隠れるといった周囲の状況に関わらず、自己の位置の推定精度を向上させることができる。   As described above, according to the self-position estimation system shown as the second embodiment of the present invention, similar to the first embodiment, the existing surrounding feature information 22 is read and the surface structure 30 is defined from the feature information 22. Then, the feature information 22 having no visibility from the imaging camera 2 can be excluded, and the position of itself can be estimated. Therefore, according to this self-position estimation system, since the position can be estimated using only the feature information 22 having visibility, the self-position estimation is performed regardless of the surrounding situation in which the feature information 22 is hidden by an obstacle. Accuracy can be improved.

また、この自己位置推定システムによれば、面構造３０を複数の分割面３０ａの集合に分割し、当該分割した複数の分割面３０ａにおける向きと撮像カメラ２の撮像方向との角度のみに基づいて、当該各分割面３０ａにおける特徴情報２２の可視性を判定する。これにより、自己位置推定システムによれば、面構造３０が誤って設定されており、当該面構造３０の背後の特徴情報２２が実特徴として撮像カメラ２から可視性がある場合に、当該特徴情報２２を含めて自己の位置の推定ができる。したがって、自己位置推定システムによれば、更に自己の位置の推定精度を高めることができる。   Further, according to this self-position estimation system, the surface structure 30 is divided into a set of a plurality of divided surfaces 30a, and only based on the angle between the direction of the divided plurality of divided surfaces 30a and the imaging direction of the imaging camera 2. The visibility of the feature information 22 on each of the divided surfaces 30a is determined. Thereby, according to the self-position estimation system, when the surface structure 30 is set in error and the feature information 22 behind the surface structure 30 is visible from the imaging camera 2 as an actual feature, the feature information 22 can be estimated. Therefore, according to the self-position estimation system, the self-position estimation accuracy can be further increased.

更に、この自己位置推定システムによれば、面構造３０を複数の分割面３０ａの集合に分割し、当該分割した複数の分割面３０ａよりも撮像カメラ２から遠方に位置する特徴情報２２が撮像カメラ２によって撮像されている場合に、当該分割面３０ａを取り除く。これにより、自己位置推定システムは、面構造３０を修正して、より現実に近い面構造３０を設定でき、更に自己の位置の推定精度を高めることができる。   Furthermore, according to this self-position estimation system, the surface structure 30 is divided into a set of a plurality of divided surfaces 30a, and the feature information 22 located farther from the imaging camera 2 than the divided plurality of divided surfaces 30a is captured by the imaging camera. When the image is picked up by 2, the division plane 30 a is removed. As a result, the self-position estimation system can correct the surface structure 30 to set the surface structure 30 that is closer to reality, and can further improve the estimation accuracy of its own position.

なお上述した実施の形態においては、自己位置推定システムが、車両に搭載されているものとして説明したが、ロボットなどの移動体に搭載されても、同様の効果を有する。   In the above-described embodiment, the self-position estimation system has been described as being mounted on a vehicle. However, even when mounted on a moving body such as a robot, the same effect is obtained.

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。   The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.

１ 画像処理装置
２ 撮像カメラ
１１ 周囲地図記憶部
１２ 地図内面構造設定部
１３ 地図内特徴点可視性判断部
１４ 画像内特徴量検出部
１５ 自己位置推定部
２１ 位置情報
２２ 特徴情報
２２ａ 特徴情報
３０ 面構造 DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Imaging camera 11 Surrounding map memory | storage part 12 Map inner surface structure setting part 13 Map feature point visibility judgment part 14 In-image feature-value detection part 15 Self-position estimation part 21 Position information 22 Feature information 22a Feature information 30 Surface Construction

Claims (5)

特徴情報と当該特徴情報の位置情報とを記憶する特徴記憶手段と、
移動体に設けられた撮像手段により撮像された画像から実特徴を抽出する実特徴抽出手段と、
前記特徴記憶手段に記憶された特徴情報及び位置情報と前記実特徴抽出手段により抽出された実特徴とに基づいて、移動体の位置を推定する位置推定手段と、
前記特徴記憶手段に記憶された複数の特徴情報に対応した複数の位置情報に基づいて、当該複数の特徴情報を含む領域の面構造を設定する面構造設定手段と、
移動体の位置から特徴情報が撮像不能である場合に、当該特徴情報に可視性がないと判定する可視性判断手段とを備え、
前記面構造設定手段は、前記設定した面構造を複数の面の集合に分割し、
前記可視性判断手段は、前記分割した面の向きと前記撮像手段の撮像方向との角度のみに基づいて、当該各面における特徴情報の可視性を判定し、
前記位置推定手段は、前記可視性判断手段によって可視性がないと判定された特徴情報を除いて、前記移動体の位置を推定すること
を特徴とする画像処理装置。 Feature storage means for storing feature information and position information of the feature information;
Real feature extraction means for extracting real features from an image picked up by an image pickup means provided on the moving body;
Position estimation means for estimating the position of the moving body based on the feature information and position information stored in the feature storage means and the actual feature extracted by the actual feature extraction means;
A surface structure setting unit configured to set a surface structure of an area including the plurality of feature information based on a plurality of pieces of position information corresponding to the plurality of feature information stored in the feature storage unit;
Visibility determining means for determining that the feature information is not visible when the feature information cannot be captured from the position of the moving object,
The surface structure setting means divides the set surface structure into a set of a plurality of surfaces,
The visibility determining means determines the visibility of the feature information on each surface based only on the angle between the direction of the divided surface and the imaging direction of the imaging means,
The image processing apparatus according to claim 1, wherein the position estimating unit estimates the position of the moving body except for feature information determined to be invisible by the visibility determining unit. 前記面構造設定手段は、前記設定した面構造を複数の面の集合に分割し、当該分割した面よりも、前記撮像手段から遠方に位置する特徴情報が、前記撮像手段によって撮像されている場合に、当該面を取り除くことを特徴とする請求項１に記載の画像処理装置。 The surface structure setting unit divides the set surface structure into a set of a plurality of surfaces, and feature information located farther from the imaging unit than the divided surface is captured by the imaging unit the image processing apparatus according to claim 1, characterized in that removing the surface. 前記可視性判断手段は、前記面構造上の特徴情報については、当該面構造の向きと、前記撮像手段の撮像方向との角度に基づいて、当該特徴情報としての画像を変換することを特徴とする請求項１に記載の画像処理装置。   For the feature information on the surface structure, the visibility determining unit converts an image as the feature information based on an angle between a direction of the surface structure and an imaging direction of the imaging unit. The image processing apparatus according to claim 1. 前記面構造設定手段は、複数の特徴情報を位置情報に基づいて部分集合に分類し、当該部分集合に含まれる特徴情報の位置と、仮想平面の位置との差が所定のしきい値よりも小さい場合に、当該仮想平面に含まれる特徴情報を含む領域を面構造として設定することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。 The surface structure setting means classifies a plurality of feature information into subsets based on position information, and a difference between the position of the feature information included in the subset and the position of the virtual plane is lower than a predetermined threshold value. The image processing apparatus according to any one of claims 1 to 3 , wherein when the area is small, an area including the feature information included in the virtual plane is set as a surface structure. 予め記憶手段に記憶された移動体の周囲の特徴情報と当該特徴情報の位置情報とを取得し、
前記取得された複数の特徴情報を含む領域の面構造を設定し、前記設定した面構造を複数の面の集合に分割し、
前記分割した面の向きと前記撮像手段の撮像方向との角度のみに基づいて、当該各面における特徴情報の可視性を判定し、前記移動体の位置から特徴情報が撮像不能である場合に、当該特徴情報を可視性がないと判定し、
前記移動体の周囲の特徴情報のうち前記可視性がないと判定された特徴情報を除いて、前記取得された特徴情報及び位置情報と前記自己の位置から撮像した撮像画像内の実特徴とに基づいて、移動体の位置を推定すること
を特徴とする移動***置推定方法。 Obtaining the feature information around the moving object stored in advance in the storage means and the position information of the feature information,
Setting the surface structure of the region including the plurality of acquired feature information , dividing the set surface structure into a set of a plurality of surfaces;
Based on only the angle between the direction of the divided surface and the imaging direction of the imaging means, the visibility of the feature information on each surface is determined, and when the feature information cannot be imaged from the position of the moving body, The feature information is determined not to be visible,
Excluding the feature information determined as having no visibility among the feature information around the moving object, the acquired feature information and position information and the actual feature in the captured image captured from the own position A mobile object position estimation method characterized by estimating the position of a mobile object based on the above.
JP2010118252A 2010-05-24 2010-05-24 Image processing apparatus and moving body position estimation method Active JP5614100B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010118252A JP5614100B2 (en) 2010-05-24 2010-05-24 Image processing apparatus and moving body position estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010118252A JP5614100B2 (en) 2010-05-24 2010-05-24 Image processing apparatus and moving body position estimation method

Publications (2)

Publication Number Publication Date
JP2011248441A JP2011248441A (en) 2011-12-08
JP5614100B2 true JP5614100B2 (en) 2014-10-29

Family

ID=45413662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010118252A Active JP5614100B2 (en) 2010-05-24 2010-05-24 Image processing apparatus and moving body position estimation method

Country Status (1)

Country Link
JP (1) JP5614100B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273523A (en) * 2000-03-23 2001-10-05 Hitachi Eng Co Ltd Device and method for reducing three-dimensional data
JP2003075148A (en) * 2001-09-03 2003-03-12 Techno Vanguard:Kk Displacement measuring instrument using digital still camera
JP2003266345A (en) * 2002-03-18 2003-09-24 Sony Corp Path planning device, path planning method, path planning program, and moving robot device
JP2007322351A (en) * 2006-06-05 2007-12-13 Mitsubishi Electric Corp Three-dimensional object collating device
JP4356778B2 (en) * 2007-06-25 2009-11-04 ソニー株式会社 Image photographing apparatus, image photographing method, and computer program

Also Published As

Publication number Publication date
JP2011248441A (en) 2011-12-08

Similar Documents

Publication Publication Date Title
US8867790B2 (en) Object detection device, object detection method, and program
JP6125188B2 (en) Video processing method and apparatus
US9420265B2 (en) Tracking poses of 3D camera using points and planes
EP2430588B1 (en) Object recognition method, object recognition apparatus, and autonomous mobile robot
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
US7616807B2 (en) System and method for using texture landmarks for improved markerless tracking in augmented reality applications
JP4341564B2 (en) Object judgment device
EP3070430B1 (en) Moving body position estimation device and moving body position estimation method
CN109472820B (en) Monocular RGB-D camera real-time face reconstruction method and device
JP6021689B2 (en) Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program
JP4521235B2 (en) Apparatus and method for extracting change of photographed image
US20100074473A1 (en) System and method of extracting plane features
JP6172432B2 (en) Subject identification device, subject identification method, and subject identification program
JP2010541065A (en) 3D beverage container positioning device
CN110926330A (en) Image processing apparatus, image processing method, and program
JP2018113021A (en) Information processing apparatus and method for controlling the same, and program
JP5501084B2 (en) Planar area detection apparatus and stereo camera system
CN108369739B (en) Object detection device and object detection method
JP6410231B2 (en) Alignment apparatus, alignment method, and computer program for alignment
JP6922348B2 (en) Information processing equipment, methods, and programs
JP2010262576A (en) Subject detecting apparatus and program
CN109074646B (en) Image recognition device and image recognition program
JP5614100B2 (en) Image processing apparatus and moving body position estimation method
JP7293100B2 (en) camera system
JP2007257489A (en) Image processor and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140825

R151 Written notification of patent or utility model registration

Ref document number: 5614100

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151