JP2012099010A - Image processing apparatus and image processing program - Google Patents
Image processing apparatus and image processing program Download PDFInfo
- Publication number
- JP2012099010A JP2012099010A JP2010247640A JP2010247640A JP2012099010A JP 2012099010 A JP2012099010 A JP 2012099010A JP 2010247640 A JP2010247640 A JP 2010247640A JP 2010247640 A JP2010247640 A JP 2010247640A JP 2012099010 A JP2012099010 A JP 2012099010A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- point group
- data
- movable object
- reference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車載カメラにより撮影された画像を用いて画像認識を行う画像処理装置及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program that perform image recognition using an image taken by an in-vehicle camera.
上記画像処理装置の従来例として、例えば下記の特許文献1に記載された技術がある。特許文献1に開示されている装置では、車載カメラにより撮影された画像の中にある道路標示を認識して当該道路標示の特徴点を抽出し、GPS衛星からの信号等を利用して算出された推定自車位置を基準にした座標系(自動車座標系)における、当該特徴点の座標を算出する。そして、算出した自動車座標系における特徴点の座標と、道路標示情報データベースに記憶しているワールド座標系における道路標示の特徴点の座標とを用いて、車両の現在位置を修正する構成となっている。
As a conventional example of the image processing apparatus, for example, there is a technique described in
しかし、上記特許文献1の構成では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、装置には高い演算能力が要求され、コストアップの要因となる。
However, in the configuration of
上記の問題に鑑み、道路標示のない道路や特定敷地内においても利用できるとともに、各特徴点の空間座標を位置算出毎に演算しなくてもよい方法として、風景画像認識技術の利用が考えられる。この場合、画像処理装置は、車載カメラにより撮影された風景画像に対して画像認識処理を行う構成となるが、風景画像には、例えば踏切に設置された遮断機の遮断棒のように、撮影のタイミングによって画像内における位置が異なるものとなり得る可動部が含まれる可能性がある。そのため、画像認識のための参照用の風景画像から生成されたデータと、車載カメラにより撮影された風景画像から生成されたデータとを単純に比較するだけでは、画像認識を適切に行えない可能性がある。 In view of the above problems, the use of landscape image recognition technology can be considered as a method that can be used on roads and roads without road markings and that does not have to calculate the spatial coordinates of each feature point for each position calculation. . In this case, the image processing apparatus is configured to perform image recognition processing on the landscape image captured by the in-vehicle camera. The landscape image is captured, for example, like a blocking bar of a circuit breaker installed at a crossing. There is a possibility that a movable part whose position in the image may be different depending on the timing of. Therefore, there is a possibility that image recognition cannot be performed properly by simply comparing data generated from a landscape image for reference for image recognition with data generated from a landscape image captured by an in-vehicle camera. There is.
そこで、可動部を備える可動物体が風景画像に含まれている場合であっても、画像認識を適切に実行可能な画像処理装置の実現が望まれる。 Therefore, it is desired to realize an image processing apparatus capable of appropriately performing image recognition even when a movable object including a movable part is included in a landscape image.
本発明に係る画像処理装置の特徴構成は、一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体について、当該可動物体を含む風景の撮影画像である基準撮影画像から前記可動物体の複数の特徴点を抽出して生成された、任意時点における前記可動物体を構成する特徴点群を可動物体特徴点群とし、前記可動物体特徴点群の前記基準撮影画像内での位置情報を含む参照データを格納する参照データベースと、前記可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データを格納する移動範囲データベースと、車載カメラによる風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の前記実撮影画像内での位置情報を含む実撮影データを生成する実撮影画像処理部と、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記参照データに含まれる前記可動物体特徴点群の配置を基準とする前記移動範囲データに規定された範囲内である場合に、当該対象特徴点群を前記参照データに含まれる前記可動物体と認識する画像認識部と、を備える点にある。 The characteristic configuration of the image processing apparatus according to the present invention is such that, for a movable object having a movable part that moves according to a certain law while maintaining a certain shape, the movable object from a reference photographed image that is a photographed image of a landscape including the movable object. The feature point group constituting the movable object at an arbitrary time point generated by extracting the plurality of feature points is defined as a movable object feature point group, and position information of the movable object feature point group in the reference captured image is obtained. A reference database for storing reference data, a movement range database for storing movement range data including information defining a range in which the movable object feature point group may move, and a photographed image of a landscape by an in-vehicle camera. An actual captured image processing unit that extracts a plurality of feature points from the actual captured image and generates actual captured data including position information of the plurality of feature points in the actual captured image; Arrangement of the target feature point group consisting of at least a part of the plurality of feature points included in the actual photographing data is the movement range data based on the arrangement of the movable object feature point group included in the reference data. And an image recognition unit that recognizes the target feature point group as the movable object included in the reference data when it is within a prescribed range.
本願では、特徴点群についての「位置情報」とは、当該特徴点群の画像中の座標を必ずしも意味するものではなく、位置に関するあらゆる情報を含む概念である。
また、本願では、対象特徴点群について「物体と認識する」とは、当該対象特徴点群が構成する物体の種別まで認識することを必ずしも意味するものではなく、当該対象特徴点群が、参照データに含まれる何らかの物体を構成することを認識することも含む概念である。
In the present application, the “positional information” for a feature point group does not necessarily mean the coordinates of the feature point group in the image, but is a concept that includes all information regarding the position.
Further, in the present application, “recognizing an object” for a target feature point group does not necessarily mean that the target feature point group recognizes even the type of the object, and the target feature point group is referred to It is a concept that includes recognizing that some object included in the data is formed.
この特徴構成によれば、基準撮影画像の撮影時と実撮影画像の撮影時とで、可動物体が備える可動部の位置が異なっているような場合であっても、実撮影画像に含まれる可動物体が、一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体である場合に、当該可動物体を適切に認識することができる。
また、可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データに基づき可動物体の認識が行われるため、異なる物体を誤認識することを抑制することができる。また、可動部の動きに応じて複数の参照データを備える構成に比べ、参照データの収集の手間及びコストを低減することができるとともに、参照データベースが備える参照データのデータ量を低減することができる。よって、画像処理装置の構成の簡素化を図ることができる。
According to this characteristic configuration, even when the position of the movable part included in the movable object is different between when the reference captured image is captured and when the actual captured image is captured, the movable image included in the actual captured image is included. When the object is a movable object including a movable part that moves according to a certain law while maintaining a certain shape, the movable object can be appropriately recognized.
In addition, since the movable object is recognized based on the movement range data including information that defines the range in which the movable object feature point group may move, it is possible to suppress erroneous recognition of different objects. Moreover, compared with the structure provided with a plurality of reference data according to the movement of the movable part, it is possible to reduce the labor and cost of collecting reference data and to reduce the amount of reference data provided in the reference database. . Therefore, the configuration of the image processing apparatus can be simplified.
ここで、前記参照データは、更に、動かない固定物体を構成する特徴点群である固定物体特徴点群の前記基準撮影画像内での位置情報を含み、前記画像認識部は、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記参照データに含まれる前記固定物体特徴点群の配置と一致する場合に、当該対象特徴点群を前記参照データに含まれる前記固定物体と認識する構成とすると好適である。 Here, the reference data further includes position information of the fixed object feature point group, which is a feature point group constituting a fixed object that does not move, in the reference captured image, and the image recognition unit includes the actual captured data. If the arrangement of the target feature point group consisting of at least a part of the plurality of feature points included in the image matches the arrangement of the fixed object feature point group included in the reference data, the target feature point group is It is preferable to recognize the fixed object included in the reference data.
本願では、特徴点群の配置に関して「一致」とは、完全に一致する場合だけでなく、比較の対象となる2つの特徴点群の夫々が、互いに同一の物体を構成するとみなせる範囲内でずれている場合を含む概念として用いている。 In the present application, “matching” with respect to the arrangement of feature points is not limited to the case where they completely match, but the two feature points to be compared are shifted within a range that can be regarded as constituting the same object. It is used as a concept that includes
この構成によれば、可動物体の認識に加えて固定物体の認識を行うことができるため、実撮影画像の画像認識をより適切に行うことができる。 According to this configuration, since the fixed object can be recognized in addition to the recognition of the movable object, image recognition of the actual captured image can be performed more appropriately.
また、前記参照データベースは、前記参照データを複数備えるとともに、当該複数の参照データの夫々を、各参照データに対応する前記基準撮影画像の撮影位置に関連付けて格納しており、前記画像認識部の認識結果に基づき、前記実撮影データと前記参照データとのマッチングを行うマッチング実行部と、前記マッチング実行部によるマッチングに成功した前記参照データを同定参照データとし、前記同定参照データに関連付けられた前記撮影位置に基づいて、前記実撮影データに対応する前記実撮影画像の撮影位置を決定する撮影位置決定部と、を更に備える構成とすると好適である。 Further, the reference database includes a plurality of the reference data, and stores each of the plurality of reference data in association with the shooting position of the standard shot image corresponding to each reference data. Based on a recognition result, a matching execution unit that performs matching between the actual photographing data and the reference data, and the reference data that has been successfully matched by the matching execution unit as identification reference data, and the association with the identification reference data It is preferable to further include a photographing position determining unit that determines the photographing position of the actual photographed image corresponding to the actual photographing data based on the photographing position.
この構成によれば、車載カメラによる実撮影画像の撮影位置を適切に決定することができるため、参照データに関連付けられた基準撮影画像の撮影位置と同程度の精度で、車載カメラを搭載した車両の自車位置を決定することが可能となる。 According to this configuration, since the shooting position of the actual shot image by the in-vehicle camera can be appropriately determined, the vehicle in which the in-vehicle camera is mounted with the same accuracy as the shooting position of the standard shot image associated with the reference data It becomes possible to determine the own vehicle position.
また、前記移動範囲データベースは、前記可動物体を複数種別に区分して、当該種別毎に前記移動範囲データを備え、前記画像認識部は、前記参照データと当該参照データに含まれる前記可動物体の種別に対応する前記移動範囲データとを用いて、前記可動物体の認識を行う構成とすると好適である。 The moving range database divides the movable object into a plurality of types and includes the moving range data for each type, and the image recognition unit includes the reference data and the movable object included in the reference data. It is preferable that the movable object is recognized using the moving range data corresponding to the type.
この構成によれば、可動物体毎に移動範囲データを備える場合に比べ、移動範囲データベースが備える移動範囲データのデータ量を少なく抑えることができ、画像処理装置の構成の簡素化を図ることができる。 According to this configuration, the amount of movement range data included in the movement range database can be reduced as compared with the case where movement range data is provided for each movable object, and the configuration of the image processing apparatus can be simplified. .
また、前記移動範囲データは、所定形状に配置された特徴点群の端部の特徴点を固定特徴点として、その特徴点群を当該固定特徴点の周りに所定の角度だけ回転移動させた場合の当該特徴点群の移動範囲を規定している構成とすると好適である。 The moving range data is obtained when the feature points at the ends of the feature point group arranged in a predetermined shape are fixed feature points and the feature point group is rotated around the fixed feature points by a predetermined angle. It is preferable that the movement range of the feature point group is defined.
又は、前記移動範囲データは、所定形状に配置された特徴点群を、所定の方向に所定の距離だけ平行移動させた場合の当該特徴点群の移動範囲を規定している構成としても好適である。 Alternatively, the movement range data may be preferably configured to define a movement range of the feature point group when the feature point group arranged in a predetermined shape is translated by a predetermined distance in a predetermined direction. is there.
或いは、前記移動範囲データは、端部に共通の特徴点である共通特徴点を有するとともにそれぞれが所定形状に配置された第一特徴点群及び第二特徴点群からなる特徴点群について、前記第一特徴点群の前記共通特徴点とは反対側の端部の特徴点を固定特徴点として、前記第一特徴点群を当該固定特徴点の周りに所定の角度だけ回転移動させるとともに、前記第二特徴点群を前記共通特徴点の移動に伴って平行移動させた場合の当該特徴点群の移動範囲を規定している構成としても好適である。 Alternatively, the movement range data includes a common feature point that is a common feature point at an end portion, and a feature point group including a first feature point group and a second feature point group that are arranged in a predetermined shape. The feature point at the end of the first feature point group opposite to the common feature point is a fixed feature point, the first feature point group is rotated around the fixed feature point by a predetermined angle, and the A configuration in which the movement range of the feature point group when the second feature point group is translated in accordance with the movement of the common feature point is also preferable.
これらの構成によれば、例えば、踏切、料金所、駐車場等に設置された遮断機、看板等、一定の場所にあって、一定の形状を保ったまま一定の法則で動く可動部を備える様々な可動物体について、可動部の移動規則に応じた移動範囲データを用いて、可動物体の画像認識を適切に行うことができる。 According to these configurations, for example, a breaker, signboard, etc. installed at level crossings, toll booths, parking lots, etc., are provided in a certain place and have a movable part that moves according to a certain law while maintaining a certain shape. With respect to various movable objects, it is possible to appropriately perform image recognition of the movable objects using movement range data corresponding to the movement rules of the movable part.
以上の各構成を備えた本発明に係る画像処理装置の技術的特徴は、画像処理方法や画像処理プログラムにも適用可能であり、そのため、本発明は、そのような方法やプログラムも権利の対象とすることができる。 The technical features of the image processing apparatus according to the present invention having the above-described configurations can also be applied to an image processing method and an image processing program. Therefore, the present invention also includes such a method and program. It can be.
その場合における、画像処理プログラムの特徴構成は、一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体について、当該可動物体を含む風景の撮影画像である基準撮影画像から前記可動物体の複数の特徴点を抽出して生成された、任意時点における前記可動物体を構成する特徴点群を可動物体特徴点群とし、車載カメラによる風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の前記実撮影画像内での位置情報を含む実撮影データを生成する実撮影画像処理ステップと、前記可動物体特徴点群の前記基準撮影画像内での位置情報を含む参照データを格納する参照データベースから前記参照データを抽出する参照データ抽出ステップと、前記可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データを格納する移動範囲データベースから前記移動範囲データを抽出する移動範囲データ抽出ステップと、前記参照データ抽出ステップにて抽出された前記参照データを抽出参照データとするとともに、前記移動範囲データ抽出ステップにて抽出された前記移動範囲データを抽出移動範囲データとして、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記抽出参照データに含まれる前記可動物体特徴点群の配置を基準とする前記抽出移動範囲データに規定された範囲内である場合に、当該対象特徴点群を前記抽出参照データに含まれる前記可動物体と認識する画像認識ステップと、をコンピュータに実行させる点にある。 In this case, the characteristic configuration of the image processing program is that, for a movable object including a movable part that moves according to a certain law while maintaining a certain shape, the movable object is obtained from a reference photographed image that is a photographed image of a landscape including the movable object A feature point group that is generated by extracting a plurality of feature points and that constitutes the movable object at an arbitrary time point is set as a movable object feature point group, and a plurality of feature points are obtained from an actual captured image that is a captured image of a landscape by an in-vehicle camera Real captured image processing step for generating actual captured image data including positional information of the plurality of feature points in the actual captured image, and positional information of the movable object feature point group in the reference captured image A reference data extracting step for extracting the reference data from a reference database that stores reference data, and a range in which the movable object feature point group may move The moving range data extracting step for extracting the moving range data from the moving range database that stores the moving range data including the defined information, and the reference data extracted in the reference data extracting step as extraction reference data, Using the movement range data extracted in the movement range data extraction step as extracted movement range data, an arrangement of target feature points consisting of at least a part of the plurality of feature points included in the actual photographing data is as follows: The target feature point group included in the extraction reference data is included in the extraction reference data when it is within a range defined in the extracted movement range data based on the arrangement of the movable object feature point group included in the extraction reference data. An image recognition step for recognizing an object is performed by a computer.
当然ながら、この画像処理プログラムも上述した画像処理装置に係る作用効果を得ることができ、更に、その好適な構成の例として挙げたいくつかの付加的技術を組み込むことが可能である。 Naturally, this image processing program can also obtain the effects of the above-described image processing apparatus, and it is possible to incorporate some additional techniques mentioned as examples of suitable configurations thereof.
本発明の実施形態について図面に基づいて説明する。ここでは、本発明に係る画像処理装置がナビゲーション装置に備えられ、当該ナビゲーション装置が搭載された車両の自車位置を決定する自車位置決定システムが構築されている場合を例として説明する。以下、本実施形態に係る自車位置決定システムの構成について、「自車位置決定システムの概略構成」、「ナビゲーション装置の概略構成」、「画像処理装置の構成」、「動作処理の手順」の順に詳細に説明する。 Embodiments of the present invention will be described with reference to the drawings. Here, a case will be described as an example where the image processing device according to the present invention is provided in a navigation device and a vehicle position determination system for determining the vehicle position of a vehicle on which the navigation device is mounted is constructed. Hereinafter, with regard to the configuration of the vehicle position determination system according to the present embodiment, “schematic configuration of the vehicle position determination system”, “schematic configuration of the navigation device”, “configuration of the image processing device”, “procedure of operation processing” Details will be described in order.
1.自車位置決定システムの概略構成
まず、本実施形態に係る自車位置決定システムの概念について、図1を参照して説明する。図1に示すように、画像処理装置2を備えたナビゲーション装置1が車両(以下、「自車両」という場合がある。)100に搭載されている。そして、車両100はカメラ14(図2参照)を備え、所定のタイミングで風景を撮影する。ここで、車両100が備えるカメラ14による風景の撮影画像を「実撮影画像」とする。なお、所定のタイミングは、所定の時間間隔毎(例えば、1秒毎等)に設定したり、車両100が所定の距離(例えば、1メートル等)を進む毎に設定したりすることができる。また、所定のタイミングを、特定の地点(例えば、交差点や横断歩道等)にさしかかる時点に設定することもできる。本実施形態では、カメラ14は、車両100の前方を撮影するフロントカメラとされている。本実施形態では、カメラ14が、本発明における「車載カメラ」に相当する。
1. First, the concept of the own vehicle position determination system according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, a
画像処理装置2は、実撮影画像から実撮影データを生成する(ステップ#01)。ここで、実撮影データは、後述する実撮影画像処理部5により生成されるデータ(図4(b)参照)であり、具体的には、実撮影画像から抽出された複数の特徴点(特徴点群G)の、当該実撮影画像内での位置情報を含むデータである。
The
ナビゲーション装置1は、複数の参照データを格納する参照データベース92を備えている。ここで、参照データとは、実撮影データとの間のパターンマッチング(以下、単に「マッチング」という場合がある。)の対象となるデータ(図4(e)参照)であり、具体的には、物体(可動物体101や固定物体102等)を構成する特徴点群Gの基準撮影画像内での位置情報を含むデータである。ここで、「基準撮影画像」とは、参照データの生成元の画像であり、参照データを生成する目的で撮影された風景の撮影画像である。そして、参照データは、当該参照データに対応する基準撮影画像の撮影位置に関連付けられて、参照データベース92に格納されている。
The
車両100には、後述するように、自車の推定位置(推定自車位置)を算出する機能が備えられているが、参照データに関連付けられる基準撮影画像の撮影位置は、車両100が算出する推定自車位置よりも高精度に決定されている。このような基準撮影画像は、例えば、参照データを生成する目的で走行するデータ収集車両による風景の撮影画像とされる。
As will be described later, the
画像処理装置2は、実撮影画像の撮影時における推定自車位置に基づき、参照データベース92から、関連付けられた撮影位置が推定自車位置近傍に位置する参照データを、マッチング候補参照データとして抽出する(ステップ#02)。
The
そして、実撮影データとマッチング候補参照データに含まれる参照データとの間でパターンマッチング処理を実行し(ステップ#03)、マッチングが成功した参照データを同定参照データとする。画像処理装置2は、同定参照データに関連付けられた撮影位置を読み出し(ステップ#04)、当該撮影位置に基づき自車位置を決定する(ステップ#05)。
Then, pattern matching processing is executed between the actual image data and the reference data included in the matching candidate reference data (step # 03), and the reference data that has been successfully matched is used as identification reference data. The
なお、本実施形態に係る画像処理装置2は、上記ステップ#03におけるパターンマッチング処理の手順に特徴を有する。詳細は後述するが、画像処理装置2は、実撮影データと参照データとをそのまま比較するだけではパターンマッチングが成功しない場合であっても、言い換えれば、実撮影データと参照データとが一致しない場合であっても、ある特定の条件が満たされる場合には、これらの実撮影データと参照データとの間のパターンマッチングが成功したと判定するように構成されている。
Note that the
具体的には、実撮影データに含まれる特徴点の少なくとも一部からなる特徴点群(後述する「対象特徴点群GC」)の配置が、参照データに含まれる特徴点の少なくとも一部からなる特徴点群(後述する「可動物体特徴点群GA」)の配置を基準とする移動範囲データRに規定された範囲内である場合には、対象特徴点群GCは、可動物体特徴点群GAが構成する物体と同一の物体を構成すると判定する。なお、移動範囲データRは、移動範囲データベース93に格納されている。これにより、実撮影画像の中に可動物体101(図1に示す例では、遮断棒(可動部)を備える遮断機10)が含まれるような場合であっても、当該可動物体101を適切に認識することが可能となっている。
Specifically, the arrangement of a feature point group (“target feature point group GC” to be described later) composed of at least a part of feature points included in actual photographing data is composed of at least a part of feature points included in the reference data. If it is within the range defined by the movement range data R based on the arrangement of the feature point group (“movable object feature point group GA” described later), the target feature point group GC is the movable object feature point group GA. It is determined that the same object as that formed by is configured. The moving range data R is stored in the moving
図1に示す例では、抽出された移動範囲データRが回転移動に関する移動範囲を規定しており、可動物体特徴点群GAを回転させると、当該可動物体特徴点群GAの配置と対象特徴点群GCの配置とが一致する。よって、対象特徴点群GCは、可動物体特徴点群GAが構成する物体と同一の物体を構成すると判定することができ、このような場合に、実撮影データと参照データとの間のパターンマッチングが成功したと判定する。これにより、たとえ、基準撮影画像の撮影時と実撮影画像の撮影時とで可動物体101(可動部)の位置が異なるような場合であっても、実撮影画像の撮影位置と同じ撮影位置が関連付けられた参照データを特定することができ、車両100の自車位置を適切に修正することが可能となっている。
In the example shown in FIG. 1, the extracted movement range data R defines a movement range related to rotational movement, and when the movable object feature point group GA is rotated, the arrangement of the movable object feature point group GA and the target feature point The arrangement of the group GC matches. Therefore, it can be determined that the target feature point group GC constitutes the same object as that formed by the movable object feature point group GA. In such a case, pattern matching between the actual shooting data and the reference data is performed. Is determined to be successful. As a result, even if the position of the movable object 101 (movable part) is different between the shooting of the reference shooting image and the shooting of the actual shooting image, the same shooting position as the shooting position of the actual shooting image is obtained. The associated reference data can be specified, and the vehicle position of the
2.ナビゲーション装置の概略構成
次に、上述した自車位置決定システムを構築するナビゲーション装置1の概略構成について、図2を参照して説明する。図2に示すように、ナビゲーション装置1は、ナビ制御モジュール3と、自車位置検出モジュール4と、道路地図データベース91と、参照データベース92と、移動範囲データベース93と、を備えている。
2. Schematic Configuration of Navigation Device Next, a schematic configuration of the
ナビ制御モジュール3、自車位置検出モジュール4、自車位置検出モジュール4が備える実撮影画像処理部5、及び自車位置検出モジュール4が備える風景マッチング部6のそれぞれは、後述するように、複数の機能部を備えている。そして、これらの各機能部は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。また、これらの各機能部は、デジタル転送バス等の通信線を介して互いに情報の受け渡しを行うことができるように構成されているとともに、上記各データベースからデータを抽出可能に構成されている。ここで、各機能部がソフトウェア(プログラム)により構成される場合には、当該ソフトウェアは、演算処理装置が参照可能なRAMやROM等の記憶手段に記憶される。
As will be described later, each of the navigation control module 3, the vehicle position detection module 4, the actual captured
また、道路地図データベース91、参照データベース92、及び移動範囲データベース93は、互いに共通の或いはそれぞれ独立の記憶装置により構成される。この記憶装置は、例えば、ハードディスクドライブ、フラッシュメモリ等のように、情報を記憶及び書き換え可能な記録媒体をハードウェア構成として備えている。
The
ナビ制御モジュール3は、経路設定部31、経路探索部32、及び経路案内部33を備えている。経路設定部31は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件(高速道路の使用有無など)を設定する。経路探索部32は、経路設定部31によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理(経路探索処理)を行う処理部である。経路案内部33は、経路探索部32により探索された出発地から目的地までの経路に従って、モニタ(図示せず)の表示画面による案内表示やスピーカ(図示せず)による音声案内等により、運転者に対して適切な経路案内を行うための演算処理(経路案内処理)を行う処理部である。なお、道路地図データベース91には、上記の経路探索処理や経路案内処理を実行する際や、モニタへの地図表示処理を実行する際等に参照される地図データが格納されている。
The navigation control module 3 includes a
自車位置検出モジュール4は、従来のGPSによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、風景画像認識の結果によって修正する機能を有する。自車位置検出モジュール4は、実撮影画像処理部5、風景マッチング部6、GPS処理部41、推測航法処理部42、自車位置座標算定部43、マップマッチング部44、及び自車位置決定部45を備えている。本実施形態では、図2に示すように、実撮影画像処理部5と、風景マッチング部6と、参照データベース92と、移動範囲データベース93とが、画像処理装置2を構成している。また、図2に示すように、車両100には、GPS測定ユニット15、距離センサ16、方位センサ17、及びカメラ14が備えられている。
The own vehicle position detection module 4 has a function of correcting the estimated own vehicle position obtained by the conventional position calculation by GPS and the position calculation by dead reckoning according to the result of landscape image recognition. The own vehicle position detection module 4 includes an actual captured
GPS処理部41にはGPS衛星からのGPS信号を受信するGPS測定ユニット15が接続されている。GPS処理部41はGPS測定ユニット15で受信されたGPS衛星からの信号を解析し、車両100の現在位置(緯度及び経度)を算定し、GPS位置座標データとして自車位置座標算定部43に送る。
A
推測航法処理部42には距離センサ16と方位センサ17とが接続されている。距離センサ16は、車両100の車速や移動距離を検出するセンサである。距離センサ16は、その検出結果としての車速及び移動距離の情報を推測航法処理部42へ出力する。方位センサ17は、例えば、ジャイロセンサ、地磁気センサ等により構成され、その検出結果としての方位の情報を推測航法処理部42へ出力する。推測航法処理部42は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部43に送る。
The dead
自車位置座標算定部43は、GPS位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部44により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部45に送られる。
The own vehicle position coordinate
詳細は後述するが、画像処理装置2は、カメラ14による風景の撮影画像である実撮影画像と、当該実撮影画像の撮影時の推定自車位置と、に基づきパターンマッチング(風景マッチング)処理を行い、当該実撮影画像の撮影位置を決定する。そして、画像処理装置2は、当該撮影位置の情報を自車位置決定部45へ出力する。自車位置決定部45は、画像処理装置2から転送されてきた撮影位置或いは当該撮影位置に基づき算出された位置を、推定自車位置と置き換え、自車位置の修正を行う。
Although details will be described later, the
3.画像処理装置の構成
次に、本実施形態に係る画像処理装置2の構成について説明する。画像処理装置2は、カメラ14による風景の撮影画像である実撮影画像に基づきパターンマッチング処理を行い、当該実撮影画像の撮影位置を決定する機能を有している。上記のように、画像処理装置2は、実撮影画像処理部5と、参照データベース92と、移動範囲データベース93と、風景マッチング部6とを備えており、以下、これらの構成について順に説明する。
3. Configuration of Image Processing Device Next, the configuration of the
3−1.実撮影画像処理部の構成
実撮影画像処理部5は、カメラ14による風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の実撮影画像内での位置情報を含む実撮影データを生成する。本実施形態では、実撮影画像処理部5は、図2に示すように、特徴点抽出部60と、特徴オブジェクト認識部52と、属性判定部53と、実撮影データ生成部57と、を備えている。以下、図3を参照して、実撮影画像処理部5における処理の流れについて説明する。
3-1. Configuration of actual captured image processing unit The actual captured
特徴点抽出部60は、カメラ14による風景の撮影画像である実撮影画像から、風景画像認識に適した画像特徴を示す画素または画素群を、特徴点として抽出する。画像特徴を示す特徴点は、その抽出の方法によって、画像特徴点群で表されるもの、線群で表されるもの、エリアで表されるものなど様々なものがある。本実施形態では、特徴点抽出部60は、撮影画像から輪郭だけを抽出して、その抽出結果を画像特徴点の集まり(特徴点群)で表す。具体的には、特徴点抽出部60は、実撮影画像にエッジ検出処理を施すことでエッジ検出画像を生成し、当該エッジ検出画像に基づいて取り出されるエッジ点を特徴点とする。すなわち、特徴点抽出部60は、図3に示すように、実撮影画像から抽出された複数の特徴点(エッジ点)により形成される特徴点画像(エッジ点画像)を生成しているといえる。
The feature
なお、本例では、実撮影画像はRGB画像であり、輝度差(濃度差)によって輪郭を検知するように構成されている。なお、彩度差や色相差によって輪郭を検知する構成とすることもできる。また、特徴点抽出部60が抽出する特徴点に風景マッチングに不適な特徴点が含まれないように、抽出条件を設定することが可能である。このような抽出条件として、例えばエリア制限により特徴点の抽出に制限を加えることが可能である。また、例えば、画素値(本例では輝度差)の変化(勾配)の大きさ、すなわち、エッジの大きさ(エッジの強さ)によって、特徴点の抽出に制限を加えることも可能である。
In this example, the actual captured image is an RGB image, and is configured to detect the contour based on a luminance difference (density difference). In addition, it can also be set as the structure which detects an outline by a saturation difference or a hue difference. Further, it is possible to set the extraction condition so that the feature points extracted by the feature
特徴オブジェクト認識部52は、特徴点抽出部60にて抽出された特徴点に基づき、実撮影画像中における識別可能な事物を特徴オブジェクトとして認識する。本例では、特徴オブジェクトは幾何形状とされており、具体的には、直線、三角形、四角形、円等の基本的な幾何形状とされている。特徴オブジェクト認識部52は、2つ以上の特徴点から規定される幾何形状を認識する。このような幾何形状の認識は、例えば、画像のハフ変換によって、直線や円を認識することにより可能であり、複数の直線やそれらの直線の交点を認識することで、三角形(3つの交点)や四角形(4つの交点)も認識することができる。これらの認識アルゴリズムはよく知られているので、詳しい説明は省略する。図3に示す例では、特徴オブジェクト認識部52により、遮断機10(図4(a)参照)の遮断棒に対応する直線と、家(建物)12(図4(a)参照)の屋根に対応する三角形等が認識されている。
Based on the feature points extracted by the feature
属性判定部53は、特徴オブジェクト認識部52で認識された幾何形状に対してその幾何形状を特定するためのオブジェクト属性(幾何形状の種別及び特徴)を判定する。なお、幾何形状の種別とは、上述した直線、三角形、四角形、円等の何れの幾何形状であるかの情報であり、幾何形状の特徴とは、長さや面積、或いは角度等の情報である。本例では、幾何形状の種別が直線である場合には、幾何形状の特徴には、当該直線の長さが含まれる。そして、属性判定部53は、幾何形状毎に、各幾何形状を特定するオブジェクト属性の情報を、属性情報として生成する。なお、属性情報には、同一種の他の幾何形状と区別するための識別コード(IDコード)が含まれる。
The
実撮影データ生成部57は、特徴点抽出部60にて抽出された特徴点の位置情報(特徴点画像の情報)と、属性判定部53により生成された属性情報と、を含む実撮影データを生成する。そして、実撮影データ生成部57が生成した実撮影データは、風景マッチング部6に送信される。
The actual photographing
3−2.参照データベース
参照データベース92は、参照データを格納するデータベースである。参照データは、風景マッチング部6によるパターンマッチング処理に利用されるマッチング対象のデータである。参照データの夫々には、図4(e)に示すように、可動物体特徴点群GA及び固定物体特徴点群GBの少なくとも一方(図4(e)に示す例では双方)の基準撮影画像内での位置情報が含まれている。
3-2. Reference Database The
ここで、「可動物体特徴点群GA」とは、一定の形状を保ったまま一定の法則に従って動く可動部を備える可動物体101について、当該可動物体101を含む風景の撮影画像である基準撮影画像から当該可動物体101の複数の特徴点を抽出して生成された、任意時点における当該可動物体101を構成する特徴点群である。すなわち、可動物体特徴点群GAとは、ある瞬間における可動物体101を構成する特徴点群、言い換えれば、可動部をその可動範囲内の任意の位置に固定した場合における可動物体101を構成する特徴点群である。なお、本発明で対象とする「可動物体」は、一定の形状を保ったまま一定の法則に従って動く可動部を備えるものであり、人工的に作製された物体とされる。すなわち、本発明における「可動物体」には、風や雨或いは雪等の気象現象(自然現象)に応じて動くような物体(木や葉等)は含まれず、本願にいう「可動部」の動きは、人工的に作り出されたもの、すなわち人工的に定めた法則に従ったものとなる。
Here, the “movable object feature point group GA” is a reference captured image that is a captured image of a landscape including the
このような可動物体101としては、例えば、踏切に設置されるとともに可動部としての遮断棒を備える遮断機10(図1、図4(d)参照)や、可動部としての回転板を備えた看板11(図8参照)等がある。なお、遮断機は踏切に設置されるものに限定されず、例えば、車両の通行料を自動的に徴収する自動料金収受システムにおいて使用される遮断機や、駐車場や店舗に設置される遮断機も含まれる。また、可動物体101は、複数の可動部を備えるものであっても良い。
As such a
本実施形態における「可動物体101」は、可動部を支持する固定部(地上に直接的又は間接的に固定された部分)を備えるものである。すなわち、可動物体101が備える単数又は複数の「可動部」の動きは、固定部によって当該動きの基点や範囲が定められ、本実施形態における「可動部」は、一定の形状を保ったまま一定の法則に従って動くとともに、固定部によって動きの基点や範囲が定められた部分となる。なお、本発明では、固定部を備えずに可動部のみを備える物体も可動物体に含まれる。また、本発明で対象とする可動物体には、例えば走行中の車両等のように一定の法則に従って動くとは限らないものは含まれない。
The “
また、「固定物体特徴点群GB」とは、動かない固定物体102を構成する特徴点群であり、固定物体102を含む風景の撮影画像である基準撮影画像から当該固定物体102の複数の特徴点を抽出して生成される。このような固定物体102としては、例えば、家12やビル13等の建物(図4(d)参照)や道路標識等がある。すなわち、固定物体102とは、可動部を備えない物体である。
Further, the “fixed object feature point group GB” is a feature point group constituting the fixed
本実施形態では、参照データベース92は、参照データを複数備えるとともに、当該複数の参照データの夫々を、各参照データに対応する基準撮影画像の撮影位置に関連付けて格納している。また、参照データの夫々には、実撮影データに含まれる上記属性情報と同様の属性情報が含まれている。このように、参照データと実撮影データとの双方が属性情報を備えることで、参照データと実撮影データとのパターンマッチング処理を適切に行うことが可能となっている。
In the present embodiment, the
また、本実施形態では、参照データには、当該参照データに可動物体101が含まれているか否かの情報が含まれている。また、参照データには、どの特徴点群Gが可動物体101を構成するかの情報は含まれていないが、参照データが可動物体101を含む場合には、当該可動物体101の種別(後述する)の情報が含まれている。
In the present embodiment, the reference data includes information on whether or not the
なお、このような参照データベース92は、上記の実撮影画像処理部5と同様の構成を備える装置を用いて構築することができるため、ここでは詳細な説明は省略する。なお、参照データには、車両100が算出する推定自車位置よりも高精度に決定された撮影位置を関連付ける必要があるため、参照データを生成する際には、風景の撮影画像(基準撮影画像)の撮影位置を高精度に取得できる手段が必要となる。
Such a
3−3.移動範囲データベース
移動範囲データベース93は、可動物体特徴点群GAが移動する可能性がある範囲を規定した情報を含む移動範囲データRを格納するデータベースである。本実施形態では、可動物体101を、可動部の移動規則に基づき複数種別に区分している。そして、移動範囲データベース93は、可動物体101の種別毎に移動範囲データRを備えている。これにより、可動物体101に対して不適当な移動範囲データが関連付けられることを抑制しつつ、可動物体101毎に移動範囲データを備える構成に比べて移動範囲データベースを簡素なものとすることが可能となっている。
3-3. Moving Range Database The moving
本実施形態では、移動範囲データベース93は、可動物体101を、可動部が回転移動するもの、可動部が平行移動するもの、互いに連結された2つの可動部が回転平行移動するもの、の3つの種別に区分して、当該3つの種別に対応する移動範囲データR(回転移動範囲データ、平行移動範囲データ、及び回転平行移動範囲データ)を備えている。
In the present embodiment, the moving
回転移動範囲データは、図5に示すように、所定形状に配置された特徴点群Gの端部の特徴点を固定特徴点P1として、その特徴点群Gを当該固定特徴点P1の周りに所定の角度θだけ回転移動させた場合の当該特徴点群Gの移動範囲を規定している。ここで、所定の角度θは、例えば、45度、90度等とすることができる。また、所定の角度θは、時計回り方向側と反時計回り方向側とを区別する構成と、区別しない構成との何れにしても良い。図5に示すように、移動範囲データRが回転移動範囲データである場合には、所定の角度θが、移動範囲データRである。すなわち、回転移動範囲データは、特徴点群Gの固定特徴点P1周りの回転角度θを移動範囲として規定しているデータといえる。 As shown in FIG. 5, the rotational movement range data includes feature points at the end of the feature point group G arranged in a predetermined shape as fixed feature points P1, and the feature point group G around the fixed feature points P1. The movement range of the feature point group G when the rotational movement is performed by a predetermined angle θ is defined. Here, the predetermined angle θ can be set to 45 degrees, 90 degrees, and the like, for example. Further, the predetermined angle θ may be either a configuration that distinguishes the clockwise direction side and the counterclockwise direction side or a configuration that does not distinguish. As shown in FIG. 5, when the movement range data R is rotational movement range data, a predetermined angle θ is the movement range data R. That is, the rotational movement range data can be said to be data that defines the rotational angle θ around the fixed feature point P1 of the feature point group G as the movement range.
平行移動範囲データは、図6に示すように、所定形状に配置された特徴点群Gを、所定の方向に所定の距離Dだけ平行移動させた場合の当該特徴点群Gの移動範囲を規定している。ここで、所定の距離Dは、例えば、基準撮影画像内において移動可能な最大範囲に基づき、例えば、当該最大範囲の半分の距離として定めたり、当該特徴点群Gの平行移動方向に直交する方向の長さに応じて、例えば、当該長さに対応する距離として定めたりすることができる。図6に示すように、移動範囲データRが平行移動範囲データである場合には、所定の距離Dが、移動範囲データRである。すなわち、平行移動範囲データは、特徴点群Gの所定の方向に沿った移動距離Dを移動範囲として規定しているデータといえる。 As shown in FIG. 6, the parallel movement range data defines the movement range of the feature point group G when the feature point group G arranged in a predetermined shape is translated by a predetermined distance D in a predetermined direction. is doing. Here, the predetermined distance D is determined based on, for example, the maximum range that can be moved in the reference photographed image, for example, as a half distance of the maximum range, or a direction orthogonal to the parallel movement direction of the feature point group G For example, the distance can be determined as a distance corresponding to the length. As shown in FIG. 6, when the movement range data R is parallel movement range data, the predetermined distance D is the movement range data R. That is, the parallel movement range data can be said to be data that defines the movement distance D along the predetermined direction of the feature point group G as the movement range.
回転平行移動範囲データは、図7に示すように、端部に共通の特徴点である共通特徴点P2を有するとともにそれぞれが所定形状に配置された第一特徴点群G1及び第二特徴点群G2からなる特徴点群Gについて、第一特徴点群G1の共通特徴点P2とは反対側の端部の特徴点を固定特徴点P1として、第一特徴点群G1を当該固定特徴点P1の周りに所定の角度θだけ回転移動させるとともに、第二特徴点群G2を共通特徴点P2の移動に伴って平行移動させた場合の当該特徴点群Gの移動範囲を規定している。ここで、所定の角度θは、例えば、45度、90度等とすることができる。また、所定の角度θは、時計回り方向側と反時計回り方向側とを区別する構成と、区別しない構成との何れにしても良い。図7に示すように、移動範囲データRが回転平行移動範囲データである場合には、所定の角度θが第一の移動範囲データR1であるとともに、共通特徴点P2の軌跡が形成する円弧の長さf(θ,L)が第二の移動範囲データR2である。ここで、円弧の長さf(θ,L)は、所定の角度θ及び第一特徴点群G1の長さLの関数となる。すなわち、回転平行移動範囲データは、第一特徴点群G1の固定特徴点P1周りの回転角度θと、当該回転角度θと第一特徴点群G1の長さLとにより定まる円弧の長さf(θ,L)とを、移動範囲として規定しているデータといえる。 As shown in FIG. 7, the rotational translation range data has a common feature point P2 that is a common feature point at the end, and a first feature point group G1 and a second feature point group that are arranged in a predetermined shape. For the feature point group G composed of G2, the feature point at the end opposite to the common feature point P2 of the first feature point group G1 is set as the fixed feature point P1, and the first feature point group G1 is defined as the fixed feature point P1. A range of movement of the feature point group G when the second feature point group G2 is translated around the common feature point P2 while rotating around the predetermined angle θ is defined. Here, the predetermined angle θ can be set to 45 degrees, 90 degrees, and the like, for example. Further, the predetermined angle θ may be either a configuration that distinguishes the clockwise direction side and the counterclockwise direction side or a configuration that does not distinguish. As shown in FIG. 7, when the movement range data R is rotational translation range data, the predetermined angle θ is the first movement range data R1, and the arc of the arc formed by the trajectory of the common feature point P2 is formed. The length f (θ, L) is the second movement range data R2. Here, the arc length f (θ, L) is a function of the predetermined angle θ and the length L of the first feature point group G1. That is, the rotational translation range data includes the rotation angle θ around the fixed feature point P1 of the first feature point group G1, and the arc length f determined by the rotation angle θ and the length L of the first feature point group G1. It can be said that (θ, L) is data defining the movement range.
3−4.風景マッチング部の構成
風景マッチング部6は、実撮影データ生成部57より送られてきた実撮影データと、参照データベース92から抽出した参照データとの間のパターンマッチング処理を行い、当該実撮影データの生成元の実撮影画像の撮影位置を決定する機能部である。本実施形態では、風景マッチング部6は、画像認識部71と、マッチング実行部72と、撮影位置決定部73と、を備えている。
3-4. Configuration of Scene Matching Unit The landscape matching unit 6 performs a pattern matching process between the actual shooting data sent from the actual shooting
3−4−1.画像認識部の構成
画像認識部71は、自車位置決定部45から送られてきた実撮影画像の撮影時の推定自車位置に基づいて、実撮影データ生成部57より送られてきた実撮影データとの間のパターンマッチング処理の候補となる参照データ(マッチング候補参照データ)を、参照データベース92から抽出する。なお、上記のように、参照データの夫々には、各参照データに対応する基準撮影画像の撮影位置が関連付けられており、画像認識部71は、関連付けられた撮影位置が実撮影画像の撮影時の推定自車位置近傍である参照データを、マッチング候補参照データとして抽出する。そして、画像認識部71は、実撮影データと参照データとを比較し、マッチング実行部72が実撮影データと参照データとの間のパターンマッチング処理を実行する際に必要となる情報を生成する。
3-4-1. Configuration of Image Recognizing Unit The
上記のように、実撮影データには、当該実撮影データに含まれる複数の特徴点の、当該実撮影データの生成元の実撮影画像内における位置情報が含まれている。また、参照データには、当該参照データに含まれる複数の特徴点の、当該参照データの生成元の基準撮影画像内における位置情報が含まれている。そして、画像認識部71は、実撮影データに含まれる複数の特徴点の配置と、参照データに含まれる複数の特徴点の配置とを比較し、実撮影データに含まれる複数の特徴点に対して画像認識処理を行う。
As described above, the actual shooting data includes position information of a plurality of feature points included in the actual shooting data in the actual shooting image from which the actual shooting data is generated. Further, the reference data includes position information of a plurality of feature points included in the reference data in the standard captured image from which the reference data is generated. Then, the
具体的には、画像認識部71は、実撮影データに含まれる複数の特徴点の内の少なくとも一部から成る特徴点群Gを対象特徴点群GC(図4(b)参照)とし、当該対象特徴点群GCの配置と一致する特徴点群Gが参照データに含まれるか否かを判定する。なお、上記のように、実撮影データには、属性判定部53により生成された属性情報が含まれている。また、参照データにも、同様に、属性情報が含まれている。よって、画像認識部71は、各特徴点の画像内での位置に加えて属性情報にも基づいて、対象特徴点群GCの配置と一致する特徴点群Gが参照データに含まれるか否かを判定する。
Specifically, the
上記のように、参照データには、可動物体101を構成する特徴点群Gである可動物体特徴点群GAの基準撮影画像内での位置情報と、固定物体102を構成する特徴点群である固定物体特徴点群GBの基準撮影画像内での位置情報との内の、少なくとも一方の位置情報が含まれている。そして、画像認識部71は、対象特徴点群GCの配置が可動物体特徴点群GAの配置と一致する場合に、当該対象特徴点群GCを、当該可動物体特徴点群GAが構成する可動物体101(参照データに含まれる可動物体101)と認識する。また、画像認識部71は、対象特徴点群GCの配置が固定物体特徴点群GBの配置と一致する場合に、当該対象特徴点群GCを、当該固定物体特徴点群GBが構成する固定物体102(参照データに含まれる固定物体102)と認識する。
As described above, the reference data includes the position information of the movable object feature point group GA, which is the feature point group G constituting the
ところで、実撮影画像の中に可動物体101が含まれている場合、当該実撮影画像の撮影時と基準撮影画像の撮影時とで、可動物体101(より正確には、可動物体101が備える可動部)の位置が異なる可能性がある。そして、そのような場合には、実撮影画像と基準撮影画像との間で撮影位置及び撮影方向の双方が互いに同一の場合であっても、例えば図4に示すように、実撮影データにおける当該可動物体101を構成する対象特徴点群GCの配置と、参照データにおける当該可動物体101を構成する特徴点群G(可動物体特徴点群GA)の配置とが異なるものとなってしまう。この場合、実撮影データに含まれる対象特徴点群GCの配置と、参照データに含まれる可動物体特徴点群GAの配置とを単純に比較するだけでは、対象特徴点群GCと可動物体特徴点群GAとが同一の可動物体101を構成しているにもかかわらず、互いに異なる物体を構成していると誤って判断してしまう可能性がある。
By the way, when the
この点に関し、画像認識部71は、上記の移動範囲データRを用い、実撮影データに含まれる可動物体101の認識を行う構成を備えている。具体的には、画像認識部71は、マッチング対象の参照データが含む可動物体101の種別に対応する移動範囲データRを、移動範囲データベース93から抽出する。そして、画像認識部71は、実撮影データに含まれる対象特徴点群GCの配置が、参照データに含まれる可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内である場合に、当該対象特徴点群GCを、当該可動物体特徴点群GAが構成する可動物体101(参照データに含まれる可動物体101)と認識するように構成されている。このように、本実施形態では、画像認識部71は、参照データと当該参照データに含まれる可動物体101の種別に対応する移動範囲データRとを用いて、可動物体101の認識を行う。なお、以下の説明では、このような認識処理を、「特別認識処理」という。
In this regard, the
本実施形態では、参照データに可動物体101が含まれており、且つ、対象特徴点群GCの属性情報と、可動物体特徴点群GAの属性情報とが一致する場合に、画像認識部71は上記の特別認識処理を実行する。なお、上記のように、本実施形態では、参照データには、可動物体101が含まれているか否かの情報が含まれているものの、どの特徴点群Gが可動物体101を構成するかの情報は含まれていない。そのため、本実施形態では、参照データに含まれる特徴点群Gであって、配置が実撮影データに含まれる何れの特徴点群Gとも一致しない特徴点群Gを可動物体特徴点群GAとして、上記特別認識処理を実行するように構成されている。
In the present embodiment, when the
また、本実施形態では、上記のように、参照データが可動物体101を含む場合に、参照データには、当該可動物体101の種別の情報が含まれているものの、どの特徴点群Gが可動物体101を構成するかの情報は含まれていない。よって、1つの参照データに、複数の互いに異なる種別の可動物体101が含まれている場合には、画像認識部71は、上記特別認識処理を実行するに際し、当該複数の種別に対応する複数の移動範囲データRの中から選択した1つの移動範囲データRを用い、対象特徴点群GCの配置が可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内であるか否かを判定する。そして、対象特徴点群GCの配置が可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲外であった場合には、別の移動範囲データRを選択して同様の判定を行うように構成されている。
In the present embodiment, as described above, when the reference data includes the
3−4−2.マッチング実行部の構成
マッチング実行部72は、画像認識部71の認識結果に基づき、実撮影データと参照データとのマッチング(パターンマッチング、風景マッチング)を行う。上記のように、画像認識部71は、実撮影画像に含まれる特徴点群Gの配置と一致する特徴点群Gが、参照データに含まれるか否かを判定する。そして、マッチング実行部72は、画像認識部71の当該判定結果に基づき、実撮影データと参照データとの間のパターンマッチングが成功したか否かを判定する。
3-4-2. Configuration of Matching Execution Unit The matching
ここで、「実撮影データと参照データとの間のパターンマッチングが成功する」とは、実撮影データの生成元の実撮影画像の撮影位置が、参照データの生成元の基準撮影画像の撮影位置と同一であるとみなせることを意味する。具体的には、画像認識部71が、実撮影データに含まれる実質的に全ての特徴点群Gに対して、参照データに含まれる物体として認識することができた場合に、マッチング実行部72は、実撮影データと参照データとの間のパターンマッチングが成功したと判定する。そして、マッチング実行部72の判定結果の情報は、撮影位置決定部73に送信される。
Here, “the pattern matching between the actual shooting data and the reference data is successful” means that the shooting position of the actual shooting image from which the actual shooting data is generated is the shooting position of the standard shooting image from which the reference data is generated. Means that it can be considered the same. Specifically, when the
ここで、「実質的に全て」とは、風景画像認識に不適な特徴点群を除くことを意味する。このような不適な特徴点群は、本発明における「可動物体」及び「固定物体」のいずれにも該当しない物体を構成する特徴点群であり、例えば、自動車、自転車、人、或いは動物等が挙げられる。 Here, “substantially all” means that feature point groups unsuitable for landscape image recognition are excluded. Such an inappropriate feature point group is a feature point group that constitutes an object that does not correspond to any of the “movable object” and “fixed object” in the present invention. For example, a car, a bicycle, a person, or an animal Can be mentioned.
3−4−3.撮影位置決定部の構成
撮影位置決定部73は、マッチング実行部72の判定結果を受け取り、実撮影データと参照データとの間のパターンマッチングが成功した場合に、当該実撮影データの生成元の実撮影画像の撮影位置を決定する。具体的には、パターンマッチングに成功した参照データを同定参照データ(図1参照)とし、撮影位置決定部73は、同定参照データに関連付けられた撮影位置を取得する。そして、撮影位置決定部73は、当該撮影位置を、実撮影データに対応する実撮影画像の撮影位置とする。なお、本例では、撮影位置決定部73は、同定参照データに関連付けられた撮影位置を、そのまま実撮影画像の撮影位置として決定するように構成されている。しかし、パターンマッチング処理による一致度(マッチング度)が同程度の参照データが複数ある場合には、それら複数の参照データに関連付けられた複数の撮影位置に基づき、例えば平均値をとるなどして、実撮影画像の撮影位置を決定する構成とすることもできる。
3-4-3. Configuration of Shooting Position Determination Unit The shooting
3−4−4.可動物体認識処理の具体例
次に、風景マッチング部6によるパターンマッチング処理の概念について、図4に示す具体例を参照して説明する。図4(a)は、カメラ14による風景の実撮影画像であり、当該実撮影画像には、固定物体102としての家12及びビル13と、可動物体101としての2つの遮断機10とが含まれている。図4(b)は、図4(a)に示す実撮影画像から実撮影画像処理部5により生成された実撮影データを示している。図4(b)に示す実撮影データには、図4(a)に示す家12、ビル13、及び2つの遮断機10のそれぞれに対応する4つの特徴点群Gが含まれている。ここでは、この図4(b)に示す実撮影データが風景マッチング部6に送られてきたとして、風景マッチング部6におけるパターンマッチング処理について説明する。なお、図4(b)においては、各特徴点の実撮影画像(図4(a))内での位置を分かりやすくするため、実撮影データには含まれない線分も併せて表示している。図4(e)についても同様である。
3-4-4. Specific Example of Moving Object Recognition Processing Next, the concept of pattern matching processing by the landscape matching unit 6 will be described with reference to a specific example shown in FIG. FIG. 4A is an actual captured image of a landscape by the
画像認識部71は、図4(b)に示す実撮影データを受け取ると、上述したように、当該実撮影データとの間のパターンマッチング処理の候補となる参照データ(マッチング候補参照データ)を、参照データベース92から抽出する。そして、マッチング候補参照データから1つの参照データを、マッチング対象の参照データとして選択する。ここでは、図4(e)に示す参照データが選択されたとする。なお、図4(d)は、図4(e)に示す参照データの生成元の基準撮影画像を示している。図4(a)と図4(d)とを比較すれば明らかなように、実撮影画像と基準撮影画像とは、同じ撮影位置で同じ撮影方向に撮影された画像であるが、可動物体101である遮断機10が備える遮断棒(可動部)の画像内での位置が、実撮影画像と基準撮影画像とでは異なっている。よって、これらの画像から生成される実撮影データと参照データとの間でも、遮断機10(遮断棒)を構成する特徴点群Gの配置が互いに異なっている。
When the
上記のように、実撮影データには、4つの特徴点群Gが含まれている。よって、画像認識部71は、当該4つの特徴点群Gのそれぞれを対象特徴点群GCとして、当該対象特徴点群GCの配置と一致する特徴点群Gが参照データに含まれるか否かを判定する。図4(b)と図4(e)とを比較すると明らかなように、参照データには、ビル13を構成する対象特徴点群GCの配置と一致する特徴点群G(固定物体特徴点群GB)が含まれているとともに、家12を構成する対象特徴点群GCの配置と一致する特徴点群G(固定物体特徴点群GB)が含まれている。よって、画像認識部71は、実撮影データに含まれる2つの対象特徴点群GCを、それぞれ、参照データにおいて2つの固定物体特徴点群GBが構成する家12及びビル13と認識する。
As described above, the actual photographing data includes the four feature point groups G. Therefore, the
なお、ここでは、説明の都合上、画像認識部71が、家12やビル13を認識するという表現を用いているが、本発明では、画像認識部71が物体の種別まで認識することを要件とはしていない。すなわち、本願では、実撮影データに含まれる対象特徴点群GCが、参照データに含まれる何らかの物体を構成するとみなせる場合を、「対象特徴点群GCを物体(可動物体101或いは固定物体102)と認識する」としている。
Here, for convenience of explanation, the expression that the
一方、図4(b)と図4(e)とを比較すると明らかなように、参照データには、遮断機10を構成する対象特徴点群GCの配置と一致する特徴点群Gが含まれていない。よって、図4(b)に示す実撮影データと、図4(e)に示す参照データとは一致しない。ここで、図4(b)において上側の遮断機10(遮断棒)を構成する対象特徴点群GCと、図4(e)において右側の遮断機10(遮断棒)を構成する可動物体特徴点群GAとは、双方とも直線状に配列されているとともに、当該直線の長さが一致する。すなわち、これらの対象特徴点群GCと可動物体特徴点群GAとは、それぞれに関連付けられた属性情報(幾何形状の種類及び特徴)が互いに一致する。同様に、図4(b)において下側の遮断機10(遮断棒)を構成する対象特徴点群GCと、図4(e)において左側の遮断機10(遮断棒)を構成する可動物体特徴点群GAとは、それぞれに関連付けられた属性情報(幾何形状の種類及び特徴)が互いに一致する。よって、画像認識部71は、図4(b)において2つの遮断機10(遮断棒)を構成する2つの対象特徴点群GCを、上記の特別認識処理を実行する対象特徴点群GC(以下、「特定対象特徴点群GC1」とする。)として選択する。
On the other hand, as is apparent from a comparison between FIG. 4B and FIG. 4E, the reference data includes a feature point group G that matches the arrangement of the target feature point group GC that constitutes the
ここで、参照データに含まれる2つの可動物体特徴点群GAは、互いに同一の種別の可動物体101を構成し、当該種別には、移動範囲データRとして、図5に概念的に示すような回転移動範囲データが関連付けられているとする。なお、図4に示す例では、図4(f)において左側の可動物体特徴点群GAを時計回り方向に角度θ1だけ固定特徴点P1周りに回転させると、当該可動物体特徴点群GAの配置は、図4(c)における下側の特定対象特徴点群GC1の配置と一致する。よって、この角度θ1が、回転移動範囲データとして規定された所定の角度θ以下である場合に(図5参照)、図4(c)における下側の特定対象特徴点群GC1の配置は、図4(f)において左側の可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内となる。
Here, the two movable object feature point groups GA included in the reference data constitute the
また、図4(f)において右側の可動物体特徴点群GAを反時計回り方向に角度θ2だけ固定特徴点P1周りに回転させると、当該可動物体特徴点群GAの配置は、図4(c)における上側の特定対象特徴点群GC1の配置と一致する。よって、図示は省略するが、この角度θ2が、回転移動範囲データとして規定された所定の角度θ以下である場合に、図4(c)における上側の特定対象特徴点群GC1の配置は、図4(f)において右側の可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内となる。 Further, when the right movable object feature point group GA in FIG. 4F is rotated around the fixed feature point P1 by an angle θ2 in the counterclockwise direction, the arrangement of the movable object feature point group GA is as shown in FIG. ) And the arrangement of the upper specific target feature point group GC1. Therefore, although illustration is omitted, when the angle θ2 is equal to or smaller than the predetermined angle θ defined as the rotational movement range data, the arrangement of the upper specific target feature point group GC1 in FIG. In 4 (f), it is within the range defined by the movement range data R based on the arrangement of the movable object feature point group GA on the right side.
以上のことから、θ1及びθ2の内の大きい方の角度をθ3とすると、角度θ3が、回転移動範囲データとして規定された所定の角度θ以下である場合に、図4(c)に示す特定対象特徴点群GC1の配置は、参照データに含まれる可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内となる。この場合、画像認識部71は、これら2つの特定対象特徴点群GCのそれぞれを、参照データにおいて2つの可動物体特徴点群GAが構成する2つの遮断機10と認識する。そして、風景マッチング部6は、図4(b)に示す実撮影データと、図4(e)に示す参照データとの間のパターンマッチングが成功したと判定する。
From the above, assuming that the larger one of θ1 and θ2 is θ3, when the angle θ3 is equal to or smaller than the predetermined angle θ defined as the rotational movement range data, the identification shown in FIG. The arrangement of the target feature point group GC1 is within a range defined in the movement range data R based on the arrangement of the movable object feature point group GA included in the reference data. In this case, the
なお、本例のように、可動物体101が同一の種別であっても、可動部の移動方向(本例では回転方向)が異なる場合がある。このような場合には、双方の移動方向に対して移動範囲データRを個別に設定しても良いし、双方の移動方向に対して共通の移動範囲データRを設定しても良い。
As in this example, even if the
また、可動部の移動方向は、基準撮影画像の撮影時における可動部の位置にも依存するため、所定の角度θが時計回り方向側であるか反時計回り方向側であるかを区別する構成では、このことも考慮して移動範囲データRが設定される。 In addition, since the moving direction of the movable part also depends on the position of the movable part at the time of capturing the reference captured image, it is configured to distinguish whether the predetermined angle θ is the clockwise direction side or the counterclockwise direction side. In consideration of this, the movement range data R is set.
さらに、ここでは、参照データに含まれる可動物体特徴点群GAに、可動物体101が備える固定部を構成する特徴点が含まれないように、参照データが生成されている場合を例として説明したが、可動物体特徴点群GAに当該固定部を構成する特徴点が含まれている場合には、可動物体特徴点群GAの内の、可動部を構成する特徴点群Gに対して、上記の特別認識処理を適用し、固定部を構成する特徴点群Gについては、固定物体特徴点群GBと同様に画像認識を行うと良い。
Furthermore, here, the case where the reference data is generated is described as an example so that the movable object feature point group GA included in the reference data does not include the feature points constituting the fixed portion included in the
また、詳細な説明は省略するが、遮断機10の種別によっては、図6に示す平行移動範囲データや、図7に示す回転移動範囲データが関連付けられ、上記特別認識処理を実行する構成とすることができる。補足説明すると、図6は、遮断機10が備える遮断棒が上下方向に平行移動する場合に関連付けられる平行移動範囲データを示しており、本例では、可動物体特徴点群GAは、特定対象特徴点群GC1に対して上側に位置する。この場合、特定対象特徴点群GC1の可動物体特徴点群GAに対する下方方向へのずれ量(距離)D1が、平行移動範囲データを規定する所定の距離D以下である場合に、特定対象特徴点群GC1の配置は、可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内となる。
Although detailed explanation is omitted, depending on the type of the
また、図7は、遮断機10が2つの遮断棒を備えるとともに、当該2つの遮断棒が一端で連結され、一方の遮断棒が回転移動し、他方の遮断棒が一方の遮断棒の回転に伴い平行移動する場合に関連付けられる平行移動範囲データを示しており、本例では、可動物体特徴点群GAは、特定対象特徴点群GC1に対して左上側に位置する。この場合、特定対象特徴点群GC1の内の第一特徴点群G1に対応する部分の当該第一特徴点群G1に対する回転角度θ1が、第一移動範囲データR1としての回転角度θ以下であり、且つ、特定対象特徴点群GC1の内の共通特徴点P2に対応する特徴点と当該共通特徴点P2とが境界を規定する円弧の長さf1が、第二移動範囲データR2としての円弧の長さf(θ,L)以下である場合に、特定対象特徴点群GC1の配置は、可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内となる。
FIG. 7 also shows that the
また、本発明が対象とする可動物体101は遮断機10のみではなく、その他のあらゆる可動物体101の認識に、本発明を適用することができる。例えば、図8(a)に示すように、所定の軸周りに回転する回転板を備えた看板11の画像認識に、本発明を適用することができる。図8に示す例では、看板11(回転板)の図8(a)における左側の端部は、回転に伴い図中左右方向に平行移動するため、このような看板11も、上記の遮断機10と同様に、平行移動範囲データを用いて認識することができる。
Moreover, the present invention can be applied to recognition of not only the
4.動作処理の手順
次に、図9、図10を参照して、本実施形態に係る画像処理装置2において実行される撮影位置決定処理の手順(撮影位置決定方法)について説明する。以下に説明する撮影位置決定処理の手順は、上記のナビゲーション装置1(画像処理装置2)の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置が、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。なお、図10は、図9のステップ#14のパターンマッチング処理の手順を示すフローチャートである。
4). Procedure of Operation Process Next, with reference to FIG. 9 and FIG. 10, a procedure of an imaging position determination process (imaging position determination method) executed in the
4−1.撮影位置決定処理の全体の手順
図9に示すように、カメラ14により撮影された実撮影画像が実撮影画像処理部5に入力されると、(ステップ#10:Yes)、実撮影データ生成部57により実撮影データが生成される(ステップ#11)。そして、実撮影データが風景マッチング部6に送信され、画像認識部71は、当該実撮影データとパターンマッチング処理を行うための参照データを、参照データベース92からマッチング候補参照データとして抽出する(ステップ#12)。なお、ステップ#12のマッチング候補参照データの抽出処理を、ステップ#11の実撮影データの生成処理と同時に行う構成としたり、ステップ#11の処理よりも前に行う構成としたりすることもできる。
4-1. Overall Procedure of Shooting Position Determination Processing As shown in FIG. 9, when an actual captured image captured by the
次に、画像認識部71は、マッチング候補参照データから参照データを選択し(ステップ#13)、当該選択した参照データと実撮影データとの間のパターンマッチング処理を行う(ステップ#14)。なお、この、パターンマッチング処理については、後に図10のフローチャートに基づいて詳細に説明する。
Next, the
そして、参照データと実撮影データとの間のパターンマッチングが成功した場合には(ステップ#15:Yes)、撮影位置決定部73は、パターンマッチングに成功した参照データ(同定参照データ)に関連付けられた撮影位置を取得し、当該撮影位置に基づき実撮影画像の撮影位置を決定する。
When the pattern matching between the reference data and the actual shooting data is successful (step # 15: Yes), the shooting
一方、参照データと実撮影データとの間のパターンマッチングが成功しなかった場合には(ステップ#15:No)、マッチング候補参照データの中にまだパターンマッチング処理を実行していない参照データがあるか否かの判定を行う(ステップ#17)。そして、マッチング候補参照データの中にまだパターンマッチング処理を実行していない参照データがある場合には(ステップ#17:Yes)、処理がステップ#13に戻され、ステップ#13からステップ#15の処理が再び実行される。一方、マッチング候補参照データの中にまだパターンマッチング処理を実行していない参照データがない場合には(ステップ#17:No)、すなわち、実撮影データが、マッチング候補参照データに含まれる何れの参照データともパターンマッチングに成功しなかった場合には、処理は終了する。
On the other hand, when the pattern matching between the reference data and the actual photographing data is not successful (step # 15: No), there is reference data that has not yet been subjected to the pattern matching process in the matching candidate reference data. Is determined (step # 17). If there is reference data that has not yet been subjected to pattern matching processing in the matching candidate reference data (step # 17: Yes), the processing is returned to
4−2.パターンマッチング処理の手順
次に、図10を参照してパターンマッチング処理の手順について説明する。パターンマッチング処理では、まず初めに、実撮影データと参照データとが一致するか否かの判定が行われる(ステップ#20)。ここで、実撮影データと参照データとが一致するとは、実撮影データと参照データとをそのまま(すなわち、上記特別認識処理を行わずに)比較した際に、実撮影データに含まれる実質的に全ての特徴点群Gに対して、参照データに含まれる物体として認識することができることを意味する。そして、実撮影データと参照データとが一致する場合には(ステップ#21:Yes)、パターンマッチングが成功した(パターンマッチング成功)と判定し(ステップ#26)、処理は終了する。
4-2. Pattern Matching Process Procedure Next, a pattern matching process procedure will be described with reference to FIG. In the pattern matching process, first, it is determined whether or not the actual image data matches the reference data (step # 20). Here, the fact that the actual shooting data and the reference data match each other means that the actual shooting data and the reference data are substantially included in the actual shooting data when the actual shooting data and the reference data are compared as they are (that is, without performing the special recognition process). This means that all feature point groups G can be recognized as objects included in the reference data. If the actual image data and the reference data match (step # 21: Yes), it is determined that the pattern matching is successful (pattern matching success) (step # 26), and the process ends.
一方、実撮影データと参照データとが一致しない場合には(ステップ#21:No)、参照データが可動物体101を含むか否かの判定を行う(ステップ#22)。上記のように、参照データは、当該参照データが可動物体101を含むか否かの情報を有しているので、この情報に基づきステップ#22の判定が実行される。そして、参照データが可動物体101を含まない場合には(ステップ#22:No)、パターンマッチングが成功しなかった(パターンマッチング不成功)と判定し(ステップ#27)、処理は終了する。
On the other hand, if the actual image data does not match the reference data (step # 21: No), it is determined whether or not the reference data includes the movable object 101 (step # 22). As described above, since the reference data includes information on whether or not the reference data includes the
一方、参照データが可動物体101を含む場合には(ステップ#22:Yes)、特定対象特徴点群GC1の属性情報と、可動物体特徴点群GAの属性情報と、が同一であるか否かを判定する(ステップ#23)。なお、特定対象特徴点群GC1は、実撮影データに含まれる特徴点群G(対象特徴点群GC)であって、配置が参照データに含まれる何れの特徴点群Gとも一致しない対象特徴点群GCである。また、上記のように、本実施形態では、参照データには、当該参照データに可動物体101が含まれているか否かの情報が含まれているが、どの特徴点群Gが可動物体101を構成するかの情報は有していない。よって、本例では、参照データに含まれる特徴点群Gであって、配置が実撮影データに含まれる何れの特徴点群Gとも一致しない特徴点群Gを可動物体特徴点群GAとする。
On the other hand, if the reference data includes the movable object 101 (step # 22: Yes), whether the attribute information of the specific target feature point group GC1 and the attribute information of the movable object feature point group GA are the same. Is determined (step # 23). The specific target feature point group GC1 is a feature point group G (target feature point group GC) included in the actual shooting data, and the target feature point whose arrangement does not match any feature point group G included in the reference data Group GC. Further, as described above, in this embodiment, the reference data includes information on whether or not the
そして、特定対象特徴点群GC1の属性情報と可動物体特徴点群GAの属性情報とが同一でない場合には(ステップ#23:No)、パターンマッチングが成功しなかった(パターンマッチング不成功)と判定し(ステップ#27)、処理は終了する。一方、特定対象特徴点群GC1の属性情報と可動物体特徴点群GAの属性情報とが同一である場合には(ステップ#23:Yes)、移動範囲データベース93より当該可動物体特徴点群GAが構成する可動物体101の種別に対応する移動範囲データRを抽出する(ステップ#24)。そして、ステップ#24にて抽出された移動範囲データRに基づき、特定対象特徴点群GC1の配置が、可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内にあるか否かの判定が行われる(ステップ#25)。
And when the attribute information of specific object feature point group GC1 and the attribute information of movable object feature point group GA are not the same (step # 23: No), pattern matching was not successful (pattern matching unsuccessful). A determination is made (step # 27), and the process ends. On the other hand, when the attribute information of the specific target feature point group GC1 and the attribute information of the movable object feature point group GA are the same (step # 23: Yes), the movable object feature point group GA is determined from the
そして、ステップ#25において、特定対象特徴点群GC1の配置が、可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内にあると判定された場合には(ステップ#25:Yes)、パターンマッチング成功と判定され(ステップ#26)、処理は終了する。一方、ステップ#25において、特定対象特徴点群GC1の配置が、可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲外にあると判定された場合には(ステップ#25:No)、パターンマッチング不成功と判定され(ステップ#27)、処理は終了する。
In
ところで、実撮影データに複数の特定対象特徴点群GC1が含まれ、参照データに複数の可動物体特徴点群GAが含まれる場合がある。このような場合には、ステップ#23においては、特定対象特徴点群GC1と可動物体特徴点群GAとを1対1に対応づけることができ、且つ、互いに対応付けられた特定対象特徴点群GC1と可動物体特徴点群GAとの組の全てについて、各組を構成する特定対象特徴点群GC1の属性情報と可動物体特徴点群GAの属性情報とが同一である場合に、ステップ#23においてYesと判定する。
By the way, there may be a case where a plurality of specific target feature point groups GC1 are included in the actual photographing data and a plurality of movable object feature point groups GA are included in the reference data. In such a case, in
同様に、互いに対応付けられた特定対象特徴点群GC1と可動物体特徴点群GAとの組の全てについて、特定対象特徴点群GC1の配置が、当該特定対象特徴点群GC1と同じ組を構成する可動物体特徴点群GAの配置を基準とする移動範囲データRに規定された範囲内にある場合に、ステップ#25においてYesと判定する。
Similarly, for all of the pairs of the specific target feature point group GC1 and the movable object feature point group GA that are associated with each other, the arrangement of the specific target feature point group GC1 constitutes the same set as the specific target feature point group GC1. If it is within the range defined in the movement range data R based on the arrangement of the movable object feature point group GA to be determined, Yes is determined in
5.その他の実施形態
最後に、本発明に係るその他の実施形態を説明する。なお、以下の各々の実施形態で開示される特徴は、その実施形態でのみ利用できるものではなく、矛盾が生じない限り、別の実施形態にも適用可能である。
5. Other Embodiments Finally, other embodiments according to the present invention will be described. Note that the features disclosed in each of the following embodiments can be used only in that embodiment, and can be applied to other embodiments as long as no contradiction arises.
(1)上記の実施形態では、移動範囲データベース93が、移動範囲データRとして、回転移動範囲データと、平行移動範囲データと、回転平行移動範囲データと、の3つを備えている構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、これらの一部の移動範囲データRのみを備える構成としたり、これらの組み合わせからなる移動範囲データRを備える構成としたりすることもできる。また、上記3つの移動範囲データR以外の移動範囲データRも更に備える構成とすることもできる。例えば、移動範囲データRが、画像内において特徴点群Gを含む所定の大きさの領域を、当該特徴点群Gの移動範囲として規定する構成とすることもできる。なお、所定の大きさは、例えば、幅及び高さにより定まる四角形状の領域とし、或いは径により定まる円状の領域とすることができる。
(1) In the above embodiment, the moving
(2)上記の実施形態では、移動範囲データベース93が、可動物体101を複数種別に区分して、当該種別毎に移動範囲データRを備える構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、移動範囲データベース93が、可動物体101毎に移動範囲データRを備える構成とすることも可能である。この場合、上記の実施形態とは異なり、参照データは、参照データに含まれる可動物体101の種別ではなく、当該可動物体101を特定するための情報を備える構成とする。また、移動範囲データベース93が、全ての可動物体101に対して共通の移動範囲データRを備える構成とすることもできる。
(2) In the above embodiment, the configuration in which the moving
(3)上記の実施形態では、風景マッチング部6が、画像認識部71の認識結果に基づき実撮影画像の撮影位置を決定する構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、画像認識部71による可動物体101の認識結果を、その他の用途に用いることも可能である。例えば、画像認識部71が可動物体101を認識した際に、車両の運転者にその情報を提供(例えば、注意喚起として提供)する構成とすることも可能である。このような場合には、画像処理装置2は、マッチング実行部72や撮影位置決定部73を備えない構成としても良い。
(3) In the above embodiment, the configuration in which the landscape matching unit 6 determines the shooting position of the actual shot image based on the recognition result of the
(4)上記の実施形態では、撮影位置決定部73による実撮影画像の撮影位置の決定結果を用いて、車両の自車位置(推定自車位置)の修正を行う構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、撮影位置決定部73の決定結果に基づき車両100の走行制御を行う等、当該決定結果をその他の用途に用いる構成とすることも、当然に可能である。
(4) In the above-described embodiment, the configuration in which the vehicle position (estimated vehicle position) of the vehicle is corrected using the determination result of the shooting position of the actual captured image by the shooting
(5)上記の実施形態では、画像認識部71が、マッチング対象の参照データが含む可動物体101の種別に対応する移動範囲データRを、参照データベース92とは別体に構成された移動範囲データベース93から抽出する構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、参照データベース92と移動範囲データベース93とが一体的に構成(以下、「一体データベース」という。)されているとともに、可動物体101を含む参照データの各々が、移動範囲データRに関連付けられて格納されている構成とすることも、本発明の好適な実施形態の一つである。このような構成では、画像認識部71は、一体データベースからの参照データの抽出と同時に、当該参照データが可動物体101を含む場合には当該可動物体101に対応する移動範囲データRを一体データベースから抽出する構成となる。
(5) In the above embodiment, the
(6)上記の実施形態では、実撮影画像処理部5が特徴オブジェクト認識部52及び属性判定部53を備え、特徴点抽出部60にて抽出された特徴点に基づき、実撮影画像中における識別可能な事物を特徴オブジェクトとして認識してその属性情報を生成する構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、実撮影画像処理部5が特徴オブジェクト認識部52及び属性判定部53を備えず、実撮影データ生成部57が、特徴点抽出部60により抽出された特徴点の位置情報(特徴点画像の情報)のみを含む実撮影データを生成する構成とすることもできる。この場合、参照データも、属性情報を備えない構成とすることができる。そして、このような構成では、画像認識部71は、実撮影データと参照データとが一致せず、且つ、参照データに可動物体101が含まれている場合に、上記特別認識処理を実行する構成とすることができる。
(6) In the above embodiment, the actual captured
(7)上記の実施形態では、参照データには、当該参照データに可動物体101が含まれているか否かの情報が含まれているが、どの特徴点群Gが可動物体101を構成するかの情報は有していない構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、参照データが、可動物体101を構成する特徴点群Gを特定するための情報を備えている構成とすることもできる。また、参照データが、可動物体101を含むか否かの情報を有さず、実撮影データと参照データとが一致しない場合に上記特別認識処理を実行する構成とすることもできる。
(7) In the above embodiment, the reference data includes information on whether or not the
(8)上記の実施形態では、カメラ14が、車両100の前方を撮影するフロントカメラである構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、車載カメラとして、車両前方斜め方向の風景を撮影するカメラや、車両側方或いは車両後方の風景を撮影するカメラであってよい。つまり、本発明で対象とする実撮影画像は、車両走行方向前方側の風景の撮影画像に限定されない。
(8) In the above embodiment, the configuration in which the
(9)上記の実施形態において説明した機能部の割り当ては単なる一例であり、複数の機能部を組み合わせたり、1つの機能部をさらに区分けすることも可能である。 (9) The assignment of the functional units described in the above embodiment is merely an example, and a plurality of functional units can be combined or one functional unit can be further divided.
(10)上記の実施形態では、画像処理装置2が、ナビゲーション装置1に備えられる構成を例として例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、車両の走行制御装置等のその他の装置に画像処理装置2が備えられる構成とすることもできる。
(10) In the above-described embodiment, the configuration in which the
(11)上記の実施形態では、カメラ14に加え、画像処理装置2を構成する実撮影画像処理部5、風景マッチング部6、参照データベース92、及び移動範囲データベース93の全てが、車両100に搭載される構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、実撮影画像処理部5、風景マッチング部6、参照データベース92、及び移動範囲データベース93の少なくともいずれかが、インターネット等の通信ネットワークを介して接続された状態で車両100の外に設置されている構成とすることもできる。このような構成では、ネットワークを介して情報や信号の送受信を行うことにより、車両100に備えられたカメラ14により撮影された実撮影画像を処理する画像処理装置2が構成される。
(11) In the above embodiment, in addition to the
(12)その他の構成に関しても、本明細書において開示された実施形態は全ての点で例示であって、本発明の実施形態はこれに限定されない。すなわち、本願の特許請求の範囲に記載された構成及びこれと均等な構成を備えている限り、特許請求の範囲に記載されていない構成の一部を適宜改変した構成も、当然に本発明の技術的範囲に属する。 (12) Regarding other configurations as well, the embodiments disclosed herein are illustrative in all respects, and the embodiments of the present invention are not limited thereto. That is, as long as the configuration described in the claims of the present application and a configuration equivalent thereto are provided, a configuration obtained by appropriately modifying a part of the configuration not described in the claims is naturally also included in the present invention. Belongs to the technical scope.
本発明は、車載カメラにより撮影された画像を用いて画像認識を行う画像処理装置及び画像処理プログラムに好適に利用することができる。 The present invention can be suitably used for an image processing apparatus and an image processing program that perform image recognition using an image taken by an in-vehicle camera.
2:画像処理装置
5:実撮影画像処理部
14:カメラ(車載カメラ)
71:画像認識部
72:マッチング実行部
73:撮影位置決定部
92:参照データベース
93:移動範囲データベース
101:可動物体
102:固定物体
D:所定の距離
G:特徴点群
G1:第一特徴点群
G2:第二特徴点群
GA:可動物体特徴点群
GB:固定物体特徴点群
GC:対象特徴点群
P1:固定特徴点
P2:共通特徴点
R:移動範囲データ
θ:所定の角度
2: Image processing device 5: Actual captured image processing unit 14: Camera (vehicle camera)
71: Image recognition unit 72: Matching execution unit 73: Shooting position determination unit 92: Reference database 93: Moving range database 101: Moving object 102: Fixed object D: Predetermined distance G: Feature point group G1: First feature point group G2: second feature point group GA: movable object feature point group GB: fixed object feature point group GC: target feature point group P1: fixed feature point P2: common feature point R: movement range data θ: predetermined angle
Claims (8)
前記可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データを格納する移動範囲データベースと、
車載カメラによる風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の前記実撮影画像内での位置情報を含む実撮影データを生成する実撮影画像処理部と、
前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記参照データに含まれる前記可動物体特徴点群の配置を基準とする前記移動範囲データに規定された範囲内である場合に、当該対象特徴点群を前記参照データに含まれる前記可動物体と認識する画像認識部と、
を備える画像処理装置。 A movable object having a movable part that moves according to a certain law while maintaining a certain shape is generated by extracting a plurality of feature points of the movable object from a reference photographed image that is a photographed image of a landscape including the movable object. A reference database that stores reference data including position information of the movable object feature point group in the reference captured image, the feature point group constituting the movable object at an arbitrary time point as a movable object feature point group;
A moving range database for storing moving range data including information defining a range in which the movable object feature point group may move;
An actual captured image processing unit that extracts a plurality of feature points from an actual captured image that is a captured image of a landscape by an in-vehicle camera, and generates actual captured data including position information of the plurality of feature points in the actual captured image; ,
The movement range data based on the arrangement of the target feature point group composed of at least a part of the plurality of feature points included in the actual photographing data based on the arrangement of the movable object feature point group included in the reference data An image recognition unit that recognizes the target feature point group as the movable object included in the reference data,
An image processing apparatus comprising:
前記画像認識部は、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記参照データに含まれる前記固定物体特徴点群の配置と一致する場合に、当該対象特徴点群を前記参照データに含まれる前記固定物体と認識する請求項1に記載の画像処理装置。 The reference data further includes position information in the standard captured image of a fixed object feature point group that is a feature point group constituting a fixed object that does not move,
The image recognizing unit matches an arrangement of a target feature point group including at least a part of the plurality of feature points included in the actual photographing data with an arrangement of the fixed object feature point group included in the reference data. The image processing apparatus according to claim 1, wherein the target feature point group is recognized as the fixed object included in the reference data.
前記画像認識部の認識結果に基づき、前記実撮影データと前記参照データとのマッチングを行うマッチング実行部と、
前記マッチング実行部によるマッチングに成功した前記参照データを同定参照データとし、前記同定参照データに関連付けられた前記撮影位置に基づいて、前記実撮影データに対応する前記実撮影画像の撮影位置を決定する撮影位置決定部と、
を更に備える請求項1又は2に記載の画像処理装置。 The reference database includes a plurality of the reference data, and stores each of the plurality of reference data in association with the shooting position of the standard shooting image corresponding to each reference data,
Based on the recognition result of the image recognition unit, a matching execution unit that performs matching between the actual photographing data and the reference data;
The reference data that has been successfully matched by the matching execution unit is used as identification reference data, and the shooting position of the actual shooting image corresponding to the actual shooting data is determined based on the shooting position associated with the identification reference data. A shooting position determination unit;
The image processing apparatus according to claim 1, further comprising:
前記画像認識部は、前記参照データと当該参照データに含まれる前記可動物体の種別に対応する前記移動範囲データとを用いて、前記可動物体の認識を行う請求項1から3のいずれか一項に記載の画像処理装置。 The moving range database classifies the movable object into a plurality of types, and includes the moving range data for each type,
The said image recognition part performs the recognition of the said movable object using the said reference data and the said movement range data corresponding to the classification of the said movable object contained in the said reference data. An image processing apparatus according to 1.
車載カメラによる風景の撮影画像である実撮影画像から複数の特徴点を抽出し、当該複数の特徴点の前記実撮影画像内での位置情報を含む実撮影データを生成する実撮影画像処理ステップと、
前記可動物体特徴点群の前記基準撮影画像内での位置情報を含む参照データを格納する参照データベースから前記参照データを抽出する参照データ抽出ステップと、
前記可動物体特徴点群が移動する可能性がある範囲を規定した情報を含む移動範囲データを格納する移動範囲データベースから前記移動範囲データを抽出する移動範囲データ抽出ステップと、
前記参照データ抽出ステップにて抽出された前記参照データを抽出参照データとするとともに、前記移動範囲データ抽出ステップにて抽出された前記移動範囲データを抽出移動範囲データとして、前記実撮影データに含まれる前記複数の特徴点の内の少なくとも一部から成る対象特徴点群の配置が、前記抽出参照データに含まれる前記可動物体特徴点群の配置を基準とする前記抽出移動範囲データに規定された範囲内である場合に、当該対象特徴点群を前記抽出参照データに含まれる前記可動物体と認識する画像認識ステップと、
をコンピュータに実行させるための画像処理プログラム。 A movable object having a movable part that moves according to a certain law while maintaining a certain shape is generated by extracting a plurality of feature points of the movable object from a reference photographed image that is a photographed image of a landscape including the movable object. , A feature point group constituting the movable object at an arbitrary time point is a movable object feature point group,
An actual captured image processing step of extracting a plurality of feature points from an actual captured image that is a captured image of a landscape by an in-vehicle camera, and generating actual captured data including position information of the plurality of feature points in the actual captured image; ,
A reference data extraction step of extracting the reference data from a reference database that stores reference data including position information of the movable object feature point group in the standard captured image;
A moving range data extracting step of extracting the moving range data from a moving range database storing moving range data including information defining a range in which the movable object feature point group may move;
The reference data extracted in the reference data extracting step is used as extracted reference data, and the moving range data extracted in the moving range data extracting step is included in the actual photographing data as extracted moving range data. A range defined by the extracted movement range data based on the arrangement of the movable object feature point group included in the extraction reference data, the arrangement of the target feature point group including at least a part of the plurality of feature points An image recognition step for recognizing the target feature point group as the movable object included in the extraction reference data,
An image processing program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010247640A JP5435294B2 (en) | 2010-11-04 | 2010-11-04 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010247640A JP5435294B2 (en) | 2010-11-04 | 2010-11-04 | Image processing apparatus and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012099010A true JP2012099010A (en) | 2012-05-24 |
JP5435294B2 JP5435294B2 (en) | 2014-03-05 |
Family
ID=46390829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010247640A Expired - Fee Related JP5435294B2 (en) | 2010-11-04 | 2010-11-04 | Image processing apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5435294B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013131171A (en) * | 2011-12-22 | 2013-07-04 | Univ Of Tokyo | Model generation device, model generation method, and model generation program |
JP2018092334A (en) * | 2016-12-01 | 2018-06-14 | 本田技研工業株式会社 | Travel control apparatus |
JP2019078700A (en) * | 2017-10-27 | 2019-05-23 | 株式会社東芝 | Information processor and information processing system |
JP2020095625A (en) * | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | Image processing device and image processing method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08255245A (en) * | 1995-03-17 | 1996-10-01 | Toshiba Corp | Landmark recognizing device and landmark recognizing method |
JP2000163697A (en) * | 1998-11-30 | 2000-06-16 | Matsushita Electric Ind Co Ltd | Picture recognizing device and traffic control system |
JP2007004829A (en) * | 2006-09-11 | 2007-01-11 | Mitsubishi Electric Corp | Image processing device |
JP2009156783A (en) * | 2007-12-27 | 2009-07-16 | Aisin Aw Co Ltd | Apparatus and program for position recognition of own vehicle, and navigation system |
WO2012046671A1 (en) * | 2010-10-06 | 2012-04-12 | 日本電気株式会社 | Positioning system |
-
2010
- 2010-11-04 JP JP2010247640A patent/JP5435294B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08255245A (en) * | 1995-03-17 | 1996-10-01 | Toshiba Corp | Landmark recognizing device and landmark recognizing method |
JP2000163697A (en) * | 1998-11-30 | 2000-06-16 | Matsushita Electric Ind Co Ltd | Picture recognizing device and traffic control system |
JP2007004829A (en) * | 2006-09-11 | 2007-01-11 | Mitsubishi Electric Corp | Image processing device |
JP2009156783A (en) * | 2007-12-27 | 2009-07-16 | Aisin Aw Co Ltd | Apparatus and program for position recognition of own vehicle, and navigation system |
WO2012046671A1 (en) * | 2010-10-06 | 2012-04-12 | 日本電気株式会社 | Positioning system |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013131171A (en) * | 2011-12-22 | 2013-07-04 | Univ Of Tokyo | Model generation device, model generation method, and model generation program |
JP2018092334A (en) * | 2016-12-01 | 2018-06-14 | 本田技研工業株式会社 | Travel control apparatus |
JP2019078700A (en) * | 2017-10-27 | 2019-05-23 | 株式会社東芝 | Information processor and information processing system |
US11328441B2 (en) | 2017-10-27 | 2022-05-10 | Kabushiki Kaisha Toshiba | Information processing device and information processing system |
JP2020095625A (en) * | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | Image processing device and image processing method |
JP7252750B2 (en) | 2018-12-14 | 2023-04-05 | 株式会社デンソーテン | Image processing device and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP5435294B2 (en) | 2014-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022203622B2 (en) | Crowdsourcing and distributing a sparse map, and lane measurements or autonomous vehicle navigation | |
US20210311490A1 (en) | Crowdsourcing a sparse map for autonomous vehicle navigation | |
US11276195B2 (en) | Using mapped elevation to determine navigational parameters | |
US20220221860A1 (en) | Adaptive navigation based on user intervention | |
US10248124B2 (en) | Localizing vehicle navigation using lane measurements | |
CN105512646B (en) | A kind of data processing method, device and terminal | |
WO2020163311A1 (en) | Systems and methods for vehicle navigation | |
CN113348338A (en) | Lane mapping and navigation | |
JP5388082B2 (en) | Stationary object map generator | |
JP5404861B2 (en) | Stationary object map generator | |
WO2020043081A1 (en) | Positioning technique | |
WO2021198772A1 (en) | Navigating a vehicle using an electronic horizon | |
CN117355871A (en) | Multi-frame image segmentation | |
JP2012215442A (en) | Own position determination system, own position determination program, own position determination method | |
JP5435294B2 (en) | Image processing apparatus and image processing program | |
JP4953015B2 (en) | Own vehicle position recognition device, own vehicle position recognition program, and navigation device using the same | |
KR102316818B1 (en) | Method and apparatus of updating road network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5435294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |