JP4577655B2

JP4577655B2 - Feature recognition device

Info

Publication number: JP4577655B2
Application number: JP2005375909A
Authority: JP
Inventors: 孝幸宮島
Original assignee: Aisin AW Co Ltd
Current assignee: Aisin AW Co Ltd
Priority date: 2005-12-27
Filing date: 2005-12-27
Publication date: 2010-11-10
Anticipated expiration: 2025-12-27
Also published as: JP2007178223A

Description

本発明は、移動体に搭載される地物認識装置、地物認識方法及び地物認識プログラムに関し、特に移動体の近傍に存在する信号機等の地物を認識する技術に関する。 The present invention relates to a feature recognition device, a feature recognition method, and a feature recognition program mounted on a moving body, and more particularly to a technique for recognizing a feature such as a traffic light existing in the vicinity of the moving body.

特許文献１には、信号機の色や道路標識を画像解析により認識し、信号機の色や道路標識の位置や種類など地物の属性に応じて車両を制御する方法が開示されている。しかし、特許文献１に記載された方法によると、例えば車両の前方に複数の信号機が配列されており、車載カメラによってそれらの信号機が一画面内に撮像される場合には、車両を制御するために色を判定すべき信号機がどれであるのかを判定することが困難であるという問題がある。すなわち、この場合、車両を制御するために色を判定すべき信号機は、車両が走行している道路上にあって車両の前方にあり車両から最も近い信号機であるが、そのような信号機を画像解析だけで認識することは困難である。 Patent Document 1 discloses a method of recognizing the color of a traffic light and a road sign by image analysis and controlling the vehicle according to the attributes of the feature such as the color of the traffic light and the position and type of the road sign. However, according to the method described in Patent Document 1, for example, when a plurality of traffic lights are arranged in front of the vehicle and these traffic lights are imaged in one screen by an in-vehicle camera, the vehicle is controlled. There is a problem that it is difficult to determine which of the traffic lights should have a color determined. That is, in this case, the traffic light whose color is to be determined in order to control the vehicle is the traffic light that is on the road on which the vehicle is traveling and is in front of the vehicle and closest to the vehicle. It is difficult to recognize only by analysis.

特開平１１−３０６４９８号公報Japanese Patent Laid-Open No. 11-306498

本発明は上述した問題を解決するための創作されたものであって、移動体に搭載されたカメラユニットから取得される画像に表れる複数の同一種地物を、道路地図データベースに登録されている地物と対応付けて認識できる地物認識装置、地物認識方法及び地物認識プログラムを提供することを目的とする。 The present invention has been created to solve the above-described problems, and a plurality of same-type features appearing in an image acquired from a camera unit mounted on a moving body are registered in a road map database. It is an object to provide a feature recognition device, a feature recognition method, and a feature recognition program that can be recognized in association with a feature.

（１）上記目的を達成するための地物認識装置は、移動体の現在位置を取得する現在位置取得手段と、前記移動体の進行方向を取得する進行方向取得手段と、信号機の位置及び信号機の点灯部が向いている方位を記憶する道路地図データベースと、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、前記近傍画像に表れている複数の前記信号機の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、前記近傍画像の解析によって特定された前記近傍画像内の複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、前記現在位置、前記進行方向、前記道路地図データベースに記憶されている前記信号機の位置及び前記信号機の点灯部が向いている方位に基づいて、前記近傍画像の解析によって特定される可能性のある複数の前記信号機の位置を前記道路地図データベースから取得する信号機情報取得手段と、該取得した複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である地図由来位置関係を特定する地図由来位置関係特定手段と、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記信号機と前記道路地図データベースに記憶されている前記信号機とを対応付ける照合手段と、を備える。
移動体に搭載されたカメラユニットから取得される近傍画像に表れる地物である信号機の近傍画像内の位置は、信号機と移動体の位置関係に応じて変化する。しかし、信号機と移動体の位置関係が変化するとしても、複数の信号機間の現実の位置関係によって、近傍画像に表れるそれら複数の信号機間の近傍画像内での位置関係は決まる。したがって、移動体に搭載されたカメラユニットから取得される近傍画像を解析することにより、地物間の現実の位置関係も特定できる。一方、信号機間の現実の位置関係は、道路地図データベースに登録されている信号機の位置の解析によっても特定可能である。道路地図データベースに登録されている信号機のうち、移動体に搭載されたカメラユニットから取得される近傍画像に表れる信号機は、移動体の近傍に存在する信号機であって、移動体の現在位置に基づいて特定可能である。この地物認識装置は、移動体の近傍に存在する複数の信号機の位置を道路地図データベースから取得し、取得した複数の位置の解析によって信号機間の位置関係である地図由来位置関係を特定する。さらに、この地物認識装置は、移動体に搭載されたカメラユニットから取得した近傍画像に表れている複数の信号機間の位置関係である画像由来位置関係を近傍画像の解析によって特定する。この地物認識装置によると、このようにして特定された地図由来位置関係と画像由来位置関係とを照合することにより、移動体の近傍画像に表れている複数の信号機を道路地図データベースに記憶されている信号機に対応付けて認識することができる。 (1) A feature recognition apparatus for achieving the above object includes a current position acquisition unit that acquires a current position of a moving body, a traveling direction acquisition unit that acquires a traveling direction of the moving body, a position of a traffic signal, and a traffic signal. A road map database that stores the direction in which the lighting unit is directed, an image acquisition means for acquiring a vicinity image of the moving body from a camera unit mounted on the moving body, and a plurality of the appearing in the vicinity image an image analyzing means for identifying by the analysis of the position of the neighborhood image in the neighborhood image of the traffic signal, based on the positions of the plurality of the traffic lights in the vicinity of image specified by the analysis of the neighboring image, a plurality of the traffic signals an image from the positional relationship specifying unit for specifying an image from the positional relationship is a positional relationship between the current position, the traveling direction, before being stored in the road map database Traffic signal information acquisition means for acquiring, from the road map database, a plurality of traffic signal positions that may be identified by analysis of the vicinity image based on a traffic signal position and a direction in which the lighting part of the traffic signal is directed; A map-derived positional relationship specifying means for specifying a map-derived positional relationship that is a positional relationship between the plurality of traffic lights based on the acquired positions of the traffic lights, the image-derived positional relationship and the map-derived positional relationship And collating means for associating the traffic light appearing in the neighborhood image with the traffic light stored in the road map database.
The position in the vicinity image of the traffic signal, which is a feature appearing in the vicinity image acquired from the camera unit mounted on the mobile body, changes according to the positional relationship between the traffic signal and the mobile body. However, as the positional relationship of the movable body and the traffic signal is changed by the actual positional relationship between a plurality of signals, positional relationships within the neighborhood image between the plurality of traffic lights appearing near the image is determined. Therefore, by analyzing the neighborhood image acquired from the camera unit mounted on the moving body, the actual positional relationship between the features can also be specified. On the other hand, the actual positional relationship between traffic lights can also be specified by analyzing the traffic signal positions registered in the road map database. Of the traffic registered in the road map database, traffic appearing near the image obtained from the camera unit mounted on the mobile body is a traffic signal present in the vicinity of the moving object, based on the current position of the moving body Can be specified. This feature recognition apparatus acquires the positions of a plurality of traffic lights existing in the vicinity of the moving body from the road map database, and identifies a map-derived positional relationship that is a positional relation between the traffic lights by analyzing the acquired plurality of positions. Furthermore, this feature recognition apparatus specifies an image-derived positional relationship, which is a positional relationship between a plurality of traffic signals appearing in a nearby image acquired from a camera unit mounted on a moving body, by analyzing the nearby image. According to this feature recognition apparatus, by comparing the map-derived positional relationship specified in this way with the image-derived positional relationship, a plurality of traffic signals appearing in the vicinity image of the moving object are stored in the road map database. Can be recognized in association with the traffic signal .

（２）上記目的を達成するための地物認識装置は、前記道路地図データベースに記憶されている前記信号機の位置、前記現在位置、及び、前記進行方向に基づいて、前記道路地図データベースに記憶されている前記信号機の少なくとも１つを目標信号機として特定する目標特定手段と、前記近傍画像に表れている前記信号機と前記道路地図データベースに記憶されている前記信号機との対応に基づいて、前記目標信号機に対応する、前記近傍画像に表れている前記信号機を選抜する目標選抜手段と、前記近傍画像の解析によって特定される前記目標信号機の属性を前記移動体の制御部に出力する出力手段と、をさらに備えてもよい。
移動体を信号機を目標として制御しようとするとき、道路網上における移動体の現在位置によって、道路網上にある信号機のうちで目標となる信号機が決まる。この地物認識装置によると、道路地図データベースと現在位置とに基づいて特定される目標信号機の属性を移動体の制御部に出力することができる。 (2) A feature recognition apparatus for achieving the above object is stored in the road map database based on the position of the traffic light, the current position , and the traveling direction stored in the road map database. a target specifying means for specifying at least one of the traffic is a target traffic signal, based on the correspondence between the traffic stored with the traffic that appears in the vicinity of the image on the road map database, the target traffic And a target selecting means for selecting the traffic signal appearing in the neighborhood image, and an output means for outputting the attribute of the target traffic signal specified by the analysis of the neighborhood image to the control unit of the moving body. Further, it may be provided.
When attempting to control a moving body with a traffic signal as a target, a target traffic signal is determined from among the traffic signals on the road network depending on the current position of the moving body on the road network. According to this feature recognition apparatus, it is possible to output the attribute of the target traffic light specified based on the road map database and the current position to the control unit of the moving body.

（３）上記目的を達成するための地物認識装置において、前記目標信号機の属性は前記移動体に対する前記目標信号機の位置であってもよい。
この地物認識装置が搭載された移動体の制御部は、移動体に対する目標信号機の位置によって制御量を設定することができる。 (3) In the feature recognition apparatus for achieving the above object, the attribute of the target traffic may be a position of the target traffic for said mobile.
The control unit of the moving body on which the feature recognition apparatus is mounted can set the control amount according to the position of the target traffic light with respect to the moving body.

（４）上記目的を達成するための地物認識装置において、前記目標信号機の属性は信号機の点灯している点灯部の色であってもよい。
この地物認識装置が搭載された移動体の制御部は、信号機の点灯している点灯部の色によって制御量を設定することができる。 (4) In the feature recognition apparatus for achieving the above object, the attribute of the target traffic light may be a color of a lighting portion of the traffic light .
Controller of the moving object the feature recognition apparatus is mounted, it is possible to set a control amount by the color of the lighting section which is turned in the traffic signal.

（５）上記目的を達成するための地物認識方法は、移動体の現在位置を取得し、前記移動体の進行方向を取得し、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得し、前記近傍画像に表れている複数の前記信号機の前記移動体に対する位置を前記近傍画像の解析によって特定し、前記近傍画像の解析によって特定された前記移動体に対する複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である画像由来位置関係を特定し、前記現在位置、前記進行方向、道路地図データベースに記憶されている前記信号機の位置及び前記信号機の点灯部が向いている方位に基づいて、前記近傍画像の解析によって特定される可能性のある複数の前記信号機の位置を前記道路地図データベースから取得し、該取得した複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である地図由来位置関係を特定し、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記信号機と前記道路地図データベースに記憶されている前記信号機とを対応付ける、ことを含む。
この地物認識方法によると、移動体の近傍画像に表れている複数の信号機を道路地図データベースに登録されている信号機に対応付けて認識することができる。 ( 5 ) A feature recognition method for achieving the above object is a camera in which a current position of a moving body is acquired, a traveling direction of the moving body is acquired, and an image of the vicinity of the moving body is mounted on the moving body. The position of the plurality of traffic signals that are obtained from the unit and appear in the neighborhood image with respect to the moving body is specified by analysis of the neighborhood image, and the plurality of traffic lights for the moving body specified by the analysis of the neighborhood image based on the position to identify the plurality of images from the positional relationship is a positional relationship between the signals, the current position, the traveling direction, the lighting unit of the position and the traffic of the traffic stored in the road map database Based on the azimuth that is facing, the position of the plurality of traffic lights that may be identified by analysis of the neighborhood image is acquired from the road map database, the acquisition A plurality of, based on the position of the traffic light, by specifying a map from the positional relationship is a positional relation between a plurality of the traffic lights, matching with the map from the positional relationship between the image from the positional relationship, the neighboring image associating said traffic stored in the traffic and the road map database that appears to involve.
According to this feature recognition method, it is possible to recognize a plurality of traffic signals appearing in the vicinity image of the moving object in association with the traffic signals registered in the road map database.

（６）上記目的を達成するための地物認識プログラムは、移動体の現在位置を取得する現在位置取得手段と、前記移動体の進行方向を取得する進行方向取得手段と、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、前記近傍画像に表れている複数の信号機の前記移動体に対する位置を前記近傍画像の解析によって特定する画像解析手段と、前記近傍画像の解析によって特定された前記移動体に対する複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、前記現在位置、前記進行方向、道路地図データベースに記憶されている前記信号機の位置及び前記信号機の点灯部が向いている方位に基づいて、前記近傍画像の解析によって特定される可能性のある複数の前記信号機の位置を前記道路地図データベースから取得する信号機情報取得手段と、該取得した複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である地図由来位置関係を特定する地図由来位置関係特定手段と、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記信号機と前記道路地図データベースに記憶されている前記信号機とを対応付ける照合手段と、としてコンピュータを機能させる。
この地物認識プログラムによると、移動体の近傍画像に表れている複数の信号機を道路地図データベースに登録されている信号機に対応付けて認識することができる。
( 6 ) A feature recognition program for achieving the above object includes a current position acquisition unit that acquires a current position of a moving body, a traveling direction acquisition unit that acquires a traveling direction of the moving body, and the vicinity of the moving body. Image acquisition means for acquiring an image from a camera unit mounted on the moving body, image analysis means for specifying positions of a plurality of traffic lights appearing in the vicinity image with respect to the moving body by analyzing the vicinity image, and based on the positions of the plurality of the traffic signals with respect to the moving body identified by analysis of the neighboring image, and the image from the positional relationship specifying unit for specifying an image from the positional relationship is a positional relation between a plurality of the traffic signals, the current position The vicinity image based on the direction of travel, the position of the traffic light stored in the road map database, and the direction in which the lighting part of the traffic light faces. Based on the traffic signal information acquisition means for acquiring the positions of the plurality of traffic signals that may be specified by the analysis from the road map database, and the positional relationship between the traffic signals based on the acquired positions of the traffic signals The map-derived positional relationship specifying means for specifying the map-derived positional relationship and the image-derived positional relationship and the map-derived positional relationship are compared with each other in the traffic signal database and the road map database. The computer is caused to function as collating means for associating the stored traffic signal .
According to this feature recognition program, it is possible to recognize a plurality of traffic signals appearing in the vicinity image of the moving object in association with the traffic signals registered in the road map database.

尚、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、どのような順番で実行されてもよく、また同時に実行されてもよい。また、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。 It should be noted that the order of each operation of the method described in the claims is not limited to the order of description as long as there is no technical obstruction factor, and may be executed in any order, or may be executed simultaneously. Also good. In addition, each function of the plurality of means provided in the present invention is realized by a hardware resource whose function is specified by the configuration itself, a hardware resource whose function is specified by a program, or a combination thereof. The functions of the plurality of means are not limited to those realized by hardware resources that are physically independent of each other.

以下、実施例に基づいて本発明の実施の形態を説明する。
［地物認識装置のハードウェア構成］
図２は、本発明を適用した地物認識装置１を示すブロック図である。地物認識装置１は、自動車、オートバイ等の移動体としての車両に搭載されるナビゲーションシステムとして構成されている。 Embodiments of the present invention will be described below based on examples.
[Hardware configuration of feature recognition device]
FIG. 2 is a block diagram showing the feature recognition apparatus 1 to which the present invention is applied. The feature recognition apparatus 1 is configured as a navigation system mounted on a vehicle as a moving body such as an automobile or a motorcycle.

出力手段としてのインタフェース１５は、ＡＤ変換器、ＤＡ変換器等で構成され、車両に搭載された外部ユニットと地物認識装置１との間でのデータの転送を制御する入出力機構である。
ハードディスク装置（ＨＤＤ）１８には、道路地図データベース及び地物認識プログラムが格納されている。道路地図データベースは、ＣＤ、ＤＶＤ等の他の大容量不揮発性記憶媒体に格納されていてもよい。地物認識プログラムはＲＯＭ２０に格納されていてもよい。道路地図データベース及び地物認識プログラムは、通信回線を介してダウンロードしたり、リムーバブルメモリから読み込むことにより、地物認識装置１にインストールすることができる。 The interface 15 serving as output means is an input / output mechanism that includes an AD converter, a DA converter, and the like, and controls data transfer between the external unit mounted on the vehicle and the feature recognition apparatus 1.
A hard disk device (HDD) 18 stores a road map database and a feature recognition program. The road map database may be stored in another large-capacity nonvolatile storage medium such as a CD or a DVD. The feature recognition program may be stored in the ROM 20. The road map database and the feature recognition program can be installed in the feature recognition device 1 by downloading via a communication line or by reading from a removable memory.

方位センサ１６は推測航法に用いる地磁気センサ、左右車輪速度差センサ、振動ジャイロ、ガスレートジャイロ、光ファイバジャイロなどで構成され、自車の進行方向を検出する。
ＧＰＳユニット１４は、衛星航法に用いる３個または４個の衛星から送られてくる軌道データを受信し、自車の現在位置の緯度経度データを出力するためのアンテナ、ＡＳＩＣ等で構成される。 The direction sensor 16 includes a geomagnetic sensor, a left and right wheel speed difference sensor, a vibration gyro, a gas rate gyro, and an optical fiber gyro used for dead reckoning navigation, and detects the traveling direction of the own vehicle.
The GPS unit 14 includes an antenna, an ASIC, and the like for receiving orbit data transmitted from three or four satellites used for satellite navigation and outputting latitude / longitude data of the current position of the vehicle.

カメラユニット１０は、ＣＣＤイメージセンサなどのカラー撮像素子とその駆動回路と画像信号処理回路とを備えている所謂単眼カメラである。カメラユニット１０は車両の外界の前方視界を表すディジタルカラー画像が所定のフレームレートで生成する。以下、車両の外界の前方視界を表すディジタルカラー画像を単に近傍画像というものとする。
速度センサ１２は、推測航法に用いられる。単位時間当たりの車輪の回転数から求まる車速を時間で積分することにより走行距離が求まる。電波や超音波を用いたドップラ対地速度センサ、光と空間フィルタを用いた対地速度センサを用いて走行距離を求めてもよい。 The camera unit 10 is a so-called monocular camera that includes a color imaging device such as a CCD image sensor, a driving circuit thereof, and an image signal processing circuit. The camera unit 10 generates a digital color image representing the front view of the outside of the vehicle at a predetermined frame rate. Hereinafter, a digital color image representing the front view of the outside of the vehicle is simply referred to as a neighborhood image.
The speed sensor 12 is used for dead reckoning navigation. The mileage is obtained by integrating the vehicle speed obtained from the number of rotations of the wheel per unit time with time. The travel distance may be obtained using a Doppler ground speed sensor using radio waves or ultrasonic waves, or a ground speed sensor using light and a spatial filter.

ＲＯＭ２０は、フラッシュメモリなどの不揮発性記憶媒体であって、ブートプログラムが格納されている。
ＣＰＵ２２は、ＲＯＭ２０及びＨＤＤ１８に格納されている各種のプログラムを実行することにより、現在位置取得手段、地物情報取得手段、地図由来位置関係特定手段、画像取得手段、画像解析手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段、および絶対撮影方向特定手段として機能する。 The ROM 20 is a nonvolatile storage medium such as a flash memory, and stores a boot program.
The CPU 22 executes various programs stored in the ROM 20 and the HDD 18 to thereby obtain a current position acquisition unit, a feature information acquisition unit, a map-derived positional relationship specifying unit, an image acquisition unit, an image analysis unit, and an image-derived positional relationship. It functions as specifying means, collating means, target specifying means, target selecting means, output means, and absolute shooting direction specifying means.

ＲＡＭ２４は、揮発性記憶媒体であって、ＣＰＵ２２に実行されるプログラムやプログラムの処理対象データが一時的に格納されるワークメモリとして機能する。
移動体の制御部としてのＡＴ制御ユニット２６は、オートマチックトランスミッションの油圧回路に設けられた各種の電磁弁及び電動ポンプを駆動するための駆動回路及びＥＣＵを備えている。
移動体の制御部としてのブレーキ制御ユニット２８は、ブレーキを駆動するための油圧回路に設けられた各種の電磁弁及び電動ポンプを駆動するための駆動回路及びＥＣＵを備えている。 The RAM 24 is a volatile storage medium, and functions as a work memory in which a program executed by the CPU 22 and processing target data of the program are temporarily stored.
The AT control unit 26 as a control unit of the moving body includes a drive circuit and an ECU for driving various electromagnetic valves and an electric pump provided in a hydraulic circuit of the automatic transmission.
The brake control unit 28 as a control unit of the moving body includes a drive circuit and an ECU for driving various electromagnetic valves and an electric pump provided in a hydraulic circuit for driving the brake.

［地物認識プログラムの構成］
図３は地物認識プログラム３２の構成を示すブロック図である。
地物認識プログラム３２によって利用される道路地図データベース（ＤＢ）４２は、グラフ構造で地図をディジタル表現した情報で構成されるデータベースであって、道路網上の自車の現在位置の特定、地物の位置の特定などに用いられる。道路地図ＤＢ４２では、交差点、合流点、曲がり点、行き止まり点などはノードであり、道路はノードとノードを結ぶリンクとして定義されている。また各リンクには信号機の有無、距離、制限速度、レーン数、幅員、道路種別（高速道路、一般道など）などが属性情報として定義され、各ノードにはノードの位置を表す緯度経度などが属性情報として定義されている。リンクに信号機が有る場合、信号機の点灯部の位置を表す緯度経度、点灯部の高さを表す絶対高さ、点灯部が向いている方位を表す絶対方向等がそのリンクに関連付けて定義されている。これらの他、例えば点灯部の指向性（視野角）に関する情報が信号機の属性として定義されていてもよい。 [Configuration of feature recognition program]
FIG. 3 is a block diagram showing the configuration of the feature recognition program 32.
A road map database (DB) 42 used by the feature recognition program 32 is a database composed of information obtained by digitally representing a map in a graph structure, and specifies the current position of the vehicle on the road network, and features. This is used to specify the position of In the road map DB 42, intersections, junctions, turning points, dead ends, and the like are nodes, and roads are defined as links connecting nodes. In addition, the presence / absence of a traffic signal, distance, speed limit, number of lanes, width, road type (highway, general road, etc.) are defined as attribute information for each link, and each node has a latitude / longitude indicating the position of the node. It is defined as attribute information. If there is a traffic light on the link, the latitude and longitude that indicates the position of the lighting part of the traffic light, the absolute height that indicates the height of the lighting part, the absolute direction that indicates the direction in which the lighting part is facing, etc. are defined in association with the link. Yes. In addition to these, for example, information on the directivity (viewing angle) of the lighting unit may be defined as an attribute of the traffic light.

地物認識プログラム３２によって利用されるロケーティングモジュール４０は、ＣＰＵ２０を現在位置取得手段として機能させるプログラム部品である。ロケーティングモジュール４０は、ＧＰＳユニット１４、速度センサ１２及び方位センサ１６の出力に基づいて衛星航法及び推測航法を併用しながら自車の現在位置を特定する。
画像認識モジュール３８は、ＣＰＵ２２を画像取得手段及び画像解析手段として機能させるプログラム部品である。画像認識モジュール３８は、カメラユニット１０から出力される近傍画像を解析し、近傍画像に表れている特定種地物としての信号機を検出し、近傍画像内において信号機の点灯部が表れている位置と、信号機の色とを特定する。近傍画像の解析によって信号機を検出する方法としては、構造マッチング、テンプレートマッチング、弛緩法などのいかなるパターン認識方法をも採用しうる。減速、加速、停止、操舵などを制御するための目標となる種類の地物である目標種地物としては、信号機、停止線等の各種の道路標識が考えられるが、本実施形態では信号機が目標種地物として説明される。目標種地物の属性としては、道路標識の種類、状態、自車からの距離、自車からみて存在する方向等が考えられるが、本実施形態では信号機の色と自車に対する位置として説明される。 The locating module 40 used by the feature recognition program 32 is a program component that causes the CPU 20 to function as a current position acquisition unit. The locating module 40 identifies the current position of the own vehicle while using satellite navigation and dead reckoning navigation based on the outputs of the GPS unit 14, the speed sensor 12 and the direction sensor 16.
The image recognition module 38 is a program component that causes the CPU 22 to function as an image acquisition unit and an image analysis unit. The image recognition module 38 analyzes the vicinity image output from the camera unit 10, detects a traffic signal as a specific species feature appearing in the vicinity image, and a position where a lighting part of the traffic signal appears in the vicinity image. Identify the color of the traffic light. Any pattern recognition method such as structure matching, template matching, or relaxation method may be employed as a method for detecting a traffic light by analyzing a neighborhood image. As target seed features that are target types of features for controlling deceleration, acceleration, stop, steering, etc., various road signs such as traffic lights and stop lines can be considered. Described as a target species feature. The attributes of the target species feature may be the type of road sign, the state, the distance from the host vehicle, the direction existing from the host vehicle, etc., but in this embodiment it is described as the color of the traffic light and the position relative to the host vehicle. The

画像データ管理モジュール３６は、画像認識モジュール３８の実行によって特定された信号機の近傍画像内の位置と色とを信号機毎に認識データ３０としてＲＡＭ２４に蓄積し、制御目標判定モジュール３４のリクエストに応じて近傍画像に表れている特定の信号機について色と近傍画像内の位置とを制御目標判定モジュール３４に渡す。
制御目標判定モジュール３４は、ＣＰＵ２２を地物情報取得手段、地図由来位置関係特定手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段及び絶対撮影方向特定手段として機能させるプログラム部品である。制御目標判定モジュール３４は、近傍画像内で検出された信号機と道路地図ＤＢ４２に登録されている信号機とを対応付け、画像認識モジュール３８の実行によって検出された自車の近傍に存在する信号機のうち目標となる信号機の自車からの距離及び色をＡＴ制御ユニット２６、ブレーキ制御ユニット２８等の車両の制御部に出力する。 The image data management module 36 stores the position and color in the vicinity image of the traffic light identified by the execution of the image recognition module 38 in the RAM 24 as recognition data 30 for each traffic light, and responds to a request from the control target determination module 34. The color and the position in the neighborhood image of the specific traffic signal appearing in the neighborhood image are passed to the control target determination module 34.
The control target determination module 34 functions as a feature information acquisition unit, a map-derived positional relationship specifying unit, an image-derived positional relationship specifying unit, a collating unit, a target specifying unit, a target selecting unit, an output unit, and an absolute photographing direction specifying unit. It is a program part to be made. The control target determination module 34 associates the traffic signal detected in the neighborhood image with the traffic signal registered in the road map DB 42, and among the traffic signals existing in the vicinity of the host vehicle detected by the execution of the image recognition module 38. The distance and the color of the target traffic light from the host vehicle are output to the vehicle control unit such as the AT control unit 26 and the brake control unit 28.

［複数の信号機間の位置関係を画像解析により特定する方法］
信号機の高さが揃っているという前提があれば、自車に近い信号機ほど画像の上辺近くに表れ、自車から遠い信号機ほど画像の底辺近くに表れるため、近傍画像に表れる複数の信号機の現実のＹ方向の配列順序は各信号機に対応する画素の座標の垂直成分の比較のみで特定可能である。尚、画像の底辺は撮像範囲の底面に対応し、画像の上辺は撮像範囲の上面に対応するものとし、自車の進行方向に垂直で水平面に平行な方向をＸ方向といい、自車の進行方向をＹ方向というものとする。また、各信号機は、自車を基準にして各信号機が存在する方位に応じて近傍画像内に表れる水平方向位置が決まるため、近傍画像に表れる複数の信号機の現実のＸ方向の配列順序は各信号機に対応する画素の座標の水平成分の比較のみで特定可能である。 [Method of identifying the positional relationship between multiple traffic lights by image analysis]
If there is a premise that the height of the traffic lights is the same, traffic lights closer to the host vehicle appear closer to the top of the image, and traffic lights farther from the host vehicle appear closer to the bottom of the image. The arrangement order in the Y direction can be specified only by comparing the vertical components of the coordinates of the pixels corresponding to each traffic light. The bottom side of the image corresponds to the bottom surface of the imaging range, the top side of the image corresponds to the top surface of the imaging range, and the direction perpendicular to the traveling direction of the vehicle and parallel to the horizontal plane is called the X direction. The traveling direction is referred to as the Y direction. In addition, each traffic signal has a horizontal position that appears in the neighborhood image in accordance with the direction in which each traffic signal exists with respect to the own vehicle. Therefore, the actual arrangement order in the X direction of the plurality of traffic signals that appear in the neighborhood image is It can be specified only by comparing the horizontal components of the coordinates of the pixel corresponding to the traffic light.

次に、カメラユニット１０から出力される近傍画像の解析によって複数の信号機間の位置関係をより詳しく特定する方法を説明する。以下の説明では、図４に示すように近傍画像の画素の位置を画像の中央水平線及び中央垂直線を座標軸とする座標（ｘ_p、ｙ_p）で表す。
まず地面上の点Ｐと自車とが自車の進行方向（Ｙ方向）にどれだけ離れているかを特定する方法について図４及び図５に基づいて説明する。地上からカメラユニット１０のレンズの焦点までの高さをＨ_camera、カメラユニット１０のレンズの光軸と鉛直線がなす角度をθ_setとし、点Ｐが表れている注目画素に対応する視線Ｓ（図４（Ｂ）参照）とカメラユニット１０のレンズの光軸とがなす角度をθ_pとし、カメラユニット１０のレンズの焦点位置を自車位置とみなして自車と点ＰまでのＹ方向の距離をＤ_pとするとき次式（１）の関係が成り立っている。
Ｄ_p＝Ｈ_cameraｔａｎ（θ_set＋θ_p）
＝Ｈ_camera（ｔａｎθ_set＋ｔａｎθ_p）／（１−ｔａｎθ_setｔａｎθ_p）［Ｄｅｇ］・・・（１） Next, a method for specifying the positional relationship between the plurality of traffic lights in more detail by analyzing the neighborhood image output from the camera unit 10 will be described. In the following description, as shown in FIG. 4, the position of the pixel in the neighborhood image is represented by coordinates (x _p , y _p ) with the central horizontal line and the central vertical line of the image as coordinate axes.
First, a method for specifying how far the point P on the ground and the own vehicle are in the traveling direction (Y direction) of the own vehicle will be described with reference to FIGS. The height from the ground to the focal point of the lens of the camera unit 10 is H _camera , the angle between the optical axis of the lens of the camera unit 10 and the vertical line is θ _set, and the line of sight S (corresponding to the pixel of interest where the point P appears) The angle formed by the optical axis of the lens of the camera unit 10 and the lens of the camera unit 10 is _defined as θ _p, and the focal position of the lens of the camera unit 10 is regarded as the position of the own vehicle. When the distance is D _p , the relationship of the following formula (1) is established.
D _p = H _camera tan (θ _set + θ _p )
= H _camera (tan θ _set + tan θ _p ) / (1−tan θ _set tan θ _p ) [Deg] (1)

カメラユニット１０の垂直画角の１／２をθ_r、カメラユニット１０のレンズの焦点距離をｆ、カメラユニット１０の撮像素子における画素の垂直方向の配列間隔をａ、カメラユニット１０の撮像素子の垂直方向画素数をＮ_hとするとき、次式（２）、（３）の関係が成り立っている。
ｔａｎθ_r＝ａＮ_h／ｆ・・・（２）
ｔａｎθ_p＝ａｙ_p／ｆ・・・（３）
よってｔａｎθ_pは注目画素の座標の垂直方向成分（ｙ_p）を用いて次式（４）で表すことができる。
ｔａｎθ_p＝ｙ_pｔａｎθ_r／Ｎ_h・・・（４）
したがって、自車と点ＰまでのＹ方向の距離Ｄ_pは次式（５）にｙ_pを代入することによって導出できる。
Ｄ_p＝Ｈ_camera（ｔａｎθ_set＋ｙ_pｔａｎθ_r／Ｎ_h）／（１−ｔａｎθ_setｙ_pｔａｎθ_r／Ｎ_h）［Ｄｅｇ］ 1/2 of the vertical angle of view of the camera unit 10 is θ _r , the focal length of the lens of the camera unit 10 is f, the arrangement interval in the vertical direction of the pixels in the image sensor of the camera unit 10 is a, and the image sensor of the camera unit 10 When the number of vertical pixels is N _h , the following expressions (2) and (3) are satisfied.
tan θ _r = aN _h / f (2)
tan θ _p = ay _p / f (3)
Therefore, tan θ _p can be expressed by the following equation (4) using the vertical direction component (y _p ) of the coordinate of the target pixel.
tan θ _p = y _p tan θ _r / N _h (4)
Therefore, the distance D _p in the Y direction to the vehicle and the point P can be derived by substituting y _p in the following equation (5).
D _p = H _camera (tan θ _set + y _p tan θ _r / N _h ) / (1−tan θ _set y _p tan θ _r / N _h ) [Deg]

次に、信号機と自車とが自車の進行方向（Ｙ方向）にどれだけ離れているかを特定する方法について図６に基づいて説明する。信号機Ｓｃの点灯部の高さは一般に５〜６ｍである。例えば日本国内では点灯部の高さが５ｍ以上６ｍ以下である信号機は信号機全体の９０％以上に相当する。そこで、信号機Ｓｃの点灯部の高さＨ_signalを一定とみなし、各信号機の点灯部を通る水平面を想定する。この水平面を地面と想定すれば、信号機Ｓｃの点灯部はそのように想定した地面にあることになる。自車から信号機ＳｃまでのＹ方向の距離をＤ_signalとするとき、次式（５）の関係が成り立つため、式（４）を用いてＤ_signalを求めることができる。
Ｄ_signal＝（Ｈ_signal−Ｈ_camera）ｔａｎ（１８０−θ_set−θ_p）・・・（５）
自車から各信号機の点灯部までのＹ方向の距離Ｄ_signalによって、複数の信号機間のＹ方向の位置関係は一義的に決まる。 Next, a method for specifying how far the traffic signal and the own vehicle are separated in the traveling direction (Y direction) of the own vehicle will be described with reference to FIG. The height of the lighting part of the traffic light Sc is generally 5 to 6 m. For example, in Japan, a traffic light whose lighting part has a height of 5 m or more and 6 m or less corresponds to 90% or more of the entire traffic signal. Therefore, the height H _signal of the lighting part of the traffic light Sc is assumed to be constant, and a horizontal plane passing through the lighting part of each traffic light is assumed. If this horizontal plane is assumed to be the ground, the lighting portion of the traffic light Sc is on the ground assumed as such. When the distance in the Y direction from the host vehicle to the traffic light Sc is D _signal , the relationship of the following equation (5) is established, so that D _signal can be obtained using equation (4).
D _signal = (H _signal −H _camera ) tan (180−θ _set −θ _p ) (5)
The positional relationship in the Y direction between a plurality of traffic lights is uniquely determined by the distance D _{signal in} the Y direction from the own vehicle to the lighting part of each traffic light.

次に、近傍画像内に表れている複数の信号機間のＸ方向の位置関係を詳しく特定する方法について図７に基づいて説明する。今、近傍画像内で検出された３つの信号機Ｓｃ₁、Ｓｃ₂、Ｓｃ₃間の位置関係について考える。近傍画像内に表れる信号機と自車とのＸ方向の距離は、近傍画像内での信号機から中央垂直線までの距離に比例し、自車に対する信号機の車両の進行方向（Ｙ方向）の距離の比に反比例する。したがって、自車から信号機Ｓｃ₁、Ｓｃ₂、Ｓｃ₃までのＹ方向の距離をそれぞれＤｃ₁、Ｄｃ₂、Ｄｃ₃とし、信号機Ｓ₁、Ｓ₂間の現実のＸ方向の距離をＷｃ₁₂、信号機Ｓｃ₂、Ｓｃ₃間の現実のＸ方向の距離をＷｃ₂₃とし、信号機Ｓｃ₁、Ｓｃ₃間の現実のＸ方向の距離をＷｃ₁₃、近傍画像内における信号機Ｓｃ₁、Ｓｃ₂、Ｓｃ₃の座標の水平方向成分（ｘ_p）をＷｐ₁、Ｗｐ₂、Ｗｐ₃とすると、Ｗｃ₁₂とＷｃ₂₃とＷｃ₁₃の関係は次式（７）、（８）によって規定される。
Ｗｃ₁₂／Ｗｃ₂₃＝（Ｗｐ₁／Ｄｃ₁−Ｗｐ₂／Ｄｃ₂）／（Ｗｐ₂／Ｄｃ₂−Ｗｐ₃／Ｄｃ₃）・・・（７）
Ｗｃ₁₃／Ｗｃ₂₃＝（Ｗｐ₁／Ｄｃ₁−Ｗｐ₃／Ｄｃ₃）／（Ｗｐ₂／Ｄｃ₂−Ｗｐ₃／Ｄｃ₃）・・・（８）
すなわち、近傍画像内に表れている３個以上の信号機間のＸ方向の位置関係は、いずれか１個の信号機を基準として他の信号機がどれだけＸ方向に離れているかを比で表すことによって詳しく特定することができる。
以上、単眼カメラとしてカメラユニット１０が構成されている場合に複数の信号機間の位置関係を画像解析によって特定する方法について説明したが、ステレオカメラとしてカメラユニット１０が構成されている場合には、三角測量の原理を用いて複数の信号機間の位置関係を特定することができる。 Next, a method for specifying in detail the positional relationship in the X direction between a plurality of traffic signals appearing in the vicinity image will be described with reference to FIG. Now consider the positional relationship between the _three traffic lights Sc ₁ , Sc ₂ , Sc ₃ detected in the neighborhood image. The distance in the X direction between the traffic signal and the subject vehicle in the neighborhood image is proportional to the distance from the traffic signal to the central vertical line in the neighborhood image, and the distance of the traffic signal in the traveling direction (Y direction) relative to the subject vehicle. Inversely proportional to the ratio. Therefore, the distances in the Y direction from the own vehicle to the traffic lights Sc ₁ , Sc ₂ , Sc ₃ are respectively Dc ₁ , Dc ₂ , Dc _3, and the actual distance in the X direction between the traffic lights S ₁ , S ₂ is Wc ₁₂ , The actual distance in the X direction between the traffic signals Sc ₂ and Sc ₃ is Wc ₂₃ , the actual distance in the X direction between the traffic signals Sc ₁ and Sc ₃ is Wc ₁₃ , and the traffic signals Sc ₁ , Sc ₂ , Sc ₃ in the neighborhood image. If the horizontal components (x _p ) of the coordinates are Wp ₁ , Wp ₂ , and Wp ₃ , the relationship between Wc ₁₂ , Wc _23, and Wc ₁₃ is defined by the following equations (7) and (8).
_{_{Wc 12 / Wc 23 = (Wp}} 1 / Dc 1 -Wp 2 / Dc 2) / (Wp 2 / Dc 2 -Wp 3 / Dc 3) ··· (7)
_{_{Wc 13 / Wc 23 = (Wp}} 1 / Dc 1 -Wp 3 / Dc 3) / (Wp 2 / Dc 2 -Wp 3 / Dc 3) ··· (8)
That is, the positional relationship in the X direction between three or more traffic signals appearing in the neighborhood image is expressed by a ratio indicating how far other traffic signals are separated in the X direction with respect to any one traffic signal. It can be specified in detail.
The method for specifying the positional relationship between a plurality of traffic signals by image analysis when the camera unit 10 is configured as a monocular camera has been described above. However, when the camera unit 10 is configured as a stereo camera, a triangle is used. The positional relationship between a plurality of traffic lights can be specified using the principle of surveying.

［地物認識方法］
図１は地物認識装置１を用いた地物認識方法の処理のながれを示すフローチャートである。図１に示す処理ルーチンは、ＣＰＵ２２が地物認識プログラム３２を一定時間間隔（例えば１秒間隔）で繰り返し実行することによって、繰り返し実行される。
ステップＳ１００では、ＣＰＵ２２はロケーティングモジュール４０によって自車の現在位置が特定されているかを判定する。自車の現在位置が特定されていない場合、図１に示す処理ルーチンが終了する。 [Feature recognition method]
FIG. 1 is a flowchart showing the flow of processing of a feature recognition method using the feature recognition apparatus 1. The processing routine shown in FIG. 1 is repeatedly executed by the CPU 22 repeatedly executing the feature recognition program 32 at regular time intervals (for example, at intervals of 1 second).
In step S <b> 100, the CPU 22 determines whether the current position of the vehicle is specified by the locating module 40. If the current position of the host vehicle is not specified, the processing routine shown in FIG. 1 ends.

ステップＳ１０２では、ＣＰＵ２２はロケーティングモジュール４０から自車の現在位置を取得する。自車の現在位置は緯度及び経度によって表されている。
ステップＳ１０４では、ＣＰＵ２２は自車の近傍（例えば半径１００ｍ以内）に存在する目標種地物である信号機の情報を道路地図ＤＢ４２から取得する。自車の近傍に信号機が存在している場合（ステップＳ１０６で肯定判定される場合）、自車の近傍に存在している全ての信号機について、上述した信号機が存在するリンクの識別情報、信号機の位置、及び信号機の絶対方向がＣＰＵ２２によって道路地図ＤＢ４２から取得される。ここで、ＣＰＵ２２は各信号機の絶対高さを道路地図ＤＢ４２から取得し、各信号機の絶対高さが予め決められた範囲内に分布しているかを判定し、その範囲内に分布していない場合、図１に示す処理ルーチンを終了させてもよい。 In step S <b> 102, the CPU 22 acquires the current position of the host vehicle from the locating module 40. The current position of the vehicle is represented by latitude and longitude.
In step S104, CPU22 acquires the information of the traffic signal which is the target seed | species feature which exists in the vicinity (for example, within radius of 100 m) of the own vehicle from road map DB42. When there is a traffic signal in the vicinity of the host vehicle (when an affirmative determination is made in step S106), for all the traffic signals existing in the vicinity of the host vehicle, the identification information of the link in which the above traffic signal exists, The position and the absolute direction of the traffic light are acquired from the road map DB 42 by the CPU 22. Here, the CPU 22 acquires the absolute height of each traffic signal from the road map DB 42, determines whether the absolute height of each traffic signal is distributed within a predetermined range, and is not distributed within that range. The processing routine shown in FIG. 1 may be terminated.

自車の近傍に信号機が存在していない場合（ステップＳ１０６で否定判定される場合）、図１に示す処理ルーチンは終了する。
自車の近傍に信号機が存在している場合、ＣＰＵ２２は近傍画像の解析により近傍画像に表れている信号機を検出し、認識データをＲＡＭ２４に格納する（ステップＳ１０８）。具体的には、信号機の点灯部の形態に対応するパターンが近傍画像内で検索される。このとき、カメラユニット１０の画角内に存在する信号機であっても、図８に示すように自車の方を向いていない信号機Ｓｈ₁、Ｓｈ₂、Ｓｈ₃、Ｓｈ₄、Ｓｈ₅は検出されない。信号機の点灯部の形態に対応するパターンが近傍画像内に表れている場合（後のステップＳ１１０で肯定判定される場合）、そのパターンが表れた近傍画像内の位置を表す座標と信号機の色とが認識データ３０としてＲＡＭ２４に格納される。信号機の点灯部の形態に対応するパターンが近傍画像内に複数表れている場合（後のステップＳ１１２で肯定判定される場合）、そのパターンが表れた近傍画像内のそれぞれの位置を表す複数の座標と信号機の色とが認識データ３０としてＲＡＭ２４に格納される。尚、自車と信号機との位置関係に応じて信号機が近傍画像内に表れる位置が変化し、時間の経過に伴って信号機の色が変化するため、ＣＰＵ２２は検出した信号機について認識データ３０をフレーム毎に更新する。 When there is no traffic signal in the vicinity of the host vehicle (when a negative determination is made in step S106), the processing routine shown in FIG. 1 ends.
If there is a traffic signal in the vicinity of the host vehicle, the CPU 22 detects the traffic signal appearing in the neighborhood image by analyzing the neighborhood image, and stores the recognition data in the RAM 24 (step S108). Specifically, a pattern corresponding to the form of the lighting part of the traffic light is searched in the neighborhood image. At this time, even if the traffic light is present within the angle of view of the camera unit 10, the traffic lights Sh ₁ , Sh ₂ , Sh ₃ , Sh ₄ , Sh ₅ that are not facing the vehicle are detected as shown in FIG. Not. When the pattern corresponding to the form of the lighting part of the traffic light appears in the neighborhood image (when affirmative determination is made in the subsequent step S110), the coordinates indicating the position in the neighborhood image where the pattern appears, the color of the traffic light, Is stored in the RAM 24 as the recognition data 30. When a plurality of patterns corresponding to the form of the lighting part of the traffic signal appear in the neighborhood image (when affirmative determination is made in the subsequent step S112), a plurality of coordinates representing the respective positions in the neighborhood image where the pattern appears And the color of the traffic light are stored in the RAM 24 as recognition data 30. In addition, since the position where the traffic signal appears in the vicinity image changes according to the positional relationship between the own vehicle and the traffic signal, and the color of the traffic signal changes with the passage of time, the CPU 22 uses the recognition data 30 for the detected traffic signal as a frame. Update every time.

近傍画像の解析により信号機が検出されなかった場合（ステップＳ１１０で否定判定される場合）、図１に示す処理ルーチンは終了する。
近傍画像の解析により信号機が複数検出された場合（ステップＳ１１２で肯定判定される場合）、次に述べるステップＳ１１４の処理に進む。近傍画像の解析により信号機が１個だけ検出された場合（ステップＳ１１２で否定判定される場合）、ＣＰＵ２２は検出した信号機を目標信号機として設定し（ステップＳ１１３）、ステップＳ１２０の処理に進む。 When no traffic light is detected by analysis of the neighborhood image (when a negative determination is made in step S110), the processing routine shown in FIG. 1 ends.
When a plurality of traffic lights are detected by analyzing the neighborhood image (when an affirmative determination is made in step S112), the process proceeds to step S114 described below. When only one traffic signal is detected by analyzing the neighborhood image (when a negative determination is made in step S112), the CPU 22 sets the detected traffic signal as the target traffic signal (step S113), and proceeds to the processing of step S120.

・画像由来位置関係の特定
ステップＳ１１４では、ＣＰＵ２２は認識データ３０に基づいて複数の信号機間の位置関係を特定し、特定した位置関係を画像由来位置関係として記憶する。この処理について図９、図１０及び図７に基づいて具体的に説明する。まず、ＣＰＵ２２は近傍画像内における各信号機の点灯部の位置を表す座標の垂直方向成分Ｈｐ₁、Ｈｐ₂、Ｈｐ₃に基づいて自車から近傍画像内で検出された信号機Ｓｃ₁、Ｓｃ₂、Ｓｃ₃までのＹ方向の距離Ｄｃ₁、Ｄｃ₂、Ｄｃ₃を特定する。次にＣＰＵ２２はＤｃ₁、Ｄｃ₂、Ｄｃ₃に基づいて各信号機間のＹ方向の距離Ｄｃ₁₂、Ｄｃ₂₃、Ｄｃ₁₃を求めることによって各信号機間のＹ方向の位置関係を特定する。さらにＣＰＵ２２は近傍画像内における各信号機の点灯部の位置を表す座標の水平方向成分Ｗｐ₁、Ｗｐ₂、Ｗｐ₃に基づいてＷｃ₁₂／Ｗｃ₂₃、Ｗｃ₁₃／Ｗｃ₂₃を求めることによって信号機Ｓｃ₁、Ｓｃ₂、Ｓｃ₃のＸ方向の位置関係を特定する。 -Identification of image-derived positional relationship In step S114, the CPU 22 identifies a positional relationship between a plurality of traffic lights based on the recognition data 30, and stores the identified positional relationship as an image-derived positional relationship. This process will be specifically described with reference to FIGS. 9, 10, and 7. FIG. First, the CPU 22 detects traffic lights Sc ₁ , Sc ₂ , Sc ₂ , which are detected in the vicinity image from the own vehicle based on the vertical components Hp ₁ , Hp ₂ , Hp ₃ of the coordinates representing the position of the lighting part of each traffic light in the vicinity image. The distances Dc ₁ , Dc ₂ , Dc ₃ in the Y direction up to Sc ₃ are specified. Next, the CPU 22 specifies the positional relationship in the Y direction between the traffic signals by obtaining the distances Dc ₁₂ , Dc ₂₃ , and Dc ₁₃ in the Y direction between the traffic signals based on Dc ₁ , Dc ₂ , and Dc ₃ . Further, the CPU 22 obtains Wc ₁₂ / Wc ₂₃ , Wc ₁₃ / Wc ₂₃ based on the horizontal components Wp ₁ , Wp ₂ , Wp ₃ of coordinates representing the position of the lighting part of each traffic light in the vicinity image, thereby obtaining the traffic light Sc _1. , Sc ₂ and Sc _{3 in} the X direction are specified.

・地図由来位置関係の特定
ステップＳ１１６では、ＣＰＵ２２はステップＳ１０４で道路地図ＤＢ４２から取得した信号機の位置に基づいて自車の近傍に存在する信号機間の位置関係を特定し、地図由来位置関係として記憶する。このとき、ＣＰＵ２２は各信号機の位置と向きと自車の現在位置と進行方向とに基づいて、画像解析によって検出されている可能性のある信号機についてのみ位置関係を特定する。例えば、自車の進行方向側に存在し、自車の進行方向と信号機の向き（絶対方向）のなす角が１８０度±４５度の範囲にある信号機Ｓｍ₁、Ｓｍ₂、Ｓｍ₃についてのみ位置関係が特定される。地図由来位置関係は画像由来位置関係と照合されるものであるため、地図由来位置関係と画像由来位置関係を表す座標軸の方向が一致していなければならない。そこでＣＰＵ２２は道路地図ＤＢ４２に登録されている信号機の位置を表す座標を、Ｘ方向及びＹ方向に伸びる２軸を座標軸とする座標平面の座標に変換する（図１１参照）。具体的には例えば、ＣＰＵ２２はステップＳ１０２で取得した自車の進行方向と北の方位とがなす角度だけ信号機の位置を原点周りに回転移動させる行列変換式を用いて各信号機のＸ座標及びＹ座標を求める。さらにＣＰＵ２２は各信号機間のＹ方向の距離Ｄｍ₁₂、Ｄｍ₂₃、Ｄｍ₁₃を信号機Ｓｍ₁、Ｓｍ₂、Ｓｍ₃間のＹ方向の位置関係として求める。またＣＰＵ２２は各信号機間のＸ方向の距離Ｗｍ₁₂、Ｗｍ₂₃、Ｗｍ₁₃を求め、信号機Ｓｍ₁、Ｓｍ₂、Ｓｍ₃のＸ方向の位置関係をＷｍ₁₂／Ｗｍ₂₃とＷｍ₁₃／Ｗｍ₂₃を求めることによって特定する。 -Specification of map-derived positional relationship In step S116, the CPU 22 specifies the positional relationship between traffic signals existing in the vicinity of the host vehicle based on the traffic signal position acquired from the road map DB 42 in step S104, and stores it as a map-derived positional relationship. To do. At this time, the CPU 22 specifies the positional relationship only for traffic signals that may be detected by image analysis based on the position and orientation of each traffic signal, the current position of the host vehicle, and the traveling direction. For example, only the traffic lights Sm ₁ , Sm ₂ , and Sm ₃ that exist on the traveling direction side of the own vehicle and whose angle between the traveling direction of the own vehicle and the direction of the traffic signal (absolute direction) is in the range of 180 ° ± 45 °. Relationships are identified. Since the map-derived positional relationship is checked against the image-derived positional relationship, the directions of the coordinate axes representing the map-derived positional relationship and the image-derived positional relationship must match. Therefore, the CPU 22 converts the coordinates indicating the position of the traffic signal registered in the road map DB 42 into coordinates on a coordinate plane having two axes extending in the X direction and the Y direction as coordinate axes (see FIG. 11). Specifically, for example, the CPU 22 uses the matrix transformation formula that rotates the position of the traffic signal around the origin by the angle formed by the traveling direction of the host vehicle and the north direction acquired in step S102, and the X and Y coordinates of each traffic signal. Ask for. Further, the CPU 22 obtains the distances Dm ₁₂ , Dm ₂₃ , and Dm ₁₃ in the Y direction between the traffic lights as the positional relationship in the Y direction between the traffic lights Sm ₁ , Sm ₂ , and Sm ₃ . Further, the CPU 22 obtains distances Wm ₁₂ , Wm ₂₃ , and Wm ₁₃ in the X direction between the respective traffic signals, and determines the positional relationship of the traffic signals Sm ₁ , Sm ₂ , and Sm _{3 in} the X direction as Wm ₁₂ / Wm ₂₃ and Wm ₁₃ / Wm ₂₃ . Identify by seeking.

・画像由来位置関係と地図由来位置関係の照合
ステップＳ１１８ではＣＰＵ２２は図１２に示すサブルーチンを実行することによって画像由来位置関係と地図由来位置関係とを照合し、近傍画像に表れている信号機のうち目標となる信号機を特定する。
ステップＳ２００ではＣＰＵ２２はステップＳ１０４で取得した自車近傍に存在する信号機の情報に基づいて自車が現在走行している道路に存在する信号機を選抜する。具体的には、ＣＰＵ２２はロケーティングモジュール４０から自車が現在走行しているリンクの識別情報を取得し、取得したリンクの識別情報がステップＳ１０４で取得された信号機を選抜する。 -Collation of image-derived positional relationship and map-derived positional relationship In step S118, the CPU 22 performs a subroutine shown in FIG. 12 to collate the image-derived positional relationship with the map-derived positional relationship, and among the traffic signals appearing in the vicinity image Identify target traffic lights.
In step S200, the CPU 22 selects a traffic signal existing on the road on which the host vehicle is currently traveling based on the information on the traffic signal existing in the vicinity of the host vehicle acquired in step S104. Specifically, the CPU 22 acquires the identification information of the link on which the host vehicle is currently traveling from the locating module 40, and selects the traffic light from which the acquired link identification information is acquired in step S104.

ステップＳ２０２ではＣＰＵ２２はステップＳ２００で選抜された信号機のうち自車の進行方向に存在している信号機を目標地物としての目標信号機として選抜する。この処理では、道路地図ＤＢ４２において各リンクが双方向リンクとして定義されているために、各信号機について自車の進行方向に存在しているか否かが信号機の位置と自車の現在位置と自車の進行方向とに基づいて判断される。
ステップＳ２０２で複数の信号機情報が目標信号機として選抜される場合（ステップＳ２０４で肯定判定される場合）、具体的には例えばペア信号が自車の走行リンク上において自車の進行方向に存在している場合、ＣＰＵ２２は、自車の現在位置から最も近くに位置が道路地図ＤＢ４２に登録されている信号機を目標信号機として選抜する（ステップＳ２０６）。尚、ペア信号とは、交差点手前の１つの道路上にある車両に対して設けられ、同一のパターンで点灯する２つ１組の信号である。 In step S202, the CPU 22 selects a traffic signal present in the traveling direction of the host vehicle from among the traffic signals selected in step S200 as a target traffic signal as a target feature. In this processing, since each link is defined as a bidirectional link in the road map DB 42, whether or not each traffic light is present in the traveling direction of the vehicle is determined by the position of the traffic signal, the current position of the vehicle, and the vehicle. And the direction of travel of the vehicle.
When a plurality of traffic signal information is selected as a target traffic signal in step S202 (when affirmative determination is made in step S204), specifically, for example, a pair signal exists in the traveling direction of the host vehicle on the traveling link of the host vehicle. If it is, the CPU 22 selects the traffic signal whose position is registered in the road map DB 42 closest to the current position of the vehicle as the target traffic signal (step S206). The pair signal is a set of two signals that are provided for a vehicle on one road before the intersection and are lit in the same pattern.

ステップＳ２０８では、ＣＰＵ２２は画像由来位置関係と地図由来位置関係とを照合することによって、近傍画像内で検出された信号機のうちで目標信号機に対応する信号機を特定する。具体的には、ＣＰＵ２２は、近傍画像内で検出された複数の信号機と、地図由来関係を特定した複数の信号機との対応を順次仮定し、各仮定において画像由来位置関係と地図由来位置関係とが整合するかを判定し、整合する場合には、仮定した対応を確定させる。図１０及び図１３に基づいてより具体的に説明する。まず、近傍画像内で検出された複数の信号機のうち、例えば信号機Ｓｃ₂が目標信号機Ｓｍ₂に対応し、Ｓｃ₁とＳｍ₁、Ｓｃ₃とＳｍ₃がそれぞれ対応すると仮定される。次に、その仮定について、Ｗｍ₁₂／Ｗｍ₂₃≒Ｗｃ₁₂／Ｗｃ₂₃、Ｗｍ₁₃／Ｗｍ₂₃≒Ｗｃ₁₃／Ｗｃ₂₃、Ｄｍ₁₂≒Ｄｃ₁₂、Ｄｍ₂₃≒Ｄｃ₂₃が成立するかが判定される。成立する場合には、ＣＰＵ２２は仮定した対応付けを確定させる。成立しない場合には、ＣＰＵ２２は別の組み合わせで対応付けを仮定し、Ｗｍ₁₂／Ｗｍ₂₃≒Ｗｃ₁₂／Ｗｃ₂₃、Ｗｍ₁₃／Ｗｍ₂₃≒Ｗｃ₁₃／Ｗｃ₂₃、Ｄｍ₁₂≒Ｄｃ₁₂、Ｄｍ₂₃≒Ｄｃ₂₃が成立するかが判定される。 In step S208, the CPU 22 identifies the traffic light corresponding to the target traffic signal among the traffic lights detected in the neighborhood image by comparing the image-derived positional relationship with the map-derived positional relationship. Specifically, the CPU 22 sequentially assumes correspondence between the plurality of traffic lights detected in the neighborhood image and the plurality of traffic lights that have specified the map-derived relationship, and in each assumption, the image-derived positional relationship and the map-derived positional relationship Are matched, and if they match, the assumed correspondence is determined. A more specific description will be given based on FIGS. 10 and 13. First, among the plurality of traffic lights detected in the neighborhood image, for example, the traffic light Sc ₂ corresponds to the target traffic light Sm ₂ , and Sc ₁ and Sm ₁ , and Sc ₃ and Sm ₃ correspond to each other. Next, for the assumption, it is determined whether Wm ₁₂ / Wm ₂₃ ≈Wc ₁₂ / Wc ₂₃ , Wm ₁₃ / Wm ₂₃ ≈Wc ₁₃ / Wc ₂₃ , Dm ₁₂ ≈Dc ₁₂ , and Dm ₂₃ ≈Dc _23. . If it is established, the CPU 22 determines the assumed association. If not established, the CPU 22 assumes the association in another combination, and Wm ₁₂ / Wm ₂₃ ≈Wc ₁₂ / Wc ₂₃ , Wm ₁₃ / Wm ₂₃ ≈Wc ₁₃ / Wc ₂₃ , Dm ₁₂ ≈Dc ₁₂ , Dm ₂₃ Do ≒ Dc ₂₃ is satisfied.

ステップＳ１２０では、ＣＰＵ２２は近傍画像の解析により目標信号機の属性を特定する。具体的には、目標信号機と対応付けられた近傍画像に表れている信号機について、属性としての色と自車までのＹ方向の距離とが近傍画像の解析によって特定される。
ステップＳ１２２では、ＣＰＵ２２はインタフェース１５を介してＡＴ制御ユニット２６及びブレーキ制御ユニット２８に画像解析によって特定した目標信号機の色と自車からのＹ方向の距離とを出力する。このとき、ＣＰＵ２２は信号機の色や道路標識の種類に応じた目標速度などの制御量をＡＴ制御ユニット２６及びブレーキ制御ユニット２８に出力することもできる。 In step S120, the CPU 22 identifies the attribute of the target traffic signal by analyzing the neighborhood image. Specifically, for the traffic signal appearing in the neighborhood image associated with the target traffic signal, the color as the attribute and the distance in the Y direction to the host vehicle are specified by analysis of the neighborhood image.
In step S122, the CPU 22 outputs the color of the target traffic light identified by image analysis and the distance in the Y direction from the host vehicle to the AT control unit 26 and the brake control unit 28 via the interface 15. At this time, the CPU 22 can also output a control amount such as a target speed according to the color of the traffic light or the type of road sign to the AT control unit 26 and the brake control unit 28.

［他の実施形態］
本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。例えば、本発明は、近傍画像に表れている特定種地物と道路地図ＤＢ４２に登録されている特定種地物とを対応付けることにより、自車の現在位置を正確に特定する技術に適用することもできる。 [Other Embodiments]
The present invention is not limited to the above-described embodiment, and can be applied to various embodiments without departing from the gist thereof. For example, the present invention is applied to a technique for accurately identifying the current position of the vehicle by associating the specific species feature appearing in the neighborhood image with the specific species feature registered in the road map DB 42. You can also.

本発明の実施形態に係るフローチャート。The flowchart which concerns on embodiment of this invention. 本発明の実施形態に係るブロック図。The block diagram which concerns on embodiment of this invention. 本発明の実施形態に係るブロック図。The block diagram which concerns on embodiment of this invention. 本発明の実施形態に係る模式図。The schematic diagram which concerns on embodiment of this invention. 本発明の実施形態に係る模式図。The schematic diagram which concerns on embodiment of this invention. 本発明の実施形態に係る模式図。The schematic diagram which concerns on embodiment of this invention. 本発明の実施形態に係る模式図。The schematic diagram which concerns on embodiment of this invention. 本発明の実施形態に係る模式図。The schematic diagram which concerns on embodiment of this invention. 本発明の実施形態に係る模式図。The schematic diagram which concerns on embodiment of this invention. 本発明の実施形態に係る模式図。The schematic diagram which concerns on embodiment of this invention. 本発明の実施形態に係る模式図。The schematic diagram which concerns on embodiment of this invention. 本発明の実施形態に係るフローチャート。The flowchart which concerns on embodiment of this invention. 本発明の実施形態に係る模式図。The schematic diagram which concerns on embodiment of this invention.

符号の説明Explanation of symbols

１：地物認識装置、１０：カメラユニット、２２：ＣＰＵ、２６：ＡＴ制御ユニット（運動制御部）、２８：ブレーキ制御ユニット（運動制御部）、３２：地物認識プログラム、３４：制御目標判定モジュール（物情報取得手段、地図由来位置関係特定手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段、絶対撮影方向特定手段）、３６：画像データ管理モジュール、３８：画像認識モジュール（画像取得手段、画像解析手段）、４０：ロケーティングモジュール、４２：道路地図データベース、 1: feature recognition device, 10: camera unit, 22: CPU, 26: AT control unit (motion control unit), 28: brake control unit (motion control unit), 32: feature recognition program, 34: control target determination Module (object information acquisition means, map-derived positional relationship specifying means, image-derived positional relationship specifying means, collating means, target specifying means, target selecting means, output means, absolute photographing direction specifying means), 36: image data management module, 38 : Image recognition module (image acquisition means, image analysis means), 40: locating module, 42: road map database,

Claims

移動体の現在位置を取得する現在位置取得手段と、
前記移動体の進行方向を取得する進行方向取得手段と、
信号機の位置及び信号機の点灯部が向いている方位を記憶する道路地図データベースと、
前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、
前記近傍画像に表れている複数の前記信号機の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、
前記近傍画像の解析によって特定された前記近傍画像内の複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、
前記現在位置、前記進行方向、前記道路地図データベースに記憶されている前記信号機の位置及び前記信号機の点灯部が向いている方位に基づいて、前記近傍画像の解析によって特定される可能性のある複数の前記信号機の位置を前記道路地図データベースから取得する信号機情報取得手段と、
該取得した複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である地図由来位置関係を特定する地図由来位置関係特定手段と、
前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記信号機と前記道路地図データベースに記憶されている前記信号機とを対応付ける照合手段と、
を備える地物認識装置。 Current position acquisition means for acquiring the current position of the moving body;
A traveling direction acquisition means for acquiring a traveling direction of the moving body;
A road map database for storing the position of the traffic light and the direction in which the lighting part of the traffic light is facing;
Image acquisition means for acquiring a vicinity image of the moving body from a camera unit mounted on the moving body;
Image analysis means for identifying positions in the vicinity image of the plurality of traffic lights appearing in the vicinity image by analysis of the vicinity image;
Based on the positions of the plurality of the traffic lights in the vicinity of image specified by the analysis of the neighboring image, and the image from the positional relationship specifying unit for specifying an image from the positional relationship is a positional relation between a plurality of the traffic lights,
A plurality of information that may be identified by analysis of the vicinity image based on the current position, the traveling direction, the position of the traffic light stored in the road map database, and the direction in which the lighting part of the traffic light faces. Traffic light information acquisition means for acquiring the position of the traffic light from the road map database;
Map-derived positional relationship specifying means for specifying a map-derived positional relationship that is a positional relationship between the plurality of traffic lights based on the acquired positions of the traffic lights;
Collating means for associating the traffic signal appearing in the neighborhood image with the traffic signal stored in the road map database by collating the image-derived positional relationship with the map-derived positional relationship;
A feature recognition apparatus comprising:

前記道路地図データベースに記憶されている前記信号機の位置、前記現在位置、及び、前記進行方向に基づいて、前記道路地図データベースに記憶されている前記信号機の少なくとも１つを目標信号機として特定する目標特定手段と、
前記近傍画像に表れている前記信号機と前記道路地図データベースに記憶されている前記信号機との対応に基づいて、前記目標信号機に対応する、前記近傍画像に表れている前記信号機を選抜する目標選抜手段と、
前記近傍画像の解析によって特定される前記目標信号機の属性を前記移動体の制御部に出力する出力手段と、をさらに備える、
請求項１に記載の地物認識装置。 Target identification that identifies at least one of the traffic signals stored in the road map database as a target traffic signal based on the position of the traffic signal stored in the road map database , the current position , and the traveling direction Means,
Target selection means for selecting the traffic signal appearing in the neighborhood image corresponding to the target traffic signal based on the correspondence between the traffic signal appearing in the neighborhood image and the traffic signal stored in the road map database. When,
An output means for outputting an attribute of the target traffic light specified by analysis of the vicinity image to a control unit of the moving body,
The feature recognition apparatus according to claim 1.

前記目標信号機の属性は前記移動体に対する前記目標信号機の位置である、
請求項２に記載の地物認識装置。 The attribute of the target traffic is the position of the target traffic for said mobile,
The feature recognition apparatus according to claim 2.

前記目標信号機の属性は信号機の点灯している点灯部の色である、
請求項２に記載の地物認識装置。 The attribute of the target traffic light is the color of the lighting portion of the traffic light ,
The feature recognition apparatus according to claim 2.

移動体の現在位置を取得し、
前記移動体の進行方向を取得し、
前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得し、
前記近傍画像に表れている複数の信号機の前記近傍画像内の位置を前記近傍画像の解析によって特定し、
前記近傍画像の解析によって特定された前記近傍画像内の複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である画像由来位置関係を特定し、
前記現在位置、前記進行方向、道路地図データベースに記憶されている前記信号機の位置及び前記信号機の点灯部が向いている方位に基づいて、前記近傍画像の解析によって特定される可能性のある複数の前記信号機の位置を前記道路地図データベースから取得し、
該取得した複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である地図由来位置関係を特定し、
前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記信号機と前記道路地図データベースに記憶されている前記信号機とを対応付ける、
ことを含む地物認識方法。 Get the current position of the moving object,
Obtaining the traveling direction of the moving body;
Obtaining a vicinity image of the moving body from a camera unit mounted on the moving body,
Identifying the positions in the vicinity image of a plurality of traffic lights appearing in the vicinity image by analyzing the vicinity image;
Based on the positions of the plurality of the traffic lights in the vicinity of image specified by the analysis of the neighboring image, specifies an image from the positional relationship is a positional relation between a plurality of the traffic lights,
Based on the current position, the traveling direction, the position of the traffic light stored in the road map database, and the direction in which the lighting part of the traffic light faces, a plurality of possibilities that may be identified by analysis of the neighborhood image Obtaining the position of the traffic light from the road map database;
Based on the obtained positions of the plurality of traffic lights, identify a map-derived positional relationship that is a positional relation between the plurality of traffic lights,
By associating the image-derived positional relationship with the map-derived positional relationship, the traffic signal appearing in the neighborhood image is associated with the traffic signal stored in the road map database.
A feature recognition method.

移動体の現在位置を取得する現在位置取得手段と、
前記移動体の進行方向を取得する進行方向取得手段と、
前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、
前記近傍画像に表れている複数の信号機の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、
前記近傍画像の解析によって特定された前記近傍画像内の複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、
前記現在位置、前記進行方向、道路地図データベースに記憶されている前記信号機の位置及び前記信号機の点灯部が向いている方位に基づいて、前記近傍画像の解析によって特定される可能性のある複数の前記信号機の位置を前記道路地図データベースから取得する信号機情報取得手段と、
該取得した複数の前記信号機の位置に基づいて、複数の前記信号機間の位置関係である地図由来位置関係を特定する地図由来位置関係特定手段と、
前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記信号機と前記道路地図データベースに記憶されている前記信号機とを対応付ける照合手段と、
としてコンピュータを機能させる地物認識プログラム。 Current position acquisition means for acquiring the current position of the moving body;
A traveling direction acquisition means for acquiring a traveling direction of the moving body;
Image acquisition means for acquiring a vicinity image of the moving body from a camera unit mounted on the moving body;
Image analysis means for identifying positions in the vicinity image of a plurality of traffic lights appearing in the vicinity image by analysis of the vicinity image;
Based on the positions of the plurality of the traffic lights in the vicinity of image specified by the analysis of the neighboring image, and the image from the positional relationship specifying unit for specifying an image from the positional relationship is a positional relation between a plurality of the traffic lights,
Based on the current position, the traveling direction, the position of the traffic light stored in the road map database, and the direction in which the lighting part of the traffic light faces, a plurality of possibilities that may be identified by analysis of the neighborhood image Traffic light information obtaining means for obtaining the position of the traffic light from the road map database;
Map-derived positional relationship specifying means for specifying a map-derived positional relationship that is a positional relationship between the plurality of traffic lights based on the acquired positions of the traffic lights;
Collating means for associating the traffic signal appearing in the neighborhood image with the traffic signal stored in the road map database by collating the image-derived positional relationship with the map-derived positional relationship;
As a feature recognition program that allows computers to function as