JP2012127896A - Mobile object position measurement device - Google Patents
Mobile object position measurement device Download PDFInfo
- Publication number
- JP2012127896A JP2012127896A JP2010281381A JP2010281381A JP2012127896A JP 2012127896 A JP2012127896 A JP 2012127896A JP 2010281381 A JP2010281381 A JP 2010281381A JP 2010281381 A JP2010281381 A JP 2010281381A JP 2012127896 A JP2012127896 A JP 2012127896A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- information
- image
- vehicle
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Navigation (AREA)
Abstract
Description
本発明は、自動車（移動体）の測位技術に関する。特に、車載情報システム、マイコン、カーナビゲーションシステム等において、車載カメラ（その画像・映像）を用いて自動車（移動体）の現在位置を実時間で測位を行う技術に関する。更に、ＧＰＳ等の手段による位置情報、車載カメラの実画像（実時間での走行時の撮影画像）、及び地図ＤＢ（データベース）などを用いて、現在位置の推定・補正などの処理を行う技術に関する。 The present invention relates to a positioning technique for an automobile (moving body). In particular, the present invention relates to a technique for measuring the current position of a car (moving body) in real time using a car-mounted camera (its image / video) in a car-mounted information system, a microcomputer, a car navigation system, and the like. Furthermore, a technique for performing processing such as estimation / correction of the current position using position information by means such as GPS, a real image of a vehicle-mounted camera (photographed image at the time of traveling in real time), and a map DB (database) About.
本発明に係わる自動車の測位技術に関し、背景技術及びその問題点などは以下である。 Regarding the positioning technology of the automobile according to the present invention, the background technology and its problems are as follows.
（従来手法１） 主流の手法としてＧＰＳ＋自律航法がある。ＧＰＳ衛星等から自車現在位置情報（誤差有り）を取得し、そのデータに対し、車載のセンサ（ヨーレイトセンサ、ジャイロセンサ、加速度センサ等）や車速計（車速信号）による自律航法によって補正をかけ、カーナビ等のデジタル地図上でマップマッチング（道路などから外れないように自車位置を補正して表示する等）を行う。しかしながらこの手法では、単独の測位精度は１５メートル、出力頻度は１Ｈｚであり、そして周囲道路ネットワーク状況によって１〜２秒の出力遅延などの問題点が存在する。 (Conventional method 1) As a mainstream method, there is GPS + autonomous navigation. Obtains current vehicle position information (with errors) from GPS satellites, etc., and corrects the data by autonomous navigation using in-vehicle sensors (yaw rate sensors, gyro sensors, acceleration sensors, etc.) and vehicle speedometers (vehicle speed signals) Map matching is performed on a digital map such as a car navigation system (such as correcting and displaying the position of the vehicle so as not to deviate from the road). However, with this method, the single positioning accuracy is 15 meters, the output frequency is 1 Hz, and there are problems such as an output delay of 1 to 2 seconds depending on the surrounding road network conditions.
（従来手法２） 特開２００５−２６５４９４号公報（特許文献１）の路面マーク比較方式がある。この方式では、路面マーク及び道路標識などをランドマークとし、各ランドマークの絶対位置（３次元空間位置座標）をデータベース（地図ＤＢ）に逐一登録しておく。実時間測位の際には、車載カメラの撮影画像から、車線境界線（白線など）とランドマークを抽出し、地図ＤＢの情報と比較（整合性判定）して、車線位置を確定する（車線領域での自車の位置を推定する）。 (Conventional method 2) There is a road surface mark comparison method disclosed in Japanese Patent Laying-Open No. 2005-265494 (Patent Document 1). In this system, road marks and road signs are used as landmarks, and absolute positions (three-dimensional spatial position coordinates) of the respective landmarks are registered in a database (map DB) one by one. During real-time positioning, lane boundary lines (white lines, etc.) and landmarks are extracted from the image taken by the in-vehicle camera, and compared with the information in the map DB (consistency determination) to determine the lane position (lanes Estimate the position of the vehicle in the area).
（従来手法３） 特開平１０−３００４９３号（特許文献２）のレーザースキャン方式がある。この方式では、レーダ装置によって検出された静止物のデータと道路周囲環境記憶装置に記憶された静止物のデータに基づいて、ナビゲーション装置で求めた自車現在位置を修正することにより、自車現在位置の誤差を数１０ｍ程度から１０ｃｍ程度〜数１０ｃｍ程度の誤差にすることができ、精度を向上することができる。 (Conventional method 3) There is a laser scanning method disclosed in JP-A-10-300493 (Patent Document 2). In this method, the current vehicle position is obtained by correcting the current vehicle position obtained by the navigation device based on the stationary object data detected by the radar device and the stationary object data stored in the road surrounding environment storage device. The position error can be made from about several tens of meters to about 10 cm to several tens of centimeters, and the accuracy can be improved.
（従来手法４） また、高精度ＲＴＫ（Real Time Kinematic）−ＧＰＳ方式などがある。この方式では、誤差２〜３ｃｍ程度の測位精度が得られるようになった。しかし、従来手法３，４等の方式による測位装置は非常に高価であり、また、例えば高速移動体に関する測位を実時間で実施するには不得意である。 (Conventional method 4) Further, there is a high-precision RTK (Real Time Kinematic) -GPS method. With this method, positioning accuracy with an error of about 2 to 3 cm can be obtained. However, positioning devices using the conventional methods 3 and 4 are very expensive, and are not good at performing positioning on high-speed moving bodies in real time, for example.
（従来手法５） また、本発明者の提案によるハイブリッド法（特開２００８−１７５７８６号公報（特許文献３））もある。この手法では、既存のカーナビションシステムに加え、３次元慣性ジャイロスコープセンサ、車速センサ、及び白線検出結果を統合して正確な車両位置を実時間に推定する。この手法では、実時間の測位速度を達成しているが、平均測位精度は３〜５メートルにとどまっている。 (Conventional method 5) There is also a hybrid method (Japanese Patent Laid-Open No. 2008-175786 (Patent Document 3)) proposed by the present inventor. In this method, in addition to the existing car navigation system, a three-dimensional inertial gyroscope sensor, a vehicle speed sensor, and a white line detection result are integrated to estimate an accurate vehicle position in real time. This technique achieves a real-time positioning speed, but the average positioning accuracy is only 3 to 5 meters.
（従来手法６） また、車載カメラを利用した測位の手法として、本発明者の提案による、特開２０１０−１５１６５８号公報（特許文献４）（「移動***置測定装置」等）がある。この手法では、移動体（自車）に搭載したカメラ（撮像部）の実画像（走行方向の路面や景観）から抽出した特徴部（特徴情報）と、地図ＤＢ（地図情報）に含まれる特徴部（特徴情報）とをマッチング処理することにより、移動体の位置を測定（推定）する。なお、本発明と特許文献４では、大きな枠組みは共通するが、技術的特徴は異なる。 (Conventional method 6) Further, as a positioning method using an in-vehicle camera, there is JP 2010-151658 A (Patent Document 4) ("mobile body position measuring device" etc.) proposed by the present inventor. In this method, features (feature information) extracted from real images (road surface and landscape in the traveling direction) of a camera (imaging unit) mounted on a moving body (own vehicle) and features included in a map DB (map information) The position of the moving body is measured (estimated) by performing a matching process on the part (feature information). The present invention and Patent Document 4 share a large framework, but have different technical features.
特許文献４では、具体的には、自車の走行方向の路面の白線（車線境界線）などを撮像・認識し、移動体の白線からのオフセット距離を検出して移動体の位置を補正する（例えば複数の車線から適切な車線を選択する）等の処理により、自車位置の精度を高める。また、所定間隔で設けられた交差点などの参照地点において、複数の位置から走路方向を臨んで撮像した画像を、当該地点に関連付けて記憶しておくことができる（３次元画像の不要による処理短縮化）。また、事前に、３次元画像（実画像データ）ではなくその特徴部データ（特徴情報）のみを記憶しておくことで、抽出処理の省略による高速化、及び必要な記憶容量の削減ができる。また、地図情報をもとに複数の車線がある場合など、自車が存在可能な複数の位置を想定し、各々の存在可能位置（車線）から例えば前方の画像の特徴部の情報と、対応する実時間処理で抽出した実画像の特徴部の情報とを比較して差分を演算する（マッチング処理）。 In Patent Document 4, specifically, a white line (lane boundary line) on the road surface in the traveling direction of the host vehicle is imaged and recognized, and an offset distance from the white line of the moving body is detected to correct the position of the moving body. The accuracy of the vehicle position is increased by processing such as selecting an appropriate lane from a plurality of lanes. In addition, at a reference point such as an intersection provided at a predetermined interval, it is possible to store an image captured from a plurality of positions facing the road direction in association with the point (reduction of processing due to unnecessary three-dimensional image). ). Further, by storing only the feature data (feature information) instead of the three-dimensional image (actual image data) in advance, it is possible to increase the speed by omitting the extraction process and to reduce the necessary storage capacity. Also, assuming multiple locations where the vehicle can exist, such as when there are multiple lanes based on map information, for example, from the possible locations (lanes), for example, information on feature parts of the front image The difference is calculated by comparing with the information of the feature portion of the real image extracted by the real-time processing (matching processing).
一方、カメラ画像を利用した測位技術に係わり、ＳＦＭ（Structure from Motion）と呼ばれる手法がある。例えば非特許文献１，２に記載されている。ＳＦＭ手法では、カメラを搭載したロボット（移動体）において、カメラで撮像した画像情報のみから、３次元環境の復元と同時にロボットの移動の前後の相対的な位置・姿勢などを推定する。 On the other hand, there is a technique called SFM (Structure from Motion) related to a positioning technique using a camera image. For example, it is described in Non-Patent Documents 1 and 2. In the SFM method, in a robot (moving body) equipped with a camera, a relative position / posture before and after the movement of the robot is estimated simultaneously with restoration of a three-dimensional environment from only image information captured by the camera.
また、画像から特徴量（特徴部、特徴情報）を抽出する画像解析処理については、例えば非特許文献３などに記載されている。 Further, image analysis processing for extracting feature amounts (feature portions, feature information) from an image is described in Non-Patent Document 3, for example.
従来手法６（特許文献４）のように、車載カメラを利用した実時間の測位の技術において、安価（高価な装置を使用しないこと）、かつ高精度（少なくとも一般的なＧＰＳ等の手段よりも高精度）な測位を実現したい。 Like conventional method 6 (Patent Document 4), in real-time positioning technology using a vehicle-mounted camera, it is inexpensive (does not use expensive equipment) and has high accuracy (at least compared with general means such as GPS). I want to achieve highly accurate positioning.
上記実時間の測位の際、カメラによる実画像（路面や景観などを含む）から特徴部を抽出する処理を行うが、周囲状況などの要因によって実画像の内容が変化するため、適切な抽出及び判定などが難しくなる問題点がある。上記要因は、例えば、走行時の時期・天候や、道路混雑状況（走行車両や路側帯の駐停車両、歩行人物など）、建築環境（道路や建物、樹木など）の変動などが挙げられる。上記問題点に対しても有効な測位を実現したい。 At the time of the above real time positioning, the feature part is extracted from the real image (including road surface and landscape) by the camera, but the content of the real image changes depending on factors such as the surrounding situation. There is a problem that the judgment becomes difficult. The factors include, for example, the time and weather during travel, road congestion (running vehicles, parked vehicles on roadside belts, walking people, etc.), and fluctuations in the building environment (roads, buildings, trees, etc.). We want to achieve effective positioning for the above problems.
以上のように、本発明の主な目的は、車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる技術を提供することである。 As described above, the main object of the present invention is related to the real-time positioning technique using the in-vehicle camera, and is to provide a technique capable of realizing low-cost and high-precision positioning.
上記目的を達成するため、本発明の代表的な形態は、自動車などの移動体及びそれに搭載される情報システム等に係わる移動***置測定装置などであって、以下に示す構成を有することを特徴とする。 In order to achieve the above object, a typical embodiment of the present invention is a mobile body position measuring apparatus related to a mobile body such as an automobile and an information system mounted thereon, and has the following configuration. And
本装置は、移動体の位置を測定ないし推定する移動***置測定装置であって、（ａ）移動体の走行時に実時間でＧＰＳ等の手段を用いて移動体の現在の概略の位置と方位を第１の位置情報として検出する位置検出部と、（ｂ）前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向（例えば前方）を撮影して第１の画像（実画像群）を得る１つ以上の撮像部（カメラ）と、（ｃ）前記第１の画像として、地図上の参照地点（ＲＰ）の付近で撮影された複数の実画像の中から、直線や角点（特徴点）を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、（ｄ）地図上の所定の参照地点の付近の第２の画像（実画像群）の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースと、（ｅ）前記移動体の走行時に、前記第１の位置情報をもとに、前記地図データベースから、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、（ｆ）前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、（ｇ）前記第１の位置情報に対して前記第２の位置情報を用いて補正することにより、前記移動体の現在の位置を第３の位置情報として出力する位置補正部と、を有する。 This apparatus is a mobile body position measuring apparatus that measures or estimates the position of a mobile body, and (a) the current approximate position and orientation of the mobile body using means such as GPS in real time when the mobile body is traveling And (b) photographing at least one first direction (for example, forward) around the moving body in real time when the moving body is mounted on the moving body. One or more imaging units (cameras) for obtaining a first image (actual image group), and (c) a plurality of actual images photographed in the vicinity of a reference point (RP) on a map as the first image. A first feature extraction unit that extracts a feature portion including a straight line or a corner point (feature point) from the image and sets the feature portion as first feature information; and (d) a first feature near a predetermined reference point on the map. A feature part including a straight line and a corner point is extracted from the two images (actual image group) as second feature information, A map database in which data including the feature information of 2 is registered in advance, and (e) when the mobile object travels, from the map database based on the first position information, corresponding to the vicinity of the reference point A second feature extraction unit that reads out and acquires the second feature information to be acquired, and (f) inputs the first feature information and the second feature information, and compares and matches the respective feature units. Thus, the positions of the plurality of feature portions in the vicinity of the reference point are estimated, and based on the positions of the plurality of feature portions, the position of the moving body at each time point associated with the movement is A feature matching unit that calculates a relative positional relationship with the position of each of the plurality of feature units to estimate the current position of the moving body and outputs the second position information; and (g) the first The second position with respect to the position information of one By correcting using a broadcast, having a position correction unit for outputting a current position of the moving body as the third position information.
本発明の代表的な形態によれば、車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる。 According to the representative embodiment of the present invention, it is related to the technique of real-time positioning using an in-vehicle camera, and low-cost and high-precision positioning can be realized.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。略称として、ＲＰ：参照地点（Reference Point）、等とする。説明上の記号として、Ｔ：時点、Ｋ：自車位置（≒カメラ撮像位置）、Ｇ：画像・実画像、Ｐ：特徴点（及び特徴点位置）、等とする。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted. Abbreviated as RP: Reference Point, etc. As symbols for explanation, T: time point, K: own vehicle position (≈camera imaging position), G: image / real image, P: feature point (and feature point position), and the like.
本実施の形態の主な特徴は、移動体（自動車）の実時間測位の際、ＳＦＭ手法を利用した特徴マッチング処理などを行うことである。図１の構成に基づき、図５，図６の各処理により、図２〜図４のような特徴点（Ｐ）の抽出・推定・マッチング、及び自車位置（Ｋ）の推定などを行う。これにより自車現在位置（Ｋ）を安価かつ高精度で推定する。 The main feature of the present embodiment is that a feature matching process using the SFM method is performed at the time of real-time positioning of a mobile body (automobile). Based on the configuration of FIG. 1, the feature points (P) are extracted, estimated, and matched, and the vehicle position (K) is estimated as shown in FIGS. Thus, the current position (K) of the own vehicle is estimated with low cost and high accuracy.
［システム］
図１において、本発明の一実施の形態のシステム（移動***置測定装置）である自動車及び車載情報システム１００の構成例を示している。自動車及び車載情報システム１００は、実時間測位部１、制御部２、センサ類３、カメラ（撮像部）４、地図ＤＢ（データベース）５、等を備える。制御部２は、例えばＣＰＵ，ＲＯＭ，ＲＡＭ等を含んで成り、回路やプログラムの処理により、システム全体の制御、及び実時間測位部１を含む処理機能を実現する。
[system]
FIG. 1 shows a configuration example of an automobile and an in-vehicle information system 100 that are systems (moving body position measuring devices) according to an embodiment of the present invention. The automobile and in-vehicle information system 100 includes a real-time positioning unit 1, a control unit 2, sensors 3, a camera (imaging unit) 4, a map DB (database) 5, and the like. The control unit 2 includes, for example, a CPU, a ROM, a RAM, and the like, and realizes control of the entire system and processing functions including the real-time positioning unit 1 by processing of circuits and programs.
なお本自動車（１００）はユーザが利用するが、後述する計測車両の場合は、実時間測位部１に対応した事前登録処理部などを備え、地図ＤＢ５への事前登録（ａ２）の処理（ｄ２登録処理を含む）を行う。またユーザの自動車（１００）に事前登録処理部を搭載する形態（地図ＤＢ５内容（ｄ２）を随時更新する形態）も可能である。 In addition, although this user (100) uses a user, in the case of a measurement vehicle to be described later, a pre-registration processing unit corresponding to the real-time positioning unit 1 is provided, and processing (d2) for pre-registration (a2) to the map DB 5 Registration process). Moreover, the form (form which updates map DB5 content (d2) at any time) which mounts a prior registration process part in a user's motor vehicle (100) is also possible.
センサ類３は、ＧＰＳユニット３１、ジャイロセンサ３２、走行センサ３３、等の公知の要素である（他の手段を有してもよい）。ＧＰＳユニット３１により、複数のＧＰＳ衛星からの搬送波（例えば１回／１秒）を受信し、到達時間差などから緯度・経度による位置を検出する。ジャイロセンサ３２は、自車の角速度変化から、自車の方位角（向き）を検出する。走行センサ３３（車速計など）は、自車の走行の距離や速度を検出する。 The sensors 3 are known elements such as the GPS unit 31, the gyro sensor 32, and the travel sensor 33 (may have other means). The GPS unit 31 receives carrier waves (for example, once per second) from a plurality of GPS satellites, and detects the position based on the latitude and longitude from the arrival time difference. The gyro sensor 32 detects the azimuth angle (orientation) of the host vehicle from the change in the angular velocity of the host vehicle. The travel sensor 33 (such as a vehicle speedometer) detects the travel distance and speed of the host vehicle.
カメラ４は、１台の自動車（１００）に対して１つ以上が搭載される。カメラ４の搭載の位置や向き、及び詳細な機能などは各種の形態が可能である。例えば図３のように、自動車（１００）の前方の路面や景観を含むフレームを撮像する位置・向きで搭載される。実時間測位の際、カメラ４は、自車の移動に伴い、走行方向（カメラ４の向きに対応）の道路や景観等を撮像し、それによる複数の実画像のフレームを得る。その実画像データは適宜記憶手段に一時記憶してもよい。カメラ４は、例えばリアビューカメラやドライブ・レコーダー用カメラなど、安価な単眼カメラが適用可能である。 One or more cameras 4 are mounted on one automobile (100). Various forms are possible for the mounting position and orientation of the camera 4 and the detailed functions. For example, as shown in FIG. 3, the vehicle is mounted at a position / orientation for imaging a road surface and a frame including a landscape in front of the automobile (100). During real-time positioning, the camera 4 captures a road, a landscape, and the like in the traveling direction (corresponding to the direction of the camera 4) as the vehicle moves, and obtains a plurality of real image frames. The actual image data may be temporarily stored in a storage unit as appropriate. The camera 4 can be an inexpensive monocular camera such as a rear view camera or a drive / recorder camera.
１台の自動車に対して２つ以上（複数）のカメラ４を搭載する場合は、それら複数のカメラ４で同時に撮像した複数の実画像を特徴抽出処理（画像解析処理）などで用いる。これにより、コストが増える代わりに測位精度を高めることができる。上記複数の実画像については、例えば、同じ撮像位置（カメラ位置）から複数の方向の景観を撮像する形、あるいは、複数の撮像位置（カメラ位置）から同じ対象を撮像する形、などが可能である。 When two or more (a plurality of) cameras 4 are mounted on one automobile, a plurality of real images simultaneously captured by the plurality of cameras 4 are used for feature extraction processing (image analysis processing) or the like. Thereby, the positioning accuracy can be increased instead of the cost. With respect to the plurality of real images, for example, a shape in which a landscape in a plurality of directions is imaged from the same imaging position (camera position) or a shape in which the same object is imaged from a plurality of imaging positions (camera positions) is possible. is there.
地図ＤＢ５は、地図情報（ｄ０）、ＲＰ情報（ｄ１）、第２の特徴情報（ｄ２）、等のデータを格納する。地図ＤＢ５は、図示しない記憶手段（例えばＨＤＤ，ＤＶＤ等）や通信ネットワーク上のサービス（地図ＤＢ５内容を自動更新する）等により実現される。地図ＤＢ５への事前登録（ａ２）の処理では、所定のＲＰ付近での実画像から特徴部を抽出し、ＲＰ情報（ｄ１）、第２の特徴情報（ｄ２）、等として関連付けて登録する。所定のＲＰとして少なくとも道路の交差点を含む。 The map DB 5 stores data such as map information (d0), RP information (d1), and second feature information (d2). The map DB 5 is realized by storage means (for example, HDD, DVD, etc.) not shown, a service on a communication network (the contents of the map DB 5 are automatically updated), and the like. In the process of pre-registration (a2) in the map DB 5, a feature portion is extracted from an actual image near a predetermined RP, and is registered in association with RP information (d1), second feature information (d2), and the like. The predetermined RP includes at least a road intersection.
地図情報（ｄ０）は、公知の道路情報・景観情報、等を含み、本例ではカーナビ６のデジタル地図で使用されるデータを想定している。また、本発明に係わる要素として、地図情報（ｄ０）には、特に、所定のＲＰに関する情報（ｄ１）を含み、ＲＰ情報（ｄ１）は、当該ＲＰに関連付けられる第２の特徴情報（ｄ２）を含む。 The map information (d0) includes known road information, landscape information, and the like. In this example, data used in the digital map of the car navigation 6 is assumed. Further, as elements relating to the present invention, the map information (d0) particularly includes information (d1) relating to a predetermined RP, and the RP information (d1) is second feature information (d2) associated with the RP. including.
ＲＰ情報（ｄ１）は、地図上における、実時間測位の際の参照対象とする交差点などのＲＰやランドマーク等に関する情報であり、当該ＲＰ等に関する識別情報や属性情報、３次元空間（地図）内の位置座標（３次元座標｛Ｘ，Ｙ，Ｚ｝または対応する緯度・経度などの所定の形式の情報）などの情報を有する。 The RP information (d1) is information on an RP such as an intersection to be referred to in real-time positioning on the map, landmarks, and the like. Identification information and attribute information about the RP etc., three-dimensional space (map) Information such as position coordinates (three-dimensional coordinates {X, Y, Z} or information of a predetermined format such as corresponding latitude / longitude).
第２の特徴情報（ｄ２）は、ＲＰ情報（ｄ１）で識別されるＲＰの付近の景観（実画像）内に含まれる標識や建物などのランドマーク等に関して、事前登録（ａ２）の際の処理で抽出された特徴部（特徴点（Ｐ）など）に関する特徴量や位置座標（画像内の２次元座標{ｘ，ｙ}及び対応する３次元座標｛Ｘ，Ｙ，Ｚ｝）などの情報を含む。 The second feature information (d2) is used for pre-registration (a2) regarding landmarks such as signs and buildings included in the scenery (actual image) near the RP identified by the RP information (d1). Information such as feature quantities and position coordinates (two-dimensional coordinates {x, y} and corresponding three-dimensional coordinates {X, Y, Z} in the image) relating to feature parts (feature points (P), etc.) extracted by processing including.
カーナビ６は、実時間測位部１による自車現在位置の情報を利用・出力するカーナビゲーションシステムやディスプレイ等である。カーナビ６は、地図ＤＢ５のデータ、及び第３の位置情報（Ｌ３）等を用いて、ナビゲーション用の地図等のデータを随時に生成し、画面表示処理などを行う。また前述のように、車両制御のためのマイコンやＥＣＵへ車両現在位置と方位角の情報などを転送する形態としてもよい。 The car navigation 6 is a car navigation system, a display, or the like that uses and outputs information on the current position of the vehicle by the real-time positioning unit 1. The car navigation 6 uses the data in the map DB 5, the third position information (L3), and the like to generate data such as a navigation map as needed, and performs screen display processing and the like. Further, as described above, the vehicle current position and azimuth information may be transferred to a microcomputer or ECU for vehicle control.
［実時間測位部、処理概要］
図１を用いて、本実施の形態（自動車及び車載情報システム１００）における実時間測位部１の構成、及びその実時間測位などの際の処理概要を以下（０）〜（５）等で説明する。実時間測位部１は、制御部２により、センサ類３、カメラ４、地図ＤＢ５、カーナビ６等と連携して、実時間測位に係わる処理を行う。実時間測位部１は、位置検出部１０、第１の特徴抽出部１１、第２の特徴抽出部１２、特徴マッチング部１３、位置補正部１４、等を備える。その他必要に応じて、画像データ記憶部、マップマッチング部、等の公知の要素を備えてもよい。なおユーザが一般車両で本システムを利用する際の各部の処理については基本的に実時間（リアルタイム）での処理であり、地図ＤＢ５のデータ｛ｄ０，ｄ１，ｄ２｝については、事前登録（ａ２）による処理（例えば本システム提供者、計測車両による処理）である。
[Real-time positioning unit, processing overview]
With reference to FIG. 1, the configuration of the real-time positioning unit 1 in the present embodiment (automobile and in-vehicle information system 100) and an outline of the processing at the time of the real-time positioning and the like will be described in (0) to (5) below. . The real-time positioning unit 1 performs processing related to real-time positioning by the control unit 2 in cooperation with the sensors 3, the camera 4, the map DB 5, the car navigation 6, and the like. The real-time positioning unit 1 includes a
（０） 位置検出部１０は、随時、実時間でのＧＰＳユニット３１等を含むセンサ類３からの検出情報（ｂ０）を入力し、そのデータを用いて自車の概略の現在位置と方位角など（一般的なＧＰＳによる測位誤差を持つ概略の第１の位置）を検出し、この検出情報を第１の位置情報（Ｌ１）とする。例えば図２に状況を示す。
(0) The
（１） 第１の特徴抽出部１１は、実時間（ａ１）での入力によるカメラ４で撮像した実画像（カメラ４毎の時間軸上の複数の各々の画像フレーム）のデータ（ｂ１）を入力し、その実画像（例えば図３）の中から、自車周囲環境の道路を含む景観に関する特徴部を抽出する処理を行い、第１の特徴情報（ｃ１）として出力する。特徴部及び第１の特徴情報（ｃ１）は、上記実画像（２次元景観画像）に含まれる角点（特徴点（Ｐ））の座標（｛ｘ，ｙ｝）、及び、その角点の形状・色・明度変化などの特徴を表す特徴量（例えばＳＩＦＴ特徴量；例えば非特許文献３を参照）など、所定の画像解析処理などにより抽出できる各種の情報を含む（後述、図３等）。実時間測位は、少なくとも、交差点などのＲＰの近く（手前など）の位置から開始される。第１の特徴抽出部１１は、第１の位置情報（Ｌ１）に従って、視野範囲内にあるＲＰの近くの位置から、上記特徴抽出処理（時間軸上の複数の実画像フレームの処理）を行う。 (1) The first feature extraction unit 11 obtains data (b1) of an actual image (a plurality of image frames on the time axis for each camera 4) captured by the camera 4 by an input at the actual time (a1). It inputs, performs the process which extracts the characteristic part regarding the scenery containing the road of the surrounding environment of the own vehicle from the real image (for example, FIG. 3), and outputs it as 1st characteristic information (c1). The feature part and the first feature information (c1) are the coordinates ({x, y}) of the corner point (feature point (P)) included in the real image (two-dimensional landscape image) and the corner point. Includes various types of information that can be extracted by predetermined image analysis processing, such as feature quantities (eg, SIFT feature quantities; see, for example, Non-Patent Document 3) representing features such as shape, color, and brightness change (described later, such as FIG. 3). . Real-time positioning is started at least from a position near the RP (such as the front) such as an intersection. The first feature extraction unit 11 performs the feature extraction processing (processing of a plurality of real image frames on the time axis) from a position near the RP within the visual field range according to the first position information (L1). .
（２） 第２の特徴抽出部１２は、上記第１の特徴抽出部１１の動作に並行して、自車の移動に伴う第１の位置情報（Ｌ１）をもとに、事前登録（ａ２）による各データ（ｄ１，ｄ２，ｄ３）が登録済みの地図ＤＢ５から、自車の第１の位置の付近の地図情報（ｄ０）、ＲＰ情報（ｄ１）、及び第２の特徴情報（ｄ２）を逐次に取得する。第２の特徴抽出部１２は、地図ＤＢ５からデータ（ｂ２）を読み出して入力する形で、該当ＲＰ付近の景観（実画像）の中から特徴部を抽出し、第１の特徴情報（ｃ１）に対するマッチングの対象（参照元）とするための第２の特徴情報（ｃ２）として出力する。上記データ（ｂ２）は、該当ＲＰ付近の特徴部の情報にあたる第２の特徴情報（ｄ２）を含む。地図ＤＢ５内に、対応する第２の特徴情報（ｄ２）が事前登録（ａ２）済みの場合は、単にそのデータを読み出して取得すればよい。第２の特徴情報（ｃ２）は、第１の特徴情報（ｃ１）と同様の形式であり、特徴点などについての特徴量や位置座標などの情報を含む。 (2) The second feature extraction unit 12 performs pre-registration (a2) based on the first position information (L1) accompanying the movement of the host vehicle in parallel with the operation of the first feature extraction unit 11. ), The map information (d0), the RP information (d1), and the second feature information (d2) in the vicinity of the first position of the vehicle from the map DB5 in which each data (d1, d2, d3) is registered. Are acquired sequentially. The second feature extraction unit 12 reads out and inputs the data (b2) from the map DB 5, extracts the feature from the landscape (actual image) in the vicinity of the corresponding RP, and first feature information (c1) Is output as second feature information (c2) for matching with (reference source). The data (b2) includes second feature information (d2) corresponding to information on a feature portion near the corresponding RP. If the corresponding second feature information (d2) is pre-registered (a2) in the map DB 5, it is only necessary to read and acquire the data. The second feature information (c2) has the same format as the first feature information (c1), and includes information such as feature amounts and position coordinates regarding feature points.
上記（１），（２）における実時間（ａ１）及び事前登録（ａ２）の際のそれぞれの特徴抽出処理では、地図上のＲＰ（例えば図２の交差点など）付近の道路や景観を対象とした画像の中から、ランドマーク等（路面の白線、標識、建物など）に関する特徴部（特徴点など）を抽出する画像解析処理を行う（後述、図５，図６）。 In each feature extraction process in the real time (a1) and pre-registration (a2) in (1) and (2) above, roads and scenery near the RP (for example, the intersection in FIG. 2) on the map are targeted. Image analysis processing is performed to extract features (feature points, etc.) relating to landmarks (white lines on road surfaces, signs, buildings, etc.) from the obtained images (described later, FIGS. 5 and 6).
（３） 特徴マッチング部１３は、第１の特徴情報（ｃ１）と第２の特徴情報（ｃ２）とを入力し、ＳＦＭ手法を用いた特徴マッチング処理を行うことにより、逐次で自車現在位置を推定し、この結果（推定の自車現在位置）を、第２の位置情報（Ｌ２）として出力する。自車の移動に伴う複数の時点（Ｔ）・位置（Ｋ）の複数の実画像（Ｇ）のフレーム中における複数の各々の特徴部（特徴点（Ｐ）など）との相対的な位置関係（相対的な自車の位置・方位）を、ＳＦＭ手法を用いて演算することにより、自車現在位置（Ｋ）を推定する（後述、図４等）。 (3) The feature matching unit 13 inputs the first feature information (c1) and the second feature information (c2), and performs the feature matching process using the SFM method, so that the current vehicle position is sequentially And the result (estimated current position of the vehicle) is output as the second position information (L2). Relative positional relationship with a plurality of feature parts (feature points (P), etc.) in a frame of a plurality of real images (G) at a plurality of time points (T) and positions (K) accompanying the movement of the host vehicle The current position (K) of the host vehicle is estimated by calculating (relative position / orientation of the host vehicle) using the SFM method (described later, such as FIG. 4).
（４） 位置補正部１４は、第１の位置情報（Ｌ１）と第２の位置情報（Ｌ２）とを入力し、Ｌ１に対してＬ２を用いて自車現在位置を補正し、その結果を第３の位置情報（Ｌ３）として出力する。Ｌ３は、車両現在位置と方位角の情報を含む。 (4) The position correction unit 14 inputs the first position information (L1) and the second position information (L2), corrects the current position of the vehicle using L2 with respect to L1, and obtains the result. Output as third position information (L3). L3 includes information on the current vehicle position and azimuth angle.
なお、位置補正部１４を設けずに、第２の位置情報（Ｌ２）を最終結果の位置情報として出力する形態としてもよい。少なくともＬ２はＬ１よりも高精度な値が得られる。ＲＰ付近以外の場所では、位置補正部１４による補正を行うことが好適である。 The second position information (L2) may be output as the position information of the final result without providing the position correction unit 14. At least L2 can be obtained with higher accuracy than L1. It is preferable to perform correction by the position correction unit 14 at a place other than the vicinity of the RP.
またマップマッチング処理などを行う場合は、例えば、第１の位置情報（Ｌ１）等をもとに、地図内の道路から自車が外れないように補正する。例えばＬ１とその付近の地図情報（ｄ０）から、自車の存在可能位置を選択する。また、Ｌ１をもとに、道路の車線数や車線幅、路面上のマークや標識・信号といった地図情報（ｄ０）を取得して、自車の存在可能位置などを把握してもよい。 When performing map matching processing or the like, for example, correction is performed so that the vehicle does not come off the road in the map based on the first position information (L1) or the like. For example, a position where the vehicle can exist is selected from L1 and map information (d0) in the vicinity thereof. Further, based on L1, map information (d0) such as the number of lanes and the lane width of a road, a mark on a road surface, a sign / signal, and the like may be acquired to grasp a possible position of the vehicle.
（５） 自動車及び車載情報システム１００では、上記第３の位置情報（Ｌ３）を用いて処理を行う。例えばカーナビ６で、Ｌ３等を用いて自車現在位置を表示する。また、車両制御のためのマイコンやＥＣＵへ上記Ｌ３による車両現在位置と方位角の情報を転送して利用する形態などとしてもよい。 (5) In the vehicle and in-vehicle information system 100, processing is performed using the third position information (L3). For example, the current position of the vehicle is displayed on the car navigation 6 using L3 or the like. Moreover, it is good also as a form etc. which transfer and utilize the information of the vehicle present position and azimuth angle by said L3 to the microcomputer and ECU for vehicle control.
［事前登録処理］
地図ＤＢ５への事前登録（ａ２）の際の処理は、例えば、計測車両（カメラ及び事前登録処理部などを備える）で行われる。事前登録処理部は、第１の特徴抽出部１１等と同様の処理部を含む構成である。計測車両により実際に対象の道路を走行して、対象のＲＰ付近の景観を撮像する。その実画像データを一旦記憶し、その実画像データから、第１の特徴抽出部１１での処理と同様に、特徴部を抽出する処理を行い、この結果を第２の特徴情報（ｄ２）とし、地図ＤＢ５内にＲＰ情報（ｄ１）に関連付けて登録する。この処理は、実時間測位の際の第１の特徴抽出部１１での処理内容と概略的には共通である。なおこの処理では、実時間測位の際とは異なり、すべてを実時間で処理する必要は無い。例えば予め収集・蓄積した実画像データを対象としてまとめて特徴抽出処理を実行する形態などとしてもよい。
[Pre-registration process]
The process at the time of prior registration (a2) to the map DB 5 is performed by, for example, a measurement vehicle (including a camera and a prior registration processing unit). The pre-registration processing unit includes a processing unit similar to the first feature extraction unit 11 and the like. The vehicle is actually driven on the target road by the measurement vehicle, and the landscape near the target RP is imaged. The actual image data is temporarily stored, and the feature is extracted from the actual image data in the same manner as the process in the first feature extraction unit 11, and this result is used as the second feature information (d2). Register in the DB 5 in association with the RP information (d1). This processing is generally the same as the processing content in the first feature extraction unit 11 at the time of real-time positioning. In this process, unlike real-time positioning, it is not necessary to process everything in real time. For example, the feature extraction processing may be executed by collecting actual image data collected and accumulated in advance.
［ＲＰ、ランドマーク］
図２において、地図、道路、ＲＰ、ランドマーク、特徴点（Ｐ）、等の例を、２次元平面によって模式的に示す（なお説明用であってカーナビ６で表示する地図とは異なる）。自車２００、交差点２０１、道路２０２、道路／車線２０３、白線（車線境界線）２０４、建物２０５、路側２０６、等の例を示す。Ｋは、自車２００の現在位置を示し、３次元座標｛Ｘ，Ｙ，Ｚ｝及び方位角（矢印）などによって表現される。
[RP, landmark]
In FIG. 2, examples of maps, roads, RPs, landmarks, feature points (P), and the like are schematically shown by a two-dimensional plane (note that they are for explanation purposes and are different from the map displayed on the car navigation system 6). Examples of
ＲＰは、測位に役立つ景観特徴を持つ測位参考点であり、２０１のような道路交差点や、分岐・合流部、そしてランドマーク地点などを指している。ＲＰとしては、現実（地図）に存在するうちの主なもの（測位に役立つもの）がＲＰ情報（ｄ１）として事前登録（ａ２）される。ＲＰは、交差点２０１に限らず、例えば所定間隔での複数の地点や、ランドマークとなる建物２０５などを対象としてもよい。またＲＰの３次元位置情報は、地図ＤＢ５を構築する際（ａ２）に計測車両によって計算されてＲＰ情報（ｄ１）に登録される。なおこのＲＰの３次元位置情報の計算過程については別に記述される（図５の事前登録処理にて記述されている）。また本実施の形態では登録しないが、事前に撮像されるＲＰ付近の実画像データを関連付けて登録してもよい。
RP is a positioning reference point having a landscape feature useful for positioning, and indicates a road intersection such as 201, a branching / merging portion, and a landmark point. As the RP, the main thing (useful for positioning) in the reality (map) is pre-registered (a2) as the RP information (d1). The RP is not limited to the
図２では、交差点２０１（ＲＰ）付近の道路２０２・車線２０３において、自車２００が当該ＲＰに進入しようとしている時の自車２００の現在位置（Ｋ）を示している。ある時点（Ｔ）の位置（Ｋ）の情報として、事前に地図に登録されたＲＰの３次元位置座標（｛Ｘ，Ｙ，Ｚ｝）と方位角、そして当該位置データの誤差範囲（後述の推定精度）、等の情報を有する。なお座標だけでなく方位角も含めて位置情報と略称している。丸印は、実画像よりランドマーク等に関して抽出される特徴部の例として特徴点（Ｐ）を示し、例えば、自車２００の進行方向の路面の白線２０４の角点や、進行方向の両側の建物２０５の角などを示している。破線は、自車２００の現在位置（Ｋ）（≒カメラ４の撮像位置）と、複数の各々の特徴点（Ｐ）との間の距離（相対的な位置関係）を示している。なお特徴点（Ｐ）の位置は、図２では地図上の座標（｛Ｘ，Ｙ，Ｚ｝）で示しているが、対応する実画像内の画素の座標（｛ｘ，ｙ｝）の情報などを有する。
FIG. 2 shows the current position (K) of the
［実画像、特徴抽出処理］
図３は、ある時点（Ｔ）及び位置（Ｋ）におけるカメラ４で撮像した実画像（Ｇ）の例を模式的に示している。交差点（ＲＰ）の手前から前方を撮像した場合である。丸印は特徴点（Ｐ）の例である。わかりやすくするため他車の存在などは省略している。３０１は道路領域（走行車線領域）、３０２は白線（白線領域）を示す。各特徴点（Ｐ）は、実画像内の画素の位置座標情報（｛ｘ，ｙ｝）などを有する。
[Real image, feature extraction processing]
FIG. 3 schematically shows an example of an actual image (G) captured by the camera 4 at a certain time (T) and position (K). It is a case where the front is imaged from before the intersection (RP). Circles are examples of feature points (P). The presence of other vehicles is omitted for clarity.
地図ＤＢ５に第２の特徴情報（ｄ２）を事前登録するための実画像（特徴部を抽出する対象）は、例えば図３のように、ＲＰの手前などから走行方向・ＲＰを臨んで撮像した画像とする。図２の交差点２０１の場合であれば、当該ＲＰに進入する４方向からの各画像を用いる。
A real image (target for which a feature part is to be extracted) for pre-registering the second feature information (d2) in the map DB 5 is captured from the front of the RP, for example, in front of the RP as shown in FIG. An image. In the case of the
特徴点（Ｐ）などを抽出するための特徴抽出処理では、基本的には公知の各種の技術（画像解析処理）を適用可能である。画像解析処理では、例えば、実画像を構成する画素の明度・輝度などの差分値を演算することで、路面の白線（２０４，３０２）や建物（２０５）の輪郭などに対応する線分や角点などの形状・色・明度変化などを表す特徴量を抽出することができる。なお、抽出する特徴部としては、適用する処理手法などに応じて、線分や角点などに限らず、所定の図形（円弧など）とすることも可能である。 In the feature extraction processing for extracting feature points (P) and the like, basically, various known techniques (image analysis processing) can be applied. In the image analysis processing, for example, a line segment or corner corresponding to the white line (204, 302) on the road surface, the outline of the building (205), or the like is calculated by calculating a difference value such as brightness and luminance of pixels constituting the actual image. It is possible to extract a feature amount that represents the shape, color, brightness change, etc. of a point. Note that the feature to be extracted is not limited to a line segment or a corner point, but may be a predetermined figure (such as an arc), depending on the processing technique to be applied.
［自車と特徴点との関係、特徴マッチング処理］
図４は、自車の移動による自車位置（Ｋ）と特徴点（Ｐ）との相対的な位置関係の例を示す。自車の移動に伴う複数の時点（Ｔ）・位置（Ｋ）の各実画像（Ｇ）における複数の特徴点（Ｐ）などがあるとき、ＳＦＭ手法によって、自車現在位置（Ｋ）を推定する。例えば、自車の移動の前後の２つの時点（Ｔ１，Ｔ２）を考える。対応する各位置（Ｋ１，Ｋ２）及び実画像（Ｇ１，Ｇ２）を有する。それぞれに対応して、複数の特徴点Ｐ（例えばＰ１〜Ｐ４）の位置と自車の位置（Ｋ）との相対的な距離がある。４０１（破線）はＴ１等に対応した距離、４０２（実線）はＴ２等に対応した距離である。
[Relationship between own vehicle and feature points, feature matching processing]
FIG. 4 shows an example of the relative positional relationship between the vehicle position (K) and the feature point (P) due to the movement of the vehicle. When there are a plurality of feature points (P) in each real image (G) at a plurality of time points (T) and positions (K) accompanying the movement of the vehicle, the current vehicle position (K) is estimated by the SFM method. To do. For example, consider two time points (T1, T2) before and after the movement of the vehicle. Each corresponding position (K1, K2) and real image (G1, G2) are included. Corresponding to each, there is a relative distance between the position of a plurality of feature points P (for example, P1 to P4) and the position (K) of the host vehicle. 401 (broken line) is a distance corresponding to T1 and the like, and 402 (solid line) is a distance corresponding to T2 and the like.
特徴部は、実画像（Ｇ）の撮像時の位置（Ｋ）によって変化する。言い換えると、特徴部の情報は、上記撮像時の位置（Ｋ）の情報が含まれている。よって、ＳＦＭ手法を利用した演算により、自車現在位置（Ｋ）を推定することができる。 The characteristic portion changes depending on the position (K) when the real image (G) is captured. In other words, the information on the characteristic part includes information on the position (K) at the time of imaging. Accordingly, the current vehicle position (K) can be estimated by calculation using the SFM method.
特徴マッチング処理では、例えば、実時間測位の際に抽出された複数の特徴点Ｐ（第１の特徴情報（ｃ１））と、対応して地図ＤＢ５から読み出された複数の特徴点Ｐ（第２の特徴情報（ｃ２））とにおいて、複数の特徴点Ｐの位置が比較され、一致・類似の度合いが判定される。例えばよく使う手法としては、ユークリッド距離を計算し、距離が一番小さいものを、一致する特徴点とする。 In the feature matching process, for example, a plurality of feature points P (first feature information (c1)) extracted at the time of real-time positioning and a plurality of feature points P (first items) read out from the map DB 5 correspondingly. 2 feature information (c2)), the positions of a plurality of feature points P are compared, and the degree of coincidence / similarity is determined. For example, as a frequently used technique, the Euclidean distance is calculated, and the one with the smallest distance is set as a matching feature point.
［ＳＦＭ手法を用いた位置推定］
図７は、ＳＦＭ手法を用いた位置推定（特徴抽出・特徴マッチング処理）等について概略的に示す。本内容は、実時間測位部１及び事前登録処理部における特徴抽出処理や特徴マッチング処理の内容に対応する。
[Location estimation using SFM method]
FIG. 7 schematically shows position estimation (feature extraction / feature matching processing) using the SFM method. This content corresponds to the content of feature extraction processing and feature matching processing in the real-time positioning unit 1 and the pre-registration processing unit.
特徴点（Ｐ）は、２次元画像（例えば図３）より抽出され、その２次元座標（｛ｘ，ｙ｝）に基づいて、ＳＦＭ手法によって特徴点（Ｐ）の３次元空間位置（｛Ｘ，Ｙ，Ｚ｝）（例えば図２）が推定される。事前登録（ａ２）のプロセスでは、特徴点（Ｐ）における形状・色・明度変化などの特徴を表す特徴量（例えばＳＩＦＴ特徴量）と、推定されたＰ位置、及びその推定精度（誤差の共分散行列）などの情報が、地図ＤＢ５（ｄ２）へ登録される（後述、図５）。一方、実時間測位のプロセスでは、実時間（ａ１）の処理で抽出した各特徴点（Ｐ）の特徴量（ｃ１）と、地図ＤＢ５（ｄ２）に登録されている各特徴点（Ｐ）の特徴量（ｃ２）とのマッチングが行われる。この対応付けができた場合は、この結果（各Ｐ配置）を用いて、ＳＦＭ手法によって自車現在位置（Ｋ）を推定し（例えば図４）、その推定精度（誤差の共分散行列）も同時に計算できる。 The feature point (P) is extracted from a two-dimensional image (for example, FIG. 3), and based on the two-dimensional coordinates ({x, y}), the three-dimensional spatial position ({X , Y, Z}) (for example, FIG. 2). In the pre-registration (a2) process, a feature amount (for example, SIFT feature amount) representing a feature such as a shape, color, or brightness change at the feature point (P), an estimated P position, and its estimation accuracy (both errors are shared). Information such as (dispersion matrix) is registered in the map DB 5 (d2) (described later, FIG. 5). On the other hand, in the real-time positioning process, the feature amount (c1) of each feature point (P) extracted in the processing of the real time (a1) and each feature point (P) registered in the map DB 5 (d2). Matching with the feature amount (c2) is performed. When this association is possible, the present vehicle position (K) is estimated by the SFM method using this result (each P arrangement) (for example, FIG. 4), and the estimation accuracy (covariance matrix of error) is also obtained. It can be calculated at the same time.
［詳細］
以上に基づき、以下、本実施の形態における詳細な処理例などについて説明する。本システム（実時間測位部１）では、ＳＦＭ手法を活かして、車載カメラ４から撮像した複数枚の実画像（Ｇ）の特徴部（ｃ１，ｃ２）のマッチングにより、高精度な３次元相対位置（Ｋ）を推定の計算により決定する。
[Details]
Based on the above, a detailed processing example in the present embodiment will be described below. In this system (real-time positioning unit 1), by utilizing the SFM technique, matching of the characteristic portions (c1, c2) of a plurality of real images (G) taken from the in-vehicle camera 4 enables high-precision three-dimensional relative position. (K) is determined by calculation of estimation.
本手法の一環である特徴量（第２の特徴情報（ｃ２））の事前登録（ａ２）の処理として、交差点（２０１）等のＲＰの付近で事前に撮像された複数枚の実画像（Ｇ）から、特徴点Ｐなどの特徴部（特徴量及び３次元位置座標など）を抽出し、自車位置（Ｋ）を推定する。ＲＰ付近の特徴量を最適化処理し、自車位置（Ｋ）の測定誤差（推定精度）を所定範囲内に抑えられるまでは逐次に最適な特徴量（特徴部）を選択する。自車位置（Ｋ）の測定誤差（推定精度）を最小とするように最適な特徴量（特徴部）を選択すると同時に、特徴量の３次元空間位置と推定精度を求めることができる。最終的に選択された特徴部の情報を、第２の特徴情報（ｃ２）として地図ＤＢ５に登録する。 As a process of pre-registration (a2) of the feature quantity (second feature information (c2)) as a part of this method, a plurality of real images (G that have been captured in the vicinity of the RP such as the intersection (201) ) To extract a characteristic portion (such as a characteristic amount and three-dimensional position coordinates) such as a characteristic point P, and estimate the vehicle position (K). The feature amount near the RP is optimized, and the optimum feature amount (feature portion) is sequentially selected until the measurement error (estimation accuracy) of the vehicle position (K) is suppressed within a predetermined range. The optimum feature quantity (feature portion) is selected so as to minimize the measurement error (estimation accuracy) of the vehicle position (K), and at the same time, the three-dimensional spatial position and the estimation accuracy of the feature quantity can be obtained. Information on the finally selected feature is registered in the map DB 5 as second feature information (c2).
一方、実時間測位部１では、カメラ４の実画像（ｂ１）から抽出した特徴部の特徴量などの情報（第１の特徴情報（ｃ１））と、対応する地図ＤＢ５から読み出した情報（第２の特徴情報（ｃ２））とで特徴マッチング処理を行い、ＳＦＭ手法によって自車現在位置（Ｋ）とＲＰ付近の特徴部（複数の特徴点Ｐ）との相対的な位置と方位を計測することにより、自車現在位置（Ｋ）の高精度な測位が実現される。実時間測位部１では、自車の移動に伴い、少なくとも交差点などのＲＰの近くの位置から上記特徴マッチング処理などを実行し、各時点（Ｔ）の実画像（Ｇ）の処理を経ながら、逐次に自車現在位置（Ｋ）の測位誤差を最小化し、所定の許容精度（範囲）内に達した時点で当該測位結果を出力する。 On the other hand, in the real-time positioning unit 1, information (first feature information (c1)) such as feature amounts extracted from the real image (b1) of the camera 4 and information read from the corresponding map DB 5 (first) The feature matching process is performed with the feature information (c2)), and the relative position and direction between the current position (K) of the vehicle and the features (plural feature points P) near the RP are measured by the SFM method. Thus, highly accurate positioning of the current vehicle position (K) is realized. The real-time positioning unit 1 performs the above feature matching process and the like from at least a position near the RP such as an intersection with the movement of the own vehicle, and processes the real image (G) at each time point (T). Sequentially, the positioning error of the current vehicle position (K) is minimized, and the positioning result is output when it reaches a predetermined allowable accuracy (range).
本システムでは、ＳＦＭ手法を用いた処理の際、公知の拡張カルマンフィルタの原理に基づいて、特徴量の最適化（連続で撮影された複数の実画像の中から最適な特徴部を選択するプロセス）と同時に３次元の測位（３次元位置座標の計算）を行う。本処理に関して、事前登録処理（図５）と実時間測位処理（図６）とで分けられる。違いとしては例えば図５では各特徴点位置を推定するが図６では登録済みゆえ推定しない。 In this system, in the process using the SFM method, the feature amount is optimized based on the principle of the known extended Kalman filter (a process of selecting an optimum feature from a plurality of real images taken continuously). At the same time, three-dimensional positioning (calculation of three-dimensional position coordinates) is performed. This processing can be divided into pre-registration processing (FIG. 5) and real-time positioning processing (FIG. 6). As a difference, for example, each feature point position is estimated in FIG. 5, but is not estimated because it is registered in FIG.
［事前登録処理（詳細）］
事前登録（ａ２）の際の処理では、所定のＲＰ付近の実画像内の特徴部の情報（ｄ２）を含む地図ＤＢ５を作成するために、計測車両（事前登録処理部）では、例えば所定のＲＰの手前の位置から計測を開始する。計測車両の例えば前方に搭載された１台以上のカメラからＲＰ・走行方向を撮像し、それら時間軸上の複数の実画像に対する特徴抽出処理（画像解析処理）を行う。
[Pre-registration process (details)]
In the process at the time of pre-registration (a2), in order to create the map DB 5 including the information (d2) of the characteristic part in the real image near the predetermined RP, the measurement vehicle (pre-registration processing unit) Measurement starts from the position before RP. For example, the RP / traveling direction is imaged from one or more cameras mounted in front of the measurement vehicle, and feature extraction processing (image analysis processing) is performed on a plurality of real images on the time axis.
図５を用いて、事前登録処理部での詳しい構成・処理例として、ＳＦＭ手法を用いた処理などについて説明する。５００は、入力である実画像などのデータ情報である。
As a detailed configuration / processing example in the pre-registration processing unit, processing using the SFM method and the like will be described with reference to FIG.
（１）まず、道路領域検出処理５０１では、入力画像（５００）の中から、道路領域（及び非道路領域）などを検出する。道路領域（走行車線領域など）は、例えば図２の２０３、図３の３０１のような領域であり、図２の２０４、図３の３０２のような白線などで区画される領域などである。
(1) First, in the road
道路領域検出処理５０１では、実画像（道路や景観を含む）の中から、角点及び直線分などの特徴部を抽出することにより、上記道路領域を検出する。上記抽出する特徴部は、路面の白線などや景観内の建物などにおける特徴点（Ｐ）などである（図３）。
In the road
また、自車の走行道路に係わり複数の車線がある場合（例えば図３の３０１）は、白線の検出などにより、各車線領域を検出してもよい。その場合、実画像データにおける画素の差分値の演算で、Ｈｏｕｇｈ変換などを用いて、白線領域（３０２）などのエッジ（線分や角点）を検出する。 Further, when there are a plurality of lanes related to the traveling road of the vehicle (for example, 301 in FIG. 3), each lane area may be detected by detecting a white line or the like. In that case, an edge (line segment or corner point) such as a white line region (302) is detected by using a Hough transform or the like in the calculation of the difference value of the pixels in the actual image data.
また、上記道路領域に対して、路側（路側帯領域）（例えば図２の２０６）、及び路側における特徴点（Ｐ）なども検出される。なおここでいう路側は道路外領域にあたる。 In addition, the road side (road side band region) (for example, 206 in FIG. 2), the feature point (P) on the road side, and the like are also detected for the road region. Here, the roadside corresponds to a region outside the road.
また、上記で検出される特徴部は、図２，図３のような測位に有効な特徴点（Ｐ）ばかりではなく、状況に応じて、測位に不要（悪影響）な特徴点なども含まれる。例えば、道路領域や路側における、走行車両（他車）、駐停車両、歩行人物、樹木、看板など（「不要物」とする）に対応した特徴点などである。 The feature parts detected above include not only feature points (P) effective for positioning as shown in FIGS. 2 and 3, but also feature points that are unnecessary (adverse effects) for positioning depending on the situation. . For example, feature points corresponding to traveling vehicles (other vehicles), parked vehicles, walking people, trees, signboards, and the like (referred to as “unnecessary items”) in the road area or on the road side.
（２）不要物除去処理５０２では、上記（１）の結果に対して、以下の処理（５０３〜）で不要（悪影響）なものとして、上記不要物の特徴点などを除去する所定の処理を行う。例えば、上記路側などの領域内のエッジ分布密度の計算をもとに、不要物の特徴点を取り除く。
(2) In the unnecessary
上記（１），（２）を経て、各時点（Ｔ）・位置（Ｋ）の実画像（Ｇ）に関係付けられた複数の各々の特徴点（Ｐ）などの特徴部（図２〜図４）に関する特徴量及び位置座標情報などを特徴情報として得る。 Through the above (1) and (2), a characteristic portion such as a plurality of characteristic points (P) related to the actual image (G) at each time point (T) and position (K) (FIGS. The feature amount and position coordinate information regarding 4) are obtained as feature information.
（３）計測処理５０３（ＳＦＭ処理）では、上記（２）の結果を対象（入力）として、拡張カルマンフィルタ（予測式、及び初期値）を用いて、それぞれの特徴点（Ｐ）の３次元空間位置（｛Ｘ，Ｙ，Ｚ｝）、及び自車現在位置（Ｋ）を推定しながら、それぞれの推定精度（誤差の共分散行列）を計算する。図５のように、（ａ）自車現在位置（Ｋ）、及び（ｂ）各々の特徴点（Ｐ）の位置、及び（ｃ）それら各々の推定精度（誤差の共分散行列）、等を推定する計算処理を行う。ａの自車位置については動き（変動量）を用いる。詳しい計算式については後述する。 (3) In the measurement process 503 (SFM process), using the extended Kalman filter (prediction formula and initial value) with the result of (2) as an object (input), the three-dimensional space of each feature point (P) While estimating the position ({X, Y, Z}) and the current vehicle position (K), the respective estimation accuracy (covariance matrix of error) is calculated. As shown in FIG. 5, (a) the current position (K) of the vehicle, (b) the position of each feature point (P), and (c) the estimation accuracy (covariance matrix of errors) of each of them, etc. Perform estimation processing. The movement (variation amount) is used for the vehicle position of a. A detailed calculation formula will be described later.
（４）初期値設定５０４： 上記（３）の初期値については、本システムで予め設定された値が入力される。初期値は、初期特徴点位置、初期自車位置（動き）、等である。初期値の設定の仕方としては、例えば、経験値によるか、あるいは、地図ＤＢ５の地図情報（ｄ０）から大まかな位置を設定する、等である。また、例えば２台のカメラ４を使用する場合では、ステレオ計算による奥行き情報から求めて設定することができる。 (4) Initial value setting 504: As the initial value of (3) above, a value preset in this system is input. The initial values are the initial feature point position, the initial vehicle position (motion), and the like. As a method of setting the initial value, for example, an empirical value is used, or a rough position is set from the map information (d0) of the map DB 5. For example, when two cameras 4 are used, it can be determined and set from depth information by stereo calculation.
（５）逐次変動入力５０５： 上記（３）の予測式に対しては、次の時点（Ｔ）の実画像（Ｇ）のフレームを取り込むまでに、センサ類３による自車速度・方向変化などの逐次変動情報が入力される。 (5) Sequential variation input 505: For the prediction formula of (3) above, the vehicle speed / direction change by the sensors 3, etc. until the frame of the real image (G) at the next time (T) is captured. Are sequentially input.
（６）判定処理５０６では、上記（３）の推定の結果（ａ〜ｃ）をもとに、当該時点（Ｔ）・位置（Ｋ）・実画像（Ｇ）における上記ｃの推定精度（誤差の共分散行列）の値が、例えば所定の範囲内（閾値以下）になったかどうかを判定する。ｃ値が範囲外である場合は、最初に戻り、続けて次の時点（Ｔ）の実画像（Ｇ）のフレームを入力して、上記同様の計算処理等（５０１〜５０３）を繰り返す。ｃ値が範囲内になった場合は、その時点で、当該推定値（ａ〜ｃ）を最適なものとして選択して計測処理を終了する。
(6) In the
上記（６）の処理では、自車位置（Ｋ）の推定精度（ｃ）が所定範囲内に抑えられるまでは、次の実画像（Ｇ）のフレームを入力して新しい特徴量を導入しながら、前後のフレーム間で追跡できなかった特徴量を削除する。自車位置（Ｋ）の推定精度（ｃ）から新しい特徴量を選択して取り入れることができる。例えば、自車進行方向（例えば図２のＹ方向）の位置（Ｋ）の精度（ｃ）が低い場合では、遠い所にある新しい特徴点を選択することとができ、自車進行方向に対する横方向（例えば図２のＸ方向）の位置（Ｋ）の精度（ｃ）が低い場合では、近い所にある新しい特徴点を選択することができる。 In the process of (6) above, while the estimation accuracy (c) of the vehicle position (K) is suppressed within a predetermined range, a frame of the next real image (G) is input and a new feature amount is introduced. The feature amount that could not be tracked between the previous and next frames is deleted. A new feature amount can be selected and introduced from the estimation accuracy (c) of the vehicle position (K). For example, when the accuracy (c) of the position (K) in the traveling direction of the host vehicle (for example, the Y direction in FIG. 2) is low, it is possible to select a new feature point at a distant place, When the accuracy (c) of the position (K) in the direction (for example, the X direction in FIG. 2) is low, a new feature point in the vicinity can be selected.
（７）出力処理５０７では、上記（６）の選択の結果（ａ〜ｃ）の情報（最適な特徴部のリストを含む）を、当該ＲＰ位置に関する、自車位置（Ｋ）の推定値（対応する地図上の位置）及び特徴情報（ｃ２）として出力する。そして、事前登録（ａ２）の際は、上記出力情報を地図ＤＢ５に登録する。
(7) In the
［実時間測位処理（詳細）］
実時間測位の際の処理では、一般車両（１００）のカメラ４からＲＰ・走行方向を撮像し、第１の位置情報（Ｌ１）に基づいて地図ＤＢ５（ＲＰ情報（ｄ１））からカメラ４の視野範囲内のＲＰを検索し、当該ＲＰの手前の位置から実時間測位処理を開始する。
[Real-time positioning process (details)]
In the processing at the time of real-time positioning, the RP / traveling direction is imaged from the camera 4 of the general vehicle (100), and the map DB5 (RP information (d1)) is used for the camera 4 based on the first position information (L1). The RP within the visual field range is searched, and the real-time positioning process is started from the position before the RP.
図６を用いて、実時間測位部１での詳しい構成・処理例として、ＳＦＭ手法を用いた処理などについて説明する。なお図６の処理は、図１では主に第１の特徴抽出部１１と特徴マッチング部１３の処理に対応する。６００は、入力である実画像のデータ（ｂ１）などである。以下、図５と重複する処理内容については簡略に説明する。
As a detailed configuration / processing example in the real-time positioning unit 1, processing using the SFM method and the like will be described with reference to FIG. 6 mainly corresponds to the processing of the first feature extraction unit 11 and the feature matching unit 13 in FIG.
（１）まず、道路領域検出処理６０１では、入力画像（６００）の中から、角点及び直線分などの特徴部を抽出することにより、道路領域（及び非道路領域）などを検出する（６０１と同様）。上記検出する特徴部は、前述同様に、路面の白線や景観内の建物等における特徴点（Ｐ）などである。また前述同様に、走行道路に複数の車線がある場合は、白線の検出などにより、各車線領域を検出してもよい。また前述同様に、上記道路領域に対して、路側、及び路側における特徴点（Ｐ）なども検出される。上記で検出される特徴部は、測位に不要な特徴点（Ｐ）なども含まれる。
(1) First, in the road
（２）不要物除去処理６０２では、上記（１）の結果に対して、以下の処理（６０３〜）で不要なものとして、上記不要物の特徴点（Ｐ）などを除去する所定の処理（５０２と同様）を行う。
(2) In the unnecessary
上記（１），（２）を経て、各時点（Ｔ）・位置（Ｋ）における実画像（Ｇ）に関係付けられた複数の各々の特徴点（Ｐ）などの特徴部（図２〜図４）に関する特徴量及び位置座標情報などを特徴情報として得る。 Through the above (1) and (2), a characteristic portion such as a plurality of characteristic points (P) related to the real image (G) at each time point (T) and position (K) (FIGS. The feature amount and position coordinate information regarding 4) are obtained as feature information.
（３）計測処理６０３（ＳＦＭ処理）では、上記（２）の結果を対象（入力）として、拡張カルマンフィルタ（予測式、及び初期値）を用いて、それぞれの特徴点（Ｐ）の３次元空間位置、及び自車現在位置（Ｋ）を推定しながら、それぞれの推定精度（誤差の共分散行列）を計算する。図６のように、（ａ）自車現在位置（Ｋ）、及び（ｃ）現在位置の推定精度（誤差の共分散行列）、等を推定する計算処理を行う。詳しい計算式については後述する。 (3) In the measurement process 603 (SFM process), using the extended Kalman filter (prediction formula and initial value) with the result of (2) as an object (input), the three-dimensional space of each feature point (P) Each estimation accuracy (covariance matrix of error) is calculated while estimating the position and the current vehicle position (K). As shown in FIG. 6, calculation processing is performed to estimate (a) the current position (K) of the host vehicle, (c) the accuracy of estimation of the current position (covariance matrix of errors), and the like. A detailed calculation formula will be described later.
（４）初期値設定６０４： 上記（３）の初期値については、第１の位置情報（Ｌ１）と地図ＤＢ５の地図情報（ｄ０）に関連付けて登録された第２の特徴情報（ｃ２）から各特徴点（Ｐ）の目標位置を推定し、上記（３）の初期値を設定する。 (4) Initial value setting 604: The initial value of (3) above is obtained from the second feature information (c2) registered in association with the first position information (L1) and the map information (d0) of the map DB5. The target position of each feature point (P) is estimated, and the initial value of (3) above is set.
（５）逐次変動入力６０５： 上記（３）の予測式に対しては、次の時点（Ｔ）の実画像（Ｇ）のフレームを取り込むまでに、センサ類３による自車速度・方向変化などの逐次変動情報が入力される。 (5) Sequential variation input 605: For the prediction formula of (3) above, the vehicle speed / direction change by the sensors 3, etc. until the frame of the real image (G) at the next time point (T) is captured. Are sequentially input.
（６）判定処理６０６では、上記（３）の結果（ａ，ｃ）をもとに、当該時点（Ｔ）・位置（Ｋ）・実画像（Ｇ）における上記ｃの推定精度（誤差の共分散行列）の値が、所定の範囲内（閾値以下）になったかどうかを判定する。上記ｃ値が範囲外である場合は、最初に戻り、続けて次の実画像（Ｇ）のフレームを入力して、上記同様の計算処理等（６０１〜６０３）を繰り返す。上記ｃ値が範囲内になった場合は、その時点で、当該推定値（ａ，ｃ）を選択して終了する。
(6) In the
（７）出力処理６０７では、上記（６）の選択の結果（ａ，ｃ）の情報を、自車現在位置（Ｋ）の推定値（Ｌ２に対応）として出力する。
(7) In the
［計算式］
前記（３）の計測処理（ＳＦＭ処理）における計算式などは以下である。
[a formula]
Calculation formulas and the like in the measurement process (SFM process) of (3) are as follows.
拡張カルマンフィルタの予測式は、下記の式（１）である。 The prediction formula of the extended Kalman filter is the following formula (1).
ここでは、上記状態ベクトルＸ，計測誤差の共分散行列（予測誤差）Ｑは下記の式（２）で定義される。 Here, the state vector X and the measurement error covariance matrix (prediction error) Q are defined by the following equation (2).
Ｘは、計測対象である車両（カメラ）の相対位置・姿勢を表す車両状態ベクトルＶと景観画像の特徴点の２次元座標ベクトルＰとの接合ベクトルであり、ＶとＰはそれぞれ６個（回転分量Ｒと並進分量Ｔ）と２Ｎ個（Ｎ：特徴点数）の要素で構成される。 X is a joint vector of the vehicle state vector V representing the relative position / orientation of the vehicle (camera) to be measured and the two-dimensional coordinate vector P of the feature point of the landscape image. It comprises a quantity R and a translation quantity T) and 2N elements (N: number of feature points).
カルマンフィルタの逐次ループでは、下記の式（３）である。 In the sequential loop of the Kalman filter, the following equation (3) is satisfied.
ここでは、上記Ｇｖは車両状態（位置と向き）のジャコビアン行列、Ｇｐは特徴点のジャコビアン行列であり、上記Ｇｖ，Ｇｐは下記の式（４），（５）である。 Here, Gv is a Jacobian matrix of the vehicle state (position and orientation), Gp is a Jacobian matrix of feature points, and Gv and Gp are the following equations (4) and (5).
カルマンフィルタの更新処理では、下記の式（６）である。 In the Kalman filter update process, the following expression (6) is satisfied.
ここでは、上記のｕ，ｖは、下記の式（７）である。 Here, the above u and v are the following equations (7).
prediction point：予測した特徴点の画像投影位置、matched point：マッチングした特徴点の２次元画像検出位置、Ｍｃ：カメラ内部行列、Ｒα，β，γ：カメラ回転行列、Ｐ：特徴点の３次元絶対位置、Ｖ：車両の現在位置を示す。 prediction point: image projection position of predicted feature point, matched point: two-dimensional image detection position of matched feature point, Mc: camera internal matrix, R α, β, γ : camera rotation matrix, P: three-dimensional feature point Absolute position, V: Indicates the current position of the vehicle.
［効果等］
以上説明したように、本実施の形態によれば、自動車及び車載情報システム１００において、車載カメラ４を利用した仕組みにより自車現在位置（Ｋ）の測位を安価に実現でき、かつ、ＧＰＳ等の手段よりも高精度な推定（計算）を実現できる。従来の一般的な測位精度（１０〜１５メートル）に比べて、安価なカメラ４（リアビューカメラ等）及び既存の安価なナビゲーション用のハードウェア・ソフトウェア等でも、実時間（出力更新：１０〜６０Ｈｚ）でのサブメートル測位精度（平均測位誤差：１メートル以下）を達成でき、先進的なナビ連動システムを実現して一般車両への普及が可能となる。
[Effects]
As described above, according to the present embodiment, in the vehicle and in-vehicle information system 100, the current position (K) can be measured at low cost by the mechanism using the in-vehicle camera 4, and the GPS or the like can be realized. It is possible to realize estimation (calculation) with higher accuracy than the means. Compared to the conventional general positioning accuracy (10-15 meters), even the inexpensive camera 4 (rear view camera, etc.) and the existing inexpensive hardware / software for navigation are real time (output update: 10-60 Hz). ) Sub-meter positioning accuracy (average positioning error: 1 meter or less) can be achieved, and an advanced navigation interlocking system can be realized and can be spread to general vehicles.
特に、実時間測位部１の高精度な測位の結果（Ｌ３）を利用して、例えばカーナビ６で、運転で必要とされている要素として、どの交差点で曲がるべきか、どの車線に進むべきか、等を効果的にナビゲートすることができる。また、車両へのシフト制御やエンジン噴射制御、さらにＡＣＣにおける車間距離制御などの車両協調システムなどに応用できる。 In particular, using the high-precision positioning result (L3) of the real-time positioning unit 1, for example, in the car navigation 6, as an element required for driving, at which intersection, which lane should be turned , Etc. can be navigated effectively. Further, it can be applied to a vehicle coordination system such as shift control to a vehicle, engine injection control, and inter-vehicle distance control in ACC.
本発明では、従来手法２（路面マーク比較）等と同様に、２次元の実画像（Ｇ）を利用するが、個々のマーク等（特徴点（Ｐ）等）の高精度な絶対位置の情報を地図ＤＢ５等へ事前登録する必要は無い（ＳＦＭ手法による推定の位置情報を登録する）。また本発明では、路側に存在する物（建物、看板、標識など）も、ＲＰ景観特徴を多く取り入れるため、前述の不要物除去処理により、先行車両などの遮蔽物による影響（測位精度への悪影響）を最小に抑制できる。 In the present invention, a two-dimensional real image (G) is used, as in the conventional method 2 (road surface mark comparison), etc., but highly accurate absolute position information of individual marks (feature points (P), etc.). Is not required to be registered in advance in the map DB 5 or the like (registration position information estimated by the SFM method is registered). Further, in the present invention, since objects (buildings, signboards, signs, etc.) existing on the roadside also incorporate many RP landscape features, the above-described unnecessary object removal processing causes the influence of shielding objects such as preceding vehicles (adverse effects on positioning accuracy). ) Can be minimized.
本発明では、従来手法３（レーザースキャン）のように高価な手段・装置を必要とせずに高精度を実現できる。また実画像内の特徴は２次元情報であり、レーザーによる１次元情報よりも精度が高い、及び曖昧さが低い。また、カメラ４の視野が大きいため、先行車両や他の障害物による影響を受け難い。 In the present invention, high accuracy can be realized without requiring expensive means and devices as in the conventional method 3 (laser scanning). The feature in the actual image is two-dimensional information, which has higher accuracy and lower ambiguity than the one-dimensional information by laser. Further, since the field of view of the camera 4 is large, it is difficult to be influenced by the preceding vehicle or other obstacles.
［変形例］
上記実施の形態では、データ量の削減、そして後の特徴マッチング処理のプロセスを高速化するために、地図ＤＢ５内には、特徴情報（各特徴部の特徴量など）のみを登録するが、対応する実画像データについては登録していない。変形例として、地図ＤＢ５には、記憶容量が十分ある場合などには、事前登録（ａ２）の際、あるいは実時間測位の際、カメラ４での撮影による実画像データを、ＲＰ情報（ｄ１）などと関連付けて登録してもよい。この場合、画像データの記憶の分、地図ＤＢ５の容量が必要になるが、記憶した画像データを後の処理で有効活用できる。例えば、事前登録（ａ２）の際に第２の特徴情報（ｄ２）を抽出して地図ＤＢ５へ登録済みではない場合は、実時間（ａ１）の処理の際、地図ＤＢ５内に事前に記憶された実画像データから随時に第２の特徴情報（ｃ２）を抽出する処理を行う形態としてもよい。
[Modification]
In the above embodiment, in order to reduce the amount of data and to speed up the subsequent feature matching process, only feature information (such as feature amounts of each feature part) is registered in the map DB 5. The actual image data to be registered is not registered. As a modification, when the map DB 5 has a sufficient storage capacity or the like, the real image data obtained by the camera 4 at the time of pre-registration (a2) or real-time positioning is obtained as RP information (d1). It may be registered in association with the above. In this case, the capacity of the map DB 5 is required for the storage of the image data, but the stored image data can be used effectively in later processing. For example, if the second feature information (d2) is extracted and not registered in the map DB 5 at the time of pre-registration (a2), it is stored in advance in the map DB 5 at the time of real time (a1) processing. Alternatively, the second feature information (c2) may be extracted from the actual image data as needed.
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。 As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.
本発明は、自動車及び車載情報システム、カーナビ、ナビ連動システム、車両先進安全システム、等に利用可能である。 The present invention can be used for automobiles and in-vehicle information systems, car navigation systems, navigation-linked systems, vehicle advanced safety systems, and the like.
１…実時間測位部、２…制御部、３…センサ類、４…カメラ、５…地図ＤＢ、６…カーナビ、１０…位置検出部、１１…第１の特徴抽出部、１２…第２の特徴走査部、１３…特徴マッチング部、１４…位置補正部、１００…自動車及び車載情報システム。 DESCRIPTION OF SYMBOLS 1 ... Real time positioning part, 2 ... Control part, 3 ... Sensors, 4 ... Camera, 5 ... Map DB, 6 ... Car navigation, 10 ... Position detection part, 11 ... 1st feature extraction part, 12 ... 2nd Feature scanning unit, 13 ... feature matching unit, 14 ... position correction unit, 100 ... automobile and in-vehicle information system.
Claims (5)
実時間で移動体の位置を測定ないし推定する実時間測位部を有し、
前記実時間測位部は、
前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向を撮影して第１の画像を得る１つ以上の撮像部から前記第１の画像を入力し、
前記第１の画像として、地図上の参照地点の付近で撮影された複数の実画像の中から、直線や角点を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、
地図上の所定の参照地点の付近の第２の画像の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースから、前記移動体の走行時に、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、
前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、を有すること、を特徴とする移動***置測定装置。 A moving body position measuring device for measuring or estimating a position of a moving body,
A real-time positioning unit that measures or estimates the position of the moving object in real time;
The real-time positioning unit is
The first image is input from one or more imaging units that are mounted on the mobile body and capture at least one first direction around the mobile body in real time when the mobile body travels to obtain a first image. And
As the first image, a first feature extraction is performed by extracting a feature portion including a straight line or a corner point from a plurality of real images taken in the vicinity of a reference point on a map and using the feature portion as first feature information. And
From the second image in the vicinity of a predetermined reference point on the map, a feature portion including a straight line or a corner point is extracted as second feature information, and data including the second feature information is registered in advance. A second feature extraction unit that reads out and obtains the corresponding second feature information in the vicinity of the reference point from the map database, when the mobile object is traveling;
By inputting the first feature information and the second feature information and comparing and matching the respective feature portions, the positions of the plurality of feature portions in the vicinity of the reference point are estimated, and the plurality of feature portions are estimated. Based on the position of the feature portion, the movement is calculated by calculating a relative positional relationship between the position of the moving body at each time point associated with the movement and the position of each of the plurality of feature portions using the SFM method. And a feature matching unit that estimates and outputs the current position of the body as second position information.
移動体の走行時に実時間で移動体の現在の概略の位置と方位を第１の位置情報として検出する位置検出部と、
前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向を撮影して第１の画像を得る１つ以上の撮像部と、
前記第１の画像として、地図上の参照地点の付近で撮影された複数の実画像の中から、直線や角点を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、
地図上の所定の参照地点の付近の第２の画像の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースと、
前記移動体の走行時に、前記第１の位置情報をもとに、前記地図データベースから、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、
前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、
前記第１の位置情報に対して前記第２の位置情報を用いて補正することにより、前記移動体の現在の位置を第３の位置情報として出力する位置補正部と、を有すること、を特徴とする移動***置測定装置。 A moving body position measuring device for measuring or estimating a position of a moving body,
A position detector that detects the current approximate position and orientation of the moving object as first position information in real time when the moving object is traveling;
One or more imaging units that are mounted on the mobile body and capture at least one first direction around the mobile body in real time when the mobile body travels to obtain a first image;
As the first image, a first feature extraction is performed by extracting a feature portion including a straight line or a corner point from a plurality of real images taken in the vicinity of a reference point on a map and using the feature portion as first feature information. And
From the second image in the vicinity of a predetermined reference point on the map, a feature portion including a straight line or a corner point is extracted as second feature information, and data including the second feature information is registered in advance. Map database,
A second feature extraction unit that reads out and acquires corresponding second feature information in the vicinity of the reference point from the map database based on the first position information when the mobile body is traveling;
By inputting the first feature information and the second feature information and comparing and matching the respective feature portions, the positions of the plurality of feature portions in the vicinity of the reference point are estimated, and the plurality of feature portions are estimated. Based on the position of the feature portion, the movement is calculated by calculating a relative positional relationship between the position of the moving body at each time point associated with the movement and the position of each of the plurality of feature portions using the SFM method. A feature matching unit that estimates the current position of the body and outputs the second position information;
A position correction unit that outputs the current position of the movable body as third position information by correcting the first position information using the second position information. A moving body position measuring device.
前記第１の特徴抽出部、第２の特徴抽出部、及び前記特徴マッチング部において、
画像解析処理により、実画像のフレームの中から道路領域及び非道路領域を検出する処理と、
路側帯領域を含む領域における不要物の影響を除去する処理と、
ＳＦＭ手法による拡張カルマンフィルタを用いた計測処理により前記移動体の位置及び前記特徴部の位置を推定する処理と、
前記計測処理の結果をもとに、最適な位置を選択するための所定の閾値を用いた判定処理と、
前記判定の結果を出力する処理と、を含むこと、を特徴とする移動***置測定装置。 In the moving body position measuring apparatus of Claim 1 or 2,
In the first feature extraction unit, the second feature extraction unit, and the feature matching unit,
A process for detecting a road area and a non-road area from a frame of an actual image by an image analysis process;
A process of removing the influence of unnecessary objects in the area including the roadside belt area;
A process of estimating the position of the moving body and the position of the feature by a measurement process using an extended Kalman filter by an SFM method;
Based on the result of the measurement process, a determination process using a predetermined threshold for selecting an optimum position;
And a process of outputting the result of the determination.
前記ＳＦＭ手法による計測処理では、前記移動体の位置、前記複数の特徴部の位置、及びその推定精度を計算し、
前記判定処理では、上記推定精度が所定の範囲内に達するまでは、次の時点の実画像を入力して、前記計測処理を繰り返し、所定の範囲内に達した時点で、当該推定結果を最適なものとして選択して終了すること、を特徴とする移動***置測定装置。 In the moving body position measuring apparatus of Claim 3,
In the measurement process by the SFM method, the position of the moving body, the positions of the plurality of feature parts, and the estimation accuracy thereof are calculated,
In the determination process, until the estimation accuracy reaches within a predetermined range, the actual image at the next time point is input and the measurement process is repeated. A moving body position measuring device, characterized in that it is selected and finished.
前記第１の位置検出部は、ＧＰＳユニットを用いて、前記移動体の現在の概略の位置と方位を第１の位置情報として検出すること、を特徴とする移動***置測定装置。 In the moving body position measuring apparatus of Claim 2,
The said 1st position detection part detects the present approximate position and azimuth | direction of the said moving body as 1st position information using a GPS unit, The moving body position measuring apparatus characterized by the above-mentioned.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010281381A JP2012127896A (en) | 2010-12-17 | 2010-12-17 | Mobile object position measurement device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010281381A JP2012127896A (en) | 2010-12-17 | 2010-12-17 | Mobile object position measurement device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012127896A true JP2012127896A (en) | 2012-07-05 |
Family
ID=46645088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010281381A Pending JP2012127896A (en) | 2010-12-17 | 2010-12-17 | Mobile object position measurement device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012127896A (en) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014027500A1 (en) * | 2012-08-15 | 2014-02-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Feature extraction method, program and system |
| JP2014034251A (en) * | 2012-08-08 | 2014-02-24 | Nissan Motor Co Ltd | Vehicle traveling control device and method thereof |
| KR101442703B1 (en) * | 2013-04-15 | 2014-09-19 | 현대엠엔소프트 주식회사 | GPS terminal and method for modifying location position |
| JP2015155903A (en) * | 2014-02-20 | 2015-08-27 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド | Automated driving system, method for automated driving, and computing device |
| WO2015134832A1 (en) * | 2014-03-06 | 2015-09-11 | Nec Laboratories America, Inc. | High accuracy monocular moving object localization |
| JP2015230190A (en) * | 2014-06-03 | 2015-12-21 | 日産自動車株式会社 | Position detection apparatus and position detection method |
| JP2016524128A (en) * | 2013-04-22 | 2016-08-12 | アルカテル−ルーセント | Locating system and locating method |
| JP2016170060A (en) * | 2015-03-13 | 2016-09-23 | 三菱電機株式会社 | Facility information display system, mobile terminal, server and facility information display method |
| JP2016188806A (en) * | 2015-03-30 | 2016-11-04 | シャープ株式会社 | Mobile entity and system |
| KR20160142308A (en) * | 2014-04-09 | 2016-12-12 | 콘티넨탈 테베스 아게 운트 코. 오하게 | Position correction of a vehicle by referencing to objects in the surroundings |
| JP2017135832A (en) * | 2016-01-27 | 2017-08-03 | 株式会社ダイヘン | Movable body |
| WO2017168900A1 (en) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | Information processing device |
| JP2018504650A (en) * | 2014-12-26 | 2018-02-15 | ヘーレ グローバル ベスローテン フェンノートシャップ | Geometric fingerprinting for device location |
| JP2018024294A (en) * | 2016-08-09 | 2018-02-15 | 日産自動車株式会社 | Own position estimation method and own position estimation apparatus |
| KR101878685B1 (en) * | 2016-02-12 | 2018-07-16 | 서울과학기술대학교 산학협력단 | System and method for positioning vehicle using local dynamic map |
| KR20180103513A (en) * | 2017-03-10 | 2018-09-19 | 현대자동차주식회사 | Map Matching Based Positioning System Using Tracking Technique for Vehicle |
| WO2019073795A1 (en) * | 2017-10-10 | 2019-04-18 | ソニー株式会社 | Information processing device, own-position estimating method, program, and mobile body |
| JP2020122697A (en) * | 2019-01-30 | 2020-08-13 | 三菱電機株式会社 | Three-dimensional measurement apparatus and three-dimensional measurement program |
| JP2020125975A (en) * | 2019-02-05 | 2020-08-20 | 日産自動車株式会社 | Self position error estimation method and self position error estimation device |
| US10977946B2 (en) | 2017-10-19 | 2021-04-13 | Veoneer Us, Inc. | Vehicle lane change assist improvements |
| WO2021093679A1 (en) * | 2019-11-15 | 2021-05-20 | 华为技术有限公司 | Visual positioning method and device |
| US11346670B2 (en) * | 2017-06-05 | 2022-05-31 | Hitachi Astemo, Ltd. | Position estimating device |
| US11378383B2 (en) | 2017-04-21 | 2022-07-05 | Hitachi-Ge Nuclear Energy, Ltd. | Plant facility apparatus recognition system and plant facility apparatus recognition method |
| WO2022196709A1 (en) * | 2021-03-19 | 2022-09-22 | 株式会社豊田自動織機 | Autonomous vehicle |
| WO2022202915A1 (en) * | 2021-03-24 | 2022-09-29 | 株式会社豊田自動織機 | Autonomous traveling vehicle, and own-position estimating method for autonomous traveling vehicle |
| US11579612B2 (en) | 2019-08-06 | 2023-02-14 | Kabushiki Kaisha Toshiba | Position and attitude estimation apparatus and position and attitude estimation method |
| WO2023074644A1 (en) * | 2021-10-29 | 2023-05-04 | 株式会社豊田自動織機 | Autonomous traveling vehicle, device for controlling autonomous traveling vehicle, and own-position estimating method for autonomous traveling vehicle |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008165326A (en) * | 2006-12-27 | 2008-07-17 | Aisin Aw Co Ltd | Feature recognition device, own vehicle location recognizing device, navigation device and feature recognition method |
| JP2009237845A (en) * | 2008-03-27 | 2009-10-15 | Sony Corp | Information processor, information processing method, and computer program |
-
2010
- 2010-12-17 JP JP2010281381A patent/JP2012127896A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008165326A (en) * | 2006-12-27 | 2008-07-17 | Aisin Aw Co Ltd | Feature recognition device, own vehicle location recognizing device, navigation device and feature recognition method |
| JP2009237845A (en) * | 2008-03-27 | 2009-10-15 | Sony Corp | Information processor, information processing method, and computer program |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014034251A (en) * | 2012-08-08 | 2014-02-24 | Nissan Motor Co Ltd | Vehicle traveling control device and method thereof |
| GB2519266B (en) * | 2012-08-15 | 2015-08-26 | Ibm | Feature extraction method, program and system |
| GB2519266A (en) * | 2012-08-15 | 2015-04-15 | Ibm | Feature extraction method, program and system |
| US9020196B2 (en) | 2012-08-15 | 2015-04-28 | International Business Machines Corporation | Extracting feature quantities from an image to perform location estimation |
| US9087268B2 (en) | 2012-08-15 | 2015-07-21 | International Business Machines Corporation | Extracting feature quantities from an image to perform location estimation |
| JP5878634B2 (en) * | 2012-08-15 | 2016-03-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Feature extraction method, program, and system |
| WO2014027500A1 (en) * | 2012-08-15 | 2014-02-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Feature extraction method, program and system |
| KR101442703B1 (en) * | 2013-04-15 | 2014-09-19 | 현대엠엔소프트 주식회사 | GPS terminal and method for modifying location position |
| JP2016524128A (en) * | 2013-04-22 | 2016-08-12 | アルカテル−ルーセント | Locating system and locating method |
| JP2015155903A (en) * | 2014-02-20 | 2015-08-27 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド | Automated driving system, method for automated driving, and computing device |
| WO2015134832A1 (en) * | 2014-03-06 | 2015-09-11 | Nec Laboratories America, Inc. | High accuracy monocular moving object localization |
| KR20160142308A (en) * | 2014-04-09 | 2016-12-12 | 콘티넨탈 테베스 아게 운트 코. 오하게 | Position correction of a vehicle by referencing to objects in the surroundings |
| KR102286673B1 (en) * | 2014-04-09 | 2021-08-05 | 콘티넨탈 테베스 아게 운트 코. 오하게 | Position correction of a vehicle by referencing to objects in the surroundings |
| JP2015230190A (en) * | 2014-06-03 | 2015-12-21 | 日産自動車株式会社 | Position detection apparatus and position detection method |
| JP2021060602A (en) * | 2014-12-26 | 2021-04-15 | ヘーレ グローバル ベスローテン フェンノートシャップ | Geometric fingerprinting for localization of device |
| JP7111794B2 (en) | 2014-12-26 | 2022-08-02 | ヘーレ グローバル ベスローテン フェンノートシャップ | Geometric fingerprinting for device localization |
| US10145956B2 (en) | 2014-12-26 | 2018-12-04 | Here Global B.V. | Geometric fingerprinting for localization of a device |
| JP2018504650A (en) * | 2014-12-26 | 2018-02-15 | ヘーレ グローバル ベスローテン フェンノートシャップ | Geometric fingerprinting for device location |
| JP2016170060A (en) * | 2015-03-13 | 2016-09-23 | 三菱電機株式会社 | Facility information display system, mobile terminal, server and facility information display method |
| JP2016188806A (en) * | 2015-03-30 | 2016-11-04 | シャープ株式会社 | Mobile entity and system |
| JP2017135832A (en) * | 2016-01-27 | 2017-08-03 | 株式会社ダイヘン | Movable body |
| KR101878685B1 (en) * | 2016-02-12 | 2018-07-16 | 서울과학기술대학교 산학협력단 | System and method for positioning vehicle using local dynamic map |
| JP2017181870A (en) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | Information processing device and information processing server |
| CN108780615A (en) * | 2016-03-31 | 2018-11-09 | 索尼公司 | Information processing equipment |
| WO2017168900A1 (en) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | Information processing device |
| JP2018024294A (en) * | 2016-08-09 | 2018-02-15 | 日産自動車株式会社 | Own position estimation method and own position estimation apparatus |
| KR20180103513A (en) * | 2017-03-10 | 2018-09-19 | 현대자동차주식회사 | Map Matching Based Positioning System Using Tracking Technique for Vehicle |
| KR102215762B1 (en) | 2017-03-10 | 2021-02-15 | 현대자동차주식회사 | Map Matching Based Positioning System Using Tracking Technique for Vehicle |
| US11378383B2 (en) | 2017-04-21 | 2022-07-05 | Hitachi-Ge Nuclear Energy, Ltd. | Plant facility apparatus recognition system and plant facility apparatus recognition method |
| US11346670B2 (en) * | 2017-06-05 | 2022-05-31 | Hitachi Astemo, Ltd. | Position estimating device |
| JPWO2019073795A1 (en) * | 2017-10-10 | 2020-11-05 | ソニー株式会社 | Information processing device, self-position estimation method, program, and mobile |
| WO2019073795A1 (en) * | 2017-10-10 | 2019-04-18 | ソニー株式会社 | Information processing device, own-position estimating method, program, and mobile body |
| US10977946B2 (en) | 2017-10-19 | 2021-04-13 | Veoneer Us, Inc. | Vehicle lane change assist improvements |
| JP2020122697A (en) * | 2019-01-30 | 2020-08-13 | 三菱電機株式会社 | Three-dimensional measurement apparatus and three-dimensional measurement program |
| JP7183058B2 (en) | 2019-01-30 | 2022-12-05 | 三菱電機株式会社 | Three-dimensional measuring device and three-dimensional measuring program |
| JP2020125975A (en) * | 2019-02-05 | 2020-08-20 | 日産自動車株式会社 | Self position error estimation method and self position error estimation device |
| JP7240886B2 (en) | 2019-02-05 | 2023-03-16 | 日産自動車株式会社 | SELF-LOCATION ERROR ESTIMATION METHOD AND SELF-LOCATION ERROR ESTIMATION DEVICE |
| US11579612B2 (en) | 2019-08-06 | 2023-02-14 | Kabushiki Kaisha Toshiba | Position and attitude estimation apparatus and position and attitude estimation method |
| WO2021093679A1 (en) * | 2019-11-15 | 2021-05-20 | 华为技术有限公司 | Visual positioning method and device |
| WO2022196709A1 (en) * | 2021-03-19 | 2022-09-22 | 株式会社豊田自動織機 | Autonomous vehicle |
| WO2022202915A1 (en) * | 2021-03-24 | 2022-09-29 | 株式会社豊田自動織機 | Autonomous traveling vehicle, and own-position estimating method for autonomous traveling vehicle |
| WO2023074644A1 (en) * | 2021-10-29 | 2023-05-04 | 株式会社豊田自動織機 | Autonomous traveling vehicle, device for controlling autonomous traveling vehicle, and own-position estimating method for autonomous traveling vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5714940B2 (en) | Moving body position measuring device | |
| JP2012127896A (en) | Mobile object position measurement device | |
| JP4600357B2 (en) | Positioning device | |
| EP3631494B1 (en) | Integrated sensor calibration in natural scenes | |
| EP3137850B1 (en) | Method and system for determining a position relative to a digital map | |
| CN111856491B (en) | Method and apparatus for determining geographic position and orientation of a vehicle | |
| TW202018328A (en) | Methods and systems for color point cloud generation | |
| US20200353914A1 (en) | In-vehicle processing device and movement support system | |
| WO2012043045A1 (en) | Image processing device and image capturing device using same | |
| CN110462682B (en) | Object detection device and vehicle | |
| JP2009053059A (en) | Object specifying device, object specifying method, and object specifying program | |
| Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
| US10832428B2 (en) | Method and apparatus for estimating a range of a moving object | |
| JP6552448B2 (en) | Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection | |
| KR102174729B1 (en) | Method and system for recognizing lane using landmark | |
| JP2019102007A (en) | Gradient estimation device, gradient estimation method, program and control system | |
| JP2015194397A (en) | Vehicle location detection device, vehicle location detection method, vehicle location detection computer program and vehicle location detection system | |
| CN111353453A (en) | Obstacle detection method and apparatus for vehicle | |
| JP2009204385A (en) | Targeting device, method, and program | |
| EP3795952A1 (en) | Estimation device, estimation method, and computer program product | |
| JP2002081941A (en) | System and method of measuring three-dimensional shape of road | |
| CN115917255A (en) | Vision-based location and turn sign prediction | |
| US10249056B2 (en) | Vehicle position estimation system | |
| NL2016718B1 (en) | A method for improving position information associated with a collection of images. | |
| CN113196341A (en) | Method for detecting and modeling objects on the surface of a road |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130827 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130827 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140527 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140924 |