JPH07147000A - Attitude parameter calculating device for on-vehicle camera - Google Patents
Attitude parameter calculating device for on-vehicle cameraInfo
- Publication number
- JPH07147000A JPH07147000A JP5295631A JP29563193A JPH07147000A JP H07147000 A JPH07147000 A JP H07147000A JP 5295631 A JP5295631 A JP 5295631A JP 29563193 A JP29563193 A JP 29563193A JP H07147000 A JPH07147000 A JP H07147000A
- Authority
- JP
- Japan
- Prior art keywords
- road
- vehicle
- yaw angle
- mounted camera
- respect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、車載カメラの道路に対
する姿勢を表すパラメータを算出するための装置に関す
るものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for calculating a parameter representing a posture of a vehicle-mounted camera with respect to a road.
【0002】[0002]
【従来の技術】車載カメラによって車両の前方や後方を
撮像し、撮像された画像中の物体を認識するための技術
が種々提案されている。例えば、車両の前方を車載カメ
ラで撮像し、撮像された画像を画像処理して前方の他車
両を認識することができれば、他車両が異常接近したと
きには、ステアリングやブレーキを自動的に動作させる
ことによって、自動的に事故を回避できる。また、道路
標識を認識することができれば、この認識された道路標
識に対応する情報を、ナビゲーション装置におけるいわ
ゆる経路誘導機能のために用いることができる。2. Description of the Related Art Various techniques have been proposed for capturing an image of the front or rear of a vehicle with an on-vehicle camera and recognizing an object in the captured image. For example, if it is possible to image the front of a vehicle with an in-vehicle camera and process the captured image to recognize another vehicle in front, when the other vehicle approaches abnormally, the steering and brakes are automatically operated. Can automatically avoid an accident. If the road sign can be recognized, the information corresponding to the recognized road sign can be used for the so-called route guidance function in the navigation device.
【0003】車載カメラによって撮像される物体を画像
認識する場合、画面中における物体の位置が刻々と変化
する。このように画面中で移動していく物体を画像認識
する場合に、その認識効率を高めるためには、道路(静
止座標系)に対する車載カメラの姿勢を表す車載カメラ
の姿勢パラメータを正確に決める必要がある。前記姿勢
パラメータには、道路(静止座標系)に対する車載カメ
ラのヨー角、ロール角及びピッチ角、並びに特定の道路
平行線に対する車載カメラの横方向の相対位置が含まれ
る。車載カメラの姿勢パラメータを正確に定めることに
よって、画面中における物体の挙動が推定でき、この推
定結果を利用すれば、撮像された画面から物体を含む画
像部分を切り出し、この切り出された画像に関して画像
認識処理を行うことができる。When recognizing an object imaged by a vehicle-mounted camera, the position of the object on the screen changes every moment. In order to improve the recognition efficiency when recognizing a moving object on the screen in this way, it is necessary to accurately determine the attitude parameter of the vehicle-mounted camera that represents the attitude of the vehicle-mounted camera with respect to the road (stationary coordinate system). There is. The attitude parameters include the yaw angle, roll angle and pitch angle of the vehicle-mounted camera with respect to the road (stationary coordinate system), and the lateral relative position of the vehicle-mounted camera with respect to a specific parallel line of the road. By accurately determining the posture parameters of the vehicle-mounted camera, the behavior of the object in the screen can be estimated.By using this estimation result, the image part including the object is cut out from the imaged screen, and the image of this cut-out image is extracted. A recognition process can be performed.
【0004】[0004]
【発明が解決しようとする課題】ところで、車載カメラ
の姿勢パラメータについての発明者の現在の研究では、
姿勢パラメータの算出に当たり、道路の中央分離線や路
側帯の境界線等の道路平行線を2本求め、前記車載カメ
ラによって撮像される画面内において道路平行線が交わ
って消失する点である道路消失点を求めることができれ
ば、前記2本の道路平行線及び道路消失点に基づいて車
載カメラの姿勢パラメータを算出できることが分かって
いる(特願平5−223357号で特許出願済)。By the way, in the present research by the inventor regarding the attitude parameters of the vehicle-mounted camera,
In calculating the attitude parameter, two road parallel lines such as a median separation line of the road and a boundary line of the roadside band are obtained, and the road disappears which is a point where the road parallel lines intersect and disappear in the screen imaged by the vehicle-mounted camera. It has been known that if the points can be obtained, the posture parameter of the vehicle-mounted camera can be calculated based on the two road parallel lines and the road vanishing point (patent pending in Japanese Patent Application No. 5-223357).
【0005】この算出方法は後に実施例で説明するが、
現在のところ、次のような問題がある。すなわち、現実
に道路消失点や道路平行線が得られない場合がある。例
えば、渋滞していて直ぐ前に車両が存在する場合や、道
路平行線が鎖線である場合である。This calculation method will be described later in an embodiment.
Currently, there are the following problems. That is, the road vanishing point or the road parallel line may not be actually obtained. For example, this is the case where there is traffic and there is a vehicle immediately in front of it, or where the parallel road lines are chain lines.
【0006】このような場合には、車載カメラの姿勢パ
ラメータがその期間求められず、撮像された画像中の物
体の正確な認識ができなくなるという不都合を生じる。
そこで、本発明の目的は、上述の技術的課題を解決し、
道路消失点や道路平行線が得られない場合でも、時間的
処理手法を用いることによって、姿勢パラメータの正確
な算出を可能にする車載カメラの姿勢パラメータ算出装
置を提供することである。In such a case, the posture parameter of the vehicle-mounted camera is not obtained during that period, which causes a problem that the object in the captured image cannot be accurately recognized.
Therefore, an object of the present invention is to solve the above technical problems,
An object of the present invention is to provide a posture parameter calculation device for an on-vehicle camera that enables accurate calculation of a posture parameter by using a temporal processing method even when a road vanishing point or a road parallel line cannot be obtained.
【0007】[0007]
(1) 前記の目的を達成するための請求項1記載のカメラ
の姿勢パラメータ算出装置は、車載カメラによって車両
の前方又は後方を撮像して、ディジタル画像信号に変換
する画像処理手段と、前記車載カメラによって撮像され
た画像から、道路の延びる方向と平行な道路平行線を抽
出する道路平行線抽出手段と、2本の道路平行線の先端
が交わり消失する点である道路消失点を抽出する道路消
失点抽出手段と、道路消失点の座標に基づいて道路に対
する車載カメラのヨー角を観測するヨー角観測手段と、
各種センサからの信号に基づいて車両の位置を検出する
位置検出処理装置の出力データに含まれる車両の進行方
位の変化量を取得し、前に算出された道路に対する車載
カメラのヨー角と車両の進行方位の前記変化量とを所定
の漸化式に当てはめて、道路に対する車載カメラのヨー
角の推定値を算出するヨー角推定値算出手段と、前記ヨ
ー角観測手段によって観測される道路に対する車載カメ
ラのヨー角の観測値及び前記ヨー角推定値算出手段によ
って算出される道路に対する車載カメラのヨー角の推定
値のいずれか一方又は双方を用いて道路に対する車載カ
メラのヨー角を決定するヨー角演算手段とを備えるもの
である。(1) The posture parameter calculation device for a camera according to claim 1 for achieving the above-mentioned object, wherein the vehicle-mounted camera captures an image of the front or rear of the vehicle and converts the image into a digital image signal, and the vehicle-mounted device. Road parallel line extraction means for extracting a road parallel line parallel to the direction in which the road extends from the image captured by the camera, and a road for extracting a road vanishing point which is a point where the tips of two road parallel lines intersect and disappear. Vanishing point extracting means, yaw angle observing means for observing the yaw angle of the vehicle-mounted camera with respect to the road based on the coordinates of the road vanishing point,
Acquires the amount of change in the heading of the vehicle included in the output data of the position detection processing device that detects the position of the vehicle based on the signals from various sensors, and calculates the yaw angle of the vehicle-mounted camera and the vehicle calculated with respect to the road calculated previously. Estimating the yaw angle of the vehicle-mounted camera by applying the change amount of the traveling azimuth to a predetermined recurrence formula, and a vehicle mounted on the road observed by the yaw angle observing means. A yaw angle for determining the yaw angle of the vehicle-mounted camera with respect to the road by using one or both of the observed value of the camera yaw angle and the estimated value of the yaw-angle of the vehicle-mounted camera with respect to the road calculated by the yaw angle estimated value calculation means. And a computing means.
【0008】このカメラの姿勢パラメータ算出装置によ
れば、前記車載カメラによって撮像された画像から当該
画面内において道路の延びる方向と平行な道路平行線を
抽出し、2本の道路平行線の先端が交わり消失する点で
ある道路消失点を求めることができる。そして、この道
路消失点の座標(水平方向をx、垂直方向をyとした場
合には、x座標)に基づいて道路に対する車載カメラの
ヨー角を観測することができる。According to this camera attitude parameter calculation device, a road parallel line parallel to the direction in which the road extends is extracted from the image captured by the vehicle-mounted camera, and the tips of the two road parallel lines are detected. The vanishing point of the road, which is the point of intersection vanishing, can be obtained. Then, the yaw angle of the vehicle-mounted camera with respect to the road can be observed based on the coordinates of the vanishing point of the road (x coordinate when the horizontal direction is x and the vertical direction is y).
【0009】一方、車載カメラによって撮像された画像
情報とは無関係に、位置検出処理装置の出力データに含
まれる車両の進行方位に関する情報を取得し、前に算出
された道路に対する車載カメラのヨー角と車両の進行方
位の変化量とを漸化式に当てはめて、現時点の道路に対
する車載カメラのヨー角の推定値を算出することができ
る。On the other hand, irrespective of the image information taken by the vehicle-mounted camera, information on the traveling direction of the vehicle included in the output data of the position detection processing device is acquired, and the yaw angle of the vehicle-mounted camera with respect to the road calculated previously is obtained. The estimated value of the yaw angle of the vehicle-mounted camera with respect to the current road can be calculated by applying the following equation to the recurrence formula and the variation amount of the traveling direction of the vehicle.
【0010】したがって、ヨー角観測手段によって道路
に対する車載カメラのヨー角の観測値が得られなかった
場合には、ヨー角の推定値をヨー角とすることができ、
道路消失点が得られ、ヨー角観測手段によって道路に対
する車載カメラのヨー角の観測値が得られた場合には、
ヨー角の観測値をヨー角とすることができる。すなわ
ち、ヨー角の観測値と推定値とによって相互に相手を補
うことができる。Therefore, when the yaw angle observing means has not obtained the yaw angle observation value of the vehicle-mounted camera with respect to the road, the estimated yaw angle value can be used as the yaw angle.
If the vanishing point of the road is obtained and the yaw angle of the vehicle-mounted camera with respect to the road is obtained by the yaw angle observing means,
The observed value of the yaw angle can be the yaw angle. That is, it is possible to complement each other with the observed value and the estimated value of the yaw angle.
【0011】具体的には、ヨー角観測手段からヨー角の
観測値が得られない場合は、前記推定値を、道路に対す
る車載カメラのヨー角とすればよい(請求項2)。ま
た、ヨー角の観測値と推定値が得られた場合には、この
差が一定の範囲内にあれば観測値と推定値との重み付き
平均をとってそれをヨー角としてもよい(請求項3)。Specifically, when the yaw angle observation value cannot be obtained from the yaw angle observation means, the estimated value may be the yaw angle of the vehicle-mounted camera with respect to the road (claim 2). Further, when the observed value and the estimated value of the yaw angle are obtained, if the difference is within a certain range, the weighted average of the observed value and the estimated value may be taken and used as the yaw angle. Item 3).
【0012】また、ヨー角の観測値と推定値が得られた
場合には、この差が一定の範囲を超えていれば、前記推
定値を、道路に対する車載カメラのヨー角としてもよい
(請求項4)。このような処理は車両の振動等でヨー角
の観測値が急変した場合に有効である。さらに、前記推
定値を採用する処理が一定走行距離以上、一定時間以上
又は一定回数以上続けば、推定値よりもヨー角の観測値
を信頼して、道路に対する車載カメラのヨー角としても
よい(請求項5)。Further, when the observed value and the estimated value of the yaw angle are obtained, the estimated value may be used as the yaw angle of the vehicle-mounted camera with respect to the road if the difference exceeds a certain range. Item 4). Such processing is effective when the observed value of the yaw angle suddenly changes due to vehicle vibration or the like. Further, if the process of adopting the estimated value continues for a certain traveling distance or more, for a certain period of time or more, or for a certain number of times or more, the yaw angle of the vehicle-mounted camera with respect to the road may be more reliable than the estimated value. Claim 5).
【0013】なお、前記ヨー角演算手段は、車両が旋回
中であることを示すものである場合に、旋回が終了する
までは道路に対する車載カメラのヨー角を算出しないこ
とが望ましい(請求項6)。この理由は、交差点等を旋
回中に、道路に対するヨー角を求めることは難しく、ま
た求めても意味がないことがあるからである。 (2) 前記の目的を達成するための請求項7記載のカメラ
の姿勢パラメータ算出装置は、前記道路消失点抽出手段
から得られる道路消失点の座標に基づいて道路に対する
車載カメラのピッチ角を観測するピッチ角観測手段と、
道路消失点抽出手段から道路消失点が得られず、かつ道
路平行線抽出手段から道路平行線が1本のみ得られてい
る場合には、前記ヨー角演算手段によって算出された道
路に対する車載カメラのヨー角と、1本の道路平行線と
から道路消失点の座標を推定し、この推定された座標に
基づいて道路に対する車載カメラのピッチ角を得るピッ
チ角演算手段とをさらに備えるものである。It should be noted that, when the yaw angle calculating means indicates that the vehicle is turning, it is desirable that the yaw angle of the vehicle-mounted camera with respect to the road is not calculated until the turning is completed. ). The reason for this is that it is difficult to find the yaw angle with respect to the road while turning at an intersection or the like, and it may be meaningless to obtain the yaw angle. (2) The posture parameter calculation device for a camera according to claim 7 for achieving the above object observes the pitch angle of the vehicle-mounted camera with respect to the road based on the coordinates of the road vanishing point obtained from the road vanishing point extracting means. Means for observing the pitch angle,
When no road vanishing point is obtained from the road vanishing point extracting means and only one road parallel line is obtained from the road parallel line extracting means, the on-vehicle camera of the road for the road calculated by the yaw angle calculating means is obtained. It further comprises pitch angle calculation means for estimating the coordinates of the road vanishing point from the yaw angle and one road parallel line and obtaining the pitch angle of the vehicle-mounted camera with respect to the road based on the estimated coordinates.
【0014】このカメラの姿勢パラメータ算出装置によ
れば、前記車載カメラによって各周期ごとに撮像された
画像から当該画面内において道路の延びる方向と平行な
道路平行線を抽出し、2本の道路平行線の先端が交わり
消失する点である道路消失点を求め、そして、この道路
消失点の座標(水平方向をx、垂直方向をyとした場合
には、y座標)に基づいて道路に対する車載カメラのピ
ッチ角を観測することができる。According to this camera attitude parameter calculation device, a road parallel line parallel to the direction in which the road extends is extracted from the image taken by the vehicle-mounted camera in each cycle, and two road parallel lines are extracted. A road vanishing point, which is the point where the ends of the lines intersect and vanishes, is obtained, and the vehicle-mounted camera for the road is based on the coordinates of the road vanishing point (y coordinate when the horizontal direction is x and the vertical direction is y). The pitch angle of can be observed.
【0015】一方、車載カメラによって撮像された画像
情報とは無関係に、前記ヨー角演算手段によって算出さ
れた道路に対する車載カメラのヨー角を用いれば道路消
失点の存在する方向(x座標)が分かるので、これと前
記1本の道路平行線との交点から道路消失点の座標(y
座標)を推定し、この推定された座標に基づいて道路に
対する車載カメラのピッチ角を得ることができる。On the other hand, regardless of the image information taken by the vehicle-mounted camera, the direction (x coordinate) in which the road vanishing point exists can be found by using the yaw angle of the vehicle-mounted camera with respect to the road calculated by the yaw angle calculation means. Therefore, the coordinates of the road vanishing point (y
It is possible to estimate the coordinate) and obtain the pitch angle of the vehicle-mounted camera with respect to the road based on the estimated coordinate.
【0016】なお、前記ピッチ演算手段は、車両が旋回
中の場合には、旋回の終了するまでは道路に対する車載
カメラのピッチ角を算出しないことが望ましい(請求項
8)。 (3) 前記の目的を達成するための請求項9記載のカメラ
の姿勢パラメータ算出装置は、前記道路平行線抽出手段
によって抽出された道路平行線の傾きを検出する傾き検
出手段と、前記傾き検出手段によって検出された道路平
行線の傾きと、車載カメラの道路面に対する高さとの情
報を使って、道路に平行な所定の基準線からの車載カメ
ラの横ずれ距離を観測する横ずれ距離観測手段と、前記
位置検出処理装置の出力データに含まれる車両の走行距
離を取得し、前に算出された道路に対する車載カメラの
横ずれ距離と車両の前記走行距離とを所定の漸化式に当
てはめて、道路に対する車載カメラの横ずれ距離の推定
値を算出する横ずれ距離推定値算出手段と、前記横ずれ
距離観測手段によって観測される道路に対する車載カメ
ラの横ずれ距離の観測値及び前記横ずれ距離推定値算出
手段によって算出される道路に対する車載カメラの横ず
れ距離の推定値のいずれか一方又は双方を用いて道路に
対する車載カメラの横ずれ距離を決定する横ずれ距離演
算手段とを備えるものである。When the vehicle is turning, it is preferable that the pitch calculating means does not calculate the pitch angle of the vehicle-mounted camera with respect to the road until the turning is completed (claim 8). (3) The camera posture parameter calculation device according to claim 9 for achieving the above-mentioned object, the inclination detection means for detecting the inclination of the road parallel line extracted by the road parallel line extraction means, and the inclination detection. Using the information of the inclination of the road parallel line detected by the means and the height of the vehicle-mounted camera with respect to the road surface, a lateral deviation distance observing means for observing the lateral deviation distance of the vehicle-mounted camera from a predetermined reference line parallel to the road, The travel distance of the vehicle included in the output data of the position detection processing device is acquired, and the lateral displacement distance of the vehicle-mounted camera with respect to the road calculated previously and the travel distance of the vehicle are applied to a predetermined recurrence formula, A lateral deviation distance estimated value calculating means for calculating an estimated lateral deviation distance of the vehicle-mounted camera, and a view of lateral deviation distance of the vehicle-mounted camera with respect to a road observed by the lateral deviation distance observing means. A lateral deviation distance calculating means for determining the lateral deviation distance of the vehicle-mounted camera with respect to the road by using one or both of the measured value and the estimated value of the lateral deviation distance of the vehicle-mounted camera with respect to the road calculated by the lateral deviation distance estimated value calculation means. It is a thing.
【0017】このカメラの姿勢パラメータ算出装置によ
れば、前記車載カメラによって撮像された画像から当該
画面内において道路の延びる方向と平行な道路平行線を
抽出し、傾き検出手段によって道路平行線の傾きを検出
することができる。そして、この道路平行線の傾きと、
車載カメラの道路面に対する高さとの情報を使って、道
路に平行な所定の基準線からの車載カメラの横ずれ距離
を観測することができる。According to this camera attitude parameter calculating device, a road parallel line parallel to the direction in which the road extends is extracted from the image taken by the vehicle-mounted camera, and the inclination of the road parallel line is detected by the inclination detecting means. Can be detected. And the slope of this road parallel line,
Using the information about the height of the vehicle-mounted camera with respect to the road surface, the lateral displacement distance of the vehicle-mounted camera from a predetermined reference line parallel to the road can be observed.
【0018】一方、車載カメラによって撮像された画像
情報とは無関係に、位置検出処理装置の出力データに含
まれる車両の走行距離を取得し、前に算出された道路に
対する車載カメラの横ずれ距離と車両の前記走行距離と
を所定の漸化式に当てはめて、道路に対する車載カメラ
の横ずれ距離の推定値を算出することができる。したが
って、横ずれ距離観測手段によって道路に対する車載カ
メラの横ずれ距離の観測値が得られなかった場合、車載
カメラの横ずれ距離の推定値を横ずれ距離とすることが
でき、道路消失点が得られ、横ずれ距離観測手段によっ
て道路に対する車載カメラの横ずれ距離の観測値が得ら
れた場合には、横ずれ距離の観測値を横ずれ距離とする
ことができる。すなわち、横ずれ距離の観測値と推定値
とが相互に相手を補うようにすることができる。On the other hand, the travel distance of the vehicle included in the output data of the position detection processing device is acquired regardless of the image information captured by the vehicle-mounted camera, and the lateral displacement distance of the vehicle-mounted camera with respect to the previously calculated road and the vehicle. It is possible to calculate the estimated value of the lateral displacement distance of the vehicle-mounted camera with respect to the road by applying the above-mentioned travel distance to the predetermined recurrence formula. Therefore, if the lateral displacement distance observation means does not obtain the lateral displacement distance of the vehicle-mounted camera with respect to the road, the estimated lateral displacement distance of the vehicle-mounted camera can be used as the lateral displacement distance, and the road vanishing point is obtained. When the observation value of the lateral deviation distance of the vehicle-mounted camera with respect to the road is obtained by the observation means, the observation value of the lateral deviation distance can be used as the lateral deviation distance. That is, the observed value and the estimated value of the lateral deviation distance can mutually complement each other.
【0019】具体的には、横ずれ距離観測手段から横ず
れ距離の観測値が得られない場合は、前記推定値を、道
路に対する車載カメラの横ずれ距離とすればよい(請求
項10)。また横ずれ距離演算手段は、横ずれ距離の観
測値が得られた場合は、前記道路に対する車載カメラの
横ずれ距離の推定値と、横ずれ距離の観測値とを比較
し、この差が一定値より大きければ、前記推定値を、道
路に対する車載カメラの横ずれ距離としてもよい(請求
項11)。Specifically, when the observed value of the lateral deviation distance cannot be obtained from the lateral deviation distance observing means, the estimated value may be the lateral deviation distance of the vehicle-mounted camera with respect to the road (claim 10). Further, the lateral deviation distance calculating means compares the estimated value of the lateral deviation distance of the vehicle-mounted camera with respect to the road and the observed value of the lateral deviation distance when the observed value of the lateral deviation distance is obtained. The estimated value may be a lateral displacement distance of the vehicle-mounted camera with respect to the road (claim 11).
【0020】なお、前記横ずれ距離演算手段は、車両が
旋回中である場合に、旋回が終了するまでは道路に対す
る車載カメラの横ずれ距離を算出しないことが望ましい
(請求項12)。When the vehicle is turning, it is preferable that the lateral shift distance calculating means does not calculate the lateral shift distance of the vehicle-mounted camera with respect to the road until the turning is completed (claim 12).
【0021】[0021]
【実施例】以下では、本発明の一実施例が適用された車
両用画像認識システムについて詳細に説明する。 (1) 車両用画像認識処理システムの概要 以下で説明する車両用画像認識処理システムは、車両に
搭載されたカラー車載カメラで車両の周囲を撮像し、撮
像された画像に基づいて道路の周辺の物体を認識するた
めの装置である。認識される物体は、例えば、信号機、
道路標識、道路の表面に描かれた道路表示及び走行中の
道路と立体交差している高架道路等の道路施設並びに他
車両等である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A vehicle image recognition system to which an embodiment of the present invention is applied will be described in detail below. (1) Overview of vehicle image recognition processing system The vehicle image recognition processing system described below captures the surroundings of the vehicle with a color vehicle-mounted camera mounted on the vehicle, and based on the captured image, the surroundings of the road are captured. A device for recognizing an object. The recognized object is, for example, a traffic light,
These include road signs, road markings drawn on the surface of roads, road facilities such as elevated roads that cross over the roads that are running, and other vehicles.
【0022】車両用画像認識処理システムは、次の〜
の4つの処理を実行することによって、車載カラーカ
メラで撮像された画像から、道路に関連した施設等の物
体を認識する。なお、、及びの各処理に関して
は、必ずしもカラー車載カメラが用いられる必要はな
い。 直線候補点抽出処理 道路消失点算出処理 車載カメラの姿勢パラメータ算出処理 物体認識処理 直線候補点抽出処理とは、車載カラーカメラによって撮
像された画像中の車両の進行方向に沿った直線部分
(「道路平行線」という)を構成する点を抽出する処理
である。直線部分には、道路の両側部、道路上の白線や
黄線、中央分離帯、路側帯、前方の車両の輪郭線、道路
標識の輪郭線等がある。The vehicle image recognition processing system is described below.
By executing the four processes described above, an object such as a facility related to the road is recognized from the image captured by the vehicle-mounted color camera. Note that the color vehicle-mounted camera does not necessarily have to be used for each of the processes (1) and (2). Straight line candidate point extraction processing Road vanishing point calculation processing In-vehicle camera attitude parameter calculation processing Object recognition processing Straight line candidate point extraction processing is the straight line portion along the traveling direction of the vehicle in the image captured by the on-vehicle color camera (“road This is a process of extracting points forming a “parallel line”. The straight line portion includes both sides of the road, white lines and yellow lines on the road, a median strip, a roadside strip, a contour line of a vehicle ahead, a contour line of a road sign, and the like.
【0023】道路消失点算出処理とは、自車両が走行し
ている道路の左右のエッジが交わり画面上で消失する点
を演算する処理である。具体的には、直線候補点抽出処
理によって抽出された直線候補点に基づいて算出され
る。車載カメラの姿勢パラメータ算出処理とは、道路に
対する車載カメラの姿勢等を求めるための処理である。
この処理には、道路消失点算出処理によって得られた道
路消失点及び道路平行線が利用される。The road vanishing point calculation process is a process for calculating the point where the left and right edges of the road on which the vehicle is traveling intersect and vanish on the screen. Specifically, it is calculated based on the straight line candidate points extracted by the straight line candidate point extraction processing. The on-vehicle camera posture parameter calculation process is a process for obtaining the posture and the like of the on-vehicle camera with respect to the road.
The road vanishing point and the road parallel line obtained by the road vanishing point calculation process are used for this processing.
【0024】物体認識処理とは、車載カメラで撮像され
た画像中の物体を画像認識するための処理である。物体
認識処理では、特定の物体を認識する際に、その物体が
含まれている画像領域を画面から切り出す処理が行われ
る。この場合、画面中における物体の位置は車両の走行
に伴って変化していく。そこで、物体の画面上における
変位が、前記の車載カメラの姿勢パラメータ等に基づい
て推定され、これに基づいて画像の切り出しが行われ
る。The object recognition process is a process for image recognition of an object in an image captured by a vehicle-mounted camera. In the object recognition process, when recognizing a specific object, a process of cutting out an image area including the object from the screen is performed. In this case, the position of the object on the screen changes as the vehicle runs. Therefore, the displacement of the object on the screen is estimated based on the posture parameter of the vehicle-mounted camera and the like, and the image is cut out based on this.
【0025】このような車載用画像認識処理システムに
よれば、自車両の周囲の物体を認識することができる。
そのため、認識結果を車両のステアリングやブレーキの
自動制御に利用することにより、車両の自動運転への途
がひらかれ、車両の安全な運行に寄与できる。以下で
は、まず、車載用画像認識処理システムの構成について
説明する。そして、前記〜の直線候補点抽出処理、
道路消失点算出処理、車載カメラの姿勢パラメータ算出
処理及び物体認識処理について順に説明する。 (2) 車両用画像認識処理システムの構成 図1は、車両用画像認識処理システムの電気的構成を示
すブロック図である。この車両用画像認識処理システム
は、車両の周辺の物体を画像認識するための画像認識処
理装置1を備えている。この画像認識処理装置1には、
車両の現在位置及び車両の進行方位を検出して道路地図
とともに表示装置に表示するための位置検出処理装置2
が接続されている。According to such a vehicle-mounted image recognition processing system, it is possible to recognize objects around the vehicle.
Therefore, by utilizing the recognition result for the automatic control of the steering and the brake of the vehicle, it is possible to open the way to the automatic driving of the vehicle and contribute to the safe operation of the vehicle. Hereinafter, first, the configuration of the vehicle-mounted image recognition processing system will be described. And the straight line candidate point extraction processing of the above,
The road vanishing point calculation process, the on-vehicle camera posture parameter calculation process, and the object recognition process will be described in order. (2) Configuration of Vehicle Image Recognition Processing System FIG. 1 is a block diagram showing an electrical configuration of the vehicle image recognition processing system. The vehicle image recognition processing system includes an image recognition processing device 1 for image recognition of an object around the vehicle. In this image recognition processing device 1,
Position detection processing device 2 for detecting the current position of the vehicle and the heading of the vehicle and displaying them on a display device together with a road map
Are connected.
【0026】画像認識処理装置1は、車両の例えば前方
部や車室内に取り付けられた車載カラーカメラ11を備
えている。この車載カラーカメラ11は、車両の前方を
撮像することができるものである。車載カラーカメラ1
1のほかに、又は車載カラーカメラ11に代えて、車両
の後方や車両の側方を撮像できる別の車載カメラが備え
られていてもよい。The image recognition processing apparatus 1 is equipped with a vehicle-mounted color camera 11 mounted in the front part of the vehicle or in the passenger compartment. The vehicle-mounted color camera 11 is capable of capturing an image of the front of the vehicle. Car color camera 1
In addition to 1, or in place of the vehicle-mounted color camera 11, another vehicle-mounted camera that can image the rear of the vehicle or the side of the vehicle may be provided.
【0027】車載カラーカメラ11は、撮像した画面の
各点をカラー表現したアナログ電気信号を出力する。こ
のアナログ信号は、画像処理回路13において、アナロ
グ/ディジタル変換等の処理を受けて、画像データに変
換される。この画像データは、マイクロコンピュータ等
を含む画像認識処理部15に入力される。画像認識処理
部15には、RAM(ランダム・アクセス・メモリ)等
を含む記憶部17が接続されている。また、画像認識処
理部15には、位置検出処理装置2から支援情報が与え
らる。The on-vehicle color camera 11 outputs an analog electric signal in which each point on the imaged screen is expressed in color. The analog signal is subjected to processing such as analog / digital conversion in the image processing circuit 13 and converted into image data. This image data is input to the image recognition processing unit 15 including a microcomputer and the like. A storage unit 17 including a RAM (random access memory) or the like is connected to the image recognition processing unit 15. Further, the image recognition processing unit 15 is provided with support information from the position detection processing device 2.
【0028】位置検出処理装置2は、車両の走行距離を
検出するための距離センサ(例えば車輪速センサ)21
及び車両の進行方位を検出するための方位センサ(例え
ばジャイロ)22を備えている。これらのセンサ21及
び22の出力は、センサ処理回路23において処理され
ることにより、走行距離データ及び現在方位データに変
換される。これらのデータが、マイクロコンピュータ等
を内部に含む位置検出処理部25に入力される。位置検
出処理部25は、センサ処理回路23から入力されるデ
ータに基づいて、車両の現在位置データを算出する。The position detection processing device 2 includes a distance sensor (for example, a wheel speed sensor) 21 for detecting the traveling distance of the vehicle.
And a direction sensor (for example, a gyro) 22 for detecting the traveling direction of the vehicle. The outputs of these sensors 21 and 22 are processed by the sensor processing circuit 23 to be converted into mileage data and current azimuth data. These data are input to the position detection processing unit 25 which internally includes a microcomputer and the like. The position detection processing unit 25 calculates the current position data of the vehicle based on the data input from the sensor processing circuit 23.
【0029】位置検出処理部25には、道路地図を記憶
した道路地図メモリ27と、RAM等を含む記憶部28
と、CRT(陰極線管)や液晶表示パネルからなる表示
器29とが接続されている。道路地図メモリ27は、例
えば、CD−ROMで構成されている。位置検出部25
は、算出された現在位置データに基づいて道路地図メモ
リ27を検索し、現在位置の周辺の道路地図を読み出
す。この道路地図は、表示器29に表示される。このと
き、車両の現在位置を表すマークが道路地図上に重ねて
表示される。The position detection processing unit 25 includes a road map memory 27 storing a road map and a storage unit 28 including a RAM and the like.
Is connected to a display device 29 including a CRT (cathode ray tube) and a liquid crystal display panel. The road map memory 27 is composed of, for example, a CD-ROM. Position detector 25
Searches the road map memory 27 based on the calculated current position data, and reads the road map around the current position. This road map is displayed on the display unit 29. At this time, a mark indicating the current position of the vehicle is displayed overlaid on the road map.
【0030】位置検出処理部25は、画像認識処理装置
1の画像認識処理部15に、道路地図データ、現在方位
データ、現在位置データ及び走行距離データを、支援情
報とし与える。これらのデータの他に、単位時間当たり
又は単位走行距離当たりの進行方位の変化量を表す方位
変化データを画像認識処理部15に与えることもある。 (3) 直線候補点抽出処理 次に、直線候補点抽出処理について説明する。The position detection processing section 25 provides the image recognition processing section 15 of the image recognition processing apparatus 1 with the road map data, the current bearing data, the current position data and the travel distance data as support information. In addition to these data, the image recognition processing unit 15 may be provided with azimuth change data representing the amount of change in the traveling azimuth per unit time or per unit traveled distance. (3) Straight Line Candidate Point Extraction Process Next, the straight line candidate point extraction process will be described.
【0031】図2は、車載カラーカメラ11によって撮
像された画像例を示す図である。ただし手前の車両の運
転席は、想像しやすいように別に書き入れたものであ
る。車両の前方に向けられた車載カラーカメラ11によ
って撮像される画像中の道路の路側付近には、路側白線
43が設けられている。また、道路の側部には、路側帯
44が設けられている。画面中において、走行中の道路
が消失する箇所が、道路消失点NPである。なお、4
6,47,48は、前方又は側方を走行中の他車両であ
る。FIG. 2 is a diagram showing an example of an image taken by the vehicle-mounted color camera 11. However, the driver's seat of the vehicle in the foreground is a separate entry for easier visualization. A roadside white line 43 is provided near the roadside of the road in the image captured by the vehicle-mounted color camera 11 facing the front of the vehicle. A roadside belt 44 is provided on the side of the road. In the screen, the point where the road on which the vehicle is running disappears is the road vanishing point NP. 4
Reference numerals 6, 47, and 48 are other vehicles that are traveling forward or sideways.
【0032】直線候補点抽出処理では、車載カラーカメ
ラ11で撮像された画像を、水平走査方向DHに沿って
画面の上端から下端まで走査する。この走査は、車載カ
ラーカメラ11から画像認識処理部15を通って記憶部
17に記憶された画像データを順に読み出すようにして
実行される。そして、水平走査方向DHに沿って画面を
構成する各画素を走査したときに、色度若しくは輝度又
はその両方が安定している安定状態と、色度若しくは輝
度又はその両方が大きく変化する不安定状態との間で遷
移したことに基づいて直線候補点を検出する。安定状態
及び不安定状態は、それぞれ、次のようにして検出され
る。In the straight line candidate point extraction processing, the image picked up by the vehicle color camera 11 is scanned from the upper end to the lower end of the screen along the horizontal scanning direction DH. This scanning is executed by sequentially reading the image data stored in the storage unit 17 from the vehicle-mounted color camera 11 through the image recognition processing unit 15. Then, when each pixel forming the screen is scanned along the horizontal scanning direction DH, a stable state in which chromaticity or luminance or both are stable, and an unstable state in which chromaticity or luminance or both greatly change A straight line candidate point is detected based on the transition to and from the state. The stable state and the unstable state are respectively detected as follows.
【0033】例えば、車載カラーカメラが、赤(R)、
緑(G)及び青(B)に対応した3原色信号を出力する
ものであるとする。この3原色信号は色調を表す信号で
ある。色調とは、色度と輝度とを合わせて表現した量で
ある。この場合、記憶部17には、RGBの3原色画像
データが記憶されることになる。水平走査方向DHに沿
った走査線上の任意の点におけるR、G、Bの各画像デ
ータをそれぞれr(t),g(t) ,b(t) とする。tは、
処理周期を表し、水平走査方向DHに沿った走査線上の
1つの点に対応する。For example, if the vehicle color camera is red (R),
It is assumed that the three primary color signals corresponding to green (G) and blue (B) are output. The three primary color signals are signals representing color tones. The color tone is an amount expressed by combining chromaticity and luminance. In this case, the storage unit 17 stores the RGB three primary color image data. R, G, and B image data at arbitrary points on the scanning line along the horizontal scanning direction DH are defined as r (t), g (t), and b (t), respectively. t is
It represents a processing cycle and corresponds to one point on the scanning line along the horizontal scanning direction DH.
【0034】この場合に、不安定状態は、例えば下記
(1) 式で定義される判定値P(t) に対して、下記(2) 式
が成立することに基づいて検出される。m1は定数であ
る。また、j1 ,j2 及びj3 は重み付けのための定数
である。例えば、Rデータは明るさの変化に対する変動
が大きいので定数j1 は比較的大きな値とされ、Bデー
タは明るさの変化に対する変動が小さいので定数j3 は
比較的小さな値とされる。In this case, the unstable state is, for example, as follows.
The determination value P (t) defined by the equation (1) is detected based on the following equation (2) being established. m1 is a constant. Further, j 1 , j 2 and j 3 are constants for weighting. For example, since the R data has a large variation with respect to the change in brightness, the constant j 1 has a relatively large value, and the B data has a small variation with respect to the brightness change, so that the constant j 3 has a relatively small value.
【0035】 P(t) =j1 |r(t) −r(t-1) |+j2 |g(t) −g(t-1) | +j3 |b(t) −b(t-1) | (1) P(t) >m1 (2) すなわち、水平走査方向DHに沿って隣接する2つの処
理対象点の色調の変化の絶対値の線形和が、所定の定数
m1よりも大きい場合に、色調が大きな変化を示してい
ることが検出される。隣接する処理対象点は、必ずしも
隣接する2つの画素とは限らず、ある所定数の画素間隔
で処理対象点を設定してもよい。P (t) = j 1 | r (t) −r (t-1) | + j 2 | g (t) −g (t-1) | + j 3 | b (t) −b (t- 1) | (1) P (t)> m1 (2) That is, the linear sum of the absolute values of the change in color tone of two processing target points adjacent in the horizontal scanning direction DH is larger than a predetermined constant m1. In this case, it is detected that the color tone shows a large change. The adjacent processing target points are not necessarily two adjacent pixels, and the processing target points may be set at a predetermined number of pixel intervals.
【0036】一方、色調の安定状態は、前記(1) 式の判
定値P(t) に対して、下記(3) 式が、一定個数(例えば
10個)以上の連続する処理対象点に関して成立するこ
とに基づいて検出される。n1は定数である(ただし、
n1<m1)。 P(t) <n1 (3) すなわち、水平走査方向DHに隣接する2つの処理対象
点の色調の変化の絶対値の線形和が、所定の定数n1よ
りも小さい状態が、一定個数の処理対象点に関して続い
ている場合に、色調が安定していることが検出される。On the other hand, in the stable state of the color tone, the following expression (3) is established for a certain number (for example, 10) or more continuous processing target points with respect to the judgment value P (t) of the above expression (1). It is detected based on what you do. n1 is a constant (however,
n1 <m1). P (t) <n1 (3) That is, when the linear sum of absolute values of changes in color tone of two processing target points adjacent in the horizontal scanning direction DH is smaller than a predetermined constant n1, a certain number of processing targets are processed. A stable tone is detected if the points are followed.
【0037】図3は直線候補点の検出処理を説明するた
めの図である。図3(a) は車載カラーカメラ11によっ
て撮像された画像例を示し、図3(b) はある走査線SH
L上におけるR、G、Bディジタルデータの変化を示
す。R、G、Bの各データの変化は、それぞれ曲線L
R、LG、LBで示されている。この図3から、道路5
1に形成された白線52,53,54及び中央分離帯5
5の付近では、色調が激しく変化することが理解され
る。また、白線等が形成されていない道路表面に対応し
た画像部分に対しては、色調が安定していることが理解
される。FIG. 3 is a diagram for explaining the process of detecting straight line candidate points. FIG. 3A shows an example of an image captured by the in-vehicle color camera 11, and FIG. 3B shows a scanning line SH.
Changes in R, G, B digital data on L are shown. The change of each data of R, G, B is the curve L, respectively.
Shown as R, LG, LB. From this Figure 3, road 5
1. White lines 52, 53, 54 and median strip 5 formed in 1
It is understood that in the vicinity of 5, the color tone changes drastically. Further, it is understood that the color tone is stable for the image portion corresponding to the road surface on which the white line or the like is not formed.
【0038】図4は、直線候補点を検出するために画像
認識処理部15によって実行される処理を説明するため
のフローチャートである。フローチャートに沿って説明
すると、ステップS1では、車載カラーカメラ11で撮
像される1枚のカラー画像のデータが記憶部17に格納
される。そして、画像の上端から水平方向に画素を走査
しながら、処理対象の画素に対する処理が行われる(ス
テップS2)。ある1本の走査線上の全ての処理対象の
画素に対する処理が終了したときには(ステップS
3)、走査する対象を垂直方向に移動して処理が実行さ
れる(ステップS4)。垂直方向への処理も終了すれば
(ステップS5)、1枚のカラー画像に対する直線候補
点の検出処理を終了する。FIG. 4 is a flow chart for explaining the processing executed by the image recognition processing section 15 for detecting the straight line candidate points. Explaining along the flowchart, in step S1, data of one color image captured by the vehicle-mounted color camera 11 is stored in the storage unit 17. Then, the pixels to be processed are processed while scanning the pixels in the horizontal direction from the upper end of the image (step S2). When the processing for all pixels to be processed on a certain scanning line is completed (step S
3) Then, the object to be scanned is moved in the vertical direction to execute the processing (step S4). When the processing in the vertical direction is also completed (step S5), the processing for detecting straight line candidate points for one color image is completed.
【0039】水平走査方向に沿った走査線上の全ての処
理対象の画素に対する処理が終了する以前には、ステッ
プS3からステップS6に処理が移る。ステップS6で
は、ある1つの処理対象の画素に対して安定状態か不安
定状態かを検出するために必要なデータが記憶部17か
ら読み出される。そして、ステップS7では、不安定状
態であるかどうかが判定される。すなわち、前記(2) 式
が満たされているかどうかが判定される。不安定状態で
あると判定されたときには、ステップS8において、そ
れ以前には、安定状態であるとの判定がなされていたか
どうかが判断される。もしそうであれは、その時点の処
理対象の画素は、安定状態から不安定状態への変化点の
画素である。したがって、ステップS11において、そ
の処理対象の画素の座標(画面上における座標)が、直
線候補点の座標として記憶部17に格納される。ステッ
プS7において不安定状態と判定される以前にも不安定
状態と判定されていた場合には、不安定状態が継続して
いるだけであるから、直線候補点が検出されていないも
のとして、ステップS2に戻る。Before the processing for all the pixels to be processed on the scanning line along the horizontal scanning direction is completed, the processing moves from step S3 to step S6. In step S <b> 6, the data necessary for detecting whether a certain pixel to be processed is in the stable state or the unstable state is read from the storage unit 17. Then, in step S7, it is determined whether the state is unstable. That is, it is determined whether the above equation (2) is satisfied. When it is determined that the state is unstable, it is determined in step S8 whether or not it was previously determined that the state was stable. If so, the pixel to be processed at that point is the pixel at the change point from the stable state to the unstable state. Therefore, in step S11, the coordinates of the pixel to be processed (coordinates on the screen) are stored in the storage unit 17 as the coordinates of the straight line candidate point. If the unstable state is determined before the unstable state is determined in step S7, it means that the unstable state is continuing, and it is determined that no straight line candidate point is detected. Return to S2.
【0040】ステップS7において不安定状態でないと
判定されたときには、ステップS9に進む。ステップS
9では、それ以前に処理された一定個数(N)の処理対
象画素に関して、色調の変化が小さいかどうかが調べら
れる。すなわち、前記(3) 式を満たす処理対象点が一定
個数(N)以上連続しているかどうかが判断される。前
記(3) 式を満たす処理対象点が一定個数(N)以上連続
していれば、ステップS10において、さらに、(N+
1)個前の処理対象点において不安定状態が検出された
かどうかが判断される。不安定状態が検出されていれ
ば、その不安定状態が検出された処理対象点が、直線候
補点として検出され、その座標が記憶部17に格納され
る(ステップS11)。When it is determined in step S7 that the state is not unstable, the process proceeds to step S9. Step S
In 9, it is checked whether or not the change in color tone is small for a certain number (N) of processing target pixels processed before that. That is, it is determined whether or not the processing target points satisfying the equation (3) are consecutive for a certain number (N) or more. If a certain number (N) or more of the processing target points satisfying the above equation (3) are consecutive, in step S10, (N +
1) It is determined whether or not an unstable state is detected at the previous processing target point. If the unstable state is detected, the processing target point where the unstable state is detected is detected as a straight line candidate point, and its coordinates are stored in the storage unit 17 (step S11).
【0041】一方、ステップS9において一定個数
(N)分の処理対象点に関して色調の変化が小さい状態
が継続しているわけではないと判断されたときは、ステ
ップS2に戻る。また、ステップS10において、(N
+1)個前の処理対象点において不安定状態が検出され
ていないときにも、ステップS2に戻る。このようにし
て、車載カラーカメラ11で撮像された画像が水平走査
方向に沿って走査され、走査線上における色調の変化の
程度が調べられる。そして、色調が安定している安定状
態と、色調が不安定な不安定状態とが切り換わる処理対
象点が、直線候補点として検出される。On the other hand, when it is determined in step S9 that the state in which the change in color tone is small for the fixed number (N) of processing target points does not continue, the process returns to step S2. Further, in step S10, (N
Even when the unstable state is not detected at the +1) th previous processing target point, the process returns to step S2. In this way, the image captured by the in-vehicle color camera 11 is scanned along the horizontal scanning direction, and the degree of change in color tone on the scanning line is examined. Then, the processing target point at which the stable state in which the color tone is stable and the unstable state in which the color tone is unstable are switched is detected as a straight line candidate point.
【0042】図5は、上のようにして得られた直線候補
点P11,P12,・・・・;P21,P22,・・・・を結ぶことによ
って得られる直線部分を図示した図である。すなわち、
道路の両側部、路側白線43、及び他車両46,47,
48の輪郭が、直線部分L1,L2,・・・・として図示さ
れている。なお、この図はあくまでも道路消失点の説明
のための仮想的な図であって、実際に直線部分の表示さ
れた画像を求めるわけではない。 (4) 道路消失点算出処理 道路消失点算出処理は、直線候補点抽出処理によって得
られた直線候補点を用いて、図5に示される道路消失点
NPを求める処理である。図5から明らかなように、道
路消失点を求める処理は、直線候補点P11,P12,・・・
・;P21,P22,・・・・を連結する直線の交点を求める処
理にほかならない。FIG. 5 illustrates the straight line portion obtained by connecting the straight line candidate points P 11 , P 12 , ..., P 21 , P 22 ,. It is a figure. That is,
Both sides of the road, the roadside white line 43, and other vehicles 46, 47,
The contours of 48 are shown as straight line portions L1, L2, ... Note that this diagram is merely a virtual diagram for explaining the vanishing point of the road, and the image in which the straight line portion is displayed is not actually obtained. (4) Road vanishing point calculation process The road vanishing point calculation process is a process of obtaining the road vanishing point NP shown in FIG. 5 using the straight line candidate points obtained by the straight line candidate point extraction process. As is clear from FIG. 5, the processing for obtaining the road vanishing point is performed by the straight line candidate points P 11 , P 12 , ...
·; P 21, P 22, none other than the process of obtaining an intersection of a straight line connecting ....
【0043】この道路消失点算出処理では、直線候補点
の座標列に対して、Hough変換処理を2回繰り返して施
すことによって道路消失点の初期値を求める。そして、
それ以後は、時間のかかるHough変換処理をすることな
く、簡単な方法で道路消失点を定期的に更新していく。
まず、Hough変換について概説する。図6(a) 及び図6
(b) はHough変換を説明するための図である。図6(a)
に示すように、複数の点(xi ,yi )(ただし、i=
1,2,3,・・・・)が直線x=ay+bの上に存在して
いれば、任意のiに対して、xi =ayi +bが成立す
る。この式を(a,b)を変数とみなしてab座標平面
で考えると、この座標平面での直線の式は、b=−yi
a+xi となる。全てのiについてのab平面上におけ
るグラフ化は、図6(b) に示されている。すなわち、複
数のiに対応した複数の直線群は、ある一点(a0 ,b
0 )を通る。これは、複数の点(xi ,yi )がいずれ
も1つの直線上に存在していることの当然の帰結であ
る。In this road vanishing point calculation process, the initial value of the road vanishing point is obtained by repeatedly performing the Hough conversion process twice on the coordinate sequence of the straight line candidate points. And
After that, the road vanishing point is regularly updated by a simple method without performing time-consuming Hough conversion processing.
First, the Hough transform will be outlined. 6 (a) and 6
(b) is a figure for explaining Hough conversion. Figure 6 (a)
, A plurality of points (x i , y i ) (where i =
, 1, 2, 3, ...) Exist on the straight line x = ay + b, x i = ay i + b holds for any i. When this equation is considered on the ab coordinate plane by regarding (a, b) as a variable, the equation for a straight line on this coordinate plane is b = −y i
It becomes a + x i . The graphing on the ab plane for all i is shown in FIG. 6 (b). That is, a plurality of straight line groups corresponding to a plurality of i are at a certain point (a 0 , b
Pass 0 ). This is a natural consequence that a plurality of points (x i , y i ) all exist on one straight line.
【0044】そこで、ab座標平面を充分に細かな格子
升目に区画し、(xi ,yi )に対応する直線がある格
子升目を通過するものであるときに、その格子升目の計
数を1だけ増やす。この操作を全ての(xi ,yi )関
して行う操作がHough変換である。前記の場合、
(a0 ,b0 )の点の格子升目の計数値が最大となるは
ずである。そこで、ab座標平面上で計数値が最大の格
子升目を求めれば、(a0 ,b0)が求まる。したがっ
て、複数の点(xi ,yi )を通る直線の方程式は、x
=a0 y+b0 と定めることができる。このように、H
ough変換は、画像処理の分野において、複数の点
(xi ,yi )を通る直線を求める際に用いられる。Therefore, when the ab coordinate plane is divided into sufficiently fine lattice squares and a straight line corresponding to (x i , y i ) passes through a lattice square, the count of the lattice squares is set to 1. Just increase. The Hough transform is an operation that performs this operation for all (x i , y i ). In the above case,
The count value of the grid of the points (a 0 , b 0 ) should be the maximum. Therefore, if the grid square having the largest count value on the ab coordinate plane is obtained, (a 0 , b 0 ) can be obtained. Therefore, the equation of a straight line passing through a plurality of points (x i , y i ) is x
= A 0 y + b 0 . Thus, H
The ough transform is used in the field of image processing when obtaining a straight line passing through a plurality of points (x i , y i ).
【0045】図7はHough変換を2回繰り返して道路消
失点を求めるための処理を説明するための図である。図
7(a) には車載カメラ11によって撮像された画面に対
応した座標平面であるxy座標平面が示されており、図
7(b) には1回目のHough変換における変換座標(第1
の変換座標)平面であるab座標平面が示されており、
図7(c) には2回目のHough変換における変換座標(第
2の変換座標)平面であるmn座標平面が示されてい
る。FIG. 7 is a diagram for explaining a process for obtaining the road vanishing point by repeating the Hough transform twice. FIG. 7 (a) shows an xy coordinate plane which is a coordinate plane corresponding to the screen imaged by the vehicle-mounted camera 11, and FIG. 7 (b) shows the transformed coordinate (first coordinate) in the first Hough transform.
The ab coordinate plane, which is the (transformed coordinate of)
FIG. 7C shows an mn coordinate plane which is a transformed coordinate (second transformed coordinate) plane in the second Hough transform.
【0046】図7(a) に示すように、直線候補点P11,
P12,・・・・;P21,P22,;P31,P32,・・・・がそれぞ
れ属する直線L1,L2,L3は、道路消失点(x0 ,
y0)で交わると考えられる。座標(x0 ,y0 )を通
る直線の方程式は、下記(4)式のとおりである。なお、
Cは定数である。 x=C(y−y0 )+x0 =Cy+(x0 −Cy0 ) (4) そこで、a=C、b=x0 −Cy0 とおくと、変換式x
=ay+bが得られ、a,bの関係は下記(5) 式で表さ
れる。As shown in FIG. 7A, straight line candidate points P 11 ,
P 12, ····; P 21, P 22,; P 31, P 32, the straight line L1, L2, L3 which ... belongs respectively, the road vanishing point (x 0,
It is thought that they intersect at y 0 ). The equation of the straight line passing through the coordinates (x 0 , y 0 ) is as the following equation (4). In addition,
C is a constant. x = C (y-y 0 ) + x 0 = Cy + (x 0 -Cy 0) (4) Therefore, when putting a a = C, b = x 0 -Cy 0, transformation equation x
= Ay + b is obtained, and the relationship between a and b is expressed by the following equation (5).
【0047】 b=−ay0 +x0 (5) 直線候補点P11,P12,・・・・;P21,P22,;P31,P
32,・・・・の座標に対してHough変換を施した場合、ab
座標平面では、複数の直線L1,L2,L3に対応し
て、計数値が極大値をとる格子升目が複数個得られるは
ずである。しかし、直線L1,L2,L3は一点
(x0 ,y0 )で交わるのであるから、極大値をとる格
子升目D1 ,D2 ,D3 は、前記(5) 式の直線上になけ
ればならない(図7(b) 参照)。[0047] b = -ay 0 + x 0 ( 5) line candidate point P 11, P 12, ····; P 21, P 22,; P 31, P
When Hough transformation is applied to the coordinates of 32 , ...
On the coordinate plane, a plurality of grids having the maximum count value should be obtained corresponding to the plurality of straight lines L1, L2, L3. However, since the straight lines L1, L2, and L3 intersect at one point (x 0 , y 0 ), the lattice cells D 1 , D 2 , and D 3 having the maximum value must be on the straight line of the above formula (5). It does not happen (see Figure 7 (b)).
【0048】そこで、極大値をとる格子升目D1 ,
D2 ,D3 の座標に対して、下記(6) 式の変換式を用い
て、2回目のHough変換をmn座標平面上に行う。 b=ma+n (6) ab座標平面において計数値が極大となる格子升目
D1 ,D2 ,D3 は(5) 式の直線上にあるから、mn座
標平面では、m=−y0 、n=x0 に対応した格子升目
の計数値が最大となる。これにより、xy座標平面にお
ける道路消失点nPの座標(x0 ,y0 )を求めること
ができる。Therefore, the lattice squares D 1 having the maximum value,
The second Hough transformation is performed on the mn coordinate plane for the coordinates of D 2 and D 3 by using the transformation equation (6) below. b = ma + n (6) Since the lattice cells D 1 , D 2 and D 3 having the maximum count value on the ab coordinate plane are on the straight line of the equation (5), m = −y 0 , n on the mn coordinate plane. The count value of the grid squares corresponding to = x 0 becomes the maximum. As a result, the coordinates (x 0 , y 0 ) of the road vanishing point nP on the xy coordinate plane can be obtained.
【0049】このようにして求められた道路消失点と道
路平行線とは、Hough変換処理を2回行って求めたもの
であるが、Hough変換処理をするには処理時間が多くか
かるので、車両走行中、毎回Hough変換処理をして求め
る訳にはいかない。そこで、2回目以後では、多少精度
が低下しても、簡単に素早く道路消失点と道路平行線と
を求める方法を採用する。The road vanishing point and the road parallel line thus obtained are obtained by performing the Hough conversion process twice, but since the Hough conversion process takes a lot of processing time, the vehicle It is not possible to perform the Hough conversion process every time while running. Therefore, after the second time, a method of simply and quickly obtaining the road vanishing point and the road parallel line is adopted even if the accuracy is slightly lowered.
【0050】図8(a),(b) は、この簡易な道路消失点算
出方法を説明する原理図であり、車載カラーカメラ11
によって撮像された画像に基づいて直線候補点を抽出
し、この画面に、前回の周期で求められた道路平行線を
仮想的に当てはめ(図8(a) 参照)、それらの道路平行
線の近傍にある直線候補点をそれぞれ数点特定する。そ
れから、これらの特定された数点を通る新しい道路平行
線L1 ,L2 を算出して(図8(b) 参照)、今回の周期
での道路平行線とし、それらの交点を求めて道路消失点
とするのである。8 (a) and 8 (b) are principle diagrams for explaining this simple road vanishing point calculation method.
The straight line candidate points are extracted based on the image captured by, and the road parallel lines obtained in the previous cycle are virtually applied to this screen (see Fig. 8 (a)), and the vicinity of those road parallel lines is extracted. A few straight line candidate points are identified. Then, the new road parallel lines L 1 and L 2 that pass through these specified points are calculated (see Fig. 8 (b)), set as the road parallel lines in this cycle, and their intersections are obtained to determine the roads. It is the vanishing point.
【0051】図9−図12は、画像認識処理部15(図
1参照)において実行される簡易な道路消失点算出方法
を説明するためのフローチャートである。まず、車載カ
ラーカメラ11で撮像される最初のカラー画像のデータ
を取り込み(ステップS21)、図4において説明した
ように直線候補点を抽出する(ステップS22)。次
に、これらの直線候補点に基づいて前述したHough変換
処理を2回行い(ステップS23)、道路平行線を特定
し、その係数(傾き及び切片)と、道路消失点の座標を
求め、記憶する(ステップS24)。9 to 12 are flowcharts for explaining a simple road vanishing point calculation method executed by the image recognition processing section 15 (see FIG. 1). First, the data of the first color image captured by the vehicle-mounted color camera 11 is loaded (step S21), and the straight line candidate points are extracted as described in FIG. 4 (step S22). Next, the above-mentioned Hough conversion process is performed twice based on these straight line candidate points (step S23), the road parallel line is specified, the coefficient (slope and intercept) and the coordinates of the road vanishing point are obtained and stored. Yes (step S24).
【0052】なお、道路平行線の係数が正の場合には、
その道路平行線が車両の左側の道路平行線とされ、係数
が負のときにはその道路平行線が車両の右側の道路平行
線とされる。さらに次の画像を取り込む(ステップS2
5)。ここで取り込む画面は、処理時間の短縮のため、
車載カメラの全視野の画面でなく、例えば視野の下半分
の画面でもよい。視野の上半分の画面には、直線候補点
が存在しない可能性が高いからである。そしてこの画像
に基づいて直線候補点を抽出する(ステップS26)。
そして、ステップS24で、すなわち最初の周期で記憶
された道路平行線の中から符号の異なる道路平行線を取
り出しそれぞれL1 ,L2 とする(ステップS27)。
道路平行線が1本や0本でなく、符号の異なるものが2
本抽出できたとする理由は、Hough変換処理を行ってい
るので、道路平行線が多数本抽出できている可能性が高
いからである。When the coefficient of the road parallel line is positive,
The road parallel line is the left road parallel line of the vehicle, and when the coefficient is negative, the road parallel line is the right road parallel line of the vehicle. Further, the next image is captured (step S2
5). The screen captured here is for shortening the processing time,
The screen of the lower half of the visual field may be used instead of the screen of the entire visual field of the vehicle-mounted camera. This is because there is a high possibility that there are no straight line candidate points on the screen in the upper half of the field of view. Then, the straight line candidate points are extracted based on this image (step S26).
Then, in step S24, that is, the road parallel lines with different signs are extracted from the road parallel lines stored in the first cycle and set as L 1 and L 2 , respectively (step S27).
The number of parallel roads is not 1 or 0, but 2 with different signs
The reason why the main extraction can be performed is that it is highly possible that a large number of parallel road lines can be extracted because the Hough conversion process is performed.
【0053】次に、簡易な道路消失点算出方法を実行す
る。まず、ステップS26で抽出された直線候補点を1
点取り出す(ステップS31)。そしてこの1点と道路
平行線L1 との垂直距離を求め、この距離が基準値以内
であるかどうかを判定する(ステップS32)。基準値
から出ていれば、ステップS31に戻り、他の直線候補
点を取り出し、同様のチェックをする。もし基準値に入
っていれば、その点を採用する(ステップS34)。採
用された点が3点になれば(ステップS35)、それら
の3点をa1 ,b1 ,c1 とおき登録する(ステップS
36)。Next, a simple road vanishing point calculation method is executed. First, the straight line candidate points extracted in step S26 are set to 1
Points are extracted (step S31). Then, the vertical distance between this one point and the road parallel line L 1 is obtained, and it is determined whether or not this distance is within the reference value (step S32). If it is out of the reference value, the process returns to step S31, another straight line candidate point is extracted, and the same check is performed. If it is within the reference value, that point is adopted (step S34). Once point is adopted to 3-point (step S35), their three points a 1, b 1, c 1 Distant register (step S
36).
【0054】もし基準値に入っている点が3点なけれ
ば、前の周期と今の周期で画面が激変し、道路平行線L
1 が飛んでしまったという判断をすることができるの
で、道路平行線L1 については簡易な道路消失点算出方
法はとらない。そして、他の道路平行線L2 について簡
易な道路消失点算出方法を実行する(ステップS41以
下)。If there are not 3 points in the reference value, the screen changes drastically in the previous cycle and the current cycle, and the road parallel line L
Since it can be determined that 1 has skipped, a simple road vanishing point calculation method is not taken for the road parallel line L 1 . Then, a simple road vanishing point calculation method is executed for another road parallel line L 2 (step S41 and thereafter).
【0055】3点が見つかればステップS37に進み、
登録された3点a1 ,b1 ,c1 のうち、点a1 ,b1
を結ぶ直線の傾きと、点b1 ,c1 を結ぶ直線の傾きを
求め、これらの傾きの差が一定範囲内に入っているかど
うかを調べる。入っていれば、ステップS38に進み、
三角形a1 ,b1 ,c1 の重心を求め、M1 とする。そ
して、重心M1 を通り、点a1 ,b1 を結ぶ直線の傾き
と点b1 ,c1 を結ぶ直線の傾きの平均値を傾きとする
直線を新しい道路平行線L1 として記憶する(ステップ
S39)。If three points are found, the process proceeds to step S37,
Of the registered three points a 1 , b 1 , c 1 , points a 1 , b 1
The slope of the straight line connecting the points and the slope of the straight line connecting the points b 1 and c 1 are obtained, and it is checked whether the difference between these slopes is within a certain range. If yes, go to step S38,
The center of gravity of the triangles a 1 , b 1 and c 1 is calculated and set as M 1 . Then, a straight line passing through the center of gravity M 1 and having an average value of the slopes of the straight line connecting the points a 1 and b 1 and the straight line connecting the points b 1 and c 1 is stored as a new road parallel line L 1 ( Step S39).
【0056】次に、道路平行線L2 について同じ処理を
繰り返す(ステップS41以下)。すなわち、道路平行
線L2 近傍の直線候補点3点を探し出し、3点見つかれ
ば(ステップS45)、それらの3点a2 ,b2 ,c2
を登録する(ステップS46)。そしてこれらの3点を
通る直線を新しい道路平行線L2 として記憶する(ステ
ップS49)。Next, the same processing is repeated for the road parallel line L 2 (step S41 and thereafter). That is, finding the line candidate points 3 points of the road parallel line L 2 vicinity, if found three points (step S45), their three points a 2, b 2, c 2
Is registered (step S46). Then, the straight line passing through these three points is stored as a new road parallel line L 2 (step S49).
【0057】次に、ステップS51で、新しい道路平行
線L1 又はL2 が求まったかどうかを判断する。この場
合、 道路平行線L1 及びL2 が両方求まった。 道路平行線L1 のみ求まった。 道路平行線L2 のみ求まった。Next, in step S51, it is determined whether or not a new road parallel line L 1 or L 2 is obtained. In this case, both road parallel lines L 1 and L 2 are obtained. Only the parallel line L 1 was found. Only the parallel line L 2 was found.
【0058】道路平行線L1 ,L2 のいずれも求まら
なかった。 の4つのケースが考えられる。道路平行線L1 及びL2
が両方求まっているの場合は、道路平行線L1 と道路
平行線L2 との交点を求め、この交点を新しい道路消失
点として記憶する(ステップS52)。以上のようにし
て求められた道路平行線、道路消失点は次に説明する車
載カメラの姿勢パラメータ算出処理において用いられ
る。Neither road parallel lines L 1 nor L 2 were found. There are four possible cases. Road parallel lines L 1 and L 2
If both are obtained, the intersection of the road parallel line L 1 and the road parallel line L 2 is obtained, and this intersection is stored as a new road vanishing point (step S52). The road parallel lines and the road vanishing points obtained as described above are used in the attitude parameter calculation process of the vehicle-mounted camera described below.
【0059】そして次の周期で画像を取り込み(ステッ
プS53)、この画像に基づいて直線候補点を抽出する
(ステップS54)。この後、道路平行線L1 及びL2
が両方求まっているので、求められた道路平行線L1 ,
L2 に基づいて、ステップS31以下の処理を繰り返す
ことになる。の場合は、道路消失点は求めること
ができないので、ステップS53,54を経てステップ
S23に戻り、Hough変換処理をもう一度行って道路平
行線L1 と道路平行線L2 とを求める作業からやり直す
ことになる。ただし、の場合は、少なくとも一方の
道路平行線が求まっているので、この求まっている1本
の道路平行線の情報と、前処理周期において求められた
情報に基づいて、次に説明するように、車載カメラの姿
勢パラメータの算出処理を行う。Then, an image is taken in at the next cycle (step S53), and straight line candidate points are extracted based on this image (step S54). After this, the parallel lines L 1 and L 2
Since both are obtained, the obtained road parallel line L 1 ,
Based on L 2 , the processing from step S31 is repeated. In this case, since the road vanishing point cannot be obtained, the process returns to step S23 through steps S53 and 54, the Hough conversion process is performed again, and the process of obtaining the road parallel lines L 1 and L 2 is performed again. become. However, in the case of, since at least one road parallel line is obtained, as described below based on the obtained information of one road parallel line and the information obtained in the preprocessing cycle. , The process of calculating the posture parameter of the vehicle-mounted camera is performed.
【0060】以上の処理を要約すると、前の周期で求め
られた左右2本の道路平行線の近傍の直線候補点をそれ
ぞれ数個(上の処理では各3個)特定し、それらの直線
候補点を通る道路平行線を求めて、本周期での道路平行
線とし、それらの道路平行線の幾何学的交点を求めて本
周期での道路消失点とする。以下同様の手順を繰り返し
行い、道路平行線及び道路消失点を更新していく。In summary of the above processing, a few straight line candidate points (three in the above processing) near the two road parallel lines on the left and right obtained in the previous cycle are specified, and these straight line candidates are identified. A road parallel line that passes through the points is determined to be a road parallel line in this cycle, and a geometric intersection of these road parallel lines is determined to be a road vanishing point in this cycle. The same procedure is repeated thereafter to update the road parallel lines and road vanishing points.
【0061】このように、前述したようなHough変換処
理を繰り返すのではなく、前回で処理結果を参照しなか
ら簡単な計算をして、道路消失点を求めることができる
ので、処理周期ごとに迅速確実に、道路消失点を求め更
新していくことができる。なお、この簡易な道路消失点
算出処理における、ステップS37−39及びS47−
49の道路平行線の算出方法は、この方法に限定される
ものではない。道路平行線は、例えばルーチン化された
最小二乗法を利用しても簡単に求めることができる。As described above, the road vanishing point can be obtained by performing a simple calculation without referring to the processing result in the previous time, instead of repeating the Hough conversion processing as described above. Road vanishing points can be obtained and updated quickly and reliably. In this simple road vanishing point calculation process, steps S37-39 and S47-
The calculation method of the 49 parallel road lines is not limited to this method. The road parallel lines can be easily obtained by using, for example, a routine least square method.
【0062】また、ステップS36,46では道路平行
線の近傍から3点ずつ採用しているが、3点に限られる
ものではなく、2点でも4点以上でもよい。しかし、あ
まり少ないと道路平行線の精度が低下し、あまり多いと
道路平行線を求められないケースが多くなる。 (5) 車載カメラの姿勢パラメータ算出処理 この処理では、道路に対する車載カメラ11の姿勢を表
す姿勢パラメータを求める。姿勢パラメータには、鉛直
軸まわりの回転角であるヨー角、車両の進行方向まわり
の回転角であるロール角、水平面に沿うとともに進行方
向と直交している方向のまわりの回転角であるピッチ
角、及び道路に平行な所定の基準線からの車載カメラの
横ずれ距離(道路に対する横方向の相対位置)が含まれ
る。Further, in steps S36 and S46, three points are adopted from the vicinity of the road parallel line, but the number of points is not limited to three, and two points or four points or more may be used. However, if the number is too small, the accuracy of the road parallel lines will decrease, and if the number is too large, there are many cases where the road parallel lines cannot be obtained. (5) In-vehicle camera attitude parameter calculation process In this process, an attitude parameter representing the attitude of the in-vehicle camera 11 with respect to the road is obtained. The attitude parameters include a yaw angle that is a rotation angle around the vertical axis, a roll angle that is a rotation angle around the traveling direction of the vehicle, and a pitch angle that is a rotation angle around a direction that is along the horizontal plane and orthogonal to the traveling direction. , And the lateral displacement distance of the vehicle-mounted camera from a predetermined reference line parallel to the road (horizontal relative position with respect to the road).
【0063】車載カメラ11は、所定の姿勢で正確に車
両に取り付けるが、取付け誤差の発生は回避できない。
そこで、車載カメラの姿勢パラメータ算出処理では、車
載カメラ11の車両に対する取付け姿勢も併せて算出さ
れる。まず、座標系について説明する。道路座標系XY
Zと、車載カメラ座標系X′Y′Z′とを定義する。車
両の移動によらずに道路座標系の原点に車両があるもの
とし、車両の進行方向に沿った方向にY軸をとり(車両
の進行方向を+Yとする)、Y軸方向に対して右方向に
X軸をとる。また、道路に対する鉛直方向にZ軸をと
る。車載カメラ座標系と道路座標系とは原点を共有して
いる。車載カメラ11の撮像面は、XZ平面にほぼ平行
で原点から距離F(Fは車載カメラ11のレンズの焦点
距離)のところにあるものとする。The on-vehicle camera 11 is accurately mounted on the vehicle in a predetermined posture, but an installation error cannot be avoided.
Therefore, in the attitude parameter calculation process of the vehicle-mounted camera, the mounting attitude of the vehicle-mounted camera 11 with respect to the vehicle is also calculated. First, the coordinate system will be described. Road coordinate system XY
Z and the in-vehicle camera coordinate system X'Y'Z 'are defined. It is assumed that the vehicle is at the origin of the road coordinate system regardless of the movement of the vehicle, the Y axis is taken in the direction along the traveling direction of the vehicle (the traveling direction of the vehicle is + Y), and the direction is right with respect to the Y axis direction. Take the X axis in the direction. Further, the Z axis is taken in the vertical direction with respect to the road. The vehicle-mounted camera coordinate system and the road coordinate system share the origin. It is assumed that the image pickup surface of the vehicle-mounted camera 11 is substantially parallel to the XZ plane and is at a distance F (F is the focal length of the lens of the vehicle-mounted camera 11) from the origin.
【0064】X,Y,Z軸のまわりの回転角をそれぞれ
ピッチ角θ、ロール角φ、ヨー角ψとし、いずれも右ね
じの方向を正方向とする。このとき、車載カメラの取付
け誤差又は車両の旋回に伴う車載カメラの座標系の変換
式は、下記(7) 式で与えられる。ただし、車載カメラ1
1のレンズの主軸方向にY′軸をとり、撮像面と平行に
X′軸及びZ′軸をとるものとする。Rotation angles around the X, Y, and Z axes are a pitch angle θ, a roll angle φ, and a yaw angle ψ, respectively, and the direction of the right-hand screw is the positive direction. At this time, the conversion formula of the coordinate system of the vehicle-mounted camera due to the mounting error of the vehicle-mounted camera or the turning of the vehicle is given by the following equation (7). However, in-vehicle camera 1
It is assumed that the Y ′ axis is taken in the principal axis direction of the first lens and the X ′ axis and the Z ′ axis are taken in parallel with the imaging surface.
【0065】[0065]
【数1】 [Equation 1]
【0066】各回転角が微小であれば、前記(7) 式は、
下記(8) 式の近似式に変形できる。If each rotation angle is small, the equation (7) is
It can be transformed into an approximation of the following equation (8).
【0067】[0067]
【数2】 [Equation 2]
【0068】点P(X,Y,Z)が撮像面上の点p′
(x′,y′)に投影されるとき、次式が成立する。た
だし、座標(x′,y′)は撮像面上における2次元座
標である。x′軸は車載カメラ座標系のX′軸方向にと
られ、y′軸は車載カメラ座標系のZ′軸方向にとられ
ている。 x′=F・X′/Y′ (9) y′=F・Z′/Y′ (10) したがって、前記(7) 式並びに前記(9) 式及び(10)式よ
り、下記(11)式及び(12)式が得られる。A point P (X, Y, Z) is a point p'on the image pickup surface.
When projected onto (x ', y'), the following equation holds. However, the coordinates (x ', y') are two-dimensional coordinates on the imaging surface. The x'axis is taken in the X'axis direction of the vehicle-mounted camera coordinate system, and the y'axis is taken in the Z'axis direction of the vehicle-mounted camera coordinate system. x ′ = F · X ′ / Y ′ (9) y ′ = F · Z ′ / Y ′ (10) Therefore, from the above equation (7) and the above equations (9) and (10), the following (11) Expressions and Expression (12) are obtained.
【0069】 x′=F(R11X+R12Y+R13Z)/(R21X+R22Y+R23Z) (11) y′=F(R31X+R32Y+R33Z)/(R21X+R22Y+R23Z) (12) 特に前記(8) 式の近似が成り立つときは、下記(13)式及
び(14)式が得られる。X ′ = F (R 11 X + R 12 Y + R 13 Z) / (R 21 X + R 22 Y + R 23 Z) (11) y ′ = F (R 31 X + R 32 Y + R 33 Z) / (R 21 X + R 22 Y + R 23 Z) (12) In particular, when the above-mentioned equation (8) is approximated, the following equations (13) and (14) are obtained.
【0070】 x′=F(X+ψY−φZ)/(−ψX+Y+θZ) (13) y′=F(φX−θY+Z)/(−ψX+Y+θZ) (14) 一方、車載カメラの姿勢パラメータは、ピッチ角θ、ロ
ール角φ及びヨー角ψに関して、それぞれ次のように分
割される。 ピッチ角θ:(道路に対する車両のピッチ角θ0 )+
(車両に対する車載カメラ11の取付けピッチ角θ1 ) ロール角φ:(道路に対する車両のロール角φ0 )+
(車両に対する車載カメラ11の取付けロール角φ1 ) ヨー角 ψ:車両に対する車載カメラ11の取付けヨー
角ψ1 なお、ヨー角ψに道路に対する車両のヨー角ψ0 が含ま
れていないのは、前述のように道路座標系のY軸を車両
の進行方向に沿った方向にとったからである。X ′ = F (X + ψY−φZ) / (− ψX + Y + θZ) (13) y ′ = F (φX−θY + Z) / (− ψX + Y + θZ) (14) On the other hand, the attitude parameter of the vehicle-mounted camera is the pitch angle θ, The roll angle φ and the yaw angle ψ are divided as follows. Pitch angle θ: (Pitch angle θ 0 of vehicle with respect to road) +
(Mounting pitch angle θ 1 of the vehicle-mounted camera 11 to the vehicle) Roll angle φ: (Roll angle φ 0 of vehicle to the road) +
(Mounting roll angle φ 1 of vehicle-mounted camera 11 on vehicle) Yaw angle ψ: Yaw angle ψ 1 of vehicle-mounted camera 11 mounted on vehicle The yaw angle ψ does not include the yaw angle ψ 0 of the vehicle on the road. This is because the Y axis of the road coordinate system is set in the direction along the traveling direction of the vehicle as described above.
【0071】いま、車両が道路に対してψ0 の角度をな
す方向に走行しているものとし、道路は充分遠くまで直
線であるものとする。また、道路バンクの傾きは無視で
きるとする。そして、道路消失点の撮像面への写像点の
座標が(x0 ,y0 )であるとする。この写像点の座標
は、前記の道路消失点算出処理によって求められた道路
消失点(図9、ステップS24)に他ならない。Now, it is assumed that the vehicle is traveling in a direction forming an angle of ψ 0 with respect to the road, and the road is a straight line far enough. Also, the slope of the road bank can be ignored. Then, it is assumed that the coordinates of the mapping point of the road vanishing point on the imaging surface are (x 0 , y 0 ). The coordinates of this mapping point are none other than the road vanishing point (FIG. 9, step S24) obtained by the road vanishing point calculation process.
【0072】この写像点の座標x0 ,y0 と、車載カメ
ラの姿勢パラメータであるピッチ角θ、ロール角φ及び
ヨー角ψとの関係を求めるには、前記(11)式、(12)式
に、Y 0 =∞を代入すればよい。 x0 =R12F/R22 y0 =R32F/R22 ここで、車両が道路に対してψ0 の角度をなす方向に走
行しているので、ψ→ψ0 +ψ1 とおく。道路に対する
車両のロール角φ0 、ピッチ角θ0 、車載カメラ11の
取付け角φ1 ,θ1 が微小であるとすれば、 R12≒ sin(ψ0 +ψ1 ) R22≒1 R32≒(φ0 +φ1 ) sin(ψ0 +ψ1 )−(θ0 +θ
1 )cos (ψ0 +ψ1 ) という近似が成り立つ。したがって、下記(15)式及び(1
6)式が得られる。The coordinate x of this mapping point0, Y0And the in-vehicle turtle
Pitch angle θ, roll angle φ and
To obtain the relationship with the yaw angle ψ, the above equations (11) and (12) are used.
To Y 0You can substitute = ∞. x0= R12F / Rtwenty two y0= R32F / Rtwenty two Where the vehicle is0Run in the direction of
Since I am doing, ψ → ψ0+ Ψ1far. Against the road
Vehicle roll angle φ0, Pitch angle θ0Of the in-vehicle camera 11
Mounting angle φ1, Θ1If is small, R12≈ sin (ψ0+ Ψ1) Rtwenty two≈ 1 R32≈ (φ0+ Φ1) Sin (ψ0+ Ψ1)-(Θ0+ Θ
1) Cos (ψ0+ Ψ1) Holds true. Therefore, the following equation (15) and (1
6) is obtained.
【0073】 x0 ≒ sin(ψ0 +ψ1 )F (15) y0 ≒{( φ0 +φ1 )sin (ψ0 +ψ1 ) −( θ0 +θ1 ) cos(ψ0 +ψ1 ) }F (16) さらに、ψ0 ,ψ1 が微小であるとすれば、下記の(17)
(18)式を得る。 x0 =(ψ0 +ψ1 )F=ψF (17) y0 =−(θ0 +θ1 )F=−θF (18) これらの(17)(18)式は、道路消失点の撮像面上の座標
(x0 ,y0 )を求めれば、道路に対する車載カメラの
姿勢パラメータであるピッチ角θ(=θ0 +θ1)及び
ヨー角ψ(=ψ0 +ψ1 )を求めることができることを
示している。X 0 ≈ sin (ψ 0 + ψ 1 ) F (15) y 0 ≈ {(φ 0 + φ 1 ) sin (ψ 0 + ψ 1 ) − (θ 0 + θ 1 ) cos (ψ 0 + ψ 1 )} F (16) Furthermore, if ψ 0 and ψ 1 are minute, then (17)
Equation (18) is obtained. x 0 = (ψ 0 + ψ 1 ) F = ψF (17) y 0 = − (θ 0 + θ 1 ) F = −θF (18) These expressions (17) and (18) are on the image plane of the road vanishing point. It is shown that the pitch angle θ (= θ 0 + θ 1 ) and the yaw angle ψ (= ψ 0 + ψ 1 ) that are the attitude parameters of the vehicle-mounted camera with respect to the road can be calculated by finding the coordinates (x 0 , y 0 ) of ing.
【0074】一方、姿勢パラメータには、ピッチ角θ、
ヨー角ψ以外に、ロール角φと道路に平行な所定の基準
線からの車載カメラの横ずれ距離Aとがあるので、これ
らのロール角φと横ずれ距離Aとを求めなければならな
い。これには、撮像面上の道路平行線の位置、形状を利
用する。道路平行線の高さZは、道路から車載カメラ1
1までの高さがhである場合、−hとなる。また、道路
に平行な基準線に対する車載カメラ11の道路の法線方
向へのずれをAとすると、車両が道路とψ0 ずれた方向
に走行していれば、下記(19)式が成り立つ。ここで、Y
軸を車両の進行方向に沿った方向にとり、Y軸方向に対
して直角方向にX軸をとっていることは、前に述べたと
おりである。On the other hand, the attitude parameters include the pitch angle θ,
In addition to the yaw angle ψ, there are the roll angle φ and the lateral displacement distance A of the vehicle-mounted camera from a predetermined reference line parallel to the road. Therefore, the roll angle φ and the lateral displacement distance A must be obtained. For this purpose, the position and shape of the road parallel line on the imaging surface are used. The height Z of the road parallel line is measured from the road by the in-vehicle camera 1.
If the height up to 1 is h, it becomes -h. Further, assuming that the deviation of the vehicle-mounted camera 11 in the normal direction of the road with respect to the reference line parallel to the road is A, the following equation (19) is established if the vehicle is traveling in a direction deviating from the road by ψ 0 . Where Y
As described above, the axis is along the traveling direction of the vehicle and the X axis is perpendicular to the Y axis direction.
【0075】 X=A/cosψ0 +Y tanψ0 ≒A+Yψ0 (19) したがって、前記(11)式及び(12)式は、下記(20)式及び
(21)式にそれぞれ書き換えられる。[0075] X = A / cosψ 0 + Y tanψ 0 ≒ A + Yψ 0 (19) Therefore, the equation (11) and (12), the following equation (20) and
It can be rewritten as equation (21).
【0076】[0076]
【数3】 [Equation 3]
【0077】ただし、前記(11)式及び(12)式のψは、ψ
1 とおいた。これより、Yを消去すると、撮像面上の道
路平行線を表わす式である下記(22)式を得る。However, ψ in the equations (11) and (12) is ψ
I set it to 1 . From this, when Y is deleted, the following equation (22), which is an equation representing a road parallel line on the imaging surface, is obtained.
【0078】[0078]
【数4】 [Equation 4]
【0079】もし、道路平行線が2本得られ、これらの
間隔Bが既知であれば、前記(22)式と同様な下記(23)及
び(24)式並びに(25)式が得られる。ただし、係数a,b
及びAに付した添字「1」,「2」は、それが付与され
た係数が2本の道路平行線のそれぞれに対応するもので
あることを表す。If two road parallel lines are obtained and the distance B between them is known, the following equations (23), (24) and (25) similar to the equation (22) are obtained. However, the coefficients a and b
The subscripts "1" and "2" attached to A and A indicate that the coefficients assigned thereto correspond to two parallel road lines, respectively.
【0080】[0080]
【数5】 [Equation 5]
【0081】前記(23)式及び(24)式のうち、a1 , a2
に関する式を利用して解くと、下記(26)式、(27)式及び
(28)式が得られ、それぞれA1 , A2 及びφが求まる。Among the expressions (23) and (24), a 1 , a 2
Solving using the equations for, the following equations (26), (27) and
Equation (28) is obtained, and A 1 , A 2 and φ are obtained, respectively.
【0082】[0082]
【数6】 [Equation 6]
【0083】なお、前記(23)(24)式において、θ,φ,
ψ0 ,ψ1 は微小であるとしたので、これらの2次の成
分(θ2 ,θφ等)を無視すれば、 a1 =(A1 +φh)/(φA1 −h) a2 =(A2 +φh)/(φA2 −h) が得られる。これらの式を解いて、A1 ,A2 を求める
ことができる。In the equations (23) and (24), θ, φ,
Since ψ 0 and ψ 1 are assumed to be minute, if these secondary components (θ 2 , θφ, etc.) are ignored, a 1 = (A 1 + φh) / (φA 1 −h) a 2 = ( A 2 + φh) / (φA 2 -h) is obtained. By solving these equations, A 1 and A 2 can be obtained.
【0084】A1 =−(a1 +φ)h/(1−φa1 ) A2 =−(a2 +φ)h/(1−φa2 ) これらの式は、ロール角φが分かっていれば、横ずれ距
離A1 ,A2 を近似的に求めることができることを示し
ている。特に、車両が真っ直ぐに走行していてロール角
φ0 を無視すると、下記の(29)(30)式が得られる。A 1 =-(a 1 + φ) h / (1-φa 1 ) A 2 =-(a 2 + φ) h / (1-φa 2 ) These equations are obtained if the roll angle φ is known. , The lateral deviation distances A 1 and A 2 can be approximately obtained. In particular, if the vehicle is traveling straight and the roll angle φ 0 is ignored, the following equations (29) and (30) are obtained.
【0085】 A1 =−(a1 +φ1 )h/(1−φ1 a1 ) (29) A2 =−(a2 +φ1 )h/(1−φ1 a2 ) (30) さてここで、実際の直線道路で車両を走らせてみて、道
路消失点(x0 ,y0)のデータを求めてみる。そして
これらのデータを前記(17),(18)式に代入すれば、車両
に対する車載カメラのヨー角ψやピッチ角θを求めるこ
とができる。A 1 =-(a 1 + φ 1 ) h / (1-φ 1 a 1 ) (29) A 2 =-(a 2 + φ 1 ) h / (1-φ 1 a 2 ) (30) Now Here, let's run the vehicle on an actual straight road to obtain data of the road vanishing point (x 0 , y 0 ). By substituting these data into the equations (17) and (18), the yaw angle ψ and the pitch angle θ of the vehicle-mounted camera with respect to the vehicle can be obtained.
【0086】ここで、道路に対する車両のロール角φ0
やピッチ角θ0 は、それ自体は検出することができない
が、平均値「0」でばらつくノイズとして把握できる。
つまり、十分に長い時間にわたるロール角φ及びピッチ
角θの各平均値をとれば、この平均値のなかには道路に
対する車両のロール角φ0 やピッチ角θ0 は0になると
考えてもよい。さらに、道路に対する車両のヨー角ψ0
については、車両が道路と平行に走行するならば、これ
も平均値「0」でばらつくノイズとしてもよいが、正確
に求めようとすれば、位置検出処理装置2から与えられ
る道路地図データ及び車両の現在方位データから求めて
もよい。すなわち、車両が走行中の道路の方向が道路地
図データから判り、車両の実際の進行方向が現在方位デ
ータから判る。そのため、道路の方位に対する実際の進
行方向の差を、道路に対する車両のヨー角ψ0 とすれば
よい。Here, the roll angle φ 0 of the vehicle with respect to the road
The pitch angle θ 0 and the pitch angle θ 0 cannot be detected by themselves, but can be grasped as noise that varies with an average value “0”.
That is, if the respective average values of the roll angle φ and the pitch angle θ over a sufficiently long time are taken, it may be considered that the roll angle φ 0 and the pitch angle θ 0 of the vehicle with respect to the road become 0 among these average values. Furthermore, the yaw angle of the vehicle with respect to the road ψ 0
As for the above, if the vehicle travels in parallel with the road, this may also be noise that fluctuates with an average value of “0”, but if it is attempted to obtain it accurately, the road map data and vehicle provided from the position detection processing device 2 It may be obtained from the current azimuth data of. That is, the direction of the road on which the vehicle is traveling can be known from the road map data, and the actual traveling direction of the vehicle can be known from the current direction data. Therefore, the difference between the actual traveling direction and the azimuth of the road may be set as the yaw angle ψ 0 of the vehicle with respect to the road.
【0087】したがって、道路消失点(x0 ,y0 )の
データを多数とって平均化すると、θ0 は前記のように
零、ψ0 は前記のように零又は一定値であると考えられ
るので、車両に対する車載カメラ11の取付けヨー角ψ
1 や、取付けピッチ角θ1 を求めることができる。ま
た、ヨー角ψ0 やピッチ角θ0 の平均値からのずれであ
る標準偏差も求めることができる。Therefore, when a large number of data of road vanishing points (x 0 , y 0 ) are taken and averaged, it is considered that θ 0 is zero as described above and ψ 0 is zero or a constant value as described above. Therefore, the yaw angle ψ of the vehicle-mounted camera 11 attached to the vehicle is
1 or the mounting pitch angle θ 1 can be obtained. Also, the standard deviation, which is the deviation from the average value of the yaw angle ψ 0 and the pitch angle θ 0 , can be obtained.
【0088】さらに、走行中の撮像面上の道路平行線の
係数a又はbを求める。もし、道路平行線の間隔Bが分
かっていれば、A1 に関する2次方程式である前記(26)
式を解いてA1 を求めることができる。また(27)式から
A2 を求めることができ、(28)式からロール角φを求め
ることができる。なお、間隔Bには、例えば道路の幅や
道路の白線の間隔を用いることができる。これらの間隔
は、道路地図データに記入しておけば道路地図データか
ら取得できる。Furthermore, the coefficient a or b of the road parallel line on the image pickup surface during traveling is calculated. If the distance B between parallel roads is known, it is a quadratic equation for A 1 (26)
The equation can be solved to obtain A 1 . Further, A 2 can be obtained from the equation (27), and the roll angle φ can be obtained from the equation (28). The distance B may be the width of the road or the distance between white lines on the road. These intervals can be acquired from the road map data by filling in the road map data.
【0089】前述したように、データを多数とって平均
化するので、φ0 の平均値も前記のように零であると考
えられる。したがって、車両走行する車載カメラ11の
取付けロール角φ1 を求めることができる。また、ロー
ル角φ0 の平均値からのずれである標準偏差も求めるこ
とができる。以上のようにして、取付けヨー角ψ1 、ピ
ッチ角θ1 及びロール角φ1 と、ヨー角ψ0 、ピッチ角
θ0 及びロール角φ0 の信頼性を示す指標である標準偏
差とを求めることができ、一度求めた取付け角の値は、
以後の走行においても使用することができる。このよう
に、車両を走らせて取付けヨー角ψ1 、ピッチ角θ1及
びロール角φ1 並びにヨー角ψ0 、ピッチ角θ0 及びロ
ール角φ0 の標準偏差を求める処理を「初期処理」とい
う。As described above, since a large number of data are taken and averaged, it is considered that the average value of φ 0 is also zero as described above. Therefore, the mounting roll angle φ 1 of the vehicle-mounted camera 11 running on the vehicle can be obtained. Also, the standard deviation, which is the deviation of the roll angle φ 0 from the average value, can be obtained. As described above, the mounting yaw angle ψ 1 , the pitch angle θ 1 and the roll angle φ 1 and the standard deviation which is an index showing the reliability of the yaw angle ψ 0 , the pitch angle θ 0 and the roll angle φ 0 are obtained. The mounting angle value obtained once is
It can also be used in subsequent runs. In this way, the process of running the vehicle to obtain the mounting yaw angle ψ 1 , the pitch angle θ 1 and the roll angle φ 1 , and the standard deviation of the yaw angle ψ 0 , the pitch angle θ 0 and the roll angle φ 0 is called “initial processing”. .
【0090】図13−17は、上述の車載カメラの姿勢
パラメータ算出処理のために画像認識処理部15におい
て実行される処理を説明するためのフローチャートであ
る。この処理は、初期処理が終わった車両の走行中に例
えば一定距離ずつ走行するごとに行われるものであっ
て、処理実行回数を表わすパラメータを以下、処理周期
t(t=1,2,3,…)と表現する。FIGS. 13-17 are flow charts for explaining the processing executed in the image recognition processing section 15 for the above-described posture parameter calculation processing of the vehicle-mounted camera. This process is performed, for example, every time a vehicle travels by a certain distance while the vehicle that has undergone the initial process is completed, and a parameter indicating the number of process executions is set to the process cycle t (t = 1, 2, 3, 3). ...).
【0091】図13は、車載カメラのヨー角の算出処理
を説明するためのフローチャートである。システムを立
ち上げた後ステップS61では、車載カメラ11で撮像
された1枚の画像の画像データを記憶部17に格納す
る。ステップS62では位置検出処理装置2からの支援
データを取り込む。そして、ステップS63では、車両
が交差点等でカーブ走行しているかどうか判定する。カ
ーブ走行の判定は、位置検出処理装置2から取り込まれ
る車両の進行方位の変化率が一定値(例えば0.1°/
処理周期)を越えたかどうかで判断する。車両がカーブ
を走行しているときは、遠心力のために道路に対する車
両のロール角φ0 が異常に大きくなるおそれがあるの
で、姿勢パラメータの算出は不可能であるものとして、
ステップS82に進む。FIG. 13 is a flow chart for explaining the yaw angle calculation process of the vehicle-mounted camera. After starting the system, in step S61, the image data of one image captured by the vehicle-mounted camera 11 is stored in the storage unit 17. In step S62, the assistance data from the position detection processing device 2 is fetched. Then, in step S63, it is determined whether or not the vehicle is traveling in a curve at an intersection or the like. In determining whether the vehicle is traveling in a curve, the rate of change in the traveling direction of the vehicle, which is taken in from the position detection processing device 2, is a constant value (for example, 0.1 ° /
Judgment is made based on whether or not the processing cycle) has been exceeded. When the vehicle is traveling on a curve, the roll angle φ 0 of the vehicle with respect to the road may become abnormally large due to centrifugal force, and therefore, it is impossible to calculate the attitude parameter.
It proceeds to step S82.
【0092】なお、車両の速度が一定範囲内(例えば、
100km/h以内)であるかどうか、車両の加減速度が一
定値(例えば0.1g)未満であるかどうかを、姿勢パ
ラメータの算出の条件として用いてもよい。車両の速度
が一定範囲内にない場合には、車体に振動が生じたりし
て、道路に対する車両の姿勢パラメータが大きく振れる
る可能性があり、車両の減速度が一定値以上の場合に
は、道路に対する車両のピッチ角θ0 が異常に大きくな
る可能性があるからである。The speed of the vehicle is within a certain range (for example,
Whether the vehicle acceleration / deceleration is less than a certain value (for example, 0.1 g) may be used as the condition for calculating the attitude parameter. If the speed of the vehicle is not within a certain range, the vehicle body may vibrate and the attitude parameter of the vehicle with respect to the road may significantly fluctuate.If the deceleration of the vehicle is a certain value or more, This is because the pitch angle θ 0 of the vehicle with respect to the road may be abnormally large.
【0093】カーブ走行していないと判定された場合
は、既に述べた道路消失点の簡易算出方法を適用して、
左右2本の道路平行線が求まるかどうかを判断し(ステ
ップS64−66)、左右2本の道路平行線が求まれ
ば、それらの直線の交点から、道路消失点(x0 ,
y0 )を求める(ステップS69)。そして、前記(17)
(18)式を用いて、車載カメラの道路に対するヨー角ψを
求める(ステップS70)。このとき車載カメラの車体
に対するヨー角ψ1 は、前述したように初期処理で求め
られているので、ヨー角ψを求めれば車両の道路に対す
るヨー角ψ0 を知ることができる。このヨー角ψ0 は、
処理周期tにおいて撮像画面から観測されたヨー角であ
るという意味で、以後観測値ψ0t′ということにする。When it is determined that the vehicle is not traveling on a curve, the above-mentioned simple calculation method of the road vanishing point is applied,
It is determined whether or not two road parallel lines on the left and right are obtained (step S64-66), and if two road parallel lines on the left and right are obtained, the road vanishing point (x 0 ,
y 0 ) is calculated (step S69). And the above (17)
Using the equation (18), the yaw angle ψ of the vehicle-mounted camera with respect to the road is obtained (step S70). At this time, the yaw angle ψ 1 with respect to the vehicle body of the vehicle-mounted camera is obtained in the initial processing as described above, so that the yaw angle ψ 0 with respect to the road of the vehicle can be known by obtaining the yaw angle ψ. This yaw angle ψ 0 is
Hereinafter, in the sense that it is the yaw angle observed from the imaging screen in the processing cycle t, it will be referred to as an observed value ψ 0t ′.
【0094】ステップS71では、1つ前の処理周期に
おけるヨー角の採用値ψ0t-1が求められているかどうか
判定する。ここで、「採用値」の意味について説明する
と、車載カメラの姿勢パラメータとして採用するヨー角
ψ0 は、できるだけ誤差が少ないほうがよいという当然
の要求がある。しかし、観測値をそのまま採用すると、
観測値は基本的に画面から得られる情報なので、渋滞し
ていて直ぐ前に車両が存在する場合や、道路平行線が鎖
線である場合には、道路平行線も道路消失点も得られな
い場合がある。そこで、ヨー角ψ0 の過去の履歴を考慮
した値を漸化式(例えば下記(31)式)によって求めてこ
れを「推定値」とし、これらの観測値と推定値とのいず
れか信頼できるほう、又はいずれもそれなりに信頼でき
れば両者の重み付き平均を採用するようにする。この採
用された値がここでいう「採用値」なのである。In step S71, it is determined whether or not the adopted value ψ 0t-1 of the yaw angle in the immediately preceding processing cycle has been obtained. Here, the meaning of the “adopted value” will be described. There is a natural demand that the yaw angle ψ 0 used as the attitude parameter of the vehicle-mounted camera should have as little error as possible. However, if we adopt the observed values as they are,
Since the observed values are basically information obtained from the screen, if there is a vehicle in front of you because of traffic congestion, or if the road parallel lines are chain lines, you cannot obtain the road parallel lines or road vanishing points. There is. Therefore, a value considering the past history of the yaw angle ψ 0 is obtained by a recurrence formula (for example, formula (31) below), and this is set as an “estimated value”, and either of these observed values and estimated values can be relied upon. Or, if either of them is reasonably reliable, the weighted average of both is adopted. This adopted value is the “adopted value” here.
【0095】ステップS71で、1つ前の処理周期にお
けるヨー角の採用値ψ0t-1が求められていなければ、こ
のときは、観測値ψ0t′を採用値ψ0tとする(ステップ
S72)。ステップS71で1つ前の処理周期における
ヨー角の採用値ψ0t-1が求められていれば、現処理周期
のヨー角の採用値ψ0tを求める(ステップS73)。こ
の方法を詳しく説明すると、次のようになる。In step S71, if the adopted value ψ 0t-1 of the yaw angle in the immediately preceding processing cycle is not found, then the observed value ψ 0t ′ is set as the adopted value ψ 0t (step S72). . Long as it employs value [psi 0t-1 the yaw angle is calculated in step S71 in the preceding processing period, obtaining the adoption values [psi 0t of the yaw angle of the current processing cycle (step S73). This method will be described in detail as follows.
【0096】まず、走行している道路が真っ直ぐで道路
方位が変化しない場合(この判断は例えば道路地図デー
タに基づいてすることができる)は、処理周期t−1か
らtまでの間の道路に対する車両のヨー角の変化量は、
位置検出処理装置2から得られる処理周期t−1からt
までの間の車両の方位の変化量Δψ0tと一致する。すな
わち1つ前の処理周期の採用値ψ0t-1を使えば、次の漸
化式により、現処理周期の推定値ψ0t″を得ることがで
きる。First, when the traveling road is straight and the road direction does not change (this judgment can be made based on, for example, road map data), the road between the processing cycles t-1 and t is determined. The amount of change in the yaw angle of the vehicle is
Processing cycles t-1 to t obtained from the position detection processing device 2
Up to the change in the direction of the vehicle Δφ 0t . That is, if the adopted value ψ 0t-1 of the immediately preceding processing cycle is used, the estimated value ψ 0t ″ of the current processing cycle can be obtained by the following recurrence formula.
【0097】 ψ0t″=ψ0t-1+Δψ0t (31) もし、1処理周期前の採用値ψ0t-1が求まっていなけれ
ば、採用値が求まっている処理周期(t−aとする)の
採用値ψ0t-aと処理周期t−aからtまでの間の車両の
方位の変化量Δψ0tとを用いて、式 ψ0t″=ψ0t-a+Δψ0t (a=2,3,4,…) (32) によって現処理周期の推定値ψ0t″を得る。Ψ 0t ″ = ψ 0t-1 + Δψ 0t (31) If the adopted value ψ 0t-1 one processing cycle before is not found, the processing cycle (t-a) for which the adopted value is found Using the adopted value ψ 0t-a and the change amount Δψ 0t of the vehicle azimuth during the processing period from ta to t, the formula ψ 0t ″ = ψ 0t-a + Δψ 0t (a = 2, 3, 4, ...) (32) to obtain the estimated value ψ 0t ″ of the current processing cycle.
【0098】もし道路の方位が変われば、上の式は成り
立たないので、その代わりに前処理周期で得られた採用
値と観測値との差を用いて修正した次のいずれかの漸化
式を用いることとする。 ψ0t″=ψ0t-1+Δψ0t−(ψ0t-1′−ψ0t-1) (33) ψ0t″=ψ0t-a+Δψ0t−(ψ0t-a′−ψ0t-a) (34) この式の意味は、過去における採用値と観測値との差を
加味することによって、前回外れた推測分を今回補正す
るものである。前回推測が外れたのは、道路の方位が変
化したのが原因と考えられるからである。If the direction of the road changes, the above formula does not hold. Instead, one of the following recurrence formulas corrected using the difference between the adopted value and the observed value obtained in the preprocessing cycle. Will be used. ψ 0t ″ = ψ 0t-1 + Δψ 0t − (ψ 0t-1 ′ −ψ 0t-1 ) (33) ψ 0t ″ = ψ 0t-a + Δψ 0t − (ψ 0t-a ′ −ψ 0t-a ) ( 34) The meaning of this formula is to correct the guess that has deviated the previous time this time by adding the difference between the adopted value and the observed value in the past. The reason why I guessed wrong last time is because the direction of the road changed.
【0099】なお、上式を用いず、道路地図メモリ27
に記憶されている道路地図データから得られる道路方位
の変化分ΔψMtを考慮して、 ψ0t″=ψ0t-1+Δψ0t−ΔψMt (35) ψ0t″=ψ0t-a+Δψ0t−ΔψMt (36) を用いることもできる。ここで、ΔψMtのMは道路地図
データの意味である。The road map memory 27 is used without using the above formula.
Taking into account the variation [Delta] [phi] Mt road directions obtained from the road map data stored in, ψ 0t "= ψ 0t- 1 + Δψ 0t -Δψ Mt (35) ψ 0t" = ψ 0t-a + Δψ 0t - Δψ Mt (36) can also be used. Here, M of Δψ Mt means road map data.
【0100】ステップS74では、以上のようにして求
められた推定値ψ0t″と観測値ψ0t′とを比較する。そ
してステップS75で、この差が一定の範囲内にあるか
どうかをチェックする。この「一定範囲」の選び方は、
例えば処理周期当たり0.3°である。一定の範囲内に
あれば、推定値ψ0t″、観測値ψ0t′のいずれもそれな
りの信頼性があると見て、両者の重み付き平均をとっ
て、処理周期tにおける採用値ψ 0tとする(ステップS
76)。At step S74, the calculation is performed as described above.
Estimated value ψ0t″ And observed value ψ0tCompare with ′. So
Then, in step S75, is this difference within a certain range?
Check if How to select this "certain range"
For example, it is 0.3 ° per processing cycle. Within a certain range
If so, the estimated value ψ0t″, Observed value ψ0t'Is neither
It is assumed that the
The adopted value ψ in the processing cycle t 0t(Step S
76).
【0101】 αψ0t′+(1−α)ψ0t″→ψ0t (37) ここで重みαは、例えば経験的に決められた定数であ
る。一定の範囲内になければ、過去の時点でのステップ
S75での判断を調べ、一定の範囲内にないという判断
が一定数回P、すなわち一定距離以上続いていれば、ス
テップS78からS79に行き、観測値ψ0t′を、処理
周期tにおける採用値ψ0tとする。この理由は、範囲内
にないという判断が一定回数以上続けば、採用値が累積
誤差のため真の値から大きく外れ、信頼できなくなって
いると判断できるからである。Α ψ 0t ′ + (1−α) ψ 0t ″ → ψ 0t (37) Here, the weight α is, for example, an empirically determined constant. If the determination in step S75 in step S75 that the value is not within the certain range continues for a certain number of times P, that is, for a certain distance or more, the process proceeds from step S78 to S79, and the observed value ψ 0t ′ is set in the processing cycle t. The adopted value ψ 0t is set, because if the judgment that the value is not within the range continues for a certain number of times or more, the adopted value largely deviates from the true value due to cumulative error, and it can be determined that the value is unreliable.
【0102】一定の範囲にないという判断がまだP回続
いていなければ、まだ前に得られた採用値ψ0tに信頼性
があるとして推定値ψ0t″を、処理周期tにおける採用
値ψ 0tとする(ステップS80)。以上を要約すると、
システムを起動してから、最初の処理周期t=1では、
観測値ψ0t′をこの処理周期のヨー角ψ0tとする。以後
の処理周期では、観測値ψ 0t′と漸化式により求められ
た推定値ψ0t″との差が一定の範囲内にあるかどうかチ
ェックし、一定の範囲内にあれば観測値ψ0t′と推定値
ψ0t″との重み付き平均をとってそれをヨー角ψ0tと
し、一定の範囲内になければ、一定の範囲内にない状態
が一定回数の処理周期以上連続していれば、観測値
ψ0t′をヨー角ψ0tとし、一定の範囲内にない状態がま
だ一定回数の処理周期連続していなければ、推定値
ψ0t″をヨー角ψ0tとする。Judgment that it is not within a certain range continues P times
If not, the adoption value ψ obtained previously is still0tReliable
Estimated value ψ0t″ Is adopted in the processing cycle t
Value ψ 0t(Step S80). To summarize the above,
After starting the system, in the first processing cycle t = 1,
Observed value ψ0t′ Is the yaw angle ψ of this processing cycle0tAnd After that
In the processing cycle of 0t′ And the recurrence formula
Estimated value ψ0tCheck whether the difference with ″ is within a certain range.
If the value is within a certain range, the observed value ψ0t′ And the estimated value
ψ0t″ And take the weighted average to obtain the yaw angle ψ0tWhen
However, if it is not within the certain range, it is not within the certain range.
If is continuous for a certain number of processing cycles or more, the observed value
ψ0t′ Is yaw angle ψ0tAnd the condition is not within a certain range.
If a certain number of processing cycles are not consecutive, the estimated value
ψ0t″ Is the yaw angle ψ0tAnd
【0103】そして、以上のようにして得られたヨー角
ψ0tを用いて道路消失点のx座標を下記(38)式により修
正する(ステップS81)。 x0 =(ψ0t+ψ1 )F (38) なお、前述の消失点の簡易算出処理において、左右2本
の道路平行線が求まらなければ、ヨー角の観測値ψ0t′
を求めることができない。そこで、左右2本の道路平行
線が求まっていない場合は、前処理周期のヨー角の採用
値ψ0t-1が求まっているかどうか判定し(ステップS6
7)、求まっていれば、下記(39)式の漸化式により、現
処理周期の採用値ψ0tを得る(ステップS68)。Then, using the yaw angle ψ 0t obtained as described above, the x coordinate of the road vanishing point is corrected by the following equation (38) (step S81). x 0 = (ψ 0t + ψ 1 ) F (38) In the above simple calculation process of the vanishing point, if the left and right road parallel lines are not found, the observed value of the yaw angle ψ 0t ′
Can't ask. Therefore, if the left and right two road parallel lines are not found, it is determined whether or not the adopted value ψ 0t-1 of the yaw angle in the preprocessing cycle is found (step S6).
7) If found, the adopted value ψ 0t of the current processing cycle is obtained by the recurrence formula of the following formula (39) (step S68).
【0104】 ψ0t=ψ0t-1+Δψ0t (39) もし道路の方位が変われば、上の式は成り立たないの
で、その代わりに前処理周期で得られた採用値と観測値
との差を用いて修正した次のいずれかの漸化式(40)(41)
を用いることは、前述のとおりである。 ψ0t=ψ0t-1+Δψ0t−(ψ0t-1′−ψ0t-1) (40) ψ0t=ψ0t-a+Δψ0t−(ψ0t-a′−ψ0t-a) (41) ステップS67で、前処理周期のヨー角の採用値ψ0t-1
が求まっていなければ、ステップS82に進む。ステッ
プS82では、ヨー角ψ0tの算出はせずに処理を終了す
る。Ψ 0t = ψ 0t −1 + Δψ 0t (39) If the direction of the road changes, the above formula does not hold. Instead, the difference between the adopted value and the observed value obtained in the preprocessing cycle is calculated. One of the following recurrence formulas (40) (41) modified using
Is used as described above. ψ 0t = ψ 0t-1 + Δψ 0t - (ψ 0t-1 '-ψ 0t-1) (40) ψ 0t = ψ 0t-a + Δψ 0t - (ψ 0t-a' -ψ 0t-a) (41) In step S67, the adopted value ψ 0t-1 of the yaw angle in the pre-processing cycle
If is not found, the process proceeds to step S82. In step S82, the process ends without calculating the yaw angle ψ 0t .
【0105】次に、車載カメラのピッチ角の算出処理を
フローチャート(図15)を用いて説明する。この処理
では、システムを立ち上げた後、カーブ走行していない
と判定された場合に、車載カメラ11で撮像された画像
の画像データに基づいて、消失点の簡易算出処理を行っ
て、左右の道路平行線の候補点を探し出し、それぞれの
傾きをチェックして左右2本の道路平行線が求まるかど
うかを判断する(ステップS92)。左右2本の道路平
行線が求まれば、それらの直線の様子から、道路消失点
(x0 ,y0 )を求め、下記(42)式 y0 =−(θ0 +θ1 )F=−θF (42) を用いて、車載カメラの道路に対するピッチ角θを求め
る(ステップS93)。このとき車載カメラの車体に対
するピッチ角θ1 は、前述したように初期処理で求めら
れているので、ピッチ角θを求めれば車両の道路に対す
るピッチ角θ0 を知ることができる。このピッチ角θ0
は、処理周期tにおいて撮像画面から観測されたピッチ
角であるという意味で、以後θ0tと書く。Next, the process of calculating the pitch angle of the vehicle-mounted camera will be described with reference to the flowchart (FIG. 15). In this process, when it is determined that the vehicle is not traveling in a curve after the system is started up, a simple vanishing point calculation process is performed based on image data of an image captured by the vehicle-mounted camera 11, and Candidate points for road parallel lines are searched for, and their inclinations are checked to determine whether two left and right road parallel lines can be obtained (step S92). If two road parallel lines on the left and right are obtained, the road vanishing point (x 0 , y 0 ) is obtained from the state of these straight lines, and the following equation (42) y 0 =-(θ 0 + θ 1 ) F =- The pitch angle θ of the vehicle-mounted camera with respect to the road is obtained using θF (42) (step S93). At this time, since the pitch angle θ 1 of the vehicle-mounted camera with respect to the vehicle body is obtained by the initial processing as described above, the pitch angle θ 0 of the vehicle with respect to the road can be known by obtaining the pitch angle θ. This pitch angle θ 0
Is a pitch angle observed from the imaging screen in the processing cycle t, and will be hereinafter referred to as θ 0t .
【0106】もし、左右いずれか1本の道路平行線しか
求まらなければ(ステップS94)、道路消失点
(x0 ,y0 )を求めることはできないので、図13−
14の処理で求めた車両のヨー角の採用値ψ0tを用い
て、道路消失点のx座標を逆に算出する(ステップS9
5)。そして、このx座標値x0 と1本の道路平行線と
から、道路消失点のy座標を推定し、ピッチ角θ0tを求
める(ステップS96)。If only one of the left and right road parallel lines is obtained (step S94), the road vanishing point (x 0 , y 0 ) cannot be obtained.
Using the adopted value ψ 0t of the yaw angle of the vehicle obtained in the processing of 14, the x coordinate of the road vanishing point is calculated in reverse (step S9).
5). Then, the y-coordinate of the road vanishing point is estimated from the x-coordinate value x 0 and one road parallel line to obtain the pitch angle θ 0t (step S96).
【0107】この算出方法を詳述すると、図13−14
の処理で求めた車両のヨー角の採用値ψ0tを用いて、次
式 x0t=(ψ0t+ψ1 )F (43) からx0tを求め、このx0tをx座標とするy軸に平行な
直線と、前記1本の道路平行線との交点を道路消失点
(x0t,y0t)とする。そして、このy座標値y0tを式 y0t=−(θ0t+θ1 )F (44) に当てはめてピッチ角θ0tを求めるのである。This calculation method will be described in detail with reference to FIGS.
Using the adopted value ψ 0t of the yaw angle of the vehicle obtained in the process of, the x 0t is obtained from the following formula x 0t = (ψ 0t + ψ 1 ) F (43), and this x 0t is taken as the x coordinate on the y axis. The intersection of the parallel straight line and the one road parallel line is defined as the road vanishing point (x 0t , y 0t ). Then, the y coordinate value y 0t is applied to the formula y 0t = − (θ 0t + θ 1 ) F (44) to obtain the pitch angle θ 0t .
【0108】そして、ステップS93又はステップS9
6で求められたピッチ角θ0tが、初期処理で求められた
ピッチ角θ0 の平均値(=0)からの標準偏差以内に収
まっているかどうかを調べる(ステップS97)。収ま
っていれば、求めたピッチ角θ0tをピッチ角の採用値と
する(ステップS98)。収まっていなければ、求めた
ピッチ角θ0tの信頼性なしと判断して、ピッチ角の採用
値を0とする(ステップS99)。0とする理由を説明
すると、前述したとおり車両がピッチするときは加減速
するときであるが、加減速時でも、加速のみ減速のみと
いうことは考えられず、ピッチ角の平均値はいつも0で
あると見ることができるからである。Then, step S93 or step S9.
It is checked whether the pitch angle θ 0t obtained in 6 is within the standard deviation from the average value (= 0) of the pitch angles θ 0 obtained in the initial processing (step S97). If it is within the range, the obtained pitch angle θ 0t is set as the adopted value of the pitch angle (step S98). If it does not fall within the range, it is determined that the obtained pitch angle θ 0t is not reliable, and the adopted value of the pitch angle is set to 0 (step S99). Explaining the reason why it is set to 0, as described above, when the vehicle pitches, it accelerates and decelerates, but even during acceleration and deceleration, it is not considered that only acceleration and deceleration occur, and the average value of the pitch angle is always 0. It can be seen as there is.
【0109】なお、左右いずれの道路平行線も求まらな
い場合、すなわちステップS94で“NO”と判断され
た場合には、ピッチ角の採用値を0とする。次に、車載
カメラの横ずれ距離の算出処理を説明する。図16は、
車載カメラの横ずれ距離の算出処理を説明するためのフ
ローチャートである。この処理では、システムを立ち上
げた後、カーブ走行していないと判定された場合に、車
載カメラ11で撮像された画像の画像データに基づい
て、簡易な道路消失点算出処理を行って、左右の道路平
行線の候補点を探し出し、それぞれの傾きをチェックし
て左右2本の道路平行線が求まるかどうかを判断する
(ステップS102)。もし、2本の道路平行線が求ま
れば、道路平行線の傾きa1t, a2tと車載カメラの取付
けロール角φ1 を使って、前記(29)(30)式に相当する式 A1t=−(a1t+φ1 )h/(1−φ1 a1t) (45) A2t=−(a2t+φ1 )h/(1−φ1 a2t) (46) によって、道路に平行な所定の基準線からの車載カメラ
の横ずれ距離Aを得ることができる(ステップS10
3)。ただし、車両が真っ直ぐに走行しているのでロー
ル角φ0 は無視した。If neither the left or right road parallel line is obtained, that is, if "NO" is determined in the step S94, the adopted value of the pitch angle is set to 0. Next, the process of calculating the lateral displacement distance of the vehicle-mounted camera will be described. 16
It is a flow chart for explaining calculation processing of a lateral gap distance of an in-vehicle camera. In this process, when it is determined that the vehicle is not traveling in a curve after the system is started up, a simple road vanishing point calculation process is performed based on the image data of the image captured by the vehicle-mounted camera 11, The candidate points of the road parallel line are searched for, the inclinations of the respective roads are checked, and it is determined whether two road parallel lines on the left and right can be obtained (step S102). If two parallel road lines are found, using the inclinations a 1t and a 2t of the parallel road lines and the mounting roll angle φ 1 of the vehicle-mounted camera, the formula A 1t corresponding to the above formulas (29) and (30) is obtained. = − (A 1t + φ 1 ) h / (1-φ 1 a 1t ) (45) A 2t = − (a 2t + φ 1 ) h / (1-φ 1 a 2t ) (46) The lateral displacement distance A of the vehicle-mounted camera from the predetermined reference line can be obtained (step S10).
3). However, since the vehicle is running straight, the roll angle φ 0 is ignored.
【0110】さらに前の処理周期で2本の道路平行線の
横ずれ距離At-1 が求まっているかどうかを判断する
(ステップS104)。求まっていれば、前の処理周期
の横ずれ距離At-1 を使って次の漸化式 A1t=A1,t-1 +Lψ0t (47) A2t=A2,t-1 +Lψ0t (48) により今処理周期の横ずれ距離At を求める(ステップ
S105)。ここでLは1処理周期に車両が走行した距
離であり、位置検出処理装置2からの支援データに基づ
いて決められる。ψ0tは、道路に対する車両のヨー角の
採用値である。Further, it is determined whether or not the lateral deviation distance At -1 between the two parallel road lines has been obtained in the previous processing cycle (step S104). If it has been obtained, the following recurrence formula A 1t = A 1, t-1 + Lψ 0t (47) A 2t = A 2, t-1 + Lψ 0t (using the lateral deviation distance At 1 of the previous processing cycle) Request lateral distance a t now processing cycle by 48) (step S105). Here, L is the distance traveled by the vehicle in one processing cycle, and is determined based on the assistance data from the position detection processing device 2. ψ 0t is the adopted value of the yaw angle of the vehicle with respect to the road.
【0111】そしてステップS103で道路平行線から
求められた横ずれ距離A1t,A2tと比較し(ステップS
106)、一定範囲内にあるかどうかを判断する(ステ
ップS107)。一定範囲内にあればステップS103
で道路平行線から求められた横ずれ距離A1t,A2tを採
用し(ステップS109)、一定範囲内になければステ
ップS105で漸化式から求められた横ずれ距離A1t,
A2tを採用する(ステップS108)。Then, it is compared with the lateral deviation distances A 1t and A 2t obtained from the road parallel lines in step S103 (step S
106), and it is determined whether or not it is within a certain range (step S107). If within a certain range, step S103
In adopting the lateral distance A 1t, A 2t determined from the road parallel line (step S109), lateral distance A 1t obtained from recurrence equation in step S105 if not within a certain range,
A 2t is adopted (step S108).
【0112】もし、ステップS110で1本のみ道路平
行線の算出が可能であれば、その1本の道路平行線につ
いて、道路平行線の傾きa1tと車載カメラの取付けロー
ル角φ1 を使って、 A1t=−(a1t+φ1 )h/(1−φ1 a1t) (49) により、横ずれ距離Aを求める(ステップS111)。
そして前の処理周期で1本の道路平行線の横ずれ距離A
t-1 が求まっているかどうかを判断する(ステップS1
12)。求まっていれば、前の処理周期の横ずれ距離A
t-1 を使って次の漸化式 A1t=A1,t-1 +Lψ0t (50) により今処理周期の横ずれ距離At を求める(ステップ
S113)。If only one road parallel line can be calculated in step S110, the inclination a 1t of the road parallel line and the mounting roll angle φ 1 of the vehicle-mounted camera are used for the one road parallel line. , A 1t = − (a 1t + φ 1 ) h / (1−φ 1 a 1t ) (49), the lateral deviation distance A is obtained (step S111).
Then, in the previous processing cycle, the lateral deviation distance A of one road parallel line
It is determined whether t-1 has been obtained (step S1).
12). If found, the lateral shift distance A of the previous processing cycle
using t-1 determined lateral displacement distance A t now processing cycle by = A 1 following recurrence formula A 1t, t-1 + Lψ 0t (50) ( step S113).
【0113】そしてステップS111で道路平行線から
求められた横ずれ距離A1t,A2tと比較し(ステップS
114)、一定範囲内にあるかどうかを判断する(ステ
ップS115)。一定範囲内にあればステップS103
で道路平行線から求められた横ずれ距離A1tを採用し
(ステップS117)、一定範囲内になければステップ
S113で漸化式から求められた横ずれ距離A1tを採用
する(ステップS116)。Then, it is compared with the lateral deviation distances A 1t and A 2t obtained from the road parallel lines in step S111 (step S
114), it is determined whether or not it is within a certain range (step S115). If within a certain range, step S103
In step S117, the lateral deviation distance A 1t obtained from the road parallel line is adopted, and if it is not within the predetermined range, the lateral deviation distance A 1t obtained from the recurrence formula in step S113 is adopted (step S116).
【0114】なお、フローチャートに示していないが、
他の1本の道路平行線については、横ずれ距離Aは直接
求めることができないので、前の処理周期で横ずれ距離
Aが求まっているかどうかを判断し、求まっていれば、
前の処理周期の横ずれ距離A t-1 を使って次の漸化式 At =At-1 +Lψ0t (51) により今処理周期の横ずれ距離At を求める。前の処理
周期で横ずれ距離Aが求まっていなければ、その「他の
1本の道路平行線」については、横ずれ距離Aを求める
ことをあきらめて、処理を終了する。Although not shown in the flow chart,
For the other parallel road line, the lateral shift distance A is directly
Since it cannot be obtained, the lateral shift distance in the previous processing cycle
Judge whether A has been obtained, and if so,
Lateral deviation distance A of the previous processing cycle t-1Using the following recurrence formula At= At-1+ Lψ0t Due to (51), the lateral deviation distance A of the processing cycletAsk for. Previous processing
If the lateral deviation distance A is not found in the cycle, the "other
For a "one road parallel line", calculate the lateral deviation distance A
Give up and end the process.
【0115】もし、ステップS110で、道路平行線が
全く得られなかったら、図17のステップS121に進
み、前の処理周期で1本の道路平行線の横ずれ距離A
1,t-1が求まっているかどうか判定し、道路平行線が求
まっていれば前記漸化式を用いて横ずれ距離Aを算出
し、求まっていない場合は横ずれ距離Aを算出しない
(ステップS121−123)。If no road parallel line is obtained in step S110, the process proceeds to step S121 in FIG. 17 and the lateral deviation distance A of one road parallel line in the previous processing cycle.
It is determined whether or not 1, t-1 is obtained, and if the road parallel line is obtained, the lateral deviation distance A is calculated using the recurrence formula. If not, the lateral deviation distance A is not calculated (step S121- 123).
【0116】また、他の1本の道路平行線についても、
横ずれ距離A2,t-1 が求まっているかどうか判定し、道
路平行線が求まっていれば前記漸化式を用いて横ずれ距
離Aを算出し、求まっていない場合は、横ずれ距離Aを
算出しない(ステップS124−126)。以上のよう
な処理をすることによって、車載カメラ11の姿勢パラ
メータθ,φ及びψ、並びに横ずれ距離Aが求まる。こ
れらの姿勢パラメータは、次に説明する物体認識処理に
おいて活用される。 (6) 物体認識処理 物体認識処理は、車載カメラ11によって撮像された画
像中道路標識、道路上の表示、他車両等の一定種類の物
体を認識するための処理である。この画像認識に当たっ
ては、車載カメラの姿勢パラメータや位置検出処理装置
2から与えられる支援情報が用いられる。Also, for another one road parallel line,
It is determined whether or not the lateral deviation distance A 2, t-1 is obtained, and if the road parallel line is found, the lateral deviation distance A is calculated using the recurrence formula. If not, the lateral deviation distance A is not calculated. (Steps S124-126). By performing the above processing, the posture parameters θ, φ and ψ of the vehicle-mounted camera 11 and the lateral deviation distance A are obtained. These attitude parameters are utilized in the object recognition process described below. (6) Object Recognition Processing The object recognition processing is processing for recognizing a certain type of object such as a road sign in the image captured by the vehicle-mounted camera 11, a display on the road, or another vehicle. In this image recognition, the posture parameter of the vehicle-mounted camera and the support information provided from the position detection processing device 2 are used.
【0117】画面上のデータから物体を認識する方法は
従来から種々考案されている。例えば、白黒車載カメラ
によるデータ(輝度データのみ)の場合、濃度が大きく
変化するエッジ点を検出し、複数のエッジ点を接続する
ことによって物体の輪郭が抽出される。この輪郭の形状
をチェックしたり、予め登録されている対象物体の標準
的なパターンとのパターンマッチングを行ったりするこ
とによって、画面上の物体が認識される。カラーのデー
タを用いる場合には、濃度だけでなく、色度のデータも
利用できるので、認識確率を高めることができる。Various methods for recognizing an object from data on the screen have been devised conventionally. For example, in the case of data from a black-and-white vehicle-mounted camera (only brightness data), an edge point where the density greatly changes is detected, and the contour of the object is extracted by connecting a plurality of edge points. The object on the screen is recognized by checking the shape of the contour and performing pattern matching with the standard pattern of the target object that is registered in advance. When using color data, not only the density but also the chromaticity data can be used, so that the recognition probability can be increased.
【0118】画像データから抽出される認識対象ごとの
特徴例を列挙すると、道路標識では、円、円の半径、円
周の色度、円内のデータとなり、信号機では、長方形、
縦、横の大きさ、3個の円、円の半径、灯色となり、自
動車では、前部、後部の形状、横部の形状、車高、車
幅、車長となる。画像認識処理装置1の記憶部17に
は、これらの特徴についての標準的な値が記憶されてい
る。画像認識処理部15は、画像データから前記の特徴
を抽出し、抽出された特徴と記憶部17に記憶されてい
る標準的な特徴とを照合することによって、物体の認識
を行う。When the characteristic examples for each recognition target extracted from the image data are enumerated, the road sign is a circle, the radius of the circle, the chromaticity of the circumference, and the data within the circle.
Vertical and horizontal sizes, three circles, radius of circle, and light color. For automobiles, the shape is the front portion, the rear portion, the shape of the horizontal portion, the vehicle height, the vehicle width, and the vehicle length. The storage unit 17 of the image recognition processing apparatus 1 stores standard values for these features. The image recognition processing unit 15 recognizes the object by extracting the features from the image data and comparing the extracted features with the standard features stored in the storage unit 17.
【0119】[0119]
【発明の効果】以上のように請求項1記載の発明によれ
ば、道路消失点の座標に基づいてヨー角の観測値を求め
るようにするとともに、位置検出処理装置の出力データ
に含まれる車両の進行方位に関する情報を使って前回の
処理で求められたヨー角の変化を予測して新しいヨー角
の推定値を求めることとしたので、これらの観測値と推
定値とを利用してさらに高い精度で姿勢パラメータを算
出することができ、また、いずれか一方が求められなか
った場合でも、他方の値を用いて姿勢パラメータを算出
することができるので、車載カメラによって撮像された
画像中の物体の認識を効率的に行うことができる。As described above, according to the first aspect of the invention, the observed value of the yaw angle is obtained based on the coordinates of the road vanishing point, and the vehicle included in the output data of the position detection processing device. Since it was decided to predict the change in the yaw angle obtained in the previous processing by using the information on the traveling direction of, and obtain a new estimated value for the yaw angle, using these observed values and estimated values The posture parameter can be calculated with accuracy, and even if one of them is not obtained, the posture parameter can be calculated using the other value, so that the object in the image captured by the vehicle-mounted camera can be calculated. Can be efficiently recognized.
【0120】請求項7記載の発明によれば、道路消失点
の座標に基づいて道路に対する車載カメラのピッチ角を
求めるようにするが、道路平行線が1本しか得られず車
載カメラのピッチ角を求めることができない場合は、請
求項1記載のようにして算出された現時点の道路に対す
る車載カメラのヨー角と、1本の道路平行線の形状とか
ら道路消失点の座標を推定し、この推定された座標に基
づいて道路に対する車載カメラのピッチ角を求めること
としたので、常に車載カメラの姿勢パラメータを算出す
ることができる。According to the invention described in claim 7, the pitch angle of the vehicle-mounted camera with respect to the road is obtained based on the coordinates of the vanishing point of the road, but only one road parallel line is obtained, and the pitch angle of the vehicle-mounted camera is obtained. If it is not possible to obtain, the coordinates of the road vanishing point are estimated from the yaw angle of the vehicle-mounted camera with respect to the current road calculated as described in claim 1 and the shape of one road parallel line. Since the pitch angle of the vehicle-mounted camera with respect to the road is determined based on the estimated coordinates, the attitude parameter of the vehicle-mounted camera can be calculated at all times.
【0121】請求項9記載の発明によれば、道路平行線
の傾きと、車載カメラの道路面に対する高さとの情報を
使って、道路に平行な所定の基準線からの車載カメラの
横ずれ距離の観測値を得るようにするとともに、位置検
出処理装置の出力データに含まれる車両の走行距離デー
タと、前記のようにして算出された道路に対する車載カ
メラのヨー角とを使って前回の処理で求められた横ずれ
距離の変化を予測して横ずれ距離の推定値を求めること
としたので、これらの観測値と推定値とを利用してさら
に高い精度で姿勢パラメータを算出することができ、ま
た、いずれか一方が求められなかった場合でも、他方の
値を用いて姿勢パラメータを算出することができるの
で、車載カメラによって撮像された画像中の物体の認識
を効率的に行うことができる。According to the ninth aspect of the present invention, by using the information on the inclination of the road parallel line and the height of the vehicle-mounted camera with respect to the road surface, the lateral displacement distance of the vehicle-mounted camera from a predetermined reference line parallel to the road is used. In addition to obtaining the observation value, it was obtained in the previous processing using the vehicle mileage data included in the output data of the position detection processing device and the yaw angle of the vehicle-mounted camera with respect to the road calculated as described above. Since it was decided to obtain the estimated value of the lateral deviation distance by predicting the change in the lateral deviation distance thus obtained, the attitude parameter can be calculated with higher accuracy by using these observed values and the estimated value. Even if one of them is not obtained, the other parameter can be used to calculate the posture parameter, so that the object in the image captured by the vehicle-mounted camera can be efficiently recognized. It can be.
【図1】本発明の一実施例が適用された画像認識処理シ
ステムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an image recognition processing system to which an embodiment of the present invention is applied.
【図2】車載カメラによって撮像された画像例を示す図
である。FIG. 2 is a diagram showing an example of an image captured by a vehicle-mounted camera.
【図3】直線候補点抽出処理を説明するための図であ
り、(a) は車載カメラによって撮像された画像例を示
し、(b) はある走査線上における3原色画像データの変
動を示す。3A and 3B are diagrams for explaining straight line candidate point extraction processing, in which FIG. 3A shows an example of an image captured by a vehicle-mounted camera, and FIG. 3B shows a variation of three primary color image data on a certain scanning line.
【図4】直線候補点抽出処理を実行するためのフローチ
ャートである。FIG. 4 is a flowchart for executing straight line candidate point extraction processing.
【図5】図2の画像から直線候補点を結ぶことによって
得られる直線部分を抽出した図である。5 is a diagram in which a straight line portion obtained by connecting straight line candidate points is extracted from the image in FIG.
【図6】Hough変換を説明するための図である。FIG. 6 is a diagram for explaining Hough conversion.
【図7】Hough変換処理を2回繰り返して道路消失点を
求めるための処理を説明するための図である。FIG. 7 is a diagram for explaining a process for obtaining a road vanishing point by repeating the Hough transform process twice.
【図8】道路消失点の簡易算出方法を説明するための図
である。FIG. 8 is a diagram for explaining a simple calculation method of a road vanishing point.
【図9】道路消失点の簡易算出処理を説明するためのフ
ローチャートである。FIG. 9 is a flowchart for explaining a simple calculation process of a road vanishing point.
【図10】道路消失点の簡易算出処理を説明するための
フローチャート(図9の続き)である。FIG. 10 is a flowchart (continuation of FIG. 9) for explaining a simple calculation process of a road vanishing point.
【図11】道路消失点の簡易算出処理を説明するための
フローチャート(図10の続き)である。FIG. 11 is a flowchart (continuation of FIG. 10) for explaining a simple calculation process of a road vanishing point.
【図12】道路消失点の簡易算出処理を説明するための
フローチャート(図11の続き)である。FIG. 12 is a flowchart (continuation of FIG. 11) for explaining a simple calculation process of a road vanishing point.
【図13】車載カメラのヨー角算出処理を説明するため
のフローチャートである。FIG. 13 is a flowchart illustrating a yaw angle calculation process of the vehicle-mounted camera.
【図14】車載カメラのヨー角算出処理を説明するため
のフローチャート(図13の続き)である。FIG. 14 is a flowchart (continuation of FIG. 13) for explaining the yaw angle calculation processing of the vehicle-mounted camera.
【図15】車載カメラのピッチ角算出処理を説明するた
めのフローチャートである。FIG. 15 is a flowchart for explaining a pitch angle calculation process of the vehicle-mounted camera.
【図16】車載カメラの横ずれ距離算出処理を説明する
ためのフローチャートである。FIG. 16 is a flowchart for explaining a lateral displacement distance calculation process of the vehicle-mounted camera.
【図17】車載カメラの横ずれ距離算出処理を説明する
ためのフローチャート(図16の続き)である。FIG. 17 is a flowchart (continuation of FIG. 16) illustrating the lateral deviation distance calculation process of the vehicle-mounted camera.
1 画像認識処理装置 2 位置検出処理装置 11 車載カラーカメラ 13 画像処理回路 15 認識処理部 17 記憶部 21 距離センサ 22 方位センサ 25 位置検出処理部 27 道路地図メモリ 28 記憶部 29 表示部 DESCRIPTION OF SYMBOLS 1 Image recognition processing device 2 Position detection processing device 11 In-vehicle color camera 13 Image processing circuit 15 Recognition processing unit 17 Storage unit 21 Distance sensor 22 Direction sensor 25 Position detection processing unit 27 Road map memory 28 Storage unit 29 Display unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/18 J ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical indication H04N 7/18 J
Claims (12)
ラの姿勢パラメータを算出する装置であって、 車載カメラによって車両の前方又は後方を撮像して、デ
ィジタル画像信号に変換する画像処理手段と、 前記車載カメラによって撮像された画像から、道路の延
びる方向と平行な道路平行線を抽出する道路平行線抽出
手段と、 2本の道路平行線の先端が交わり消失する点である道路
消失点を抽出する道路消失点抽出手段と、 道路消失点の座標に基づいて道路に対する車載カメラの
ヨー角を観測するヨー角観測手段と、 各種センサからの信号に基づいて車両の位置を検出する
位置検出処理装置の出力データに含まれる車両の進行方
位の変化量を取得し、前に算出された道路に対する車載
カメラのヨー角と車両の進行方位の前記変化量とを所定
の漸化式に当てはめて、道路に対する車載カメラのヨー
角の推定値を算出するヨー角推定値算出手段と、 前記ヨー角観測手段によって観測される道路に対する車
載カメラのヨー角の観測値及び前記ヨー角推定値算出手
段によって算出される道路に対する車載カメラのヨー角
の推定値のいずれか一方又は双方を用いて道路に対する
車載カメラのヨー角を決定するヨー角演算手段とを備え
ることを特徴とするカメラの姿勢パラメータ算出装置。1. An apparatus for calculating a posture parameter of a vehicle-mounted camera with respect to a road on which the vehicle is traveling, comprising image processing means for capturing an image of the front or rear of the vehicle with the vehicle-mounted camera and converting the image into a digital image signal. From the image captured by the vehicle-mounted camera, a road parallel line extracting unit that extracts a road parallel line parallel to the direction in which the road extends, and a road vanishing point that is a point where the tips of two road parallel lines intersect and disappear Road vanishing point extraction means, yaw angle observing means for observing the yaw angle of the vehicle-mounted camera with respect to the road based on the coordinates of the road vanishing point, and a position detection processing device for detecting the vehicle position based on signals from various sensors The amount of change in the heading of the vehicle included in the output data of the vehicle is acquired, and the yaw angle of the vehicle-mounted camera with respect to the road and the amount of change in the heading of the vehicle are calculated. And a yaw angle estimated value calculation means for calculating an estimated value of the yaw angle of the vehicle-mounted camera with respect to the road, and an observation value of the yaw angle of the vehicle-mounted camera with respect to the road observed by the yaw angle observation means and the yaw angle estimated value calculation means. A yaw angle calculation means for determining the yaw angle of the vehicle-mounted camera with respect to the road by using one or both of the estimated values of the yaw angle of the vehicle-mounted camera with respect to the road calculated by the yaw angle estimated value calculation means. Posture parameter calculation device for a camera.
らヨー角の観測値が得られない場合は、前記推定値を道
路に対する車載カメラのヨー角とするものである請求項
1記載のカメラの姿勢パラメータ算出装置。2. The yaw angle calculating means, when the yaw angle observing means cannot obtain an observation value of the yaw angle, uses the estimated value as a yaw angle of a vehicle-mounted camera with respect to a road. Camera posture parameter calculation device.
カメラのヨー角の推定値と、ヨー角の観測値とを比較
し、この差が一定の範囲内にあれば観測値と推定値との
重み付き平均をとってそれをヨー角とするものである請
求項1記載のカメラの姿勢パラメータ算出装置。3. The yaw angle calculation means compares the estimated value of the yaw angle of the vehicle-mounted camera with respect to the road and the observed value of the yaw angle, and if the difference is within a certain range, the observed value and the estimated value. The posture parameter calculation device for a camera according to claim 1, wherein the yaw angle is calculated by taking the weighted average of the above.
カメラのヨー角の推定値と、ヨー角の観測値とを比較
し、この差が一定値より大きければ、前記推定値を道路
に対する車載カメラのヨー角とするものである請求項1
記載のカメラの姿勢パラメータ算出装置。4. The yaw angle calculating means compares the estimated value of the yaw angle of the vehicle-mounted camera with respect to the road and the observed value of the yaw angle. If the difference is larger than a certain value, the estimated value is mounted on the road with respect to the vehicle. The yaw angle of the camera is set.
The camera posture parameter calculation device described.
に対する車載カメラのヨー角とする処理が一定走行距離
以上、一定時間以上又は一定回数以上続けば、ヨー角観
測手段から得られるヨー角の観測値を、道路に対する車
載カメラのヨー角とするものである請求項4記載のカメ
ラの姿勢パラメータ算出装置。5. The yaw angle calculating means obtains the yaw angle from the yaw angle observing means if the process of using the estimated value as the yaw angle of the vehicle-mounted camera with respect to the road continues for a certain mileage, a certain time or more or a certain number of times The camera posture parameter calculation device according to claim 4, wherein the observed value of the angle is the yaw angle of the vehicle-mounted camera with respect to the road.
の出力データ等に基づいて、車両が旋回中であることが
検出された場合に、旋回が終了するまでは道路に対する
車載カメラのヨー角を決定しないことを特徴とする請求
項1から5のいずれかに記載のカメラの姿勢パラメータ
算出装置。6. The yaw angle calculating means, when it is detected that the vehicle is turning based on the output data of the position detection processing device and the like, the yaw angle of the vehicle-mounted camera with respect to the road until the turning is completed. The posture parameter calculation device for a camera according to claim 1, wherein the angle is not determined.
消失点の座標に基づいて道路に対する車載カメラのピッ
チ角を観測するピッチ角観測手段と、 道路消失点抽出手段から道路消失点が得られず、かつ道
路平行線抽出手段から道路平行線が1本のみ得られてい
る場合には、前記ヨー角演算手段によって算出された道
路に対する車載カメラのヨー角と、1本の道路平行線と
から道路消失点の座標を推定し、この推定された座標に
基づいて道路に対する車載カメラのピッチ角を得るピッ
チ角演算手段とをさらに備えることを特徴とする請求項
1記載のカメラの姿勢パラメータ算出装置。7. A road vanishing point is obtained from a pitch vanishing point observing means for observing a pitch angle of a vehicle-mounted camera with respect to a road based on the coordinates of the road vanishing point obtained from the road vanishing point extracting means, and a road vanishing point extracting means. If only one road parallel line is obtained from the road parallel line extraction means, the yaw angle of the vehicle-mounted camera with respect to the road calculated by the yaw angle calculation means and one road parallel line are calculated. The camera posture parameter calculation device according to claim 1, further comprising: a pitch angle calculation unit that estimates the coordinates of the road vanishing point and obtains the pitch angle of the vehicle-mounted camera with respect to the road based on the estimated coordinates. .
出力データ等に基づいて、車両が旋回中であることが検
出された場合に、旋回が終了するまでは道路に対する車
載カメラのピッチ角を算出しないことを特徴とする請求
項7記載のカメラの姿勢パラメータ算出装置。8. The pitch angle calculating means, when it is detected that the vehicle is turning based on the output data of the position detection processing device, etc., the pitch angle of the vehicle-mounted camera with respect to the road until the turning is completed. The posture parameter calculation device for a camera according to claim 7, wherein is not calculated.
た道路平行線の傾きを検出する傾き検出手段と、 前記傾き検出手段によって検出された道路平行線の傾き
と、車載カメラの道路面に対する高さとの情報を使っ
て、道路に平行な所定の基準線からの車載カメラの横ず
れ距離を観測する横ずれ距離観測手段と、 前記位置検出処理装置の出力データに含まれる車両の走
行距離を取得し、前に算出された道路に対する車載カメ
ラの横ずれ距離と車両の前記走行距離とを所定の漸化式
に当てはめて、道路に対する車載カメラの横ずれ距離の
推定値を算出する横ずれ距離推定値算出手段と、 前記横ずれ距離観測手段によって観測される道路に対す
る車載カメラの横ずれ距離の観測値及び前記横ずれ距離
推定値算出手段によって算出される道路に対する車載カ
メラの横ずれ距離の推定値のいずれか一方又は双方を用
いて道路に対する車載カメラの横ずれ距離を決定する横
ずれ距離演算手段とを備えることを特徴とする請求項1
記載のカメラの姿勢パラメータ算出装置。9. A tilt detecting means for detecting a tilt of a road parallel line extracted by the road parallel line extracting means, a tilt of the road parallel line detected by the tilt detecting means, and a height of the vehicle-mounted camera relative to a road surface. Using the information, and the lateral deviation distance observing means for observing the lateral deviation distance of the vehicle-mounted camera from a predetermined reference line parallel to the road, and acquiring the traveling distance of the vehicle included in the output data of the position detection processing device, A lateral deviation distance estimated value calculation means for calculating an estimated value of the lateral deviation distance of the on-vehicle camera with respect to the road by applying the lateral deviation distance of the on-vehicle camera to the road calculated previously and the traveling distance of the vehicle to a predetermined recurrence formula, The value of the lateral deviation of the vehicle-mounted camera with respect to the road observed by the lateral deviation distance observing means and the road calculated by the lateral deviation distance estimated value calculating means Claim 1, characterized in that it comprises a lateral deviation distance calculating means for determining a lateral deviation distance of the vehicle-mounted camera with respect to the road by using either or both of the estimated values of the lateral shift distance of the vehicle-mounted camera that
The camera posture parameter calculation device described.
観測手段から横ずれ距離の観測値が得られない場合は、
前記推定値を、道路に対する車載カメラの横ずれ距離と
するものである請求項9記載のカメラの姿勢パラメータ
算出装置。10. The lateral deviation distance calculating means, if the lateral deviation distance observation value cannot be obtained from the lateral deviation distance observing means,
The camera posture parameter calculation device according to claim 9, wherein the estimated value is a lateral displacement distance of the vehicle-mounted camera with respect to a road.
対する車載カメラの横ずれ距離の推定値と、横ずれ距離
の観測値とを比較し、この差が一定値より大きければ、
前記推定値を、道路に対する車載カメラの横ずれ距離と
するものである請求項9記載のカメラの姿勢パラメータ
算出装置。11. The lateral deviation distance calculating means compares an estimated value of lateral deviation distance of the vehicle-mounted camera with respect to the road and an observed value of lateral deviation distance, and if the difference is larger than a certain value,
The camera posture parameter calculation device according to claim 9, wherein the estimated value is a lateral displacement distance of the vehicle-mounted camera with respect to a road.
理装置の出力データ等に基づいて、車両が旋回中である
ことが検出された場合に、旋回が終了するまでは道路に
対する車両の横ずれ距離を算出しないことを特徴とする
請求項9から11のいずれかに記載のカメラの姿勢パラ
メータ算出装置。12. The lateral deviation distance calculating means, when it is detected that the vehicle is turning based on the output data of the position detection processing device, etc., the lateral deviation distance of the vehicle with respect to the road until the turning is completed. The posture parameter calculation device for a camera according to claim 9, wherein is not calculated.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5295631A JP2544898B2 (en) | 1993-11-25 | 1993-11-25 | In-vehicle camera attitude parameter calculator |
US08/301,434 US5638116A (en) | 1993-09-08 | 1994-09-07 | Object recognition apparatus and method |
US08/731,582 US5739848A (en) | 1993-09-08 | 1996-10-16 | Object recognition apparatus and method |
US08/996,090 US6285393B1 (en) | 1993-09-08 | 1997-12-22 | Object recognition apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5295631A JP2544898B2 (en) | 1993-11-25 | 1993-11-25 | In-vehicle camera attitude parameter calculator |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07147000A true JPH07147000A (en) | 1995-06-06 |
JP2544898B2 JP2544898B2 (en) | 1996-10-16 |
Family
ID=17823149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5295631A Expired - Fee Related JP2544898B2 (en) | 1993-09-08 | 1993-11-25 | In-vehicle camera attitude parameter calculator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2544898B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011114814A1 (en) | 2010-03-17 | 2011-09-22 | クラリオン株式会社 | Vehicle orientation angle calculating device, and lane deviation warning system using same |
CN110414337A (en) * | 2019-06-21 | 2019-11-05 | 联创汽车电子有限公司 | Targeted attitude detection system and its detection method |
CN111623776A (en) * | 2020-06-08 | 2020-09-04 | 昆山星际舟智能科技有限公司 | Method for measuring distance of target by using near infrared vision sensor and gyroscope |
CN113532468A (en) * | 2020-04-15 | 2021-10-22 | 北京搜狗科技发展有限公司 | Navigation method and related equipment |
-
1993
- 1993-11-25 JP JP5295631A patent/JP2544898B2/en not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011114814A1 (en) | 2010-03-17 | 2011-09-22 | クラリオン株式会社 | Vehicle orientation angle calculating device, and lane deviation warning system using same |
US9123110B2 (en) | 2010-03-17 | 2015-09-01 | Clarion Co., Ltd. | Vehicle attitude angle calculating device, and lane departure warning system using same |
CN110414337A (en) * | 2019-06-21 | 2019-11-05 | 联创汽车电子有限公司 | Targeted attitude detection system and its detection method |
CN110414337B (en) * | 2019-06-21 | 2023-12-05 | 上海汽车工业(集团)总公司 | Target attitude detection system and detection method thereof |
CN113532468A (en) * | 2020-04-15 | 2021-10-22 | 北京搜狗科技发展有限公司 | Navigation method and related equipment |
CN111623776A (en) * | 2020-06-08 | 2020-09-04 | 昆山星际舟智能科技有限公司 | Method for measuring distance of target by using near infrared vision sensor and gyroscope |
CN111623776B (en) * | 2020-06-08 | 2022-12-02 | 昆山星际舟智能科技有限公司 | Method for measuring distance of target by using near infrared vision sensor and gyroscope |
Also Published As
Publication number | Publication date |
---|---|
JP2544898B2 (en) | 1996-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6285393B1 (en) | Object recognition apparatus and method | |
JP3352655B2 (en) | Lane recognition device | |
JP3711405B2 (en) | Method and system for extracting vehicle road information using a camera | |
US6477260B1 (en) | Position measuring apparatus using a pair of electronic cameras | |
EP2767927B1 (en) | Road surface information detection apparatus, vehicle device control system employing road surface information detection apparatus, and carrier medium of road surface information detection program | |
US8452103B2 (en) | Scene matching reference data generation system and position measurement system | |
EP2372304B1 (en) | Vehicle position recognition system | |
US8428362B2 (en) | Scene matching reference data generation system and position measurement system | |
US20020191837A1 (en) | System and method for detecting obstacle | |
JP2000357233A (en) | Body recognition device | |
JP2002197469A (en) | Device for detecting traffic lane | |
JP2514779B2 (en) | Camera posture parameter calculation method | |
CN110843786B (en) | Method and system for determining and displaying a wading situation and vehicle having such a system | |
JP2018048949A (en) | Object recognition device | |
JP3079841B2 (en) | Road shape and own vehicle position measurement device | |
US10916034B2 (en) | Host vehicle position estimation device | |
JP2870372B2 (en) | Object recognition device | |
JP3358247B2 (en) | Road vanishing point calculation method | |
JP2940366B2 (en) | Object tracking recognition device | |
JP3304905B2 (en) | Object tracking recognition device | |
JP2544898B2 (en) | In-vehicle camera attitude parameter calculator | |
US11156466B2 (en) | Lane determination device | |
JPH05157558A (en) | Vehicular gap detector | |
JP2003308599A (en) | Traveling route environment detector | |
JP3612821B2 (en) | In-vehicle distance measuring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 14 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 14 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 15 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 15 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 16 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 17 |
|
LAPS | Cancellation because of no payment of annual fees |