JP5034985B2 - Parameter estimation device - Google Patents
Parameter estimation device Download PDFInfo
- Publication number
- JP5034985B2 JP5034985B2 JP2008019356A JP2008019356A JP5034985B2 JP 5034985 B2 JP5034985 B2 JP 5034985B2 JP 2008019356 A JP2008019356 A JP 2008019356A JP 2008019356 A JP2008019356 A JP 2008019356A JP 5034985 B2 JP5034985 B2 JP 5034985B2
- Authority
- JP
- Japan
- Prior art keywords
- parameters
- parameter
- road
- vehicle
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、パラメータ推定装置に係り、特に、カメラ等により撮像された画像から道路の車線幅や、車線内での車両の横位置、道路に対する車両のヨー角、ピッチ角、道路形状等のパラメータを推定するパラメータ推定装置に関する。 The present invention relates to a parameter estimation device, in particular, lane width and the road from the image captured by the camera or the like, the lateral position of the vehicle within the traffic lane, the yaw angle of the vehicle relative to the road, the pitch angle, the road shape such as about Rupa parameter estimation apparatus to estimate the parameters.
従来から、車両に搭載されたカメラによって車両の前方や後方を撮像し、撮像された画像からパラメータを推定する技術が各種提案されている。 Conventionally, the captured forward direction or backward of the vehicle by a camera mounted on a vehicle, a technique for estimating the captured image or Rapa parameters have been proposed.
例えば、特許文献１には、撮像された画像に道路の消失点が含まれる場合に当該消失点の座標に基づいて道路に対するヨー角の観測値を求め、撮像された画像に消失点が含まれない場合に車両の進行方位に関する情報を使って前回の処理で求められたヨー角の変化を予測して新しいヨー角の予測値を求め、これらの観測値と予測値とを利用して、現在のヨー角を推定する技術が開示されている。
しかしながら、上記特許文献１の技術では、観測値の有無により観測値と予測値の使い分けを行うが、撮像された画像から推定されるパラメータの種類は固定であり、他の道路パラメータが推定可能な道路状況であっても、他のパラメータについて推定されない、という問題点があった。 However, in the technique of Patent Document 1, although the presence or absence of observations carried out selectively used observed and predicted values, types of Rupa parameters are estimated from the captured image is fixed, the other road parameters can be estimated even in such road conditions, not estimated for the other parameters, there is a problem in that.
すなわち、例えば、撮像された画像に道路の白線が含まれており、車線幅など他のパラメータが推定可能な道路状況であっても、ヨー角しか推定されず、取得できるパラメータは同じである。 That is, for example, includes a white line of the road in the captured image, be other parameters that can be estimated road conditions such as lane width, only the yaw angle is not estimated, acquisition can Rupa parameters are the same It is.
本発明は上記問題点を解決するためになされたものであり、特徴点の検出状況に応じてより多くのパラメータを安定かつ精度良く推定することができるパラメータ推定装置を提供することを目的とする。 The present invention has been made to solve the above problems, to provide a Rupa parameter estimator can be stably and accurately estimate more parameters in response to the detection status of the feature point Objective.
上記目的を達成するため、請求項１に記載の発明は、車両の前方、後方の一方あるいは両方を撮像する撮像手段と、前記撮像手段による撮像によって得られた画像に含まれる特徴点に基づいて、道路上の線の特徴点を検出する特徴点検出手段と、前記特徴点検出手段による特徴点の検出結果に基づいて、道路パラメータ、及び道路に対する車両パラメータを含む複数種類のパラメータの各々について、予め定められた当該パラメータの推定に必要な道路上の線が検出された当該パラメータを、推定対象とする前記パラメータとして指定する指定手段と、以前に推定された前記複数種類のパラメータを一時的に記憶する記憶手段と、前記記憶手段に記憶された前記以前に推定された前記複数種類のパラメータに基づいて現時刻の前記複数種類のパラメータを予測する予測手段と、前記指定手段により推定対象とされた前記パラメータについて、前記特徴点検出手段により検出された特徴点に関する情報と前記予測手段により予測された前記パラメータに基づいて現時刻の前記パラメータを推定する推定手段と、現時刻の前記パラメータの推定結果として、前記推定対象とされた前記パラメータについては前記推定手段による推定結果を選択し、推定対象とされなかった前記パラメータについては前記予測手段による予測結果を選択する選択手段と、を備えている。 In order to achieve the above object, the invention described in claim 1 is based on an image pickup means for picking up one or both of the front and rear of a vehicle, and a feature point included in an image obtained by image pickup by the image pickup means. A feature point detecting means for detecting a feature point of a line on the road; and for each of a plurality of types of parameters including a road parameter and a vehicle parameter for the road based on the detection result of the feature point by the feature point detecting means , the parameter line is detected on the road necessary for estimation of the predetermined said parameters, a designation unit that specifies as the parameters to be estimated subject, temporarily the plurality of types of parameter estimated previously storage means for storing the, the plurality of types of the current time on the basis of the plurality of types of parameter estimated in the previously stored in the storage means Prediction means for predicting a parameter, for said parameters and estimation target by the specifying means, the current time on the basis of the parameter predicted by information and the prediction means about feature points detected by the feature point detection unit and estimating means for estimating the parameters, as the estimation result of the parameter of the current time, the estimation target is the parameter which selects the estimation result by the estimating means, the for the parameters not estimated target Selecting means for selecting a prediction result by the prediction means.
請求項１記載の発明では、撮像手段による撮像によって得られた画像に含まれる特徴点に基づいて、道路上の線の特徴点が検出される。 In the invention of claim 1, wherein, based on the feature points included in the image obtained by by that imaging in the imaging unit, a feature point of a line on the road is detected.
また、本発明では、記憶手段により、以前に推定された複数種類のパラメータが一時的に記憶されており、予測手段により、記憶手段に記憶された以前に推定された複数種類のパラメータに基づいて現時刻の複数種類のパラメータが予測される。 Further, in the present invention, a plurality of types of previously estimated parameters are temporarily stored by the storage unit, and based on a plurality of types of previously estimated parameters stored in the storage unit by the prediction unit. Multiple types of parameters at the current time are predicted.
そして、本発明では、指定手段により、特徴点検出手段による特徴点の検出結果に基づいて、道路パラメータ、及び道路に対する車両パラメータを含む複数種類のパラメータの各々について、予め定められた当該パラメータの推定に必要な道路上の線が検出された当該パラメータを、推定対象とするパラメータとして指定され、推定手段により、指定手段により推定対象とされたパラメータについて、特徴点検出手段により検出された特徴点に関する情報と予測手段により予測されたパラメータに基づいて現時刻のパラメータが推定され、選択手段により、現時刻のパラメータの推定結果として、推定対象とされたパラメータについては推定手段による推定結果が選択され、推定対象とされなかったパラメータについては予測手段による予測結果が選択される。 In the present invention, the designation unit estimates the predetermined parameter for each of a plurality of types of parameters including the road parameter and the vehicle parameter for the road based on the detection result of the feature point by the feature point detection unit. the parameter line is detected on the road required, is specified as the estimation target and to Rupa parameters, the estimation means, the parameters that are estimated subject by specified means, is detected by the feature point detection unit is information estimated parameters of the current time based on the predicted parameters by the prediction means regarding feature points, by the selection means, as the estimation result of the current time of parameter estimation for Pas was estimated target parameter estimation result by the means is selected, the prediction by the prediction means for Pas was not estimated target parameter Fruit is selected.
このように、請求項１記載の発明によれば、特徴点の検出状況に応じて推定対象とするパラメータを指定して、推定対象とされたパラメータについて検出された特徴点に関する情報と予測された当該パラメータに基づいて現時刻のパラメータを推定するので、特徴点の検出状況に応じて多くのパラメータを精度良く推定することができる。 Thus, according to the first aspect of the invention, by specifying the estimation target and to Rupa parameters in response to the detection status of the feature point, and the information about the detected feature points for been parameters estimated target since estimates the current time of the parameter based on the predicted those 該Pa parameters, it is possible to accurately estimate the number of parameters in accordance with the detection state of the feature point.
また、推定対象とされなかったパラメータについては以前に推定された各パラメータに基づいて現時刻の各パラメータを予測するので、特徴点の検出状況に応じて多くのパラメータを安定して推定することができる。 Further, since predicting the parameters of the current time based on the parameters for has not been estimated target parameter is estimated previously, a number of parameters in accordance with the detection state of the feature point stably Can be estimated.
なお、本発明は、請求項２記載の発明のように、前記車両の車速及び操舵角を含む車両運動に関する情報を検出する運動情報検出手段をさらに備え、前記予測手段が、前記記憶手段に記憶された前記以前に推定された各パラメータと前記運動情報検出手段により検出された車両運動に関する情報とに基づいて現時刻の各パラメータを予測してもよい。 The present invention further includes motion information detecting means for detecting information relating to vehicle motion including the vehicle speed and steering angle of the vehicle, as in the invention according to claim 2, wherein the predicting means is stored in the storage means. have been each parameter of the previous to the current time based on the information about the detected vehicle movement and the parameters estimated by the motion information detecting means may predict.
なお、本発明は、請求項３記載の発明のように、前記パラメータを、道路の車線幅、車線内での前記車両の横位置、道路に対する前記車両のヨー角、ピッチ角、道路形状としてもよい。 The present invention, as the invention described in claim 3, the pre Kipa parameters, lane width of a road, the lateral position of the vehicle within the lane, a yaw angle of the vehicle relative to the road, the pitch angle, the road shape It is good.
以上説明したように、本発明によれば、特徴点の検出状況に応じてより多くのパラメータを安定かつ精度良く推定することができる、という優れた効果を有する。 As described above, according to the present invention, it is possible to stably and accurately estimate more parameters in response to the detection status of the feature points, it has an excellent effect that.
以下、図面を参照して本発明の実施の形態について詳細に説明する。なお、以下では、本発明を、車両に搭載され、ドライバの運転支援を行うドライバ支援装置に適用した場合を例として説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Hereinafter, a case where the present invention is applied to a driver support device that is mounted on a vehicle and that supports driving of a driver will be described as an example.
［第１の実施の形態］ [First Embodiment]
図１には、本実施の形態に係るドライバ支援装置１０の概略構成が示されている。 FIG. 1 shows a schematic configuration of a driver support apparatus 10 according to the present embodiment.
同図に示すように、ドライバ支援装置１０は、所定の検出対象領域を連続的に撮像するカメラ１２と、各種情報を表示するディスプレイ１４と、カメラ１２による撮像により得られた画像に基づいて各種の警告を行う装置本体２０と、を含んで構成されている。 As illustrated in FIG. 1, the driver support device 10 performs various operations based on a camera 12 that continuously captures a predetermined detection target area, a display 14 that displays various types of information, and an image obtained by imaging with the camera 12. And an apparatus main body 20 that performs the warning.
なお、本実施の形態に係るカメラ１２は、車両の前方グリルまたはバンパなどの車両の前方側に取り付けられており、車両の前方を撮像する。 The camera 12 according to the present embodiment is attached to the front side of the vehicle, such as a front grill or a bumper of the vehicle, and images the front of the vehicle.
図１に示すように、装置本体２０は、ドライバ支援装置１０全体の動作を司るＣＰＵ（中央処理装置）２２と、ＣＰＵ２２による各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２４と、後述するパラメータ推定処理プログラムを含む各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）２６と、各種情報を記憶するＨＤＤ（ハード・ディスク・ドライブ）２８と、カメラ１２の撮影動作を制御するカメラ制御部３０と、ディスプレイ１４への画面やメッセージなどの各種情報の表示を制御する表示制御部３２と、運転者へ警告を行うためのスピーカ３４と、を備えている。 As shown in FIG. 1, the apparatus main body 20 includes a CPU (Central Processing Unit) 22 that controls the operation of the entire driver support apparatus 10, and a RAM (Random Access Memory) used as a work area when the CPU 22 executes various processing programs. ) and 24, and various control programs and ROM in which various parameters and the like are stored in advance (Read Only memory) 26 that includes a Rupa parameter estimation processing program to be described later, a HDD (hard disk drive) 28 for storing various information A camera control unit 30 for controlling the photographing operation of the camera 12, a display control unit 32 for controlling display of various information such as a screen and a message on the display 14, and a speaker 34 for warning the driver. I have.
ＣＰＵ２２、ＲＡＭ２４、ＲＯＭ２６、ＨＤＤ２８、カメラ制御部３０、表示制御部３２、及びスピーカ３４は、システムバスＢＵＳを介して相互に接続されている。 The CPU 22, RAM 24, ROM 26, HDD 28, camera control unit 30, display control unit 32, and speaker 34 are connected to each other via the system bus BUS.
従って、ＣＰＵ２２は、ＲＡＭ２４、ＲＯＭ２６、及びＨＤＤ２８に対するアクセスと、カメラ制御部３０を介してカメラ１２の撮影動作の制御と、表示制御部３２を介したディスプレイ１４に対する各種情報の表示の制御と、スピーカ３４からの音声の出力の制御と、を各々行うことができる。 Accordingly, the CPU 22 accesses the RAM 24, the ROM 26, and the HDD 28, controls the photographing operation of the camera 12 through the camera control unit 30, controls the display of various information on the display 14 through the display control unit 32, and the speaker. The control of the sound output from 34 can be performed respectively.
本実施の形態に係るドライバ支援装置１０は、カメラ１２による撮影によって得られた画像からパラメータとして道路の車線幅や、車線内での車両の横位置、道路に対する車両のヨー角、ピッチ角、道路形状の推定を行っており、推定されたパラメータに基づいてドライバに対して警告等を行うことによりドライバの運転支援を行うものとされている。 The driver assistance device 10 according to this embodiment, the lane width and the road as an image or Lapa parameters obtained by photographing by the camera 12, the lateral position of the vehicle within the traffic lane, the yaw angle of the vehicle relative to the road, the pitch angle It has been estimated road shape, which is intended to perform driving support of the driver by a warning or the like to the driver based on the estimated parameters.
図２（Ａ）〜（Ｃ）には、本実施の形態に係るドライバ支援装置１０においてパラメータとして推定を行う道路の車線幅や、車線内での車両の横位置、道路に対する車両のヨー角、ピッチ角、道路形状が模式的に示されている。 FIG 2 (A) ~ (C) , the lane width and road Te driver assistance device 10 smell according to this embodiment estimates a parameter, the lateral position of the vehicle within the traffic lane, the yaw of the vehicle relative to the road Corners, pitch angles, and road shapes are schematically shown.
図３には、本実施の形態に係るドライバ支援装置１０の機能的な構成を示す機能ブロック図が示されている。 FIG. 3 is a functional block diagram showing a functional configuration of the driver support apparatus 10 according to the present embodiment.
同図に示されるように、ドライバ支援装置１０は、特徴点検出部５０と、推定演算部５２と、警告表示制御部６０と、を備えている。 As shown in the figure, the driver assistance apparatus 10 includes a feature point detection unit 50, an estimation calculation unit 52, and a warning display control unit 60.
カメラ制御部３０は、特徴点検出部５０と接続されており、カメラ１２による撮影によって得られた画像を示す画像データを順次出力する。 The camera control unit 30 is connected to the feature point detection unit 50 and sequentially outputs image data indicating an image obtained by photographing with the camera 12.
特徴点検出部５０は、推定演算部５２と接続されており、カメラ制御部３０から画像データが順次入力される。 The feature point detection unit 50 is connected to the estimation calculation unit 52, and image data is sequentially input from the camera control unit 30.
特徴点検出部５０は、カメラ制御部３０から画像データが入力されると、当該画像データにより示される画像から、推定を行うパラメータ毎に、当該パラメータの推定に必要な特徴点が含まれるか検索し、特徴点が含まれる場合に当該特徴点を検出する。 Feature point detection unit 50, when the image data from the camera control unit 30 is inputted, the image represented by the image data, estimates for each row Upa parameters, the feature point necessary for the estimation of those 該Pa parameters It is searched whether it is included, and when a feature point is included, the feature point is detected.
例えば、パラメータとして車線幅や車両の横位置、道路形状を推定するには、画像データにより示される画像から道路の白線を検出する必要があり、また、パラメータとして車両のヨー角、ピッチ角を推定するには、画像データにより示される画像から道路の白線や路側構造線の少なくとも一方を検出する必要がある。 For example, the lateral position of the lane width and the vehicle as a parameter, to estimate the road shape, it is necessary to detect the white line from the image represented road by the image data, and yaw angle of the vehicle as a parameter, the pitch angle Is estimated, it is necessary to detect at least one of the white line of the road and the roadside structure line from the image indicated by the image data.
このため、本実施の形態に係る特徴点検出部５０は、当該画像データにより示される画像に対して微分フィルタ（例えば、ソーベルフィルタ）などを用いてエッジ検出を行って当該画像に含まれる物体のエッジ点を特定し、直線状に連続的に並ぶエッジ点の形状や幅、色などを判別することにより、当該画像に道路の路側構造線や白線が含まれるか検索しており、路側構造線や白線の少なくとも一方が含まれる場合に、路側構造線や白線のエッジ点を検出する。 For this reason, the feature point detection unit 50 according to the present embodiment performs edge detection on the image indicated by the image data using a differential filter (for example, a Sobel filter) or the like, and the object included in the image By identifying the edge points of the road and determining the shape, width, color, etc. of the edge points that are continuously arranged in a straight line, it is searched whether the image contains road side structure lines or white lines. When at least one of a line and a white line is included, an edge point of a roadside structure line or a white line is detected.
特徴点検出部５０は、検出したエッジ点の画像内での位置を示す情報を特徴点に関する情報として推定演算部５２へ出力する。 The feature point detection unit 50 outputs information indicating the position of the detected edge point in the image to the estimation calculation unit 52 as information on the feature point.
本実施の形態に係る推定演算部５２は、カルマンフィルタやパーティクルフィルタ等を用いた最適処理手法によって各パラメータを推定するものとされており、図３に示されるように、推定パラメータ切替部５４と、道路パラメータ推定部５６と、道路パラメータ予測部５８と、を備えている。 Estimating arithmetic unit 52 according to this embodiment is intended to estimate each parameter by the optimum treatment method using a Kalman filter or a particle filter, etc., as shown in FIG. 3, the estimated parameter switching unit 54 The road parameter estimation unit 56 and the road parameter prediction unit 58 are provided.
推定パラメータ切替部５４は、特徴点検出部５０、及び道路パラメータ推定部５６と接続されており、特徴点検出部５０から特徴点に関する情報が入力される。 The estimation parameter switching unit 54 is connected to the feature point detection unit 50 and the road parameter estimation unit 56, and information regarding the feature points is input from the feature point detection unit 50.
推定パラメータ切替部５４は、特徴点検出部５０から入力される情報から推定可能なパラメータを特定し、推定対象とするパラメータを指示する指示情報を出力することにより、推定対象とするパラメータを切替えている。 Estimating parameter switching unit 54, by outputting the instruction information to identify the presumable parameters from the information inputted from the feature point detection unit 50, and instructs the estimation target and to Rupa parameter shall be the estimated target It switches the parameters.
本実施の形態では、例えば、図４に示すように、道路の白線が２本検出されている場合はパラメータとして車線幅や車両の横位置、道路の曲率などの道路形状、車両のヨー角、ピッチ角を推定対象と指定する。また、道路の右側の白線が検出され、道路の路側構造線が検出されている場合はパラメータとして車両の横位置や、道路形状、車両のヨー角、ピッチ角を推定対象と指定する。また、道路の路側構造線が複数検出されている場合はパラメータとして車両の横位置や、車両のヨー角、ピッチ角を推定対象と指定する。また、道路の路側構造線が１本検出されている場合はパラメータとして車両の横位置や、車両のピッチ角を推定対象と指定する。 In this embodiment, for example, as shown in FIG. 4, the lateral position of the lane width and the vehicle as parameters when the white line of the road is detected two road shape such as curvature of the road, the yaw angle of the vehicle The pitch angle is designated as the estimation target. Further, the detected right white line of the road, if the roadside structure line of the road is detected and the lateral position of the vehicle as parameters the road shape, the yaw angle of the vehicle, specifying the estimation target pitch angle. Also, if the roadside structure line of the road is more detected and lateral position of the vehicle as a parameter, the yaw angle of the vehicle, specifying the estimation target pitch angle. Moreover, and lateral position of the vehicle as parameters when the road-side structure line of the road is detected one, specifies the estimated target pitch angle of the vehicle.
道路パラメータ推定部５６は、道路パラメータ予測部５８、警告表示制御部６０、及びＲＡＭ２４と接続されており、特徴点検出部５０から検出された特徴点に関する情報が入力され、推定パラメータ切替部５４から指示情報が入力され、道路パラメータ予測部５８から後述する各パラメータの予測結果を示す情報が入力される。 The road parameter estimation unit 56 is connected to the road parameter prediction unit 58, the warning display control unit 60, and the RAM 24, and information on the feature points detected from the feature point detection unit 50 is input. instruction information is input, information indicating the prediction results of each parameter to be described later from the road parameter prediction unit 58 is input.
道路パラメータ推定部５６は、指示情報により推定対象とされたパラメータについて、特徴点検出部５０により検出された特徴点に関する情報と道路パラメータ予測部５８により予測された当該パラメータに基づいて現時刻のパラメータを推定する。本実施の形態では、車線幅や車両の横位置、道路形状については、白線のエッジ点から推定を行い、車両のヨー角やピッチ角については、白線又は路側構造線のエッジ点から推定を行う。 Road parameter estimating section 56, the parameter which is estimated subject by instruction information, based on those 該Pa parameters predicted by information and the road parameter prediction unit 58 about the feature point detected by the feature point detection unit 50 current time of parameters to estimate. In the present embodiment, the lane width, the lateral position of the vehicle, and the road shape are estimated from the edge points of the white line, and the yaw angle and pitch angle of the vehicle are estimated from the edge points of the white line or the roadside structure line. .
そして、道路パラメータ推定部５６は、現時刻の各パラメータの推定結果として、推定対象とされたパラメータについては本道路パラメータ推定部５６による推定結果を選択し、推定対象とされなかったパラメータについては道路パラメータ予測部５８による予測結果を選択して、選択した各パラメータを示す情報を警告表示制御部６０及びＲＡＭ２４へ出力する。 Then, the road parameter estimating unit 56 as the estimated result of each parameter of the current time, select the estimation result according to the road parameter estimating section 56 for Pas was estimated target parameters were not estimated target parameters for selects a prediction result by the road parameter prediction unit 58 outputs information indicating each parameter selected to alert the display controller 60 and RAM 24.
ＲＡＭ２４は、この出力された各パラメータを一時的に記憶する。 RAM24 temporarily stores the output each parameter was.
道路パラメータ予測部５８は、ＲＡＭ２４と接続されている。 The road parameter prediction unit 58 is connected to the RAM 24.
道路パラメータ予測部５８は、ＲＡＭ２４に記憶された、以前に推定された各パラメータに基づいて現時刻の各パラメータを予測しており、各パラメータの予測結果を示す情報を道路パラメータ推定部５６へ出力する。 Road parameter prediction unit 58, stored in the RAM 24, previously anticipates the parameters of the current time based on the parameter which is estimated, the road parameter estimating section information indicating the prediction results of each parameter To 56.
警告表示制御部６０は、ディスプレイ１４、及びスピーカ３４と接続されており、道路パラメータ推定部５６から推定された現時刻の各パラメータを示す情報が入力される。 Warning display control unit 60, a display 14, and are connected to the speaker 34, information indicating each parameter of the current time estimated from the road parameter estimating section 56 is input.
警告表示制御部６０は、入力される情報により示される現時刻のパラメータに基づいて車両の走行状況を判定しており、例えば、車線内での車両の横位置が所定の閾値以下となった場合にディスプレイ１４に警告メッセージを表示してドライバに対して警告を発生させるものとされている。なお、この際、スピーカ３４から警告音や警告メッセージ等を出力するものとしもよい。 Warning display control unit 60 is to determine the running state of the vehicle based on the current time of the parameter indicated by the information inputted, for example, the lateral position of the vehicle within the lane is equal to or less than a predetermined threshold value In this case, a warning message is displayed on the display 14 to generate a warning to the driver. At this time, a warning sound, a warning message, or the like may be output from the speaker 34.
ところで、以上のように構成されたドライバ支援装置１０の各構成要素（特徴点検出部５０、推定演算部５２（推定パラメータ切替部５４、道路パラメータ推定部５６、道路パラメータ予測部５８）及び警告表示制御部６０）による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現することができる。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現することもできることは言うまでもない。 By the way, each component (the feature point detection unit 50, the estimation calculation unit 52 (the estimation parameter switching unit 54, the road parameter estimation unit 56, the road parameter prediction unit 58) and the warning display of the driver assistance apparatus 10 configured as described above. The processing by the control unit 60) can be realized by a software configuration using a computer by executing a program. However, the present invention is not limited to realization by a software configuration, and needless to say, it can also be realized by a hardware configuration or a combination of a hardware configuration and a software configuration.
以下では、本実施の形態に係るドライバ支援装置１０が、パラメータ推定処理プログラムを実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。この場合、当該パラメータ推定処理プログラムをＲＯＭ２６やＨＤＤ２８に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用することができる。 Hereinafter, the driver assistance device 10 according to the present embodiment, the case has been intended to realize the process according to the above respective components will be described by performing the parameter estimation processing program. In this case, distributed through or form in advance install those 該Pa parameter estimation processing program ROM26 and HDD 28, forms provided while being stored in a computer-readable recording medium, a communications component, by wire or by wireless The form etc. which are made can be applied.
次に、図５を参照して、本実施の形態に係るドライバ支援装置１０の作用を説明する。なお、図５は、ＣＰＵ２２により実行されるパラメータ推定処理プログラムの処理の流れを示すフローチャートである。当該パラメータ推定処理プログラムは、例えば、ドライバ支援装置１０が搭載された車両のエンジンスイッチがオンされるなどによって図示しない車両制御装置から処理開始の指示信号が受信されるとＣＰＵ２２により実行される。 Next, with reference to FIG. 5, the operation of the driver support apparatus 10 according to the present embodiment will be described. Incidentally, FIG. 5 is a flowchart illustrating a flow of processing of Rupa parameter estimation processing program is executed by the CPU 22. Those 該Pa parameter estimation processing program is executed, for example, by the CPU22 when the instruction signal processing starting from the vehicle control device (not shown), such as by an engine switch of the vehicle that the driver assistance device 10 is mounted is turned on is received .
同図のステップ１００では、カメラ制御部３０からの画像データの入力待ちを行う。 In step 100 in the figure, input of image data from the camera control unit 30 is waited.
次のステップ１０２では、入力された画像データにより示される画像の濃度値の変化に基づいてエッジ検出を行い、当該画像に含まれる物体のエッジを特定する。 In the next step 102, edge detection is performed based on the change in the density value of the image indicated by the input image data, and the edge of the object included in the image is specified.
次のステップ１０４では、直線状に連続的に並ぶエッジ点の形状や幅、色などを判別することにより、特定したエッジ点から路側構造線や白線のエッジ点を検出する。 In the next step 104, the edge points of roadside structure lines and white lines are detected from the specified edge points by discriminating the shape, width, color, etc. of the edge points continuously arranged in a straight line.
これにより、例えば、撮像によって得られた画像が図６（Ａ）に示すようにな画像の場合、白線のエッジ点が検出され、撮像によって得られた画像が図６（Ｂ）に示すようにな画像の場合、道路の路側構造線のエッジ点が検出される。 Thereby, for example, when the image obtained by imaging is an image as shown in FIG. 6A, the edge point of the white line is detected, and the image obtained by imaging is as shown in FIG. 6B. In the case of a simple image, the edge point of the roadside structural line of the road is detected.
次のステップ１０６では、上記ステップ１０４において検出された検出結果に基づいて推定対象とするパラメータを特定する。 In the next step 106, it identifies the estimation target and to Rupa parameters based on the detection result detected in step 104.
すなわち、例えば、撮像によって得られた画像が図６（Ａ）に示すようにな画像の場合は、車線幅や車両の横位置、道路形状、車両のヨー角、ピッチ角を推定対象と特定し、撮像によって得られた画像が図６（Ｂ）に示すようにな画像の場合は、車両のヨー角、ピッチ角を推定対象と特定する。 That is, for example, when the image obtained by imaging is an image as shown in FIG. 6A, the lane width, the lateral position of the vehicle, the road shape, the yaw angle, and the pitch angle of the vehicle are specified as the estimation target. When the image obtained by imaging is an image as shown in FIG. 6B, the yaw angle and pitch angle of the vehicle are specified as the estimation target.
次のステップ１０８では、ＲＡＭ２４に記憶された、以前に推定された各パラメータに基づいて現時刻のパラメータを予測する。 In the next step 108, stored in the RAM 24, to predict the current time parameter based on each parameter estimated previously.
例えば、ＲＡＭ２４に記憶された以前に推定された車両の横位置の経時的な変化や車両のヨー角の変化から車両の横方向に対する移動速度を求め、現時刻の車両の横位置を予測する。なお、車線幅などの経時的な変化が乏しいパラメータや、ピッチ角、ヨー角などの経時的な変化を予測できないパラメータについては、ＲＡＭ２４に記憶されたパラメータをそのまま予測される現時刻のパラメータとして用いる。 For example, the moving speed in the lateral direction of the vehicle is obtained from the temporal change in the lateral position of the vehicle previously stored in the RAM 24 and the change in the yaw angle of the vehicle, and the lateral position of the vehicle at the current time is predicted. Incidentally, and change over time is poor Ipa parameters such as lane width, pitch angle, the Ipa parameters such unpredictable changes over time, such as the yaw angle is directly predict the parameters stored in the RAM24 used as the current time of parameters.
次のステップ１１０では、上記ステップ１０６において推定対象と特定されたパラメータについて、上記ステップ１０４において検出された検出結果と上記ステップ１１０において予測された予測結果に基づいて、現時刻のパラメータを推定する。 In the next step 110, the parameters that were identified as putative target in step 106, based on the predicted prediction results in the detection result and step 110 detected in step 104, estimates the current time of the parameters To do.
ここで、各パラメータの推定方法の一例を説明する。 Here, an example of a method of estimating the parameters.
例えば、道路面が、カメラ１２の直下を原点として、カメラ１２の光軸との垂直方向になす角（ピッチ角）をφとする、図９（Ａ）に示すようなＸ−Ｚ平面（Ｚは進行方向、Ｘは進行方向に対する直交方向）であるものと仮定し、車線幅をＷ、車線の中央の位置をｅ、カメラ１２の光軸と車線の水平方向のなす角（ヨー角）をθ、道路の曲率をｃとすると、車両進行方向ｚでの白線による車線の左右の境界ｘは、以下の（１）式により近似できる。
ｘ＝０．５×ｋ×Ｗ＋ｅ＋θ×ｚ＋０．５×ｃ×ｚ２・・・（１）
For example, an XZ plane (Z) as shown in FIG. 9A, where the road surface has an angle (pitch angle) perpendicular to the optical axis of the camera 12 with the origin directly below the camera 12 and φ. Is the direction of travel, X is the direction perpendicular to the direction of travel), the lane width is W, the center position of the lane is e, and the angle between the optical axis of the camera 12 and the lane in the horizontal direction (yaw angle) is If θ and the road curvature are c, the left and right lane boundaries x of the white line in the vehicle traveling direction z can be approximated by the following equation (1).
x = 0.5 × k × W + e + θ × z + 0.5 × c × z 2 (1)
ここで、車線の右側の境界を求める場合はｋ＝１とし、車線の左側の境界を求める場合はｋ＝−１とする。
この車線の境界上の点（ｘ，ｚ）は、カメラ１２の高さやピッチ角φと、カメラ１２の撮像素子の解像度や焦点距離を用いて、図９（Ｂ）に示すように、カメラ１２による撮像によって得られた画像内での座標（所謂、カメラ座標）（ｕ，ｖ）に変換することができる。
Here, k = 1 is used to determine the right boundary of the lane, and k = -1 when the left boundary of the lane is determined.
A point (x, z) on the boundary of this lane is obtained by using the height and pitch angle φ of the camera 12 and the resolution and focal length of the image sensor of the camera 12 as shown in FIG. Can be converted into coordinates (so-called camera coordinates) (u, v) in an image obtained by imaging.
よって、カメラ１２による撮像によって得られた画像内で２本の白線が検出された場合は、画像内での当該白線のエッジ点の座標（ｕ，ｖ）から車線幅Ｗや車線の中央の位置ｃに対する車両の横位置、道路の曲率ｃを求めることができる。 Therefore, when two white lines are detected in the image obtained by imaging by the camera 12, the lane width W or the center position of the lane is determined from the coordinates (u, v) of the edge point of the white line in the image. The lateral position of the vehicle with respect to c and the curvature c of the road can be obtained.
また、ヨー角については、撮像された画像内の道路の両側に路側構造線や白線が含まれれば、当該路側構造線や白線のエッジ点を結ぶ直線（あるいは曲線）より求められる消失点の画像内での位置からヨー角を求めることができる。 As for the yaw angle, if a roadside structure line or a white line is included on both sides of the road in the captured image, the vanishing point image obtained from a straight line (or curve) connecting the edge points of the roadside structure line or the white line. The yaw angle can be obtained from the position in the interior.
さらに、ピッチ角については、撮像された画像内に路側構造線や白線が含まれれば、当該路側構造線や白線のエッジ点を結ぶ直線（あるいは曲線）の画像内での位置からピッチ角を求めることができる。 Further, with respect to the pitch angle, if a roadside structure line or white line is included in the captured image, the pitch angle is obtained from the position in the image of a straight line (or curve) connecting the edge points of the roadside structure line or white line. be able to.
本ステップ１１０では、推定対象と特定されたパラメータについて、カメラ１２による撮像によって得られた画像内での特徴点の座標から当該パラメータを求める。そして、求めたパラメータを上記ステップ１１０による当該パラメータの予測結果と比較して誤差を求め、求めたパラメータを当該誤差の大きさに応じて補正することにより、現時刻のパラメータを推定する。 In this step 110, the identified estimated target parameters, the coordinates of the feature points in the images obtained by the imaging by the camera 12 obtains an equivalent 該Pa parameters. Then, a parameter by comparing the predicted results of those 該Pa parameter by step 110 obtains the error was, by the parameters obtained corrected in accordance with the size of the error, the current time of the parameters presume.
次のステップ１１２では、現時刻の各パラメータの推定結果として、上記ステップ１１０において推定されたパラメータについては推定結果を選択し、推定されなかったパラメータについては上記ステップ１１０において予測された予測結果を選択する。 In the next step 112, as an estimation result of each parameter at the present time, expected for the estimated parameters at step 110 selects the estimation result, for were not estimated parameter is predicted in step 110 Select the result.
次のステップ１１４では、上記ステップ１１２において選択された各パラメータをＲＡＭ２４に記憶させる。 In the next step 114, to RAM24 to store each parameter selected in step 112.
次のステップ１１６では、上記ステップ１１２において選択された各パラメータに基づいて車両の走行状況を判定し、例えば、車両の横位置が所定の閾値以下となった場合、ドライバに対して警告を行う。 In the next step 116, determines the running condition of the vehicle based on the parameter selected in step 112, for example, if the lateral position of the vehicle is equal to or less than a predetermined threshold value, a warning to the driver .
次にステップ１２０では、例えば、車両のエンジンスイッチがオフされるなどによって図示しない車両制御装置から処理終了の指示信号が入力したか否かを判定し、否定判定となった場合はステップ１００へ移行する一方、肯定判定となった場合は本パラメータ推定処理プログラムの処理が処理終了となる。 Next, in step 120, for example, it is determined whether or not a processing end instruction signal is input from a vehicle control device (not shown) by turning off the engine switch of the vehicle. If the determination is negative, the process proceeds to step 100. to one, the process of the present parameter estimation processing program when it becomes affirmative determination is made to terminate the processing.
図７には、本実施の形態のように白線と路側構造線の検出状況に応じて推定対象とするパラメータを動的に切り替えて各パラメータを推定する場合（「本実施の形態（動的切り替えによる推定」と記載。）と、路側構造線のみで各パラメータを推定する場合（「路側構造線のみによる推定」と記載。）と、２本の白線（車線両側の白線）のみで各パラメータを推定する場合（「両側白線のみによる推定」と記載。）の、路側構造線と車線両側の白線の検出状況に応じた各パラメータの推定状況の比較結果の一例が示されている。 7, when estimating the respective parameters dynamically switch the estimation object and to Rupa parameters in accordance with the detection state of the white line and the roadside structure line as in the present embodiment ( "present embodiment ( dynamic switching estimation by "and described. and), when estimating the parameters only roadside structure lines (described as" estimated by the road-side structure lines only ".), only two white lines (lane on both sides of the white line) in the case of estimating the parameters (described as "only estimated by both sides white lines".) of an example of a comparison result of the estimation status of each parameter in response to the detection status of the roadside structure lines and lanes on both sides of the white line is shown ing.
同図に示すように、本実施の形態によれば、路側構造線と車線両側の白線が共に検出できる場合（「路側構造線あり、白線あり」と記載。）は、車線幅や、車両の横位置、車両のヨー角、ピッチ角、道路形状を予測値と画像からの検出値に基づいて推定し、更新することができる。一方、路側構造線のみで各パラメータを推定する場合、車線幅や、車両の横位置、道路形状を推定することができない。 As shown in the figure, according to the present embodiment, when both the roadside structure line and the white line on both sides of the lane can be detected (described as “the roadside structure line is present, white line is present”), the lane width and the vehicle The lateral position, vehicle yaw angle, pitch angle, and road shape can be estimated and updated based on the predicted value and the detected value from the image. On the other hand, when estimating the parameters only roadside structure line, and the lane width, the lateral position of the vehicle, it is impossible to estimate the road shape.
また、本実施の形態によれば、車線両側の白線はなくなり、路側構造線のみが検出できる場合（「路側構造線あり、白線なし」と記載。）は、車線幅、車両の横位置、道路形状が予測値となるが、車両のヨー角、ピッチ角を予測値と画像からの検出値に基づいて推定し、更新することができる。一方、２本の白線のみで各パラメータを推定する場合、車両のヨー角、ピッチ角も予測値となってしまう。 In addition, according to the present embodiment, when there is no white line on both sides of the lane and only the roadside structural line can be detected (described as “the roadside structural line is present, no white line”), the lane width, the lateral position of the vehicle, the road Although the shape becomes the predicted value, the yaw angle and pitch angle of the vehicle can be estimated and updated based on the predicted value and the detected value from the image. On the other hand, when estimating the parameters only with two white lines, the yaw angle of the vehicle, also the pitch angle becomes the predicted value.
以上のように、本実施の形態によれば、特徴点の検出状況に応じて推定対象とするパラメータを切替えて、推定対象とされたパラメータについて検出された特徴点に関する情報と予測された当該パラメータに基づいて現時刻のパラメータを推定するので、特徴点の検出状況に応じて多くのパラメータを精度良く推定することができる。 As described above, according to this embodiment, by switching the estimation target and to Rupa parameters in response to the detection status of the feature point is predicted information about the feature points detected for been parameters estimated target and so to estimate the current time parameter based on those 該Pa parameters, it is possible to accurately estimate the number of parameters in accordance with the detection state of the feature point.
また、推定対象とされなかったパラメータについてはＲＡＭ２４に記憶された以前に推定された各パラメータに基づいて現時刻の各パラメータを予測するので、特徴点の検出状況に応じて多くのパラメータを安定して推定することができる。 Further, since the were not estimated target parameters to predict the parameters of the current time based on the parameter estimated previously stored in the RAM 24, a number of in response to the detection status of the feature point Pa The parameters can be estimated stably.
［第２の実施の形態］ [Second Embodiment]
第２の実施の形態に係るドライバ支援装置１０の電気系の要部構成は、上記第１の実施の形態（図１参照）と同一であるため、説明を省略する。 Since the main configuration of the electric system of the driver assistance apparatus 10 according to the second embodiment is the same as that of the first embodiment (see FIG. 1), the description thereof is omitted.
図８には、本実施の形態に係るドライバ支援装置１０の機能的な構成を示す機能ブロック図が示されている。なお、同図における図３と同一の処理部分には図３と同一の符号を付して、その説明を省略する。 FIG. 8 is a functional block diagram showing a functional configuration of the driver support apparatus 10 according to the present embodiment. In the figure, the same processing parts as those in FIG. 3 are denoted by the same reference numerals as those in FIG.
本実施の形態に係るドライバ支援装置１０は、車両の車速及び操舵角を含む車両運動に関する情報を検出する運動情報検出部７０をさらに備えている。 The driver assistance apparatus 10 according to the present embodiment further includes a motion information detection unit 70 that detects information related to vehicle motion including the vehicle speed and the steering angle of the vehicle.
運動情報検出部７０は、道路パラメータ予測部５８と接続されており、検出した車速や操舵角などの車両運動に関する情報を出力する。 The motion information detection unit 70 is connected to the road parameter prediction unit 58 and outputs information related to vehicle motion such as the detected vehicle speed and steering angle.
道路パラメータ予測部５８は、ＲＡＭ２４、及び運動情報検出部７０と接続されており、運動情報検出部７０から車両運動に関する情報が入力される。 The road parameter prediction unit 58 is connected to the RAM 24 and the motion information detection unit 70, and information related to vehicle motion is input from the motion information detection unit 70.
道路パラメータ予測部５８は、ＲＡＭ２４に記憶された以前に推定された各パラメータと車両運動に関する情報により示される車両の車速や操舵角に基づいて現時刻の各パラメータを予測する。 Road parameter prediction unit 58 predicts the respective parameters of the current time based on the vehicle speed and the steering angle of the vehicle indicated by the information about each parameter and vehicle motion estimated previously stored in the RAM 24.
以上のように、本実施の形態によれば、実際の車両の車速及び操舵角を加味して現時刻の各パラメータを予測するので、予測精度が向上する。 As described above, according to this embodiment, since the prediction of the actual individual parameters of the current time in consideration of vehicle speed and steering angle of the vehicle, thereby improving the prediction accuracy.
なお、上記各実施の形態では、パラメータとして道路の車線幅や、車線内での車両の横位置、道路に対する車両のヨー角、ピッチ角、道路形状の推定を行う場合について説明したが、パラメータはこれに限定されるもではない。
また、上記各実施の形態では、車両の前方を撮像する場合について説明したが、これに限定されるもではなく、例えば、車両の後方、あるいは車両の前方、後方の両方を撮像して得られた画像から各パラメータを推定するようにしてもよい。
In the above embodiments, the lane width and the road as a parameter, the lateral position of the vehicle within the traffic lane, the yaw angle of the vehicle relative to the road, the pitch angle, has been described to estimate the road shape, Pas The parameter is not limited to this.
In each of the above embodiments, the case of imaging the front of the vehicle has been described. However, the present invention is not limited to this. For example, it is obtained by imaging the rear of the vehicle or both the front and rear of the vehicle. it may be estimated each parameter from the image.
その他、上記各実施の形態で説明したドライバ支援装置１０の電気系の要部構成（図１参照。）、及びドライバ支援装置１０の機能的な構成（図３、及び図８参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。 In addition, the main configuration (see FIG. 1) of the electrical system of the driver support apparatus 10 described in the above embodiments and the functional configuration (see FIGS. 3 and 8) of the driver support apparatus 10 are examples. Needless to say, modifications can be made as appropriate without departing from the spirit of the present invention.
また、上記各実施の形態で説明したパラメータ推定処理プログラム（図５参照。）の処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。 Also, the processing flow of the parameter estimation processing program described in the embodiments (see FIG. 5.) Is an example, it can of course be suitably modified within a scope not departing from the gist of the present invention .
１０ ドライバ支援装置
１２ カメラ（撮像手段）
２４ ＲＡＭ（記憶手段）
５０ 特徴点検出部（特徴点検出手段）
５２ 推定演算部（推定手段）
５４ 推定パラメータ切替部（切替手段）
５６ 道路パラメータ推定部（推定手段、選択手段）
５８ 道路パラメータ予測部（予測手段）
７０ 運動情報検出部（運動情報検出手段）
10 Driver support device 12 Camera (imaging means)
24 RAM (storage means)
50 feature point detection unit (feature point detection means)
52 Estimating operation part (estimating means)
54 Estimated parameter switching section (switching means)
56 Road parameter estimation unit (estimation means, selection means)
58 Road parameter prediction unit (prediction means)
70 Movement information detector (Exercise information detection means)
Claims (3)
前記撮像手段による撮像によって得られた画像に含まれる特徴点に基づいて、道路上の線の特徴点を検出する特徴点検出手段と、
前記特徴点検出手段による特徴点の検出結果に基づいて、道路パラメータ、及び道路に対する車両パラメータを含む複数種類のパラメータの各々について、予め定められた当該パラメータの推定に必要な道路上の線が検出された当該パラメータを、推定対象とする前記パラメータとして指定する指定手段と、
以前に推定された前記複数種類のパラメータを一時的に記憶する記憶手段と、
前記記憶手段に記憶された前記以前に推定された前記複数種類のパラメータに基づいて現時刻の前記複数種類のパラメータを予測する予測手段と、
前記指定手段により推定対象とされた前記パラメータについて、前記特徴点検出手段により検出された特徴点に関する情報と前記予測手段により予測された前記パラメータに基づいて現時刻の前記パラメータを推定する推定手段と、
現時刻の前記パラメータの推定結果として、前記推定対象とされた前記パラメータについては前記推定手段による推定結果を選択し、推定対象とされなかった前記パラメータについては前記予測手段による予測結果を選択する選択手段と、
を備えたパラメータ推定装置。 Imaging means for imaging one or both of the front and rear of the vehicle;
Feature point detection means for detecting a feature point of a line on a road based on a feature point included in an image obtained by imaging by the imaging means;
Based on the detection result of the feature point by the feature point detection means , a line on the road necessary for estimation of the predetermined parameter is detected for each of a plurality of types of parameters including road parameters and vehicle parameters for the road. designating means you specified the parameters, as the parameter for the estimation target,
Storage means for temporarily storing the plurality of types of parameters estimated previously;
Prediction means for predicting the plurality of types of parameters at the current time based on the plurality of types of previously estimated parameters stored in the storage unit;
For said parameters and estimation target by the specifying unit, an estimation unit for estimating the parameters of the current time on the basis of the parameters predicted information about the detected feature points by the feature point detecting unit by the prediction means ,
As the estimation result of said parameter of the current time, select the estimation target is the parameter which selects the estimation result by the estimating means, for the parameter that has not been estimated target for selecting a prediction result of the predicting means Means,
Parameter estimation device equipped with.
前記予測手段は、前記記憶手段に記憶された前記以前に推定された前記パラメータと前記運動情報検出手段により検出された車両運動に関する情報とに基づいて現時刻の前記パラメータを予測する
請求項１記載のパラメータ推定装置。 Further comprising motion information detecting means for detecting information relating to vehicle motion including vehicle speed and steering angle of the vehicle,
The said prediction means predicts the said parameter of the present time based on the said parameter estimated previously memorize | stored in the said memory | storage means, and the information regarding the vehicle motion detected by the said motion information detection means. of parameter estimation device.
請求項１又は請求項２記載のパラメータ推定装置。 The pre Kipa parameters, lane width of a road, the lateral position of the vehicle within the lane, a yaw angle of the vehicle relative to the road, the pitch angle, parameter estimation apparatus according to claim 1 or claim 2, wherein the road shape.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008019356A JP5034985B2 (en) | 2008-01-30 | 2008-01-30 | Parameter estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008019356A JP5034985B2 (en) | 2008-01-30 | 2008-01-30 | Parameter estimation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009181310A JP2009181310A (en) | 2009-08-13 |
| JP5034985B2 true JP5034985B2 (en) | 2012-09-26 |
Family
ID=41035254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008019356A Expired - Fee Related JP5034985B2 (en) | 2008-01-30 | 2008-01-30 | Parameter estimation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5034985B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5350297B2 (en) * | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | Vehicle attitude angle calculation device and lane departure warning system using the same |
| JP5281664B2 (en) * | 2011-02-23 | 2013-09-04 | クラリオン株式会社 | Lane departure warning device and lane departure warning system |
| JP5760523B2 (en) * | 2011-03-08 | 2015-08-12 | 株式会社豊田中央研究所 | Runway estimation apparatus and program |
| JP5625094B2 (en) * | 2013-08-09 | 2014-11-12 | クラリオン株式会社 | Vehicle attitude angle calculation device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3324821B2 (en) * | 1993-03-12 | 2002-09-17 | 富士重工業株式会社 | Vehicle exterior monitoring device |
| JP3606039B2 (en) * | 1998-03-31 | 2005-01-05 | 日産自動車株式会社 | Road shape detection device |
| JP2006172225A (en) * | 2004-12-16 | 2006-06-29 | Toyota Motor Corp | Image recognizing device and image recognizing method |
-
2008
- 2008-01-30 JP JP2008019356A patent/JP5034985B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009181310A (en) | 2009-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9595197B2 (en) | Lateral control apparatus of vehicle and control method of the same | |
| US9950667B2 (en) | Vehicle system for detecting object and operation method thereof | |
| JP5480925B2 (en) | Vehicle periphery monitoring device | |
| US10896336B2 (en) | Parking compartment recognition apparatus | |
| JP5187292B2 (en) | Vehicle periphery monitoring device | |
| JP6139465B2 (en) | Object detection device, driving support device, object detection method, and object detection program | |
| JP5034985B2 (en) | Parameter estimation device | |
| JP2011065219A (en) | Device for estimation of road curvature | |
| JP4962304B2 (en) | Pedestrian detection device | |
| JP4840472B2 (en) | Object detection device | |
| WO2020262070A1 (en) | Tracking device | |
| JP2020060899A (en) | Calibration device for on-vehicle camera | |
| JP6241172B2 (en) | Vehicle position estimation device and vehicle position estimation method | |
| JP4013589B2 (en) | Parking type determination device | |
| CN113424242B (en) | Information processing apparatus, computer-readable recording medium, and information processing method | |
| JP4321410B2 (en) | Object detection apparatus and method | |
| JP2009169618A (en) | Roadside interface detection device | |
| JP2013213792A (en) | Road surface condition estimation device | |
| JP6793448B2 (en) | Vehicle condition determination device, display processing device and vehicle condition determination method | |
| JP2008276307A (en) | Video image processing apparatus, video image processing system, and navigation device | |
| JP6584862B2 (en) | Object detection apparatus, object detection system, object detection method, and program | |
| US20210218884A1 (en) | Information processing device | |
| JP2007200074A (en) | Peripheral object tracking device and peripheral object position prediction method | |
| JP7151511B2 (en) | Vehicle peripheral monitoring device | |
| JP2005301892A (en) | Lane recognition device by a plurality of cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120618 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5034985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |