JP2002163641A - 車両用画像処理装置 - Google Patents

車両用画像処理装置

Info

Publication number
JP2002163641A
JP2002163641A JP2000356380A JP2000356380A JP2002163641A JP 2002163641 A JP2002163641 A JP 2002163641A JP 2000356380 A JP2000356380 A JP 2000356380A JP 2000356380 A JP2000356380 A JP 2000356380A JP 2002163641 A JP2002163641 A JP 2002163641A
Authority
JP
Japan
Prior art keywords
image
optical axis
vehicle
height
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000356380A
Other languages
English (en)
Other versions
JP3820874B2 (ja
Inventor
Tomonori Tanaka
智規 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2000356380A priority Critical patent/JP3820874B2/ja
Publication of JP2002163641A publication Critical patent/JP2002163641A/ja
Application granted granted Critical
Publication of JP3820874B2 publication Critical patent/JP3820874B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 低コストにして、撮像手段の光軸ずれの検出
処理が精度良く、高速にできる車両用画像処理装置を提
供する。 【解決手段】 この発明の車両用画像処理装置では、撮
像部1によって撮像した車両前方の画像に対して、認識
部2によって走行車線両端の車線境界線L1,L2を抽
出し、演算部3によって、この画像上の車線境界線の画
像上の上下方向2点における車線間の幅Xa,Xbを算
出し、この画像上の車線間の幅の比Xb/Xaから撮像
部1の光軸の変化量を算出する。これにより、演算部3
が撮像部1の撮像した画像から、座標変換せずに撮像部
の光軸ずれを算出し、演算負荷を小さくして処理速度を
向上させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両用画像処理装
置に関する。
【0002】
【従来の技術】従来、車両前方をカメラのような撮像手
段によって撮像し、撮像された画像から車線境界線(白
線や黄色線)を2値化等の画像処理によって認識して、
認識された車線境界線を基準として車両を走行させるこ
とにより、運転者の操舵をアシストしたり、自動操舵を
行うシステムが知られている。しかしながら、この従来
の画像処理装置は、撮像された画像から車線境界線を認
識しているため、路面の凹凸や車両の乗員数の増減など
で車両のピッチ角が変化して撮像手段の光軸の方向が基
準位置から動いてしまうと、正確に車線境界線を認識す
ることができない問題点があった。
【0003】これを解決する技術として、特開平11‐
203445号公報に記載された車両用画像処理装置が
知られている。この車両用画像処理装置によると、車両
前方を撮像手段によって撮像し、撮像された画像上の車
線境界線を座標変換し、画像から車線境界線を認識し
て、認識された車線境界線に当てはまる直線を作成した
結果から撮像手段の光軸の変化を算出するようにしてい
る。
【0004】
【発明が解決しようとする課題】ところが、この提案さ
れている車両用画像処理装置の場合、撮像手段によって
撮像された画像上の車線境界線を座標変換し、画像から
車線境界線を認識して、認識された車線境界線に当ては
まる直線を作成した結果から撮像手段の光軸の変化を算
出するようにしているため、撮像された画像上の車線境
界線を座標変換するための演算処理に時間がかかり、さ
らに、算出速度を向上させようとすると、処理速度が速
い演算処理装置を使わなければならず、コスト増大を招
くという問題点があった。また、直線設定および座標変
換の精度が算出結果に影響するために、精度が悪いと誤
った算出結果を出してしまう恐れもあった。
【0005】本発明はこのような従来の技術的課題を解
決するためになされたものであって、低コストにして、
撮像手段の光軸ずれの検出処理が精度良く、しかも高速
にできる車両用画像処理装置を提供することを目的とす
る。
【0006】
【課題を解決するための手段】請求項1の発明の車両用
画像処理装置は、車両に設けられると共に、所定の光軸
で車両前方を撮像する撮像手段と、前記撮像手段によっ
て撮像された画像から、自車の走行している車線におけ
る一方の境界線と他方の境界線とを認識する認識手段
と、前記撮像手段によって撮像された画像上の第1の高
さにおける、前記一方の境界線と他方の境界線との距離
である第1の幅と、前記撮像手段によって撮像された画
像上の前記第1の高さよりも低い第2の高さにおける、
前記一方の境界線と他方の境界線との距離である第2の
幅と、これら第1の幅と第2の幅との比に基づいて前記
撮像手段の光軸の変化量とを演算する演算手段とを備え
たものである。
【0007】請求項2の発明は、請求項1の車両用画像
処理装置において、前記撮像手段の路面からの高さを検
出する高さ検出手段を備え、前記演算手段が、前記第1
の幅と第2の幅との比と、前記高さ検出手段によって検
出された前記撮像手段の路面からの高さとに基づいて、
前記撮像手段の光軸の変化量を演算するようにしたもの
である。
【0008】請求項3の発明は、請求項1又は2の車両
用画像処理装置において、前記撮像手段の光軸の変化量
の演算結果に基づき、前記撮像手段の光軸の補正を行う
光軸補正手段を備えたものである。
【0009】
【発明の効果】請求項1の発明の車両用画像処理装置で
は、撮像手段によって撮像した車両前方の画像に対し
て、認識手段によって走行車線両端の車線境界線を抽出
し、演算手段によって、この画像上の車線境界線の画像
上の上下方向2点それぞれにおける車線間の幅Xa,X
bを算出し、この画像上の車線間の幅の比Xb/Xaか
ら撮像手段の光軸の変化量を算出する。
【0010】これにより、演算手段が撮像手段の撮像し
た画像から、座標変換せずに撮像手段の光軸ずれを算出
することができ、演算負荷を小さくして処理速度を向上
させることができる。また直線設定を用いないために、
撮像手段の光軸のずれを精度良く検出することができ
る。
【0011】請求項2の発明の車両用画像処理装置で
は、車両のピッチ角の変化だけでなく、車両の高さが変
化した場合であっても、低コストで精度良く、撮像手段
の光軸ずれを検出することができる。
【0012】請求項3の発明の車両用画像処理装置で
は、撮像手段の光軸の変化量の演算結果に基づき、光軸
補正手段が撮像手段の光軸を補正する。このため、低コ
ストで精度良く撮像手段の光軸ずれを補正できる。
【0013】
【発明の実施の形態】以下、本発明の実施の形態を図に
基づいて詳説する。図1は本発明の1つの実施の形態の
機能的な構成を示している。この実施の形態の車両用画
像処理装置は、撮像部1、画像認識部2、演算部3、高
さ検出装置4、光軸調整機構5、道路情報検出装置6、
外部装置7から構成されている。
【0014】撮像部1は、撮像する同一面上に平行して
走る2本のラインに対して十分な画角と解像度を有して
いる。画像認識部2は、撮像部1から得られた画像か
ら、図3に示すような同一面上に平行に走る2本のライ
ンを認識するものである。また、同一面上に平行して走
る2本のラインに限らず、画像の特徴パターンを認識す
るものである。この画像認識部2には、例えば、画像の
濃淡エッジから、画像の中の特徴パターンの位置を認識
するもの、あるいは画像と任意の記憶している特徴パタ
ーンとを照合して認識するものが採用される。この画像
認識部2によれば、撮像される平行した2本のラインが
道路上の車線境界線であるレーンマークの場合、図3に
示すようにその平行した2本のラインL1,L2の画像
内の座標値を取得する。
【0015】演算部3は、前記画像認識部2によって認
識された情報に基づく制御情報を、例えば自動操舵装置
や操舵アシスト装置等の外部装置7に出力すると共に、
図4に示すように、前記画像認識部2が認識した車線境
界線に対応する2本のラインL1,L2と、画像上の上
下方向2点Y=a,bにおいてそれぞれ画像上左右方向
に伸びる直線La,Lbとの、それぞれの交点a1とa
2及びb1とb2の間の距離である、車線間の幅Xa,
Xbを算出し、この画像上の車線間の幅の比r=Xb/
Xaから撮像部1の光軸の変化量を算出し、その算出結
果を光軸調整機構5に出力する。この演算部3に対し
て、高さ検出装置4から撮像部1の地面からの高さの検
出信号が入力され、道路情報検出装置6からは自車の走
行位置に関連する情報が入力される。なお、前記光軸調
整機構5は、例えばモータ等によって撮像部1全体を動
かして光軸を調整するものや、撮像部1に設けられたレ
ンズ等を動かして結像位置を調整するものが使用され
る。
【0016】高さ検出装置4には、例えば、音波、赤外
線のような信号波を路面に向けて出射し、路面の反射に
より戻ってくるまでの時間遅れに基づいて検出するもの
が使用される。
【0017】次に、上記の構成の車両用画像処理装置の
動作について説明する。図2は本実施の形態の車両用画
像処理装置における撮像手段の光軸補正処理のフローチ
ャートを示している。なお、該処理は、随時変化する走
行車両の車両姿勢及び道路状況に追従するために、例え
ば10msec毎に起動する。
【0018】まず撮像部1によって車両前方の画像を撮
像する。また、高さ検出装置4によって撮像部1の光軸
の高さを検出し、高さデータを演算部3に入力する(ス
テップS05)。
【0019】画像認識部2は、撮像部1の撮像した画像
から図3に示すような同一面上で平行に走る2本のライ
ンL1,L2を認識し、さらにそれらのラインL1,L
2の画像内の座標値を取得して演算部3に入力する(ス
テップS10)。
【0020】そして演算部3は、次の演算処理によって
撮像部1の光軸変化量を算出する。図4に示すように、
画面上の上下方向の2点Y=a,bそれぞれにおけるラ
インL1,L2の座標値差Xa,Xbを計算し、その比
rを求める。
【0021】
【数1】r=Xb/Xa この上下方向の2点Y=a,Y=bは画像認識状態に応
じて任意に設定されるものである(ステップS15)。
【0022】次に、図5及び図6に示すように、ライン
L1,L2間の座標値差Xa,Xbに対応する奥行き値
をDa,Db、光軸変化角をαとし、平行した2本のレ
ーンマーク間の距離をd、画像全体のX方向の幅をPx
と置くと、これらXa,Xbを次のように表すことがで
きる。
【0023】
【数2】 ここで、Hは、平行した2本のレーンマークL1,L2
のある同一面から撮像部1までの高さである。θhは、
撮像部1の水平画角である。
【0024】数1式に数2式を代入して整理すると、次
の数3式となる。
【0025】
【数3】 この数3式の解を、演算部3によって計算することによ
り、平行した2本のレーンマークL1,L2の間隔dに
依存せずに光軸変化量tanαを得ることができる(ステ
ップS20)。
【0026】なお、数3式で、Da,Dbは演算する画
像上のY座標値で一義的に決まる値である。このDa,
Dbの距離差は、カーブ、勾配変化の影響を少なくする
ため、またDa,Dbの位置のレーンマーク状態を同等
とするため、さらには算出精度を得るため、例えば、1
0〜20m程度がよい。また正確な算出ができない場
面、例えば、交差点、分岐路、大きな勾配変化区間、曲
率半径Rが小さい区間などでは、画像認識部3での認識
結果や、ナビゲーションシステムのような道路情報検出
装置6の道路情報により算出を中断するか、または算出
結果を使用しないようにする(ステップS25,S3
0)。
【0027】また光軸の高さHは、変動しない場合は予
め登録した固定値を用い、変動する場合には高さ検出装
置4により得られる検出値を使用する。
【0028】光軸調整機構5は、演算部3が算出した光
軸変化量tanαを用いて光軸の補正を行う(ステップS
35)。
【0029】なお、上記の実施の形態では撮像部1の光
軸の高さHを検出して光軸補正に用いるようにしたが、
コストをさらに低減するために単純化が必要であれば、
ピッチ角の調整機能だけを持たせた構成にすることがで
きる。
【0030】また、上記の実施の形態では、演算部3が
算出した光軸変化量は、光軸調整機構5のみに送られる
が、これが画像認識部2に送られて認識データを補正す
るものであっても、光軸調整機構5と画像認識部2との
両方に送られるものであってもよい。
【図面の簡単な説明】
【図1】本発明の1つの実施の形態の機能的な構成を示
すブロック図。
【図2】上記の実施の形態による光軸調整処理のフロー
チャート。
【図3】上記の実施の形態において撮像部が撮像した画
像の説明図。
【図4】上記の実施の形態において光軸変化量の算出方
法を示す説明図(正面図)。
【図5】上記の実施の形態において光軸変化量の算出方
法を示す説明図(側面図)。
【図6】上記の実施の形態において撮像対象物と撮像部
との位置関係を示した説明図。
【符号の説明】
1 撮像部 2 画像認識部 3 演算部 4 高さ検出装置 5 光軸調整機構 6 道路情報検出装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G03B 15/00 G03B 15/00 T P H04N 7/18 H04N 7/18 J

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 車両に設けられると共に、所定の光軸で
    車両前方を撮像する撮像手段と、前記撮像手段によって
    撮像された画像から、自車の走行している車線における
    一方の境界線と他方の境界線とを認識する認識手段と、
    前記撮像手段によって撮像された画像上の第1の高さに
    おける、前記一方の境界線と他方の境界線との距離であ
    る第1の幅と、前記撮像手段によって撮像された画像上
    の前記第1の高さよりも低い第2の高さにおける、前記
    一方の境界線と他方の境界線との距離である第2の幅
    と、これら第1の幅と第2の幅との比に基づいて前記撮
    像手段の光軸の変化量とを演算する演算手段とを備えた
    ことを特徴とする車両用画像処理装置。
  2. 【請求項2】 前記撮像手段の路面からの高さを検出す
    る高さ検出手段を備え、前記演算手段は、前記第1の幅
    と第2の幅との比と、前記高さ検出手段によって検出さ
    れた前記撮像手段の路面からの高さとに基づいて、前記
    撮像手段の光軸の変化量を演算することを特徴とする請
    求項1に記載の車両用画像処理装置。
  3. 【請求項3】 前記撮像手段の光軸の変化量の演算結果
    に基づき、前記撮像手段の光軸の補正を行う光軸補正手
    段を備えたことを特徴とする請求項1又は2に記載の車
    両用画像処理装置。
JP2000356380A 2000-11-22 2000-11-22 車両用画像処理装置 Expired - Fee Related JP3820874B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000356380A JP3820874B2 (ja) 2000-11-22 2000-11-22 車両用画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000356380A JP3820874B2 (ja) 2000-11-22 2000-11-22 車両用画像処理装置

Publications (2)

Publication Number Publication Date
JP2002163641A true JP2002163641A (ja) 2002-06-07
JP3820874B2 JP3820874B2 (ja) 2006-09-13

Family

ID=18828641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000356380A Expired - Fee Related JP3820874B2 (ja) 2000-11-22 2000-11-22 車両用画像処理装置

Country Status (1)

Country Link
JP (1) JP3820874B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004271404A (ja) * 2003-03-10 2004-09-30 Nissan Motor Co Ltd 車両用障害物検出装置
JP2008011174A (ja) * 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム
JP2010070012A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 車線認識装置
JP2011185753A (ja) * 2010-03-09 2011-09-22 Mitsubishi Electric Corp 車載カメラのカメラキャリブレーション装置
JP2015045764A (ja) * 2013-08-28 2015-03-12 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US9280824B2 (en) 2009-09-30 2016-03-08 Panasonic Intellectual Property Management Co., Ltd. Vehicle-surroundings monitoring device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004271404A (ja) * 2003-03-10 2004-09-30 Nissan Motor Co Ltd 車両用障害物検出装置
JP2008011174A (ja) * 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム
JP2010070012A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 車線認識装置
US9280824B2 (en) 2009-09-30 2016-03-08 Panasonic Intellectual Property Management Co., Ltd. Vehicle-surroundings monitoring device
JP2011185753A (ja) * 2010-03-09 2011-09-22 Mitsubishi Electric Corp 車載カメラのカメラキャリブレーション装置
JP2015045764A (ja) * 2013-08-28 2015-03-12 オリンパス株式会社 撮像装置、撮像方法およびプログラム

Also Published As

Publication number Publication date
JP3820874B2 (ja) 2006-09-13

Similar Documents

Publication Publication Date Title
JP3898709B2 (ja) 車両用走行区分線認識装置
EP2422320B1 (en) Object detection device
JP6897258B2 (ja) 傾斜検出装置
JP4433887B2 (ja) 車両用外界認識装置
JP2005332107A (ja) 車両用走行区分線認識装置
JP6642906B2 (ja) 駐車位置検出システム及びそれを用いた自動駐車システム
JP3600378B2 (ja) 車両の外界認識装置
JP3722486B1 (ja) 車両用走行区分線認識装置
JP4670528B2 (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
JPH09189517A (ja) 撮像装置
JPH07120258A (ja) 車載カメラを用いた距離検出装置
WO2005111964A1 (ja) 車両用走行区分線認識装置
JPH10103935A (ja) カーブ半径推定装置及びカーブ半径推定装置付き自動操舵制御システム
JP3440956B2 (ja) 車両用走行路検出装置
JP3911983B2 (ja) 後方監視装置
JP2006012191A (ja) 車両用走行区分線認識装置
JPH0981757A (ja) 車両位置検出装置
JP2002163641A (ja) 車両用画像処理装置
JP3402054B2 (ja) 道路白線認識装置
JP3606039B2 (ja) 道路形状検出装置
JPH1153551A (ja) ライン検出装置
JPH1011585A (ja) 物体検出装置
JP3841142B2 (ja) 車両用撮像装置
JP2002114117A (ja) 車間距離推定装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060612

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110630

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130630

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees