JPH11212641A - 無人自動車の画像処理装置及び方法 - Google Patents
無人自動車の画像処理装置及び方法Info
- Publication number
- JPH11212641A JPH11212641A JP10288497A JP28849798A JPH11212641A JP H11212641 A JPH11212641 A JP H11212641A JP 10288497 A JP10288497 A JP 10288497A JP 28849798 A JP28849798 A JP 28849798A JP H11212641 A JPH11212641 A JP H11212641A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- road
- unmanned
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000003672 processing method Methods 0.000 claims 3
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
- B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
- B60T2201/087—Lane monitoring; Lane Keeping Systems using active steering actuation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
- B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Combustion & Propulsion (AREA)
- Automation & Control Theory (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】 多重カメラを使用して並列的に処理すること
により、遠距離道路を検索して車両の進行方向を検出
し、近距離道路を検索して車両の車線離脱を検出する無
人自動車の画像処理装置及び方法を提供する。 【解決手段】 車両前方の道路を検索するために多重カ
メラ中の、遠距離カメラを用いて進行方向を検出し、近
距離カメラを用いて車線離脱を検出する第１、第２、第
３カメラ１００、２００、３００からなる無人カメラ
と、前記第１、第２、第３無人カメラ１００、２００、
３００から道路に関する映像の入力を受けて動映像中の
一画面の映像データを保存する第１、第２、第３イメー
ジグレーバー１１０、２１０、３１０と、車線離脱を検
出して検出車線及び車両進行方向を検出し、車線離脱率
に対する信号を出力する第１制御装置１２０と、車両進
行方向の道路全体の傾きを検出する第２制御装置３２０
と、車両のステアリング制御を処理するステアリング制
御装置３０とから構成する。
により、遠距離道路を検索して車両の進行方向を検出
し、近距離道路を検索して車両の車線離脱を検出する無
人自動車の画像処理装置及び方法を提供する。 【解決手段】 車両前方の道路を検索するために多重カ
メラ中の、遠距離カメラを用いて進行方向を検出し、近
距離カメラを用いて車線離脱を検出する第１、第２、第
３カメラ１００、２００、３００からなる無人カメラ
と、前記第１、第２、第３無人カメラ１００、２００、
３００から道路に関する映像の入力を受けて動映像中の
一画面の映像データを保存する第１、第２、第３イメー
ジグレーバー１１０、２１０、３１０と、車線離脱を検
出して検出車線及び車両進行方向を検出し、車線離脱率
に対する信号を出力する第１制御装置１２０と、車両進
行方向の道路全体の傾きを検出する第２制御装置３２０
と、車両のステアリング制御を処理するステアリング制
御装置３０とから構成する。
Description
【０００１】
【発明の属する技術分野】本発明は無人自動車に係り、
より詳しくはカメラを通して入力される遠距離及び近距
離道路情報を用いてステアリングを制御するようにする
無人自動車の画像処理装置及び方法に関する。
より詳しくはカメラを通して入力される遠距離及び近距
離道路情報を用いてステアリングを制御するようにする
無人自動車の画像処理装置及び方法に関する。
【０００２】
【従来の技術】自動車産業は、先端技術の発達に加勢さ
れて先端戦略産業として発展しつつあり、国家経済に占
める比重が非常に大きな産業分野である。自動車産業は
従来の機械中心的な形態から抜け出して、最新電子技術
と関連づけられることにより、高度な知能型安全車両、
または無人走行車両の開発へと方向を変えつつある。現
在、無人走行車両に関する研究は先進各国で活発に進め
られている。その例として米国で開発されたＮＡＶＬＡ
Ｂという無人自動車を挙げることができる。この車両
は、広々とした道路で走行することができ、ドイツでは
ＧＲＡＦＥがアウトバン高速道路の形態と標識に基づい
て走行することができる。
れて先端戦略産業として発展しつつあり、国家経済に占
める比重が非常に大きな産業分野である。自動車産業は
従来の機械中心的な形態から抜け出して、最新電子技術
と関連づけられることにより、高度な知能型安全車両、
または無人走行車両の開発へと方向を変えつつある。現
在、無人走行車両に関する研究は先進各国で活発に進め
られている。その例として米国で開発されたＮＡＶＬＡ
Ｂという無人自動車を挙げることができる。この車両
は、広々とした道路で走行することができ、ドイツでは
ＧＲＡＦＥがアウトバン高速道路の形態と標識に基づい
て走行することができる。
【０００３】
【発明が解決しようとする課題】しかし、従来の技術で
は、車線離脱を防止する目的で道路検索を行う場合には
１つのカメラを用いて車線検索を行うことにより発生す
るエラーのために進行方向の検出が難しく、逆に進行方
向を検出する目的で道路検索を行う場合には、車線離脱
を検出するのに困難があるという問題があった。
は、車線離脱を防止する目的で道路検索を行う場合には
１つのカメラを用いて車線検索を行うことにより発生す
るエラーのために進行方向の検出が難しく、逆に進行方
向を検出する目的で道路検索を行う場合には、車線離脱
を検出するのに困難があるという問題があった。
【０００４】従って、本発明の目的は前記問題点を解決
するためのものであって、多重カメラを使用して並列的
にデータを処理することにより、遠距離道路を検索して
車両の進行方向を検出し、近距離道路を検索して車両の
車線離脱を検出する無人自動車の画像処理装置及び方法
を提供することにある。
するためのものであって、多重カメラを使用して並列的
にデータを処理することにより、遠距離道路を検索して
車両の進行方向を検出し、近距離道路を検索して車両の
車線離脱を検出する無人自動車の画像処理装置及び方法
を提供することにある。
【０００５】
【課題を解決するための手段】前記目的を達成するため
の手段として本発明の構成は、車両に付設され、車両前
方の道路を検索するために多重カメラの中の遠距離カメ
ラを用いて進行方向を検出し、近距離カメラを用いて車
線離脱を検出するようにする第１、第２、第３カメラか
ら構成される無人カメラと、前記第１、第２、第３無人
カメラから道路に関する映像の入力を受けて画像をキャ
プチャー（capture)して動映像の中の一画面の映像デー
タを保存する第１、第２、第３イメージグレーバー（im
agegrabber)と、前記第１、第２イメージグレーバーに
おける近距離に関する道路映像データを処理して車線離
脱を検出して検出車線及び車両進行方向を検出し、車線
離脱率に対する信号を出力する第１制御装置と、前記第
３イメージグレーバーから遠距離に関する映像情報の入
力を受けて処理して車両進行方向の道路全体の傾きを検
出する第２制御装置と、前記第１制御装置及び第２制御
装置から道路に関する処理データの入力を受けて車両の
ステアリング制御を処理するステアリング制御装置とか
らなる。
の手段として本発明の構成は、車両に付設され、車両前
方の道路を検索するために多重カメラの中の遠距離カメ
ラを用いて進行方向を検出し、近距離カメラを用いて車
線離脱を検出するようにする第１、第２、第３カメラか
ら構成される無人カメラと、前記第１、第２、第３無人
カメラから道路に関する映像の入力を受けて画像をキャ
プチャー（capture)して動映像の中の一画面の映像デー
タを保存する第１、第２、第３イメージグレーバー（im
agegrabber)と、前記第１、第２イメージグレーバーに
おける近距離に関する道路映像データを処理して車線離
脱を検出して検出車線及び車両進行方向を検出し、車線
離脱率に対する信号を出力する第１制御装置と、前記第
３イメージグレーバーから遠距離に関する映像情報の入
力を受けて処理して車両進行方向の道路全体の傾きを検
出する第２制御装置と、前記第１制御装置及び第２制御
装置から道路に関する処理データの入力を受けて車両の
ステアリング制御を処理するステアリング制御装置とか
らなる。
【０００６】前記目的を達成するための手段として本発
明は、各無人カメラから道路に関する映像の入力を受け
る段階と、前記無人カメラから入力された映像を各イメ
ージグレーバーでキャプチャーする段階と、該当無人カ
メラを用いて遠距離道路の入力を受け、該当制御装置が
処理して進行方向道路の傾きを検出して車両の進行方向
を制御する段階と、該当無人カメラを用いて近距離道路
の入力を受け、該当制御装置が処理して車両の車線離脱
を検出する段階と、前記で求めた車両の進行方向と車線
離脱検出値などを用いて車両のステアリング制御を行う
段階とを含む。
明は、各無人カメラから道路に関する映像の入力を受け
る段階と、前記無人カメラから入力された映像を各イメ
ージグレーバーでキャプチャーする段階と、該当無人カ
メラを用いて遠距離道路の入力を受け、該当制御装置が
処理して進行方向道路の傾きを検出して車両の進行方向
を制御する段階と、該当無人カメラを用いて近距離道路
の入力を受け、該当制御装置が処理して車両の車線離脱
を検出する段階と、前記で求めた車両の進行方向と車線
離脱検出値などを用いて車両のステアリング制御を行う
段階とを含む。
【０００７】
【発明の実施の形態】本発明を容易に実施し得る最も好
ましい実施例を、添付した図面に基づいて詳細に説明す
る。添付した図２に示されているように、無人自動車の
画像処理装置の構成及び作用は次のとおりである。車両
に付設されて車両前方の道路を検索する第１、第２、第
３無人カメラ１００、２００、３００と、前記無人カメ
ラ１００、２００、３００から道路に関する映像の入力
を受けて画像をキャプチャーする第１、第２、第３イメ
ージグレーバー１１０、２１０、３１０と、前記第１、
第２イメージグレーバー１１０、２１０における近距離
に関する道路映像データを処理して車線離脱を検出する
第１制御装置１２０と、前記第３イメージグレーバー３
１０から遠距離に関する映像情報の入力を受けて処理し
て車両の進行方向を検出する第２制御装置３２０と、前
記第１制御装置１２０及び第２制御装置３２０から道路
に関する処理データの入力を受けて車両のステアリング
制御を処理するステアリング制御装置３０と、前記ステ
アリング制御装置３０からステアリング制御に関する制
御信号の入力を受けてステアリングを制御する駆動ドラ
イブ４０とからなる。
ましい実施例を、添付した図面に基づいて詳細に説明す
る。添付した図２に示されているように、無人自動車の
画像処理装置の構成及び作用は次のとおりである。車両
に付設されて車両前方の道路を検索する第１、第２、第
３無人カメラ１００、２００、３００と、前記無人カメ
ラ１００、２００、３００から道路に関する映像の入力
を受けて画像をキャプチャーする第１、第２、第３イメ
ージグレーバー１１０、２１０、３１０と、前記第１、
第２イメージグレーバー１１０、２１０における近距離
に関する道路映像データを処理して車線離脱を検出する
第１制御装置１２０と、前記第３イメージグレーバー３
１０から遠距離に関する映像情報の入力を受けて処理し
て車両の進行方向を検出する第２制御装置３２０と、前
記第１制御装置１２０及び第２制御装置３２０から道路
に関する処理データの入力を受けて車両のステアリング
制御を処理するステアリング制御装置３０と、前記ステ
アリング制御装置３０からステアリング制御に関する制
御信号の入力を受けてステアリングを制御する駆動ドラ
イブ４０とからなる。
【０００８】前記図２の構成と図１及び図３を参考して
本発明を詳しく説明する。無人自動車画像処理装置の第
３無人カメラ３００は、車両前方の遠距離に位置する映
像の入力を受けて映像信号として出力する。第３イメー
ジグレーバーは、第２制御装置３２０から動作信号の入
力を受けると、第３無人カメラに入力された映像の中の
１つの画面がアナログデジタルコンバータを通して入力
された映像をキャプチャーして保存する。前記第３イメ
ージグレーバー３１０に保存された映像データを用いて
第３制御装置は、車両が進行する道路を検索して車両進
行方向に対する前方道路のカーブの傾きを検出する（Ｓ
２０、Ｓ３０）。
本発明を詳しく説明する。無人自動車画像処理装置の第
３無人カメラ３００は、車両前方の遠距離に位置する映
像の入力を受けて映像信号として出力する。第３イメー
ジグレーバーは、第２制御装置３２０から動作信号の入
力を受けると、第３無人カメラに入力された映像の中の
１つの画面がアナログデジタルコンバータを通して入力
された映像をキャプチャーして保存する。前記第３イメ
ージグレーバー３１０に保存された映像データを用いて
第３制御装置は、車両が進行する道路を検索して車両進
行方向に対する前方道路のカーブの傾きを検出する（Ｓ
２０、Ｓ３０）。
【０００９】また、第１制御装置１２０は前記第２制御
装置３２０と同様に動作することで無人自動車の第１、
第２無人カメラ１００、２００を用いて車両前方の近距
離映像の入力を受け、第１、第２イメージグレーバー１
１０、２１０でキャプチャーされた映像を用いて車両の
車線に対する車両離脱情報を出力する。先ず、第３無人
カメラ３００を用いた車両走行道路検索方法は図５に示
されているとおりである。無人自動車の上端に位置する
第３無人カメラ３００は車両前方の遠距離映像の入力を
受ける。前記第３無人カメラ３００から入力された映像
を第３イメージグレーバー３１０がキャプチャーし、前
記映像信号を内部のデジタルアナログコンバータを用い
てデジタル値で保存して前記映像信号を第２制御装置３
２０に出力する。
装置３２０と同様に動作することで無人自動車の第１、
第２無人カメラ１００、２００を用いて車両前方の近距
離映像の入力を受け、第１、第２イメージグレーバー１
１０、２１０でキャプチャーされた映像を用いて車両の
車線に対する車両離脱情報を出力する。先ず、第３無人
カメラ３００を用いた車両走行道路検索方法は図５に示
されているとおりである。無人自動車の上端に位置する
第３無人カメラ３００は車両前方の遠距離映像の入力を
受ける。前記第３無人カメラ３００から入力された映像
を第３イメージグレーバー３１０がキャプチャーし、前
記映像信号を内部のデジタルアナログコンバータを用い
てデジタル値で保存して前記映像信号を第２制御装置３
２０に出力する。
【００１０】前記第２制御装置３２０は、前記第３イメ
ージグレーバー３２０から出力される映像信号の入力を
受け、入力されるデータの値を特定値を中心にして二進
化して特定明度を検出するガウシアン検出法などを用い
て処理することで、映像から得られた道路の特徴を検出
する。前記第２制御装置３２０は、図５に示されている
ように、第３無人カメラを用いて道路を検索し、検索さ
れた道路の中心値を検出してそれぞれチェックされた水
平ラインの中心値を連結することにより車両進行方向を
任意に表示し、また前記で求めた車両進行方向の表示と
検出された道路の水平ラインとが成す角度を求めてそれ
ぞれの進行方向道路の傾斜度を求めて車両前方の第３無
人カメラで検出された遠距離道路の傾斜度を検出する。
ージグレーバー３２０から出力される映像信号の入力を
受け、入力されるデータの値を特定値を中心にして二進
化して特定明度を検出するガウシアン検出法などを用い
て処理することで、映像から得られた道路の特徴を検出
する。前記第２制御装置３２０は、図５に示されている
ように、第３無人カメラを用いて道路を検索し、検索さ
れた道路の中心値を検出してそれぞれチェックされた水
平ラインの中心値を連結することにより車両進行方向を
任意に表示し、また前記で求めた車両進行方向の表示と
検出された道路の水平ラインとが成す角度を求めてそれ
ぞれの進行方向道路の傾斜度を求めて車両前方の第３無
人カメラで検出された遠距離道路の傾斜度を検出する。
【００１１】前記全体傾斜度を求める方法は［式１］の
とおりである。 ［式１］ α１θ１＋α２θ２＋α３θ３＋α４θ４＝θtotal
（前方道路の傾斜度） 前記［式１］におけるα１、α２、α３、α４は、図５
に示すように、各区間別に水平ラインと道路中心検出ラ
インの延長線とが成す角度であって、α１は図５の領
域が水平ラインと成す角度であり、α４は領域が水平
ラインと成す角度であり、θ１、θ２、θ３、θ４は各
区間別の実際の道路に対する比例定数であって、無人カ
メラのレンズ倍率に応じて変更されるが、図５における
領域が実際の道路の３０ｍであり領域が実際の道路
の１０ｍである場合、θ４＝１、θ１＝０．３３と定め
られる。従って、第３無人カメラ３００を用いて車両前
方の道路を検索することで、車両進行方向の傾斜度を容
易に検出することができる（Ｓ４０）。
とおりである。 ［式１］ α１θ１＋α２θ２＋α３θ３＋α４θ４＝θtotal
（前方道路の傾斜度） 前記［式１］におけるα１、α２、α３、α４は、図５
に示すように、各区間別に水平ラインと道路中心検出ラ
インの延長線とが成す角度であって、α１は図５の領
域が水平ラインと成す角度であり、α４は領域が水平
ラインと成す角度であり、θ１、θ２、θ３、θ４は各
区間別の実際の道路に対する比例定数であって、無人カ
メラのレンズ倍率に応じて変更されるが、図５における
領域が実際の道路の３０ｍであり領域が実際の道路
の１０ｍである場合、θ４＝１、θ１＝０．３３と定め
られる。従って、第３無人カメラ３００を用いて車両前
方の道路を検索することで、車両進行方向の傾斜度を容
易に検出することができる（Ｓ４０）。
【００１２】第１制御装置１２０は前記無人自動車に装
着された第１、第２無人カメラ１００、２００を用いて
車両近距離の道路を検索して車両の車線離脱を検出す
る。即ち、第１、第２無人カメラ１００、２００を用い
て車両前方の左右側の車線を検索すると、第１、第２イ
メージグレーバー１１０、２１０は前記無人カメラから
入力される映像をキャプチャーして映像信号を第１制御
装置１２０に出力する（Ｓ２０、Ｓ３０）。
着された第１、第２無人カメラ１００、２００を用いて
車両近距離の道路を検索して車両の車線離脱を検出す
る。即ち、第１、第２無人カメラ１００、２００を用い
て車両前方の左右側の車線を検索すると、第１、第２イ
メージグレーバー１１０、２１０は前記無人カメラから
入力される映像をキャプチャーして映像信号を第１制御
装置１２０に出力する（Ｓ２０、Ｓ３０）。
【００１３】第１制御装置１２０は前記第１イメージグ
レーバー１１０から第１無人カメラ１００に入力される
映像信号の入力を受けて処理し、また第２イメージグレ
ーバー２１０から第２無人カメラ２００に入力される映
像信号の入力を受けて処理する。第１制御装置１２０の
映像処理は、図４（ａ）、図４（ｂ）に示されているよ
うに、第１無人カメラ１００が、図４（ａ）を、第２無
人カメラ２００が図４（ｂ）の映像を検索して出力した
映像を前記第２制御装置３２０と同様な動作でガウシア
ン検出法を用いて車道の車線を検出するものである。
レーバー１１０から第１無人カメラ１００に入力される
映像信号の入力を受けて処理し、また第２イメージグレ
ーバー２１０から第２無人カメラ２００に入力される映
像信号の入力を受けて処理する。第１制御装置１２０の
映像処理は、図４（ａ）、図４（ｂ）に示されているよ
うに、第１無人カメラ１００が、図４（ａ）を、第２無
人カメラ２００が図４（ｂ）の映像を検索して出力した
映像を前記第２制御装置３２０と同様な動作でガウシア
ン検出法を用いて車道の車線を検出するものである。
【００１４】第１制御装置１２０は、図４（ａ）に示さ
れているように、第２カメラを用いて第２イメージグレ
ーバー２１０から出力された映像から道路の右側車線を
検索して、車両の右側から画面の右側に検出された道路
までの距離ｄ１を求め、図４（ｂ）に示されているよう
に、第１カメラを用いて第１イメージグレーバー１１０
から出力された映像から道路の左側車線を検索して、車
両の左側から画面の左側に検出された道路までの距離ｄ
２を求める。
れているように、第２カメラを用いて第２イメージグレ
ーバー２１０から出力された映像から道路の右側車線を
検索して、車両の右側から画面の右側に検出された道路
までの距離ｄ１を求め、図４（ｂ）に示されているよう
に、第１カメラを用いて第１イメージグレーバー１１０
から出力された映像から道路の左側車線を検索して、車
両の左側から画面の左側に検出された道路までの距離ｄ
２を求める。
【００１５】第１制御装置１２０は、前記で求めたｄ
１、ｄ２の距離が同一な位置を検出して車両の車線離脱
率を求めてステアリング制御を行う（Ｓ５０）。前記車
線離脱率は、車両は道路の中央に向かって走るので、走
行車線の中央と移動する車線の分離車線との距離を計算
して求める。従って、車両は、前記で求めた道路の遠距
離検索により道路の進行方向に対する左右の傾きを求め
て車両進行方向の道路の傾きに対するステアリングが大
きな回転角を制御する値を求め、近距離検索により道路
の車線離脱を求めて車両進行に瞬間的な車線変化による
微細なステアリング制御を行う。即ち、ステアリング装
置は、遠距離無人カメラシステムを用いて車両が傾きが
大きな道路を走行する場合に進行道路の傾きに該当する
回転角を成す状態で近距離カメラシステムを用いて車両
の瞬間的な車線幅の微細な変化を検索することでステア
リングを制御する。
１、ｄ２の距離が同一な位置を検出して車両の車線離脱
率を求めてステアリング制御を行う（Ｓ５０）。前記車
線離脱率は、車両は道路の中央に向かって走るので、走
行車線の中央と移動する車線の分離車線との距離を計算
して求める。従って、車両は、前記で求めた道路の遠距
離検索により道路の進行方向に対する左右の傾きを求め
て車両進行方向の道路の傾きに対するステアリングが大
きな回転角を制御する値を求め、近距離検索により道路
の車線離脱を求めて車両進行に瞬間的な車線変化による
微細なステアリング制御を行う。即ち、ステアリング装
置は、遠距離無人カメラシステムを用いて車両が傾きが
大きな道路を走行する場合に進行道路の傾きに該当する
回転角を成す状態で近距離カメラシステムを用いて車両
の瞬間的な車線幅の微細な変化を検索することでステア
リングを制御する。
【００１６】前記ステアリング制御の制御値は［式２］
のとおりである。 ［式２］ ステアリング制御＝β・車線離脱率＋γ・進行方向＋δ
・車速 前記［式２］におけるβ、γ、δは測定された比例定数
であって、β＞γ＞δの関係を有する。前記β＞γ＞δ
の関係は、車両の車線離脱時に最も大きなステアリング
値を有し、進行方向は前記車線離脱に対する補正を行う
ものであり、車速は前記車線離脱率及び進行方向に対す
るステアリングを時間上補正する値であって、車両のス
テアリングを微細に調整することでカーブなどでステア
リングが振動するのを防止する。結論として、第３無人
カメラ３００と第３イメージグレーバー３１０及び第２
制御装置３２０を用いて車両前方の遠距離道路を検索し
て車両の進行方向を決定し、第１、第２無人カメラ１０
０、２００と第１、第２イメージグレーバー１１０、２
１０及び第１制御装置１２０を用いて車両前方の近距離
道路を検索して車両の車線離脱制御値を求める。
のとおりである。 ［式２］ ステアリング制御＝β・車線離脱率＋γ・進行方向＋δ
・車速 前記［式２］におけるβ、γ、δは測定された比例定数
であって、β＞γ＞δの関係を有する。前記β＞γ＞δ
の関係は、車両の車線離脱時に最も大きなステアリング
値を有し、進行方向は前記車線離脱に対する補正を行う
ものであり、車速は前記車線離脱率及び進行方向に対す
るステアリングを時間上補正する値であって、車両のス
テアリングを微細に調整することでカーブなどでステア
リングが振動するのを防止する。結論として、第３無人
カメラ３００と第３イメージグレーバー３１０及び第２
制御装置３２０を用いて車両前方の遠距離道路を検索し
て車両の進行方向を決定し、第１、第２無人カメラ１０
０、２００と第１、第２イメージグレーバー１１０、２
１０及び第１制御装置１２０を用いて車両前方の近距離
道路を検索して車両の車線離脱制御値を求める。
【００１７】ステアリング制御装置３０は前記で求めた
制御値の入力を受けてステアリング制御に関連して処理
することでステアリング制御値を求めてドライブ４０に
出力する。駆動ドライブ４０は前記ステアリング制御値
に応じてより精巧なステアリング制御を行って車両進行
方向制御を行う（Ｓ６０）。
制御値の入力を受けてステアリング制御に関連して処理
することでステアリング制御値を求めてドライブ４０に
出力する。駆動ドライブ４０は前記ステアリング制御値
に応じてより精巧なステアリング制御を行って車両進行
方向制御を行う（Ｓ６０）。
【００１８】
【発明の効果】以上説明のように本発明においては、多
重カメラを用い、遠距離道路を検索して車両の進行方向
を検出し、近距離道路を検索して車両の車線離脱を検出
し、これらの検出データを並列的に処理し、これらのデ
ータ処理に基づいて車線を離脱しないステアリング制御
を行う構成により、精密なステアリング制御効果を有す
る無人自動車の画像処理装置及び方法を実現することが
できる。
重カメラを用い、遠距離道路を検索して車両の進行方向
を検出し、近距離道路を検索して車両の車線離脱を検出
し、これらの検出データを並列的に処理し、これらのデ
ータ処理に基づいて車線を離脱しないステアリング制御
を行う構成により、精密なステアリング制御効果を有す
る無人自動車の画像処理装置及び方法を実現することが
できる。
【図１】本発明の実施例による無人自動車の無人カメラ
装着図である。
装着図である。
【図２】本発明の実施例による無人自動車の画像処理装
置の制御ブロック図である。
置の制御ブロック図である。
【図３】本発明の実施例による無人自動車の画像処理装
置の制御流れ図である。
置の制御流れ図である。
【図４】本発明の実施例による第１、第２無人カメラを
用いた車線検索図であり、（ａ）は、第２無人カメラで
検索された車線を示した図面、（ｂ）は、第１無人カメ
ラで２つの車線が検索された道路を示した図面である。
用いた車線検索図であり、（ａ）は、第２無人カメラで
検索された車線を示した図面、（ｂ）は、第１無人カメ
ラで２つの車線が検索された道路を示した図面である。
【図５】本発明の実施例による第３無人カメラを用いた
車線検索図である。
車線検索図である。
３０ ステアリング制御装置 ４０ 駆動ドライブ １００ 第１無人カメラ １１０ 第１イメージグレーバー １２０ 第１制御装置 ２００ 第２無人カメラ ２１０ 第２イメージグレーバー ３００ 第３無人カメラ ３１０ 第３イメージグレーバー ３２０ 第２制御装置
Claims (9)
- 【請求項１】 車両に付設され、車両前方の道路を検索
する多数個のカメラと、 前記無人カメラから道路に関する映像の入力を受けて画
像をキャプチャーするイメージグレーバーと、 前記多数個のイメージグレーバーにおける近距離に関す
る道路映像データを処理して車線離脱を検出する第１制
御装置と、 前記多数個のイメージグレーバーの中の一部のイメージ
グレーバーから遠距離に関する映像情報の入力を受けて
処理し、車両の進行方向を検出する第２制御装置と、 前記第１制御装置及び第２制御装置から道路に関する処
理データの入力を受けて車両のステアリング制御を処理
するステアリング制御装置とからなることを特徴とする
無人自動車の画像処理装置。 - 【請求項２】 前記多数個の無人カメラは、第１、第
２、第３無人カメラの３つから構成されることを特徴と
する請求項１に記載の無人自動車の画像処理装置。 - 【請求項３】 前記多数個のイメージグレーバーは、前
記それぞれの無人カメラからのイメージを処理するため
に、第１、第２、第３イメージグレーバーの３つから構
成されることを特徴とする請求項１に記載の無人自動車
の画像処理装置。 - 【請求項４】 前記第１制御装置で処理する多数個のイ
メージグレーバーは第１、第２イメージグレーバーから
構成されることを特徴とする請求項１に記載の無人自動
車の画像処理装置。 - 【請求項５】 前記第２制御装置で処理する一部のイメ
ージグレーバーは第３イメージグレーバーの画像を処理
することを特徴とする請求項１に記載の無人自動車の画
像処理装置。 - 【請求項６】 各無人カメラから道路に関する映像の入
力を受ける段階と、前記無人カメラから入力される映像
を各イメージグレーバーでキャプチャーする段階と、 該無人カメラを用いて遠距離道路の入力を受け、該制御
装置が処理して車両の進行方向を検出する段階と、 該無人カメラを用いて近距離道路の入力を受け、該制御
装置が処理して車両の車線離脱を検出する段階と、 前記で求めた車両の進行方向と車線離脱検出値などを用
いて車両のステアリング制御を行う段階とからなること
を特徴とする無人自動車の画像処理方法。 - 【請求項７】 前記道路の遠距離検索による進行方向の
全体傾斜度は下記の［式１］により求めることを特徴と
する請求項６に記載の無人自動車の画像処理方法。 ［式１］ αnthetan＋α(n＋１)θ(n＋１)＋α(n＋２)θ(n＋２)
＋…＝θtotal - 【請求項８】 前記道路の近距離検索による車両の車線
離脱は、左右側のカメラで検出して求めた距離の差を用
いることで車線離脱を求めることを特徴とする請求項６
に記載の無人自動車の画像処理方法。 - 【請求項９】 前記無人車両のステアリング制御値は下
記［式２］により求めることを特徴とする請求項６に記
載の無人自動車の画像処理方法。 ［式２］ ステアリング制御＝β・車線離脱率＋γ・進行方向＋δ
・車速 但し、上記［式２］におけるβ、γ、δは測定された定
数値であってβ＞γ＞δの関係を有する。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1997/P51963 | 1997-10-10 | ||
| KR1019970051963A KR100250323B1 (ko) | 1997-10-10 | 1997-10-10 | 무인 자동차의 화상 처리 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11212641A true JPH11212641A (ja) | 1999-08-06 |
Family
ID=19522488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10288497A Pending JPH11212641A (ja) | 1997-10-10 | 1998-10-09 | 無人自動車の画像処理装置及び方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6173222B1 (ja) |
| JP (1) | JPH11212641A (ja) |
| KR (1) | KR100250323B1 (ja) |
| DE (1) | DE19846664A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100835803B1 (ko) | 2004-07-16 | 2008-06-05 | 주식회사 현대오토넷 | 이중 차선이탈 경보 장치 및 방법 |
| WO2012176945A1 (ko) * | 2011-06-21 | 2012-12-27 | (주)베이다스 | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 |
| US8459619B2 (en) | 2010-10-24 | 2013-06-11 | Oshkosh Corporation | Gas spring control system and method |
| US8947531B2 (en) | 2006-06-19 | 2015-02-03 | Oshkosh Corporation | Vehicle diagnostics based on information communicated between vehicles |
| US9420203B2 (en) | 2006-06-19 | 2016-08-16 | Oshkosh Defense, Llc | Vision system for a vehicle |
| JP2019137391A (ja) * | 2018-02-07 | 2019-08-22 | バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ | 自動運転車両のための自己位置推定方法、システム及び機械可読媒体 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4007723B2 (ja) * | 1999-06-16 | 2007-11-14 | 本田技研工業株式会社 | 車両の走行安全装置 |
| KR100325144B1 (ko) * | 1999-12-03 | 2002-02-21 | 이계안 | 차량 전용 씨씨디 카메라 장치 |
| ES2391556T3 (es) * | 2002-05-03 | 2012-11-27 | Donnelly Corporation | Sistema de detección de objetos para vehículo |
| DE10259168A1 (de) * | 2002-12-18 | 2004-07-08 | Daimlerchrysler Ag | Verfahren zum Steuern wenigstens eines autonom fahrenden Fahrzeugs |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| US20070088469A1 (en) * | 2005-10-04 | 2007-04-19 | Oshkosh Truck Corporation | Vehicle control system and method |
| JP4426535B2 (ja) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| DE102007019531A1 (de) * | 2007-04-25 | 2008-11-13 | Continental Automotive Gmbh | Fahrspurdetektion mit Kameras unterschiedlicher Brennweite |
| DE102009050368A1 (de) | 2008-10-24 | 2010-05-27 | Magna Electronics Europe Gmbh & Co.Kg | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
| US8964032B2 (en) * | 2009-01-30 | 2015-02-24 | Magna Electronics Inc. | Rear illumination system |
| TW201033033A (en) * | 2009-03-03 | 2010-09-16 | Unice E O Services Inc | Intelligent car window device and control method |
| CN101811502B (zh) * | 2010-01-07 | 2013-03-06 | 中国科学院半导体研究所 | 基于并行处理的快速车道线检测装置 |
| US9150155B2 (en) | 2010-01-13 | 2015-10-06 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
| EP2695786A4 (en) * | 2011-04-08 | 2016-08-24 | Toyota Motor Co Ltd | DRIVER ASSISTANCE SYSTEM |
| KR101703177B1 (ko) * | 2011-12-14 | 2017-02-07 | 한국전자통신연구원 | 차량 위치 인식 장치 및 방법 |
| US9321461B1 (en) | 2014-08-29 | 2016-04-26 | Google Inc. | Change detection using curve alignment |
| KR101666959B1 (ko) * | 2015-03-25 | 2016-10-18 | ㈜베이다스 | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 |
| US11228700B2 (en) | 2015-10-07 | 2022-01-18 | Magna Electronics Inc. | Vehicle vision system camera with adaptive field of view |
| KR101748269B1 (ko) * | 2015-11-11 | 2017-06-27 | 현대자동차주식회사 | 자율 주행 차량의 조향 제어 방법 및 장치 |
| US9494438B1 (en) | 2015-12-15 | 2016-11-15 | Honda Motor Co., Ltd. | System and method for verifying map data for a vehicle |
| US10300859B2 (en) | 2016-06-10 | 2019-05-28 | Magna Electronics Inc. | Multi-sensor interior mirror device with image adjustment |
| US9840253B1 (en) * | 2016-06-14 | 2017-12-12 | Delphi Technologies, Inc. | Lane keeping system for autonomous vehicle during camera drop-outs |
| CN108632934B (zh) | 2017-03-24 | 2021-01-01 | 华为技术有限公司 | 切换的方法和设备 |
| US11370433B1 (en) * | 2019-05-15 | 2022-06-28 | Nissan Motor Co., Ltd. | Vehicle travel control method and vehicle travel control apparatus |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5559695A (en) * | 1994-12-27 | 1996-09-24 | Hughes Aircraft Company | Apparatus and method for self-calibrating visual time-to-contact sensor |
| JP3189610B2 (ja) * | 1995-02-20 | 2001-07-16 | トヨタ自動車株式会社 | 車両挙動制御装置 |
| JP3521249B2 (ja) * | 1995-11-24 | 2004-04-19 | 光洋精工株式会社 | 自動車の舵取り装置 |
| US5568406A (en) * | 1995-12-01 | 1996-10-22 | Gerber; Eliot S. | Stolen car detection system and method |
-
1997
- 1997-10-10 KR KR1019970051963A patent/KR100250323B1/ko not_active IP Right Cessation
-
1998
- 1998-10-09 JP JP10288497A patent/JPH11212641A/ja active Pending
- 1998-10-09 US US09/169,253 patent/US6173222B1/en not_active Expired - Fee Related
- 1998-10-09 DE DE19846664A patent/DE19846664A1/de not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100835803B1 (ko) | 2004-07-16 | 2008-06-05 | 주식회사 현대오토넷 | 이중 차선이탈 경보 장치 및 방법 |
| US8947531B2 (en) | 2006-06-19 | 2015-02-03 | Oshkosh Corporation | Vehicle diagnostics based on information communicated between vehicles |
| US9420203B2 (en) | 2006-06-19 | 2016-08-16 | Oshkosh Defense, Llc | Vision system for a vehicle |
| US8459619B2 (en) | 2010-10-24 | 2013-06-11 | Oshkosh Corporation | Gas spring control system and method |
| WO2012176945A1 (ko) * | 2011-06-21 | 2012-12-27 | (주)베이다스 | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 |
| US9451236B2 (en) | 2011-06-21 | 2016-09-20 | Vadas, Ltd. | Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof |
| JP2019137391A (ja) * | 2018-02-07 | 2019-08-22 | バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ | 自動運転車両のための自己位置推定方法、システム及び機械可読媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100250323B1 (ko) | 2000-04-01 |
| DE19846664A1 (de) | 1999-04-15 |
| KR19990031307A (ko) | 1999-05-06 |
| US6173222B1 (en) | 2001-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11212641A (ja) | 無人自動車の画像処理装置及び方法 | |
| US10798319B2 (en) | Camera device and method for capturing a surrounding region of a vehicle in a situation-adapted manner | |
| JP5399027B2 (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
| US6614469B1 (en) | Method and apparatus for detecting deviation of automobile from lane | |
| KR20110113185A (ko) | 유효 차선 마킹을 결정하기 위한 방법 및 장치 | |
| US20120277990A1 (en) | Method and apparatus for determining a plausible lane for guiding a vehicle and an automobile | |
| US7302325B2 (en) | Vehicle drive assist system | |
| JP4622544B2 (ja) | 車両の運転支援装置 | |
| JP2002314989A (ja) | 車両用周辺監視装置 | |
| KR100766596B1 (ko) | 차량의 차선유지 조향제어방법 | |
| JPH0981757A (ja) | 車両位置検出装置 | |
| JP3440956B2 (ja) | 車両用走行路検出装置 | |
| JP2005182753A (ja) | 車両運転支援装置 | |
| JP3402054B2 (ja) | 道路白線認識装置 | |
| JP4324179B2 (ja) | 情報提供装置 | |
| JPH1153551A (ja) | ライン検出装置 | |
| JP2007022134A (ja) | 車両用車線維持支援装置 | |
| JPH1011585A (ja) | 物体検出装置 | |
| JPH02241855A (ja) | 先行車識別方法 | |
| US11663834B2 (en) | Traffic signal recognition method and traffic signal recognition device | |
| JP3846341B2 (ja) | 車両用後方監視装置 | |
| WO2021094799A1 (ja) | 信号機認識方法及び信号機認識装置 | |
| JPH1131300A (ja) | 走行レーン逸脱警報装置 | |
| JPH06265348A (ja) | 車間距離検出装置 | |
| JP3154671B2 (ja) | 車両用走行区分帯検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060320 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060815 |