JP2713476B2 - 車輌の挙動計測方法 - Google Patents
車輌の挙動計測方法Info
- Publication number
- JP2713476B2 JP2713476B2 JP1272778A JP27277889A JP2713476B2 JP 2713476 B2 JP2713476 B2 JP 2713476B2 JP 1272778 A JP1272778 A JP 1272778A JP 27277889 A JP27277889 A JP 27277889A JP 2713476 B2 JP2713476 B2 JP 2713476B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- striatum
- vehicle
- dimensional
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Navigation (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は車輌等の挙動を計測する方法及び装置に関す
るものであり、特には車輌等の挙動状況を計測し車輌等
の自動走行を可能とする方法及びその装置に関するもの
である。
るものであり、特には車輌等の挙動状況を計測し車輌等
の自動走行を可能とする方法及びその装置に関するもの
である。
従来より、車輌の姿勢や動的挙動を試験・計測する方
法として、ジャイロスコープ等がある。しかしジャイロ
スコープは姿勢角や、角速度しか計測できず、したがっ
てとくに車輌の直進性能を評価するのに重要な横変位は
例えば路面に水を噴射する等して別途車輌の軌跡を計測
する必要があった。また、ジャイロスコープは取り扱い
が簡便でないなどの欠点があった。あるいは、地中に電
線を格子状に埋め込み、車輌側で電界を検出して車輌の
軌跡を認識する方法なども実現されているが簡便でない
という欠点があった。近年、カメラから車輌の走行する
環境を眺め、その画像を処理することによって車輌の位
置等を知る方法も提案されており、かかる方法で、道路
を走行中の車輌の道路に対する位置関係がわかれば、車
輌等の自動操縦や安全走行の補助システムを構成できる
ので、近年種々の検討が行われてきているが現在の処そ
の精度が不十分である。かかる手段の1つとして例えば
映像情報(1987/9、第31頁〜第35頁)には、車輌の1台
のテレビカメラを設置して車輌の走行通路の両側に設け
た白線(レーンマーク)を認識し、それによって車輌の
二次元的な位置と姿勢ヨー角を検出して車輌の位置の補
正を行う方法が知られている。
法として、ジャイロスコープ等がある。しかしジャイロ
スコープは姿勢角や、角速度しか計測できず、したがっ
てとくに車輌の直進性能を評価するのに重要な横変位は
例えば路面に水を噴射する等して別途車輌の軌跡を計測
する必要があった。また、ジャイロスコープは取り扱い
が簡便でないなどの欠点があった。あるいは、地中に電
線を格子状に埋め込み、車輌側で電界を検出して車輌の
軌跡を認識する方法なども実現されているが簡便でない
という欠点があった。近年、カメラから車輌の走行する
環境を眺め、その画像を処理することによって車輌の位
置等を知る方法も提案されており、かかる方法で、道路
を走行中の車輌の道路に対する位置関係がわかれば、車
輌等の自動操縦や安全走行の補助システムを構成できる
ので、近年種々の検討が行われてきているが現在の処そ
の精度が不十分である。かかる手段の1つとして例えば
映像情報(1987/9、第31頁〜第35頁)には、車輌の1台
のテレビカメラを設置して車輌の走行通路の両側に設け
た白線(レーンマーク)を認識し、それによって車輌の
二次元的な位置と姿勢ヨー角を検出して車輌の位置の補
正を行う方法が知られている。
然しながらかかる方法ではレーンマークを二次元的平
面でしか把握しえないため車輌等の三次元的な挙動につ
いては検出が出来ず、従って精密な車輌挙動計測を行う
ことは不可能であった。
面でしか把握しえないため車輌等の三次元的な挙動につ
いては検出が出来ず、従って精密な車輌挙動計測を行う
ことは不可能であった。
本発明の目的は上記したような従来技術における問題
点を改良し、車輌等の存在位置、並びにその位置におけ
る三次元動的挙動を計測出来るシステムを提供しようと
するものである。
点を改良し、車輌等の存在位置、並びにその位置におけ
る三次元動的挙動を計測出来るシステムを提供しようと
するものである。
本発明は上記した目的を達成するため基本的には次の
ような技術構成を採用するものである。即ち (1)車輌10上に該車輌10の進行方向若しくは反進行方
向に向けて所定の間隔をおいて設けられている少なくと
も2台の画像撮影手段1a,1bにより該車輌の走行する通
路11に沿って設けられた少なくとも2本の基準線条体
L1,L2を撮影し画像情報として画像記録手段2に記録す
ること、 (2)該記録された画像情報から該基準線条体を含む画
像を直接的若しくは間接的に二次元的に復元させるこ
と、 (3)該復元された該基準線条体を含む画像から、画像
処理手段4を用いて該基準線条体に関する画像部分を抽
出すること、 (4)該抽出された該基準線条体に関する画像部分につ
いて二次元平面での直線式を算出すること、 (5)該直線式から該基準線条体に関する三次元関数直
線式を算出すること、 (6)該三次元関数直線式から該車輌の挙動状態に関す
る情報を算出すること、 から構成される。
ような技術構成を採用するものである。即ち (1)車輌10上に該車輌10の進行方向若しくは反進行方
向に向けて所定の間隔をおいて設けられている少なくと
も2台の画像撮影手段1a,1bにより該車輌の走行する通
路11に沿って設けられた少なくとも2本の基準線条体
L1,L2を撮影し画像情報として画像記録手段2に記録す
ること、 (2)該記録された画像情報から該基準線条体を含む画
像を直接的若しくは間接的に二次元的に復元させるこ
と、 (3)該復元された該基準線条体を含む画像から、画像
処理手段4を用いて該基準線条体に関する画像部分を抽
出すること、 (4)該抽出された該基準線条体に関する画像部分につ
いて二次元平面での直線式を算出すること、 (5)該直線式から該基準線条体に関する三次元関数直
線式を算出すること、 (6)該三次元関数直線式から該車輌の挙動状態に関す
る情報を算出すること、 から構成される。
〔作用〕 本発明は上記したような技術構成を採用しているの
で、車輌等の走行通路に沿って設けられた基準線条体を
三次元的に認識するとともに、該三次元的に認識された
基準線条体に対して当該車輌の相対的位置関係ならびに
三次元的な挙動状態を検出することができる。
で、車輌等の走行通路に沿って設けられた基準線条体を
三次元的に認識するとともに、該三次元的に認識された
基準線条体に対して当該車輌の相対的位置関係ならびに
三次元的な挙動状態を検出することができる。
以下本発明を実施するための具体例を図面により詳細
に説明する。
に説明する。
第1図は本発明に係る車輌の挙動計測方法を実施して
いる1具体例を示す図であり、自動車、無人走行車等の
車輌10が、道路、工場内通路等の車輌走行通路11を走行
するのに際し、車輌10の一部に2台の画像撮影手段1を
所定の間隔lを置いて取り付けたものである。該画像撮
影手段1は、テレビカメラを用いることが好ましく、又
2台の該画像撮影手段1はその光軸が車輌の進行方向又
は反進行方向に向けて互に平行となるように設けられる
ものである。この際両画像撮影手段は同一平面であって
も良く、又若干上下にずれていても良い。又該画像撮影
手段1の光軸は若干走行路面に対し下向きの傾斜を有し
ていることが望ましい。
いる1具体例を示す図であり、自動車、無人走行車等の
車輌10が、道路、工場内通路等の車輌走行通路11を走行
するのに際し、車輌10の一部に2台の画像撮影手段1を
所定の間隔lを置いて取り付けたものである。該画像撮
影手段1は、テレビカメラを用いることが好ましく、又
2台の該画像撮影手段1はその光軸が車輌の進行方向又
は反進行方向に向けて互に平行となるように設けられる
ものである。この際両画像撮影手段は同一平面であって
も良く、又若干上下にずれていても良い。又該画像撮影
手段1の光軸は若干走行路面に対し下向きの傾斜を有し
ていることが望ましい。
一方該走行通路11には車輌の走行時の制御基準となる
基準線条体L1,L2が走行通路11に沿って設けられてお
り、該テレビカメラ等の画像撮影手段1が該基準線条体
L1,L2を別々に撮影して画像情報として記録する。
基準線条体L1,L2が走行通路11に沿って設けられてお
り、該テレビカメラ等の画像撮影手段1が該基準線条体
L1,L2を別々に撮影して画像情報として記録する。
該基準線条体L1,L2は通路上に塗布形成された白線
(所謂レーンマーク)であっても良く、又適宜の手摺
り、ガードレール等三次元的に構成されたものを利用し
ても良い。但しそれ等も画像認識しやすい白色又はそれ
に近い色を有していることが必要である。又レーンマー
クは必ずしも連続した実線でなくても良い。
(所謂レーンマーク)であっても良く、又適宜の手摺
り、ガードレール等三次元的に構成されたものを利用し
ても良い。但しそれ等も画像認識しやすい白色又はそれ
に近い色を有していることが必要である。又レーンマー
クは必ずしも連続した実線でなくても良い。
又本発明において該基準線条体L1,L2は少くとも2本
使用することが好ましく、それ等は走行通路11の両側に
配置されていることが望ましい。
使用することが好ましく、それ等は走行通路11の両側に
配置されていることが望ましい。
第2図は本発明に係る車輌の挙動計測方法及び装置に
使用されるシステムのブロックダイアグラムを示したも
のであり、第2図において、車輌に互いに取り付けられ
て進行方向の映像を撮影する2台の画像撮影手段例えば
CCD素子によってできた2次元テレビカメラ1a,1bにより
撮影されたそれぞれの画像はデジタル信号に変換されて
画像記録手段2のメモリー2a,2bに別々に記録される。
本発明においては、上記メモリー2a,2bに記録された、
テレビカメラ1aと1bにより別々に撮影された画像は直接
画像復元手段3において個別に二次元的画像として復元
される。
使用されるシステムのブロックダイアグラムを示したも
のであり、第2図において、車輌に互いに取り付けられ
て進行方向の映像を撮影する2台の画像撮影手段例えば
CCD素子によってできた2次元テレビカメラ1a,1bにより
撮影されたそれぞれの画像はデジタル信号に変換されて
画像記録手段2のメモリー2a,2bに別々に記録される。
本発明においては、上記メモリー2a,2bに記録された、
テレビカメラ1aと1bにより別々に撮影された画像は直接
画像復元手段3において個別に二次元的画像として復元
される。
復元手段3は例えば半導体回路より構成された適宜の
演算回路を有し、上記画像記録手段2から送られて来る
デジタル画像情報から該演算回路内で二次元的画像とし
て復元するものであってもよく、又それと同時にCRTを
用いた適宜の表示手段3−2上に復元画像を表示するも
のであってもよい。
演算回路を有し、上記画像記録手段2から送られて来る
デジタル画像情報から該演算回路内で二次元的画像とし
て復元するものであってもよく、又それと同時にCRTを
用いた適宜の表示手段3−2上に復元画像を表示するも
のであってもよい。
このようにして復元された二次元画像は後述する画像
処理手段4において、各テレビカメラ(1a,1b)により
撮影された画像毎に画像処理されて、前記基準線条体
(L1,L2)に関する画像部分のみが抽出される。
処理手段4において、各テレビカメラ(1a,1b)により
撮影された画像毎に画像処理されて、前記基準線条体
(L1,L2)に関する画像部分のみが抽出される。
尚本発明における好ましい具体例としては、第2図に
も示されるように、2台のテレビカメラ(1a,1b)を該
画像記録手段2内に設けた同期信号発生器2−1からの
同期信号に同期させて交互に切り換えて撮影を行い、例
えば、テレビカメラ1aで撮影された画像をビデオテープ
レコーダ2−2に記録する際の奇数フィールドに又テレ
ビカメラ1bで撮影された画像を偶数フィールドに交互に
割り当て、それぞれにおいて撮影された画像をビデオテ
ープレコーダ2−2において1つの画像信号に合成する
ようにする。この時上記メモリー2a,2bはそれぞれフレ
ームメモリーとして使用される。
も示されるように、2台のテレビカメラ(1a,1b)を該
画像記録手段2内に設けた同期信号発生器2−1からの
同期信号に同期させて交互に切り換えて撮影を行い、例
えば、テレビカメラ1aで撮影された画像をビデオテープ
レコーダ2−2に記録する際の奇数フィールドに又テレ
ビカメラ1bで撮影された画像を偶数フィールドに交互に
割り当て、それぞれにおいて撮影された画像をビデオテ
ープレコーダ2−2において1つの画像信号に合成する
ようにする。この時上記メモリー2a,2bはそれぞれフレ
ームメモリーとして使用される。
このようにしてビデオテープレコーダ2(VTR)に記
録された合成画像情報は画像復元手段3に送られて前記
と同様に復元処理されるが、フレーム毎に別々に復元処
理される点が上記の例と異っている。又かかる具体例に
おいてはビデオテープレコーダからの画像情報は1たん
別の記録媒体3−3(例えばカセットテープレコーダ)
に記録した上で上記復元手段に供給されるようにしても
良い。このような方法により復元手段により復元された
画像を上記表示手段3−3上に表示すると第3図(a)
(b)のようになる。勿論この段階での復元画像はレー
ンマーク等の基準線条体の他周囲の物体が全て復元され
ているが、第3図(a),(b)は上記基準線条体の部
分のみをとり出して描いたものである。即ち第3図
(a)は左側に取りつけられたテレビカメラ1aにより撮
影されたレーンマークL1,l2の画像を示すものであり、
又第3図(b)は右側のテレビカメラ1bにより撮影され
たレーンマークL1,L2の画像を示すものである。両画像
は2台のカメラ1a,1bによる視差のためずれて写し出さ
れておりこの差異を演算することによって車輌とレーン
マークの相対変位を計算することになる。
録された合成画像情報は画像復元手段3に送られて前記
と同様に復元処理されるが、フレーム毎に別々に復元処
理される点が上記の例と異っている。又かかる具体例に
おいてはビデオテープレコーダからの画像情報は1たん
別の記録媒体3−3(例えばカセットテープレコーダ)
に記録した上で上記復元手段に供給されるようにしても
良い。このような方法により復元手段により復元された
画像を上記表示手段3−3上に表示すると第3図(a)
(b)のようになる。勿論この段階での復元画像はレー
ンマーク等の基準線条体の他周囲の物体が全て復元され
ているが、第3図(a),(b)は上記基準線条体の部
分のみをとり出して描いたものである。即ち第3図
(a)は左側に取りつけられたテレビカメラ1aにより撮
影されたレーンマークL1,l2の画像を示すものであり、
又第3図(b)は右側のテレビカメラ1bにより撮影され
たレーンマークL1,L2の画像を示すものである。両画像
は2台のカメラ1a,1bによる視差のためずれて写し出さ
れておりこの差異を演算することによって車輌とレーン
マークの相対変位を計算することになる。
本発明で用いられるテレビカメラ及びVTRは日本など
で標準となっているNTSC方式のものをそのまま使用する
ことができる。
で標準となっているNTSC方式のものをそのまま使用する
ことができる。
又上記具体例において両テレビカメラを切り換えて使用
する場合、例えば標準のNTSC方式であれば、60分の1秒
毎に右カメラと左カメラの映像が交互に合成される。
する場合、例えば標準のNTSC方式であれば、60分の1秒
毎に右カメラと左カメラの映像が交互に合成される。
このとき同時に実験番号や時刻、外部からのスタート
信号からのフレーム数を映像信号に重ねて記録する。こ
の情報は文字で表せば実験者が確認できるし、パルスと
して重ねればコンピュータで認識できる。あるいは両方
記録してもよい。次に本発明においては、前記した復元
画像情報を画像処理手段4に送られ、適宜のエッジ解析
手法を用いて該線条体の1つであるレーンマークの画像
部分を抽出する。
信号からのフレーム数を映像信号に重ねて記録する。こ
の情報は文字で表せば実験者が確認できるし、パルスと
して重ねればコンピュータで認識できる。あるいは両方
記録してもよい。次に本発明においては、前記した復元
画像情報を画像処理手段4に送られ、適宜のエッジ解析
手法を用いて該線条体の1つであるレーンマークの画像
部分を抽出する。
かかる抽出処理は、各テレビカメラで撮影された画像
毎に別々に行われるか、又合成画像においてはフレーム
毎に別々に行われる。
毎に別々に行われるか、又合成画像においてはフレーム
毎に別々に行われる。
以下に本発明におけるレーンマーク画像部分の抽出方
法についてその例を説明する。
法についてその例を説明する。
即ち本発明においては、レーンマークのエッジ部分を
検出してそれからレーンマークを認識する方法が用いら
れる。かかる方法においては、メモリー等の演算手段内
に復元された画像情報を第4図に示すように走査線Wに
沿って走査を行うものであり、エッジ検出器が画像の輝
度の変化する部分、暗から明、明から暗の境界を検出し
第5図(c)のように一定のスレシュホルドレベルでス
ライスすれば第5図(a)(b)に示すようなエッジ信
号が発生する。そこでこの情報を、別々に設けられたコ
ンピュータ5に送られエッジ処理用演算回路5−4によ
り処理分析される。エッジの検出は従来より公知の高速
コンパレータを使用すればよい。このエッジデータはビ
デオ画面の横軸に相当するアドレスと、縦軸に相当する
走査線のライン番号のデータに輝度がどのように変化し
たかというデータで構成される。
検出してそれからレーンマークを認識する方法が用いら
れる。かかる方法においては、メモリー等の演算手段内
に復元された画像情報を第4図に示すように走査線Wに
沿って走査を行うものであり、エッジ検出器が画像の輝
度の変化する部分、暗から明、明から暗の境界を検出し
第5図(c)のように一定のスレシュホルドレベルでス
ライスすれば第5図(a)(b)に示すようなエッジ信
号が発生する。そこでこの情報を、別々に設けられたコ
ンピュータ5に送られエッジ処理用演算回路5−4によ
り処理分析される。エッジの検出は従来より公知の高速
コンパレータを使用すればよい。このエッジデータはビ
デオ画面の横軸に相当するアドレスと、縦軸に相当する
走査線のライン番号のデータに輝度がどのように変化し
たかというデータで構成される。
そこで、第4図のように画面内に一本の明るい線が傾
め向に写っていると、ひとつの走査Wでまず、Xの部分
において暗から明のエッジ(第5図(b))、つぎにY
の部分で明から暗のエッジ(第5図(c))が検出され
ることになる。このときエッジの検出はVTRの再生の速
度で行われるので、エッジデータが短い間隔で発生する
とコンピュータの処理速度がおいつかなくなり、データ
をとりこぼす可能性がある。そこで、バッファメモリと
してここではFIFO(first-in first-out)RAMを使用し
てもよい。このメモリは通常1フレーム分あれば十分で
あるが、エッジデータが100ns程度の間隔できた場合の
応答性が必要であるので、さらに間に低容量でよいが高
速のバッファを設けることもある。
め向に写っていると、ひとつの走査Wでまず、Xの部分
において暗から明のエッジ(第5図(b))、つぎにY
の部分で明から暗のエッジ(第5図(c))が検出され
ることになる。このときエッジの検出はVTRの再生の速
度で行われるので、エッジデータが短い間隔で発生する
とコンピュータの処理速度がおいつかなくなり、データ
をとりこぼす可能性がある。そこで、バッファメモリと
してここではFIFO(first-in first-out)RAMを使用し
てもよい。このメモリは通常1フレーム分あれば十分で
あるが、エッジデータが100ns程度の間隔できた場合の
応答性が必要であるので、さらに間に低容量でよいが高
速のバッファを設けることもある。
処で、画面上のエッジデータEDにはレーンマーク以外
の景色によるエッジが多数含まれておりその中から直線
部分を検出するのは困難である。そこで、本発明では第
6図に示す様に、最初の1画面は作業者が画面内にウイ
ンドゥWDを切り、直線部分を指示する。即ち窓追跡法に
より抽出処理を行う。コンピュータはその範囲内のエッ
ジデータから最小二乗法によって直線を検出できる。こ
のとき、一度検出した直線から大きく離れているエッジ
ED′を雑音とみなして除去し、最小二乗法を繰り返すこ
とによって精度を向上させることができる。つぎのフレ
ームによっても映像は大きく変化しないと考えられるの
で以降はコンピュータによって自動的に一つ前の画像の
白線と現在処理中の白線の変化部分より次の画面の白線
の位置を推定してウインドウの位置を変化させ、レーン
マークの直線を検出することができる。一本のレーンマ
ークから暗から明のエッジによる直線及び、明から暗の
エッジによる直線の2本が検出されるので、中央をとり
レーンマークとする。ひとつの画面の中には、2本以上
のレーンマークが写っているので他方のレーンマークに
ついても直線を検出する。かかる画像処理が連続して行
われるレーンマークを画像上の直線として検出される。
の景色によるエッジが多数含まれておりその中から直線
部分を検出するのは困難である。そこで、本発明では第
6図に示す様に、最初の1画面は作業者が画面内にウイ
ンドゥWDを切り、直線部分を指示する。即ち窓追跡法に
より抽出処理を行う。コンピュータはその範囲内のエッ
ジデータから最小二乗法によって直線を検出できる。こ
のとき、一度検出した直線から大きく離れているエッジ
ED′を雑音とみなして除去し、最小二乗法を繰り返すこ
とによって精度を向上させることができる。つぎのフレ
ームによっても映像は大きく変化しないと考えられるの
で以降はコンピュータによって自動的に一つ前の画像の
白線と現在処理中の白線の変化部分より次の画面の白線
の位置を推定してウインドウの位置を変化させ、レーン
マークの直線を検出することができる。一本のレーンマ
ークから暗から明のエッジによる直線及び、明から暗の
エッジによる直線の2本が検出されるので、中央をとり
レーンマークとする。ひとつの画面の中には、2本以上
のレーンマークが写っているので他方のレーンマークに
ついても直線を検出する。かかる画像処理が連続して行
われるレーンマークを画像上の直線として検出される。
上記のように撮影画像からレーンマーク等の基準線条
体が二次元画像情報として抽出されると、その情報はコ
ンピュータcpu等からなる適宜の演算回路5に送られ、
ここで、基準線条体L1,L2に関する情報を形成し、それ
に対する車輌1の位置及び各種挙動情報を算出する。
体が二次元画像情報として抽出されると、その情報はコ
ンピュータcpu等からなる適宜の演算回路5に送られ、
ここで、基準線条体L1,L2に関する情報を形成し、それ
に対する車輌1の位置及び各種挙動情報を算出する。
まず、前記のように抽出された基準線条体L1,L2の情
報から該演算回路5に設けられた第1の演算手段5−1
において、該線条体L1,L2のそれぞれについて2次元平
面における二次元関数直線式がテレビカメラ1aと1bによ
る画像のそれぞれについて算出され、次で2つの該二次
元関数直線式から該線条体L1もしくはL2についての1つ
の三次元関数直線式を第2の演算手段5−2において算
出する。
報から該演算回路5に設けられた第1の演算手段5−1
において、該線条体L1,L2のそれぞれについて2次元平
面における二次元関数直線式がテレビカメラ1aと1bによ
る画像のそれぞれについて算出され、次で2つの該二次
元関数直線式から該線条体L1もしくはL2についての1つ
の三次元関数直線式を第2の演算手段5−2において算
出する。
ここで本発明における該基準線条体の直線式を二次元画
像情報から演算手段により求める方法の基本的測定原理
一具体例を以下に説明する。
像情報から演算手段により求める方法の基本的測定原理
一具体例を以下に説明する。
第1図に示すように適宜の車輌に搭載した2次元テレ
ビカメラ1a,1bから通路上のレーンマークを見た場合の
各座標関係は第7図に示される関係を有している即ちワ
ールド座標系は、通路面11に固定した3次元の直交座標
系で、簡単のため、W軸は車輌の進行方向に向って左側
のレーン・マークと一致している。
ビカメラ1a,1bから通路上のレーンマークを見た場合の
各座標関係は第7図に示される関係を有している即ちワ
ールド座標系は、通路面11に固定した3次元の直交座標
系で、簡単のため、W軸は車輌の進行方向に向って左側
のレーン・マークと一致している。
又カメラ座標系は、同じく3次元の直交座標系であ
り、Z軸はカメラの光軸と一致している。一方スクリー
ン座標系は、2次元の直交座標系である。
り、Z軸はカメラの光軸と一致している。一方スクリー
ン座標系は、2次元の直交座標系である。
ここでテレビカメラ1a,1bは車輌に固定されているの
で車輌の変位はカメラの変位と置き換えて考える。第8
図においてカメラ座標系において該基準線条体L1又はL2
の一方を注目した場合その線条体が、 なる式で表わされるとすると、この線条体L1は投影変換
によりスクリーン座標系で、次式で表される直線として
写像される。
で車輌の変位はカメラの変位と置き換えて考える。第8
図においてカメラ座標系において該基準線条体L1又はL2
の一方を注目した場合その線条体が、 なる式で表わされるとすると、この線条体L1は投影変換
によりスクリーン座標系で、次式で表される直線として
写像される。
(Dは光学系により定まる定数例えば焦点距離であ
る。)逆に、スクリーン系における線条体の像の式から
カメラ座標系での線条体の式が求まれば、テレビカメラ
と線条体の変位関係がわかる。そこでスクリーン座標系
に示された1つの該線条体の直線式が Y=AX+B (3) であった時これをカメラ座標系に逆に投影すると、次式
の形で1つの平面π1に写像される。
る。)逆に、スクリーン系における線条体の像の式から
カメラ座標系での線条体の式が求まれば、テレビカメラ
と線条体の変位関係がわかる。そこでスクリーン座標系
に示された1つの該線条体の直線式が Y=AX+B (3) であった時これをカメラ座標系に逆に投影すると、次式
の形で1つの平面π1に写像される。
ここで平面π1は第9図に示す参考図から明らかなよ
うにスクリーン座標系に復元された線条体の直線を含み
これをスクレーン座標系に対して直交する方向に延長さ
せて形成した平面である。従って、これだけでは実際の
線条体を一意に定めることはできないので、1台目のテ
メビカメラ1aと平行にΔだけ離れたもう1台のテレビカ
メラ1bで捉えた同一の線条体L1に関するスクリーン座標
系での直線の式を、次式で定義し、 Y=A′X+B′ (5) 前記式(4)と同様に、これをカメラ座標系に投影する
と次式(6)で表わされるように平面π2に写像され
る。(x′,y′,z′は2台目のカメラ1b座標系) これを1台目のカメラ座標系に変換するために式
(6)にx′=x−Δ,y′=y,z′=zを代入して変換
すると、次式(7)で表わされる三次元関数直線式が得
られる。
うにスクリーン座標系に復元された線条体の直線を含み
これをスクレーン座標系に対して直交する方向に延長さ
せて形成した平面である。従って、これだけでは実際の
線条体を一意に定めることはできないので、1台目のテ
メビカメラ1aと平行にΔだけ離れたもう1台のテレビカ
メラ1bで捉えた同一の線条体L1に関するスクリーン座標
系での直線の式を、次式で定義し、 Y=A′X+B′ (5) 前記式(4)と同様に、これをカメラ座標系に投影する
と次式(6)で表わされるように平面π2に写像され
る。(x′,y′,z′は2台目のカメラ1b座標系) これを1台目のカメラ座標系に変換するために式
(6)にx′=x−Δ,y′=y,z′=zを代入して変換
すると、次式(7)で表わされる三次元関数直線式が得
られる。
式(7)は明らかに平面π1と平面π2の交線Lに相当
しこれが求めようとする線条体L1の三次元関数直線式で
あり式(7)と式(4)から次式(8)で定まるカメラ
座標系での三次元座標が決定される。
しこれが求めようとする線条体L1の三次元関数直線式で
あり式(7)と式(4)から次式(8)で定まるカメラ
座標系での三次元座標が決定される。
以上の様に、2台のカメラを用いることで、線条体L1
の三次元関数式は一意に定まる。さらにかかる演算処理
をもう一方の線条体L2についても実行することで、2本
の線条体とカメラとの相対変位、すなわち、道路に対す
る車輌の変位が求まることになる。
の三次元関数式は一意に定まる。さらにかかる演算処理
をもう一方の線条体L2についても実行することで、2本
の線条体とカメラとの相対変位、すなわち、道路に対す
る車輌の変位が求まることになる。
本発明においては二次元的にスクリーン座標系で復元さ
れた線条体に関する画像情報から第1の演算処理手段5
−1により式(3)と式(5)の二次元関数直線式を算
出し、次でかかる式(3)及び(5)にもとづいて第2
の演算処理手段5−2において式(4)及び(6)に示
され三次元関数式及び式(7)で示される最終的な線条
体に関する三次元関数直線式を算出し、更に式(8)で
示されるテメビカメラの座標を算出するものである。
れた線条体に関する画像情報から第1の演算処理手段5
−1により式(3)と式(5)の二次元関数直線式を算
出し、次でかかる式(3)及び(5)にもとづいて第2
の演算処理手段5−2において式(4)及び(6)に示
され三次元関数式及び式(7)で示される最終的な線条
体に関する三次元関数直線式を算出し、更に式(8)で
示されるテメビカメラの座標を算出するものである。
次に本発明ではかくして得られた基準線条体の三次元
関数直線式から第3の演算手段によって車輌の挙動状態
を計測するものであり、以下に計測方法の基本原理の概
略を説明する。第10図は車輌の変位つまりテレビカメラ
の変位を定義するものであって、図中、左側の線条体L1
と右側の線条体L2の座標をそれぞれ (但しL1,L2は平行なので、傾きが等しい)と表わし、
カメラ座標系は{0,x,y,z}で表わされている。尚x′,
z′はそれぞれカメラ座標系におけるx軸、z軸を平行
移動させたものである。カメラ座標のz軸は線条体L1,L
2により作られる平面πbに対して所定の角度をもって
僅かに下向きに傾いており又カメラ座標系の中心0は平
面πbと垂直な平面πaに含まれている。又車輌の挙動
に関するパラメータとしては第10図では例えば横変位▲
▼、上下変位▲▼、ヨー角ψ、ロール角φ、ピ
ッチ角θを採用しておりそれぞれ同図中に測定すべき部
位が示されている。そこでまず、L1,L2を同時に含む平
面πb(路面に相当)を、次式で表わす。
関数直線式から第3の演算手段によって車輌の挙動状態
を計測するものであり、以下に計測方法の基本原理の概
略を説明する。第10図は車輌の変位つまりテレビカメラ
の変位を定義するものであって、図中、左側の線条体L1
と右側の線条体L2の座標をそれぞれ (但しL1,L2は平行なので、傾きが等しい)と表わし、
カメラ座標系は{0,x,y,z}で表わされている。尚x′,
z′はそれぞれカメラ座標系におけるx軸、z軸を平行
移動させたものである。カメラ座標のz軸は線条体L1,L
2により作られる平面πbに対して所定の角度をもって
僅かに下向きに傾いており又カメラ座標系の中心0は平
面πbと垂直な平面πaに含まれている。又車輌の挙動
に関するパラメータとしては第10図では例えば横変位▲
▼、上下変位▲▼、ヨー角ψ、ロール角φ、ピ
ッチ角θを採用しておりそれぞれ同図中に測定すべき部
位が示されている。そこでまず、L1,L2を同時に含む平
面πb(路面に相当)を、次式で表わす。
A*x+B*y+C*z+1=0 (10) “L1,L2を含む”という条件から、式(9)の関係を代
入すると、 となり式(12)はZにかかわらず成立する必要があるの
で、各項の係数は全て0でなければならない。すなわ
ち、 式(13)をA*,B*,C*について解くと、 となる。従って、πbの法線の方向余弦をλ、μ、νと
すると、それぞれ次式の様に表わせる。
入すると、 となり式(12)はZにかかわらず成立する必要があるの
で、各項の係数は全て0でなければならない。すなわ
ち、 式(13)をA*,B*,C*について解くと、 となる。従って、πbの法線の方向余弦をλ、μ、νと
すると、それぞれ次式の様に表わせる。
さらに、πbに垂直で、点(x*,y*,z*)を通る直
線は一般に次の様に表わすことができる。
線は一般に次の様に表わすことができる。
横方向変位及び上下変位の算出 第10の図において、点C,Sの座標を求められれば、車
輌の横及び上下変位は求まることになる。式(16)にお
いて、x*=y*=z*=0とおけば、直線0Cの式が求
まる。
輌の横及び上下変位は求まることになる。式(16)にお
いて、x*=y*=z*=0とおけば、直線0Cの式が求
まる。
即ち 従って式(17)と式(10)から、交点Cの座標は次のよ
うに求まる。
うに求まる。
又L1の式(9)を変型すると、 となりすなわち、L1と垂直で、原点0を通る平面πaは
次式で表わすことができる。
次式で表わすことができる。
πa:ax+cy+z=0 (20) 従って、L1とπaの交点Sの座標は、式(9)と式(2
0)より、 と表わされる。以上より、横変位と上下変位は次式を用
いて求めることができる。すなわち、 (ここでSx,Sy,Sz等はSのx,y,z座標値を表わす。) ヨー角ψの算出 式(16)において、(x*,y*,z*)=(0,0,1)と
おけば、z軸を通りπbに垂直な直線式となる。
0)より、 と表わされる。以上より、横変位と上下変位は次式を用
いて求めることができる。すなわち、 (ここでSx,Sy,Sz等はSのx,y,z座標値を表わす。) ヨー角ψの算出 式(16)において、(x*,y*,z*)=(0,0,1)と
おけば、z軸を通りπbに垂直な直線式となる。
式(23)と平面πbとの交点Tの座標は、 で表わされ従って直線TCは次式で表わされる。
これに式(18),(24)を代入して整理すると、 となる。(ここでρ=A*2+BU*2+C*2とす
る) 又、TCの方向余弦l1,m1,n1を求めると、次の様になる。
る) 又、TCの方向余弦l1,m1,n1を求めると、次の様になる。
ここでヨー角ψは、TCとL1とのなす角なので、ここでL1
の方向余弦α,β,γを求めておくと、式(19)より となる。従って、ヨー角ψは次式で求められる。
の方向余弦α,β,γを求めておくと、式(19)より となる。従って、ヨー角ψは次式で求められる。
ψ=cos-1(αl1+βm1+γn1) (29) (ここでψの符号は、aの符号と同じとなる) ピッチ角θの算出 ピッチ角θは、TCとZ軸のなす角である。Z軸の方向
余弦は、(0,0,1)であるので、θは次式で得られる。
余弦は、(0,0,1)であるので、θは次式で得られる。
θ=cos-1(n1) (30) (ただし、符号はCの符号とおなじである) ロール角φの算出 式(16)において(1,0,0)を通るとして、 から、上式とπbとの交点Qの座標は、 となる。従って、直線QCの式は、 と表わされる。ここで式(18)(32)を代入して整理す
ると、 となる。(ここでρ=A*2+B*2+C*2とする) 一方QCの方向余弦l2,m2,n2は、 であり又ロール角φは、QCとx軸とのなす角なので、 と表わされる(φの符号は、d>fのときφ>0、d<
fのときφ<0である) 上記した車輌の挙動に関する各パラメーターを演算処
理手段5−3により個別に算出することにより第11図に
示すようなデータが出力手段6から得られ、これをもと
にして車輌の位置、及びその他の挙動状況を判別し適宜
の手段を用いて所望の挙動状況となるように制御するこ
とが出来る。
ると、 となる。(ここでρ=A*2+B*2+C*2とする) 一方QCの方向余弦l2,m2,n2は、 であり又ロール角φは、QCとx軸とのなす角なので、 と表わされる(φの符号は、d>fのときφ>0、d<
fのときφ<0である) 上記した車輌の挙動に関する各パラメーターを演算処
理手段5−3により個別に算出することにより第11図に
示すようなデータが出力手段6から得られ、これをもと
にして車輌の位置、及びその他の挙動状況を判別し適宜
の手段を用いて所望の挙動状況となるように制御するこ
とが出来る。
本発明において、画像処理手段4及び各演算処理手段
5としてはマイクロプロセッサを使用することが出来
る。又本発明において、VTRを介さずに、リアルタイム
で処理することによって車輌の走行状態を把握し、車輌
の誘導や自動運転に発展させることができる。このと
き、エッジから直線を検出するのに、近年発達してきた
DSPを用いれば、高速に処理を行うことができる。
5としてはマイクロプロセッサを使用することが出来
る。又本発明において、VTRを介さずに、リアルタイム
で処理することによって車輌の走行状態を把握し、車輌
の誘導や自動運転に発展させることができる。このと
き、エッジから直線を検出するのに、近年発達してきた
DSPを用いれば、高速に処理を行うことができる。
更にテレビカメラには、自動絞り調節機構を設けれ
ば、天候の変化などによって明るさが変化しても直線を
検出することができる。
ば、天候の変化などによって明るさが変化しても直線を
検出することができる。
また、直線の検出にはHough変換法を用いれば、映像
から直線を雑音成分から分離して検出することができ、
また、レーンマークを見失うこともない。
から直線を雑音成分から分離して検出することができ、
また、レーンマークを見失うこともない。
本発明に使用される基準線条体は直線が基本である
が、緩いカーブであれば近方を直線として近似して使用
することも出来る。
が、緩いカーブであれば近方を直線として近似して使用
することも出来る。
又、本発明でテレビカメラ等の画像撮影手段は車輌の
外側に設けられても良く、車輌の室内に設けられても良
い。
外側に設けられても良く、車輌の室内に設けられても良
い。
本発明においては、2台のテレビカメラで通路上に設
けた2本以上の基準線条体を観測することによって車輌
の基準線条体に対する位置、姿勢を正確に検出すること
ができる。又本発明では基準線条体の検出に、一本の線
条体から例えば多数のエッジを検出して、統計的に直線
を算出しかつ2台のテレビカメラにより個々に算出され
た直線とを合せて三次元的基準線条体の座標を求めてい
るので、従来より行われていた画像を処理して画像の中
のある決められた点を単に見ることにより位置を知る方
式に比較して、精度がよい。さらに、ジャイロスコープ
より安価にかつ簡便に使用でき、車輌の横方向の変位の
みならず、上下方向、左右の首振り状態等が一度に測定
でき、従って車輌の姿勢制御等が効率的に行えるという
効果がある。
けた2本以上の基準線条体を観測することによって車輌
の基準線条体に対する位置、姿勢を正確に検出すること
ができる。又本発明では基準線条体の検出に、一本の線
条体から例えば多数のエッジを検出して、統計的に直線
を算出しかつ2台のテレビカメラにより個々に算出され
た直線とを合せて三次元的基準線条体の座標を求めてい
るので、従来より行われていた画像を処理して画像の中
のある決められた点を単に見ることにより位置を知る方
式に比較して、精度がよい。さらに、ジャイロスコープ
より安価にかつ簡便に使用でき、車輌の横方向の変位の
みならず、上下方向、左右の首振り状態等が一度に測定
でき、従って車輌の姿勢制御等が効率的に行えるという
効果がある。
第1図は本発明の実施状態の1例を示す図である。 第2図は本発明の使用される車輌の挙動計測装置の1具
体例を示すブロックダイアグラムである。 第3図は本発明における画像情報復元手段により復元さ
れた画像情報を画像表示手段に表示した例を示す図であ
る。 第4図は画像復元手段により復元された画像をエッジ検
出のため走査する例を示す図である。 第5図はエッジ検出における走査線上の輝度変化とスレ
シュホールドレベルとの関係を示す図である。 第6図はウインドを用いてエッジ抽出を行う方法の概要
を示す図である。 第7図はカメラ座標系とスクリーン座標系との関係を示
す図である。 第8図はカメラ座標系とスクリーン座標系との投影変換
の状態を説明する図である。 第9図は左右のテレビカメラにより撮影されスクリーン
座標系に投影された線条体に関する抽出画像から線条体
に関する三次元関数直線式を求める場合の原理を示す図
である。 第10図は車輌の挙動状態を計測するためのパラメータを
説明する図である。 第11図は車輌の挙動状態に関して演算手段により算出さ
れた各パラメータのデーターの例を示す図である。 1a……左側テレビカメラ、1b……右側テレビカメラ、2
……画像記録手段、2−1……同期信号発生回路、2−
a,2−b……画像メモリ(フレームメモリ)、2−2…
…画像記録部、VTR、3……画像復元手段、3−2……
画像表示手段、3−3……ビデオテープカセット、4…
…画像処理手段、5……演算処理手段(cpu)、5−1
……第1演算処理手段、5−2……第2演算処理手段、
5−3……第3演算処理手段、6……出力手段、10……
車輌、11……通路、L1……左側基準線条体、L2……右側
基準線条体、WD……ウインド、ED……エッジデータ、E
D′……雑音データ。
体例を示すブロックダイアグラムである。 第3図は本発明における画像情報復元手段により復元さ
れた画像情報を画像表示手段に表示した例を示す図であ
る。 第4図は画像復元手段により復元された画像をエッジ検
出のため走査する例を示す図である。 第5図はエッジ検出における走査線上の輝度変化とスレ
シュホールドレベルとの関係を示す図である。 第6図はウインドを用いてエッジ抽出を行う方法の概要
を示す図である。 第7図はカメラ座標系とスクリーン座標系との関係を示
す図である。 第8図はカメラ座標系とスクリーン座標系との投影変換
の状態を説明する図である。 第9図は左右のテレビカメラにより撮影されスクリーン
座標系に投影された線条体に関する抽出画像から線条体
に関する三次元関数直線式を求める場合の原理を示す図
である。 第10図は車輌の挙動状態を計測するためのパラメータを
説明する図である。 第11図は車輌の挙動状態に関して演算手段により算出さ
れた各パラメータのデーターの例を示す図である。 1a……左側テレビカメラ、1b……右側テレビカメラ、2
……画像記録手段、2−1……同期信号発生回路、2−
a,2−b……画像メモリ(フレームメモリ)、2−2…
…画像記録部、VTR、3……画像復元手段、3−2……
画像表示手段、3−3……ビデオテープカセット、4…
…画像処理手段、5……演算処理手段(cpu)、5−1
……第1演算処理手段、5−2……第2演算処理手段、
5−3……第3演算処理手段、6……出力手段、10……
車輌、11……通路、L1……左側基準線条体、L2……右側
基準線条体、WD……ウインド、ED……エッジデータ、E
D′……雑音データ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐々木 和也 愛知県豊田市トヨタ町1番地 トヨタ自 動車株式会社内 (72)発明者 岡田 亜起夫 愛知県豊田市トヨタ町1番地 トヨタ自 動車株式会社内 (72)発明者 真山 正樹 愛知県豊田市トヨタ町1番地 トヨタ自 動車株式会社内 (56)参考文献 特開 平2−302900(JP,A) 特開 平1−312411(JP,A) 特開 昭64−23109(JP,A) 特開 昭60−235016(JP,A) 特開 昭63−52300(JP,A) 特開 昭59−200315(JP,A) 特開 平2−287799(JP,A) 特開 平3−27405(JP,A) 特開 平2−143308(JP,A) 特開 昭63−88403(JP,A) 特公 昭58−42482(JP,B2) 実公 平1−16167(JP,Y2)
Claims (1)
- 【請求項1】(1)車輌上に該車輌の進行方向および反
進行方向のうち、すくなくともいずれか一方向に向けて
所定の間隔をおいて設けられている少なくとも2台の画
像撮影手段により該車輌の走行する通路に沿って設けら
れた少なくとも2本の基準線条体を撮影し画像情報とし
て画像記録手段に記録すること、 (2)該記録された画像情報から該基準線条体を含む画
像を直接的若しくは間接的に二次元的に復元させるこ
と、 (3)該復元された該基準線条体を含む画像から、画像
処理手段を用いて該基準線条体に関する画像部分を抽出
すること、 (4)該抽出された該基準線条体に関する画像部分につ
いて二次元平面での二次元関数直線式を算出すること、 (5)該二次元関数直線式から該基準線条体に関する三
次元関数直線式を算出すること、 (6)該三次元関数直線式から該車輌の挙動状態に関す
る情報を算出すること、 から構成されることを特徴とする車輌の挙動計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1272778A JP2713476B2 (ja) | 1989-10-21 | 1989-10-21 | 車輌の挙動計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1272778A JP2713476B2 (ja) | 1989-10-21 | 1989-10-21 | 車輌の挙動計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH03135718A JPH03135718A (ja) | 1991-06-10 |
JP2713476B2 true JP2713476B2 (ja) | 1998-02-16 |
Family
ID=17518617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1272778A Expired - Lifetime JP2713476B2 (ja) | 1989-10-21 | 1989-10-21 | 車輌の挙動計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2713476B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3961584B2 (ja) * | 1996-02-08 | 2007-08-22 | 株式会社デンソー | 区画線検出装置 |
-
1989
- 1989-10-21 JP JP1272778A patent/JP2713476B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH03135718A (ja) | 1991-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9880010B2 (en) | Method of and arrangement for mapping range sensor data on image sensor data | |
JP5047515B2 (ja) | 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置 | |
EP1331605B1 (en) | Omnidirectional visual system and method | |
JP4793324B2 (ja) | 車両監視装置および車両監視方法 | |
JP2004198212A (ja) | 移動体周辺監視装置 | |
US20020029127A1 (en) | Method and apparatus for measuring 3-D information | |
JP2006333009A (ja) | 俯瞰画像表示装置及び俯瞰画像表示方法 | |
JP3562250B2 (ja) | 先行車両検出装置 | |
WO2020105499A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP3099691B2 (ja) | 走行路における対象物位置計測方法 | |
JP4752319B2 (ja) | 画像認識装置及び画像認識方法 | |
JP2002099902A (ja) | 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
JP2008033781A (ja) | 路面勾配検出装置及び画像表示装置 | |
JP2713476B2 (ja) | 車輌の挙動計測方法 | |
JP3501841B2 (ja) | 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法 | |
JP5251460B2 (ja) | 接近物体検出装置、接近物体検出プログラム、接近物体検出方法 | |
JP3912638B2 (ja) | 3次元画像処理装置 | |
JP3099692B2 (ja) | 走行路における対象物の位置計測方法 | |
JPH0760083B2 (ja) | 無人搬送車の位置算出装置 | |
JPH10185520A (ja) | レーザー光線の受光点中心の検出方法 | |
JPH09325026A (ja) | 前方道路の勾配検出方法及び勾配角検出方法 | |
JP2000231637A (ja) | 画像監視装置 | |
JP2004030011A (ja) | 3次元形状データ取得システムおよび方法 | |
WO2020129715A1 (ja) | 画像補正装置、画像補正方法、及びプログラム | |
JP2970974B2 (ja) | 道路の白線検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081031 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081031 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091031 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term |