JP2016053748A - 運転支援装置および運転支援方法 - Google Patents
運転支援装置および運転支援方法 Download PDFInfo
- Publication number
- JP2016053748A JP2016053748A JP2014178346A JP2014178346A JP2016053748A JP 2016053748 A JP2016053748 A JP 2016053748A JP 2014178346 A JP2014178346 A JP 2014178346A JP 2014178346 A JP2014178346 A JP 2014178346A JP 2016053748 A JP2016053748 A JP 2016053748A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- captured image
- area
- overlapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】車両に設置したカメラの取付位置または取付角度がズレた場合でも、ズレたカメラを特定し、対象物を正しく検出することを可能とする。
【解決手段】車載の第1車載カメラおよび第2車載カメラの撮影領域が重複した第1重複領域から対象物を検出し、第2車載カメラおよび第3車載カメラの撮影領域が重複した第2重複領域から対象物を検出する。第1重複領域から対象物を検出したら、第1車載カメラが撮影した対象物と第2車載カメラが撮影した対象物とが整合するか否かを判断する。同様に、第2重複領域から対象物を検出したら、第2車載カメラが撮影した対象物と第3車載カメラが撮影した対象物とが整合するか否かを判断する。そして、その第1重複領域および第2重複領域それぞれの整合または不整合の判断結果に基づけば、ズレたカメラを特定することができる。
【選択図】図7
【解決手段】車載の第1車載カメラおよび第2車載カメラの撮影領域が重複した第1重複領域から対象物を検出し、第2車載カメラおよび第3車載カメラの撮影領域が重複した第2重複領域から対象物を検出する。第1重複領域から対象物を検出したら、第1車載カメラが撮影した対象物と第2車載カメラが撮影した対象物とが整合するか否かを判断する。同様に、第2重複領域から対象物を検出したら、第2車載カメラが撮影した対象物と第3車載カメラが撮影した対象物とが整合するか否かを判断する。そして、その第1重複領域および第2重複領域それぞれの整合または不整合の判断結果に基づけば、ズレたカメラを特定することができる。
【選択図】図7
Description
本発明は、複数の車載カメラを備える車両に適用されて、車載カメラの撮影画像に写った対象物を検出して運転支援を行うための技術に関する。
近年では、車両が車線を維持できるように支援したり、車線からの逸脱を警告したり、車間距離を維持したりといった様々な運転支援のための技術開発が進められている。そのような運転支援を行うために、車両に設置したカメラから周囲を撮影し、走行車線や前方を走行する車両等の所望の対象物を観測することが行われている。例えば、車両の前後左右それぞれに向かって設置した4つのカメラで撮影した画像を解析して、車線を認識する技術が提案されている(特許文献1)。
カメラで撮影した画像から対象物の位置を検出するためには、カメラの特性(焦点距離やレンズの歪みなど)に加えて、車体に対するカメラの取付位置および取付角度に関する正確なデータが必要となる。そこで、車両の製造時(あるいは工場出荷時)には、車体に対する各カメラの取付位置および取付角度を調整することによって、実際の取付位置および取付角度が許容範囲内に収まるように調整されている。
しかし、車両の出荷後に、何らかの理由(例えば走行による振動)で、いずれかのカメラの取付位置または取付角度がズレた場合、そのズレたカメラを特定できないため、対策することが困難という問題があった。
この発明は、従来の技術が有する上記の課題に対応してなされたものであり、車両に設置したカメラの取付位置または取付角度がズレた場合でも、ズレたカメラを特定して、容易に対策することを可能とする技術の提供を目的とする。
上述した課題を解決するために本発明の運転支援装置および運転支援方法は、第1車載カメラの撮影領域と第2車載カメラの撮影領域とを第1重複領域で重複させておき、第2車載カメラの撮影領域と第3車載カメラの撮影領域とを第2重複領域で重複させておく。そして、第1重複領域で対象物を検出したら、第1車載カメラで対象物が検出された位置と、第2車載カメラで対象物が検出された位置とが整合するか否かを判断する。同様に、第2重複領域で対象物を検出したら、第2車載カメラで対象物が検出された位置と、第3車載カメラで対象物が検出された位置とが整合するか否かを判断する。その結果、何れかの重複領域で対象物の位置の不整合が検出された場合には、何れかの車載カメラの取付角度または取付位置が生じたものと判断し、更に、第1重複領域および第2重複領域での判断結果に基づいて、ズレが生じた車載カメラを特定する。
詳細な理由については後述するが、こうすれば、何れかの車載カメラで取付角度または取付角度のズレが生じた場合には、そのことを直ちに検知し、更には、ズレが生じた車載カメラを直ちに特定することができる。その結果、適切な取付位置および取付角度で取り付けられた車載カメラの撮影画像を取得することができる。そして、何らかの理由で取付位置または取付角度にズレが生じた場合でも、ズレが生じた車載カメラを特定することができるので、容易に対策することが可能となる。
以下では、上述した本願発明の内容を明確にするために運転支援装置の実施例について説明する。
A.第1実施例 :
A−1.第1実施例の装置構成 :
図1には、運転支援装置10を搭載した車両1の大まかな構造が示されている。図示されるように車両1は、運転支援装置10に加えて、車両1の前方の周辺領域を撮影する前方カメラ21と、左方の周辺領域を撮影する左方カメラ22と、右方の周辺領域を撮影する右方カメラ23と、車両1を制御する制御部30とを備えている。
A.第1実施例 :
A−1.第1実施例の装置構成 :
図1には、運転支援装置10を搭載した車両1の大まかな構造が示されている。図示されるように車両1は、運転支援装置10に加えて、車両1の前方の周辺領域を撮影する前方カメラ21と、左方の周辺領域を撮影する左方カメラ22と、右方の周辺領域を撮影する右方カメラ23と、車両1を制御する制御部30とを備えている。
尚、前方カメラ21が本発明の「第2車載カメラ」に対応し、左方カメラ22が本発明の「第1車載カメラ」に対応し、右方カメラ23が本発明の「第3車載カメラ」に対応する。
また、前方カメラ21の撮影領域が本発明の「第2領域」に対応し、左方カメラ22の撮影領域が本発明の「第1領域」に対応し、右方カメラ23の撮影領域が本発明の「第3領域」に対応する。
さらに、前方カメラ21が撮影した画像が本発明の「第2撮影画像」に対応し、左方カメラ22が撮影した画像が本発明の「第1撮影画像」に対応し、右方カメラ23が撮影した画像が本発明の「第3撮影画像」に対応する。
また、前方カメラ21の撮影領域が本発明の「第2領域」に対応し、左方カメラ22の撮影領域が本発明の「第1領域」に対応し、右方カメラ23の撮影領域が本発明の「第3領域」に対応する。
さらに、前方カメラ21が撮影した画像が本発明の「第2撮影画像」に対応し、左方カメラ22が撮影した画像が本発明の「第1撮影画像」に対応し、右方カメラ23が撮影した画像が本発明の「第3撮影画像」に対応する。
前方カメラ21、左方カメラ22および右方カメラ23は広角レンズを備えており、図1中に一点鎖線で示した広い画角を有している。このため、左方カメラ22および前方カメラ21の撮影領域が互いに重複する領域(左前方重複撮影領域26)と、右方カメラ23および前方カメラ21の撮影領域が互いに重複する領域(右前方重複撮影領域27)とが生じている。
尚、左前方重複撮影領域26が本発明の「第1重複領域」に対応し、右前方重複撮影領域27が本発明の「第2重複領域」に対応する。
尚、左前方重複撮影領域26が本発明の「第1重複領域」に対応し、右前方重複撮影領域27が本発明の「第2重複領域」に対応する。
前方カメラ21、左方カメラ22および右方カメラ23が撮影した画像は、運転支援装置10に入力され、運転支援装置10はそれらの撮影画像から運転支援情報を取得する。
ここで運転支援情報とは、車線逸脱警報、車線維持支援や衝突被害軽減などの各種の車両1の運転支援を実行するために、各カメラが撮影した画像から検出した対象物から取得できる情報である。対象物は、運転支援情報を取得するために必要とされる観測対象であり、通常、道路標示や道路標識、障害物、歩行者や他車両等が観測の対象とされる。従って、運転支援情報としては、例えば、道路に描かれた白線の位置情報、道路標識の指示内容、歩行者や他の車両の位置や移動方向・速度などが挙げられる。本実施例の運転支援装置10は、このような運転支援情報を取得するために検出される対象物の位置情報を利用して、カメラのズレを検知し、そのズレたカメラを特定する装置である。
ここで運転支援情報とは、車線逸脱警報、車線維持支援や衝突被害軽減などの各種の車両1の運転支援を実行するために、各カメラが撮影した画像から検出した対象物から取得できる情報である。対象物は、運転支援情報を取得するために必要とされる観測対象であり、通常、道路標示や道路標識、障害物、歩行者や他車両等が観測の対象とされる。従って、運転支援情報としては、例えば、道路に描かれた白線の位置情報、道路標識の指示内容、歩行者や他の車両の位置や移動方向・速度などが挙げられる。本実施例の運転支援装置10は、このような運転支援情報を取得するために検出される対象物の位置情報を利用して、カメラのズレを検知し、そのズレたカメラを特定する装置である。
運転支援装置10が取得した運転支援情報は制御部30に出力される。制御部30は、その運転支援情報に基づいて車両1に備わるハードウェアを制御する。このハードウェアとして例えば、各種運転支援を実行するために車両1の加減速や操舵角を制御する装置や、車両1の周囲の映像を映すディスプレイの表示を制御する装置などが挙げられる。
運転支援情報を正確に取得するために、前方カメラ21、左方カメラ22および右方カメラ23は、予め設定された取付位置および取付角度となるように設置される。この設定された取付位置および取付角度を各カメラが保っていれば、撮影画像の座標と実空間の座標との対応関係から、撮影画像に写った対象物の実空間における位置を取得することが可能となる。また、車両1の周囲の映像を取得するために、互いに隣接する撮影領域を有する複数のカメラを用いて撮影した画像を合成する場合には、合成の繋ぎ目を滑らかに合わせることが可能となる。
運転支援情報を正確に取得するために、前方カメラ21、左方カメラ22および右方カメラ23は、予め設定された取付位置および取付角度となるように設置される。この設定された取付位置および取付角度を各カメラが保っていれば、撮影画像の座標と実空間の座標との対応関係から、撮影画像に写った対象物の実空間における位置を取得することが可能となる。また、車両1の周囲の映像を取得するために、互いに隣接する撮影領域を有する複数のカメラを用いて撮影した画像を合成する場合には、合成の繋ぎ目を滑らかに合わせることが可能となる。
ところが、車両に設置したカメラは、走行中の振動や衝突等の何らかの拍子に、設定された取付位置および取付角度からズレてしまうことがある。そうすると、撮影した画像座標と実空間座標との対応関係が崩れてしまい、運転支援情報を正しく取得できなくなってしまう。
本実施例の運転支援装置10は、そのように前方カメラ21、左方カメラ22または右方カメラ23の何れかが設定された取付位置および取付角度からズレてしまったときでも、そのことによる影響を少なくして運転支援情報を取得することができる。
本実施例の運転支援装置10は、そのように前方カメラ21、左方カメラ22または右方カメラ23の何れかが設定された取付位置および取付角度からズレてしまったときでも、そのことによる影響を少なくして運転支援情報を取得することができる。
図2には、本実施例の運転支援装置10の大まかな内部構成が示されている。図示されるように、運転支援装置10は、前方撮影画像取得部11と、左方撮影画像取得部12と、右方撮影画像取得部13と、対象物検出部14と、運転支援情報出力部15と、整合性判断部16と、記憶部17と、異常カメラ特定部18とを備えている。
尚、これら8の「部」は、運転支援装置10の内部を機能の観点から分類した概念であり、運転支援装置10が物理的に8の部分に区分されることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIやメモリーを含む電子回路として実現することもできるし、これらを組み合わせることによって実現することもできる。
尚、これら8の「部」は、運転支援装置10の内部を機能の観点から分類した概念であり、運転支援装置10が物理的に8の部分に区分されることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIやメモリーを含む電子回路として実現することもできるし、これらを組み合わせることによって実現することもできる。
尚、前方撮影画像取得部11が本発明の「第2撮影画像取得部」に対応し、左方撮影画像取得部12が本発明の「第1撮影画像取得部」に対応し、右方撮影画像取得部13が本発明の「第3撮影画像取得部」に対応する。
また、整合性判断部16が本発明の「第1判断部」および「第2判断部」に対応する。
更に、異常カメラ特定部18が本発明の「車載カメラ特定部」に対応する。
また、整合性判断部16が本発明の「第1判断部」および「第2判断部」に対応する。
更に、異常カメラ特定部18が本発明の「車載カメラ特定部」に対応する。
前方撮影画像取得部11は前方カメラ21から撮影画像を取得する。同様に、左方撮影画像取得部12は左方カメラ22から撮影画像を取得し、右方撮影画像取得部13は右方カメラ23から撮影画像を取得する。
対象物検出部14は、前方撮影画像取得部11、左方撮影画像取得部12および右方撮影画像取得部13が取得した撮影画像のそれぞれから対象物を検出する。この対象物は、上述の通り運転支援情報を取得するために検出されるものであるが、後述の通り、カメラのズレを検知することにも利用される。
運転支援情報出力部15は、対象物検出部14が検出した対象物の位置や内容に関する情報を受け取って、これを運転支援情報として制御部30に出力する。
対象物検出部14は、前方撮影画像取得部11、左方撮影画像取得部12および右方撮影画像取得部13が取得した撮影画像のそれぞれから対象物を検出する。この対象物は、上述の通り運転支援情報を取得するために検出されるものであるが、後述の通り、カメラのズレを検知することにも利用される。
運転支援情報出力部15は、対象物検出部14が検出した対象物の位置や内容に関する情報を受け取って、これを運転支援情報として制御部30に出力する。
整合性判断部16は、左前方重複撮影領域26または右前方重複撮影領域27で対象物を検出した場合に、各撮影画像で検出した対象物の位置の整合性を判断する。
仮に、前方カメラ21で左前方重複撮影領域26に対象物が写っていたとすると、その対象物は左方カメラ22の左前方重複撮影領域26にも写っている筈である。また、前方カメラ21による撮影画像中でその対象物が写った座標から、その対象物の車両1に対する位置を求めることができる。同様に、左方カメラ22による撮影画像からも、車両1に対した対象物が存在する位置を求めることができる。
仮に、前方カメラ21で左前方重複撮影領域26に対象物が写っていたとすると、その対象物は左方カメラ22の左前方重複撮影領域26にも写っている筈である。また、前方カメラ21による撮影画像中でその対象物が写った座標から、その対象物の車両1に対する位置を求めることができる。同様に、左方カメラ22による撮影画像からも、車両1に対した対象物が存在する位置を求めることができる。
そして、前方カメラ21の撮影画像から求めた位置と、左方カメラ22の撮影画像から求めた位置とは、通常であれば一致する筈である。しかし、前方カメラ21および左方カメラ22が車両1に対して正しい角度および位置に取り付けられていない場合には、両者は一致しなくなる。
そこで、整合性判断部16は、左前方重複撮影領域26で対象物が検出された場合には、前方カメラ21の撮影画像から求めた対象物の位置と、左方カメラ22の撮影画像から求めた対象物の位置とが一致するか否かを確認する。そして、一致しない場合には、それらの対象物が不整合であると判断する。
尚、重複撮影領域に写った2つの対象物の位置が整合していると判断するためには、両者の位置が完全に一致していることを要するものではなく、当然に誤差を考慮すべきである。
そこで、整合性判断部16は、左前方重複撮影領域26で対象物が検出された場合には、前方カメラ21の撮影画像から求めた対象物の位置と、左方カメラ22の撮影画像から求めた対象物の位置とが一致するか否かを確認する。そして、一致しない場合には、それらの対象物が不整合であると判断する。
尚、重複撮影領域に写った2つの対象物の位置が整合していると判断するためには、両者の位置が完全に一致していることを要するものではなく、当然に誤差を考慮すべきである。
記憶部17は、整合性判断部16が判断した対象物の整合性を、左前方重複撮影領域26と右前方重複撮影領域27とでそれぞれ記憶する。また、記憶部17は、異常カメラ特定部18から読み出しできる状態でその判断結果の記憶を保持する。
図3には、重複撮影領域で検出した対象物の位置の整合性についての判断について例示されている。尚、図3では、各カメラが撮影した画像を、車両1を真上から見下ろした視点の鳥瞰画像に変換して図示しているが、必ずしもこのように撮影画像の視点を変換する必要はない。各カメラが設定された取付位置および取付角度を保っていれば、各撮影画像に写った対象物の位置の整合性を見ることは可能である。
図3(a)の場合では、左前方重複撮影領域26において、前方撮影画像に写った対象物(実線で示した円形)の位置と、左方撮影画像に写った対象物(破線で示した円形)の位置とが相当程度に離れているため、両者が不整合であると判断している。従って、左前方重複撮影領域26で対象物が不整合であると記憶する。
図3(a)の右前方重複撮影領域27では、対象物検出部14が対象物を検出していないため、記憶部17も整合性についての判断結果を記憶していない。尚、これに限られず、記憶部17は対象物を検出していないということを記憶してもよい。
図3(a)の場合では、左前方重複撮影領域26において、前方撮影画像に写った対象物(実線で示した円形)の位置と、左方撮影画像に写った対象物(破線で示した円形)の位置とが相当程度に離れているため、両者が不整合であると判断している。従って、左前方重複撮影領域26で対象物が不整合であると記憶する。
図3(a)の右前方重複撮影領域27では、対象物検出部14が対象物を検出していないため、記憶部17も整合性についての判断結果を記憶していない。尚、これに限られず、記憶部17は対象物を検出していないということを記憶してもよい。
図3(b)の場合では、左前方重複撮影領域26では対象物を検出せず、右前方重複撮影領域27で対象物を検出している。そして、右前方重複撮影領域27で検出した対象物は、前方撮影画像に写った対象物(実線で示した三角形)と、左方撮影画像に写った対象物(破線で示した三角形)とが同じ位置にあると言えるほど互いに近い位置で検出されているため、両者が整合していると整合性判断部16が判断し、その旨を記憶部17が記憶する。
もちろん、図3(a),(b)は例示にすぎず、ある場面では、左前方重複撮影領域26および右前方重複撮影領域27の何れからも対象物を検出せず、また別の場面では左前方重複撮影領域26および右前方重複撮影領域27の何れからも対象物を検出することもある。
もちろん、図3(a),(b)は例示にすぎず、ある場面では、左前方重複撮影領域26および右前方重複撮影領域27の何れからも対象物を検出せず、また別の場面では左前方重複撮影領域26および右前方重複撮影領域27の何れからも対象物を検出することもある。
異常カメラ特定部18は、記憶部17に記憶されている整合性判断部16の判断結果を読み出して、前方カメラ21、左方カメラ22、右方カメラ23の何れかで位置または角度のズレが生じていないか、更にはズレが生じたカメラが何れであるかを特定する。上述したように、記憶部17には、左前方重複撮影領域26で対象物が検出される度に、前方カメラ21による検出位置と、左方カメラ22による検出位置とが整合するか否かの判断結果が記憶されている。同様に、右前方重複撮影領域27についても、対象物が検出される度に、前方カメラ21による検出位置と、右方カメラ23による検出位置とが整合するか否かの判断結果が記憶されている。そして、後ほど詳しく説明するように、これらの情報が分かれば、前方カメラ21、左方カメラ22、右方カメラ23の何れかで位置または角度のズレが生じていないか、および、ズレが生じたカメラを特定することができる。
こうして、ズレが生じたカメラの有無、およびズレが生じたカメラを特定することができれば、ズレに対する対策が容易となる。本実施例の運転支援装置10では、ズレたカメラが撮影した画像については運転支援情報の取得対象から除外することにより、カメラがズレてしまったことの影響を少なくしている。もちろん、ズレが生じた場合に、何れのカメラでズレが生じているかを表示して、そのカメラの取付位置および取付角度を調整するように促すこととしてもよい。以下では、こうしたことを実現するために運転支援装置10の内部で行われる処理について詳しく説明する。
A−2.運転支援装置10による運転支援情報取得処理 :
図4には、本実施例の運転支援装置10が実行する運転支援情報取得処理のフローチャートが示されている。前方カメラ21、左方カメラ22および右方カメラ23は、所定の撮影周期(例えば30Hz)で画像を撮影しており、この運転支援情報取得処理はその撮影周期に対応して繰り返し実行される。
運転支援装置10は、先ず、前方撮影画像、左方撮影画像、右方撮影画像を取得する(S101)。前方撮影画像は前方撮影画像取得部11が前方カメラ21から取得し、左方撮影画像は左方撮影画像取得部12が左方カメラ22から取得し、右方撮影画像は右方撮影画像取得部13が右方カメラ23から取得する。次に取得した前方撮影画像、左方撮影画像、右方撮影画像それぞれから対象物を検出する(S102)。元々、この対象物は、運転支援装置10が運転支援情報を出力するために検出されているが、以下に説明するカメラ角度確認処理では、その検出された対象物の位置情報を利用して実行される。
図4には、本実施例の運転支援装置10が実行する運転支援情報取得処理のフローチャートが示されている。前方カメラ21、左方カメラ22および右方カメラ23は、所定の撮影周期(例えば30Hz)で画像を撮影しており、この運転支援情報取得処理はその撮影周期に対応して繰り返し実行される。
運転支援装置10は、先ず、前方撮影画像、左方撮影画像、右方撮影画像を取得する(S101)。前方撮影画像は前方撮影画像取得部11が前方カメラ21から取得し、左方撮影画像は左方撮影画像取得部12が左方カメラ22から取得し、右方撮影画像は右方撮影画像取得部13が右方カメラ23から取得する。次に取得した前方撮影画像、左方撮影画像、右方撮影画像それぞれから対象物を検出する(S102)。元々、この対象物は、運転支援装置10が運転支援情報を出力するために検出されているが、以下に説明するカメラ角度確認処理では、その検出された対象物の位置情報を利用して実行される。
各撮影画像から対象物を検出する処理をしたら(S102)、各カメラの角度が設置当初からズレていないかどうかを確認するカメラ角度確認処理を開始する(S200)。尚、この処理をすると設置されたカメラの角度ズレに加えて、結果的にカメラの位置ズレについても確認されることとなる。このため、正確には「角度および位置ズレ」と表記するのが正しいが、以降、特に断りのない限りは、単に「角度ズレ」と表記する。
図5および図6には、カメラ角度確認処理のフローチャートが示されている。図5に示されるように、カメラ角度確認処理では先ず前方撮影画像中の左前方重複撮影領域26に対象物があるか否かを確認する(S201)。尚、左前方重複撮影領域26は図1を参照して説明した通り、前方カメラ21の撮影領域と左方カメラ22の撮影領域とが重複した領域であるが、その重複した領域に対象物があるということは前方撮影画像にも左方撮影画像にも写っているということになる。よって、この処理は左方撮影画像中の左前方重複撮影領域26に対象物があるか否かを確認することとしてもよい。
左前方重複撮影領域26に対象物がある場合は(S201:yes)、前方撮影画像に写った対象物と左方撮影画像に写った対象物との位置が整合するかどうかを判断し(S202)、その判断結果を記憶する(S203)。今説明しているカメラ角度確認処理は図4の運転支援情報取得処理の中で繰り返し実行されるが、この判断結果の記憶(S203)は、一回のカメラ角度確認処理ごとに消去することなく、次回以降のカメラ角度確認処理で読込み可能に保持される。以下の判断結果も同様である。
一方、左前方重複撮影領域26に対象物がない場合には(S201:no)、対象物の位置が整合するか否かを判断し、その判断結果を記憶する処理(S202、S203)は省略する。
一方、左前方重複撮影領域26に対象物がない場合には(S201:no)、対象物の位置が整合するか否かを判断し、その判断結果を記憶する処理(S202、S203)は省略する。
左前方重複撮影領域26での判断結果を記憶した後(S203)、または、左前方重複撮影領域26に対象物がない場合(S201:no)には、右前方重複撮影領域27でも、左前方重複撮影領域26でした処理と同様の処理を実行する(S204〜S206)。
尚、本実施例では、左前方重複撮影領域26についての処理(S201〜S203)の後に、右前方重複撮影領域27についての処理(S204〜S206)を実行するものとしているが、どちらを先に実行してもよい。
尚、本実施例では、左前方重複撮影領域26についての処理(S201〜S203)の後に、右前方重複撮影領域27についての処理(S204〜S206)を実行するものとしているが、どちらを先に実行してもよい。
右前方重複撮影領域27での判断結果を記憶した後(S206)、または、左前方重複撮影領域26に対象物がない場合(S204:no)には、左前方重複撮影領域26または右前方重複撮影領域27の少なくとも一方で対象物の位置の不整合が記憶されているか否かを確認する(S207)。対象物の位置の不整合が記憶されていなければ(S207:no)、図4の運転支援情報取得処理に復帰する。
運転支援情報取得処理に復帰すると、ズレたカメラを特定したか否かを判断する(S103)。S207で「no」と判断された場合は、左前方重複撮影領域26および右前方重複撮影領域27の何れでも対象物の位置の不整合が生じていないので、車両1の出荷時の状態と同じである。従って、この場合は、前方カメラ21、左方カメラ22および右方カメラ23の何れにもズレはないため、ズレたカメラを特定していない(S103:no)と判断することができる。
そこで、上記のS102で検出した対象物に関する情報を運転支援情報として出力し(S104)、運転支援情報取得処理を終了する。この一連の運転支援情報取得処理をカメラの撮影周期ごとに繰り返し実行することで、車両1の制御部30に運転支援情報を出力し続けることができる。
そこで、上記のS102で検出した対象物に関する情報を運転支援情報として出力し(S104)、運転支援情報取得処理を終了する。この一連の運転支援情報取得処理をカメラの撮影周期ごとに繰り返し実行することで、車両1の制御部30に運転支援情報を出力し続けることができる。
一方、図5に示されたカメラ角度確認処理で、左前方重複撮影領域26または右前方重複撮影領域27の少なくとも一方で対象物の位置の不整合が記憶されていた場合には(S207:yes)、その不整合を記憶した以後に他方の重複撮影領域での判断結果を記憶したかどうかを確認する(S208)。このような判断をするのは、次のような理由による。
左前方重複撮影領域26または右前方重複撮影領域27の少なくとも一方で対象物の不整合があれば(S207:yes)、前方カメラ21、左方カメラ22および右方カメラ23の何れかにズレが生じたと考えられる。このカメラ角度確認処理では、そのズレが生じたカメラを特定することができるが、そのためには後述するように、カメラがズレた状態における左前方重複撮影領域26および右前方重複撮影領域27のそれぞれで対象物が整合しているか否かを知る必要がある。しかし、左前方重複撮影領域26または右前方重複撮影領域27の何れかで対象物の不整合を検出しても、他方の重複撮影領域では未だカメラのズレが生じた後の対象物の整合性が判断されていない場合があり得る。そこで、何れかの重複撮影領域で対象物の不整合を記憶した以後、他方の重複撮影領域での判断結果を記憶したかどうかを確認するのである(S208)。
他方の重複撮影領域での判断結果が未だ記憶されていなければ(S208:no)、ズレが生じたカメラを特定することができないので、図4の運転支援情報取得処理に復帰する。そして、復帰した運転支援情報取得処理は繰り返し実行されるため、所定の撮影周期で前方撮影画像、左方撮影画像、右方撮影画像が取得されて(S101)、再び図5のカメラ角度確認処理(S200)が開始される。このため、やがては、S208で「yes」と判断される。
S208で「yes」と判断したら、続いて、対象物の位置の不整合を検出したのは左前方重複撮影領域26または右前方重複撮影領域27の何れか一方であるか否かを確認する(図6のS209)。何れか一方ではなく、両方の重複撮影領域で対象物が不整合の場合は(S209:no)、前方カメラ21にズレが発生したものと判断することができる(S210)。この理由については後に詳しく説明する。
S208で「yes」と判断したら、続いて、対象物の位置の不整合を検出したのは左前方重複撮影領域26または右前方重複撮影領域27の何れか一方であるか否かを確認する(図6のS209)。何れか一方ではなく、両方の重複撮影領域で対象物が不整合の場合は(S209:no)、前方カメラ21にズレが発生したものと判断することができる(S210)。この理由については後に詳しく説明する。
一方、対象物の不整合を検出したのが左前方重複撮影領域26または右前方重複撮影領域27の何れかの場合は(S209:yes)、その対象物の不整合を検出したのは左前方または右前方の何れの重複撮影領域であるかを確認する(S211)。対象物の不整合を検出した領域が左前方重複撮影領域26であった場合は(S211:左前方)、左方カメラ22にズレが発生したものと判断する(S212)。これに対し、対象物の不整合を検出した領域が右前方重複撮影領域27であった場合は(S211:右前方)、右方カメラ23にズレが発生したものと判断する(S213)。
図7には、対象物の位置の整合性についての判断結果と、カメラのズレの有無についての判断との対応関係が示されている。同図の一段目では、左前方重複撮影領域26および右前方重複撮影領域27で対象物が整合するため(図5のS207:no)、前方カメラ21、左方カメラ22および右方カメラ23のいずれにもズレはないと判断できる(図4のS103:no)。
図7の二段目では、左前方重複撮影領域26で対象物が不整合であり、右前方重複撮影領域27で対象物が整合するため(図6のS211:左前方)、左方カメラ22がズレたと判断できる(S212)。このように判断することができる理由について詳しく説明する。まず、左前方重複撮影領域26で対象物が不整合ということは、左前方重複撮影領域26を撮影領域に持つ前方カメラ21または左方カメラ22の何れかにズレが生じたことを示している。もちろん、前方カメラ21および左方カメラ22が同時にズレることも起こり得るが、その可能性は非常に小さいので、前方カメラ21または左方カメラ22の何れか一方がズレたものと考えてよい。
一方、右前方重複撮影領域27で対象物が整合しているということは、前方カメラ21および右方カメラ23ではズレが生じていないと考えてよい。
このことから、左前方重複撮影領域26で対象物が不整合であるが、右前方重複撮影領域27では対象物が整合している場合は、左方カメラ22がズレていると判断することができる。
一方、右前方重複撮影領域27で対象物が整合しているということは、前方カメラ21および右方カメラ23ではズレが生じていないと考えてよい。
このことから、左前方重複撮影領域26で対象物が不整合であるが、右前方重複撮影領域27では対象物が整合している場合は、左方カメラ22がズレていると判断することができる。
図7の三段目では、左前方重複撮影領域26で対象物が整合し、右前方重複撮影領域27で対象物が不整合であるため(図6のS211:右前方)、右方カメラ23がズレたと判断できる(S213)。これは上記の左方カメラ22がズレた場合と同様の考え方による。
図7の四段目では、左前方重複撮影領域26および右前方重複撮影領域27の両方で対象物が不整合であるため(図6のS209:no)、前方カメラ21がズレたと判断できる(S210)。このように判断することができる理由について詳しく説明する。まず、左前方重複撮影領域26で対象物が不整合ということは、左前方重複撮影領域26を撮影領域に持つ前方カメラ21または左方カメラ22の何れかにズレが生じたことを示している。同様に右前方重複撮影領域27で対象物が不整合ということは、右前方重複撮影領域27を撮影領域に持つ前方カメラ21または右方カメラ23の何れかにズレが生じたことを示している。
このことから、左前方重複撮影領域26および右前方重複撮影領域27の何れでも対象物が不整合の場合は、前方カメラ21がズレていると判断することができる。
このことから、左前方重複撮影領域26および右前方重複撮影領域27の何れでも対象物が不整合の場合は、前方カメラ21がズレていると判断することができる。
このようにすれば、ズレたカメラを特定することができるし、元々は運転支援情報の取得のために検出される対象物の位置情報を利用するため、CPUの処理負担の増大を抑えることができる。
こうして、取付角度にズレが生じたカメラを特定したら(図6のS210、S212、S213)、図4の運転支援情報取得処理に復帰する。ここでは、ズレたカメラを特定しているので(S103:yes)、運転支援情報出力部15は、ズレたカメラが撮影した画像から取得される運転支援情報を出力対象から除外する(S105)。
そして、運転支援情報出力部15は、S102で正常に取り付けられたままのカメラが撮影した画像から検出した対象物に関する情報を運転支援情報として出力する(S104)。この運転支援情報には、ズレたカメラからの情報を含んでいないので、カメラがズレたことによって精度が落ちるといった事態を回避することができる。
こうして、取付角度にズレが生じたカメラを特定したら(図6のS210、S212、S213)、図4の運転支援情報取得処理に復帰する。ここでは、ズレたカメラを特定しているので(S103:yes)、運転支援情報出力部15は、ズレたカメラが撮影した画像から取得される運転支援情報を出力対象から除外する(S105)。
そして、運転支援情報出力部15は、S102で正常に取り付けられたままのカメラが撮影した画像から検出した対象物に関する情報を運転支援情報として出力する(S104)。この運転支援情報には、ズレたカメラからの情報を含んでいないので、カメラがズレたことによって精度が落ちるといった事態を回避することができる。
上述の説明では、ズレたカメラを特定したら(図6のS210、S212、S213)、そのカメラからの撮影画像を運転支援情報の取得対象から除外するとした。これに限られず、カメラがズレたことや、どのカメラがズレたのかといった情報を報知ランプ等によって運転者に知らせて、カメラの取付角度の修正を促すようにしてもよい。
B.第1実施例の変形例 :
本変形例の運転支援装置50は、車両1が走行していると、車両1の前方で検出した対象物は、間もなく車両1の後方でも検出されることに着目したものであり、以下の構成を備える。
上述した第1実施例の運転支援装置10は、前方カメラ21、左方カメラ22および右方カメラ23が設置された車両1に適用されていたが(図1,図2参照)、本変形例の運転支援装置50は、これら3つのカメラに加えて、これらと同様な広角レンズを有する後方カメラ24を備えた車両1に搭載される。
本変形例の運転支援装置50は、車両1が走行していると、車両1の前方で検出した対象物は、間もなく車両1の後方でも検出されることに着目したものであり、以下の構成を備える。
上述した第1実施例の運転支援装置10は、前方カメラ21、左方カメラ22および右方カメラ23が設置された車両1に適用されていたが(図1,図2参照)、本変形例の運転支援装置50は、これら3つのカメラに加えて、これらと同様な広角レンズを有する後方カメラ24を備えた車両1に搭載される。
図8には、運転支援装置50を搭載した車両1の大まかな構造が示されている。図示されるように、後方カメラ24が加わったことから、左後方重複撮影領域28と右後方重複撮影領域29とが新たに生じている。また、図示は省略するが、運転支援装置50は後方撮影画像取得部を備えている。
尚、後方カメラ24が本発明の「第4車載カメラ」に対応する。また、後方カメラ24の撮影領域が本発明の「第4領域」に対応し、後方撮影画像取得部が本発明の「第4撮影画像取得部」に対応する。さらに、左後方重複撮影領域28が本発明の「第3重複領域」に対応し、右後方重複撮影領域29が本発明の「第4重複領域」に対応する。
尚、後方カメラ24が本発明の「第4車載カメラ」に対応する。また、後方カメラ24の撮影領域が本発明の「第4領域」に対応し、後方撮影画像取得部が本発明の「第4撮影画像取得部」に対応する。さらに、左後方重複撮影領域28が本発明の「第3重複領域」に対応し、右後方重複撮影領域29が本発明の「第4重複領域」に対応する。
図9には、左前方重複撮影領域26で対象物の位置の不整合を検出した後、左後方重複撮影領域28でも対象物の位置の不整合を検出した場合が示されている。図9(a)に示される時点では、左前方重複撮影領域26で検出した対象物が不整合と判断し、右前方重複撮影領域27では対象物が検出されていない。
このような場合、第1実施例では、対象物の不整合を記憶したものの(図5のS207:yes)、その後の他方の重複撮影領域での判断結果がないため(S208:no)、図4の運転支援情報取得処理に返していた。そして、右前方重複撮影領域27で新たに対象物が検出されるまで(図5のS208:yes)、運転支援情報取得処理を繰り返すこととしていた。このようにしても上述した通り、ズレたカメラを特定するのに長時間を要することはないが、本変形例では、以下に説明するように、さらにその時間を短縮することができる。
このような場合、第1実施例では、対象物の不整合を記憶したものの(図5のS207:yes)、その後の他方の重複撮影領域での判断結果がないため(S208:no)、図4の運転支援情報取得処理に返していた。そして、右前方重複撮影領域27で新たに対象物が検出されるまで(図5のS208:yes)、運転支援情報取得処理を繰り返すこととしていた。このようにしても上述した通り、ズレたカメラを特定するのに長時間を要することはないが、本変形例では、以下に説明するように、さらにその時間を短縮することができる。
走行中の車両1と対象物との位置関係を考えると、図9(a)に示されたように、ある時点で車両1の前方にある対象物は、時間の経過とともに車両1の後方に向かって相対的に移動しているように車両1からは観測される。従って、前方の重複撮影領域で検出された対象物は、ごく近い将来に後方の重複撮影領域でも検出される蓋然性があることとなる。このような考えによって、図9(a)の左前方重複撮影領域26で検出した対象物と同一の対象物を、その後間もなく撮影した画像である図9(b)の左後方重複撮影領域28からも検出している。
図9に例示される場合では、左前方重複撮影領域26で対象物の位置が不整合であり(同図(a))、左後方重複撮影領域28でも対象物の位置が不整合であるため(同図(b))、左前方重複撮影領域26および左後方重複撮影領域28を撮影領域に含むカメラである左方カメラ22の設置角度がズレたと判断できる。
これに対して例えば、同図(a)のように左前方重複撮影領域26で対象物が不整合と検出した後、左後方重複撮影領域28では対象物の位置が整合する場合には、左方カメラ22は正常であり、前方カメラ21がズレたと判断できる。
ここでは左方の重複撮影領域について説明したが、右方でも同様に処理することができる。
これに対して例えば、同図(a)のように左前方重複撮影領域26で対象物が不整合と検出した後、左後方重複撮影領域28では対象物の位置が整合する場合には、左方カメラ22は正常であり、前方カメラ21がズレたと判断できる。
ここでは左方の重複撮影領域について説明したが、右方でも同様に処理することができる。
以上のように本変形例の運転支援装置50では、前方の重複撮影領域に加えて、後方の重複撮影領域からも対象物を検出することによって、必ずしも新たに対象物が検出されるのを待つことなく、ズレたカメラを特定することができる。
尚、左後方または右後方の重複撮影領域で対象物の不整合を検出した場合には、車両1が前方に向かって走行している限り、その後に同一の対象物を検出することはできないが、車両1がバックしているときには上記と同様にして後方カメラ24のズレも検出することができる。
尚、左後方または右後方の重複撮影領域で対象物の不整合を検出した場合には、車両1が前方に向かって走行している限り、その後に同一の対象物を検出することはできないが、車両1がバックしているときには上記と同様にして後方カメラ24のズレも検出することができる。
ここで、本変形例で実行される処理について説明すると、運転支援情報取得処理は、撮影画像の取得対象に後方撮影画像が加わるほかは、第1実施例の場合(図4参照)と同様である。
本変形例のカメラ角度確認処理についても、第1実施例の場合(図5および図6参照)と同様であるが、これに加えて、以下の処理を行うとよい。すなわち、左前方重複撮影領域26および右前方重複撮影領域27で対象物の位置の整合性を判断する一連の処理(S201以下)の前に、前回までのカメラ角度確認処理において、既に、左前方重複撮影領域26または右前方重複撮影領域27で対象物の位置の不整合を記憶していたか否かを異常カメラ特定部18で確認する。対象物の位置の不整合を既に記憶していた場合は、左後方または右後方の重複撮影領域に対象物があるかどうかを確認し、対象物があればその整合性の判断をする。
このように、既に前方の対象物の不整合を記憶した場合には、前方の重複撮影領域で新たに対象物を検出する前に、後方の重複撮影領域を優先的に確認することで、より迅速にズレたカメラを特定しつつ、CPUの処理量を少なくすることができる。
本変形例のカメラ角度確認処理についても、第1実施例の場合(図5および図6参照)と同様であるが、これに加えて、以下の処理を行うとよい。すなわち、左前方重複撮影領域26および右前方重複撮影領域27で対象物の位置の整合性を判断する一連の処理(S201以下)の前に、前回までのカメラ角度確認処理において、既に、左前方重複撮影領域26または右前方重複撮影領域27で対象物の位置の不整合を記憶していたか否かを異常カメラ特定部18で確認する。対象物の位置の不整合を既に記憶していた場合は、左後方または右後方の重複撮影領域に対象物があるかどうかを確認し、対象物があればその整合性の判断をする。
このように、既に前方の対象物の不整合を記憶した場合には、前方の重複撮影領域で新たに対象物を検出する前に、後方の重複撮影領域を優先的に確認することで、より迅速にズレたカメラを特定しつつ、CPUの処理量を少なくすることができる。
また、このような後方の重複撮影領域での優先的な確認処理は、前方の重複撮影領域で対象物を検出した後、所定の時間内で実行することとしてもよい。この所定の時間は、前方の重複撮影領域で不整合であると検出した対象物と同一の対象物を後方の重複撮影領域でも検出できる可能性の高い時間であり、次のように考えられる。すなわち、前方の重複撮影領域で対象物の不整合を検出してから現在の処理対象となっている撮影画像を撮影した時刻までの時間に、車両1が移動した距離を車速情報から算出し、前方の重複撮影領域で検出した対象物が、後方の重複撮影領域で検出されると推定される時間である。
こうすれば、車両1が進路変更をしている時など、前方の重複撮影領域で検出した対象物と同一の対象物を後方の重複撮影領域で検出できなかった場合には、後方の重複撮影領域での優先的な確認処理を止めて、前方の重複撮影領域と後方の重複撮影領域とから並列的に対象物を検出する通常の処理状態に戻ることができる。
こうすれば、車両1が進路変更をしている時など、前方の重複撮影領域で検出した対象物と同一の対象物を後方の重複撮影領域で検出できなかった場合には、後方の重複撮影領域での優先的な確認処理を止めて、前方の重複撮影領域と後方の重複撮影領域とから並列的に対象物を検出する通常の処理状態に戻ることができる。
また、前方の重複撮影領域で不整合であると検出した対象物については、左方の撮影画像または右方の撮影画像から検出し続けることとしてもよい。前方の重複撮影領域で検出した対象物は、時間経過とともに後方に向かって移動するように車両1から観測されるが、後方の重複撮影領域に表れるまでの間も、左右いずれかの撮影画像に写り続けることとなる。そこで、前方の重複撮影領域で不整合であると検出した対象物については、左右いずれかの撮影画像から検出し続けることで、その対象物が左後方または右後方の重複撮影領域に表れた時により確実に検出することができる。
C.第2実施例 :
C−1.第2実施例の装置構成 :
上述した第1実施例およびその変形例では、カメラのズレを検出するために観測する対象物を特定していなかったが、本実施例では、路面に描かれた白線を観測の対象物とする。また、本実施例の車両1は上記の変形例と同様に後方カメラ24を備える。
尚、本実施例では、白線を観測の対象物としているが、黄色線その他の区画線、路側帯や中央分離帯の縁石、道路鋲などの車線の区切り全般についても同様に観測の対象物とすることができる。
C−1.第2実施例の装置構成 :
上述した第1実施例およびその変形例では、カメラのズレを検出するために観測する対象物を特定していなかったが、本実施例では、路面に描かれた白線を観測の対象物とする。また、本実施例の車両1は上記の変形例と同様に後方カメラ24を備える。
尚、本実施例では、白線を観測の対象物としているが、黄色線その他の区画線、路側帯や中央分離帯の縁石、道路鋲などの車線の区切り全般についても同様に観測の対象物とすることができる。
図10には、本実施例の運転支援装置210の大まかな内部構成が示されている。本実施例の運転支援装置210は、第1実施例と同様な、前方撮影画像取得部211と、左方撮影画像取得部212と、右方撮影画像取得部213と、対象物検出部214と、運転支援情報出力部215と、整合性判断部216と、記憶部217と、異常カメラ特定部218とに追加して、後方撮影画像取得部219と、修正部220とを備える。
後方撮影画像取得部219は、後方カメラ24から撮影画像を取得する。修正部220は、ズレを検知したカメラによる撮影画像を修正する。その修正の仕方については後で説明する。
後方撮影画像取得部219は、後方カメラ24から撮影画像を取得する。修正部220は、ズレを検知したカメラによる撮影画像を修正する。その修正の仕方については後で説明する。
図11には、左方カメラ22がズレた場合と、前方カメラ21がズレた場合との白線の整合性の表れ方の違いが示されている。図示されるように、左方カメラ22がズレると、第1実施例と同様に左前方重複撮影領域26で白線の位置の不整合が検出されるのに加えて、左後方重複撮影領域28でも白線の位置の不整合が検出される。
一方、前方カメラ21がズレると、左前方重複撮影領域26および右前方重複撮影領域27で白線の位置の不整合が検出されるが、これは第1実施例と全く同様である。
図示は省略するが、右方カメラ23がズレた場合は左右対称であることを除いて左方カメラ22と同様であり、後方カメラ24がズレた場合は上下対称であることを除いて前方カメラ21と同様である。
一方、前方カメラ21がズレると、左前方重複撮影領域26および右前方重複撮影領域27で白線の位置の不整合が検出されるが、これは第1実施例と全く同様である。
図示は省略するが、右方カメラ23がズレた場合は左右対称であることを除いて左方カメラ22と同様であり、後方カメラ24がズレた場合は上下対称であることを除いて前方カメラ21と同様である。
図11に示された2つの場合において、後方の2つの重複撮影領域での白線の位置についての整合性の判断がなくとも、前方の2つの重複撮影領域での白線の位置についての整合性の判断さえあれば、前方カメラ21、左方カメラ22または右方カメラ23のうち、どのカメラがズレたのかを特定できることは第1実施例で説明した通りである(図7参照)。
本実施例の運転支援装置210では、このような判断について、さらに別の重複領域で判断の正しさを確認することができる。
本実施例の運転支援装置210では、このような判断について、さらに別の重複領域で判断の正しさを確認することができる。
例えば、図11(a)の場合では、前方を見ると、左前方重複撮影領域26で白線が不整合であり、かつ、右前方重複撮影領域27では白線が整合することから、左方カメラ22がズレたと特定することができる。
同じく図11(a)の場合について、後方を見ると、左後方重複撮影領域28で白線が不整合であり、かつ、右後方重複撮影領域29では白線が整合することから、やはり左方カメラ22がズレたと特定することができる。すなわち、第1実施例でズレたカメラを特定した判断について、別の経路でも判断し、2つの判断の整合性を確認できるといういわゆるダブルチェックが可能となる。
同じく図11(a)の場合について、後方を見ると、左後方重複撮影領域28で白線が不整合であり、かつ、右後方重複撮影領域29では白線が整合することから、やはり左方カメラ22がズレたと特定することができる。すなわち、第1実施例でズレたカメラを特定した判断について、別の経路でも判断し、2つの判断の整合性を確認できるといういわゆるダブルチェックが可能となる。
そして、4つのカメラのうち何れのカメラにも、隣り合う両側のカメラと重複した撮影領域が生じるため、上記のようなダブルチェックは、何れのカメラがズレた場合であっても同様に成り立つ。
このように、本実施例の運転支援装置210では、第1実施例でした前方の2つの重複撮影領域に加えて、後方の2つの重複撮影領域でも判断するため、より信頼度の高い判断をすることができる。以下では、こうしたことを実現するために運転支援装置210の内部で行われる処理について詳しく説明する。
このように、本実施例の運転支援装置210では、第1実施例でした前方の2つの重複撮影領域に加えて、後方の2つの重複撮影領域でも判断するため、より信頼度の高い判断をすることができる。以下では、こうしたことを実現するために運転支援装置210の内部で行われる処理について詳しく説明する。
C−2.運転支援装置210による運転支援情報取得処理 :
図12には、本実施例の運転支援装置210が実行する運転支援情報取得処理のフローチャートが示されている。本実施例の運転支援情報取得処理では、後述するカメラ角度確認処理(S400)およびその後の処理(S305、S306)の他は第1実施例とほとんど同様に行われる。
運転支援装置210は、先ず、前方撮影画像、左方撮影画像、右方撮影画像および後方撮影画像を取得し(S301)、これらの撮影画像から白線を検出する(S302)。次にカメラ角度確認処理を開始する(S400)。
図12には、本実施例の運転支援装置210が実行する運転支援情報取得処理のフローチャートが示されている。本実施例の運転支援情報取得処理では、後述するカメラ角度確認処理(S400)およびその後の処理(S305、S306)の他は第1実施例とほとんど同様に行われる。
運転支援装置210は、先ず、前方撮影画像、左方撮影画像、右方撮影画像および後方撮影画像を取得し(S301)、これらの撮影画像から白線を検出する(S302)。次にカメラ角度確認処理を開始する(S400)。
図13には、本実施例のカメラ角度確認処理のフローチャートが示されている。先ず、左前方重複撮影領域26、右前方重複撮影領域27、左後方重複撮影領域28および右後方重複撮影領域29の、4つの重複撮影領域の何れかに白線があるか否かを確認する(S401)。4つの重複撮影領域の何れにも白線がない場合は(S401:no)、図12の運転支援情報取得処理に復帰する。4つの重複撮影領域の何れかに白線がある場合は(S401:yes)、その白線を検出した重複撮影領域ごとに白線の位置の整合性を判断してその結果を記憶する(S402)。
次に、4つの重複撮影領域の何れかで白線の不整合を記憶したか否かを確認する(S403)。白線の不整合を記憶していない場合は(S403:no)、図12の運転支援情報取得処理に復帰する。復帰した先の運転支援情報取得処理では、ズレたカメラを特定していないので(S303:no)、上記のカメラ角度確認処理で検出した白線の位置情報を、運転支援情報として出力する(S304)。
一方、白線の不整合を記憶した場合は(図13のS403:yes)、不整合を記憶した以後に他の3つの重複撮影領域で判断結果を記憶したか否かを確認する(S404)。未だ記憶していない場合は(S404:no)、図12の運転支援情報取得処理に返して、他の3つの重複撮影領域で判断結果を記憶するまでは(S404:yes)、ここまでの処理(S401〜S404)を繰り返すこととなる。
本実施例では白線を観測の対象物とするが、白線は車線の両側に存在することが多い。従って、何れかの重複撮影領域で白線の位置の不整合を検出した後、他の3つの重複撮影領域で白線を検出してその整合性を判断するまでにタイムラグが発生することが少なくなる。
このようにして、白線の不整合を記憶した以後に、他の3つの重複撮影領域で判断結果が得られたら(S404:yes)、先に不整合を検出した重複撮影領域の左右に隣接する重複撮影領域の何れかで不整合が生じているか否かを判断する(S405)。
このようにして、白線の不整合を記憶した以後に、他の3つの重複撮影領域で判断結果が得られたら(S404:yes)、先に不整合を検出した重複撮影領域の左右に隣接する重複撮影領域の何れかで不整合が生じているか否かを判断する(S405)。
先に不整合を検出した重複撮影領域の左右に隣接する重複撮影領域の何れかで不整合が生じていない場合は(S405:no)、図12の運転支援情報取得処理に復帰する。これは以下の理由による。
カメラ角度確認処理(S400)は何れか1つのカメラがズレた場合、これを検知し、ズレたカメラを特定することを目的としている。そして、何れか1つのカメラがズレた場合には、隣り合う2つの重複撮影領域で白線の不整合が検出される(図11参照)。
そうすると、ある重複撮影領域で白線の不整合が検出されたとしても(S403)、隣り合う2つの重複撮影領域で白線が不整合でなければ、何れか1つのカメラがズレた場合以外の何らかの事情によって、白線の不整合を検出したということである。
カメラ角度確認処理(S400)は何れか1つのカメラがズレた場合、これを検知し、ズレたカメラを特定することを目的としている。そして、何れか1つのカメラがズレた場合には、隣り合う2つの重複撮影領域で白線の不整合が検出される(図11参照)。
そうすると、ある重複撮影領域で白線の不整合が検出されたとしても(S403)、隣り合う2つの重複撮影領域で白線が不整合でなければ、何れか1つのカメラがズレた場合以外の何らかの事情によって、白線の不整合を検出したということである。
例えば、2つの重複撮影領域で白線が不整合であっても、それが互いに車両1を挟んで対角線上に位置する場合には、何れか1つのカメラがズレたことによって生じた白線の不整合とは判断できない。また、3つ以上の重複撮影領域で白線の不整合が検出されたとしたら、可能性としては非常に低いと考えられるが、2つのカメラが同時にズレたことが考えられるし、1つの重複撮影領域で白線の不整合が検出されたとしたら、回路の異常等その他の異常が発生したことが可能性として考えられる。これらのような場合には、報知ランプの点灯等により運転者に知らせることとしてもよい。
引き続き、カメラ角度確認処理の説明をする。白線の不整合が隣り合う2つの重複撮影領域で生じている場合は(S405:yes)、白線が不整合である判断した2つの重複撮影領域を撮影領域に有するカメラにズレが発生したものと判断する(S406)。そして、図12の運転支援情報取得処理に復帰する。
運転支援情報取得処理に戻ったら、次に、ズレたカメラを特定したか否かを確認するが(S303)、ここではズレたカメラを特定している(S303:yes)。このとき第1実施例では、ズレを検知したカメラからの撮影画像は運転支援情報の取得対象から除外していたが(図4のS105)、本実施例では、ズレを検知したカメラから取得する撮影画像を修正する(S305)。
運転支援情報取得処理に戻ったら、次に、ズレたカメラを特定したか否かを確認するが(S303)、ここではズレたカメラを特定している(S303:yes)。このとき第1実施例では、ズレを検知したカメラからの撮影画像は運転支援情報の取得対象から除外していたが(図4のS105)、本実施例では、ズレを検知したカメラから取得する撮影画像を修正する(S305)。
図14には、前方カメラ21のズレを検知した場合の撮影画像の修正の様子が示されている。図14(a)では、前方撮影画像から検出した白線の位置と左方撮影画像から検出した白線の位置とが整合していない。そこで図14(b)のように、白線の位置が白線の位置とできるだけ近づくように前方撮影画像の座標をtだけ左方に移動させて修正する。
このように撮影画像の座標を平行移動や回転移動したり、座標の縮尺を変更したりすれば、前方カメラ21が設定された取付位置および取付角度からズレてしまったときでも、前方撮影画像を除外することなく、運転支援情報としての白線の位置の検出に用いることができる。
このように撮影画像の座標を平行移動や回転移動したり、座標の縮尺を変更したりすれば、前方カメラ21が設定された取付位置および取付角度からズレてしまったときでも、前方撮影画像を除外することなく、運転支援情報としての白線の位置の検出に用いることができる。
ところで、図14に示されるように、白線が車両1の進行方向と平行に真っ直ぐ伸びている場合は、車両1の横方向(図14のx軸の方向)のズレは修正できるものの、車両1の進行方向のズレ量については把握できないため、撮影画像を修正することができない。そういった場合でも、上述した運転支援情報取得処理を繰り返していれば、車線がカーブする場面や、車線変更する場面などでy軸方向のズレ量を得られるので、徐々に修正の精度の向上が図られる。
尚、第1実施例でも、ズレたカメラが撮影した画像から取得される運転支援情報を出力対象から除外(図4のS105)することなく、上記のように修正してもよい。その場合には、一度の処理でx軸方向のズレ量とy軸方向のズレ量とを修正することができる(図3(a)参照)。
尚、第1実施例でも、ズレたカメラが撮影した画像から取得される運転支援情報を出力対象から除外(図4のS105)することなく、上記のように修正してもよい。その場合には、一度の処理でx軸方向のズレ量とy軸方向のズレ量とを修正することができる(図3(a)参照)。
上記の通り、図14で示した修正は、ズレを検知したカメラからの撮影画像で検出した白線の座標を、他の正常なカメラからの撮影画像で検出した白線の座標に近似させるものであった。しかし、カメラのズレの程度が大きいと、このような修正をしても所望の精度を満たすことができない場合がある。そのような場合には、ズレが検知されたカメラの取付位置および取付角度に関するデータ(カメラの位置・姿勢の外部パラメータ)を取得し直すこととしてもよい。
その際は、ズレが検知されていない他の3つのカメラは、当初の設定された取付位置および取付角度を保っているので、ズレが検知されたカメラによる撮影画像を、正常なカメラによる撮影画像に改めて対応づけることで、ズレが検知されたカメラの外部パラメータを取得すればよい。このような対応づけを行う手法としては例えば、8点アルゴリズムを用いた方法が知られている。
その際は、ズレが検知されていない他の3つのカメラは、当初の設定された取付位置および取付角度を保っているので、ズレが検知されたカメラによる撮影画像を、正常なカメラによる撮影画像に改めて対応づけることで、ズレが検知されたカメラの外部パラメータを取得すればよい。このような対応づけを行う手法としては例えば、8点アルゴリズムを用いた方法が知られている。
ここで、本実施例では各カメラの撮影方向が90度ずつ異なるため、各カメラの撮影領域に対する重複撮影領域の大きさは限られているが、隣り合う2つのカメラそれぞれに対応付ければ、カメラのパラメータを高い精度で取得することができる。
このようにズレたカメラから取得する撮影画像を修正したら(S305)、修正した撮影画像から白線を再検出する(S306)。そして、再検出した白線を、取付位置および取付角度が正常な他の3つのカメラが撮影した画像から検出した白線(S302)とともに、制御部30に出力する(S304)。
このようにズレたカメラから取得する撮影画像を修正したら(S305)、修正した撮影画像から白線を再検出する(S306)。そして、再検出した白線を、取付位置および取付角度が正常な他の3つのカメラが撮影した画像から検出した白線(S302)とともに、制御部30に出力する(S304)。
上述したように本実施例でズレを検知した場合には、ズレを検知したカメラから取得する撮影画像を修正しているが、第1実施例と同様に、ズレを検知したカメラからの撮影画像を運転支援情報の取得対象から除外してもよい。例えば、何れのカメラにもズレが検知されていない場合は、左方カメラ22または右方カメラ23が撮影した画像を用いて白線を検出し、左方カメラ22または右方カメラ23にズレが検知された場合には、そのズレを検知したカメラの代わりに、前方カメラ21または後方カメラ24が撮影した画像を用いて白線を検出することができる。こうすれば、通常の状態では前後に比べて白線により近い位置にある左右のカメラが撮影した画像から白線を検出することができ、左右の何れかのカメラがズレた場合には、前後の何れかのカメラが撮影した画像を用いることで白線の検出を継続することができる。
以上、各種の実施例について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施をすることができる。
1…車両、 10…運転支援装置、 11…前方撮影画像取得部、
12…左方撮影画像取得部、 13…右方撮影画像取得部、
14…対象物検出部、 15…運転支援情報出力部、 16…整合性判断部、
17…記憶部、 18…異常カメラ特定部、 21…前方カメラ、
22…左方カメラ、 23…右方カメラ、 26…左前方重複撮影領域、
27…右前方重複撮影領域、 30…制御部、 50…運転支援装置、
210…運転支援装置、 219…後方撮影画像取得部、 220…修正部、
214…対象物検出部、 215…運転支援情報出力部、 216…整合性判断部、
217…記憶部、 218…異常カメラ特定部。
12…左方撮影画像取得部、 13…右方撮影画像取得部、
14…対象物検出部、 15…運転支援情報出力部、 16…整合性判断部、
17…記憶部、 18…異常カメラ特定部、 21…前方カメラ、
22…左方カメラ、 23…右方カメラ、 26…左前方重複撮影領域、
27…右前方重複撮影領域、 30…制御部、 50…運転支援装置、
210…運転支援装置、 219…後方撮影画像取得部、 220…修正部、
214…対象物検出部、 215…運転支援情報出力部、 216…整合性判断部、
217…記憶部、 218…異常カメラ特定部。
Claims (6)
- 複数の車載カメラ(21、22、23)を搭載した車両(1)に適用されて、該車載カメラの撮影画像に写った対象物を検出することによって運転支援を行う運転支援装置(10)であって、
前記車両を基準に設定された所定の第1領域についての第1撮影画像を、該車両に搭載された第1車載カメラから取得する第1撮影画像取得部(12)と、
前記第1領域に対して所定の第1重複領域(26)を重複させて設定された所定の第2領域についての第2撮影画像を、該車両に搭載された第2車載カメラから取得する第2撮影画像取得部(11)と、
前記第2領域に対して所定の第2重複領域(27)を重複させて設定された所定の第3領域についての第3撮影画像を、該車両に搭載された第3車載カメラから取得する第3撮影画像取得部(13)と、
前記第1撮影画像、前記第2撮影画像、および前記第3撮影画像を解析して前記対象物を検出する対象物検出部(14)と、
前記第1重複領域で前記対象物が検出された場合には、該対象物の前記第1撮影画像中での位置と前記第2撮影画像中での位置とが整合するか否かを判断する第1判断部(16)と、
前記第2重複領域で前記対象物が検出された場合には、該対象物の前記第2撮影画像中での位置と前記第3撮影画像中での位置とが整合するか否かを判断する第2判断部(16)と、
前記第1重複領域または前記第2重複領域の何れか一方で整合しない旨の判断結果が得られた場合には、前記第1車載カメラ、前記第2車載カメラ、または前記第3車載カメラの何れかで取付角度または取付位置のズレが生じたものと判断するとともに、該第1重複領域および該第2重複領域での判断結果に基づいて、該ズレが生じた前記車載カメラを特定する車載カメラ特定部(18)と
を備える運転支援装置。 - 請求項1に記載の運転支援装置であって、
前記車載カメラ特定部は、
前記第1重複領域での判断結果が整合しない旨の判断結果であり、且つ、前記第2重複領域での判断結果が整合する旨の判断結果であった場合には、前記第1車載カメラで前記ズレが生じたものと判断し、
前記第1重複領域および前記第2重複領域の何れの判断結果も整合しない旨の判断結果であった場合には、前記第2車載カメラで前記ズレが生じたものと判断し、
前記第1重複領域での判断結果が整合する旨の判断結果であり、且つ、前記第2重複領域での判断結果が整合しない旨の判断結果であった場合には、前記第3車載カメラで前記ズレが生じたものと判断する特定部である
運転支援装置。 - 請求項1または請求項2に記載の運転支援装置(50)であって、
前記第1領域は、前記車両の左側方に設定された領域であり、
前記第2領域は、前記車両の前方に設定された領域であり、
前記第3領域は、前記車両の右側方に設定された領域であり、
前記第1領域とは所定の第3重複領域(28)を重複させ、前記第3領域とは所定の第4重複領域(29)を重複させて、前記車両の後方に設定された所定の第4領域についての第4撮影画像を、該車両に搭載された第4車載カメラ(24)から取得する第4撮影画像取得部(219)を備え、
前記対象物検出部は、前記第4撮影画像からも前記対象物を検出する検出部であり、
前記第1判断部は、前記第1重複領域で整合するか否かを判断した場合には、前記第3重複領域でも整合するか否かを判断する判断部であり、
前記第2判断部は、前記第2重複領域で整合するか否かを判断した場合には、前記第4重複領域でも整合するか否かを判断する判断部であり、
前記車載カメラ特定部は、
前記第1重複領域での判断結果が得られた場合には、該判断結果および前記第3重複領域での判断結果に基づいて、前記第1車載カメラ、前記第2車載カメラ、および前記第4車載カメラについての前記ズレの有無と、該ズレが生じた前記車載カメラを特定し、
前記第2重複領域での判断結果が得られた場合には、該判断結果および前記第4重複領域での判断結果に基づいて、前記第2車載カメラ、前記第3車載カメラ、および前記第4車載カメラについての前記ズレの有無と、該ズレが生じた前記車載カメラを特定する特定部である
運転支援装置。 - 請求項1ないし請求項3の何れか一項に記載の運転支援装置(210)であって、
前記対象物検出部は、前記対象物として、前記車両が走行中の車線の区切りを検出する検出部である
運転支援装置。 - 請求項4に記載の運転支援装置であって、
前記第1領域または前記第3領域の少なくとも一方で検出された前記車線の区切りに基づいて、該車線の区切りに対する前記車両の走行位置を制御する制御部(30)を備え、
前記制御部は、前記第1車載カメラまたは前記第3車載カメラの一方で前記ズレが生じていると判断された場合には、該ズレが生じた前記車載カメラによる前記撮影画像の代わりに前記第2車載カメラによる前記第2撮影画像を用いて検出された前記車線の区切りに基づいて、前記車両の走行位置を制御する制御部である
運転支援装置。 - 複数の車載カメラを搭載した車両に適用されて、該車載カメラの撮影画像に写った対象物を検出することによって運転支援を行う運転支援方法であって、
前記車両を基準に設定された所定の第1領域についての第1撮影画像を、該車両に搭載された第1車載カメラから取得する第1撮影画像取得工程(S101)と、
前記第1領域に対して所定の第1重複領域を重複させて設定された所定の第2領域についての第2撮影画像を、該車両に搭載された第2車載カメラから取得する第2撮影画像取得工程(S101)と、
前記第2領域に対して所定の第2重複領域を重複させて設定された所定の第3領域についての第3撮影画像を、該車両に搭載された第3車載カメラから取得する第3撮影画像取得工程(S101)と、
前記第1撮影画像、前記第2撮影画像、および前記第3撮影画像を解析して前記対象物を検出する対象物検出工程(S102)と、
前記第1重複領域で前記対象物が検出された場合には、該対象物の前記第1撮影画像中での位置と前記第2撮影画像中での位置とが整合するか否かを判断する第1判断工程(S202)と、
前記第2重複領域で前記対象物が検出された場合には、該対象物の前記第2撮影画像中での位置と前記第3撮影画像中での位置とが整合するか否かを判断する第2判断工程(S205)と、
前記第1重複領域または前記第2重複領域の何れか一方で整合しない旨の判断結果が得られた場合には、前記第1車載カメラ、前記第2車載カメラ、または前記第3車載カメラの何れかで取付角度または取付位置のズレが生じたものと判断するとともに、該第1重複領域および該第2重複領域での判断結果に基づいて、該ズレが生じた前記車載カメラを特定する車載カメラ特定工程(S210、S212、S213)と
を備える運転支援方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014178346A JP2016053748A (ja) | 2014-09-02 | 2014-09-02 | 運転支援装置および運転支援方法 |
PCT/JP2015/003861 WO2016035252A1 (ja) | 2014-09-02 | 2015-07-31 | 運転支援装置および運転支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014178346A JP2016053748A (ja) | 2014-09-02 | 2014-09-02 | 運転支援装置および運転支援方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016053748A true JP2016053748A (ja) | 2016-04-14 |
Family
ID=55439343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178346A Pending JP2016053748A (ja) | 2014-09-02 | 2014-09-02 | 運転支援装置および運転支援方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2016053748A (ja) |
WO (1) | WO2016035252A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018070077A (ja) * | 2016-11-02 | 2018-05-10 | 株式会社東海理化電機製作所 | 撮影システム及び運転支援システム |
WO2019003631A1 (ja) * | 2017-06-29 | 2019-01-03 | 株式会社デンソー | 車両用の対象物検出装置および車両用の対象物検出装置における水平方向の軸ずれ判定方法 |
JP2021049892A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社Subaru | 自動運転システム |
WO2021187244A1 (ja) * | 2020-03-19 | 2021-09-23 | 古河電気工業株式会社 | 移動体監視システム、異常検知方法およびプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI705011B (zh) * | 2019-03-12 | 2020-09-21 | 緯創資通股份有限公司 | 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統 |
CN111684458B (zh) * | 2019-05-31 | 2024-03-12 | 深圳市大疆创新科技有限公司 | 目标检测方法、目标检测装置和无人机 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4459144B2 (ja) * | 2005-09-26 | 2010-04-28 | アルパイン株式会社 | 車両用画像表示装置 |
JP5546321B2 (ja) * | 2010-04-02 | 2014-07-09 | アルパイン株式会社 | 複数カメラ画像使用車外表示装置 |
-
2014
- 2014-09-02 JP JP2014178346A patent/JP2016053748A/ja active Pending
-
2015
- 2015-07-31 WO PCT/JP2015/003861 patent/WO2016035252A1/ja active Application Filing
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018070077A (ja) * | 2016-11-02 | 2018-05-10 | 株式会社東海理化電機製作所 | 撮影システム及び運転支援システム |
WO2019003631A1 (ja) * | 2017-06-29 | 2019-01-03 | 株式会社デンソー | 車両用の対象物検出装置および車両用の対象物検出装置における水平方向の軸ずれ判定方法 |
JP2019007934A (ja) * | 2017-06-29 | 2019-01-17 | 株式会社デンソー | 車両用の対象物検出装置および車両用の対象物検出装置における水平方向の軸ずれ判定方法 |
JP2021049892A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社Subaru | 自動運転システム |
JP7385412B2 (ja) | 2019-09-25 | 2023-11-22 | 株式会社Subaru | 自動運転システム |
WO2021187244A1 (ja) * | 2020-03-19 | 2021-09-23 | 古河電気工業株式会社 | 移動体監視システム、異常検知方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2016035252A1 (ja) | 2016-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016035252A1 (ja) | 運転支援装置および運転支援方法 | |
JP6458439B2 (ja) | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 | |
KR20170014168A (ko) | 차량의 카메라 장치 | |
JP6137081B2 (ja) | 車載機器 | |
JP6565769B2 (ja) | 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム | |
JP6586849B2 (ja) | 情報表示装置及び情報表示方法 | |
US10099617B2 (en) | Driving assistance device and driving assistance method | |
US10166923B2 (en) | Image generation device and image generation method | |
JP6602982B2 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
JP6778620B2 (ja) | 区画線検出装置、区画線検出システム、及び区画線検出方法 | |
JP2010225075A (ja) | 運転支援装置 | |
JP2020067698A (ja) | 区画線検出装置及び区画線検出方法 | |
CN110949254A (zh) | 车辆的行驶环境检测装置及行驶控制*** | |
JP2006011570A (ja) | カメラキャリブレーション方法及びカメラキャリブレーション装置 | |
JP4767052B2 (ja) | 光軸ずれ検出装置 | |
US9659376B2 (en) | Filtering device | |
KR101424636B1 (ko) | 자동 후진 주차시스템 | |
KR101724868B1 (ko) | 영상기반 교통표시 인식장치 및 방법 | |
JP6824759B2 (ja) | 区画線検出装置、区画線検出システム、及び区画線検出方法 | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
CN111989541A (zh) | 立体摄像机装置 | |
CN111462243A (zh) | 车载流媒体后视镜标定方法、***及装置 | |
US20180060671A1 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
EP3051494B1 (en) | Method for determining an image depth value depending on an image region, camera system and motor vehicle | |
CN111462244B (zh) | 车载环视***在线标定方法、***及装置 |