JP6663622B2

JP6663622B2 - 撮像装置

Info

Publication number: JP6663622B2
Application number: JP2018531819A
Authority: JP
Inventors: 野中　進一; 進一野中; 門司　竜彦; 竜彦門司
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2016-08-05
Filing date: 2017-07-19
Publication date: 2020-03-13
Anticipated expiration: 2037-07-19
Also published as: CN109195849B; CN109195849A; US20190303690A1; EP3495222A1; WO2018025632A1; EP3495222A4; JPWO2018025632A1; US10810448B2

Description

本発明は、車両に搭載され、車両の挙動を把握可能な撮像装置に関する。

従来車両には、車速センサ、舵角センサ、ヨーレート（回転角速度）センサなど、車両内部の状態を測定して挙動を示すセンサが、車両挙動センサとして一般的に広く利用されている。これらの車両挙動センサから得られる車両挙動情報には相関性が存在する場合がある為、何れかの車両挙動センサに不具合が発生した際に、他の車両挙動センサからの情報を用いて不具合の発生したセンサを補う技術が知られている。

例えば、特開平１１-５９４６１号公報には、ヨーレートセンサが異常となった場合、車輪速を検出する速度センサで求めた左右の車輪速の差（即ち、左右の車輪の単位時間の移動距離の差）からヨーレートを算出して代替させる方法が記載されている。

特開平１１−２０８９３９号公報

ところが、左右の車輪速の差では車輪に装着されているタイヤと路面との滑りを反映することができず、特開平１１-５９４６１号公報の様にヨーレートセンサを車輪速の速度センサで代替したとき、実際のヨーレートを算出することができない場合があるという問題があった。

特に、タイヤと路面の摩擦係数が小さくなる環境では滑り量が大きくなり、代替手段である車輪速の速度センサによって求めたヨーレートと、実際のヨーレートとの誤差が増大してしまう。このため、代替手段で取得した情報をそのまま例えば車両の軌道予測に利用すると、誤った軌道予測結果が得られることがあり、軌道予測結果に基づいて衝突や逸脱を事前に予測して回避するための運転アシストや自動運転において十分な効果が得られない場合があるという問題があった。

本発明の目的は、車両挙動センサの不具合が生じたときに、その補完的役割を果たし得る撮像装置を提供することにある。

本発明は上記の目的を達成するために、車両の周囲の物体を検知して前記車両と物体の距離と方位の位置関係を物体情報として取得する物体抽出部と、前記車両の周囲の物体を撮影した画像を取得する画像取得部と、前記画像取得部で取得した画像からその特徴量に基づいて静止物体を特定して、前記特定された静止物体に対して前記物体抽出部で取得した前記物体情報の紐付けを行うことで、周囲の静止物体の位置と前記車両の位置関係を示す相対位置情報を任意の時刻毎に生成する静止物体情報抽出部と、前記相対位置情報の任意の時刻毎の変化量に基づいて前記車両の挙動情報を推定する車両挙動推定部と、複数の車両挙動センサのそれぞれで検知された前記車両の挙動情報を取得する車両挙動取得部と、前記画像取得部で取得した画像から外界情報を抽出する外界情報抽出部と、前記車両挙動取得部で取得した挙動情報と前記車両挙動推定部で推定した挙動情報とを比較することで、前記車両挙動センサの異常を検知する異常検知部と、前記異常検知部で異常を検知した場合、前記車両挙動取得部で取得した挙動情報か、前記車両挙動推定部で推定した挙動情報か、を選択する車両挙動情報選択部と、前記車両挙動情報選択部で選択された挙動情報と、前記外界情報抽出部で抽出した外界情報と、に基づいて、前記車両の制御内容を決定する制御方法決定部と、を備え、前記異常検知部は、前記複数の車両挙動センサのうちの一の車両挙動センサの異常を検知した場合に、前記車両挙動取得部で取得した前記複数の車両挙動センサのうちの前記一の車両挙動センサとは異なる他の車両挙動センサで検知された前記車両の挙動情報と、前記車両挙動推定部で推定した挙動情報と、を比較することで、前記他の車両挙動センサの診断を行うものであり、前記制御方法決定部は、前記異常検知部による前記車両挙動センサの診断結果が全ての前記車両挙動センサで良好であった場合は、前記車両の制御内容を制限値で制限することなく制御し、前記異常検知部による前記車両挙動センサの診断結果のうち、少なくとも一つの前記車両挙動センサの状態に問題があるが、相関性のある他の前記車両挙動センサから算出した代替情報の精度が高いと判断される場合は、前記車両の制御内容を第１制限値で制限して制御し、前記異常検知部による前記車両挙動センサの診断結果のうち、少なくとも一つの前記車両挙動センサの状態に問題があり、かつ相関性のある他の前記車両挙動センサから算出した代替情報の精度が低いと判断される場合は、前記車両の制御内容を前記第１制限値より大きい値の第２制限値で制限して制御することを特徴とする。

本発明によれば、車両挙動センサの不具合が生じたときに、その補完的役割を果たし得る撮像装置を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１に係る撮像装置の構成を示すブロック図。２つの静止物を捕捉した際の静止物と車両との位置関係を示した図。図１に示した車両挙動センサ情報診断及び挙動情報選択部１０８における処理の一例を示すフローチャート。図１に示した車両挙動センサ情報診断及び挙動情報選択部１０８による診断結果を利用した、車両制御方法決定部１０９での処理の一例を示すフローチャート。本発明の実施例２に係る撮像装置の構成を示すブロック図。

以下、図面を用いて、本発明の実施例に係る撮像装置について詳細に説明する。

図１は、本発明の実施例１に係る撮像装置の構成を示すブロック図である。

本実施例の撮像装置１００は、撮像部１０１ａ及び１０１ｂと、物体抽出部１０２と、障害物及びレーン情報抽出部１０３と、マップ情報生成及び障害物相対速度情報抽出部１０４と、静止物体情報抽出部１０５と、車両挙動情報推定部１０６と、車両挙動センサ情報取得インターフェース１０７と、車両挙動センサ情報診断及び挙動情報選択部１０８と、車両制御方法決定部１０９と、車両制御命令インターフェース１１０と、を有して構成される。物体抽出部１０２、障害物及びレーン情報抽出部１０３、マップ情報生成及び障害物相対速度情報抽出部１０４、静止物体情報抽出部１０５、車両挙動情報推定部１０６、車両挙動センサ情報診断及び挙動情報選択部１０８、及び車両制御方法決定部１０９は、不図示の記憶部に予め記憶したソフトウェアを実行するマイコン（不図示）によって構成される場合があり、また、各種論理回路（不図示）の組合せ、各種ＩＣによって構成される場合がある。

この撮像装置１００は、例えば車両の前方に搭載され、信号や標識、障害物などを認識し、運転支援や自動運転を実現するシステムの一部として利用される。この撮像装置１００は、撮像部１０１ａ及び撮像部１０１ｂの２つの撮像部を有することで、外界情報を立体的に取得可能なステレオカメラとして動作可能なものである。

ステレオカメラとしての撮像装置１００は、図１のように、撮像部１０１ａ及び１０１ｂと、物体抽出部１０２と、障害物及びレーン情報抽出部１０３と、マップ情報生成及び障害物相対速度情報抽出部１０４と、静止物体情報抽出部１０５と、車両挙動情報推定部１０６と、車両挙動センサ情報取得インターフェース１０７と、車両挙動センサ情報診断及び挙動情報選択部１０８と、車両制御方法決定部１０９と、車両制御命令インターフェース１１０と、を有する構成としてもよいし、車両制御方法決定部１０９や車両制御命令インターフェース１１０は、撮像装置１００の外部に設ける構成としてもよい。この場合、撮像装置１００は、マップ情報生成及び障害物相対速度情報抽出部１０４の出力や、車両挙動センサ情報診断及び挙動情報選択部１０８の出力を、不図示のインターフェース（例えば、ＣＡＮ）を介して外部に出力する。

撮像部１０１ａ及び撮像部１０１ｂは、光を電気的な信号に変換する撮像素子（不図示）と撮像素子の撮像面に光の像を結像させる光学レンズ（不図示）を有して構成され、撮像部１０１ａ及び撮像部１０１ｂのそれぞれにおいて所定の時間間隔毎に繰り返し撮影した画像を出力する。また、撮像部１０１ａと撮像部１０１ｂとは、所定の距離で離れた状態で、外界情報を取得する方向（撮影する方向、例えば車両の進行方向）に向けて車両に固定される。

物体抽出部１０２は、同時刻に撮像部１０１ａで撮影された画像と撮像部１０１ｂで撮影された画像の２つの画像を比較し、ズレ量（所謂視差）の分布を見ることで、撮像部１０１ａ及び撮像部１０１ｂで撮影した領域内で物体が存在する領域の抽出と、その物体までの距離を示す距離情報を取得する。

障害物及びレーン情報抽出部１０３は、物体が存在する画像領域の画像特徴量を抽出して、あらかじめ登録されている物体の特徴量（車両、歩行者、その他交通上の障害と成り得る物体の画像的特徴）との類似性を調べることで、障害物と成り得る物体を特定すると共に、道路の白線や縁石などの特徴を示す特徴量から路面や路端を示すレーン情報を抽出する。

マップ情報生成及び障害物相対速度情報抽出部１０４は、障害物及びレーン情報抽出部１０３から得た障害物と成り得る物体の位置とレーン情報から、レーン上またはその周辺に存在する障害物と成り得る物体の配置とレーンの情報を示すマップ情報を生成すると共に、過去のマップ情報における前記物体の配置と現在のマップ情報における前記物体の配置の変化から前記物体の相対速度情報を抽出する。

一方、静止物体情報抽出部１０５は、物体抽出部１０２で抽出される物体が存在する画像領域の画像特徴量を抽出して、あらかじめ登録されている静止物の特徴量（例えば道路標識、行先看板、信号機等の立体物の他、道路上にペイントなどで示された横断歩道、速度や方向規制などを示す道路標示、ガードレールや建物など道路周辺の構造物など画像的特徴）との類似性を調べることで静止物を特定し、特定した静止物に対して距離や方位などの位置情報の紐付けを行う。

車両挙動情報推定部１０６は、静止物体情報抽出部１０５で抽出された静止物に紐付けされた距離や方位の位置情報の時間的変化を辿ることで、現在までの車両の挙動（例えば、車速、ヨーレート等）を推定する。例えば、静止物の距離や方位の位置情報の時間的変化からの車両の挙動の推定は以下の方法をとることで実現できる。

図２は、２つの静止物を捕捉した際の静止物と車両との位置関係を示した図である。

図２において、Ｇ０及びＧ１は捕捉した静止物の位置を示し、Ｔ０は時刻０の車両の位置を示し、Ｔ１は時刻０から１秒後の車両の位置を示し、車両から伸びている矢印（一点鎖線で示している）の向きはそれぞれの時刻の車両が向かっている方向を示している。このときヨーレートは、それぞれの矢印の向きの差、即ちＧ０とＧ１を結ぶ直線と矢印が交差する点においてＧ０とＧ１を結ぶ直線に直交するように引かれた直線と矢印の交差する角度である「ｅ」及び「ｅ’」の和が１秒辺り旋回角度となる。また、Ｔ０の座標とＴ１の座標を弦とする円弧の長さが１秒辺りの移動量、即ち速度となるので、原点Ｇ０からＴ０までのベクトルＴ０（ｘ０、ｙ０）とＧ０からＴ１までのベクトルＴ１（ｘ１、ｙ１）の差分の絶対値から求められる弦の長さとヨーレートからその円弧の長さを算出することで速度を算出することが出来る。Ｇ０からＴ０までのベクトルＴ０（ｘ０、ｙ０）及び、角度「ｅ」は以下の方法で計算できる。Ｂは、Ｇ０からＴ０までの距離である。ｄは、Ｇ０とＧ１を結ぶ直線と、Ｇ０とＴ０を結ぶ直線とが成す角度である。Ａは、Ｇ１からＴ０までの距離である。ｃは、Ｇ０とＧ１を結ぶ直線と、Ｇ１とＴ０を結ぶ直線とが成す角度である。ａは、Ｔ０の矢印と、Ｇ１とＴ０を結ぶ直線とが成す角度である。ｂは、Ｔ０の矢印と、Ｇ０とＴ０を結ぶ直線とが成す角度である。Ｂ’は、Ｇ０からＴ１までの距離である。ｄ’は、Ｇ０とＧ１を結ぶ直線と、Ｇ０とＴ１を結ぶ直線とが成す角度である。Ａ’は、Ｇ１からＴ１までの距離である。ｃ’は、Ｇ０とＧ１を結ぶ直線と、Ｇ１とＴ１を結ぶ直線とが成す角度である。ａ’は、Ｔ１の矢印と、Ｇ１とＴ１を結ぶ直線とが成す角度である。ｂ’は、Ｔ１の矢印と、Ｇ０とＴ１を結ぶ直線とが成す角度である。

Ｇ０からＴ０までのベクトルＴ０（ｘ０、ｙ０）及び、角度「ｅ」は、三角関数を用いて、以下のように、ｘ０＝Ｂ×ＳＩＮ[ｄ]ｙ０＝Ｂ×ＣＯＳ[ｄ]ｄ＝ａｒｃＴＡＮ{Ａ×{ＳＩＮ[ａ＋ｂ] }÷{Ｂ−Ａ{ＣＯＳ[ａ＋ｂ] } }ｅ＝０．５×π−ｂ−ｄで求められる。

Ｇ０からＴ１までのベクトルＴ１（ｘ１、ｙ１）及び、角度「ｅ’」は、三角関数を用いて、以下のように、ｘ１＝Ｂ’×ＳＩＮ[ｄ’]ｙ１＝Ｂ’×ＣＯＳ[ｄ’]ｄ’＝ａｒｃＴＡＮ{Ａ’×{ＳＩＮ[ａ’＋ｂ’] }÷{Ｂ’-Ａ’{ＣＯＳ[ａ’＋ｂ’] } }ｅ’=０．５×π−ｂ’−ｄ’で求められる。

さらに、Ｔ０とＴ１を結ぶ円弧の長さ（＝Ｖとする）については、ヨーレート（＝Ｙｒとする）と回転半径（＝Ｒとする）から計算でき以下のように、Ｖ＝｛ｅ＋ｅ’｝×Ｒの関係式が成立する。

上記ＲはＴ０とＴ１を直線で結ぶ弦の長さ（Ｌ＝とする）とヨーレートから計算でき、計算式は以下のように、Ｒ＝０．５×Ｌ÷ＣＯＳ[０．５×{ｅ＋ｅ’} ]Ｌ＝√｛（ｘ１−ｘ０）×（ｘ１−ｘ０）＋（ｙ１−ｙ０）×（ｙ１−ｙ０）｝となる。車両挙動情報推定部１０６では、上記のようにして車両挙動情報を推定する。

図１の説明に戻り、車両挙動センサ情報取得インターフェース１０７は、車両各所に配置された不図示の車両挙動センサ（例えば、車速センサ、舵角センサ、ヨーレートセンサ、右車輪速センサ、左車輪速センサ）からの情報を取得するためのインターフェースであり、例えばＣＡＮなどの通信手段を利用して、車両挙動センサで得た車速情報、ヨーレート情報、舵角情報などを撮像装置１００に取り込む。

車両挙動センサ情報診断及び挙動情報選択部１０８は、車両挙動情報推定部１０６で推定される車両挙動情報と、車両挙動センサ情報取得インターフェース１０７を経由して得られる車両挙動センサからの車両挙動情報と、を比較することで、車両挙動センサから得られる情報の正確性を診断して、診断結果に応じた車両挙動情報を選択して出力すると共に、出力データの組成について通知する情報を併せて出力する。

例えば、車両挙動センサ情報診断及び挙動情報選択部１０８では、車両挙動情報推定部１０６で推定されるヨーレート情報をＹｒｐ、車両挙動センサから得られるヨーレート情報をＹｒｓとした場合、ＹｒｐとＹｒｓの誤差の割合Ｙｒｒ（＝「例えば｛１−Ｙｒｓ÷Ｙｒｐ｝の絶対値」）が予め設定される任意の判定閾値Ｄｙより小さければ車両挙動センサのうちのヨーレートセンサの状態は良好であると判断して、車両挙動情報として車両挙動センサの情報をそのまま車両制御方法決定部１０９に対して出力すると共に、診断結果として車両挙動センサの状態が良好である旨を車両制御方法決定部１０９に対して通知する。

また車両挙動センサ情報診断及び挙動情報選択部１０８では、誤差の割合Ｙｒｒが判定閾値Ｄｙ以上である場合は、車両挙動センサ（例えば、ヨーレートセンサ）の出力値に異常があると判断して相関性がある他の車両挙動センサ（例えば、左右の車輪速センサ）の検出結果から算出した代替ヨーレート情報Ｙｒｓｐまたは車両挙動情報推定部１０６で推定される車両挙動情報であるヨーレート情報Ｙｒｐを、車両制御方法決定部１０９に対して出力すると共に、診断結果として車両挙動センサの状態に問題がある旨を車両制御方法決定部１０９に対して通知する。

また車両挙動センサ情報診断及び挙動情報選択部１０８において、車両挙動センサの状態に問題が有る場合において、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力するか、前記車両挙動情報推定部１０６で推定される車両挙動情報であるヨーレート情報Ｙｒｐを車両制御方法決定部１０９に対して出力するかの判断は、前述の車両挙動センサ（ヨーレートセンサ）から得られるヨーレート情報Ｙｒｓの診断と同様に、車両挙動情報推定部１０６で推定される車両挙動情報であるヨーレート情報Ｙｒｐと、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐとの誤差の割合（第２の誤差の割合）について評価して、この第２の誤差の割合Ｙｒｒ２が予め設定される任意の第２の判定閾値Ｄｙ２より小さければ代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力し、第２の誤差の割合Ｙｒｒ２が第２の判定閾値Ｄｙ２より大きければヨーレート情報Ｙｒｐを車両制御方法決定部１０９に対して出力する。但し、車両挙動情報推定部１０６で推定されるヨーレート情報Ｙｒｐを車両制御方法決定部１０９に対して出力する状態にある場合でも、静止物の捕捉状況などの要因によりヨーレート情報Ｙｒｐが算出出来ない場合があるので、その場合は代替ヨーレート情報Ｙｒｓｐの値を車両制御方法決定部１０９に対して出力する。

図３は、図１に示した車両挙動センサ情報診断及び挙動情報選択部１０８における処理の一例を示すフローチャートである。

図３のフローチャートを参照して、車両挙動センサ情報診断及び挙動情報選択部１０８における、上述の車両挙動センサの診断処理と診断結果に基づく出力処理についてさらに説明する。

ステップ３０１では、誤差の割合Ｙｒｒが閾値Ｄｙよりも小さいかを判定し、小さい場合には、ステップ３１０に進み、ヨーレートセンサから得たヨーレート情報Ｙｒｓを車両制御方法決定部１０９に対して出力し、診断結果としてヨーレートセンサの状態が良好である旨を車両制御方法決定部１０９に対して通知する。またステップ３１０では、閾値Ａを初期値に設定する。その後、ステップ３１１では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。

ステップ３０１において、誤差の割合Ｙｒｒが閾値Ｄｙ以上である場合には、ステップ３０２に進む。ステップ３０２において、ＮＯの割合とは、ステップ３０１の判定でＹＥＳ（誤差の割合Ｙｒｒが閾値Ｄｙよりも小さい）となった回数と、ＮＯ（誤差の割合Ｙｒｒが閾値Ｄｙ以上）となった回数との割合であり、ＮＯとなった回数が増えるほどＮＯの割合が大きくなる。ステップ３０２では、このＮＯの割合が閾値Ａよりも小さいかを判定する。これは、ヨーレートセンサから得たヨーレート情報Ｙｒｓが、ノイズなどによって一時的に異常な値を示した場合を除外するためである。

ステップ３０２において、ＮＯの割合が閾値Ａよりも小さい場合には、ステップ３１０に進み、ヨーレートセンサから得たヨーレート情報Ｙｒｓを車両制御方法決定部１０９に対して出力し、診断結果としてヨーレートセンサの状態が良好である旨を車両制御方法決定部１０９に対して通知する。またステップ３１０では、閾値Ａを初期値に設定する。その後、ステップ３１１では、トリガ入力、即ち、例えば図２を参照して説明した画像処理
（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。

ステップ３０２において、ＮＯの割合が閾値Ａ以上である場合には、ステップ３０３に進む。

ステップ３０３では、閾値Ａを初期値よりも小さい値に変更し、その後ステップ３０４に進む。

続いて、ステップ３０４では、誤差の割合Ｙｒｒ２が閾値Ｄｙ２よりも小さいかを判定し、小さい場合には、ステップ３１２に進み、他の車両挙動センサ（例えば、左右の車輪速センサ）の検出結果から算出した代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力し、診断結果として、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐが良好である旨を車両制御方法決定部１０９に対して通知し、また、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐを出力した旨を車両制御方法決定部１０９に対して通知する。またステップ３１２では、閾値Ｂを初期値に設定する。その後、ステップ３１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。

ステップ３０４において、誤差の割合Ｙｒｒ２が閾値Ｄｙ２以上である場合には、ステップ３０５に進む。ステップ３０５において、ＮＯの割合とは、ステップ３０４の判定でＹＥＳ（誤差の割合Ｙｒｒ２が閾値Ｄｙ２よりも小さい）となった回数と、ＮＯ（誤差の割合Ｙｒｒ２が閾値Ｄｙ２以上）となった回数との割合であり、ＮＯとなった回数が増えるほどＮＯの割合が大きくなる。ステップ３０５では、このＮＯの割合が閾値Ｂよりも小さいかを判定する。これは、代替ヨーレート情報Ｙｒｓｐが、ノイズなどによって一時的に異常な値を示した場合を除外するためである。

ステップ３０５において、ＮＯの割合が閾値Ｂよりも小さい場合には、ステップ３１２に進み、代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力し、診断結果として、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐが良好である旨を車両制御方法決定部１０９に対して通知し、また、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐを出力した旨を車両制御方法決定部１０９に対して通知する。またステップ３１２では、閾値Ｂを初期値に設定する。その後、ステップ３１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。

ステップ３０５において、ＮＯの割合が閾値Ｂ以上である場合には、ステップ３０６に進む。

ステップ３０６では、閾値Ｂを初期値よりも小さい値に変更し、その後ステップ３０７に進む。

続いて、ステップ３０７では、車両挙動情報推定部１０６で推定される車両挙動情報であるヨーレート情報Ｙｒｐが算出可能であるかを判定する。上述のように、撮像部１０１ａ及び１０１ｂで撮影した画像に基づき、静止物の捕捉状況などの要因によりヨーレート情報Ｙｒｐが算出出来ない場合がある。ステップ３０７において、ヨーレート情報Ｙｒｐが算出不可能であった場合には、ステップ３１２に進む。このステップ３１２では、代替ヨーレート情報Ｙｒｓｐを車両制御方法決定部１０９に対して出力し、診断結果として、ヨーレート情報Ｙｒｐが算出不可能である旨を車両制御方法決定部１０９に対して通知し、また、他の車両挙動センサの検出結果から算出した代替ヨーレート情報Ｙｒｓｐを出力した旨を車両制御方法決定部１０９に対して通知する。また、このステップ３１２では、閾値Ｂを初期値に設定する。その後、ステップ３１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。

ステップ３０７において、ヨーレート情報Ｙｒｐが算出可能であった場合には、ステップ３０８に進み、ステップ３０８では、ヨーレート情報Ｙｒｐを車両制御方法決定部１０９に対して出力し、診断結果として、ヨーレート情報Ｙｒｐが算出可能である旨を車両制御方法決定部１０９に対して通知し、また、ヨーレート情報Ｙｒｐを出力した旨を車両制御方法決定部１０９に対して通知する。またステップ３０８では、閾値Ｂを初期値に設定してもよい場合があり、閾値Ｂを変更しなくてもよい場合がある。その後、ステップ３０９では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ３０１に戻る。

なお、本実施例では、ヨーレートセンサで検出したヨーレートを例に説明したが、本発明はこれに限られるものではなく、車両挙動センサ情報診断及び挙動情報選択部１０８は、車速センサや加速度センサ等のその他の車両挙動センサからの情報に対しても車両挙動情報推定部１０６で推定される車両挙動情報を利用して同様の診断を行って、診断結果に応じた挙動情報の出力も合わせて行うことが出来るものである。

図１の説明に戻り、車両制御方法決定部１０９は、マップ情報生成及び障害物相対速度情報抽出部１０４で生成されたマップ情報とマップ上に置かれた障害物の相対速度情報と車両挙動情報から推定される将来の車両の軌道とを照らし合せて、レーンからの逸脱や障害物との衝突の可能性を評価する。この評価の結果、現在の車両の挙動状態が継続した場合にレーンから逸脱したり、障害物と衝突したりする危険があると判断される場合は、それを回避するための車両制御方法（舵角調整や速度調整）を示す制御命令や、運転者に警報を出力する命令を示す情報を生成する。

さらに、車両制御方法決定部１０９は、前記マップ情報から走行可能領域を抽出して舵角調整や速度調整を行いながら自動的に走行可能領域を走行するための車両制御方法を示す制御命令を生成する機能を併せて実現する。

ここで、前記自動的に走行可能領域を走行するための車両制御方法を示す制御命令を生成する際における速度調整の調整量は、車両挙動センサ情報診断及び挙動情報選択部１０８で診断される車両挙動センサの状態を参照して、車両挙動センサの状態に応じて任意に設定される制限値で制限されるようにしておく。例えば、全ての車両挙動センサの状態が良好な場合（例えば、ステップ３１０に到った場合）、通常走行状態（例えば、高速道路なら最高速度を１００ｋｍ／ｈ＝道路規制の最高制限速度を目標）とする。また、全ての車両挙動センサうち少なくとも一つの車両挙動センサの状態に問題があるが相関性のある他の車両挙動センサから算出した代替情報の精度が高いと判断される場合（例えば、ステップ３０４においてＹＥＳで進んでステップ３１２に到った場合）では、中速走行状態（例えば、高速道路なら最高速度を５０ｋｍ／ｈ＝道路規制の最低制限速度を目標）とすることで、車両挙動情報の不確実性により発生する将来の車両の予測軌道と実際の軌道ずれ量を、一回の処理単位時間の観点で小さくして、ずれ量を吸収するように制御量を調整することで容易に修正できるようにする。さらに、車両挙動センサから算出した代替情報の精度が低いと判断される状態（例えば、ステップ３０７においてＮＯで進んでステップ３１２に到った場合や、ステップ３０８に到った場合）では、ハザードランプを点灯させるなど他の交通に注意を促しつつ低速走行状態（例えば、最高速度を１０ｋｍ／ｈ＝徐行程度）とすることで、前記中速走行状態よりもさらに軌道のずれを容易に修正できるようにする。この処理について図４を参照してさらに説明する。

図４は、図１に示した車両挙動センサ情報診断及び挙動情報選択部１０８による診断結果を利用した、車両制御方法決定部１０９での処理の一例を示すフローチャートである。

まず、ステップ４０１では、車両挙動センサ（例えば、ヨーレートセンサ）の状態が良好であるか、即ち、図３のステップ３１０による車両挙動センサの状態が良好である旨の通知を受けたかを判定する。ステップ４０１で良好と判定された場合には、ステップ４１０に進む。ステップ４１０では、上述の通常走行状態の制御を行うよう設定し、また、閾値Ｃを初期値に設定する。その後、ステップ４１１では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。

ステップ４０１で良好でないと判定された場合には、ステップ４０２に進む。ステップ４０２において、ＮＯ回数とは、ステップ４０１の判定でＮＯ（車両挙動センサの状態が良好でない）となった回数である。ステップ４０２では、このＮＯ回数が閾値Ｃよりも少ないかを判定する。これは、通常走行状態、中速走行状態、低速走行状態の移行がノイズの影響で頻繁に起こらないように制御状態の判定にヒステリシスを設けているものである。

ステップ４０２において、ＮＯ回数が閾値Ｃよりも少ない場合には、ステップ４１０に進む。ステップ４１０では、上述の通常走行状態の制御を行うよう設定し、また、閾値Ｃを初期値に設定する。その後、ステップ４１１では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。

ステップ４０２において、ＮＯ回数が閾値Ｃ以上である場合には、ステップ４０３に進む。

ステップ４０３では、閾値Ｃを初期値よりも小さい値に変更し、その後ステップ４０４に進む。

続いて、ステップ４０４では、代替センサである他の車両挙動センサ（例えば、左右の車輪速センサ）の検出結果から算出した代替情報（例えば、代替ヨーレート情報Ｙｒｓｐ）が良好であるか、即ち、図３のステップ３０４でＹＥＳ判定となりステップ３１２に進んだ場合または図３のステップ３０５でＹＥＳ判定となりステップ３１２に進んだ場合のステップ３１２による他の車両挙動センサの検出結果から算出した代替情報（例えば、代替ヨーレート情報Ｙｒｓｐ）が良好である旨の通知を受けたかを判定する。ステップ４０４で良好と判定された場合には、ステップ４１２に進む。ステップ４１２では、上述の中速走行状態の制御を行うよう設定し、また、閾値Ｄを初期値に設定する。その後、ステップ４１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。

ステップ４０４で良好でないと判定された場合には、ステップ４０５に進む。ステップ４０５において、ＮＯ回数とは、ステップ４０４の判定でＮＯ（他の車両挙動センサの検出結果から算出した代替情報が良好でない）となった回数である。ステップ４０５では、このＮＯ回数が閾値Ｄよりも少ないかを判定する。これは、通常走行状態、中速走行状態、低速走行状態の移行がノイズの影響で頻繁に起こらないように制御状態の判定にヒステリシスを設けているものである。

ステップ４０５において、ＮＯ回数が閾値Ｄよりも少ない場合には、ステップ４１２に進む。ステップ４１２では、上述の中速走行状態の制御を行うよう設定し、また、閾値Ｄを初期値に設定する。その後、ステップ４１３では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。

ステップ４０５において、ＮＯ回数が閾値Ｄ以上である場合には、ステップ４０６に進む。

ステップ４０６では、閾値Ｄを初期値よりも小さい値に変更し、その後ステップ４０７に進む。

ステップ４０７では、上述の低速走行状態の制御を行うよう設定する。その後、ステップ４０８では、トリガ入力、即ち、例えば図２を参照して説明した画像処理（例えば、タイマ割込みによって実行される）の実行される周期の経過を待ち、経過したならばステップ４０９に進む。ステップ４０９では、自動制御の終了であるか（例えば、運転者による自動制御終了指示があったか）を判定し、ステップ４０９において自動制御の終了であれば処理を終了し、自動制御の終了でなければステップ４０１に戻る。

なお、前記低速走行状態では、主な車両挙動情報として車両挙動情報推定部１０６で推定される車両挙動情報を利用することを想定しているが、車両挙動情報推定部１０６で推定される車両挙動情報を生成する為の静止物体の捕捉状態が良好で安定的に車両挙動情報を取得できる場合では、車両の制御へのフィードバックが十分機能する頻度で車両挙動情が更新できる（即ち、高いフレームレートで撮像部１０１ａ、１０１ｂが駆動され、それに見合った頻度で車両挙動情報を取得できる）範囲で、前記低速走行状態での最高速度の設定を変更するようにしてもよい。

また、車両の自動制御において、舵角の制御量の制限については、車両固有の旋回性能を考慮して、走行速度に応じた舵角の制限値を設ける。

図１の説明に戻り、車両制御命令インターフェース１１０は、車両制御方法決定部１０９で生成された車両制御方法を示す制御命令や、運転者に警報を出力する命令を示す情報、を外部（例えば、不図示の各種電子制御装置）に出力する為のインターフェースであり、例えばＣＡＮなどの通信ネットワークに接続され、ネットワークのプロトコルに従って車両制御方法決定部１０９で生成された車両制御方法を示す制御命令や、運転者に警報を出力する命令を示す情報を出力する。各種電子制御装置では、この車両制御命令インターフェース１１０を介して得た各種命令に従い、車両の自動制御を実行可能である。

上述の撮像装置１００において、撮像部１０１ａ、１０１ｂについては、光学レンズと撮像素子の組み合わせで構築され、撮像部１０１ａ、１０１ｂの撮像結果（撮影画像）を分析する外界認識処理（例えば、物体抽出部１０２、障害物及びレーン情報抽出部１０３、マップ情報生成及び障害物相対速度情報抽出部１０４、静止物体情報抽出部１０５）、外界認識結果からえられる過去から現在までの実際の車両挙動情報（例えば、車両挙動情報推定部１０６によって得る）を利用した挙動センサの状態を診断処理（例えば、車両挙動センサ情報診断及び挙動情報選択部１０８）、適切な車両挙動情報の選択処理（例えば、車両挙動センサ情報診断及び挙動情報選択部１０８）、将来の挙動予測処理（例えば、車両制御方法決定部１０９）、車両挙動センサの状態に応じた適切な車両制御命令の生成処理（例えば、車両制御方法決定部１０９）を行う一連の処理については、演算処理を行うハードウェアロジックとマイクロコンピュータ等の演算手段と演算処理プログラムを組み合わせることで構築される。

上述の撮像装置１００によれば、撮像部１０１ａ、１０１ｂの撮像結果（撮影画像）を分析することで得た外界認識結果から過去から現在までの実際の車両挙動情報を把握して、実際の車両挙動情報を用いて車両挙動センサの状態を診断することが可能となる。

さらに、上述の撮像装置１００によれば、診断結果に基づいて適切な車両挙動情報を選択することで、適切に将来の挙動予測を行うことが可能となるため、車両挙動センサの状態に応じた適切な車両制御命令を生成することができる。

図５は、本発明の実施例２に係る撮像装置の構成を示すブロック図である。図５において、図１に示した実施例１と同様の構成については、同じ参照番号を付して詳しい説明を省略する。

実施例２に係る撮像装置５００では、実施例１に係る撮像装置１００の撮像部１０１ａ及び１０１ｂに代えて、アクティブレーダ部５０１及び撮像部５０２を設けている。

撮像部５０２は撮像部１０１ｂと同様の構成である。アクティブレーダ部５０１は、電磁波、レーザ等を照射し、その反射波を受信することで対象物までの距離情報を取得する装置である。

実施例１では外界情報の把握の目的で撮像部１０１ａ及び１０１ｂの２つの撮像部を設けてステレオマッチング処理を行うようにしているが、本発明はこれに限られるものではなく、外界情報が把握できる構成を有すればよく、例えば、図５に示すように、物体抽出の為の外界センサとしてアクティブレーダ部５０１を備える構成であってもよい。

撮像装置５００では、アクティブレーダ部５０１によって得た距離情報を利用して、対象物までの距離や、対象物との相対速度情報を抽出し、撮像部５０２で取得する画像情報から対象物の存在する方向と物体の識別を行うようにしている。

＜付記１＞
なお、以上説明した実施例は、
１．
車両の周囲の画像を取得する画像取得部（例えば、撮像部１０１ａ、１０１ｂ、５０２）と、
前記画像取得部で取得した画像に基づいて前記車両の挙動情報を推定する車両挙動推定部（例えば、車両挙動情報推定部１０６）と、
車両挙動センサ（例えば、ヨーレートセンサ、車速センサ、加速度センサ）で検知された前記車両の挙動情報を取得する車両挙動取得部（例えば、車両挙動センサ情報取得インターフェース１０７）と、
前記車両挙動取得部で取得した挙動情報と前記車両挙動推定部で推定した挙動情報とを比較することで、前記車両挙動センサの異常を検知する異常検知部（例えば、車両挙動センサ情報診断及び挙動情報選択部１０８）と、を備えることを特徴とする撮像装置、としたので、・車両挙動センサの不具合が生じたときに、その異常を検知することで、その補完的役割を果たし得る撮像装置を提供することができる。

また、以上説明した実施例は、
２．
１．に記載の撮像装置であって、
前記異常検知部で異常を検知した場合、前記車両挙動取得部で取得した挙動情報か、前記車両挙動推定部で推定した挙動情報か、を選択する車両挙動情報選択部（例えば、車両挙動センサ情報診断及び挙動情報選択部１０８）と、を備えることを特徴とする撮像装置、としたので、・異常のある挙動情報を選択しないことで、誤った制御を行わないようにすることができる場合がある。

また、以上説明した実施例は、
３．
２．に記載の撮像装置であって、
前記画像取得部で取得した画像から外界情報を抽出する外界情報抽出部（例えば、物体抽出部１０２、障害物及びレーン情報抽出部１０３、マップ情報生成及び障害物相対速度情報抽出部１０４、静止物体情報抽出部１０５）と、
前記車両挙動情報選択部で選択された挙動情報と、前記外界情報抽出部で抽出した外界情報と、に基づいて、前記車両の制御内容を決定する制御方法決定部（例えば、車両制御方法決定部１０９）と、を備えることを特徴とする撮像装置、としたので、・異常のある挙動情報を選択しないことで、正しい制御内容を決定することができる場合がある。

また、以上説明した実施例は、
４．
３．に記載の撮像装置であって、
前記車両挙動センサは複数の車両挙動センサであり、
前記車両挙動取得部は、前記複数の車両挙動センサのそれぞれで検知された前記車両の挙動情報を取得するものであり、
前記異常検知部は、前記複数の車両挙動センサのうちの一の車両挙動センサの異常を検知した場合に、前記車両挙動取得部で取得した前記複数の車両挙動センサのうちの前記一の車両挙動センサとは異なる他の車両挙動センサで検知された前記車両の挙動情報と、前記車両挙動推定部で推定した挙動情報と、を比較することで、前記他の車両挙動センサの診断を行うものであり、
前記制御方法決定部は、前記異常検知部による前記他の車両挙動センサの診断結果に基づいて、前記制御内容を決定する、ことを特徴とする撮像装置、としたので、・代替センサ（他の車両挙動センサ）の異常も考慮して、正しい制御を実行することができる場合がある。

また、以上説明した実施例は、
５．
４．に記載の撮像装置であって、
前記制御方法決定部は、前記異常検知部による前記他の車両挙動センサの診断結果が良好であった場合、前記他の車両挙動センサで検知された前記車両の挙動情報に基づいて、前記制御内容を決定する、ことを特徴とする撮像装置、としたので、・代替センサ（他の車両挙動センサ）の異常に応じて、正しい制御を実行することができる場合がある。

また、以上説明した実施例は、
６．
４．に記載の撮像装置であって、
前記制御方法決定部は、前記異常検知部による前記他の車両挙動センサの診断結果が良好でなかった場合、前記車両挙動推定部で推定した挙動情報に基づいて、前記制御内容を決定する、ことを特徴とする撮像装置、としたので、・代替センサ（他の車両挙動センサ）の異常に応じて、正しい制御を実行することができる場合がある。

また、以上説明した実施例は、
７．
３．に記載の撮像装置であって、
前記画像取得部は複数の撮像部であり、
前記外界情報抽出部は、前記複数の撮像部で取得した画像から外界情報を抽出する、ことを特徴とする撮像装置、としたので、・複数の撮像部を有するという簡単な構成でステレオ撮影を行い、高精度で外界情報を抽出することができる場合がある。

また、以上説明した実施例は、
８．
１．に記載の撮像装置であって、
前記画像取得部は複数の撮像部であり、
前記車両挙動推定部は、前記複数の撮像部で取得した画像に基づいて前記車両の挙動情報を推定する、ことを特徴とする撮像装置、としたので、・複数の撮像部を有するという簡単な構成でステレオ撮影を行い、高精度で車両の挙動情報を推定することができる場合がある。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０１ａ…撮像部、１０１ｂ…撮像部、１０２…物体抽出部、１０３…障害物及びレーン情報抽出部、１０４…マップ情報生成及び障害物相対速度情報抽出部、１０５…静止物体情報抽出部、１０６…車両挙動情報推定部、１０７…車両挙動センサ情報取得インターフェース、１０８…車両挙動センサ情報診断及び挙動情報選択部、１０９…車両制御方法決定部、１１０…車両制御命令インターフェース、５０１…アクティブレーダ部、５０２…撮像部。

Claims

車両の周囲の物体を検知して前記車両と物体の距離と方位の位置関係を物体情報として取得する物体抽出部と、
前記車両の周囲の物体を撮影した画像を取得する画像取得部と、
前記画像取得部で取得した画像からその特徴量に基づいて静止物体を特定して、前記特定された静止物体に対して前記物体抽出部で取得した前記物体情報の紐付けを行うことで、周囲の静止物体の位置と前記車両の位置関係を示す相対位置情報を任意の時刻毎に生成する静止物体情報抽出部と、
前記相対位置情報の任意の時刻毎の変化量に基づいて前記車両の挙動情報を推定する車両挙動推定部と、
複数の車両挙動センサのそれぞれで検知された前記車両の挙動情報を取得する車両挙動取得部と、
前記画像取得部で取得した画像から外界情報を抽出する外界情報抽出部と、
前記車両挙動取得部で取得した挙動情報と前記車両挙動推定部で推定した挙動情報とを比較することで、前記車両挙動センサの異常を検知する異常検知部と、
前記異常検知部で異常を検知した場合、前記車両挙動取得部で取得した挙動情報か、前記車両挙動推定部で推定した挙動情報か、を選択する車両挙動情報選択部と、
前記車両挙動情報選択部で選択された挙動情報と、前記外界情報抽出部で抽出した外界情報と、に基づいて、前記車両の制御内容を決定する制御方法決定部と、を備え、
前記異常検知部は、前記複数の車両挙動センサのうちの一の車両挙動センサの異常を検知した場合に、前記車両挙動取得部で取得した前記複数の車両挙動センサのうちの前記一の車両挙動センサとは異なる他の車両挙動センサで検知された前記車両の挙動情報と、前記車両挙動推定部で推定した挙動情報と、を比較することで、前記他の車両挙動センサの診断を行うものであり、
前記制御方法決定部は、
前記異常検知部による前記車両挙動センサの診断結果が全ての前記車両挙動センサで良好であった場合は、前記車両の制御内容を制限値で制限することなく制御し、
前記異常検知部による前記車両挙動センサの診断結果のうち、少なくとも一つの前記車両挙動センサの状態に問題があるが、相関性のある他の前記車両挙動センサから算出した代替情報の精度が高いと判断される場合は、前記車両の制御内容を第１制限値で制限して制御し、
前記異常検知部による前記車両挙動センサの診断結果のうち、少なくとも一つの前記車両挙動センサの状態に問題があり、かつ相関性のある他の前記車両挙動センサから算出した代替情報の精度が低いと判断される場合は、前記車両の制御内容を前記第１制限値より大きい値の第２制限値で制限して制御する
ことを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記画像取得部は複数の撮像部であり、
前記外界情報抽出部は、前記複数の撮像部で取得した画像から外界情報を抽出する
ことを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記画像取得部は複数の撮像部であり、
前記車両挙動推定部は、前記複数の撮像部で取得した画像に基づいて前記車両の挙動情報を推定する
ことを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記異常検知部は、前記車両挙動取得部で取得した挙動情報と前記車両挙動推定部で推定した挙動情報との誤差を求め、誤差が所定の閾値以下のときは該当する前記車両挙動センサの状態が良好であると判断し、誤差が前記閾値より大きいときは該当する前記車両挙動センサの状態に問題があると判断する
ことを特徴とする撮像装置。
請求項４に記載の撮像装置であって、
前記異常検知部は、過去に求めた前記誤差が前記閾値以下となった回数と前記閾値より大きくなった回数との比率に基づいて該当する前記車両挙動センサの状態を判断する
ことを特徴とする撮像装置。