JP4797787B2

JP4797787B2 - 運転シーン変化検出装置、自動車及び運転シーン変化検出方法

Info

Publication number: JP4797787B2
Application number: JP2006136836A
Authority: JP
Inventors: 俊行清水
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2006-05-16
Filing date: 2006-05-16
Publication date: 2011-10-19
Anticipated expiration: 2026-05-16
Also published as: JP2007311921A

Description

本発明は、周囲環境の撮像結果に基づいて、運転シーンの変化を検出する運転シーン変化検出装置、自動車及び運転シーン変化検出方法に関する。

特許文献１に開示の技術では、動画像内の事物を特徴付けるデータベース（場所、位置、大きさ、色、形状、動き等）を持ち、動画像の中から事物を特定し、事物の生起率の連続性が非連続となる位置でシーンの変わり目を検出している。
特開２０００−２９３６９４号公報

しかしながら、運転シーンにおける周囲環境は、他車両の割込み、歩行者の出現、自車両の右左折、道路標識の出現等の様々な事物の組み合わせで非連続的に複雑に変化し、さらに、時刻や天候等の様々な要因によっても変化するため、データベースと対応付けてシーンを認識することは現実的ではなく、運転シーンの変化の検出精度を高めるには限界がある。
本発明の課題は、運転シーンの変化の検出精度をより高めることである。

前記課題を解決するために、本発明に係る運転シーン変化検出装置は、
自車両の周囲環境の時系列に沿った画像を撮影する撮像手段と、前記撮像手段が撮影した前記周囲環境の画像それぞれの複雑度を算出する複雑度算出手段と、前記複雑度算出手段が算出した複雑度の時系列データに対し、ウェーブレット変換を施して複数成分からなる信号群を出力するウェーブレット変換手段と、前記ウェーブレット変換手段が出力した複数成分からなる信号群に基づいて、運転シーン変化を検出する運転シーン変化検出手段と、を備え、前記複雑度算出手段は、前記撮像手段が撮影した前記画像からサンプリング時間ごとに静止画像を抽出し、その抽出した各静止画像のフラクタル次元を算出し、算出したフラクタル次元を前記複雑度の時系列データとして出力するようになっていることを特徴とする。

本発明によれば、撮影した周囲環境の画像それぞれの複雑度を算出し、算出した複雑度の時系列データに対し、ウェーブレット変換を施して得た複数成分からなる信号群に基づいて、運転シーン変化を検出することで、周囲環境が様々な事物の組み合わせで非連続的に変化する場合でも、周囲環境を複雑度として捉えて、その複雑度のパターンの変化特異点から運転シーンの変化を特定でき、運転シーンの変化の検出精度をより高くめることができる。

本発明を実施するための最良の形態（以下、実施形態という。）を図面を参照しながら詳細に説明する。
（第１の実施形態）
先ず第１の実施形態を説明する。
第１の実施形態は、本発明を適用した運転シーン変化検出装置である。
（構成）
図１は、車両に搭載した運転シーン変化検出装置を示す。
図１に示すように、動画入力部１、動画入力部１から入力された動画像から複雑度を算出するシーン変化検出部２、シーン変化検出部２の算出値に基づいて、ウェーブレット変換をするウェーブレット変換部３及び運転シーン変化検出部４を備えている。
動画入力部１は、カメラ等の動画像撮像手段であり、各方向に向くように車体に取り付けられており、各方角の運転シーンを撮像する。動画入力部１に入力された動画像は、シーン変化検出部２に出力される。

シーン変化検出部２は、動画入力部１から取り込まれた動画像からサンプリング時間Ｔで静止画像を抽出する。そして、シーン変化検出部２は、その抽出した連続する各静止画像の複雑度を算出する。例えば、シーン変化検出部２は、フラクタル次元等により複雑度を定量化する。そして、シーン変化検出部２は、複雑度の時系列データ（時系列信号）を作成して、その時系列データをウェーブレット変換部３に出力する。

ウェーブレット変換部３は、複雑度の時系列データについてウェーブレット変換により信号分解を行う。ここで、ウェーブレット変換部３は、検出したい運転シーンの変化に合わせて、適切なマザーウェーブレットを選択し、その選択したマザーウェーブレットを用いて、複数回のウェーブレット変換により信号分解を行う。このとき、変換回数（適用回数）に応じてマザーウェーブレットを適宜選択する。

図２は、信号がウェーブレット変換により分解される様子を模式的に示す。
信号Ｓは、１回のウェーブレット変換で近似成分Ａ１と詳細成分Ｄ１とに分解され、さらにウェーブレット変換を行うことで、それら近似成分Ａ１と詳細成分Ｄ１とに分解された信号がさらに近似成分と詳細成分とに分解される。例えば、１回のウェーブレット変換により分解して得た信号が近似成分Ａ１であれば、図２に示すように、さらにウェーブレット変換を行うことで、近似成分Ａ２と詳細成分Ｄ２とに分解される。

ウェーブレット変換部３は、図２に示すように分解した信号から必要成分のみを残し、他の成分の信号を０に設定して、逆ウェーブレット変換により信号の再構成を行う。
続いて、ウェーブレット変換部３は、再構成した信号の特徴点を強調するために重み関数による重み付けを行う。ここで、重み関数としては、たとえば同じ信号を掛け合わせる関数、すなわち、再構成された信号を２乗する関数が挙げられる。そして、ウェーブレット変換部３は、最終的に得た信号の時系列（パワー変化時系列）を作成して、その時系列データを運転シーン変化検出部４に出力する。

図３は、ウェーブレット変換部３の構成例を示す。
図３に示すように、ウェーブレット変換部３は、複雑度の時系列データを分解する正変換部３ａ、変換回数やマザーウェーブレットの選択等を行う変換特性設定部３ｅ、正変換部３ａで分解し信号群から所定の信号を除去する信号除去部３ｂ、信号除去部３ｂで所定の信号を除去した信号群を逆ウェーブレット変換する逆変換部３ｃ、及び逆変換部３ｃで得た信号を重み関数で重み付けする重み付け部３ｄを備えている。
運転シーン変化検出部４は、時系列データで所定の閾値よりも大きくなる箇所を、運転シーンの変化点として特定する。ここで、所定の閾値は実験値や経験値である。

（動作）
次に動作を説明する。
ここで、図４を用いて運転シーン変化検出装置の動作を説明する。
運転シーン変化検出装置では、動画入力部１が自車両周囲を撮像する（ステップＳ１）。続いて、シーン変化検出部２が、動画入力部１が撮像した動画像から一定時間（サンプリング時間Ｔ）ごとに静止画像を抽出して（ステップＳ２）、抽出した各静止画像（各時刻ｔにおける静止画像）の複雑度（フラクタル次元等）を算出し、算出した複雑度を時系列データとして、ウェーブレット変換部３に出力する（ステップＳ３）。これにより、図５に例として示すような複雑度を定量的に示すフラクタル次元の時系列データを得ることができる。

ウェーブレット変換部３では、この複雑度の時系列データをウェーブレット変換するために、先ず適切なマザーウェーブレットを選択し（ステップＳ４）、その選択したマザーウェーブレットを用いて、複雑度の時系列データをウェーブレット変換して信号を分解する（ステップＳ５）。そして、ウェーブレット変換部３が、分解した信号のうちの必要な信号のみを残して、逆ウェーブレット変換する（ステップＳ６）。さらに、ウェーブレット変換部３が、逆ウェーブレット変換した信号に重み関数を掛け合わせて、該信号を強調する（ステップＳ７）。

図６は、ウェーブレット変換部３の出力信号（フラクタル次元のパワー）の時系列データの一例を示す。
図６に示す出力信号（フラクタル次元のパワー）の時系列データは、前記図５の示すフラクタル次元の時系列データを、マザー関数ドベシー（例えば、マザー関数ドベシー２）により１回だけウェーブレット変換し、その後、必要成分の信号として高周波成分の信号のみを残す一方で、他の信号を０として再構成し、その後、その再構成した信号を２乗値にして得た値になる。

最後に、運転シーン変化検出部４が、そのようにして得た時系列データで所定の閾値よりも大きくなる箇所を、運転シーンの変化点として検出する（ステップＳ８）。
図６に番号（ラベル）を付したピーク（パワー）は、時系列データで所定の閾値よりも大きくなる箇所、すなわち運転シーンの変化点である。
図７は、図６に示す番号（ラベル）に対応する運転シーンの変化の態様を示し、図８〜図１８は、その番号に対応する運転シーンの変化を得た際の画像の変化を示す。

図６に示す番号１は、歩行者が横断する運転シーンの変化であり、このとき、図８に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号２は、先行車との車間距離が変化する運転シーンの変化であり、このとき、図９に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号３は、右カーブを走行するときの運転シーンの変化（ゆっくりとした変化）であり、このとき、図１０に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号４は、先行車との車間距離が変化する運転シーンの変化（ゆっくりとした変化）であり、このとき、図１１に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号５は、先行車との車間距離が変化する運転シーンの変化であり、このとき、図１２に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号６は、バスが割り込む運転シーンの変化であり、このとき、図１３に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号７は、交通量が増加する運転シーンの変化（ゆっくりとした変化）であり、このとき、図１４に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号８は、先行車との車間距離が変化する運転シーンの変化であり、このとき、図１５に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号９は、立体交差を通過する際の運転シーンの変化であり、このとき、図１６に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号１０は、バスが出現する運転シーンの変化であり、このとき、図１７に（ａ）から（ｂ）への変化として示すように、画像が変化する。また、図６に示す番号１１は、料金所を走行する際の運転シーンの変化であり、このとき、図１８に（ａ）から（ｂ）への変化として示すように、画像が変化する。
ここで、図６に示す番号３、４、１０の走行シーン変化は、ゆっくりとした変化であるが、図６に示すように、そのときのパワーは、大きい値として得られる。

（作用）
次に作用を説明する。
動画像から静止画像を連続して抽出していき、その各静止画像（画像全体）について複雑度（フラクタル次元等）の時系列データを作成して、その時系列データをウェーブレット変換及び逆ウェーブレット変換することで、その時系列データ中の特異点（パワーのピーク）を抽出している。そして、特異点を所定の閾値を用いて特定して、運転シーンの変化を検出している。

ここで、ウェーブレット変換は、複雑に変化する信号でも、一定期間内の信号変化（周波数特性）をパターンとして検出できることを特徴として有しており、本発明では、この特徴を利用して、前述の各静止画像（画像全体）について複雑度（フラクタル次元等）の時系列データから、複雑度変化をパターンとして捉えることで、そのパターンの変化特異点（運転シーンの変化）として抽出している。これにより、周囲環境が様々な事物の組み合わせで非連続的に変化する場合でも、周囲環境を複雑度として捉えて、その複雑度のパターンの変化特異点から運転シーンの変化を特定することができ、運転シーンの変化の検出精度をより高めることができる。

また、複雑度は、静止画像全体を対象として算出されるので、静止画像中の事物を検出する際の検出誤差等を抑制し、静止画像全体の特徴を適確に反映したデータとなるので、このような複雑度の時系列データを用いることで、運転シーンの変化の検出精度をより高めることができる。
また、フラクタル次元により静止画像の複雑度を算出することで、静止画像に含まれる数値的な特性を演算することができるので、簡単かつ高精度に運転シーンの変化を検出することができる。
また、逆ウェーブレット変換した信号を重み関数により重み付けすることで、該信号の特徴を強調している。これにより、該信号中の特異点を抽出し易くして、運転シーンの変化の検出精度をより高めことができる。

なお、前記第１の実施形態の説明において、動画入力部１は、自車両の周囲環境の時系列に沿った画像を撮影する撮像手段を実現しており、シーン変化検出部２は、前記撮像手段が撮影した前記周囲環境の画像それぞれの複雑度を算出する複雑度算出手段を実現しており、ウェーブレット変換部３（前記ステップＳ４〜ステップＳ６や正変換部３ａ、信号除去部３ｂ及び逆変換部３ｃ）は、前記複雑度算出手段が算出した複雑度の時系列データに対し、ウェーブレット変換を施して複数成分からなる信号群を出力するウェーブレット変換手段を実現しており、運転シーン変化検出部４は、前記ウェーブレット変換手段が出力した複数成分からなる信号群に基づいて、運転シーン変化を検出する運転シーン変化検出手段を実現している。

また、ウェーブレット変換部３（前記ステップＳ６や信号除去部３ｂ及び逆変換部３ｃ）は、前記ウェーブレット変換手段が出力した複数成分からなる信号群のうちの選択された一部を逆ウェーブレット変換し、変換して得た時系列データを出力する逆ウェーブレット変換手段を実現しており、ウェーブレット変換部３（前記ステップＳ７又は重み付け部３ｄ）は、前記逆ウェーブレット変換手段から出力される前記時系列データに重み付けすることで、該時系列データの特徴を強調する重み付け手段を実現している。

（効果）
（１）自車両の周囲環境の時系列に沿った画像を撮影する撮像手段と、前記撮像手段が撮影した前記周囲環境の画像それぞれの複雑度を算出する複雑度算出手段と、前記複雑度算出手段が算出した複雑度の時系列データに対し、ウェーブレット変換を施して複数成分からなる信号群を出力するウェーブレット変換手段と、前記ウェーブレット変換手段が出力した複数成分からなる信号群に基づいて、運転シーン変化を検出する運転シーン変化検出手段と、を備える。時系列データから、一定期間内の信号変化（周波数特性）をパターンとして検出できるウェーブレット変換の特徴を利用することで、周囲環境が様々な事物の組み合わせで非連続的に変化する場合でも、周囲環境を複雑度として捉えて、その複雑度のパターンの変化特異点から運転シーンの変化を特定でき、運転シーンの変化の検出精度をより高めることができる。また、複雑度は、動画像を構成する時系列の静止画像全体を対象として算出されるので、静止画像中の事物を検出する際の検出誤差等を抑制し、静止画像全体の特徴を適確に反映したデータとなるので、このような複雑度の時系列データを用いることで、運転シーンの変化の検出精度をより高めることができる。

（２）前記複雑度算出手段は、前記静止画像抽出手段が抽出した静止画像のフラクタル次元を算出し、算出したフラクタル次元を前記複雑度の時系列データとして出力する。これにより、静止画像に含まれる数値的な特性を演算することができるので、簡単かつ高精度に運転シーンの変化を検出することができる。

（３）前記ウェーブレット変換手段が出力した複数成分からなる信号群のうちの選択された一部を逆ウェーブレット変換し、変換して得た時系列データを出力する逆ウェーブレット変換手段と、前記逆ウェーブレット変換手段から出力される前記時系列データに重み付けすることで、該時系列データの特徴を強調する重み付け手段とを備え、前記運転シーン変化検出手段は、前記重み付け手段が重み付けした前記時系列データの変動から、運転シーンの変化を検出する。これにより、時系列データの特異点が抽出し易くなるので、運転シーンの変化の検出精度をより高めることができる。

（４）自車両の周囲環境の画像における複雑度の時間変化を、ウェーブレット変換を用いて解析した結果を基に、運転シーンの変化を検出する。時系列データから、一定期間内の信号変化（周波数特性）をパターンとして検出できるウェーブレット変換の特徴を利用することで、周囲環境が様々な事物の組み合わせで非連続的に変化する場合でも、周囲環境を複雑度として捉えて、その複雑度のパターンの変化特異点から運転シーンの変化を特定でき、運転シーンの変化の検出精度をより高めることが可能な運転シーン変化検出装置とすることができる。

（５）車体に搭載されて、自車両の周囲環境の時系列に沿った画像を撮影する撮像手段と、前記撮像手段が撮影した前記周囲環境の画像それぞれの複雑度を算出する複雑度算出手段と、前記複雑度算出手段が算出した複雑度の時系列データに対し、ウェーブレット変換を施して複数成分からなる信号群を出力するウェーブレット変換手段と、前記ウェーブレット変換手段が出力した複数成分からなる信号群に基づいて、運転シーン変化を検出する運転シーン変化検出手段と、を備える。時系列データから、一定期間内の信号変化（周波数特性）をパターンとして検出できるウェーブレット変換の特徴を利用することで、周囲環境が様々な事物の組み合わせで非連続的に変化する場合でも、周囲環境を複雑度として捉えて、その複雑度のパターンの変化特異点から運転シーンの変化を特定でき、運転シーンの変化の検出精度をより高くめることが可能な自動車とすることができる。

（６）自車両の周囲環境の時系列に沿った画像それぞれについて複雑度を算出する複雑度算出ステップと、前記複雑度算出ステップで算出された複雑度の時系列データに対し、ウェーブレット変換を施して複数成分からなる信号群を出力するウェーブレット変換ステップと、前記ウェーブレット変換ステップで出力された複数成分からなる信号群に基づいて、運転シーンの変化を検出する運転シーン検出特定ステップと、を含む。時系列データから、一定期間内の信号変化（周波数特性）をパターンとして検出できるウェーブレット変換の特徴を利用することで、周囲環境が様々な事物の組み合わせで非連続的に変化する場合でも、周囲環境を複雑度として捉えて、その複雑度のパターンの変化特異点から運転シーンの変化を特定でき、運転シーンの変化の検出精度をより高くめることが可能な運転シーン変化検出方法とすることができる。

（第２の実施形態）
次に第２の実施形態を説明する。
第２の実施形態は、本発明を適用した運転シーン変化検出装置である。
（構成）
第２の実施形態の運転シーン変化検出装置は、自車両と環境の相対速度に応じた運転シーンを検出することができるように構成されている。なお、第２の実施形態の運転シーン変化検出装置の構成は、前記図１に示した第１の実施形態の運転シーン変化検出装置の構成と同一である。

しかし、第２の実施形態では、ウェーブレット変換部３の処理内容を異ならせている。
図１９は、第２の実施形態におけるウェーブレット変換部３の処理手順を示す。
図１９に示すように、処理を開始すると、先ずステップＳ１１において、ウェーブレット変換部３は、前記第１の実施形態と同様に、検出したい運転シーンに合わせて、適切なマザーウェーブレットを選択する。
続いてステップＳ１２において、ウェーブレット変換部３は、検出したい運転シーンの変化と自車両との相対速度、例えば、運転シーンの変化をなす環境（事物）と自車両との相対速度を決定する。

続いてステップＳ１３において、ウェーブレット変換部３は、前記ステップＳ１２で決定した相対速度（相対速度に対応する周波数）に応じて、ウェーブレット変換の適用回数（変換回数）ｎを決定する。ここで、動きの速い（相対速度が大きい）運転シーンの変化を検出する場合、適用回数ｎを小さくし、動きの遅い（相対速度が小さい）運転シーンの変化を検出する場合、適用回数ｎを大きくする。例えば、動きの速い（相対速度が大きい）運転シーンの変化を検出する場合、適用回数ｎ＝１（１回と変換）とし、動きの遅い（相対速度が小さい）運転シーンの変化を検出する場合、適用回数ｎ≧２（２回以上の変換）とする。

続いてステップＳ１４において、ウェーブレット変換部３は、複雑度の時系列データについて、前記ステップＳ１３で決定した適用回数ｎだけウェーブレット変換を行う。
続いてステップＳ１５において、ウェーブレット変換部３は、前記第１の実施形態と同様に、分解した信号のうち必要な信号を残して、逆ウェーブレット変換する。

（動作）
次に動作を説明する。
運転シーン変化検出装置では、前記第１の実施形態と同様に、動画入力部１が自車両周囲を撮像し、続いて、シーン変化検出部２が、動画入力部１が撮像した動画像から一定時間（サンプリング時間Ｔ）ごとに静止画像を抽出するとともに、抽出した各静止画像（各時刻ｔにおける静止画像）の複雑度を算出し、算出した複雑度を時系列データとして、ウェーブレット変換部３に出力する。

そして、第２の実施形態では、ウェーブレット変換部３が、この複雑度の時系列データをウェーブレット変換するために、先ず適切なマザーウェーブレットを選択する一方で、検出したい運転シーンの変化と自車両との相対速度を決定する。そして、ウェーブレット変換部３は、その決定した相対速度に応じてウェーブレット変換の適用回数ｎを決定し、その決定した適用回数ｎだけウェーブレット変換を行う。ここで、動きの速い（相対速度が大きい）運転シーンを検出する場合、適用回数ｎを小さくし、動きの遅い（相対速度が小さい）運転シーンを検出する場合、適用回数ｎを大きくする。さらに、ウェーブレット変換部３が、分解した信号のうち必要な信号を残して、逆ウェーブレット変換して、その逆ウェーブレット変換した信号を重み関数により重み付けして、該信号の特徴を強調する。
最後に、運転シーン変化検出部４が、時系列データのうち所定の閾値よりも大きくなる箇所を、運転シーンの変化点として検出する。

（作用）
次に作用を説明する。
特に、第２の実施形態では、検出したい運転シーンの変化と自車両との相対速度（環境と自車両との相対速度）に基づいて、ウェーブレット変換の適用回数（変換回数）ｎを決定し、その決定した適用回数ｎだけウェーブレット変換を行っている。
ここで、ウェーブレット変換では、適用回数分だけ信号を階層化でき、適用回数が多いほど、時系列信号から抽出できる信号特性が低周波数に移行していく。本発明では、このようなウェーブレット変換の特徴を利用して、検出したい運転シーンの変化と自車両との相対速度が小さくなるほど、適用回数を多くして（例えば２回以上）、前記相対速度が小さい（ゆっくりとした）運転シーンの変化の検出精度を高くし、検出したい運転シーンの変化と自車両との相対速度が大きくなるほど、適用回数を少なくして（例えば１回）、相対速度が大きい（すばやい）運転シーンの変化の検出精度を高くしている。

例えば、前記図６に示すウェーブレット変換部３の出力信号（フラクタル次元のパワー）の時系列データは、相対速度が大きい運転シーンの変化を検出することを目的として、１回のウェーブレット変換で得た値である。これに対して、図２０に示すウェーブレット変換部３の出力信号（フラクタル次元のパワー）の時系列データは、相対速度が小さい運転シーンの変化を検出することを目的として、２回のウェーブレット変換で得た値である。

図６と図２０とを対比すると、２回のウェーブレット変換を行うと、ゆっくりとした運転シーンの変化を示す番号３、４、７のピークが強調されるようになる。
なお、この図６及び図２０から、高速な運転シーンの変化として検出されたシーン変化の中から、低速な運転シーンの変化（番号の３，４，７の運転シーンの変化）が検出されているが、これは各運転シーンの変化が高速な運転シーンの変化と低速な運転シーンの変化の両方の成分を含むことを意味している。そのため、高速な運転シーンの変化として検出されずに、低速な運転シーンの変化のみが検出されることもある。

なお、前記第２の実施形態の説明において、ウェーブレット変換部３は、前記複雑度算出手段が算出した複雑度の時系列データに対し、ウェーブレット変換を複数回施すウェーブレット変換手段を実現しており、運転シーン変化検出部４は、前記ウェーブレット変換手段が出力した前記信号群のうちの参照する信号のウェーブレット変換回数と、運転シーン変化の種類とを関連づけて検出する運転シーン変化検出手段を実現している。

（効果）
（１）前記ウェーブレット変換手段は、前記複雑度算出手段が算出した複雑度の時系列データに対し、ウェーブレット変換を複数回施し、前記運転シーン変化検出手段は、前記ウェーブレット変換手段が出力した前記信号群のうちの参照する信号のウェーブレット変換回数と、運転シーン変化の種類とを関連づけて検出する。ウェーブレット変換の変換回数（適用回数）により時系列信号から抽出できる信号特性（周波数）が異なることを利用し、ウェーブレット変換回数と、運転シーン変化の種類とを関連づけて運転シーンの変化を検出することで、運転シーンの変化の検出精度をより高めることができる。

（２）前記運転シーン変化検出手段は、自車両に対する相対速度がより大きい運転シーン変化を検出対象とするときほど、より少ないウェーブレット変換回数の信号を参照する。ウェーブレット変換では、変換回数が小さくなるほど、時系列信号から抽出できる信号特性が高周波数になっており、これを利用して、自車両に対する相対速度がより大きい運転シーン変化を検出対象とするときほど、より少ないウェーブレット変換回数の信号を参照することで、運転シーンの変化の検出精度をより高めることができる。

本発明の第１の実施形態の運転シーン変化検出装置の構成を示す図である。ウェーブレット変換の説明に使用した図である。前記運転シーン変化検出装置のウェーブレット変換部の構成例を示すブロック図である。前記運転シーン変化検出装置の動作手順を示すフローチャートである。フラクタル次元の経時変化を示す特性図である。フラクタル次元のパワーの経時変化を示す特性図である。図６に示す番号と運転シーンと対応を示す図である。歩行者が横断するときの撮像画像の変化を示す図である。先行車との車間距離が変化するときの撮像画像の変化を示す図である。右カーブを走行するときの撮像画像の変化を示す図である。先行車との車間距離が変化（ゆっくりと変化）するときの撮像画像の変化を示す図である。先行車との車間距離が変化するときの撮像画像の変化を示す図である。バスが割り込むときの撮像画像の変化を示す図である。交通量が増加するときの撮像画像の変化を示す図である。先行車との車間距離が変化するときの撮像画像の変化を示す図である。立体交差を通過するときの撮像画像の変化を示す図である。バスが出現するときの撮像画像の変化を示す図である。料金所を走行するときの撮像画像の変化を示す図である。第２の実施形態におけるウェーブレット変換部の処理手順を示すフローチャートである。ウェーブレット変換の適用回数を多くして得たフラクタル次元のパワーの経時変化を示す特性図である。

符号の説明

１動画入力部、２シーン変化検出部、３ウェーブレット変換部、３ａ正変換部、３ｂ信号除去部、３ｃ逆変換部、３ｄ重み付け部、３ｅ変換特性設定部、４運転シーン変化検出部

Claims

自車両の周囲環境の時系列に沿った画像を撮影する撮像手段と、
前記撮像手段が撮影した前記周囲環境の画像それぞれの複雑度を算出する複雑度算出手段と、
前記複雑度算出手段が算出した複雑度の時系列データに対し、ウェーブレット変換を施して複数成分からなる信号群を出力するウェーブレット変換手段と、
前記ウェーブレット変換手段が出力した複数成分からなる信号群に基づいて、運転シーン変化を検出する運転シーン変化検出手段と、
を備え、
前記複雑度算出手段は、前記撮像手段が撮影した前記画像からサンプリング時間ごとに静止画像を抽出し、その抽出した各静止画像のフラクタル次元を算出し、算出したフラクタル次元を前記複雑度の時系列データとして出力するようになっていることを特徴とする運転シーン変化検出装置。
前記撮像手段は、自車両の周囲環境の動画像を撮像する動画撮像手段であることを特徴とする請求項１記載の運転シーン変化検出装置。
前記ウェーブレット変換手段が出力した複数成分からなる信号群のうちの選択された一部を逆ウェーブレット変換し、変換して得た時系列データを出力する逆ウェーブレット変換手段と、
前記逆ウェーブレット変換手段から出力される前記時系列データに重み付けすることで、該時系列データの特徴を強調する重み付け手段と、を備え、
前記運転シーン変化検出手段は、前記重み付け手段が重み付けした前記時系列データの変動から、運転シーンの変化を検出することを特徴とする請求項１又は２に記載の運転シーン変化検出装置。
前記ウェーブレット変換手段は、前記複雑度算出手段が算出した複雑度の時系列データに対し、ウェーブレット変換を複数回施し、
前記運転シーン変化検出手段は、前記ウェーブレット変換手段が出力した前記信号群のうちの参照する信号のウェーブレット変換回数と、運転シーン変化の種類とを関連づけて検出することを特徴とする請求項１〜３の何れか１項に記載の運転シーン変化検出装置。
前記運転シーン変化検出手段は、自車両に対する相対速度がより大きい運転シーン変化を検出対象とするときほど、より少ないウェーブレット変換回数の信号を参照することを特徴とする請求項４に記載の運転シーン変化検出装置。
車体に搭載されて、自車両の周囲環境の時系列に沿った画像を撮影する撮像手段と、
前記撮像手段が撮影した前記周囲環境の画像それぞれの複雑度を算出する複雑度算出手段と、
前記複雑度算出手段が算出した複雑度の時系列データに対し、ウェーブレット変換を施して複数成分からなる信号群を出力するウェーブレット変換手段と、
前記ウェーブレット変換手段が出力した複数成分からなる信号群に基づいて、運転シーン変化を検出する運転シーン変化検出手段と、
を備え、
前記複雑度算出手段は、前記撮像手段が撮影した前記画像からサンプリング時間ごとに静止画像を抽出し、その抽出した各静止画像のフラクタル次元を算出し、算出したフラクタル次元を前記複雑度の時系列データとして出力するようになっていることを特徴とする自動車。
自車両の周囲環境の時系列に沿った画像それぞれについて複雑度を算出する複雑度算出ステップと、
前記複雑度算出ステップで算出された複雑度の時系列データに対し、ウェーブレット変換を施して複数成分からなる信号群を出力するウェーブレット変換ステップと、
前記ウェーブレット変換ステップで出力された複数成分からなる信号群に基づいて、運転シーンの変化を検出する運転シーン検出特定ステップと、
を含み、
前記複雑度算出ステップは、前記自車両の周囲環境の時系列に沿った画像からサンプリング時間ごとに静止画像を抽出し、その抽出した各静止画像のフラクタル次元を算出し、算出したフラクタル次元を前記複雑度の時系列データとして出力することを特徴とする運転シーン変化検出方法。