JP5761109B2 - 運転支援装置 - Google Patents

Description

本発明は、運転支援装置に関する。

従来、車両周辺の画像に基づいて認識対象を認識する画像認識装置と、認識の結果をユーザに報知する運転支援装置が知られている。例えば特開２０１１−２２７００号公報は、移動体に搭載されたカメラにより撮像された車両周辺の画像内で認識領域をユーザに設定させ、設定された認識領域の画像情報に基づいて認識対象を認識する技術を開示している。

特開２０１１−２２７００号公報

しかし、この技術では、認識領域の設定後に移動体が移動すると、カメラの撮像範囲が変化し、設定された認識領域から認識対象の位置がずれてしまう。この場合、ユーザは、認識対象の位置に合わせて認識領域を再設定するために煩雑な操作を強いられてしまう。

そこで、本発明は、認識対象を認識するための認識領域の設定後に撮像範囲が変化した場合でも認識領域の再設定を必要としない、運転支援装置を提供しようとするものである。

本発明の運転支援装置は、車両に搭載される撮像装置により撮像された車両周辺の画像を表示する表示部と、画像内で認識対象を表示する認識領域をユーザの指定により設定し、車両が移動した際にその移動に応じて画像内で認識領域の設定内容を調整する設定部と、認識領域の画像情報に基づいて、認識対象を認識して認識対象の状態変化を検知する認識部と、認識対象の状態変化が検知された場合、報知装置を制御してユーザに報知する報知部と、認識対象の視認に適した第１の画像内で設定された認識領域を、車両に搭載される他の撮像装置により撮像された車両周辺の画像であり、認識対象の状態変化の検知に適した第２の画像内の認識領域に変換する変換部とを備え、認識部は、第２の画像内の認識領域の画像情報に基づいて認識対象を認識し、認識対象の状態変化を検知する。

このような運転支援装置によれば、認識領域が設定された後に車両が移動しても、その移動に応じて調整された認識領域の画像情報に基づいて認識対象が認識され、認識対象の状態変化が検知されてユーザに報知される。これにより、認識領域の設定後に撮像範囲が変化した場合でも認識領域の再設定を必要とせず、ユーザによる煩雑な操作を抑制できる。また、認識領域の設定の容易さを損なわずに、認識対象の状態変化を精度よく検知できる。

また、認識部は、信号機表示を認識し、報知部は、停車表示から進行可能表示への信号機表示の状態変化が検知された場合、報知処理を行ってもよい。これにより、ユーザは、信号機を注視していなくても、発進可能状態を感知できる。

また、認識部は、車両の先行車両を認識し、報知部は、停車状態から発進状態への先行車両の状態変化が検知された場合、報知処理を行ってもよい。これにより、ユーザは、先行車両を注視していなくても、発進可能状態を感知できる。

また、認識部は、車両が停車状態から発進し、速度が第１の速度閾値以上に達したこともしくは走行距離が第１の距離閾値以上に達したことが検知された場合、または車両が移動した際に認識領域が撮像装置の撮像範囲から外れた場合、認識対象の認識を終了してもよい。これにより、車両の発進後に認識対象の認識を自動的に終了できる。

また、報知部は、認識対象の状態変化が検知された場合、車両が停車状態から発進し、速度が第２の速度閾値以上に達したこともしくは走行距離が第２の距離閾値以上に達したことが検知されるまで、報知処理を行ってもよい。これにより、報知の内容が十分に感知されるまで、報知を確実に継続できる。

また、表示部は、車両の速度が第３の速度閾値以上に達していることが検知された場合、画像を表示しなくてもよい。これにより、車両の走行中に画像の表示を抑制できる。

本発明によれば、認識対象を認識するための認識領域の設定後に撮像範囲が変化した場合でも認識領域の再設定を必要としない、運転支援装置を提供することができる。

第１の実施形態に係る運転支援装置の構成を示すブロック図である。 図１に示した運転支援装置の動作を示すフローチャートである。 図１に示した運転支援装置の動作を示す説明図である。 図１に示した運転支援装置の動作を示す説明図である。 図１に示した運転支援装置の動作を示す説明図である。 第２の実施形態に係る運転支援装置の構成を示すブロック図である。 図６に示した運転支援装置の動作を示すフローチャートである。 第３の実施形態に係る運転支援装置の構成を示すブロック図である。 図８に示した運転支援装置の動作を示すフローチャートである。 第４の実施形態に係る運転支援装置の構成を示すブロック図である。 図１０に示した運転支援装置の動作を示すフローチャートである。 第５の実施形態に係る運転支援装置の構成を示すブロック図である。 図１２に示した運転支援装置の動作を示すフローチャートである。

以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

以下では、図１から図５を参照して、本発明の第１の実施形態に係る運転支援装置１０について説明する。第１の実施形態に係る運転支援装置１０は、認識対象を認識するための認識領域の設定後に撮像範囲が変化した場合でも認識領域の再設定を必要とせず、ユーザによる煩雑な操作を抑制できる装置である。

まず、図１を参照して、運転支援装置１０の構成について説明する。図１は、第１の実施形態に係る運転支援装置１０の構成を示すブロック図である。運転支援装置１０は、例えば車両に搭載されたナビゲーション装置の一機能として実装される。運転支援装置１０には、図１に示すように、撮像装置６１、検出装置６２、報知装置６３が接続されている。

撮像装置６１は、車両の内部または外部に設置されるカメラである。撮像装置６１は、車両の周辺、特に車両の前方を撮像し、撮像した画像を運転支援装置１０に供給する。撮像範囲は、車両の移動状態に応じて変化する。なお、画像は、カラー画像であることが好ましいが、後述する認識領域の設定が可能であり、認識領域内で認識対象の認識が可能であれば、白黒画像、輝度画像、赤外線画像、スペクトル画像などでもよい。

検出装置６２は、車両に設置され、車両の移動状態を検出する。検出装置６２としては、ＧＰＳ（Global Positioning System）センサ、車輪速センサ（車輪のエンコーダパルス情報など）、加速度センサ、操舵角センサなどが用いられる。検出装置６２は、車両の移動状態を検出し、移動情報として運転支援装置１０に供給する。

報知装置６３は、車両に設置され、例えば車両が発進可能であることをユーザに報知する。発進可能であることの報知は、例えば、信号待ち停車中に信号機表示が停車表示（例えば赤信号）から進行可能表示（例えば青信号）に変更された場合、渋滞停車中に先行車両が発進した場合などに行われる。報知装置６３としては、ディスプレイ１１、スピーカ、ＬＥＤなどの発光装置（座席の前方にユーザの目線の高さで設置される。）、バイブレータ（シート、ステアリング、ブレーキペダルなどに設置される。）などが用いられる。報知装置６３は、運転支援装置１０からの制御信号に基づいて、音声、発光、振動などを用いて報知を行う。

運転支援装置１０は、ディスプレイ１１とＥＣＵ１２（Electronic Control Unit）を備えている。ディスプレイ１１は、車両に搭載される撮像装置６１により撮像された車両周辺の画像を表示するように構成されている表示部として機能する。ディスプレイは、車両周辺の画像と後述する認識領域の範囲を表示する。

ＥＣＵ１２は、表示制御部１３、設定部１４、認識部１５、報知部１６を備えている。ＥＣＵ１２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有しており、ＣＰＵは、ＲＯＭなどに記憶されているプログラムを読み出してＲＡＭ上で実行することにより、表示制御部１３、設定部１４、認識部１５、報知部１６の機能を実現する。なお、表示制御部１３、設定部１４、認識部１５、報知部１６は、２つ以上のＥＣＵにより実現されてもよい。なお、ＥＣＵ１２の一部（表示制御部１３、設定部１４、認識部１５）は、ディスプレイ１１とともに画像認識装置を構成する。

表示制御部１３は、ディスプレイ１１の表示を制御するように構成されている。表示制御部１３は、撮像装置６１から供給される画像を所定のフレームレートで表示するようにディスプレイ１１を制御する。また、表示制御部１３は、設定部１４から供給される設定情報に基づいて認識領域の範囲の表示を制御する。画像の表示範囲と認識領域の範囲は、車両の移動状態に応じて変化する。

設定部１４は、画像内で認識対象を表示する認識領域をユーザの指定により設定するように構成されている。設定部１４には、図示されていないポインティングデバイス、例えばディスプレイ１１と一体化されたタッチパネルディスプレイなどの入力装置が接続されている。設定部１４は、認識領域の全体または一部を指定する指定情報を、入力装置を介してユーザから取得し、指定情報に基づいて認識領域を設定し、認識領域の設定情報を表示制御部１３と認識部１５に供給する。なお、認識領域の設定に際しては、認識部１５による認識対象の認識結果（パターンマッチングなど）に基づいて認識領域を特定することが好ましい。

認識部１５は、認識領域の画像情報に基づいて認識対象を認識し、認識対象の状態変化を検知するように構成されている。認識部１５は、撮像装置６１から画像を供給され、設定部１４から設定情報を供給される。認識部１５は、認識領域の画像情報に対してパターンマッチングなどの画像処理を施すことにより認識対象を認識し、認識対象の状態変化を報知部１６に通知する。認識対象の状態変化は、例えば認識対象の画像情報（例えば明度、彩色、形状、大きさなど）の変化として検知される。

認識部１５は、認識領域の画像情報に基づいて信号機表示を認識し、信号機表示の状態変化を検知してもよい。認識部１５は、例えば、停車表示から進行可能表示への信号機表示の状態変化を検知する。

また、認識部１５は、認識領域の画像情報に基づいて先行車両を認識し、先行車両の状態変化を検知してもよい。認識部１５は、例えば、停車状態から発進状態への先行車両の状態変化を検知する。

ここで、設定部１４は、車両の移動に応じて画像内で認識領域の設定内容を調整するように構成されている。つまり、設定部１４は、認識領域内の認識対象を移動前後の画像内でトラッキングするように認識領域の設定内容を調整する。設定部１４は、検出装置６２から供給される移動情報に基づいて、車両の移動に応じて認識領域の設定内容を調整（拡大縮小、移動、回転など）する。なお、認識領域の設定内容の調整は、検出装置６２から供給される移動情報の他に、車両の移動前後における画像、特に背景領域の画像の変化に基づいて行われてもよい。

例えば、認識領域の設定後に車両がわずかに直進すると、車両が認識対象に接近して撮像範囲が変化するので、移動量に基づいて認識領域が拡大される。また、認識領域の設定後にハンドルが切られた状態で車両が前進すると、さらに車両が操舵方向に移動して撮像範囲が変化するので、移動量に基づいて認識領域が移動される。なお、認識領域の設定内容の調整に際しても、認識部１５による認識対象の認識結果（パターンマッチングなど）に基づいて認識領域を特定することが好ましい。

報知部１６は、認識対象の状態変化が検知された場合、報知装置６３を制御してユーザに報知するように構成されている。報知部６３は、例えば、車両が発進可能であることを報知する。報知部１６は、認識部１５から供給される検知結果に基づく制御信号を報知装置６３に供給することにより、報知装置６３の動作を制御する。また、報知部１６は、報知の継続時間が長くなるほど、大きな知覚刺激をユーザに加えるように報知装置６３の動作を制御してもよい。

つぎに、図２から図５を参照して、運転支援装置１０の動作について説明する。図２は、図１に示した運転支援装置１０の動作を示すフローチャートである。運転支援装置１０は、図２に示す処理を設定周期で繰り返し実行する。

図２に示すように、撮像装置６１は、車両周辺を撮像する（ステップＳ１１）。ディスプレイ１１は、表示制御部１３から供給される画像を表示する（Ｓ１２）。ここで、画像は、車両が停車またはほぼ停車した場合に表示されることが好ましい。

設定部１４は、ユーザの指定により画像内で認識領域を設定したか否かを判定する（Ｓ１３）。認識領域を設定したと判定された場合、ディスプレイ１１は、画像に重ねて認識領域の範囲を表示する（Ｓ１４）。ここで、認識領域の設定は、運転支援装置１０とのインタラクションによりユーザが認識領域の範囲の表示を確認した場合に有効とされることが好ましい。なお、ステップＳ１３にて認識領域を設定したと判定されなかった場合、処理がステップＳ１１に復帰する。

認識領域が設定されると、認識部１５は、認識領域内の画像情報に基づいて認識対象の認識を開始する（Ｓ１５）。また、認識部１５は、検出装置６２から供給される移動情報に基づいて車両の移動が検知されたか否かを判定する（Ｓ１６）。車両の移動が検知されたと判定した場合、設定部１４は、その移動に応じて認識領域の設定内容を調整する（Ｓ１７）。設定領域の設定内容が調整されると、ディスプレイ１１は、認識領域の範囲の表示を更新する（Ｓ１８）。なお、ステップＳ１６にて車両の移動が検知されたと判定しなかった場合、処理がステップＳ１９に移行する。

認識部１５は、認識対象における状態変化が検知されたか否かを判定する（Ｓ１９）。状態変化とは、例えば、停車表示から進行可能表示への信号機表示の状態変化、停車状態から発進状態への先行車両の状態変化を意味する。状態変化が検知されたと判定した場合、認識部１５は、検知結果を報知部１６に供給する（Ｓ２０）。報知装置６３は、報知部１６から供給される制御信号に基づいてユーザに報知する（Ｓ２１）。なお、ステップＳ１９にて状態変化が検知されたと判定しなかった場合、処理が終了する。

図３から図５は、信号機表示の状態変化に基づいて、車両が発進可能であることを報知する場合における運転支援装置１０の動作例を示している。

図３に示す時点では、図３（ａ）に示すように、車両Ｃが信号待ちのために停止線Ｌの手前で停車している。ディスプレイ１１は、信号待ち停車中に車両Ｃの前方の画像を表示している。画像は、停車表示（図３に示す例では赤信号）の状態の信号機表示Ｓを示している。設定部１４は、例えば、画像上で信号機表示Ｓの周りまたは信号機表示Ｓの一部が指定されると、信号機表示Ｓを認識領域Ａとして設定する。すると、ディスプレイ１１は、図３（ｂ）に示すように、画像に重ねて信号機表示Ｓの範囲を認識領域Ａの範囲として表示する。

図４に示す時点では、図４（ａ）に示すように、車両Ｃが停車位置の調整のために停止線Ｌの位置まで移動して停車している。これにより、車両Ｃが信号機表示Ｓに接近して撮像範囲が変化し、画像上で信号機表示Ｓの範囲が拡大する。画像は、図３（ｂ）に示した画像よりも拡大された信号機表示Ｓを示している。すると、設定部１４は、認識領域Ａ内の信号機表示Ｓを移動前後の画像内でトラッキングし、車両Ｃの移動量に基づいて認識領域Ａを拡大するように認識領域Ａの設定内容を調整する。そして、ディスプレイ１１は、図４（ｂ）に示すように、移動後の画像に重ねて拡大された信号機表示Ｓを調整後の認識領域Ａの範囲として表示する。

図５に示す時点では、図５（ａ）に示すように、信号機表示Ｓが進行可能表示（図５に示す例では青信号）に変更されている。画像は、図５（ｂ）に示すように、進行可能表示の状態の信号機表示Ｓを示している。すると、認識部１５は、進行可能表示への状態変化を車両Ｃが発進可能な状態として検知する。そして、報知装置６３は、車両Ｃが発進可能であることを例えば音声情報としてユーザに報知する。

特に、信号機表示の状態変化を報知することにより、運転者による監視負担を軽減したり、発進操作の遅れを防止したりできる。また、信号機表示をユーザの指定により設定することにより、発進可能状態の報知が所望される際に、設定された認識領域内で信号機表示の状態変化を誤検知なしに検知できる。

あるいは、先行車両の状態変化を報知することにより、信号機表示の状態変化を検知できない場合でも、先行車両の状態変化を通じて発進可能状態を報知できる。また、信号機表示が進行可能表示になってから車両が実際に発進できるまでのタイムラグが長い場合、先行車両の発進に応じた適切なタイミングで発進可能状態を報知できる。

以上説明したように、第１の実施形態に係る運転支援装置１０によれば、認識領域が設定された後に車両が移動しても、その移動に応じて調整された認識領域の画像情報に基づいて認識対象が認識され、認識対象の状態変化が検知されてユーザに報知される。これにより、認識領域の設定後に撮像範囲が変化した場合でも認識領域の再設定を必要とせず、ユーザによる煩雑な操作を抑制できる。また、車両の移動に伴う画像の変化を認識対象の状態変化として誤検知することを抑制できる。

つぎに、図６から図７を参照して、本発明の第２の実施形態に係る運転支援装置２０について説明する。第２の実施形態に係る運転支援装置２０は、車両の発進後に認識対象の認識を自動的に終了できる装置である。なお、以下では、第１の実施形態と重複する説明を省略する。

まず、図６を参照して、運転支援装置２０の構成について説明する。図６は、第２の実施形態に係る運転支援装置２０の構成を示すブロック図である。

図６に示すように、運転支援装置２０のＥＣＵ２２は、第１の実施形態と同じ機能を有する表示制御部１３、報知部１６を備えるとともに、第１の実施形態から拡張された機能を有する設定部２４、認識部２５を備えている。

設定部２４は、車両の移動に応じて調整された認識領域が撮像装置６１の撮像範囲から外れたか否かを判定する。認識領域は、認識領域内の認識対象が移動前後の画像内でトラッキングできない場合に撮像範囲から外れたと判定される。

認識部２５は、車両の移動状態に応じて認識対象の認識を終了するように構成されている。認識部２５は、検出装置６２から供給される移動情報に基づいて認識対象の認識を自動的に終了する。

認識部２５は、車両が停車状態から発進し、車両の速度が第１の速度閾値以上に達したこと、または走行距離が第１の距離閾値以上に達したことが検知された場合、認識対象の認識を終了する。ここで、第１の速度閾値または第１の距離閾値は、車両の状態が発進状態に移行したと確実に判断できるような値として設定される。あるいは、認識部２５は、車両の移動に応じて調整された認識領域が撮像装置６１の撮像範囲から外れた場合、認識対象の認識を終了する。

つぎに、図７を参照して、運転支援装置２０の動作について説明する。図７は、図６に示した運転支援装置２０の動作を示すフローチャートである。

図７に示すように、ステップＳ１６にて車両の移動が検知されたと判定した場合、認識部２５は、車両の速度が第１の速度閾値以上または走行距離が第１の距離閾値以上に達したか否かを判定する（Ｓ３１）。また、ステップＳ１７にて認識領域の設定内容を調整する際に、設定部２４は、認識領域が撮像範囲から外れたか否かを判定する（Ｓ３２）。なお、ステップＳ３２は、ステップＳ１７の一環として処理されることが好ましいが、表示の都合上、ステップＳ１７の後続処理として示されている。そして、ステップＳ３１またはＳ３２にて速度もしくは距離の閾値を満たし、または認識領域が撮影範囲から外れたと判定した場合、認識部２５は、認識対象の認識を自動的に終了し、処理が終了する。

以上説明したように、第２の実施形態に係る運転支援装置２０によれば、車両が停車状態から発進し、車両の速度が第１の速度閾値以上に達したこと、もしくは走行距離が第１の距離閾値以上に達したことが検知された場合、または車両の移動に応じて調整された認識領域が撮像装置６１の撮像範囲から外れた場合、認識対象の認識が終了する。これにより、車両の発進後に認識対象の認識を自動的に終了できる。よって、認識対象の認識を終了するための操作を要さず、また車両の発進に伴う画像の変化を認識対象の状態変化として誤検知することも抑制できる。

つぎに、図８から図９を参照して、本発明の第３の実施形態に係る運転支援装置３０について説明する。第３の実施形態に係る運転支援装置３０は、報知の内容が十分に感知されるまで、報知を確実に継続できる装置である。なお、以下では、第１の実施形態と重複する説明を省略する。

まず、図８を参照して、運転支援装置３０の構成について説明する。図８は、第３の実施形態に係る運転支援装置３０の構成を示すブロック図である。

図８に示すように、運転支援装置３０のＥＣＵ３２は、第１の実施形態と同じ機能を有する表示制御部１３、設定部１４、認識部１５を備えるとともに、第１の実施形態から拡張された機能を有する報知部３６を備えている。

報知部３６は、車両の移動状態に応じて報知を終了するように構成されている。報知部３６は、検出装置６２から供給される移動情報に基づいて報知を自動的に終了する。

報知部３６は、車両が停車状態から発進し、車両の速度が第２の速度閾値以上に達したこと、または走行距離が第２の距離閾値以上に達したことが検知された場合、報知装置６３を制御して報知を終了する。つまり、報知部３６は、車両の移動状態が所定の閾値を満たすまで報知を継続する。ここで、第２の速度閾値または第２の距離閾値は、車両の状態が発進状態に移行しており、発進可能であることが十分に感知されたと判断できるような値として設定される。

つぎに、図９を参照して、運転支援装置３０の動作について説明する。図９は、図８に示した運転支援装置３０の動作を示すフローチャートである。

図９に示すように、ステップＳ２１にて報知が行われると、報知部３６は、車両の速度が第２の速度閾値以上または走行距離が第２の距離閾値以上に達したか否かを判定する（Ｓ４１）。そして、速度または距離の閾値を満たすと判定した場合、報知部３６は、報知を終了するための制御信号を報知装置６３に供給し、報知装置６３は、報知を終了する（Ｓ４２）。なお、ステップＳ４１にて速度または距離の閾値を満たすと判定しなかった場合、報知部３６は、ステップＳ２１に復帰して報知を継続する。これにより、車両の移動状態が所定の閾値を満たすまで報知を継続できる。

以上説明したように、第３の実施形態に係る運転支援装置３０によれば、車両が停車状態から発進し、車両の速度が第２の速度閾値以上に達したこと、または走行距離が第２の距離閾値以上に達したことが検知されるまで、ユーザへの報知が行われる。これにより、報知の内容が十分に感知されるまで、報知を確実に継続できる。よって、報知を終了するための操作を要さず、また報知の内容を過不足ない期間に亘って報知できる。

つぎに、図１０から図１１を参照して、本発明の第４の実施形態に係る運転支援装置４０について説明する。第４の実施形態に係る運転支援装置４０は、車両の走行中に画像の表示を抑制できる装置である。なお、以下では、第１の実施形態と重複する説明を省略する。

まず、図１０を参照して、運転支援装置４０の構成について説明する。図１０は、第４の実施形態に係る運転支援装置４０の構成を示すブロック図である。

図１０に示すように、運転支援装置４０のＥＣＵ４２は、第１の実施形態と同じ機能を有する設定部１４、認識部１５、報知部１６を備えるとともに、第１の実施形態から拡張された機能を有する表示制御部４３を備えている。

表示制御部４３は、車両の移動状態に応じて画像の表示をオン・オフするように構成されている。表示制御部４３は、検出装置６２から供給される移動情報に基づいて画像の表示を自動的にオン・オフする。

表示制御部４３は、車両の速度が第３の速度閾値以上に達していることが検知された場合、画像の表示をオフする。つまり、表示制御部４３は、車両が第３の速度閾値未満で走行し、または停車している間に画像を表示する。ここで、第３の速度閾値は、車両が停車し、またはほぼ停車していると判断できるような値として設定される。

つぎに、図１１を参照して、運転支援装置４０の動作について説明する。図１１は、図１０に示した運転支援装置４０の動作を示すフローチャートである。

図１１に示すように、ステップＳ１１にて画像が撮像されると、表示制御部４３は、車両の速度が第３の速度閾値以上であるか否かを判定する（Ｓ５１）。速度が速度閾値以上であると判定した場合、表示制御部４３は、画像の表示をオフにし、またはオフの状態に維持し、処理が終了する。一方、速度が速度閾値以上であると判定しなかった場合、表示制御部４３は、画像を表示し（Ｓ１２）、ステップＳ１３以降の処理が実行される。

以上説明したように、第４の実施形態に係る運転支援装置４０によれば、車両の速度が第３の速度閾値以上に達していることが検知された場合、画像が表示されない。これにより、車両の走行中に画像の表示を抑制できる。よって、不要な表示に伴うリソースの浪費またはユーザの注意力の低下を抑制できる。

つぎに、図１２から図１３を参照して、本発明の第５の実施形態に係る運転支援装置５０について説明する。第５の実施形態に係る運転支援装置５０は、認識領域の設定の容易さを損なわずに、認識対象の状態変化を精度よく検知できる装置である。なお、以下では、第１の実施形態と重複する説明を省略する。

まず、図１２を参照して、運転支援装置５０の構成について説明する。図１２は、第５の実施形態に係る運転支援装置５０の構成を示すブロック図である。

図１２に示すように、運転支援装置５０には、撮像装置６１（以下、第１の撮像装置６１と称する。）、検出装置６２、報知装置６３の他に第２の撮像装置６４が接続されている。検出装置６２と報知装置６３は、第１の実施形態と同一の機能を有する。

第１の撮像装置６１は、車両の内部または外部に設置されるカラーカメラなどである。第１の撮像装置６１は、認識対象の視認に適した画像（以下、第１の画像と称する。）として車両周辺を撮像し、撮像結果を運転支援装置５０、特に表示制御部１３に供給する。

第２の撮像装置６４は、車両の内部または外部に第１の撮像装置６１とは異なる位置に設置される、赤外線カメラ、スペクトルカメラなどの特殊カメラである。第２の撮像装置６４は、認識対象の状態変化の検知に適した画像（以下、第２の画像と称する。）として車両周辺を撮像し、撮像結果を運転支援装置５０、特に認識部５５に供給する。

運転支援装置５０のＥＣＵ５２は、表示制御部５３、設定部５４、認識部５５、報知部１６の他に、変換部５７を備えている。

表示制御部５３は、認識対象の視認に適した第１の画像を表示するようにディスプレイ１１を制御する。表示制御部５３は、変換部５７から供給される設定情報に基づいて認識領域の範囲の表示を制御する。

設定部５４は、認識対象の視認に適した第１の画像内で指定される認識領域を設定する。設定部５４は、ユーザの指定により設定される認識領域の設定情報を表示制御部５３と変換部５７に供給する。また、設定部５４は、車両の移動に応じて第２の画像内で認識領域の設定内容を調整するように構成されている。

変換部５７は、第１の画像内で設定された認識領域を第２の画像内の認識領域に変換するように構成されている。変換部５７は、第１の撮像装置６１と第２の撮像装置６４の間の設置位置の関係に基づいて、設定情報を座標変換することにより認識領域を変換する。

認識部５５は、認識対象の状態変化の検知に適した第２の画像内の認識領域の画像情報に基づいて認識対象を認識する。第２の画像内の認識領域は、第１の画像内の認識領域から変換された領域である。認識部５５は、第２の撮像装置６４から第２の画像を供給され、変換部５７から設定情報を供給される。

つぎに、図１３を参照して、運転支援装置５０の動作について説明する。図１３は、図１２に示した運転支援装置５０の動作を示すフローチャートである。

図１３に示すように、第１の撮像装置６１は、車両周辺を第１の画像として撮像する（ステップＳ６１）。また、第２の撮像装置６４は、車両周辺を第２の画像として撮像する（ステップＳ６２）。ディスプレイ１１は、表示制御部５３から供給される第１の画像を表示する（Ｓ６３）。

設定部５４は、ユーザの指定により第１の画像内で認識領域を設定したか否かを判定する（Ｓ６４）。認識領域を設定したと判定された場合、変換部５７は、第１の画像内に設定された認識領域を第２の画像内の認識領域に変換する（Ｓ６５）。また、ディスプレイ１１は、第１の画像に重ねて認識領域の範囲を表示する（Ｓ６６）。

認識領域が変換されると、認識部５５は、第２の画像の認識領域内の画像情報に基づいて認識対象の認識を開始する（Ｓ６７）。また、認識部５５は、検出装置６２から供給される移動情報に基づいて車両の移動が検知されたか否かを判定する（Ｓ６８）。車両の移動が検知されたと判定した場合、設定部５４は、その移動に応じて認識領域の設定内容を調整する（Ｓ６９）。認識領域の設定内容が調整されると、ディスプレイ１１は、認識領域の範囲の表示を更新する（Ｓ７０）。

また、認識部５５は、第２の画像の認識領域内での画像情報に基づいて、認識対象における状態変化が検知されたか否かを判定する（Ｓ７１）。状態変化が検知されたと判定した場合、認識部５５は、検知結果を報知部１６に供給する（Ｓ７２）。報知装置６３は、報知部１６から供給される制御信号に基づいてユーザに報知する（Ｓ７３）。

以上説明したように、第５の実施形態に係る運転支援装置５０によれば、認識対象の視認に適した第１の画像で設定された認識領域が、認識対象の状態変化の検知に適した第２の画像内の認識領域に変換され、第２の画像内の認識領域の画像情報に基づいて認識対象が認識される。これにより、認識領域の設定の容易さを損なわずに、認識対象の状態変化を精度よく検知できる。

なお、前述した実施形態は、本発明に係る画像認識装置、運転支援装置１０、２０、３０、４０、５０の好適な実施形態を説明したものであり、本発明に係る画像認識装置、運転支援装置１０、２０、３０、４０、５０は、本実施形態に記載したものに限定されるものではない。本発明に係る画像認識装置、運転支援装置１０、２０、３０、４０、５０は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る画像認識装置、運転支援装置１０、２０、３０、４０、５０を変形し、または他のものに適用したものであってもよい。

また、本発明は、前述した第１の実施形態に係る運転支援装置１０に、第２から第５の各実施形態に特徴的な機能を組み合わせた運転支援装置として実現されてもよい。

また、本発明は、前述した方法に従って、画像認識装置または運転支援装置１０、２０、３０、４０、５０の動作を実現するためのプログラム、または当該プログラムを記憶しているコンピュータ読取可能な記録媒体にも同様に適用することができる。

例えば、前述した実施形態の説明では、運転支援装置１０、２０、３０、４０、５０をナビゲーション装置の一機能として実装する場合について説明した。しかし、運転支援装置は、車両の内部に設置可能な情報処理端末の一機能として実装されてもよい。この場合、情報処理端末は、情報処理ユニットを内蔵し、例えば、カメラ、タッチパネルディスプレイ、スピーカに接続されている。

この場合、タッチパネルディスプレイは、カメラにより撮像された車両周辺の画像を表示する表示部として機能する。情報処理ユニットは、タッチパネルディスプレイを通じて画像内で認識対象を表示する認識領域をユーザの指定により設定し、車両が移動する際にその移動に応じて画像内で認識領域の設定内容を調整する設定部として機能する。また、情報処理ユニットは、認識領域の画像情報に基づいて認識対象を認識し、認識対象の状態変化を検知する認識部として機能する。ここで、車両の移動は、情報処理端末に設けられたＧＰＳセンサ、加速度センサにより検知されてもよく、車両周辺の画像を処理することにより検知されてもよい。また、情報処理ユニットは、認識対象の状態変化が検知された場合、スピーカを制御してユーザに報知する報知部として機能する。

１０、２０、３０、４０、５０…運転支援装置、１１…ディスプレイ、１２、２２、３２、４２、５２…ＥＣＵ、１３、４３、５３…表示制御部、１４、２４、５４…設定部、１５、２５、５５…認識部、１６、３６…報知部、５７…変換部、６１、６４…撮像装置、６２…検出装置、６３…報知装置。

Claims (9)

1. 車両に搭載される撮像装置により撮像された車両周辺の画像を表示する表示部と、
   前記画像内で認識対象を表示する認識領域をユーザの指定により設定し、前記車両が移動した際にその移動に応じて前記画像内で前記認識領域の設定内容を調整する設定部と、
   前記認識領域の画像情報に基づいて前記認識対象を認識し、前記認識対象の状態変化を検知する認識部と、
   前記認識対象の状態変化が検知された場合、報知装置を制御して前記ユーザに報知する報知部と、
   前記認識対象の視認に適した第１の画像内で設定された認識領域を、前記車両に搭載される他の撮像装置により撮像された車両周辺の画像であり、前記認識対象の状態変化の検知に適した第２の画像内の認識領域に変換する変換部とを備え、
   前記認識部は、前記第２の画像内の前記認識領域の画像情報に基づいて前記認識対象を認識し、前記認識対象の状態変化を検知する、
   運転支援装置。
2. 前記認識部は、前記認識領域の画像情報に基づいて信号機表示を前記認識対象として認識し、前記信号機表示の状態変化を検知し、
   前記報知部は、停車表示から進行可能表示への前記信号機表示の状態変化が検知された場合に報知処理を行う、請求項１に記載の運転支援装置。
3. 前記認識部は、前記認識領域の画像情報に基づいて先行車両を前記認識対象として認識し、前記先行車両の状態変化を検知し、
   前記報知部は、停車状態から発進状態への前記先行車両の状態変化が検知された場合に報知処理を行う、請求項１または２に記載の運転支援装置。
4. 前記認識部は、前記車両が停車状態から発進し、前記車両の速度が第１の速度閾値以上に達したことが検知された場合、前記認識対象の認識を終了する、請求項１〜３のいずれか一項に記載の運転支援装置。
5. 前記認識部は、前記車両が停車状態から発進し、前記車両の走行距離が第１の距離閾値以上に達したことが検知された場合、前記認識対象の認識を終了する、請求項１〜４のいずれか一項に記載の運転支援装置。
6. 前記認識部は、前記車両が移動した際に前記認識領域が前記撮像装置の撮像範囲から外れた場合、前記認識対象の認識を終了する、請求項１〜５のいずれか一項に記載の運転支援装置。
7. 前記報知部は、前記認識対象の状態変化が検知された場合、前記車両が停車状態から発進し、前記車両の速度が第２の速度閾値以上に達したことが検知されるまで報知処理を行う、請求項１〜６のいずれか一項に記載の運転支援装置。
8. 前記報知部は、前記認識対象の状態変化が検知された場合、前記車両が停車状態から発進し、前記車両の走行距離が第２の距離閾値以上に達したことが検知されるまで報知処理を行う、請求項１〜７のいずれか一項に記載の運転支援装置。
9. 前記表示部は、前記車両の速度が第３の速度閾値以上に達していることが検知された場合に前記画像を表示しない、請求項１〜８のいずれか一項に記載の運転支援装置。

Images