JP2009105741A - 車載周辺監視装置 - Google Patents

Abstract

【課題】ドライバーにとって重要なポイントを的確に表示することができる車載周辺監視装置を提供すること。
【解決手段】車両の周囲を撮影する撮像手段１３と、前記撮像手段１３により取得した映像において、予め設定された認識対象を認識する認識手段１１と、前記認識手段１１により認識した前記認識対象の位置に基づき、前記映像の一部を、特定領域として設定する設定手段１５と、前記特定領域を表示する表示手段１７と、を備えることを特徴とする車載周辺監視装置１。
【選択図】 図１

Description

本発明は、車両の周囲をカメラ等で撮影し、その映像を車室内で表示する車載周辺監視装置に関する。

従来より、車両の周辺をカメラで撮影し、その映像を車内のモニターに表示する技術が知られている。そして、広範囲を撮影するため、複数台のカメラを用いて撮影を行い、それぞれの画面を合成したり、魚眼レンズを用いたりする技術が提案されている。ただし、広範囲を撮影した映像をそのままモニターに表示しても、ドライバーにとって重要なポイントに対する認識度は低くなってしまう。

そこで、ナビゲーションと連携して、複数のカメラのうちから、必要なカメラを選択し、その選択したカメラの映像のみを表示する技術（特許文献１参照）や、魚眼レンズで撮影した広範囲の映像から、車両信号、ナビ情報に基づいて一部を切り出して表示する技術（特許文献２参照）が提案されている。
特開２００２−１１７４９６号公報 特開平９−２０２１８０号公報

しかしながら、特許文献１、２の技術は、いずれも、車両の走行状態等、予め定められた条件に従い、広い範囲の映像の中から、表示する領域を一律に設定するものであるから、個々の具体的な状況に応じ、ドライバーにとって重要なポイントを的確に表示することは出来なかった。

本発明は以上の点に鑑みなされたものであり、ドライバーにとって重要なポイントを的確に表示することができる車載周辺監視装置を提供することを目的とする。

（１）請求項１の発明は、
撮像手段により取得した映像において、予め設定された認識対象を認識し、その認識対象の位置に基づき、映像の一部を特定領域として設定する。そして、特定領域を表示手段に表示する。そのことにより、実際の状況に応じて、車両のドライバーにとって重要な領域を的確に表示することができる。

前記認識対象としては、例えば、交差点（Ｔ字路の交差点、信号機のある交差点等）、歩行者、交差点手前の停止線、横断歩道、交差する本線道路、壁等の障害物等が挙げられる。

前記特定領域としては、例えば、前記認識対象に対して、一定の位置関係にある領域（例えば、認識対象を中心とする領域）が挙げられる。
（２）請求項２の発明は、
映像において認識対象が移動するとき、特定領域を、認識対象の移動に応じて更新する。このことにより、ドライバーにとって重要なポイントに対するドライバーの認識度を維持することができる。
（３）請求項３の発明は、
認識対象の位置に加えて、車両の位置及び／又は車両の走行状態に基づき、特定領域を設定する。このことにより、実際の状況に応じて、車両のドライバーにとって重要な領域を、より一層的確に表示することができる。
（４）請求項４の発明は、
認識対象の位置及び／又は速度と、車両の位置及び／又は速度とに基づいて、認識対象と車両との接触危険性を判断し、接触危険性があると判断した場合、報知を行う。そのことにより、ドライバーに注意を促し、接触を防止することができる。

接触危険性があるとは、例えば、そのままの状態であれば、認識対象と車両とが接触すること、あるいは、そのままの状態であれば、所定の基準時間以内に、認識対象と車両とが接触することをいう。

本発明の実施形態を説明する。
１．車載周辺監視装置１の構成
車載周辺監視装置１の構成を図１〜図２に基づいて説明する。車載周辺監視装置１は、図１に示すように、ハンドル角度検知器３、ハンドル速度検知器５、車両速度検知器７、ナビゲーション装置９、画像認識回路１１、超広角カメラ１３、映像・画像処理回路１５、表示器１７、音声出力回路１９、入力装置２１、ウインカー情報検知器２２、及び演算器２３から構成され、車両２５（図２参照）に搭載される。

ハンドル角度検知器３は、車両２５におけるハンドルの角度を検出する。ハンドル速度検知器５は、車両２５におけるハンドルの回転速度を検出する。車両速度検知器７は、車両２５の速度を検出する。ナビゲーション装置９は、ＧＰＳを用いて、車両２５の位置を検出することができる。また、ナビゲーション装置９は、交差点の位置を記録した地図データを備えており、その地図データにおいて車両２５の位置を特定することで、車両２５を基準とした交差点の位置を取得することができる。また、ナビゲーション装置９は、通常の経路案内を行うことができる。画像認識回路１１は、超広角カメラ１３で撮影した映像において、周知の画像認識技術を用い、予め設定された認識対象（例えば、Ｔ字路の交差点、信号機のある交差点、歩行者、交差点手前の停止線、横断歩道、交差する本線道路等）を認識する。超広角カメラ１３は、図２に示すように、車両２５の前端に取り付けられ、１８０度魚眼レンズを備えている。そのため、超広角カメラ１３は、車両２５の前方を広い範囲にわたって撮影することができる。映像・画像処理回路１５は、超広角カメラ１３で撮影した映像データを、演算器２３からの指示に応じて処理する。なお、この処理については後に詳述する。表示器１７は、車両２５の車室内に設置された液晶ディスプレイであり、映像・画像処理回路１５で処理した映像データを用いて表示を行う。音声出力回路１９は、演算器２３からの指示に応じ、車両２５の車室内に設置されたスピーカ（図示略）に音声信号を出力する。そのスピーカは、車両２５の乗員（特にドライバー）に対する報知を音声により行う。入力装置２１は、車両２５のインパネに設置されたスイッチ群であり、ドライバーは、この入力装置２１を用いて、各種入力を行うことができる。ウインカー情報検知器２２は、車両２５がウインカー表示を行っているか否か、行っているとすれば左右どちらかを検出する。演算器２３は、ハンドル角度検知器３、ハンドル速度検知器５、車両速度検知器７、ナビゲーション装置９、画像認識回路１１、入力装置２１、及びウインカー情報検知器２２からの入力信号に基づき、後述する各処理に必要な各種演算を行い、その演算結果を映像・画像処理回路１５、及び音声出力回路１９に出力する。

２．車載周辺監視装置１が実行する処理（その１）
車載周辺監視装置１が実行する処理を、図２及び図３、図４のフローチャートに基づいて説明する。この処理は、次に示す条件（ａ）〜（ｃ）のうちの１つでも成立すると開始される。
（ａ）画像認識回路１１が、超広角カメラ１３で撮影した映像の中に、Ｔ字路の交差点を認識したとき
（ｂ）ナビゲーション装置９が、車両２５の前方にＴ字路の交差点があると判断したとき
（ｃ）ドライバーが入力装置２１に、この処理を開始する指示を入力したとき
ステップ１０では、Ｔ字路の交差点における車両２５の位置を算出する。このステップ１０の処理を、図４のフローチャートに基づいて詳細に説明する。

ステップ１１０では、画像認識回路１１が、超広角カメラ１３で撮影した映像の中に、交差点手前の停止線２７（図２参照）、交差する本線道路２９（図２参照）のうちのいずれかを認識したか否かを判断する。いずれかを認識した場合はステップ１２０に進み、いずれも認識しなかった場合はステップ１３０に進む。

ステップ１２０では、前記ステップ１１０で認識したものに基づいて、Ｔ字路の交差点における車両２５の位置を算出する。例えば、停止線２７、及び本線道路２９が所定の距離以上離れた前方に見えているときは、車両２５は本線道路２９に進入前の位置３１（図２参照）にあると判断する。一方、停止線２７は見えず（車両２５の下側にあり）、本線道路２９との距離が所定値以下に見えているときは、車両２５は、本線道路２９に進入するための準備をしている位置３３（図２参照）にあると判断する。

前記ステップ１１０で停止線２７、交差する本線道路２９のいずれも認識できなかった場合はステップ１３０にて、車両２５におけるハンドルの切れ角、車速、ウインカーの情報を取得する。

ステップ１４０では、前記ステップ１３０で取得した情報に基づき、Ｔ字路の交差点における車両２５の位置を算出する。すなわち、車載周辺監視装置１は、ハンドルの切れ角、車速、及びウインカーの情報がそれぞれどのようなものであるかと、Ｔ字路の交差点における車両２５の位置との対応テーブルを備えており、その対応テーブルと、前記ステップ１３０で取得した情報とに基づき、Ｔ字路の交差点における車両２５の位置を算出する。例えば、ハンドル切れ角が小、車速が小であれば、車両２５は本線道路２９に進入前の位置３１（図２参照）にあると判断する。一方、ハンドル切れ角が大、ウインカーの表示がなされていれば、車両２５は、本線道路２９に進入するための準備をしている位置３３（図２参照）にあると判断する。

図３に戻り、ステップ２０では、映像・画像処理回路１５により、前記ステップ１０で算出した車両２５の位置に基づき、超広角カメラ１３で撮影した映像のうち、所定の領域を切り出す。切り出す領域は、次のように設定する。例えば、車両２５の位置が本線道路２９に進入前の位置３１である場合、図５（ａ）に示すように、超広角カメラ１３で撮影した、未処理の映像（以下、元映像３５とする）のうち、左右両端付近の領域ａ、ｂ、ｆ、ｇを切り出す領域とする。この領域ａ、ｂ、ｆ、ｇは、本線道路２９における左右方向に対応し、位置３１にある車両２５のドライバーにとって重要な領域である。一方、車両２５の位置が本線道路２９に進入するための準備をしている位置３３である場合は、元映像３５のうち、領域ｂ、ｃを切り出す領域とする。この領域ｂ、ｃは、本線道路２９における車両２５の走行方向に対応し、位置３３にある車両２５のドライバーにとって重要な領域である。このように、車両２５の位置や走行状態に基づき、切り出す領域を変更する。

ステップ３０では、映像・画像処理回路１５により、図５（ｂ）に示すように、前記ステップ２０で切り出した領域の縦横比が実際の縦横比となるように補正する。また、魚眼レンズにより生じる歪みを補正する。さらに、切り出す領域が２以上あるときは、それらを合成する。

ステップ４０では、前記ステップ２０で切り出し、前記ステップ３０にて補正した領域の映像のみを、表示器１７に出力する。
なお、上記の処理は、Ｔ字路の交差点の代わりに、信号機のある交差点においても、実行することができる。この場合、上記処理は、次に示す条件（ａ‘）〜（ｃ’）のうちの１つでも成立すると開始される。
（ａ‘）画像認識回路１１が、超広角カメラ１３で撮影した映像の中に、信号機のある交差点を認識したとき
（ｂ‘）ナビゲーション装置９が、車両２５の前方に、信号機のある交差点があると判断したとき
（ｃ‘）ドライバーが入力装置２１に、この処理を開始する指示を入力したとき
また、車両２５の位置を算出するとき（前記ステップ１０、ステップ１２０に対応）は、超広角カメラ１３で撮影した映像の中に、信号機のある交差点に特有の物であって、位置が定まっている物（例えば、右折レーン、交差点手前の停止線、横断歩道、信号機等）を認識し、映像におけるその物に基づいて車両２５の位置を算出することができる。なお、映像に基づいて車両２５の位置を算出できない場合は、ハンドルの切れ角、車速、及びウインカーの情報等に基づいて、車両２５の位置を算出する（前記ステップ１３０〜１４０に対応する処理）。

そして、超広角カメラ１３で撮影した映像のうち、表示器１７に表示する領域を切り出すとき（前記ステップ２０に対応）、車両２５の位置が右折レーンにある場合は、元映像３５のうち、領域ｅ、ｆを切り出す。この領域ｅ，ｆは、対向車が見える領域であり、右折レーンにある車両２５のドライバーにとって重要な領域である。

３．車載周辺監視装置１が実行する処理（その２）
車載周辺監視装置１が実行する他の処理を、図６のフローチャートに基づいて説明する。この処理は、ナビゲーション装置９が左折を案内したとき、または、ウインカー情報検知器２２がウインカーの左折表示を検出したときに開始される。

ステップ２１０では、画像認識回路１１、超広角カメラ１３、及び映像・画像処理回路１５の電源をＯＮにする。なお、既にＯＮになっている場合は特に処理を行わない。
ステップ２２０では、超広角カメラ１３を用いて車両２５の前方を広い範囲にわたって撮影する。

ステップ２３０では、ナビゲーション装置９の経路案内情報や車両に関する情報（車速、ハンドル切り角等）から、左折しようとする車両２５の走行方向を計算する。そして、前記ステップ２２０にて撮影した映像のうち、その走行方向周辺の、ある程度広い範囲（例えば、図２、図５（ａ）における領域ａ〜ｄ）の映像を切り出す。

ステップ２４０では、画像認識回路１１が、前記ステップ２３０で切り出した映像内に、ドライバーが入力装置２１を用いて事前に登録していた注意ポイント（ここでは、横断断歩道）が認識できるか否かを判断する。認識できる場合はステップ２５０に進み、認識できない場合はステップ２８０に進む。なお、車載周辺監視装置１は、画像認識や音声認識により注意ポイントを入力できる構成を備えていてもよい。

ステップ２５０では、前記ステップ２２０で切り出した映像のうち、注意ポイントを中心とする一部をさらに切り出し、表示器１７に表示する。よって、表示器１７の中心には、注意ポイントが表示される。なお、ステップ２２０〜２５０の処理は、前記ステップ２４０にて、注意ポイントが認識できないと判断されるまで、所定時間ごとに繰り返し実行され、前記ステップ２３０で切り出した映像全体の中では、車両２５の移動にともない、注意ポイントの位置は移動してゆくが、表示器１７に表示される映像では、常に、注意ポイントが中心に位置する。

ステップ２６０では、前記ステップ２３０で切り出した映像内に歩行者が認識できる場合、その歩行者の位置を特定するとともに、映像上での歩行者の移動速度から、歩行者の実際の移動速度、及び移動方向を算出する。また、車両２５の位置、速度、進行方向を取得する。そして、上述した各種情報に基づき、歩行者と車両２５とがそのまま進行した場合、接触するか否かを判断する。接触すると判断した場合はステップ２７０に進み、接触しないと判断した場合はステップ２２０に戻る。

ステップ２７０では、音声出力回路１９により警告の音声を出力するとともに、表示器１７に警告映像を表示する。その後、ステップ２２０に戻る。
前記ステップ２４０にて注意ポイントが認識できないと判断された場合はステップ２８０に進み、前記ステップ２３０で切り出した映像をそのまま表示する。一定期間表示した後、本処理を終了する。

４．車載周辺監視装置１が奏する効果
（１）車載周辺監視装置１は、元映像３５の中で、画像認識回路１１が認識したもの（停止線２７、交差する本線道路２９、歩行者、横断歩道）に基づいて、元映像３５の一部を切り出し、その切り出した映像を表示器１７に表示する。そのことにより、実際の状況に応じて、車両２５のドライバーにとって重要な領域を的確に表示することができる。

また、ドライバーにとって重要な領域のみを表示器１７に表示するので、元映像３５をそのまま表示器１７に表示する場合のように、違和感が生じ、ドライバーの認識度が低下してしまうようなことがない。
（２）車載周辺監視装置１は、車両２５の移動にともない、元映像３５の中での注意ポイントの位置が移動しても、常に、注意ポイントを中心とする領域を、表示器１７に表示し続けることができる。このことにより、注意ポイントに対するドライバーの認識度を維持することができる。
（３）車載周辺監視装置１は、車両２５の位置や走行状態に基づき、表示器１７に表示する領域を変更する。このことにより、実際の状況に応じて、車両のドライバーにとって重要な領域を、より一層的確に表示することができる。
（４）車載周辺監視装置１は、車両２５と注意ポイントとが接触すると判断した場合、警告を行う。そのことにより、ドライバーに注意を促し、接触を防止することができる。

尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
前記実施形態において、元映像３５から所定の領域を切り出す方法は、ユーザが入力装置２１を用いて入力し、個別設定した方法とすることができる。また、認識対象や注意ポイントをタッチパネルを利用して特定できるように構成してもよい。

超広角カメラ１３の代わりに、それよりも撮影範囲が狭いカメラを用い、カメラの両側に鏡を設置することで、広範囲を撮影するようにしてもよい。

車載周辺監視装置１の構成を表すブロック図である。 車載周辺監視装置１が実行する処理を表す説明図である。 車載周辺監視装置１が実行する処理を表すフローチャートである。 車載周辺監視装置１が実行する処理を表すフローチャートである。 （ａ）は超広角カメラ１３が撮影した元映像３５を表す説明図であり、（ｂ）は元映像３５から切り出され、補正された領域を表す説明図である。 車載周辺監視装置１が実行する処理を表すフローチャートである。

符号の説明

１・・・車載周辺監視装置、３・・・ハンドル角度検知器、
５・・・ハンドル速度検知器、７・・・車両速度検知器、９・・・ナビゲーション装置、
１１・・・画像認識回路、１３・・・超広角カメラ、１５・・・映像・画像処理回路、
１７・・・表示器、１９・・・音声出力回路、２１・・・入力装置、
２２・・・ウインカー情報検知器、２３・・・演算器、２５・・・車両、
２７・・・停止線、２９・・・本線道路、３５・・・元映像

Claims (4)

1. 車両の周囲を撮影する撮像手段と、
   前記撮像手段により取得した映像において、予め設定された認識対象を認識する認識手段と、
   前記認識手段により認識した前記認識対象の位置に基づき、前記映像の一部を、特定領域として設定する設定手段と、
   前記特定領域を表示する表示手段と、
   を備えることを特徴とする車載周辺監視装置。
2. 前記映像において前記認識対象が移動するとき、前記設定手段は、前記特定領域を、前記認識対象の移動に応じて更新することを特徴とする請求項１記載の車載周辺監視装置。
3. 前記設定手段は、前記認識対象の位置に加えて、前記車両の位置及び／又は前記車両の走行状態に基づき、前記特定領域を設定することを特徴とする請求項１又は２記載の車載周辺監視装置。
4. 前記認識対象の位置及び／又は速度と、前記車両の位置及び／又は速度とに基づいて、前記認識対象と前記車両との接触危険性を判断する判断手段と、
   前記接触危険性があると前記判断手段が判断した場合、報知を行う報知手段と、
   を備えることを特徴とする請求項１〜３のいずれかに記載の車載周辺監視装置。

Images