JP2019040354A - 運転支援装置、および運転支援方法 - Google Patents

Abstract

【課題】運転者に必要な情報を迅速に把握させる運転支援装置、および運転支援方法を提供する。【解決手段】運転者による運転操作を支援する運転支援装置は、車両１の外部状況を示す情報を取得する取得手段１０ａ、１０ｂ、１３〜１５と、運転者の視線の方向を検出する検出手段１２と、車内において情報を表示可能な表示手段１１ａ、１１ｂと、検出手段で検出された運転者の視線の方向に応じて、表示手段における情報の表示態様を制御する表示制御手段と、を含む。【選択図】図１

Description

本発明は、運転者による運転操作を支援する運転支援装置、および運転支援方法に関するものである。

従来より、車両の外部状況を示す情報を取得し、車内に設けられた表示部に表示させることで運転者への運転支援を行う方法が知られている。特許文献１には、ピラーによって運転者から死角になる車両周囲をカメラで撮影し、それにより得られた映像を、該ピラーに設けられたディスプレイ（モニタ）に表示する方法が知られている。

特開２００７−０９６６３８号公報

車両の外部状況を示す情報を全てディスプレイに逐次表示したり、運転者が見ている方向に配置されていないディスプレイに当該情報を表示したりすることは、運転者にとって煩わしく、運転の状況に応じて必要となる情報を瞬時に把握することが困難になる。

そこで、本発明は、運転者に必要な情報を迅速に把握させることを目的とする。

本発明によれば、
車両の外部状況を示す情報を取得する取得手段と、
運転者の視線の方向を検出する検出手段と、
車内において前記情報を表示可能な表示手段と、
前記検出手段で検出された前記運転者の視線の方向に応じて、前記表示手段における前記情報の表示態様を制御する表示制御手段と、
を含むことを特徴とする運転支援装置が提供される。

本発明によれば、運転者に必要な情報を迅速に把握させることができる。

運転支援装置を搭載した車両の平面図。 フロントピラーを運転席側から見た図。 運転支援装置のブロック図。 表示制御処理の例を示すフローチャート。 フロントピラーのディスプレイの表示例。 フロントピラーのディスプレイの表示例。

図１は、本発明の一実施形態に係る運転支援装置Ａを搭載した車両１の平面図（車両１を上方から見た図）である。矢印ＦＲは車両１の前後方向を示し、ＦＴは前側、ＲＲは後側を示す。矢印Ｗは車幅方向を示し、車両１の前進方向で見てＬＴは左側、ＲＴは右側を示す。また、車両１は、右ハンドルの乗用車（４ドアセダン車）であって、左右のフロントピラー２ａ、２ｂ（いわゆるＡピラー）と、フロントピラー２ａ、２ｂによって左右が規定されるフロントウィンド３と、運転席４とを備えている。

運転支援装置Ａは、車両１の外部状況を取得する取得部として、車両１のフロントピラー２ａ、２ｂによって運転者から死角となる車外風景を撮影するカメラ１０ａ、１０ｂを備える。カメラ１０ａ、１０ｂは例えばＣＣＤセンサである。本実施形態の場合、カメラ１０ａはフロントピラー２ａに、カメラ１０ｂはフロントピラー２ｂにそれぞれ固定されているが、それに限られず、カメラ１０ａ、１０ｂは、サイドミラーなどに設けられてもよい。カメラ１０ａ、１０ｂの撮影範囲は、フロントピラー２ａ、２ｂによってそれぞれ運転者から死角になると推定される範囲に設定され、本実施形態の場合、一般的な体格の運転者が通常の着座姿勢であることを想定し、運転席４のシートのヘッドレスト中央近傍からフロントピラー２ａ、２ｂをそれぞれ通過する仮想的な水平線Ｌ１、Ｌ２を中心として一定の範囲Ｓ１、Ｓ２に設定されている。

本実施形態では、このようにカメラ１０ａ、１０ｂの撮影範囲を固定的なものとしているが、運転者の視線を検出してカメラ１０ａ、１０ｂの撮影範囲を可変とする構成であってもよい。また、車両１の周囲の風景画像を撮影し、撮影画像の中から運転者から死角になる範囲を抽出する形式であってもよい。

運転支援装置Ａは、フロントピラー２ａ、２ｂの車内側にそれぞれ設けられ、カメラ１０ａ、１０ｂにより撮影された車外風景の画像（映像）をそれぞれ表示可能なディスプレイ１１ａ、１１ｂを備える。図２は、フロントピラー２ａ、２ｂを運転席側から見た図であり、ディスプレイ１１ａ、１１ｂの配設態様を示す図である。ディスプレイ１１ａ、１１ｂは、例えば液晶表示器であり、ディスプレイ１１ａはカメラ１０ａが撮影した画像を、ディスプレイ１１ｂはカメラ１０ｂが撮影した画像をそれぞれ表示可能である。

また、運転支援装置Ａは、運転者の視線の方向を検出するために用いるアイポイントカメラ１２を備える。アイポイントカメラ１２は、例えばＣＣＤカメラであり、本実施形態の場合、運転席の上方における天井に配設されている。アイポイントカメラ１２は、運転者の顔を撮影可能にその撮影範囲が設定されている。アイポイントカメラ１２によって運転者の顔を撮影し、公知の画像解析手法により、顔の向きおよび眼球の位置を特定することで運転者の視線の方向を検出することができる。

また、運転支援装置Ａは、車両１の外部状況を取得する取得部として、ライダ１３（レーザレーダ）およびレーダ１４（ミリ波レーダ）を備える。ライダ１３およびレーダ１４はそれぞれ、車両１の周囲の物体を検知したり該物体との距離を測距したりする。本実施形態の場合、ライダ１３は５つ設けられており、車両１の前部の角隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。レーダ１４は５つ設けられており、車両１の前部中央に１つ、前部角隅部に１つずつ、後部角隅部に１つずつ設けられている。

さらに、運転支援装置Ａは、車両１の外部状況を取得する取得部として、車両１の前方を撮影する前方カメラ１５を備える。本実施形態の場合、車両１のルーフ前部に設けられており、前方カメラ１５が撮影した画像（映像）の解析により、前方における物体の輪郭や、道路上の車線の区画線（白線等）などを抽出することができる。ここで、本実施形態では設けられていないが、車両１の後方を撮影する後方カメラを、車両のルーフ後部に設けてもよい。

図３は、運転支援装置Ａのブロック図である。ＣＰＵ２０は、運転支援装置全体の制御を司るプロセッサであり、特に後述する表示制御処理を実行する。ＣＰＵ２０には、ＥＥＰＲＯＭ２１、ＲＡＭ２２、ＨＤＤ２３（ハードディスクドライブ）が接続されている。ＥＥＰＲＯＭ２１は、固定的なデータ、プログラムを記憶する。ＲＡＭ２２は、ＣＰＵ２０によって実行されるプログラムのワークエリアを有し、可変データ等を記憶する。ＨＤＤ２３は、地図情報などの情報を記憶する。これらのＥＥＰＲＯＭ２１、ＲＡＭ２２、ＨＤＤ２３は他の種類の記憶手段であってもよい。また、ＣＰＵ２０には、カメラ１０ａ、１０ｂ、アイポイントカメラ１２、ライダ１３、レーダ１４、前方カメラ１５、ディスプレイ１１ａ、１１ｂが接続されている。

このように構成された運転支援装置Ａでは、取得部により取得された車両１の外部状況を示す情報（以下では、「外部状況の情報」と呼ぶことがある）を、フロントピラー２ａ、２ｂに設けられたディスプレイ１１ａ、１１ｂにそれぞれ表示することができる。例えば、運転支援装置Ａは、フロントピラー２ａ、２ｂによって運転者から死角となる車外風景をカメラ１０ａ、１０ｂによって撮影し、撮影された画像をディスプレイ１１ａ、１１ｂにそれぞれ表示することができる。また、運転支援装置Ａは、ライダ１３、レーダ１４、前方カメラ１５により取得された外部状況の情報をディスプレイ１１ａ、１１ｂに表示することができる。

しかしながら、例えば、取得された外部状況の情報の全てを運転中にディスプレイ１１ａ、１１ｂに逐次表示してしまうと、運転者にとって煩わしく、運転の状況に応じて必要となる情報を運転者が瞬時に把握することが困難となる。また、車両１に設けられた複数のディスプレイ（例えばディスプレイ１１ａ、１１ｂ）のうち、運転中に運転者が見ている方向に配置されていないディスプレイに外部状況の情報を通知することは、運転者の注意をそらすことになりうるため好ましくない。そこで、本実施形態の運転支援装置Ａは、アイポイントカメラ１２で検出された運転者の視線の方向に応じて、ディスプレイにおける外部状況の情報の表示態様を制御する。例えば、運転支援装置Ａは、取得された外部状況の情報の中から、運転者に通知すべき通知情報を、アイポイントカメラ１２で検出された運転者の視線の方向に応じて選択してディスプレイに表示する。このとき、運転支援装置Ａは、アイポイントカメラ１２で検出された運転者の視線の方向に応じて、通知情報を表示するディスプレイを切り換える。ここで、本実施形態では、運転中にアイポイントカメラ１２で検出された運転者の視線の方向に応じて表示態様を制御する例について説明するが、運転者の視線の方向に応じた表示態様の制御は、運転中に限られるものではない。例えば、運転支援装置Ａは、車両が駐停車中であっても、アイポイントカメラ１２で検出された乗車中の運転者の視線の方向に応じて表示態様を制御してもよい。

以下に、本実施形態の運転支援装置ＡにおけるＣＰＵ２０が実行する表示制御処理の例について説明する。図４は、ＣＰＵ２０が実行する表示制御処理の例を示すフローチャートである。ＣＰＵ２０は、この表示制御処理を繰り返し実行する。以下では、通知情報を表示する対象ディスプレイを、フロントピラー２ａ、２ｂに設けられたディスプレイ１１ａ、１１ｂの中から選択する例について説明するが、車内にヘッドアップディスプレイやセンターディスプレイなどが設けられている場合には、それらのディスプレイを含む複数のディスプレイの中から対象ディスプレイを選択してもよい。

Ｓ１１では、ＣＰＵ２０は、運転者の視線の方向を検出する。例えば、ＣＰＵ２０は、アイポイントカメラ１２に運転者の顔を撮影させ、それにより得られた画像から、公知の画像解析手法を用いて顔の向きおよび眼球の位置を特定することによって運転者の視線の方向を検出することができる。Ｓ１２では、ＣＰＵ２０は、Ｓ１１で検出された運転者の視線の方向に右側のフロントピラー２ａ（右ピラー）が存在しているか否かを判定する。運転者の視線の方向に右側のフロントピラー２ａが存在していると判定した場合にはＳ１４に進み、ＣＰＵ２０は、右側のフロントピラー２ａに設けられたディスプレイ１１ａを、通知情報を表示する対象ディスプレイに設定する。一方、運転者の視線の方向に右側のフロントピラー２ａが存在していないと判定した場合にはＳ１３に進む。

Ｓ１３では、Ｓ１１で検出された運転者の視線の方向に左側のフロントピラー２ｂ（左ピラー）が存在しているか否かを判定する。運転者の視線の方向の左側のフロントピラー２ｂが存在していると判定した場合にはＳ１５に進み、ＣＰＵ２０は、左側のフロントピラー２ｂに設けられたディスプレイ１１ｂを、通知情報を表示する対象ディスプレイに設定する。一方、運転者の視線の方向に左側のフロントピラー２ｂが存在していないと判定した場合にはＳ１１に戻る。ここで、本実施形態では、車内に設けられた複数のディスプレイのうち運転者の視線の方向に存在するディスプレイを、対象ディスプレイとして選択した。しかしながら、それに限られず、車内に設けられた複数のディスプレイのうち運転者の視線の方向に最も近いディスプレイを、対象ディスプレイとして選択してもよい。

Ｓ１６〜Ｓ１８は、取得部で取得された外部状況の情報から、運転者に通知すべき通知情報を選択し、選択された通知情報を、Ｓ１４またはＳ１５で設定された対象ディスプレイに表示する工程である。取得部としては、カメラ１０ａ、１０ｂ、ライダ１３、レーダ１４、前方カメラ１５が含まれ、外部状況の情報としては、カメラ１０ａ、１０ｂでそれぞれ撮影された風景画像や、ライダ１３、レーダ１４、前方カメラ１５で検出された車両１への接近物体に関する情報などが含まれうる。

Ｓ１６では、ＣＰＵ２０は、運転者の視線の方向に存在すると判定されたフロントピラー（２ａまたは２ｂ）のカメラ（１０ａまたは１０ｂ）で撮影された風景画像を通知情報として選択し、対象ディスプレイ（１１ａまたは１１ｂ）に表示する。例えば、右方向へのカーブ路を車両１が走行している場合、運転者の視線は右側のフロントピラー２ａの方向に向き、フロントピラー２ａによって死角が生じうる。そのため、ＣＰＵ２０は、Ｓ１１で検出された運転者の視線の方向に基づいて、右側のフロントピラー２ａのディスプレイ１１ａを対象ディスプレイに設定し（Ｓ１５）、図５や図６に示すように、カメラ１０ａで撮影された風景画像を通知情報としてディスプレイ１１ａに表示する。図５は、複数車線の道路を車両が走行している場合におけるディスプレイ１１ａの表示例である。図６は、右方向へのカーブ路を車両１が走行している場合におけるディスプレイ１１ａの表示例である。ここで、対象ディスプレイ以外のディプレイについては、例えば電源をオフしたり点灯をオフしたりするなど、何も表示しないことが好ましい。

Ｓ１７〜Ｓ２０は、ライダ１３、レーダ１４、前方カメラ１５などの取得部で取得された車両１への接近物体に関する情報のうち、運転者に注意を促すべき情報を、運転者の視線の方向に応じて選択して対象ディスプレイに表示する工程である。

Ｓ１７では、ＣＰＵ２０は、Ｓ１１で検出された運転者の視線の方向に基づいて、運転者がドアミラーを見ているか否かを判定する。運転者がドアミラーを見ていると判定した場合にはＳ１８に進む。例えば、運転者が右側のドアミラーを見ている場合には、運転者は、右方向に進路変更する可能性が高く、このとき、ドアミラーによって車両１の右後方については注意しているが、車両１の右側方（右前方も含む）への注意力が低下していることがある。

そのため、Ｓ１８では、ＣＰＵ２０は、ライダ１３やレーダ１４などによって検知された接近物体に関する情報のうち、運転者が見ているドアミラー側（運転者の視線の方向）の車両１の側方における接近物体に関する情報を通知情報として選択し、図５に示すように、選択した情報を対象ディスプレイに表示して運転者に注意喚起する。図５に示す例では、右側方（右前方）において接近物体（並走車両）が検出された場合を想定しており、ディスプレイ１１ａには、「右側方接近！」との情報３１が表示されている。なお、注意情報は、文字に限られず、記号などであってもよい。

一方、Ｓ１７において、運転者がドアミラーを見ていないと判定した場合には、車両１の斜め前方を見ている状態であるとしてＳ１９に進む。例えば、図６に示すように、右方向のカーブ路を走行しているときなど、運転者が車両１の斜め右前方を見ている場合には、車両１の左側方や左後方など、運転者の視線の方向とは異なる方向における接近物体への注意力が低下していることがある。一方で、車両の斜め右前方については、運転者が視認している方向であり、当該方向の接近物体に関する情報を対象ディスプレイに表示すると、運転者の注意を対象ディスプレイに向けさせ、かえって運転者の注意力を当該接近物体からそらしてしまうこととなる。

そのため、Ｓ１９では、ＣＰＵ２０は、ライダ１３やレーダ１４などによって検知された接近物体に関する情報のうち、運転者の視線の方向とは異なる方向（例えば左側方や左後方など）における接近物体に関する情報を通知情報として選択し、図６に示すように、選択した情報を対象ディスプレイに表示して運転者に注意喚起する。図６に示す例では、車両１の左後方において接近物体（例えば後続車両）を検出した場合を想定しており、ディスプレイ１１ａには「左後方接近！」との情報３２が表示されている。

このように本実施形態では、アイポイントカメラで検出された運転者の視線の方向に応じて、取得された外部状況の情報から、運転者に通知すべき通知情報を選択してディスプレイに表示する。これにより、運転者が必要とする情報のみを運転者に通知することができるため、運転者はより運転に集中することができる。

＜実施形態のまとめ＞
１．上記実施形態の運転支援装置は、
運転者による運転操作を支援する運転支援装置であって、
車両（例えば１）の外部状況を示す情報を取得する取得手段（例えば１０ａ、１０ｂ、１３、１４、１５）と、
前記運転者の視線の方向を検出する検出手段（例えば１２）と、
車内において前記情報を表示可能な表示手段（例えば１１ａ、１１ｂ）と、
前記検出手段で検出された前記運転者の視線の方向に応じて、前記表示手段における前記情報の表示態様を制御する表示制御手段（例えば２０）と、を含む。

この実施形態によれば、運転の状況に応じて必要となる情報を運転者が瞬時に把握することが可能となる。

２．上記実施形態では、
前記表示制御手段は、前記取得手段で取得された前記情報のうち、前記検出手段で検出された前記運転者の視線の方向に応じて選択された情報を前記表示手段に表示させる。

この実施形態によれば、運転者にとって必要となる情報のみを該運転者に通知することができる。

３．上記実施形態では、
前記表示制御手段は、前記取得手段で取得された前記情報のうち、前記検出手段で検出された前記運転者の視線の方向とは異なる方向において前記車両に接近する物体に関する情報を選択して前記表示手段に表示する。

この実施形態によれば、運転者の視線の方向とは異なる方向において低下しうる運転者の注意を喚起することができる。

４．上記実施形態では、
前記表示制御手段は、前記検出手段で検出された前記運転者の視線の方向に基づいて前記運転者がドアミラーを見ていると判断した場合、前記取得手段で取得された前記情報のうち、前記車両の側方に接近する物体に関する情報を選択して前記表示手段に表示する。

この実施形態によれば、運転者がドアミラーを見ている状態において低下しうる車両側方への注意を喚起することができる。

５．上記実施形態では、
前記表示手段は、複数のディスプレイ（例えば１１ａ、１１ｂ）を含み、
前記表示制御手段は、前記複数のディスプレイのうち、情報を表示する対象ディスプレイを、前記検出手段で検出された前記運転者の視線の方向に応じて切り替える。

この実施形態によれば、運転者が見ている方向に配置されていないディスプレイに情報を通知することによる運転者の注意の低下を低減することができる。

６．上記実施形態では、
前記表示制御手段は、前記複数のディスプレイのうち、前記検出手段で検出された前記運転者の視線の方向に最も近いディスプレイを前記対象ディスプレイとして選択する。

この実施形態によれば、より安全に運転者に通知情報を通知することができる。

７．上記実施形態では、
前記表示手段は、左右のフロントピラー（例えば２ａ、２ｂ）の車内側にそれぞれ設けられたディスプレイを含む。

この実施形態によれば、カーブ路を走行中などにおける運転者の視線上に通知情報を表示することができる。

８．上記実施形態では、
前記取得手段は、フロントピラーによって前記運転者から死角となる車外風景を撮影する撮影手段（例えば１０ａ、１０ｂ）を含み、
前記表示制御手段は、前記検出手段で検出された前記運転者の視線の方向に最も近いフロントピラーのディスプレイに、前記撮影手段で撮像された車外風景を表示させる。

この実施形態によれば、フロントピラーにより運転者から死角となる車外風景を運転者に把握させることができる。

９．上記実施形態の運転支援方法は、
運転者による運転を支援する運転支援方法であって、
車両の外部状況を示す情報を取得する取得工程と、
前記運転者の視線の方向を検出する検出工程と、
前記検出工程で検出された前記運転者の視線の方向に応じて、前記情報の表示態様を制御する表示制御工程と、を含む。

この実施形態によれば、運転の状況に応じて必要となる情報を運転者が瞬時に把握することが可能となる。

１：車両、２ａ，２ｂ：フロントピラー、３：フロントウィンド、４：運転席、１０ａ，１０ｂ：カメラ、１１ａ，１１ｂ：ディスプレイ、１２：アイポイントカメラ、１３：ライダ、１４：レーダ、１５：前方カメラ、２０：ＣＰＵ

Claims (9)

1. 運転者による運転操作を支援する運転支援装置であって、
   車両の外部状況を示す情報を取得する取得手段と、
   前記運転者の視線の方向を検出する検出手段と、
   車内において前記情報を表示可能な表示手段と、
   前記検出手段で検出された前記運転者の視線の方向に応じて、前記表示手段における前記情報の表示態様を制御する表示制御手段と、
   を含むことを特徴とする運転支援装置。
2. 前記表示制御手段は、前記取得手段で取得された前記情報のうち、前記検出手段で検出された前記運転者の視線の方向に応じて選択された情報を前記表示手段に表示させる、ことを特徴とする請求項１に記載の運転支援装置。
3. 前記表示制御手段は、前記取得手段で取得された前記情報のうち、前記検出手段で検出された前記運転者の視線の方向とは異なる方向において前記車両に接近する物体に関する情報を選択して前記表示手段に表示する、ことを特徴とする請求項２に記載の運転支援装置。
4. 前記表示制御手段は、前記検出手段で検出された前記運転者の視線の方向に基づいて前記運転者がドアミラーを見ていると判断した場合、前記取得手段で取得された前記情報のうち、前記車両の側方に接近する物体に関する情報を選択して前記表示手段に表示する、ことを特徴とする請求項２又は３に記載の運転支援装置。
5. 前記表示手段は、複数のディスプレイを含み、
   前記表示制御手段は、前記複数のディスプレイのうち、情報を表示する対象ディスプレイを、前記検出手段で検出された前記運転者の視線の方向に応じて切り替える、ことを特徴とする請求項１乃至４のいずれか１項に記載の運転支援装置。
6. 前記表示制御手段は、前記複数のディスプレイのうち、前記検出手段で検出された前記運転者の視線の方向に最も近いディスプレイを前記対象ディスプレイとして選択する、ことを特徴とする請求項５に記載の運転支援装置。
7. 前記表示手段は、左右のフロントピラーの車内側にそれぞれ設けられたディスプレイを含む、ことを特徴とする請求項５又は６に記載の運転支援装置。
8. 前記取得手段は、フロントピラーによって前記運転者から死角となる車外風景を撮影する撮影手段を含み、
   前記表示制御手段は、前記検出手段で検出された前記運転者の視線の方向に最も近いフロントピラーのディスプレイに、前記撮影手段で撮像された車外風景を表示させる、ことを特徴とする請求項７に記載の運転支援装置。
9. 運転者による運転を支援する運転支援方法であって、
   車両の外部状況を示す情報を取得する取得工程と、
   前記運転者の視線の方向を検出する検出工程と、
   前記検出工程で検出された前記運転者の視線の方向に応じて、前記情報の表示態様を制御する表示制御工程と、
   を含むことを特徴とする運転支援方法。

Images