JP7067116B2 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

表示制御装置、表示制御方法および表示制御プログラム Download PDF

Info

Publication number
JP7067116B2
JP7067116B2 JP2018034335A JP2018034335A JP7067116B2 JP 7067116 B2 JP7067116 B2 JP 7067116B2 JP 2018034335 A JP2018034335 A JP 2018034335A JP 2018034335 A JP2018034335 A JP 2018034335A JP 7067116 B2 JP7067116 B2 JP 7067116B2
Authority
JP
Japan
Prior art keywords
display control
range
information
vision
specific condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018034335A
Other languages
English (en)
Other versions
JP2018147481A (ja
Inventor
洋平 國近
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US15/908,928 priority Critical patent/US10354153B2/en
Priority to EP18159476.3A priority patent/EP3369602A1/en
Publication of JP2018147481A publication Critical patent/JP2018147481A/ja
Application granted granted Critical
Publication of JP7067116B2 publication Critical patent/JP7067116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、表示制御装置、表示制御方法および表示制御プログラムに関する。
近年、車載装置において、フロントガラスに画像を表示し、運転者向けに交通情報や危険物情報を提供するヘッドアップディスプレイが搭載されてきている。また人間の視野の性質として、中心視と周辺視がある。中心視は空間分解能が高く、物体の認知に優れており、周辺視は物体の動きや位置の補足に優れている。この視野の性質を考慮して、周辺視に存在する物体に視線を向けなくても物体が何であるか認知する(周辺視に存在する物体の詳細情報を導出して中心視に表示する)仕組みが既に知られている。
しかし、今までの仕組みでは、周辺視に危険物が存在した場合、詳細情報を導出して中心視に表示された情報を認知してから運転者が対応するという性質上、素早く対応して危険を回避することが困難であるという問題があった。
例えば、特許文献1には、車両の運転者の物体認識率を高める目的で、運転者が周辺視野に存在する対象に視線を向けることなく、その対象の種別を認識することができる表示制御プログラム、表示制御装置、および表示装置が開示されている。特許文献1の技術では、周辺視の性質を考慮し、ヘッドアップディスプレイなどの表示媒体に情報を表示する。しかし、周辺視に存在する危険物に対して、素早く対応して危険を回避するという問題は解消できていない。
本発明は、周辺視に存在する危険物に素早く対応することができる表示制御装置を提供することを目的とする。
上述した課題を解決するために、本発明の表示制御装置は、車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置であって、前記前景情報から所定の物体を認識する物体認識部と、認識した所定の物体が特定の条件を満たすか否かを判定する物体判定部と、前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定する中心視/周辺視判定部と、前記物体判定部によって前記特定の条件を満たすと判定された物体に対して、前記中心視用の通知物を作成し、前記物体判定部によって前記特定の条件を満たすと判定された物体が前記周辺視の範囲に所定時間以上存在する場合、該物体に対して前記周辺視用の通知物を作成し、前記通知物を表示させる制御を行う表示制御部と、を備えることを特徴とする。
本発明によれば、周辺視に存在する危険物に素早く対応することができる表示制御装置を提供することができる。
一実施形態に係る表示制御装置のシステム構成例について説明する図である。 1つの前景画像に対して危険通知物を表示する処理フローについて説明するフローチャートである。 前景画像と視線とを説明する画像例である。 中心視の範囲と周辺視の範囲とを判定する処理を説明する画像例である。 中心視用の危険通知物の一例を説明する画像である。 中心視用の危険通知物の他の例を説明する画像である。 周辺視用の危険通知物の一例を説明する画像である。 1つの前景画像に対して危険通知物を表示する別の処理フローについて説明するフローチャートである。 一実施形態に係る表示制御装置のハードウェアの構成例について説明する図である。 本発明の一実施形態に係るシステム全体のハードウェアの構成例を説明する図である。
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載および図面は、適宜、省略または簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明を省略する。
本発明の表示制御装置の一態様は、車両の進行方向の前景情報に対して、特定の条件を満たす物体、および、運転者の視線から中心視の範囲と周辺視の範囲を判定し、特定の条件を満たす物体が中心視の範囲と周辺視の範囲とのどちらに存在するかに応じて異なる通知物を表示させる制御を行う。
例えば、本発明の表示制御装置は、車両の進行方向の前景情報に対して、運転者の視線から中心視の範囲と周辺視の範囲とを判定し、周辺視に存在する危険物には、中心視に存在する危険物とは異なる危険通知物(例えば、動きのある通知物)を作成し、危険通知物を危険物に重ねて表示することによって、危険物の存在を早く気付かせる。前景情報は、車両の進行方向の前方に存在する物体を認識(検知)することが可能な情報であり、例えば、車両の進行方向の前方を撮影した画像情報や、レーダーやセンサーなどの感知器により検出した物体の感知情報などである。以下、図面を用いて各実施形態を詳細に解説する。
実施形態1.
実施形態1では、画像情報として、車両の進行方向の前方を撮影した前景画像を用いる場合を一例として説明する。
図10は、本発明の一実施形態に係るシステム全体のハードウェアの構成例を説明する図である。本システムは表示制御装置100、フロントガラス200、前方撮影カメラ201、視線認識カメラ202、ミラー203、レーザー光源204からなっている。
レーザー光源204は内部に発光素子を有し、各発光素子は点灯タイミングや発光強度が表示制御装置100によって制御される表示装置である。
前方撮影カメラ201は、フロントガラス200を通して前方を撮影する。
視線撮影カメラ202は、運転者の目の周辺を含む領域を撮影する。
ミラー203はレーザー光源から出力されたレーザー光を反射してフロントガラス200に照射する。
図1は、表示制御装置100のシステム構成について説明する図である。
表示制御装置100は、物体認識部101、危険予測部102、中心視/周辺視判定部103、危険通知物作成部104、および表示制御部105を備える。表示制御装置100は、前景画像と、運転者の視線を取得できる視線情報とを受け取るように構成されている。
物体認識部101は、前景画像を受け取り、車両の進行方向の前景画像から所定の物体を認識する。所定の物体の情報(以降適宜、「対象物体情報」と記載する)は、予め定められ、物体認識部101内、または物体認識部101が参照可能な表示制御装置100内の記憶領域に保存される。加えて、物体認識部101は、認識した物体の位置や相対速度を特定する。
危険予測部102は、物体認識部101で認識した物体が危険であるかどうかを、危険であると定めた情報に基づいて予測する。危険予測部102は、物体認識部101で認識した所定の物体が特定の条件を満たすか否かを判定する物体判定部の一例である。
本発明の一実施形態における“予測”とは、危険であると定めた情報に基づいて特定の条件を満たすか否かを判定することを意味する。危険であると定めた情報(以降適宜、「危険物定義情報」と記載する)は、特定の条件の一例であり、予め定められ、危険予測部102内、または危険予測部102が参照可能な表示制御装置100内の記憶領域に保存される。危険であると定めた情報には、例えば、認識した物体の位置(車両との距離)や相対速度に基づいて、危険であるか否かの判定に用いる情報(閾値など)を含む。また、物体の種類によって、優先度を変えるように設定する情報(車両より人の優先度が高い、など)を含んでいてもよい。
中心視/周辺視判定部103は、視線情報と前景画像とを受け取り、運転者の視線から前景画像に対して中心視の範囲および周辺視の範囲を判定する。危険通知物作成部104は、危険予測部102で危険と予測した物体が、中心視/周辺視判定部103で判定した中心視の範囲、周辺視の範囲のどちらに存在するかに応じて危険通知物を作成する。表示制御部105は、危険通知物作成部104で作成した危険通知物が表示されるよう、レーザー光源を制御する。
図2は、1つの前景画像に対して危険通知物を表示する処理フローについて説明するフローチャートである。表示制御装置100は、処理を開始した後、前方撮影カメラ201によって撮影された前景画像を読み取る(S101)。一方で視線カメラ202によって撮影された運転者の視線情報を読み取る(S102)。読み取った前景画像および視線情報が、物体認識部101または中心視/周辺視判定部103へ入力されると、物体認識部101または中心視/周辺視判定部103は処理を開始する。
中心視/周辺視判定部103は、ステップS102で取得した運転者の視線情報から、運転者の視線がステップS101で取得した前景画像のどこに向けられているかを特定し、前景画像の中心視の範囲と周辺視の範囲とを判定し、判定した結果を危険通知物作成部104へ出力する(S103)。物体認識部101は、対象物体情報を参照して、ステップS101で取得した前景画像の中に、あらかじめ定めた物体が存在しているかを認識し(S104)、物体が存在する場合には(S104でYES)、認識した物体の情報を危険予測部102へ出力する。
危険予測部102は、物体認識部101から認識した物体の情報を受け取り、危険物定義情報を参照して、認識した物体が危険であるか否かを予測し(S105)、認識した物体の内少なくとも1つ以上が車両にとって危険であると予測した場合には(S105でYES)、危険である物体(以降適宜、「危険物」と記載する)に関する情報を危険通知物作成部104へ出力する。危険通知物作成部104は、前景画像の中心視の範囲と周辺視の範囲とに基づいて、危険物が中心視の範囲に存在するか周辺視の範囲に存在するかを判定する(S106)。危険通知物作成部104は、危険物が中心視の範囲に存在した場合には(S106でYES)、中心視用の危険通知物を作成し(S107)、周辺視の範囲に存在した場合には(S106でNO)、周辺視用の危険通知物を作成し(S108)、作成した危険通知物がフロントガラス上の所定の位置に表示されるように、表示制御部105はレーザー光源204を制御する(S109)。一度出力した通知物に対しては視野が移動した際に変更しないものであっても良い。なお、危険予測部102が予測した危険物が複数ある場合には、危険通知物作成部104は、ステップS106から108の処理を、危険物の数、繰り返す。表示制御部105は、ステップS107またはステップS108で作成した危険通知物を前景の危険物に重なるようにレーザー光源204を制御して(S109)、処理を終了する。
また、表示制御装置は、物体認識部101が前景画像の中にあらかじめ定めた物体を認識しなかった場合(S104でNO)、または危険予測部102が危険物を予測した結果、物体に車両にとって危険物が全くなかった場合(S105でNO)には、その時点で処理を終了する。なお、図2は1つの前景画像に対する処理を表しており、連続する複数の前景画像に対する処理を行う場合には、表示制御装置100は、ステップS109処理後に終了せず開始に戻る。
また、複数の前景画像を処理するため、表示制御装置は、前景画像を複数受け取った場合には、各前景画像と、各前景画像を受け取ったときの、直近(最新)の視線情報とを用いて処理し、危険通知物が作成・表示されるように構成される。例えば、連続する複数の前景画像に対して処理を行う場合、表示制御装置100は、変化する視線の位置に対応して、同じ危険物であっても、中心視の範囲または周辺視の範囲に応じて異なる危険通知物を作成して表示する。詳細には、中心視/周辺視判定部103は、前景画像と直近の視線情報とを用いて、視線情報が示す運転者の視線から前景画像に対して中心視または周辺視の範囲を判定する。表示制御装置は、新たな視線情報を受け取るまで、前に受け取った視線情報(直近の視線情報)を記憶領域に保持するように構成されることが好ましい。
従って、視線の位置が変化して中心視と周辺視との範囲が変わったときに、同じ危険物であってもその時の中心視、周辺視のどちらに存在するかによって危険通知物を変えて表示することができる。これにより、視線が変わった場合にも危険物に対して適切な判断を行うことの一助となる。また、危険物の移動や、運転者の視線の移動に応じて、危険物の存在が中心視と周辺視との間で変わる場合であっても、変化に対応して異なる危険通知物を作成するため、運転者は前景全体に存在する危険物を素早く把握し対処して、危険を回避することができる。
図3、4は、具体的な中心視の範囲と周辺視の範囲の判定例について説明する図である。
車両の前景として図3の画像が取得でき、かつ運転者の視線が×印を付した位置に向けられている場合、中心視の範囲と周辺視の範囲は図4のように判定される。中心視は一般的に、視線位置から上下方向および左右方向に約20度、周辺視野は上下方向に約130度、左右方向に約180度ということが知られているため、中心視/周辺視判定部103は、視線位置が分かれば範囲を特定できる。次に、図5乃至7を参照して危険通知物の具体例を説明する。ここでは、危険物として、人間と車両が危険物定義情報に予め定められていることを前提とする。
図5、6は、具体的な中心視用の危険通知物について説明する図である。図5は人間や車両などの危険物の種類を表現した例である。白色の鎖線の丸印内が中心視の範囲である場合、中心視に存在する危険物(対象は人間と車両とする)に対して、例えば、「人間は赤色の矩形」、「車両は黄色の丸」を危険通知物として作成する。中心視は物体の認知に優れている性質を、考慮し、危険通知物の形状や色によって、危険物の詳細な情報を表現する。
図6は危険物の危険度の種類を表現した例である。白色の鎖線の丸印内が中心視の範囲である場合、中心視に存在する危険物に対して、例えば、危険度が高い物体(ここでは、人間とする)を「赤色丸」で囲み、危険度の低い物体を「黄色の丸」で囲むことにより、危険通知物を作成する。また、危険通知物作成部104は、危険物の種類および危険度に応じて、形状や色が異なる危険通知物を作成してもよい。例えば、同じ種類の危険物の中でも危険度を分け、人間のうち、バイクや自転車などの車両を運転している人間と、それ以外とを区別してもよい。図5、6に一例として表すように、危険物に対する付加情報を表示することで、運転者がより適切な判断をすることの一助となる。
図7は、具体的な周辺視用の危険通知物について説明する図である。白色の丸印内が中心視の範囲である場合、外側の周辺視に存在する危険物(対象は人間と車両とする)に対して「丸から矩形(に形状が変わる)」を危険通知物として作成する。図7では、バイクに乗った人間について、左側の画像に丸を、右側の画像に矩形を表示した場合を示している。周辺視は動きと位置の補足に優れているという性質を考慮し、危険通知物の動きによって、どこに危険が存在するかを表現する。危険通知物の他の例として、大きさの変化や点滅などで動きを表現することも考えられる。また、危険通知物作成部104は、動きのある危険通知物として、形状の変化、大きさの変化、点滅などの一つまたは複数の組み合わせにより危険通知物を作成してもよい。図7に一例と表すように、周辺視の範囲にある危険物の位置に、動きのある危険通知物を表示することで、運転者が素早い危険回避を行うことの一助となる。
運転手の視野が移動する場合、危険通知物もそれに合わせて切り替わると、運転者の視界の中での表示が頻繁に切り替わることになり、運転者の認識に悪影響を与える可能性がある。そこで、周辺視用の危険通知物か中心視用の危険通知物のいずれかを作成する別の方法について説明する。
図8は1つの前景画像に対して危険通知物を表示する別の処理フローについて説明するフローチャートである。危険予測部102は、物体認識部101から認識した物体の情報を受け取り、危険物定義情報を参照して、認識した物体が危険であるか否かを予測する(S201)。認識した物体の内少なくとも1つ以上が車両にとって危険であると認識された場合には(S201)、危険通知物作成部104は、認識された危険物が周辺視と中心視のいずれの範囲にいるかに関わらず、危険物に対して中心視用の危険通知物を作成し、表示制御部105は、危険通知物の表示を制御する(S202)。次に、対象となる危険物が所定時間連続して周辺視に存在している場合には(S203でYES)、表示制御部105は、対象となる危険物に対する危険通知物を、中心視用の危険通知物から周辺視用の危険通知物に切り替える(S204)。対象となる危険物が所定時間連続して周辺視に存在していない場合には(S203でNO)、表示制御部105は、中心視用の危険通知物を切り替えることなく、処理を終了する。
このフローにおいて、周辺視用の危険通知物に切り替えられた危険物については、運転者の視野が移動して中心視の範囲に移動された場合であっても、周辺視用の危険通知物のまま中心視用の危険通知物には切り替えない。これにより、運転者の視野が移動する場合であっても中心視と周辺視の切り替えが頻繁に起こることは無く、それによって生じる運転者の認識への悪影響を減らすことが出来る。
図9は、一実施形態の表示制御装置のハードウェアの構成例を説明する図である。表示制御装置100は、CPU(Central Processing Unit)111、RAM(Random Access Memory)112、ROM(Read Only Memory)113、読取装置114、記憶装置115、外部インタフェース(外部I/F)116、入力インタフェース(入力I/F)117、および出力インタフェース(出力I/F)118を備える。各部は、バス119に接続している。
CPU111は、各種のプログラムを実行し、演算処理や、制御プログラムに基づいて表示制御装置の全体を制御する。また、CPU111は、図10に図示されているレーザー光源204の制御を行う。RAM112は、情報を高速で読み書きするための揮発性の記憶媒体であり、CPU111がプログラムを実行する際のワークエリアとして機能する。 ROM113は、各種プログラムや制御プログラムが記憶されている読み出し専用の不揮発性の記憶媒体である。読取装置114は、図10に図示されている前方撮影カメラ201または視線撮影カメラ202により撮影された画像を読み取る(受け取る)手段である。読取装置1141は、読み取った画像や視線情報を物体認識部101または中心視/周辺視判定部103へ出力する。なお、表示制御装置が前景情報として感知情報を用いる場合には(実施形態2で後述する)、読取装置114は、前方撮影カメラ201に替えて感知器から情報を取得するように構成される。
記憶装置115は、各種プログラム、入力画像データ、および処理を施す各種のデジタルデータを格納する記憶手段であり、ハードディスクドライブ(HDD)やフラッシュメモリなどにより構成される。外部I/F116は、外部機器との接続やデータの送受信を制御するインタフェース(通信インタフェース)であり、イーサネット(登録商標)やUSB(Universal Serial Bus)を通じて外部機器との通信を行う。入力I/F117は、ユーザから表示制御装置の操作指示を受け付ける操作手段であり、例えば、タッチパネル、入力ボタンである。出力I/F118は、ユーザへの各種情報を表示する表示手段であり、例えば、ディスプレイ装置である。
上述した表示制御装置の各機能をプログラムにより実現する場合には、図9の表示制御装置100において、記憶媒体(ROM113または記憶装置115など)に格納したプログラムをRAM112に読み出し、CPU111にプログラムの命令群を実行させる。また、図1に示す各機能ブロックは、その一部あるいは全部をハードウェアにより構成してもよい。例えば、組み込みシステムのように、ハードウェアとソフトウェアとの組合せにより実現してもよく、ハードウェア、ファームウェア、ソフトウェアのいずれか、あるいは、これらの二つ以上の組合せで構成してもよい。
表示制御装置100の全部またはその一部をプログラムで実現する場合、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
また、表示制御装置100は、予め定める対象物体情報や危険物定義情報を、外部の記録媒体またはネットワークから外部I/F116を介して入手するように構成することや、入力I/F117を介して利用者が変更するように構成することができる。
本発明において表示装置はフロントガラス上に表示する機能を有するものであればレーザー光源を用いて通知物を表示する装置に限定されない。例えば透過型のディスプレイであっても良い。表示制御部105は、透過型のディスプレイに通知物を表示する制御を行う。
実施形態2.
実施形態1では、前景情報として、カメラなどにより撮影された前景画像を用いる場合を説明したが、本実施形態では感知情報を用いる場合を説明する。感知情報は、物体認識に用いるレーダー(例えば、ミリ波レーダー、レーザー)、カメラ、光センサーなどの感知器によって検出・取得した情報である。例えば、レーダーを用いる場合には、物体に衝突して反射した電波によって物体を検出する。
表示制御装置が感知情報を受け取る場合には、物体認識部101は、感知情報に基づいて、物体の存在を認識するとともに、物体の位置や相対速度などの情報を取得する。また、中心視/周辺視判定部103は、感知情報に基づいて、物体の位置を取得できるため、視線情報を用いて、当該物体が、中心視/周辺視のいずれの範囲であるかを判定することができる。さらに、危険予測部102は、感知情報から取得される物体の位置に基づいて、危険であるか否かを予測することができる。表示制御装置100の各機能ブロックの基本的な動作は、実施形態1と同様である。また、前景情報は、上記以外でも、物体の存在を認識でき、物体の位置などを取得可能な情報であればよい。
実施形態3.
図1では、表示制御装置100は、物体判定部として、危険予測部102を備える構成例を説明したが、これに限られることはない。物体判定部は、特定の条件として、例えば、危険物であると予想されるか否かにかかわらず、予め定めた条件を満たす物体を判定(選択・抽出)するように構成されていてもよい。特定の条件は、実施形態1と同様に、物体判定部内、または物体判定部が参照可能な記憶領域に保存されることが好ましい。
また、図1の表示制御装置100は、危険通知物作成部104と表示制御部105とを備える構成例を示しているが、危険通知物作成部104を設けない構成であってもよい。または、表示制御部105が危険通知物作成部104の機能を含めて実行するように構成してもよい。
例えば、表示制御部は、物体判定部によって特定の条件を満たすと判定された物体(以降適宜「特定の物体」ともいう)が、中心視の範囲と周辺視の範囲とのどちらに存在するかを判定した判定結果に応じて異なる通知物を表示させる制御するように構成される。このとき、通知物に関して、例えば、表示制御部105は、判定結果に応じた通知物を予め設定・保持するように構成され、判定結果に応じて異なる通知物を選択して表示させる制御を行ってもよい。あるいは、表示制御部105は、判定結果に応じた通知物を作成する機能(例えば危険通知物作成部104の機能)を有してもよい。
また、図8に示すフローチャートの動作例では、次のように動作してもよい。例えば、ステップS202において、特定の物体が周辺視と中心視のいずれの範囲かに関わらず、中心視用の通知物を表示する制御を行うときに、表示制御部は、特定の物体に応じて通知物を作成してもよいし、予め保持する通知物の一つ以上を選択して用いてもよい。
ステップS204において、特定の物体に対する通知物を、中心視用の通知物から周辺視用の通知物に切り替えるときに、表示制御部は、通知物を作成してもよいし、予め保持する通知物の一つ以上を選択して用いてもよいし、表示中の通知物の属性(例えば、色、線種、点滅の有無)を変更するように制御してもよい。
以上のように、本発明に係る好適な実施形態では、「周辺視は動きと位置の補足に優れている」という性質を考慮し、周辺視に存在する危険物に対して動きを付けた危険通知物を重ねて表示する。例えば、表示制御装置は、中心視に存在する危険物には形状や色が異なる危険通知物を重ねて表示し、周辺視に存在する危険物には動きのある危険通知物を重ねて表示する。これにより、周辺視の状態で危険がどこにあるかを察知することができるようになるため、周辺視に存在する危険物に素早く対応して危険を回避することを可能にする。
以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
100 表示制御装置
101 物体認識部
102 危険予測部
103 中心視/周辺視判定部
104 危険通知物作成部
105 表示制御部
特開2015‐180037号公報

Claims (7)

  1. 車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置であって、
    前記前景情報から所定の物体を認識する物体認識部と、
    認識した所定の物体が特定の条件を満たすか否かを判定する物体判定部と、
    前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定する中心視/周辺視判定部と、
    前記物体判定部によって前記特定の条件を満たすと判定された物体に対して、前記中心視用の通知物を作成し、前記物体判定部によって前記特定の条件を満たすと判定された物体が前記周辺視の範囲に所定時間以上存在する場合、該物体に対して前記周辺視用の通知物を作成し、前記通知物を表示させる制御を行う表示制御部と、
    を備える表示制御装置。
  2. 前記表示制御部は、前記特定の条件を満たすと判定された物体が前記中心視の範囲に存在する場合には、前記特定の条件を満たすと判定された物体の種類によって形状と色との少なくとも一方が異なる通知物を作成することを特徴とする請求項に記載の表示制御装置。
  3. 前記表示制御部は、前記特定の条件を満たすと判定された物体が前記中心視の範囲に存在する場合には、前記特定の条件を満たすと判定された物体の危険度に応じて形状と色との少なくとも一方が異なる通知物を作成することを特徴とする請求項に記載の表示制御装置。
  4. 前記中心視/周辺視判定部は、前景情報を複数受け取ると、各前景画像を受け取ったときの、直近の視線情報を用いて、前記中心視の範囲と前記周辺視の範囲とを判定することを特徴とする請求項1乃至のいずれか一項に記載の表示制御装置。
  5. 前記前景情報は、車両の進行方向の前方を撮影した画像情報と、感知器により検出した物体の感知情報との少なくとも一方を含むことを特徴とする請求項1乃至のいずれか一項に記載の表示制御装置。
  6. 車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置が実行する表示制御方法であって、
    前記前景情報から所定の物体を認識し、
    認識した所定の物体が特定の条件を満たすか否かを判定し、
    前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定し、
    前記特定の条件を満たすと判定された物体に対して、前記中心視用の通知物を作成し、前記特定の条件を満たすと判定された物体が前記周辺視の範囲に所定時間以上存在する場合、該物体に対して前記周辺視用の通知物を作成し、前記通知物を表示させる制御を行う表示制御方法。
  7. 車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置に、
    前記前景情報から所定の物体を認識する物体認識処理と、
    認識した所定の物体が特定の条件を満たすか否かを判定する特定の条件を満たすか否かを判定する物体判定処理と、
    前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定する中心視/周辺視判定処理と、
    前記特定の条件を満たすと判定された物体に対して、前記中心視用の通知物を作成し、前記特定の条件を満たすと判定された物体が前記周辺視の範囲に所定時間以上存在する場合、該物体に対して前記周辺視用の通知物を作成し、前記通知物を表示させる制御を行う表示制御処理と、
    を実行させる表示制御プログラム。
JP2018034335A 2017-03-02 2018-02-28 表示制御装置、表示制御方法および表示制御プログラム Active JP7067116B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/908,928 US10354153B2 (en) 2017-03-02 2018-03-01 Display controller, display control method, and recording medium storing program
EP18159476.3A EP3369602A1 (en) 2017-03-02 2018-03-01 Display controller, display control method, and carrier means

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017039123 2017-03-02
JP2017039123 2017-03-02

Publications (2)

Publication Number Publication Date
JP2018147481A JP2018147481A (ja) 2018-09-20
JP7067116B2 true JP7067116B2 (ja) 2022-05-16

Family

ID=63591443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018034335A Active JP7067116B2 (ja) 2017-03-02 2018-02-28 表示制御装置、表示制御方法および表示制御プログラム

Country Status (1)

Country Link
JP (1) JP7067116B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7446605B2 (ja) 2020-03-31 2024-03-11 株式会社ユピテル システム、プログラム、学習済みモデル、学習モデルの生成方法および生成装置等

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012148710A (ja) 2011-01-20 2012-08-09 Toyota Motor Corp 画像表示装置
WO2015037117A1 (ja) 2013-09-13 2015-03-19 日立マクセル株式会社 情報表示システム及び情報表示装置
JP2015141490A (ja) 2014-01-28 2015-08-03 三菱電機株式会社 車両情報表示制御装置および車両情報表示制御方法
JP2017170949A (ja) 2016-03-18 2017-09-28 トヨタ自動車株式会社 車両用表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012148710A (ja) 2011-01-20 2012-08-09 Toyota Motor Corp 画像表示装置
WO2015037117A1 (ja) 2013-09-13 2015-03-19 日立マクセル株式会社 情報表示システム及び情報表示装置
JP2015141490A (ja) 2014-01-28 2015-08-03 三菱電機株式会社 車両情報表示制御装置および車両情報表示制御方法
JP2017170949A (ja) 2016-03-18 2017-09-28 トヨタ自動車株式会社 車両用表示装置

Also Published As

Publication number Publication date
JP2018147481A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
US10013951B2 (en) Display control device, display device, display control program, display control method, and recording medium
CN105539269B (zh) 具有自适应光分布的车辆前灯***
US9639990B2 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
JP6409337B2 (ja) 表示装置
US20180334099A1 (en) Vehicle environment imaging systems and methods
JP6375816B2 (ja) 車両用周辺情報表示システム及び表示装置
JP6562079B2 (ja) 車両用表示装置及び車両用表示方法
WO2016147584A1 (ja) 車両監視装置、車両監視方法、及び、車両監視プログラム
JP2015055999A (ja) 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP2015203923A (ja) 認知支援システム
US20210001723A1 (en) Line-of-sight guidance device
JP7067116B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP7216898B2 (ja) 表示制御方法、表示制御装置及びヘッドアップディスプレイ装置
US10354153B2 (en) Display controller, display control method, and recording medium storing program
JP2018148530A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2019188855A (ja) 車両用視認装置
JP2011191859A (ja) 車両の周辺監視装置
KR102010407B1 (ko) 스마트 리어뷰 시스템
JP6365409B2 (ja) 車両の運転者のための画像表示装置
JP2015232846A (ja) 前方状況判定装置
JP7200652B2 (ja) 通知制御装置、電子ミラー装置、通知制御方法、通知制御プログラム
JP6313999B2 (ja) 物体検出装置、及び、物体検出システム
JP6690311B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6387869B2 (ja) 警告装置、警告方法及び警告プログラム
JP2019148935A (ja) 表示制御装置及びヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R151 Written notification of patent or utility model registration

Ref document number: 7067116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151