JP7067116B2 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents
表示制御装置、表示制御方法および表示制御プログラム Download PDFInfo
- Publication number
- JP7067116B2 JP7067116B2 JP2018034335A JP2018034335A JP7067116B2 JP 7067116 B2 JP7067116 B2 JP 7067116B2 JP 2018034335 A JP2018034335 A JP 2018034335A JP 2018034335 A JP2018034335 A JP 2018034335A JP 7067116 B2 JP7067116 B2 JP 7067116B2
- Authority
- JP
- Japan
- Prior art keywords
- display control
- range
- information
- vision
- specific condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明の表示制御装置の一態様は、車両の進行方向の前景情報に対して、特定の条件を満たす物体、および、運転者の視線から中心視の範囲と周辺視の範囲を判定し、特定の条件を満たす物体が中心視の範囲と周辺視の範囲とのどちらに存在するかに応じて異なる通知物を表示させる制御を行う。
例えば、本発明の表示制御装置は、車両の進行方向の前景情報に対して、運転者の視線から中心視の範囲と周辺視の範囲とを判定し、周辺視に存在する危険物には、中心視に存在する危険物とは異なる危険通知物(例えば、動きのある通知物)を作成し、危険通知物を危険物に重ねて表示することによって、危険物の存在を早く気付かせる。前景情報は、車両の進行方向の前方に存在する物体を認識(検知)することが可能な情報であり、例えば、車両の進行方向の前方を撮影した画像情報や、レーダーやセンサーなどの感知器により検出した物体の感知情報などである。以下、図面を用いて各実施形態を詳細に解説する。
実施形態1では、画像情報として、車両の進行方向の前方を撮影した前景画像を用いる場合を一例として説明する。
図10は、本発明の一実施形態に係るシステム全体のハードウェアの構成例を説明する図である。本システムは表示制御装置100、フロントガラス200、前方撮影カメラ201、視線認識カメラ202、ミラー203、レーザー光源204からなっている。
レーザー光源204は内部に発光素子を有し、各発光素子は点灯タイミングや発光強度が表示制御装置100によって制御される表示装置である。
前方撮影カメラ201は、フロントガラス200を通して前方を撮影する。
視線撮影カメラ202は、運転者の目の周辺を含む領域を撮影する。
ミラー203はレーザー光源から出力されたレーザー光を反射してフロントガラス200に照射する。
表示制御装置100は、物体認識部101、危険予測部102、中心視/周辺視判定部103、危険通知物作成部104、および表示制御部105を備える。表示制御装置100は、前景画像と、運転者の視線を取得できる視線情報とを受け取るように構成されている。
本発明の一実施形態における“予測”とは、危険であると定めた情報に基づいて特定の条件を満たすか否かを判定することを意味する。危険であると定めた情報(以降適宜、「危険物定義情報」と記載する)は、特定の条件の一例であり、予め定められ、危険予測部102内、または危険予測部102が参照可能な表示制御装置100内の記憶領域に保存される。危険であると定めた情報には、例えば、認識した物体の位置(車両との距離)や相対速度に基づいて、危険であるか否かの判定に用いる情報(閾値など)を含む。また、物体の種類によって、優先度を変えるように設定する情報(車両より人の優先度が高い、など)を含んでいてもよい。
車両の前景として図3の画像が取得でき、かつ運転者の視線が×印を付した位置に向けられている場合、中心視の範囲と周辺視の範囲は図4のように判定される。中心視は一般的に、視線位置から上下方向および左右方向に約20度、周辺視野は上下方向に約130度、左右方向に約180度ということが知られているため、中心視/周辺視判定部103は、視線位置が分かれば範囲を特定できる。次に、図5乃至7を参照して危険通知物の具体例を説明する。ここでは、危険物として、人間と車両が危険物定義情報に予め定められていることを前提とする。
本発明において表示装置はフロントガラス上に表示する機能を有するものであればレーザー光源を用いて通知物を表示する装置に限定されない。例えば透過型のディスプレイであっても良い。表示制御部105は、透過型のディスプレイに通知物を表示する制御を行う。
実施形態1では、前景情報として、カメラなどにより撮影された前景画像を用いる場合を説明したが、本実施形態では感知情報を用いる場合を説明する。感知情報は、物体認識に用いるレーダー(例えば、ミリ波レーダー、レーザー)、カメラ、光センサーなどの感知器によって検出・取得した情報である。例えば、レーダーを用いる場合には、物体に衝突して反射した電波によって物体を検出する。
図1では、表示制御装置100は、物体判定部として、危険予測部102を備える構成例を説明したが、これに限られることはない。物体判定部は、特定の条件として、例えば、危険物であると予想されるか否かにかかわらず、予め定めた条件を満たす物体を判定(選択・抽出)するように構成されていてもよい。特定の条件は、実施形態1と同様に、物体判定部内、または物体判定部が参照可能な記憶領域に保存されることが好ましい。
例えば、表示制御部は、物体判定部によって特定の条件を満たすと判定された物体(以降適宜「特定の物体」ともいう)が、中心視の範囲と周辺視の範囲とのどちらに存在するかを判定した判定結果に応じて異なる通知物を表示させる制御するように構成される。このとき、通知物に関して、例えば、表示制御部105は、判定結果に応じた通知物を予め設定・保持するように構成され、判定結果に応じて異なる通知物を選択して表示させる制御を行ってもよい。あるいは、表示制御部105は、判定結果に応じた通知物を作成する機能(例えば危険通知物作成部104の機能)を有してもよい。
ステップS204において、特定の物体に対する通知物を、中心視用の通知物から周辺視用の通知物に切り替えるときに、表示制御部は、通知物を作成してもよいし、予め保持する通知物の一つ以上を選択して用いてもよいし、表示中の通知物の属性(例えば、色、線種、点滅の有無)を変更するように制御してもよい。
以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
101 物体認識部
102 危険予測部
103 中心視/周辺視判定部
104 危険通知物作成部
105 表示制御部
Claims (7)
- 車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置であって、
前記前景情報から所定の物体を認識する物体認識部と、
認識した所定の物体が特定の条件を満たすか否かを判定する物体判定部と、
前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定する中心視/周辺視判定部と、
前記物体判定部によって前記特定の条件を満たすと判定された物体に対して、前記中心視用の通知物を作成し、前記物体判定部によって前記特定の条件を満たすと判定された物体が前記周辺視の範囲に所定時間以上存在する場合、該物体に対して前記周辺視用の通知物を作成し、前記通知物を表示させる制御を行う表示制御部と、
を備える表示制御装置。 - 前記表示制御部は、前記特定の条件を満たすと判定された物体が前記中心視の範囲に存在する場合には、前記特定の条件を満たすと判定された物体の種類によって形状と色との少なくとも一方が異なる通知物を作成することを特徴とする請求項1に記載の表示制御装置。
- 前記表示制御部は、前記特定の条件を満たすと判定された物体が前記中心視の範囲に存在する場合には、前記特定の条件を満たすと判定された物体の危険度に応じて形状と色との少なくとも一方が異なる通知物を作成することを特徴とする請求項1に記載の表示制御装置。
- 前記中心視/周辺視判定部は、前景情報を複数受け取ると、各前景画像を受け取ったときの、直近の視線情報を用いて、前記中心視の範囲と前記周辺視の範囲とを判定することを特徴とする請求項1乃至3のいずれか一項に記載の表示制御装置。
- 前記前景情報は、車両の進行方向の前方を撮影した画像情報と、感知器により検出した物体の感知情報との少なくとも一方を含むことを特徴とする請求項1乃至4のいずれか一項に記載の表示制御装置。
- 車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置が実行する表示制御方法であって、
前記前景情報から所定の物体を認識し、
認識した所定の物体が特定の条件を満たすか否かを判定し、
前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定し、
前記特定の条件を満たすと判定された物体に対して、前記中心視用の通知物を作成し、前記特定の条件を満たすと判定された物体が前記周辺視の範囲に所定時間以上存在する場合、該物体に対して前記周辺視用の通知物を作成し、前記通知物を表示させる制御を行う表示制御方法。 - 車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置に、
前記前景情報から所定の物体を認識する物体認識処理と、
認識した所定の物体が特定の条件を満たすか否かを判定する特定の条件を満たすか否かを判定する物体判定処理と、
前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定する中心視/周辺視判定処理と、
前記特定の条件を満たすと判定された物体に対して、前記中心視用の通知物を作成し、前記特定の条件を満たすと判定された物体が前記周辺視の範囲に所定時間以上存在する場合、該物体に対して前記周辺視用の通知物を作成し、前記通知物を表示させる制御を行う表示制御処理と、
を実行させる表示制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/908,928 US10354153B2 (en) | 2017-03-02 | 2018-03-01 | Display controller, display control method, and recording medium storing program |
EP18159476.3A EP3369602A1 (en) | 2017-03-02 | 2018-03-01 | Display controller, display control method, and carrier means |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017039123 | 2017-03-02 | ||
JP2017039123 | 2017-03-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018147481A JP2018147481A (ja) | 2018-09-20 |
JP7067116B2 true JP7067116B2 (ja) | 2022-05-16 |
Family
ID=63591443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018034335A Active JP7067116B2 (ja) | 2017-03-02 | 2018-02-28 | 表示制御装置、表示制御方法および表示制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7067116B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7446605B2 (ja) | 2020-03-31 | 2024-03-11 | 株式会社ユピテル | システム、プログラム、学習済みモデル、学習モデルの生成方法および生成装置等 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012148710A (ja) | 2011-01-20 | 2012-08-09 | Toyota Motor Corp | 画像表示装置 |
WO2015037117A1 (ja) | 2013-09-13 | 2015-03-19 | 日立マクセル株式会社 | 情報表示システム及び情報表示装置 |
JP2015141490A (ja) | 2014-01-28 | 2015-08-03 | 三菱電機株式会社 | 車両情報表示制御装置および車両情報表示制御方法 |
JP2017170949A (ja) | 2016-03-18 | 2017-09-28 | トヨタ自動車株式会社 | 車両用表示装置 |
-
2018
- 2018-02-28 JP JP2018034335A patent/JP7067116B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012148710A (ja) | 2011-01-20 | 2012-08-09 | Toyota Motor Corp | 画像表示装置 |
WO2015037117A1 (ja) | 2013-09-13 | 2015-03-19 | 日立マクセル株式会社 | 情報表示システム及び情報表示装置 |
JP2015141490A (ja) | 2014-01-28 | 2015-08-03 | 三菱電機株式会社 | 車両情報表示制御装置および車両情報表示制御方法 |
JP2017170949A (ja) | 2016-03-18 | 2017-09-28 | トヨタ自動車株式会社 | 車両用表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2018147481A (ja) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10013951B2 (en) | Display control device, display device, display control program, display control method, and recording medium | |
CN105539269B (zh) | 具有自适应光分布的车辆前灯*** | |
US9639990B2 (en) | Display control apparatus, computer-implemented method, storage medium, and projection apparatus | |
JP6409337B2 (ja) | 表示装置 | |
US20180334099A1 (en) | Vehicle environment imaging systems and methods | |
JP6375816B2 (ja) | 車両用周辺情報表示システム及び表示装置 | |
JP6562079B2 (ja) | 車両用表示装置及び車両用表示方法 | |
WO2016147584A1 (ja) | 車両監視装置、車両監視方法、及び、車両監視プログラム | |
JP2015055999A (ja) | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム | |
JP2015203923A (ja) | 認知支援システム | |
US20210001723A1 (en) | Line-of-sight guidance device | |
JP7067116B2 (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
JP7216898B2 (ja) | 表示制御方法、表示制御装置及びヘッドアップディスプレイ装置 | |
US10354153B2 (en) | Display controller, display control method, and recording medium storing program | |
JP2018148530A (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP2019188855A (ja) | 車両用視認装置 | |
JP2011191859A (ja) | 車両の周辺監視装置 | |
KR102010407B1 (ko) | 스마트 리어뷰 시스템 | |
JP6365409B2 (ja) | 車両の運転者のための画像表示装置 | |
JP2015232846A (ja) | 前方状況判定装置 | |
JP7200652B2 (ja) | 通知制御装置、電子ミラー装置、通知制御方法、通知制御プログラム | |
JP6313999B2 (ja) | 物体検出装置、及び、物体検出システム | |
JP6690311B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP6387869B2 (ja) | 警告装置、警告方法及び警告プログラム | |
JP2019148935A (ja) | 表示制御装置及びヘッドアップディスプレイ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220411 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7067116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |