JP2021089470A - 周辺監視システム - Google Patents
周辺監視システム Download PDFInfo
- Publication number
- JP2021089470A JP2021089470A JP2019218018A JP2019218018A JP2021089470A JP 2021089470 A JP2021089470 A JP 2021089470A JP 2019218018 A JP2019218018 A JP 2019218018A JP 2019218018 A JP2019218018 A JP 2019218018A JP 2021089470 A JP2021089470 A JP 2021089470A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- monitoring system
- gaze
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 50
- 230000006399 behavior Effects 0.000 claims abstract description 47
- 230000002093 peripheral effect Effects 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 26
- 230000008921 facial expression Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
また、併せて本発明は、ドライバーが関心をもっている他車の情報として、当該関心の強さに適した内容の情報をドライバーに提示することを課題とする。
このような周辺監視システムによっても、ドライバーの煩雑な操作を必要とすることなく、ドライバーが真に関心をもっている他車の情報をドライバーに提示することができる。
また、本発明によれば、ドライバーが関心をもっている他車の情報として、当該関心の強さに適した内容の情報をドライバーに提示することができる。
図1に、本実施形態に係る周辺監視システムの構成を示す。
周辺監視システムは自動車に搭載されるシステムであり、複数のカメラ1と、複数のレーダ2と、他車認識装置3と、制御装置4と、ディスプレイ5と、スピーカを用いて音声を出力する音声出力装置6と、音声認識を行って音声入力を受け付ける音声入力装置7と、DMS8(ドライバーモニタリングシステム8)と、他車管理テーブル9とを備えている。
また、DMS8は、図2bに示すように、自動車室内に配置された、運転席に着座したドライバーの頭部をドライバーの前方より撮影する赤外線カメラ81で撮影した映像等から、ドライバーの視点の位置や注視方向(見ている方向)や、その他のドライバーの挙動を検出する。
各他車データには、他車の識別を表す他車ID、他車の色、他車の車種、他車の登録番号(他車のナンバープレートの番号)、ドライバーの他車に対する関心の度合いを表す関心度、他車の位置の履歴を表す位置履歴、ドライバーが他車を注視した履歴を表す注視履歴、他車のその他の属性が登録される。
他車管理テーブル更新処理では、受け取った他車情報と整合する他車データを対象他車データとして、受け取った他車情報が表す位置を現時刻と共に対象他車データの位置履歴に追加登録する。他車情報と整合する他車データとは、他車情報の色や車種や登録番号や位置と、登録されている色や車種や登録番号や位置履歴が、同一車両の情報として矛盾せずに整合する他車データである。
図示するように、関心度設定処理では、DMS8が検出しているドライバーの視点と注視方向から、ドライバーがいずれかの他車を注視しているかどうかを、各他車データの位置履歴を参照して監視する(ステップ402)。
ステップ410では、注視していた他車データの注視履歴が示す過去所定期間中に、当該他車を注視した回数をN、注視していた他車データの注視履歴が示す、過去所定期間中に当該他車を注視した時間の合計をTとして、Nが大きくなるほど大きくなり、Tが大きくなるほど大きくなるように注目度DAを算出する。すなわち、たとえば、DA=N×Tや、k1、k2を所定の係数として、DA=k1×N+k2×TによりDAを算定する。
このような関心度設定処理によれば、ドライバーが大きな関心をもっている他車であるために高い頻度で目視確認した他車の他車データの関心度が大に設定され、ドライバーが中程度の関心をもっている他車であるために中程度の頻度で目視確認した他車の他車データの関心度が中に設定され、ドライバーが関心がないために低い頻度でした目視確認していない他車の他車データの関心度が小に設定される。
制御装置4は、他車情報の提示として、ディスプレイ5への他車の位置表示と、音声出力装置6からの他車情報の音声による出力を行う。
まず、ディスプレイ5への他車の位置表示の動作について説明する。
制御装置4は、ディスプレイ5に、たとえば、図5に示すような、自車と他車の位置関係を示す他車提示画像を表示すると共に、一定時間周期で他車提示画像を更新する。
他車提示画像には、自車を表す自車マーク501と、前回の他車提示画像の更新後に位置履歴が更新された他車データに対応する他車を表す他車マーク511、512、513、514を表示する。各他車マーク511/512/513/514は、他車データの位置履歴の最新の位置が表す、他車データに対応する他車と自車との位置関係を、当該他車マーク511/512/513/514と自車マーク501との位置関係によって表すように表示する。
すなわち、図6に示すルールに従って、他車提示画像による他車の位置表示では、関心度が小の他車データに対応する他車マーク511、512は通常の形態で表示し、関心度が中の他車データに対応する他車マーク513は通常の形態よりも少し強調した形態で表示し、関心度が大の他車データに対応する他車マーク514は、関心度が中の他車マーク513よりも、さらに強く強調した形態で表示する。
制御装置4は、他車管理テーブル9の、関心度として中、大が登録されている他車データに対応する他車の挙動を、当該他車データの位置履歴に基づいて継続的に監視する処理を行う。
また、関心度として大が登録されている他車データに対応する他車については、当該他車の挙動が変化し、分岐点での自車走行道路外の他の道路への進行などの、当該他車が直接自車に関連しない挙動を行った場合にも、「赤い、AA(AAは車種名)が分岐していきました」といったような、その他車の特徴と当該他車が行った挙動を示す音声メッセージを音声出力装置6から出力する。
このように本実施形態に係る周辺監視システムは、ドライバーが注視している程度が大きい他車を自動的に抽出して、その情報を提示する。ここで、ドライバーが注視している程度が大きい他車は、ドライバーが関心を示している他車であるので、本周辺監視システムによれば、ドライバーの煩雑な操作を必要とすることなく、ドライバーが真に関心をもっている他車の情報をドライバーに提示することができる。また、注視している程度が大きい他車、すなわち、ドライバーが関心を示している程度が大きい他車ほど、よりきめ細かく、その情報を提示するので、ドライバーの関心の強さに適した内容の情報を、ドライバーに提示することができる。
また、以上の実施形態は、他車データの属性に、他車データに対応する他車が、自車と同行している自動車であるかどうかを登録し、他車データの属性に応じて、他車情報の提示の形態を行うようにしてもよい。
以上の実施形態は、他車提示画像の表示は行わないようにしてもよい。
Claims (10)
- 自動車周辺の他車の情報を提示する周辺監視システムであって、
前記自動車周辺の他車を認識する他車認識手段と、
前記自動車のドライバーの前記自動車周辺の他車の注視状況を検出する注視状況検出手段と、
前記他車認識手段が認識した他車の情報を前記ドライバーに提示する他車情報提示手段とを有し、
前記他車情報提示手段は、前記他車認識手段が認識した他車のうち、前記注視状況検出手段が検出している注視状況が表すドライバーが注視している程度である注視程度が所定のレベルより大きい他車を監視対象他車に設定し、継続的に前記監視対象他車の情報を提示することを特徴とする周辺監視システム。 - 請求項1記載の周辺監視システムであって、
前記他車情報提示手段は、監視対象他車の情報の提示を当該情報を表す音声出力により行うと共に、前記他車認識手段が認識した他車のうちの監視対象他車でない他車の情報の音声出力による提示は行わないことを特徴とする周辺監視システム。 - 請求項1または2記載の周辺監視システムであって、
前記他車認識手段は、前記自動車周辺の他車の挙動を検出し、
前記他車情報提示手段は、前記他車認識手段が検出している前記監視対象他車の所定の挙動が発生したときに、当該挙動の発生を当該監視対象他車の情報として提示することを特徴とする周辺監視システム。 - 自動車周辺の他車の情報を提示する周辺監視システムであって、
前記自動車周辺の他車を認識する他車認識手段と、
前記自動車のドライバーの前記自動車周辺の他車の注視状況を検出する注視状況検出手段と、
前記他車認識手段が認識した他車の情報を前記ドライバーに提示する他車情報提示手段とを有し、
前記他車情報提示手段は、前記他車認識手段が認識した他車のうち、前記注視状況検出手段が検出している注視状況が表すドライバーが注視している程度である注視程度が所定のレベルである第1レベルより大きい他車の情報を、前記注視程度が前記第1レベルより大きくない他車の情報よりも、よりきめ細かく提示することを特徴とする周辺監視システム。 - 請求項4記載の周辺監視システムであって、
前記他車情報提示手段は、前記他車認識手段が認識した他車のうち、前記注視程度が前記第1レベルより小さいレベルである第2レベルより大きい他車の情報を提示すると共に、前記注視程度が前記第1レベルより大きい他車の情報を、前記注視程度が前記第2レベルより大きく前記第1レベルより大きくない他車の情報よりも、よりきめ細かく提示することを特徴とする周辺監視システム。 - 請求項5記載の周辺監視システムであって、
前記他車情報提示手段は、他車の情報の提示を当該情報を表す音声出力により行うものであると共に、前記注視程度が前記第2レベルより大きくない他車の情報の音声出力による提示は行わないことを特徴とする周辺監視システム。 - 請求項6記載の周辺監視システムであって、
前記他車認識手段は、前記自動車周辺の他車の挙動を検出し、
前記他車情報提示手段は、前記他車認識手段が認識した他車のうち、前記注視程度が前記第2レベルより大きく前記第1レベルより大きくない他車の予め第1グループに分類した挙動が発生したときに、当該挙動の発生を当該他車の情報として音声出力により提示し、前記注視程度が前記第1レベルより大きい他車の前記第1グループに分類した挙動と予め第2グループに分類した挙動のいずれかが発生したときに、当該挙動の発生を当該他車の情報として音声出力により提示し、
前記第1グループに分類された挙動と、前記第2グループに分類された挙動とは異なることを特徴とする周辺監視システム。 - 請求項1、2、3、4、5、6または7記載の周辺監視システムであって、
前記他車情報提示手段は、前記注視程度を、注視した回数が大きくなるほど大きくなり、注視した期間の時間長が大きくなるほど大きくなるように算定することを特徴とする周辺監視システム。 - 自動車周辺の他車の情報を提示する周辺監視システムであって、
前記自動車周辺の他車を認識する他車認識手段と、
前記自動車のドライバーの前記自動車周辺の他車に関心を払う行動の発生を検出する行動検出手段と、
前記他車認識手段が認識した他車の情報を前記ドライバーに提示する他車情報提示手段とを有し、
前記他車情報提示手段は、前記他車認識手段が認識した他車のうち、前記行動検出手段が当該他車に対する関心を払う行動の発生を検出した他車を監視対象他車に設定し、継続的に前記監視対象他車の情報を提示することを特徴とする周辺監視システム。 - 請求項9記載の周辺監視システムであって、
前記行動検出手段が検出する他車に関心を払う行動は、少なくとも他車を指さす行動を含むことを特徴とする周辺監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019218018A JP7466985B2 (ja) | 2019-12-02 | 2019-12-02 | 周辺監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019218018A JP7466985B2 (ja) | 2019-12-02 | 2019-12-02 | 周辺監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021089470A true JP2021089470A (ja) | 2021-06-10 |
JP7466985B2 JP7466985B2 (ja) | 2024-04-15 |
Family
ID=76220666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019218018A Active JP7466985B2 (ja) | 2019-12-02 | 2019-12-02 | 周辺監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7466985B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06251287A (ja) * | 1993-02-23 | 1994-09-09 | Mitsubishi Electric Corp | 運転支援システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175992A (ja) | 1999-12-14 | 2001-06-29 | Mazda Motor Corp | 車両用表示装置 |
JP2008013070A (ja) | 2006-07-06 | 2008-01-24 | Toyota Motor Corp | 車両用表示装置 |
JP4231884B2 (ja) | 2006-09-27 | 2009-03-04 | 株式会社デンソーアイティーラボラトリ | 注視対象物検出装置および注視対象物検出方法 |
JP2012022589A (ja) | 2010-07-16 | 2012-02-02 | Hitachi Ltd | 商品選択支援方法 |
JP2013225226A (ja) | 2012-04-23 | 2013-10-31 | Kyocera Corp | 情報端末、表示制御プログラムおよび表示制御方法 |
JP2018148530A (ja) | 2017-03-09 | 2018-09-20 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
-
2019
- 2019-12-02 JP JP2019218018A patent/JP7466985B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06251287A (ja) * | 1993-02-23 | 1994-09-09 | Mitsubishi Electric Corp | 運転支援システム |
Also Published As
Publication number | Publication date |
---|---|
JP7466985B2 (ja) | 2024-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10421459B2 (en) | Contextual-assessment vehicle systems | |
US10636301B2 (en) | Method for assisting operation of an ego-vehicle, method for assisting other traffic participants and corresponding assistance systems and vehicles | |
US10009580B2 (en) | Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle | |
EP2544161B1 (en) | Surrounding area monitoring device for vehicle | |
US20220189307A1 (en) | Presentation of dynamic threat information based on threat and trajectory prediction | |
WO2016067544A1 (ja) | 車載注意喚起システム及び報知制御装置 | |
US9758098B2 (en) | Vehicle periphery monitoring device | |
JP3160108B2 (ja) | 運転支援システム | |
JP5286035B2 (ja) | 車速制御装置 | |
JP2004535971A (ja) | ヘッドアップディスプレイシステム及び方法 | |
US20170280063A1 (en) | Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle | |
US20230004154A1 (en) | Method for remotely controlled driving of a motor vehicle comprising a teleoperator, computer program product, and teleoperation driving system | |
JP6891926B2 (ja) | 車両システム、車両システムで実行される方法、および運転者支援システム | |
CN114842433A (zh) | 基于显著性的图像中对象的呈现 | |
JPH11139229A (ja) | 走行環境監視警報装置 | |
US20230356746A1 (en) | Presentation control device and non-transitory computer readable medium | |
JP2021089470A (ja) | 周辺監視システム | |
US11807264B2 (en) | Driving assistance apparatus, driving assistance method, and medium | |
JP2020095466A (ja) | 電子装置 | |
JP6631564B2 (ja) | 自動運転車両監視装置、方法およびプログラム | |
WO2018220774A1 (ja) | 運転支援装置、運転支援システムおよび運転支援方法 | |
JP6476644B2 (ja) | 認知補助装置 | |
EP4230491A1 (en) | A computer-implemented method for providing a function recommendation in a vehicle, a vehicle and a system for implementing the method | |
US20240135812A1 (en) | Information notification system, information notification method, and non-transitory computer-readable recording medium | |
JP7432198B2 (ja) | 状況認識推定システム及び運転支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7466985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |