JP2021154887A - 表示制御装置、表示制御方法およびプログラム - Google Patents
表示制御装置、表示制御方法およびプログラム Download PDFInfo
- Publication number
- JP2021154887A JP2021154887A JP2020057308A JP2020057308A JP2021154887A JP 2021154887 A JP2021154887 A JP 2021154887A JP 2020057308 A JP2020057308 A JP 2020057308A JP 2020057308 A JP2020057308 A JP 2020057308A JP 2021154887 A JP2021154887 A JP 2021154887A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- display
- image
- vehicle
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 230000008859 change Effects 0.000 claims description 46
- 238000000605 extraction Methods 0.000 abstract description 10
- 230000004044 response Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
図1を参照して実施の形態1にかかる表示システム1の構成について説明する。図1は、実施の形態1にかかる表示システム1のブロック図である。表示システム1は、車両の外部の風景に関連する情報を、車両の運転者等のユーザに対して表示により報知するシステムである。表示システム1は、表示制御装置10と、カメラ91と、表示部92とを備える。表示制御装置10、カメラ91および表示部92は、車両に搭載されている。
サイズ割当部14は、複数の抽出画像データの各々に対応する表示画像の画像サイズに関する情報を、表示画像データ生成部15に供給する。
なお上述の通り、抽出画像データ生成部13は、移動方向の変更を検出したことに応じて、予測移動方向側の風景に関連する抽出画像の画角を設定変更し、その抽出画像の抽出画像データを生成する。
次にステップS11において、表示制御装置10の動作状態検出部12は、車両90の動作状態として、車両90の移動方向の変更を検出したか否かを判定する。動作状態検出部12は、移動方向の変更を検出したと判断した場合(ステップS11:Yes)、予測移動方向情報を含む移動方向変更情報を生成する。そして動作状態検出部12は、移動方向変更情報を抽出画像データ生成部13およびサイズ割当部14に供給し、処理をステップS12に進める。一方、動作状態検出部12は、移動方向の変更を検出したと判断しない場合(ステップS11:No)、処理をステップS14に進める。
具体的には表示画像データ生成部15は、第1抽出画像データにかかる抽出画像に対しては、画素の変換処理を行わないで第1表示画像の第1表示画像データを生成する。一方、表示画像データ生成部15は、第2抽出画像データにかかる抽出画像に対しては、画像を圧縮して第2表示画像の第2表示画像データを生成する。
そして表示画像データ生成部15は、生成した複数の表示画像データを出力部16に供給する。
また第2表示画像P13は、第2抽出画像データから生成されたものであり、第2表示画像P13には、他車両H4が含まれる。
本図に示すように、幅W11および幅W13の長さはそれぞれ、歪曲収差を有する抽出画像の第1および第2抽出画像データから、実質的に歪みのない画像として第1表示画像P11および第2表示画像P13が生成されるように予め定められてよい。
ここで第2表示画像P16が表示されている領域の幅W16は、第1表示画像P14が表示されている領域の幅W14よりも短い。なお本図において幅W14と幅W16の長さの合計は、図5に示す幅W11および幅W13の長さの合計、つまり幅Wの長さと等しい。つまりサイズ割当部14は、予測移動方向と異なる方向に関連する第2抽出画像データの第2表示画像P16に対して、幅Wの長さから第1表示画像P14に対応する幅W14の長さを差し引いた長さを、幅W16の長さとして割り当てる。
なお実施の形態1では、表示制御装置10は、予測移動方向と異なる方向に関連する抽出画像の画角を第1画角に設定し、第1画角にかかる抽出画像の表示画像を表示部92に表示させた。しかしこれに代えて、表示制御装置10は、移動方向の変更が検出されたことに応じて、予測移動方向と異なる方向に関連する抽出画像の画角を予測移動方向に関連する抽出画像の画角と同様に、第2画角に設定変更してよい。
そして図3に示すステップS14において、抽出画像データ生成部13は、移動方向の変更が検出された場合、画角A12にかかる抽出画像の第1抽出画像データを生成する。またこの場合、抽出画像データ生成部13は、画角B12にかかる抽出画像の第2抽出画像データを生成する。一方、移動方向の変更が検出されなかった場合、抽出画像データ生成部13は、画角A11にかかる抽出画像の第1抽出画像データを生成する。またこの場合、抽出画像データ生成部13は、画角B11にかかる抽出画像の第2抽出画像データを生成する。
図8には、表示画像P102が示されている。表示画像P102は、第2表示画像P16に代えて、第2表示画像P18を有している点で、図7に示した画像P101と異なる。以下に、画像P101と異なる点について主に説明する。
なお第2表示画像P18が表示されている領域の幅W18の長さは、図7に示した第2表示画像P16の幅W16の長さと等しい。ここで第2表示画像P18は、画角B11より広い画角B12にかかる外縁により抽出された抽出画像から生成され、第2表示画像P18には、第2表示画像P16に含まれる他車両H4に加えて、他車両H5が含まれる。そのため、第2表示画像P16と第2表示画像P18とを比較すると、第2表示画像P18は幅方向が相対的に圧縮されている。
実施の形態1では、2画面表示の場合を例に説明した。しかしこれに限らず、表示制御装置10が、図2に示した車両90の左側および右側の風景に関連する表示画像に加えて、後ろ側の風景に関連する表示画像を、表示部92の表示部分に表示してよい。すなわち第2変形例は、3画面表示の場合の例である。
まずステップS10に代えて、表示制御装置10の撮影データ取得部11は、左カメラ91A、右カメラ91Bおよび後カメラ91Cのそれぞれから撮影データを取得する。
第3表示画像P12は、表示画像P103のうち幅方向の長さがW12である領域に表示される。なお本図に示すようにW11、W12およびW13の大きさの合計はW’である。W11、W12およびW13は、互いに等しい大きさを有してよい。
次に図10〜11を用いて、本発明の実施の形態2について説明する。実施の形態2は、抽出画像の画角の大きさが予測移動方向に加えて車両90の移動速度に基づいて設定され、表示画像の画像サイズが画角の大きさに基づいて割り当てられることに特徴を有する。本実施の形態2の表示制御装置20は、実施の形態1の表示制御装置10と基本的に同様の構成および機能を有する。以下実施の形態1との相違点を中心に説明する。
次に、実施の形態3について説明する。実施の形態3は、表示制御装置が指標画像データを表示部92に表示させることに特徴を有する。図12は、実施の形態3にかかる表示システム3のブロック図である。実施の形態3は、表示システム3が表示制御装置20に代えて表示制御装置30を備える点で実施の形態2と異なる。表示制御装置30は、表示制御装置20の構成に加えて指標画像データ生成部17を有している。
指標画像データ生成部17は生成した指標画像データを出力部16に供給し、出力部16が、指標画像データを各表示画像とともに表示部92に出力する。
次に、実施の形態4について説明する。実施の形態4は、表示制御装置が車両情報に基づいて車両の動作状態を検出することに特徴を有する。図14は、実施の形態4にかかる表示システム4のブロック図である。表示システム4は、表示制御装置30に代えて表示制御装置40を備える点で表示システム3と異なる。
表示制御装置40は、表示制御装置30の構成に加えて、車両情報取得部18を有する。また表示制御装置40はCAN(Controller Area Network)などの車内通信バスを介して車両90のECU93(ECU=Electronic Control Unit)に接続している。
10,20,30,40 表示制御装置
11 撮影データ取得部
12 動作状態検出部
13 抽出画像データ生成部
14 サイズ割当部
15 表示画像データ生成部
16 出力部
17 指標画像データ生成部
18 車両情報取得部
90 車両
91 カメラ
91A 左カメラ
91B 右カメラ
91C 後カメラ
92 表示部
93 ECU
Claims (7)
- カメラが車両の外部の風景を撮影して生成した撮影データを取得する撮影データ取得部と、
前記車両の動作状態を検出する動作状態検出部と、
前記動作状態に応じて設定された画角により前記撮影データから抽出画像データを生成する抽出画像データ生成部と、
前記動作状態が検出されたことに応じて、前記抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てるサイズ割当部と、
複数の前記抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する表示画像データ生成部と、
複数の前記抽出画像データの各々に対応する前記表示画像データを前記表示部に出力する出力部と、を備える
表示制御装置。 - 複数の前記抽出画像データは、第1抽出画像データと、第2抽出画像データとを有し、
前記サイズ割当部は、前記第1抽出画像データに対応する画角の大きさに基づいて、前記第2抽出画像データに対応する表示画像の画像サイズを決定する
請求項1に記載の表示制御装置。 - 前記車両の運転状態に関する車両情報を取得する車両情報取得部をさらに備え、
前記動作状態検出部は、前記車両情報に基づいて前記動作状態を検出する
請求項1または2に記載の表示制御装置。 - 複数の前記抽出画像データは、前記車両に対して第1方向側の風景に関連する第1抽出画像データと、前記車両に対して第2方向側の風景に関連する第2抽出画像データとを有し、
前記動作状態は、前記車両の移動方向の変更を含み、
前記サイズ割当部は、変更される前記移動方向が前記第1方向であることに応じて、前記第1抽出画像データに対応する表示画像の1次方向の長さが、前記第2抽出画像データに対応する表示画像の前記1次方向の長さよりも大きくなるように、画像サイズを割り当てる
請求項1から3のいずれか一項に記載の表示制御装置。 - 前記表示画像の歪みを表すための指標画像データを生成する指標画像データ生成部をさらに備え、
前記出力部は、前記指標画像データを前記表示部に出力する
請求項1から4のいずれか一項に記載の表示制御装置。 - カメラが車両の外部の風景を撮影して生成した撮影データを取得する撮影データ取得ステップと、
前記車両の動作状態を検出する動作状態検出ステップと、
前記動作状態に応じて設定された画角により前記撮影データから抽出画像データを生成する抽出画像データ生成ステップと、
前記動作状態が検出されたことに応じて、前記抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てるサイズ割当ステップと、
複数の前記抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する表示画像データ生成ステップと、
複数の前記抽出画像データの各々に対応する前記表示画像データを前記表示部に出力する出力ステップと、を備える
表示制御方法。 - カメラが車両の外部の風景を撮影して生成した撮影データを取得する撮影データ取得ステップと、
前記車両の動作状態を検出する動作状態検出ステップと、
前記動作状態に応じて設定された画角により前記撮影データから抽出画像データを生成する抽出画像データ生成ステップと、
前記動作状態が検出されたことに応じて、前記抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てるサイズ割当ステップと、
複数の前記抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する表示画像データ生成ステップと、
複数の前記抽出画像データの各々に対応する前記表示画像データを前記表示部に出力する出力ステップと、を備える
表示制御方法を、コンピュータに実行させる
プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020057308A JP7459608B2 (ja) | 2020-03-27 | 2020-03-27 | 表示制御装置、表示制御方法およびプログラム |
EP20928004.9A EP4131944A4 (en) | 2020-03-27 | 2020-10-07 | DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND PROGRAM |
PCT/JP2020/037984 WO2021192373A1 (ja) | 2020-03-27 | 2020-10-07 | 表示制御装置、表示制御方法およびプログラム |
US17/898,403 US20220408062A1 (en) | 2020-03-27 | 2022-08-29 | Display control apparatus, display control method, and program |
JP2024037929A JP2024079872A (ja) | 2020-03-27 | 2024-03-12 | 表示制御装置、表示制御方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020057308A JP7459608B2 (ja) | 2020-03-27 | 2020-03-27 | 表示制御装置、表示制御方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024037929A Division JP2024079872A (ja) | 2020-03-27 | 2024-03-12 | 表示制御装置、表示制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021154887A true JP2021154887A (ja) | 2021-10-07 |
JP7459608B2 JP7459608B2 (ja) | 2024-04-02 |
Family
ID=77916804
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020057308A Active JP7459608B2 (ja) | 2020-03-27 | 2020-03-27 | 表示制御装置、表示制御方法およびプログラム |
JP2024037929A Pending JP2024079872A (ja) | 2020-03-27 | 2024-03-12 | 表示制御装置、表示制御方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024037929A Pending JP2024079872A (ja) | 2020-03-27 | 2024-03-12 | 表示制御装置、表示制御方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7459608B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005223524A (ja) * | 2004-02-04 | 2005-08-18 | Nissan Motor Co Ltd | 車両周辺監視装置 |
JP2013005032A (ja) * | 2011-06-13 | 2013-01-07 | Alpine Electronics Inc | 車載カメラ姿勢検出装置 |
-
2020
- 2020-03-27 JP JP2020057308A patent/JP7459608B2/ja active Active
-
2024
- 2024-03-12 JP JP2024037929A patent/JP2024079872A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005223524A (ja) * | 2004-02-04 | 2005-08-18 | Nissan Motor Co Ltd | 車両周辺監視装置 |
JP2013005032A (ja) * | 2011-06-13 | 2013-01-07 | Alpine Electronics Inc | 車載カメラ姿勢検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7459608B2 (ja) | 2024-04-02 |
JP2024079872A (ja) | 2024-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101389884B1 (ko) | 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템 | |
JP2019503007A (ja) | 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための3次元レンダリング | |
JP2009017020A (ja) | 画像処理装置及び表示画像生成方法 | |
JP5404932B2 (ja) | 交通状況のビデオデータと間隔データを組み合わせて視覚的に表示するための方法および装置 | |
US10897600B1 (en) | Sensor fusion based perceptually enhanced surround view | |
JP7342024B2 (ja) | 撮影装置、制御方法、及び、プログラム | |
KR102140526B1 (ko) | 어라운드 뷰 장치 | |
WO2015133072A1 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
TWI505203B (zh) | 產生車用影像的影像處理方法及影像處理裝置 | |
JP4791222B2 (ja) | 表示制御装置 | |
JP5126549B2 (ja) | 運転支援装置、運転支援方法、及び運転支援プログラム | |
US20220408062A1 (en) | Display control apparatus, display control method, and program | |
JP2007266703A5 (ja) | ||
JP7029350B2 (ja) | 画像処理装置および画像処理方法 | |
JP2021154887A (ja) | 表示制御装置、表示制御方法およびプログラム | |
WO2016121406A1 (ja) | 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法 | |
KR20100019605A (ko) | 후방 카메라 디스플레이 시스템 | |
JP7459607B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP7183562B2 (ja) | 画像処理装置 | |
JP7141817B2 (ja) | 画像処理装置 | |
US20200058107A1 (en) | Apparatus for processing image blurring and method thereof | |
JP2008146436A (ja) | 車両周辺画像表示装置およびその表示方法 | |
JP2019125894A (ja) | 車載画像処理装置 | |
KR101750161B1 (ko) | 관심영역 이미지 패치 관리 시스템 및 방법 | |
CN118413752A (zh) | 图像处理***、可移动设备、图像处理方法和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7459608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |