JP2020170341A - 表示制御装置、表示制御方法及びプログラム - Google Patents
表示制御装置、表示制御方法及びプログラム Download PDFInfo
- Publication number
- JP2020170341A JP2020170341A JP2019071346A JP2019071346A JP2020170341A JP 2020170341 A JP2020170341 A JP 2020170341A JP 2019071346 A JP2019071346 A JP 2019071346A JP 2019071346 A JP2019071346 A JP 2019071346A JP 2020170341 A JP2020170341 A JP 2020170341A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- display control
- display
- displayed
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 230000008569 process Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 abstract description 12
- 230000004048 modification Effects 0.000 description 46
- 238000012986 modification Methods 0.000 description 46
- 101000574116 Homo sapiens Protamine-3 Proteins 0.000 description 21
- 102100025801 Protamine-3 Human genes 0.000 description 21
- 238000013459 approach Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 101150053019 PRM5 gene Proteins 0.000 description 8
- 101100084235 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PRM4 gene Proteins 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 101001064774 Homo sapiens Peroxidasin-like protein Proteins 0.000 description 7
- 101001038163 Homo sapiens Sperm protamine P1 Proteins 0.000 description 7
- 102100031894 Peroxidasin-like protein Human genes 0.000 description 7
- 101001090148 Homo sapiens Protamine-2 Proteins 0.000 description 6
- 102100034750 Protamine-2 Human genes 0.000 description 6
- 239000005357 flat glass Substances 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
自車両の通常走行時には、リアカメラによる自車両の真後ろの後方視界を表す表示画像が「基準画像」から切り出され、この表示画像が表示部に表示される。表示部はインストルメンツパネルに配置されたナビゲーションシステムのディスプレイである。
一方、自車両の非通常走行時には、サイドカメラによる自車両の後側方の後方視界を表す表示画像及びリアカメラによる自車両の真後ろの後方視界を表す表示画像が「基準画像」から切り出され、この表示画像が表示部に表示される。
取得部は、車両の周囲が撮像された撮像情報を取得する。第1画像情報生成部は、画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する。第2画像情報生成部は、画像情報の領域の一部であって第1領域とは異なる第2領域に対応し、表示装置に表示させる第2画像情報を生成する。
例えば、表示装置に表示される第1画像情報に対して、第1画像情報の更に左右方向に車両の周囲の視野を拡張した第2画像情報を表示装置に表示させることができる。また、表示装置に表示される第1画像情報と、第1画像情報の一部を拡大した拡大画像情報とを第2画像情報として表示装置に表示させることができる。
さらに、表示制御装置では、第1画像情報から第2画像情報への切替えなので、表示装置において表示の切替えを瞬時に行うことができる。
例えば、車両の周囲の後方を撮像した第1画像情報と、第1画像情報とは独立の車両の周囲の後側方を撮像した第2画像情報とを表示装置に表示させることができる。
このため、表示装置では、第1画像情報の表示から中間画像情報の表示を介して第2画像情報が表示されるので、表示の切替えが徐々に、或いは段階的に行われる。
また、中間画像情報には、画像情報の領域のうち第1領域と第2領域との間に位置する第3領域に対応する第3画像情報が含まれるので、第1画像情報から第2画像情報への切替え方向を把握し易くすることができる。
また、第1画像情報、第2画像情報のそれぞれを画像情報の異なるフレームにおける第1領域、第2領域の各々に対応して生成することができる。
このプログラムでは、取得部が、車両の周囲が撮像された画像情報を取得する。第1画像情報生成部は、画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する。第2画像情報生成部は、画像情報の領域の一部であって第1領域とは異なる第2領域に対応し、表示装置に表示させる第2画像情報を生成する。
以下、図1〜図5を用いて、第1実施例に係る表示制御装置、表示制御方法及びその方法をコンピュータに実行させるためのプログラムについて説明する。
なお、図中、適宜、示される矢印FRは一例としての普通自動車を対象とする車両の前方方向を示し、矢印RRは車両の後方方向を示す。また、矢印WLは車両の幅方向左側を示し、矢印WRは車両の幅方向右側を示し、矢印UPは車両の車両上方向を示す。これらの方向は、実施例を説明するために便宜的に使用される方向であって、本発明における方向を限定するものではない。
図2に示されるように、第1実施例に係る表示制御システム100は表示制御装置1を含んで構築されている。表示制御システム100では、自車両としての車両Vm(図1参照)の停止中や走行中において車両Vmの車室外の周囲の状況が撮像され、この撮像により取得された画像情報が記憶(録画)される構成とされている。また、表示制御システム100は、画像情報の特定の領域に対応する第1画像情報、第2画像情報のそれぞれを生成し、適宜、表示装置30に表示する構成とされている。
なお、本実施例では、車両として普通自動車に適用された例を説明するが、車両には、バス、トラック、二輪車、自転車が少なくとも含まれる。車両として、更に鉄道、船舶、航空機が含まれてもよい。
以下、表示制御システム100の各構成要素について説明する。
図1及び図2に示されるように、撮像装置10は、車両室外用カメラとして、フロントカメラ11と、リアカメラ(バックカメラ)12と、右サイドカメラ13と、左サイドカメラ14とを備えている。
リアカメラ12は、車両Vmの例えば車両室内のリアウインドウガラスに近接した位置に車両後方に向けて装着されている。リアカメラ12は、車両Vmの周囲であって車両後方の撮像を行い、車両後方の画像情報PRを取得する。
左サイドカメラ14は、車両Vmの例えば車両室外の左サイドミラー(ここでは左ドアミラー)の位置に、又はその近傍の位置に、又は左サイドミラーが配設可能な位置に車両後左側方に向けて装着されている。左サイドカメラ14は、車両Vmの周囲であって車両後左側方の撮像を行い、車両後左側方の画像情報PWLを取得する。
特に、フロントカメラ11、リアカメラ12のそれぞれは広角カメラとされ、広角カメラでは視野角が例えば120 度〜170 度の広角度に設定されている。つまり、フロントカメラ11、リアカメラ12のそれぞれでは、広角の画像情報PF、画像情報PRの各々を取得することができる。
ここでは、撮像装置10として4つのカメラ(フロントカメラ11〜左サイドカメラ14)が配設されているが、本実施例では、少なくともフロントカメラ11及びリアカメラ12が装着されていればよい。また、表示制御システム100は、4つのカメラに加えて、車両室内を撮像する車両室内用カメラが装着され、車両Vmの周囲だけでなく、車両室内を撮像した画像情報を取得してもよい。
図1に示されるように、画像認識部15は、本実施例では、フロントカメラ11の近傍であって、車両室内のフロントウインドウガラスの近傍の位置に車両前方に向けて装着されている。また、画像認識部15は、リアカメラ12の近傍であって、車両室内のリアウインドウガラスの近傍の位置にも車両後方に向けて装着されている。
画像認識部15では、車両Vmの周囲に停止中や走行中の他車両、人、障害物等(以下、単に「他車両等」という。)がカメラにより撮像され、ここでは撮像された画像情報が画像認識処理により解析され、他車両等が認識される。この認識された認識情報は表示制御装置1へ伝送される。
なお、画像認識部15は、ここでは表示制御装置1の外付け部品として構成されているが、表示制御装置1に含まれてもよい。また、撮像装置10のカメラ毎に画像認識部15が配設される必要はなく、例えば必要性が最も高い車両前方側に向けて装着された画像認識部15だけが車両Vmに装着されていればよい。
図1に示されるように、接近センサ16は、本実施例では、フロントカメラ11の近傍であって、車両室内のフロントウインドウガラスの近傍の位置に車両前方に向けて装着されている。また、接近センサ16は、リアカメラ12の近傍であって、車両室内のリアウインドウガラスの近傍にも車両後方に向けて装着されている。
接近センサ16として、例えばレーザレーダセンサ、マイクロ波レーダセンサ、赤外線センサ、超音波センサ等のセンサを実用的に使用することができる。接近センサ16では車両Vmの周囲の他車両等を検知することができる。この検知された近接検知情報は表示制御装置1に伝送される。
なお、画像認識部15と同様に、接近センサ16は表示制御装置1に含まれていてもよく、又接近センサ16の配置数は限定されるものではない。
図1に示されるように、視線センサ17は、本実施例では、フロントカメラ11の近傍であって、フロントカメラ11よりも車両後方側において、図3(A)に示されるように、表示装置30の周囲の下部に車両室内に向かって装着されている。視線センサ17は、車両Vmの運転席に着座状態の運転者の視線方向を検知する構成とされている。
ここでは、運転者の視線が車両前方から表示装置30へ、つまり、右ハンドル車の場合、運転者の視線が正面から左斜め上方へ切替った際に、視線センサ17はこの視線方向の変化を検知する。この検知された視線検知情報は表示制御装置1へ伝送させ、表示制御装置1では表示装置30に表示されている画像情報が切替えられる。本実施例では、視線センサ17は、表示装置30に表示されている第2画像情報を第1画像情報の表示に切替える表示切替部(表示切替手段)18を構築している。表示装置30に表示される第1画像情報、第2画像情報については、後に詳述する。
なお、画像認識部15と同様に、視線センサ17は表示制御装置1に含まれていてもよい。
図1に示されるように、表示装置30は、フロントカメラ11の近傍であって、フロントカメラ11よりも車両後方側において車両室内に向かって装着されている。表示装置30は、車両後方側を視認するルームミラー(又はバックミラー)に代えて、このルームミラーの装着位置に装着されている。
表示装置30は、図3(A)に示されるように、筐体32と、表示部31とを含んで構成されている。
筐体32は、車両幅方向を長手方向とし、車両上下方向を短手方向とし、車両前後方向を厚さ方向とする矩形立方体形状に形成されている。筐体32は例えば樹脂成形品とされている。
表示部31は筐体32の車両後方側のほぼ全面に配設されている。表示部31には液晶ディスプレイが使用されている。この表示部31の駆動回路等の図示省略の回路部は、表示部31の車両前方側であって筐体32の内部に配置されている。なお、表示部31としては、液晶ディスプレイに代えて、有機エレクトロルミネッセンスディスプレイを使用することができる。
図2に示されるように、表示制御装置1は、インターフェイス(IF)2及びインターフェイス(IF)9と、画像情報取得部3と、画像情報生成部4と、判定部5と、中央演算処理ユニット(CPU)6と、第1記憶部7と、第2記憶部8とを備えている。これらインターフェイス2等は共通バス20を介して相互に接続されている。
インターフェイス2は入力側インターフェイスとして配設されている。インターフェイス2には、撮像装置10のフロントカメラ11、リアカメラ12、右サイドカメラ13、左サイドカメラ14のそれぞれが接続され、更に画像認識部15、接近センサ16、視線センサ17のそれぞれが接続されている。一方、インターフェイス2は、共通バス20に接続されている。
インターフェイス2は、撮像装置10から出力される画像情報、及び画像認識部15から出力される認識情報、接近センサ16から出力される近接検知情報、視線センサ17から出力される視線検知情報のそれぞれを含む各種情報を表示制御装置1の内部へ取込む。そして、インターフェイス2では、取込まれた画像情報が共通バス20を介して画像情報取得部3等へ伝送され、又取込まれた各種情報が共通バス20を介して判定部5等へ伝送される。
画像情報取得部3では、撮像装置10のフロントカメラ11により撮像された車両Vmの周囲(車両前方)の画像情報PFがインターフェイス2を介して取得される。同様に、画像情報取得部3では、リアカメラ12により撮像された車両Vmの周囲(車両後方)の画像情報PRがインターフェイス2を介して取得される。また、画像情報取得部3では、右サイドカメラ13により撮像された画像情報PWR、左サイドカメラ14により撮像された画像情報PWLのそれぞれが取得される。
画像情報PR(1)等の1フレームの画像情報PRは、図4(B)に示されるように、縦横にマトリックス形状に配列されたリアカメラ12の画素に対応して生成されている。ここでは、理解し易くするために、縦方向に12個、横方向に20個、合計240個の画素に対応して画像情報PRが生成されるものとし、画像情報PRを簡略的に説明する。
図2に示されるように、画像情報生成部4は、第1画像情報生成部41と、第2画像情報生成部42とを備え、更に識別情報生成部43を備えて構成されている。
なお、第1画像情報PR1は、1フレームの画像情報PRでは静止画として生成されるが、所定のフレームレートにおいて複数の画像情報PRから生成されるので、動画として生成されている。
なお、図3(B)に示される第2画像情報PR2は第1画像情報PR1をすべて含んで生成されているが、第1画像情報PR1の一部を含んで第2画像情報PR2が生成されてもよい。
なお、表示装置30に第2画像情報PR2を表示させる際に、識別情報IMの表示に加えて、「注意」、「注意して下さい」、「後方を確認して下さい」等の注意を喚起するメッセージや記号が表示されてもよい。
図2に示される判定部5では、画像認識部15により認識された他車両等の認識情報が取得され、この認識情報に基づいて車両(自車両)Vmに他車両等が接近しているか否かが判定される。また、判定部5では、接近センサ16から出力される近接検知情報が取得され、この近接検知情報に基づいて車両Vmに他車両等が接近しているか否かが判定される。
判定部5は、他車両等の車両Vmへの接近距離が一定の閾値を超えたときに、第2画像情報生成部42において第2画像情報PR2を生成させる。第2画像情報PR2が生成されると、表示装置30では、第1画像情報PR1を切替えて第2画像情報PR2が表示される。
判定部5は、運転者が視線方向を変えたと判定したとき、表示装置30において第2画像情報PF2の表示から第1画像情報PF1の表示に切替える。つまり、表示切替部18は、表示装置30の表示を元の通常停車時の第1画像情報PF1へ戻す構成とされている。
図2に示されるように、中央演算処理ユニット6は、コンピュータを構築し、共通バス20を介して表示制御装置1の画像情報取得部3、画像情報生成部4、判定部5等の各構成要素の動作を制御する。
また、本実施例に係る表示制御装置1は、図示省略の衝撃センサ(加速度センサ)を備え、ドライブレコーダとしての機能を含んでいるので、第2記憶部8には、衝撃を受けた前後の画像情報PRが別ファイルとして自動的に記憶される。
さらに、第2記憶部8には、右サイドカメラ13により撮像された画像情報PWR、左サイドカメラ14により撮像された画像情報PWLが記憶される。
インターフェイス9は出力側インターフェイスとして配設されている。インターフェイス9は共通バス20に接続され、このインターフェイス9には表示装置30が接続されている。インターフェイス9は、第1画像情報生成部41により生成された第1画像情報PR1、第2画像情報生成部42により生成された第2画像情報PR2、識別情報生成部43により生成された識別情報IMのそれぞれを表示装置30へ出力する。
図1〜図4を参照しつつ、図5を用いて、表示制御装置1及び表示制御システム100を用いた表示制御方法について説明し、併せて表示制御方法を実行するためのプログラムについて説明する。
前述の通り、リアカメラ12により撮像された画像情報PRの特定の領域(第1領域及び第2領域)を表示装置30に表示させる方法を主体に説明するが、フロントカメラ11により撮像された画像情報PFの特定の領域を表示させる例についても説明する。なお、画像情報PFの特定の領域は、車両Vmの車両室内に装着された図示省略の表示装置に表示される。この表示装置としては、例えばナビゲーションシステムの表示装置、ドライブレコーダの表示装置等が使用される。
ここで、前進走行であるか、後進走行であるかの判定には、例えば車両Vmの図示省略のシフト装置が使用されている。具体的には、シフト装置のシフトレバーがドライブレンジ等の前進走行のポジションにあるとき、前進走行であると判定される。逆に、シフトレバーがリバースレンジの後進走行のポジションにあるとき、後進走行であると判定される。なお、この場合、シフトレバーのポジションにより前進走行か後進走行かが判定されるので、車両Vmが実際に走行しているか否かは判定には関係無い。
画像情報取得部3により取得された画像情報PRは、図2に示される第2記憶部8に記憶される(ステップS16)。
障害物が接近していないと判定されると、ステップS12へ処理が移行する。
ここでは、ステップS18において車両Vmの後左側方に「人H」を障害物が接近していると判定したので、障害物が表示される範囲まで拡張された第2画像情報PR2が、第2画像情報生成部42により生成され、表示装置30に表示される。
識別情報IMは、図3(B)及び図4(B)に示されるように、画像情報PRの第1領域、つまり第1画像情報PR1の輪郭を取囲み、第1画像情報PR1に相当する領域を視覚的に強調するマークの情報として表示される。
ステップS21において、運転者が表示装置30に表示されている第2画像情報PR2を確認したと判定されると、第2画像情報PR2の表示が解除され(ステップS22)、表示装置30に第1画像情報PR1が表示される。つまり、第2画像情報PR2から元の第1画像情報PR1の表示に切替えられる。この後、ステップS12へ処理が移行される。
画像情報取得部3により取得された画像情報PFは、図2に示される第2記憶部8に記憶される(ステップS5)。
障害物が接近していないと判定されると、ステップS3へ処理が戻る。
識別情報は、図3(B)に示される識別情報IMと同様に、画像情報PFの第1領域、つまり第1画像情報PF1の輪郭を取囲み、第1画像情報PF1に相当する領域を視覚的に強調するマークの情報として表示される。
ステップS10において、運転者が表示装置に表示されている第2画像情報PF2を確認したと判定されると、第2画像情報PF2の表示が解除され(ステップS11)、表示装置に元の第1画像情報PF1が表示される。この後、ステップS12へ処理が移行される。
以上説明したように、本実施例に係る表示制御装置1は、図2に示されるように、画像情報取得部(取得部)3と、第1画像情報生成部41と、第2画像情報生成部42と、を備える。
画像情報取得部3は、図1に示される車両Vmの周囲、ここでは特に車両後方が撮像された画像情報PRを取得する。第1画像情報生成部41は、画像情報PRの領域の一部である第1領域に対応し、表示装置30に表示させる第1画像情報PR1を生成する。第2画像情報生成部42は、画像情報PRの領域の一部であって第1領域とは異なる第2領域に対応し、表示装置30に表示させる第2画像情報PR2を生成する。
そして、表示制御装置1では、図3(A)及び図3(B)に示されるように、第1画像情報PR1から第2画像情報PR2への切替えなので、表示装置30において表示の切替えを瞬時に行うことができる。これにより、仮に、障害物が接近したときには、その情報を瞬時に表示装置30に表示させることができるので、即座に障害物を回避することができる。
このため、運転者においては、表示装置30に表示された第2画像情報PR2を確認した後に、表示装置30の表示を第1画像情報PR1に自動的に切替えることができる。
例えば、第2記憶部8に記憶された後に、表示装置30に表示された第1画像情報PR1、第2画像情報PR2、そして識別情報IMが取出し可能とされる。取出された画像情報PR等は、運転者の管理や交通事故の証拠として利用することができる。
詳しく説明する。例えば交通事故の後に第2記憶部8に記憶された画像情報PRを取出し可能とすることにより、表示装置30に表示された画像情報を含み、車両Vmの周囲の広範囲を撮像した画像情報PRに基づいて、交通事故当時の状況を確認することができる。また、第2記憶部8に記憶された第1画像情報PR1、第2画像情報PR2及び識別情報IMを取出し可能とすることにより、交通事故当時に表示装置30に表示されていた画像情報を確認することができる。
仮に、本実施例に係る表示制御装置1又は表示制御システム100がドライブレコーダを構築する場合、常時、広角な画像情報PRが取得されて第2記憶部に記憶される。加えて、画像情報PRの一部が有効に利用され、運転者に必要とされる、車両Vmの周囲の車両後方の第1画像情報PR1、第2画像情報PR2のそれぞれを表示装置30に表示させることができる。
このプログラムでは、図5に示されるように、画像情報取得部3が、図1に示される車両Vmの周囲の車両後方を撮像した画像情報PRを取得する。第1画像情報生成部41は、画像情報PRの領域の一部である第1領域に対応し、表示装置30に表示させる第1画像情報PR1を生成する(図4(B)参照)。第2画像情報生成部42は、画像情報PRの領域の一部であって第1領域とは異なる第2領域に対応し、表示装置30に表示させる第2画像情報PR2を生成する(図4(B)参照)。
図6を用いて、第1実施例の第1変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
なお、第1変形例以降の各変形例並びに第2実施例以降の各実施例の説明において、第1実施例において説明した各構成要素と同一の構成要素或いは実質的に同一の構成要素には同一の符号を付し、重複する説明は省略する。
非通常走行時には、図6(B)に示されるように、第2画像情報生成部42により生成された第2画像情報PR2が表示装置30に表示される。第2画像情報PR2は、図6(C)に示されるように、画像情報PRの領域の一部である第2領域に対応して生成される。第2画像情報PR2は、第1領域の要部を拡大した画像情報とされる。第2画像情報PR2は、表示面積が縮小された第1画像情報PR1の左側方に第1画像情報PR1と並べて表示装置30に表示される。
図7を用いて、第1実施例の第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
第2変形例に係る表示制御装置1(図2参照)では、第2画像情報生成部42において生成される第2画像情報PR2が、第1実施例、第1変形例のそれぞれにおける第2画像情報PR2と異なる。
非通常走行時には、図7(B)に示されるように、第2画像情報生成部42により生成された第2画像情報PR2が表示装置30に表示される。第2画像情報PR2は、図7(C)に示されるように、画像情報PRの領域の一部である第2領域に対応して生成される。第2画像情報PR2は、第1領域の左側(車両Vmの左側方)の画像情報である。図7(B)に示されるように、第1画像情報PR1は縮小され、この第1画像情報PR1の左側方に第1画像情報PR1と並べて第2画像情報PR2が表示装置30に表示される。
ここでは、車両Vmの車線に対して左側の車線に接近する(存在する)他車両が画像認識部15により、或いは接近センサ16により検知されたので、第2画像情報PR2は第1画像情報PR1の左側方に並べて表示される。
例えば、図1及び図7(B)に示されるように、車両Vmの周囲の後方を撮像した第1画像情報PR1と、第1画像情報PR1とは独立の車両Vmの周囲の後側方を撮像した第2画像情報PR2とを表示装置30に表示させることができる。
さらに、表示制御装置1等では、第1画像情報PR1から第1画像情報PR1及び第2画像情報PR2への切替えなので、表示装置30において表示の切替えを瞬時に行うことができる。
図8〜図10を用いて、本発明の第2実施例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
図8に示されるように、本実施例に係る表示制御装置1は、画像情報生成部4に構成要素として中間画像情報生成部44を備えている。中間画像情報生成部44以外の各構成要素は第1実施例に係る表示制御装置1の各構成要素と同一である。
中間画像情報生成部44は、第1画像情報PR1の表示と第2画像情報PR2との切替えにおいて、第1画像情報PR1の表示と第2画像情報PR2との表示との間に、表示装置30に表示させる中間画像情報PRMを生成する。第2画像情報PR2には、第1実施例の第2変形例における第2画像情報PR2と同様の画像情報が使用される。勿論、図示省略の識別情報IMが表示装置30には表示される。中間画像情報PRMには、図10に示されるように、画像情報PRの領域のうち第1領域と第2領域との間に位置する第3領域に対応する第3画像情報が含まれている。
本実施例に係る表示制御方法及びその方法を実行するためのプログラムは、基本的には第1実施例に係る表示制御方法及びその方法を実行するためのプログラム(図5参照)と同様である。異なる点は、図9に示されるように、後進走行において、ステップS18とステップS19との間に、中間画像情報生成部44により中間画像情報PRMが生成され、表示装置30に中間画像情報PRMが表示される工程(ステップS25)を備えることである。つまり、表示装置30において、表示されている第1画像情報PR1に切替えて中間画像情報PRMが表示され、引き続き中間画像情報PRMに切替えて第2画像情報PR2が表示される。
中間画像情報PRM、中間画像情報PFMのそれぞれの生成並びにそれぞれの表示以外は、図5に示される第1実施例に係る表示制御方法及びプログラムと同様の工程を備えているので、重複する説明は省略する。
以上説明したように、第2実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、第1実施例の第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれにより得られる作用効果と同様の作用効果を得ることができる。
このため、表示装置30では、第1画像情報PR1の表示から中間画像情報PRMの表示を介して第2画像情報PR2が表示されるので、表示の切替えが徐々に、或いは段階的に行われる。
例えば、図1に示される車両Vmの周囲の車両後方を撮像した第1画像情報PR1から、車両Vmの周囲の後左側方を撮像した第2画像情報PR2への切替えにおいて、後方と後左側方との間を撮像した第3画像情報が含まれる中間画像情報PRMが表示される。この場合、運転者では、表示装置30において車両後方から後左側方へ、第1画像情報PR1、中間画像情報PRM、第2画像情報PR2のそれぞれの表示の切替えの流れを認識することができる。
図11を用いて、第2実施例の第1変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。この第1変形例、その後に説明する第2変形例及び第3変形例では、中間画像情報PRMの表示手法の変形例について説明する。
中間画像情報PRMは、第2実施例に係る中間画像情報生成部44により生成される中間画像情報PRMと同様に、画像情報PRの第1領域と第2領域との間に位置する第3領域に対応する第3画像情報を含んで生成される。
第1中間画像情報PRM1は、第1領域に対応する第1画像情報PR1の一部を含んで生成され、ここでは画像情報PRの第1領域の左側半分と第3領域の右側半分とに対応して生成される。第2中間画像情報PRM2は、第2領域に対応する第2画像情報PR2の一部を含んで生成され、ここでは第3領域の左側半分と第2領域の右側半分とに対応して生成される。
表示装置30では、第1画像情報PR1の表示から第2画像情報PR2の表示へ切替える際に、第1中間画像情報PRM1、中間画像情報PRM、第2中間画像情報PRM2のそれぞれの順番において表示される。
なお、ここでは、中間画像情報生成部44は、各々、1つの中間画像情報PRM、第1中間画像情報PRM1、第2中間画像情報PRM2を生成しているが、それらのうち、少なくとも1つを2以上生成してもよい。
図12を用いて、第2実施例の第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
図13を用いて、第2実施例の第3変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
第4中間画像情報PRM4は、第1画像情報PR1に第3領域の第3画像情報の一部を徐々に含んで、更に第3中間画像情報PRM3の一歩手前まで第2画像情報PR2の一部も徐々に含んで生成される複数の中間画像情報PRM41〜PRM4nにより形成される。つまり、第4中間画像情報PRM4は、第1画像情報PR1から第3中間画像情報PRM3に至るまでに段階的に拡張された中間画像情報として生成される。
逆に、第5中間画像情報PRM5は、第3中間画像情報PRM3から第2画像情報PR2の一歩手前まで、第1画像情報PR1の一部、第3画像情報の一部のそれぞれを徐々に外して生成される複数の中間画像情報PRM51〜PRM5nにより形成される。つまり、第5中間画像情報PRM5は、第3中間画像情報PRM3から第2画像情報PR2に至るまでに段階的に縮小された中間画像情報として生成される。
図14を用いて、本発明の第3実施例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
本実施例に係る表示制御装置1の識別情報生成部43(図2及び図8参照)では、図14(A)に示されるように、識別情報IM(1)が生成され、識別情報IM(1)は表示装置30に表示される。識別情報IM(1)は、第1画像情報PR1に対して第2画像情報PR2の位置関係を表すマークの情報である。本実施例では、識別情報IM(1)は、車両(自車両)Vmの周囲の車両後方を表す「車両の図形」と、第2画像情報PR2の第1画像情報PR1に対する位置関係を表す「方向を示す図形」とを上下に組み合わせて形成されている。識別情報IM(1)は、通常走行時の第1画像情報PR1が表示装置30に表示される際に、第1画像情報PR1に重複させて表示されている。
また、車両Vmの周囲の後右側方から他車両等が接近する際には、図14(C)に示されるように、「方向を示す図形」が右側に変形した識別情報IM(3)が識別情報生成部43により生成される。図示を省略するが、識別情報IM(3)は第1画像情報PR1に重複させて表示される。
さらに、前述の図3(B)に示される第2画像情報PR2の表示では、図14(D)に示されるように、「方向を示す図形」の底辺が拡大して変形された識別情報IM(4)が識別情報生成部43により生成される。図示を省略するが、識別情報IM(4)は第1画像情報PR1に重複させて表示される。
図15を用いて、本発明の第4実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれについて説明する。
図15に示されるように、第4実施例に係る表示制御装置1及び表示制御システム100では、所定のフレームレートにおいて生成された複数フレームの画像情報PR(1)、PR(2)、…PR(n−1)、PR(n)のそれぞれにより画像情報PRが生成される。そして、画像情報PRの異なるフレームの画像情報、ここでは画像情報PR(1)、PR(2)のそれぞれの領域の一部である第1領域に対応して第1画像情報PR1が生成される。また、画像情報PR(3)〜PR(n)のそれぞれの領域の一部である第2領域に対応して第2画像情報PR2が生成される。
また、第1画像情報PR1、第2画像情報PR2のそれぞれの生成に時間差があったとしても、所定のフレームレートが例えば30 FPSに設定された場合には、運転者はフレーム差を認識することが難しい。このため、画像情報PRの実質的に同一のフレームにおいて第1画像情報PR1、第2画像情報PR2のそれぞれが生成されたものと見なすことができる。
本発明は、上記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変形可能である。
例えば、上記実施例では、表示制御システムに視線センサ及び判定部を含んで表示切替部が構成されている。表示制御装置及び表示制御システムは、第2画像情報に重複させて「undo(元に戻す)ボタン」を表示装置に表示させる構成としてもよい。この場合、表示装置の表示部はタッチパネルにより構成され、表示部に表示される「undoボタン」に運転者がタッチすれば、表示装置において第2画像情報の表示から第1画像情報の表示に切替えることができる。
また、上記実施例では、撮像装置が4つのカメラを備えて構成されている。表示制御システムは、リアカメラ、或いはフロントカメラ及びリアカメラを備えて撮像装置を構成し、撮像装置から伝送される画像情報に基づいて第1画像情報、第2画像情報のそれぞれを生成する構成としてもよい。
さらに、上記実施例では、撮像装置が広角カメラにより構成されている。この広角カメラには、360度の範囲において撮像することができるパノラマカメラが含まれる。
2、9 インターフェイス
3 画像情報取得部(取得部)
4 画像情報生成部
41 第1画像情報生成部
42 第2画像情報生成部
43 識別情報生成部
44 中間画像情報生成部
5 判定部
6 中央演算処理ユニット
7 第1記憶部
8 第2記憶部
10 撮像装置
15 画像認識部
16 接近センサ
17 視線センサ
18 表示切替部(表示切替手段)
30 表示装置
100 表示制御システム
Vm 車両
PF、PR、PWR、PWL 画像情報
PF1、PR1 第1画像情報
PF2、PR2 第2画像情報
IM、IM(1)〜IM(4) 識別情報
PRM、PRM1〜PRM5 中間画像情報
Claims (14)
- 車両の周囲が撮像された画像情報を取得する取得部と、
前記画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する第1画像情報生成部と、
前記画像情報の領域の一部であって前記第1領域とは異なる第2領域に対応し、前記表示装置に表示させる第2画像情報を生成する第2画像情報生成部と、
前記第1画像情報と前記第2画像情報との位置関係を識別させる識別情報を生成し、前記表示装置に表示させる識別情報生成部と、
を備えている表示制御装置。 - 前記第2領域は、前記第1領域の少なくとも一部を含む
請求項1に記載の表示制御装置。 - 前記第2領域は、前記第1領域を含まない
請求項1に記載の表示制御装置。 - 前記第1画像情報の表示と前記第2画像情報の表示との切替えにおいて、前記第1画像情報の表示と前記第2画像情報の表示との間に表示装置に表示させる中間画像情報を生成する中間画像生成部を更に備え、
前記中間画像情報には、前記画像情報の領域のうち前記第1領域と前記第2領域との間に位置する第3領域に対応する第3画像情報が含まれる
請求項1又は請求項2に記載の表示制御装置。 - 前記第2画像情報の表示から前記第1画像情報の表示に切替える表示切替手段を更に備えている
請求項1〜請求項4のいずれか1項に記載の表示制御装置。 - 前記第1領域に対する前記第2領域の配置方向に一致させて、前記第1画像情報に対して前記第2画像情報が前記表示装置に表示される
請求項1又は請求項3に記載の表示制御装置。 - 前記識別情報は、前記表示装置に表示される前記第1画像情報に相当する領域を強調するマーク、又は前記第1画像情報に対して前記第2画像情報の位置関係を表すマークの情報とされる
請求項1〜請求項6のいずれか1項に記載の表示制御装置。 - 前記画像情報、前記第1画像情報、前記第2画像情報及び前記識別情報を記憶する記憶部を更に備えている請求項1〜請求項7のいずれか1項に記載の表示制御装置。
- 少なくとも前記画像情報を記憶する記憶部を更に備え、
前記記憶部に記憶された前記画像情報において前記第1画像情報、前記第2画像情報のそれぞれが特定可能とされている請求項1〜請求項7のいずれか1項に記載の表示制御装置。 - 前記表示装置に表示される前記第1画像情報及び前記第2画像情報を記憶する記憶部を更に備えている
請求項1〜請求項7のいずれか1項に記載の表示制御装置。 - 前記画像情報は、所定のフレームレートにおいて複数生成され、
前記第1画像情報、前記第2画像情報のそれぞれは、前記画像情報の同一のフレーム又は異なるフレームにおける前記第1領域、前記第2領域の各々に対応して生成される
請求項1〜請求項10のいずれか1項に記載の表示制御装置。 - 車両の周囲の一部が撮像された第1画像情報、前記車両の周囲の一部が撮像された前記第1画像情報とは異なる第2画像情報のそれぞれを取得する取得部と、
前記第1画像情報と前記第2画像情報との位置関係を識別させる識別情報を生成し、前記第1画像情報が表示される表示装置に前記第2画像情報を表示するときに、前記表示装置に前記識別情報を表示させる識別情報生成部と、
を備えている表示制御装置。 - 車両の周囲が撮像された画像情報を取得する工程と、
前記画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する工程と、
前記画像情報の領域の一部であって前記第1領域とは異なる第2領域に対応し、前記表示装置に表示させる第2画像情報を生成する工程と、
前記第1画像情報と前記第2画像情報との位置関係を識別させる識別情報を生成し、前記表示装置に表示させる工程と、
を備えている表示制御方法。 - 取得部と、第1画像情報生成部と、第2画像情報生成部と、識別情報生成部とを備える表示制御装置の表示制御方法をコンピュータに実行させるためのプログラムであって、
前記取得部が、車両の周囲が撮像された画像情報を取得する工程と、
前記第1画像情報生成部が、前記画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する工程と、
前記第2画像情報生成部が、前記画像情報の領域の一部であって前記第1領域とは異なる第2領域に対応し、前記表示装置に表示させる第2画像情報を生成する工程と、
前記識別情報生成部が、前記第1画像情報と前記第2画像情報との位置関係を識別させる識別情報を生成し、前記表示装置に表示させる工程と、
を備えているプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019071346A JP2020170341A (ja) | 2019-04-03 | 2019-04-03 | 表示制御装置、表示制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019071346A JP2020170341A (ja) | 2019-04-03 | 2019-04-03 | 表示制御装置、表示制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020170341A true JP2020170341A (ja) | 2020-10-15 |
Family
ID=72746140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019071346A Pending JP2020170341A (ja) | 2019-04-03 | 2019-04-03 | 表示制御装置、表示制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020170341A (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004212658A (ja) * | 2002-12-27 | 2004-07-29 | Sumitomo Electric Ind Ltd | 画像表示システム、画像表示方法及び画像処理装置 |
JP2011205514A (ja) * | 2010-03-26 | 2011-10-13 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
JP2012222776A (ja) * | 2011-04-14 | 2012-11-12 | Isuzu Motors Ltd | 画像処理装置、画像処理方法、及び運転支援システム |
JP2016220011A (ja) * | 2015-05-20 | 2016-12-22 | 株式会社デンソー | 画像処理装置、電子ミラーシステム、及び画像処理方法 |
JP2017117120A (ja) * | 2015-12-22 | 2017-06-29 | パナソニックIpマネジメント株式会社 | 運転支援装置、運転支援方法及び運転支援プログラム |
-
2019
- 2019-04-03 JP JP2019071346A patent/JP2020170341A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004212658A (ja) * | 2002-12-27 | 2004-07-29 | Sumitomo Electric Ind Ltd | 画像表示システム、画像表示方法及び画像処理装置 |
JP2011205514A (ja) * | 2010-03-26 | 2011-10-13 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
JP2012222776A (ja) * | 2011-04-14 | 2012-11-12 | Isuzu Motors Ltd | 画像処理装置、画像処理方法、及び運転支援システム |
JP2016220011A (ja) * | 2015-05-20 | 2016-12-22 | 株式会社デンソー | 画像処理装置、電子ミラーシステム、及び画像処理方法 |
JP2017117120A (ja) * | 2015-12-22 | 2017-06-29 | パナソニックIpマネジメント株式会社 | 運転支援装置、運転支援方法及び運転支援プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4907883B2 (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
JP4807104B2 (ja) | 車両周囲監視システム及び画像表示方法 | |
JP5099451B2 (ja) | 車両周辺確認装置 | |
JP5347257B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
JP5436086B2 (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
JP4325705B2 (ja) | 表示システム及びプログラム | |
EP2464113B1 (en) | Vehicle peripheral image generation device | |
JP4969269B2 (ja) | 画像処理装置 | |
WO2007015446A1 (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
JP5093611B2 (ja) | 車両周辺確認装置 | |
WO2018159017A1 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP2006044596A (ja) | 車両用表示装置 | |
WO2018159016A1 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
JP7006460B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム | |
JP2011155651A (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
JPWO2019239725A1 (ja) | 車両制御装置 | |
JP5861449B2 (ja) | 障害物警報装置 | |
JP5584561B2 (ja) | 画像処理装置、画像表示システム及び画像表示方法 | |
KR20180094717A (ko) | Avm을 이용한 운전 지원 장치 및 시스템 | |
JP2007088577A (ja) | 車両周辺画像処理システム | |
JP2007329611A (ja) | 車両周辺監視装置、車両周辺監視システム、および車両周辺監視方法 | |
JP2012166689A (ja) | 運転支援装置 | |
JP2020170341A (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP7293990B2 (ja) | 車両用表示制御装置、車両用表示制御方法、およびプログラム | |
JP6054738B2 (ja) | カメラモジュール、カメラシステムおよび画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240319 |