JP6443666B2 - Vehicle display system - Google Patents
Vehicle display system Download PDFInfo
- Publication number
- JP6443666B2 JP6443666B2 JP2014243257A JP2014243257A JP6443666B2 JP 6443666 B2 JP6443666 B2 JP 6443666B2 JP 2014243257 A JP2014243257 A JP 2014243257A JP 2014243257 A JP2014243257 A JP 2014243257A JP 6443666 B2 JP6443666 B2 JP 6443666B2
- Authority
- JP
- Japan
- Prior art keywords
- display area
- route guidance
- display
- image
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010191 image analysis Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 23
- 230000007704 transition Effects 0.000 claims description 21
- 230000009467 reduction Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 1
- 235000015246 common arrowhead Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Navigation (AREA)
- Instrument Panels (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
本発明は、自車両に存在する透過反射面に表示画像を示す表示光を投影することで、ユーザに虚像を視認させる車両用表示システムに関する。 The present invention relates to a vehicle display system that allows a user to visually recognize a virtual image by projecting display light indicating a display image onto a transmission / reflection surface present in the host vehicle.
ユーザに虚像を視認させる車両用表示システムは、表示装置としてヘッドアップディスプレイ(HUD:Head−Up Display)を用い、例えば、特許文献1に開示され、車両の経路を案内する画像を前方の実景と重畳させることにより、ユーザの視線を進行方向(前方側)に維持させながら、情報を提供することができるものである。
A vehicle display system that allows a user to visually recognize a virtual image uses a head-up display (HUD) as a display device. For example, an image disclosed in
しかしながら、特許文献1のような実景に経路案内を行う画像を重畳させて視認させるHUDにおいて、実景の輝度や色味がばらついている領域に経路案内画像を重畳させた場合、重畳させる経路案内画像の視認性が低下し、情報を認識しづらいといった問題があった。
However, in a HUD that superimposes an image for performing route guidance on a real scene such as that disclosed in
本発明は上記問題を鑑みてなされたものであり、実景に重畳させる経路案内画像の視認性を向上させ、経路案内情報を認識しやすくすることが可能な車両用表示システムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a vehicle display system capable of improving the visibility of a route guidance image to be superimposed on a real scene and facilitating recognition of route guidance information. And
上記目的を達成するため、本発明の第1の発明における車両用表示システムは、透過反射面に経路案内画像を投影し、前記透過反射面を通した実景とともに前記経路案内画像の虚像を視認させる車両用表示システムにおいて、実景を撮像し、実景画像を撮像する実景画像取得部と、得られた前記実景画像から予め定められた条件を満たした表示領域の大きさを判定し、前記表示領域の大きさの時間推移を解析して前記表示領域の縮小傾向を検出する画像解析部と、前記表示領域が縮小傾向の前記表示領域に表示されているとき、前記縮小傾向以外の表示領域に向けて前記経路案内画像を移動させる表示制御部と、を備える。
In order to achieve the above object, a vehicle display system according to a first aspect of the present invention projects a route guidance image on a transmission / reflection surface and visually recognizes a virtual image of the route guidance image together with a real scene through the transmission / reflection surface. In the vehicle display system, a real scene image acquisition unit that captures a real scene and captures a real scene image, and determines the size of the display area that satisfies a predetermined condition from the obtained real scene image, and An image analysis unit that analyzes a temporal transition of the size and detects a reduction tendency of the display area; and when the display area is displayed in the display area of the reduction tendency, toward the display area other than the reduction tendency A display control unit that moves the route guidance image.
また、第2の発明における車両用表示システムにおいて、前記画像解析部は、前記表示領域の大きさの時間推移を解析して、前記表示領域が拡大傾向であるか、又は/及び概ね一定であるかを検出することが可能であり、前記表示制御部は、前記経路案内画像が縮小傾向の前記表示領域に表示されているとき、前記表示領域の大きさの時間推移が前記拡大傾向である又は概ね一定である表示領域に向けて前記経路案内画像を移動させる。 In the vehicular display system according to the second aspect of the present invention, the image analysis unit analyzes the time transition of the size of the display area, and the display area is expanding or / and substantially constant. And when the route guidance image is displayed in the display area that tends to be reduced, the display control unit has a time transition of the size of the display area that is the enlargement tendency or The route guidance image is moved toward a display area that is substantially constant .
また、第3の発明における車両用表示システムにおいて、前記画像解析部は、前記表示領域の大きさの時間推移において、大きさの変化が速い高速変化と、変化が遅い低速変化とを少なくとも検出可能であり、前記表示制御部は、前記経路案内虚像が表示されている表示領域が、前記縮小傾向かつ前記高速変化の場合、前記経路案内虚像を移動させずに表示態様を変化させる、ことを特徴とする。 Further, in the vehicle display system according to the third aspect of the invention, the image analysis unit can detect at least a fast change with a fast change in size and a slow change with a slow change in the time transition of the size of the display area. The display control unit changes the display mode without moving the route guidance virtual image when the display area in which the route guidance virtual image is displayed is the shrinking tendency and the high-speed change. And
第1の発明における車両用表示システムによれば、表示領域の大きさの時間推移から、表示領域が縮小傾向にあるかを検出し、縮小傾向にあった場合、経路案内虚像の視認性が低下する前に経路案内虚像の位置を視認しやすい表示領域に移動させることができ、経路案内虚像の視認性を維持することができる。また、経路案内虚像の位置を単に切り替えるのではなく動画で移動させるため、乗員は、経路案内虚像を見失うことなく、経路案内情報を認識しつづけることができる。 According to the vehicle display system of the first aspect of the present invention, it is detected from the time transition of the size of the display area whether the display area tends to be reduced. If the display area tends to be reduced, the visibility of the route guidance virtual image is reduced. The position of the route guidance virtual image can be moved to a display area that is easy to visually recognize before the route guidance, and the visibility of the route guidance virtual image can be maintained. In addition, since the position of the route guidance virtual image is not switched but moved as a moving image, the occupant can continue to recognize the route guidance information without losing sight of the route guidance virtual image.
また、第2の発明における車両用表示システムによれば、経路案内虚像を縮小傾向にない表示領域に移動させることで、移動させた直後に経路案内虚像の視認性が低下することがなく、経路案内虚像の視認性を維持することができる。 Further, according to the vehicle display system of the second invention, the visibility of the route guidance virtual image is not reduced immediately after the movement by moving the route guidance virtual image to a display area that does not tend to be reduced. The visibility of the guide virtual image can be maintained.
また、第3の発明における車両用表示システムによれば、表示領域が高速で縮小した場合に表示位置を移動させないため、ユーザは、経路案内虚像を、元々存在していた位置で視認することができるため、経路案内虚像を見失いにくくすることができる。また、表示態様を変化させることで、経路案内虚像が強調され、認識性を向上させることができる。 Further, according to the vehicle display system of the third invention, the display position is not moved when the display area is reduced at high speed, so that the user can visually recognize the route guidance virtual image at the position where it originally existed. This makes it difficult to lose sight of the route guidance virtual image. Further, by changing the display mode, the route guidance virtual image is emphasized, and the recognizability can be improved.
図1に本実施形態に係る車両用表示システム1のシステム構成を示す。
本実施形態に係る車両用表示システム1は、虚像Mを表す表示光Lを自車両2のフロントガラス(反射透過面の一実施形態)2aに投影し、虚像Mを自車両2の乗員(ユーザ)3に視認させるヘッドアップディスプレイ(以下、HUD)100と、自車両2の前方の実景画像を取得し、解析する前方情報取得部200と、経路案内のための情報を生成するナビゲーションシステム300と、前方情報取得部200とナビゲーションシステム300とから入力される情報に基づき、HUD100の表示を制御する表示コントローラ400と、から構成される。
FIG. 1 shows a system configuration of a
The
HUD(ヘッドアップディスプレイ)100は、本発明の特徴である経路案内虚像M1を表示するための経路案内画像Jを含む画像を表示面に表示する表示器10と、この画像を示す画像光Kを反射する平面ミラー20と、この平面ミラー20が反射した画像光Kを拡大及び変形して表示光Lとしてフロントガラス2a側へ反射する自由曲面ミラー30と、を備える。
The HUD (head-up display) 100 displays a
表示器10は、後述する表示コントローラ400による制御の下、案内経路を示す経路案内画像Jや、自車両2に関する情報を示す車両情報画像等を表示面に表示するものであり、例えば、液晶パネルなどの表示素子(図示しない)と、この表示素子を照明する光源(図示しない)とから構成される透過型液晶ディスプレイなどである。なお、表示器10は、透過型液晶ディスプレイではなく、自発光型の有機ELディスプレイや、反射型のDMD(Digital Micromirror Device)、反射型及び透過型のLCoS(登録商標:Liquid Crystal on Silicon)等で構成されてもよい。後述する表示コントローラ400は、経路案内虚像M1を乗員3に視認させるように、表示器10の表示面に表示する経路案内画像Jの表示位置を調整する。これにより、乗員3は、自車両2の外景に対して位置合わせされた経路案内虚像M1(虚像M)を視認することができる。
The
平面ミラー20は、表示器10が出射した画像光Kを、自由曲面ミラー30に向けて反射させるものである。
The
自由曲面ミラー30は、例えば合成樹脂材料からなる凹状の基材の表面に、蒸着等の手段により反射膜を形成したものであり、平面ミラー20で反射した画像光Kを拡大すると共に、画像光Kを変形して表示光Lとしてフロントガラス2aの方向に出射する。
The free-
乗員3から見てフロントガラス2aの奥側で視認される虚像Mは、図2に示すように、目的地までの経路を案内する経路案内虚像M1を有する。経路案内虚像M1は、例えば、アローヘッドや矢印などの形状の画像であり、自車両2の進行方向の車線上に重畳表示され、特定の方向を指示する。また、経路案内虚像M1には、「200m先左折」などの文字画像が含まれていてもよい。なお、本実施形態における経路案内虚像M1は、後述する前方情報取得部200が解析する実景における輝度や色味のばらつきが少ない表示領域Aに表示されるように移動する(移動表示処理)。この経路案内虚像M1の移動表示処理については、後に詳述する。
As shown in FIG. 2, the virtual image M viewed from the back side of the windshield 2a when viewed from the occupant 3 has a route guidance virtual image M1 that guides the route to the destination. The route guidance virtual image M1 is, for example, an image having a shape such as an arrow head or an arrow, and is superimposed on the lane in the traveling direction of the
以上が、本実施形態におけるHUD100の光学的な構成であり、HUD100から出射された表示光Lが自車両2のフロントガラス2aに投影されることにより、ステアリング2bの上側のフロントガラス2aの所定の表示可能領域Eで虚像Mを視認させるものである。このフロントガラス2aの表示可能領域Eは、表示器10の表示領域に対応しており、表示器10の表示可能領域E内で経路案内画像Jを移動させることで、フロントガラス2aの表示可能領域E内で虚像Mが移動して視認されることになる。以下に、車両用表示システム1の電気的な構成を説明する。
The above is the optical configuration of the
前方情報取得部200は、自車両2の前方の情報を取得し解析することで、実景における輝度や色味のばらつきが少ない表示領域Aを抽出するものであり、本実施形態では、自車両2前方側を撮像するステレオカメラ(実景画像取得部)201と、このステレオカメラ201で取得された撮像データを解析する画像解析部202と、を有する。
The forward
ステレオカメラ201は、自車両2が走行する車線を含む前方領域を撮像し、実景画像を画像解析部202に送信する。画像解析部202は、取得した実景画像を解析し、実景画像から輝度や色味などのばらつきが少ない表示領域Aを抽出する。具体的には、実景画像における画素毎の輝度や色味を検出し、それらの分散や標準偏差などの統計処理を行うことで、領域毎の輝度や色味のばらつきを検出することができる。これら統計処理を行った結果、予め定められた基準値を満たした輝度や色味のばらつきの少ない領域を表示領域Aとして抽出する。本実施形態の説明において、抽出する表示領域Aを、矩形状としているが、これに限定されることはなく、円形状(楕円も含む)や六角形などの多角形形状であってもよい。また、本実施形態において、画像解析部202は、輝度や色味のばらつきが少なく、虚像Mを重畳した際に視認しやすい表示領域Aを実景画像から抽出していたが、逆に輝度や色味のばらつきが多く、虚像Mを重畳した際に視認しにくい非表示領域(図示しない)を実景画像から抽出し、この非表示領域を避けるように虚像Mを表示してもよい。なお、一実施形態として、分散や標準偏差を用いて重畳する虚像Mが視認しやすい表示領域Aを抽出する例を示したが、他の方法を用いて抽出してもよい。なお、実景画像取得部としては、ステレオカメラ以外に、可視光を撮像する通常の単眼カメラや単眼3次元ステレオカメラなどを用いてもよい。
The
画像解析部202は、表示領域Aの大きさと、この大きさの時間推移とを検出し、後述する表示コントローラ400に出力する。画像解析部202は、表示領域Aの大きさが時間に対して、縮小傾向にあるか、拡大傾向にあるか、また概ね一定であるかを検出することが可能である。また、画像解析部202は、表示領域Aの大きさの変化が高速である高速変化か、低速である低速変化であるかを検出することができる。また、画像解析部202は、経路案内虚像M1を移動させる際、経路案内虚像M1の移動先となる表示領域Aを選定する。具体的には、画像解析部202は、(1)縮小傾向ではない拡大傾向または大きさが概ね一定に維持される表示領域Aであり、かつ(2)経路案内虚像M1以上の大きさになる予測がついた表示領域Aを、経路案内虚像M1の移動先となる表示領域Aに選定する。
The image analysis unit 202 detects the size of the display area A and the time transition of the size, and outputs the detected size to the
図3を参照して、画像解析部202が行う表示領域Aの大きさの予測について説明する。図3は、表示領域Aの時間推移を示したグラフであり、横軸が時間、縦軸が表示領域Aの大きさを示している。すなわち、グラフの傾きは、表示領域Aの増加速度を示す。なお、縦軸に表示された「110%」「100%」「80%」「50%」などの数値は、表示したい経路案内虚像M1の大きさに対する表示領域Aの大きさの比率を示している。すなわち、表示領域Aの大きさが100%以上ということは、表示領域Aの大きさが経路案内虚像M1の大きさ以上であり、経路案内虚像M1を表示できる十分な大きさであることを示す。
画像解析部202は、表示領域Aの大きさと、表示領域Aの増加速度とに基づいて、将来的な表示領域Aの大きさを予測する。具体的に例えば、画像解析部202は、(1)図3に示すC1のように、予め定められた時間t1が経過するまでの間の表示領域Aの大きさの平均が経路案内虚像M1の大きさに対して110%以上であった場合、その表示領域Aを移動先として選定する。また、画像解析部202は、(2)図3に示すC2のように、予め定められた時間t2(例えば、5秒)の間の表示領域Aの平均像加速度が8%以上と急速であり、かつ表示領域Aの大きさが経路案内虚像M1の大きさの50%以上に達した場合、その表示領域Aを移動先として選定する。また、画像解析部202は、(3)図3に示すC3のように、予め定められた時間t3(例えば、10秒)の間の表示領域Aの平均像加速度が3%以上と緩やかであり、かつ表示領域Aの大きさが経路案内虚像M1の大きさの80%以上に達した場合、その表示領域Aを移動先として選定する。このように、表示領域Aの大きさと、表示領域Aの増加速度とに基づいて、表示領域Aの大きさを予測することで、移動先の表示領域Aが経路案内虚像M1の大きさに達していなくても迅速に移動先の表示領域Aを選定することができ、経路案内虚像M1を早めに移動させることができる。
The prediction of the size of the display area A performed by the image analysis unit 202 will be described with reference to FIG. FIG. 3 is a graph showing the time transition of the display area A, where the horizontal axis indicates time and the vertical axis indicates the size of the display area A. That is, the slope of the graph indicates the increasing speed of the display area A. The numerical values such as “110%”, “100%”, “80%”, and “50%” displayed on the vertical axis indicate the ratio of the size of the display area A to the size of the route guidance virtual image M1 to be displayed. Yes. That is, that the size of the display area A is 100% or more indicates that the size of the display area A is equal to or larger than the size of the route guidance virtual image M1, and is large enough to display the route guidance virtual image M1. .
The image analysis unit 202 predicts the future size of the display area A based on the size of the display area A and the increasing speed of the display area A. Specifically, for example, the image analysis unit 202 (1) like C1 shown in FIG. 3, the average size of the display area A until the predetermined time t1 elapses is the route guidance virtual image M1. When the size is 110% or more with respect to the size, the display area A is selected as the movement destination. Further, the image analysis unit 202 (2) has a rapid average image acceleration of 8% or more in the display area A during a predetermined time t2 (for example, 5 seconds) as indicated by C2 in FIG. When the size of the display area A reaches 50% or more of the size of the route guidance virtual image M1, the display area A is selected as the movement destination. Further, the image analysis unit 202 (3) has a gentle average image acceleration of 3% or more in the display area A during a predetermined time t3 (for example, 10 seconds) as indicated by C3 in FIG. When the size of the display area A reaches 80% or more of the size of the route guidance virtual image M1, the display area A is selected as the destination. Thus, by predicting the size of the display area A based on the size of the display area A and the increasing speed of the display area A, the display area A as the movement destination reaches the size of the route guidance virtual image M1. Even if not, the display area A of the movement destination can be selected quickly, and the route guidance virtual image M1 can be moved early.
ナビゲーションシステム300は、地図データを記憶し、図示しないGPSコントローラで検出する自車両2の位置情報に基づいて、現在位置近傍の地図データを記憶部から読み出し、目的地までの案内経路情報を生成し、後述する表示コントローラ400に出力する。
The navigation system 300 stores map data, reads map data in the vicinity of the current position from the storage unit based on position information of the
表示コントローラ400は、CPU,ROM,RAM,グラフィックコントローラなどからなるECU(Electirical Control Unit)であり、前方情報取得部200から入力される表示領域Aに関する情報と、ナビゲーションシステム300から入力される案内経路情報に基づいて、HUD100に経路案内虚像M1を表示させる。表示コントローラ400は、経路案内虚像M1が縮小傾向の表示領域Aに表示されていると判定された場合、経路案内虚像M1を動画として移動先の表示領域Aに移動させる。
The
(動作例1)
これより、図4乃至図6を用いて、車両用表示システム1の動作例を説明する。図4は、車両用表示システム1の動作例1を説明するための図であり、フロントガラス2aを通して乗員3が視認する景色を示した図である。図4(a)は、自車両2が先行車両から離れて走行し、自車両2と先行車両との間の車線に表示領域Aを設けることができる場合を示しており、図4(b)は、図4(a)の所定時間経過した後の景色を示した図であり、自車両2が先行車両の近くを走行し、自車両2と先行車両との間の車線に表示領域Aを設けることができない場合を示している。
自車両2と先行車両とが離れて走行している場合、自車両2と先行車両との間の車線が空くため、画像解析部202は、この自車両2と先行車両との間の車線を表示領域Aとして抽出することができる。表示コントローラ400は、自車両2と先行車両との間の車線における表示領域Aに、経路案内虚像M1を重畳表示する。なお、この時、画像解析部202が、先行車両の後部車体のリアガラスやリアガラス下側の領域も輝度や色味のばらつきの少ない表示領域Aとして抽出していた場合であっても、表示コントローラ400は、移動体ではない道路に重畳させた方が経路案内虚像M1と実景とのコントラストが安定するため、移動体ではない車線に経路案内虚像M1を重畳させる。
自車両2が先行車両の近くを走行するようになった場合、自車両2と先行車両との間の車線に配置された表示領域Aは、先行車両の接近に基づいて縮小していき、先行車両の後部車体の表示領域Aが拡大していく。すると、画像解析部202は、経路案内虚像M1が表示されていた表示領域Aを、縮小傾向の表示領域A1であると判定し、経路案内虚像M1の移動先となる表示領域Aの選定を行う。経路案内虚像M1の移動先は、経路案内虚像M1を表示できる大きさがあり、かつ縮小傾向でない表示領域Aとなる。例えば、表示コントローラ400は、先行車両の接近に基づいて、先行車両の後部車体の表示領域Aが拡大傾向の表示領域A2であり、経路案内虚像M1を表示できる大きさになる予測がついた場合、図4(b)に示すように、経路案内虚像M1を先行車両の後部車体に重畳する表示領域A2に動的に移動させる。なお、経路案内虚像M1の色味などは、重畳する領域が異なった(車線から先行車両の後部車体になった)場合、実景とのコントラストを大きくするため、変更されることが好ましいが、経路案内虚像M1の色味の変化が煩雑にならないように変えなくてもよい。なお、経路案内虚像M1の移動先は、縮小傾向にある表示領域A1でなければよいので、拡大傾向にある表示領域A2でなくても大きさが概ね一定に維持される表示領域(図示しない)であってもよい。
(Operation example 1)
From this, the operation example of the
When the
When the
このように、経路案内虚像M1を表示している表示領域が縮小傾向であった場合、経路案内虚像M1を移動させることで、経路案内虚像M1の視認性を維持することができる。また、移動先を縮小傾向ではない表示領域Aとすることで、経路案内虚像M1が移動した後、すぐに表示領域Aが縮小することがなく、視認性を長い間、維持することができる。 Thus, when the display area displaying the route guidance virtual image M1 tends to be reduced, the visibility of the route guidance virtual image M1 can be maintained by moving the route guidance virtual image M1. In addition, by setting the destination to the display area A that does not tend to be reduced, the display area A is not reduced immediately after the route guidance virtual image M1 is moved, and the visibility can be maintained for a long time.
また、経路案内虚像M1は、表示されている表示領域Aが、経路案内虚像M1より小さくなる前に移動を開始することが好ましい。経路案内虚像M1の視認性が低下する前に経路案内虚像M1が移動することで、乗員3は、経路案内虚像M1を確実に認識しながら、経路案内虚像M1の移動を捕捉することができる。 Moreover, it is preferable that the route guidance virtual image M1 starts moving before the displayed display area A becomes smaller than the route guidance virtual image M1. Since the route guidance virtual image M1 moves before the visibility of the route guidance virtual image M1 decreases, the occupant 3 can capture the movement of the route guidance virtual image M1 while reliably recognizing the route guidance virtual image M1.
(動作例2)
図5は、車両用表示システム1の動作例2を説明するための図であり、表示可能領域E内に表示される経路案内虚像M1の時間推移を示している。図5(a)に示すように、表示領域A内に経路案内虚像M1が表示され、時間推移に基づいて表示領域Aが縮小した場合(図5(b))、表示コントローラ400は、経路案内虚像M1を縮小傾向にある表示領域A1の大きさに合わせて小さくする。そして、表示コントローラ400は、経路案内虚像M1の移動先の選定を開始する。拡大傾向の表示領域A2が画像解析部202により検出された場合、図5(c)に示すように、経路案内虚像M1を通常の大きさに戻す。そして、図5(d)に示すように、経路案内虚像M1を拡大傾向の表示領域A2に向けて移動させる。移動させた後、表示コントローラ400は、経路案内虚像M1の大きさを移動先の表示領域A2の大きさに合わせて調整する。
(Operation example 2)
FIG. 5 is a diagram for explaining an operation example 2 of the
このように、経路案内虚像M1を縮小傾向の表示領域A1に合わせて縮小する。そして、経路案内虚像M1の移動先が選定されて移動を開始する際に、経路案内虚像M1を通常の大きさに戻してから(拡大してから)移動させることで、経路案内虚像M1が強調される。よって、乗員3に経路案内虚像M1を認識させてから移動が開始され、経路案内虚像M1の移動を確実に認識させることができる。 In this way, the route guidance virtual image M1 is reduced in accordance with the display area A1 having a reduction tendency. When the destination of the route guidance virtual image M1 is selected and starts moving, the route guidance virtual image M1 is emphasized by moving the route guidance virtual image M1 after returning it to its normal size (after enlargement). Is done. Therefore, the movement is started after the occupant 3 recognizes the route guidance virtual image M1, and the movement of the route guidance virtual image M1 can be reliably recognized.
(動作例3)
図6は、車両用表示システム1の動作例3を説明するための図であり、表示可能領域E内に表示される経路案内虚像M1の時間推移を示している。図6(a)に示すように、表示領域A内に経路案内虚像M1が表示され、時間推移に基づいて急激に表示領域Aが縮小した場合(図6(b))、表示コントローラ400は、経路案内虚像M1の表示態様を変える。具体的には、経路案内虚像M1の位置を変えずに左右に揺動させる。そして、表示コントローラ400は、経路案内虚像M1の移動先の選定を開始する。拡大傾向の表示領域A2が画像解析部202により検出された場合、図6(c)に示すように、経路案内虚像M1を拡大傾向の表示領域A2に向けて移動させる。移動させた後、表示コントローラ400は、経路案内虚像M1の大きさを移動先の表示領域A2の大きさに合わせて調整する。
(Operation example 3)
FIG. 6 is a diagram for explaining an operation example 3 of the
以下に、図7,8を用いて、車両用表示システム1の動作フローを説明する。まず、表示コントローラ400は、ステップS10において、前方情報取得部200から輝度や色味のばらつきの少ない表示領域Aを入力する。そして、表示コントローラ400は、入力した表示領域Aのうち視認性が良好な表示領域Aに経路案内虚像M1を表示する(ステップS20)。表示コントローラ400は、前方情報取得部200から入力される表示領域Aの大きさの時間推移を監視し、表示領域Aが縮小傾向であるかを判定する(ステップS30)。経路案内虚像M1が表示されている表示領域Aが縮小傾向ではない(ステップS30でNO)場合、経路案内虚像M1の表示を維持し、ステップS10に戻ってあらたな表示領域Aを入力する。一方、経路案内虚像M1が表示されている表示領域Aが縮小傾向であった(ステップS30でYES)場合、表示コントローラ400は、経路案内虚像M1の表示を移動させる移動表示処理(ステップS40)に移行する。
Below, the operation | movement flow of the
図8のフローチャートを参照して、本実施形態における移動表示処理について説明する。移動表示処理に移行すると、表示コントローラ400は、ステップS41において、経路案内虚像M1の移動先の選定を開始する。経路案内虚像M1の移動先には、前述したように、(1)縮小傾向ではない拡大傾向または大きさが概ね一定に維持される表示領域Aであり、かつ(2)経路案内虚像M1以上の大きさになる予測がついた表示領域Aが選定される。
With reference to the flowchart of FIG. 8, the movement display process in this embodiment is demonstrated. After shifting to the movement display process, the
ステップS42において、表示コントローラ400は、移動先となる表示領域Aの候補があるかを判定する。移動先となる表示領域Aの候補があると判定された(ステップS42でYES)場合、移動先の表示領域Aに向けて、経路案内虚像M1を移動先の表示領域に移動させる(ステップS43)。一方、表示コントローラ400は、移動先となる表示領域Aの候補がないと判定した(ステップS42でNO)場合、ステップS44に移行し、縮小傾向の表示領域Aの変化が高速変化であるかを判定する。表示コントローラ400は、表示領域Aの縮小が高速変化であった(ステップS44でYES)場合、経路案内虚像M1を少なくとも予め定められた所定の時間だけ揺動させる(ステップS45)。また、表示領域Aの縮小が高速変化でなかった(ステップS44でNO)場合、表示領域Aの縮小に合わせて経路案内虚像M1を縮小し(ステップS46)、ステップS41に戻り、移動先となる表示領域Aが見つかるまで、その時に表示されている表示領域Aの大きさに基づいて大きさを調整する。
In step S42, the
なお、経路案内虚像M1を移動先の表示領域Aに移動させるステップS43において、経路案内虚像M1が揺動していた場合、表示コントローラ400は、移動先の表示領域Aに経路案内虚像M1を移動させながら揺動を緩やかにしていく。また、表示領域Aの大きさに合わせて経路案内虚像M1を縮小していた場合、経路案内虚像M1を元の大きさに戻してから移動を開始する。なお、移動先の表示領域Aが所定の時間が過ぎても選定されなかった場合、経路案内虚像M1の大きさを通常の大きさに戻し、経路案内虚像M1の色味を強調色に変更する。なお、経路案内虚像M1が揺動していた場合、経路案内虚像M1の揺動も停止する。
In step S43 in which the route guidance virtual image M1 is moved to the destination display area A, if the route guidance virtual image M1 is swinging, the
以上に説明したように、本実施形態における車両用表示システムは、フロントガラス(透過反射面)2aに経路案内画像Jを投影し、フロントガラス2aを通した実景とともに経路案内画像Jの経路案内虚像M1を視認させる車両用表示システムであり、実景画像を撮像するステレオカメラ201と、得られた実景画像から予め定められた条件を満たした表示領域Aの大きさを判定し、表示領域Aの大きさの時間推移を解析して表示領域Aの縮小傾向を検出する画像解析部202と、表示領域Aが縮小傾向のとき、経路案内虚像M1を動画で移動させる表示コントローラ400と、を備えるものであり、表示領域Aの大きさの時間推移から、表示領域Aが縮小傾向にあるかを検出し、縮小傾向にあった場合、経路案内虚像の視認性が低下する前に経路案内虚像M1の位置を視認しやすい表示領域Aに移動させることができ、経路案内虚像M1の視認性を維持することができる。また、経路案内虚像M1の位置を単に切り替えるのではなく動画で移動させるため、乗員3は、経路案内虚像M1を見失うことなく、経路案内情報を認識しつづけることができる。
As described above, the vehicle display system in the present embodiment projects the route guidance image J on the windshield (transmission / reflection surface) 2a, and the route guidance virtual image of the route guidance image J together with the actual scene through the windshield 2a. The vehicle display system that visually recognizes M1, the
また、表示コントローラ400は、経路案内虚像M1が縮小傾向の表示領域Aに表示されているとき、縮小傾向以外の表示領域Aに向けて経路案内虚像M1を移動させるものである。このように、経路案内虚像M1を、縮小傾向ではない表示領域Aに移動させることで、移動させた直後に経路案内虚像M1の視認性が低下することがなく、経路案内虚像M1の視認性を維持することができる。
Further, the
また、画像解析部202は、表示領域Aの大きさの時間推移において、大きさの変化が速い高速変化と、変化が遅い低速変化とを少なくとも検出可能であり、表示コントローラ400は、経路案内虚像M1が表示されている表示領域Aが、縮小傾向かつ高速変化の場合、経路案内虚像M1を移動させずに表示態様を変化させる。このように、表示領域Aが高速で縮小した場合に、経路案内虚像M1の表示位置を移動させないため、ユーザは、経路案内虚像M1を、元々存在していた位置で視認することができるため、経路案内虚像M1を見失いにくくすることができる。また、経路案内虚像M1を揺動させて表示態様を変化させることで、経路案内虚像M1が強調され、認識性を向上させることができる。
The image analysis unit 202 can detect at least a high-speed change with a fast change in size and a low-speed change with a slow change in the time transition of the size of the display area A. The
<他の実施形態>
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば、次のような実施形態も本発明の技術的範囲に含まれる。さらに、下記以外にも、本発明の要旨を逸脱しない範囲内で種々変更して実施することが可能である。
<Other embodiments>
The present invention is not limited to the embodiments described with reference to the above description and drawings. For example, the following embodiments are also included in the technical scope of the present invention. In addition to the following, various modifications can be made without departing from the scope of the present invention.
上記実施形態では、実景の輝度や色味のばらつきを算出し、輝度や色味のばらつきのない領域を表示領域Aとして抽出していたが、単に自車両2の前方の障害物の位置や障害物の大きさの時間推移を検出することで、障害物と重ならない位置を表示領域Aとして抽出し、経路案内虚像M1を表示するようにしてもよい。
In the above embodiment, the luminance and color variation of the actual scene is calculated, and the region without the luminance and color variation is extracted as the display region A. However, the position or obstacle of the obstacle in front of the
また、上記実施形態では、経路案内虚像M1を縮小傾向ではない表示領域Aに移動させるとしたが、経路案内虚像M1が表示されている表示領域Aよりも縮小の速度が低速であれば、移動先の表示領域Aが縮小傾向であってもよい。 In the above embodiment, the route guidance virtual image M1 is moved to the display area A that does not tend to be reduced. However, if the reduction speed is slower than the display area A where the route guidance virtual image M1 is displayed, the movement is performed. The previous display area A may tend to shrink.
また、上記実施形態では、経路案内虚像M1が表示されている表示領域Aが縮小傾向であると判定されてから、経路案内虚像M1の移動先を選定していたが、画像解析部202が常に表示可能領域E内に存在する全ての表示領域Aの変化の傾向を監視し、表示領域Aの縮小傾向の判定がなくても移動先の候補を選定し続けていてもよい。 In the above embodiment, the destination of the route guidance virtual image M1 is selected after it is determined that the display area A on which the route guidance virtual image M1 is displayed tends to be reduced. The change tendency of all the display areas A existing in the displayable area E may be monitored, and the movement destination candidates may be continuously selected without determining the reduction tendency of the display area A.
1 車両用表示システム
2 自車両
3 乗員(ユーザ)
100 ヘッドアップディスプレイ
200 前方情報取得部
201 ステレオカメラ(実景画像取得部)
202 画像解析部
300 ナビゲーションシステム
400 表示コントローラ(表示制御部)
A 表示領域
A1 縮小傾向の表示領域
A2 拡大傾向の表示領域
K 画像光
L 表示光
M 虚像
M1 経路案内虚像
DESCRIPTION OF
DESCRIPTION OF
202 Image analysis unit 300
A display area A1 display area of reduction tendency A2 display area of enlargement tendency K image light L display light M virtual image M1 route guidance virtual image
Claims (3)
実景を撮像し、実景画像を撮像する実景画像取得部と、得られた前記実景画像から予め定められた条件を満たした表示領域の大きさを判定し、前記表示領域の大きさの時間推移を解析して前記表示領域の縮小傾向を検出する画像解析部と、前記表示領域が縮小傾向の前記表示領域に表示されているとき、前記縮小傾向以外の表示領域に向けて前記経路案内画像を移動させる表示制御部と、を備える、
ことを特徴とする車両用表示システム。 In a vehicle display system that projects a route guidance image on a transmission reflection surface and visually recognizes a virtual image of the route guidance image together with a real scene through the transmission reflection surface,
A real scene image acquisition unit that captures a real scene and captures a real scene image, determines the size of the display area that satisfies a predetermined condition from the obtained real scene image, and determines the time transition of the size of the display area. An image analysis unit that analyzes and detects a reduction tendency of the display area; and when the display area is displayed in the display area of a reduction tendency, the route guidance image is moved toward a display area other than the reduction tendency A display control unit for causing
A display system for a vehicle.
前記表示制御部は、前記経路案内画像が縮小傾向の前記表示領域に表示されているとき、前記表示領域の大きさの時間推移が前記拡大傾向である又は概ね一定である表示領域に向けて前記経路案内画像を移動させる、
ことを特徴とする請求項1に記載の車両用表示システム。 The image analysis unit can analyze the time transition of the size of the display area to detect whether the display area is expanding or / and substantially constant,
When the route guidance image is displayed in the display area with a decreasing tendency, the display control unit is directed toward the display area in which the time transition of the size of the display area is the expansion tendency or substantially constant. Move the route guidance image,
The vehicle display system according to claim 1.
前記表示制御部は、前記経路案内画像が表示されている表示領域が、前記縮小傾向かつ前記高速変化の場合、前記経路案内画像を移動させずに表示態様を変化させる、
ことを特徴とする請求項1または2のいずれかに記載の車両用表示システム。
The image analysis unit is capable of detecting at least a fast change with a fast change in size and a slow change with a slow change in the time transition of the size of the display area,
The display control unit changes a display mode without moving the route guidance image when the display area where the route guidance image is displayed is the shrinking tendency and the high-speed change.
The vehicle display system according to any one of claims 1 and 2.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014243257A JP6443666B2 (en) | 2014-12-01 | 2014-12-01 | Vehicle display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014243257A JP6443666B2 (en) | 2014-12-01 | 2014-12-01 | Vehicle display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016104603A JP2016104603A (en) | 2016-06-09 |
JP6443666B2 true JP6443666B2 (en) | 2018-12-26 |
Family
ID=56102257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014243257A Expired - Fee Related JP6443666B2 (en) | 2014-12-01 | 2014-12-01 | Vehicle display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6443666B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018159738A (en) * | 2017-03-22 | 2018-10-11 | アイシン・エィ・ダブリュ株式会社 | Virtual image display device |
JP7263962B2 (en) * | 2019-07-25 | 2023-04-25 | 株式会社デンソー | VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY CONTROL METHOD |
JP2021059229A (en) * | 2019-10-07 | 2021-04-15 | 株式会社デンソー | Display control device and display control program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5136950B2 (en) * | 2008-03-25 | 2013-02-06 | 株式会社デンソー | In-vehicle device operation device |
JP5346650B2 (en) * | 2009-03-31 | 2013-11-20 | 株式会社エクォス・リサーチ | Information display device |
JP5275963B2 (en) * | 2009-12-08 | 2013-08-28 | 株式会社東芝 | Display device, display method, and moving body |
JP2013203374A (en) * | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | Display device for vehicle, control method therefor, and program |
CN104509108A (en) * | 2012-08-06 | 2015-04-08 | 索尼公司 | Image display device and image display method |
-
2014
- 2014-12-01 JP JP2014243257A patent/JP6443666B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016104603A (en) | 2016-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6669299B2 (en) | Image processing device | |
US9639990B2 (en) | Display control apparatus, computer-implemented method, storage medium, and projection apparatus | |
JP6836206B2 (en) | Display control device and display control program | |
JP6303428B2 (en) | Vehicle information projection system | |
JP6409337B2 (en) | Display device | |
WO2015079654A1 (en) | Head-up display device | |
JPWO2016067574A1 (en) | Display control apparatus and display control program | |
JP6225379B2 (en) | Vehicle information projection system | |
JP7017154B2 (en) | Display control device and display control program | |
JPWO2017090464A1 (en) | Head-up display | |
JP2017215816A (en) | Information display device, information display system, information display method, and program | |
JP6443666B2 (en) | Vehicle display system | |
WO2022209439A1 (en) | Virtual image display device | |
JP2018020779A (en) | Vehicle information projection system | |
US20210008981A1 (en) | Control device, display device, display system, moving body, control method, and recording medium | |
JP2018091908A (en) | Head-up display device | |
JP2019172245A (en) | Image control device, display device, movable body, image control method and program | |
JP2015074391A (en) | Head-up display device | |
JP2019202589A (en) | Display device | |
CN110816407B (en) | Display device, display control method, and storage medium | |
US20230022485A1 (en) | Vehicle display control device, vehicle display device, vehicle display control method, and non-transitory storage medium | |
JP6415968B2 (en) | COMMUNICATION DEVICE, WARNING DEVICE, DISPLAY DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2018122736A (en) | Method for displaying vehicular lighting and display control device | |
JP2021037916A (en) | Display control device and display control program | |
JP2019207632A (en) | Display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6443666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |