JP2018090170A - Head-up display system - Google Patents
Head-up display system Download PDFInfo
- Publication number
- JP2018090170A JP2018090170A JP2016236987A JP2016236987A JP2018090170A JP 2018090170 A JP2018090170 A JP 2018090170A JP 2016236987 A JP2016236987 A JP 2016236987A JP 2016236987 A JP2016236987 A JP 2016236987A JP 2018090170 A JP2018090170 A JP 2018090170A
- Authority
- JP
- Japan
- Prior art keywords
- image
- hud
- unit
- driver
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims 1
- 239000004973 liquid crystal related substance Substances 0.000 description 32
- 238000000034 method Methods 0.000 description 25
- 238000012986 modification Methods 0.000 description 24
- 230000004048 modification Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 18
- 235000019557 luminance Nutrition 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012854 evaluation process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000005340 laminated glass Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Instrument Panels (AREA)
- Television Receiver Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、表示器からの表示光を車両のウインドシールドに照射することによって、車両前方に虚像としての画像を形成し、当該虚像画像を用いて運転席乗員に情報を提示するヘッドアップディスプレイシステムに関する。 The present invention provides a head-up display system that forms an image as a virtual image in front of a vehicle by irradiating the windshield of the vehicle with display light from a display, and presents information to a driver's seat occupant using the virtual image. About.
従来、表示器からの表示光をウインドシールドに照射することで、運転席に着座している乗員(以降、ドライバ)に虚像としての画像を提示する車両用のヘッドアップディスプレイ(以降、HUD:Head-Up Display)システムがある。このようなHUDシステムによって表示される画像(以降、HUD画像)の視認性は、車室外環境の照度や、ドライバからみてHUD画像の周辺に見えるオブジェクトの色合いによって変化する。 Conventionally, a head-up display for a vehicle (hereinafter referred to as HUD: Head) that presents a virtual image to an occupant (hereinafter referred to as a driver) seated in a driver's seat by irradiating the windshield with display light from a display device -Up Display) system. The visibility of an image (hereinafter referred to as a HUD image) displayed by such a HUD system varies depending on the illuminance of the environment outside the passenger compartment and the color of an object that appears around the HUD image as viewed from the driver.
例えば、HUD画像として緑色のテキストを表示している状況において、HUD画像と重なる位置に緑色の先行車両が存在している場合には、HUD画像の視認性が劣化する。また、車室外が明るい場合には、車室外が暗い場合に比べて相対的に見づらくなってしまう。 For example, in a situation where green text is displayed as a HUD image, the visibility of the HUD image deteriorates when a green preceding vehicle is present at a position overlapping the HUD image. Further, when the outside of the passenger compartment is bright, it is relatively difficult to see compared to when the outside of the passenger compartment is dark.
このような課題に対応すべく、特許文献1には、車両前方を撮像するカメラを用いて車両前方の画像(以降、前方画像)を取得し、前方画像内の各色成分の明度の平均値に基づいて、HUD画像の色合いを調整する構成が開示されている。具体的には、前方画像内の赤、緑、青の3つの色成分のそれぞれの明度の平均値を算出し、最も明度の平均値が高い色成分を特定する。そして、HUD画像色を、最も平均値が高い色成分とは反対側の色合いに設定する。例えば、赤色の明度の平均値が最も高い場合には、緑と青の明度を最大値に設定する。 In order to deal with such a problem, Patent Document 1 discloses that an image in front of the vehicle (hereinafter referred to as a front image) is acquired using a camera that images the front of the vehicle, and the average value of the brightness of each color component in the front image is obtained. Based on this, a configuration for adjusting the hue of the HUD image is disclosed. Specifically, the average value of the brightness of each of the three color components of red, green, and blue in the front image is calculated, and the color component having the highest average value of brightness is specified. Then, the HUD image color is set to a hue on the side opposite to the color component having the highest average value. For example, when the average value of the lightness of red is the highest, the lightness of green and blue is set to the maximum value.
車両前方には、ガードレールや、路面、道路鋲、道路標識、他車両等が存在するため、前方画像が備える色は一様ではない。車両前方を見ているドライバの視界には、様々な色が、様々な輝度で混在している。故に、HUD画像の色を、前方画像において最も明度の平均値が高い色成分(以降、平均明度最大色と称する)と反対の色に設定したからといって、必ずしもHUD画像の視認性が良好となるとは限らない。 Since there are guardrails, road surfaces, road fences, road signs, other vehicles, and the like in front of the vehicle, the color of the front image is not uniform. Various colors are mixed with various luminances in the field of view of the driver looking at the front of the vehicle. Therefore, just because the color of the HUD image is set to the color opposite to the color component having the highest average brightness value in the front image (hereinafter referred to as the average brightness maximum color), the visibility of the HUD image is not necessarily good. Not necessarily.
本発明は、この事情に基づいて成されたものであり、その目的とするところは、よりドライバにとって見やすい表示態様でHUD画像を表示可能なヘッドアップディスプレイシステムを提供することにある。 The present invention has been made based on this situation, and an object of the present invention is to provide a head-up display system capable of displaying a HUD image in a display mode that is easier for the driver to see.
その目的を達成するための本発明は、車両のフロント側に配置されたウインドシールドの所定の照射領域に、虚像としての画像を表示するための表示光を照射する表示器(1)と、表示器が照射領域に表示光を照射することによって表示される虚像としての画像であるHUD画像の表示態様を調整する表示態様調整部(F61)と、車両前方を撮像するカメラが撮像した画像データに基づいて、運転席に着座している乗員であるドライバの視点から車両前方を見た時の画像であって、HUD画像を含む画像であるドライバ視点画像を取得するドライバ視点画像取得部(F4、F3)と、ドライバ視点画像取得部が取得したドライバ視点画像を解析することによって、ドライバ視点画像におけるHUD画像の見やすさを示す視認性指標値を逐次算出する視認性評価部(F5)と、視認性評価部によって算出される視認性指標値の適正範囲を示すデータが登録されている適正範囲記憶部(M2)と、備え、表示態様調整部は、視認性評価部が算出する視認性指標値が、適正範囲内の値となるように、HUD画像の表示態様を調整することを特徴とする。 In order to achieve the object, the present invention provides a display (1) for irradiating display light for displaying an image as a virtual image to a predetermined irradiation area of a windshield disposed on the front side of a vehicle, and a display A display mode adjustment unit (F61) that adjusts the display mode of a HUD image that is a virtual image displayed by irradiating the irradiation area with display light, and image data captured by a camera that captures the front of the vehicle Based on the driver viewpoint image acquisition unit (F4, which acquires an image when the vehicle front is viewed from the viewpoint of the driver who is a passenger seated in the driver's seat and includes an HUD image) F3) and the driver viewpoint image acquired by the driver viewpoint image acquisition unit are analyzed to sequentially determine the visibility index value indicating the visibility of the HUD image in the driver viewpoint image. A visibility evaluation unit (F5) to be output, and an appropriate range storage unit (M2) in which data indicating an appropriate range of the visibility index value calculated by the visibility evaluation unit is registered. The display mode of the HUD image is adjusted so that the visibility index value calculated by the visibility evaluation unit is a value within an appropriate range.
以上の構成では、視認性評価部が、ドライバ視点画像取得部によって取得されたドライバ視点画像を用いて、ドライバの視点から見た時のHUD画像の視認性を示す視認性指標値を逐次算出する。そして、HUD画像の表示態様は、視認性指標値が適正範囲内の値となるように表示態様調整部によって調整される。つまり、ドライバにとってのHUD画像の視認性を定量的に評価し、設計者等が期待する視認性が確保されるように、HUD画像の表示態様が制御される。故に、よりドライバにとって見やすい表示態様で、HUD画像を表示することができる。 With the above configuration, the visibility evaluation unit sequentially calculates the visibility index value indicating the visibility of the HUD image when viewed from the viewpoint of the driver, using the driver viewpoint image acquired by the driver viewpoint image acquisition unit. . Then, the display mode of the HUD image is adjusted by the display mode adjusting unit so that the visibility index value becomes a value within the appropriate range. That is, the visibility of the HUD image for the driver is quantitatively evaluated, and the display mode of the HUD image is controlled so that the visibility expected by the designer or the like is ensured. Therefore, the HUD image can be displayed in a display mode that is easier for the driver to see.
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。 In addition, the code | symbol in the parenthesis described in the claim shows the correspondence with the specific means as described in embodiment mentioned later as one aspect, Comprising: The technical scope of this invention is limited is not.
以下、本発明の実施形態について図を用いて説明する。図1は、本発明に係るヘッドアップディスプレイ(以降、HUD:Head-Up Display)システム100の概略的な構成の一例を示す図である。図1に示すように、HUDシステム100は四輪自動車等の車両に搭載されて使用される。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an example of a schematic configuration of a head-up display (hereinafter, HUD) system 100 according to the present invention. As shown in FIG. 1, the HUD system 100 is used by being mounted on a vehicle such as a four-wheeled vehicle.
HUDシステム100は、概略的には、車両のウインドシールド10上に設定されている照射領域に表示光を照射することで、図2に示すように運転席乗員の目と照射領域とを結ぶ線の車両前方延長線上に、画像20を虚像表示するものである。ウインドシールド10は、車両のフロント側のウインドシールドである。ウインドシールド10は、例えば2枚のガラスとその中間に設けられる中間膜とから形成された合わせガラスを用いて実現されればよい。 In general, the HUD system 100 irradiates the irradiation area set on the windshield 10 of the vehicle with the display light, thereby connecting the eyes of the driver's seat occupant and the irradiation area as shown in FIG. The image 20 is displayed as a virtual image on the vehicle front extension line. The windshield 10 is a windshield on the front side of the vehicle. The windshield 10 may be realized using, for example, a laminated glass formed of two sheets of glass and an intermediate film provided in the middle.
ここでの表示光とは、画像20としての虚像を形成する光を指す。このHUDシステム100によって、運転席に着座している乗員(以降、ドライバ)は、HUD画像20と車両の前景とを重畳して視認することができる。便宜上、以降では、ドライバによって知覚される画像20のことをHUD画像と記載する。 The display light here refers to light that forms a virtual image as the image 20. With this HUD system 100, an occupant (hereinafter referred to as a driver) sitting in the driver's seat can visually recognize the HUD image 20 and the foreground of the vehicle in a superimposed manner. For convenience, hereinafter, the image 20 perceived by the driver is referred to as a HUD image.
HUD画像20が示す情報は、ここでは一例として、車両の走行速度とする。もちろん、他の態様としてHUD画像20は、車両走行時における車両情報としての、エンジン回転数、エンジン冷却水温、およびバッテリ電圧等の何れか1又は複数を示す画像としても良い。また、車両用ナビゲーションシステムにおける地図画像や、交差点などでの進行方向を示す画像(いわゆるターンバイターンとしての画像)等とすることができる。 Here, the information indicated by the HUD image 20 is, for example, the traveling speed of the vehicle. Of course, as another aspect, the HUD image 20 may be an image indicating any one or more of the engine speed, the engine coolant temperature, the battery voltage, and the like as vehicle information during vehicle travel. Moreover, it can be set as the map image in a navigation system for vehicles, the image (the image as what is called a turn-by-turn) which shows the advancing direction in an intersection, etc.
このHUDシステム100は、図3に示すように、HUDユニット1、ステレオカメラユニット2、及び車速センサ3を備えている。HUDユニット1は、車両内に構築されたローカルエリアネットワーク(以降、LAN:Local Area Network)30を介して、ステレオカメラユニット2、及び車速センサ3と通信可能に接続されている。 As shown in FIG. 3, the HUD system 100 includes a HUD unit 1, a stereo camera unit 2, and a vehicle speed sensor 3. The HUD unit 1 is communicably connected to the stereo camera unit 2 and the vehicle speed sensor 3 via a local area network (hereinafter, LAN: Local Area Network) 30 constructed in the vehicle.
HUDユニット1は、HUD画像20を形成する光(つまり表示光)をウインドシールド10に照射して、ドライバに対してHUD画像20を用いた情報提示を行う装置である。HUDユニット1は、ウインドシールド10の下端部から車室内後方、更には下方に延出されるインストゥルメントパネル40に収容されている。尚、インストゥルメントパネル40の上面には、HUDユニット1が射出する表示光を通過させる開口部40aが設けられている。開口部40aには透光性を有する防塵カバーが設けられている。 The HUD unit 1 is a device that irradiates the windshield 10 with light (that is, display light) that forms the HUD image 20 and presents information to the driver using the HUD image 20. The HUD unit 1 is accommodated in an instrument panel 40 that extends from the lower end of the windshield 10 to the rear of the vehicle interior and further downward. Note that an opening 40 a through which display light emitted from the HUD unit 1 passes is provided on the upper surface of the instrument panel 40. The opening 40a is provided with a light-transmitting dustproof cover.
HUDユニット1は、より細かい構成要素として、通信ドライバ11、表示器12、及びHUD制御部13を備える。通信ドライバ11は、HUD制御部13が、ステレオカメラユニット2等といった、LAN30に接続する他の装置と相互通信又は単方向通信するための構成である。通信ドライバ11はHUD制御部13と相互通信可能に構成されている。 The HUD unit 1 includes a communication driver 11, a display device 12, and a HUD control unit 13 as finer components. The communication driver 11 is configured to allow the HUD control unit 13 to perform mutual communication or unidirectional communication with other devices connected to the LAN 30 such as the stereo camera unit 2. The communication driver 11 is configured to communicate with the HUD control unit 13.
表示器12は、HUD制御部13から入力される制御信号に基づいて、ウインドシールド10上に設定されている照射領域へ向けて、表示光を射出する構成である。本実施形態では一例として表示器12は、液晶パネル122にバックライト121からの光を透過させることで表示光を出力するタイプのプロジェクタ(いわゆる液晶プロジェクタ)とする。表示器12は、バックライト121と液晶パネル122に加えて、液晶パネル122から出力される光を照射領域に導くための反射装置123を備える。 The display 12 is configured to emit display light toward an irradiation region set on the windshield 10 based on a control signal input from the HUD control unit 13. In the present embodiment, as an example, the display device 12 is a projector of a type that outputs display light by transmitting light from the backlight 121 to the liquid crystal panel 122 (so-called liquid crystal projector). In addition to the backlight 121 and the liquid crystal panel 122, the display device 12 includes a reflection device 123 for guiding light output from the liquid crystal panel 122 to an irradiation area.
また、ここでは一例として、バックライト121、液晶パネル122、及び反射装置123が、この順に車両前後方向に並ぶように配置されているものとする。これら3つのうち、バックライト121が最も車両後方側に位置し、反射装置123が最も車両前方側に位置するものとする。なお、これらの部材の配置は、所定の光路を形成するように変更可能な設計事項である。 Here, as an example, it is assumed that the backlight 121, the liquid crystal panel 122, and the reflection device 123 are arranged in this order in the vehicle front-rear direction. Of these three, it is assumed that the backlight 121 is located closest to the vehicle rear side and the reflection device 123 is located closest to the vehicle front side. Note that the arrangement of these members is a design matter that can be changed to form a predetermined optical path.
バックライト121は、通電されることで液晶パネル122に対して白色光を出射する光源である。バックライト121は、例えば複数の発光ダイオード(LED:Light Emitting Diode)と、各LEDから放射された光を液晶パネル122へ導光するプリズムとを用いて実現される。バックライト121は、出力光が液晶パネル122に対して垂直に入射するように配置されている。例えばバックライト121は、互いの光軸が重なるように、液晶パネル122に対して対向配置されている。 The backlight 121 is a light source that emits white light to the liquid crystal panel 122 when energized. The backlight 121 is realized using, for example, a plurality of light emitting diodes (LEDs) and a prism that guides light emitted from each LED to the liquid crystal panel 122. The backlight 121 is arranged so that the output light is incident on the liquid crystal panel 122 perpendicularly. For example, the backlight 121 is disposed facing the liquid crystal panel 122 so that the optical axes of the backlights 121 overlap.
液晶パネル122は、例えば矩形の平板状に形成された表示面を備える。表示面には、多数のピクセルが二次元状に配列されている。各ピクセルには、赤色(R)、緑色(G)、及び青色(B)のサブ画素が設けられている。液晶パネル122は、サブ画素の光の透過率を変更することにより、表示面上に種々の画像をカラー表示可能である。サブ画素毎の透過率は、HUD制御部13から入力される制御信号によって制御される。 The liquid crystal panel 122 includes a display surface formed in, for example, a rectangular flat plate shape. A large number of pixels are two-dimensionally arranged on the display surface. Each pixel is provided with red (R), green (G), and blue (B) sub-pixels. The liquid crystal panel 122 can display various images in color on the display surface by changing the light transmittance of the sub-pixels. The transmittance for each sub-pixel is controlled by a control signal input from the HUD control unit 13.
液晶パネル122は、バックライト121から入射される光によって、HUD画像20を形成する表示光を、バックライト121とは反対側に配置された反射装置123に向けて出射する。表示面は、表示光の光軸が車両の前後方向を向くように、換言すれば、出射方向が車両の前方側を向くように配置されている。 The liquid crystal panel 122 emits display light forming the HUD image 20 toward the reflection device 123 disposed on the opposite side of the backlight 121 by the light incident from the backlight 121. The display surface is arranged so that the optical axis of the display light faces the front-rear direction of the vehicle, in other words, the emission direction faces the front side of the vehicle.
なお、この液晶パネル122は、例えば、薄膜トランジスタ(TFT:Thin Film Transistor)が用いられたTFT液晶パネルや、デュアルスキャンタイプのディスプレイ(d−STN:Dual Scan Super Twisted Nematic),TN(Twisted Nematic)セグメント液晶等を用いて実現することができる。 The liquid crystal panel 122 includes, for example, a TFT liquid crystal panel using a thin film transistor (TFT), a dual scan type display (d-STN: Dual Scan Super Twisted Nematic), and a TN (Twisted Nematic) segment. It can be realized using a liquid crystal or the like.
反射装置123は、液晶パネル122から入射させる表示光を、インストゥルメントパネル40に設けられた開口部40aを通して、照射領域に向けて反射する装置である。反射装置123は、表示光を反射するためのミラー部材を備える。ミラー部材は、透明なガラス板材にアルミニウムや銀等の金属が蒸着して形成されればよい。便宜上、ミラー部材において液晶パネル122からの表示光を反射するための面を反射面と称する。ミラー部材は、例えば、反射面の中央部が周縁部に比べて背面側(反射面とは反対側)に凹んだ凹面鏡となっている。ミラー部材が凹面鏡として形成されることにより、HUD画像20を拡大して照射領域に照射することができる。 The reflection device 123 is a device that reflects display light incident from the liquid crystal panel 122 toward an irradiation region through an opening 40 a provided in the instrument panel 40. The reflection device 123 includes a mirror member for reflecting display light. The mirror member may be formed by depositing a metal such as aluminum or silver on a transparent glass plate. For convenience, the surface for reflecting the display light from the liquid crystal panel 122 in the mirror member is referred to as a reflective surface. The mirror member is, for example, a concave mirror in which the central portion of the reflecting surface is recessed on the back side (the side opposite to the reflecting surface) compared to the peripheral portion. By forming the mirror member as a concave mirror, the HUD image 20 can be enlarged and irradiated onto the irradiation region.
HUD制御部13は、バックライト121及び液晶パネル122の動作を制御する構成である。すなわち、バックライト121の輝度を調整したり、液晶パネル122に表示画面を制御したりする。HUD制御部13は、コンピュータを用いて実現されている。つまり、HUD制御部13は、中央演算装置としてCPU131、揮発性の記憶媒体であるRAM132、不揮発性の記憶媒体であるROM133、書き換え可能な不揮発性の記憶媒体であるフラッシュメモリ134、I/O等を備える。ROM133には、通常のコンピュータを本実施形態におけるHUD制御部13として機能させるためのプログラム(以降、HUD制御プログラム)等が格納されている。 The HUD control unit 13 is configured to control operations of the backlight 121 and the liquid crystal panel 122. That is, the brightness of the backlight 121 is adjusted and the display screen is controlled on the liquid crystal panel 122. The HUD control unit 13 is realized using a computer. That is, the HUD control unit 13 includes a CPU 131 as a central processing unit, a RAM 132 that is a volatile storage medium, a ROM 133 that is a nonvolatile storage medium, a flash memory 134 that is a rewritable nonvolatile storage medium, an I / O, and the like. Is provided. The ROM 133 stores a program (hereinafter referred to as a HUD control program) for causing a normal computer to function as the HUD control unit 13 in the present embodiment.
なお、上述のHUD制御プログラムは、非遷移的実体的記録媒体(non- transitory tangible storage medium)に格納されていればよい。CPU131がHUD制御プログラムを実行することは、HUD制御プログラムに対応する方法が実行されることに相当する。このHUD制御部13が備える機能については別途後述する。 Note that the above-described HUD control program only needs to be stored in a non-transitory tangible storage medium. Executing the HUD control program by the CPU 131 corresponds to executing a method corresponding to the HUD control program. The functions of the HUD control unit 13 will be described later separately.
ステレオカメラユニット2は、第1カメラ21と第2カメラ22の2つのカメラを備える装置である。第1カメラ21、及び第2カメラ22は何れも撮像対象の色情報を含む画像データを出力するカラーカメラである。ステレオカメラユニット2において、第1カメラ21と第2カメラ22は同じ方向を撮像するように、所定の間隔をおいて並列配置されている。ステレオカメラユニット2は、第1カメラ21と第2カメラ22の両方が、照射領域を含む車両前方を撮像するように、インストゥルメントパネル40の上面に配置される。 The stereo camera unit 2 is a device that includes two cameras, a first camera 21 and a second camera 22. Each of the first camera 21 and the second camera 22 is a color camera that outputs image data including color information of an imaging target. In the stereo camera unit 2, the first camera 21 and the second camera 22 are arranged in parallel at a predetermined interval so as to capture an image in the same direction. The stereo camera unit 2 is disposed on the upper surface of the instrument panel 40 so that both the first camera 21 and the second camera 22 image the front of the vehicle including the irradiation area.
ステレオカメラユニット2は、車両に設定されたアイリプスの中心と照射領域の中心を結ぶ線分をインストゥルメントパネル40の上面に正射影した線分上において、できる限り運転席に近い位置に配置されることが好ましい。ここでは図1に示すように、インストゥルメントパネル40上面部の運転席側の端部に配置されているものとする。ステレオカメラユニット2が備える第1カメラ21の撮像データと、第2カメラ22の撮像データはそれぞれ逐次、HUD制御部13に提供される。なお、アイリプスは、運転席の乗員(つまりドライバ)のアイポイントの分布を統計的に表したアイレンジに基づいて、設定されている(詳細は、JISD0021:1998参照)。 The stereo camera unit 2 is arranged as close to the driver's seat as possible on the line segment obtained by orthogonally projecting the line segment connecting the center of the iris set to the center of the irradiation area to the upper surface of the instrument panel 40. It is preferable. Here, as shown in FIG. 1, it is assumed that the instrument panel 40 is disposed at the end on the driver's seat side of the upper surface portion. The imaging data of the first camera 21 and the imaging data of the second camera 22 included in the stereo camera unit 2 are sequentially provided to the HUD control unit 13. The eyelips are set based on an eye range that statistically represents the eye point distribution of the driver's occupant (that is, the driver) (see JIS D0021: 1998 for details).
車両に於けるステレオカメラユニット2の搭載位置及び搭載姿勢を示すデータは、カメラパラメータとして、HUD制御部13が備えるフラッシュメモリ134に登録されている。搭載位置は、例えばアイリプスの中心や車体の中心といった、車両における所定の位置を原点とする三次元座標系の座標によって表されれば良い。ステレオカメラユニット2の取付姿勢は、例えば、車両の前後方向、車幅方向、上下方向のそれぞれに対するステレオカメラユニット2の光軸の為す角度(つまり、ロール角、ピッチ角、ヨー角)によって表されれば良い。 Data indicating the mounting position and mounting posture of the stereo camera unit 2 in the vehicle is registered as a camera parameter in a flash memory 134 provided in the HUD control unit 13. The mounting position may be represented by coordinates in a three-dimensional coordinate system having a predetermined position in the vehicle as an origin, such as the center of the eyelips or the center of the vehicle body. The mounting posture of the stereo camera unit 2 is represented by, for example, angles formed by the optical axis of the stereo camera unit 2 with respect to the vehicle front-rear direction, the vehicle width direction, and the vertical direction (that is, roll angle, pitch angle, yaw angle). Just do it.
ステレオカメラユニット2の搭載位置及び搭載姿勢が定まれば、第1カメラ21と第2カメラ22の搭載位置及び搭載姿勢が一意に定まる。故に、フラッシュメモリ134に登録されているカメラパラメータは、第1カメラ21と第2カメラ22の搭載位置及び搭載姿勢を示すデータとして機能する。なお、カメラパラメータの保存先は、ROM133であってもよい。また、カメラパラメータには、設置位置と向きを一意に定める6自由度の値の他に、撮像画角、レンズの歪み係数、焦点距離、画素サイズ、画素比などが含まれていてもよい。 If the mounting position and mounting posture of the stereo camera unit 2 are determined, the mounting positions and mounting postures of the first camera 21 and the second camera 22 are uniquely determined. Therefore, the camera parameters registered in the flash memory 134 function as data indicating the mounting positions and mounting postures of the first camera 21 and the second camera 22. The storage destination of the camera parameters may be the ROM 133. Further, the camera parameters may include an imaging field angle, a lens distortion coefficient, a focal length, a pixel size, a pixel ratio, and the like in addition to a value of six degrees of freedom that uniquely determine the installation position and orientation.
車速センサ3は、車両の走行速度(以降、車速)を検出するセンサである。車速センサ3は、車速を示す車速データをHUD制御部13に逐次提供する。 The vehicle speed sensor 3 is a sensor that detects the traveling speed of the vehicle (hereinafter, vehicle speed). The vehicle speed sensor 3 sequentially provides vehicle speed data indicating the vehicle speed to the HUD control unit 13.
<HUD制御部の機能について>
HUD制御部13は、CPU131がROM133に格納されているHUD制御プログラムを実行することで図4に示す種々の機能を提供する。すなわち、HUD制御部13は機能ブロックとして、車速取得部F1、ベース画像生成部F2、カメラ画像取得部F3、ドライバ視点画像生成部F4、視認性評価部F5、及び表示制御部F6を備える。
<About functions of HUD control unit>
The HUD control unit 13 provides various functions shown in FIG. 4 when the CPU 131 executes a HUD control program stored in the ROM 133. That is, the HUD control unit 13 includes a vehicle speed acquisition unit F1, a base image generation unit F2, a camera image acquisition unit F3, a driver viewpoint image generation unit F4, a visibility evaluation unit F5, and a display control unit F6 as functional blocks.
なお、上述した機能ブロックの一部又は全部は、一つ或いは複数のIC等によりハードウェアとして実現されてもよい。また、HUD制御部13が備える機能ブロックの一部又は全部は、CPU131によるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。 Note that some or all of the functional blocks described above may be realized as hardware by one or a plurality of ICs. In addition, some or all of the functional blocks included in the HUD control unit 13 may be realized by a combination of software execution by the CPU 131 and hardware members.
また、HUD制御部13は、フラッシュメモリ134が備える記憶領域を用いて実現される構成として、カメラパラメータ記憶部M1と、適正範囲記憶部M2とを備える。カメラパラメータ記憶部M1は、前述のカメラパラメータを記憶している記憶領域である。適正範囲記憶部M2は、後述する視認性指標値の適正範囲が登録されている記憶領域である。視認性指標値の適正範囲は、予め試験によって特定されたものである。なお、カメラパラメータ記憶部M1や適正範囲記憶部M2は、ROM133が備える記憶領域を用いて実現されていても良い。 Further, the HUD control unit 13 includes a camera parameter storage unit M1 and an appropriate range storage unit M2 as a configuration realized using a storage area included in the flash memory 134. The camera parameter storage unit M1 is a storage area that stores the above-described camera parameters. The appropriate range storage unit M2 is a storage area in which an appropriate range of the visibility index value described later is registered. The appropriate range of the visibility index value is specified in advance by a test. The camera parameter storage unit M1 and the appropriate range storage unit M2 may be realized using a storage area provided in the ROM 133.
車速取得部F1は、車速センサ3が出力する車速データを逐次取得する。車速取得部F1が取得した車速データは、例えばRAM132に一定時間保存される。取得時刻が異なる複数の車速データは、例えば、最新のデータが先頭となるように時系列順にソートされてRAM132に保存されればよい。RAM132に保存されている車速データは、ベース画像生成部F2や視認性評価部F5等によって参照される。 The vehicle speed acquisition unit F1 sequentially acquires vehicle speed data output from the vehicle speed sensor 3. The vehicle speed data acquired by the vehicle speed acquisition unit F1 is stored in the RAM 132 for a certain period of time, for example. The plurality of vehicle speed data having different acquisition times may be sorted and stored in the RAM 132 in chronological order so that the latest data comes first. The vehicle speed data stored in the RAM 132 is referred to by the base image generation unit F2, the visibility evaluation unit F5, and the like.
ベース画像生成部F2は、車速取得部F1が取得した車速データに基づいて、液晶パネル122に表示させるHUD画像20の元となる画像(以降、ベース画像)を生成する。ベース画像は、現在の車速を表すテキストを、予め設定されたデザインで表した画像である。ここでのデザインには、文字列の配置や、文字のフォント、色合い等が含まれる。ベース画像生成部F2が生成したベース画像は表示制御部F6に提供される。 Based on the vehicle speed data acquired by the vehicle speed acquisition unit F1, the base image generation unit F2 generates an image (hereinafter referred to as a base image) that is the basis of the HUD image 20 to be displayed on the liquid crystal panel 122. The base image is an image that represents text representing the current vehicle speed in a preset design. The design here includes the arrangement of character strings, fonts of characters, colors, and the like. The base image generated by the base image generation unit F2 is provided to the display control unit F6.
カメラ画像取得部F3は、ステレオカメラユニット2から、第1カメラ21及び第2カメラ22のそれぞれが撮像した画像データを取得する。カメラ画像取得部F3が取得した各カメラでの撮像画像データは、ドライバ視点画像生成部F4に提供される。 The camera image acquisition unit F <b> 3 acquires image data captured by the first camera 21 and the second camera 22 from the stereo camera unit 2. The captured image data of each camera acquired by the camera image acquisition unit F3 is provided to the driver viewpoint image generation unit F4.
ドライバ視点画像生成部F4は、第1カメラ21及び第2カメラ22のそれぞれが撮像した画像データに基づいて、ドライバの視点から車両前方を見た時の画像であって、現在表示させているHUD画像20を含むドライバ視点画像を生成する。具体的には、第1カメラ21と第2カメラ22の視差量と、ステレオカメラユニット2のカメラパラメータをもとに、車両の前方に存在する先行車両や、歩行者、道路上の白線、HUD画像等といった、2つのカメラで共通して撮像されているオブジェクトの3次元空間内での座標を特定する。 The driver viewpoint image generation unit F4 is an image when the vehicle front is viewed from the viewpoint of the driver based on the image data captured by each of the first camera 21 and the second camera 22, and is currently displayed on the HUD. A driver viewpoint image including the image 20 is generated. Specifically, based on the amount of parallax between the first camera 21 and the second camera 22 and the camera parameters of the stereo camera unit 2, a preceding vehicle existing in front of the vehicle, a pedestrian, a white line on the road, HUD, The coordinates in the three-dimensional space of an object that is imaged in common by two cameras, such as an image, are specified.
そして、これらの座標を基点として、単眼のカラーカメラがドライバの目の位置に存在すると仮定した画像を求める。或る視点での画像を他の視点から見た画像に変換する技術は周知であるため、ここでの詳細な説明は省略する。なお、ドライバの目が存在すると想定する位置は、例えばアイリプスの中心とすればよい。ここでは一例として、ヘッドレストの車両前方側の表面の中央部から、車両前方に19cmの位置とする。ドライバの目の想定位置は、カメラの搭載位置等を示すために用いている3次元座標系の座標で表されれば良い。ドライバの目の想定位置を示す座標データ(以降、視点座標データ)もまた、カメラパラメータ記憶部M1に保存されていれば良い。 Then, using these coordinates as a base point, an image assuming that a monocular color camera is present at the driver's eye position is obtained. Since a technique for converting an image at a certain viewpoint into an image viewed from another viewpoint is well known, detailed description thereof is omitted here. The position where the driver's eyes are assumed to be present may be, for example, the center of the eyelips. Here, as an example, the headrest is set to a position of 19 cm in front of the vehicle from the center of the front surface of the vehicle. The assumed position of the driver's eyes may be represented by coordinates in a three-dimensional coordinate system used to indicate the mounting position of the camera. Coordinate data indicating the assumed position of the driver's eyes (hereinafter referred to as viewpoint coordinate data) may also be stored in the camera parameter storage unit M1.
視認性評価部F5は、ドライバ視点画像生成部F4が生成したドライバ視点画像が備えるピクセル毎の輝度や色の分布を解析することで、HUD画像20の見やすさ(つまり視認性)を示す指標値(以降、視認性指標値)を算出する。視認性指標値を算出する際の視認性評価部F5の具体的な作動については別途後述する。そして、視認性評価部F5は算出した視認性指標値が適正範囲内(境界を含む)に収まっているか否かを判定する。後述するように、視認性指標値が適正範囲内に収まっているか否かを判定することは、HUD画像20の視認性が、設計者が所望する適正なレベルとなっているか否かを判定することに相当する。視認性評価部F5による視認性の判定結果は、表示制御部F6に通知される。 The visibility evaluation unit F5 analyzes the luminance and color distribution of each pixel included in the driver viewpoint image generated by the driver viewpoint image generation unit F4, thereby indicating an index value indicating the visibility (that is, visibility) of the HUD image 20. (Hereinafter, visibility index value) is calculated. The specific operation of the visibility evaluation unit F5 when calculating the visibility index value will be described later separately. Then, the visibility evaluation unit F5 determines whether or not the calculated visibility index value is within the appropriate range (including the boundary). As will be described later, determining whether or not the visibility index value is within an appropriate range determines whether or not the visibility of the HUD image 20 is at an appropriate level desired by the designer. It corresponds to that. The visibility determination result by the visibility evaluation unit F5 is notified to the display control unit F6.
表示制御部F6は、表示制御部F6は視認性評価部F5の判定結果に基づいて、液晶パネル122の表示画面を制御することによって、HUD20の表示態様を制御する構成である。液晶パネル122に表示する画像(以降、表示用画像)は、ベース画像生成部F2が生成したベース画像、又は、当該ベース画像の色合いを調整した画像である。表示制御部F6は、液晶パネル122に表示用画像を表示させることで、表示用画像に対応する表示光をウインドシールド10に照射させる。 The display control unit F6 is configured to control the display mode of the HUD 20 by controlling the display screen of the liquid crystal panel 122 based on the determination result of the visibility evaluation unit F5. The image displayed on the liquid crystal panel 122 (hereinafter referred to as a display image) is a base image generated by the base image generation unit F2 or an image obtained by adjusting the color of the base image. The display control unit F6 causes the windshield 10 to emit display light corresponding to the display image by causing the liquid crystal panel 122 to display the display image.
なお、ウインドシールド10に搭載される表示光は、前述の通り、HUD画像20としての虚像を形成する。つまり、HUD画像20は表示用画像に対応する虚像である。表示用画像の色合いを調整することは、HUD画像20の見え方(つまり表示態様)を調整することに相当する。表示制御部F6は、HUD画像20(換言すれば表示用画像)の色合いを制御するためのサブ機能として、色合い調整部F61を備える。 The display light mounted on the windshield 10 forms a virtual image as the HUD image 20 as described above. That is, the HUD image 20 is a virtual image corresponding to the display image. Adjusting the hue of the display image corresponds to adjusting the appearance (that is, the display mode) of the HUD image 20. The display control unit F6 includes a hue adjustment unit F61 as a sub-function for controlling the hue of the HUD image 20 (in other words, a display image).
この表示制御部F6は、概略的に次のように動作する。まず、表示制御部F6は、ベース画像生成部F2から提供されたベース画像をそのまま表示用画像として採用している場合において、視認性評価部F5によって視認性指標値が適正範囲内に収まっていると判定された場合には、現在の表示用画像の表示態様を維持する。すなわち、ベース画像をそのまま液晶パネル122に表示する状態を維持する。 The display control unit F6 generally operates as follows. First, when the base image provided from the base image generation unit F2 is directly used as a display image, the display control unit F6 has a visibility index value within an appropriate range by the visibility evaluation unit F5. Is determined, the current display mode of the display image is maintained. That is, the state in which the base image is displayed on the liquid crystal panel 122 as it is is maintained.
また、ベース画像をそのまま表示用画像として採用している場合において、視認性評価部F5によって視認性指標値が適正範囲外の値になっていると判定された場合には、色合い調整部F61が、表示用画像として、ベース画像生成部F2から提供されたベース画像の色合いを調整した画像を生成する。そして、色合いを調整した画像を表示用画像として液晶パネル122に表示させる。 Further, in the case where the base image is directly used as the display image, when the visibility evaluation unit F5 determines that the visibility index value is outside the appropriate range, the hue adjustment unit F61 Then, as the display image, an image in which the hue of the base image provided from the base image generation unit F2 is adjusted is generated. Then, the liquid crystal panel 122 is caused to display the image whose color is adjusted as a display image.
色合い調整部F61の作動の詳細については、別途後述する。ベース画像の色合いの調整は、例えば、ベース画像を構成する各色(具体的にはRGB)の階調値を変更することで実現可能である。人間が知覚可能な種々の色は、赤(R)、緑(G)、青(B)の3つの色成分毎の階調値の組み合わせによって表現される。階調値は0〜255までの値をとる。或る色成分の階調値が0に近いほどその色成分が薄いことを意味する。各色の階調値がすべて0の場合は黒色となり、各色の階調値がすべて255の場合は白色となる。ベース画像に対して施した色合いの調整量を示すデータ(以降、調整設定データ)は、RAM132に保存される。 Details of the operation of the hue adjustment unit F61 will be described later. The adjustment of the hue of the base image can be realized, for example, by changing the gradation value of each color (specifically, RGB) constituting the base image. Various colors that can be perceived by humans are represented by combinations of gradation values for each of the three color components of red (R), green (G), and blue (B). The gradation value ranges from 0 to 255. The closer the gradation value of a certain color component is to 0, the lighter that color component is. When all the gradation values of each color are 0, the color is black, and when all the gradation values of each color are 255, the color is white. Data (hereinafter referred to as adjustment setting data) indicating the amount of hue adjustment performed on the base image is stored in the RAM 132.
さらに、表示制御部F6は、ベース画像の色合いを調整した画像を表示している場合において、視認性評価部F5によって視認性指標値が適正範囲外の値になっていると判定された場合には、色合い調整部F61に色合いの調整を再び実行させる。ベース画像の色合いを調整した画像を場合において、視認性評価部F5によって視認性指標値が適正範囲内に収まっていると判定された場合には、現在の表示用画像の表示態様を維持する。表示態様を維持することは、色合い(具体的にはRGB値)の調整量を維持することに相当する。色合い調整部F61が請求項に記載の表示態様調整部に相当する。 Further, the display control unit F6 displays an image in which the color of the base image is adjusted, and when the visibility evaluation unit F5 determines that the visibility index value is outside the proper range. Causes the hue adjustment unit F61 to execute the hue adjustment again. In the case of an image in which the hue of the base image is adjusted, when the visibility evaluation unit F5 determines that the visibility index value is within the appropriate range, the current display mode of the display image is maintained. Maintaining the display mode corresponds to maintaining the adjustment amount of the hue (specifically, the RGB value). The hue adjustment unit F61 corresponds to the display mode adjustment unit described in the claims.
[表示制御処理]
次に図5に示すフローチャートを用いて、HUD制御部13が実施する表示制御処理について説明する。表示制御処理は、HUD画像20の視認性を所定のレベル(つまり適正な状態)に維持するための処理である。図5に示すフローチャートは、HUD画像20を表示する条件が充足されている場合に逐次実行されれば良い。具体的には、車両が走行している状態において所定の時間間隔で(例えば0.5秒毎に)実行されれば良い。
[Display control processing]
Next, display control processing performed by the HUD control unit 13 will be described using the flowchart shown in FIG. The display control process is a process for maintaining the visibility of the HUD image 20 at a predetermined level (that is, an appropriate state). The flowchart shown in FIG. 5 may be executed sequentially when the conditions for displaying the HUD image 20 are satisfied. Specifically, it may be executed at predetermined time intervals (for example, every 0.5 seconds) while the vehicle is running.
まず、ステップS1ではカメラ画像取得部F3が、ステレオカメラユニット2から第1カメラ21及び第2カメラ22のそれぞれが撮像した画像データを取得してステップS2に移る。ステップS2ではドライバ視点画像生成部F4が、ステップS1で取得された画像データに基づいて、ドライバ視点画像を生成してステップS3に移る。ステップS3では視認性評価部F5が、ドライバ視点画像を用いて視認性指標値を算出する処理(以降、視認性評価処理)を実行して、ステップS4に移る。 First, in step S1, the camera image acquisition unit F3 acquires image data captured by the first camera 21 and the second camera 22 from the stereo camera unit 2, and proceeds to step S2. In step S2, the driver viewpoint image generation unit F4 generates a driver viewpoint image based on the image data acquired in step S1, and proceeds to step S3. In step S3, the visibility evaluation unit F5 executes a process of calculating a visibility index value using the driver viewpoint image (hereinafter referred to as visibility evaluation process), and proceeds to step S4.
ここで、視認性評価処理について、図6に示すフローチャートを用いて説明する。視認性評価処理における最初のステップとしてのステップS31では、RAM132に保存されている現在の車速を読み出してステップS32に移る。 Here, the visibility evaluation process will be described with reference to the flowchart shown in FIG. In step S31 as the first step in the visibility evaluation process, the current vehicle speed stored in the RAM 132 is read, and the process proceeds to step S32.
ステップS32では、ドライバ視点画像において視認性指標値を演算する際に用いる領域(以降、演算対象領域)を抽出する。演算対象領域は、アイリプスの中心から照射領域の中心へ向かう半直線(以降、視線中心線)に対する水平方向角度範囲と、垂直方向角度範囲によって定義される。ここでは水平方向角度範囲と垂直角度範囲は同じパラメータ(以降、対象領域角)を用いて、正方形状に設定する。もちろん、他の態様として演算対象領域は、円形に設定してもよい。また、車幅方向に長い長方形状や楕円形に設定しても良い。演算対象領域は、HUD画像20が含まれるように設定されれば良い。 In step S32, an area (hereinafter referred to as a calculation target area) used when calculating the visibility index value in the driver viewpoint image is extracted. The calculation target area is defined by a horizontal angle range and a vertical angle range with respect to a half line (hereinafter referred to as a line-of-sight center line) from the center of the iris to the center of the irradiation area. Here, the horizontal angle range and the vertical angle range are set to a square shape using the same parameters (hereinafter, target region angles). Of course, as another aspect, the calculation target area may be set to be circular. Further, it may be set to a rectangular shape or an elliptical shape that is long in the vehicle width direction. The calculation target area may be set so that the HUD image 20 is included.
また、本実施形態では対象領域角を、図7に示すように車速が大きいほど対象領域角を小さい値に設定する。具体的には、車速が所定の第1閾値V1未満である場合には、対象領域角を20度に設定する。また、車速が所定の第1閾値V1よりも大きい第2閾値V2以上である場合には、対象領域角を10度に設定する。車速が第1閾値V1以上かつ第2閾値V2未満である場合には、車速が大きくなるほど、対象領域角を20度から10度日界値に設定する。このような設定によれば、車速が大きいほど対象領域角は小さくなる。 In the present embodiment, the target area angle is set to a smaller value as the vehicle speed increases as shown in FIG. Specifically, when the vehicle speed is less than the predetermined first threshold value V1, the target area angle is set to 20 degrees. Further, when the vehicle speed is equal to or higher than the second threshold value V2 that is larger than the predetermined first threshold value V1, the target area angle is set to 10 degrees. When the vehicle speed is greater than or equal to the first threshold value V1 and less than the second threshold value V2, the target area angle is set to a daily value of 20 degrees to 10 degrees as the vehicle speed increases. According to such a setting, the target region angle decreases as the vehicle speed increases.
一般的に人間が文字列を認識する際の有効視野は10度〜20度程度であり、また、人間の視野は、車速が早いほど狭まる傾向がある。故に、上記の設定によれば、HUD表示の視認性を判断する上で必要十分な領域を抽出することができる。余分な背景領域を除外するため、CPU131の演算負荷を低減できる。また、ドライバ視点画像において、HUD画像20の視認性に影響を与えない背景領域を、演算対象領域として採用しないことよって、より精度良くHUD画像20の視認性を評価することができる。このステップS32を実施する視認性評価部F5が請求項に記載の対象領域抽出部に相当する。 Generally, the effective visual field when a human recognizes a character string is about 10 degrees to 20 degrees, and the human visual field tends to narrow as the vehicle speed increases. Therefore, according to the above setting, it is possible to extract a necessary and sufficient area for judging the visibility of the HUD display. Since the extra background area is excluded, the calculation load on the CPU 131 can be reduced. In addition, the visibility of the HUD image 20 can be evaluated with higher accuracy by not using a background region that does not affect the visibility of the HUD image 20 as a calculation target region in the driver viewpoint image. The visibility evaluation part F5 which implements this step S32 is corresponded to the object area | region extraction part as described in a claim.
ステップS32での演算対象領域の特定及び抽出が完了すると、ステップS33に移り、演算対象領域を構成するピクセル毎の視覚的顕著性を表す値(以降、顕著度)を算出する。ここでの視覚的顕著性とは、換言すれば視覚的な目立ち度合いのことである。画像中に於ける或るピクセルの顕著度は、画像における当該ピクセルの目立ち度合いを数値化したものである。 When the specification and extraction of the calculation target area in step S32 are completed, the process proceeds to step S33, and a value (hereinafter referred to as saliency) representing the visual saliency for each pixel constituting the calculation target area is calculated. The visual saliency here is, in other words, the degree of visual conspicuousness. The saliency of a certain pixel in the image is a numerical value of the degree of conspicuousness of the pixel in the image.
ピクセル毎の顕著度を算出方法は、「L.Itti, C.Koch, and E.Niebur. “A model of saliency-based visual attention for rapid scene analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp. 1254-1259, 1998.」や、「J. Harel, C. Koch, and P. Perona, "Graph-based visual saliency," Advances in Neural Information Processing Systems, pp. 545-552, 2007.」等に記載されているため、ここでの詳細な説明は省略する。これらの方法によれば、背景領域の輝度分布や色分布を考慮してピクセル毎の顕著度を計算することができる。このステップS33を実施する視認性評価部F5が請求項に記載の顕著度算出部に相当する。 The method for calculating the saliency per pixel is described in “L. Itti, C. Koch, and E. Niebur.“ A model of saliency-based visual attention for rapid scene analysis, ”IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, 1998. "and J. Harel, C. Koch, and P. Perona," Graph-based visual saliency, "Advances in Neural Information Processing Systems, pp. 545- 552, 2007. ”and the like, and detailed description thereof is omitted here. According to these methods, the saliency for each pixel can be calculated in consideration of the luminance distribution and color distribution of the background region. The visibility evaluation unit F5 that performs this step S33 corresponds to the saliency calculation unit described in the claims.
なお、図8に示す画像についての視覚的顕著性を算出した結果(いわゆる顕著性マップ)を図9に示す。図9において白みがかっているほど、視覚的顕著性が高い(つまり目立っている)ことを示す。なお、図8は、或る時点での演算対象領域を表したものである。図8中の「37km/h」がHUD画像20を表している。 In addition, the result (what is called a saliency map) which calculated the visual saliency about the image shown in FIG. 8 is shown in FIG. In FIG. 9, the whiter the color, the higher the visual saliency (that is, the more noticeable). FIG. 8 shows the calculation target area at a certain time. “37 km / h” in FIG. 8 represents the HUD image 20.
ステップS33でのピクセル毎の顕著度の算出が完了すると、ステップS34に移る。ステップS34では、演算対象領域においてHUD画像20が映っている領域(以降、HUD画像領域)を、パターンマッチング等によって特定する。そして、HUD画像領域を構成するピクセル毎の顕著度を母集団として、HUD画像20の視覚的顕著性を示すHUD画像顕著度を算出する。HUD画像顕著度は、例えば、HUD画像領域を構成するピクセル毎の顕著度の平均値とする。他の態様としてHUD画像顕著度は、HUD画像領域を構成するピクセル毎の顕著度の中央値であってもよい。このステップS34を実施する視認性評価部F5が請求項に記載のHUD画像顕著度算出部に相当する。ステップS34での演算処理が完了するとステップS35に移る。 When the calculation of the saliency for each pixel in step S33 is completed, the process proceeds to step S34. In step S34, an area where the HUD image 20 is shown in the calculation target area (hereinafter referred to as the HUD image area) is specified by pattern matching or the like. Then, the HUD image saliency indicating the visual saliency of the HUD image 20 is calculated using the saliency for each pixel constituting the HUD image region as a population. The HUD image saliency is, for example, an average value of saliency for each pixel constituting the HUD image region. As another aspect, the HUD image saliency may be a median value of saliency for each pixel constituting the HUD image region. The visibility evaluation part F5 which implements this step S34 corresponds to the HUD image saliency calculation part described in the claims. When the calculation process in step S34 is completed, the process proceeds to step S35.
ステップS35では、演算対象領域においてHUD画像領域以外の部分(以降、背景領域)を構成するピクセル毎の顕著度を母集団として、背景領域の視覚的顕著性を示す背景領域顕著度を算出する。背景領域顕著度は、HUD画像顕著度と同様に、背景領域を構成するピクセル毎の顕著度の平均値とする。もちろん、他の態様として背景領域顕著度は、背景領域を構成するピクセル毎の顕著度の中央値であってもよい。このステップS35を実施する視認性評価部F5が請求項に記載の背景領域顕著度算出部に相当する。ステップS35での演算処理が完了するとステップS36に移る。 In step S35, the background area saliency indicating the visual saliency of the background area is calculated using the saliency for each pixel constituting the portion other than the HUD image area (hereinafter referred to as background area) in the calculation target area. Similar to the HUD image saliency, the background region saliency is an average value of saliency for each pixel constituting the background region. Of course, as another aspect, the background region saliency may be a median value of saliency for each pixel constituting the background region. The visibility evaluation unit F5 that executes step S35 corresponds to the background region saliency calculation unit described in the claims. When the calculation process in step S35 is completed, the process proceeds to step S36.
ステップS36では、HUD画像顕著度から背景領域顕著度を減算し、その演算処理によって得られた値を視認性指標値として採用する。ステップS31〜S36までの一連の処理が完了すると、本フローの呼び出し元である図5のフローチャートに戻り、ステップS4を実行する。 In step S36, the background region saliency is subtracted from the HUD image saliency, and the value obtained by the calculation process is adopted as the visibility index value. When a series of processes from step S31 to S36 is completed, the process returns to the flowchart of FIG.
図5のステップS4では、ステップS3の視認性評価処理によって算出された視認性指標値が適正範囲記憶部M2に登録されている適正範囲内に収まっているか否かを判定する。視認性指標値が適正範囲内に収まっている場合にはステップS4が肯定判定されてステップS5に移る。一方、視認性指標値が適正範囲外の値となっている場合にはステップS4が否定判定されてステップS6に移る。 In step S4 in FIG. 5, it is determined whether or not the visibility index value calculated by the visibility evaluation process in step S3 is within the appropriate range registered in the appropriate range storage unit M2. If the visibility index value is within the appropriate range, an affirmative determination is made in step S4 and the process proceeds to step S5. On the other hand, if the visibility index value is outside the appropriate range, a negative determination is made in step S4 and the process proceeds to step S6.
適正範囲の下限値及び上限値は、HUD画像20の視認性が、設計者等が所望しているレベルになっている状態を定義するパラメータである。適正範囲の下限値及び上限値のそれぞれは試験によって適宜設計されればよい。例えば、複数の被験者に、視認性指標値が異なる種々の画像を見せるとともに、各画像に対する主観的な視認性の良さを回答してもらった結果、視認性が良好であるとの回答が得られた視認性指標値の範囲を適正範囲として採用すれば良い。視認性の適正範囲は、見えない、見えづらいといった回答が得られた領域を除外するだけでなく、眩しすぎる、目立ちすぎるなどの回答が得られた領域も除外するように設定される。ここでは上記試験の結果、+0.4〜+0.7までが適正範囲として設定されているものとする。 The lower limit value and the upper limit value of the appropriate range are parameters that define a state in which the visibility of the HUD image 20 is at a level desired by a designer or the like. Each of the lower limit value and the upper limit value of the appropriate range may be appropriately designed by a test. For example, as a result of having a plurality of subjects show various images with different visibility index values and answering subjective visual goodness for each image, an answer that visibility is good is obtained. The range of the visibility index value may be adopted as an appropriate range. The appropriate range of visibility is set not only to exclude areas where answers such as invisible and difficult to see are obtained, but also exclude areas where answers such as too dazzling or too conspicuous are obtained. Here, as a result of the test, +0.4 to +0.7 is set as an appropriate range.
ステップS5では表示制御部F6は、現在の表示態様の設定を維持する。ステップS6では色合い調整部F61は、背景領域を構成する全ピクセルの中で最も多い色相を特定し、当該色相を背景領域の代表色として採用する。背景領域の代表色は、背景領域を構成するピクセル毎の色分布に基づいて特定されればよい。 In step S5, the display control unit F6 maintains the current display mode setting. In step S <b> 6, the hue adjustment unit F <b> 61 specifies the most hue among all the pixels constituting the background area, and adopts the hue as the representative color of the background area. The representative color of the background area may be specified based on the color distribution for each pixel constituting the background area.
ここでの色相とは、RGBの組み合わせによって表現可能な種々の色を、12のパターンに分割したものである。12の色相は、色相環を赤、緑、青を含むように30度毎に12分割したものとする。図10は、各色相を実現するRGB値を表した図である。図10中の丸括弧内の数字は、左から順に赤(R)成分の階調値、緑(G)成分の階調値、青(B)成分の階調値を表している。或る色相にとって、図10に示す色相環において正反対に位置する色相が、反対側の色相(換言すれば補色)に相当する。 Here, the hue is obtained by dividing various colors that can be expressed by a combination of RGB into 12 patterns. The 12 hues are obtained by dividing the hue circle into 12 parts every 30 degrees so as to include red, green, and blue. FIG. 10 is a diagram showing RGB values for realizing each hue. The numbers in parentheses in FIG. 10 represent the gradation value of the red (R) component, the gradation value of the green (G) component, and the gradation value of the blue (B) component in order from the left. For a certain hue, the hue located in the opposite direction in the hue circle shown in FIG. 10 corresponds to the opposite hue (in other words, the complementary color).
ステップS7では、ステップS6で決定した背景領域の代表色とは反対側の色(以降、背景反対色)を特定する。次に、現在表示中のHUD画像20の色合いが背景反対色に近づくように、表示用画像の色合い(具体的にはRGB値)を調整する。そして、色合いを調整した表示用画像を液晶パネル122に表示させることで、表示中のHUD画像20を背景反対色に近づける。 In step S7, a color on the opposite side to the representative color of the background area determined in step S6 (hereinafter, background opposite color) is specified. Next, the hue (specifically, RGB value) of the display image is adjusted so that the hue of the currently displayed HUD image 20 approaches the color opposite to the background. Then, the display image with the hue adjusted is displayed on the liquid crystal panel 122, whereby the HUD image 20 being displayed is brought close to the color opposite to the background.
背景領域の代表色やベース画像の色合いが一定である場合において、このような表示制御処理を繰り返し実施すれば、図11に示すように、HUD画像20の色合いは背景反対色に近づいていく。図11は、背景領域の代表色がシアンであり、かつ、現在表示中のHUD画像20の色合いが緑であることに起因して、視認性指標値が適正範囲から外れている場合の、色合い調整部F61の作動を概念的に表した図である。 When such a display control process is repeatedly performed when the representative color of the background area and the hue of the base image are constant, as shown in FIG. 11, the hue of the HUD image 20 approaches the background opposite color. FIG. 11 shows the hue when the visibility index value is out of the appropriate range due to the representative color of the background area being cyan and the hue of the currently displayed HUD image 20 being green. It is the figure which represented notionally the operation | movement of the adjustment part F61.
背景領域の代表色がシアンである場合、ステップS7では背景反対色は赤に設定される。また、現在生成している表示用画像の色合いが緑であることから、RGBのうち調整するパラメータをRに設定する。次に、現在表示中のHUD画像20に対応する表示用画像の各ピクセルのR成分の階調値を一定量(例えば64)増加させた画像を、表示用画像として新たに生成する。このようにして画像全体の色合いを調整した表示用画像を液晶パネル122に表示する。その結果、表示中のHUD画像20の色合いもまた、反対色に近づく。 If the representative color of the background area is cyan, the background opposite color is set to red in step S7. Further, since the color of the currently generated display image is green, the parameter to be adjusted among RGB is set to R. Next, an image in which the R component gradation value of each pixel of the display image corresponding to the currently displayed HUD image 20 is increased by a certain amount (for example, 64) is newly generated as a display image. In this way, the display image in which the color of the entire image is adjusted is displayed on the liquid crystal panel 122. As a result, the hue of the HUD image 20 being displayed also approaches the opposite color.
背景領域の代表色やベース画像の色合いが一定である場合において、このような表示制御処理を繰り返し実施すれば、HUD画像20の色合いは背景領域の反対色に徐々に(換言すれば段階的に)近づいていく。例えば表示用画像のRGB値を(0,255,0)から(64,255,0)に設定してもまだ視認性指標値が適正範囲に到達しなかった場合には、さらにR成分を強め、RGB値を(128,255,0)に設定した表示用画像を生成し、液晶パネル122に表示する。そのため、HUD画像20の視認性は徐々に増大していき、最終的には視認性指標値を適正範囲に収まることが期待できる。なお、視認性指標値が適正範囲に収まった場合には、ステップS4が肯定判定されるようになるため、その時点で色合い調整部F61による色合いの調整処理はいったん終了する。色合いの調整においては、背景反対色に対応する赤色成分を強めていくだけでなく、背景代表色を構成する緑色成分を弱めていっても良い。 If such a display control process is repeatedly performed when the representative color of the background area and the hue of the base image are constant, the hue of the HUD image 20 gradually changes to the opposite color of the background area (in other words, step by step). ) Get closer. For example, when the RGB value of the display image is set from (0, 255, 0) to (64, 255, 0) but the visibility index value still does not reach the appropriate range, the R component is further strengthened. , A display image with RGB values set to (128, 255, 0) is generated and displayed on the liquid crystal panel 122. For this reason, the visibility of the HUD image 20 gradually increases, and it can be expected that the visibility index value will be within an appropriate range in the end. If the visibility index value falls within the appropriate range, the determination in step S4 is affirmative. At that time, the hue adjustment processing by the hue adjustment unit F61 is temporarily terminated. In the hue adjustment, not only the red component corresponding to the background opposite color is strengthened, but also the green component constituting the background representative color may be weakened.
ベース画像に対して施しているRGBの調整量は、調整量データとしてRAM132に保存される。例えばベース画像に対して赤色成分を+128している場合には、調整量データとして(+128,0,0)というように保存される。いったん視認性は良好であると判定された際の調整量データは、背景領域の代表色及びベース画像の色合いが変化していない間は維持されれば良い。背景代表色が変化した場合には、再び視認性指標値が適正範囲に収まるように、表示用画像の色合いを、現在表示中の色合いから変化後の背景反対色に近づけていけばよい。 The RGB adjustment amount applied to the base image is stored in the RAM 132 as adjustment amount data. For example, when the red component is +128 with respect to the base image, the adjustment amount data is saved as (+128, 0, 0). The adjustment amount data once it is determined that the visibility is good may be maintained while the representative color of the background area and the hue of the base image are not changed. When the background representative color changes, the color of the display image may be brought closer to the background opposite color after the change from the currently displayed color so that the visibility index value falls within the appropriate range again.
なお、本実施形態では、背景代表色と表示中画像の色合いに基づいて、赤、緑、青のうち調整する色成分を決定し、当該色成分の階調値を一定量ずつ調整することで、少しずつ背景反対色に近づけていく態様を開示したがこれに限らない。トーンカーブによる画像補正技術を援用して、HUD画像20(換言すれば表示用画像)の色調を、背景反対色を強調するように補正してもよい。背景反対色を強調するように画像補正してもよいし、背景代表色を弱めるように画像補正してもよい。 In this embodiment, a color component to be adjusted is determined among red, green, and blue based on the background representative color and the color of the displayed image, and the gradation value of the color component is adjusted by a certain amount. The mode of gradually approaching the opposite color of the background has been disclosed, but is not limited thereto. The tone of the HUD image 20 (in other words, the display image) may be corrected using the tone curve image correction technique so as to emphasize the color opposite to the background. The image may be corrected so as to emphasize the opposite color of the background, or the image may be corrected so as to weaken the background representative color.
<実施形態の効果>
以上の構成では、HUD画像20を含むドライバ視点画像を生成し、当該ドライバ視点画像を用いて、ドライバにとってのHUD画像20の視認性を示す視認性指標値を算出する。そして、視認性指標値が予め設定された適正範囲に収まるように、色合い調整部F61がHUD画像20の色合いを調整する。つまり、ドライバ視点画像に基づいてドライバにとってのHUD画像20の視認性を定量的に評価し、その評価結果に基づいて色合いの調整を行う。故に、特許文献1に開示されているようなドライバ視点画像を用いずにHUD画像20の色合いを調整する構成に比べて、より一層ドライバにとって見やすい表示態様でHUD画像20を表示できる。
<Effect of embodiment>
In the above configuration, a driver viewpoint image including the HUD image 20 is generated, and a visibility index value indicating the visibility of the HUD image 20 for the driver is calculated using the driver viewpoint image. Then, the hue adjustment unit F61 adjusts the hue of the HUD image 20 so that the visibility index value falls within an appropriate range set in advance. That is, the visibility of the HUD image 20 for the driver is quantitatively evaluated based on the driver viewpoint image, and the hue is adjusted based on the evaluation result. Therefore, the HUD image 20 can be displayed in a display mode that is much easier for the driver to see than the configuration in which the hue of the HUD image 20 is adjusted without using the driver viewpoint image as disclosed in Patent Document 1.
また、上述した実施形態において適正範囲は、ただ単に見えづらい状態を除外するだけでなく、眩しすぎる、HUD画像20が目立ちすぎる等の状態も除外するように設定されている。このような設定によれば、HUD画像20が目立ちすぎることによって、ドライバに煩わしさを与えてしまう恐れを低減することができる。また、HUD画像20が目立ちすぎることによって、周辺の移動体や、道路案内等の情報を見落とす恐れも低減できる。つまり、HUD画像20の視認性と、他のオブジェクトの視認性を両立させることができる。 Further, in the above-described embodiment, the appropriate range is set not only to exclude a state where it is difficult to see but also to exclude a state such as excessive glare and excessively conspicuous HUD image 20. According to such a setting, it is possible to reduce the risk of bothering the driver due to the HUD image 20 being too conspicuous. Moreover, since the HUD image 20 is too conspicuous, it is possible to reduce the risk of overlooking information on nearby moving objects and road guidance. That is, the visibility of the HUD image 20 and the visibility of other objects can be made compatible.
さらに、上述した実施形態によれば、視認性指標値が適正範囲内の値となった時点で、HUD画像20の色合いの調整を止めて、視認性指標値が適正範囲内の値となった時点での表示態様を維持する。このような構成によれば、必ずしもいつもHUD画像20の色合いが背景反対色となるとは限らない。HUD画像20の色合いを背景反対色に設定すれば、ドライバに目に止まりやすくなることが期待できるが、一方で、目立ちすぎる表示態様となることも懸念される。上記構成では視認性を定量的に評価した結果に基づいて色合いを調整するため、HUD画像20の表示態様がドライバの目につきすぎる表示態様となる恐れをより一層低減できる。 Further, according to the above-described embodiment, when the visibility index value becomes a value within the proper range, the adjustment of the hue of the HUD image 20 is stopped, and the visibility index value becomes a value within the proper range. The display mode at the time is maintained. According to such a configuration, the hue of the HUD image 20 is not always the color opposite to the background. If the hue of the HUD image 20 is set to a color opposite to the background, it can be expected that the driver will be easily noticed by the driver. However, there is a concern that the display mode may be too conspicuous. In the above configuration, since the hue is adjusted based on the result of quantitatively evaluating the visibility, the possibility that the display mode of the HUD image 20 becomes a display mode that is too conspicuous to the driver can be further reduced.
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the above-mentioned embodiment, The various modifications described below are also contained in the technical scope of this invention, and also in addition to the following However, various modifications can be made without departing from the scope of the invention.
なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。 In addition, about the member which has the same function as the member described in the above-mentioned embodiment, the same code | symbol is attached | subjected and the description is abbreviate | omitted. In addition, when only a part of the configuration is mentioned, the configuration of the above-described embodiment can be applied to the other portions.
[変形例1]
上述した実施形態では、視覚的顕著性を用いてHUD画像20の視認性を評価する態様を開示したが、視認性の評価方法はこれに限らない。例えば、「W. Adrian. ”Visibility Level in Street Lighting: An Analysis of Different Experiments,” J. Illum. Engng. Soc., 22-2, pp.49-52, 1993.」等で提案されているモデルを援用して、下記式によって、HUD画像20の視認性指標値を算出しても良い。
Vi=|Lt−Lb|/ΔLmin
[Modification 1]
In the above-described embodiment, the aspect of evaluating the visibility of the HUD image 20 using visual saliency is disclosed, but the visibility evaluation method is not limited to this. For example, "W. Adrian." Visibility Level in Street Lighting: An Analysis of Different Experiments, "J. Illum. Engng. Soc., 22-2, pp. 49-52, 1993. The visibility index value of the HUD image 20 may be calculated by the following formula.
Vi = | Lt−Lb | / ΔLmin
上記式中において、Viは視認性指標値を表している。Ltは評価対象としてのHUD画像20の輝度(単位:cd/m^2)を、Lbは背景の輝度を、Δminは所定の輝度閾値を、それぞれ表している。 In the above formula, Vi represents a visibility index value. Lt represents the luminance (unit: cd / m 2) of the HUD image 20 as an evaluation target, Lb represents the background luminance, and Δmin represents a predetermined luminance threshold.
上記の式によって求まる値は、HUD画像20と背景の輝度差が、輝度閾値の何倍であるかを表すものである。当然、上記式によって算出される値が大きいほど、輝度差が大きく、HUD画像20が目立っていることを示す。上記式による視認性の評価は、背景の輝度分布や色分布がある程度一様である場合に有用である。 The value obtained by the above expression represents how many times the luminance difference between the HUD image 20 and the background is the luminance threshold value. Naturally, the larger the value calculated by the above equation, the larger the luminance difference, indicating that the HUD image 20 is more conspicuous. The visibility evaluation by the above formula is useful when the luminance distribution and color distribution of the background are uniform to some extent.
但し、ドライバにとってのHUD画像20の視認性は、先行車両や、道路等の種々のオブジェクトが有する色や輝度の影響を受ける。また、視覚的顕著性は、上述したものを含む種々の論文で言及されているように、画像中の輝度分布や、色の分布、エッジの向き等を用いて算出されるものである。故に、実際の走行環境を鑑みると、上記式を用いて視認性を評価する構成よりも、実施形態のように視覚的顕著性を用いて視認性を評価する構成の方が、より精度良くHUD画像20の視認性を定量的に評価できる。また、その結果として、HUD画像20の表示態様を、より見やすい表示態様に設定できることが期待される。 However, the visibility of the HUD image 20 for the driver is affected by the color and brightness of the preceding vehicle and various objects such as roads. The visual saliency is calculated using the luminance distribution in the image, the color distribution, the edge direction, and the like, as mentioned in various papers including those described above. Therefore, in view of the actual driving environment, the configuration for evaluating visibility using visual saliency as in the embodiment is more accurate than the configuration for evaluating visibility using the above formula. The visibility of the image 20 can be quantitatively evaluated. As a result, it is expected that the display mode of the HUD image 20 can be set to a display mode that is easier to see.
[変形例2]
以上では、HUD制御部13が、ベース画像の色合いを調整した画像を生成し、これを液晶パネル122にすることで、HUD画像20の表示態様を調整する構成を開示したが、これに限らない。HUD画像20の表示態様の調整は、液晶パネル122での各色(具体的にはRGB)の階調値を調整することで実現してもよい。例えば液晶パネル122での色温度の設定を変更することで、HUD画像20の表示態様を調整しても良い。その場合も、HUD画像20の見え方が、背景反対色に近づくように制御するものとする。
[Modification 2]
In the above, the configuration in which the HUD control unit 13 adjusts the display mode of the HUD image 20 by generating an image in which the hue of the base image is adjusted and using it as the liquid crystal panel 122 is disclosed, but the present invention is not limited thereto. . The adjustment of the display mode of the HUD image 20 may be realized by adjusting the gradation value of each color (specifically, RGB) on the liquid crystal panel 122. For example, the display mode of the HUD image 20 may be adjusted by changing the setting of the color temperature on the liquid crystal panel 122. Also in that case, control is performed so that the appearance of the HUD image 20 approaches the opposite color of the background.
[変形例3]
以上では、表示用画像のピクセル毎のRGB値(換言すれば各色の輝度)を調整することで、HUD画像20の表示態様を調整する構成を開示したが、これに限らない。バックライト121の出力光の強度(つまり、バックライト121の輝度)を調整することで、HUD画像20の表示態様を調整しても良い。その場合、視認性指標値が適正範囲に近づくようにバックライト121の輝度を制御するものとする。
[Modification 3]
In the above, the configuration in which the display mode of the HUD image 20 is adjusted by adjusting the RGB value (in other words, the brightness of each color) for each pixel of the display image has been disclosed, but the present invention is not limited thereto. The display mode of the HUD image 20 may be adjusted by adjusting the intensity of the output light from the backlight 121 (that is, the luminance of the backlight 121). In that case, the luminance of the backlight 121 is controlled so that the visibility index value approaches the appropriate range.
もちろん、画像データにおける色合いの調整と、バックライト121での輝度の調整を併用して、HUD画像20の表示態様を調整しても良い。また、バックライト121の輝度を調整しても視認性指標値を適正範囲に収めることができなかった場合にのみ、実施形態や変形例2で開示したような、HUD画像20の表示色の調整を実施する制御方式を採用してもよい。 Of course, the display mode of the HUD image 20 may be adjusted by using both the adjustment of the hue in the image data and the adjustment of the luminance in the backlight 121. Further, only when the visibility index value cannot be within the proper range even after adjusting the luminance of the backlight 121, the display color of the HUD image 20 is adjusted as disclosed in the embodiment and the second modification. You may employ | adopt the control system which implements.
[変形例4]
上述した実施形態では、表示器12を液晶プロジェクタとする態様を開示したがこれに限らない。表示器12は、レーザ光をMEMS(Micro Electro Mechanical Systems)スキャナを用いて2次元方向に走査させることによって画像を表示する方式のプロジェクタ(いわゆるレーザプロジェクタ)としても良い。その場合には、HUD画像20の表示態様の調整は、レーザ光源での各色(つまりRGB)の輝度を調整することで、実現されれば良い。
[Modification 4]
In the above-described embodiment, a mode in which the display 12 is a liquid crystal projector is disclosed, but the present invention is not limited to this. The display device 12 may be a projector (so-called laser projector) that displays an image by scanning laser light in a two-dimensional direction using a MEMS (Micro Electro Mechanical Systems) scanner. In that case, the adjustment of the display mode of the HUD image 20 may be realized by adjusting the luminance of each color (that is, RGB) in the laser light source.
[変形例5]
上述した実施形態では、車両前方を撮像するカメラとして、ステレオカメラユニット2を備える構成を開示したが、これに限らない。図12に示すようにHUDシステム100は、ステレオカメラユニット2の代わりに、単眼カメラ4とレーザレーダ5を用いて構成されていても良い。以下、そのような構成を変形例5として、変形例5におけるHUDシステム100の構成及び作動について説明する。
[Modification 5]
In the above-described embodiment, the configuration including the stereo camera unit 2 as a camera for imaging the front of the vehicle is disclosed, but the present invention is not limited thereto. As shown in FIG. 12, the HUD system 100 may be configured using a monocular camera 4 and a laser radar 5 instead of the stereo camera unit 2. Hereinafter, the configuration and operation of the HUD system 100 according to the fifth modification will be described using the above configuration as the fifth modification.
単眼カメラ4は、フルカラーカメラであって、例えばCCDカメラ等を採用することができる。単眼カメラ4は、前述の実施形態におけるステレオカメラユニット2と同様に、インストゥルメントパネル40上面部分の運転席側の端部に配置されている。単眼カメラ4が撮像した画像のデータは逐次、HUD制御部13に提供される。 The monocular camera 4 is a full-color camera, and for example, a CCD camera can be adopted. The monocular camera 4 is disposed at the driver seat side end of the upper surface portion of the instrument panel 40, similarly to the stereo camera unit 2 in the above-described embodiment. The image data captured by the monocular camera 4 is sequentially provided to the HUD control unit 13.
レーザレーダ5は、レーザ光を車両前方の所定範囲に向けて照射することで、車両の前方に存在する物体との距離や方向(つまり相対位置)を検出する装置である。また、レーザレーダ5は検出物の形状から、検出物の特定等を実施する。レーザレーダ5は、車両前方に存在するオブジェクトの相対位置や輪郭形状を三次元座標系で表したデータをHUD制御部13に逐次(例えば100ミリ秒毎に)提供する。 The laser radar 5 is a device that detects a distance and direction (that is, a relative position) from an object existing in front of the vehicle by irradiating laser light toward a predetermined range in front of the vehicle. Further, the laser radar 5 identifies the detected object from the shape of the detected object. The laser radar 5 sequentially provides the HUD control unit 13 with data representing the relative position and contour shape of an object existing in front of the vehicle in a three-dimensional coordinate system (for example, every 100 milliseconds).
変形例5におけるドライバ視点画像生成部F4は、周知のセンサフュージョン技術によって、単眼カメラ4が撮像した画像に含まれているオブジェクトと、レーザレーダ5によって検出されているオブジェクトとの対応関係を特定する。これにより、単眼カメラ4で撮像されているオブジェクトの3次元空間内での座標を特定する。そして、それらのオブジェクトの座標を基点として、単眼のカラーカメラがドライバの目の位置に存在すると仮定した画像(つまりドライバ視点画像)を生成する。 The driver viewpoint image generation unit F4 in the modification 5 identifies the correspondence between the object included in the image captured by the monocular camera 4 and the object detected by the laser radar 5 using a known sensor fusion technique. . Thereby, the coordinates in the three-dimensional space of the object imaged by the monocular camera 4 are specified. Then, an image (that is, a driver viewpoint image) is generated on the assumption that a monocular color camera is present at the position of the driver's eye, using the coordinates of these objects as a base point.
つまり、ステレオカメラユニット2の代わりに単眼カメラ4を備える場合であっても、レーザレーダ5の検出結果から、単眼カメラ4が撮像しているオブジェクトの三次元空間内での位置を特定することにより、ドライバ視点画像を生成できる。ドライバ視点画像を生成してからの作動は前述の実施形態や種々の変形例を適用できるため、説明は省略する。 That is, even when the monocular camera 4 is provided instead of the stereo camera unit 2, the position of the object being imaged by the monocular camera 4 in the three-dimensional space is specified from the detection result of the laser radar 5. A driver viewpoint image can be generated. Since the operation after the generation of the driver viewpoint image can be applied to the above-described embodiment and various modifications, a description thereof will be omitted.
なお、レーザレーダ5の代わりに、ミリ波レーダ等を用いてもよい。単眼カメラ4が撮像しているオブジェクトの位置や、オブジェクトの輪郭形状を示す情報を取得できるデバイスであればよい。 In place of the laser radar 5, a millimeter wave radar or the like may be used. Any device that can acquire information indicating the position of the object captured by the monocular camera 4 and the contour shape of the object may be used.
[変形例6]
上述した実施形態では、ステレオカメラユニット2をインストゥルメントパネル40上面部分に配置する態様を開示したがこれに限らない。ステレオカメラユニット2は図13に示すように、ルームミラーや、ウインドシールド10の上端に配置されていても良い。以下、そのような構成を変形例6として、変形例6におけるHUDシステム100(特にHUD制御部13)の構成及び作動について説明する。
[Modification 6]
In the above-described embodiment, the aspect in which the stereo camera unit 2 is disposed on the upper surface portion of the instrument panel 40 is disclosed, but the present invention is not limited thereto. As shown in FIG. 13, the stereo camera unit 2 may be arranged at the upper end of a rearview mirror or the windshield 10. Hereinafter, the configuration and operation of the HUD system 100 (particularly, the HUD control unit 13) in the modification 6 will be described with such a configuration as the modification 6.
変形例6におけるHUD制御部13は、図14に示すように、実施形態で開示した種々の構成に加えて、HUD表示座標記憶部M3を備える。HUD表示座標記憶部M3は、ドライバにとってHUD画像20が存在するように見える三次元空間内の位置を示す座標(以降、HUD表示座標)が登録されている記憶媒体である。HUD表示座標記憶部M3は、例えばフラッシュメモリ134が備える記憶領域の一部を用いて実現されれば良い。HUD表示座標は設計上の値等が登録されていれば良い。 As shown in FIG. 14, the HUD control unit 13 in Modification 6 includes a HUD display coordinate storage unit M3 in addition to the various configurations disclosed in the embodiment. The HUD display coordinate storage unit M3 is a storage medium in which coordinates indicating the position in the three-dimensional space where the HUD image 20 appears to the driver (hereinafter referred to as HUD display coordinates) are registered. The HUD display coordinate storage unit M3 may be realized by using a part of the storage area provided in the flash memory 134, for example. The design value etc. should just register the HUD display coordinate.
また、変形例6におけるドライバ視点画像生成部F4は、上述の実施形態と同様の方法によって、ステレオカメラユニット2の撮像画像に基づいて、HUD画像20を含まないドライバ視点の画像(以降、HUD非表示画像)を生成する。次に、表示制御部F6から現在の出力している表示用画像を取得する。そして、HUD非表示画像において、表示用画像がHUD表示座標に存在するように合成した画像を、ドライバ視点画像として生成する。 In addition, the driver viewpoint image generation unit F4 according to the modified example 6 uses a method similar to that of the above-described embodiment, based on the captured image of the stereo camera unit 2, a driver viewpoint image that does not include the HUD image 20 (hereinafter referred to as HUD non-display). Display image). Next, the currently output display image is acquired from the display control unit F6. Then, in the HUD non-display image, an image synthesized so that the display image exists at the HUD display coordinates is generated as a driver viewpoint image.
このような構成によっても上述した実施形態等と同様の効果を奏する。なお、この変形例6の構成は、変形例5で開示した単眼カメラ4を用いる構成と適宜組み合わせて実施することができる。 Even with such a configuration, the same effects as those of the above-described embodiment and the like can be obtained. The configuration of Modification 6 can be implemented in combination with the configuration using the monocular camera 4 disclosed in Modification 5 as appropriate.
[変形例7]
車両前方を撮像するカメラは、ドライバの顔部に装着されていてもよい。例えばHUDシステム100は、図15及び図16に示すように、カメラ61と近距離通信部62を備えた、ドライバの顔部に装着される眼鏡型のデバイス(以降、眼鏡型デバイス)6を用いて実現されていても良い。以下、そのような構成を変形例7として、変形例7におけるHUDシステム100(特にHUD制御部13)の構成及び作動について説明する。
[Modification 7]
A camera that images the front of the vehicle may be attached to the driver's face. For example, as shown in FIGS. 15 and 16, the HUD system 100 uses a spectacle-type device 6 (hereinafter referred to as a spectacle-type device) 6 that is equipped with a camera 61 and a short-range communication unit 62 and that is worn on the face of the driver. It may be realized. Hereinafter, the configuration and operation of the HUD system 100 (particularly, the HUD control unit 13) in the modified example 7 will be described using such a configuration as the modified example 7.
変形例7におけるHUDシステム100は、車両に搭載されているHUDユニット1、車速センサ3、及び近距離通信部7を備える車載システムと、ドライバによって装着される眼鏡型デバイス6と、を備える。車載システムが備える近距離通信部7は、通信可能範囲が最大でも数十メートル程度である所定の近距離無線通信規格に準拠した通信(以降、近距離通信)を実施するための通信モジュールである。近距離無線通信規格としては、例えばBluetooth Low Energy (Bluetoothは登録商標)や、Wi-Fi(登録商標)等を採用することができる。HUD制御部13は、近距離通信部7を介して眼鏡型デバイス6と無線通信を実施する。 The HUD system 100 according to the modified example 7 includes an in-vehicle system including a HUD unit 1, a vehicle speed sensor 3, and a short-range communication unit 7 that are mounted on a vehicle, and a glasses-type device 6 that is mounted by a driver. The short-range communication unit 7 included in the in-vehicle system is a communication module for performing communication (hereinafter, short-range communication) compliant with a predetermined short-range wireless communication standard having a communicable range of about several tens of meters at the maximum. . As the short-range wireless communication standard, for example, Bluetooth Low Energy (Bluetooth is a registered trademark), Wi-Fi (registered trademark), or the like can be adopted. The HUD control unit 13 performs wireless communication with the glasses-type device 6 via the short-range communication unit 7.
眼鏡型デバイス6は、カメラ61と近距離通信部62とを備える。カメラ61は、ドライバに装着されている状態において、ドライバの顔が向けられている方向を撮像するカラーカメラである。近距離通信部62は、上述した近距離通信を実施するための通信モジュールである。近距離通信部62は、近距離通信部7との通信接続が確立している場合、カメラ61が撮像した画像を近距離通信によってHUD制御部13に逐次送信する。眼鏡型デバイス6が請求項に記載のウェアラブルデバイスに相当する。 The eyeglass-type device 6 includes a camera 61 and a short-range communication unit 62. The camera 61 is a color camera that captures an image of a direction in which the driver's face is directed in a state where the camera 61 is attached to the driver. The near field communication unit 62 is a communication module for performing the above-described near field communication. When the communication connection with the short-range communication unit 7 is established, the short-range communication unit 62 sequentially transmits an image captured by the camera 61 to the HUD control unit 13 by short-range communication. The eyeglass device 6 corresponds to the wearable device described in the claims.
変形例7におけるHUD制御部13は、眼鏡型デバイス6から送信されてくる画像データを逐次取得し、これをドライバ視点画像として用いて視認性指標値を算出する。このような構成によっても上述した実施形態と同様の効果を奏する。 The HUD control unit 13 in the modified example 7 sequentially acquires image data transmitted from the eyeglass-type device 6, and uses this as a driver viewpoint image to calculate a visibility index value. Even with such a configuration, the same effects as those of the above-described embodiment can be obtained.
この変形例7の構成においては、カメラ61が撮像した画像がドライバ視点画像として機能しうるため、カメラ画像取得部F3が請求項に記載のドライバ視点画像取得部に相当する。そのため、HUD制御部13の機能として、図4に示すドライバ視点画像生成部F4やカメラパラメータ記憶部M1は省略することができる。ただし、ドライバが常に車両前方に顔を向けているとは限らないため、カメラ61が撮像した画像が常にドライバ視点画像として機能するとは限らない。この変形例7におけるカメラ画像取得部F3は、眼鏡型デバイス6から取得した画像を解析し、HUD画像20が写っている画像のみをドライバ視点画像として採用するものとする。 In the configuration of the modified example 7, since an image captured by the camera 61 can function as a driver viewpoint image, the camera image acquisition unit F3 corresponds to the driver viewpoint image acquisition unit described in the claims. Therefore, as a function of the HUD control unit 13, the driver viewpoint image generation unit F4 and the camera parameter storage unit M1 illustrated in FIG. 4 can be omitted. However, since the driver does not always face the front of the vehicle, the image captured by the camera 61 does not always function as a driver viewpoint image. The camera image acquisition unit F3 in the modified example 7 analyzes an image acquired from the glasses-type device 6 and adopts only an image in which the HUD image 20 is captured as a driver viewpoint image.
なお、以上では車両前方を撮像するカメラとして眼鏡型デバイス6が備えるカメラ61を利用する構成を開示したが、これに限らない。カメラはバンド等でドライバの額に取り付けられていてもよい。また、頭部に装着されるヘッドセットと一体化されたカメラや、片耳に装着されるウェアラブルカメラといった、眼鏡型以外の方式のウェアラブルカメラを用いてもよい。 In addition, although the structure which utilizes the camera 61 with which the spectacles type device 6 is provided as a camera which images the vehicle front above was disclosed, it is not restricted to this. The camera may be attached to the driver's forehead with a band or the like. Further, a wearable camera of a system other than the glasses type, such as a camera integrated with a headset worn on the head or a wearable camera worn on one ear, may be used.
100 HUDシステム(ヘッドアップディスプレイシステム)、1 HUDユニット、2 ステレオカメラユニット、4 単眼カメラ、6 眼鏡型デバイス(ウェアラブルデバイス)、12 表示器、13 HUD制御部、20 HUD画像、40 インストゥルメントパネル、61 カメラ、F1 車速取得部、F2 ベース画像生成部、F3 カメラ画像取得部、F4 ドライバ視点画像生成部、F5 視認性評価部、F6 表示制御部、F61 色合い調整部(表示態様調整部)、M1 カメラパラメータ記憶部、M2 適正範囲記憶部、M3 HUD表示座標記憶部、S32 対象領域抽出部、S33 顕著度算出部、S34 HUD画像顕著度算出部、S35 背景領域顕著度算出部 100 HUD system (head-up display system), 1 HUD unit, 2 stereo camera unit, 4 monocular camera, 6 glasses-type device (wearable device), 12 display, 13 HUD control unit, 20 HUD image, 40 instrument panel 61 camera, F1 vehicle speed acquisition unit, F2 base image generation unit, F3 camera image acquisition unit, F4 driver viewpoint image generation unit, F5 visibility evaluation unit, F6 display control unit, F61 hue adjustment unit (display mode adjustment unit), M1 camera parameter storage unit, M2 appropriate range storage unit, M3 HUD display coordinate storage unit, S32 target region extraction unit, S33 saliency calculation unit, S34 HUD image saliency calculation unit, S35 background region saliency calculation unit
Claims (7)
前記表示器が前記照射領域に前記表示光を照射することによって表示される前記虚像としての画像であるHUD画像の表示態様を調整する表示態様調整部(F61)と、
車両前方を撮像するカメラが撮像した画像データに基づいて、運転席に着座している乗員であるドライバの視点から車両前方を見た時の画像であって、前記HUD画像を含む画像であるドライバ視点画像を取得するドライバ視点画像取得部(F4、F3)と、
前記ドライバ視点画像取得部が取得した前記ドライバ視点画像を解析することによって、前記ドライバ視点画像における前記HUD画像の見やすさを示す視認性指標値を逐次算出する視認性評価部(F5)と、
前記視認性評価部によって算出される前記視認性指標値の適正範囲を示すデータが登録されている適正範囲記憶部(M2)と、備え、
前記表示態様調整部は、前記視認性評価部が算出する前記視認性指標値が、前記適正範囲内の値となるように、前記HUD画像の表示態様を調整することを特徴とするヘッドアップディスプレイシステム。 A display (12) for irradiating display light for displaying an image as a virtual image on a predetermined irradiation area of a windshield disposed on the front side of the vehicle;
A display mode adjustment unit (F61) that adjusts a display mode of a HUD image that is an image as the virtual image displayed when the display unit irradiates the display area with the display light;
Based on image data captured by a camera that images the front of the vehicle, the driver is an image when the vehicle is viewed from the viewpoint of a driver who is a passenger seated in the driver's seat and includes the HUD image. A driver viewpoint image acquisition unit (F4, F3) for acquiring viewpoint images;
A visibility evaluation unit (F5) that sequentially calculates a visibility index value indicating the visibility of the HUD image in the driver viewpoint image by analyzing the driver viewpoint image acquired by the driver viewpoint image acquisition unit;
An appropriate range storage unit (M2) in which data indicating an appropriate range of the visibility index value calculated by the visibility evaluation unit is registered;
The display mode adjustment unit adjusts the display mode of the HUD image so that the visibility index value calculated by the visibility evaluation unit is a value within the appropriate range. system.
前記表示態様調整部は、前記HUD画像の輝度及び表示色の少なくとも何れか一方を変更することで、前記視認性指標値を前記適正範囲内におさめることを特徴とするヘッドアップディスプレイシステム。 In claim 1,
The head-up display system, wherein the display mode adjusting unit changes the visibility index value within the appropriate range by changing at least one of luminance and display color of the HUD image.
前記視認性評価部は、
前記ドライバ視点画像において前記HUD画像を含む所定範囲を演算対象領域として抽出する対象領域抽出部(S32)と、
前記演算対象領域を構成するピクセル毎に、当該演算対象領域における視覚的顕著性の度合いを示す顕著度を算出する顕著度算出部(S33)と、
前記演算対象領域において前記HUD画像に対応する部分であるHUD画像領域を構成するピクセル毎の前記顕著度に基づいて、前記HUD画像の視覚的顕著性を示すHUD画像顕著度を算出するHUD画像顕著度算出部(S34)と、
前記演算対象領域において前記HUD画像領域以外の部分である背景領域を構成するピクセル毎の前記顕著度に基づいて、前記背景領域の視覚的顕著性を示す背景領域顕著度を算出する背景領域顕著度算出部(S35)と、を備え、
前記HUD画像顕著度算出部が算出した前記HUD画像顕著度から、前記背景領域顕著度算出部が算出した前記背景領域顕著度を減算した値を前記視認性指標値として採用することを特徴とするヘッドアップディスプレイシステム。 In claim 1 or 2,
The visibility evaluation unit
A target area extraction unit (S32) that extracts a predetermined range including the HUD image in the driver viewpoint image as a calculation target area;
A saliency calculating unit (S33) that calculates a saliency indicating a degree of visual saliency in the calculation target area for each pixel constituting the calculation target area;
A HUD image saliency that calculates a HUD image saliency indicating the visual saliency of the HUD image based on the saliency of each pixel constituting the HUD image region that is a portion corresponding to the HUD image in the calculation target region. Degree calculation unit (S34);
Background area saliency that calculates a background area saliency that indicates the visual saliency of the background area based on the saliency for each pixel that forms a background area that is a part other than the HUD image area in the calculation target area A calculation unit (S35),
A value obtained by subtracting the background region saliency calculated by the background region saliency calculation unit from the HUD image saliency calculated by the HUD image saliency calculation unit is adopted as the visibility index value. Head-up display system.
前記車両の走行速度を検出する車速センサから、前記走行速度を示す情報を逐次取得する車速取得部(F1)を備え、
前記視認性評価部は、前記車速取得部が取得している現在の前記走行速度が大きいほど前記演算対象領域を小さく設定することを特徴とするヘッドアップディスプレイシステム。 In claim 3,
A vehicle speed acquisition unit (F1) that sequentially acquires information indicating the travel speed from a vehicle speed sensor that detects the travel speed of the vehicle;
The head-up display system, wherein the visibility evaluation unit sets the calculation target region to be smaller as the current traveling speed acquired by the vehicle speed acquisition unit is higher.
前記表示態様調整部は、
前記背景領域を構成する全てのピクセルを母集団として定まる前記背景領域の色分布に基づいて、前記背景領域を構成するピクセルの中で最も多い色相を、前記背景領域の色合いを表す背景代表色として特定し、
前記背景代表色と色相環において反対に位置する色相である色を背景反対色に設定し、
前記視認性指標値が前記適正範囲内の値となるまで、前記HUD画像の色合いを段階的に前記背景反対色に近づけていくことを特徴とするヘッドアップディスプレイシステム。 In claim 3 or 4,
The display mode adjustment unit
Based on the color distribution of the background area, which is determined by setting all pixels constituting the background area as a population, the most common hue among the pixels constituting the background area is used as the background representative color representing the hue of the background area. Identify,
Set the color that is the hue located opposite to the background representative color and the hue ring to the background opposite color,
A head-up display system, wherein the hue of the HUD image is gradually brought close to the opposite color of the background until the visibility index value becomes a value within the appropriate range.
前記ドライバの顔部又は頭部に装着されるデバイスであって、所定の近距離無線通信規格に準拠した無線通信を実施する機能と、前記ドライバの顔部が向いている方向を撮像するカメラであるウェアラブルカメラと、を備えるウェアラブルデバイス(6)と、
前記ウェアラブルデバイスと前記近距離無線通信規格に準拠した無線通信を実施するための通信モジュールである近距離通信部(7)と、を備え、
前記ウェアラブルデバイスは、前記近距離通信部との通信接続が確立されている場合には、前記ウェアラブルカメラが撮像した画像を前記近距離通信部に対して送信し、
前記ドライバ視点画像取得部は、前記近距離通信部を介して、前記ウェアラブルカメラが撮像した画像を前記ドライバ視点画像として取得することを特徴とするヘッドアップディスプレイシステム。 In any one of Claim 1 to 5,
A device that is mounted on the driver's face or head, a function that performs wireless communication in accordance with a predetermined short-range wireless communication standard, and a camera that captures the direction in which the driver's face is facing A wearable device (6) comprising a wearable camera;
A short-range communication unit (7) that is a communication module for performing wireless communication in conformity with the wearable device and the short-range wireless communication standard,
The wearable device transmits an image captured by the wearable camera to the short-range communication unit when a communication connection with the short-range communication unit is established,
The driver viewpoint image acquisition unit acquires an image captured by the wearable camera as the driver viewpoint image via the short-range communication unit.
前記カメラは、前記車両のインストゥルメントパネルの上面において前記照射領域を撮像範囲に含むように配置されているステレオカメラであって、
前記車両において前記ステレオカメラが搭載されている位置及び搭載姿勢を示すデータをカメラパラメータとして記憶しているカメラパラメータ記憶部(M1)を備え、
前記カメラパラメータ記憶部には、車室内において前記ドライバの目が存在すると想定される位置を示す視点座標データが登録されており、
前記ドライバ視点画像取得部は、
前記ステレオカメラの撮像画像と、前記カメラパラメータ記憶部が記憶している前記カメラパラメータと、前記視点座標データと、に基づいて、前記ドライバ視点画像を生成することを特徴とするヘッドアップディスプレイシステム。 In any one of Claim 1 to 5,
The camera is a stereo camera arranged to include the irradiation area in an imaging range on an upper surface of an instrument panel of the vehicle,
A camera parameter storage unit (M1) for storing data indicating the position and mounting posture of the stereo camera in the vehicle as camera parameters;
In the camera parameter storage unit, viewpoint coordinate data indicating a position where the driver's eyes are assumed to be present in the passenger compartment is registered,
The driver viewpoint image acquisition unit
A head-up display system, wherein the driver viewpoint image is generated based on a captured image of the stereo camera, the camera parameter stored in the camera parameter storage unit, and the viewpoint coordinate data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016236987A JP6669053B2 (en) | 2016-12-06 | 2016-12-06 | Head-up display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016236987A JP6669053B2 (en) | 2016-12-06 | 2016-12-06 | Head-up display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018090170A true JP2018090170A (en) | 2018-06-14 |
JP6669053B2 JP6669053B2 (en) | 2020-03-18 |
Family
ID=62565041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016236987A Active JP6669053B2 (en) | 2016-12-06 | 2016-12-06 | Head-up display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6669053B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020072460A (en) * | 2018-11-02 | 2020-05-07 | 京セラ株式会社 | Communication head-up display system, communication apparatus, movable body, and program |
WO2020144974A1 (en) | 2019-01-11 | 2020-07-16 | Ricoh Company, Ltd. | Display controller, display system, mobile object, image generation method, and carrier means |
CN112384400A (en) * | 2018-07-10 | 2021-02-19 | 三菱电机株式会社 | In-vehicle display control device and in-vehicle display control program |
CN113547989A (en) * | 2020-04-24 | 2021-10-26 | 上海汽车集团股份有限公司 | Automobile and head-up display system thereof |
CN115079424A (en) * | 2022-08-23 | 2022-09-20 | 泽景(西安)汽车电子有限责任公司 | HUD image display method, device, terminal, vehicle and storage medium |
WO2022255459A1 (en) * | 2021-06-02 | 2022-12-08 | 京セラ株式会社 | Method for configuring three-dimensional image display system |
US11837183B2 (en) | 2021-10-12 | 2023-12-05 | Seiko Epson Corporation | Circuit device and head-up display device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013174667A (en) * | 2012-02-23 | 2013-09-05 | Nippon Seiki Co Ltd | Display device for vehicle |
JP2013203374A (en) * | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | Display device for vehicle, control method therefor, and program |
JP2014172406A (en) * | 2013-03-05 | 2014-09-22 | Funai Electric Co Ltd | Head-up display device, head-up display device displaying method and program of head-up display device |
JP2016070951A (en) * | 2014-09-26 | 2016-05-09 | パイオニア株式会社 | Display device, control method, program, and storage medium |
JP2016086355A (en) * | 2014-10-28 | 2016-05-19 | 株式会社デンソー | Gaze guide device |
WO2017110942A1 (en) * | 2015-12-24 | 2017-06-29 | 京セラ株式会社 | Vehicular head-up display system |
-
2016
- 2016-12-06 JP JP2016236987A patent/JP6669053B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013174667A (en) * | 2012-02-23 | 2013-09-05 | Nippon Seiki Co Ltd | Display device for vehicle |
JP2013203374A (en) * | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | Display device for vehicle, control method therefor, and program |
JP2014172406A (en) * | 2013-03-05 | 2014-09-22 | Funai Electric Co Ltd | Head-up display device, head-up display device displaying method and program of head-up display device |
JP2016070951A (en) * | 2014-09-26 | 2016-05-09 | パイオニア株式会社 | Display device, control method, program, and storage medium |
JP2016086355A (en) * | 2014-10-28 | 2016-05-19 | 株式会社デンソー | Gaze guide device |
WO2017110942A1 (en) * | 2015-12-24 | 2017-06-29 | 京セラ株式会社 | Vehicular head-up display system |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112384400A (en) * | 2018-07-10 | 2021-02-19 | 三菱电机株式会社 | In-vehicle display control device and in-vehicle display control program |
CN112384400B (en) * | 2018-07-10 | 2024-02-06 | 三菱电机株式会社 | In-vehicle display control device and computer-readable recording medium |
JP2020072460A (en) * | 2018-11-02 | 2020-05-07 | 京セラ株式会社 | Communication head-up display system, communication apparatus, movable body, and program |
WO2020090713A1 (en) * | 2018-11-02 | 2020-05-07 | 京セラ株式会社 | Communication head up display system, communication device, mobile body, and program |
JP7105174B2 (en) | 2018-11-02 | 2022-07-22 | 京セラ株式会社 | Communication heads-up display systems, communication equipment, mobile objects, and programs |
WO2020144974A1 (en) | 2019-01-11 | 2020-07-16 | Ricoh Company, Ltd. | Display controller, display system, mobile object, image generation method, and carrier means |
JP2020112698A (en) * | 2019-01-11 | 2020-07-27 | 株式会社リコー | Display control device, display unit, display system, movable body, program, and image creation method |
US11752940B2 (en) | 2019-01-11 | 2023-09-12 | Ricoh Company, Ltd. | Display controller, display system, mobile object, image generation method, and carrier means |
CN113547989A (en) * | 2020-04-24 | 2021-10-26 | 上海汽车集团股份有限公司 | Automobile and head-up display system thereof |
WO2022255459A1 (en) * | 2021-06-02 | 2022-12-08 | 京セラ株式会社 | Method for configuring three-dimensional image display system |
US11837183B2 (en) | 2021-10-12 | 2023-12-05 | Seiko Epson Corporation | Circuit device and head-up display device |
CN115079424A (en) * | 2022-08-23 | 2022-09-20 | 泽景(西安)汽车电子有限责任公司 | HUD image display method, device, terminal, vehicle and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6669053B2 (en) | 2020-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6669053B2 (en) | Head-up display system | |
CN108027511B (en) | Information display device, information providing system, moving object apparatus, information display method, and recording medium | |
US11194154B2 (en) | Onboard display control apparatus | |
CN108460734B (en) | System and method for image presentation by vehicle driver assistance module | |
US9977241B2 (en) | Head-mounted display device, control method for head-mounted display device, and computer program | |
JP2023543557A (en) | How to drive the near eye display light source | |
JP6690657B2 (en) | Image display device and image display method | |
JP6409337B2 (en) | Display device | |
JP6504431B2 (en) | IMAGE DISPLAY DEVICE, MOBILE OBJECT, IMAGE DISPLAY METHOD, AND PROGRAM | |
JP2017142491A (en) | Image display device and image display method | |
US20200285884A1 (en) | Display system and display method | |
US20190302583A1 (en) | Display system, control device, control method, non-transitory computer-readable medium, and movable object | |
JP6671942B2 (en) | Head-up display device | |
JP2021021889A (en) | Display device and method for display | |
JP6876277B2 (en) | Control device, display device, display method and program | |
WO2018003650A1 (en) | Head-up display | |
JP2016101771A (en) | Head-up display device for vehicle | |
KR20200021670A (en) | Wearable device and controlling method thereof | |
JP2014015127A (en) | Information display apparatus, information display method and program | |
CN109074685A (en) | For adjusting method, equipment, system and the computer readable storage medium of image | |
JP2019139273A (en) | Display system | |
JP2018106136A (en) | Display unit, object device, and display method | |
JP2017081428A (en) | Vehicle display device | |
JP2016130771A (en) | Display device, control method, program and storage medium | |
JP2019162932A (en) | Image display device, movable body, image display method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190422 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200123 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6669053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |