JP2019059245A - Head-up display device and display control method - Google Patents
Head-up display device and display control method Download PDFInfo
- Publication number
- JP2019059245A JP2019059245A JP2016021185A JP2016021185A JP2019059245A JP 2019059245 A JP2019059245 A JP 2019059245A JP 2016021185 A JP2016021185 A JP 2016021185A JP 2016021185 A JP2016021185 A JP 2016021185A JP 2019059245 A JP2019059245 A JP 2019059245A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- display
- vehicle
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000012545 processing Methods 0.000 claims abstract description 148
- 238000004891 communication Methods 0.000 claims description 35
- 230000000638 stimulation Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000010191 image analysis Methods 0.000 claims description 20
- 230000010365 information processing Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000000763 evoking effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 57
- 238000001514 detection method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 31
- 238000013459 approach Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 230000036632 reaction speed Effects 0.000 description 11
- 206010041349 Somnolence Diseases 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000035484 reaction time Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000036626 alertness Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
Description
本発明は、ヘッドアップディスプレイ装置及びその表示制御方法に関する。 The present invention relates to a head-up display device and a display control method thereof.
ヘッドアップディスプレイ装置に関する技術として、特許文献１には「車両情報表示制御装置は、車両の運転者の視野に情報を表示するヘッドアップディスプレイ(ＨＵＤ)を制御する。情報表示判断部は、車両の状況に関する情報を取得し、取得した情報に基づいて、ＨＵＤで表示すべき情報を判断する。車両情報表示制御装置は、車両の前方を撮影した画像を取得する画像処理部と、運転者の視線の方向を検出する視線方向検出部と、車両の前方の画像および運転者の視線の方向に基づいて、運転者の視野に対応する画像である仮想視野画像を構築する仮想視野構築部と、仮想視野画像および車両の状況に基づいて、ＨＵＤで表示する情報のレイアウトを決定する（要約抜粋）」構成が開示されている。 As a technology relating to the head-up display device, in Patent Document 1, “The vehicle information display control device controls a head-up display (HUD) that displays information in the field of view of the driver of the vehicle. The information on the situation is acquired, and the information to be displayed on the HUD is determined based on the acquired information.The vehicle information display control device acquires an image of the front of the vehicle and an image processing unit, and the driver's gaze A virtual visual field construction unit for constructing a virtual visual field image, which is an image corresponding to the visual field of the driver, based on the visual line direction detection unit for detecting the direction of the vehicle; "Determining the layout of information to be displayed in HUD based on the view image and the situation of the vehicle (abstract extract)" is disclosed.
また特許文献２には「車速を検出する車速センサと、この車速センサにより検出された車速が大きいほど、表示画像の表示位置を運転者の有効視野の中心側に移動させる制御部とを備えている（要約抜粋）」と記載されている。 Further, Patent Document 2 “includes a vehicle speed sensor for detecting a vehicle speed, and a control unit for moving the display position of the display image to the center side of the driver's effective visual field as the vehicle speed detected by the vehicle speed sensor is larger. (Abstract excerpt).
更に特許文献３には「表示部と、車両状態検知部と、運転者状態検知部と、車両の状態情報と運転者の状態情報とに基づいて、運転者の覚醒度を判定する覚醒度判定部とを備えた車両用表示装置であって、覚醒度判定部の判定に基づいて、表示部の表示を変更する表示変更部を備える事により、表示部を覚醒度判定部が判定した覚醒度に応じて変化させる事が出来るので、運転者は最適な覚醒度で運転作業を行う事が可能になる（要約抜粋）」と記載されている。 Further, in Patent Document 3, the awakening degree determination is performed to determine the driver's awakening degree based on the “display unit, the vehicle state detection unit, the driver state detection unit, the vehicle state information, and the driver's state information A display unit for a vehicle including: a display unit configured to change the display of the display unit based on the determination of the awakening level determination unit, whereby the awakening degree determination unit determines the display unit; Therefore, the driver can carry out the driving operation with the optimal awakening degree (abstract extract).
ヘッドアップディスプレイ装置が表示する画像（映像）の視認性を向上させることは、運転の安全性を向上させるためにも有用である。この点で、特許文献１では運転者に視線方向に合わせてレイアウトを変更し、特許文献２では車速に応じて表示位置を変えることで視認性の向上を図っているものの、個々の運転者の属性、例えば高齢者は若年者に比べて視野が狭くなるといった運転者の属性を考慮した表示制御はされていない。 It is also useful to improve the safety of driving by improving the visibility of an image (video) displayed by the head-up display device. In this respect, although the layout is changed according to the driver's gaze direction in Patent Document 1 and the visibility is improved by changing the display position according to the vehicle speed in Patent Document 2, the individual driver's There is no display control taking into account attributes, for example, driver's attributes such as elderly people having narrower vision than young people.
また、特許文献３では運転者の覚醒度に応じた表示制御を行っているが、そもそも覚醒度が低下した状態では注意喚起の表示すら見落としてしまう可能性があることが懸念される。このようにヘッドアップディスプレイ装置の表示技術には更なる工夫の余地が残されているのが実情である。 Moreover, although the display control according to the driver's awakening degree is performed in Patent Document 3, there is a concern that even in the state where the awakening degree is lowered, even the alerting display may be overlooked. As described above, there is still room for further improvements in the display technology of the head-up display device.
本発明は上記実情に鑑みてなされたものであり、運転者の属性に応じた表示を行うことで、ヘッドアップディスプレイ装置の好適表示が行える技術を提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and an object thereof is to provide a technology capable of performing preferable display of a head-up display device by performing display according to the driver's attribute.
上記した課題を解決するために、例えば本発明は、車両の運転者の前方に配置された被投影部材に映像光を投射して虚像を表示するヘッドアップディスプレイ装置であって、前記運転者の属性情報を取得する属性情報取得部と、前記属性情報に基づいて、運転者ごとに表示内容及び表示位置の少なくとも一つを決定する映像処理部と、を備えることを特徴とする。 In order to solve the above-described problems, for example, the present invention is a head-up display device that projects video light on a projection target member disposed in front of a driver of a vehicle to display a virtual image, It is characterized by comprising: an attribute information acquisition unit that acquires attribute information; and a video processing unit that determines at least one of display content and a display position for each driver based on the attribute information.
本発明によれば、運転者の属性に応じた表示を行うことで、ヘッドアップディスプレイ装置の好適表示が行える技術を提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 ADVANTAGE OF THE INVENTION According to this invention, the technique according to a driver | operator's attribute can provide the technique which can perform the suitable display of a head-up display apparatus. In addition, the subject except having mentioned above, a structure, and an effect are clarified by description of the following embodiment.
以下の実施の形態においては、便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明する。以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。なお、以下の実施の形態において、その構成要素（処理ステップ等も含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須ではない。 In the following embodiment, when it is necessary for convenience, it is divided into a plurality of sections or embodiments. In the following embodiments, when referring to the number of elements, etc. (including the number, numerical value, amount, range, etc.), unless explicitly stated otherwise or in principle when clearly limited to a specific number, etc. It is not limited to the specific number, and may be more or less than the specific number. In the following embodiments, the constituent elements (including processing steps and the like) are not necessarily essential unless otherwise specified or if it is considered to be obviously essential in principle.
また、以下の実施の形態における各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路その他のハードウェアとして実現しても良い。また、後述する各構成、機能、処理部、処理手段等は、コンピュータ上で実行されるプログラムとして実現しても良い。すなわち、ソフトウェアとして実現しても良い。各構成、機能、処理部、処理手段等を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記憶媒体に格納することができる。 In addition, each configuration, function, processing unit, processing means, and the like in the following embodiments may realize part or all of them as, for example, an integrated circuit or other hardware. Further, each configuration, function, processing unit, processing unit, and the like described later may be realized as a program executed on a computer. That is, it may be realized as software. Programs, tables, files, and other information for realizing each configuration, function, processing unit, processing means, etc., memory, hard disk, storage device such as SSD (Solid State Drive), IC card, SD card, storage medium such as DVD, etc. Can be stored in
図１から図４を用いて、ヘッドアップディスプレイ装置の基本構成について説明する。図１は、ヘッドアップディスプレイ装置の概略構成図である。図２は、ヘッドアップディスプレイ装置を搭載する自動車の概略構成図である。図３は、ヘッドアップディスプレイ装置のハードウェア構成図である。図４はヘッドアップディスプレイ装置の機能ブロック図である。 The basic configuration of the head-up display device will be described using FIGS. 1 to 4. FIG. 1 is a schematic block diagram of a head-up display device. FIG. 2 is a schematic block diagram of a car equipped with a head-up display device. FIG. 3 is a hardware block diagram of the head-up display device. FIG. 4 is a functional block diagram of the head-up display device.
図１に示すように、自動車１０はハンドル１２、ハンドル１２の前面のダッシュボード１４、ウィンドシールドガラス（フロントガラス１６）を備え、ダッシュボード１４内に運転者に虚像１８を視認させるヘッドアップディスプレイ装置（Head Up Display：以下「ＨＵＤ」と略記する）１００を収容する。 As shown in FIG. 1, a car 10 includes a steering wheel 12, a dashboard 14 in front of the steering wheel 12, and a windshield glass (front glass 16) to make the virtual image 18 visible to the driver in the dashboard 14. (Head Up Display: hereinafter abbreviated as “HUD”) 100 is accommodated.
ＨＵＤ１００は、画像情報を形成する映像処理装置１１０及びスクリーン板（拡散板）や接眼光学系を含む投影光学系１３０を備える。この映像処理装置１１０及び投影光学系１３０がダッシュボード１４内に収容され、投影光学系１３０から出射された映像光をミラー６ａ、６ｂでフロントガラス１６に向かって反射する。従って、フロントガラス１６は被投影部材に相当する。フロントガラス１６から反射された映像光は、運転者の眼に入射する。本実施形態では、フロントガラス１６に映像光を反射させるＨＵＤ１００を例に説明するが、コンバイナタイプのＨＵＤでも以下で説明するＨＵＤ表示の好適化処理を適用することができる。なお、ミラー６ｂは支持部材６によって支持されており、後述するように支持部材６によってミラー６ｂの角度が調整できる。 The HUD 100 includes an image processing apparatus 110 for forming image information, and a projection optical system 130 including a screen plate (diffuser plate) and an eyepiece optical system. The image processing apparatus 110 and the projection optical system 130 are accommodated in the dashboard 14, and the image light emitted from the projection optical system 130 is reflected by the mirrors 6a and 6b toward the windshield 16. Accordingly, the windshield 16 corresponds to a projection target member. The image light reflected from the windshield 16 enters the driver's eye. In the present embodiment, the HUD 100 in which the image light is reflected on the windshield 16 is described as an example, but the optimization processing of HUD display described below can be applied to a combiner type HUD. The mirror 6 b is supported by the support member 6, and the angle of the mirror 6 b can be adjusted by the support member 6 as described later.
投影光学系１３０では、バックライト１から表示素子２に照射された光束が、表示素子２に表示された映像情報を含んだ映像光束として、リレー光学系３に入射する。リレー光学系３での結像作用により、表示素子２上の映像情報は拡大されスクリーン板４上に拡大投写される。 In the projection optical system 130, the light beam emitted from the backlight 1 to the display element 2 is incident on the relay optical system 3 as an image light beam containing image information displayed on the display element 2. The image information on the display element 2 is enlarged and projected on the screen plate 4 by the image forming action of the relay optical system 3.
次に、スクリーン板（拡散板）４上の画像情報は、接眼光学系５を通ってミラー６ａ、６ｂで反射される。そしてフロントガラス１６に投射され、フロントガラス１６で反射した光束が運転者の眼に到達する。これにより運転者は虚像１８を見ることができる。 Next, the image information on the screen plate (diffuser plate) 4 passes through the eyepiece optical system 5 and is reflected by the mirrors 6a and 6b. Then, the light beam projected onto the windshield 16 and reflected by the windshield 16 reaches the driver's eye. This allows the driver to see the virtual image 18.
運転中には、前走車の確認（ブレーキランプや右折・左折ランプの点灯）や、その手前の道路の路面の確認（落下物の有無など）や、さらに手前で道路の端の自転車・歩行者の確認などを行っている。また、運転者はスピードメータや燃料計などの情報も確認する。そこで、ＨＵＤ１００を自動車１０に装備し、ＨＵＤ１００に各種計器類の車両情報や、運転者への注意を喚起するための情報、またカーナビゲーション装置からのナビゲーション情報を虚像として運転者の前方に表示することにより、運転中における運転者の視線方向の移動を小さくでき、かつ眼のピント合わせに要する時間を短縮することができ、運転の安全性の向上が期待できる。 During driving, check on the vehicle in front (the brake lamp and turn on the right and left lights are lit), check the road surface on the road in front of it (such as the presence or absence of falling objects), and bicycle and walk on the edge of the road in front of it Confirmation of the person. In addition, the driver also checks information such as speedometers and fuel gauges. Therefore, the HUD 100 is mounted on the automobile 10, and vehicle information of various instruments, information for calling attention to the driver, and navigation information from the car navigation device are displayed in front of the driver as a virtual image on the HUD 100. As a result, the movement of the driver in the direction of the line of sight during driving can be reduced, and the time required for focusing the eyes can be shortened, and improvement in driving safety can be expected.
図２に示すように、自動車１０には自動車１０の車体制御を行うＥＣＵ（Engine Control Unit）２０、車両情報取得部３０、センシングカメラ６０、ナビゲーション装置７０、及び通信装置８０が搭載され、各々が車載ネットワーク５０に接続される。車載ネットワーク５０は、ＣＡＮ(Controller Area Network)でもよいし、無線通信網でもよい。 As shown in FIG. 2, the automobile 10 is equipped with an ECU (Engine Control Unit) 20 for controlling the vehicle body of the automobile 10, a vehicle information acquisition unit 30, a sensing camera 60, a navigation device 70, and a communication device 80. It is connected to the in-vehicle network 50. The in-vehicle network 50 may be a controller area network (CAN) or a wireless communication network.
また外界認識センサ９０としてミリ波レーダ９２や赤外線センサ９４を備えてもよい。ミリ波レーダ９２は耐候性が比較的高いのでセンシングカメラ６０による検知結果にミリ波レーダ９２の検知結果（相対距離、相対角度、相対速度の検知）を加えて障害物検出処理（衝突判定処理を含む）を行ってもよい。また赤外線センサ９４は外光量が少ない状況、例えば夜間走行時にセンシングカメラ６０による検知結果と合わせて障害物検出処理を行ってもよい。これらミリ波レーダ９２及び赤外線センサ９４も車載ネットワーク５０に接続される。外界認識センサ９０は上記例に限定されない。 In addition, a millimeter wave radar 92 or an infrared sensor 94 may be provided as the external world recognition sensor 90. Since the millimeter wave radar 92 has relatively high weather resistance, the detection result of the millimeter wave radar 92 (detection of relative distance, relative angle, relative velocity) is added to the detection result of the sensing camera 60 to detect obstacles (collision judgment processing) May be included. Further, the infrared sensor 94 may perform an obstacle detection process in combination with the detection result by the sensing camera 60 when the external light amount is small, for example, at night. The millimeter wave radar 92 and the infrared sensor 94 are also connected to the in-vehicle network 50. The external world recognition sensor 90 is not limited to the above example.
車両情報取得部３０は、各種車両情報を検知するセンサ群により構成される。具体的には、方向指示器の操作信号（ターンシグナル信号）を出力する方向指示器センサ３１、ハンドル１２の回転角度を検知して操舵角情報を出力するハンドル操舵角センサ３２、ギア情報を出力するシフトポジションセンサ３３、自動車１０の車輪の回転数を検知して速度情報を出力する車速センサ３４、アクセルペダルの踏込量を検出してアクセル操作情報を出力するアクセル操作センサ３５、ブレーキペダルの踏込量及びパーキングブレーキの操作の有無を検出してブレーキ操作情報を検出するブレーキ操作センサ３６、外光量を検知して照度情報を出力する照度センサ３７、外光を検知してその色度情報を出力する色度センサ３８、イグニンションキーの操作を検知してエンジンＯＮ／ＯＦＦ情報を検出するエンジン始動センサ３９、ハザードランプスイッチの操作の有無を検知してハザード信号を出力するハザードランプセンサ４０、ヘッドライトの点灯状態を検知しヘッドライト点灯情報を出力するヘッドライトセンサ４１、及びヘッドライトのハイ／ローの切り替えを検知するハイ／ローセンサ４２を含む。上記センサは一例であり、別種のセンサを備えてもよい。 The vehicle information acquisition unit 30 is configured of a sensor group that detects various vehicle information. Specifically, a direction indicator sensor 31 that outputs an operation signal (turn signal signal) of a direction indicator, a steering wheel angle sensor 32 that outputs steering angle information by detecting a rotation angle of the steering wheel 12, and gear information Shift position sensor 33, vehicle speed sensor 34 for detecting speed of rotation by detecting the number of rotations of wheels of the automobile 10, accelerator operation sensor 35 for detecting accelerator depression amount and outputting accelerator operation information, depression of brake pedal A brake operation sensor 36 that detects the amount and presence / absence of a parking brake operation to detect brake operation information, an illuminance sensor 37 that detects an external light amount and outputs illuminance information, detects an external light, and outputs its chromaticity information Color sensor 38, and an engine start sensor 3 that detects operation of the ignition key to detect engine ON / OFF information Hazard lamp sensor 40 which detects the presence or absence of operation of the hazard lamp switch and outputs a hazard signal, headlight sensor 41 which detects the lighting state of the headlights and outputs headlight lighting information, and headlights of high / low It includes a high / low sensor 42 that detects switching. The above sensor is an example, and may include another type of sensor.
センシングカメラ６０には、カメラ６２、及びカメラ６２からの出力信号を基に画像処理を行って画像情報を出力する画像処理部６４を備える。センシングカメラ６０は自車の前方風景を撮影し、前方画像（外景画像ともいう）を出力する。視差を含むステレオカメラを用いて前方画像に含まれるオブジェクト（障害物も含まれる）までの距離を測定し、画像情報に付加してもよい。単視点カメラの場合は、外界認識センサ９０が検出した障害物情報と組み合わせることで障害物までの距離、相対速度、相対角度が認識できる。 The sensing camera 60 includes an image processing unit 64 that performs image processing based on the camera 62 and an output signal from the camera 62 and outputs image information. The sensing camera 60 shoots a landscape in front of the vehicle and outputs a forward image (also referred to as an outside landscape image). The distance to an object (including an obstacle) included in the front image may be measured using a stereo camera including parallax and added to the image information. In the case of a single viewpoint camera, the distance to an obstacle, relative velocity, and relative angle can be recognized by combining with obstacle information detected by the external world recognition sensor 90.
ナビゲーション装置７０は、ＧＰＳ信号を受信するＧＰＳ受信部（ＧＰＳ受信アンテナ）７２、地図情報を記憶する地図情報記憶部７４、及びＧＰＳ信号を基に現在位置を演算し現在位置を含む地図情報を読み出してナビゲーション情報を出力するナビゲーション制御部７６を含む。 The navigation device 70 calculates the current position based on the GPS signal based on the GPS reception unit (GPS reception antenna) 72 that receives the GPS signal, the map information storage unit 74 that stores the map information, and reads the map information including the current position. And a navigation control unit 76 for outputting navigation information.
通信装置８０は、車車間通信部８２、路車間通信部８４、及び、車車間通信部８２、路車間通信部８４の通信制御を行う通信制御部８６を含む。 Communication device 80 includes a communication control unit 86 that performs communication control of inter-vehicle communication unit 82, road-to-vehicle communication unit 84, inter-vehicle communication unit 82, and road-to-vehicle communication unit 84.
図３に示すように、ＨＵＤ１００は、ＨＵＤ１００の諸動作を制御するとともに、投射する映像信号を生成する映像処理装置１１０、ＨＵＤ１００の表示ＯＮ／ＯＦＦスイッチ１２０、ミラー６ｂの角度を調整してフロントガラス１６における映像光の反射位置を変化させるミラー調整スイッチ１２２、投影光学系１３０、表示素子２を駆動させる表示素子駆動装置１３２、バックライト１を点滅させるバックライト駆動装置１３４、ミラー６ｂの回転角度を変化させるミラー駆動装置１３６、運転者が携帯する運転免許証に内蔵されたＩＣタグから運転者の属性情報を読み取るＩＣタグ読取装置１４０を備える。本実施形態では、運転者の属性情報を運転免許証から読み取る実施形態について後述するためにＩＣタグ読取装置１４０を図示しているが、運転手の属性情報（例えば年齢、性別、事故歴、視力情報）の入手部材として別の部材、例えばダッシュボード１４にＨＵＤ１００の操作用タッチパネルを備える場合は、ＩＣタグ読取装置１４０は必須ではない。 As shown in FIG. 3, the HUD 100 controls various operations of the HUD 100, and also adjusts the angles of the image processing device 110 that generates the video signal to be projected, the display ON / OFF switch 120 of the HUD 100, and the mirror 6b, and the windshield 16, the mirror adjustment switch 122 for changing the reflection position of the image light, the projection optical system 130, the display element drive unit 132 for driving the display element 2, the backlight drive unit 134 for blinking the backlight 1, and the rotation angle of the mirror 6b A mirror driving device 136 to be changed, and an IC tag reading device 140 for reading attribute information of a driver from an IC tag built in a driver's license carried by the driver are provided. In the present embodiment, the IC tag reader 140 is illustrated to describe an embodiment for reading the driver's attribute information from the driver's license, but the driver's attribute information (for example, age, gender, accident history, eyesight In the case where another member, for example, the dashboard 14 is provided with the operation touch panel for the HUD 100 as a member for obtaining information), the IC tag reader 140 is not essential.
映像処理装置１１０は、バス１１６を介して、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、ＨＤＤ１１４、及びＩ／Ｏ１１５のそれぞれが接続されて構成される。そしてＩ／Ｏ１１５を介して各装置が接続される。 The video processing apparatus 110 is configured by connecting the CPU 111, the RAM 112, the ROM 113, the HDD 114, and the I / O 115 via the bus 116. Then, each device is connected via the I / O 115.
映像処理装置１１０は、ＥＣＵ２０を経由してまたは車両情報取得部３０から直接車両情報を取得する。 The image processing apparatus 110 acquires vehicle information directly via the ECU 20 or from the vehicle information acquisition unit 30.
映像処理装置１１０は、センシングカメラ６０から画像情報を、ナビゲーション装置７０からナビゲーション情報を取得する。 The image processing device 110 acquires image information from the sensing camera 60 and navigation information from the navigation device 70.
また映像処理装置１１０は、通信装置８０から車車間信号及び路車間通信信号を受信する。 The video processing device 110 also receives an inter-vehicle signal and a road-vehicle communication signal from the communication device 80.
ＨＵＤ１００へ音声入力を行う場合は音声入力装置１５０をＩ／Ｏ１１５に接続する。またＨＵＤ１００から映像を投射すると共に音声出力をする際には音声出力装置１６０をＩ／Ｏ１１５に接続してもよい。 When voice input to the HUD 100 is to be performed, the voice input device 150 is connected to the I / O 115. Further, when projecting an image from the HUD 100 and outputting an audio, the audio output device 160 may be connected to the I / O 115.
映像処理装置１１０は電源装置１７０（自動車１０に搭載されたバッテリー等）からの給電により動作する。 The image processing apparatus 110 operates by power supply from a power supply device 170 (such as a battery mounted on the automobile 10).
図４に示すように、映像処理装置１１０は、外部情報処理部２１０、映像処理部２３０、歪み補正部２４０、運転者特性解析部２５０、運転者特性情報記憶部２６０、及びミラー制御部２７０を含む。各部は、ＣＰＵ１１１が各部の機能を実現するソフトウェアをＲＡＭ１１２にロードして実行中に、ＣＰＵ１１１、ＲＡＭ１１２、及びソフトウェアが協働して構成される。 As shown in FIG. 4, the video processing device 110 includes an external information processing unit 210, a video processing unit 230, a distortion correction unit 240, a driver characteristic analysis unit 250, a driver characteristic information storage unit 260, and a mirror control unit 270. Including. The respective units are configured by the CPU 111, the RAM 112, and the software in cooperation with each other while the CPU 111 loads the software for realizing the functions of the respective units into the RAM 112 and is being executed.
外部情報処理部２１０は、詳細にはＥＣＵ２０または車両情報取得部３０から車両情報を取得して映像処理部２３０に出力する車両情報処理部２１２、照度センサ３７から外光情報を取得し外界の明暗を示す明暗情報を映像処理部２３０に出力する外光検出部２１４、表示ＯＮ／ＯＦＦスイッチ１２０からＯＮ／ＯＦＦ信号を取得してＨＵＤ１００による映像投影の開始または終了を制御するＯＮ／ＯＦＦ検出部２１６、ミラー調整スイッチ１２２の操作を検出してミラー操作信号を生成し、ミラー制御部２７０に出力するミラー調整スイッチ検出部２１８、センシングカメラ６０からの前方画像を取得して画像解析処理を実行し、解析結果を映像処理部２３０に出力する画像解析部２２０と、通信装置８０から車車間通信情報及び路車間通信情報を取得し、映像処理部２３０へ出力する通信情報処理部２２２と、ＩＣタグ読取装置１４０から運転者の属性情報を取得し、運転者特性解析部２５０に出力するＩＣタグ情報処理部２２４と、を含む。 More specifically, the external information processing unit 210 acquires vehicle information from the ECU 20 or the vehicle information acquisition unit 30 and outputs the acquired vehicle information to the image processing unit 230, acquires external light information from the illuminance sensor 37, The ambient light detection unit 214 outputs the light / dark information indicating to the image processing unit 230, and the ON / OFF detection unit 216 that acquires the ON / OFF signal from the display ON / OFF switch 120 and controls start or end of image projection by the HUD 100. The mirror adjustment switch detection unit 218 detects an operation of the mirror adjustment switch 122 and generates a mirror operation signal, and outputs a forward image from the sensing camera 60 to execute an image analysis process. The image analysis unit 220 which outputs the analysis result to the image processing unit 230, the inter-vehicle communication information and the road-to-vehicle communication from the communication device 80 A communication information processing unit 222 that acquires information and outputs the information to the video processing unit 230, and an IC tag information processing unit 224 that acquires driver attribute information from the IC tag reader 140 and outputs the driver attribute information to the driver characteristic analysis unit 250; ,including.
車両情報処理部２１２は、ＥＣＵ２０や車両情報取得部３０から車両情報を取得し、映像処理部２３０に出力する。取得した車両情報は、必要に応じてＨＵＤ１００に虚像として表示される。例えば現在の車速、シフトポジション（特にリア）や、方向指示器が左右どちらの側にＯＮになっているかを示す矢印が虚像として表示される。 The vehicle information processing unit 212 acquires vehicle information from the ECU 20 and the vehicle information acquisition unit 30, and outputs the vehicle information to the video processing unit 230. The acquired vehicle information is displayed as a virtual image on the HUD 100 as needed. For example, an arrow indicating the current vehicle speed, the shift position (especially, the rear), and to which side the turn indicator is turned on is displayed as a virtual image.
自動車１０に自動運転機能が搭載されている場合には、運転モードを手動運転モードから自動運転モードに切り替えるための自動運転切替スイッチ５５から自動運転切替信号が車両情報処理部２１２に送信され、この信号が映像処理部２３０に出力される。映像処理部２３０は、自動運転切替信号に応じて自動運転時の表示制御処理を実行する。 When the automobile 10 is equipped with an automatic driving function, an automatic driving switching signal is transmitted to the vehicle information processing unit 212 from the automatic driving switching switch 55 for switching the driving mode from the manual driving mode to the automatic driving mode. A signal is output to the video processing unit 230. The image processing unit 230 executes display control processing at the time of automatic operation according to the automatic operation switching signal.
画像解析部２２０は、センシングカメラ６０からの前方画像を解析して画像中に撮像されたオブジェクト（例えば、歩行者、二輪車、前方車両、隣車線車両）を認識し、認識結果を映像処理部２３０に出力する。映像処理部２３０は必要に応じて認識結果を用いてオブジェクトの存在を運転者に知らせるための注意喚起情報を表示する。 The image analysis unit 220 analyzes the forward image from the sensing camera 60, recognizes an object (for example, a pedestrian, a two-wheeled vehicle, a forward vehicle, or an adjacent lane vehicle) captured in the image, and recognizes the recognition result as a video processing unit 230 Output to The image processing unit 230 displays alerting information for informing the driver of the presence of the object using the recognition result as needed.
また画像解析部２２０は、画像情報を基に障害物検出処理を実行してもよい。障害物を検出すると映像処理部２３０に障害物情報を出力する。映像処理部２３０は、障害物情報（障害物の相対距離、相対角度、相対速度）、及びＥＣＵ２０や車両情報取得部３０から取得した車両情報（特に自車の車速情報）を用いて、障害物との衝突判定処理を実行し、運転手に報知すべき情報、例えば衝突回避のための警報情報、衝突回避動作を促す情報、また進路方向にいる歩行者、二輪車などに対する注意喚起情報を生成する。 The image analysis unit 220 may also execute obstacle detection processing based on the image information. When an obstacle is detected, obstacle information is output to the video processing unit 230. The image processing unit 230 uses the obstacle information (relative distance, relative angle, relative velocity of obstacles), and vehicle information (in particular, vehicle speed information of the own vehicle) acquired from the ECU 20 or the vehicle information acquisition unit 30, Perform collision determination processing with the driver, and generate information to be notified to the driver, for example, warning information for collision avoidance, information for prompting collision avoidance operation, and alerting information for pedestrians, motorcycles, etc. who are in the course direction. .
一般に、時速Ｖｈで走行中の車両の停止距離は、下式で求められる。
停止距離＝空走距離＋制動距離・・・（１）
空走距離＝反応時間（秒）×Ｖｓ・・・（２）
制動距離（ｍ）≒（Ｖｈ＾２）／１００・・・（３）
Ｖｓ：制動前の車速（秒速：ｍ／秒）
Ｖｈ：制動前の車速（時速：ｋｍ／時）
Ｖｈ＾２：Ｖｈの２乗
なお、式（３）は路面摩擦係数、路面勾配等、制動距離に影響を与える要因を考慮して適宜変更してもよく、制動距離の算出式は式（３）に限定されない。また式（１）（２）も適宜マージンを加えてもよい。
In general, the stopping distance of a vehicle traveling at a speed of Vh can be obtained by the following equation.
Stop distance = free running distance + braking distance (1)
Free running distance = reaction time (seconds) x Vs (2)
Braking distance (m) ((Vh ^ 2) / 100 (3)
Vs: Vehicle speed before braking (second speed: m / s)
Vh: Vehicle speed before braking (hourly speed: km / hour)
Vh ^ 2: The square of Vh In addition, Formula (3) may be suitably changed in consideration of factors that affect the braking distance, such as road surface friction coefficient, road surface gradient, etc. Not limited to). In addition, a margin may be added to the equations (1) and (2) as appropriate.
式（２）の反応時間は、運転者ごとに異なる。そこで映像処理部２３０は、運転者の属性情報、例えば年齢、性別に応じて反応時間を調整し、運転者の属性に合った停止距離を求める。そして停止距離が長いほど、より早いタイミングで障害物の警報情報を表示する。 The reaction time of Formula (2) differs for every driver. Therefore, the video processing unit 230 adjusts the reaction time according to the attribute information of the driver, for example, the age and the gender, and obtains the stop distance matching the driver's attribute. And, as the stopping distance is longer, the alarm information of the obstacle is displayed earlier.
また運転者の属性情報に身長、座高のような視点位置に係る身体情報を含んでおき、映像処理部２３０が虚像の表示位置を運転者の眼の位置に合わせて調整してもよい。映像処理部２３０は、身体情報を基に虚像の表示位置を決定し、ミラー制御部２７０に決定した表示位置情報を出力する。ミラー制御部２７０はその表示位置情報を基にミラー駆動装置１３６を駆動し、フロントガラス１６における映像光反射位置を変化させて虚像の表示位置を運転者に合わせて調整する。 Further, the driver attribute information may include physical information related to the height and the viewpoint position such as the seat height, and the video processing unit 230 may adjust the display position of the virtual image in accordance with the driver's eye position. The image processing unit 230 determines the display position of the virtual image based on the physical information, and outputs the determined display position information to the mirror control unit 270. The mirror control unit 270 drives the mirror driving device 136 based on the display position information, changes the image light reflection position on the windshield 16, and adjusts the display position of the virtual image according to the driver.
また、運転者がミラー調整スイッチ１２２を操作して、ミラー６ｂの角度を調整してもよい。更に、ミラー角度の調整機構の代わりに微小電気機械システム（Micro Electro Mechanical Systems）を用いてフロントガラス１６の投射位置を変更してもよい。 Also, the driver may operate the mirror adjustment switch 122 to adjust the angle of the mirror 6b. Furthermore, instead of the mirror angle adjustment mechanism, the projection position of the windshield 16 may be changed by using a micro electro mechanical system (Micro Electro Mechanical Systems).
また運転者の属性情報に年齢情報を含んでおき、映像処理部２３０が運転者の年齢に応じた視野領域の広狭を判断し、虚像の表示位置を調整してもよい。例えば、高齢者には視野中心付近に虚像を表示し、若年者には視野周辺領域に虚像を表示するように制御してもよい。 Further, age information may be included in the attribute information of the driver, and the image processing unit 230 may determine the size of the visual field according to the driver's age to adjust the display position of the virtual image. For example, for the elderly, a virtual image may be displayed near the center of the visual field, and for a young person, the virtual image may be displayed in the peripheral region of the visual field.
運転者特性解析部２５０は、運転者の属性情報として運転者識別情報を取得し、その運転者の運転中に運転者識別情報と関連付けて車速やブレーキ操作のタイミング情報を運転者特性情報として運転者特性情報記憶部２６０に蓄積する。運転者特性情報を基に運転者の運転者特性、例えばブレーキ操作のタイミングの早さなどを解析し、映像処理部２３０にその解析結果を出力する。映像処理部２３０は、運転者特性の解析結果を参照して、警報情報の表示タイミングを調整する。 The driver characteristic analysis unit 250 acquires driver identification information as the attribute information of the driver, associates it with the driver identification information while the driver is driving, and drives the vehicle speed or the timing information of the brake operation as the driver characteristic information. It is stored in the person characteristic information storage unit 260. Based on the driver characteristic information, the driver characteristic of the driver, for example, the timing of the brake operation, etc. is analyzed, and the analysis result is output to the video processing unit 230. The image processing unit 230 adjusts the display timing of the alarm information with reference to the analysis result of the driver characteristic.
歪み補正部２４０は映像処理部２３０が生成した映像信号に対してキーストン補正などの歪み補正処理を実行し、補正後の映像信号を表示素子駆動装置１３２に出力して表示素子２に補正後の映像信号に基づく映像が表示される。 The distortion correction unit 240 performs distortion correction processing such as keystone correction on the video signal generated by the video processing unit 230, outputs the corrected video signal to the display element driving device 132, and outputs the corrected video signal to the display element 2. An image based on the image signal is displayed.
また図４では図示を省略するものの、映像処理部２３０はナビゲーション装置７０からナビゲーション情報を取得し、現在位置から目的地までの走行距離や走行所要時間を演算し、これに応じた表示を行ってもよい。 Although not shown in FIG. 4, the video processing unit 230 acquires navigation information from the navigation device 70, calculates the travel distance from the current position to the destination, and the required travel time, and performs display according to this. It is also good.
図５は、ＨＵＤ１００の初期動作の流れを示すフローチャートである。自動車１０のイグニッションキーを回して電源装置１７０がＯＮになると（Ｓ１０１）、映像処理装置１１０はＥＣＵ２０や車両情報取得部３０から車両情報を取得し（Ｓ１０２）、ＩＣタグ読取装置１４０が運転者の属性情報を読み取って映像処理装置１１０に出力する（Ｓ１０３）。 FIG. 5 is a flowchart showing the flow of the initial operation of the HUD 100. When the power supply device 170 is turned on by turning the ignition key of the automobile 10 (S101), the video processing device 110 acquires vehicle information from the ECU 20 and the vehicle information acquisition unit 30 (S102), and the IC tag reader 140 detects the driver's The attribute information is read and output to the video processing device 110 (S103).
本実施形態では、運転者の属性情報をＩＣタグ読取装置１４０が運転免許証のタグ情報を読み取ることで取得するが、ＨＵＤ１００の操作パネルから運転者の属性情報を入力させてもよい。その際、運転者が毎回属性情報を入力してもよいし、予め自動車１０を運転する運転者や、例えば自動車１０を保有する家族の名前（ニックネームでもよい）、年齢、性別を記憶させておき、操作パネルから今回の運転者の選択操作を行ってもよい。 In the present embodiment, the IC tag reader 140 acquires the driver's attribute information by reading the tag information of the driver's license, but the driver's attribute information may be input from the operation panel of the HUD 100. At that time, the driver may input attribute information each time, and the driver who drives the car 10 or the name (or nickname) of the family holding the car 10, age, and sex may be stored beforehand. The driver's selection operation may be performed from the operation panel.
続いて若年者、高齢者別の表示位置設定処理を行う（Ｓ１０４）。この詳細は後述する。 Subsequently, display position setting processing for young people and elderly people is performed (S104). Details of this will be described later.
明るさレベル調整処理が実行される（Ｓ１０５）。図６を参照して明るさレベル調整処理について説明する。図６は、明るさレベル調整処理の流れを示すフローチャートである。図６に示すように、外光検出部２１４が照度センサ３７から取得した外光情報を基に映像処理部２３０は適切な明るさレベルを算出する（Ｓ１０５１）。このとき、運転者の年齢に応じた明るさレベルを更に調整してもよい。 Brightness level adjustment processing is executed (S105). The brightness level adjustment process will be described with reference to FIG. FIG. 6 is a flowchart showing the flow of the brightness level adjustment process. As shown in FIG. 6, based on the ambient light information acquired by the ambient light detection unit 214 from the illuminance sensor 37, the video processing unit 230 calculates an appropriate brightness level (S1051). At this time, the brightness level may be further adjusted according to the driver's age.
外光検出部２１４は明るさレベルの変更要否を判断し、必要であれば（Ｓ１０５２／Ｙｅｓ）、映像処理部２３０はバックライト駆動装置１３４に対して光量調整信号を出力し、映像光の明るさレベルを設定する（Ｓ１０５３）。 The external light detection unit 214 determines whether it is necessary to change the brightness level, and if necessary (S1052 / Yes), the video processing unit 230 outputs a light amount adjustment signal to the backlight driving device 134, and The brightness level is set (S1053).
外光検出部２１４が明るさレベルの変更は不要と判断すると（Ｓ１５０２／Ｎｏ）、明るさレベルの設定値を現状のまま維持し、処理を終了する。 If the outside light detection unit 214 determines that the change of the brightness level is unnecessary (S1502 / No), the setting value of the brightness level is maintained as it is, and the process is ended.
次に映像表示モードを決定する（Ｓ１０６）。ＨＵＤ１００で表示可能な映像信号は多種あるので、その中から予め表示させたい映像信号の種類、例えば速度情報、ナビゲーション情報に基づく右折、左折の矢印等を選択させて記憶しておいてもよい。また運転者の属性情報とその運転者が表示させたい映像信号の種類とを予め対応させて記憶させておき、ステップ１０３で取得した属性情報を基にその運転者の好みに合った映像を表示してもよい。 Next, the video display mode is determined (S106). Since there are many types of video signals that can be displayed by the HUD 100, the type of video signal to be displayed in advance, such as speed information, right turn based on navigation information, left turn arrow, etc. may be selected and stored. In addition, the driver's attribute information and the type of video signal that the driver wants to display are stored in advance in correspondence with each other, and a video that matches the driver's preference is displayed based on the attribute information acquired in step 103. You may
歪み補正部２４０が歪み補正処理を実行し（Ｓ１０７）、表示素子駆動装置１３２に対して表示素子２のＯＮ信号を出力する（Ｓ１０８）。 The distortion correction unit 240 executes distortion correction processing (S107), and outputs an ON signal of the display element 2 to the display element driving device 132 (S108).
その後、表示ＯＮ／ＯＦＦスイッチ１２０が操作されるまで待機し（Ｓ１０９、Ｓ１１０／Ｎｏ）、ＯＮ／ＯＦＦ検出部２１６がＨＵＤ−ＯＮ信号を検出すると（Ｓ１１０／Ｙｅｓ）ＨＵＤ通常動作が開始する（Ｓ１１１）。 Then, it waits until the display ON / OFF switch 120 is operated (S109, S110 / No), and when the ON / OFF detection unit 216 detects the HUD-ON signal (S110 / Yes), the HUD normal operation starts (S111) ).
［運転者の属性に応じた表示設定処理］
以下図７から図１０を参照して運転者の属性に応じた表示設定処理について説明する。図７は、若年者及び高齢者に対する表示例を示す図であって、（ａ）は高齢者向け表示例、（ｂ）は若年者向け表示例である。図８は、若年者及び高齢者に対する別の表示例を示す図であって、（ａ）は高齢者向け表示例、（ｂ）は若年者向け表示例である。図９は、運転者情報記憶機器(例えば、ＩＣタグを備えた運転免許証)の構成を示す図である。図１０は、若年者、高齢者別の表示位置設定処理の流れを示すフローチャートである。
[Display setting process according to driver's attribute]
Hereinafter, the display setting process according to the driver's attribute will be described with reference to FIGS. 7 to 10. FIG. 7 is a view showing a display example for young people and elderly people, where (a) is a display example for elderly people and (b) is a display example for young people. FIG. 8 is a diagram showing another display example for young people and elderly people, where (a) is a display example for elderly people and (b) is a display example for young people. FIG. 9 is a diagram showing the configuration of a driver information storage device (for example, a driver's license provided with an IC tag). FIG. 10 is a flowchart showing the flow of the display position setting process for each of the young and elderly people.
図７に示すように、一般に高齢者の視野７００は若年者の視野７２０よりも狭い（図７（ｂ）参照）。そこで、運転者が高齢者である場合には、虚像表示エリア７４０のうち、視野中心により近い位置に虚像７５０を表示する（図７（ａ）参照）。一方、運転者が若年者の場合は、虚像表示エリア７４０を広く使い、高齢者に対しては用いない虚像表示エリア７４０の周縁部に虚像７５０を表示する（図７（ｂ）参照）。 As shown in FIG. 7, in general, the vision 700 of the elderly is narrower than the vision 720 of the young (see FIG. 7 (b)). Therefore, when the driver is an elderly person, the virtual image 750 is displayed at a position closer to the center of the visual field in the virtual image display area 740 (see FIG. 7A). On the other hand, when the driver is a young person, the virtual image display area 740 is widely used, and a virtual image 750 is displayed on the periphery of the virtual image display area 740 not used for the elderly (see FIG. 7B).
他の表示例として、図８（ａ）のように、高齢者に対しても、緊急性が低いコンテンツは虚像表示エリア７４０の下方、すなわち若年者と同様の位置（図８（ｂ）参照）に表示させておき、緊急性が高いコンテンツを選択的に虚像表示エリア７４０の視野中心に近い領域に表示させてもよい。図８の例では、車間距離が予め定めた距離しきい値未満となった場合に、車間距離表示７５２を虚像表示エリア７４０の視野中心に近い領域に表示する。なお、いずれの場合においても、前方視野に関する法規制に抵触しない範囲で表示位置（虚像表示エリア７４０）を決定する。 As another display example, as shown in FIG. 8 (a), even for the elderly, the content with low urgency is below the virtual image display area 740, that is, the same position as the young person (see FIG. 8 (b)) The content with high urgency may be selectively displayed in a region near the center of the visual field of the virtual image display area 740. In the example of FIG. 8, when the inter-vehicle distance is less than a predetermined distance threshold value, the inter-vehicle distance display 752 is displayed in an area close to the center of the visual field of the virtual image display area 740. In any case, the display position (virtual image display area 740) is determined in a range that does not conflict with laws and regulations relating to the front view.
図９は、運転者情報記憶機器３００の構成であり、運転者の個人情報（属性情報に相当する）を格納した個人情報格納部３０２、個人情報の送信処理を実行する制御部３０４、送受信部３０６、及び無線アンテナ３０８を備える。個人情報格納部３０２はＩＣチップやメモリ、制御部３０４はマイコン、送受信部３０６は近距離無線装置（たとえば ＺｉｇＢｅｅやＩＣタグ）を用いて構成してもよい。個人情報は、年齢、身長、視力矯正の有無、運転歴、走行距離が格納される。個人情報格納部３０２が書き換え可能なメモリであれば、運転歴、走行距離は随時データを更新してもよい。また、運転者情報記憶機器３００が運転免許証である場合は、運転免許証の更新時にデータを更新してもよい。 FIG. 9 shows a configuration of the driver information storage device 300, which is a personal information storage unit 302 storing personal information (corresponding to attribute information) of the driver, a control unit 304 for executing transmission processing of personal information, and a transmission / reception unit 306 and a wireless antenna 308. The personal information storage unit 302 may be an IC chip or memory, the control unit 304 may be a microcomputer, and the transmission / reception unit 306 may be configured using a short distance wireless device (for example, ZigBee or IC tag). The personal information includes age, height, presence or absence of vision correction, driving history, and distance traveled. If the personal information storage unit 302 is a rewritable memory, the driving history and the traveling distance may be updated as needed. In addition, when the driver information storage device 300 is a driver's license, the data may be updated when the driver's license is updated.
運転者情報記憶機器３００は、ＨＵＤ１００の読取用に属性情報を書き込んだものを作成してもよいし、運転免許証等に近距離無線装置機能が搭載されていれば、運転免許証等を用いてもよい。また住基ネットカードやマイナンバーカードのような公的なカードを用いてもよい。 The driver information storage device 300 may create an attribute information written for reading of the HUD 100. If the short-distance wireless device function is installed in the driver's license etc., the driver's license etc. is used. May be Also, a public card such as a resident registry net card or a my number card may be used.
近距離無線の送受信エリアは１ｍ程度、または接触して読み取らせることにより、助手席や後部席からは運転者以外の属性情報を読み取らないように構成することが望ましい。 It is desirable that the short distance wireless transmission / reception area is configured to be read about 1 m or in contact so as not to read attribute information other than the driver from the front passenger seat and the rear seat.
図１０を参照して、若年者、高齢者別の表示位置設定処理の流れを説明する。ＩＣタグ読取装置１４０は運転者情報記憶機器３００から運転者の属性情報を読み出し（Ｓ１０４１）、ＩＣタグ情報処理部２２４が読み取った属性情報から年齢情報を抽出し（Ｓ１０４２）、映像処理部２３０に出力する。映像処理部２３０は、年齢情報を基に運転者が高齢者であるか否かを判断する。 With reference to FIG. 10, the flow of the display position setting process for young people and elderly people will be described. The IC tag reader 140 reads the driver's attribute information from the driver information storage device 300 (S1041), extracts the age information from the attribute information read by the IC tag information processing unit 224 (S1042), and the video processing unit 230 Output. The image processing unit 230 determines whether the driver is an elderly person based on the age information.
高齢者であれば（Ｓ１０４３／Ｙｅｓ）、虚像位置を変更する（Ｓ１０４４）。虚像位置の変更態様は、虚像表示エリア７４０内におけるコンテンツの配置を変えるだけで、虚像表示エリア７４０のフロントガラス１６に対する位置は変更しない。 If it is an elderly person (S1043 / Yes), the virtual image position is changed (S1044). The change mode of the virtual image position only changes the arrangement of the content in the virtual image display area 740, not the position of the virtual image display area 740 with respect to the windshield 16.
別の態様として虚像表示エリア内におけるコンテンツの配置は変えず、ミラー制御部２７０を介してミラー６ｂの角度を変更し、フロントガラス１６に対する虚像表示エリアの位置を変更してもよい。 As another mode, the position of the virtual image display area with respect to the windshield 16 may be changed by changing the angle of the mirror 6 b via the mirror control unit 270 without changing the arrangement of the content in the virtual image display area.
虚像表示エリア位置の変更後、または高齢者でないと判断された場合は（Ｓ１０４３／Ｎｏ）、ステップＳ１０５へ進む（Ｓ１０４５）。 After the change of the virtual image display area position, or when it is judged that it is not an elderly person (S1043 / No), it progresses to step S105 (S1045).
上記において、ＩＣタグ読取装置１４０は、ＨＵＤ１００の電源がＯＮになると常時待ち受け状態となり、近距離無線の受信エリア内に運転者情報記憶機器３００が入ると自動的に運転者情報記憶機器３００から属性情報を読み取るように構成してもよい。 In the above, the IC tag reader 140 always stands by when the power of the HUD 100 is turned on, and automatically attributes from the driver information storage device 300 when the driver information storage device 300 enters the short-distance wireless reception area. It may be configured to read information.
また、乗車する際に運転者がＩＣタグ読取装置１４０に運転者情報記憶機器３００を接触させてもよい。運転者情報記憶機器として運転免許証を用いる場合は、接触動作をさせることで運転免許証を不携帯で運転することや、無免許運転の抑止につながる。 In addition, the driver may contact the IC tag reader 140 with the driver information storage device 300 when getting on the vehicle. When a driver's license is used as a driver information storage device, the contact operation leads to driving without driving the driver's license and suppression of unlicensed driving.
上記表示設定処理により、運転者の年齢に伴う視野の広狭に応じてＨＵＤの好適な表示が行える。更に、緊急性が高いコンテンツについて選択的に表示位置を変更することで、より高度な注意喚起が行える。なお、車内カメラを備える場合、車内カメラの映像と、その映像を解析して人物認識処理を行い、運転者の特定、またはその年齢を推定しても良い。さらには、人物認識処理の結果と、運転者情報記憶機器３００から読み取った情報とを組み合わせることで運転者の特定や年齢の推定を行っても良い。 According to the display setting process, the HUD can be suitably displayed according to the size of the visual field according to the driver's age. Furthermore, by changing the display position selectively for highly urgent content, more advanced alerting can be performed. When the in-vehicle camera is provided, the image of the in-vehicle camera and the image may be analyzed and person recognition processing may be performed to identify the driver or to estimate the age of the driver. Furthermore, by combining the result of the person recognition process with the information read from the driver information storage device 300, identification of the driver or estimation of the age may be performed.
図１１を参照してＨＵＤの通常動作処理について説明する。図１１は、ＨＵＤの通常動作の処理の流れを示すフローチャートである。ここでいう通常動作とはＨＵＤの初期設定処理が終了し、次に電源がＯＦＦにされるまでに繰り返される動作をいう。 The normal operation processing of the HUD will be described with reference to FIG. FIG. 11 is a flowchart showing the flow of processing of the normal operation of the HUD. Here, the normal operation is an operation repeated until the power is turned off after the initial setting process of the HUD is completed.
図１１に示すように、ＨＵＤの通常動作は、ＨＵＤの好適表示を行うための環境設定処理（Ｓ３００）と、自動運転モードまたは手動運転モードに応じた運転モード別好適表示処理（Ｓ４００）と、自動運転車接近アラート表示処理（Ｓ５００）と、運転モードに関らず運転者の眠気防止また注意力が低下する覚低走行を防止するための外部刺激表示処理（Ｓ６００）とが並行処理で実行される。 As shown in FIG. 11, the normal operation of the HUD includes an environment setting process (S300) for performing a suitable display of the HUD, and an operation mode suitable display process (S400) according to the automatic operation mode or the manual operation mode. Executes parallel processing with automatic driving car approach alert display processing (S500) and external stimulus display processing (S600) to prevent drowsiness and low alertness when the driver's drowsiness or attention decreases regardless of the operation mode Be done.
［Ｓ３００：環境設定処理］
環境設定処理Ｓ３００の一例として、ミラー調整処理（Ｓ３２０）、明るさレベル調整処理（Ｓ３４０）、表示映像変更処理（Ｓ３６０）がある。これら３つの処理の順序は図１１に限定されず、前後が適宜入れ替わってもよい。
[S300: Environment setting process]
Examples of the environment setting process S300 include mirror adjustment process (S320), brightness level adjustment process (S340), and display image change process (S360). The order of these three processes is not limited to FIG. 11, and the order may be changed as appropriate.
ミラー調整処理（Ｓ３２０）では、ミラー調整スイッチ検出部２１８が常にミラー調整スイッチ１２２からの操作信号の受信を待機する。そしてミラー調整スイッチ検出部２１８が操作信号を受信すると、ミラー制御部２７０に対して操作信号を出力し、ミラー制御部２７０がミラー駆動装置１３６を駆動してミラー角度を変更する。明るさレベル調整処理（Ｓ３４０）の処理内容は、既述の明るさレベル調整処理（Ｓ１０５）と同様であるが、時間の経過や天候等の影響に伴う外光量の変化を照度センサ３７で監視し続け、外光量に応じた明るさレベルの調整を繰り返す。映像表示モード決定処理（Ｓ１０６）では、映像処理部２３０が車両情報を取得し、随時車両情報及び運転者に合ったコンテンツを表示する。 In the mirror adjustment process (S320), the mirror adjustment switch detection unit 218 always waits for reception of the operation signal from the mirror adjustment switch 122. Then, when the mirror adjustment switch detection unit 218 receives the operation signal, the mirror adjustment unit 270 outputs the operation signal to the mirror control unit 270, and the mirror control unit 270 drives the mirror drive device 136 to change the mirror angle. The processing content of the brightness level adjustment processing (S340) is the same as the brightness level adjustment processing (S105) described above, but the illuminance sensor 37 monitors the change in the amount of external light due to the influence of time or weather. Continue to adjust the brightness level according to the amount of external light. In the video display mode determination process (S106), the video processing unit 230 acquires vehicle information, and displays the vehicle information and the content suitable for the driver as needed.
［Ｓ４００：運転モード別好適表示処理］
ダッシュボード１４に自動運転切替スイッチ５５を備え、映像処理装置１１０の車両情報処理部２１２は、自動運転切替スイッチ５５から自動運転信号を取得する。映像処理部２３０は、通常時は運転者による手動運転モードであると判定し（Ｓ４０２：手動運転モード）、運転者の運転者特性を学習してＨＵＤ表示の最適化処理を実行する（Ｓ４１０）。
[S400: Operation Mode Preferred Display Processing]
The dashboard 14 is provided with an automatic driving switching switch 55, and the vehicle information processing unit 212 of the video processing device 110 acquires an automatic driving signal from the automatic driving switching switch 55. The image processing unit 230 normally determines that the driving mode is the manual driving mode by the driver (S402: manual driving mode), learns the driver characteristic of the driver, and executes the optimization processing of the HUD display (S410) .
車両情報処理部２１２が自動運転信号を受信すると映像処理部２３０は自動運転モードと判定し（Ｓ４０２／自動運転モード）、自動運転表示処理を実行する（Ｓ４５０）。 When the vehicle information processing unit 212 receives an automatic driving signal, the video processing unit 230 determines that the automatic driving mode is set (S402 / automatic driving mode), and executes automatic driving display processing (S450).
［Ｓ４１０：ドライバ特性を学習したＨＵＤの表示最適化処理］
図１２から図１４を参照してドライバ特性を学習したＨＵＤの表示最適化処理の概念と効果について説明する。図１２は、反応速度が許容範囲内の運転者のブレーキ位置を示す図である。図１３は、反応速度が許容範囲外（遅い）の運転者のブレーキ位置を示す図である。図１４は、反応速度が遅い運転者に対するアラート表示位置を示す図である。図１５は、図１４のアラート表示位置に変更した後の反応速度が遅い運転者のブレーキ位置を示す図である。
[S410: Display optimization processing of HUD that has learned driver characteristics]
The concept and effect of the display optimization process of the HUD in which the driver characteristics are learned will be described with reference to FIGS. 12 to 14. FIG. 12 is a diagram showing the brake position of the driver whose reaction speed is within the allowable range. FIG. 13 is a diagram showing the brake position of the driver whose reaction speed is out of tolerance (slow). FIG. 14 is a diagram showing an alert display position for a driver having a slow reaction speed. FIG. 15 is a diagram showing the brake position of the driver whose reaction speed is slow after changing to the alert display position of FIG. 14.
自動車１０は走行中にセンシングカメラ６０からの画像やミリ波レーダ９２からの出力信号を用いて障害物検出処理を実行する。そして例えば図１２に示すように障害物４００を検知したとする。障害物４００に衝突する前に自動車１０を停止させるためのブレーキ操作開始位置（基準ブレーキ位置）は、障害物４００までの相対距離と自動車１０の車両速度に基づく制動距離とを基に求められる。基準ブレーキ位置は障害物４００よりも停止に要する距離以上手前である。そして基準ブレーキ位置を基に、運転者の反応速度やブレーキペダルの踏込操作量の個人差から、衝突前に自動車１０を停車させるためのブレーキ位置操作位置のしきい値（マージン距離）が求められる。更に基準ブレーキ位置を基準とし、その基準ブレーキ位置でブレーキ操作を行わせるためにアラートの表示を開始する基準アラート表示位置が求められる。基準アラート表示位置は、平均的な運転者がアラートを認知してからブレーキ操作を開始するまでの反応速度、例えば１〜２秒間に自動車１０が走行する距離に個人差を考慮したマージン距離を加えて基準ブレーキ位置よりも手前に設定する。 The automobile 10 executes obstacle detection processing using an image from the sensing camera 60 and an output signal from the millimeter wave radar 92 while traveling. Then, for example, as shown in FIG. 12, it is assumed that an obstacle 400 is detected. The brake operation start position (reference brake position) for stopping the vehicle 10 before colliding with the obstacle 400 can be determined based on the relative distance to the obstacle 400 and the braking distance based on the vehicle speed of the vehicle 10. The reference brake position is earlier than the obstacle 400 by the distance required to stop. Then, based on the reference brake position, the threshold value (margin distance) of the brake position operation position for stopping the vehicle 10 before the collision is obtained from the individual difference between the reaction speed of the driver and the depression amount of the brake pedal. . Further, based on the reference brake position, a reference alert display position for starting display of an alert for performing a brake operation at the reference brake position is obtained. The reference alert display position adds a reaction distance from the average driver's recognition of the alert to the start of the braking operation, for example, a margin distance taking into consideration individual differences in the distance traveled by the vehicle 10 in 1 to 2 seconds. Set it in front of the reference brake position.
この状態で、運転者が実際にブレーキペダルを踏み込んだ位置、すなわち運転者のブレーキ位置（ａ）がしきい値の範囲内にある場合、この運転者は反応速度に問題がない通常の運転者として扱われる。なおしきい値は、基準ブレーキ位置から許容されるブレーキ操作のタイミングのずれ位置を規定したものである。 In this state, if the driver actually depresses the brake pedal, that is, if the driver's brake position (a) is within the threshold range, then the driver does not have a problem with the response speed, and the driver normally responds Treated as The threshold value defines the position of the timing of the brake operation which is permitted from the reference brake position.
一方、図１３に示すように運転者が実際にブレーキペダルを踏み込んだ位置、すなわち運転者のブレーキ位置（ｂ）がしきい値の範囲外であって障害物４００に近い側にある場合、この運転者は反応速度が遅い運転者として扱われる。よって、運転者の反応速度が遅いことを考慮して、基準アラート表示位置よりも更に手前においてアラートを表示させる。このときのアラート表示位置が図１４の「運転者特性に合わせて調整したアラート表示位置」に相当する。 On the other hand, as shown in FIG. 13, when the driver actually depresses the brake pedal, that is, when the driver's brake position (b) is out of the threshold range and close to the obstacle 400, The driver is treated as a slow response driver. Therefore, the alert is displayed in front of the reference alert display position in consideration of the slow reaction speed of the driver. The alert display position at this time corresponds to “the alert display position adjusted to the driver characteristic” in FIG.
「運転者特性に合わせて調整したアラート表示位置」は基準アラート位置よりも手前にあるので、基準アラート位置よりもより早いタイミングで障害物４００の存在を通知するアラートが表示される。そのため、より早いタイミングで運転者がブレーキペダルの踏込動作を開始できる。その結果、図１５に示すようにアラート表示位置の調整後の運転者ブレーキ位置はより手前になり、しきい値の範囲内に収まるので障害物４００への衝突が回避される。 Since “the alert display position adjusted to the driver characteristic” is in front of the reference alert position, an alert notifying the presence of the obstacle 400 is displayed earlier than the reference alert position. Therefore, the driver can start stepping on the brake pedal at an earlier timing. As a result, as shown in FIG. 15, the driver's brake position after adjustment of the alert display position comes closer and falls within the range of the threshold, so that a collision with the obstacle 400 is avoided.
このように運転者の特性を学習してＨＵＤの表示の最適化を図るのが、ステップ４１０の［ドライバ特性を学習したＨＵＤの表示最適化処理］の意図である。ＨＵＤの表示最適化処理では、運転者特性データの更新処理と、運転者特性データを参照したＨＵＤの表示タイミング制御とが並行して進められる。以下、運転者特性データの更新処理について説明し、続いて運転者特性データを参照したＨＵＤの表示制御処理について説明する。 Thus, it is the intention of [display optimization processing of HUD having learned driver characteristics] in step 410 to optimize the display of the HUD by learning the characteristics of the driver. In the display optimization process of the HUD, the update process of the driver characteristic data and the display timing control of the HUD with reference to the driver characteristic data proceed in parallel. Hereinafter, the update processing of the driver characteristic data will be described, and then, the display control processing of the HUD with reference to the driver characteristic data will be described.
（運転者特性データの更新処理）
図１６は、運転者特性情報記憶部２６０に格納された運転者特性データテーブルの構成を示す図である。図１７は運転者特性データテーブルの更新処理の流れを示すフローチャートである。図１８は運転者特性データテーブルの更新処理の概念を示す図である。
(Update process of driver's characteristic data)
FIG. 16 is a diagram showing the configuration of the driver characteristic data table stored in the driver characteristic information storage unit 260. As shown in FIG. FIG. 17 is a flowchart showing a flow of update processing of the driver characteristic data table. FIG. 18 is a diagram showing the concept of the driver characteristic data table update process.
図１６は、運転者Ａに関する運転者特性データテーブル５００である。運転者特性データテーブル５００は、データの取得順序を示す「データ番号」、その時の「車速」、「障害物検出からアラート表示までの時間」、「アラート表示からブレーキ使用までの時間」、「ブレーキ使用時の障害物までの距離」、及び運転者ブレーキ位置がしきい値内にあるか否かの判定結果を示す「しきい値判定（内：０，外；１）」の各レコードを含む。また、同様のレコードを複数の運転者（図１６の例では運転者Ｂ、Ｃ、Ｄ）について記録するとよい。なお、図１６の運転者特性データテーブル５００の各レコードは一例であり、他のレコードを含んでもよい。 FIG. 16 is a driver characteristic data table 500 for the driver A. The driver characteristic data table 500 includes “data number” indicating the data acquisition order, “vehicle speed” at that time, “time from obstacle detection to alert display”, “time from alert display to brake use”, “brake” Includes each record of "distance to obstacle when in use" and "threshold judgment (within: 0, outside; 1)" indicating the result of judgment whether the driver's brake position is within the threshold . Also, similar records may be recorded for a plurality of drivers (drivers B, C, D in the example of FIG. 16). In addition, each record of the driver | operator characteristic data table 500 of FIG. 16 is an example, and may also contain another record.
図１７を参照して、運転者特性データテーブル５００の作成処理について説明する。ＨＵＤ１００の主電源投入後、センシングカメラ６０から画像データを画像解析部２２０が取得し、画像の被写体認識処理を行って障害物検出処理を実行する。 The process of creating the driver characteristic data table 500 will be described with reference to FIG. After the main power supply of the HUD 100 is turned on, the image analysis unit 220 acquires image data from the sensing camera 60, performs subject recognition processing of the image, and executes obstacle detection processing.
障害物検出処理を車車間／路車間通信で行う場合には、通信情報処理部２２２が通信装置８０から通信信号を取得し障害物検出処理を実行する。障害物が検出された場合には、画像解析部２２０または通信情報処理部２２２から映像処理部２３０及び運転者特性解析部２５０に障害物を検出した時刻、障害物検出時刻Ｔ（Ａ）を出力する（Ｓ３０１）。 When the obstacle detection process is performed by the inter-vehicle / road-vehicle communication, the communication information processing unit 222 acquires a communication signal from the communication device 80 and executes the obstacle detection process. When an obstacle is detected, the time when the obstacle is detected from the image analysis unit 220 or the communication information processing unit 222 to the video processing unit 230 and the driver characteristic analysis unit 250, and the obstacle detection time T (A) are output. To do (S301).
運転者特性解析部２５０は、障害物検出時刻Ｔ（Ａ）の車速情報も取得する（Ｓ３０２）。以後、各時点の車速情報を取得し続け、後に距離算出に用いる。 The driver characteristic analysis unit 250 also acquires the vehicle speed information of the obstacle detection time T (A) (S302). Thereafter, the vehicle speed information at each point in time is continuously acquired and used for distance calculation later.
映像処理部２３０は、障害物検出時刻Ｔ（Ａ）及びそのときの車速情報を取得し、車速に応じて障害物検出時刻からアラート表示までの猶予時間を決定し、障害物アラート情報を歪み補正部２４０に出力する。歪み補正部２４０は障害物アラート情報を表示させるための映像信号を表示素子駆動装置１３２に出力し、障害物アラート情報に基づくコンテンツが虚像として表示される。運転者特性解析部２５０は、映像処理部２３０からアラート情報を出力した時刻、アラート表示時刻Ｔ（Ｂ）を取得する（Ｓ３０３）。 The image processing unit 230 acquires the obstacle detection time T (A) and the vehicle speed information at that time, determines the grace period from the obstacle detection time to the alert display according to the vehicle speed, and corrects distortion of the obstacle alert information Output to the unit 240. The distortion correction unit 240 outputs a video signal for displaying obstacle alert information to the display element driving device 132, and the content based on the obstacle alert information is displayed as a virtual image. The driver characteristic analysis unit 250 acquires an alert display time T (B) at the time when the alert information is output from the video processing unit 230 (S303).
運転者特性解析部２５０は、車両情報取得部からブレーキ情報を取得し、その時の時刻を障害物に対するブレーキ使用時刻Ｔ（Ｃ）として取得する（Ｓ３０４）。ここで、障害物検出時刻Ｔ（Ａ）、アラート表示時刻Ｔ（Ｂ）、及びブレーキ使用時刻Ｔ（Ｃ）の対応付けの仕方は様々考えられるが、例えば障害物検出時刻Ｔ（Ａ）とアラート表示時刻Ｔ（Ｂ）とは、映像処理部２３０が障害物アラート情報の出力トリガとして用いた障害物検出時刻Ｔ（Ａ）をアラート表示時刻Ｔ（Ｂ）に関連付けることで対応がとれる。また、ブレーキ使用時刻Ｔ（Ｃ）は、アラート表示時刻Ｔ（Ｂ）よりも後の時刻に行われた最初のブレーキペダル操作によるブレーキ情報が出力された時刻をブレーキ使用時刻Ｔ（Ｃ）と一律に決めてアラート表示時刻Ｔ（Ｂ）に関連付けてもよい。運転者の特性の評価は、複数回のデータの平均値を用いて行ってもよい。 The driver characteristic analysis unit 250 acquires brake information from the vehicle information acquisition unit, and acquires the time at that time as the brake use time T (C) for the obstacle (S304). Here, although there are various ways of associating the obstacle detection time T (A), the alert display time T (B), and the brake use time T (C), for example, the obstacle detection time T (A) and the alert The display time T (B) can be dealt with by associating the obstacle detection time T (A) used by the video processing unit 230 as an output trigger for obstacle alert information with the alert display time T (B). In addition, the brake use time T (C) is the same as the brake use time T (C) as the time when the brake information by the first brake pedal operation performed at a time later than the alert display time T (B) is output. And may be associated with the alert display time T (B). The evaluation of the driver's characteristics may be performed using an average value of multiple data.
運転者特性解析部２５０は、障害物検出時刻Ｔ（Ａ）及びアラート表示時刻Ｔ（Ｂ）間の時間を算出する（Ｓ３０５）。 The driver characteristic analysis unit 250 calculates the time between the obstacle detection time T (A) and the alert display time T (B) (S305).
運転者特性解析部２５０は、アラート表示時刻Ｔ（Ｂ）及びブレーキ使用時刻Ｔ（Ｃ）間の時間を算出する（Ｓ３０６）。ステップ３０５、３０６の順序は逆でもよい。 The driver characteristic analysis unit 250 calculates the time between the alert display time T (B) and the brake use time T (C) (S306). The order of steps 305, 306 may be reversed.
運転者特性解析部２５０は、ステップ３０２以降で取得し続けた車速とアラート表示時刻Ｔ（Ｂ）及びブレーキ使用時刻Ｔ（Ｃ）間の時間を用いて、アラート表示時刻Ｔ（Ｂ）からブレーキ使用時刻Ｔ（Ｃ）までの自動車１０の移動距離を算出する（Ｓ３０７）。 The driver characteristic analysis unit 250 uses the brake from the alert display time T (B) using the vehicle speed acquired continuously in step 302 and after and the time between the alert display time T (B) and the brake use time T (C). The moving distance of the vehicle 10 up to the time T (C) is calculated (S307).
ステップ３０７の移動距離を用いてブレーキ使用時刻Ｔ（Ｃ）における自動車１０の位置、すなわち運転者ブレーキ位置を決定し、これがしきい値内にあるかを判定する（Ｓ３０８）。 The movement distance of step 307 is used to determine the position of the vehicle 10 at the brake use time T (C), that is, the driver's brake position, and it is determined whether it is within the threshold (S308).
この判定結果を含めて、運転者特性解析部２５０は、現在の運転者に対応する運転者特性データテーブル５００を更新する（Ｓ３０９）。図１６では、各運転者について直近の５回分のデータを保持するようにしている。運転者特性データテーブル５００の更新に際してはデータ保持数に空きがある（例えば直近３回分のデータしかない）場合は、最新のデータを空き領域に追加する。一方、データ保持数に空きがない場合は、図１８に示すように、一番古い情報をデータテーブルから削除して最新の情報を追加する。 The driver's characteristic analysis unit 250 updates the driver's characteristic data table 500 corresponding to the current driver, including the determination result (S309). In FIG. 16, the latest five times of data are stored for each driver. When the driver characteristic data table 500 is updated, if there is a vacancy in the number of data holdings (for example, there is only data for the last three times), the latest data is added to the vacancy area. On the other hand, if there is no space in the number of data holdings, as shown in FIG. 18, the oldest information is deleted from the data table and the latest information is added.
（運転者特性データを参照したＨＵＤの表示制御処理）
図１９及び図２０を参照して運転者特性データを参照したＨＵＤの表示制御処理について説明する。図１９は、運転者特性データを参照したＨＵＤの表示制御処理の表示例を示す図であり、（ａ）は初期値表示画面例、（ｂ）は表示色を変更した表示画面例、（ｃ）は表示色にテキスト情報を合わせて表示した表示画面例を示す。図２０は、運転者特性データを参照したＨＵＤの表示制御処理の流れを示すフローチャートである。
(Display control processing of HUD referring to driver's characteristic data)
Display control processing of the HUD with reference to the driver characteristic data will be described with reference to FIGS. 19 and 20. FIG. FIG. 19 is a view showing a display example of display control processing of the HUD referring to the driver characteristic data, wherein (a) is an example of an initial value display screen, (b) is an example of a display screen with changed display color, (c) ) Shows an example of a display screen in which text information is displayed in accordance with the display color. FIG. 20 is a flowchart showing the flow of display control processing of the HUD with reference to the driver characteristic data.
以下では説明の便宜のため、表示タイミング制御処理に加えて表示内容の変更処理も行う場合を例に挙げて説明するが、表示タイミング制御処理だけを実行してもよい。また運転者特性データに合わせた好適表示例として表示内容の変更処理だけを行う態様であってもよい。例えば、初期設定状態のアラート表示色（図１９（ａ））に対して、高齢者に対してはより明確な表示色に変更したり、高齢者の色認識能力の低下に合わせた補正色に変更したりしてもよい（図１９（ｂ））。更に、表示色の変更に加えてテキストを追加して表示してもよい（図１９（ｃ））。 Although the case where the change processing of display content is performed in addition to the display timing control processing will be described as an example for the convenience of description, only the display timing control processing may be executed. Further, as a suitable display example in accordance with the driver characteristic data, only the change processing of the display content may be performed. For example, the alert display color in the initial setting state (FIG. 19 (a)) may be changed to a clear display color for the elderly or a correction color in accordance with the deterioration of the color recognition ability of the elderly. You may change (FIG.19 (b)). Furthermore, in addition to the change of the display color, text may be additionally displayed (FIG. 19 (c)).
図２０を参照して運転者特性データを参照したＨＵＤの表示制御処理の流れについて説明する。運転者特性解析部２５０は、ＩＣタグ読取装置１４０から取得した運転者の属性情報を基に、運転者を固有に識別する情報（名前等）を取得し、この識別情報に対応付けられた運転者特性データテーブル５００を読み出す（Ｓ３２１）。 The flow of display control processing of the HUD with reference to the driver characteristic data will be described with reference to FIG. The driver characteristic analysis unit 250 acquires information (such as a name) that uniquely identifies the driver based on the attribute information of the driver acquired from the IC tag reader 140, and the driving associated with the identification information. The person characteristic data table 500 is read out (S321).
通常の運転者として取り扱えるかを判定するため判定条件を充足する場合（Ｓ３２２／Ｙｅｓ）、運転者特性解析部２５０は、当該運転者に対するＨＵＤの表示タイミング及び表示色を初期値で制御すると決定し、その結果を映像処理部２３０に出力する。映像処理部２３０は、この初期値で表示制御を行う（Ｓ３２３）。ステップ３２２の判定条件は「しきい値判定」レコードの値が全て「０」としてもよいし、しきい値外のデータがＮ個以下としてもよい。 When the determination condition is satisfied in order to determine whether it can be handled as a normal driver (S322 / Yes), the driver characteristic analysis unit 250 determines to control the display timing and display color of the HUD for the driver with the initial value. The result is output to the video processing unit 230. The video processing unit 230 performs display control with this initial value (S323). In the determination condition of step 322, all the values in the “threshold determination” record may be “0”, or N or less data outside the threshold may be used.
一方、判定条件不充足であれば（Ｓ３２２／Ｎｏ）、運転者特性解析部２５０は、しきい値外のデータに基づくタイミング調整処理を行い、調整後のアラートの表示開始タイミング設定値を決定して映像処理部２３０に出力する（Ｓ３２４）。このとき表示色の調整も合わせて決定してもよい。本ステップ３２４において、しきい値外のデータの数を基に、表示タイミングを早める際に、どの程度早くするかも合わせて決定してもよい。 On the other hand, if the determination condition is not satisfied (S322 / No), the driver characteristic analysis unit 250 performs timing adjustment processing based on data outside the threshold, and determines the display start timing set value of the adjusted alert. Then, the video data is output to the video processing unit 230 (S324). At this time, the adjustment of the display color may be determined together. In the present step 324, based on the number of data out of the threshold value, it may be determined how fast the display timing is advanced when the display timing is advanced.
映像処理部２３０は、調整後の表示タイミングや表示色、表示態様でアラート表示制御処理を行う（Ｓ３２４）。 The image processing unit 230 performs alert display control processing with the display timing and display color after adjustment and the display mode (S324).
走行中に障害物を検知し（Ｓ３２５、Ｓ３２６）、初期設定のアラート表示位置に到達（Ｓ３２７）、または運転者の特性に合わせて調整したアラート表示位置に到達（Ｓ３２８）すると、アラートを表示する（Ｓ３２９、Ｓ３３０）。ステップ３２９では初期設定の表示画面が表示され（図１９（ａ）参照）、ステップ３３０では、運転者の特性に合わせた調整後の表示態様でアラートが表示される（図１９（ｂ）、（ｃ）参照）。 When an obstacle is detected while traveling (S325, S326) and the alert display position of the initial setting is reached (S327) or the alert display position adjusted to the driver's characteristics is reached (S328), an alert is displayed. (S329, S330). At step 329, the display screen of the initial setting is displayed (see FIG. 19 (a)), and at step 330, the alert is displayed in the display mode after adjustment adjusted to the driver's characteristics (FIGS. c) see
運転者の特性に応じた表示タイミング制御や表示色を調整することにより、ＨＵＤの好適表示が行える。特に反応速度の低下に合わせてアラートの表示タイミングを早めることで、ブレーキ操作遅延を緩和し、運転時の安全性をより高めることができる。さらに、運転者にとって視認しやすい表示を行うことで、運転者は表示内容を速やかに読み取り、また正しく理解する効果が得られる。 The HUD can be suitably displayed by controlling the display timing and the display color according to the driver's characteristics. In particular, by delaying the display timing of the alert in accordance with the decrease in reaction speed, it is possible to alleviate the delay in brake operation and to further enhance the safety during driving. Furthermore, by providing a display that is easy for the driver to visually recognize, the driver can quickly read the display contents and obtain an effect of correctly understanding.
［Ｓ４５０：自動運転表示処理］
以下図２１から図２４を参照して自動運転時におけるＨＵＤの表示例について説明する。図２１は、他車に道を譲る場合の表示例を示す図である。図２２は、他車から道を譲られる場合の表示例を示す図である。図２３は、自車が走行レーンを逸脱する場合の表示例を示す図である。図２４は、徐行区間走行中の表示例を示す図である。
[S450: Automatic operation display processing]
Hereinafter, a display example of the HUD at the time of automatic operation will be described with reference to FIGS. 21 to 24. FIG. 21 is a diagram showing a display example in the case of giving the road to another vehicle. FIG. 22 is a diagram showing a display example in the case where the road can be handed over from another vehicle. FIG. 23 is a view showing a display example when the vehicle deviates from the traveling lane. FIG. 24 is a diagram showing a display example during traveling on a low speed section.
自動運転時若しくは自動運転の移行期にＨＵＤ１００は自動運転表示処理を実行する。自動運転時、運転者は車車間通信の状況が分からず並走車との間でどちらが走行レーンを譲ったのかがわからない。その状況でレーンチェンジをしたり、発進をすると運転者は不安を感じる。 The HUD 100 executes an automatic operation display process at the time of automatic operation or at a transition period of the automatic operation. During automatic driving, the driver does not know the status of the inter-vehicle communication, and does not know which of the parallel running vehicles gave over the traveling lane. The driver feels uneasy when changing lanes or taking off in this situation.
また自動運転時に、自動運転制御装置（例えばＥＣＵ２０の一機能として実現してもよい）が徐行すべき区間を認識できているか、運転者は把握したいという要望がある。 In addition, there is a demand that the driver wants to grasp whether the automatic driving control device (for example, may be realized as one function of the ECU 20) can recognize the section to be gradually driven during the automatic driving.
そこで自動運転中に他車と車車間通信を行い、走行レーンの譲り合い処理を行ってその結果をＨＵＤで表示する。例えば他車に道を譲り、他車が自車前に割り込む場合には、道を譲った他車上に「割り込みます」４５１というメッセージと、割り込み方向を示す矢印４５２とを表示する（図２１参照）。このような表示は、実際に割り込みを行う前に表示する。 Therefore, communication between other vehicles and vehicles is performed during automatic driving, transfer processing of traveling lanes is performed, and the result is displayed by HUD. For example, if you give way to another vehicle and another vehicle breaks in front of you, the message “I will interrupt” 451 and an arrow 452 indicating the direction of the interrupt will be displayed on the other vehicle that gave up the way (Figure 21). reference). Such a display is displayed before actually interrupting.
また、Ｔ字路や交差点で二台の車両が停止している際に、他車から自車に道が譲られた場合には、他車上に「道を譲っています」４５３というメッセージと、自車の進行方向を示す矢印４５４とを表示する（図２２参照）。更に他車が自車の通過待ちをしていることを示す停止マーク４５５も他車の実景に重畳表示する。 In addition, when two vehicles are stopped at T-junction or intersection, if the road is handed over to another vehicle from another vehicle, the message "We are giving way to another vehicle" 453 , And an arrow 454 indicating the traveling direction of the vehicle (see FIG. 22). Furthermore, a stop mark 455 indicating that another vehicle is waiting for the passage of the own vehicle is also superimposed on the real view of the other vehicle.
また、自車の進行方向の路肩に駐車中の他車があり、これをよけるためにレーンチェンジ、若しくはレーンを逸脱する場合、障害物に「障害物あり レーンを逸脱します」４５６というメッセージを重畳表示するとともに、自車の走行予定経路を矢印４５７で示す（図２３参照）。このような表示は、実際にレーンチェンジ等を行う前に表示する。 In addition, if there are other vehicles parked on the shoulder along the direction of travel of the vehicle and you are going to change lanes or deviate from the lanes, the obstacle will cause the vehicle to deviate from the lane 456 message And the planned travel route of the vehicle is indicated by an arrow 457 (see FIG. 23). Such a display is displayed before actually performing a lane change or the like.
更に徐行区間、例えば踏切内を徐行する場合は「踏切内徐行中」メッセージ４５８を表示する。徐行区間の他例として、幼稚園、保育園、学校等の周辺道路がある。 Furthermore, in the case of advancing at a low speed section, for example, in the inside of a level crossing, a “crossing inside level rising” message 458 is displayed. As another example of the low speed section, there are surrounding roads such as kindergartens, nursery schools, and schools.
次に図２５から図２８を参照して、自動運転表示処理の流れについて説明する。図２５は、譲り合い制御処理において他車から割り込まれる場合（他車に道を譲る場合）の処理の流れを示す。図２６は、譲り合い制御処理において自車が割り込む場合（他車から道を譲ってもらう場合）の処理の流れを示す。図２７は、レーン逸脱処理の流れを示す。図２８は、徐行区間通過処理の流れを示すフローチャートである。譲り合い制御処理、レーン逸脱処理、徐行区間通過処理は、自動運転表示処理の実行中に各処理のトリガ事象の発生に伴い開始する。 Next, the flow of the automatic driving display process will be described with reference to FIG. 25 to FIG. FIG. 25 shows the flow of processing in the case of being interrupted from another vehicle (in the case of giving the road to another vehicle) in the transfer control process. FIG. 26 shows the flow of processing in the case where the vehicle intrudes in the transfer control processing (when the vehicle is handed over from another vehicle). FIG. 27 shows the flow of lane departure processing. FIG. 28 is a flowchart showing the flow of the gradual zone passage process. The concession control process, the lane departure process, and the gradual zone passage process start upon occurrence of a trigger event of each process during execution of the automatic driving display process.
（譲り合い制御処理：他車から割り込まれる場合）
図２５に示すように、自動運転中の自車と他車とが車車間通信を行い、他車から割り込み要求信号を受信する（Ｓ４６１）と、これをトリガとして下記の各フローが開始する。他車の割り込み要求は、車車間通信に限定されず、センシングカメラ６０で他車の運転者を撮影し、画像解析部２２０が運転者のジェスチャ画像を画像解析処理して判断することで実現してもよい。
(Assignment control process: when interrupted from another vehicle)
As shown in FIG. 25, when the self-driving vehicle and the other vehicle perform the inter-vehicle communication and receive the interrupt request signal from the other vehicle (S 461), the following flows start with this as a trigger. The interrupt request of the other vehicle is realized by photographing the driver of the other vehicle with the sensing camera 60 without being limited to inter-vehicle communication, and the image analysis unit 220 judging the gesture image of the driver and judging it. May be
割り込み要求信号を承諾しない場合は（Ｓ４６１／Ｎｏ）、ＨＵＤ通常動作へ移行する。 If the interrupt request signal is not accepted (S461 / No), the HUD normal operation is performed.
割り込み要求信号を承諾する場合は（Ｓ４６１／Ｙｅｓ）、センシングカメラ６０からの画像を基に他車の位置を特定し（Ｓ４６２）、ＨＵＤ１００が他車の割り込みがあることを運転者に通知するための表示（図２１参照）を開始する（Ｓ４６３）。他車位置の特定は画像解析に限定されない。例えば車車間通信で他車から位置情報を取得することで実現してもよい。 When accepting the interrupt request signal (S461 / Yes), the position of another vehicle is specified based on the image from the sensing camera 60 (S462), and the HUD 100 notifies the driver that there is an interrupt of the other vehicle Is displayed (see FIG. 21) (S463). The identification of the other vehicle position is not limited to image analysis. For example, it may be realized by acquiring position information from another vehicle by inter-vehicle communication.
時間ｔが経過、若しくは他車のレーン移動が完了するまで（Ｓ４６４／Ｎｏ）、ステップ４６２以下の処理を繰り返す。この繰り返しにより、他車の移動に追随してＨＵＤに割り込み表示をさせることができる。なお時間ｔは事前に設定されていてもよいし、運転者が設定値に対して自分の好みで調整してもよい。 The processing of step 462 and subsequent steps is repeated until the time t has elapsed or the lane movement of another vehicle is completed (S464 / No). By repeating this, it is possible to cause the HUD to display an interrupt indication following the movement of another vehicle. The time t may be set in advance, or the driver may adjust the set value according to his / her preference.
他車のレーン移動の完了は、車車間通信で他車から移動完了のメッセージを受信することで実現してもよい。また、センシングカメラ６０で他車を撮像し、画像解析部２２０による画像認識で他車のレーン移動完了を判断することで実現してもよい。 Completion of lane movement of another vehicle may be realized by receiving a message of movement completion from the other vehicle through inter-vehicle communication. In addition, it may be realized by capturing an image of another vehicle with the sensing camera 60 and determining the completion of the lane movement of the other vehicle by image recognition by the image analysis unit 220.
時間ｔが経過、若しくは他車のレーン移動が完了すると（Ｓ４６４／Ｙｅｓ）、割り込み表示を終了し（Ｓ４６５）、ＨＵＤ通常動作へ移行する（Ｓ４６６）。 When the time t has elapsed or the lane movement of another vehicle is completed (S464 / Yes), the interrupt display is ended (S465), and the HUD normal operation is performed (S466).
（譲り合い制御処理：自車が割り込む場合）
図２６に示すように、自車が他のレーンへの移動が必要であり、かつ並走レーンに他車が存在してレーン移動ができない事象が生じると、これをトリガとして下記の各フローが開始する（Ｓ４７１／Ｙｅｓ）。上記事象に該当しない場合は（Ｓ４７１／Ｎｏ）、ＨＵＤ通常動作へ移行する。
(Assignment control process: when the vehicle breaks in)
As shown in FIG. 26, when the vehicle needs to move to another lane, and there is an event that another vehicle is present in the parallel lane and lane movement can not be performed, each flow below is triggered by this event. It starts (S471 / Yes). When it does not correspond to the above-mentioned event (S471 / No), it shifts to HUD normal operation.
自動運転中の自車と他車とが車車間通信を行い、他車に割り込み要求信号を送信し（Ｓ４７２）、他車から割り込み許可応答があると（Ｓ４７３／Ｙｅｓ）、他車の位置を特定し（Ｓ４７４）、割り込み表示（図２２参照）を開始する（Ｓ４７５）。他車から割り込み許可応答がなければ（Ｓ４７３／Ｎｏ）、ＨＵＤ通常動作へ移行する。 If the own vehicle and another vehicle in automatic driving communicate with each other, send an interrupt request signal to the other vehicle (S 472), and if there is an interrupt permission response from the other vehicle (S 473 / Yes), the location of the other vehicle It identifies (S474) and starts interrupt display (see FIG. 22) (S475). If there is no interrupt permission response from another vehicle (S473 / No), it shifts to HUD normal operation.
時間ｔが経過、若しくは自車のレーン移動が完了するまで（Ｓ４７６／Ｎｏ）、ステップ４７４以下の処理を繰り返す。この繰り返しにより、自車の移動に追随してＨＵＤに割り込み表示をさせることができる。なお時間ｔは事前に設定されていてもよいし、運転者が設定値に対して自分の好みで調整してもよい。 The processing of step 474 and thereafter is repeated until the time t elapses or the lane movement of the vehicle is completed (S 476 / No). By repeating this, it is possible to make the HUD interrupt display following the movement of the vehicle. The time t may be set in advance, or the driver may adjust the set value according to his / her preference.
時間ｔが経過、若しくは自車のレーン移動が完了すると（Ｓ４７６／Ｙｅｓ）、割り込み表示を終了し（Ｓ４７７）、ＨＵＤ通常動作へ移行する（Ｓ４７８）。 When the time t has elapsed or the lane movement of the vehicle is completed (S476 / Yes), the interrupt display is ended (S477), and the processing shifts to the HUD normal operation (S478).
（レーン逸脱処理）
図２７に示すように、自車の先方に障害物があり、かつ障害物を避ける動作のためにレーンを逸脱する事象が発生すると、これをトリガとして下記の各フローが開始する（Ｓ４８１／Ｙｅｓ）。障害物の有無は、センシングカメラ６０で自車の前方を撮影し、画像解析部２２０が前方画像を解析して障害物を検知してもよいし、路車間通信により障害物情報を受信することで障害物検知を行ってもよい。上記事象に該当しない場合は（Ｓ４８１／Ｎｏ）、ＨＵＤ通常動作へ移行する。
(Lane deviation processing)
As shown in FIG. 27, when there is an obstacle ahead of the own vehicle and an event that deviates from the lane occurs for the operation to avoid the obstacle, the following flows start triggered by this (S481 / Yes ). The presence or absence of an obstacle may be taken by photographing the front of the vehicle with the sensing camera 60, and the image analysis unit 220 may analyze the front image to detect an obstacle, or receive obstacle information by road-vehicle communication. Obstacle detection may be performed. When it does not correspond to the above-mentioned event (S481 / No), it shifts to HUD normal operation.
障害物の位置を特定し（Ｓ４８２）、障害物を回避するためのレーン逸脱表示（図２３参照）を行う（Ｓ４８３）。 The position of the obstacle is specified (S482), and lane departure display (see FIG. 23) for avoiding the obstacle is performed (S483).
時間ｔが経過、若しくは障害物を通り過ぎるまで（Ｓ４８４／Ｎｏ）、ステップ４８２以下の処理を繰り返す。障害物を通り過ぎたかの判断処理では、センシングカメラ６０で障害物を撮影し、画像解析部２２０で障害物を検知できなくなったこと、若しくは、画像認識処理で障害物との距離を求め、その距離が予め指定した距離の範囲内に来たこと、または画像認識処理により障害物が自車から後方へ離れていることが検知されたことを判断材料としてもよい。 The processing of step 482 and subsequent steps is repeated until time t has elapsed or an obstacle is passed (S 484 / No). In the process of judging whether an obstacle has passed, an obstacle is photographed by the sensing camera 60, and the image analysis unit 220 can not detect the obstacle, or the image recognition process determines the distance to the obstacle, and the distance is It may be determined that the user has come within a predetermined distance range, or that the obstacle has been detected as being separated rearward from the vehicle by the image recognition process.
時間ｔが経過、若しくは障害物を通り過ぎると（Ｓ４８４／Ｙｅｓ）、レーン逸脱表示を終了し（Ｓ４８５）、ＨＵＤ通常動作へ移行する（Ｓ４８６）。 When the time t has passed or the obstacle is passed (S484 / Yes), the lane departure display is ended (S485), and the HUD normal operation is performed (S486).
（徐行区間通過処理）
図２８に示すように、自車が徐行区間に進入するとこれをトリガとして下記の各フローが開始する（Ｓ４９１／Ｙｅｓ）。徐行区間進入の有無は、センシングカメラ６０の画像を画像解析部２２０が画像解析処理を行って徐行標識、踏切、坂道の頂上付近を検知することで実現してもよい。若しくは、路車間通信により徐行区間情報を取得してもよい。上記事象に該当しない場合は（Ｓ４９１／Ｎｏ）、ＨＵＤ通常動作へ移行する。
(Slow speed zone passage processing)
As shown in FIG. 28, when the host vehicle enters a slow speed section, the following flows start with this as a trigger (S 491 / Yes). The image analysis unit 220 may perform the image analysis processing on the image of the sensing camera 60 and detect the vicinity of the top of the slope sign, the level crossing, and the slope, and the presence or absence of the slowing interval entry may be realized. Alternatively, the slowing interval information may be acquired by road-vehicle communication. If it does not correspond to the above event (S 49 1 / No), it shifts to HUD normal operation.
徐行区間に進入すると徐行区間走行表示（図２４参照）を行う（Ｓ４９２）。 When entering the slowing interval, the slowing interval traveling display (see FIG. 24) is performed (S492).
時間ｔが経過、若しくは徐行区間を通り過ぎるまで（Ｓ４９３／Ｎｏ）、ステップ４９２以下の処理を繰り返す。 The processing of step 492 and thereafter is repeated until the time t elapses or passes through the slowing interval (S493 / No).
時間ｔが経過、若しくは障害物を通り過ぎると（Ｓ４９３／Ｙｅｓ）、徐行区間走行表示を終了し（Ｓ４９４）、ＨＵＤ通常動作へ移行する（Ｓ４９５）。 When the time t has passed or the obstacle is passed (S493 / Yes), the slow running section display is ended (S494), and the processing shifts to HUD normal operation (S495).
自動運転時に自車の認識した情報をＨＵＤで表示させることで、自車や他車の挙動を運転者に知らせ、運転者が感じる自動運転時の不安を軽減することができる。なお、自動運転中、運転者が常にＨＵＤ表示を見ているとは限らないので、表示と同期して音声を出力するなどして運転者に報知するようにしてもよい。 By displaying the information recognized by the own vehicle at the time of automatic driving with the HUD, it is possible to inform the driver of the behavior of the own vehicle and other vehicles, and reduce the anxiety during automatic driving felt by the driver. Since the driver does not always look at the HUD display during automatic driving, the driver may be notified by outputting a sound in synchronization with the display.
［Ｓ５００：自動運転車両の接近を知らせるアラート表示処理］
次に図２９から図３３を参照して自動運転車両の接近を知らせるアラート表示処理について説明する。図２９は、自動運転中の前方車両に対するアラート表示例を示す図である。図３０は、隣接レーンを走行する自動運転中の他車に対するアラート表示例を示す図である。図３１は、テキストデータを併用したアラート表示例を示す図である。図３２は、複数の自動運転車両に対してアラート表示をした例を示す図である。図３３は、自動運転車両の接近を知らせるアラート表示処理の流れを示すフローチャートである。
[S500: Alert display processing to notify the approach of a self-driving vehicle]
Next, with reference to FIGS. 29 to 33, an alert display process for notifying the approach of the automatically driven vehicle will be described. FIG. 29 is a diagram showing an example of an alert display for a forward vehicle during automatic driving. FIG. 30 is a diagram showing an example of an alert display for another vehicle in automatic driving traveling on an adjacent lane. FIG. 31 is a view showing an alert display example using text data in combination. FIG. 32 is a diagram showing an example in which alert display is performed on a plurality of automatically driven vehicles. FIG. 33 is a flow chart showing a flow of alert display processing for notifying the approach of the autonomous driving vehicle.
車車間通信により他車が自動運転していることを検知すると、運転者に自動運転車両の接近をアラート表示することで運転者の注意を喚起する。この表示例として、センシングカメラ６０からの画像解析結果を基に自動運転車両位置を判定し、その位置に合わせて自動運転中の前方車両に対してアラート表示５０１（図２９参照）を重畳表示する。また隣接レーンを走行する車にアラート表示５０２（図３０参照）とどの車両が自動運転中であるかを示す矢印５０３を重畳表示してもよい。また更にアラート表示５０４に加えて自動運転車両との車間距離を含むテキスト情報５０５を表示してもよい（図３１参照）。更に、複数の自動運転車両が自車の付近を走行中にはそれぞれの自動運転車両に対してアラート表示５０６、５０７を行ってもよい（図３２参照）。なお、アラート表示５０６，５０７のテキスト表示は省略することも可能である。 When it is detected that another vehicle is driving automatically by inter-vehicle communication, the driver is alerted by displaying an alert of approach of the automatically driven vehicle to alert the driver. As this display example, the position of the automatically driven vehicle is determined based on the image analysis result from the sensing camera 60, and the alert display 501 (see FIG. 29) is superimposed and displayed on the forward vehicle during automatic driving according to the position. . Further, the alert display 502 (see FIG. 30) and an arrow 503 indicating which vehicle is being automatically driven may be superimposed on a vehicle traveling on the adjacent lane. Furthermore, in addition to the alert display 504, text information 505 including an inter-vehicle distance to the automatically driven vehicle may be displayed (see FIG. 31). Furthermore, alert displays 506 and 507 may be performed on each of the plurality of autonomous driving vehicles while the autonomous driving vehicles are traveling in the vicinity of the own vehicle (see FIG. 32). Note that the text display of the alert displays 506 and 507 can be omitted.
図３３を参照して自動運転車両の接近を知らせるアラート表示処理の流れを説明する。 The flow of the alert display process for notifying the approach of the autonomous driving vehicle will be described with reference to FIG.
車車間通信により自動運転車両を検出すると（Ｓ５１１）、その自動運転車両との相対距離を取得する（Ｓ５１２）。この距離は車車間通信により自動運転中の他車から自己位置を示す情報を取得して距離を算出してもよいし、車車間通信情報により自動運転中の車両を特定すると、その車両をセンシングカメラ６０で撮像して画像解析部２２０による画像解析処理により距離を算出してもよい。 When an autonomous driving vehicle is detected by inter-vehicle communication (S511), the relative distance to the autonomous driving vehicle is acquired (S512). This distance may be calculated by acquiring information indicating the self position from another vehicle in automatic driving by inter-vehicle communication, or when the vehicle in automatic driving is specified by inter-vehicle communication information, the vehicle is sensed. The distance may be calculated by image analysis processing by the image analysis unit 220 by imaging with the camera 60.
映像処理部２３０は相対距離情報を取得し、相対距離が所定値以内になるまでは（Ｓ５１３／Ｎｏ）、ステップ５１１に戻り、アラート表示を行わない。 The video processing unit 230 acquires relative distance information, returns to step 511 and does not perform alert display until the relative distance is within the predetermined value (S513 / No).
映像処理部２３０は、相対距離が所定値以内になったと判断すると（Ｓ５１３／Ｙｅｓ）、自動運転車両の接近を示す接近アラート表示を行う（Ｓ５１４）。その後、接近アラートを表示した自動運転車両との相対距離が所定値を超えるまで（Ｓ５１５／Ｎｏ）、接近アラートを表示し続ける（Ｓ５１４）。相対距離が所定値を超えると（Ｓ５１５／Ｙｅｓ）、接近アラートを終了し（Ｓ５１６）、ＨＵＤ通常動作へ戻る（Ｓ５１７）。 If the video processing unit 230 determines that the relative distance is within the predetermined value (S513 / Yes), the video processing unit 230 displays an approach alert display indicating the approach of the automatically driven vehicle (S514). After that, until the relative distance with the automatically driven vehicle displaying the approach alert exceeds a predetermined value (S515 / No), the approach alert is continuously displayed (S514). When the relative distance exceeds the predetermined value (S515 / Yes), the approach alert is ended (S516), and the HUD normal operation is returned (S517).
他車が自動運転中であるか否かは運転者からは分からないので、自動運転車両が接近したことをアラート表示することで、運転者に注意を促すことができる。なお、自動運転中、運転者が常にＨＵＤ表示を見ているとは限らないので、表示と同期して音声を出力するなどして運転者に報知するようにしてもよい。 Since the driver does not know whether the other vehicle is driving automatically or not, the driver can be alerted by displaying an alert that the automatically driven vehicle has approached. Since the driver does not always look at the HUD display during automatic driving, the driver may be notified by outputting a sound in synchronization with the display.
［Ｓ６００：外部刺激表示処理（運転者の眠気防止処理）］
図３４から図３６を参照して外部刺激表示処理（運転者の眠気防止処理）について説明する。図３４は、通常表示例を示す図である。図３５は外部刺激表示例を示す図である。図３６は、外部刺激表示処理の流れを示すフローチャートである。
[S600: external stimulation display processing (driver's drowsiness prevention processing)]
The external stimulus display process (the drowsiness prevention process for the driver) will be described with reference to FIGS. 34 to 36. FIG. 34 is a view showing a normal display example. FIG. 35 shows an example of external stimulus display. FIG. 36 is a flowchart showing the flow of the external stimulus display process.
運転者が眠気を感じてからＨＵＤに注意喚起表示を行っても、注意喚起表示自体を見落としかねない。そこで、運転者が眠気を感じる前に事前に眠気を防止するための表示を行う。また運転者の眼が覚めていても注意力が低下した、所謂覚低走行に対しての注意喚起を行う。 Even if the driver feels sleepy and then displays a warning display on the HUD, the warning display itself may be overlooked. Therefore, before the driver feels sleepy, a display for preventing sleepiness is made in advance. In addition, even if the driver wakes up, attention is reduced, and so-called alerting to low awareness driving is performed.
そのために、ＨＵＤ１００は、地図情報及び位置情報から長い直線道路や高速道路を抽出し、事前表示及びリアルタイムでの刺激表示を行う。 For this purpose, the HUD 100 extracts long straight roads and expressways from map information and position information, and performs prior display and stimulus display in real time.
また、センシングカメラ６０の画像を画像解析部２２０が解析し、外部刺激量を測定する。本実施形態では、外部刺激量として画像中に撮像された外景の変化量を用いる。外景の変化量は、外景コントラストの大小で判断してもよいし、画像の時系列変化量の大小で判断してもよい。例えば、市街地走行では外景コントラストが大きくなる傾向がある。また、交通量が比較的多く、前方車両が頻繁に入れ替わる時には画像の時系列変化量も大きくなりやすい。このように外景の変化量がしきい値以上となる場合には運転者の注意力の低下も少ないので、刺激表示を含まない通常表示を行う（図３４参照）。 In addition, the image analysis unit 220 analyzes the image of the sensing camera 60 and measures the amount of external stimulation. In this embodiment, the amount of change of the outside scene captured in the image is used as the amount of external stimulation. The amount of change in the outside scene may be determined based on the magnitude of the outside scene contrast, or may be determined based on the amount of time series change in the image. For example, when traveling in a city area, the outside scene contrast tends to be large. In addition, when the traffic volume is relatively large and the vehicles in front are frequently replaced, the time-series variation of the image tends to be large. As described above, when the amount of change in the outside scene is equal to or more than the threshold value, the driver's attention is hardly decreased, so that the normal display including no stimulation display is performed (see FIG. 34).
一方、図３５のように高速道路では防音壁や中央分離帯に周辺の風景が阻まれて比較的単調な景色が続き外景コントラストが低くなりやすい。更に、道路が空いていると、他車が画像に撮像されずに時系列変化量も小さくなりやすい。このような環境での走行中は画像解析処理の結果、画像から得られる外景変化量が一定値未満（刺激が少ない）となる。この場合は、刺激映像や休憩警告を通知する刺激表示６０１を行う（図３５参照）。 On the other hand, as shown in FIG. 35, in the expressway, the surrounding landscape is blocked by the soundproof wall and the central dividing zone, so that a relatively monotonous landscape continues and the exterior contrast tends to be low. Furthermore, when the road is vacant, other vehicles are not captured in the image, and the time-series variation tends to be small. While traveling in such an environment, as a result of the image analysis processing, the amount of change in the outside scene obtained from the image is less than a predetermined value (the amount of stimulation is small). In this case, a stimulus display 601 for notifying a stimulus image or a break warning is performed (see FIG. 35).
図３６を参照して刺激表示処理の流れについて説明する。 The flow of stimulation display processing will be described with reference to FIG.
運転者がナビゲーション装置７０で目的地を設定すると（Ｓ６１１／Ｙｅｓ）、ナビゲーション装置７０から現在位置情報及び目的地情報を映像処理部２３０が取得する（Ｓ６１２）。ナビゲーション装置７０を使用しない場合（Ｓ６１１／Ｎｏ）、走行距離の想定ができないので、運転開始へ進む（Ｓ６１６）。 When the driver sets a destination with the navigation device 70 (S611 / Yes), the video processing unit 230 acquires current position information and destination information from the navigation device 70 (S612). When the navigation device 70 is not used (S611 / No), since it is not possible to estimate the traveling distance, the process proceeds to the start of driving (S616).
映像処理部２３０は、ナビゲーション装置７０で設定した行程距離と走行時間を算出し（Ｓ６１３）、行程距離がしきい値未満であり、かつ走行時間もしきい値未満であれば（Ｓ６１４／Ｙｅｓ）、注意映像の表示をすることなく運転を開始する（Ｓ６１６）。このしきい値は、覚低走行の危険性があるルートであるかを判定するために設けられた距離しきい値及び時間しきい値である。 The image processing unit 230 calculates the travel distance and the travel time set by the navigation device 70 (S613), and if the travel distance is less than the threshold and the travel time is less than the threshold (S614 / Yes), Driving is started without displaying a caution image (S616). This threshold is a distance threshold and a time threshold which are provided to determine whether there is a risk of running low.
一方、行程距離が距離しきい値以上、または走行時間が時間しきい値以上であれば（Ｓ６１４／Ｎｏ）、運転者に疲労が蓄積することが懸念される。そこで、映像処理部２３０は、注意映像と休憩目安を表示し（Ｓ６１５）、運転開始前に注意喚起を行う。その後、運転者が運転を開始する（Ｓ６１６）。また、運転者の体調によっては行程距離と走行時間が短くても覚低走行の危険性がある。そこで、運転開始前に運転者に簡単な質問を行い、その質問に対する回答から運転者の体調を把握してステップ６１４および６１９で参照するしきい値を変更するなどしてもよい。例えば、運転者の体調がすぐれない場合は、予め設定したしきい値よりも低いしきい値に変更することで、運転者への注意喚起効果を高めることができる。 On the other hand, if the travel distance is equal to or greater than the distance threshold or the travel time is equal to or greater than the time threshold (S614 / No), it is feared that the driver may accumulate fatigue. Therefore, the video processing unit 230 displays a caution video and a break standard (S615), and performs a warning before the start of driving. Thereafter, the driver starts driving (S616). In addition, depending on the physical condition of the driver, even if the travel distance and the travel time are short, there is a danger of low speed driving. Therefore, the driver may be asked a simple question before the start of driving, the driver's physical condition can be grasped from the answer to the question, and the threshold value referred to in steps 614 and 619 may be changed. For example, when the driver's physical condition is not good, changing the threshold value to a threshold value lower than a preset threshold value can enhance the alerting effect to the driver.
運転開始後、映像処理部２３０は、車両情報取得部３０から車両情報（走行開始時間、走行開始距離）を取得し（Ｓ６１７）、連続走行時間及び距離を算出する（Ｓ６１８）。この連続走行距離は、新たな運転者属性情報を読み取ってからの走行距離、時間である。または、ナビで目的地が設定されて運転を開始してからの連続走行距離、時間でもよい。 After driving is started, the video processing unit 230 acquires vehicle information (travel start time, travel start distance) from the vehicle information acquisition unit 30 (S617), and calculates continuous travel time and distance (S618). The continuous traveling distance is a traveling distance and time after reading new driver attribute information. Alternatively, it may be a continuous traveling distance or time since the destination is set by the navigation and the driving is started.
そして、連続走行距離がしきい値以上、または走行時間がしきい値以上の場合（Ｓ６１９／Ｎｏ）、すなわち、連続走行距離／時間が一定値（しきい値）に達した場合、覚低走行等の危険性があるため、外部刺激量として外景変化量を計算する。ここでのしきい値とは、例えば連続走行距離に対してしきい値を１００ｋｍ、走行時間に対してしきい値を１時間と設定してもよい。 When the continuous traveling distance is equal to or more than the threshold value or the traveling time is equal to or more than the threshold value (S619 / No), that is, when the continuous traveling distance / time reaches a predetermined value (threshold value) Because there is a risk of etc., the amount of change in the outside scene is calculated as the amount of external stimulation. Here, the threshold may be set to, for example, 100 km for continuous travel distance and 1 hour for travel time.
センシングカメラ６０で撮影した画像を画像解析部２２０が解析し、外部刺激量（外景変化量）を算出する（Ｓ６２０）。 The image analysis unit 220 analyzes the image captured by the sensing camera 60, and calculates the amount of external stimulation (the amount of change in the outside scene) (S620).
映像処理部２３０は、外部刺激量を覚低走行の危険性があると判断するために設定した刺激量のしきい値と比較してしきい値未満であれば（Ｓ６２１／Ｙｅｓ）、ＨＵＤ１００に刺激映像を表示する（Ｓ６２２）。 If the image processing unit 230 compares the external stimulation amount with the threshold of the stimulation amount set in order to determine that there is a risk of low alert running (S621 / Yes), the HUD 100 is selected. The stimulation image is displayed (S 622).
連続走行距離がしきい値未満であり、かつ連続走行時間がしきい値未満の場合（Ｓ６１９／Ｙｅｓ）、及び外部刺激量がしきい値以上の場合（Ｓ６２１／Ｎｏ）、及び刺激映像の表示後（Ｓ６２２）、ステップ６１７へ戻る。そして運転中は刺激映像の表示の有無を監視し続ける。 If the continuous travel distance is less than the threshold and the continuous travel time is less than the threshold (S619 / Yes), and if the external stimulation amount is equal to or greater than the threshold (S621 / No), and display of the stimulation image After (S 622), the process returns to step 617. And while driving, it keeps monitoring the presence or absence of the display of the stimulation image.
刺激映像の表示終了条件は、刺激表示を予め定めた時間経過して行った場合、また任意の時間間隔をあけて予め定めた回数繰り返し表示した場合など、適宜設定してもよい。 The display termination condition of the stimulation image may be appropriately set, for example, when the stimulation display is performed after a predetermined time has elapsed, or when the stimulation display is repeatedly displayed a predetermined number of times with an arbitrary time interval.
本実施形態では、連続走行距離／時間が一定値（しきい値）に達した場合（Ｓ６１９／Ｎｏ）、かつ外部刺激量がしきい値未満のとき（Ｓ６２１／Ｙｅｓ）刺激映像を表示（Ｓ６２２）すると説明したが、連続走行距離／時間が一定値（しきい値）に達した場合（Ｓ６１９／Ｎｏ）は外部刺激量の多少によらず、必ず刺激表示を行ってもよい。また、連続走行距離／時間が一定値（しきい値）未満であっても、外部刺激量がしきい値未満の状態が続いている（単調な景色が続いている）場合は、刺激表示を行ってもよい。
上記走行距離／時間、また連続走行距離／時間中の覚低走行に限らず、眠くなる時間帯（午前１〜３時、深夜３〜４時）に刺激表示を行ってもよい。
In the present embodiment, when the continuous travel distance / time reaches a predetermined value (threshold) (S619 / No) and the external stimulation amount is less than the threshold (S621 / Yes), a stimulation image is displayed (S622) In the case where the continuous travel distance / time has reached a fixed value (threshold) (S619 / No), the stimulation display may be performed regardless of the amount of external stimulation. In addition, even if the continuous travel distance / time is less than a fixed value (threshold), if the external stimulus amount continues to be less than the threshold value (a monotonous landscape continues), the stimulus display You may go.
The stimulation display may be performed not only during the travel distance / time, but also during low travel during continuous travel distance / time, and during sleepy hours (1 to 3 am and 3 to 4 midnight).
また映像処理部２３０は、路車間通信信号で渋滞情報を取得し、ナビゲーション装置７０から行程情報を取得し、休憩ポイントの推奨を表示してもよい。この休憩ポイントが刺激表示となり、渋滞時の注意力低下を防ぎ、効果的な休憩をとるための提案を運転者に提供できる。 Further, the video processing unit 230 may acquire traffic jam information by a road-vehicle communication signal, acquire travel information from the navigation device 70, and display a recommendation of a break point. This break point serves as a stimulus display, which can prevent the driver from losing alertness during traffic jams and can provide the driver with a proposal for taking an effective break.
刺激表示を行うことで、覚低走行や眠気が生じることを防ぎ、運転の安全性を高めることができる。 By performing the stimulation display, it is possible to prevent low drowsiness or drowsiness and to enhance the safety of driving.
１…バックライト、２…表示素子、３…リレー光学系、４…スクリーン板（拡散板）、５…接眼光学系、６ａ、６ｂ…ミラー、１０…自動車、１４…ダッシュボード、１６…フロントガラス、１００…ＨＵＤ DESCRIPTION OF SYMBOLS 1 ... Back light, 2 ... Display element, 3 ... Relay optical system, 4 ... Screen board (diffuser plate), 5 ... Eyepiece optical system, 6a, 6b ... Mirror, 10 ... Car, 14 ... Dashboard, 16 ... Front glass , 100 ... HUD
Claims (10)
前記運転者の属性情報を取得する属性情報取得部と、
前記属性情報に基づいて、運転者ごとに表示内容及び表示位置の少なくとも一つを決定する映像処理部と、
を備えることを特徴とするヘッドアップディスプレイ装置。 A head-up display device for projecting an image light onto a projection target disposed in front of a driver of a vehicle to display a virtual image,
An attribute information acquisition unit that acquires attribute information of the driver;
A video processing unit that determines at least one of display content and display position for each driver based on the attribute information;
A head-up display device comprising:
前記映像処理部は、前記被投影部材における前記映像光の反射領域の位置は変えることなく、当該反射領域内の前記虚像の表示位置を前記属性情報に基づいて変更する、
ことを特徴とするヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The image processing unit changes the display position of the virtual image in the reflection area based on the attribute information without changing the position of the reflection area of the image light in the projection target member.
Head-up display device characterized in that.
前記属性情報取得部は、前記運転者の年齢情報を前記属性情報として取得し、
前記映像処理部は、前記運転者の年齢が相対的に高い場合は前記被投影部材のうち前記運転者の視野中心付近を前記虚像の表示位置として用い、前記運転者の年齢が相対的に低い場合は前記被投影部材のうち前記運転者の視野周縁部を前記虚像の表示位置として用いる、
ことを特徴とするヘッドアップディスプレイ装置。 In the head-up display device according to claim 2,
The attribute information acquisition unit acquires age information of the driver as the attribute information.
When the driver's age is relatively high, the image processing unit uses the vicinity of the driver's visual field center of the projection target member as the display position of the virtual image, and the driver's age is relatively low. In this case, the visual field peripheral portion of the driver among the projection target members is used as the display position of the virtual image,
Head-up display device characterized in that.
前記属性情報取得部は、前記運転者の運転免許証に含まれる集積回路に記憶された運転者の属性情報を読み取る、
ことを特徴とするヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The attribute information acquisition unit reads the driver's attribute information stored in an integrated circuit included in the driver's license.
Head-up display device characterized in that.
前記車両の車速情報及び前記車両に搭載されたブレーキが操作されたことを示すブレーキ操作情報を取得する車両情報処理部と、
運転者を固有に識別する運転者識別情報に、その運転者の運転中に取得した車速情報及びブレーキ操作情報を関連付けた運転者特性情報を記憶する運転者特性情報記憶部と、
前記属性情報から前記運転者を固有に識別する運転者識別情報を読み出し、前記運転者特性情報記憶部から前記読み出した運転者識別情報に該当する運転者特性情報を読み出し、当該運転者の運転者特性を解析する運転者特性解析部と、を備え、
前記映像処理部は、前記運転者特性解析部の解析結果を基に前記虚像の表示開始タイミングを調整する、
ことを特徴とするヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
A vehicle information processing unit that acquires vehicle speed information of the vehicle and brake operation information indicating that a brake mounted on the vehicle is operated;
A driver characteristic information storage unit storing driver characteristic information in which vehicle speed information and brake operation information acquired during driving of the driver are associated with the driver identification information uniquely identifying the driver;
The driver identification information uniquely identifying the driver is read out from the attribute information, the driver characteristic information corresponding to the read driver identification information is read out from the driver characteristic information storage unit, and the driver of the driver concerned A driver characteristic analysis unit that analyzes the characteristics;
The video processing unit adjusts the display start timing of the virtual image based on the analysis result of the driver characteristic analysis unit.
Head-up display device characterized in that.
前記車両に搭載された自動運転制御装置から自車の進路変更情報を取得する車両情報処理部を更に備え、
前記映像処理部は、前記自車の進路変更情報を取得すると当該進路変更情報に基づいてこれから変更する進路を示す映像情報を生成する、
ことを特徴とするヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The vehicle further includes a vehicle information processing unit that acquires route change information of the vehicle from the automatic driving control device mounted on the vehicle.
When acquiring the course change information of the vehicle, the video processing unit generates video information indicating a course to be changed from now on the basis of the course change information.
Head-up display device characterized in that.
前記車両に搭載された車車間通信装置から、自車の周辺を走行する他車が自動運転中であることを示す自動運転通知情報を受信する通信情報処理部と、
前記他車の位置情報を取得する他車位置取得部と、を更に備え、
前記映像処理部は、前記自動運転通知情報に基づいて前記他車が自動運転中であることを示す注意喚起像を生成し、前記他車の位置情報に基づいて前記他車の実景に前記注意喚起像が重なるように表示位置を決定する、
ことを特徴とするヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
A communication information processing unit that receives, from an inter-vehicle communication device mounted on the vehicle, automatic driving notification information indicating that another vehicle traveling in the vicinity of the own vehicle is in automatic driving;
The other vehicle position acquisition unit for acquiring the position information of the other vehicle;
The image processing unit generates an alerting image indicating that the other vehicle is driving automatically based on the automatic driving notification information, and based on the position information of the other vehicle, the real scene of the other vehicle is alerted Determine the display position so that the evoked images overlap
Head-up display device characterized in that.
前記車両に搭載された外景画像を撮像する撮像装置から画像情報を取得し、その画像情報を解析して外部刺激量を算出する画像解析部を更に備え、
前記映像処理部は、前記外部刺激量が運転者に対して刺激画像の表示を行うか否かを判断するために定められたしきい値未満である場合に、前記刺激画像を表示させる、
ことを特徴とするヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The system further includes an image analysis unit that acquires image information from an imaging device that captures an outside scene image mounted on the vehicle and analyzes the image information to calculate an external stimulation amount.
The image processing unit displays the stimulation image when the amount of external stimulation is less than a threshold set to determine whether or not to display the stimulation image to the driver.
Head-up display device characterized in that.
前記車両の車速情報を取得する車両情報処理部を更に備え、
前記映像処理部は、前記車速情報に基づいて前記属性情報を取得してからの連続走行距離及び連続走行時間を算出し、前記連続走行距離または前記連続走行時間が前記運転者に対して刺激画像の表示を行うか否かを判断するために定められたしきい値以上である場合に前記刺激画像を表示する、
ことを特徴とするヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The vehicle further includes a vehicle information processing unit that acquires vehicle speed information of the vehicle.
The image processing unit calculates a continuous travel distance and a continuous travel time after acquiring the attribute information based on the vehicle speed information, and the continuous travel distance or the continuous travel time is a stimulation image for the driver. To display the stimulus image if it is equal to or greater than a threshold determined to determine whether to display
Head-up display device characterized in that.
前記運転者の属性情報を取得するステップと、
前記属性情報に基づいて、運転者ごとに表示内容及び表示位置の少なくとも一つを決定するステップと、
前記決定に従って映像光を投射するステップと、
を含むことを特徴とするヘッドアップディスプレイ装置の表示制御方法。 A display control method for a head-up display device, which projects a video light onto a projection target disposed in front of a driver of a vehicle to display a virtual image,
Acquiring the driver's attribute information;
Determining at least one of display content and display position for each driver based on the attribute information;
Projecting video light according to the determination;
And controlling the display of the head-up display device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016021185A JP2019059245A (en) | 2016-02-05 | 2016-02-05 | Head-up display device and display control method |
| PCT/JP2016/081886 WO2017134876A1 (en) | 2016-02-05 | 2016-10-27 | Head-up display device and display control method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016021185A JP2019059245A (en) | 2016-02-05 | 2016-02-05 | Head-up display device and display control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019059245A true JP2019059245A (en) | 2019-04-18 |
Family
ID=59499662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016021185A Pending JP2019059245A (en) | 2016-02-05 | 2016-02-05 | Head-up display device and display control method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2019059245A (en) |
| WO (1) | WO2017134876A1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019513618A (en) * | 2016-04-05 | 2019-05-30 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and apparatus for driving a vehicle |
| KR102199765B1 (en) * | 2019-07-25 | 2021-01-07 | 주식회사 디젠 | Apparatus and method for displaying head up display unit using driver data |
| CN113825669A (en) * | 2019-05-09 | 2021-12-21 | 株式会社小糸制作所 | Driving assistance system, vehicle, and vehicle lamp |
| US20220348078A1 (en) * | 2021-04-29 | 2022-11-03 | Toyota Research Institute, Inc. | Systems and methods for controlling a head-up display in a vehicle |
| EP4279316A1 (en) | 2022-05-17 | 2023-11-22 | Toyota Jidosha Kabushiki Kaisha | Apparatus and method for message notification |
| JP7484585B2 (en) | 2020-08-28 | 2024-05-16 | 株式会社デンソー | Vehicle information display device |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110657820A (en) * | 2017-01-12 | 2020-01-07 | 御眼视觉技术有限公司 | Navigation based on vehicle activity |
| EP3693783B1 (en) * | 2017-10-05 | 2023-06-28 | Konica Minolta, Inc. | Display device |
| CN111316339B (en) * | 2017-10-17 | 2022-03-11 | 本田技研工业株式会社 | Vehicle control device |
| JP7014822B2 (en) * | 2018-01-29 | 2022-02-01 | 京セラ株式会社 | Image processing equipment, image pickup equipment, moving objects and image processing methods |
| JP7087844B2 (en) * | 2018-08-31 | 2022-06-21 | トヨタ自動車株式会社 | Image processing equipment, image processing system and vehicle |
| JP7151397B2 (en) * | 2018-11-12 | 2022-10-12 | 株式会社リコー | Display device, display method, head-up display and wearable device |
| JP2020166479A (en) * | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | Drive support device |
| CN112947761B (en) * | 2021-03-26 | 2023-07-28 | 芜湖汽车前瞻技术研究院有限公司 | Virtual image position adjustment method, device and storage medium of AR-HUD system |
| CN114461281B (en) * | 2021-12-30 | 2023-08-22 | 惠州华阳通用智慧车载***开发有限公司 | Car machine mode switching method |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4200974B2 (en) * | 2005-03-01 | 2008-12-24 | 株式会社デンソー | Vehicle display device |
| DE602006018338D1 (en) * | 2005-09-07 | 2010-12-30 | Pioneer Corp | ARRANGEMENT AND METHOD FOR CALCULATING THE MONOTONY OF A SCENE |
| WO2011070783A1 (en) * | 2009-12-10 | 2011-06-16 | パナソニック株式会社 | Information display apparatus and information display method |
| JP2012086831A (en) * | 2010-09-22 | 2012-05-10 | Toshiba Corp | Automotive display apparatus |
| JP6198386B2 (en) * | 2012-12-04 | 2017-09-20 | 日野自動車株式会社 | Driving assistance device |
| JP6307859B2 (en) * | 2013-12-02 | 2018-04-11 | 日産自動車株式会社 | Information display device |
| JP6252316B2 (en) * | 2014-03-31 | 2017-12-27 | 株式会社デンソー | Display control device for vehicle |
-
2016
- 2016-02-05 JP JP2016021185A patent/JP2019059245A/en active Pending
- 2016-10-27 WO PCT/JP2016/081886 patent/WO2017134876A1/en active Application Filing
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019513618A (en) * | 2016-04-05 | 2019-05-30 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and apparatus for driving a vehicle |
| US10899347B2 (en) | 2016-04-05 | 2021-01-26 | Robert Bosch Gmbh | Method and device for operating a vehicle |
| CN113825669A (en) * | 2019-05-09 | 2021-12-21 | 株式会社小糸制作所 | Driving assistance system, vehicle, and vehicle lamp |
| US11951903B2 (en) | 2019-05-09 | 2024-04-09 | Koito Manufacturing Co., Ltd. | Driving assistance system |
| KR102199765B1 (en) * | 2019-07-25 | 2021-01-07 | 주식회사 디젠 | Apparatus and method for displaying head up display unit using driver data |
| JP7484585B2 (en) | 2020-08-28 | 2024-05-16 | 株式会社デンソー | Vehicle information display device |
| US20220348078A1 (en) * | 2021-04-29 | 2022-11-03 | Toyota Research Institute, Inc. | Systems and methods for controlling a head-up display in a vehicle |
| US11590845B2 (en) * | 2021-04-29 | 2023-02-28 | Toyota Research Institute, Inc. | Systems and methods for controlling a head-up display in a vehicle |
| EP4279316A1 (en) | 2022-05-17 | 2023-11-22 | Toyota Jidosha Kabushiki Kaisha | Apparatus and method for message notification |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017134876A1 (en) | 2017-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017134876A1 (en) | Head-up display device and display control method therefor | |
| EP3330148B1 (en) | Automatic driving system for vehicles | |
| US7737832B2 (en) | Assistance system for motor vehicles | |
| JP6705437B2 (en) | Inattentive judgment device, inattentive judgment method, and program for inattentive judgment | |
| JP4614005B2 (en) | Moving locus generator | |
| JP6142718B2 (en) | Driving support device and driving support method | |
| JP2019050005A (en) | Automatic driving controller | |
| JP5568345B2 (en) | Safety confirmation support device and program | |
| WO2019116832A1 (en) | Self-driving assistance device | |
| US11021103B2 (en) | Method for enriching a field of view of a driver of a transportation vehicle with additional information, device for use in an observer transportation vehicle, device for use in an object, and transportation vehicle | |
| JP6653439B2 (en) | Display control device, projection device, display control program, and recording medium | |
| US20150022331A1 (en) | Vehicle environment monitoring system | |
| CN110383361B (en) | Method and device for alerting a driver of a start at a light signal device | |
| JP5853897B2 (en) | Operation control device and operation control program | |
| JP2009151566A (en) | Display device for vehicle | |
| JP6398182B2 (en) | Signal information presentation device | |
| JP2000351337A (en) | Traveling body controller | |
| JP2021174436A (en) | Controller | |
| JP2021060676A (en) | System and program or the like | |
| JP6658358B2 (en) | Vehicle control device | |
| JP6471707B2 (en) | Driving teaching device | |
| JP6760231B2 (en) | Collision avoidance support device | |
| JP2021051604A (en) | Drive recorder, data recording method, and program | |
| JP7480801B2 (en) | Vehicle notification control device and vehicle notification control method | |
| JP7484959B2 (en) | Vehicle notification control device and vehicle notification control method |