JP6504074B2 - Vehicle display device - Google Patents
Vehicle display device Download PDFInfo
- Publication number
- JP6504074B2 JP6504074B2 JP2016027254A JP2016027254A JP6504074B2 JP 6504074 B2 JP6504074 B2 JP 6504074B2 JP 2016027254 A JP2016027254 A JP 2016027254A JP 2016027254 A JP2016027254 A JP 2016027254A JP 6504074 B2 JP6504074 B2 JP 6504074B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- driver
- time
- vehicle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 97
- 230000000007 visual effect Effects 0.000 claims description 38
- 230000004044 response Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 description 36
- 230000001149 cognitive effect Effects 0.000 description 29
- 238000005259 measurement Methods 0.000 description 7
- 201000004569 Blindness Diseases 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000881 depressing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、車両の運転を支援する情報を表示する車両用表示装置に関する。 The present invention relates to a display device for a vehicle that displays information for supporting the driving of a vehicle.
従来、車両を運転している運転者に対して運転支援に関する情報を表示する装置が知られている（例えば、特許文献１）。
特許文献１に記載の装置は、車両上にステレオカメラを設置し、このステレオカメラで撮影した車両前方の画像から信号機とその状態（表示色）、及び、信号機と当該車両との距離を認識する。そしてこの装置は、信号機が赤色で、信号機と当該車両との距離が一定値以内で、かつ、一定速度以上の場合に当該車両の運転者に対し音声や画像により警報を出力する。
BACKGROUND Conventionally, there has been known an apparatus for displaying information related to driving assistance to a driver driving a vehicle (for example, Patent Document 1).
The device described in Patent Document 1 installs a stereo camera on a vehicle, and recognizes the traffic light and its state (display color) and the distance between the traffic light and the vehicle from an image in front of the vehicle captured by the stereo camera . Then, this device outputs a warning by voice or image to the driver of the vehicle when the traffic light is red, the distance between the traffic light and the vehicle is less than a certain value, and more than a certain speed.
特許文献１に記載の装置によれば、赤信号に対して、一定距離以内、かつ、一定速度以上であるとき、例えば、車両の走行中に運転者が赤信号を見落としたようなときに警報が出力され、運転者に注意を喚起することができる。 According to the device described in Patent Document 1, when the red light is within a certain distance and at a certain speed or more, for example, when the driver overlooks the red light while the vehicle is traveling, an alarm is issued. Can be output to alert the driver.
しかしながら、赤信号に対する車両の距離及び速度の関係に基づいて行われる運転支援は、運転者が赤信号を認識していたとしても、条件の成立に基づきいわば自動的に警報が発生されるため、運転者にとっては逆にわずらわしいと感ずることもあった。 However, in the driving assistance performed based on the relationship between the distance and the speed of the vehicle to the red light, even if the driver recognizes the red light, the warning is automatically generated as it is, based on the satisfaction of the condition. On the other hand, sometimes the driver felt that it was troublesome.
なお、赤信号に対する運転支援に限らず、車両の運転者に対して情報提供が行われるその他の運転支援や操作支援等にあってもこうした課題は同様に生じる。
本発明は、このような実情に鑑みなされたものであって、その目的は、運転者のわずらわしさを抑制しつつ、効果的に支援情報を表示することができる車両用表示装置を提供することにある。
Such a problem arises not only in driving assistance for red signals but also in other driving assistance and operation assistance in which information is provided to the driver of the vehicle.
The present invention has been made in view of such circumstances, and it is an object of the present invention to provide a display device for a vehicle capable of effectively displaying support information while suppressing the driver's troublesomeness. It is in.
以下、上記課題を解決するための手段及びその作用効果を記載する。
上記目的を達成するために車両用表示装置は、ヘッドアップディスプレイ表示によって車両の運転者へ提供する情報を表示する車両用表示装置であって、運転者の有効視野を検出する有効視野検出部と、前記運転者へ提供する情報を表示した位置と前記運転者の有効視野の位置とが一致することに基づいて前記表示した情報が前記運転者に認識されたと推定する認識推定部と、前記運転者へ提供する情報に対応する操作が行われたことを検出する操作検出部と、前記運転者へ提供する情報を表示してから同情報に対応する操作が行われるまでの時間が第１の基準時間を超えた第１状態、及び、前記表示した情報が運転者に認識されたと推定されてから前記表示に対応する操作が行われるまでの時間が前記第１の基準時間よりも短い第２の基準時間を超えた第２状態の少なくとも一方の状態を検出する応答時間検出部と、前記応答時間検出部で第１状態又は第２状態が検出されたことに対応して前記表示した情報に対応する表示を前記運転者の有効視野に強調表示する表示強調部と、を備えることを特徴とする。
Hereinafter, the means for solving the above-mentioned subject and its operation effect are described.
In order to achieve the above object, a display device for a vehicle is a display device for a vehicle that displays information to be provided to a driver of the vehicle by a head-up display, and an effective field detection unit that detects an effective field of view of the driver A recognition / estimation unit that estimates that the displayed information is recognized by the driver based on the position where the information to be provided to the driver is displayed matches the position of the effective visual field of the driver; An operation detection unit for detecting that an operation corresponding to the information provided to the user has been performed, and a time from when the information provided to the driver is displayed until the operation corresponding to the information is performed A first state exceeding a reference time, and a second state in which a time from when the displayed information is recognized to be recognized by the driver until when an operation corresponding to the display is performed is shorter than the first reference time; Standards of A response time detection unit that detects at least one state of the second state beyond the interval, and the displayed information corresponding to the detection of the first state or the second state by the response time detection unit And a display emphasizing unit for highlighting a display on the driver's effective field of view.
このような構成によれば、表示した情報について運転者により認識されたか否かが推定される。そして、認識されたと推定されたものの、実際には表示された情報を運転者が認識していない可能性が高いとき、その情報が運転者の有効視野に強調表示される。これにより、運転者自身が認識していない情報を運転者に認識させることができるようになる。一方、運転者に認識されている情報は強調表示されないため、強調表示等で運転者にわずらわしさを感じさせるおそれもない。なお、強調表示の一態様は、通常の表示位置にある情報を運転者の有効視野に表示させることである。 According to such a configuration, it is estimated whether or not the displayed information has been recognized by the driver. Then, when it is highly probable that the driver has not recognized the displayed information, although it is presumed that the information has been recognized, the information is highlighted in the driver's effective field of view. As a result, the driver can be made to recognize information that the driver himself does not recognize. On the other hand, since the information recognized by the driver is not highlighted, there is no risk of causing the driver to feel bothersome by highlighting or the like. Note that one aspect of the highlighting is to display information in a normal display position in the driver's effective field of view.
図１〜図６を参照して、車両用表示装置を車両に搭載して具体化した一実施形態について説明する。
図１、図２及び図４に示す車両１は乗用車であり、運転者によるアクセルの操作、ブレーキの操作、及びステアリングの操作等を通じて運転される。車両１は、走行路２において、自身の進行方向（前方）を信号機３に向けて走行、もしくは停止している。
An embodiment in which a vehicle display device is mounted on a vehicle and embodied will be described with reference to FIGS. 1 to 6.
The vehicle 1 shown in FIG. 1, FIG. 2 and FIG. 4 is a passenger car, and is driven through operation of an accelerator by a driver, operation of a brake, operation of a steering, and the like. The vehicle 1 travels or stops on the traveling path 2 with its own traveling direction (forward) directed to the traffic light 3.
図１〜図３を参照して、本実施形態の車両用表示装置によって表示される運転操作等を支援する表示の表示態様について説明する。
図１に示す車両１は、車両１の前方の外部環境（車外環境）を撮影する外部カメラ５を備える。外部カメラ５は、車両１の前方の撮影範囲５Ａを含む画像を撮影する。撮影範囲５Ａは、車両１の前方方向に近傍から遠方までの距離を有するが、図示の便宜上、車両１から所定の距離にあって車両１に対向する平面であるものとして説明する。車両１は、外部カメラ５が撮影した画像を画像処理し、この画像から運転支援に必要な情報として信号機３を抽出する。車両１では、抽出された信号機３が、前方の外部環境に重なるように画像を表示させるヘッドアップディスプレイ（ＨＵＤ）を介して、運転支援の情報である信号表示６Ａとして表示される。このとき、運転者の有効視野５Ｂには信号機３そのものである信号機像３Ａが含まれていることから、運転者は信号機像３Ａを認識することができる可能性が高い。そこで、車両１は、撮影範囲５Ａであって信号機像３Ａとは異なる位置に、過剰とならない程度で、確認的に信号表示６Ａを表示させる。
With reference to FIGS. 1 to 3, the display mode of the display for supporting the driving operation and the like displayed by the display device for a vehicle of the present embodiment will be described.
A vehicle 1 shown in FIG. 1 includes an external camera 5 that captures an external environment (external environment) in front of the vehicle 1. The external camera 5 captures an image including a shooting range 5A in front of the vehicle 1. Although the imaging range 5A has a distance from near to far in the forward direction of the vehicle 1, for convenience of illustration, the imaging range 5A will be described as a plane that is at a predetermined distance from the vehicle 1 and faces the vehicle 1. The vehicle 1 performs image processing on the image captured by the external camera 5 and extracts the traffic light 3 from the image as information necessary for driving assistance. In the vehicle 1, the extracted traffic signal 3 is displayed as a signal display 6A, which is information of driving assistance, via a head-up display (HUD) that displays an image so as to overlap the front external environment. At this time, since the traffic light image 3A which is the traffic light 3 itself is included in the driver's effective visual field 5B, the driver is highly likely to be able to recognize the traffic light image 3A. Therefore, the vehicle 1 causes the signal display 6A to be displayed in a confirmation range of the imaging range 5A and at a position different from the traffic light image 3A to the extent that the vehicle image does not become excessive.
これに対し、図２に示す車両１は、進行方向の遮蔽物や車両１の向きの変化により運転者の有効視野５Ｂから信号機像３Ａが外れた場合を示している。このとき、車両１では、運転者の運転を積極的に支援するため、抽出されていた信号機３をＨＵＤを介して運転者の有効視野５Ｂに強調的な表示である信号表示６Ｂとして表示させる。なお、本実施形態では、強調的な表示である信号表示６Ｂは、通常の表示位置に表示する確認的な信号表示６Ａが示す情報を運転者の有効視野５Ｂに表示させたものであり、確認的な信号表示６Ａと同じ表示態様でも、相違する表示態様、例えば目立つ表示態様でもよい。また、強調的な表示が行われることに応じて確認的な信号表示６Ａを表示させたままでもよいし、表示を消してもよい。 On the other hand, the vehicle 1 shown in FIG. 2 shows the case where the traffic light image 3A deviates from the driver's effective visual field 5B due to the change of the shield in the traveling direction or the direction of the vehicle 1. At this time, in the vehicle 1, in order to actively support the driver's driving, the extracted traffic signal 3 is displayed as a signal display 6B which is a highlighted display in the driver's effective field of view 5B via the HUD. In the present embodiment, the signal display 6B, which is an emphasized display, is the information indicated by the confirmational signal display 6A displayed in the normal display position displayed in the driver's effective visual field 5B, and confirmation The display mode may be the same as the typical signal display 6A, or may be a different display mode, such as a prominent display mode. In addition, the confirmation signal display 6A may be displayed in response to the emphasizing display being performed, or the display may be turned off.
本実施形態では、事前に運転者が信号表示６Ａ，６Ｂの表示を認識したと推定されたとき、その後、信号機像３Ａが有効視野５Ｂから外れたとしても、確認的な信号表示６Ａの表示が維持され、有効視野５Ｂへの強調的な信号表示６Ｂの表示は行われない。このように、運転者が信号機３を認識している場合、有効視野５Ｂに強調的な信号表示６Ｂは表示されないため、運転者が強調表示に起因するわずらわしさを感じることはない。一方、事前に運転者が信号表示６Ａ，６Ｂを認識したと推定されたものの、実際には認識されていないときには、その後、信号機像３Ａが有効視野５Ｂから外れることに応じて、その情報に対応する強調的な信号表示６Ｂが運転者の有効視野５Ｂに表示される。このように、運転者が信号機３を実際には認識していない場合には、有効視野５Ｂに強調的な信号表示６Ｂが表示されるため、運転者にとって適切な運転支援が提供される。なお、本実施形態では、強調表示の一態様は、通常の表示位置にある情報を運転者の有効視野に表示させることである。 In the present embodiment, when it is estimated that the driver has recognized the display of the signal display 6A, 6B in advance, then, even if the traffic light image 3A is out of the effective field of view 5B, the display of the confirmatory signal display 6A is It is maintained, and the display of the emphasizing signal display 6B to the effective field of view 5B is not performed. As described above, when the driver recognizes the traffic light 3, the emphasizing signal display 6B is not displayed in the effective field of view 5B, so the driver does not feel bother due to the highlighting. On the other hand, although it has been estimated that the driver has recognized the signal displays 6A and 6B in advance, if the driver actually recognizes the signal displays 6A and 6B, then, in response to the traffic light image 3A falling out of the effective field of view 5B, The emphasizing signal display 6B to be displayed is displayed in the driver's effective field of view 5B. As described above, when the driver does not actually recognize the traffic light 3, the signal display 6B is displayed in the effective field of view 5B, providing appropriate driving support to the driver. In the present embodiment, one aspect of the highlighting is to display information in a normal display position in the driver's effective field of view.
図３を参照して、有効視野５Ｂの一例について説明する。ここでは地面に垂直に立った人が水平を向いていることを前提として説明する。図３（ａ）において左側を眼の位置とすると、水平方向における有効視野角は３０度（左右に１５度ずつ）である。よって視点までの長さが距離Ｌであるとすると、水平方向における有効視野５Ｂの幅は「２Ｌ×ｔａｎ（３０°／２）」である。垂直方向における有効視野角は２０度（上下に１０度ずつ）である。よって視点までの長さが距離Ｌであるとすると、垂直方向における有効視野の高さは「２Ｌ×ｔａｎ（２０°／２）」である。すなわち、図３（ｂ）に示すように、視点までの長さが距離Ｌであるとき、有効視野として構成される矩形（視界）は、高さと幅の比が、つまり「高さ：幅」が、「２Ｌ×ｔａｎ（２０°／２）：２Ｌ×ｔａｎ（３０°／２）」で約「１：１．５２」になる。 An example of the effective field of view 5B will be described with reference to FIG. Here, it is assumed that a person standing vertically on the ground is facing horizontally. Assuming that the left side is the position of the eye in FIG. 3A, the effective viewing angle in the horizontal direction is 30 degrees (15 degrees on each side). Therefore, assuming that the length to the viewpoint is the distance L, the width of the effective field of view 5B in the horizontal direction is “2L × tan (30 ° / 2)”. The effective viewing angle in the vertical direction is 20 degrees (10 degrees up and down). Therefore, assuming that the length to the viewpoint is the distance L, the height of the effective field of view in the vertical direction is “2L × tan (20 ° / 2)”. That is, as shown in FIG. 3B, when the length to the viewpoint is the distance L, the rectangle (field of view) configured as the effective field of view has a ratio of height to width, that is, “height: width” Is approximately “1: 1.52” for “2L × tan (20 ° / 2): 2L × tan (30 ° / 2)”.
なお有効視野５Ｂは、視野のうちで情報受容能力に優れる範囲であるが、情報受容能力に優れる範囲は個人差があることから、水平方向及び垂直方向の各有効視野角についても個人差がある。 In addition, although the effective visual field 5B is a range which is excellent in information acceptance ability among visual fields, since the range excellent in information acceptability has individual differences, there are individual differences also in each horizontal and vertical effective viewing angles. .
図４を参照して、本実施形態の車両用表示装置の構成について説明する。
まず、図１〜図４を参照して、構成の概略を説明する。
本実施形態の車両用表示装置は、車両１のフロントウィンドウ７に運転者へ提供する情報、例えば信号表示６Ａを表示する。車両用表示装置は、運転者の有効視野５Ｂを検出する有効視野検出部１１１と、運転者へ提供する信号表示６Ａを表示した位置と運転者の有効視野５Ｂの位置とが一致することに基づいて表示した信号表示６Ａが運転者に認識されたと推定する認識推定部１１２を備える。また、車両用表示装置は、運転者へ提供する信号表示６Ａに対応する操作が行われたことを検出する操作検出部１１０を備える。また、車両用表示装置は、信号表示６Ａに対応する操作が行われるまでの時間に関する状態である第１状態及び第２状態の少なくとも一方の状態を検出する応答時間検出部１２０を備える。ここで第１状態は、信号表示６Ａを表示してから同信号表示６Ａに対応する操作が行われるまでの時間が第１の基準時間を超えた状態であり、第２状態は、表示した信号表示６Ａが運転者に認識されたと推定されてから表示に対応する操作が行われるまでの時間が第１の基準時間よりも短い第２の基準時間を超えた状態である。また、車両用表示装置は、応答時間検出部１２０で第１状態又は第２状態が検出されたことに対応して信号表示６Ａに対応する強調的な信号表示６Ｂを運転者の有効視野５Ｂに表示する表示強調部１４１を備える。
The configuration of the display device for a vehicle of the present embodiment will be described with reference to FIG.
First, the outline of the configuration will be described with reference to FIGS. 1 to 4.
The display device for a vehicle according to the present embodiment displays information to be provided to the driver on the front window 7 of the vehicle 1, for example, a signal display 6A. The vehicle display device is based on the fact that the position at which the effective visual field detection unit 111 for detecting the effective visual field 5B of the driver and the signal display 6A provided to the driver are displayed matches the position of the effective visual field 5B of the driver. A recognition / estimation unit 112 is provided which estimates that the signal display 6A displayed by the driver is recognized. The vehicle display device also includes an operation detection unit 110 that detects that the operation corresponding to the signal display 6A provided to the driver has been performed. The vehicle display device further includes a response time detection unit 120 that detects at least one of a first state and a second state, which are states related to the time until the operation corresponding to the signal display 6A is performed. Here, in the first state, the time from when the signal display 6A is displayed to when the operation corresponding to the signal display 6A is performed exceeds the first reference time, and in the second state, the displayed signal The time from when it is estimated that the display 6A is recognized by the driver to when the operation corresponding to the display is performed exceeds the second reference time which is shorter than the first reference time. Further, the display device for vehicle sets the emphasizing signal display 6B corresponding to the signal display 6A to the driver's effective field of view 5B in response to the detection of the first state or the second state by the response time detection unit 120. A display emphasizing unit 141 to display is provided.
このような、車両用表示装置についてさらに詳しく説明する。
車両１は、上記外部カメラ５と、上記フロントウィンドウ７と、運転支援に関する処理を行う運転支援装置１０と、運転者の視線を検出する視線検出カメラ１１と、ＨＵＤ用の画像を出力する表示出力部１４と、音声を出力する音声出力部１５とを備える。
Such a display device for a vehicle will be described in more detail.
The vehicle 1 includes the external camera 5, the front window 7, the driving support device 10 that performs processing related to driving assistance, the gaze detection camera 11 that detects the driver's gaze, and the display output that outputs the image for HUD A unit 14 and an audio output unit 15 for outputting audio.
外部カメラ５は、車両前方の外部環境を撮影するカメラであって、ＣＣＤカメラ等によって構成されている。外部カメラ５は、撮影した画像を運転支援装置１０に出力する。
フロントウィンドウ７は、車両１の前側に設けられている窓であって、運転者は当該フロントウィンドウ７を介して外部環境を目視するとともに、表示出力部１４から出力されるＨＵＤ用の画像や文字が投影される。フロントウィンドウ７は、ＨＵＤ用の画像や文字が良好に投影されるように表面処理されていてもよい。以下では、表示出力部１４から出力されるＨＵＤ用の画像や文字を「ＨＵＤ表示」と記す。
The external camera 5 is a camera for capturing an external environment in front of the vehicle, and is configured of a CCD camera or the like. The external camera 5 outputs the photographed image to the driving support device 10.
The front window 7 is a window provided on the front side of the vehicle 1, and the driver visually observes the external environment through the front window 7 and images and characters for HUD output from the display output unit 14 Is projected. The front window 7 may be surface-treated so that images and characters for HUD can be projected well. Hereinafter, the image or character for HUD output from the display output unit 14 will be referred to as “HUD display”.
視線検出カメラ１１は、運転者の眼球の向きから運転者の視線を検出するカメラである。視線検出カメラ１１は、視線の検出結果を運転支援装置１０に出力する。視線検出カメラ１１は、左右の眼球の向きから焦点までの距離Ｌ（図３参照）を検出してもよい。 The gaze detection camera 11 is a camera that detects the driver's gaze from the direction of the driver's eye. The gaze detection camera 11 outputs the detection result of the gaze to the driving support device 10. The gaze detection camera 11 may detect the distance L (see FIG. 3) from the direction of the left and right eyeballs to the focal point.
表示出力部１４は、ＨＵＤ用の画像等の投影機であって、運転支援装置１０から受けた指示に応じて、運転者に提供するＨＵＤ表示をフロントウィンドウ７に向けて出力する。ところで、フロントウィンドウ７に投影されるＨＵＤ表示は、フロントウィンドウ７では結像せず、その表示は、運転者には虚像として認識される。 The display output unit 14 is a projector such as an image for HUD, and outputs a HUD display provided to the driver to the front window 7 in accordance with an instruction received from the driving support device 10. By the way, the HUD display projected on the front window 7 does not form an image in the front window 7, and the display is recognized as a virtual image by the driver.
音声出力部１５は、スピーカ等であって、運転支援装置１０から受けた指示に応じて、運転者に提供する音声を出力する。
運転支援装置１０は、運転者に提供する運転支援情報を検知するとともに、検知した運転支援情報の提供の可否を決定する。運転支援装置１０は、演算部や記憶部を有するマイクロコンピュータを含んで構成されている。よって、運転支援装置１０は、記憶部１３０に保持されている制御用プログラムや各種のパラメータを演算部に読み込み、実行処理することで、所定の処理を行い所定の機能を提供する。本実施形態では、運転支援に関する情報の提供を行う。
The voice output unit 15 is a speaker or the like, and outputs a voice to be provided to the driver according to an instruction received from the driving support device 10.
The driving support device 10 detects driving support information to be provided to the driver, and determines whether to provide the detected driving support information. The driving support device 10 is configured to include a microcomputer having an arithmetic unit and a storage unit. Therefore, the driving support device 10 reads a control program and various parameters held in the storage unit 130 into the computing unit, and performs an execution process to perform a predetermined process and provide a predetermined function. In the present embodiment, information on driving support is provided.
運転支援装置１０は、車両１の操作情報等を取得する車両データ取得処理部１００と、外部カメラ５の撮影した画像を取得する前景データ取得処理部１０１と、視線検出カメラ１１の検出情報取得する視線データ取得処理部１０２とを備える。また、運転支援装置１０は、車両１の操作内容を検出する操作検出部１１０と、運転者の有効視野を検出する有効視野検出部１１１と、ＨＵＤ表示が運転者に認識されたことを推定する認識推定部１１２とを備える。さらに、運転支援装置１０は、車両１の前方画像から信号機や道路標識を検出する信号・標識検出処理部１１３と、信号機や道路標識が有効視野外になったことを検出する信号・標識範囲外検出処理部１１４とを備える。また、運転支援装置１０は、ＨＵＤ表示の支援内容に対応する操作に要した時間を検出する応答時間検出部１２０と、運転支援情報の提供の要否を判定する支援判定部１２１とを備える。さらに、対応操作に要する時間の検出等を記憶する記憶部１３０と、運転者へ情報を提供するための処理を行う表示音声処理部１４０と、ＨＵＤ表示の支援内容に対応する操作に要する時間に関する学習等を行う認知操作学習処理部１４３とを備える。 The driving support apparatus 10 acquires vehicle information acquisition processing unit 100 that acquires operation information and the like of vehicle 1, foreground data acquisition processing unit 101 that acquires an image captured by external camera 5, and detection information of gaze detection camera 11. A gaze data acquisition processing unit 102 is provided. In addition, the driving support device 10 estimates that the driver recognizes the operation detection unit 110 that detects the operation content of the vehicle 1, the effective visual field detection unit 111 that detects the effective visual field of the driver, and the HUD display. And a recognition estimation unit 112. Furthermore, the driving support device 10 detects the traffic light and the road sign from the front image of the vehicle 1 and the signal detection processing unit 113, and detects that the traffic light and the road sign are out of the effective visual field. And a detection processing unit 114. In addition, the driving support apparatus 10 includes a response time detection unit 120 that detects a time required for an operation corresponding to the support content of the HUD display, and a support determination unit 121 that determines the necessity of providing the driving support information. Furthermore, it relates to the time required for the operation corresponding to the support content of the HUD display, the storage unit 130 for storing the detection of the time required for the response operation, etc., the processing for providing information to the driver, And a cognitive operation learning processing unit 143 that performs learning and the like.
このうち、車両データ取得処理部１００は、車両内の各所に設けられたセンサーや、各種の電子制御装置（ＥＣＵ）から車両１の状態等を示す車両データを取得する。例えば、ブレーキペダルセンサに関するデータ、アクセル開度に関するデータ、エンジンに関するデータ等を取得する（車両用データ取得処理）。車両データ取得処理部１００は、取得した車両データ等を操作検出部１１０へ出力する。 Among them, the vehicle data acquisition processing unit 100 acquires vehicle data indicating the state of the vehicle 1 and the like from sensors provided at various places in the vehicle and various electronic control units (ECUs). For example, data on the brake pedal sensor, data on the accelerator opening degree, data on the engine, etc. are acquired (data acquisition process for vehicle). The vehicle data acquisition processing unit 100 outputs the acquired vehicle data and the like to the operation detection unit 110.
前景データ取得処理部１０１は、外部カメラ５の撮影した車両前方等の画像を取得する（前景データ取得処理）。また、前景データ取得処理部１０１は、取得した画像に、信号・標識検出のための前処理等の所定の画像処理を施して、信号・標識検出処理部１１３に出力する。 The foreground data acquisition processing unit 101 acquires an image of the front of the vehicle, etc. captured by the external camera 5 (foreground data acquisition processing). In addition, the foreground data acquisition processing unit 101 subjects the acquired image to predetermined image processing such as preprocessing for signal / label detection, and outputs the image to the signal / label detection processing unit 113.
視線データ取得処理部１０２は、視線検出カメラ１１から視線方向や視点の情報（視線データ）を取得する（視線データ取得処理）。視線データ取得処理部１０２は、これら取得した情報を有効視野検出部１１１に出力する。 The gaze data acquisition processing unit 102 acquires information on gaze direction and viewpoint (gaze data) from the gaze detection camera 11 (gaze data acquisition processing). The gaze data acquisition processing unit 102 outputs the acquired information to the effective visual field detection unit 111.
操作検出部１１０は、車両データ取得処理部１００から取得した車両データに基づいて車両１の操作内容を検出する（操作検出処理）。操作検出部１１０は、車両データを確認して得られた状態に応じて、対応する車両操作があったと検出する。例えば、ブレーキ信号が「ＯＮ」になった状態に応じてブレーキが踏まれた操作を検出し、アクセル開度の値が小さくなった状態に応じてアクセルが緩められた操作を検出し、シフトダウンが行われた状態に応じてエンジンブレーキが使用されたことを検出する。また、検出した操作に関連付けるべく、カーナビゲーションシステム（図示略）等と連携して位置情報や時間を取得する。 The operation detection unit 110 detects the operation content of the vehicle 1 based on the vehicle data acquired from the vehicle data acquisition processing unit 100 (operation detection processing). The operation detection unit 110 detects that there is a corresponding vehicle operation according to the state obtained by checking the vehicle data. For example, an operation in which the brake is depressed is detected according to the state in which the brake signal is "ON", and an operation in which the accelerator is released according to the state in which the value of the accelerator opening becomes smaller is detected. Detects that the engine brake has been used according to the condition in which Also, in order to associate with the detected operation, position information and time are acquired in cooperation with a car navigation system (not shown) or the like.
また、操作検出部１１０は、運転者を特定する個人ＩＤと車両データや検出した操作等を関連付けて記憶させるようにしてもよい。よって、操作検出部１１０は、運転者を特定するための認証機能を有していてもよいし、個人ＩＤを認証機能から取得してもよい。 In addition, the operation detection unit 110 may associate and store the personal ID for identifying the driver, the vehicle data, the detected operation, and the like. Therefore, the operation detection unit 110 may have an authentication function for specifying a driver, or may acquire a personal ID from the authentication function.
さらに、操作検出部１１０は、表示音声処理部１４０からＨＵＤ表示の内容を取得して、これに対応する操作が行われたことを検出し、検出した結果を応答時間検出部１２０へ出力する。 Furthermore, the operation detection unit 110 acquires the content of the HUD display from the display audio processing unit 140, detects that the operation corresponding to this has been performed, and outputs the detection result to the response time detection unit 120.
有効視野検出部１１１は、視線データ取得処理部１０２から取得した運転者の視線や視点の情報（視線データ）に基づいて運転者が見ている範囲である有効視野５Ｂ（図１参照）を検出する（視線範囲検出処理）。 The effective visual field detection unit 111 detects an effective visual field 5B (see FIG. 1), which is a range viewed by the driver, based on the information (gaze data) of the driver's gaze or viewpoint acquired from the gaze data acquisition processing unit 102. Yes (gaze range detection processing).
認識推定部１１２は、有効視野検出部１１１から有効視野５Ｂを取得し、表示音声処理部１４０からＨＵＤ表示の位置を取得する。認識推定部１１２は、ＨＵＤ表示の位置に有効視野５Ｂが置かれた時間の長さに基づいて運転者によるＨＵＤ表示の認識を推定する（ＨＵＤ認識推定処理）。ＨＵＤ認識推定処理では、例えば信号機や標識としてＨＵＤ表示されている位置（領域）が有効視野５Ｂにあるか否かを確認する。そして、ＨＵＤ表示の領域が有効視野５Ｂにある場合、ＨＵＤ表示を認識したと推定し、ＨＵＤ表示の領域が有効視野５Ｂにない場合、ＨＵＤ表示を認識していないと推定する。認識推定部１１２は、ＨＵＤ表示に対する運転者の認識の推定結果を応答時間検出部１２０に出力する。 The recognition estimation unit 112 acquires the effective visual field 5B from the effective visual field detection unit 111, and acquires the position of HUD display from the display audio processing unit 140. The recognition estimation unit 112 estimates the recognition of the HUD display by the driver based on the length of time that the effective visual field 5B is placed at the position of the HUD display (HUD recognition estimation processing). In the HUD recognition estimation process, for example, it is confirmed whether a position (region) displayed as an HUD as a traffic light or a sign is in the effective visual field 5B. Then, when the area of the HUD display is in the effective field of view 5B, it is estimated that the HUD display is recognized, and when the area of the HUD display is not in the effective field of view 5B, it is estimated that the HUD display is not recognized. The recognition estimation unit 112 outputs the estimation result of the driver's recognition of the HUD display to the response time detection unit 120.
認識推定部１１２で運転者によるＨＵＤ表示の認識が推定されたとき、応答時間検出部１２０では現在の情報提示認知時間Ｄ２ｃの測定を終了する。また、認知操作時間を計測するために現在の認知操作時間Ｄ３ｃの測定を開始する。 When the recognition of the HUD display by the driver is estimated by the recognition / estimation unit 112, the response time detection unit 120 ends the measurement of the current information presentation recognition time D2c. Also, measurement of the current cognitive operation time D3c is started in order to measure the cognitive operation time.
信号・標識検出処理部１１３は、前景データ取得処理部１０１から取得した車両１の前方画像から信号機や標識を検出する（信号・標識検出処理）。信号・標識検出処理では、前景データ取得処理で取得した車両１の前方画像から信号機３及びその灯色や、道路標識を検出する。信号・標識検出処理部１１３は、信号機等の検出結果を信号・標識範囲外検出処理部１１４や支援判定部１２１に出力する。 The signal / label detection processing unit 113 detects a traffic light or a label from the front image of the vehicle 1 acquired from the foreground data acquisition processing unit 101 (signal / label detection processing). In the signal / marker detection process, the traffic light 3 and its lamp color and a road sign are detected from the front image of the vehicle 1 acquired by the foreground data acquisition process. The signal / label detection processing unit 113 outputs the detection result of the traffic light or the like to the signal / label out-of-range detection processing unit 114 or the support determination unit 121.
信号・標識範囲外検出処理部１１４は、有効視野検出部１１１から有効視野５Ｂを取得するとともに、信号・標識検出処理部１１３から信号機や標識の検出結果を取得し、当該取得した信号機や標識が有効視野５Ｂの外に出たことを検出する（信号・標識範囲外検出処理）。信号・標識範囲外検出処理部１１４は、信号・標識検出処理部１１３から取得した、前回の信号機や標識と今回の信号機や標識との比較に基づいて信号機や標識が有効視野５Ｂの外に出たことを検出する。信号・標識範囲外検出処理部１１４は、信号機や標識が有効視野５Ｂの外に出たことの検出結果を応答時間検出部１２０や支援判定部１２１に出力する。 The signal / tag out-of-range detection processing unit 114 acquires the effective visual field 5B from the effective visual field detection unit 111, and acquires the detection result of the traffic light or the sign from the signal / label detection processing unit 113. It detects that it has come out of the effective field of view 5B (signal and label outside detection process). The signal / tag out-of-range detection processing unit 114 causes the traffic light or the sign to go out of the effective field of view 5 B based on the comparison between the previous traffic light or the sign and the present traffic light or the sign acquired from the signal / tag detection processing unit 113. To detect The signal / tag out-of-range detection processing unit 114 outputs, to the response time detection unit 120 or the support determination unit 121, the detection result that the traffic light or the label has come out of the effective visual field 5B.
応答時間検出部１２０は、操作検出部１１０から車両１の操作内容を取得し、認識推定部１１２から運転者がＨＵＤ表示を認識したか否かの推定結果を取得し、信号・標識範囲外検出処理部１１４から信号機や標識が有効視野５Ｂの外に出たことを取得し、表示音声処理部１４０からＨＵＤ表示のタイミングを取得する。こうして取得した各情報に基づいて、応答時間検出部１２０は、ＨＵＤ表示の内容と、それに対応する操作に要した時間を検出する。 The response time detection unit 120 acquires the operation content of the vehicle 1 from the operation detection unit 110, acquires an estimation result as to whether the driver has recognized the HUD display from the recognition estimation unit 112, and detects out of signal / label range The fact that the traffic light or the sign has come out of the effective field of view 5B is acquired from the processing unit 114, and the timing of HUD display is acquired from the display audio processing unit 140. Based on the pieces of information acquired in this manner, the response time detection unit 120 detects the content of the HUD display and the time required for the operation corresponding thereto.
応答時間検出部１２０で算出される時間、及びこの時間の算出に用いられるタイミングについて説明する。まず、信号機や標識が有効視野５Ｂの外に出た後、ＨＵＤ表示が出力されてから、このＨＵＤ表示の内容に対応する運転操作が行われるまでの間に３つの異なるタイミング、第１〜第３タイミングｔ１〜ｔ３が定義される。第１タイミングｔ１は、運転支援に関する情報がＨＵＤ表示として出力されるタイミングである。第２タイミングｔ２は、第１タイミングｔ１で出力されたＨＵＤ表示が運転者に認識されたと推定したタイミングである。第３タイミングｔ３は、ＨＵＤ表示の内容に対応する運転操作が行われたタイミングである。そして、第１タイミングｔ１から第３タイミングｔ３までの期間を情報提示操作時間Ｄ１、第１タイミングｔ１から第２タイミングｔ２までの期間を情報提示認知時間Ｄ２、第２タイミングｔ２から第３タイミングｔ３までの期間を認知操作時間Ｄ３と定義する。つまり、情報提示操作時間Ｄ１は、情報提示認知時間Ｄ２と認知操作時間Ｄ３とが足された時間に等しい。よって、情報提示操作時間Ｄ１は、ＨＵＤ表示が出力されてから車両１が操作されるまでの時間であり、情報提示認知時間Ｄ２は、ＨＵＤ表示が出力されてからその表示が認識されるまでの時間であり、認知操作時間Ｄ３は、ＨＵＤ表示が認識されてから車両１が操作されるまでの時間である。さらに、上記各時間は、平均値と現在値とが定義される。よって、平均値として、平均の情報提示操作時間Ｄ１ａと、平均の情報提示認知時間Ｄ２ａと、平均の認知操作時間Ｄ３ａとが定義される。なお本実施形態では、平均の情報提示操作時間Ｄ１ａが第１の基準時間であり、平均の認知操作時間Ｄ３ａが第２の基準時間である。また、現在値として、現在の情報提示操作時間Ｄ１ｃと、現在の情報提示認知時間Ｄ２ｃと、現在の認知操作時間Ｄ３ｃとが定義される。ここで平均値は、過去に算出された複数の時間の値の平均値として得られる値であり、現在値は、１組のタイミングデータから得られる時間の値である。各平均値は、事前に取得したデータから予め算出される値であり、各現在値は、最新のデータから算出される値である。各平均値や各現在値を、個人ＩＤや、時刻や、走行位置に関連づけてもよい。 The time calculated by the response time detection unit 120 and the timing used to calculate this time will be described. First, after the traffic light and the sign go out of the effective visual field 5B, three different timings from the output of the HUD display to the operation operation corresponding to the contents of the HUD display, the first to the fourth Three timings t1 to t3 are defined. The first timing t1 is a timing at which information on driving support is output as a HUD display. The second timing t2 is a timing when it is estimated that the driver recognizes the HUD display output at the first timing t1. The third timing t3 is the timing at which the driving operation corresponding to the content of the HUD display is performed. Then, the period from the first timing t1 to the third timing t3 is the information presentation operation time D1, the period from the first timing t1 to the second timing t2 is the information presentation recognition time D2, and the second timing t2 to the third timing t3. Period of time is defined as cognitive operation time D3. That is, the information presentation operation time D1 is equal to the time when the information presentation recognition time D2 and the recognition operation time D3 are added. Therefore, the information presentation operation time D1 is a time from the output of the HUD display to the operation of the vehicle 1, and the information presentation recognition time D2 is the output from the HUD display to the recognition of the display The time is the time, and the recognition operation time D3 is the time from when the HUD display is recognized to when the vehicle 1 is operated. Furthermore, an average value and a current value are defined for each of the times. Therefore, an average information presentation operation time D1a, an average information presentation recognition time D2a, and an average recognition operation time D3a are defined as the average value. In the present embodiment, the average information presentation operation time D1a is a first reference time, and the average cognitive operation time D3a is a second reference time. Further, as the current value, the current information presentation operation time D1c, the current information presentation recognition time D2c, and the current cognitive operation time D3c are defined. Here, the average value is a value obtained as an average value of a plurality of time values calculated in the past, and the current value is a value of time obtained from one set of timing data. Each average value is a value calculated in advance from data acquired in advance, and each current value is a value calculated from the latest data. Each average value or each current value may be associated with a personal ID, time, or traveling position.
支援判定部１２１は、信号・標識検出処理部１１３から信号・標識の検出結果を取得し、取得された信号・標識の検出結果に対応する運転支援の提供を表示音声処理部１４０に指示する。また、支援判定部１２１は、一旦検出された信号・標識について、一時的に検出できなくなったとき、実像に対応する表示位置に運転支援用のＨＵＤ表示を提供するように表示音声処理部１４０に指示する。さらに、支援判定部１２１は、応答時間検出部１２０から各時間を取得して、提供している運転支援用のＨＵＤ表示を運転者が認識したと推定されたものの、実際には認識していないと判定されたとき、運転支援用のＨＵＤ表示を強調表示するように表示音声処理部１４０に指示する。 The support determination unit 121 acquires the detection result of the signal / label from the signal / label detection processing unit 113, and instructs the display sound processing unit 140 to provide driving assistance corresponding to the acquired detection result of the signal / label. In addition, the support determination unit 121 instructs the display audio processing unit 140 to provide the HUD display for driving assistance at the display position corresponding to the real image when the signal / marker once detected can not be detected temporarily. To direct. Furthermore, although the support determination unit 121 estimates that the driver has recognized the provided HUD display for driving support by acquiring each time from the response time detection unit 120, it does not actually recognize it. When it is determined, the display sound processing unit 140 is instructed to highlight the HUD display for driving assistance.
支援判定部１２１は、ＨＵＤ表示の見逃しを判定する処理（見逃し判定処理）を行う見逃し判定部１２２を備える。見逃し判定は、ＨＵＤ表示を認識していないと判定するケースと、ＨＵＤ表示を認識したと推定したものの、実際には認識していないケースとを判定する。 The support determination unit 121 includes a missed decision unit 122 that performs a process of deciding whether a HUD display is missed (a missed decision process). The oversight determination determines a case in which it is determined that the HUD display is not recognized, and a case in which it is estimated that the HUD display is recognized but not actually recognized.
見逃し判定部１２２は、運転者がＨＵＤ表示を認識していないと判定したケースに対して、音声にて通知を行うための要求通知である音声強調要求を設定する。例えば、運転者の有効視野５Ｂから信号機や標識が外れ、かつ、ＨＵＤ表示を認識していない場合（現在の情報提示認知時間Ｄ２ｃが平均の情報提示認知時間Ｄ２ａを超える場合）、ＨＵＤ表示を見るように促す音声強調要求を設定する。 The oversight determination unit 122 sets a voice emphasis request, which is a request notification for notifying by voice, in the case where it is determined that the driver does not recognize the HUD display. For example, when the traffic light or the sign is out of the driver's effective visual field 5B and the HUD display is not recognized (when the present information presentation recognition time D2c exceeds the average information presentation recognition time D2a), the HUD display is viewed Set up a voice emphasis request to prompt.
また、見逃し判定部１２２は、ＨＵＤ表示を認識したと推定したものの、実際には認識していないケースを判定する。つまり、第１状態としての現在の情報提示操作時間Ｄ１ｃが平均の情報提示操作時間Ｄ１ａを超えること、又は、第２状態としての現在の認知操作時間Ｄ３ｃが平均の認知操作時間Ｄ３ａを超えることに基づいて同実際には認識していないケースを判定する。例えば、見逃し判定部１２２は、運転者の有効視野５Ｂから信号機や標識が外れ、かつ、ＨＵＤ表示を認識していると推定されながらもブレーキ等の車両操作が通常の操作平均時間（平均の情報提示操作時間Ｄ１ａ等）を超えるような場合、同実際には認識していないケースと判定する。そして、見逃し判定部１２２は、同実際には認識していないケースと判定したとき、ＨＵＤ表示を強調表示させる表示強調要求を設定する。 Further, the blindness judging unit 122 judges a case in which the HUD display is presumed to be recognized but not actually recognized. That is, the current information presentation operation time D1c as the first state exceeds the average information presentation operation time D1a, or the current cognitive operation time D3c as the second state exceeds the average cognitive operation time D3a. Based on the case, the case not actually recognized is determined. For example, the blindness judging unit 122 may be out of traffic light 5B of the driver's effective visual field 5B, and while it is estimated that HUD display is recognized, vehicle operation such as a brake may be normal operation average time (average information When the presentation operation time D1a etc. is exceeded, it is determined that the case is not actually recognized. Then, when the blindness judging unit 122 judges that the case is not actually recognized at the same time, the blindness judging unit 122 sets a display emphasizing request to highlight the HUD display.
記憶部１３０は、不揮発性の記憶装置から構成されている。記憶部１３０には、平均の情報提示操作時間Ｄ１ａ、平均の情報提示認知時間Ｄ２ａ、平均の認知操作時間Ｄ３ａ、現在の情報提示操作時間Ｄ１ｃ、現在の情報提示認知時間Ｄ２ｃ、及び現在の認知操作時間Ｄ３ｃ等が記憶される。なお、各平均値や各現在値を個人ＩＤに関連付けて記憶してもよい。個人ＩＤに関連付けられた平均値によれば、当該個人ＩＤに対応する現在値との比較によって、当該個人ＩＤに対応する運転者の特性により適合した運転支援表示を行うことができ、運転者のわずらわしさもより軽減されることが期待される。また、各平均値は、時刻及び走行位置の少なくとも一方に関連付けられて記憶されてもよい。時刻や走行位置に関連付けられたた平均値によれば、現在値との適合性が時刻や走行位置に基づいても判断でき、より適切に運転支援表示が行え、運転者のわずらわしさがより軽減されることが期待される。 The storage unit 130 is configured of a non-volatile storage device. The storage unit 130 includes an average information presentation operation time D1a, an average information presentation recognition time D2a, an average cognitive operation time D3a, a current information presentation operation time D1c, a current information presentation recognition time D2c, and a current cognitive operation The time D3c and the like are stored. Each average value or each current value may be stored in association with the personal ID. According to the average value associated with the personal ID, by comparing with the current value corresponding to the personal ID, it is possible to perform the driving support display more suitable for the characteristics of the driver corresponding to the personal ID. It is expected that the burden will be further reduced. Also, each average value may be stored in association with at least one of time and traveling position. According to the average value associated with the time and the traveling position, the compatibility with the current value can be judged based on the time and the traveling position, the driving support display can be performed more appropriately, and the driver's confusion is further reduced. It is expected to be done.
表示音声処理部１４０は、支援判定部１２１からの指示に基づいて運転者に伝える情報の表示処理や音声出力処理をする（表示音声処理）。表示音声処理部１４０は、音声出力処理に応じてＨＵＤ表示の内容を表示出力部１４に出力し、音声出力の内容を音声出力部１５に出力する。表示音声処理部１４０は、ＨＵＤ表示のタイミングを応答時間検出部１２０に出力し、ＨＵＤ表示の表示位置を認識推定部１１２に出力する。表示音声処理には、外部環境の風景に、信号機の灯色や標識を表示する重畳表示機能が含まれる。重畳表示機能は、通常、運転者の視界を妨げないよう画像や文字情報を前方下部の決まった位置（固定位置）に表示する。例えば、図１に示すように、信号機像３Ａの下方にＨＵＤ表示として信号表示６Ａを表示させる。 The display sound processing unit 140 performs display processing and sound output processing of information to be transmitted to the driver based on an instruction from the support determination unit 121 (display sound processing). The display audio processing unit 140 outputs the content of the HUD display to the display output unit 14 according to the audio output processing, and outputs the content of the audio output to the audio output unit 15. The display audio processing unit 140 outputs the timing of HUD display to the response time detection unit 120, and outputs the display position of the HUD display to the recognition estimation unit 112. The display audio processing includes a superimposed display function of displaying a light color and a sign of a traffic light in the scenery of the external environment. The superimposed display function usually displays an image or character information at a predetermined position (fixed position) on the lower front portion so as not to disturb the driver's field of vision. For example, as shown in FIG. 1, the signal display 6A is displayed below the traffic light 3A as a HUD display.
表示音声処理部１４０は、支援判定部１２１から運転支援用のＨＵＤ表示の出力の指示を受けると、通常、重畳表示機能によるＨＵＤ表示（例えば、図１の信号表示６Ａ）の出力を行う。例えば、表示音声処理部１４０は、信号・標識検出処理部１１３で、信号機（赤灯色）・標識（一時停止）を検出した場合、信号機（赤灯色）又は標識（一時停止）をＨＵＤ表示によって表示することを開始する。 When receiving the instruction to output the HUD display for driving support from the support determination unit 121, the display audio processing unit 140 normally outputs the HUD display (for example, the signal display 6A in FIG. 1) by the superimposed display function. For example, in the case where the display audio processing unit 140 detects a traffic light (red light) / mark (temporary stop) by the signal / mark detection processing unit 113, the traffic light (red light) or the sign (temporary stop) is displayed as a HUD Start to display by.
表示音声処理部１４０は、ＨＵＤ表示を強調表示させる表示強調部１４１と、音声を強調出力させる音声強調部１４２とを備える。
表示音声処理部１４０は、見逃し判定部１２２からの表示強調要求に応じて表示強調要求処理を行う。つまり、表示強調部１４１は、表示強調要求に応じて、運転者の有効視野５Ｂの枠内にＨＵＤ表示として信号表示６Ｂ（図２参照）を強調表示する。
The display audio processing unit 140 includes a display emphasizing unit 141 that highlights the HUD display, and a voice emphasizing unit 142 that highlights and outputs a voice.
The display audio processing unit 140 performs a display emphasis request process in response to the display emphasis request from the oversight determination unit 122. That is, the display emphasizing unit 141 highlights the signal display 6B (see FIG. 2) as the HUD display in the frame of the driver's effective visual field 5B in response to the display emphasizing request.
また、表示音声処理部１４０は、見逃し判定部１２２からの音声強調要求に応じて音声強調要求処理を行う。つまり、音声強調部１４２は、音声強調要求に応じて、運転者に対してＨＵＤ表示を認識させるための音声通知を出力する。 Further, the display audio processing unit 140 performs voice emphasis request processing in response to the voice emphasis request from the oversight determination unit 122. That is, the voice emphasizing unit 142 outputs a voice notification for causing the driver to recognize the HUD display in response to the voice emphasis request.
認知操作学習処理部１４３は、ＨＵＤ表示から車両操作（ブレーキを踏む、アクセルを緩める、シフトダウンする等）までの各時間を保存するとともに、同一の操作についての平均値を算出する（認知操作学習処理）。ＨＵＤ表示から車両操作までの各時間は、個人ＩＤに関連付けて保存してもよい。 The cognitive operation learning processing unit 143 stores each time from the HUD display to the vehicle operation (depressing the brake, releasing the accelerator, downshifting, etc.) and calculates an average value for the same operation (cognitive operation learning (cognitive operation learning) processing). Each time from HUD display to vehicle operation may be stored in association with a personal ID.
図５及び図６を参照して、車両用表示装置の動作について説明する。この動作に係る処理は、所定の周期で繰り返し行われる。また、次の処理に必要な状況は、フラグ等で記憶されている。 The operation of the vehicle display device will be described with reference to FIGS. 5 and 6. The process relating to this operation is repeatedly performed in a predetermined cycle. In addition, the situation necessary for the next process is stored as a flag or the like.
図５に示すように、車両用表示装置は、車両データ取得処理部１００で車両用データ取得処理を行い（ステップＳ１００）、前景データ取得処理部１０１で前景データ取得処理を行い（ステップＳ１０１）、視線データ取得処理部１０２で視線データ取得処理を行う（ステップＳ１０２）。また、車両用表示装置は、信号・標識検出処理部１１３で信号・標識検出処理を行い（ステップＳ１１０）、有効視野検出部１１１で視線範囲検出処理を行い（ステップＳ１１１）、信号・標識範囲外検出処理部１１４で信号・標識範囲外検出処理を行う（ステップＳ１１２）。 As shown in FIG. 5, in the vehicle display device, the vehicle data acquisition processing unit 100 performs vehicle data acquisition processing (step S100), and the foreground data acquisition processing unit 101 performs foreground data acquisition processing (step S101), The gaze data acquisition processing unit 102 performs gaze data acquisition processing (step S102). Further, the display apparatus for vehicle performs signal / label detection processing by the signal / label detection processing unit 113 (step S110), and performs visual line range detection processing by the effective visual field detection unit 111 (step S111). The detection processing unit 114 performs out-of-signal / tag range detection processing (step S112).
また、車両用表示装置は、認識推定部１１２でＨＵＤ認識推定処理を行う（ステップＳ１１３）。ＨＵＤ認識推定処理は、ＨＵＤ表示が認識されたと推定した場合、応答時間検出部１２０での現在の情報提示認知時間Ｄ２ｃの測定を終了させるとともに、現在の認知操作時間Ｄ３ｃの測定を開始させる。 Further, in the display device for vehicle, the recognition estimation unit 112 performs HUD recognition estimation processing (step S113). The HUD recognition estimation process ends the measurement of the current information presentation recognition time D2c in the response time detection unit 120 and starts the measurement of the current recognition operation time D3c when it is estimated that the HUD display is recognized.
車両用表示装置は、操作検出部１１０で操作検出処理を行う（ステップＳ１１４）。操作検出処理では、検出された車両操作に、その車両操作が発生した場所や時間を関連付ける。また、操作検出処理は、応答時間検出部１２０での現在の情報提示操作時間Ｄ１ｃと現在の認知操作時間Ｄ３ｃの測定を終了させる。 In the vehicle display device, the operation detection unit 110 performs an operation detection process (step S114). In the operation detection process, the detected vehicle operation is associated with the location and time at which the vehicle operation occurred. In addition, the operation detection process ends the measurement of the current information presentation operation time D1c and the current cognitive operation time D3c in the response time detection unit 120.
車両用表示装置は、見逃し判定部１２２で見逃し判定処理を行う（ステップＳ１２０）。見逃し判定処理では、見逃し判定に応じて、音声強調要求や表示強調要求が設定される。 In the vehicle display device, the oversight determination unit 122 performs the oversight determination processing (step S120). In the oversight determination process, a voice emphasis request and a display emphasis request are set according to the oversight determination.
すなわち、図６に示すように、見逃し判定部１２２は、見逃し判定処理でＨＵＤ表示はあるか否かを判定する（ステップＳ１２１）。例えば、この判定では、信号・標識検出処理（ステップＳ１１０）にて、信号機が赤灯色又は道路標識（止まれ・一時停止）が検出され、かつ、表示音声処理（ステップＳ１３０）にて信号機又は道路標識のＨＵＤ表示がされている場合、「ＨＵＤ表示あり」と判定する。「ＨＵＤ表示あり」と判定した場合（ステップＳ１２１でＹＥＳ）、見逃し判定部１２２は、現在の情報提示操作時間Ｄ１ｃが平均値を超えたか否か判定する（ステップＳ１２２）。一方、「ＨＵＤ表示あり」以外の条件では「ＨＵＤ表示なし」と判定する。「ＨＵＤ表示なし」と判定した場合（ステップＳ１２１でＮＯ）、見逃し判定部１２２は、見逃し判定処理を終了する。 That is, as shown in FIG. 6, the missed judgment section 122 judges whether or not there is HUD display in the missed judgment processing (step S121). For example, in this determination, a red light or a road sign (stopped / temporary stop) of the traffic light is detected in the signal / mark detection process (step S110), and the display sound processing (step S130) When the HUD display of the sign is performed, it is determined that "HUD display is present". When it is determined that “HUD display is present” (YES in step S121), the missed judgment section 122 determines whether the current information presentation operation time D1c exceeds an average value (step S122). On the other hand, under conditions other than "with HUD display", it is determined as "without HUD display". If it is determined that "HUD display is not present" (NO in step S121), the missed judgment section 122 ends the missed judgment processing.
見逃し判定部１２２は、ステップＳ１２２で、現在の情報提示操作時間Ｄ１ｃが平均値を超えたか否かを、現在の情報提示操作時間Ｄ１ｃと認知操作学習処理（ステップＳ１３１）で保存した平均の情報提示操作時間Ｄ１ａとの比較により判定する。例えば、現在の情報提示操作時間Ｄ１ｃが平均の情報提示操作時間Ｄ１ａを超えている場合、つまりＨＵＤ表示が提供されてから車両操作するまでの時間が平均値を超えている場合（ステップＳ１２２でＹＥＳ）、見逃し判定部１２２は、ＨＵＤ表示が実際には認識されていない可能性が高いため、認識対象が有効視野５Ｂ内にあるか否かを判定する（ステップＳ１２５）。 In step S122, the missed judgment unit 122 presents the average information presentation stored in the current information presentation operation time D1c and the cognitive operation learning process (step S131) whether the current information presentation operation time D1c exceeds the average value. It judges by comparison with operation time D1a. For example, if the current information presentation operation time D1c exceeds the average information presentation operation time D1a, that is, if the time from when the HUD display is provided to when the vehicle is operated exceeds the average value (YES in step S122) Because the possibility that the HUD display is not actually recognized is high, it is determined whether the recognition target is within the effective visual field 5B (step S125).
一方、現在の情報提示操作時間Ｄ１ｃが平均の情報提示操作時間Ｄ１ａを超えていない場合（ステップＳ１２２でＮＯ）、見逃し判定部１２２は、現在の認知操作時間Ｄ３ｃが平均値を超えたか否かを判定する（ステップＳ１２３）。 On the other hand, when the current information presentation operation time D1c does not exceed the average information presentation operation time D1a (NO in step S122), the missing judgment unit 122 determines whether the current cognitive operation time D3c exceeds the average value. It determines (step S123).
見逃し判定部１２２は、現在の認知操作時間Ｄ３ｃが平均値を超えたか否かを、認知操作学習処理（ステップＳ１３１）で保存した、平均の認知操作時間Ｄ３ａと現在の認知操作時間Ｄ３ｃとの比較により判定する。例えば、現在の認知操作時間Ｄ３ｃが平均の認知操作時間Ｄ３ａを超えている場合、つまりＨＵＤ表示で提供された情報を認識したと推定されるが車両１の操作が行われていない場合（ステップＳ１２３でＹＥＳ）、見逃し判定部１２２は、ＨＵＤ表示が実際には認識されていない可能性が高いと判定して認識対象が有効視野５Ｂ内にあるか否かを判定する（ステップＳ１２５）。一方、現在の認知操作時間Ｄ３ｃが平均の認知操作時間Ｄ３ａを超えていない場合（ステップＳ１２３でＮＯ）、現在の情報提示認知時間Ｄ２ｃが平均値を超えたか否かを判定する（ステップＳ１２４）。 The missed judgment section 122 compares the average cognitive operation time D3a with the current cognitive operation time D3c stored in the cognitive operation learning process (step S131) whether the current cognitive operation time D3c exceeds the average value. Determined by For example, if the current cognitive operation time D3c exceeds the average cognitive operation time D3a, that is, it is estimated that the information provided in the HUD display is recognized but the vehicle 1 is not operated (step S123) YES), the oversight determination unit 122 determines that the possibility that the HUD display is not actually recognized is high and determines whether the recognition target is within the effective field of view 5B (step S125). On the other hand, if the current cognitive operation time D3c does not exceed the average cognitive operation time D3a (NO in step S123), it is determined whether the current information presentation recognition time D2c exceeds the average value (step S124).
見逃し判定部１２２は、現在の情報提示認知時間Ｄ２ｃが平均値を超えたか否かを、認知操作学習処理（ステップＳ１３１）で保存した平均の情報提示認知時間Ｄ２ａと現在の情報提示認知時間Ｄ２ｃとの比較により判定する。例えば、現在の情報提示認知時間Ｄ２ｃが平均の情報提示認知時間Ｄ２ａを超えている場合（ステップＳ１２４でＹＥＳ）、見逃し判定部１２２は、ＨＵＤ表示が表示されてからの時間に基づいて、運転者がＨＵＤ表示を認識していない可能性が高いと推定し、音声強調要求処理を実行して（ステップＳ１２６）、その後終了する。音声強調要求処理では、表示音声処理部１４０に対して音声強調要求が設定される。 The missed judgment unit 122 determines whether the current information presentation recognition time D2c exceeds the average value, the average information presentation recognition time D2a stored in the recognition operation learning process (step S131) and the current information presentation recognition time D2c. It judges by comparison of. For example, if the current information presentation recognition time D2c exceeds the average information presentation recognition time D2a (YES in step S124), the missed judgment section 122 determines that the driver is on the basis of the time since the HUD display is displayed. It is estimated that the possibility of not recognizing the HUD display is high, the voice emphasis request process is executed (step S126), and then the process ends. In the voice emphasis request processing, a voice emphasis request is set to the display voice processing unit 140.
一方、現在の情報提示認知時間Ｄ２ｃが平均の情報提示認知時間Ｄ２ａを超えていない場合（ステップＳ１２４でＮＯ）、見逃し判定部１２２は、見逃し判定処理を終了する。
見逃し判定部１２２は、認識対象が有効視野５Ｂ内にあるか否かを、信号・標識範囲外検出処理（ステップＳ１１２）にて、信号機や標識が有効視野５Ｂ外になったか否かに基づいて判定する。信号機や標識が有効視野５Ｂ外になったと判定した場合（ステップＳ１２５でＮＯ）、見逃し判定部１２２は、視界から外れたと判定し、表示強調要求処理を実行して（ステップＳ１２７）、その後終了する。表示強調要求処理では、表示音声処理部１４０に対して表示強調要求が設定される。
On the other hand, when the current information presentation recognition time D2c does not exceed the average information presentation recognition time D2a (NO in step S124), the oversight determination unit 122 ends the oversight determination process.
The blindness determination unit 122 determines whether the recognition target is within the effective field of view 5B based on whether the traffic light or the label has become out of the effective field of view 5B in the signal / tag out-of-range detection process (step S112). judge. If it is determined that the traffic light or the sign has come out of the effective field of view 5B (NO in step S125), the missed judgment section 122 determines that the visual field is out of view, executes display emphasis request processing (step S127), and ends thereafter. . In the display emphasizing request process, the display emphasizing request is set to the display audio processing unit 140.
一方、有効視野５Ｂ内にあると判定した場合（ステップＳ１２５でＹＥＳ）、見逃し判定部１２２は、運転者が認識していると判定し、見逃し判定処理を終了する。
そして、図５に示すように、車両用表示装置は、表示音声処理部１４０で運転者に伝える情報を表示させたり、音声出力させたりする表示音声処理を行う（ステップＳ１３０）。表示音声処理では、表示強調要求に応じて運転者の有効視野５Ｂ内にＨＵＤ表示を強調表示したり、音声強調要求に応じて運転者に対してＨＵＤ表示を認識させるための音声通知を出力させたりする。表示音声処理部１４０は、信号・標識検出処理（ステップＳ１１０）で、信号機（赤灯色）・標識（一時停止）を検出した場合、表示出力部１４に信号機（赤灯色）又は標識（一時停止）を表示開始させるとともに、応答時間検出部１２０に平均の情報提示操作時間Ｄ１ａと平均の情報提示認知時間Ｄ２ａとの測定を開始させる。
On the other hand, when it is determined that the image is within the effective field of view 5B (YES in step S125), the oversight determination unit 122 determines that the driver is recognizing, and ends the oversight determination process.
And as shown in FIG. 5, the display apparatus for vehicles performs the display audio | voice processing which displays the information conveyed to a driver | operator by the display audio processing part 140, and makes a voice output (step S130). In the display audio processing, the HUD display is highlighted in the driver's effective field of view 5B according to the display emphasis request, or the voice notification for causing the driver to recognize the HUD display according to the voice emphasis request is output. To When the display audio processing unit 140 detects a traffic light (red light) / mark (temporary stop) in the signal / mark detection process (step S110), the display / output unit 14 detects a traffic light (red light) or a sign (temporary) The display control unit 120 causes the response time detection unit 120 to start measurement of the average information presentation operation time D1a and the average information presentation recognition time D2a.
また、車両用表示装置は、認知操作学習処理部１４３で認知操作学習処理を行う（ステップＳ１３１）。認知操作学習処理は、この処理で得られた情報、例えば、個人ＩＤとＨＵＤ表示とから車両操作（ブレーキを踏む、アクセルを緩める、シフトダウンする等）までの各時間を保存する。 Moreover, the display apparatus for vehicles performs cognitive operation learning processing in the cognitive operation learning process part 143 (step S131). In the cognitive operation learning process, each time from the information obtained in this process, for example, the personal ID and the HUD display to the vehicle operation (depressing the brake, releasing the accelerator, downshifting, etc.) is stored.
本実施形態の車両用表示装置の動作例を説明する。
一つの例として、外部カメラ５から車両１の前方の画像を入力し、画像解析により信号機３（赤灯色）、又は標識（止まれ）を検出する。表示音声処理部１４０を介して表示出力部１４から、信号機３（赤灯色）、又は標識（止まれ）をＨＵＤ表示として表示する。このとき、応答時間検出部１２０で現在の情報提示操作時間Ｄ１ｃと、現在の情報提示認知時間Ｄ２ｃとの計測を開始する。そして見逃し判定部１２２は、見逃し判定処理で、現在の情報提示認知時間Ｄ２ｃが「１．２秒」であり、平均の情報提示認知時間Ｄ２ａの「１．０秒」を超えている場合、ＨＵＤ表示を認識していないと判定する。この判定に基づいて、表示音声処理部１４０は音声にて運転支援を行う。
An operation example of the display device for a vehicle according to the present embodiment will be described.
As one example, an image in front of the vehicle 1 is input from the external camera 5 and a traffic light 3 (red light) or a sign (stop) is detected by image analysis. From the display output unit 14 via the display audio processing unit 140, the traffic light 3 (red light) or a sign (stop) is displayed as a HUD display. At this time, the response time detection unit 120 starts measuring the current information presentation operation time D1c and the current information presentation recognition time D2c. When the current information presentation recognition time D2c is “1.2 seconds” and exceeds the “1.0 second” of the average information presentation recognition time D2a in the missed judgment processing, the HUD is HUD. It is determined that the display is not recognized. Based on this determination, the display sound processing unit 140 performs driving support by voice.
他の例として、外部カメラ５から車両１の前方の画像を入力し、画像解析により信号機３（赤灯色）、又は標識（止まれ）を検出する。表示音声処理部１４０を介して表示出力部１４から、信号機３（赤灯色）、又は標識（止まれ）をＨＵＤ表示として表示する。このとき、応答時間検出部１２０で現在の情報提示操作時間Ｄ１ｃと、現在の情報提示認知時間Ｄ２ｃとの計測を開始する。そして認識推定部１１２で運転者がＨＵＤ表示を注視（「０．２秒」程度）したことを検出することに応じて、応答時間検出部１２０で現在の情報提示認知時間Ｄ２ｃの計測を停止すると同時に、現在の認知操作時間Ｄ３ｃの計測を開始させる。見逃し判定部１２２は、見逃し判定処理で、現在の情報提示認知時間が「０．８秒」であり、平均の情報提示認知時間Ｄ２ａの「１．０秒」以内である場合、ＨＵＤ表示を認識したと推定して処理を継続する。その後、見逃し判定部１２２にて、現在の認知操作時間Ｄ３ｃが「０．７秒」であり、平均の認知操作時間Ｄ３ａの「０．５秒」を経過している場合、ＨＵＤ表示を認識したと推定したにも関わらず、車両操作を行っていない（信号機３や標識の見逃し）と判定し、表示音声処理部１４０を通じてＨＵＤ表示を強調表示する。 As another example, an image in front of the vehicle 1 is input from the external camera 5 and a traffic light 3 (red light) or a sign (stop) is detected by image analysis. From the display output unit 14 via the display audio processing unit 140, the traffic light 3 (red light) or a sign (stop) is displayed as a HUD display. At this time, the response time detection unit 120 starts measuring the current information presentation operation time D1c and the current information presentation recognition time D2c. When the response estimation unit 120 stops measuring the current information presentation recognition time D2c in response to the recognition estimation unit 112 detecting that the driver gazed at the HUD display (about 0.2 seconds). At the same time, measurement of the current cognitive operation time D3c is started. When the current information presentation recognition time is "0.8 seconds" and is within "1.0 seconds" of the average information presentation recognition time D2a in the blindness determination process, the missed area judgment unit 122 recognizes the HUD display It is presumed that the process is continued. After that, when the current recognition operation time D3c is “0.7 seconds” and “0.5 seconds” of the average recognition operation time D3a has passed in the missing judgment unit 122, the HUD display is recognized. It is determined that the vehicle operation is not performed (missing of the traffic light 3 or the sign) despite the estimation, and the HUD display is highlighted through the display audio processing unit 140.
以上説明したように、本実施形態に係る車両用表示装置によれば、以下に示すような効果が得られるようになる。
ＨＵＤ表示した情報について運転者により認識されたか否かが推定される。そして、ＨＵＤ表示された情報を運転者が認識したと推定したものの、実際には同情報を認識していない可能性が高いとき、その情報を運転者の有効視野５Ｂに強調表示する。これにより、運転者自身が認識していない情報を運転者に認識させることができる。一方、運転者に認識されている情報は強調表示されないため、強調表示等で運転者にわずらわしさを感じさせるおそれもない。なお、強調表示の一態様は、通常の表示位置にある情報を運転者の有効視野に表示させることである。
As described above, according to the display device for a vehicle according to the present embodiment, the following effects can be obtained.
It is estimated whether the driver recognizes the information displayed on the HUD. Then, although it is estimated that the driver recognizes the information displayed in HUD but there is a high possibility that the information is not actually recognized, the information is highlighted in the driver's field of view 5B. Thereby, the driver can be made to recognize information that the driver himself does not recognize. On the other hand, since the information recognized by the driver is not highlighted, there is no risk of causing the driver to feel bothersome by highlighting or the like. Note that one aspect of the highlighting is to display information in a normal display position in the driver's effective field of view.
なお、上記実施形態は以下の形態にて実施することもできる。
・上記実施形態では、フロントウィンドウ７にＨＵＤによる情報を表示するようにしたが、フロントウィンドウ７に代えて、クリアパネル等の専用の情報表示対象を用いるようにしてもよい。
In addition, the said embodiment can also be implemented with the following forms.
In the above embodiment, the HUD information is displayed on the front window 7. However, instead of the front window 7, a dedicated information display target such as a clear panel may be used.
・上記実施形態では、外部カメラ５が車両１の前方の画像を撮影することができる場合について例示したが、これに限らず、外部カメラは、車両の前方以外の方向、例えば、右側方、左側方、後方等を撮影可能であってもよい。このとき、視線検出カメラも左右、後ろ方向における視線が検出できればよい。これにより、車両の前方以外の方向、例えば、右側方、左側方、後方についても、適切な情報提供を行うことができる。 In the above embodiment, the external camera 5 can capture an image in front of the vehicle 1. However, the present invention is not limited to this. The external camera may be directed in any direction other than the front of the vehicle, for example, the right side It may be possible to shoot one side, the other side, etc. At this time, it is only necessary for the sight line detection camera to be able to detect the sight line in the left and right and backward directions. Thereby, appropriate information can be provided also in directions other than the front of the vehicle, for example, the right side, the left side, and the rear.
・上記実施形態では、運転者の有効視野５Ｂから信号機や標識が外れ、かつ、認識したと推定されたＨＵＤ表示を実際には認識していないとき、強調表示させる場合について例示したが、これに限らず、運転者の有効視野から信号機や標識が外れ、かつ、信号機や標識を実際には認識していないとき、ＨＵＤ表示を表示強調させてもよい。信号機や標識を実際には認識していないことは、ＨＵＤ表示を実際には認識していないことと同様に判定できる。 In the above embodiment, the case where highlighting is performed when the traffic light or the sign is removed from the driver's effective field of view 5B and the HUD display estimated to have been recognized is not actually recognized is illustrated. Not limited thereto, the HUD display may be emphasized when the traffic light or the sign is out of the driver's effective field of view and the traffic light or the sign is not actually recognized. The fact that the traffic light or the sign is not actually recognized can be determined in the same manner as the fact that the HUD display is not actually recognized.
・上記実施形態では、運転者に運転支援情報を提供する場合について例示したが、運転支援情報は、運転を直接的に支援する情報に限らず、間接的に支援する情報でも、運転者の視野から外れるおそれがあるものであって、運転者に何らかの操作を促す情報であればよい。例えば、運転者が運転環境を良好にするエアコンの操作を誤ったと推定されるものの、その後、その操作内容を確認していないような場合、その操作の確認を促すような情報であってもよい。 In the above embodiment, the driver assistance information is provided to the driver. However, the driving assistance information is not limited to the information for directly assisting the driving, and the driving assistance information may be the information for indirectly assisting the driver. It may be information that is likely to deviate from the above, and prompts the driver to perform some operation. For example, if it is presumed that the driver has made a mistake in the operation of the air conditioner that makes the driving environment better, but then the content of the operation is not confirmed, the information may prompt confirmation of the operation. .
・上記実施形態では、車両１が乗用車である場合について説明したが、これに限らず、車両は、ＨＵＤ表示が可能であるならば、営業用の車両、二輪車、バス、トラック、農工業用の車両、工事や土木作業用の車両等の自動車であってもよい。 In the above embodiment, the case where the vehicle 1 is a passenger car has been described. However, the vehicle is not limited to this, and if the vehicle can display HUD, it can be used for commercial vehicles, motorcycles, buses, trucks, agricultural and industrial vehicles. It may be an automobile such as a vehicle, a vehicle for construction or civil engineering work.
１…車両、２…走行路、３…信号機、３Ａ…信号機像、５…外部カメラ、５Ａ…撮影範囲、５Ｂ…有効視野、６Ａ…信号表示、６Ｂ…信号表示、７…フロントウィンドウ、１０…運転支援装置、１１…視線検出カメラ、１４…表示出力部、１５…音声出力部、１００…車両データ取得処理部、１０１…前景データ取得処理部、１０２…視線データ取得処理部、１１０…操作検出部、１１１…有効視野検出部、１１２…認識推定部、１１３…信号・標識検出処理部、１１４…信号・標識範囲外検出処理部、１２０…応答時間検出部、１２１…支援判定部、１２２…判定部、１３０…記憶部、１４０…表示音声処理部、１４１…表示強調部、１４２…音声強調部、１４３…認知操作学習処理部。 DESCRIPTION OF SYMBOLS 1 ... Vehicle, 2 ... Runway, 3 ... Traffic signal, 3 A ... Signal machine image, 5 ... External camera, 5 A ... Shooting range, 5 B ... Effective view, 6 A ... Signal display, 6 B ... Signal display, 7 ... Front window, 10 ... Driving support apparatus 11 visual axis detection camera 14 display output unit 15 audio output unit 100 vehicle data acquisition processing unit 101 foreground data acquisition processing unit 102 visual axis data acquisition processing unit 110 operation detection Unit 111 Effective field of view detection unit 112 Recognition estimation unit 113 Signal / label detection processing unit 114 Signal / label outside detection processing unit 120 Response time detection unit 121 Assistance determination unit 122 Judgment part, 130 ... storage part, 140 ... display voice processing part, 141 ... display emphasis part, 142 ... speech emphasis part, 143 ... cognitive operation learning processing part.
Claims (1)
運転者の有効視野を検出する有効視野検出部と、
前記運転者へ提供する情報を表示した位置と前記運転者の有効視野の位置とが一致することに基づいて前記表示した情報が前記運転者に認識されたと推定する認識推定部と、
前記運転者へ提供する情報に対応する操作が行われたことを検出する操作検出部と、
前記運転者へ提供する情報を表示してから同情報に対応する操作が行われるまでの時間が第１の基準時間を超えた第１状態、及び、前記表示した情報が運転者に認識されたと推定されてから前記表示に対応する操作が行われるまでの時間が前記第１の基準時間よりも短い第２の基準時間を超えた第２状態の少なくとも一方の状態を検出する応答時間検出部と、
前記応答時間検出部で第１状態又は第２状態が検出されたことに対応して前記表示した情報に対応する表示を前記運転者の有効視野に強調表示する表示強調部と、
を備えることを特徴とする車両用表示装置。 A display device for a vehicle, which displays information provided to a driver of the vehicle by head-up display display,
An effective visual field detection unit that detects an effective visual field of the driver;
A recognition estimation unit that estimates that the displayed information has been recognized by the driver based on a match between the position at which the information provided to the driver is displayed and the position of the effective visual field of the driver;
An operation detection unit that detects that an operation corresponding to the information provided to the driver has been performed;
The first state in which the time from when the information provided to the driver is displayed to the time when the operation corresponding to the information is performed exceeds the first reference time, and the driver recognizes that the displayed information is A response time detection unit that detects at least one state of a second state in which the time from when it is estimated to when the operation corresponding to the display is performed exceeds a second reference time that is shorter than the first reference time; ,
A display emphasizing unit that highlights a display corresponding to the displayed information in the effective field of view of the driver in response to the detection of the first state or the second state by the response time detection unit;
A display device for a vehicle, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016027254A JP6504074B2 (en) | 2016-02-16 | 2016-02-16 | Vehicle display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016027254A JP6504074B2 (en) | 2016-02-16 | 2016-02-16 | Vehicle display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017146737A JP2017146737A (en) | 2017-08-24 |
| JP6504074B2 true JP6504074B2 (en) | 2019-04-24 |
Family
ID=59681459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016027254A Expired - Fee Related JP6504074B2 (en) | 2016-02-16 | 2016-02-16 | Vehicle display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6504074B2 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005135037A (en) * | 2003-10-29 | 2005-05-26 | Toyota Central Res & Dev Lab Inc | Vehicular information presentation system |
| JP5332356B2 (en) * | 2008-07-08 | 2013-11-06 | 日産自動車株式会社 | Vehicle driving support device |
| JP2010105502A (en) * | 2008-10-29 | 2010-05-13 | Toyota Motor Corp | Front monitoring device |
| JP5492962B2 (en) * | 2012-09-28 | 2014-05-14 | 富士重工業株式会社 | Gaze guidance system |
| JP2014120114A (en) * | 2012-12-19 | 2014-06-30 | Aisin Aw Co Ltd | Travel support system, travel support method, and computer program |
| JP6218618B2 (en) * | 2014-01-21 | 2017-10-25 | アルパイン株式会社 | Driving support device, driving support method, and driving support program |
-
2016
- 2016-02-16 JP JP2016027254A patent/JP6504074B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017146737A (en) | 2017-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4277081B2 (en) | Driving assistance device | |
| JP5406328B2 (en) | VEHICLE DISPLAY DEVICE, ITS CONTROL METHOD AND PROGRAM | |
| US10009580B2 (en) | Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle | |
| JP5718942B2 (en) | Apparatus and method for assisting safe operation of transportation means | |
| JP6218618B2 (en) | Driving support device, driving support method, and driving support program | |
| JP6459205B2 (en) | Vehicle display system | |
| US9758098B2 (en) | Vehicle periphery monitoring device | |
| CN105966311B (en) | Method for calibrating a camera, device for a vehicle and computer program product | |
| JP5092776B2 (en) | Gaze direction detection device and gaze direction detection method | |
| JP4222183B2 (en) | Vehicle peripheral image display device | |
| CN108482252A (en) | A kind of system, method and the vehicle of display pillar A blind obstacle multi-view image | |
| JP2017007600A (en) | On-vehicle display device | |
| JP5853897B2 (en) | Operation control device and operation control program | |
| JP2016175549A5 (en) | ||
| JP2008226163A (en) | Safety device for vehicle | |
| US11881054B2 (en) | Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle | |
| JP6504074B2 (en) | Vehicle display device | |
| JP2007133644A (en) | Pedestrian recognition device | |
| JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle | |
| JP2008162550A (en) | External environment display device | |
| US20200215977A1 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP2002049998A (en) | Drive support device | |
| JP2010092115A (en) | Warning device of vehicle | |
| JP2018013838A (en) | Drive support device | |
| JP4935387B2 (en) | Information display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180417 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190220 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190311 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6504074 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |