WO2019039201A1 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
WO2019039201A1
WO2019039201A1 PCT/JP2018/028473 JP2018028473W WO2019039201A1 WO 2019039201 A1 WO2019039201 A1 WO 2019039201A1 JP 2018028473 W JP2018028473 W JP 2018028473W WO 2019039201 A1 WO2019039201 A1 WO 2019039201A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
vehicle
virtual image
superimposed
image
Prior art date
Application number
PCT/JP2018/028473
Other languages
English (en)
French (fr)
Inventor
勇希 舛屋
Original Assignee
日本精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精機株式会社 filed Critical 日本精機株式会社
Publication of WO2019039201A1 publication Critical patent/WO2019039201A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present invention relates to a display device for a vehicle mounted on a vehicle such as a car.
  • Patent Document 1 has a function of superimposing a highlighted display (a frame surrounding a pedestrian or the like) on a pedestrian or the like to notify the driver of the presence of a pedestrian or the like that is an alerting object.
  • a head-up display device (hereinafter referred to as a HUD device) is disclosed.
  • the subject is in the bright vision range (for example, the range in which the subject can be accurately viewed in the daytime) when the highlighting is superimposed on the subject, but the subject is in the night vision range (for example, night If it is in the dark range where the light of the headlights does not reach in the case, the highlight will be superimposed on the target that is difficult to be recognized, which may cause problems in safe driving, The inventors recognized.
  • the bright vision range for example, the range in which the subject can be accurately viewed in the daytime
  • the night vision range for example, night If it is in the dark range where the light of the headlights does not reach in the case, the highlight will be superimposed on the target that is difficult to be recognized, which may cause problems in safe driving, The inventors recognized.
  • the driver can not immediately judge whether the highlighting is to display the correct information, which may cause anxiety.
  • the line of sight may be concentrated in the vicinity of the object, which may lead to a careless forward condition.
  • Patent Document 1 makes no mention of the above-mentioned points, and neither measures nor disclosure thereof are suggested.
  • One object of the present invention is to provide appropriate information while securing safe driving even when an object is in a dark field (night vision range) when displaying a virtual image superimposed on the object. It is providing a display for vehicles.
  • Other objects of the present invention will become apparent to those skilled in the art by referring to the following exemplified aspects and best embodiments, as well as the attached drawings.
  • the driver visually recognizes a virtual image of the image, and the virtual image is a superimposed image superimposed on a real scene around the vehicle
  • a display for a vehicle having at least a head-up display (HUD) device including a virtual image of An object detection unit for detecting an object as an alerting object included in the real view around the vehicle;
  • a light / dark determination unit of an object that determines whether the detected object is in a bright field which is a bright area or a dark field which is a dark area as viewed from the driver of the vehicle;
  • a display control unit that controls display on the vehicle display device; Equipped with The display control unit When it is determined by the contrast determination unit of the object that the object is in the bright field, superimposing the virtual image of the superimposed image on the object in the head-up display device is performed.
  • the virtual image of the superimposed image is not superimposed on the object;
  • a virtual image display area capable of displaying the virtual image in the head-up display device displays a first virtual image display area for displaying a virtual image of the superimposed image and a virtual image of a non-superimposed image not to be superimposed on an object
  • the second virtual image display area is included,
  • the virtual image of the superimposed image is not superimposed on the object in the first virtual image display area, and the driving of the driving is performed by displaying a virtual image in the second virtual image display area.
  • the virtual image of the superimposed image is not superimposed on the object, and the display unit warns the driver of the object in the dark field. Evoke, Or The level of the risk of the object is determined based on the information on the object detected by the object detection unit, When it is determined that the danger is low, the head-up display device does not superimpose the virtual image of the superimposed image on the object, and when it is determined that the danger is high, the head is up In the display device, superimposing the virtual image of the superimposed image on the object is performed.
  • the display control unit when it is determined by the contrast determination unit of the object that the object as the alerting target is in a dark field, which is a range that appears dark when viewed from the driver of the vehicle (in other words, When it is determined that the object is a dark-field object, the display control unit basically displays (in other words, superimposed display) on the head-up display (HUD) device to superimpose a virtual image on the object. I can not let it go.
  • HUD head-up display
  • the display control unit displays a virtual image on the display unit (display).
  • the driver may be alerted to objects in the dark field.
  • the driver Since the superimposed display is not performed on the object in the dark field, the driver does not feel anxious, and attention is paid to other virtual image display areas and other display units (displays) in the HUD device.
  • the driver can be informed indirectly that there is an object requiring attention in the dark field by making a display prompting the user to evoke. Therefore, it is possible to realize a display device for a vehicle capable of providing appropriate information while securing safe driving even when the object is in the dark field (night vision range).
  • the display control unit determines the level of the danger of the object based on the information on the object (for example, based on the movement of the object, the manner of movement, etc.), and the danger is determined to be high.
  • Time for example, when there is a possibility of collision or contact with a vehicle, such as a person who is the object entering a road, or a bicycle traveling diagonally forward is moving little by little toward the center line
  • the virtual image may be superimposed (superimposed display) even on an object in the dark field.
  • the indirect notification by the display of the other virtual image display area or the other display unit (display) may not be in time.
  • Direct and proactively indicate that there is a high-risk object in the dark field by superimposing the adjusted highlighting (for example, colored box, logo, reminder mark, warning by letters, etc.) May be displayed as This can prompt the driver, for example, to take prompt action to avoid danger.
  • adjusted highlighting for example, colored box, logo, reminder mark, warning by letters, etc.
  • the driver visually recognizes a virtual image of the image, and the virtual image is a superimposed image superimposed on a real scene around the vehicle
  • a display for a vehicle having at least a head-up display (HUD) device including a virtual image of An object detection unit for detecting an object as an alerting object included in the real view around the vehicle;
  • a light / dark determination unit of an object that determines whether the detected object is in a bright field which is a bright area or a dark area as viewed from the driver of the vehicle;
  • a display control unit that controls display on the vehicle display device; Equipped with The display control unit When it is determined by the contrast determination unit of the object that the object is in the bright field, superimposing the virtual image of the superimposed image on the object in the head-up display device is performed.
  • the contrast determination unit of the object When it is determined that the object is in the dark field by the contrast determination unit of the object, An object located in the dark field from the illumination or the illumination system via a first illumination control unit controlling illumination provided to the vehicle or a second illumination control unit controlling an illumination system outside the vehicle Illumination light, thereby making the object in the dark field the object in the bright field and superimposing the virtual image of the superimposed image on the object in the bright field.
  • the display control unit receives an instruction from the driver via the first illumination control unit that controls the illumination of the host vehicle or the second illumination control unit that controls the external illumination system.
  • the illumination light is emitted to the object in the dark field to see.
  • the object in the dark field dark field object
  • the bright field bright field object
  • the virtual image of the superimposed image is superimposed on the converted bright field object.
  • Lighting of the host vehicle for example, a lighting unit including a headlight, a lighting system), an external lighting system (for example, a road light (road lighting fixture) installed in the environment around the vehicle, outdoor spotlights, Illuminate objects using crime prevention lights, street lights, etc.), and set objects that are difficult to view in the dark field to be objects that can be viewed in the bright field and displayed superimposed on this.
  • the driver can instantly view the object shown by the superimposed display. Therefore, anxious feeling does not occur and useful information can be provided.
  • the display control unit determines the height of the danger of the object based on the information on the object detected by the object detection unit, and when it is determined that the danger is high, the dark field is detected.
  • the illumination light may be irradiated to a certain object.
  • the display control unit determines the level of the danger of the object based on the information on the object, and changes the illumination mode when it is determined that the danger is high (for example, a headlight Switch the low beam to the high beam). It is assumed that the processing load on the equipment will be quite heavy when changing the lighting mode, and that the driver may feel uncomfortable due to the forced change of the lighting condition, so it is carefully judged that The illumination mode is changed only when it is determined that the risk is high. In addition, before changing the illumination mode, the driver may be informed of the fact by display, sound or the like to reduce the discomfort.
  • the light / dark judging unit of the object The range of the bright field in the periphery of the vehicle is determined based on at least one of external light intensity information obtained from an external light sensor and information indicating the operating condition of the illumination provided to the vehicle acquired by the vehicle information acquisition unit. Having a clear vision range determination unit to determine Whether the object is in the bright field or in the dark field based on the range of the bright field determined by the clear vision range determining unit and the position information of the object detected by the object detecting unit It may be determined whether there is any.
  • the range of the bright field in other words, the distribution of light
  • the range of the bright field and the position information of the detected object are, for example, matched (to check the correspondence between the two, specifically, for example, at least a part of the object is in the bright field range)
  • the lightness / darkness of the object is determined by detecting whether or not it is included.
  • the brightness and darkness of the object can be accurately determined in consideration of the distribution of brightness around the vehicle. For example, in the daytime, regardless of the lighting state of the headlights, it may be determined that the surrounding objects are in the bright range. In other words, even if the headlights are on, for example, if the ambient light sensor determines that the surroundings are bright (daytime), the object is in the bright field range regardless of the illumination range of the headlights It can be determined that it is an object. Also, when it is determined by the ambient light sensor that the surroundings are dark, in other words, nighttime (including a twilight vision environment), the lightness / darkness of the object is determined in consideration of the range of illumination by the headlights etc. Be done.
  • FIG. 1 (A) shows an example of superimposed display on an object included in a front view in the daytime of the vehicle display device of the present invention
  • FIG. 1 (B) shows the front view in the night
  • FIG. 2A and FIG. 2B are diagrams showing another example of superimposed display on an object included in a real view in front of the display device for a vehicle of the present invention at night.
  • FIG. 3 (A) shows a situation in which a person as an object walks in the direction of entering the road at night
  • FIG. 3 (B) shows the front of the vehicle display device of the present invention at night.
  • FIG. 4A shows a setting example of the virtual image display surface in the HUD device capable of setting a plurality of surfaces (three surfaces) as a virtual image display surface
  • FIG. 4B shows a configuration example of main parts of the HUD device
  • FIG. 5 shows an example of the overall configuration of a display device for a vehicle according to the present invention, which includes at least the HUD device shown in FIGS. 4 (A) and 4 (B). It is a flowchart which shows an example of the main operation
  • the display apparatus for a vehicle projects (projects) an image (in other words, display light for displaying the image) onto a projection target member (a light transmitting member) provided on the vehicle, thereby allowing the driver to display a virtual image of the image.
  • a head-up display (HUD) device (not shown in FIG. 1, not shown in FIG. 1, reference numeral 100 in FIG. 5) in which a virtual image includes a virtual image of a superimposed image superimposed on a real scene around the vehicle. At least).
  • FIG. 1 shows an example of superimposed display on an object included in a front view in the daytime of the vehicle display device of the present invention
  • FIG. 1 (B) shows the front view in the night It is a figure which shows the example of the superimposition display to the target object contained (and the figure for demonstrating the subject of the superimposition display in night time).
  • the windshield (front glass) 3 of the vehicle 1 functions as a projection target (light transmission member).
  • a driver (not shown in FIG. 1) can visually recognize the real scene in front of the vehicle 1 through the windshield 3.
  • the HUD device 100 (see FIG. 4A and FIG. 5) included in the vehicle 1 sets the target as “the person E1” as an alerting target included in the real view. It is possible to superimpose a virtual image (highlighted display) of the image to be emphasized.
  • the “image for emphasizing the object including the frame and the like surrounding the object” is the “superimposed image” described above.
  • the superimposed image is generated by an image generation unit or the like included in the HUD device 100 (described later).
  • the vehicle 1 in addition to the HUD device 100, the vehicle 1 is provided with a display unit (display) 13 configured by a liquid crystal display device or the like.
  • the display unit (display) 13 is provided at the center of the front panel 11.
  • a mode selection switch (operation unit) 9 is provided on the steering wheel (for example, steering wheel) 7 of the vehicle 1, and the driver turns on the HUD device 100 by operating the mode selection switch (operation unit) 9. It is possible to switch (select) on / off, on / off of superimposed display, and the like.
  • the driver visually recognizes the virtual image of the image formed by the HUD device 100 in front of the vehicle 1 through the windshield 3.
  • a rectangular virtual image display area 5 (indicated by a broken line) is set on the surface of the windshield 3, and a virtual image can be displayed inside the virtual image display area 5.
  • the virtual image of the superimposed image is superimposed within the virtual image display area 5 on the target object to be alerted.
  • a second virtual image display area PL2 for displaying a virtual image of the vehicle speed display SP "60 km / h" is included.
  • the second virtual image display area PL2 is, for example, an area where the position is fixed, and displays vehicle information such as the number of rotations of the engine, a warning indicating the condition of the engine oil, etc. Can be displayed.
  • Target objects to be alerting candidates included in the real view around the vehicle 1 include "person E1”, “telegraph pole E2”, “tree E3”, and “white lines such as center lines”
  • E4 an object
  • the moving object“ person E1 ” is detected as an alerting target, and a frame (highlighted display frame) PH1 as a highlighted display is detected for this“ person E1 ”. It is superimposed.
  • the driver can visually recognize the “person E1” because the vehicle travels in the daytime.
  • “person E1” in FIG. 1A is an object in the bright field (in other words, Bright field object).
  • the driver can visually recognize “person E1” in an instant, so the display of the highlighting frame PH1 is correct and alerting It can be recognized that the target object “person E1” is indicated, and the driver can take necessary attentional action promptly.
  • the vehicle 1 is traveling on the road at night (in this case, it is assumed that it includes a light vision environment).
  • the headlights of the vehicle 1 are low beam.
  • the range 8 illuminated by the headlights (in other words, the illumination range of the headlights) is a range relatively close to the vehicle 1 and no light can reach far.
  • FIG. 1B The situation around the vehicle 1 in FIG. 1 (B) is the same as FIG. 1 (A), but the “person E1” as the alert target is visible in the dark from the driver of the vehicle 1 It is an object in a certain dark field (dark field object), and it is difficult for the driver to visually recognize the dark field object “person E1” clearly.
  • a frame (highlighted display frame) PH1 as a highlighted display is superimposed on the “person E1” as in FIG. 1A.
  • the highlight display frame PH1 is accurately superimposed on the object “person E1”, which may be a useful display, but the driver can not visually recognize the “person E1”.
  • the display frame PH1 is correctly superimposed on the object (in other words, the reliability or accuracy of the information presented by the display) can not be judged instantaneously. Thus, the driver may feel uneasy. In addition, it is also denied that the driver tends to view the "person E1" which is the object, so that the line of sight is concentrated in the vicinity of the "person E1" and causes a carelessness ahead. Can not.
  • FIG. 2A and FIG. 2B are diagrams showing another example of superimposed display on an object included in a real view in front of the display device for a vehicle of the present invention at night.
  • FIG. 2 (A) and FIG. 2 (B) the same reference numerals are given to the portions common to FIG. 1 (A) and FIG. 1 (B).
  • this point is the same also in FIG. 3 (A) and FIG. 3 (B).
  • the display of the highlight display frame PH1 as a superimposed display is not performed for the dark-field object “person E1”. Instead, the inside of the virtual image display area 5 is displayed.
  • the displays QP1 and QP2 prompting attention to the object "person E1" called "person to the right front” It is done.
  • the driver since the superimposed display is not performed on the object in the dark field, the driver does not feel anxious feeling, and another virtual image display area (second virtual image display area PL2 in the HUD device 100). And the other display unit (indicator) 13 can notify the driver that the target object requiring attention is in the dark field indirectly by making a display prompting attention. Therefore, a display device for a vehicle that can provide appropriate information while securing safe driving even when the object (for example, “person E1”) is in the dark field (night vision range) is realized.
  • FIG. 2B will be referred to.
  • “person E5” tries to cross the road, but at least the foot of this “person E5” is a range where the headlights illuminate brightly (lighting of the headlights Range) 8 and driver can see "person E5".
  • the highlight display frame PH2 is displayed (superimposed display) so as to surround the “person E5”. Thereby, the driver can surely know that "person E5" is entering the road.
  • FIG. 3 (A) shows a situation in which a person as an object walks in the direction of entering the road at night
  • FIG. 3 (B) shows the front of the vehicle display device of the present invention at night.
  • the further another example of the superposition display to the object contained in the real scene of 4 is shown.
  • the situation around the vehicle 1 in FIG. 3 (A) is almost the same as FIG. 2 (A), but in the case of FIG. 3 (A), the object “person E1” is at a considerable speed ( In other words, I am trying to enter the road fast or running.
  • the lighting (headlight etc.) provided to the vehicle 1 is controlled, or the external lighting system (external lighting 500) is controlled. It is conceivable that illumination light is emitted to the “person E1”.
  • the headlamp provided in the vehicle 1 is switched from the low beam to the high beam, and thereby the illumination light has reached the "person E1", and the "person E1" is the dark field target Things are being converted to bright field objects.
  • the road (outdoor) spotlight as the external light 500 is operated by remote control by wireless communication from the vehicle 1, for example, and the illumination light is changed to “person E1”. I am irradiating it.
  • the “person E1” that is a dark-field and difficult-to-see object is converted to a bright-field and visible object (bright-field object), and
  • superimposed display superimposition of the highlighting frame PH1
  • the driver can instantly visually recognize the object (“person E1”) indicated by the superimposed display. It is. Therefore, anxious feeling does not occur and useful information can be provided.
  • a lighting unit including a headlight, and other auxiliary lighting systems can be considered.
  • an external lighting system for example, a road light (road lighting fixture) installed in an environment around a vehicle and capable of controlling the lighting condition using a wireless communication or the like from a vehicle in transit Spotlights, crime prevention lights, street lights etc. can be considered. It is also conceivable to use the lighting of other vehicles.
  • the illumination light is irradiated to the object by changing the illumination mode
  • the invention is not limited to this, and in particular, the danger Even if the target as the alerting target is detected in the dark field range as in the example of FIG. 2B, the illumination mode is unconditionally changed as in the example of FIG. 2B. Good.
  • the fact may be notified by, for example, display or sound by the display 13 so as not to give the driver a feeling of suddenness (uncomfortable feeling). .
  • an indirect notification may not be in time, for example, highlighting (for example, colored frames, logos, reminders, letters, etc.) of the object in the dark field may be adjusted for easy viewing. Warnings and the like may be superimposed to directly and positively indicate that there is a high-risk object in the dark field. This can prompt the driver, for example, to take prompt action to avoid danger.
  • highlighting for example, colored frames, logos, reminders, letters, etc.
  • FIG. 1B will be referred to again.
  • the highlight display frame PH1 is superimposed on the “person E1”, but here, the “person E1” has a high risk as in the example of FIG. 3A.
  • the object is determined to be Since "person E1" is in the dark field range, the driver can not view “person E1” in the present situation, but the vehicle 1 is traveling at a fairly high speed of 60 km / h. Therefore, as time passes, the vehicle 1 approaches the “person E1”, and eventually, the “person E1” enters the range (illumination range) 8 where the headlights are brightly illuminated. Can clearly view the “person E1” which is the target on which the superimposed display is made.
  • the driver since the highlight display frame PH1 is displayed early since the object "person E1" is in the range of the dark field, the driver is in advance of the "person E1" having a risk. It is possible to detect the existence, and thus, it is possible to perform a collision avoidance operation such as, for example, applying a quick brake immediately when “person E1” enters the illumination range and becomes visible. As described above, it may be assumed that an effect on safe driving can be expected by performing superimposed display on an object in the dark field.
  • the superimposed display may be performed on an object which is determined to have a high risk, it is not necessarily that the determination of the risk must be performed, and so on.
  • the judgment may be made based on the condition of (1), and even if such a condition judgment is not made, for example, the driver can sufficiently perform the superimposed display on the object in the dark field.
  • the superimposed display may be performed on the object in the dark field range without performing the determination of the degree of the danger. .
  • FIG. 4A shows a setting example of the virtual image display surface in the HUD device capable of setting a plurality of surfaces as the virtual image display surface
  • FIG. 4B shows a configuration example of the main part of the HUD device.
  • FIGS. 4 (A) and 4 (B) the same reference numerals are given to the same parts as those in the above-mentioned drawings.
  • the HUD device 100 is a three-surface (three-layer) HUD device that can use three virtual image display surfaces.
  • the HUD device 100 is installed, for example, inside a dashboard of a vehicle, and emits display light K1 and K2 for displaying an image from the lower side to the upper side, whereby the image is used as a projection target member (light transmitting member). Project on the windshield 3.
  • the to-be-projected member (light transmission member) 3 is not limited to a windshield, You may be other members, such as a combiner.
  • the virtual image display surface PS1 (a) at a distant position is closer to the virtual image display surface PS1 (a)
  • Three surfaces of the virtual image display surface PS1 (b) of L100 and the virtual image display surface PS2 of the closest position can be used.
  • the virtual image display surface PS2 is a surface on which the vehicle speed display SP and the like are displayed, and the virtual image display distance L102 is fixed.
  • the virtual image display surface PS1 (a), (b) is a surface on which superimposed display (highlighted display frame PH1 and the like shown above) is displayed, and the distance of the object to be superimposed is far from or near the vehicle 1
  • PS1 (a) and PS (b) can be selectively switched. According to the distance to the object, by selectively switching the two surfaces, it is possible to superimpose superimposed display (emphasis display frame, etc.) on the object three-dimensionally with high accuracy without losing the sense of depth. it can.
  • the virtual image display surfaces PS1 (a), PS1 (b), PS2 are erected perpendicular to the road surface 2, they are inclined at a predetermined angle with respect to the road surface 2, or It may be inclined to be superimposed.
  • the HUD device 100 includes a light source unit 31 (an image generation unit 33, and a light projection control unit 35 that divides a laser beam into two to generate and output two beams).
  • the mirror 39, the lens 44, and the screens 46a and 46b (having the image display surface 47 and forming the images Ma and Mb on the image display surface 47) as an image display unit; virtual image display distance control It has a portion 24 (including the lens driving portion 51 and the screen driving portion 53), a mirror 71, a reflecting mirror (concave mirror) 72, a casing 81, and a light emitting window 83.
  • the entire optical system region surrounded by the broken line of an ellipse for processing the light output from the light source unit 31 is referred to as a projection optical system 37.
  • the display light K1 is generated by the emitted light of the image Ma displayed on the image display surface 47 of the screen 46a
  • the display light K2 is generated by the emitted light of the image Mb displayed on the image display surface 47 of the screen 46b.
  • the positions of the lens 44 and the screen 46a are along the optical path, in other words, in the direction along the optical axis of the lens 44 (and the screen 46a) by the virtual image display distance control unit 24 (lens drive unit 51, screen drive unit 53).
  • the virtual image display surfaces PS1 (a) and PS1 (b) can be switched as appropriate.
  • the screen 46b is fixed in position, and the display light K2 is used to display the vehicle speed indication SP and the like.
  • FIG. 5 is a view showing an example of the entire configuration of a display device for a vehicle according to the present invention, which includes at least the HUD device shown in FIGS. 4 (A) and 4 (B).
  • FIG. 5 the same parts as those of the above-described embodiment are denoted by the same reference numerals.
  • the vehicle 1 is provided with at least one camera (typically, an infrared camera 200).
  • the infrared camera 200 can capture a real scene around (for example, in front of) the vehicle 1 regardless of day / night.
  • a pair of infrared cameras 200 stereo cameras
  • depth information distance to the object
  • the vehicle 1 is provided with an external light sensor (illuminance sensor) 202 that measures the external light intensity.
  • the lighting operation of the headlight (headlight) 204 provided in the vehicle 1 is controlled by the headlight control unit 203.
  • a radar unit 206 is provided as necessary.
  • the radar unit 206 can measure, for example, the distance to the preceding vehicle traveling in the front, and the distance (depth information) to an object present around the vehicle 1 (e.g., in the front).
  • the HUD device 100 is housed inside the dashboard 4.
  • the HUD device 100 includes the image generation unit 33, the light projection control unit 35, the projection optical system 37, and the virtual image display distance control unit 24 as described above.
  • the HUD device 100 projects the display light K1 and K2 of the image onto a windshield (front glass) 3 as a projection target member (in other words, projects the image). Part of the projected light is directed to the driver's eye (viewpoint) A, and as a result, as shown in FIG. 4A, on the virtual image display surfaces PS1 (a), PS1 (b), PS2, A highlight display frame PH1 as a highlight display, a vehicle speed display SP, and the like are displayed.
  • the highlight display frame PH1 is exactly a virtual image of an image (superimposed image: generated by, for example, the image generation unit 33) to be superimposed on the object.
  • the vehicle display device includes at least the HUD device 100.
  • a display unit (display) 13 using liquid crystal or the like is also provided.
  • the vehicle 1 is wirelessly communicated with an electronic control unit (ECU) 300 that comprehensively controls the operation of the vehicle 1, an external driving support system 400, and an external illumination 500 as an external illumination system.
  • ECU electronice control unit
  • a wireless communication unit 302 capable of transmitting and receiving control signals and the like, and a vehicle information acquisition unit connected to the ECU 300 via the internal bus BUS1 and acquiring information (vehicle information) on the operation state of the vehicle 1 from the ECU 300 Based on the control signal from 304, and the headlight control part 203, it detects on / off of the headlight (headlight) 204, and detects whether the headlight 204 is a high beam or a low beam.
  • Display control unit 340 for overall control of the display operation of the display device for display, a display control unit 352 for controlling the display operation of the display unit (display) 13, and an image to be displayed on the display unit (display) 13 It has the image generation part 350 which produces
  • the display control unit 340 can be configured by a CPU, an MPU, and the like.
  • the display control unit 340 communicates with the image generation unit 350 and the image generation unit 33 of the HUD device 100 and the virtual image display distance control unit 24 via the internal bus BUS2 to exchange data and control signals. it can.
  • the clear vision range determination unit 308 determines the clear vision range around the vehicle 1 with reference to the determination result by the day and night determination unit 307 and the detection result of the high beam / low beam detection unit 306. For example, in the case of noon, in principle, it can be determined that all the surroundings are the range of the bright field (the bright vision range). Further, in the case of night, for example, the clear vision range can be determined based on the illumination range (the distribution of illumination light in space: known) of the high beam / low beam of the headlight 204.
  • the object information acquisition unit 310 analyzes an image captured by the infrared camera 200, and detects an object that is an alerting target using a method such as pattern matching and feature amount extraction; The image is analyzed, and the position information of the object (for example, a direction corresponding to the lateral direction of the front vehicle 1 is taken as x direction, a direction corresponding to the up and down direction as y direction, a direction corresponding to the front of the vehicle 1 as z direction
  • Position information acquisition unit 314 for acquiring coordinate information of each coordinate axis, a depth information acquisition unit 316 for acquiring information on a distance to the object (distance in the z-axis direction), and a motion detection unit for the object And 318.
  • the depth information acquisition unit 316 may acquire depth information using the measurement result of the radar unit 206, or may calculate the depth information by calculation based on parallax images of the pair of infrared cameras 200.
  • the motion detection unit 318 may detect a motion vector, for example, based on the difference between a plurality of captured images measured at predetermined time intervals. In this case, an aspect of the movement of the object can be detected from the direction and the magnitude of the motion vector.
  • the brightness / darkness determination unit of the object includes the range (brightness range) of the bright field specified by the bright vision range determination unit 308 and the position information (coordinate information about the object acquired by the object acquisition unit 310).
  • various other information can also be referred to) based on at least one of, for example, the range of the bright field in which the object is a bright range as viewed from the driver by matching and matching the two. Whether it is in the (bright vision range) (in other words, it is a bright field object) or in a dark range (dark vision range) that is a dark range (in other words, it is a dark field object) judge.
  • the range of bright field in other words, the distribution of light
  • the range of bright field and the position information of the detected object are compared (for example, the correspondence between the two is checked; specifically, for example, at least a part of the object
  • the lightness / darkness of the object is determined by detecting whether or not it is included in the clear vision range.
  • the brightness and darkness of the object can be accurately determined in consideration of the distribution of brightness around the vehicle. For example, in the daytime, regardless of the lighting state of the headlight 204, it may be determined that the surrounding objects are in the bright range. In other words, even if the headlight 204 is on, for example, if the ambient light sensor 202 determines that the surroundings are bright (daytime), the object is bright field regardless of the illumination range of the headlight 204. It can be determined that the object is in the range (bright vision range).
  • the brightness of the object is considered in consideration of the range of illumination by the headlight 204 and the like. Determine It may be assumed that a camera different from the infrared camera 200 is prepared and the brightness distribution of the image taken by the camera is examined to determine the contrast of the object, but in this case as well, Since the position of the object and the luminance information at the position are associated with each other to determine the brightness of the object, it is included in the above technical range.
  • the degree-of-risk determination unit 330 determines the degree of risk (the degree of risk) of the target based on the information on the movement of the target. For example, as described above with reference to FIG. 3 (A), when a person is trying to enter a road with a fast pace, etc., the person who is the object is determined to have a high risk (risk). Ru.
  • the display control unit 340 determines whether or not to perform superimposed display based on the determination result of the light / dark determination unit 320 of the object, etc., and an image for notifying the driver of the superimposed display necessity determination unit 342
  • the HUD display / display unit determination unit 344 determines whether the display is performed using the HUD device 100 or using the display unit (display unit) 13 (or both of them), Aspect or format of display for superimposed display or notification (for example, using frame display as superimposed display, using reminder mark, or using logo mark as display for notification, using character information, or As in the example of FIG. 3B, a notification type / display type determination unit 346 which determines that illumination light is irradiated to an object in a dark field to perform superimposed display is included.
  • the illumination control unit 360 determines that the notification type / display type determination unit 346 emits illumination light to an object in the dark field to perform superimposed display
  • headlight control Instruct the unit 203 to change the illumination direction of the headlight 204 (switch from low beam to high beam etc.) or instruct the ECU 300 to transmit a control signal from the wireless communication unit 302 to the external illumination 500
  • the illumination light from the external illumination 500 is emitted to the object.
  • the display apparatus for vehicles has the HUD apparatus 100 at least, and the object detection part 312 which detects the object as attention raising object contained in the front real view around the vehicle 1, and the detected object
  • An object light / dark determination unit 320 that determines whether an object is in a bright field which is a bright area or a dark field which is a dark area when viewed from the driver of the vehicle 1;
  • a display control unit 340 that controls display of the image.
  • the HUD device 100 superimposes the virtual image of the superimposed image on the object (FIG. 1 (A)).
  • the vehicle control unit 340 determines, for example, the object of the virtual image (emphasis display frame etc.) of the superimposed image in the HUD device 100 Without superimposing on an object (FIG. 2 (A)), or in the HUD device 100, superimposing the virtual image (such as a highlighted display frame) of the superimposed image on the object in the first virtual image display region PL1 Instead, the driver is made to draw attention to an object in the dark field by displaying a virtual image in the second virtual image display region PL2 instead (FIG.
  • the driver is alerted to the object in the dark field by the display by the display unit (display) 13 (see FIG. A)) or object detection Based on the information (for example, movement or movement) regarding the object detected by 312, the degree-of-risk determination unit 330 determines the degree of danger of the object, and when it is determined that the degree of danger is low When it is determined that the virtual image of the superimposed image is not superimposed on the object in the HUD device 100 and the risk is determined to be high, the object of the virtual image of the superimposed image in the HUD device 100 is exceptionally exceptional.
  • the driver is notified of the presence of the object by various display modes such as superimposing (FIG. 1 (B)).
  • the superimposed display is not performed on the object in the dark field, the driver does not feel anxious feeling, and the other virtual image display area (second virtual image display area PL2) in the HUD device 100 and the other
  • the display unit (display unit) 13 By providing the display unit (display unit) 13 with a display prompting attention, it is possible to indirectly notify the driver that there is an object requiring attention in the dark field. Therefore, it is possible to realize a display device for a vehicle capable of providing appropriate information while securing safe driving even when the object is in the dark field (night vision range).
  • the display control unit 340 determines the level of the danger of the object based on the information on the object (for example, based on the movement of the object, the manner of movement, etc.), and it is determined that the danger is high.
  • the information on the object for example, based on the movement of the object, the manner of movement, etc.
  • the danger is high.
  • a person who is the object enters a road, or a bicycle traveling diagonally forward is moving toward the center line little by little
  • superimposition (superimposed display) of virtual images can be performed even on an object in the dark field. In such a case, there is a possibility that the indirect notification by the display of the other virtual image display area (second virtual image display area PL2) or the other display unit (display) 13 may not be in time.
  • An object with high risk of being displayed in the dark field is superimposed with highlighting (for example, colored frame, logo, warning mark, warning by letters, etc.) adjusted for easy viewing. Directly and positively indicate that there is This can prompt the driver, for example, to take prompt action to avoid danger.
  • highlighting for example, colored frame, logo, warning mark, warning by letters, etc.
  • the display control unit 340 determines that the target is in the dark field by the contrast determination unit 320 of the target, or the risk determination unit 330 determines that the risk of the target is high.
  • the lighting condition is doubled (when the condition is doubled)
  • the lighting system provided in the vehicle is controlled through the headlight control unit 203 as the first light control unit or the lighting system outside the vehicle 1 is controlled.
  • the object may be illuminated with illumination light, thereby making the object in the dark field the object in the bright field and superimposing the virtual image of the superimposed image on the object in the bright field (FIG. B) Example).
  • the illumination light is forcibly irradiated to the object in the dark field (dark field object), thereby converting the dark field object into the object in the bright field (bright field object)
  • Lighting of the host vehicle for example, a lighting unit including a headlight, a lighting system
  • an external lighting system for example, a road light (road lighting fixture) installed in the environment around the vehicle, outdoor spotlights, Illuminate objects using crime prevention lights, street lights, etc.
  • the driver can instantly view the object shown by the superimposed display. Therefore, anxious feeling does not occur and useful information can be provided.
  • the low beam of the headlight can be switched to the high beam.
  • the processing load on the device is considerably heavy, and the driver may also feel discomfort due to the forced change of the lighting state. It is desirable that consideration is given to changing the lighting mode only when it is carefully judged that the risk is high.
  • the driver may be informed of the fact by display, sound or the like to reduce the discomfort.
  • FIG. 6 is a flowchart showing an example of the main operation procedure of the display device for a vehicle shown in FIG.
  • day and night judgment is performed (step S1). If it is determined in step S1 that there is a night, next, information on the high beam / low beam is input (step S2). When it is determined in step S1 that it is noon, the process proceeds to step S3.
  • step S3 the determination of the bright vision range (the range of the bright field or the range in which the driver looks bright) is performed.
  • object information position information, depth information, information such as movement, etc.
  • step S5 the brightness / darkness of the object is determined (step S5), and when it is an object (bright field object) within the bright vision range (bright field range),
  • step 10 the brightness / darkness of the object is determined (step S5), and when it is an object (bright field object) within the bright vision range (bright field range).
  • step 10 the process shifts to step 10 to perform superimposed display (display of a frame superimposed on the object, a warning mark, a logo, etc.) on the object.
  • step S6 When it is determined in step S6 that the object is in the dark vision range (dark field range) (dark field target) (Y in step S6), in principle, superimposed display is not performed. Then, the process proceeds to step S11, and notification to the driver by non-overlapping display is performed using the second virtual image display area of the HUD device or another display unit (display unit).
  • step S10 may perform superimposed display, for example, may shift to step S11 to notify the driver by non-superimposed display, or shift to step S9 to change the illumination ( The subject may be illuminated by a forced change of the illumination aspect).
  • step S8 following step S7, it may be determined whether or not it is necessary to change the illumination (forced change of the illumination mode).
  • the illumination change is determined in step S9.
  • the object may be illuminated by (forced change of the illumination mode), and then transition may be made to step S10 to perform superimposed display on the object within the range of the bright field.
  • an object to be detected may be a road sign, a landmark serving as a mark useful for reaching a destination, or the like, as well as a person or a moving object such as a bicycle.
  • the change of the illumination mode may be performed not only for the headlights but also for backlights and other preliminary illumination lights.
  • the highlight display frame is described as an example of the superimposed display. However, for example, an arrow pointing to an object, a logo or the like may be included in the superimposed display.
  • the display in the display on the HUD device or another display unit (display) may be performed in a mode different from the normal display mode.
  • notification may be performed using a character, an icon indicating the degree of risk or type of the object, or the like.
  • HUD device 200 ⁇ ⁇ Infrared camera, 202 ⁇ ⁇ ⁇ ambient light sensor (illuminance sensor), 203 ⁇ ⁇ ⁇ ⁇ ⁇ headlight control unit, 204 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ Wireless communication unit, 304 ⁇ ⁇ ⁇ vehicle information acquisition unit, 306 ⁇ ⁇ ⁇ high beam / low beam detection unit, 307 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Instrument Panels (AREA)

Abstract

対象物に重畳して虚像を表示する時に、対象物が暗視範囲にある場合においても、安全運転を確保しつつ、適切な情報の提供を行える車両用表示装置を提供する。 注意喚起対象としての対象物を検出する対象物検出部312と、対象物の明暗判定部320と、表示制御部340と、を有し、表示制御部340は、対象物が暗視野にある時は、ヘッドアップディスプレイ(HUD)装置100による虚像PH1の重畳表示を行わせない、又は、併せて、他の領域あるいは他の表示器13において注意喚起のための表示を行わせる、又は、対象物の動きに基づいて対象物の危険性が高いと判定される時には、重畳表示を実行させる、といった表示制御を実行する。

Description

車両用表示装置
 本発明は、例えば自動車等の車両に搭載される車両用表示装置に関する。
 例えば特許文献1は、注意喚起対象物である歩行者等の存在を運転者に知らせるために、強調表示(歩行者等を囲む枠等)を、歩行者等に重畳して表示する機能を備えるヘッドアップディスプレイ装置(以下、HUD装置という)を開示している。
特開2015-49842号公報
 対象物に強調表示を重畳させる時、その対象物が明視範囲(例えば、昼間において対象物を正確に視認できる範囲)にある場合は問題ないが、その対象物が暗視範囲(例えば、夜間において前照灯の光が届かない暗い範囲)にある場合には、視認が困難な対象物に強調表示が重ねられることになり、よって、安全運転上、問題が生じる可能性があることを、本発明者らは認識した。
 言い換えれば、対象物が暗視範囲にある時には、運転者は、その強調表示が、正しい情報を表示するものであるか否かを瞬時には判断できず、不安を覚えることがあり、また、運転者が対象物を視認しようとするあまり、視線が対象物付近に集中してしまい、かえって前方不注意の状態を招く、といった不都合が生じ得る。
 特許文献1には、上記の点については、何ら言及されておらず、その対策についても開示も示唆もされていない。
 本発明の1つの目的は、対象物に重畳して虚像を表示する時に、対象物が暗視野(暗視範囲)にある場合においても、安全運転を確保しつつ、適切な情報の提供を行える車両用表示装置を提供することである。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
 以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
 第1の態様において、
 車両に搭載され、画像を、前記車両に備わる被投影部材に投影することで、運転者に前記画像の虚像を視認させると共に、前記虚像には、前記車両の周囲の実景に重畳される重畳画像の虚像が含まれるヘッドアップディスプレイ(HUD)装置を少なくとも有する車両用表示装置は、
 前記車両の周囲の前記実景に含まれる、注意喚起対象としての対象物を検出する対象物検出部と、
 検出された対象物が、前記車両の運転者から見て、明るく見える範囲である明視野にあるか、暗く見える範囲である暗視野にあるか、を判定する対象物の明暗判定部と、
前記車両用表示装置における表示を制御する表示制御部と、
 を備え、
 前記表示制御部は、
 前記対象物の明暗判定部によって、前記対象物が明視野にあると判定された時には、前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせ、
 前記対象物の明暗判定部によって、前記対象物が暗視野にあると判定された時には、
 前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせない、
 又は、
 前記ヘッドアップディスプレイ装置における前記虚像を表示可能な虚像表示領域が、前記重畳画像の虚像を表示する第1の虚像表示領域と、対象物への重畳を前提としない非重畳画像の虚像を表示する第2の虚像表示領域と、を含む時に、
 前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記第1の虚像表示領域における前記対象物への重畳を行わせず、かつ、前記第2の虚像表示領域における虚像の表示によって、前記運転者に、前記暗視野にある前記対象物への注意を喚起させる、
 又は、
 前記ヘッドアップディスプレイ装置とは別に、表示部が設けられる時に、
 前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせず、かつ、前記表示部による表示によって、前記運転者に、前記暗視野にある前記対象物への注意を喚起させる、
 又は、
 前記対象物検出部によって検出される前記対象物に関する情報に基づいて、前記対象物の危険性の高低が判定され、
 危険性が低いと判定される時は、前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせず、危険性が高いと判定される時は、前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせる。
 第1の態様では、対象物の明暗判定部によって、注意喚起対象としての対象物が、車両の運転者から見て、暗く見える範囲である暗視野にあると判定された時(言い換えれば、「暗視野対象物」であると判定された時)には、表示制御部は、原則として、ヘッドアップディスプレイ(HUD)装置における、その対象物に虚像を重畳させる表示(言い換えれば重畳表示)を行わせない。
 また、HUD装置における虚像を表示可能な虚像表示領域が、第1の虚像表示領域(重畳画像の虚像を表示する領域、言い換えれば、重畳表示が行われる領域)と、第2の虚像表示領域(対象物への重畳を前提としない非重畳画像の虚像を表示する領域、例えば、車速表示等を行う領域)とを含む時に、表示制御部は、第2の虚像表示領域に虚像を表示して、運転者に、暗視野にある対象物に対する注意を喚起させてもよい。
 また、HUD装置とは別の表示部が設けられる時(言い換えれば、HUD装置とは別の表示器が存在する時)に、表示制御部は、表示部(表示器)に虚像を表示して、運転者に、暗視野にある対象物に対する注意を喚起させてもよい。
 暗視野にある対象物に対しては重畳表示を行わないため、運転者に不安感を与えることがなくなり、また、HUD装置における他の虚像表示領域や他の表示部(表示器)に、注意喚起を促す表示をなすことで、間接的に、暗視野に、注意を要する対象物があることを運転者に報知することができる。よって、対象物が暗視野(暗視範囲)にある時においても、安全運転を確保しつつ、適切な情報の提供を行える車両用表示装置を実現することができる。
 また、表示制御部が対象物に関する情報に基づいて(例えば、対象物の動き方、移動の仕方等に基づいて)、対象物の危険性の高低を判定し、危険性が高いと判定される時(例えば、対象物である人が道路へと進入する、あるいは、斜め前方を走る自転車が、少しずつセンターライン側に移動している、といった、車両との衝突、接触の可能性がある時)には、例外的に、暗視野にある対象物に対しても、虚像の重畳(重畳表示)を行わせてもよい。
 このような場合には、他の虚像表示領域や他の表示部(表示器)の表示による間接的な報知では間に合わないおそれがあることから、暗視野にある対象物に対して、例えば、見易いように調整された強調表示(例えば色を付した囲み枠、ロゴ、注意喚起マーク、文字による警告など)等を重畳させ、暗視野に危険性の高い対象物があることを直接的、かつ積極的に表示してもよい。これによって、運転者に、例えば、危険を回避するための迅速な行動を促すことができる。
 第2の態様において、
 車両に搭載され、画像を、前記車両に備わる被投影部材に投影することで、運転者に前記画像の虚像を視認させると共に、前記虚像には、前記車両の周囲の実景に重畳される重畳画像の虚像が含まれるヘッドアップディスプレイ(HUD)装置を少なくとも有する車両用表示装置は、
 前記車両の周囲の前記実景に含まれる、注意喚起対象としての対象物を検出する対象物検出部と、
 検出された対象物が、前記車両の運転者から見て、明るく見える範囲である明視野にあるか、暗く見える範囲にあるか、を判定する対象物の明暗判定部と、
 前記車両用表示装置における表示を制御する表示制御部と、
 を備え、
 前記表示制御部は、
 前記対象物の明暗判定部によって、前記対象物が明視野にあると判定された時には、前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせ、
 前記対象物の明暗判定部によって、前記対象物が暗視野にあると判定された時には、
 前記車両に備わる照明を制御する第1の照明制御部、又は前記車両の外部の照明システムを制御する第2の照明制御部を介して、前記照明又は前記照明システムから前記暗視野にある対象物に照明光を照射させ、これにより、暗視野にあった対象物を明視野にある対象物とし、明視野にある対象物に対して前記重畳画像の虚像を重畳させる。
 第2の態様では、表示制御部は、自車両の照明を制御する第1の照明制御部を介して、あるいは、外部の照明システムを制御する第2の照明制御部を介して、運転者から見て暗視野にある対象物に対して照明光を照射させる。言い換えれば、暗視野にある対象物(暗視野対象物)を、明視野にある対象物(明視野対象物)に転換し、転換された明視野対象物に重畳画像の虚像を重畳させる、という制御を行う。
 自車両の照明(例えば、前照灯を含む照明部、照明システム)や、外部の照明システム(例えば、車両の周辺の環境に設置されている道路灯(道路照明器具)、屋外用スポットライト、防犯灯、街路灯等)を用いて対象物を照明し、暗視野にあって視認が困難な対象物を、明視野にあって視認可能な対象物とし、これに重畳表示を行うことで、運転者は、重畳表示によって示される対象物を、瞬時に視認することが可能である。よって、不安感が生じず、有用な情報提供が可能となる。
 第1又は第2の態様に従属する第3の態様において、
 前記表示制御部は、前記対象物検出部によって検出される前記対象物に関する情報に基づいて、前記対象物の危険性の高低を判定し、危険性が高いと判定される時に、前記暗視野にある対象物に照明光を照射させてもよい。
 第3の態様では、表示制御部は、対象物に関する情報に基づいて、対象物の危険性の高低を判定し、危険性が高いと判定される時に、照明態様の変更(例えば、前照灯のロービームをハイビームに切り換える)を行わせる。照明態様の変更を行わせる時、機器の処理負担がかなり重くなることが想定され、また、運転者にとっても、照明状態の強制的な変更によって違和感を覚えることも有り得ることから、慎重に判断し、危険性が大きいと判定される時にのみ、照明態様の変更を行うこととするものである。なお、照明態様を変更する前に、運転者に、表示や音声等によって、そのことを報知して、違和感を軽減するようにしてもよい。
 第1乃至第3の何れか1つの態様に従属する第4の態様において、
 前記対象物の明暗判定部は、
 外光センサから得られる外光強度情報、及び前記車両情報取得部が取得した、前記車両に備わる照明の動作状況を示す情報の少なくとも一方に基づいて、前記車両の周辺における前記明視野の範囲を判定する明視範囲判定部を有し、
 前記明視範囲判定部によって判定された明視野の範囲と、前記対象物検出部によって検出された前記対象物の位置情報と、に基づいて、前記対象物が明視野にあるか、暗視野にあるかを判定してもよい。
 第4の態様では、対象物の明暗を判定するに際し、外光強度や、自車両の照明の動作状況に基づいて、車両の周辺における明視野の範囲(言い換えれば、光の分布状況)を判定し、その明視野の範囲と、検出された対象物の位置情報と、を、例えば突き合わせる(両者の対応関係を調べる、具体的には、例えば、対象物の少なくとも一部が明視野範囲に含まれるか否かを検出する)ことによって、対象物の明暗を判定する。
 これによって、夜間であっても、車両の周辺の明るさの分布を考慮して、対象物の明暗を、精度よく判定することができる。例えば、昼間は、前照灯の点灯状態にかかわらず、周囲の対象物は明るい範囲にあるものと判定し得る。言い換えれば、前照灯を点灯していても、例えば、外光センサによって周囲が明るい(昼間)と判定されれば、前照灯の照明範囲に関係なく、対象物は明視野の範囲にある対象物であると判定できる。また、外光センサによって周囲が暗い、言い換えれば、夜間(薄明視環境も含まれる)であると判定される時は、前照灯等による照明の範囲を考慮して、対象物の明暗を判定される。
 当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
図1(A)は、本発明の車両用表示装置の、昼間における、前方の実景に含まれる対象物への重畳表示の例を示し、図1(B)は、夜間における、前方の実景に含まれる対象物への重畳表示の例を示す図(及び、夜間における重畳表示の課題を説明するための説明図)である。 図2(A)、図2(B)は、本発明の車両用表示装置の、夜間における、前方の実景に含まれる対象物への重畳表示の他の例を示す図である。 図3(A)は、夜間において、対象物である人が道路に進入する方向へと歩いている状況を示し、図3(B)は、本発明の車両用表示装置の、夜間における、前方の実景に含まれる対象物への重畳表示の、さらに他の例を示す。 図4(A)は、虚像表示面として複数の面(3面)を設定可能なHUD装置における、虚像表示面の設定例を示し、図4(B)は、HUD装置の要部の構成例を示す。 図5は、図4(A)及び図4(B)に示されるHUD装置を少なくとも含む、本発明の車両用表示装置の全体構成の一例を示す。 図5に示される車両用表示装置の、主要な動作手順の一例を示すフローチャートである。
 以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
 本発明の車両用表示装置は、画像(言い換えれば、画像を表示する表示光)を、車両に備わる被投影部材(透光部材)に投影(投射)することで、運転者に画像の虚像を視認させると共に、虚像には、車両の周囲の実景に重畳される重畳画像の虚像が含まれるヘッドアップディスプレイ(HUD)装置(図1では不図示、図4(A)、図5における参照符号100)を少なくとも有している。
 まず、図1を参照する。図1(A)は、本発明の車両用表示装置の、昼間における、前方の実景に含まれる対象物への重畳表示の例を示し、図1(B)は、夜間における、前方の実景に含まれる対象物への重畳表示の例を示す図(及び、夜間における重畳表示の課題を説明するための図)である。図1(A)の例では、車両1のウインドシールド(フロントガラス)3が被投影部材(透光部材)として機能する。運転者(図1では不図示)は、ウインドシールド3を介して、車両1の前方に実景を視認することができる。
 また、車両1に備わるHUD装置100(図4(A)、図5参照)は、実景に含まれる、注意喚起対象としての対象物(ここでは「人E1」とする)に、「対象物を強調する画像」の虚像(強調表示)を重畳することができる。ここでは、「対象物を囲む枠等からなる、対象物を強調する画像」が、上記の「重畳画像」となる。この重畳画像は、HUD装置100に備わる画像生成部等で生成されるものである(後述)。
 また、図1(A)の例では、車両1には、HUD装置100の他に、液晶表示装置等で構成される表示部(表示器)13が設けられている。表示部(表示器)13は、フロントパネル11の中央に設けられている。
 また、車両1のハンドル(例えばステアリングホイール)7には、モード選択スイッチ(操作部)9が設けられており、運転者は、モード選択スイッチ(操作部)9の操作によって、HUD装置100のオン/オフ、重畳表示のオン/オフ等を切り換える(選択する)ことができる。
 運転者は、ウインドシールド3を介して、HUD装置100が形成する画像の虚像を、車両1の前方にて視認する。図1(A)の例では、ウインドシールド3の面において、矩形の虚像表示領域5(破線で示されている)が設定され、この虚像表示領域5の内側において虚像の表示が可能である。言い換えれば、運転者から見ると、重畳画像の虚像は、この虚像表示領域5内において、注意喚起対象である対象物に重畳されることになる。
 また、図1(A)の例では、虚像表示領域5には、「重畳画像」の虚像を表示する第1の虚像表示領域PL1と、対象物への重畳を前提としない「非重畳画像(図1の例では、「60km/h」という車速表示SPとする)の虚像を表示する第2の虚像表示領域PL2とが含まれる。第2の虚像表示領域PL2は、例えば、位置が固定されている領域であり、車速表示の他、エンジンの回転数等の車両情報や、エンジンオイルの状況等を示す警告等を表示(虚像によって表示)することができる。
 図1(A)の例では、車両1は、昼間において、直線状の道路を走行している。車両1の周囲(特に前方)の実景に含まれる、注意喚起対象の候補となる対象物としては、「人E1」、「電柱E2」、」「樹木E3」、ならびに、「センターライン等の白線E4」があるが、ここでは、動きのある対象物である「人E1」が、注意喚起対象として検出され、この「人E1」に対して、強調表示としての枠(強調表示枠)PH1が重畳される。
 図1(A)の例では、昼間における走行であることから、運転者は、「人E1」を視認することができる。車両1の運転者から見て、明るく見える範囲を明視野とし、暗く見える範囲を暗視野と設定する時、図1(A)における「人E1」は、明視野にある対象物(言い換えれば、明視野対象物)である。この時は、強調表示枠PH1が「人E1」に重畳されると、運転者は、「人E1」を瞬時に視認することができることから、その強調表示枠PH1の表示が、正しく、注意喚起対象としての対象物である「人E1」を示していることを認識することができ、運転者は、必要な注意行動を、迅速にとることができる。
 次に、図1(B)を参照する。図1(B)の例では、車両1は、夜間(ここでは、薄明視の環境を含むものとする)において、道路を走行している。車両1の前照灯(ヘッドライト)はロービームとなっている。前照灯によって明るく照らされる範囲(言い換えれば、前照灯の照明範囲)8は、車両1から比較的近い範囲であり、遠方までは光が届かない状況である。
 図1(B)における、車両1の周囲の状況は、図1(A)と同じであるが、注意喚起対象としての「人E1」は、車両1の運転者から見て、暗く見える範囲である暗視野にある対象物(暗視野対象物)であり、運転者は、暗視野対象物である「人E1」を、はっきりと視認することが困難である。図1(B)では、図1(A)と同様に、「人E1」に、強調表示としての枠(強調表示枠)PH1が重畳されている。この強調表示枠PH1は、正確に対象物である「人E1」に重畳されており、これ自体は有用な表示となり得るが、一方、運転者は、「人E1」を視認できないことから、強調表示枠PH1が、正しく対象物に対して重畳されているか否か(言い換えれば、表示によって提示される情報の信頼性や正確性)を瞬時には判断できない。よって、運転者が不安を覚えることがあり得る。また、運転者が対象物である「人E1」を視認しようとするあまり、視線が「人E1」の付近に集中してしまい、かえって前方不注意の状態を招く、といった不都合が生じることも否定できない。
 言い換えれば、HUD装置100の性能が向上して、重畳表示の精度が高まれば、運転者の、HUD装置100に対する信頼が向上し、ゆえに、運転者は、HUD装置100によって重畳表示がなされると、その重畳表示が示す対象物の存在を確認しようと努めることになるが、図1(B)のような時は、かえって、そのような運転者の動作が、安全運転上の問題となる可能性がある、ということである。
 この対策としては、図1(B)のような時は、原則として、強調表示枠PH1の重畳表示を行わない、ということが考えられる。ここで、図2(A)、図2(B)を参照する。図2(A)、図2(B)は、本発明の車両用表示装置の、夜間における、前方の実景に含まれる対象物への重畳表示の他の例を示す図である。図2(A)、図2(B)において、図1(A)、図1(B)と共通する部分には同じ参照符号を付している。なお、この点は、図3(A)、図3(B)においても同様である。
 図2(A)では、暗視野対象物である「人E1」については、重畳表示としての強調表示枠PH1の表示(重畳表示)を行っておらず、その代わりに、虚像表示領域5内の、第2の虚像表示領域PL2、及び、表示部(表示器)13の少なくとも一方において、「右前方に人」という、対象物である「人E1」への注意喚起を促す表示QP1、QP2がなされている。
 この時、暗視野にある対象物に対しては重畳表示を行わないため、運転者に不安感を与えることがなく、また、HUD装置100における他の虚像表示領域(第2の虚像表示領域PL2)や他の表示部(表示器)13に、注意喚起を促す表示をなすことで、間接的に、注意を要する対象物が暗視野にあることを運転者に報知することができる。よって、対象物(例えば「人E1」)が暗視野(暗視範囲)にある時においても、安全運転を確保しつつ、適切な情報の提供を行える車両用表示装置が実現される。
 次に、図2(B)を参照する。図2(B)の例では、夜間において、「人E5」が道路を横切ろうとしているが、この「人E5」の少なくとも足元付近は、前照灯が明るく照らす範囲(前照灯の照明範囲)8内に入っており、運転者は、「人E5」を視認可能である。よって、図1(A)の時と同様に、「人E5」を囲むように強調表示枠PH2が表示(重畳表示)される。これにより、運転者は、「人E5」が道路に進入していることを、確実に知ることができる。
 次に、図3(A)、図3(B)を参照する。図3(A)は、夜間において、対象物である人が道路に進入する方向へと歩いている状況を示し、図3(B)は、本発明の車両用表示装置の、夜間における、前方の実景に含まれる対象物への重畳表示の、さらに他の例を示す。図3(A)における車両1の周辺の状況は、ほぼ図2(A)と同じであるが、図3(A)の時、対象物である「人E1」が、かなりの速さで(言い換えれば、早足で、あるいは走って)道路に進入しようとしている。言い換えれば、道路への進入が確実視される状況であり、車両1の走行速度が「60km/h」とかなり高速であることを考慮すると、車両1との衝突や接触が懸念される事態であり、よって、図3(A)の例における「人E1」は、危険性が高い対象物と判定され得る。
 このような時に有効な対策の1つとしては、図3(B)のように、車両1に備わる照明(前照灯等)を制御し、あるいは、外部の照明システム(外部照明500)を制御して、「人E1」に対して、照明光を照射させることが考えられる。図3(B)の例では、車両1に備わる前照灯が、ロービームからハイビームに切り替えられ、これによって、「人E1」にまで照明光が届いており、「人E1」は、暗視野対象物から明視野対象物に転換されている。また、図3(B)の例では、外部照明500としての道路用(屋外用)スポットライトが、例えば、車両1からの無線通信による遠隔操作によって動作して、照明光を「人E1」に対して照射している。
 これによって、暗視野にあって視認が困難な対象物(暗視野対象物)である「人E1」は、明視野にあって視認可能な対象物(明視野対象物)に転換され、そして、その転換された「人E1」に重畳表示(強調表示枠PH1の重畳)を行うことで、運転者は、重畳表示によって示される対象物(「人E1」)を、瞬時に視認することが可能である。よって、不安感が生じず、有用な情報提供が可能となる。
 利用可能な自車両の照明としては、例えば、前照灯を含む照明部、その他の補助的な照明システムが考えられる。また、外部の照明システムとしては、例えば、車両の周辺の環境に設置されており、かつ、通行中の車両から無線通信等を用いて照明状況を制御可能な道路灯(道路照明器具)、屋外用スポットライト、防犯灯、街路灯等が考えられる。また、他の車両の照明を用いることも考えられる。
 上記の説明では、対象物の危険性が高いと判定された時に、照明態様の変更による対象物への照明光の照射を行わせているが、これに限定されるものではなく、特に危険性の判定は行わず、図2(B)の例のように、暗視野の範囲に、注意喚起対象としての対象物が検出された時に、無条件で照明態様の変更が行われるようにしてもよい。なお、照明態様の強制的な変更が行われる時は、運転者に唐突感(違和感)を与えないように、例えば、表示器13による表示や音声によって、そのことを報知するようにしてもよい。
 以上の説明では、暗視野にある対象物に対しては原則的に重畳表示を行わない、とする時の例について説明している。但し、例外的に、暗視野にある対象物に対しても、重畳表示を行う時も想定され得る。例えば、図3(A)の例のように、対象物の危険性が高いと判定される時等には、重畳表示を行うことが有効な場合もあると考えられる。
 言い換えれば、例えば、対象物の動き方、移動の仕方等に基づいて、対象物の危険性の高低を判定し、危険性が高いと判定される時(例えば、対象物である人が道路へと進入する、あるいは、斜め前方を走る自転車が、少しずつセンターライン側に移動している、といった、車両との衝突、接触の可能性がある時)には、例外的に、暗視野にある対象物に対しても、虚像の重畳(重畳表示)を行わせてもよい。このような時は、図2(A)、図2(B)に示したような、他の虚像表示領域(第2の虚像表示領域PL2)や他の表示部(表示器)13の表示による間接的な報知では間に合わないおそれがあることから、暗視野にある対象物に対して、例えば、見易いように調整された強調表示(例えば色を付した囲み枠、ロゴ、注意喚起マーク、文字による警告など)等を重畳させ、暗視野に危険性の高い対象物があることを直接的、かつ積極的に表示してもよい。これによって、運転者に、例えば、危険を回避するための迅速な行動を促すことができる。
 ここで、再び、図1(B)を参照する。図1(B)では、「人E1」に対して強調表示枠PH1が重畳されているが、ここで、この「人E1」が、図3(A)の例のように、危険性が高いと判定される対象物であるとする。「人E1」は、暗視野の範囲にあるため、現在の状況では、運転者は、「人E1」を視認できないが、車両1は、60km/hという、かなりの高速度で走行していることから、時間経過と共に、車両1は「人E1」に接近し、やがて、「人E1」は前照灯が明るく照らす範囲(照明範囲)8に入ることになるため、その時点で、運転者は、重畳表示がなされている対象物である「人E1」を、はっきりと視認できる。この場合、対象物である「人E1」が暗視野の範囲にあるときから、早めに強調表示枠PH1を表示していることから、運転者は、予め、危険性のある「人E1」の存在を察することができ、よって、例えば、「人E1」が照明範囲に入って視認可能となった時点で、すぐに急ブレーキをかける、といった衝突回避の動作が可能である。このように、暗視野にある対象物に対して重畳表示を行うことで、安全運転上の効果が期待できる場合も想定され得る。
 なお、上記の説明では、危険性が高いと判定される対象物について重畳表示を行う場合がある、としているが、必ず、危険性の判定が行われなくてはならない、というものではなく、他の条件による判定であってもよく、また、そのような条件判定がなされなくても、例えば、運転者が、暗視野にある対象物に対して重畳表示がなされることに対して、十分に慣れており、特に、安全運転上の問題がない場合には、暗視野の範囲にある対象物に対して、特に危険性の程度の判定を行うことなく、重畳表示を行うようにしてもよい。
 次に、図4を参照して、HUD装置の構成例について説明する。図4(A)は、虚像表示面として複数の面を設定可能なHUD装置における、虚像表示面の設定例を示し、図4(B)は、HUD装置の要部の構成例を示す。なお、図4(A)、図4(B)において、前掲の図面と同じ箇所には同じ参照符号を付している。
 図4(A)の例では、HUD装置100は、3面の虚像表示面を使用可能な3面(3レイヤー)HUD装置である。HUD装置100は、例えば、車両のダッシュボード等の内部に設置され、下側から上側に画像を表示する表示光K1、K2を照射することで、画像を被投影部材(透光部材)としてのウインドシールド3に投影する。なお、被投影部材(透光部材)3は、ウインドシールドに限定されるものではなく、コンバイナー等の他の部材であってもよい。
 図4(A)の例では、虚像表示面として、運転者15から見て、遠い位置(虚像表示距離L100)の虚像表示面PS1(a)と、より近い位置(虚像表示距離L101、L101<L100)の虚像表示面PS1(b)と、最も近い位置(虚像表示距離L102、L102<L101<L100)の虚像表示面PS2の3面を使用することができる。虚像表示面PS2は、車速表示SP等が表示される面であり、虚像表示距離L102は固定されている。虚像表示面PS1(a)、(b)は、重畳表示(先に示した強調表示枠PH1等)が表示される面であり、重畳対象である対象物の距離が、車両1から遠いか近いかに応じて、PS1(a)、PS(b)が選択的に切り換えられるようになっている。対象物までの距離に応じて、2面を選択的に切り換えることで、奥行き感を損なうことなく、3次元的に、精度よく、重畳表示(強調表示枠等)を対象物に重畳させることができる。なお、虚像表示面PS1(a)、PS1(b)、PS2は、路面2に対して直交して立設されているが、路面2に対して所定の角度で傾斜する、あるいは、路面2に重畳されるように傾斜するものであってもよい。
 次に、図4(b)を参照する。図4(b)に示されるように、HUD装置100は、光源部31(画像生成部33と、レーザー光を2分割して2つのビームを生成して出力する投光制御部35と、を含む)と、ミラー39と、レンズ44と、画像表示部としてのスクリーン46a、46b(画像表示面47を備え、画像表示面47上に画像Ma、Mbが形成される)と、虚像表示距離制御部24(レンズ駆動部51と、スクリーン駆動部53とを含む)と、ミラー71と、反射鏡(凹面鏡)72と、筐体81と、光出射窓83と、を有する。図4(B)では、光源部31から出力される光を処理する光学系の全体(楕円の破線で囲まれる領域)を、投射光学系37と称するものとする。
 スクリーン46aの画像表示面47に表示される画像Maの出射光によって表示光K1が生成され、スクリーン46bの画像表示面47に表示される画像Mbの出射光によって表示光K2が生成される。虚像表示距離制御部24(レンズ駆動部51、スクリーン駆動部53)によって、レンズ44及びスクリーン46aの位置が、光路に沿って、言い換えれば、レンズ44(及びスクリーン46a)の光軸に沿う方向に移動することで、虚像表示面PS1(a)、PS1(b)を適宜、切り換えることができる。なお、スクリーン46bは位置が固定であり、表示光K2は、車速表示SP等を表示するために使用される。
 次に、図5を参照する。図5は、図4(A)及び図4(B)に示されるHUD装置を少なくとも含む、本発明の車両用表示装置の全体構成の一例を示す図である。図5において、前掲の実施形態と同じ部分には同じ参照符号を付している。
 車両1には、少なくとも1台のカメラ(典型的には、赤外線カメラ200)が設けられる。赤外線カメラ200によって、昼/夜にかかわらず、車両1の周囲(例えば前方)の実景を撮像することができる。また、一対の赤外線カメラ200(ステレオカメラ)を設ける場合は、各カメラの視差画像から対象物までの奥行き情報(対象物までの距離)を求めることもできる。また、車両1には、外光強度を測定する外光センサ(照度センサ)202が設けられている。
 また、車両1に備わる前照灯(ヘッドライト)204の照明動作は、前照灯制御部203によって制御される。また、必要に応じてレーダー部206が設けられる。レーダー部206によって、例えば、前方を走る先行車両までの距離や、車両1の周囲(前方等)に存在する対象物までの距離(奥行き情報)を測定できる。
 また、HUD装置100は、ダッシュボード4の内部に収容されている。HUD装置100は、先に説明したように、画像生成部33と、投光制御部35と、投射光学系37と、虚像表示距離制御部24と、を有する。HUD装置100は、画像の表示光K1、K2を、被投影部材としてのウインドシールド(フロントガラス)3に投射する(言い換えれば、画像を投影する)。投射された光の一部は、運転者の目(視点)Aに向かい、その結果、図4(A)で示したように、虚像表示面PS1(a)、PS1(b)、PS2に、強調表示としての強調表示枠PH1や車速表示SP等が表示される。なお、強調表示枠PH1は、正確には、対象物に重畳される画像(重畳画像:例えば、画像生成部33にて生成される)の虚像である。先に説明したように、車両用表示装置は、少なくともHUD装置100を含むものである。図5の例では、液晶等を用いた表示部(表示器)13も設けられている。
 また、車両1には、車両1の動作を統括的に制御する電子制御ユニット(ECU)300と、外部の運転支援システム400や外部の照明システムとしての外部照明500と無線通信を行って、データや制御信号等の送受信を行うことができる無線通信部302と、ECU300と内部バスBUS1を経由して接続され、ECU300から車両1の運行状態等に関する情報(車両情報)を取得する車両情報取得部304と、前照灯制御部203からの制御信号に基づいて、前照灯(ヘッドライト)204のオン/オフを検出し、かつ前照灯204がハイビームであるかロービームであるかを検出するハイビーム/ロービーム検出部306と、外光センサ(照度センサ))202からの外光強度情報に基づいて、昼であるか夜であるかを判定する昼夜判定部307と、明視範囲判定部308と、対象物情報取得部310と、対象物の明暗判定部320と、対象物の危険性の程度を判定する危険度判定部330と、車両用表示装置の表示動作を統括的に制御する表示制御部340と、表示部(表示器)13の表示動作を制御する表示器制御部352と、表示部(表示器)13に表示させる画像の画像データを生成する画像生成部350と、照明制御部360と、を有する。
 なお、表示制御部340は、CPU、MPU等で構成することができる。表示制御部340は、内部バスBUS2を介して、画像生成部350、ならびに、HUD装置100の画像生成部33及び虚像表示距離制御部24と通信を行い、データや制御信号の授受を行うことができる。
 また、明視範囲判定部308は、昼夜判定部307による判定結果、及びハイビーム/ロービーム検出部306の検出結果を参照して、車両1の周囲における明視範囲を判定する。例えば、昼の場合は、原則として、周囲はすべて明視野の範囲(明視範囲)であると判定できる。また、夜の場合、例えば、前照灯204のハイビーム/ロービームによる照明範囲(空間における照明光の分布:既知)に基づいて、明視範囲を判定できる。
 対象物情報取得部310は、赤外線カメラ200の撮像画像を解析し、パターンマッチングや特徴量の抽出等の手法を用いて、注意喚起対象である対象物を検出する対象物検出部312と、撮像画像を解析し、対象物の位置情報(例えば、前車両1の左右方向に対応する方向をx方向とし、上下方向に対応する方向をy方向とし、車両1の前方に対応する方向をz方向とするとき、各座標軸の座標情報)を取得する位置情報取得部314と、対象物までの距離(z軸方向における距離)の情報を取得する奥行き情報取得部316と、対象物の動き検出部318と、を有する。
 奥行き情報取得部316は、例えば、レーダー部206の測定結果を利用して奥行き情報を取得してもよく、また、一対の赤外線カメラ200の視差画像に基づく演算により算出してもよい。また、動き検出部318は、例えば、所定の時間間隔で測定された複数枚の撮像画像の差分に基づいて動きベクトルを検出してもよい。この場合、動きベクトルの方向と大きさから、対象物の動きの態様を検出することができる。
 また、対象物の明暗判定部は、明視範囲判定部308によって特定された明視野の範囲(明視範囲)と、対象物取得部310が取得した対象物についての位置情報(座標情報を含み、その他、種々の情報を参照することもできる)と、の少なくとも一方に基づいて、例えば、両者を突き合わせて対応付けすることによって、対象物が、運転者からみて明るい範囲である明視野の範囲(明視範囲)にあるか(言い換えれば、明視野対象物であるか)、暗い範囲である暗視野の範囲(暗視範囲)にあるか(言い換えれば、暗視野対象物であるか)を判定する。
 言い換えれば、対象物の明暗を判定するに際し、外光強度、及び自車両の照明の動作状況等の少なくとも一方に基づいて、車両の周辺における明視野の範囲(言い換えれば、光の分布状況)を判定し、その明視野の範囲(明視範囲)と、検出された対象物の位置情報と、を例えば突き合わせる(両者の対応関係を調べる、具体的には、例えば、対象物の少なくとも一部が明視範囲に含まれるか否かを検出する)ことによって、対象物の明暗を判定するものである。
 これによって、夜間であっても、車両の周辺の明るさの分布を考慮して、対象物の明暗を、精度よく判定することができる。例えば、昼間は、前照灯204の点灯状態にかかわらず、周囲の対象物は明るい範囲にあるものと判定し得る。言い換えれば、前照灯204を点灯していても、例えば、外光センサ202によって周囲が明るい(昼間)と判定されれば、前照灯204の照明範囲に関係なく、対象物は明視野の範囲(明視範囲)にある対象物であると判定できる。
 また、外光センサ202によって周囲が暗い、言い換えれば、夜間(薄明視環境も含まれる)であると判定される時は、前照灯204等による照明の範囲を考慮して、対象物の明暗を判定する。なお、赤外線カメラ200とは別のカメラを用意して、そのカメラで撮像した画像の輝度分布を調べて、対象物の明暗を判定する時も想定され得るが、この場合も、実質的に、対象物の位置と、その位置における輝度情報と、を対応付けして対象物の明暗を判定していることになり、上記の技術範囲に含まれる。
 また、危険度判定部330は、対象物の動きに関する情報に基づいて、対象物の危険性(危険度)を判定する。例えば、先に図3(A)で説明したように、人が、早足で道路に進入しようとしている時等には、対象物であるその人は、危険性(危険度)が高いと判定される。
 また、表示制御部340は、対象物の明暗判定部320の判定結果等に基づいて、重畳表示を行うか否かを判定する重畳表示要否判定部342と、運転者に報知するための画像の表示を、HUD装置100を用いて行うか、表示部(表示器)13を用いて行うか(あるいは、それらの双方に行うか)を判定するHUD表示/表示器表示の判定部344と、重畳表示や報知のための表示の態様や形式(例えば、重畳表示として枠表示を用いる、注意喚起マークを用いる、あるいは、報知のための表示として、ロゴマークを用いる、文字情報を用いる、あるいは、図3(B)の例のように、暗視野にある対象物に照明光を照射して重畳表示を行う、といったこと)を決定する報知形式/表示形式の決定部346と、を有する。
 また、照明制御部360は、報知形式/表示形式の決定部346によって、暗視野にある対象物に照明光を照射して重畳表示を行うことが決定された時は、例えば、前照灯制御部203に指示して、前照灯204の照明方向の変更(ロービームからハイビームへの切り換え等)を行わせ、あるいは、ECU300に指示して、無線通信部302から制御信号を外部照明500に送信させ、これによって、外部照明500から照明光を対象物に照射させる。
 このように、車両用表示装置は、HUD装置100を少なくとも有し、車両1の周囲の前実景に含まれる、注意喚起対象としての対象物を検出する対象物検出部312と、検出された対象物が、車両1の運転者から見て、明るく見える範囲である明視野にあるか、暗く見える範囲である暗視野にあるか、を判定する対象物の明暗判定部320と、車両用表示装置における表示を制御する表示制御部340と、を有する。
 そして、表示制御部340は、先に、図1(A)、図1(B)、図2(A)、図2(B)を用いて説明したように、対象物の明暗判定部320によって、対象物が明視野にあると判定された時には、HUD装置100における、重畳画像の虚像の、前記対象物への重畳を行わせる(図1(A))。
 一方、対象物の明暗判定部320によって、対象物が暗視野にあると判定された時には、車両制御部340は、例えば、HUD装置100における、重畳画像の虚像(強調表示枠等)の、対象物への重畳を行わせず(図2(A))、又は、HUD装置100における、重畳画像の虚像(強調表示枠等)の、第1の虚像表示領域PL1における対象物への重畳を行わせず、その代わりに第2の虚像表示領域PL2における虚像の表示によって、運転者に、暗視野にある対象物への注意を喚起させ(図2(A))、又は、HUD装置100における、重畳画像の虚像の、対象物への重畳を行わせず、その代わりに表示部(表示器)13による表示によって、運転者に、暗視野にある対象物への注意を喚起させ(図2(A))、又は、対象物検出部312によって検出される対象物に関する情報(例えば、動き方や移動の仕方)に基づいて、危険度判定部330が対象物の危険性の高低を判定し、危険性が低いと判定される時は、HUD装置100における、重畳画像の虚像の、対象物への重畳を行わせず、危険性が高いと判定される時は、例外的に、HUD装置100における、重畳画像の虚像の、対象物への重畳を行わせる(図1(B))、といった種々の表示態様によって、運転者に、対象物の存在を報知する。
 暗視野にある対象物に対しては重畳表示を行わないため、運転者に不安感を与えることがなくなり、また、HUD装置100における他の虚像表示領域(第2の虚像表示領域PL2)や他の表示部(表示器)13に、注意喚起を促す表示をなすことで、間接的に、暗視野に、注意を要する対象物があることを運転者に報知することができる。よって、対象物が暗視野(暗視範囲)にある時においても、安全運転を確保しつつ、適切な情報の提供を行える車両用表示装置を実現することができる。
 また、表示制御部340が対象物に関する情報に基づいて(例えば、対象物の動き方、移動の仕方等に基づいて)、対象物の危険性の高低を判定し、危険性が高いと判定される時(例えば、対象物である人が道路へと進入する、あるいは、斜め前方を走る自転車が、少しずつセンターライン側に移動している、といった、車両との衝突、接触の可能性がある時)には、例外的に、暗視野にある対象物に対しても、虚像の重畳(重畳表示)を行わせることができる。このような場合は、他の虚像表示領域(第2の虚像表示領域PL2)や他の表示部(表示器)13の表示による間接的な報知では間に合わないおそれがあることから、暗視野にある対象物に対して、例えば、見易いように調整された強調表示(例えば色を付した囲み枠、ロゴ、注意喚起マーク、文字による警告など)等を重畳させ、暗視野に危険性の高い対象物があることを直接的、かつ積極的に表示するものである。これによって、運転者に、例えば、危険を回避するための迅速な行動を促すことができる。
 また、表示制御部340は、対象物の明暗判定部320によって、対象物が暗視野にあると判定された時には、あるいは、さらに、危険度判定部330によって対象物の危険性が高いと判定された時(2重に条件を満たす時)には、車両に備わる照明を制御する、第1の照明制御部としての前照灯制御部203を介して、又は、車両1の外部の照明システムを制御する第2の照明制御部(ここでは、ECU300及び無線通信部302がこれに該当する)を介して、照明(前照灯204)又は照明システムとしての外部照明500から、暗視野にある対象物に照明光を照射させ、これにより、暗視野にあった対象物を明視野にある対象物とし、明視野にある対象物に対して重畳画像の虚像を重畳させてもよい(図3(B)の例)。
 言い換えれば、暗視野にある対象物(暗視野対象物)に対して強制的に照明光を照射させ、これによって、暗視野対象物を、明視野にある対象物(明視野対象物)に転換し、転換された明視野対象物に重畳画像の虚像を重畳させる、という制御が行われる。自車両の照明(例えば、前照灯を含む照明部、照明システム)や、外部の照明システム(例えば、車両の周辺の環境に設置されている道路灯(道路照明器具)、屋外用スポットライト、防犯灯、街路灯等)を用いて対象物を照明し、暗視野にあって視認が困難な対象物を、明視野にあって視認可能な対象物とし、これに重畳表示を行うことで、運転者は、重畳表示によって示される対象物を、瞬時に視認することが可能である。よって、不安感が生じず、有用な情報提供が可能となる。
 なお、図3(B)で説明したように、前照灯(ヘッドライト)204の照明態様の変更の具体例としては、前照灯のロービームをハイビームに切り換えることがあげられる。但し、強制的な照明態様の変更を行う場合、機器の処理負担がかなり重くなることが想定され、また、運転者にとっても、照明状態の強制的な変更によって違和感を覚えることも有り得ることから、慎重に判断し、危険性が大きいと判定される場合にのみ、照明態様の変更を行うとった配慮がなされることが望ましい。なお、照明態様を変更する前に、運転者に、表示や音声等によって、そのことを報知して、違和感を軽減するようにしてもよい。
 次に、図6を参照する。図6は、図5に示される車両用表示装置の、主要な動作手順の一例を示すフローチャートである。まず、昼夜判定を行う(ステップS1)。ステップS1において夜と判定される場合は、次に、ハイビーム/ロービームに関する情報を入力する(ステップS2)。また、ステップS1において昼と判定される場合は、ステップS3に移行する。ステップS3では、明視範囲(明視野の範囲、あるいは運転者から見て明るく見える範囲)の判定を行う。これと併行して、対象物情報(位置情報、奥行き情報、動き等情報)の取得を行う(ステップS4)。
 次に、ステップS3、S4の各判定結果に基づいて、対象物の明暗判定を行い(ステップS5)、明視範囲(明視野の範囲)にある対象物(明視野対象物)である時には、ステップ10に移行して、その対象物に対して重畳表示(対象物に重畳される枠、注意喚起マーク、ロゴ等の表示)を行う。
 ステップS6で、暗視範囲(暗視野の範囲)にある対象物(暗視野対象物)であると判定された時(ステップS6でYの時)には、原則的には重畳表示は行わず、ステップS11に移行して、HUD装置の第2の虚像表示領域や他の表示部(表示器)を用いた、非重畳表示による運転者への報知を行う。
 但し、必要に応じて、対象物の動き等に基づく危険度(危険性)の高低の判定が行われ(ステップS7)、危険度大と判定される時は、例えば、例外的に、ステップS10に移行して重畳表示を行なってもよく、また、例えば、ステップS11に移行して、非重畳表示による運転者への報知を行ってもよく、また、ステップS9に移行して、照明変更(照明態様の強制的な変更)によって対象物を照明してもよい。
 また、ステップS7に続いてステップS8にて、照明変更(照明態様の強制的な変更)の要否を判定してもよく、照明変更要と判定された時は、ステップS9にて、照明変更(照明態様の強制的な変更)によって対象物を照明し、次に、ステップS10に移行して、明視野の範囲にある対象物に対して重畳表示を行ってもよい。
 以上、本発明を、いくつかの実施形態を用いて説明したが、本発明はこれらの実施形態に限定されるものではなく、種々、変形、応用が可能である。例えば、検出対象となる対象物は、人や自転車等の動きのあるものの他、道路標識、目的地に到達するのに役立つ目印となるランドマーク等であってもよい。また、照明態様の変更は、前照灯のみならず、バックライトやその他の予備的な照明灯などを対象として行ってもよい。また、上記の実施形態では、重畳表示として強調表示枠を例にとって説明しているが、例えば、対象物を指し示す矢印、ロゴ等も重畳表示に含めてもよい。また、対象物の危険性(危険度)が高い時には、HUD装置や他の表示部(表示器)における表示において、通常の表示態様とは異なる態様での表示を行ってもよい。例えば、文字、対象物の危険度や種別を示すアイコン等による報知を行ってもよい。
 本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
 1・・・車両、2・・・路面、3・・・被投影部材(ウインドシールド等)、4・・・ダッシュボード、5・・・ウインドシールド上の虚像表示領域、7・・・ハンドル(ステアリングホイール)、8・・・前照灯による照明範囲、9・・・モード切替スイッチ(操作部)、13・・・液晶等による表示部(表示器)、100・・・HUD装置、200・・・赤外線カメラ、202・・・外光センサ(照度センサ)、203・・・前照灯制御部、204・・・前照灯、206・・・レーダー部、300・・・ECU、302・・・無線通信部、304・・・車両情報取得部、306・・・ハイビーム/ロービーム検出部、307・・・昼夜判定部、308・・・明視範囲判定部、310・・・対象物情報取得部、320・・・対象物の明暗判定部、340・・・表示制御部、400・・・運転支援システム、500・・・外部照明、PL1,PL2・・・第1、第2の虚像表示領域、PS1(a)、PS1(b)、PS2・・・虚像表示面、K1、K2・・・画像の表示光、E1~E5・・・対象物(あるいは対象物の候補)、PH1、PH2・・・強調表示としての枠(強調表示枠)。

Claims (4)

  1.  車両に搭載され、画像を、前記車両に備わる被投影部材に投影することで運転者に前記画像の虚像を視認させると共に、前記虚像には、前記車両の周囲の実景に重畳される重畳画像の虚像が含まれるヘッドアップディスプレイ(HUD)装置を少なくとも有する車両用表示装置であって、該車両用表示装置は、
     前記車両の周囲の前記実景に含まれる、注意喚起対象としての対象物を検出する対象物検出部と、
     検出された対象物が、前記車両の運転者から見て、明るく見える範囲である明視野にあるか、暗く見える範囲である暗視野にあるか、を判定する対象物の明暗判定部と、
     前記車両用表示装置における表示を制御する表示制御部と、
     を備え、
     前記表示制御部は、
     前記対象物の明暗判定部によって、前記対象物が明視野にあると判定された時には、(a)前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせ、
     前記対象物の明暗判定部によって、前記対象物が暗視野にあると判定された時には、 (b-1)前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせない、
     又は、
     (b-2)前記ヘッドアップディスプレイ装置における前記虚像を表示可能な虚像表示領域が、前記重畳画像の虚像を表示する第1の虚像表示領域と、対象物への重畳を前提としない非重畳画像の虚像を表示する第2の虚像表示領域と、を含む時に、
     前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記第1の虚像表示領域における前記対象物への重畳を行わせず、かつ、前記第2の虚像表示領域における虚像の表示によって、前記運転者に、前記暗視野にある前記対象物への注意を喚起させる、
     又は、
     (b-3)前記ヘッドアップディスプレイ装置とは別に、表示部が設けられる時に、
     前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせず、かつ、前記表示部による表示によって、前記運転者に、前記暗視野にある前記対象物への注意を喚起させる、
     又は、
     (b-4)前記対象物検出部によって検出される前記対象物に関する情報に基づいて、前記対象物の危険性の高低が判定され、
     危険性が低いと判定される時は、(b-4α)前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせず、危険性が高いと判定される時は、(b-4β)前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせる、
     ことを特徴とする車両用表示装置。
  2.  車両に搭載され、画像を、前記車両に備わる被投影部材に投影することで、運転者に前記画像の虚像を視認させると共に、前記虚像には、前記車両の周囲の実景に重畳される重畳画像の虚像が含まれるヘッドアップディスプレイ(HUD)装置を少なくとも有する車両用表示装置であって、該車両用表示装置は、
     前記車両の周囲の前記実景に含まれる、注意喚起対象としての対象物を検出する対象物検出部と、
     検出された対象物が、前記車両の運転者から見て、明るく見える範囲である明視野にあるか、暗く見える範囲にあるか、を判定する対象物の明暗判定部と、
     前記車両用表示装置における表示を制御する表示制御部と、
     を備え、
     前記表示制御部は、
     前記対象物の明暗判定部によって、前記対象物が明視野にあると判定された時には、前記ヘッドアップディスプレイ装置における、前記重畳画像の虚像の、前記対象物への重畳を行わせ、
     前記対象物の明暗判定部によって、前記対象物が暗視野にあると判定された時には、
     前記車両に備わる照明を制御する第1の照明制御部、又は前記車両の外部の照明システムを制御する第2の照明制御部を介して、前記照明又は前記照明システムから前記暗視野にある対象物に照明光を照射させ、これにより、暗視野にあった対象物を明視野にある対象物とし、明視野にある対象物に対して前記重畳画像の虚像を重畳させる、
     ことを特徴とする車両用表示装置。
  3.  前記表示制御部は、前記対象物検出部によって検出される前記対象物に関する情報に基づいて、前記対象物の危険性の高低を判定し、危険性が高いと判定される時に、前記暗視野にある対象物に照明光を照射させることを特徴とする請求項1又は2に記載の車両用表示装置。
  4.  前記対象物の明暗判定部は、
     外光センサから得られる外光強度情報、及び前記車両情報取得部が取得した、前記車両に備わる照明の動作状況を示す情報の少なくとも一方に基づいて、前記車両の周辺における前記明視野の範囲を判定する明視範囲判定部を有し、
     前記明視範囲判定部によって判定された明視野の範囲と、前記対象物検出部によって検出された前記対象物の位置情報と、に基づいて、前記対象物が明視野にあるか、暗視野にあるかを判定することを特徴とする請求項1乃至3の何れか1項に記載の車両用表示装置。
PCT/JP2018/028473 2017-08-23 2018-07-30 車両用表示装置 WO2019039201A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-160586 2017-08-23
JP2017160586 2017-08-23

Publications (1)

Publication Number Publication Date
WO2019039201A1 true WO2019039201A1 (ja) 2019-02-28

Family

ID=65438758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028473 WO2019039201A1 (ja) 2017-08-23 2018-07-30 車両用表示装置

Country Status (1)

Country Link
WO (1) WO2019039201A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020163942A (ja) * 2019-03-28 2020-10-08 パナソニックIpマネジメント株式会社 表示装置
WO2020230418A1 (ja) * 2019-05-14 2020-11-19 パナソニックIpマネジメント株式会社 表示装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318677A (ja) * 2005-05-10 2006-11-24 Toyota Motor Corp 照射装置及び暗視装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置
WO2011108218A1 (ja) * 2010-03-01 2011-09-09 本田技研工業株式会社 車両の周辺監視装置
JP2011227657A (ja) * 2010-04-19 2011-11-10 Honda Motor Co Ltd 車両の周辺を監視する装置
WO2012164729A1 (ja) * 2011-06-02 2012-12-06 トヨタ自動車株式会社 車両用視界支援装置
JP2014127924A (ja) * 2012-12-27 2014-07-07 Denso Corp 暗視装置
WO2015025350A1 (ja) * 2013-08-19 2015-02-26 三菱電機株式会社 車載表示制御装置
JP2015049842A (ja) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 注意喚起表示装置及び注意喚起表示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318677A (ja) * 2005-05-10 2006-11-24 Toyota Motor Corp 照射装置及び暗視装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置
WO2011108218A1 (ja) * 2010-03-01 2011-09-09 本田技研工業株式会社 車両の周辺監視装置
JP2011227657A (ja) * 2010-04-19 2011-11-10 Honda Motor Co Ltd 車両の周辺を監視する装置
WO2012164729A1 (ja) * 2011-06-02 2012-12-06 トヨタ自動車株式会社 車両用視界支援装置
JP2014127924A (ja) * 2012-12-27 2014-07-07 Denso Corp 暗視装置
WO2015025350A1 (ja) * 2013-08-19 2015-02-26 三菱電機株式会社 車載表示制御装置
JP2015049842A (ja) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 注意喚起表示装置及び注意喚起表示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020163942A (ja) * 2019-03-28 2020-10-08 パナソニックIpマネジメント株式会社 表示装置
JP7236674B2 (ja) 2019-03-28 2023-03-10 パナソニックIpマネジメント株式会社 表示装置
WO2020230418A1 (ja) * 2019-05-14 2020-11-19 パナソニックIpマネジメント株式会社 表示装置

Similar Documents

Publication Publication Date Title
JP6346614B2 (ja) 情報表示システム
US10741083B2 (en) Road surface image-drawing system for vehicle
US8536995B2 (en) Information display apparatus and information display method
JP6272375B2 (ja) 車両用表示制御装置
JP6413207B2 (ja) 車両用表示装置
JP5338273B2 (ja) 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP4943367B2 (ja) 車両用情報表示装置
JP2017170933A (ja) 車両用表示制御装置
JP2013032087A (ja) 車両用ヘッドアップディスプレイ
JP2016020876A (ja) 車両用表示装置
US9776559B2 (en) Vehicular display system
US20160225186A1 (en) System and method for augmented reality support
JP2009292223A (ja) 車両用警告表示装置
JP2010039793A (ja) 車両用表示装置
JP2016112984A (ja) 車両用虚像表示システム、ヘッドアップディスプレイ
JP7111582B2 (ja) ヘッドアップディスプレイシステム
JP6448714B2 (ja) 情報表示システム
WO2019039201A1 (ja) 車両用表示装置
KR101496322B1 (ko) 주행차량 사각지대의 위험요소 알림 장치
JP2012066646A (ja) 表示装置
CN110392644B (zh) 提供用于在驾驶机动车方面辅助驾驶员的光功能
JP5578254B2 (ja) 画像生成装置
KR20170056100A (ko) 헤드업 디스플레이의 물체 표시 장치 및 방법
JP5192009B2 (ja) 車両の周辺監視装置
JP6313271B2 (ja) 車両用運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18848778

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18848778

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP