WO2020152737A1 - 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 - Google Patents

情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
WO2020152737A1
WO2020152737A1 PCT/JP2019/001628 JP2019001628W WO2020152737A1 WO 2020152737 A1 WO2020152737 A1 WO 2020152737A1 JP 2019001628 W JP2019001628 W JP 2019001628W WO 2020152737 A1 WO2020152737 A1 WO 2020152737A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
vehicle
information
obstacle
image
Prior art date
Application number
PCT/JP2019/001628
Other languages
English (en)
French (fr)
Inventor
大樹 工藤
雅浩 虻川
貴弘 大塚
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020567673A priority Critical patent/JP6869448B2/ja
Priority to PCT/JP2019/001628 priority patent/WO2020152737A1/ja
Priority to CN201980088887.5A priority patent/CN113316529A/zh
Priority to DE112019006155.0T priority patent/DE112019006155B4/de
Publication of WO2020152737A1 publication Critical patent/WO2020152737A1/ja
Priority to US17/376,481 priority patent/US20210339678A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an information presentation device, an information presentation control method, a program, and a recording medium.
  • Patent Document 1 discloses a display device that specifies a target gazed by the driver based on the line of sight of the driver and switches the type of information displayed according to the specified gazed target.
  • JP 2008-13070 A paragraphs 0021, 0022
  • the information presentation device of the present invention is A vehicle exterior imaging unit that captures an image of the surroundings of the vehicle and generates a vehicle exterior image; An in-vehicle imaging unit that images the inside of the vehicle and generates an in-vehicle image, A display device having a plurality of display means; Recognizing one or more obstacles from the image outside the vehicle, generating obstacle information indicating the result of recognition of the obstacle, generating line-of-sight information indicating the direction of the driver's line of sight from the image inside the vehicle, An information presentation control device that makes a decision regarding display on each of the plurality of display means based on obstacle information and the line-of-sight information, and controls the display on each of the plurality of display means based on the determination.
  • the determination regarding the display includes a determination regarding whether or not the display of the vehicle exterior image is necessary in each of the plurality of display means, and a determination regarding enhancement processing for each obstacle in the vehicle exterior image
  • the decision regarding the emphasis process includes a decision as to whether emphasis is necessary and a level of emphasis
  • the information presentation control device displays an image including each of the recognized one or two or more obstacles on a display means in the direction of the obstacle or a direction close to the obstacle among the plurality of display means. It is characterized by
  • an image including each of the recognized one or more obstacles is displayed on the display means in the direction of the obstacle or a direction close to the obstacle among the plurality of display means. Therefore, the driver who is visually recognizing a certain direction around the vehicle does not have to move his or her line of sight to visually recognize the image obtained by capturing the same direction. The time can be shortened.
  • FIG. 6 is a table showing an example of a method of making a decision regarding display on the left display by the emphasis determination unit according to the first embodiment. It is a schematic diagram showing a modification of a display. It is a block diagram which shows the information presentation apparatus of Embodiment 2 of this invention. It is a block diagram which shows the structural example of the information presentation control apparatus of FIG. It is a block diagram which shows the structural example of the information presentation control apparatus used by Embodiment 3 of this invention. 16 is a table showing an example of a method of making a decision regarding a display on the left display by the emphasis determination unit according to the third embodiment. It is a schematic diagram showing a vehicle running on a narrow road.
  • FIG. 17 is a table showing an example of a method of making a decision regarding a display on the left display by the emphasis determination unit according to the fifth embodiment. It is a figure which shows the modification of arrangement
  • FIG. 10 is a block diagram showing a configuration example of a computer including one processor that realizes various functions of the information presentation control device used in the first to fifth embodiments.
  • FIG. 1 is a block diagram showing a configuration example of the information presentation device 1 according to the first embodiment of the present invention.
  • the illustrated information presentation device 1 is installed in a vehicle 102, as shown in FIG. 2, for example, and includes an image pickup unit 2 outside the vehicle, an image pickup unit 3 inside the vehicle, an information presentation control unit 4, and a display unit 5.
  • a vehicle 102 as shown in FIG. 2, for example, and includes an image pickup unit 2 outside the vehicle, an image pickup unit 3 inside the vehicle, an information presentation control unit 4, and a display unit 5.
  • the display device 5 includes a left display unit 5L as a left display unit and a right display unit 5R as a right display unit.
  • a left display unit 5L as a left display unit
  • a right display unit 5R as a right display unit.
  • the left indicator 5L is arranged on the left side and the right side.
  • the display 5R is arranged on the right side.
  • the vehicle exterior imaging unit 2 captures an image of the area around the vehicle 102 and generates and outputs a vehicle exterior image Da.
  • the vehicle exterior imaging unit 2 includes the wide-angle camera 2a shown in FIG.
  • the wide-angle camera 2a is attached to the vehicle 102 and images the outside of the vehicle.
  • the wide-angle camera 2a is installed, for example, at the front end portion 104 of the vehicle 102.
  • the wide-angle camera 2a is provided at the center of the vehicle in the width direction. It is desirable that the horizontal viewing angle ⁇ a of the wide-angle camera 2a be 180 degrees or more.
  • a vehicle 102 is about to enter an intersection 116 from a road 112 which is narrow and has structures 114 such as side walls that block the view on both sides.
  • the driver U cannot see the ranges ⁇ L and ⁇ R located outside the visible range defined by the set of straight lines Uva and Uvb connecting the viewpoint Ue and the projecting ends 114a and 114b of the building 114, or The range is hard to see.
  • the “hard-to-see range” is a range that cannot be seen unless the driver changes his posture significantly.
  • the range that is difficult to see is a range that is not visible in a normal posture, and therefore can be said to be a range that is not visible or a range of blind spots.
  • the viewing angle ⁇ a of the camera 2a includes at least part of the invisible or hard-to-see ranges ⁇ L and ⁇ R. Therefore, the image captured by the camera 2a includes the obstacle in the above-mentioned invisible or hard-to-see range.
  • the above example is for entering an intersection, but there are similar problems when entering a road from a parking lot in a building.
  • the in-vehicle image pickup unit 3 images the inside of the vehicle, particularly the driver's face and its periphery, and generates and outputs the in-vehicle image Db.
  • the in-vehicle image capturing unit 3 includes a camera (not shown) installed so as to capture an image of the driver's face and its surroundings.
  • a camera As the camera, one having an infrared sensor may be used so that an image can be taken even when the inside of the vehicle is dark. You may use what provided the infrared irradiation device with an infrared sensor further.
  • the information presentation control device 4 controls the display of images on the display device 5 based on the image outside the vehicle Da and the image inside the vehicle Db.
  • the information presentation control device 4 includes, for example, as shown in FIG. 5, an image correction unit 41, an image recognition unit 42, a line-of-sight information acquisition unit 43, an emphasis determination unit 44, and a display control unit 45.
  • the image correction unit 41 extracts a left image and a right image from the vehicle outside image Da input from the vehicle outside imaging unit 2, performs distortion correction on the extracted images, and then corrects the left corrected image FL and the right corrected image. Output as FR.
  • the left image and the right image are images of the viewing angles ⁇ L and ⁇ R in FIG. 6, respectively.
  • the viewing angle ⁇ L is an angle range centered on the direction to the left of the front direction.
  • the viewing angle ⁇ R is an angle range centered on the direction to the right of the front direction.
  • the viewing angle ⁇ L includes at least a part of the invisible or hard-to-see range ⁇ L
  • the viewing angle ⁇ R includes at least a part of the invisible or hard-to-see range ⁇ R.
  • the left image and the right image are images obtained by imaging with a wide-angle lens, they are distorted and difficult for humans to see, and the image recognition processing by the image recognition unit 42 is difficult. Therefore, the distortion correction is to remove the distortion and make the image easier to see.
  • the image recognition unit 42 performs image recognition on each of the left corrected image FL and the right corrected image FR, recognizes one or more obstacles in the image, and generates obstacle information indicating an obstacle recognition result. Output.
  • Various known algorithms can be used for image recognition.
  • the obstacle here is another vehicle, a pedestrian, or the like that needs to avoid a collision during driving. Vehicles include automobiles and bicycles.
  • the vehicle 102 on which the information presentation device 1 is mounted to distinguish it from other vehicles may be referred to as “own vehicle”.
  • the obstacle information includes information indicating the type of each obstacle, information indicating the position of the obstacle in the image, and information indicating the size of the obstacle in the image.
  • the position of the obstacle in the image is represented by two-dimensional coordinates (x, y) of the position of the representative point of the obstacle with the reference point of the image, for example, the upper left corner as the origin. ..
  • the representative point here is, for example, the upper left corner of a rectangular area including an obstacle.
  • the rectangular area that contains each obstacle is a horizontal line segment that passes through the lowest point of the obstacle in the image, a horizontal line segment that passes through the highest point, and the leftmost. It is a rectangular region whose sides are a vertical line segment passing through a point located at and a vertical line segment passing through the rightmost point. For example, as shown in FIG. 7, when an obstacle BJ is recognized in the image, a rectangular area BR including the obstacle BJ is detected.
  • the information indicating the size of the obstacle may be information indicating the width w and the height h of the rectangular area BR.
  • the coordinates of the upper left corner and the coordinates of the lower right corner of the rectangular area BR may be used as the information indicating the size.
  • the line-of-sight information acquisition unit 43 performs face detection and face feature detection on the in-vehicle image Db, detects the direction of the line of sight, and generates and outputs line-of-sight information indicating the direction of the line of sight.
  • Various known methods can be used for face detection, face feature detection, and detection of the direction of the line of sight based on these detection results.
  • the emphasis determination unit 44 determines the display on each of the left display unit 5L and the right display unit 5R based on the obstacle information from the image recognition unit 42 and the line-of-sight information from the line-of-sight information acquisition unit 43.
  • the decision regarding the display includes a decision regarding whether the display is necessary and a decision regarding the emphasis process.
  • the decision regarding the emphasis processing includes a determination whether the emphasis processing is necessary and a determination of the emphasis level.
  • the emphasis process is a process for making an obstacle in an image stand out.
  • any of the following methods may be used as the emphasis processing method.
  • (A1) Surround the obstacle with a line of noticeable color.
  • (A2) Blink the frame surrounding the obstacle.
  • (A3) Increase the brightness around the obstacle.
  • (A4) Blurring, erasing, and lowering the brightness of the image other than the obstacle.
  • the emphasis processing is performed at different levels.
  • the following method can be used as a method for increasing the emphasis level.
  • (B1) When the emphasis is performed by the method (a1), make the color of the frame line more noticeable. For example, red can be used as a more prominent color than orange.
  • (B2) When the emphasis is performed by the method (a2), the blinking cycle of the frame line is shortened.
  • (B3) When the emphasis is performed by the method (a3), the brightness around the obstacle is made higher.
  • the enhancement is performed by the method (a4), the image is blurred, erased, or the degree of decreasing the brightness is increased.
  • any one of the methods (a1) to (a4) may be used as a certain level of emphasis processing, and another method may be used as a different level of emphasis processing.
  • the determination regarding the display performed by the emphasis determination unit 44 includes the determination of whether display on each of the display devices is necessary and the determination of the emphasis level.
  • FIG. 8 shows an example of a decision method (decision rule) regarding the display on the left display 5L.
  • conditions 1A to 1D correspond to a combination of the result of the determination as to whether or not there is an obstacle in the left corrected image FL and the result of the determination as to whether or not the line of sight is facing left, that is, a total of four cases. To do.
  • FIG. 8 shows the necessity of display on the left display 5L and the emphasis level in each case.
  • condition 1A there is no obstacle on the left side, and the driver's line of sight is not directed to the left side.
  • the condition 1A it is determined that the display is unnecessary.
  • the left display 5L does not display the image FL or an image generated based on the image FL, or the display brightness is significantly reduced.
  • condition 1B there is no obstacle on the left side, and the driver's line of sight is on the left side.
  • condition 1B it is determined that the display is necessary.
  • "Emphasis level 0" indicates that the emphasis processing is unnecessary.
  • condition 1C there is an obstacle on the left side, and the driver's line of sight is not directed to the left side.
  • the condition 1C it is determined that the display is necessary. Further, it is determined that the enhancement processing is necessary for the obstacle in the image.
  • condition 1D there is an obstacle on the left side and the driver's line of sight is on the left side.
  • condition 1D it is determined that the display is necessary. Further, it is determined that the enhancement processing is necessary for the obstacle in the image.
  • the emphasis level is set higher in the condition 1C than in the condition 1D.
  • the enhancement level is set to 1 in the case of the condition 1D
  • the enhancement level is set to 2 in the case of the condition 1C.
  • the decision regarding the display on the left display 5L has been described above, the decision regarding the display on the right display 5R can be made in the same manner. That is, if "left” in the above description is read as “right”, it will be applicable to the decision regarding the display on the right display 5R.
  • the line of sight is facing left is not limited to the case where the state where the line of sight is facing left is continuously maintained, and is accompanied by a short time interruption. Is also good. For example, the state of turning to the left and the state of turning to another direction for a short time may be repeated alternately.
  • the determination is “toward the left” and “toward the right”. In this case, it is determined that display is required for both the left display 5L and the right display 5R. This is because it is estimated that the line-of-sight direction is switched for a short time because the driver has a large or invisible area, and it is difficult to check the presence/absence of obstacles in direct sight. Is.
  • the display control unit 45 controls the display on each of the left display unit 5L and the right display unit 5R based on the result of the determination made by the emphasis determination unit 44.
  • the display control includes control as to whether or not display is performed, and control regarding emphasis processing.
  • the control relating to the emphasis processing includes control of whether to perform the emphasis processing and control of the emphasis level.
  • the display control unit 45 causes the left display device 5L to display an image.
  • the left correction image FL is subjected to the enhancement processing according to the enhancement level determined by the enhancement determination unit 44 to generate the left presentation image GL, and the left presentation image GL is supplied to the left display unit 5L for display. ..
  • the display control unit 45 does not display the image on the left display unit 5L or significantly reduces the display brightness.
  • the display control unit 45 causes the right display unit 5R to display an image.
  • the right correction image FR is subjected to the enhancement processing according to the enhancement level determined by the enhancement determination unit 44 to generate the right presentation image GR, and the right presentation image GR is supplied to the right display unit 5R to be displayed. ..
  • the display control unit 45 does not display the image on the right display unit 5R or significantly reduces the display brightness.
  • the images FL, FR, GL, and GR are all images obtained by imaging, so they may be simply referred to as captured images.
  • a captured image in the left direction (for example, an image with a viewing angle ⁇ L) is displayed, so an image of an obstacle in the left direction is displayed on the left display unit 5L.
  • the right presentation image GR is displayed on the right display unit 5R
  • a captured image in the right direction (for example, an image with a viewing angle ⁇ R) is displayed, so that an image of an obstacle in the right direction is displayed on the right display unit.
  • Can be recognized on the 5R That is, even if the obstacle is in the direction invisible to the driver or difficult to see, that is, in the range ⁇ R, the obstacle can be recognized in the display image.
  • the determination regarding the display in the above description is the determination regarding the display of the captured image, that is, the image obtained by the image capturing by the vehicle exterior imaging unit 2. That is, when it is determined that the display is unnecessary, the display is not performed or the display brightness is significantly reduced.
  • “no display” means that the captured image is not displayed, and when the captured image, that is, the image obtained by the image capturing by the vehicle exterior imaging unit 2 is not displayed, another image is displayed. Good as a matter.
  • the vehicle 102 is a right-hand drive vehicle and the position of the driver's viewpoint Ue is on the right side of the vehicle 102.
  • the driver's viewpoint Ue is on the left side of the vehicle 102, but the same control as described above can be performed.
  • the display device 5 includes the left display 5L and the right display 5R.
  • a display device one having a horizontally long display surface 51 as shown in FIG. 9 and capable of displaying separate images in a left display area 52L and a right display area 52R in the display surface 51 is used. You may use.
  • the left display area 52L constitutes the left display means
  • the right display area 52R constitutes the right display means.
  • the image correction unit 41 extracts the left image and the right image from the vehicle exterior image Da input from the vehicle exterior imaging unit 2, performs distortion correction on the extracted image, and then corrects the left image. It is output as the FL and the right corrected image FR.
  • the left image and the right image may be extracted and the image after distortion correction may be output. In that case, the extraction process and the distortion correction process in the image correction unit 41 can be omitted. That is, the image correction unit 41 may be omitted.
  • the display device has the left display means and the right display means, but the display device 5 may have three or more display means.
  • the image including each obstacle is displayed on the display means in the direction of the obstacle or a direction close to the obstacle, so that the image of the obstacle can be displayed naturally by the driver. Can be seen. That is, since the driver who is visually recognizing a certain direction around the vehicle 102 does not have to move his or her line of sight to visually recognize the image obtained by capturing the same direction, it takes time to confirm the image. Can be shortened.
  • the driver can intuitively grasp the direction in which the obstacle exists.
  • the emphasis of the obstacle in the image displayed on the display means is controlled according to the direction of the driver's line of sight, the emphasis level can be appropriately changed according to the degree of necessity. For example, when the driver's line of sight is directed in a direction different from that of the obstacle, highlighting can bring attention to the obstacle and make it easier to recognize the obstacle. On the other hand, when the driver's line of sight is directed toward the obstacle, the image can be prevented from becoming excessively conspicuous by not performing the emphasis display or by lowering the emphasis level.
  • FIG. 10 is a block diagram showing a configuration example of the information presentation device 1a according to the second embodiment of the present invention.
  • the information presentation device 1a shown in the figure is generally the same as the information presentation device 1 of FIG. 1, except that a voice output device 6 and an indicator light 7 are added, and instead of the information presentation control device 4, information presentation control is performed.
  • the device 4a is provided.
  • the audio output device 6 includes one or more speakers.
  • the indicator lamp 7 is composed of, for example, one or more display elements. Each display element may be composed of an LED.
  • the indicator light 7 may be provided, for example, on the dashboard, or may be provided on the A pillar (front pillar).
  • FIG. 11 shows the information presentation control device 4a of FIG.
  • the illustrated information presentation control device 4a is generally the same as the information presentation control device 4 of FIG. 5, but an audio output control unit 46 and an indicator light control unit 47 are added, and instead of the emphasis determination unit 44.
  • the emphasis determination unit 44a is provided.
  • the emphasis determination unit 44a makes a determination regarding display and, in accordance with the determination regarding display, a determination regarding audio output and indicator light control.
  • the emphasis level should be a predetermined value or more.
  • voice output and warning by the indicator light are required.
  • the predetermined value for the emphasis level may be the highest value of the levels used in the display decision.
  • the emphasis level 2 is the highest value.
  • the voice output control unit 46 causes the voice output device 6 to output a voice for calling attention according to the determination made by the emphasis determination unit 44a. Specifically, the audio control signal Sa is supplied to the audio output device 6 to output audio. This voice may be an alarm sound or a voice message.
  • the sound may be output when the condition 1C of FIG. 8 is satisfied for the left display 5L or when the same condition as the condition 1C of FIG. 8 is satisfied for the right display 5R.
  • the condition 1C of FIG. 8 when the condition 1C of FIG. 8 is satisfied, a message saying "please be careful of the car on the left” may be output.
  • a message saying “Please be careful of the car on the right” may be output.
  • the indicator light control unit 47 causes the indicator light 7 to turn on or blink for calling attention according to the determination made by the emphasis determination unit 44a. Specifically, the indicator light drive signal Sb is supplied to the indicator light 7 to turn on or blink.
  • the audio output device 6 including a plurality of speakers may be used to perform control so that the audio can be heard from the direction in which the obstacle exists.
  • control can be realized by, for example, sound image control.
  • the indicator light 7 may be configured by a line of a plurality of display elements arranged in a line, and blinking sequentially from one end to the other end of the line to indicate the direction to which attention should be directed.
  • a row of a plurality of display elements as a row extending in the horizontal direction, when you want to guide the driver's line of sight to the left, blinking sequentially from the right end to the left end, to guide the driver's line of sight to the right, It is also possible to sequentially blink the light from the left end to the right end.
  • Embodiment 3 The overall configuration of the information presentation device according to the third embodiment of the present invention is the same as that of the first embodiment described with reference to FIG.
  • FIG. 12 is a block diagram showing a configuration example of the information presentation control device 4b used in the information presentation device of the third embodiment.
  • the illustrated information presentation control device 4b is generally the same as the information presentation control device 4 of FIG. 5, except that an image recognition unit 42b and an emphasis determination unit 44b are used instead of the image recognition unit 42 and the emphasis determination unit 44 of FIG. It is provided.
  • the image recognition unit 42b not only recognizes obstacles but also recognizes the surroundings of the vehicle and generates surroundings information indicating the recognition result. Output.
  • the recognition of the situation around the own vehicle includes, for example, a determination result as to whether or not the own vehicle is near the intersection.
  • Various known algorithms can be used to recognize the situation around the vehicle. Whether or not the host vehicle is near the intersection may be determined based on the traffic signal, road sign, road marking, etc. in the image.
  • the emphasis determination unit 44b uses not only the obstacle information and the line-of-sight information but also the surrounding situation information to make a decision regarding the display.
  • the display is determined based on the obstacle information and the line-of-sight information, as in FIG.
  • FIG. 13 shows an example of a decision method (decision rule) regarding the display on the left display 5L in the third embodiment.
  • condition 3A your vehicle is not near the intersection.
  • condition 3A it is determined that the display is unnecessary. That is, when the host vehicle is not near the intersection, it is determined that the display on the left display 5L is unnecessary regardless of the presence or absence of an obstacle and the direction of the line of sight.
  • Conditions 3B to 3E are when the host vehicle is near the intersection.
  • the conditions 3B to 3E are the same as the conditions 1A to 1D in FIG. 8 except that the condition that the own vehicle is near the intersection is added. (No/Emphasis level) is the same as in the case of Conditions 1A to 1D.
  • the emphasis determination unit 44b makes a determination based on other conditions in the same manner as the emphasis determination unit 44 of the first embodiment, and the host vehicle is near the intersection.
  • the decision regarding the display on the left display 5L has been described above, the decision regarding the display on the right display 5R can be made in the same manner. That is, if "left” in the above description is read as “right”, it will be applicable to the decision regarding the display on the right display 5R.
  • the vehicle may be determined whether or not the vehicle is traveling on a narrow road 112 sandwiched between buildings 114 such as side walls for a certain period of time or more, and the determination result may be used. That is, if the result of such determination is YES and it is detected that the vehicle is near the intersection 116, the alert level may be increased.
  • the distance sensor may be used to measure the distance to the building 114 such as the side wall on the side of the vehicle, and the measurement result may be used. That is, when the distance to the building 114 is short and it is detected that the vehicle is near the intersection 116, the alert level may be increased.
  • the example of raising the alert level when the own vehicle is near the intersection has been described, but instead, it is determined whether the own vehicle is approaching the road from the parking lot in the building, In certain situations, the alert level may be raised.
  • the following effects can be obtained. That is, since the display-related determination and the display control are performed based on the peripheral situation information generated by the image recognition unit 42b, the necessity of the display and the emphasis level are determined according to the situation around the own vehicle. It can be done properly.
  • FIG. 15 is a block diagram showing a configuration example of the information presentation device 1c in the fourth embodiment of the present invention.
  • the information presentation device 1c shown is generally the same as the information presentation device 1 of FIG. 1, but a position information acquisition device 8 and a map information database 9 are added, and instead of the information presentation control device 4, information presentation control is performed.
  • a device 4c is provided.
  • the position information acquisition device 8 generates and outputs position information Dp indicating the position of the own vehicle.
  • a typical example is a GPS (Global Positioning System) receiver, but any position information acquisition device may be used.
  • the map information database 9 is a database that stores map information.
  • the map information includes information about intersections.
  • FIG. 16 is a block diagram showing a configuration example of the information presentation control device 4c.
  • the illustrated information presentation control device 4c is generally the same as the information presentation control device 4b of FIG. 12, but has a surrounding situation recognition unit 48 added, and includes an emphasis determination unit 44c instead of the emphasis determination unit 44b.
  • the peripheral situation recognition unit 48 acquires the position information Dp of the own vehicle from the position information acquisition device 8, acquires the map information Dm of the vicinity of the own vehicle from the map information database 9, and detects the position information Dp of the vicinity of the position indicated by the position information. By referring to the map information, the situation around the vehicle is recognized, and the surrounding situation information indicating the recognition result is generated and output.
  • the surrounding situation information indicates, for example, whether or not the vehicle is near the intersection.
  • the emphasis determination unit 44c in FIG. 16 makes a display determination based on the obstacle information, the line-of-sight information, and the surrounding situation information.
  • the peripheral situation information is supplied from the image recognition unit 42b, whereas in FIG. 16, it is supplied from the peripheral situation recognition unit 48.
  • the method of determining the display based on the obstacle information, the line-of-sight information, and the peripheral situation information is the same as that described in the third embodiment with reference to FIG.
  • the decision regarding the display on the left display 5L has been described above, the decision regarding the display on the right display 5R can be made in the same manner. That is, if "left” in the above description is read as “right”, it will be applicable to the decision regarding the display on the right display 5R.
  • the map information includes information indicating the size of the road, such information may be used together. For example, only when entering an intersection from a narrow road, the alerting level is raised and the decision regarding the display on the display is made in the same manner as in the first embodiment, while at other times, that is, when the host vehicle is near the intersection. When the vehicle is not on the road, or when the road is running but is near the intersection, the warning level may be lowered and it may be determined that the display on the display is unnecessary.
  • the alert level may be raised.
  • the same effect as that of the third embodiment can be obtained. Further, since the peripheral situation information is generated from the position information and the map information, even when the recognition based on the captured image is difficult, the peripheral situation can be correctly recognized.
  • the recognition result by the image recognition unit 42b is used to determine whether or not the vehicle is near the intersection.
  • the map is used to determine whether or not the vehicle is near the intersection.
  • the map information from the information database 9 is used, but instead of or together with these, it is determined whether or not the own vehicle is at an intersection based on at least one of the speed of the own vehicle and the operation of the winker by the driver. Is also good.
  • Embodiment 5 The overall configuration of the information presentation device according to the fifth embodiment of the present invention is the same as that of the first embodiment described with reference to FIG.
  • FIG. 17 is a block diagram showing a configuration example of the information presentation control device 4d used in the information presentation device of the fifth embodiment.
  • the illustrated information presentation control device 4d is generally the same as the information presentation control device 4 of FIG. 5, but has a risk determination unit 49 added, and instead of the emphasis determination unit 44 of FIG. 5, an emphasis determination unit 44d. Is provided.
  • the risk determination unit 49 determines the risk of the obstacle based on the obstacle information from the image recognition unit 42, and generates and outputs the risk information indicating the determination result.
  • the risk may be determined based on the position of the obstacle in the image.
  • a portion FLa near the left end of the image is designated as a region with a relatively high risk
  • the remaining portion FLb is a region with a relatively low risk. Specify. Then, it is determined that the obstacle in the area FLa has a high risk. This determination is made because the obstacle in the area FLa is closer to the host vehicle.
  • a portion FRa near the right end of the image is designated as a relatively high risk area, and the remaining portion FRb is relatively high risk. Designate as the low area. Then, it is determined that the obstacle in the area FRa has a high risk. This determination is made because the obstacle in the area FRa is closer to the host vehicle.
  • the positions and widths of the regions FLa and FR may be switched.
  • the type of obstacle may be determined, and the above switching may be performed according to the determination result.
  • the emphasis determination unit 44d uses the above-described risk degree information in addition to the obstacle information and the line-of-sight information described in the description of the emphasis determination unit 44 of the first embodiment to make a display determination.
  • the display may be determined based on the risk of the obstacle having the highest risk.
  • FIG. 19 shows an example of a decision method (decision rule) regarding the display on the left display 5L in the fifth embodiment.
  • condition 5A there is no obstacle on the left side and the driver's line of sight is not directed to the left side.
  • condition 5A it is determined that the display is unnecessary.
  • condition 5B there is no obstacle on the left side and the driver's line of sight is on the left side.
  • condition 5B it is determined that the display is necessary.
  • "Emphasis level 0" indicates that the emphasis processing is unnecessary.
  • condition 5C there is an obstacle on the left side, and the risk is low.
  • condition 5C it is determined that the display is necessary regardless of the direction of the line of sight, and the emphasis level is set to 1.
  • condition 5D there is an obstacle on the left side, the danger level is high, and the driver's line of sight is not directed to the left side.
  • the emphasis level is set to 3.
  • condition 5E there is an obstacle on the left side, which is highly dangerous and the driver's line of sight is directed to the left side.
  • the emphasis level is set to 2.
  • the emphasis level is changed according to the degree of risk even when it is determined that the display is necessary. That is, the higher the risk, the higher the emphasis level. By doing so, the higher the risk of the obstacle, the earlier the driver can recognize.
  • the emphasis level is changed according to the direction of the line of sight of the driver even when an obstacle having a high degree of danger is on the left side. For example, if the driver's gaze direction is not leftward, the emphasis level is set higher. This is because it is likely that the driver is not aware of the left obstacle, unless the line of sight is to the left, and the higher the emphasis level, the more the driver notices the left obstacle. This is because it is desirable to speed up.
  • the emphasis levels 0 to 3 shown here are obtained by increasing the number of levels with respect to the emphasis levels 0 to 2 shown in the first and third embodiments.
  • the decision regarding the display on the left display 5L has been described above, the decision regarding the display on the right display 5R can be made in the same manner. That is, if "left” in the above description is read as “right”, it will be applicable to the decision regarding the display on the right display 5R.
  • the risk is judged based on the position of the obstacle in the image. Therefore, it is possible to determine the degree of risk with a relatively simple process.
  • the risk may be divided into three or more stages according to the height thereof, and the display may be determined according to which one of the stages.
  • the risk may be determined based on the relative speed between the host vehicle and the obstacle.
  • the risk level may be determined using the results of other sensors. Further, similarly to the third and fourth embodiments, it may be determined whether or not the host vehicle is near the intersection, and the risk degree may be determined based on the determination result. For example, if you are near an intersection, you may decide that the risk is higher.
  • the display-related decision is made based on the risk level information, it is possible to appropriately control the display according to the risk level. For example, when the degree of danger of the recognized obstacle is high, it is possible to display and to emphasize at an emphasis level according to the degree of danger. On the other hand, when the degree of risk is low, no display is performed or display brightness is significantly reduced, or display can be performed at a low emphasis level. That is, it is possible to display and emphasize as necessary and not to call too much attention when unnecessary.
  • the wide-angle camera 2a is installed at the front end of the vehicle 102 as a camera of the image capturing unit outside the vehicle and in the center in the width direction. This point is not essential, and in short, as shown in FIG. 6, it suffices if the driver can capture an image of a direction that is not visible or difficult to see. That is, there are no restrictions on the arrangement and number of cameras included in the vehicle exterior imaging unit.
  • the cameras 2b and 2c which are not wide-angle cameras, may be installed in the left portion 104L and the right portion 104R of the front end of the vehicle 102, respectively.
  • the camera 2b images the range of the viewing angle ⁇ b centered on the left front
  • the camera 2c images the range of the viewing angle ⁇ c centered on the right front.
  • the viewing angles ⁇ b and ⁇ c are 90 degrees, for example.
  • the image correction unit 41 When using a camera that is not wide-angle, there is no need to perform distortion correction in the image correction unit 41. Further, when the respective captured images are obtained from the two cameras, the image correction unit 41 does not need to extract the left image and the right image.
  • the first camera 2d installed on the left side portion 104L of the front end portion of the vehicle 102 captures an image of the range of the viewing angle ⁇ d centered on the front right, and the front end portion of the vehicle 102 A part of the vehicle 102 may be included in the imaging range of each camera by imaging the range of the viewing angle ⁇ e centered on the left front with the second camera 2e installed in the right portion 104R.
  • the vehicle exterior imaging unit 2 includes a first camera 2d installed on the left side portion 104L of the front end of the vehicle 102 and a second camera 2e installed on the right side portion 104R of the front end of the vehicle 102.
  • the viewing angle ⁇ d of the first camera 2d includes the range from the front of the vehicle 102 to the right lateral direction
  • the viewing angle ⁇ e of the second camera 2e includes the range from the front of the vehicle 102 to the left lateral direction.
  • the imaging range of the first camera 2d includes a part of the vehicle 102, for example, at least a part of the right side portion of the front end
  • the imaging range of the second camera 2e includes a part of the vehicle 102, for example.
  • at least a part of the left side portion of the front end portion may be included.
  • wide-angle cameras 2f and 2g are arranged in the left portion 105L and the right portion 105R of the vehicle 102, and each camera can image not only the front of the vehicle 102 but also the rear of the vehicle 102. You may do it.
  • the cameras 2f and 2g are arranged at the front end of the left side portion and the front end of the right side portion of the front end portion of the vehicle, but they may be located on the left side or the right side, for example, at the rear side. good. If it is arranged at the rear, it is effective when moving backward.
  • the exterior imaging unit 2 includes a first wide-angle camera 2f installed on the left side portion 104L of the vehicle 102 and a second wide-angle camera 2g installed on the right side portion 104R of the vehicle 102.
  • the wide-angle camera 2f captures a range of the viewing angle ⁇ f centered on the left side
  • the second wide-angle camera 2g captures a range of the viewing angle ⁇ g centered on the right side, the viewing angle ⁇ f and the viewing angle ⁇ f.
  • Both ⁇ g are 180 degrees or more, the left wide side, the front side, and the rear side of the vehicle 102 are included in the imaging range of the first wide-angle camera 2f, and the right side of the vehicle 102 is included in the imaging range of the second wide-angle camera 2g.
  • One, the front and the rear may be included.
  • a captured image can be obtained for a wide area on the left and right of the vehicle 102, so that it is possible to call attention to obstacles in a wide area.
  • Each of the above information presentation control devices 4, 4a, 4b, 4c and 4d is configured by one or more processing circuits.
  • Each processing circuit may be configured by dedicated hardware, or may be configured by a processor and a program memory.
  • each processing circuit may be, for example, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • each processing circuit When configured with a processor and program memory, each processing circuit may be implemented by software, firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the program memory.
  • the processor realizes the function of each processing circuit by reading and executing the program stored in the program memory.
  • the processor may be, for example, a CPU (Central Processing Unit), a computing device, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor).
  • the program memory may be a nonvolatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), and an EEPROM (Electrically EPROM).
  • a magnetic disk such as a hard disk, or an optical disk such as a CD (Compact Disc) and a DVD (Digital Versatile Disc).
  • the information presentation control devices 4, 4a, 4b, 4c, and 4d some of them may be realized by dedicated hardware and the other may be realized by software or firmware. As described above, the information presentation control device 4, 4a, 4b, 4c, or 4d can realize each function described above by hardware, software, firmware, or a combination thereof.
  • FIG. 23 shows a computer including one processor that realizes the functions of the information presentation control device 4, 4a, 4b, 4c, or 4d.
  • the illustrated computer includes a processor 941, a memory 942, a non-volatile storage device 943, an exterior imaging unit interface 944, an interior imaging unit interface 945, a left display interface 946, and a right display interface 947.
  • the non-volatile storage device 943 stores a program executed by the processor 941.
  • the processor 941 reads the program stored in the non-volatile storage device 943, saves it in the memory 942, and executes it.
  • the exterior image pickup unit interface 944 is an interface between the information presentation control device 4, 4a, 4b, 4c or 4d and the exterior image pickup unit 2, and the exterior image pickup unit 2 transmits the information presentation control device 4, 4a, 4b, 4c or.
  • the image information output to 4d is relayed.
  • the in-vehicle imaging unit interface 945 is an interface between the information presentation control device 4, 4a, 4b, 4c or 4d and the in-vehicle imaging unit 3, and the in-vehicle imaging unit 3 transmits the information presentation control device 4, 4a, 4b, 4c or.
  • the image information output to 4d is relayed.
  • the left display interface 946 and the right display interface 947 are interfaces between the information presentation control device 4, 4a, 4b, 4c or 4d and the left display device 5L and the right display device 5R, respectively.
  • the image output from 4a, 4b, 4c or 4d to the left display 5L and the right display 5R is relayed.
  • the vehicle exterior imaging unit 2, the vehicle interior imaging unit 3, the left display 5L, and the right display 5R in FIG. 23 may be the same as those shown in FIG.
  • the non-volatile storage device 943 also stores information used in the processing in the information presentation control device 4, 4a, 4b, 4c, or 4d.
  • the nonvolatile storage device 943 stores parameter information used for image correction in the image correction unit 41, image recognition in the image recognition unit 42 or 42b, and emphasis determination in the emphasis determination unit 44, 44a, 44b, or 44d.
  • the non-volatile storage device 943 may be a storage device provided independently of the information presentation control device 4, 4a, 4b, 4c, or 4d.
  • a storage device existing on the cloud may be used as the non-volatile storage device 943.
  • the non-volatile storage device 943 may also serve as the map information database 9 of the fourth embodiment, or a separate storage device or storage medium may be provided as the map information database.
  • the information presentation control device has been described above, the information presentation control method implemented by the information presentation control device also forms part of the present invention.
  • a program for causing a computer to execute the processes in these apparatuses or methods, and a computer-readable recording medium recording such a program also form part of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

車外画像から１又は２以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、車内画像から運転者の視線の方向を表す視線情報を生成し、障害物情報と視線情報とに基づいて、複数の表示手段の各々における表示に関する決定を行う。認識された障害物の各々を含む画像を、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる。車両の周囲のある方向を視認している運転者が、同じ方向を撮像することで得られた画像を視認するために、視線を移動させる必要がないので、表示された画像の確認までの時間を短くすることができる。また、表示手段に表示されている画像中の障害物が、当該表示手段と同じ方向に位置しているので、運転者は、当該障害物が存在する方向を直感的に把握することができる。

Description

情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
　本発明は、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体に関する。
　車両の周囲を撮像することで得られた画像を、車両内の表示手段で表示することで、運転支援を行う装置が知られている。特許文献１には、運転者の視線に基づき、運転者が注視している対象を特定し、特定された注視対象に応じて表示される情報の種類を切り替える表示装置が開示されている。
特開２００８－１３０７０号公報（段落００２１、００２２）
　特許文献１の装置では、運転者が表示情報を確認するには、注視対象から表示手段に視線を移動させなければならず、注視対象と表示手段とが異なる方向にある場合に、表示情報の確認までに時間を要するという課題があった。
　本発明の情報提示装置は、
　車両の周辺を撮像し、車外画像を生成する車外撮像部と、
　前記車両の内部を撮像し、車内画像を生成する車内撮像部と、
　複数の表示手段を有する表示装置と、
　前記車外画像から１又は２以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、前記車内画像から運転者の視線の方向を表す視線情報を生成し、前記障害物情報と前記視線情報とに基づいて、前記複数の表示手段の各々における表示に関する決定を行い、該決定に基づいて前記複数に表示手段の各々における表示を制御する情報提示制御装置とを備え、
　前記表示に関する決定は、前記複数の表示手段の各々における、前記車外画像の表示が必要か否かの決定、及び前記車外画像中の各障害物に対する強調処理に関する決定を含み、
　前記強調処理に関する決定は、強調が必要か否かの決定及び強調のレベルの決定を含み、
　前記情報提示制御装置は、認識された１又は２以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる
　ことを特徴とする。
　本発明によれば、認識された１又は２以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させるので、車両の周囲のある方向を視認している運転者が、同じ方向を撮像することで得られた画像を視認するために、視線を移動させる必要がないので、表示された画像の確認までの時間を短くすることができる。
本発明の実施の形態１の情報提示装置を示すブロック図である。 情報提示装置が搭載された車両を示す概略図である。 左表示器及び右表示器の位置関係を示す図である。 車外撮像部を構成する広角カメラの撮像範囲と運転者の視野を示す図である。 図１の情報提示制御装置の構成例を示すブロック図である。 左表示器及び右表示器で表示される画像の視野角を示す図である。 撮像画像中で検出される障害物、及び当該障害物を内包する矩形の領域の一例を示す図である。 実施の形態１の強調判定部による、左表示器における表示に関する決定の方法の一例を示す表である。 表示装置の変形例を示す概略図である。 本発明の実施の形態２の情報提示装置を示すブロック図である。 図１０の情報提示制御装置の構成例を示すブロック図である。 本発明の実施の形態３で用いられる情報提示制御装置の構成例を示すブロック図である。 実施の形態３の強調判定部による、左表示器における表示に関する決定の方法の一例を示す表である。 狭い道路を走行中の車両を示す概略図である。 本発明の実施の形態４の情報提示装置を示すブロック図である。 図１５の情報提示制御装置の構成例を示すブロック図である。 本発明の実施の形態５で用いられる情報提示制御装置を示すブロック図である。 （ａ）及び（ｂ）は、障害物の危険度の判定方法の一例を示す図である。 実施の形態５の強調判定部による、左表示器における表示に関する決定の方法の一例を示す表である。 車外撮像部のカメラの配置の変形例を示す図である。 車外撮像部のカメラの配置の変形例を示す図である。 車外撮像部のカメラの配置の変形例を示す図である。 実施の形態１～５で用いられる情報提示制御装置の諸機能を実現する１つのプロセッサを備えたコンピュータの構成例を示すブロック図である。
　以下、添付の図面を参照して本発明の実施の形態を説明する。
実施の形態１．
　図１は、本発明の実施の形態１の情報提示装置１の構成例を示すブロック図である。
　図示の情報提示装置１は、例えば図２に示されるように、車両１０２に搭載されるものであり、車外撮像部２と、車内撮像部３と、情報提示制御装置４と、表示装置５とを有する。
　表示装置５は、左表示手段としての左表示器５Ｌと、右表示手段としての右表示器５Ｒとを含む。例えば、図３に示すように、車両の右側にある運転席に、前方ＦＷを向いて着座している運転者Ｕの視点Ｕｅから見て、左表示器５Ｌは左側に配置されており、右表示器５Ｒは右側に配置されている。
　車外撮像部２は、車両１０２の周辺を撮像し、車外画像Ｄａを生成して出力する。
　車外撮像部２は、図４に示される広角カメラ２ａを含む。広角カメラ２ａは、車両１０２に取り付けられ、車外を撮像する。広角カメラ２ａは例えば車両１０２の前端部１０４に設置されている。図示の例では、広角カメラ２ａは車両の幅方向の中央部に設けられている。
　広角カメラ２ａの水平方向の視野角θａが１８０度以上であるのが望ましい。
　図４では、車両１０２が、狭くて両側に視界を遮る側壁などの建造物１１４等がある道路１１２から交差点１１６に進入しようとしている。この場合、運転者Ｕにとって、視点Ｕｅと、建造物１１４の突端部１１４ａ、１１４ｂとを結ぶ直線Ｕｖａ、Ｕｖｂの集合で画定される視認可能範囲の外側に位置する範囲αＬ、αＲが見えない又は見えにくい範囲である。ここで、「見えにくい範囲」とは、運転者が大きく姿勢を変えるなどしないと見えない範囲である。見えにくい範囲は、通常の姿勢では見えない範囲であるので、その意味で見えない範囲、或いは死角の範囲であるとも言える。
　カメラ２ａの視野角θａには、上記の見えない又は見えにくい範囲αＬ、αＲの少なくとも一部が含まれる。従って、カメラ２ａによる撮像画像は、上記の見えない又は見えにくい範囲の障害物が含まれる。
　上記の例は、交差点に進入する場合であるが、建物内の駐車場から道路に進入する場合にも同様の問題がある。
　車内撮像部３は、車両の内部、特に運転者の顔及びその周辺を撮像して、車内画像Ｄｂを生成して出力する。
　車内撮像部３は、運転者の顔及びその周辺を撮像可能なように設置されたカメラ（図示しない）を含む。
　カメラとして、車両の内部が暗くても撮像が可能なように、赤外線センサを備えたものを用いても良い。赤外線センサとともに赤外線照射器をさらに備えたものを用いても良い。
　情報提示制御装置４は、車外画像Ｄａ及び車内画像Ｄｂに基づいて、表示装置５での画像の表示を制御する。
　情報提示制御装置４は、例えば、図５に示すように、画像補正部４１と、画像認識部４２と、視線情報取得部４３と、強調判定部４４と、表示制御部４５とを有する。
　画像補正部４１は、車外撮像部２から入力された車外画像Ｄａから、左画像と右画像とを抽出し、抽出された画像に対して歪補正を行って、左補正画像ＦＬ及び右補正画像ＦＲとして出力する。
　左画像及び右画像はそれぞれ例えば図６における視野角βＬ及びβＲの画像である。
　視野角βＬは、正面方向よりも左向きの方向を中心とする角度範囲である。
　視野角βＲは、正面方向よりも右向きの方向を中心とする角度範囲である。
　視野角βＬには、見えない又は見えにくい範囲αＬの少なくとも一部が含まれ、視野角βＲには、見えない又は見えにくい範囲αＲの少なくとも一部が含まれる。
　左画像及び右画像は、広角レンズでの撮像で得られた画像であるので、歪みがあって、人には見にくく、また画像認識部４２による画像認識処理がしにくい。そこで、この歪みを除いて、見やすい画像にするのが歪補正である。
　画像認識部４２は、左補正画像ＦＬ及び右補正画像ＦＲの各々につき画像認識を行い、画像中の１又は２以上の障害物を認識し、障害物認識結果を示す障害物情報を生成して出力する。画像認識には公知の種々のアルゴリズムを用いることができる。
　ここでいう障害物は、運転上衝突を避ける必要のある他の車両、歩行者などである。車両には自動車及び自転車が含まれる。
　他の車両との区別のため情報提示装置１が搭載されている車両１０２を「自車両」と言うことがある。
　障害物情報には、各障害物の種類を示す情報、当該障害物の画像内における位置を示す情報、及び当該障害物の画像内におけるサイズを示す情報が含まれる。
　画像内における障害物の位置は、図７に示すように、画像の基準点、例えば、左上隅を原点とする、障害物の代表点の位置の二次元座標（ｘ,ｙ）で表される。ここで言う代表点は、例えば障害物を内包する矩形の領域の左上隅である。
　各障害物を内包する矩形の領域は、画像中における当該障害物の最も下に位置する点を通過する水平方向の線分、最も上に位置する点を通過する水平方向の線分、最も左に位置する点を通過する垂直方向の線分、及び最も右に位置する点を通過する垂直方向の線分を辺とする矩形の領域である。
　例えば、図７に示すように、画像中に障害物ＢＪを認識した場合、それを内包する矩形の領域ＢＲを検出する。
　障害物のサイズを示す情報は、矩形の領域ＢＲの幅ｗ及び高さｈを示す情報であっても良い。代わりに、矩形の領域ＢＲの左上隅の座標及び右下隅の座標を、サイズを示す情報として用いても良い。
　視線情報取得部４３は、車内画像Ｄｂに対して顔検出及び顔特徴検出を行い、視線の方向を検出し、視線の方向を示す視線情報を生成して出力する。顔検出、顔特徴検出、及びこれらの検出結果に基づく視線の方向の検出には、公知の種々の方法を用いることができる。
　強調判定部４４は、画像認識部４２からの障害物情報と、視線情報取得部４３からの視線情報とに基づいて、左表示器５Ｌ及び右表示器５Ｒの各々における表示に関する決定を行う。
　表示に関する決定は、表示が必要か否かの決定、及び強調処理に関する決定を含む。強調処理に関する決定は、強調処理が必要か否かの決定及び強調レベルの決定を含む。
　強調処理は、画像中の障害物が目立つようにする処理である。強調処理の方法としては、例えば以下の方法のいずれを用いても良い。
（ａ１）　障害物を目立つ色の線で囲む。
（ａ２）　障害物を囲む枠線を点滅させる。
（ａ３）　障害物周辺の輝度を上げる。
（ａ４）　障害物以外の画像をぼかす、消す、輝度を下げる。
　本実施の形態では、強調処理は異なるレベルで行われる。
　強調レベルをより高くする方法としては、以下の方法を用い得る。
（ｂ１）　強調が方法（ａ１）で行われる場合、枠線の色をより目立つものにする。
　例えば、赤色はオレンジ色よりもより目立つ色として用いることができる。
（ｂ２）　強調が方法（ａ２）で行われる場合、枠線の点滅の周期を短くする。
（ｂ３）　強調が方法（ａ３）で行われる場合、障害物周辺の輝度をより高くする。
（ｂ４）　強調が方法（ａ４）で行われる場合、画像をぼやかす、消す、輝度を下げる程度をより大きくする。
　また、方法（ａ１）～（ａ４）のうちいずれかをあるレベルの強調処理として用い、別のものをそれとは異なるレベルの強調処理で用いることとしても良い。
　上記のように、強調判定部４４が行う表示に関する決定には、表示器の各々における表示が必要か否かの決定及び強調レベルの決定が含まれる。
　図８は、左表示器５Ｌにおける表示に関する決定の方法（決定規則）の一例を示す。
　図８において、条件１Ａ～１Ｄは、左補正画像ＦＬ内に障害物があるか否かの判定の結果と視線が左向きであるか否か判定の結果の組合せ、即ち全部で４つの場合に対応する。図８には、それぞれの場合における左表示器５Ｌにおける表示の要否、及び強調レベルが示されている。
　条件１Ａでは、左側に障害物がなく、運転者の視線は左側に向けられていない。条件１Ａが満たされた場合には、表示は不要と判断する。この結果、左表示器５Ｌでは、画像ＦＬ又はこれを元にして生成された画像の表示は行われず、或いは表示の輝度が大幅に低くされる。
　条件１Ｂでは、左側に障害物がなく、運転者の視線は左側に向けられている。条件１Ｂが満たされた場合には、表示が必要と判断する。ただし、障害物がないため、強調処理は不要と判断する。強調処理が不要であることを「強調レベル０」で示す。
　条件１Ｃでは、左側に障害物があり、運転者の視線は左側に向けられていない。条件１Ｃが満たされた場合には、表示が必要と判断する。また、画像中の障害物に対して強調処理が必要と判断する。
　条件１Ｄでは、左側に障害物があり、運転者の視線は左側に向けられている。条件１Ｄが満たされた場合には、表示が必要と判断する。また、画像中の障害物に対して強調処理が必要と判断する。
　強調のレベルは、条件１Ｄの場合よりも条件１Ｃの場合により高くする。図示の例では、条件１Ｄの場合には、強調レベルを１にするのに対し、条件１Ｃの場合には、強調レベルを２にしている。
　これは、条件１Ｄの場合には、運転者が障害物に気付いている可能性が大きいのに対し、条件１Ｃの場合には、運転者が気付いていない可能性が大きいからである。
　強調レベルをより高くすることにより、画像中の障害物がより目立つものとなり、運転者が障害物に気付くのを早めることが可能となる。
　以上、左表示器５Ｌにおける表示に関する決定について説明したが、右表示器５Ｒにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器５Ｒにおける表示に関する決定に当てはまるものとなる。
　左表示器５Ｌについての判定方法に関し、「視線が左向きである」と言うのは、視線が左向きである状態が連続的に維持されている場合に限定されず、短い時間の中断を伴っていても良い。例えば、左に向けられている状態と、短い時間だけ他の方向に向けられている状態とが交互に繰り返されていても良い。
　従って、例えば、左に向けられている状態と右に向けられている状態が短時間ずつ交互に繰り返されている場合には、「左向きである」とともに「右向きである」という判断になる。
　この場合、左表示器５Ｌ及び右表示器５Ｒの双方について表示が必要と判断される。
　このようにするのは、短時間ずつ視線方向が切り替わるのは、運転者にとって見えない又は見えにくい範囲が大きく、直視での障害物の有無の確認が困難である状況にあると推定されるためである。
　表示制御部４５は、強調判定部４４における決定の結果に基づいて、左表示器５Ｌ及び右表示器５Ｒの各々における表示の制御を行なう。表示の制御には、表示を行うかどうかの制御、及び強調処理に関する制御を含む。強調処理に関する制御は、強調処理を行うかどうかの制御及び強調レベルの制御を含む。
　強調判定部４４で、左表示器５Ｌに関して表示が必要と判断されたときは、表示制御部４５は、左表示器５Ｌに画像の表示を行わせる。その場合、左補正画像ＦＬに対して、強調判定部４４で決定された強調レベルに応じた強調処理を施して左提示画像ＧＬを生成して、左表示器５Ｌに供給して表示を行わせる。
　強調判定部４４で、左表示器５Ｌにおける表示が不要と判断されたときは、表示制御部４５は、左表示器５Ｌにおける画像の表示を行わせず、又は表示輝度を大幅に小さくする。
　強調判定部４４で、右表示器５Ｒに関して表示が必要と判断されたときは、表示制御部４５は、右表示器５Ｒに画像の表示を行わせる。その場合、右補正画像ＦＲに対して、強調判定部４４で決定された強調レベルに応じた強調処理を施して右提示画像ＧＲを生成して、右表示器５Ｒに供給して表示を行わせる。
　強調判定部４４で、右表示器５Ｒにおける表示が不要と判断されたときは、表示制御部４５は、右表示器５Ｒにおける画像の表示を行わせず、又は表示輝度を大幅に小さくする。
　画像ＦＬ、ＦＲ、ＧＬ、ＧＲはいずれも撮像で得られた画像であるので、これらを単に撮像画像と呼ぶことがある。
　左表示器５Ｌで左提示画像ＧＬが表示される場合、左方向の撮像画像（例えば、視野角βＬの画像）が表示されるので、左方向にある障害物の画像を左表示器５Ｌ上で認識することができる。即ち、障害物が運転者にとって見えない方向又は見えにくい方向、即ち範囲αＬにあっても、当該障害物を表示画像で認識することができる。
　同様に、右表示器５Ｒで右提示画像ＧＲが表示される場合、右方向の撮像画像（例えば、視野角βＲの画像）が表示されるので、右方向にある障害物の画像を右表示器５Ｒ上で認識することができる。即ち、障害物が運転者にとって見えない方向又は見えにくい方向、即ち範囲αＲにあっても、当該障害物を表示画像で認識することができる。
　上記の説明における表示に関する決定は、撮像画像、即ち、車外撮像部２による撮像で得られた画像の表示に関する決定である。即ち、表示が不要と判定したときには、表示を行わず、又は表示の輝度を大幅に低くする。
　ここで、表示を行わないとは、撮像画像の表示を行わないという意味であり、撮像画像、即ち車外撮像部２による撮像で得られた画像の表示を行わないときには、他の画像を表示することとしても良い。
　上記の図３では、車両１０２が右ハンドル車であり、運転者の視点Ｕｅの位置が車両１０２の右側にある場合を示す。車両１０２は左ハンドル車である場合には、運転者の視点Ｕｅが車両１０２の左側にあるが、上記の同様の制御を行ない得る。
　上記の例では、表示装置５が左表示器５Ｌ及び右表示器５Ｒを備えている。代わりに表示装置として、図９に示すように１枚の横長の表示面５１を有し、表示面５１内の左側の表示領域５２Ｌと右側の表示領域５２Ｒに別個の画像を表示し得るものを用いても良い。
　この場合は、左側の表示領域５２Ｌが左表示手段を構成し、右側の表示領域５２Ｒが右表示手段を構成する。
　上記の例では、画像補正部４１が、車外撮像部２から入力された車外画像Ｄａから、左画像と右画像とを抽出し、抽出された画像に対して歪補正を行って、左補正画像ＦＬ及び右補正画像ＦＲとして出力する。
　カメラ２ａの機種によっては、左画像及び右画像を抽出し、歪補正を行った後の画像を出力する場合もある。その場合、画像補正部４１における抽出処理及び歪補正処理は省略可能である。即ち、画像補正部４１を省略しても良い。
　上記の例では、表示装置が左表示手段及び右表示手段を有するが、表示装置５が３個以上の表示手段を有していても良い。
　上記した実施の形態１によれば、各障害物を含む画像を、当該障害物の方向又はこれに近い方向にある表示手段に表示させるので、運転者にとって自然な動作で、障害物の画像を視認することができる。即ち、車両１０２の周囲のある方向を視認している運転者が、同じ方向を撮像することで得られた画像を視認するには、視線を移動させる必要がないので、画像の確認までに時間を短くすることができる。
　また、表示手段に表示されている画像中の障害物が、当該表示手段と同じ方向に位置しているので、運転者は、当該障害物が存在する方向を直感的に把握することができる。
　また、運転者の視線の方向に応じて、各表示手段での画像の表示が必要か否かの決定を行なうので、必要であるときは、障害物の表示を行って注意喚起を行い、不要であるときは表示を行わず又は表示輝度を下げることで不要な注意喚起をしないようにすることができる。
　さらに、運転者の視線の方向に応じて、表示手段に表示される画像中の障害物に対する強調の制御を行なうので、必要の度合いに応じて強調のレベルを適切に変えることができる。例えば、運転者の視線が障害物とは異なる方向に向けられている場合、強調表示を行うことで障害物に対する注意を喚起し、障害物を認識させやすくすることができる。一方、運転者の視線が障害物の方向に向けられている場合、強調表示を行わず、或いは強調のレベルをより低くすることで、画像が過度に目立つことがないようにすることができる。
実施の形態２．
　図１０は、本発明の実施の形態２の情報提示装置１ａの構成例を示すブロック図である。
　図示の情報提示装置１ａは、図１の情報提示装置１と概して同じであるが、音声出力装置６と、表示灯７とが付加されており、情報提示制御装置４の代わりに、情報提示制御装置４ａを備えている。
　音声出力装置６は、１又は２以上のスピーカを含む。
　表示灯７は、例えば、１又は２以上の表示素子で構成されている。各表示素子はＬＥＤで構成されていても良い。
　表示灯７は、例えばダッシュボード上に設けられていても良く、Ａピラー（前方のピラー）に設けられていても良い。
　図１１は、図１０の情報提示制御装置４ａを示す。図示の情報提示制御装置４ａは、図５の情報提示制御装置４と概して同じであるが、音声出力制御部４６と、表示灯制御部４７とが付加されており、強調判定部４４の代わりに強調判定部４４ａが設けられている。
　強調判定部４４ａは、実施の形態１の強調判定部４４と同様に、表示に関する決定を行うとともに、表示に関する決定に準じて、音声出力及び表示灯制御に関する決定を行う。
　例えば、左表示器５Ｌ及び右表示器５Ｒの少なくとも一方における画像の表示に関して、表示が必要であり、強調が必要であり、強調レベルが予め定められた値以上とすべきであると決定した場合に、音声出力及び表示灯による注意喚起が必要と決定する。
　強調レベルについての上記の予め定められた値は、表示に関する決定で用いられるレベルのうち最も高い値であっても良い。例えば、図８に示される例では強調レベル２が最も高い値である。
　上記の予め定められた値とし強調レベル２を用いる場合、左表示器５Ｌについて、図８の条件１Ｃが満たされた場合又は右表示器５Ｒに同様の条件が満たされた場合に、注意喚起が必要と決定することになる。
　音声出力制御部４６は、強調判定部４４ａにおける決定に従って、音声出力装置６に注意喚起のための音声を出力させる。具体的には、音声制御信号Ｓａを音声出力装置６に供給して音声を出力させる。
　この音声は、警報音であっても良く、音声メッセージであっても良い。
　例えば、左表示器５Ｌに関し、図８の条件１Ｃが満たされた場合、又は右表示器５Ｒに関し、図８の条件１Ｃと同様の条件が満たされた場合に、音声を出力させても良い。
　左表示器５Ｌに関し、図８の条件１Ｃが満たされた場合には、「左側の車にご注意下さい」と言ったメッセージを出力させても良い。右表示器５Ｒに関し、図８の条件１Ｃと同様の条件が満たされた場合には、「右側の車にご注意下さい」と言ったメッセージを出力させても良い。
　表示灯制御部４７は、強調判定部４４ａにおける決定に従って、表示灯７に注意喚起のための点灯、或いは点滅を行わせる。具体的には、表示灯駆動信号Ｓｂを表示灯７に供給して点灯又は点滅を行わせる。
　なお、音声出力装置６として複数のスピーカを含むものを用いて、障害物のある方向から音声が聞こえるようにする制御を行なっても良い。このような制御は例えば音像制御によって実現し得る。
　また、表示灯７を線状に配置された複数の表示素子の列で構成し、該列の一端から他端に順に点滅させることで、注意を向けるべき方向を示すこととしても良い。例えば、複数の表示素子の列を、水平方向に延びる列としておき、運転者の視線を左に誘導したいときは、右端から左端に順次点滅させ、運転者の視線を右に誘導したいときは、左端から右端に順次点滅させることとしても良い。
実施の形態３．
　本発明の実施の形態３の情報提示装置の全体的構成は、実施の形態１に関し、図１を参照して説明したのと同様である。図１２は、実施の形態３の情報提示装置で用いられる情報提示制御装置４ｂの構成例を示すブロック図である。
　図示の情報提示制御装置４ｂは、図５の情報提示制御装置４と概して同じであるが、図５の画像認識部４２及び強調判定部４４の代わりに、画像認識部４２ｂ及び強調判定部４４ｂが設けられている。
　画像認識部４２ｂは、図４の画像認識部４２と同様に、障害物についての認識を行うだけでなく、自車両の周辺の状況に対する認識をも行い、認識結果を示す周辺状況情報を生成して出力する。自車両の周辺の状況に対する認識には、例えば自車両が交差点の付近にいるか否かについての判定結果が含まれる。
　自車両の周辺の状況の認識には公知の種々のアルゴリズムを用い得る。
　自車両が交差点の付近にいるか否かについては、画像中の信号機、道路標識、路面標示等に基づいて判断を行なっても良い。
　強調判定部４４ｂは、障害物情報及び視線情報のみならず、周辺状況情報をも用いて表示に関する決定を行なう。
　例えば、自車両が交差点の付近にいないと判断したときは、撮像画像の表示は不要と判断する。
　自車両が交差点の付近にいる判断したときには、図８と同様に、障害物情報及び視線情報に基づいて表示に関する決定を行う。
　図１３は、実施の形態３における、左表示器５Ｌにおける表示に関する決定の方法（決定規則）の一例を示す。
　条件３Ａでは、自車両が交差点の付近にいない。条件３Ａが満たされた場合には、表示は不要と判断する。即ち、自車両が交差点の付近にいない場合には、障害物の有無及び視線の方向に関わらず、左表示器５Ｌにおける表示は不要と判断する。
　条件３Ｂ～３Ｅは、自車両が交差点の付近にいる場合である。
　条件３Ｂ～３Ｅは、自車両が交差点の付近にいるという条件が付加されていることを除けば、図８の条件１Ａ～１Ｄと同じであり、左表示器５Ｌにおける表示に関する決定（表示の要否及び強調レベル）も、条件１Ａ～１Ｄの場合と同じである。
　上記の例では、強調判定部４４ｂは、自車両が交差点の付近にいる場合には、その他の条件に基づく決定を実施の形態１の強調判定部４４と同様に行い、自車両が交差点の付近にいないときは、左表示器５Ｌにおける表示を不要と決定する。
　即ち、自車両が交差点の付近にいるときは、注意喚起レベルを高くして、左表示器５Ｌにおける表示に関する決定を実施の形態１と同様に行う一方、自車両が交差点の付近にいないときは、注意喚起レベルを低くして、表示器における表示は不要と決定している。
　以上、左表示器５Ｌにおける表示に関する決定について説明したが、右表示器５Ｒにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器５Ｒにおける表示に関する決定に当てはまるものとなる。
　上記の例では、交差点の付近か否かを判断しているが、交差点であっても見通しの良い交差点では、注意喚起レベルを高くする必要がないと考えることもできる。そこで、狭くて見通しの悪い道路から交差点に入ろうとしているか否かを判断し、判断結果をも考慮に入れて、表示に関する決定を行なっても良い。
　例えば、図１４に示すように、自車両が側壁などの建造物１１４に挟まれた狭い道路１１２を一定時間以上走行しているか否かを判定し、判定結果を利用しても良い。即ち、そのような判定の結果がＹＥＳであり、かつ自車両が交差点１１６の付近にいることが検出された場合には、注意喚起レベルを上げることとしても良い。
　代わりに、距離センサで自車両の側方にある側壁などの建造物１１４までの距離を測定し、測定結果を利用しても良い。即ち、建造物１１４までの距離が短く、かつ自車両が交差点１１６の付近にいることが検出された場合には注意喚起レベルを上げることとしても良い。
　以上、自車両が交差点の付近にいる場合に注意喚起レベルを高くする例について説明したが、代わりに、自車両が建物内の駐車場から道路に進入しようとしているか否かを判定し、そのような状況であれば注意喚起レベルを高くすることとしても良い。
　これらの場合、注意喚起レベルを高くした場合には、図１３の条件３Ｂ～３Ｅによる表示に関する決定を行なうことになる。
　上記した実施の形態３によれば、実施の形態１と同様の効果に加えて以下の効果が得られる。
　即ち、画像認識部４２ｂで生成された周辺状況情報に基づいて表示に関する決定及び表示の制御を行なうので、表示の要否の判定及び強調レベルの決定などを、自車両の周辺の状況に応じて適切に行うことができる。
実施の形態４．
　図１５は、本発明の実施の形態４における情報提示装置１ｃの構成例を示すブロック図である。
　図示の情報提示装置１ｃは、図１の情報提示装置１と概して同じであるが、位置情報取得装置８及び地図情報データベース９が付加されており、情報提示制御装置４の代わりに、情報提示制御装置４ｃが設けられている。
　位置情報取得装置８は、自車両の位置を示す位置情報Ｄｐを生成して出力する。代表的な例としてＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機が挙げられるが、どのような位置情報取得装置を用いても良い。
　地図情報データベース９は、地図情報を記憶しているデータベースである。地図情報には、交差点に関する情報が含まれる。
　図１６は、情報提示制御装置４ｃの構成例を示すブロック図である。
　図示の情報提示制御装置４ｃは、図１２の情報提示制御装置４ｂと概して同じであるが、周辺状況認識部４８が付加されており、強調判定部４４ｂの代わりに強調判定部４４ｃを備える。
　周辺状況認識部４８は、位置情報取得装置８から自車両の位置情報Ｄｐを取得し、地図情報データベース９から、自車両の周辺の地図情報Ｄｍを取得し、位置情報で示される位置の周辺の地図情報を参照することで、自車両の周辺の状況を認識し、認識結果を示す周辺状況情報を生成して出力する。周辺状況情報は、例えば、自車両が交差点の付近にいるか否かを示すものである。
　図１６の強調判定部４４ｃは、図１２の強調判定部４４ｂと同様に、障害物情報、視線情報及び周辺状況情報に基づいて、表示に関する決定を行う。但し、図１２では、周辺状況情報が画像認識部４２ｂから供給されるのに対し、図１６では、周辺状況認識部４８から供給される。
　障害物情報、視線情報及び周辺状況情報に基づく、表示に関する決定の方法は、実施の形態３に関し、図１３を参照して説明したのと同じである。
　以上、左表示器５Ｌにおける表示に関する決定について説明したが、右表示器５Ｒにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器５Ｒにおける表示に関する決定に当てはまるものとなる。
　なお、地図情報に道路の広さを示す情報が含まれる場合には、そのような情報を併せて利用しても良い。例えば狭い道路から交差点に進入する場合に限り、注意喚起レベルを高くして、表示器における表示に関する決定を実施の形態１と同様に行う一方、それ以外のとき、即ち、自車両が交差点の付近にいないとき、或いは交差点の付近にいるが走行中の道路が広いときは、注意喚起レベルを低くして、表示器における表示は不要と判断しても良い。
　また、周辺状況情報として、自車両が交差点の付近にいるか否かについての判定結果ではなく、自車両が建物内の駐車場から道路に進入しようとしているか否かを判定し、そのような状況であれば注意喚起レベルを高くすることとしても良い。
　上記した実施の形態４によれば、実施の形態３と同様の効果が得られる。
　また、位置情報と地図情報から周辺状況情報を生成しているので、撮像画像に基づく認識が困難である場合にも、周辺の状況を正しく認識することが可能である。
　実施の形態３では、自車両が交差点の付近にいるか否の判断に画像認識部４２ｂによる認識結果を用いており、実施の形態４では、自車両が交差点の付近にいるか否の判断に、地図情報データベース９からの地図情報を用いているが、これらの代わりに、或いはこれらとともに、自車両の速度及び運転者によるウィンカーの操作の少なくとも一方に基づいて自車両が交差点にいるかの判断を行なっても良い。
実施の形態５．
　本発明の実施の形態５の情報提示装置の全体的構成は、実施の形態１に関し、図１を参照して説明したのと同様である。図１７は、実施の形態５の情報提示装置で用いられる情報提示制御装置４ｄの構成例を示すブロック図である。
　図示の情報提示制御装置４ｄは、図５の情報提示制御装置４と概して同じであるが、危険度判定部４９が付加されており、図５の強調判定部４４の代わりに、強調判定部４４ｄが設けられている。
　危険度判定部４９は、画像認識部４２からの障害物情報に基づいて、障害物の危険度を判定し、判定結果を示す危険度情報を生成して出力する。
　例えば、画像内における障害物の位置に基づいて危険度を判定することとしても良い。
　例えば左補正画像ＦＬについて、図１８（ａ）に示すように、画像のうちの左端に近い部分ＦＬａを危険度の比較的高い領域と指定し、残りの部分ＦＬｂを危険度の比較的低い領域と指定する。そして、領域ＦＬａ内にある障害物は危険度が高いと判定する。このように判定するのは、領域ＦＬａ内にある障害物は自車両により近い位置にあるためである。
　同様に、右補正画像ＦＲについて、図１８（ｂ）に示すように、画像のうちの右端に近い部分ＦＲａを危険度の比較的高い領域と指定し、残りの部分ＦＲｂを危険度の比較的低い領域と指定する。そして、領域ＦＲａ内にある障害物は危険度が高いと判定する。このように判定するのは、領域ＦＲａ内にある障害物は自車両により近い位置にあるためである。
　なお、障害物の種類によって移動速度が異なるため、領域ＦＬａ、ＦＲの位置、広さを切り替えても良い。例えば、障害物の種類を判定し、判定結果に応じて、上記の切り替えを行なっても良い。
　強調判定部４４ｄは、実施の形態１の強調判定部４４の説明で示した障害物情報及び視線情報に加えて、上記した危険度情報をも用いて表示に関する決定を行う。
　画像内に複数の障害物がある場合、最も危険度の高い障害物の危険度に基づいて表示に関する決定を行うこととしても良い。
　図１９に、実施の形態５における、左表示器５Ｌにおける表示に関する決定の方法（決定規則）の一例を示す。
　条件５Ａでは、左側に障害物がなく、運転者の視線が左側に向けられていない。条件５Ａが満たされた場合には、表示は不要と判断する。
　条件５Ｂでは、左側に障害物がなく、運転者の視線が左側に向けられている。条件５Ｂが満たされた場合には、表示が必要と判断する。ただし、障害物がないため、強調処理は不要と判断する。強調処理が不要であることを「強調レベル０」で示す。
　条件５Ｃでは、左側に障害物があり、その危険度は低い。条件５Ｃが満たされた場合には、視線の方向に関わらず、表示が必要と判断し、強調レベルを１とする。
　条件５Ｄでは、左側に障害物があり、その危険度が高く、運転者の視線は左側に向けられていない。条件５Ｄが満たされた場合には、表示が必要と判断し、強調レベルを３とする。
　条件５Ｅでは、左側に障害物があり、その危険度が高く、運転者の視線は左側に向けられている。条件５Ｅが満たされた場合には、表示が必要と判断し、強調レベルを２とする。
　条件５Ｃの場合と、条件５Ｄの場合と、条件５Ｅの場合との比較から分かるように、同じく表示が必要と判断する場合でも危険度に応じて強調レベルを変えている。即ち、危険度が高いほど、強調レベルを高くしている。このようにすることで、障害物の危険度が高いほど、運転者により早く認識させることが可能となる。
　条件５Ｄの場合と、条件５Ｅの場合との比較から分かるように、同じく危険度の高い障害物が左側にあっても、運転者の視線の方向に応じて強調レベルを変えている。例えば、運転者の視線の方向が左向きでなければ、強調レベルをより高くしている。
　このようにするのは、視線の方向が左向きでなければ、運転者が左側の障害物に気付いていない可能性が大きく、強調レベルをより高くすることで、運転者が左側の障害物に気付くのを早くすることが望ましいからである。
　なお、ここで示した強調レベル０～３は、実施の形態１、３で示した強調レベル０～２に対して、レベルの数を増やしたものである。
　以上、左表示器５Ｌにおける表示に関する決定について説明したが、右表示器５Ｒにおける表示に関する決定も同様に行い得る。即ち、上記の説明中の「左」を「右」と読み替えれば、右表示器５Ｒにおける表示に関する決定に当てはまるものとなる。
　上記の例では、画像内の障害物の位置に基づいて危険度を判定している。このため比較的簡単な処理で危険度を判定することが可能である。
　上記の例では、危険度が比較的高いかどうかを判定している。危険度をその高さに応じて３以上の段階に区分けしてそのいずれであるかに応じて表示に関する決定を行なっても良い。
　危険度の判定を上記の方法以外の方法で行っても良い。例えば、自車両と障害物との相対速度に基づいて危険度の判定を行なっても良い。
　例えば、他のセンサの結果を利用して危険度の判定を行なってもよい。
　また、実施の形態３及び実施の形態４と同様に、自車両が交差点の付近にいるか否かの判定を行ない、判定結果に基づいて危険度の判定を行なっても良い。例えば、交差点の付近にいる場合には、危険度がより高いと判断しても良い。
　上記した実施の形態５によれば、実施の形態１と同様の効果に加えて以下の効果が得られる。
　即ち、危険度情報に基づいて表示に関する決定を行うので、危険度に応じて適切に表示の制御を行うことができる。
例えば、認識した障害物の危険度が高いときは、表示を行うとともに、危険度に応じた強調レベルで強調を行うことができる。一方、危険度が低い場合には、表示を行わず又は表示輝度を大幅に下げることとし、或いは、低い強調レベルで表示を行うことができる。即ち、必要に応じて表示及び強調を行うとともに、不要なときには過度の注意喚起をしないようにすることができる。
　実施の形態１～５においては、車外撮像部のカメラとして車両１０２の前端部であって、幅方向の中央部に広角カメラ２ａが設置されている。
　この点は必須ではなく、要するに、図６に示したように、運転者に見えない又は見えにくい方向を撮像できれば良い。即ち、車外撮像部に含まれるカメラの配置、個数に制約はない。
　例えば、図２０に示すように車両１０２の前端部の左側の部分１０４Ｌ及び右側の部分１０４Ｒに１台ずつ広角ではないカメラ２ｂ、２ｃを設置することとしても良い。図２０に示す例では、カメラ２ｂは、左前方を中心とする視野角θｂの範囲を撮像し、カメラ２ｃは、右前方を中心とする視野角θｃの範囲を撮像する。視野角θｂ、θｃは例えば９０度である。
　広角ではないカメラを用いる場合には、画像補正部４１において歪補正を行う必要がない。また２台のカメラからそれぞれの撮像画像が得られる場合には、画像補正部４１では、左画像、右画像の抽出を行う必要がない。
　また、図２１に示すように、車両１０２の前端部の左側の部分１０４Ｌに設置された第１のカメラ２ｄで右前方を中心とする視野角θｄの範囲を撮像し、車両１０２の前端部の右側の部分１０４Ｒに設置された第２のカメラ２ｅで左前方を中心とする視野角θｅの範囲を撮像することで、車両１０２の一部が各カメラの撮像範囲に入るようにしても良い。
　即ち、車外撮像部２は、車両１０２の前端部の左側の部分１０４Ｌに設置された第１のカメラ２ｄと、車両１０２の前端部の右側の部分１０４Ｒに設置された第２のカメラ２ｅとを含み、第１のカメラ２ｄの視野角θｄが、車両１０２の前方から右横方向までの範囲を含み、第２のカメラ２ｅの視野角θｅが、車両１０２の前方から左横方向までの範囲を含み、第１のカメラ２ｄの撮像範囲に、車両１０２の一部、例えば、前端部の右側部分の少なくとも一部が含まれ、第２のカメラ２ｅの撮像範囲に、車両１０２の一部、例えば、前端部の左側部分の少なくとも一部が含まれるものであっても良い。
　このようにカメラ２ｄ、２ｅの各々の撮像範囲に車両１０２の一部が入るようにすれば、運転者にとって撮像範囲の範囲が把握しやくなり、撮像画像中の位置と実空間の位置との対応付けが容易になるという利点がある。
　さらにまた、図２２に示すように、車両１０２の左側の部分１０５Ｌと右側の部分１０５Ｒに広角カメラ２ｆ、２ｇを配置し、各カメラで車両１０２の前方だけでなく車両１０２の後方をも撮像できるようにしても良い。図示の例では、カメラ２ｆ、２ｇが車両の前端部の左側の部分の前端部と右側の部分の前端部に配置されているが、左側、右側であればどこでもよく、例えば後方であっても良い。後方に配置することとすれば、後進の際に有効である。
　即ち、車外撮像部２が、車両１０２の左側の部分１０４Ｌに設置された第１の広角カメラ２ｆと、車両１０２の右側の部分１０４Ｒに設置された第２の広角カメラ２ｇとを含み、第１の広角カメラ２ｆは、左側方を中心とする視野角θｆの範囲を撮像し、第２の広角カメラ２ｇは、右側方を中心とする視野角θｇの範囲を撮像し、視野角θｆ及び視野角θｇは、ともに１８０度以上であって、第１の広角カメラ２ｆの撮像範囲に、車両１０２の左側方、前方及び後方が含まれ、第２の広角カメラ２ｇの撮像範囲に、車両１０２の右側方、前方及び後方が含まれるものであっても良い。
　このような構成であれば、車両１０２の左右の広い範囲につき撮像画像が得られるので、広い範囲の障害物に対する注意喚起が可能となる。
　実施の形態１について説明した変形は、実施の形態２～５に対して加えることができる。
また、実施の形態２を実施の形態１に対する変形として説明したが、実施の形態３～５に対しても同様の変形を加えることができる。
　上記の情報提示制御装置４、４ａ、４ｂ、４ｃ及び４ｄの各々は、１又は２以上の処理回路により構成される。
　各処理回路は、専用のハードウェアで構成されていても良く、プロセッサとプログラムメモリとで構成されていても良い。
　専用のハードウェアで構成されている場合、各処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせであっても良い。
　プロセッサとプログラムメモリとで構成される場合、各処理回路は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現されていても良い。ソフトウェア又はファームウェアはプログラムとして記述され、プログラムメモリに格納される。プロセッサは、プログラムメモリに記憶されたプログラムを読み出して実行することにより、各処理回路の機能を実現する。
　ここで、プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）と呼ばれるものであっても良い。
　プログラムメモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。
　情報提示制御装置４、４ａ、４ｂ、４ｃ及び４ｄの諸機能は、その一部を専用のハードウェアで実現し、他の一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上記の各機能を実現することができる。
　図２３は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄの諸機能を実現する１つのプロセッサを含むコンピュータを示す。
　図示のコンピュータは、プロセッサ９４１、メモリ９４２、不揮発性記憶装置９４３、車外撮像部インタフェース９４４、車内撮像部インタフェース９４５、左表示器インタフェース９４６、及び右表示器インタフェース９４７を備えている。
　不揮発性記憶装置９４３は、プロセッサ９４１が実行するプログラムを記憶している。
　プロセッサ９４１は、不揮発性記憶装置９４３に記憶されているプログラムを読み出して、メモリ９４２に保存し、実行する。
　車外撮像部インタフェース９４４は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄと車外撮像部２との間のインタフェースであり、車外撮像部２から情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄへ出力される画像情報を中継する。
　車内撮像部インタフェース９４５は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄと車内撮像部３との間のインタフェースであり、車内撮像部３から情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄへ出力される画像情報を中継する。
　左表示器インタフェース９４６及び右表示器インタフェース９４７は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄと左表示器５Ｌ及び右表示器５Ｒとの間のインタフェースであり、それぞれ情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄから左表示器５Ｌ及び右表示器５Ｒに出力される画像を中継する。
　図２３の車外撮像部２、車内撮像部３、左表示器５Ｌ及び右表示器５Ｒは、図１に示したものと同じであっても良い。
　不揮発性記憶装置９４３は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄにおける処理で用いられる情報をも記憶する。例えば不揮発性記憶装置９４３には、画像補正部４１における画像補正、及び画像認識部４２又は４２ｂにおける画像認識、及び強調判定部４４、４４ａ、４４ｂ又は４４ｄにおける強調判定等に使用されるパラメータ情報を記憶する。
　不揮発性記憶装置９４３は、情報提示制御装置４、４ａ、４ｂ、４ｃ又は４ｄとは独立して設けられた記憶装置であってもよい。例えば、不揮発性記憶装置９４３として、クラウド上に存在する記憶装置を利用してもよい。
　不揮発性記憶装置９４３は、実施の形態４の地図情報データベース９を兼ねていても良く、地図情報データベースとして別個の記憶装置又は記憶媒体が設けられていても良い。
　以上、本発明に係る情報提示制御装置置について説明したが、情報提示制御装置で実施される情情報提示制御方法も本発明の一部を成す。また、これらの装置又は方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録したコンピュータで読取可能な記録媒体も本発明の一部を成す。
　２　車外撮像部、　２ａ～２ｇ　カメラ、　３　車内撮像部、　４，４ａ，４ｂ，４ｃ，４ｄ　情報提示制御装置、　５Ｌ　左表示器、　５Ｒ　右表示器、　６　音声出力装置、　７　表示灯、　８　位置情報取得装置、　９　地図情報データベース、　４１　画像補正部、　４２，４２ｂ　画像認識部、　４３　視線情報取得部、　４４，４４ａ，４４ｂ，４４ｄ　強調判定部、　４５　表示制御部、　４６　音声出力制御部、　４７　表示灯制御部、　４８　周辺状況認識部、　４９　危険度判定部、　９４１　プロセッサ、　９４２　メモリ、　９４３　不揮発性記憶装置、　９４４　車外撮像部インタフェース、　９４５　車内撮像部インタフェース、　９４６　左表示器インタフェース、　９４７　右表示器インタフェース。

Claims (15)

  1. 　車両の周辺を撮像し、車外画像を生成する車外撮像部と、
    　前記車両の内部を撮像し、車内画像を生成する車内撮像部と、
    　複数の表示手段を有する表示装置と、
    　前記車外画像から１又は２以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、前記車内画像から運転者の視線の方向を表す視線情報を生成し、前記障害物情報と前記視線情報とに基づいて、前記複数の表示手段の各々における表示に関する決定を行い、該決定に基づいて前記複数に表示手段の各々における表示を制御する情報提示制御装置とを備え、
    　前記表示に関する決定は、前記複数の表示手段の各々における、前記車外画像の表示が必要か否かの決定、及び前記車外画像中の各障害物に対する強調処理に関する決定を含み、
    　前記強調処理に関する決定は、強調が必要か否かの決定及び強調のレベルの決定を含み、
    　前記情報提示制御装置は、認識された１又は２以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる
    　ことを特徴とする情報提示装置。
  2. 　前記情報提示制御装置は、前記表示に関する決定において、表示が不要と決定したときは、当該障害物を含む画像の、当該表示手段での表示をさせず、又は表示の輝度を低くする
    　ことを特徴とする請求項１に記載の情報提示装置。
  3. 　前記情報提示制御装置は、前記車両の周辺の状況を認識して、周辺状況情報を生成し、
    　前記障害物情報及び前記視線情報のみならず、前記周辺状況情報にも基づいて、前記表示に関する決定を行なう
    　ことを特徴とする請求項１又は２に記載の情報提示装置。
  4. 　前記情報提示制御装置は、前記車外画像から前記周辺の状況を認識する
    　ことを特徴とする請求項３に記載の情報提示装置。
  5. 　前記車両の位置を示す位置情報を取得する位置情報取得装置と、
    　地図情報を格納した地図情報データベースとをさらに有し、
    　前記情報提示制御装置は、前記位置情報で表される位置の周辺の地図情報を参照することで前記周辺の状況を認識する
    　ことを特徴とする請求項３に記載の情報提示装置。
  6. 　前記情報提示制御装置は、前記車外画像中の障害物の各々について危険度を検出して危険度情報を生成し、
    　前記障害物情報及び前記視線情報のみならず、前記危険度情報にも基づいて、前記表示に関する決定を行う
    　ことを特徴とする請求項１から５のいずれか１項に記載の情報提示装置。
  7. 　前記車外撮像部は、前記車両の前端部に設置された広角カメラを含む
    　ことを特徴とする請求項１から６のいずれか１項に記載の情報提示装置。
  8. 　前記車外撮像部は、
    　前記車両の前端部の左側の部分に設置された第１のカメラと、
    　前記車両の前端部の右側の部分に設置された第２のカメラとを含み、
    　前記第１のカメラが、車両の前方から右横方向までの範囲を撮像し、
    　前記第２のカメラが、車両の前方から左横方向までの範囲を撮像し、
    　前記第１のカメラの撮像範囲に、前記車両の前端部の右側部分の少なくとも一部が含まれ、
    　前記第２のカメラの撮像範囲に、前記車両の前端部の左側部分の少なくとも一部が含まれる
    　ことを特徴とする請求項１から６のいずれか１項に記載の情報提示装置。
  9. 　前記車外撮像部は、
    　前記車両の左側の部分に設置された第１の広角カメラと、
    　前記車両の右側の部分に設置された第２の広角カメラとを含み、
    　前記第１の広角カメラの撮像範囲に、前記車両の左側方、前方及び後方が含まれ、
    　前記第２の広角カメラの撮像範囲に、前記車両の右側方、前方及び後方が含まれる
    　ことを特徴とする請求項１から６のいずれか１項に記載の情報提示装置。
  10. 　前記表示装置は、運転者から見て左前方に配置された第１の表示器と、運転者から見て右前方に配置された第２の表示器とを含む
    　ことを特徴とする請求項１から９のいずれか１項に記載の情報提示装置。
  11. 　前記表示装置は、運転者から見て左前方に配置された第１の表示領域と、運転者から見て右前方に配置された第２の表示領域とを含む表示面を有する
    　ことを特徴とする請求項１から９のいずれか１項に記載の情報提示装置。
  12. 　さらに音声出力装置を有し、
    　前記情報提示制御装置は、認識された障害物に対する注意喚起のための音声を、前記音声出力装置に出力させる
    　ことを特徴とする請求項１から１１のいずれか１項に記載の情報提示装置。
  13. 　複数の表示手段を有する表示装置と、
    　車両の周辺を撮像することで生成した車外画像から１又は２以上の障害物を認識し、当該障害物の認識の結果を示す障害物情報を生成し、
    　前記車両の内部を撮像することで生成した車内画像から、運転者の視線の方向を表す視線情報を生成し、
    　前記障害物情報と前記視線情報とに基づいて、複数の表示手段の各々における表示に関する決定を行い、該決定に基づいて前記複数に表示手段の各々における表示を制御する情報提示制御方法であって、
    　前記表示に関する決定は、前記複数の表示手段の各々における、前記車外画像の表示が必要か否かの決定、及び前記車外画像中の各障害物に対する強調処理に関する決定を含み、
    　前記強調処理に関する決定は、強調が必要か否かの決定及び強調のレベルの決定を含み、
    　認識された１又は２以上の障害物の各々を含む画像を、前記複数の表示手段のうち、運転者にとって当該障害物の方向又はそれに近い方向にある表示手段に表示させる
    　ことを特徴とする情報提示制御方法。
  14. 　請求項１３に記載の情報提示制御方法における処理をコンピュータに実行させるためのプログラム。
  15. 　請求項１４に記載のプログラムを記録したコンピュータで読取可能な記録媒体。
PCT/JP2019/001628 2019-01-21 2019-01-21 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 WO2020152737A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020567673A JP6869448B2 (ja) 2019-01-21 2019-01-21 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
PCT/JP2019/001628 WO2020152737A1 (ja) 2019-01-21 2019-01-21 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
CN201980088887.5A CN113316529A (zh) 2019-01-21 2019-01-21 信息提示装置和信息提示控制方法、以及程序和记录介质
DE112019006155.0T DE112019006155B4 (de) 2019-01-21 2019-01-21 Informationsdarstellungseinrichtung, Informationsdarstellungssteuerverfahren, Programm und Aufzeichnungsmedium
US17/376,481 US20210339678A1 (en) 2019-01-21 2021-07-15 Information presentation device, information presentation control method, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/001628 WO2020152737A1 (ja) 2019-01-21 2019-01-21 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/376,481 Continuation US20210339678A1 (en) 2019-01-21 2021-07-15 Information presentation device, information presentation control method, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2020152737A1 true WO2020152737A1 (ja) 2020-07-30

Family

ID=71736583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001628 WO2020152737A1 (ja) 2019-01-21 2019-01-21 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体

Country Status (5)

Country Link
US (1) US20210339678A1 (ja)
JP (1) JP6869448B2 (ja)
CN (1) CN113316529A (ja)
DE (1) DE112019006155B4 (ja)
WO (1) WO2020152737A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114312305A (zh) * 2021-12-22 2022-04-12 东软睿驰汽车技术（沈阳）有限公司 行驶提示方法、车辆、计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006224700A (ja) * 2005-02-15 2006-08-31 Denso Corp 車両用死角監視装置及び車両用運転支援システム
JP2008077354A (ja) * 2006-09-20 2008-04-03 Mazda Motor Corp 車輌用運転支援装置
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2009069885A (ja) * 2007-09-10 2009-04-02 Denso Corp 状態判定装置およびプログラム
JP2010070117A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 画像照射システムおよび画像照射方法
JP2015011457A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
JP2018173716A (ja) * 2017-03-31 2018-11-08 株式会社Ｓｕｂａｒｕ 情報出力装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008013070A (ja) 2006-07-06 2008-01-24 Toyota Motor Corp 車両用表示装置
JP2011109170A (ja) * 2009-11-12 2011-06-02 Clarion Co Ltd 車両周囲表示装置、車両周囲表示方法
WO2013065119A1 (ja) * 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置
DE102013217430A1 (de) * 2012-09-04 2014-03-06 Magna Electronics, Inc. Fahrerassistenzsystem für ein Kraftfahrzeug
WO2015001665A1 (ja) * 2013-07-05 2015-01-08 三菱電機株式会社 情報表示装置
JP6346614B2 (ja) * 2013-09-13 2018-06-20 マクセル株式会社 情報表示システム
JP6361986B2 (ja) * 2016-05-30 2018-07-25 マツダ株式会社 車両用表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006224700A (ja) * 2005-02-15 2006-08-31 Denso Corp 車両用死角監視装置及び車両用運転支援システム
JP2008077354A (ja) * 2006-09-20 2008-04-03 Mazda Motor Corp 車輌用運転支援装置
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2009069885A (ja) * 2007-09-10 2009-04-02 Denso Corp 状態判定装置およびプログラム
JP2010070117A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 画像照射システムおよび画像照射方法
JP2015011457A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
JP2018173716A (ja) * 2017-03-31 2018-11-08 株式会社Ｓｕｂａｒｕ 情報出力装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114312305A (zh) * 2021-12-22 2022-04-12 东软睿驰汽车技术（沈阳）有限公司 行驶提示方法、车辆、计算机可读存储介质

Also Published As

Publication number Publication date
JPWO2020152737A1 (ja) 2021-09-09
US20210339678A1 (en) 2021-11-04
JP6869448B2 (ja) 2021-05-12
DE112019006155B4 (de) 2021-12-23
DE112019006155T5 (de) 2021-10-14
CN113316529A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
JP5871006B2 (ja) 画像表示装置及び画像表示方法
JP5341402B2 (ja) 車載表示システム
JP6205640B2 (ja) 車両用警告装置
JP6379779B2 (ja) 車両用表示装置
JP5895941B2 (ja) 画像表示装置及び画像表示方法
JP4943367B2 (ja) 車両用情報表示装置
JP6354804B2 (ja) 視界制御装置
US20090102922A1 (en) On-vehicle image pickup apparatus
US20200059598A1 (en) Camera Device for Capturing a Surrounding Area of a Driver's Own Vehicle and Method for Providing a Driver Assistance Function
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
KR101697484B1 (ko) 차량 주변의 위험요소 경고장치 및 경고방법
JP4755501B2 (ja) 車線検出装置および車線逸脱警報装置
WO2020152737A1 (ja) 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
JP5445719B2 (ja) 画像表示装置及び画像表示方法
KR101729030B1 (ko) 차량 주변의 위험요소 경고장치 및 경고방법
JP2023102146A (ja) 報知装置及び報知方法
JP2005217482A (ja) 車両周辺監視方法および装置
JP2004302609A (ja) 車両用周囲監視装置
JP6354805B2 (ja) 視界制御装置
JP2005075081A (ja) 車両の表示方法及び表示装置
JP2017224067A (ja) わき見状態判定装置
JP6384528B2 (ja) 視界制御装置
JP2005135203A (ja) 車両運転支援装置
JP6384529B2 (ja) 視界制御装置
JP2007193651A (ja) 車線検出装置および車線逸脱警報装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910984

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020567673

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19910984

Country of ref document: EP

Kind code of ref document: A1