WO2013171962A1 - 車両用表示装置、車両用表示方法及び車両用表示プログラム - Google Patents

車両用表示装置、車両用表示方法及び車両用表示プログラム Download PDF

Info

Publication number
WO2013171962A1
WO2013171962A1 PCT/JP2013/002365 JP2013002365W WO2013171962A1 WO 2013171962 A1 WO2013171962 A1 WO 2013171962A1 JP 2013002365 W JP2013002365 W JP 2013002365W WO 2013171962 A1 WO2013171962 A1 WO 2013171962A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
superimposing
region
captured
Prior art date
Application number
PCT/JP2013/002365
Other languages
English (en)
French (fr)
Inventor
渡辺 省吾
則政 岸
拓良 柳
吉郎 高松
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to JP2014515473A priority Critical patent/JP5817927B2/ja
Priority to EP13791436.2A priority patent/EP2851864B1/en
Priority to CN201380023795.1A priority patent/CN104272345B/zh
Priority to US14/401,305 priority patent/US9649980B2/en
Publication of WO2013171962A1 publication Critical patent/WO2013171962A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • FIG. 1 is a block diagram showing a schematic configuration of a vehicle display device 1 of the present embodiment.
  • the vehicular display device 1 includes an imaging block 2, a self-position recognition block 4, a driver authentication unit 6, a superimposition image information storage unit 8, a superimposed region setting unit 10, A shielding area detection unit 12 is provided.
  • the vehicular display device 1 includes a superimposition image extraction unit 14, a superposition image coloring processing unit 16, an image superposition unit 18, and an image display unit 20.
  • the imaging block 2 includes a normal image imaging unit 22 and an infrared image imaging unit 24.
  • the normal image capturing unit 22 captures an image around the host vehicle, and an information signal including the captured image (may be referred to as “normal image signal” in the following description) is set as a superimposed region setting.
  • the infrared image capturing unit 24 is formed using, for example, an infrared (IR) camera, and is attached to the vehicle interior of the host vehicle, like the normal image capturing unit 22.
  • the infrared image capturing unit 24, like the normal image capturing unit 22, has its imaging direction directed toward the periphery of the host vehicle, and captures an infrared image around the host vehicle.
  • the infrared image capturing unit 24 captures an infrared image around the host vehicle, and an information signal including the captured image (may be described as an “infrared image signal” in the following description)
  • the data is output to the setting unit 10, the shielding region detection unit 12, and the image superimposing unit 18.
  • the self position recognition block 4 includes a self vehicle position detection unit 26 and a self vehicle traveling direction detection unit 28.
  • the own vehicle position detection unit 26 is formed using, for example, a GPS (Global Positioning System) receiver.
  • the GPS receiver detects coordinates indicating the position (current position) of the host vehicle based on radio waves transmitted by GPS satellites.
  • the host vehicle position detection unit 26 outputs an information signal including the detected position of the host vehicle (may be described as “host vehicle position signal” in the following description) to the superimposition image extraction unit 14. .
  • the own vehicle traveling direction detection unit 28 is formed using, for example, an electronic compass, and detects the traveling direction of the own vehicle (for example, the direction in which the front of the own vehicle is facing with respect to magnetic north).
  • the own vehicle advancing direction detection part 28 you may detect the inclination of the own vehicle with respect to a horizontal surface, for example using a gyro sensor together.
  • the elevation angle or depression angle of the host vehicle with respect to the horizontal plane is detected.
  • the driver authentication unit 6 outputs an information signal including the driver ID information read by the IC reader (may be described as “driver ID signal” in the following description) to the superimposing image information storage unit 8. Output to. That is, the driver authentication unit 6 authenticates the driver of the host vehicle and outputs information unique to the authenticated driver to the superimposing image information storage unit 8.
  • the configuration of the driver authentication unit 6 is not limited to a configuration including an IC reader. That is, for example, if the configuration of the host vehicle can change the seat position of the driver's seat to a unique position for each driver, the driver's seat position is detected and the driver is identified. May be.
  • the superimposing image information storage unit 8 includes a map data storage unit 30, a captured image database 32, and a processed image database 34. The superimposing image information storage unit 8 receives the driver ID signal output from the driver authentication unit 6.
  • the map data storage unit 30 stores road information on a preset area.
  • the map data storage unit 30 stores road information in association with the driver authenticated by the driver authentication unit 6.
  • this is road information of a region in which the driver authenticated by the driver authentication unit 6 drives his / her vehicle on a daily basis.
  • Japan JPN: JAPAN
  • the taken image stored in the taken image database 32 may be updated, for example, by accessing a server or the like and changing with time. Further, when the other vehicle has the same configuration as that of the already-captured image database 32, data is transmitted and received during traveling by inter-vehicle communication performed between the host vehicle and the other vehicle, and the captured image database 32. The already-captured image stored in the image may be updated.
  • the already-captured image database 32 stores the stored already-captured images in association with the road information stored in the map data storage unit.
  • the processed image database 34 stores processed images generated in correspondence with the captured images stored in the captured image database 32.
  • the processed image stored in the processed image database 34 is a three-dimensional (3D) image will be described.
  • the superimposed region setting unit 10 refers to the normal image signal and sets a superimposed region that is a region having a lower clarity than a preset clarity threshold from the image captured by the normal image capturing unit 22. Then, the superimposed region setting unit 10 outputs an information signal including the set superimposed region (in the following description, sometimes described as “superposed region signal”) to the image superimposing unit 18.
  • the superimposed region setting unit 10 detects a low gradation region where the gradation is lower than a preset gradation threshold from the image captured by the normal image capturing unit 22, A case where the detected low gradation area is set as the overlapped area will be described.
  • the gradation threshold is set so that the low gradation area loses the gradation and the area in which the black image is generated by losing the gradation in the image captured by the normal image capturing unit 22.
  • the value is set to be a region where overexposure occurs. Therefore, in the present embodiment, the clarity threshold is set to a value in which a region where the clarity is lower than the clarity threshold is a region where blackout and overexposure occur in the image captured by the normal image capturing unit 22. Set.
  • the shielding area detection unit 12 receives an input of a normal image signal from the normal image capturing unit 22 and receives an input of an infrared image signal from the infrared image capturing unit 24.
  • the shielding area detection unit 12 refers to the normal image signal, and from the image captured by the normal image imaging unit 22, the road structure included in the road information stored in the map data storage unit 30 and the road included in the road information Detecting a shielding area in which a feature unique to the object is blocked by the shielding object.
  • the shielding area detection unit 12 outputs an information signal including the detected shielding area (may be described as a “shielding area signal” in the following description) to the superimposing image extraction unit 14.
  • the road structure included in the road information is, for example, road curvature (curvature of curved road), boundary between roadway and sidewalk, intersection, branch, merge, road bank, road surface unevenness, and the like.
  • the features unique to the road included in the road information are, for example, lane boundaries, traffic lights, road signs, road markings, lane markers (road surface markers), and the like.
  • the superimposition image extraction unit 14 receives an input of the occlusion area signal and extracts an occlusion target object image from the image stored in the superimposition image information storage unit 8.
  • the shielding target object image is an image of a road structure and a feature unique to the road that are blocked by the shielding object in the shielding area detected by the shielding area detection unit 12.
  • the superimposing image extraction unit 14 sends an information signal including the extracted shielding object image (in the following description, may be referred to as “shielding object image signal”) to the superimposition image coloring processing unit 16. Output.
  • the configuration of the superimposing image extraction unit 14 may be configured to detect, for example, the position of a shift lever (selector) included in the host vehicle and switch the superimposing image to be extracted according to the detected position.
  • a shift lever switch the superimposing image to be extracted according to the detected position.
  • the selected position is a forward direction (“D” range or the like in an AT (Automatic Transmission) vehicle
  • a captured image corresponding to a situation in which the front of the host vehicle is viewed from the passenger compartment is superimposed. Extract as an image.
  • the selected position is the backward direction (“R” range for AT vehicles)
  • R backward direction
  • a captured image corresponding to a situation in which the rear of the host vehicle is viewed from the passenger compartment is extracted as a superimposition image.
  • the superimposition image coloring processing unit 16 receives input of the information signal output from the normal image capturing unit 22, the infrared image capturing unit 24, and the superimposing image extraction unit 14. In addition to this, the superimposition image coloring processing unit 16 acquires the road information stored in the map data storage unit 30 according to the processing to be performed.
  • the superimposing image coloring processing unit 16 refers to the outline of the infrared image captured by the infrared image capturing unit 24 and the color displayed in the image captured by the normal image capturing unit 22, and performs the superimposing image extracting unit.
  • the superimposition image extracted by 14 is colored.
  • the color that is referred to for coloring the image formed by the outline of the infrared image may refer to the color displayed in the image captured by the normal image capturing unit 22 in real time. Further, as the color to be referred to for coloring the image formed by the outline of the infrared image, the color displayed in the already-captured image stored in the already-captured image database 32 may be referred to. Further, the color displayed in the image captured in real time and the color displayed in the already-captured image may be referred to together.
  • the superimposing image coloring processing unit 16 outputs an information signal including a colored superimposing image (in the following description, may be described as “colored superimposing image signal”) to the image superimposing unit 18.
  • the image superimposing unit 18 receives information signals output from the normal image capturing unit 22, the infrared image capturing unit 24, the superimposed region setting unit 10, the shielding region detecting unit 12, and the superimposing image coloring processing unit 16. receive.
  • the image superimposing unit 18 generates an already superimposed image.
  • An information signal including the generated already superimposed image (in the following description, may be described as “already superimposed image signal”) is output to the image display unit 20.
  • the already-superimposed image corresponds to the superimposed region set by the superimposed region setting unit 10 in the superimposing image extracted by the superimposing image extracting unit 14 with respect to the image captured by the normal image capturing unit 22. It is the image which superimposed the image of the area
  • the image superimposition part 18 performs the following processes, when the feature (refer above) on a road exists in the to-be-superimposed area
  • An image generation process hereinafter, referred to as “feature image occupation display process” in some cases is performed.
  • the image superimposing unit 18 also has a road structure in the image captured by the normal image capturing unit 22 when the road structure (see above) exists in the superimposed region set by the superimposed region setting unit 10.
  • the following processing is performed on the area.
  • a process of adjusting the degree of superimposition of the superimposition image extracted by the superimposition image extraction unit 14 with respect to the image captured by the normal image capturing unit 22 (hereinafter, may be referred to as “brightness / darkness degree adjustment display process”).
  • the degree of superimposition of the superimposition image extracted by the superimposition image extraction unit 14 is adjusted so that the degree is proportional to the degree of lightness and darkness of the image captured by the normal image capturing unit 22. Generate the process.
  • the degree of contrast is such that the degree of superimposition on the image captured by the normal image capturing unit 22 increases from the lower side to the upper side on the moving image screen displayed by the image display unit 20.
  • adjustment display processing is performed.
  • FIG. 2 is a diagram illustrating an example of a state in which the degree of superimposition is set on the moving image screen displayed by the image display unit 20.
  • the degree of superimposition of the image for superimposition is changed according to the distance from the own vehicle, and the already-superimposed image SP in which the degree of superimposition of the image for superimposition is increased at a position farther from the own vehicle is generated.
  • the image superimposing unit 18 also includes other images captured by the normal image capturing unit 22 when there is another vehicle in which the movement of the host vehicle is predicted in the image captured by the normal image capturing unit 22. In the area where the vehicle exists, the following processing is performed. In this case, a process of generating an already superimposed image (hereinafter referred to as “for other vehicle area”) such that the degree of superposition with respect to the image captured by the normal image capturing unit 22 is less than the degree of superposition in an area other than the area where the other vehicle exists. Process ”).
  • the image superimposing unit 18 performs the following process when the shielding region is detected with reference to the shielding region signal received from the shielding region detection unit 12.
  • a process of generating an already superimposed image by superimposing the shielded object image extracted by the superimposing image extracting unit 14 on the image captured by the normal image capturing unit 22 while superimposing the shielded object image on the image. (Hereinafter, it may be described as “shielding region processing”).
  • shielding region processing In the processing for the shielding area, for example, when the feature included in the shielding area is a traffic signal, if the lighting state of the traffic signal can be acquired by a method such as road-to-vehicle communication, an image of the traffic signal subjected to the transmission process is displayed. An image reflecting the current lighting state (the state of the color currently being lit) may be used.
  • the image display unit 20 based on the already-superimposed image signal received from the image superimposing unit 18, places a moving image formed from the already-superimposed image generated by the image superimposing unit 18 at a position where the driver of the host vehicle can visually recognize the moving image. indicate.
  • the configuration of the image display unit 20 is configured to display a moving image formed from an already superimposed image at a position where the driver can visually recognize in the passenger compartment of the host vehicle. Accordingly, in the present embodiment, the configuration of the image display unit 20 is configured such that a moving image formed from the already superimposed image can be projected on the front window of the host vehicle.
  • the configuration of the image display unit 20 is not limited to a configuration capable of projecting a moving image formed from an already superimposed image on the front window of the host vehicle. That is, for example, a moving image formed from an already superimposed image may be displayed on a head-up display (HUD: Head-Up Display) or a display included in a navigation device.
  • HUD Head-Up Display
  • the structure of the image display part 20 is not limited to the structure mounted in the own vehicle. That is, for example, a moving image formed from an already superimposed image may be displayed on a head mounted display (HMD) worn by the driver of the host vehicle. Further, when displaying the moving image formed from the already superimposed image generated by the image superimposing unit 18 in the image display unit 20, for example, the distortion of the moving image formed from the already superimposed image according to the degree of curvature of the front window. You may perform the process for carrying out the decrease correction
  • HMD head mounted display
  • the driver authentication unit 6 acquires ID information of the driver who drives the host vehicle, and outputs a driver ID signal to the superimposing image information storage unit 8.
  • the normal image capturing unit 22 captures an image around the host vehicle, and the normal image signal is transmitted to the superimposed region setting unit 10, the shielding region detecting unit 12, and the image superimposing unit 18.
  • the infrared image capturing unit 24 captures an infrared image around the host vehicle, and outputs an infrared image signal to the superimposed region setting unit 10, the shielding region detecting unit 12, and the image superimposing unit 18.
  • the host vehicle position detection unit 26 detects the position of the host vehicle and outputs a host vehicle position signal to the superimposing image extraction unit 14. Further, the host vehicle traveling direction detection unit 28 detects the traveling direction of the host vehicle and outputs a host vehicle traveling direction signal to the superimposing image extraction unit 14. Then, the superimposing image extraction unit 14 acquires image data corresponding to the position and traveling direction of the host vehicle from the superimposing image information storage unit 8 based on the host vehicle position signal and the host vehicle traveling direction signal.
  • the superimposed region setting unit 10 is an image as illustrated in FIG. 3, and the normal image capturing unit 22 captures an image of the periphery of the host vehicle (in the following description, “actual imaging”
  • the region to be superimposed is SE.
  • FIG. 3 is a diagram illustrating an example of an image captured by the normal image capturing unit 22 around the vehicle (front).
  • the superimposing image extracting unit 14 extracts a superimposing image
  • the image superimposing unit 18 generates an already superimposed image.
  • the moving image formed from the already superimposed image generated by the image superimposing unit 18 is displayed from the image display unit 20 at a position where the driver can visually recognize it, so that the driver can visually recognize it.
  • the driver of the host vehicle can visually recognize the lane boundary line that is not displayed in the actually captured image, and there is an unclear area in the captured image. Even if it exists, it becomes possible to visually recognize a lane boundary line. Moreover, it is possible to reduce the movement amount of the line of sight by the driver by displaying the moving image formed from the already superimposed image generated by the image superimposing unit 18 at a position where the driver of the own vehicle can visually recognize. At the same time, it is possible to make the already superimposed image visible.
  • a driver who watches the inside of the tunnel which is the driving route of the host vehicle, is outside the tunnel, which is darker than the inside of the tunnel. It may be difficult to visually recognize the obstacle.
  • a region in which blackout or overexposure occurs in the image captured by the normal image capturing unit 22 in a state where the tunnel exits from the inside of the tunnel is supplemented by the superimposition image. It can be made visible. For this reason, it is possible to artificially improve the dynamic range in which the normal image capturing unit 22 captures an image.
  • a vehicle display program is executed that causes a computer to execute the following steps.
  • each step to be executed by the computer includes a map data storage step for storing road information of a preset region, and a superposition for storing the captured image and the processed image in association with the road information stored in the map data storage step.
  • An image information storage step Furthermore, based on the road area information stored in the superimposed area setting step for setting the superimposed area, the position and traveling direction of the own vehicle, and the road information stored in the map data storage step, from the image around the own vehicle captured by the normal image capturing unit. And a superimposing image extracting step of extracting the superimposing image.
  • An image display step for displaying is included.
  • the driving of the host vehicle is performed. It becomes easy for a person to grasp the shape of the road on which the vehicle travels.
  • the image superimposing unit 18 increases the degree of superimposition of the image for superimposition on the image captured by the normal image capturing unit 22 from the lower side to the upper side on the moving image screen displayed by the image display unit 20. As described above, an already superimposed image is generated. As a result, it is possible to reflect the irradiation characteristics of the headlight that illuminates below the horizontal plane in the forward direction of the host vehicle in the degree of superimposition of the superimposition image, and generate an already superimposed image that approximates the actual image. It becomes possible to do.
  • the already-superimposed image is generated so as to increase as it goes to.
  • the degree of superimposition of the image for superimposition is increased with respect to a position far from the own vehicle and where the light emitted by the headlight is attenuated. It becomes easy to grasp the shape and the like.
  • the map data storage unit 30 stores road information of a preset region in association with the driver authenticated by the driver authentication unit 6 that authenticates the driver of the host vehicle.
  • the road information stored in the map data storage unit 30 can be individually stored for each driver, and at least one of the captured image and the processed image can be individually set according to the driver. Is possible.
  • the superimposed region is set from the image captured by the normal image capturing unit in the superimposed region setting step.
  • a superimposing image that is an image in a range corresponding to an image captured by the normal image capturing unit is extracted from the images stored in the superimposing image information storage step.
  • An already superimposed image that is an image in which is superimposed is generated.
  • the moving image formed from the already superimposed image generated in the image superimposing step is displayed at a position where the driver of the host vehicle can visually recognize.
  • the configuration of the superimposition image coloring processing unit 16 is referred to by referring to the outline of the infrared image and the color displayed in the image captured by the normal image capturing unit 22.
  • the image for superimposition 14 extracted is colored, it is not limited to this. That is, the configuration of the superimposing image coloring processing unit 16 is configured to color the superimposing image extracted by the superimposing image extracting unit 14 with reference to the color displayed in the image captured by the normal image capturing unit 22. Also good. In this case, the cost can be reduced as a configuration not including the infrared image capturing unit 24. In addition, it is possible to reduce the processing steps performed by the superimposing image coloring processing unit 16.
  • the configuration of the vehicle display device 1 is configured to include the driver authentication unit 6, but is not limited thereto, and may be configured to not include the driver authentication unit 6.
  • an already superimposed image is generated by superimposing an image of a region corresponding to a superimposed region on an image captured by the normal image capturing unit 22, that is, a color image captured around the host vehicle.
  • the present invention is not limited to this. That is, for example, an already superimposed image may be generated by superimposing an image of a region corresponding to a superimposed region on an infrared image around the host vehicle captured by the infrared image capturing unit 24.
  • the configuration of the image superimposing unit 18 is set such that the region corresponding to the superimposed region in the superimposing image extracted by the superimposing image extracting unit 14 with respect to the image captured by the normal image capturing unit 22.
  • the configuration is such that an already superimposed image, which is an image in which images are superimposed, is generated.
  • the configuration of the image superimposing unit 18 is not limited to this. That is, the configuration of the image superimposing unit 18 is changed from the superimposing region that is an image in a range corresponding to the normal image captured by the normal image capturing unit 22 among the images stored in the superimposing image information storage unit 8. The part is extracted.
  • the configuration of the image superimposing unit 18 may be configured to generate an already superimposed image that is an image obtained by superimposing a superimposing region extracted from the superimposing image on an unclear region of the normal image.
  • the superimposed region portion is a region corresponding to an obscured region that is a region having a lower clarity than a preset clarity threshold in a normal image captured by the normal image capturing unit 22.
  • the configuration of the superimposing image information storage unit 8 is a road position that is a position set in advance on the road, an image that is captured in advance at the road position, Are stored in association with each other.
  • the configuration of the normal image capturing unit 22 is configured to capture a normal image that is an image of the traveling direction of the host vehicle detected by the traveling direction detection unit 28 of the host vehicle.
  • the configuration of the image display unit 20 is configured to display the already superimposed image generated by the image superimposing unit 18 at a position where the driver of the host vehicle can visually recognize.
  • the superimposition region portion is displayed as a normal image even in a situation where an unclear region exists in the captured image of the vehicle surroundings, such as at night or in dense fog. It is possible to display the already superimposed image superimposed on the unclear area at a position where the driver can visually recognize it. As a result, it is possible to cope with situations where an unclear area exists in the captured image, and the driver of the own vehicle can change the shape of the road on which the own vehicle travels even in situations such as nighttime or heavy fog. Etc. can be easily grasped.
  • SYMBOLS 1 Display apparatus for vehicles 2 Imaging block 4 Self-position recognition block 6 Driver authentication part 8 Superimposition image information memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

 自車両周囲に対応する範囲を予め撮像した既撮画像及び既撮画像に対応させて生成した加工画像を、記憶している予め設定した地域の道路情報と関連付けて記憶し、自車両周囲を撮像した画像から、予め設定した明瞭度閾値よりも明瞭度が低い領域である被重畳領域を設定し、記憶している画像のうち、撮像した画像に対応する範囲の画像である重畳用画像を抽出し、撮像した画像に対し、抽出した重畳用画像のうち被重畳領域に対応する領域の画像を重畳した画像である既重畳画像を生成し、この生成した既重畳画像から形成した動画像を、運転者が視認可能な位置に表示する。

Description

車両用表示装置、車両用表示方法及び車両用表示プログラム
 本発明は、撮像した車両周囲の画像を加工して車両の乗員へ提供する車両用表示装置、車両用表示方法及び車両用表示プログラムに関する。
 車両に設置したカメラにより撮像した車両周囲の画像を加工して、車両の乗員へ提供する技術としては、例えば、特許文献1に記載されている技術がある。
 特許文献1に記載されている技術では、第一撮像部を、撮像した画像が横長となるように設置し、第二撮像部を、撮像した画像が縦長となるように設置する。そして、第二撮像部が撮像した画像から路面上に存在する特徴点を抽出し、この抽出した特徴点の追跡が容易となるように、車両の進行方向に対する撮像軸の傾斜角度を、車速に応じて変化させる。
特開2007‐300181号公報
 しかしながら、特許文献1に記載されている技術では、撮像した画像に不明瞭な領域が発生する条件、例えば、車両周囲の画像を、日照等の気象条件や、カメラのコントラストが不適切となっている条件に応じて加工する構成ではない。このため、夜間や濃霧時等、撮像した車両周囲の画像に不明瞭な領域が存在する状況に対応することが困難であるという問題が発生するおそれがある。
 本発明は、上記のような問題点に着目してなされたもので、撮像した画像に不明瞭な領域が存在する状況に対応することが可能な、車両用表示装置、車両用表示方法及び車両用表示プログラムを提供することを目的とする。
 上記課題を解決するために、本発明の一態様は、自車両周囲に対応する範囲を予め撮像した既撮画像及び既撮画像に対応させて生成した加工画像のうち少なくとも一方を、前記記憶している予め設定した地域の道路情報と関連付けて記憶する。これに加え、自車両周囲を撮像した画像から、予め設定した明瞭度閾値よりも明瞭度が低い領域である被重畳領域を設定し、記憶している画像のうち、撮像した画像に対応する範囲の画像である重畳用画像を抽出する。さらに、撮像した画像に対し、抽出した重畳用画像のうち被重畳領域に対応する領域の画像を重畳した画像である既重畳画像を生成し、この生成した既重畳画像から形成した動画像を、自車両の運転者が視認可能な位置に表示する。なお、重畳用画像の抽出は、検出した自車両の位置及び進行方向と、記憶している道路情報に基づいて行なう。
 本発明の一態様によれば、自車両周囲を撮像した画像から、予め設定した明瞭度閾値よりも明瞭度が低い領域である被重畳領域を設定し、この設定した被重畳領域に、被重畳領域に対応する領域の画像を重畳して既重畳画像を生成する。そして、既重畳画像から形成した動画像を、自車両の運転者が視認可能な位置に表示する。
 このため、夜間や濃霧時等、撮像した自車両周囲の画像に不明瞭な領域が存在する状況であっても、自車両周囲に対応する範囲の既撮画像及び加工画像のうち少なくとも一方を示す既重畳画像から形成した動画像を、自車両の運転者が視認可能な位置に表示する。これにより、撮像した画像に不明瞭な領域が存在する状況に対応することが可能となる。
本発明の第一実施形態の車両用表示装置の概略構成を示すブロック図である。 画像表示部が表示した動画像の画面において、重畳度合いを設定した状態の一例を示す図である。 通常画像撮像部が自車両周囲を撮像した画像の一例を示す図である。 地物画像占有表示処理を行った画像の一例を示す図である。
 以下、本発明の実施形態について図面を参照しつつ説明する。
(第一実施形態)
 以下、本発明の第一実施形態(以下、本実施形態と記載する)について、図面を参照しつつ説明する。
(構成)
 図1は、本実施形態の車両用表示装置1の概略構成を示すブロック図である。
 図1中に示すように、車両用表示装置1は、撮像ブロック2と、自己位置認識ブロック4と、ドライバ認証部6と、重畳用画像情報記憶部8と、被重畳領域設定部10と、遮蔽領域検出部12を備える。これに加え、車両用表示装置1は、重畳用画像抽出部14と、重畳用画像着色加工部16と、画像重畳部18と、画像表示部20を備える。
 撮像ブロック2は、通常画像撮像部22と、赤外線画像撮像部24を備える。
 通常画像撮像部22は、例えば、カラー画像を撮像可能であり、自車両(図示せず)の車室内に取り付けたCCD(Charge-Coupled Device)カメラを用いて形成する。また、通常画像撮像部22は、その撮像方向を、自車両の周囲に向けてあり、自車両周囲の画像(自車両を中心とした周囲に対して車外の画像)を撮像する。
 本実施形態では、通常画像撮像部22が撮像する画像を、自車両周囲のカラー画像とする。すなわち、通常画像撮像部22は、自車両周囲のカラー画像を撮像する。
 さらに、通常画像撮像部22は、自車両周囲の画像を撮像し、この撮像した画像を含む情報信号(以降の説明では、「通常画像信号」と記載する場合がある)を、被重畳領域設定部10と、遮蔽領域検出部12と、画像重畳部18へ出力する。
 赤外線画像撮像部24は、例えば、赤外線(IR:infrared)カメラを用いて形成し、通常画像撮像部22と同様、自車両の車室内に取り付ける。また、赤外線画像撮像部24は、通常画像撮像部22と同様、その撮像方向を、自車両の周囲に向けてあり、自車両周囲の赤外線画像を撮像する。
 さらに、赤外線画像撮像部24は、自車両周囲の赤外線画像を撮像し、この撮像した画像を含む情報信号(以降の説明では、「赤外線画像信号」と記載する場合がある)を、被重畳領域設定部10と、遮蔽領域検出部12と、画像重畳部18へ出力する。
 自己位置認識ブロック4は、自車両位置検出部26と、自車両進行方向検出部28を備える。
 自車両位置検出部26は、例えば、GPS(Global Positioning System)受信機を用いて形成する。なお、GPS受信機は、例えば、GPS衛星が送信する電波に基づいて、自車両の位置(現在の位置)を示す座標を検出する。
 また、自車両位置検出部26は、検出した自車両の位置を含む情報信号(以降の説明では、「自車両位置信号」と記載する場合がある)を、重畳用画像抽出部14へ出力する。
 自車両進行方向検出部28は、例えば、電子コンパス等を用いて形成し、自車両の進行方向(例えば、磁北を基準として、自車両の前方が向いている方向)を検出する。なお、自車両進行方向検出部28としては、例えば、ジャイロセンサを併用して、水平面に対する自車両の傾斜を検出してもよい。この場合、自車両の進行方向に加え、水平面に対する自車両の仰角または俯角を検出する。
 また、自車両進行方向検出部28は、検出した自車両の進行方向を含む情報信号(以降の説明では、「自車両進行方向信号」と記載する場合がある)を、重畳用画像抽出部14へ出力する。
 ドライバ認証部6は、例えば、運転免許証が内蔵するIC(Integrated Circuit)チップが記憶している運転者のID情報を読み取り可能なICリーダを用いて形成する。この場合、例えば、自車両の構成を、ICリーダとエンジンのイグニッションスイッチを連動させ、ICリーダにより運転者のID情報を読み取ることにより、エンジンを始動可能な構成とする。
 そして、ドライバ認証部6は、ICリーダにより読み取った運転者のID情報を含む情報信号(以降の説明では、「運転者ID信号」と記載する場合がある)を、重畳用画像情報記憶部8へ出力する。すなわち、ドライバ認証部6は、自車両の運転者を認証し、認証した運転者に固有の情報を、重畳用画像情報記憶部8へ出力する。
 なお、ドライバ認証部6の構成は、ICリーダを備える構成に限定するものではない。すなわち、例えば、自車両の構成が、運転席のシートポジションを、運転者毎に固有の位置へ変更可能である構成であれば、運転者に固有のシートポジションを検出して、運転者を特定してもよい。
 また、例えば、自車両の構成を、パスワードを入力する入力端末とイグニッションスイッチを連動させ、入力端末により運転者に固有のパスワードを入力してエンジンを始動可能な構成とした場合、入力されたパスワードを用いて、運転者を特定してもよい。この場合、パスワードの入力端末に代えて、運転者の指紋を検出可能なセンサを用いてもよい。
 重畳用画像情報記憶部8は、地図データ記憶部30と、既撮画像データベース32と、加工画像データベース34を備える。また、重畳用画像情報記憶部8は、ドライバ認証部6が出力した運転者ID信号の入力を受ける。
 地図データ記憶部30は、予め設定した地域の道路情報を記憶している。
 なお、本実施形態では、一例として、地図データ記憶部30が、ドライバ認証部6が認証した運転者と個別に関連付けて、道路情報を記憶する場合を説明する。これは、具体的には、ドライバ認証部6が認証した運転者が日常的に自車両を走行させる地域の道路情報であり、例えば、日本(JPN:JAPAN)国内であれば、選択した都道府県(エリア)の道路情報とする。
 既撮画像データベース32は、自車両周囲に対応する範囲を予め撮像した既撮画像を蓄積する。なお、既撮画像データベース32に蓄積している既撮画像は、通常画像撮像部22で撮像した画像と同様の、通常の画像(カラー画像)である。また、既撮画像データベース32に蓄積している既撮画像は、車両に搭載したカメラで撮像した画像としてもよく、また、例えば、徒歩時に撮像した画像でもよい。
 また、既撮画像データベース32に蓄積している既撮画像は、例えば、サーバ等にアクセスして、経時的な変化等を更新してもよい。さらに、他車両が既撮画像データベース32と同様の構成を車載している場合は、自車両と他車両との間で行なう車車間通信により、走行時にデータを送受信して、既撮画像データベース32に蓄積している既撮画像を更新してもよい。
 また、既撮画像データベース32は、蓄積している既撮画像を、地図データ記憶部が記憶している道路情報と関連付けて記憶する。
 加工画像データベース34は、既撮画像データベース32に蓄積している既撮画像に対応させて生成した加工画像を蓄積する。本実施形態では、一例として、加工画像データベース34に蓄積している加工画像を、三次元(3D)画像とした場合を説明する。
 また、加工画像データベース34に蓄積している加工画像は、例えば、サーバ等にアクセスして、経時的な変化等を更新してもよい。さらに、他車両が加工画像データベース34と同様の構成を車載している場合は、自車両と他車両との間で行なう車車間通信により、走行時にデータを送受信して、加工画像データベース34に蓄積している加工画像を更新してもよい。
 また、加工画像データベース34は、蓄積している加工画像を、地図データ記憶部が記憶している道路情報と関連付けて記憶する。
 以上により、重畳用画像情報記憶部8は、既撮画像及び加工画像を、地図データ記憶部30が記憶している道路情報と関連付けて記憶する。
 被重畳領域設定部10は、通常画像撮像部22から通常画像信号の入力を受け、赤外線画像撮像部24から赤外線画像信号の入力を受ける。
 また、被重畳領域設定部10は、通常画像信号を参照し、通常画像撮像部22が撮像した画像から、予め設定した明瞭度閾値よりも明瞭度が低い領域である被重畳領域を設定する。
 そして、被重畳領域設定部10は、設定した被重畳領域を含む情報信号(以降の説明では、「被重畳領域信号」と記載する場合がある)を、画像重畳部18へ出力する。
 本実施形態では、一例として、被重畳領域設定部10が、通常画像撮像部22が撮像した画像から、予め設定した階調閾値よりも階調が低減している低階調領域を検出し、この検出した低階調領域を被重畳領域として設定する場合について説明する。
 ここで、本実施形態では、階調閾値を、低階調領域が、通常画像撮像部22が撮像した画像に、階調を失うことにより黒つぶれが発生している領域と、階調を失うことにより白とびが発生している領域となる値に設定する。したがって、本実施形態では、明瞭度閾値を、明瞭度閾値よりも明瞭度が低い領域が、通常画像撮像部22が撮像した画像に、黒つぶれ及び白とびが発生している領域となる値に設定する。
 遮蔽領域検出部12は、通常画像撮像部22から通常画像信号の入力を受け、赤外線画像撮像部24から赤外線画像信号の入力を受ける。
 また、遮蔽領域検出部12は、通常画像信号を参照し、通常画像撮像部22が撮像した画像から、地図データ記憶部30が記憶している道路情報が含む道路構造と、道路情報が含む道路に固有の地物が、遮蔽物で遮られている遮蔽領域を検出する。
 そして、遮蔽領域検出部12は、検出した遮蔽領域を含む情報信号(以降の説明では、「遮蔽領域信号」と記載する場合がある)を、重畳用画像抽出部14へ出力する。
 ここで、道路情報が含む道路構造とは、例えば、道路の曲率(湾曲路の曲率)、車道と歩道との境界、交差点、分岐、合流、路面のバンク、路面の凹凸等である。
 また、道路情報が含む道路に固有の地物とは、例えば、車線境界線、信号機、道路標識、道路標示、レーンマーカ(路面マーカ)等である。
 また、遮蔽物とは、例えば、自車両の前方を走行する他車両(先行車両)、道路の近傍に形成されている壁面、植え込み、道路の側方から延びて道路の上方に延材している木の枝等である。これに加え、遮蔽物には、例えば、霧(濃霧)、降雨、降雪等、気象条件に関連する要素を含んでもよい。
 重畳用画像抽出部14は、自己位置認識ブロック4から自車両位置信号の入力を受け、遮蔽領域検出部12から自車両進行方向信号の入力を受ける。これに加え、重畳用画像抽出部14は、実施する処理に応じて、地図データ記憶部30が記憶している道路情報を取得する。
 また、重畳用画像抽出部14は、自車両の位置、自車両の進行方向及び地図データ記憶部30が記憶している道路情報に基づき、重畳用画像を抽出する。
 ここで、重畳用画像とは、重畳用画像情報記憶部8が記憶している画像のうち、通常画像撮像部22が撮像した画像に対応する範囲の画像である。
 そして、重畳用画像抽出部14は、抽出した重畳用画像を含む情報信号(以降の説明では、「重畳用画像信号」と記載する場合がある)を、重畳用画像着色加工部16へ出力する。
 さらに、重畳用画像抽出部14は、遮蔽領域信号の入力を受け、重畳用画像情報記憶部8が記憶している画像から、遮蔽対象物画像を抽出する。
 ここで、遮蔽対象物画像とは、遮蔽領域検出部12が検出した遮蔽領域において遮蔽物で遮られている道路構造及び道路に固有の地物の画像である。
 そして、重畳用画像抽出部14は、抽出した遮蔽対象物画像を含む情報信号(以降の説明では、「遮蔽対象物画像信号」と記載する場合がある)を、重畳用画像着色加工部16へ出力する。
 なお、重畳用画像抽出部14の構成を、例えば、自車両が備えるシフトレバー(セレクター)のポジションを検出し、検出したポジションに応じて、抽出する重畳用画像を切り替える構成としてもよい。この場合、例えば、選択されているポジションが前進方向(AT[Automatic Transmission]車両では「D」レンジ等)である場合は、車室内から自車両前方を見た状況に対応する撮像した画像を重畳用画像として抽出する。また、選択されているポジションが後退方向(AT車両では「R」レンジ)である場合は、車室内から自車両後方を見た状況に対応する撮像した画像を重畳用画像として抽出する。
 重畳用画像着色加工部16は、通常画像撮像部22と、赤外線画像撮像部24と、重畳用画像抽出部14が出力した情報信号の入力を受ける。これに加え、重畳用画像着色加工部16は、実施する処理に応じて、地図データ記憶部30が記憶している道路情報を取得する。
 また、重畳用画像着色加工部16は、赤外線画像撮像部24が撮像した赤外線画像の輪郭線及び通常画像撮像部22が撮像した画像に表示されている色を参照して、重畳用画像抽出部14が抽出した重畳用画像を着色する。これは、赤外線画像の輪郭線を用いて形成した画像であり、輪郭線で囲まれた複数の領域を有する加工画像に対し、通常画像撮像部22が撮像した画像に表示されている色を、複数の領域に着色して、画像を生成する加工である。
 なお、赤外線画像の輪郭線で形成した画像に対して着色するために参照する色は、通常画像撮像部22がリアルタイムに撮像した画像に表示されている色を参照してもよい。また、赤外線画像の輪郭線で形成した画像に対して着色するために参照する色は、既撮画像データベース32に蓄積している既撮画像に表示されている色を参照してもよい。さらに、リアルタイムに撮像した画像に表示されている色と、既撮画像に表示されている色を併用して参照してもよい。
 そして、重畳用画像着色加工部16は、着色した重畳用画像を含む情報信号(以降の説明では、「既着色重畳用画像信号」と記載する場合がある)を、画像重畳部18へ出力する。
 画像重畳部18は、通常画像撮像部22と、赤外線画像撮像部24と、被重畳領域設定部10と、遮蔽領域検出部12と、重畳用画像着色加工部16が出力した情報信号の入力を受ける。
 また、画像重畳部18は、既重畳画像を生成する。生成した既重畳画像を含む情報信号(以降の説明では、「既重畳画像信号」と記載する場合がある)を、画像表示部20へ出力する。
 ここで、既重畳画像とは、通常画像撮像部22が撮像した画像に対し、重畳用画像抽出部14が抽出した重畳用画像のうち、被重畳領域設定部10が設定した被重畳領域に対応する領域の画像を重畳した画像である。
 また、画像重畳部18は、被重畳領域設定部10が設定した被重畳領域に、道路に固有の地物(上記を参照)が存在する場合は、以下の処理を行う。
 この場合、通常画像撮像部22が撮像した画像のうち地物が存在する領域に、重畳用画像抽出部14が抽出した重畳用画像のうち地物を表す画像のみが存在するように、既重畳画像を生成する処理(以下、「地物画像占有表示処理」と記載する場合がある)を行う。
 また、画像重畳部18は、被重畳領域設定部10が設定した被重畳領域に道路構造(上記を参照)が存在する場合は、通常画像撮像部22が撮像した画像のうち道路構造が存在する領域に対し、以下の処理を行う。
 この場合、通常画像撮像部22が撮像した画像に対する重畳用画像抽出部14が抽出した重畳用画像の重畳度合いを調整する処理(以下、「明暗度合い調整表示処理」と記載する場合がある)を行う。具体的には、通常画像撮像部22が撮像した画像の明暗度合いに比例した度合いとなるように、重畳用画像抽出部14が抽出した重畳用画像の重畳度合いを調整して、既重畳画像を生成する処理を行う。
 本実施形態では、一例として、通常画像撮像部22が撮像した画像に対する重畳度合いが、画像表示部20が表示した動画像の画面で下方から上方へ向かうにつれて増加する度合いとなるように、明暗度合い調整表示処理を行う場合を説明する。
 これは、例えば、図2中に示すように、画像表示部20が表示した動画像の画面において、既重畳画像SPの最下端における重畳度合いを0[%]と設定し、既重畳画像SPの最上端における重畳度合いを100[%]と設定する処理である。また、既重畳画像SPの最下端から最上端の間の領域では、重畳度合いを段階的に増加させる。なお、図2は、画像表示部20が表示した動画像の画面において、重畳度合いを設定した状態の一例を示す図である。
 なお、明暗度合い調整表示処理では、例えば、自車両が備えるヘッドライトの照射角度が、通常の向き(ロービーム)である場合と、上向き(ハイビーム)である場合に対し、それぞれ、重畳用画像の重畳度合いを変化させてもよい。
 また、画像重畳部18は、明暗度合い調整表示処理を行う際に、重畳用画像の重畳度合いが、既重畳画像SP上において通常画像撮像部22に近い位置を示す領域から遠い位置を示す領域へ向かうにつれて増加する度合いとなるように、既重畳画像を生成する。これにより、既重畳画像SP上において、自車両からの距離に応じて重畳用画像の重畳度合いを変化させ、自車両から遠い位置ほど重畳用画像の重畳度合いを高くした既重畳画像SPを生成する。
 また、画像重畳部18は、通常画像撮像部22が撮像した画像に自車両の進路上への移動が予測される他車両が存在する場合は、通常画像撮像部22が撮像した画像のうち他車両が存在する領域において、以下の処理を行う。
 この場合、通常画像撮像部22が撮像した画像に対する重畳度合いが、他車両が存在する領域以外の領域における重畳度合い未満となるように、既重畳画像を生成する処理(以下、「他車両領域用処理」と記載する場合がある)を行う。
 ここで、通常画像撮像部22が撮像した画像に自車両の進路上への移動が予測される他車両とは、例えば、自車両と同じ走行車線を走行している先行車両や、右折する対向車である。さらに、例えば、自車両が走行している走行車線と交差する道路を走行している交差車両や、自車両が走行している走行車線(本線)に合流する道路(側道)を走行し、自車両の前方に合流しようとして(割り込みしようとして)走行する車両である。
 また、画像重畳部18は、遮蔽領域検出部12から入力を受けた遮蔽領域信号を参照し、遮蔽領域を検出している場合、以下の処理を行う。
 この場合、通常画像撮像部22が撮像した画像に対し、重畳用画像抽出部14が抽出した遮蔽対象物画像を透過処理した状態で、上記の遮蔽領域に重畳して既重畳画像を生成する処理(以下、「遮蔽領域用処理」と記載する場合がある)を行う。なお、遮蔽領域用処理では、例えば、遮蔽領域に含まれている地物が信号機である場合、路車間通信等の手法により信号機の点灯状態を取得可能であれば、透過処理した信号機の画像を、現在の点灯状態(現在灯火中の色の状態)を反映した画像としてもよい。
 画像表示部20は、画像重畳部18から入力を受けた既重畳画像信号に基づき、画像重畳部18が生成した既重畳画像から形成した動画像を、自車両の運転者が視認可能な位置に表示する。
 なお、本実施形態では、画像表示部20の構成を、一例として、自車両の車室内において運転者が視認可能な位置に、既重畳画像から形成した動画像を表示する構成とする。これに伴い、本実施形態では、画像表示部20の構成を、自車両のフロントウインドウに、既重畳画像から形成した動画像を映写可能な構成とする。
 なお、画像表示部20の構成は、自車両のフロントウインドウに、既重畳画像から形成した動画像を映写可能な構成に限定するものではない。すなわち、例えば、既重畳画像から形成した動画像を、ヘッドアップディスプレイ(HUD:Head‐Up Display)や、ナビゲーション装置が備えるディスプレイに表示する構成としてもよい。
 また、画像表示部20の構成は、自車両に搭載した構成に限定するものではない。すなわち、例えば、自車両の運転者が装着するヘッドマウントディスプレイ(HMD:Head Mounted Display)に、既重畳画像から形成した動画像を表示する構成としてもよい。
 また、画像表示部20では、画像重畳部18が生成した既重畳画像から形成した動画像を表示する際に、例えば、フロントウインドウが有する湾曲度合いに応じ、既重畳画像から形成した動画像の歪曲度合いを減少補正するための処理を行ってもよい。
(動作)
 次に、図1及び図2を参照しつつ、図3及び図4を用いて、本実施形態の車両用表示装置1を用いて行なう動作の一例を説明する。
 自車両の走行時には、まず、ドライバ認証部6により、自車両を運転する運転者のID情報を取得し、重畳用画像情報記憶部8へ運転者ID信号を出力する。
 そして、自車両の走行中には、通常画像撮像部22が自車両周囲の画像を撮像し、通常画像信号を、被重畳領域設定部10と、遮蔽領域検出部12と、画像重畳部18へ出力する。また、赤外線画像撮像部24が自車両周囲の赤外線画像を撮像し、赤外線画像信号を、被重畳領域設定部10と、遮蔽領域検出部12と、画像重畳部18へ出力する。
 これに加え、自車両の走行中には、自車両位置検出部26が自車両の位置を検出し、自車両位置信号を、重畳用画像抽出部14へ出力する。また、自車両進行方向検出部28が自車両の進行方向を検出し、自車両進行方向信号を重畳用画像抽出部14へ出力する。
 そして、重畳用画像抽出部14が、自車両位置信号及び自車両進行方向信号に基づき、自車両の位置及び進行方向に応じた画像データを、重畳用画像情報記憶部8から取得する。
 また、被重畳領域設定部10が、通常画像信号に基づき、例えば、図3に示すような画像であり、通常画像撮像部22が自車両周囲を撮像した画像(以降の説明では、「実撮像画像RP」と記載する場合がある)から、被重畳領域SEを設定する。なお、図3は、通常画像撮像部22が自車両周囲(前方)を撮像した画像の一例を示す図である。
 被重畳領域設定部10が被重畳領域SEを設定すると、重畳用画像抽出部14が重畳用画像を抽出し、画像重畳部18が、既重畳画像を生成する。そして、画像重畳部18が生成した既重畳画像から形成した動画像を、画像表示部20から、運転者が視認可能な位置に表示して、運転者が視認可能な状態とする。
 ここで、本実施形態では、被重畳領域設定部10が設定した被重畳領域に、道路に固有の地物が存在する場合に、画像重畳部18が、上述した地物画像占有表示処理を行う。
 すなわち、図3中に円Cで囲んだ範囲内の被重畳領域SEに、道路に固有の地物として車線境界線が存在する場合、通常画像撮像部22が撮像した画像のうち車線境界線が存在する領域に、車線境界線を表す画像のみが存在するように地物画像占有表示処理を行う。
 これにより、図4中に示すように、地物画像占有表示処理を行った画像では、地物画像占有表示処理を行う前には表示されていなかった車線境界線が、車線境界線を表す画像により表示されることとなる。なお、図4は、地物画像占有表示処理を行った画像の一例を示す図である。また、図4中では、車線境界線を表す画像を、符合「BL」を付して示す。
 このため、本実施形態では、自車両の運転者が、実際に撮像した画像には表示されていない車線境界線を視認することが可能となり、撮像した画像に不明瞭な領域が存在する状況であっても、車線境界線を視認することが可能となる。
 また、画像重畳部18が生成した既重畳画像から形成した動画像を、自車両の運転者が視認可能な位置に表示することにより、運転者による視線の移動量を低減させることが可能であるとともに、既重畳画像を視認可能な状態とすることが可能となる。
 また、例えば、従来の技術では、夜間の走行中にトンネルへ進入する際に、自車両の走行進路である内部が明るいトンネル内部を注視した運転者は、トンネル内部よりも暗いトンネル外部に存在する障害物を視認することが困難となるおそれがある。
 これに対し、本実施形態では、トンネル内部からトンネル外部へ出た状態において、通常画像撮像部22が撮像した画像に黒つぶれや白とびが発生している領域を、重畳用画像により補足して視認可能とすることが可能となる。このため、通常画像撮像部22が画像を撮像するダイナミックレンジを、擬似的に向上させることが可能となる。
 なお、上述したように、本実施形態の車両用表示装置1の動作で実施する車両用走行支援方法では、既撮画像及び加工画像を道路情報と関連付けて記憶し、この記憶している画像のうち、自車両周囲を撮像した画像に対応する範囲の画像である重畳用画像を抽出する。そして、自車両周囲を撮像した画像に対し、抽出した重畳用画像のうち、自車両周囲を撮像した画像のうちから設定し、且つ予め設定した明瞭度閾値よりも明瞭度が低い領域である被重畳領域に対応する領域の画像を重畳した画像である既重畳画像を生成する。さらに、生成した既重畳画像から形成した動画像を、運転者が視認可能な位置に表示する。
 また、上述したように、本実施形態では、コンピュータに以下の各ステップを実行させる車両用表示プログラムを実施する。ここで、コンピュータに実行させる各ステップは、予め設定した地域の道路情報を記憶する地図データ記憶ステップと、既撮画像及び加工画像を、地図データ記憶ステップで記憶した道路情報と関連付けて記憶する重畳用画像情報記憶ステップを含む。さらに、通常画像撮像部が撮像した自車両周囲の画像から、被重畳領域を設定する被重畳領域設定ステップと、自車両の位置及び進行方向と、地図データ記憶ステップで記憶した道路情報に基づき、重畳用画像を抽出する重畳用画像抽出ステップを含む。これに加え、通常画像撮像部で撮像した画像に対して既重畳画像を生成する画像重畳ステップと、画像重畳ステップで生成した既重畳画像から形成した動画像を前記運転者が視認可能な位置に表示する画像表示ステップを含む。
(第一実施形態の効果)
 本実施形態の車両用表示装置1であれば、以下に記載する効果を奏することが可能となる。
(1)重畳用画像情報記憶部8が、既撮画像及び加工画像を、地図データ記憶部30が記憶している道路情報と関連付けて記憶し、被重畳領域設定部10が、自車両周囲を撮像した画像から被重畳領域を設定する。これに加え、重畳用画像抽出部14が重畳用画像を抽出する。さらに、画像重畳部18が、通常画像撮像部22が撮像した画像に対し、重畳用画像抽出部14が抽出した重畳用画像のうち被重畳領域に対応する領域の画像を重畳した画像である既重畳画像から形成した動画像を、運転者が視認可能な位置に表示する。
 このため、夜間や濃霧時等、撮像した自車両周囲の画像に不明瞭な領域が存在する状況であっても、自車両周囲に対応する範囲の既撮画像及び加工画像のうち少なくとも一方を示す既重畳画像から形成した動画像を、運転者が視認可能な位置に表示する。
 その結果、撮像した画像に不明瞭な領域が存在する状況に対応することが可能となり、夜間や濃霧時等の状況であっても、自車両の運転者が、自車両が走行する道路の形状等を把握することが容易となる。
 また、例えば、夜間の走行中において、自車両が備えるヘッドライトが故障した場合等、通常画像撮像部22が撮像した画像全体が不明瞭な領域となった場合であっても、自車両の運転者が、自車両が走行する道路の形状等を把握することが容易となる。
(2)被重畳領域設定部10が、通常画像撮像部22が撮像した画像から、予め設定した階調閾値よりも階調が低減している低階調領域を検出し、この検出した低階調領域を被重畳領域として設定する。
 その結果、黒つぶれや白とび等、自車両が備えるヘッドライトにより夜間の走行時に発生する照度の濃淡の偏差を補正することが可能となり、自車両の運転者が、自車両が走行する道路の形状等を把握することが容易となる。
(3)画像重畳部18が、被重畳領域に道路に固有の地物が存在する場合、通常画像撮像部22が撮像した画像のうち地物が存在する領域に、重畳用画像抽出部14が抽出した重畳用画像のうち地物を表す画像のみが存在するように既重畳画像を生成する。
 その結果、自車両の運転者が、実際に撮像した画像には表示されていない地物を視認することが可能となり、撮像した画像に不明瞭な領域が存在する状況であっても、車線境界線等の地物を視認することが可能となる。
(4)画像重畳部18が、被重畳領域に道路構造が存在する場合、通常画像撮像部22が撮像した画像のうち道路構造が存在する領域では、重畳用画像の重畳度合いを、通常画像撮像部22が撮像した画像の明暗度合いに比例した度合いとする。
 その結果、被重畳領域に存在する道路構造の状態を、実際の状態に近似させた既重畳画像を生成することが可能となるため、現実の画像に近似させた既重畳画像を生成することが可能となる。
(5)画像重畳部18が、通常画像撮像部22が撮像した画像に対する重畳用画像の重畳度合いが、画像表示部20が表示した動画像の画面で下方から上方へ向かうにつれて増加する度合いとなるように、既重畳画像を生成する。
 その結果、自車両の前進方向に対し、水平面よりも下方を照らすヘッドライトの照射特性を、重畳用画像の重畳度合いに反映させることが可能となり、現実の画像に近似させた既重畳画像を生成することが可能となる。
(6)画像重畳部18が、通常画像撮像部22が撮像した画像に対する重畳用画像の重畳度合いが、既重畳画像SP上において通常画像撮像部22に近い位置を示す領域から遠い位置を示す領域へ向かうにつれて増加する度合いとなるように、既重畳画像を生成する。
 その結果、自車両から遠い位置であり、ヘッドライトが照射した光が減衰する位置に対し、重畳用画像の重畳度合いを増加させることとなり、自車両の運転者が、自車両が走行する道路の形状等を把握することが容易となる。
(7)画像重畳部18が、通常画像撮像部22が撮像した画像に自車両の進路上への移動が予測される他車両が存在する場合、重畳用画像の重畳度合いが、他車両が存在する領域以外の領域における重畳度合い未満となるように、既重畳画像を生成する。この処理は、通常画像撮像部22が撮像した画像のうち他車両が存在する領域に対して行なう。
 その結果、走行中の自車両と接触する可能性がある他車両の状態を、実際の状態として示す既重畳画像を生成することが可能となる。
(8)遮蔽領域検出部12が、通常画像撮像部22が撮像した画像から、地図データ記憶部30が記憶している道路情報が含む道路構造及び地物が遮蔽物で遮られている遮蔽領域を検出する。これに加え、重畳用画像抽出部14が、重畳用画像情報記憶部8が記憶している画像から遮蔽対象物画像を抽出し、画像重畳部18が、通常画像撮像部22が撮像した画像に対し、遮蔽対象物画像を透過処理した状態で遮蔽領域に重畳して、既重畳画像を生成する。
 その結果、遮蔽物により視認が不可能な道路構造や地物を、遮蔽物に透過処理して重畳した画像を、自車両の運転者に視認させることが可能となる。
(9)重畳用画像着色加工部16が、赤外線画像撮像部24が撮像した赤外線画像の輪郭線及び通常画像撮像部22が撮像した画像に表示されている色を参照して、重畳用画像抽出部14が抽出した重畳用画像を着色する。
 その結果、通常画像撮像部22が撮像した画像と比較して輪郭線を明確に検出可能な赤外線画像に基づく、輪郭線の明確な画像に対し、通常画像撮像部22が撮像した画像に表示されている色を参照して着色することが可能となる。これにより、再現性の高い重畳用画像を生成することが可能となる。
(10)地図データ記憶部30が、自車両の運転者を認証するドライバ認証部6が認証した運転者と個別に関連付けて、予め設定した地域の道路情報を記憶する。
 その結果、地図データ記憶部30に記憶する道路情報を、運転者毎に個別に記憶することが可能となり、既撮画像及び加工画像のうち少なくとも一方を、運転者に応じて個別に設定することが可能となる。
(11)本実施形態の車両用表示方法では、記憶している画像のうち自車両周囲を撮像した画像に対応する範囲の画像である重畳用画像を抽出する。さらに、自車両周囲を撮像した画像に対し、抽出した重畳用画像のうち、自車両周囲を撮像した画像のうちから設定し、且つ予め設定した明瞭度閾値よりも明瞭度が低い領域である被重畳領域に対応する領域の画像を重畳した画像である既重畳画像を生成する。これに加え、生成した既重畳画像から形成した動画像を、自車両の運転者が視認可能な位置に表示する。
 このため、夜間や濃霧時等、撮像した自車両周囲の画像に不明瞭な領域が存在する状況であっても、自車両周囲に対応する範囲の既撮画像及び加工画像のうち少なくとも一方を示す既重畳画像から形成した動画像を、運転者が視認可能な位置に表示する。
 その結果、撮像した画像に不明瞭な領域が存在する状況に対応することが可能となり、夜間や濃霧時等の状況であっても、自車両の運転者が、自車両が走行する道路の形状等を把握することが容易となる。
(12)本実施形態の車両用表示プログラムでは、被重畳領域設定ステップにおいて、通常画像撮像部が撮像した画像から被重畳領域を設定する。さらに、重畳用画像抽出ステップにおいて、重畳用画像情報記憶ステップで記憶した画像のうち通常画像撮像部が撮像した画像に対応する範囲の画像である重畳用画像を抽出する。これに加え、画像重畳ステップにおいて、通常画像撮像部が撮像した画像に対し、重畳用画像抽出ステップで抽出した重畳用画像のうち被重畳領域設定ステップで設定した被重畳領域に対応する領域の画像を重畳した画像である既重畳画像を生成する。そして、画像表示ステップにおいて、画像重畳ステップで生成した既重畳画像から形成した動画像を、自車両の運転者が視認可能な位置に表示する。
 このため、夜間や濃霧時等、撮像した自車両周囲の画像に不明瞭な領域が存在する状況であっても、自車両周囲に対応する範囲の既撮画像及び加工画像のうち少なくとも一方を示す既重畳画像から形成した動画像を、運転者が視認可能な位置に表示する。
 その結果、撮像した画像に不明瞭な領域が存在する状況に対応することが可能となり、夜間や濃霧時等の状況であっても、自車両の運転者が、自車両が走行する道路の形状等を把握することが容易となる。
(変形例)
(1)本実施形態では、重畳用画像着色加工部16の構成を、赤外線画像の輪郭線及び通常画像撮像部22が撮像した画像に表示されている色を参照して、重畳用画像抽出部14が抽出した重畳用画像を着色する構成としたが、これに限定するものではない。
 すなわち、重畳用画像着色加工部16の構成を、通常画像撮像部22が撮像した画像に表示されている色を参照して、重畳用画像抽出部14が抽出した重畳用画像を着色する構成としてもよい。
 この場合、赤外線画像撮像部24を備えない構成として、コスト低減が可能となる。また、重畳用画像着色加工部16が行なう処理工程を減少させることが可能となる。
(2)本実施形態では、車両用表示装置1の構成を、ドライバ認証部6を備える構成としたが、これに限定するものではなく、ドライバ認証部6を備えていない構成としてもよい。
(3)本実施形態では、通常画像撮像部22が撮像した画像、すなわち、自車両周囲を撮像したカラー画像に対し、被重畳領域に対応する領域の画像を重畳して既重畳画像を生成したが、これに限定するものではない。すなわち、例えば、赤外線画像撮像部24が撮像した、自車両周囲の赤外線画像に対し、被重畳領域に対応する領域の画像を重畳して既重畳画像を生成してもよい。
(4)本実施形態では、画像重畳部18の構成を、通常画像撮像部22が撮像した画像に対し、重畳用画像抽出部14が抽出した重畳用画像のうち被重畳領域に対応する領域の画像を重畳した画像である既重畳画像を生成する構成とした。しかしながら、画像重畳部18の構成は、これに限定するものではない。
 すなわち、画像重畳部18の構成を、重畳用画像情報記憶部8が記憶している画像のうち通常画像撮像部22が撮像した通常画像に対応する範囲の画像である重畳用画像中から重畳領域部を抽出する構成とする。これに加え、画像重畳部18の構成を、重畳用画像中から抽出した重畳領域部を通常画像の不明瞭領域に重畳させた画像である既重畳画像を生成する構成としてもよい。
 ここで、重畳領域部は、通常画像撮像部22が撮像した通常画像中の、予め設定した明瞭度閾値よりも明瞭度が低い領域である不明瞭領域に対応する領域である。
 また、画像重畳部18の構成を上記の構成とする場合、重畳用画像情報記憶部8の構成を、予め道路上に設定した位置である道路位置と、当該道路位置で予め撮像した画像と、を関連付けて記憶する構成とする。これに加え、通常画像撮像部22の構成を、自車両進行方向検出部28が検出した自車両の進行方向の画像である通常画像を撮像する構成とする。さらに、画像表示部20の構成を、画像重畳部18が生成した既重畳画像を自車両の運転者が視認可能な位置に表示する構成とする。
 上記の各構成を備えた車両用表示装置1であれば、夜間や濃霧時等、撮像した自車両周囲の画像に不明瞭な領域が存在する状況であっても、重畳領域部を通常画像の不明瞭領域に重畳させた既重畳画像を、運転者が視認可能な位置に表示することが可能となる。
 その結果、撮像した画像に不明瞭な領域が存在する状況に対応することが可能となり、夜間や濃霧時等の状況であっても、自車両の運転者が、自車両が走行する道路の形状等を把握することが容易となる。
 また、例えば、夜間の走行中において、自車両が備えるヘッドライトが故障した場合等、通常画像撮像部22が撮像した画像全体が不明瞭な領域となった場合であっても、自車両の運転者が、自車両が走行する道路の形状等を把握することが容易となる。
 以上、本願が優先権を主張する日本国特許出願2012-115048(2012年5月18日出願)の全内容は、参照により本開示の一部をなす。
 ここでは、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく各実施形態の改変は当業者にとって自明なことである。
 1  車両用表示装置
 2  撮像ブロック
 4  自己位置認識ブロック
 6  ドライバ認証部
 8  重畳用画像情報記憶部
 10 被重畳領域設定部
 12 遮蔽領域検出部
 14 重畳用画像抽出部
 16 重畳用画像着色加工部
 18 画像重畳部
 20 画像表示部
 22 通常画像撮像部
 24 赤外線画像撮像部
 26 自車両位置検出部
 28 自車両進行方向検出部
 30 地図データ記憶部
 32 既撮画像データベース
 34 加工画像データベース
 SP 既重畳画像
 RP 実撮像画像
 SE 被重畳領域
 BL 車線境界線を表す画像

Claims (14)

  1.  予め設定した地域の道路情報を記憶した地図データ記憶部と、
     自車両周囲に対応する範囲を予め撮像した既撮画像及び当該既撮画像に対応させて生成した加工画像のうち少なくとも一方を、前記地図データ記憶部が記憶している道路情報と関連付けて記憶する重畳用画像情報記憶部と、
     前記自車両の位置を検出する自車両位置検出部と、
     前記自車両の進行方向を検出する自車両進行方向検出部と、
     前記自車両周囲の画像を撮像する通常画像撮像部と、
     前記通常画像撮像部が撮像した画像から、予め設定した明瞭度閾値よりも明瞭度が低い領域である被重畳領域を設定する被重畳領域設定部と、
     前記自車両位置検出部が検出した自車両の位置、前記自車両進行方向検出部が検出した自車両の進行方向及び前記地図データ記憶部が記憶している道路情報に基づき、前記重畳用画像情報記憶部が記憶している画像のうち前記通常画像撮像部が撮像した画像に対応する範囲の画像である重畳用画像を抽出する重畳用画像抽出部と、
     前記通常画像撮像部が撮像した画像に対し、前記重畳用画像抽出部が抽出した重畳用画像のうち前記被重畳領域設定部が設定した被重畳領域に対応する領域の画像を重畳した画像である既重畳画像を生成する画像重畳部と、
     前記画像重畳部が生成した既重畳画像から形成した動画像を前記自車両の運転者が視認可能な位置に表示する画像表示部と、を備えることを特徴とする車両用表示装置。
  2.  前記被重畳領域設定部は、前記通常画像撮像部が撮像した画像から、予め設定した階調閾値よりも階調が低減している低階調領域を検出し、当該検出した低階調領域を前記被重畳領域として設定することを特徴とする請求項1に記載した車両用表示装置。
  3.  前記画像重畳部は、前記被重畳領域設定部が設定した被重畳領域に道路に固有の地物が存在する場合、前記通常画像撮像部が撮像した画像のうち前記地物が存在する領域に、前記重畳用画像抽出部が抽出した重畳用画像のうち前記地物を表す画像のみが存在するように前記既重畳画像を生成することを特徴とする請求項2に記載した車両用表示装置。
  4.  前記画像重畳部は、前記被重畳領域設定部が設定した被重畳領域に道路構造が存在する場合、前記通常画像撮像部が撮像した画像のうち前記道路構造が存在する領域では、前記通常画像撮像部が撮像した画像に対する前記重畳用画像抽出部が抽出した重畳用画像の重畳度合いが、前記通常画像撮像部が撮像した画像の明暗度合いに比例した度合いとなるように前記既重畳画像を生成することを特徴とする請求項2または請求項3に記載した車両用表示装置。
  5.  前記画像重畳部は、前記通常画像撮像部が撮像した画像に対する前記重畳用画像抽出部が抽出した重畳用画像の重畳度合いが、前記画像表示部が表示した動画像の画面で下方から上方へ向かうにつれて増加する度合いとなるように前記既重畳画像を生成することを特徴とする請求項4に記載した車両用表示装置。
  6.  前記画像重畳部は、前記通常画像撮像部が撮像した画像に対する前記重畳用画像抽出部が抽出した重畳用画像の重畳度合いが、前記既重畳画像上において前記通常画像撮像部に近い位置を示す領域から遠い位置を示す領域へ向かうにつれて増加する度合いとなるように前記既重畳画像を生成することを特徴とする請求項4または請求項5に記載した車両用表示装置。
  7.  前記画像重畳部は、前記通常画像撮像部が撮像した画像に前記自車両の進路上への移動が予測される他車両が存在する場合、前記通常画像撮像部が撮像した画像のうち前記他車両が存在する領域において、前記通常画像撮像部が撮像した画像に対する前記重畳用画像抽出部が抽出した重畳用画像の重畳度合いが、前記他車両が存在する領域以外の領域における前記重畳度合い未満となるように前記既重畳画像を生成することを特徴とする請求項2から請求項6のうちいずれか1項に記載した車両用表示装置。
  8.  前記通常画像撮像部が撮像した画像から、前記地図データ記憶部が記憶している道路情報が含む道路構造及び道路に固有の地物が遮蔽物で遮られている遮蔽領域を検出する遮蔽領域検出部を備え、
     前記重畳用画像抽出部は、前記重畳用画像情報記憶部が記憶している画像から前記遮蔽領域検出部が検出した遮蔽領域において前記遮蔽物で遮られている道路構造及び道路に固有の地物の画像である遮蔽対象物画像を抽出し、
     前記画像重畳部は、前記通常画像撮像部が撮像した画像に対し、前記重畳用画像抽出部が抽出した遮蔽対象物画像を透過処理した状態で前記遮蔽領域検出部が検出した遮蔽領域に重畳して前記既重畳画像を生成することを特徴とする請求項1から請求項7のうちいずれか1項に記載した車両用表示装置。
  9.  自車両周囲の赤外線画像を撮像する赤外線画像撮像部を備え、
     前記赤外線画像撮像部が撮像した赤外線画像の輪郭線及び前記通常画像撮像部が撮像した画像に表示されている色を参照して前記重畳用画像抽出部が抽出した重畳用画像を着色する重畳用画像着色加工部を備えることを特徴とする請求項1から請求項8のうちいずれか1項に記載した車両用表示装置。
  10.  前記通常画像撮像部が撮像した画像に表示されている色を参照して前記重畳用画像抽出部が抽出した重畳用画像を着色する重畳用画像着色加工部を備えることを特徴とする請求項1から請求項8のうちいずれか1項に記載した車両用表示装置。
  11.  前記自車両の運転者を認証するドライバ認証部を備え、
     前記地図データ記憶部は、前記ドライバ認証部が認証した運転者と個別に関連付けて前記道路情報を記憶することを特徴とする請求項1から請求項10のうちいずれか1項に記載した車両用表示装置。
  12.  予め道路上に設定した位置である道路位置と、当該道路位置で予め撮像した画像と、を関連付けて記憶する重畳用画像情報記憶部と、
     自車両の位置を検出する自車両位置検出部と、
     前記自車両の進行方向を検出する自車両進行方向検出部と、
     前記自車両進行方向検出部が検出した前記進行方向の画像である通常画像を撮像する通常画像撮像部と、
     前記通常画像撮像部が撮像した通常画像中の予め設定した明瞭度閾値よりも明瞭度が低い領域である不明瞭領域に対応する重畳領域部を、前記重畳用画像情報記憶部が記憶している画像のうち前記通常画像撮像部が撮像した通常画像に対応する範囲の画像である重畳用画像中から抽出し、さらに、前記抽出した重畳領域部を前記通常画像の不明瞭領域に重畳させた画像である既重畳画像を生成する画像重畳部と、
     前記画像重畳部が生成した既重畳画像を前記自車両の運転者が視認可能な位置に表示する画像表示部と、を備えることを特徴とする車両用表示装置。
  13.  自車両周囲に対応する範囲を予め撮像した既撮画像及び当該既撮画像に対応させて生成した加工画像のうち少なくとも一方を道路情報と関連付けて記憶し、
     前記記憶している画像のうち前記自車両周囲を撮像した画像に対応する範囲の画像である重畳用画像を抽出し、
     前記自車両周囲を撮像した画像に対し、前記抽出した重畳用画像のうち、前記自車両周囲を撮像した画像のうちから設定し、且つ予め設定した明瞭度閾値よりも明瞭度が低い領域である被重畳領域に対応する領域の画像を重畳した画像である既重畳画像を生成し、
     前記生成した既重畳画像から形成した動画像を前記運転者が視認可能な位置に表示することを特徴とする車両用表示方法。
  14.  予め設定した地域の道路情報を記憶する地図データ記憶ステップと、
     自車両周囲に対応する範囲を予め撮像した既撮画像及び当該既撮画像に対応させて生成した加工画像のうち少なくとも一方を、前記地図データ記憶ステップで記憶した道路情報と関連付けて記憶する重畳用画像情報記憶ステップと、
     前記自車両周囲の画像を撮像する通常画像撮像部が撮像した画像から、予め設定した明瞭度閾値よりも明瞭度が低い領域である被重畳領域を設定する被重畳領域設定ステップと、
     前記自車両の位置を検出する自車両位置検出部が検出した自車両の位置、前記自車両の進行方向を検出する自車両進行方向検出部が検出した自車両の進行方向及び前記地図データ記憶ステップで記憶した道路情報に基づき、前記重畳用画像情報記憶ステップで記憶した画像のうち前記通常画像撮像部が撮像した画像に対応する範囲の画像である重畳用画像を抽出する重畳用画像抽出ステップと、
     前記通常画像撮像部が撮像した画像に対し、前記重畳用画像抽出ステップで抽出した重畳用画像のうち前記被重畳領域設定ステップで設定した被重畳領域に対応する領域の画像を重畳した画像である既重畳画像を生成する画像重畳ステップと、
     前記画像重畳ステップで生成した既重畳画像から形成した動画像を前記運転者が視認可能な位置に表示する画像表示ステップと、をコンピュータに実行させることを特徴とする車両用表示プログラム。
PCT/JP2013/002365 2012-05-18 2013-04-05 車両用表示装置、車両用表示方法及び車両用表示プログラム WO2013171962A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014515473A JP5817927B2 (ja) 2012-05-18 2013-04-05 車両用表示装置、車両用表示方法及び車両用表示プログラム
EP13791436.2A EP2851864B1 (en) 2012-05-18 2013-04-05 Vehicular display apparatus, vehicular display method, and vehicular display program
CN201380023795.1A CN104272345B (zh) 2012-05-18 2013-04-05 车辆用显示装置和车辆用显示方法
US14/401,305 US9649980B2 (en) 2012-05-18 2013-04-05 Vehicular display apparatus, vehicular display method, and vehicular display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-115048 2012-05-18
JP2012115048 2012-05-18

Publications (1)

Publication Number Publication Date
WO2013171962A1 true WO2013171962A1 (ja) 2013-11-21

Family

ID=49583395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/002365 WO2013171962A1 (ja) 2012-05-18 2013-04-05 車両用表示装置、車両用表示方法及び車両用表示プログラム

Country Status (5)

Country Link
US (1) US9649980B2 (ja)
EP (1) EP2851864B1 (ja)
JP (1) JP5817927B2 (ja)
CN (1) CN104272345B (ja)
WO (1) WO2013171962A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015177442A (ja) * 2014-03-17 2015-10-05 パイオニア株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2016051447A1 (ja) * 2014-09-29 2016-04-07 三菱電機株式会社 情報表示制御システムおよび情報表示制御方法
JP2016068654A (ja) * 2014-09-29 2016-05-09 三菱電機株式会社 車両用照射制御システムおよび画像照射の制御方法
WO2017043067A1 (ja) * 2015-09-11 2017-03-16 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
KR20190038088A (ko) * 2017-09-29 2019-04-08 엘지전자 주식회사 차량에 구비된 차량 제어 장치
JP2020088406A (ja) * 2018-11-15 2020-06-04 アルパイン株式会社 電子ミラーシステム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2636235C1 (ru) * 2014-08-04 2017-11-21 Ниссан Мотор Ко., Лтд. Устройство вычисления собственной позиции и способ вычисления собственной позиции
US10691958B1 (en) * 2015-07-30 2020-06-23 Ambarella International Lp Per-lane traffic data collection and/or navigation
US11248925B2 (en) 2016-07-28 2022-02-15 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented road line detection and display system
GB2557597B (en) 2016-12-09 2020-08-26 Canon Kk A surveillance apparatus and a surveillance method for indicating the detection of motion
WO2018110389A1 (ja) * 2016-12-15 2018-06-21 株式会社小糸製作所 車両用照明システムおよび車両
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
CN107169949A (zh) * 2017-05-26 2017-09-15 努比亚技术有限公司 图像融合方法、装置及计算机可读存储介质
US10688929B2 (en) * 2017-06-27 2020-06-23 Shanghai XPT Technology Limited Driving assistance system and method of enhancing a driver's vision
TWI749030B (zh) 2017-06-27 2021-12-11 大陸商上海蔚蘭動力科技有限公司 駕駛輔助系統及駕駛輔助方法
CN107402735B (zh) * 2017-07-31 2021-03-19 联想(北京)有限公司 显示方法、***和电子设备以及非易失性存储介质
EP3530521B1 (en) * 2018-02-22 2020-07-29 Continental Automotive GmbH Driver assistance method and apparatus
JP6429347B1 (ja) * 2018-05-18 2018-11-28 豊 川口 視界表示システムおよび移動体
JP7082538B2 (ja) * 2018-07-10 2022-06-08 本田技研工業株式会社 画像処理装置及びプログラム
JP7033029B2 (ja) * 2018-07-30 2022-03-09 本田技研工業株式会社 制御装置及びプログラム
JP7087844B2 (ja) * 2018-08-31 2022-06-21 トヨタ自動車株式会社 画像処理装置、画像処理システム及び車両
JP7292024B2 (ja) 2018-10-22 2023-06-16 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、コンピュータプログラム
CN110033413B (zh) * 2018-12-29 2023-08-18 阿里巴巴集团控股有限公司 客户端的图像处理方法、装置、设备、计算机可读介质
CN110136091B (zh) * 2019-04-12 2021-11-30 深圳云天励飞技术有限公司 图像处理方法及相关产品
IL267211A (en) 2019-06-10 2019-08-29 Elbit Systems Ltd System and method for video display
JP7168091B2 (ja) * 2019-08-02 2022-11-09 日産自動車株式会社 画像処理装置及び画像処理方法
US11348206B2 (en) 2019-10-02 2022-05-31 Pony Ai Inc. System and method for increasing sharpness of image
CN112606832A (zh) * 2020-12-18 2021-04-06 芜湖雄狮汽车科技有限公司 一种车辆智能辅助视觉***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332104A (ja) * 2004-05-19 2005-12-02 Honda Motor Co Ltd 車両用走行区分線認識装置
JP2006287513A (ja) * 2005-03-31 2006-10-19 Nissan Motor Co Ltd 車両外状況提示システム
JP2007300181A (ja) 2006-04-27 2007-11-15 Denso Corp 周辺認識装置、周辺認識方法、プログラム
JP2009098718A (ja) * 2007-10-12 2009-05-07 Denso Corp 画像処理装置
JP2010012904A (ja) * 2008-07-02 2010-01-21 Honda Motor Co Ltd 運転支援装置
JP2011191264A (ja) * 2010-03-16 2011-09-29 Aisin Aw Co Ltd 表示制御装置、方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3695315B2 (ja) * 2000-11-14 2005-09-14 日産自動車株式会社 車両用表示装置
JP4650028B2 (ja) * 2005-03-02 2011-03-16 株式会社デンソー 運転評価装置および運転評価システム
JPWO2008016083A1 (ja) * 2006-08-03 2009-12-24 パナソニック株式会社 重畳情報提示装置及び重畳情報提示システム
JP4309920B2 (ja) * 2007-01-29 2009-08-05 株式会社東芝 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
JP2009163504A (ja) * 2008-01-07 2009-07-23 Panasonic Corp 画像変形方法等
JP5177217B2 (ja) * 2008-02-26 2013-04-03 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム及び車載端末
JP5523448B2 (ja) * 2009-04-23 2014-06-18 パナソニック株式会社 運転支援システム、情報表示装置、及び情報表示プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332104A (ja) * 2004-05-19 2005-12-02 Honda Motor Co Ltd 車両用走行区分線認識装置
JP2006287513A (ja) * 2005-03-31 2006-10-19 Nissan Motor Co Ltd 車両外状況提示システム
JP2007300181A (ja) 2006-04-27 2007-11-15 Denso Corp 周辺認識装置、周辺認識方法、プログラム
JP2009098718A (ja) * 2007-10-12 2009-05-07 Denso Corp 画像処理装置
JP2010012904A (ja) * 2008-07-02 2010-01-21 Honda Motor Co Ltd 運転支援装置
JP2011191264A (ja) * 2010-03-16 2011-09-29 Aisin Aw Co Ltd 表示制御装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2851864A4

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015177442A (ja) * 2014-03-17 2015-10-05 パイオニア株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2016051447A1 (ja) * 2014-09-29 2016-04-07 三菱電機株式会社 情報表示制御システムおよび情報表示制御方法
JP2016068654A (ja) * 2014-09-29 2016-05-09 三菱電機株式会社 車両用照射制御システムおよび画像照射の制御方法
JPWO2016051447A1 (ja) * 2014-09-29 2017-04-27 三菱電機株式会社 情報表示制御システムおよび情報表示制御方法
WO2017043067A1 (ja) * 2015-09-11 2017-03-16 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
JP6291144B2 (ja) * 2015-09-11 2018-03-14 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
JPWO2017043067A1 (ja) * 2015-09-11 2018-05-24 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
US10671859B2 (en) 2015-09-11 2020-06-02 Fujifilm Corporation Travel assistance device and travel assistance method using travel assistance device
KR20190038088A (ko) * 2017-09-29 2019-04-08 엘지전자 주식회사 차량에 구비된 차량 제어 장치
KR102041964B1 (ko) * 2017-09-29 2019-11-07 엘지전자 주식회사 차량에 구비된 차량 제어 장치
JP2020088406A (ja) * 2018-11-15 2020-06-04 アルパイン株式会社 電子ミラーシステム
JP7128585B2 (ja) 2018-11-15 2022-08-31 アルパイン株式会社 電子ミラーシステム

Also Published As

Publication number Publication date
EP2851864A4 (en) 2015-05-20
EP2851864B1 (en) 2016-09-07
JP5817927B2 (ja) 2015-11-18
CN104272345A (zh) 2015-01-07
JPWO2013171962A1 (ja) 2016-01-12
CN104272345B (zh) 2016-01-06
US20150145996A1 (en) 2015-05-28
US9649980B2 (en) 2017-05-16
EP2851864A1 (en) 2015-03-25

Similar Documents

Publication Publication Date Title
JP5817927B2 (ja) 車両用表示装置、車両用表示方法及び車両用表示プログラム
KR102359806B1 (ko) 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
US10269331B2 (en) Display control device for vehicle
CN115620545A (zh) 用于辅助驾驶的增强现实的方法及装置
JP5503728B2 (ja) 車両の周辺監視装置
JP4788426B2 (ja) 車両用表示システム
US20190016256A1 (en) Projection of a Pre-Definable Light Pattern
JP6811106B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
EP1894779B1 (en) Method of operating a night-view system in a vehicle and corresponding night-view system
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
WO2020125178A1 (zh) 车辆驾驶提示方法及装置
KR20180056867A (ko) 디스플레이 장치 및 그의 동작 방법
US11525694B2 (en) Superimposed-image display device and computer program
JP5299026B2 (ja) 車両用表示装置
JP2005182306A (ja) 車両用表示装置
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
CN107848416A (zh) 显示控制装置、显示装置及显示控制方法
JP2014229102A (ja) 車両用表示装置
CN110462699B (zh) 车辆用显示控制装置以及车辆用显示单元
JP2020196416A (ja) 表示制御装置および表示制御プログラム
CN113165510B (zh) 显示控制装置、方法和计算机程序
JP2005202787A (ja) 車両用表示装置
JP3870409B2 (ja) 車両用表示装置
JP2009230225A (ja) 車両用周囲監視装置
JP5212920B2 (ja) 車両用表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13791436

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014515473

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14401305

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013791436

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013791436

Country of ref document: EP