WO2018003532A1 - 物体検出表示装置、移動体及び物体検出表示方法 - Google Patents

物体検出表示装置、移動体及び物体検出表示方法 Download PDF

Info

Publication number
WO2018003532A1
WO2018003532A1 PCT/JP2017/022218 JP2017022218W WO2018003532A1 WO 2018003532 A1 WO2018003532 A1 WO 2018003532A1 JP 2017022218 W JP2017022218 W JP 2017022218W WO 2018003532 A1 WO2018003532 A1 WO 2018003532A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
distance
display device
far
Prior art date
Application number
PCT/JP2017/022218
Other languages
English (en)
French (fr)
Inventor
アニール クマル サマル
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2018525048A priority Critical patent/JP6793193B2/ja
Priority to EP17819892.5A priority patent/EP3481059B1/en
Priority to US16/314,173 priority patent/US11195026B2/en
Publication of WO2018003532A1 publication Critical patent/WO2018003532A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/347—Optical elements for superposition of display information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present disclosure relates to an object detection display device, a moving object, and an object detection display method.
  • a far-infrared camera that captures images using far-infrared rays emitted from an object can capture images even at night when sunlight does not reach, it can be used for driving assistance at night.
  • a system has been proposed in which the shape of an image by far infrared rays emitted from a pedestrian is patterned and a pedestrian is extracted from an image captured by far infrared rays by pattern matching (see, for example, Patent Document 1).
  • the object detection display device is mounted on a moving body.
  • the object detection display device includes a far-infrared camera, a display device, and a processor.
  • the processor detects an image of the display target object separated from the first image, which is an image output from the far-infrared camera, by a distance equal to or more than the first distance that the light from the headlight of the moving object reaches.
  • the processor causes the display device to display an image element corresponding to the display target object based on the position of the image of the display target object on the first image.
  • the moving body includes an object detection display device.
  • the object detection display device includes a far-infrared camera, a display device, and a processor.
  • the processor detects an image of the display target object separated from the first image output from the far-infrared camera by a distance equal to or more than the first distance reached by the light from the headlight.
  • the processor causes the display device to display image elements corresponding to the display target object based on the position of the image of the display target object on the first image.
  • the object detection display method includes acquiring a first image captured by far infrared rays.
  • the object detection display method includes detecting an image of a display target object separated from the first image by a first distance that is a distance that the light from the headlight of the moving object reaches.
  • the object detection display method includes displaying an image element corresponding to the display target object based on the position of the image of the display target object on the first image.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the object detection display device according to the first embodiment.
  • FIG. 2 is a diagram showing an example of the arrangement and image display of the components of the object detection display device mounted on the vehicle.
  • FIG. 3 is a diagram illustrating a light reachable distance (first distance) of a vehicle headlight and a detectable distance of an object by far infrared rays.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure of the control unit of the apparatus main body according to the first embodiment.
  • FIG. 5 is a diagram showing an example of a front view seen through the front windshield at night from the viewpoint of the driver.
  • FIG. 6 is a diagram illustrating an example of a front scene that can be acquired by the far-infrared camera.
  • FIG. 7 is a diagram for explaining a distance determination method based on the size of an object image.
  • FIG. 8 is a diagram illustrating icons displayed on the display image.
  • FIG. 9 is a diagram showing a virtual image of an icon displayed in a superimposed manner on a front scene seen through the front windshield.
  • FIG. 10 is a diagram showing icon display areas in the high beam mode and the low beam mode.
  • FIG. 11 is a diagram showing an icon display area when the road ahead is curved.
  • FIG. 12 is a block diagram illustrating a schematic configuration of the object detection display device according to the second embodiment.
  • FIG. 13 is a block diagram illustrating a schematic configuration of the object detection display device according to the third embodiment.
  • FIG. 14 is a block diagram illustrating a schematic configuration of the object detection display device according to the fourth embodiment.
  • FIG. 15 is a flowchart illustrating an example of a processing procedure of the control unit of the apparatus main body according to the fourth embodiment.
  • FIG. 16 is a diagram illustrating an example of a far-infrared image (first image).
  • FIG. 17 is a diagram illustrating an example of a visible light image (second image).
  • FIG. 18 is a diagram for explaining the projection of the icon onto the front windshield.
  • FIG. 19 is a block diagram illustrating a schematic configuration of an object detection display device according to the fifth embodiment.
  • FIG. 20 is a block diagram illustrating an example in which an image of a visible light camera passes through the apparatus main body in the object detection display apparatus according to the fifth embodiment.
  • the object detection display device selectively displays an object located in an area where light from a headlight does not reach sufficiently by a far-infrared camera.
  • the object detection display device 1 is mounted on a vehicle and includes a far-infrared camera 10, a device body 20, and a display device 30.
  • the vehicle is included in the moving body.
  • the “vehicle” of the present disclosure includes a vehicle traveling on a road, and particularly includes a passenger car, a truck, a bus, a two-wheeled vehicle, a trolley bus, and the like.
  • Vehicle also includes construction vehicles such as bulldozers, cranes, and excavators that run on the road, and agricultural vehicles such as tractors.
  • the headlight control device 40 in FIG. 1 is a control device that controls a headlight of a vehicle.
  • the far-infrared camera 10 can be fixed to the front of the vehicle 2 with the optical axis facing the front of the vehicle 2.
  • the far-infrared camera 10 has substantially the same height as the headlight 5 and can be fixed near the center of the front bumper of the vehicle 2.
  • the installation position of the far-infrared camera 10 is not limited to this, and may be fixed to the hood of the vehicle 2 or the like.
  • the apparatus main body 20 may be embedded in the dashboard of the vehicle 2 and electrically connected to the far-infrared camera 10 via a communication cable or the like.
  • the apparatus main body 20 is not limited to being located in the dashboard, but may be disposed in the vehicle interior or in another location.
  • the display device 30 can be a head-up display.
  • the display device 30 may be built in the dashboard and project an image toward the front windshield 50 of the vehicle 2. The image is projected so as to be visible within the visual field of the driver 3.
  • the display device 30 is electrically connected to the device body 20 via a communication cable or the like. Details of each component will be described below.
  • a far-infrared camera 10 is a camera that captures images by far-infrared rays.
  • Far-infrared rays are electromagnetic waves having a wavelength of about 4 ⁇ m to 1 mm emitted from an object according to temperature.
  • the far-infrared camera 10 for example, a camera that detects light in a wavelength band of about 8 ⁇ m to 14 ⁇ m can be used.
  • the wavelength band of the far-infrared camera 10 is not limited to this, and light in a band other than this band or other bands including this band may be imaged.
  • an optical member such as a lens constituting the far-infrared camera 10, for example, germanium, silicon, zinc sulfide or the like is used.
  • the material of the optical member other materials may be used according to the wavelength of far infrared rays to be used.
  • a microbolometer type detector can be used as the imaging device of the far-infrared camera 10.
  • the image sensor of the far infrared camera 10 other thermal infrared sensors such as a thermoelectric element and a pyroelectric element, a quantum infrared image sensor, or the like can be used.
  • the far infrared camera 10 captures a far infrared image at a predetermined frame rate.
  • an image obtained by forming an image of far infrared rays emitted from an object by the far infrared camera 10 is referred to as a far infrared image.
  • a far-infrared image is also called a 1st image.
  • the frame rate of the far-infrared camera 10 can be 30 fps (frame per second) or 60 fps, but may be about 10 fps.
  • the frame rate can be appropriately determined according to the design.
  • the far-infrared camera 10 may change the frame rate according to the speed of the vehicle 2.
  • the apparatus main body 20 receives an input from the far-infrared camera 10, detects an object, and generates a display image to be displayed on the display apparatus 30.
  • the apparatus main body 20 includes an input unit 21, a control unit 22, a memory 23, an output unit 24, and a position sensor 25.
  • the input unit 21 is an input interface for inputting a first image from the far-infrared camera 10 to the apparatus main body 20.
  • the input unit 21 is also an input interface that receives a headlight signal indicating the state of the headlight 5 from the headlight control device 40 of the vehicle 2.
  • the input unit 21 can employ a physical connector and a wireless communication device.
  • the physical connector includes an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves.
  • electrical connectors connectors conforming to IEC60603, connectors conforming to USB standards, connectors corresponding to RCA terminals, connectors corresponding to S terminals defined in EIAJ CP-1211A, D terminals prescribed in EIAJ RC-5237 , A connector conforming to the HDMI (registered trademark) standard, and a connector corresponding to a coaxial cable including BNC.
  • the optical connector includes various connectors conforming to IEC 61754.
  • the wireless communication device includes a wireless communication device that complies with each standard including Bluetooth (registered trademark) and IEEE802.11.
  • the wireless communication device includes at least one antenna.
  • the input unit 21 can hand over the first image captured by the far-infrared camera 10 and the headlight signal input from the headlight control device 40 to the control unit 22.
  • the control unit 22 includes one or a plurality of processors.
  • the control unit 22 or the processor may include one or a plurality of memories that store programs for various processes and information being calculated.
  • the memory includes volatile memory and nonvolatile memory.
  • the memory includes a memory independent of the processor and a built-in memory of the processor.
  • the processor includes a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process.
  • the dedicated processor includes an application specific IC (ASIC; Application Specific Circuit).
  • the processor includes a programmable logic device (PLD).
  • PLD includes FPGA (Field-ProgrammablemGate Array).
  • the control unit 22 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or a plurality of processors cooperate.
  • the control unit 22 may control activation and termination of the far infrared camera 10. For example, when receiving a headlight signal indicating lighting of the headlight 5 from the headlight control device 40, the control unit 22 may activate the object detection display process using the output of the far-infrared camera 10.
  • the control unit 22 includes functional blocks of an object detection unit 26, a first determination unit 27 that determines the type of an object, a second determination unit 28 that determines a distance, and a display processing unit 29.
  • Each functional block may be a hardware module or a software module.
  • the control unit 22 can execute an operation that can be performed by each functional block.
  • the operation performed by each functional block can be rephrased as the operation performed by the control unit 22.
  • the processing performed by the control unit 22 using any of the functional blocks may be executed by the control unit 22 itself.
  • the object detection unit 26 detects an object image from the first image captured by the far-infrared camera 10.
  • An image of an object is also called an object image.
  • Various methods such as an edge detection method and a region division method can be used to detect the object image.
  • the object detection unit 26 stores a far-infrared image when no object is present ahead.
  • the object detection unit 26 obtains a difference from the far-infrared image when there is no object.
  • the object detection unit 26 can binarize the image obtained as the difference, remove a cluster having a small number of pixels from the binarized image as noise, and recognize a group of remaining pixels as an object image.
  • the object detection unit 26 may perform object detection after performing arbitrary processing such as distortion correction, brightness adjustment, and contrast adjustment on the first image captured by the far-infrared camera 10.
  • the first determination unit 27 determines the type of the object from the object image detected by the object detection unit 26.
  • the object detection unit 26 has, for example, an image pattern of an object image such as a car, a pedestrian, or a bicycle, and can determine the type of the object by pattern matching processing.
  • the first determination unit 27 may acquire an image pattern from what is stored in the memory 23 as necessary. For example, a pattern that has two legs and is long in the vertical direction can be determined as a pedestrian.
  • the first determination unit 27 may be integrated with the object detection unit 26. That is, the object detection by the object detection unit 26 can be performed based on whether or not the object pattern matches a predetermined object image pattern. In that case, the object detection unit 26 detects the object and determines the type of the object.
  • the second determination unit 28 determines the distance to the detected object.
  • the second determination unit 28 determines the distance based on the type of the object determined by the first determination unit 27 and the size of the image of the object in the first image. For example, when the object is a passenger car, for example, the width of a Japanese passenger car is about 170 cm to 180 cm, so the distance is estimated from the detected width of the vehicle 2 on the first image. Can do.
  • the distance can be estimated based on the length in the vertical direction on the first image.
  • the display processing unit 29 determines whether to display the object detected by the object detection unit 26 on the display device 30 according to the distance determined by the second determination unit 28.
  • the display processing unit 29 does not display the presence of the object on the display device 30.
  • the light reaching distance of the headlight 5 is referred to as a light reaching distance.
  • the light arrival distance is also called the first distance.
  • the distance from the vehicle 2 to the object is referred to as a second distance.
  • the display processing unit 29 determines that the object is a display target object and displays an image element corresponding to the object on the display device 30.
  • the image element means a figure, a mark, a symbol, or the like that shows a simplified object.
  • the display processing unit 29 can also extract an image of the display target object from the first image and display it on the display device 30 as an image element.
  • the display target object is an object to be displayed on the display device 30 with an image element corresponding to the object.
  • the display processing unit 29 selects an image element based on the type of the object determined by the first determination unit 27 when displaying the image element corresponding to the object on the display device 30.
  • the image element may be an icon.
  • the display processing unit 29 may generate an image to be output to the display device 30 so that an icon image is displayed at a position corresponding to the position of the image of the display target object detected by the object detection unit 26.
  • the icon image data can be stored in the memory 23.
  • the display processing unit 29 can appropriately read icon image data from the memory 23.
  • the memory 23 is a storage device that stores data such as image data necessary for processing executed by the object detection display device 1. An image captured by the far-infrared camera 10 can be temporarily stored in the memory 23. The memory 23 can store a pattern used by the first determination unit 27 to determine the type of the object. The memory 23 can store an icon image used when the display processing unit 29 generates an image signal for displaying the display target object on the display device 30. As the memory 23, volatile memory such as DRAM (Dynamic Random Access Memory), SRAM (Static Random Access Memory), and non-volatile memory such as flash memory can be used.
  • DRAM Dynamic Random Access Memory
  • SRAM Static Random Access Memory
  • non-volatile memory such as flash memory
  • the output unit 24 is an output interface that outputs an image signal from the device main body 20 to the display device 30.
  • the output unit 24 can employ a physical connector and a wireless communication device. In the present embodiment illustrated in FIG. 1, the output unit 24 is separated from the input unit 21, but is not limited thereto.
  • the input unit 21 and the output unit 24 may be one communication unit.
  • the communication unit can employ a physical connector and a wireless communication device.
  • the position sensor 25 is a sensor for detecting the position of the head of the driver 3 of the vehicle 2.
  • the driver 3 is a user of the object detection display device 1.
  • the position information of the head measured by the position sensor 25 is used to automatically align the position of the icon displayed on the display device 30 with the position of the display target object in the visual field of the driver 3. it can.
  • the position sensor 25 is not an essential component, and the projection position of the image on the display device 30 can be adjusted in advance according to the position of the head when the driver 3 is driving without using the position sensor 25.
  • the display device 30 can use a head-up display.
  • the display device 30 as a head-up display includes a control unit 31, a display element 32, and an optical system 33.
  • the control unit 31 controls the entire display device 30.
  • the control unit 31 receives an image signal output from the apparatus main body 20 and controls an image displayed on the display element 32 or a light emission intensity of a light source of the display element 32.
  • the control unit 31 can be configured by a processor or a microcomputer that can execute application software.
  • the control unit 31 may include a storage device that stores a program or the like for operating the display element 32.
  • the storage device can be composed of, for example, a semiconductor memory.
  • the storage device may function as a work memory for the control unit 31.
  • the control unit 31 controls the optical system 33 by controlling the adjustable optical element of the optical system 33.
  • the control unit 31 can adjust the projection position of the image by controlling the optical system 33 based on the position information of the head of the driver 3 acquired by the position sensor 25 of the apparatus body 20.
  • the display element 32 displays an image projected by the optical system 33.
  • the display element 32 is, for example, a transmissive liquid crystal device such as an LCD (Liquid Crystal Display), a reflective liquid crystal device such as an LCOS (Liquid Crystal On Silicon), or an organic EL display (OLED: Organic Electro-Luminescence Display).
  • a type display element may be provided.
  • the display element 32 may include a mirror device such as a digital mirror device (DMD: Digital Mirror Mirror Device) or a MEMS (Micro Electro Mechanical System) mirror. Below, the case where LCD etc. are used for the display element 32 is demonstrated.
  • DMD Digital Mirror Mirror Device
  • MEMS Micro Electro Mechanical System
  • the display element 32 receives the image signal generated by the display processing unit 29 from the output unit 24 of the apparatus main body 20.
  • the image signal includes information about an icon to be displayed and its display position.
  • the display element 32 can be installed inside the dashboard.
  • the installation position of the display element 32 is not limited to the interior of the dashboard, and may be disposed on the dashboard or near the rearview mirror of the vehicle 2, for example.
  • the optical system 33 may include a concave mirror and a front windshield 50 arranged in the dashboard.
  • the surface of the front windshield 50 facing the driver 3 may partially reflect light in the visible light region.
  • the optical system 33 reflects the image displayed on the display element 32 with the concave mirror and the front windshield 50, and projects the virtual image of the image displayed on the display element 32 in the visual field of the driver 3 so as to be visible.
  • the surface of the front windshield 50 may be processed or coated.
  • the optical system 33 superimposes the virtual image of the image displayed on the display element 32 on the front scene seen through the front windshield 50 and projects it in the field of view of the driver 3.
  • the front scene is also referred to as a foreground as appropriate.
  • the optical system 33 is not limited to the combination of the concave mirror and the front windshield 50, and may include a lens or other optical element.
  • a combiner can be used to project a virtual image.
  • the combiner is a half mirror for reflecting the image of the head-up display independent of the front windshield.
  • the headlight control device 40 is a control device built in the vehicle 2 that controls the headlight 5.
  • the headlight control device 40 sends, to the input unit 21 of the apparatus main body 20, a signal indicating whether the headlight 5 is turned on or off, and a signal indicating mode selection information when the headlight 5 is turned on. Send as.
  • the mode selection information indicates whether the headlight 5 is in a mode including a high beam mode or a low beam mode.
  • the headlight signal may be transmitted when a change is made to the state of the headlight 5, such as when a switch of the headlight 5 is operated.
  • the headlight signal may be constantly transmitted at a predetermined interval.
  • the headlight is also referred to as a headlamp.
  • the high beam mode of the headlight is also called “traveling headlamp”. According to the safety standards for road vehicles in Japan, the high beam mode has the ability to check obstacles at a distance of 100 meters ahead at night.
  • the low beam mode is also called “passing headlight”. The low beam mode has the capability of confirming an obstacle at a distance of 40 m ahead at night without obstructing other traffic according to the security standard.
  • the light reach distance is about 60 m in the low beam mode.
  • the light arrival distance in the low beam mode is referred to as a low beam arrival distance l 1 .
  • the light reach distance in the high beam mode is about 120 m.
  • the light arrival distance in the high beam mode is referred to as a high beam arrival distance l 2 .
  • the low beam arrival distance l 1 and the high beam arrival distance l 2 are the first distances in the low beam mode and the high beam mode, respectively.
  • the second distance exceeds 60 m, it is difficult to visually recognize the object.
  • the object can be visually recognized by the light of the headlight if the second distance is within 120 m.
  • the second distance exceeds 120 m, it is difficult to visually recognize the object.
  • the first distance in the present application can be a predetermined distance according to the selection information of the mode of the headlight 5 as described above.
  • the first distance may be an upper limit distance that the headlight 5 actually observed from the vehicle 2 reaches.
  • the light from the headlight 5 gradually decreases with the distance from the vehicle 2. Therefore, the first distance may be determined as a distance in which a threshold is provided for the intensity of the reflected light of the headlight 5 from the object observed from the vehicle 2 and the intensity of the reflected light is smaller than the threshold.
  • the threshold value can be set to a light intensity that makes it difficult for the driver 3 to visually recognize the object at night.
  • the distance l 3 at which the object can be detected by the far-infrared camera 10 is about 200 m. Therefore, the far-infrared camera 10 is effective in detecting an object located at a distance of 60 m-200 m from the vehicle 2 when the headlight 5 is in the low beam mode. The far-infrared camera 10 is effective for detecting an object located at a distance of 120 m-200 when the headlight 5 is in the high beam mode.
  • control unit 22 of the apparatus main body 20 receives a headlight signal indicating that the headlight 5 is in a lighting state from the headlight control apparatus 40, the far-infrared camera 10, each part of the apparatus main body 20, and the display device 30 It is activated (step S101).
  • the control unit 22 receives a headlight signal including selection information indicating whether the headlight 5 is in the high beam mode or the low beam mode from the headlight control device 40 (step S102). The control unit 22 performs the following processing according to the mode of the headlight 5 indicated by the received selection information.
  • the control unit 22 acquires the first image from the far-infrared camera 10 (step S103). Based on the acquired first image, the control unit 22 sequentially performs the following processing in each of the object detection unit 26, the first determination unit 27, the second determination unit 28, and the display processing unit 29.
  • the object detection unit 26 detects an object image from the first image together with position information on the image (step S104).
  • the driver 3 When there is no light other than the headlight 5 at night when sunlight does not reach, or when light other than the headlight 5 is scarce, the driver 3 has a front windshield 50 as shown in FIG. The foreground is visible.
  • the mirror 51 in the vehicle and the projection unit 34 of the display device 30 are also displayed.
  • the projection unit 34 is a window unit through which light from the display element 32 in the dashboard is emitted to the upper side of the dashboard, and is provided in a part of the optical path of the optical system 33.
  • the road surface 52 In the foreground visually recognized by the driver 3, the road surface 52 can be seen up to the first distance that is the light arrival distance ahead of the vehicle 2.
  • the first distance is about 60 m when the headlight 5 is in the low beam mode and about 120 m when the headlight 5 is in the high beam mode. Places that are more than the first distance are dark because the light does not reach them. This area is referred to as an illumination non-reaching area 53.
  • the far-infrared camera 10 can capture an object that cannot be visually recognized by human eyes in a dark environment.
  • the image captured by the far-infrared camera 10 has different luminance depending on the temperature of the object to be captured. For example, the road surface temperature rises during the daytime, and even at night, if the road surface temperature is higher than the surrounding temperature, the road surface 52 is displayed brightly. Further, since the far-infrared camera 10 can detect an object about 200 m ahead, it is possible to detect the object images O 1 and O 2 that cannot be visually recognized only by the light of the headlight 5.
  • an object image O 1 is an image of an automobile.
  • the object image O 2 is an image of a pedestrian.
  • the object detection unit 26 can detect the object images O 1 and O 2 from the first image output from the far-infrared camera 10.
  • the first determination unit 27 determines the type of the object images O 1 and O 2 detected by the object detection unit 26 (step S105). For example, in the first image of FIG. 6, the first determination unit 27 determines that the object image O 1 is a car and the object image O 2 is a pedestrian.
  • the second discriminating unit 28 discriminates the distance (second distance) to the object in the real space corresponding to the object images O 1 and O 2 detected by the object detecting unit 26 and discriminated by the first discriminating unit 27.
  • FIG. 7 schematically shows an example of the first image.
  • the second determination unit 28 measures the width w 1 of the object image O 1 recognized as an automobile in units of pixels. Second determining section 28, and a width w 1 and a typical vehicle width of a motor vehicle of the object image O 1, to determine the second distance corresponding to the object image O 1.
  • determination of a distance is not restricted to the width
  • the second determination unit 28 may estimate the distance from the width of the road image of the portion where the object images O 1 and O 2 are located.
  • the display processing unit 29 determines whether or not to display image elements corresponding to the object images O 1 and O 2 on the display device 30 according to the second distance determined by the second determination unit 28 (step S107).
  • the display processing unit 29 sets the first distance of the headlight 5 to the low beam arrival distance l 1 that is the distance that the light of the headlight 5 reaches in the low beam mode.
  • the low beam reach distance l 1 is, for example, 60 m.
  • the display processing unit 29 sets the first distance of the headlight 5 to the high beam arrival distance l 2 that is the distance that the light of the headlight 5 reaches in the high beam mode. .
  • the high beam reach distance l 2 is, for example, 120 m.
  • step S107 when it is determined that the object is a display target object, the display processing unit 29 selects an icon that is an image element based on the type of the object determined by the first determination unit 27.
  • FIG. 8 shows an example of an icon.
  • the icons may include a car icon 61, a person icon 62, an animal icon 63, a bicycle icon 64, and the like. Further, the icons are not limited to these icons 61-64, and various icons can be used.
  • the display processing unit 29 specifies the position where the display target object is to be displayed in the visual field of the driver 3 from the position information on the first images of the object images O 1 and O 2 .
  • the display processing unit 29 calculates display position information on the display element 32 for displaying an icon at this position.
  • the position where the display target object should be displayed within the visual field of the driver 3 is a position where the display target object can be seen in a bright environment.
  • the display processing unit 29 outputs the selected icon and position information on the display element 32 to the display device 30 via the output unit 24. As a result, the icon is displayed at an appropriate position on the display element 32 and projected to a position to be displayed within the visual field of the driver 3 (step S108).
  • FIG. 9 schematically shows an image projected by the display device 30 from the projection unit 34 onto the front windshield 50 of the vehicle 2 and visually recognized by the driver 3.
  • a vehicle icon 54 is displayed at a position where the vehicle 2 should be visually recognized in a bright environment within the illumination non-reaching region 53, and a person icon 55 is displayed at a position where a pedestrian should be visually recognized.
  • the region where the display device 30 projects an icon on the front windshield 50 differs depending on whether the headlight 5 is in the low beam mode or the high beam mode.
  • the first projection area 56 which is an area on which an image is projected in the low beam mode, is set as illustrated.
  • the second projection region 57 which is a region where an image is projected in the high beam mode, is narrower than the first projection region 56.
  • step S107 When it is determined in step S107 that the object is not a display target object, the display processing unit 29 does not perform the display instruction in step S108. If there are a plurality of objects detected by the object detection unit 26, the second determination unit 28 determines the distance, determines whether each object is a display target object, and displays only the display target object. Is displayed.
  • step S109 Except when the display processing unit 29 receives an instruction to end the system after instructing the display device 30 to display an icon or after determining that the display is not performed in step S107 (step S109), The process of the control unit 22 returns to S102 again. Thereafter, the control unit 22 repeats the processing from step S102 to S109.
  • the case where an instruction to end the system is received is, for example, a case where a power source of the apparatus main body 20 is turned off when a headlight signal indicating that the headlight 5 is turned off is received.
  • the display based on the first image is selectively performed only in the region where the light of the headlight 5 does not reach, and the display based on the infrared image is not displayed in the region where the light of the headlight 5 reaches, so that the display is easy to understand.
  • the display device 30 does not display an icon corresponding to the object. For this reason, it is not difficult to see objects and icons that are visible within the field of view of the driver 3.
  • the driver 3 visually recognizes the icon at the position where the display target object should be. be able to.
  • the icon is used to display the display target object, the display is simpler and easier to understand.
  • the selection information of the high beam mode and the low beam mode of the headlight 5 is acquired from the headlight control device 40, it is possible to display an icon in an appropriate display area according to the mode of the headlight 5. Become.
  • the driver 3 visually recognizes it with the naked eye. It is possible to display the foreground and the icon superimposed. For this reason, it is not necessary to move the line of sight from the front during driving, compared to the case of using a display device having a separate display surface. Therefore, the burden on the driver 3 is small, and the icon corresponding to the display target object can be visually recognized more naturally.
  • the display device 30 is a head-up display that projects a virtual image of an image displayed on the display element 32.
  • the area on the front windshield 50 where the image can be projected from the display device 30 is a range where the light projected from the projection unit 34 is reflected by the front windshield 50 and enters the eyeball of the driver 3. Limited to.
  • the reflection at the front windshield 50 is regular reflection, such a region is a limited region on the front windshield 50.
  • a part of the optical elements of the optical system 33, particularly the front windshield 50 is that at least a part of the light emitted from the display element 32 is regularly reflected toward the user's eyeball direction.
  • a reflection angle control member that reflects at different angles may be used. By using the reflection angle control member, it can be set so that the light emitted from the projection unit 34 is reflected by the front windshield 50 and directed toward the eyeball of the driver 3, and the image is displayed on the front windshield 50. It is possible to expand the area that can be used for
  • a metasurface can be used as the reflection angle control member.
  • the metasurface can reflect the incident light in an arbitrary direction by controlling the phase of the reflected wave.
  • FIG. 11 shows the foreground visually recognized through the front windshield 50 when the running road is curved.
  • the object detection display device 1 can move the first projection area 56 and the second projection area 57 according to the road curve. become.
  • icons can be displayed at appropriate positions in accordance with various driving environments such as road bending, uphill and downhill.
  • the object detection display device 101 includes a first far-infrared camera 111, a second far-infrared camera 112, a device main body 120, and a display device 130.
  • the apparatus main body 120 includes an input unit 121, a control unit 122, a memory 123, an output unit 124, and a position sensor 125.
  • the control unit 122 includes functional blocks of an object detection unit 126, a first determination unit 127, a second determination unit 128, and a display processing unit 129.
  • the display device 130 includes a control unit 131, a display element 132, and an optical system 133.
  • the first far-infrared camera 111 and the second far-infrared camera 112 are stereo cameras with far-infrared cameras that have a parallax and cooperate with each other.
  • the first far-infrared camera 111 and the second far-infrared camera 112 can image an object from two directions in cooperation.
  • the first far-infrared camera 111 and the second far-infrared camera 112 may be mounted on one housing.
  • the first far-infrared camera 111 and the second far-infrared camera 112 may be located independently of each other and separated from each other.
  • the first far-infrared camera 111 and the second far-infrared camera 112 are attached to the vehicle 2 with their optical axes facing forward so that they are parallel to each other. This parallelism is not limited to strict parallelism, but allows assembly deviations, mounting deviations, and deviations over time.
  • the optical axes of the first far-infrared camera 111 and the second far-infrared camera 112 are not limited to being parallel.
  • the control unit 122 can correct the deviation in the optical axis direction by image processing.
  • the first far-infrared camera 111 and the second far-infrared camera 112 are located away from each other in the direction intersecting the optical axis.
  • the first far-infrared camera 111 and the second far-infrared camera 112 may be arranged side by side along the vehicle width direction of the vehicle 2.
  • the first far infrared camera 111 is located on the left side of the second far infrared camera 112 when facing forward.
  • the second far infrared camera 112 is located on the right side of the first far infrared camera 111 when facing forward.
  • the first far-infrared camera 111 and the second far-infrared camera 112 may be fixed to any of a front bumper, a fender grill, a side fender, and a bonnet.
  • the first far infrared camera 111 and the second far infrared camera 112 output an image having parallax.
  • the distance can be measured by the principle of triangulation based on the difference in the coordinates of the object images in the images output from the first far-infrared camera 111 and the second far-infrared camera 112. Therefore, the stereo camera composed of the first far-infrared camera 111 and the second far-infrared camera 112 is also a sensor for measuring the distance.
  • the object detection display device 101 displays the object as a display target object.
  • the object detection display device 101 causes the display device 130 to display an icon corresponding to the display target object. The procedure will be described below.
  • the control unit 122 is a first far-infrared image that is an image obtained by imaging the far-infrared rays emitted from the objects from the first far-infrared camera 111 and the second far-infrared camera 112 via the input unit 121. And a 2nd far-infrared image is acquired.
  • the object detection unit 126 detects an object from both or one of the first far infrared image and the second far infrared image.
  • the first discriminating unit 127 discriminates the type of one or both of the first far-infrared image and the second far-infrared image in which the object is detected by the object detection unit 126.
  • the second determination unit 128 determines the distance (second distance) from the vehicle 2 to each object based on the parallax of the object images included in the first far-infrared image and the second far-infrared image. calculate.
  • the apparatus main body 120 may be equipped with a dedicated arithmetic element.
  • the distance determination process performed by the second determination unit 128 may be executed prior to the object type determination process performed by the first determination unit 127.
  • the distance determination process performed by the second determination unit 128 may be executed after the object type determination process performed by the first determination unit 127.
  • the display processing unit 129 determines whether the object included in the first far-infrared image and the second far-infrared image is a display target object, using the distance calculated by the second determination unit 128. After the display target object is determined, the display processing unit 129 can generate a display image based on one or both of the first far-infrared image and the second far-infrared image and output the display image to the display device 130.
  • the object can be detected and the image can be displayed by a procedure substantially similar to the procedure shown in the flowchart of FIG. Since other configurations and operations are similar to those of the first embodiment, description thereof is omitted.
  • the present embodiment in addition to the effects of the object detection display device 1 of the first embodiment, by using the first far-infrared camera 111 and the second far-infrared camera 112, distance discrimination by the second discrimination unit 128 is possible. Accuracy is improved.
  • An object detection display device 201 according to the third embodiment shown in FIG. 13 is obtained by adding a distance sensor 213 to the object detection display device 1 according to the first embodiment.
  • the same or corresponding components as those in the first embodiment are denoted by reference numerals obtained by adding 200 to the reference numerals in the first embodiment shown in FIG. The description is omitted when there is no particular difference between the same or corresponding components of the first embodiment and the configuration or operation.
  • description will be made using the same reference numerals as in the first embodiment.
  • the object detection display device 201 includes a far-infrared camera 210, a distance sensor 213, a device main body 220, and a display device 230.
  • the apparatus main body 220 includes an input unit 221, a control unit 222, a memory 223, an output unit 224, and a position sensor 225.
  • the control unit 222 includes functional blocks of an object detection unit 226, a first determination unit 227, a second determination unit 228, and a display processing unit 229.
  • the display device 230 includes a control unit 231, a display element 232, and an optical system 233.
  • the distance sensor 213 is a sensor that measures a distance (second distance) from the vehicle 2 to an object in front of the vehicle 2.
  • Sensors that measure distance include millimeter wave radar, laser radar, ultrasonic sensors, or combinations thereof. Similar to the far-infrared camera 10, these sensors can be mounted at various positions on the vehicle 2.
  • a horizontal position of an object to be detected can be determined by scanning an electromagnetic wave having a narrow beam width at high speed in the horizontal direction. Alternatively, the horizontal position can be determined by sequentially switching electromagnetic waves having different directions.
  • the millimeter wave radar is a sensor that uses millimeter wave radio waves, and can be used during fog, rain, snow, and the like.
  • the distance sensor 213 outputs the distance information to the control unit 222 via the input unit 221.
  • the second determination unit 228 determines the distance (second distance) to the object in the real space corresponding to the object image in the first image acquired by the far-infrared camera 210 based on the distance information obtained from the distance sensor 213. To do.
  • the object can be detected and the image can be displayed by a procedure substantially similar to the procedure shown in the flowchart of FIG. Since other configurations and operations are similar to those of the first embodiment, description thereof is omitted.
  • the distance determination accuracy by the second determination unit 228 is improved by using the distance sensor 213.
  • the object detection display device 301 according to the fourth embodiment shown in FIG. 14 is obtained by adding a visible light camera 314 to the object detection display device 1 according to the first embodiment.
  • a visible light camera a camera having sensitivity to light in the visible light wavelength region
  • an image obtained by imaging with a visible light camera is called a visible light image.
  • the visible light image is also called a second image.
  • FIG. 14 the same or corresponding components as those of the first embodiment are denoted by reference numerals obtained by adding 300 to the reference numerals of the first embodiment shown in FIG. The description is omitted when there is no particular difference between the same or corresponding components of the first embodiment and the configuration or operation. Components not included in FIG. 14 will be described using the same reference numerals as in the first embodiment.
  • the object detection display device 301 includes a far-infrared camera 310, a visible light camera 314, a device main body 320, and a display device 330.
  • the apparatus main body 320 includes an input unit 321, a control unit 322, a memory 323, an output unit 324, and a position sensor 325.
  • the control unit 322 includes functional blocks of an object detection unit 326, a first determination unit 327, a second determination unit 328, and a display processing unit 329.
  • the display device 330 includes a control unit 331, a display element 332, and an optical system 333.
  • the visible light camera 314 is a camera that captures an image with light having a wavelength in the visible light region.
  • the visible light camera 314 includes an image sensor.
  • the imaging device includes a CCD image sensor (Charge-Coupled Device Device Image Sensor) and a CMOS image sensor (Complementary MOS Image Sensor).
  • the visible light camera 314 includes an optical system for forming an image on the image sensor.
  • the optical system can be composed of one or more lenses.
  • the visible light camera 314 may be a color camera or a monochrome camera.
  • the visible light camera 314 can be arranged adjacent to each other so that the optical axis of the far-infrared camera 310 is parallel to the optical axis.
  • the visible light camera 314 may be fixed in a similar manner at a position similar to the far-infrared camera 310 of the vehicle 2.
  • the visible light camera 314 may be fixed to the vehicle 2 separately from the far infrared camera 310.
  • the visible light camera 314 images at least partially the same area as the far-infrared camera 310.
  • the visible light camera 314 may capture images at the same timing and the same frame rate as the far-infrared camera 310. Imaging of the visible light camera 314 and the far-infrared camera 310 may not be synchronized.
  • the visible light camera 314 outputs the captured second image to the control unit 322 via the input unit 321.
  • the object detection unit 326 of the control unit 322 detects an object image from the second image in addition to the first image.
  • the second determination unit 328 determines, for each object detected from the first image by the object detection unit 326, whether an object image having a luminance of a predetermined value or more is detected from a corresponding position in the second image. When an object image is detected from a corresponding position of the second image, the second determination unit 328 determines that the object is located within the light arrival distance (first distance) of the headlight 5.
  • the second determination unit 328 For each object detected by the object detection unit 326 from the first image, when an object image is not detected from the corresponding position of the second image, the second determination unit 328 causes the light arrival distance of the headlight 5 to be detected. (First distance) It is determined that it is located at a position separated by more than. When the luminance of the object image of the second image detected at a position corresponding to the object image detected from the first image is equal to or lower than a predetermined value, the second determination unit 328 determines that the object is the first distance of the headlight 5. It is determined that it is located at a position away from the above.
  • step S201 is similar to step S101 of FIG. 4 in the first embodiment.
  • the control unit 322 does not need to acquire the selection information of the mode of the headlight 5 as in step S102 of the first embodiment.
  • the control unit 322 acquires the first image in the same manner as Step S103 of the first embodiment (Step S202).
  • the control unit 322 acquires the second image from the visible light camera 314 via the input unit 321 (step S203).
  • the object detection unit 326 detects an object by detecting an object image from the first image (step S204).
  • 16 and 17 schematically show an example of the first image and an example of the second image, respectively, for explanation.
  • the object image O 1 and the object image O 2 are captured.
  • the headlight 5 is in the low beam mode.
  • the object image O 1 corresponds to an object located 40 m ahead of the vehicle 2.
  • the object image O 2 corresponds to an object located 80 m ahead of the vehicle 2.
  • the object image O 12 of an object located at a distance greater than or equal to the first distance of the headlight 5 is not captured.
  • an object image O 11 of an object located at a position that is a distance shorter than the first distance of the headlight 5 is captured.
  • the second determination unit 328 May be determined to be a display target object.
  • the second determination unit 328 determines that the object is not a display target object if the object image corresponding to the object image detected from the first image is included in the second image and has a predetermined luminance or higher. In the example of FIGS. 16 and 17, it is determined that the object corresponding to the object image O 2 is the display target object.
  • the first determination unit 327 determines the type of object for the object image O 2 determined to be an image of the display target object (step S206).
  • the display target object is a pedestrian. Note that the determination of the object type by the first determination unit 327 may be performed between step S204 and step S205 instead of after step S205.
  • the display processing unit 329 selects an icon corresponding to the type of the display target object determined by the first determination unit 327 in step S206 and causes the display device 330 to display the icon (step S207). At this time, as shown in FIG. 18, the person icon 55 is displayed as a virtual image in the foreground that the driver 3 can visually recognize.
  • step S205 when the object images O 11 and O 12 corresponding to the object images O 1 and O 2 detected from the first image are in the second image, and after step S207 ends, the process proceeds to step S208. Proceed to In step S208, the process of the control unit 322 returns to S202 again except when an instruction to end the system is received. Thereafter, the control unit 322 repeats the processing from step S202 to S208.
  • the object detection display device 301 detects a display target object that is more than the light arrival distance (first distance), and the driver 3 can be projected in a viewable manner.
  • An object detection display device 401 according to the fifth embodiment shown in FIG. 19 is different from the object detection display device 1 according to the first embodiment in that a display device 430 having a display unit 435 of a flat panel display is used instead of the display device 30.
  • a display device 430 having a display unit 435 of a flat panel display is used instead of the display device 30.
  • FIG. 19 the same or corresponding components as those of the first embodiment are denoted by reference numerals obtained by adding 400 to the reference numerals of the first embodiment shown in FIG. The description is omitted when there is no particular difference between the same or corresponding components of the first embodiment and the configuration or operation.
  • description will be made using the same reference numerals as in the first embodiment.
  • the object detection display device 401 includes a far-infrared camera 410, a device main body 420, and a display device 430.
  • the apparatus main body 420 includes an input unit 421, a control unit 422, a memory 423, and an output unit 424.
  • the control unit 422 includes functional blocks of an object detection unit 426, a first determination unit 427, a second determination unit 428, and a display processing unit 429.
  • the display device 430 includes a control unit 431 and a display unit 435. The display device 430 can display an image input from the visible light camera 450 provided in the vehicle 2.
  • the display unit 435 of the display device 430 includes, for example, a liquid crystal display (LCD: Liquid Crystal Display), an organic EL display, an inorganic EL display, a plasma display (PDP: Plasma Display Panel), a field emission display (FED: Field Display, Display), Various flat panel displays such as an electrophoretic display and a twist ball display can be adopted.
  • the display part 435 can arrange
  • Display device 430 displays the foreground of vehicle 2 input from visible light camera 450.
  • the display device 430 can be shared with a display device used for other purposes in the vehicle 2.
  • the visible light camera 450 is a camera that captures an image with light having a wavelength in the visible light region.
  • the visible light camera 450 is configured similarly to the visible light camera 314 of the fourth embodiment, and can be disposed at a similar position on the vehicle 2. Unlike the visible light camera 314 of the fourth embodiment, the visible light camera 450 outputs the second image directly to the display device 430 instead of outputting the second image to the apparatus main body 420.
  • the control unit 431 of the display device 430 receives the display target object icon and the display position information generated by the display processing unit 429 of the device main body 420 and output from the output unit 424.
  • the control unit 431 displays an icon superimposed on the image of the visible light camera 450 displayed on the display device 430.
  • an object can be detected and an image can be displayed by a procedure substantially similar to the procedure shown in the flowchart of FIG. 4 of the first embodiment, except that the display method by the display device 430 is different. Since other configurations and operations are the same as those of the first embodiment, the description thereof is omitted.
  • an icon indicating a display target object can be displayed on the foreground image displayed on the flat panel display.
  • the display device 430 can also be used as a display device of another system such as a navigation system provided in the vehicle 2.
  • the display device 430 directly receives an image of the visible light camera 450.
  • the image of the visible light camera 450 may be output to the display device 430 via the device main body 420.
  • the object detection display device 401 may combine the icon displayed in the display processing unit 429 and the foreground image of the vehicle 2, generate an image displayed on the display device 430, and output the image to the display device 430. .
  • a flat panel display may be used for image display similarly to the fifth embodiment.
  • the driver is not limited to visually recognizing the display image.
  • a head-up display is used for the display device, the user of the front passenger seat or the rear seat may make the image visible. Icons displayed on the display device may have different sizes depending on the distance to the display target object (second distance).
  • the display device is not limited to a head-up display and a flat panel display, and various types of display devices can be used.
  • a CRT Cathode Ray Tube
  • a head mounted display can be used as the display device.
  • the selection information for turning on and off the headlight and the high beam mode and the low beam mode may be acquired in conjunction with the operation of the headlight switch, instead of being acquired from the headlight control device. Alternatively, these pieces of information may be input manually.
  • the headlight mode is not limited to the two types of the high beam mode and the low beam mode, and can be various modes in which the direction or brightness of the headlight is changed.
  • Object detection display device 2 Vehicle 3 Driver 5 Headlight 10, 210, 310, 410 Far-infrared camera 20, 120, 220, 320, 420 Device body 21, 121, 221 321, 421 Input unit 22, 122, 222, 322, 422 Control unit (processor) 23, 123, 223, 323, 423 Memory 24, 124, 224, 324, 424 Output unit 25, 125, 225, 325 Position sensor 26, 126, 226, 326, 426 Object detection unit 27, 127, 227, 327, 427 First determination unit 28, 128, 228, 328, 428 Second determination unit 29, 129, 229, 329, 429 Display processing unit 30, 130, 230, 330, 430 Display device 31, 131, 231, 331, 431 Control unit 32, 132, 232, 332, 432 Display element 33, 133, 233, 333 Optical system 34 Projection unit 40, 140, 240, 340, 440 Headlight control device 50 Front

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Abstract

移動体に搭載される物体検出表示装置は、遠赤外線カメラ１０と、表示装置３０と、制御部２２（プロセッサ）とを備える。制御部２２は、遠赤外線カメラ１０により出力される第１画像から、移動体のヘッドライト５からの光が到達する光到達距離以上離れた表示対象物体の像を検出し、第１画像上での表示対象物体の像の位置に基づいて、表示装置３０に表示対象物体に対応する画像要素を表示させる。

Description

物体検出表示装置、移動体及び物体検出表示方法 関連出願の相互参照
　本出願は、２０１６年６月２９日に出願された日本国特許出願２０１６－１２８７２７号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、物体検出表示装置、移動体及び物体検出表示方法に関する。
　近年、車両を含む移動体の走行安全性の向上のため、カメラによる画像認識およびレーダなどの種々の装置が移動体に搭載されつつある。これらのシステムは、例えば前方にある障害物を識別して、運転者への警告、自動制御等に使用される。
　物体から放射される遠赤外線を用いて撮像を行う遠赤外線カメラは、太陽光が届かない夜間でも撮像可能なので、夜間の運転支援のために使用することができる。例えば、歩行者から放射される遠赤外線による画像の形状をパターン化し、パターンマッチングにより遠赤外線により撮像した画像内から歩行者を抽出するシステムが提案されている（例えば、特許文献１参照）。
特開２００７－５８８０５号公報
　本発明の一実施形態に係る物体検出表示装置は、移動体に搭載される。物体検出表示装置は、遠赤外線カメラと、表示装置と、プロセッサとを含む。プロセッサは、遠赤外線カメラにより出力される画像である第１画像から、移動体のヘッドライトからの光が到達する第１距離以上離れた表示対象物体の像を検出する。プロセッサは、第１画像上での表示対象物体の像の位置に基づいて、前記表示装置に表示対象物体に対応する画像要素を表示させる。
　本発明の一実施形態に係る移動体は、物体検出表示装置を含む。物体検出表示装置は、遠赤外線カメラと、表示装置と、プロセッサとを有する。プロセッサは、遠赤外線カメラにより出力される第１画像から、ヘッドライトからの光が到達する第１距離以上離れた表示対象物体の像を検出する。プロセッサは、第１画像上での表示対象物体の像の位置に基づいて、表示装置に表示対象物体に対応する画像要素を表示させる。
　本発明の一実施形態に係る物体検出表示方法は、遠赤外線により撮像された第１画像を取得することを含む。物体検出表示方法は、第１画像から、移動体のヘッドライトからの光が到達する距離である第１距離以上離れた表示対象物体の像を検出することを含む。物体検出表示方法は、第１画像上での表示対象物体の像の位置に基づいて、表示対象物体に対応する画像要素を表示させることを含む。
図１は、第１実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図２は、車両に搭載した物体検出表示装置の構成要素の配置と画像表示の例を示す図である。 図３は、車両のヘッドライトの光到達距離（第１距離）および遠赤外線による物体の検出可能な距離を示す図である。 図４は、第１実施形態における装置本体の制御部の処理手順の一例を示すフローチャートである。 図５は、運転者の視点で、夜間にフロントウィンドシールドを通して見る前方の光景の一例を示す図である。 図６は、遠赤外線カメラにより取得可能な前方の光景の一例を示す図である。 図７は、物体像の大きさによる距離判別方法を説明する図である。 図８は、表示画像上に表示されるアイコンを例示する図である。 図９は、フロントウィンドシールドを通して見える前方の光景に重畳して表示されるアイコンの虚像を示す図である。 図１０は、ハイビームモードおよびロービームモードにおけるアイコンの表示領域を示す図である。 図１１は、前方の道路がカーブしているときのアイコンの表示領域を示す図である。 図１２は、第２実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図１３は、第３実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図１４は、第４実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図１５は、第４実施形態における装置本体の制御部の処理手順の一例を示すフローチャートである。 図１６は、遠赤外線画像（第１画像）の一例を示す図である。 図１７は、可視光画像（第２画像）の一例を示す図である。 図１８は、フロントウィンドシールドへのアイコンの投影を説明する図である。 図１９は、第５実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図２０は、第５実施形態に係る物体検出表示装置において、可視光カメラの画像が装置本体を経由する例を示すブロック図である。
　遠赤外線カメラを備えた移動体において、夜間であってもヘッドライトの光が十分到達可能な領域に物体があるとき、表示装置が遠赤外線カメラによる画像を表示しなくとも、運転者は道路上の物体を肉眼で認識することが可能である。その場合は、表示装置によって特別に加工された画像よりも、肉眼で直接視認した実物の方が、運転者にとって自然に感じられる。したがって、遠赤外線画像の必要性は高くは無い。ヘッドライト等の照明が十分到達しない領域に物体があるとき、遠赤外線カメラで撮影した画像は、肉眼では見えない物体あるいは見えにくい物体を可視化するので非常に有用である。本開示に係る物体検出表示装置は、ヘッドライトの光が十分に到達しない領域に位置する物体について、選択的に遠赤外線カメラによる表示を行うものである。
　以下、本開示の実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
（第１実施形態）
　図１に示すように、本開示の物体検出表示装置１は車両に搭載され、遠赤外線カメラ１０、装置本体２０、表示装置３０を含んで構成される。車両は、移動体に含まれる。本開示の「車両」は、道路上を走行する車両を含み、特に、乗用車、トラック、バス、二輪車、及びトロリーバス等を含む。また、「車両」は、道路上を走行するブルドーザー、クレーン車、ショベルカー等の工事用車両及びトラクターなどの農業用車両等も含む。図１のヘッドライト制御装置４０は、車両のヘッドライトを制御する制御装置である。
　図２に例示するように、遠赤外線カメラ１０は、車両２の前方に光軸を向けて車両２の前方に固定することができる。遠赤外線カメラ１０は、ヘッドライト５とほぼ同じ高さであって、車両２のフロントバンパーの中央に付近に固定することができる。遠赤外線カメラ１０の設置位置はこれに限られず、車両２のボンネット等に固定されてよい。装置本体２０は、車両２のダッシュボード内に埋め込まれ、遠赤外線カメラ１０と通信ケーブル等を介して電気的に接続されてよい。装置本体２０は、ダッシュボード内に限らず、車室内または他の場所に配置してもよい。表示装置３０は、ヘッドアップディスプレイとすることができる。表示装置３０は、ダッシュボード内に内蔵され、車両２のフロントウィンドシールド５０に向けて画像を投影してよい。画像は、運転者３の視野内に視認可能に投影される。表示装置３０は、装置本体２０と通信ケーブル等を介して電気的に接続されている。以下に、各構成要素の詳細を説明する。
　図１において、遠赤外線カメラ１０は、遠赤外線による画像を撮像するカメラである。遠赤外線は、温度に応じて物体から放出される波長約４μｍから１ｍｍの電磁波である。遠赤外線カメラ１０は、例えば８μｍから１４μｍ程度の波長帯域の光を検出するカメラが使用できる。遠赤外線カメラ１０の波長帯域はこれに限られず、この帯域以外の他の帯域、または、この帯域を含む他の帯域の光を撮像してよい。遠赤外線カメラ１０を構成するレンズなどの光学部材としては、例えば、ゲルマニウム、シリコン、硫化亜鉛等が使用される。光学部材の材料としては、使用する遠赤外線の波長に応じて、他の材料を使用してよい。遠赤外線カメラ１０の撮像素子としては、マイクロボロメータ型の検出器を使用することができる。遠赤外線カメラ１０の撮像素子としては、熱電素子及び焦電素子などの他の熱型赤外センサ、又は、量子型赤外線撮像素子等を用いることができる。
　遠赤外線カメラ１０は、所定のフレームレートで遠赤外線画像を撮像する。本願では、物体から放出される遠赤外線を遠赤外線カメラ１０により結像させて得た画像を、遠赤外線画像とよぶ。遠赤外線画像を第１画像とも呼ぶ。遠赤外線カメラ１０のフレームレートは３０ｆｐｓ（frame per second）または、６０ｆｐｓとすることができるが、１０ｆｐｓ程度としてもよい。フレームレートは、設計に応じて適宜定めることができる。また、遠赤外線カメラ１０は、車両２の速度に応じてフレームレートを変化させてもよい。
　装置本体２０は、遠赤外線カメラ１０からの入力を受けて、物体を検出し表示装置３０で表示する表示画像を生成する。装置本体２０は、入力部２１、制御部２２、メモリ２３、出力部２４及び位置センサ２５を含む。
　入力部２１は、遠赤外線カメラ１０から装置本体２０へ第１画像を入力する入力インタフェースである。入力部２１は、車両２のヘッドライト制御装置４０からヘッドライト５の状態を示すヘッドライト信号を受信する入力インタフェースでもある。
　入力部２１は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、IEC60603に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。
　入力部２１は、遠赤外線カメラ１０が撮像した第１画像、及び、ヘッドライト制御装置４０から入力されたヘッドライト信号を制御部２２に引き渡すことができる。
　制御部２２は、一つまたは複数のプロセッサを含む。制御部２２もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する一つまたは複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部２２は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。
　制御部２２は、遠赤外線カメラ１０の起動及び終了を制御してよい。例えば、制御部２２は、ヘッドライト制御装置４０から、ヘッドライト５の点灯を示すヘッドライト信号を受信したとき、遠赤外線カメラ１０の出力を用いた物体検出表示処理を起動してよい。
　制御部２２は、物体検出部２６、物体の種別を判別する第１判別部２７、距離を判別する第２判別部２８及び表示処理部２９の各機能ブロックを有する。各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。それぞれの機能ブロックが行える動作を、制御部２２は実行できる。各機能ブロックが行う動作は、制御部２２が行う動作として言い換えることができる。制御部２２が各機能ブロックのいずれかを使役して行う処理は、制御部２２が自ら実行してよい。
　物体検出部２６は、遠赤外線カメラ１０で撮像された第１画像から、物体の像を検出する。物体の像を物体像ともよぶ。物体像の検出は、エッジ検出法及び領域分割法等、種々の方法を用いることができる。例えば、物体検出部２６は、前方に物体が存在しない場合の遠赤外線画像を記憶する。物体検出部２６は、物体の像を含む第１画像が入力されると、物体が存在しない場合の遠赤外線画像と差分をとる。さらに、物体検出部２６は差分として得られた画像を二値化し、二値化した画像から画素数の少ないかたまりをノイズとして除去し、残った画素の集まりを物体像と認識することができる。物体検出部２６は、遠赤外線カメラ１０で撮像された第１画像に対して、歪み補正、明度調整、コントラスト調整等の任意の処理を行った後、物体検出を行うようにしてよい。
　第１判別部２７は、物体検出部２６で検出された物体像から物体の種別を判定する。物体検出部２６は、例えば、自動車、歩行者、自転車等の物体像の画像のパターンを有しており、パターンマッチング処理によって、物体の種別を判定することができる。第１判別部２７は、画像のパターンを、メモリ２３に格納しているものから必要に応じて取得してよい。例えば、二本の足を有する上下方向に長いパターンは、歩行者と判断されうる。なお、第１判別部２７は、物体検出部２６と一体であってもよい。すなわち、物体検出部２６での物体の検出を、予め定めた物体像の画像のパターンに一致するか否かに基づいて行うことができる。その場合は、物体検出部２６で物体を検出するとともに、物体の種別まで決定される。
　第２判別部２８は、検出した物体までの距離を判別する。本実施形態では、第２判別部２８は、第１判別部２７で判別した物体の種別と、第１画像中の当該物体の像の大きさに基づいて距離を判別する。例えば、物体が乗用車の場合、例えば、日本の乗用車の車幅は１７０ｃｍから１８０ｃｍ程度が多いことから、検出された車両２の第１画像上での車幅の大きさから、距離を推定することができる。類似して、検出した物体が歩行者の場合、第１画像上での上下方向の長さに基づいて距離を推定することができる。
　表示処理部２９は、物体検出部２６で検出された物体について、第２判別部２８で判別した距離に従って、表示装置３０に表示するか否かを決定する。表示処理部２９は、第２判別部２８で判別した物体までの距離が、ヘッドライト５の光の到達距離よりも短い場合、表示装置３０に物体の存在を示す表示をしない。本願において、ヘッドライト５の光の到達距離を光到達距離とよぶ。光到達距離を第１距離ともよぶ。また、車両２から物体までの距離を第２距離とよぶ。表示処理部２９は、第２判別部２８で判別した第２距離が、第１距離以上離れている場合は、物体を表示対象物体と判別し、物体に対応する画像要素を表示装置３０に表示させる。画像要素とは、物体を簡略化して示す図形、マーク、または、シンボルなどを意味する。表示処理部２９は、第１画像から表示対象物体の像を抽出し、これを画像要素として表示装置３０に表示させることもできる。表示対象物体とは、その物体に対応する画像要素を表示装置３０により表示する対象となる物体である。
　表示処理部２９は、表示装置３０に物体に対応する画像要素を表示するとき、第１判別部２７で決定した物体の種別に基づいて、画像要素を選択する。画像要素はアイコンとしてよい。表示処理部２９は、物体検出部２６で検出した表示対象物体の像の位置に対応する位置に、アイコンの画像が表示されるように、表示装置３０に出力する画像を生成してよい。アイコンの画像のデータは、メモリ２３に記憶しておくことができる。表示処理部２９は、メモリ２３よりアイコン画像のデータを適宜読み出すことができる。
　メモリ２３は、物体検出表示装置１の実行する処理に必要となる画像データ等のデータを保存する記憶装置である。メモリ２３には、遠赤外線カメラ１０が撮像した画像が一時的に格納され得る。メモリ２３には、第１判別部２７が物体の種別を判別するために用いるパターンが格納され得る。メモリ２３には、表示処理部２９が表示対象物体を表示装置３０に表示させる画像信号を生成する際に用いるアイコン画像が格納され得る。メモリ２３は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等の揮発性メモリ、及び、およびフラッシュメモリ等の不揮発性メモリなどを用いることができる。
　出力部２４は、装置本体２０から表示装置３０へ画像信号を出力する出力インタフェースである。出力部２４は、物理コネクタ、及び無線通信機が採用できる。図１に示す本実施形態において、出力部２４は入力部２１と分かれているが、これに限られない。入力部２１および出力部２４は１つの通信部であってよい。通信部は、物理コネクタ、及び無線通信機が採用できる。
　位置センサ２５は、車両２の運転者３の頭部の位置を検出するためのセンサである。運転者３は、物体検出表示装置１の使用者である。位置センサ２５としては、車両２の車室内部に設置したカメラを用いることができる。位置センサ２５により測定される頭部の位置情報は、表示装置３０において表示されるアイコンの位置を、運転者３の視野内の表示対象物体のあるべき位置に自動的に位置合わせするために使用できる。位置センサ２５は、必須の構成ではなく、位置センサ２５を用いなくとも予め運転者３の運転時の頭の位置に応じて、表示装置３０の画像の投影位置を調整することが可能である。
　表示装置３０は、ヘッドアップディスプレイを使用することができる。ヘッドアップディスプレイとしての表示装置３０は、制御部３１、表示素子３２および光学系３３を含んで構成される。
　制御部３１は、表示装置３０全体を制御する。例えば、制御部３１は、装置本体２０から出力される画像信号を受けて、表示素子３２に表示される画像、または、表示素子３２の光源の発光強度等を制御する。制御部３１は、アプリケーションソフトウェアを実行可能なプロセッサまたはマイクロコンピュータ等により構成されうる。制御部３１は、表示素子３２を動作させるためのプログラム等が格納される記憶デバイスを備えてよい。記憶デバイスは、例えば半導体メモリ等で構成されうる。記憶デバイスは、制御部３１のワークメモリとして機能してよい。光学系３３を構成するミラー等の光学素子の向きが調整可能な場合、制御部３１は光学系３３の調整可能な光学素子を制御することにより光学系３３を制御する。制御部３１は、装置本体２０の位置センサ２５にて取得される運転者３の頭部の位置情報に基づいて、光学系３３を制御して、画像の投影位置を調整することができる。
　表示素子３２は、光学系３３により投影する画像を表示する。表示素子３２は、例えば、ＬＣＤ（Liquid Crystal Display）等の透過型液晶デバイス、ＬＣＯＳ（Liquid Crystal On Silicon）等の反射型液晶デバイスまたは有機ＥＬディスプレイ（ＯＬＥＤ：Organic Electro-Luminescence Display）等の自発光型の表示素子を備えてよい。また、表示素子３２は、デジタルミラーデバイス（ＤＭＤ：Digital Mirror Device）またはＭＥＭＳ（Micro Electro Mechanical System）ミラー等のミラーデバイスを備えてよい。以下では、ＬＣＤ等を表示素子３２に使用した場合について説明する。
　表示素子３２は、装置本体２０の出力部２４から、表示処理部２９で生成された画像信号を受信する。画像信号には、表示されるべきアイコンとその表示位置の情報が含まれる。表示素子３２は、ダッシュボードの内部に設置しうる。表示素子３２の設置位置は、ダッシュボードの内部に限られず、例えば、ダッシュボードの上または車両２のバックミラーの近くに配置することもできる。
　光学系３３は、ダッシュボード内に配置した凹面鏡及びフロントウィンドシールド５０を含み得る。フロントウィンドシールド５０の運転者３側に向いた面は、可視光領域の光を部分的に反射してよい。光学系３３は、表示素子３２に表示された画像を凹面鏡及びフロントウィンドシールド５０で反射し、運転者３の視野内に表示素子３２に表示される画像の虚像を視認可能に投影する。表示素子３２からの光を反射するため、フロントウィンドシールド５０の表面には、加工またはコーティングが施されていてよい。光学系３３は、表示素子３２に表示される画像の虚像を、フロントウィンドシールド５０を通して見える前方の光景に重畳して、運転者３の視野内に投影する。以下、適宜前方の光景を前景ともいう。光学系３３は、凹面鏡およびフロントウィンドシールド５０の組合せに限られず、レンズまたは他の光学素子を含んでよい。虚像を投影するためにフロントウィンドシールド５０に代えて、コンバイナを使用することもできる。コンバイナとは、フロントウィンドシールドとは独立したヘッドアップディスプレイの画像を反射させるためのハーフミラーである。
　ヘッドライト制御装置４０は、ヘッドライト５を制御する車両２に内蔵される制御装置である。ヘッドライト制御装置４０は、装置本体２０の入力部２１に対して、ヘッドライト５の点灯または消灯状態を示す信号、および、ヘッドライト５の点灯時におけるモードの選択情報を示す信号をヘッドライト信号として送信する。モードの選択情報はヘッドライト５がハイビームモード及びロービームモードを含むモードの何れのモードかを示す。ヘッドライト信号は、ヘッドライト５のスイッチが操作されたときなど、ヘッドライト５の状態に変更が加わったときに送信されてよい。ヘッドライト信号は、所定の間隔で常時送信されてもよい。
　ここで、図３を参照して、車両２のヘッドライト５の光到達距離（第１距離）および遠赤外線カメラ１０による物体の検出可能な距離について説明する。ヘッドライトは、前照灯とも称する。ヘッドライトのハイビームモードは、「走行用前照灯」とも呼ばれる。日本の道路運送車両の保安基準によれば、ハイビームモードは、夜間に前方１００ｍの距離にある障害物を確認できる性能を有するものである。また、ロービームモードは、「すれ違い用前照灯」とも呼ばれる。ロービームモードは、上記保安基準によれば、他の交通を妨げず夜間に前方４０ｍの距離にある障害物を確認できる性能を有するものである。
　一般的な車両では、ロービームモードにおいては、光到達距離は約６０ｍである。以下において、ロービームモードでの光到達距離をロービーム到達距離ｌ1とよぶ。また、ハイビームモードでの光到達距離は、約１２０ｍである。以下において、ハイビームモードでの光到達距離をハイビーム到達距離ｌ2とよぶ。ロービーム到達距離ｌ1およびハイビーム到達距離ｌ2は、それぞれ、ロービームモードおよびハイビームモードでの第１距離である。夜間において、車両のヘッドライトがロービームモードのとき、車両から物体までの距離（第２距離）が６０ｍ以内であれば、ヘッドライトの光によって物体を視認することができる。しかし、第２距離が６０ｍを超えると、物体を視認することは困難である。また、夜間において、車両のヘッドライトがハイビームモードのとき、第２距離が１２０ｍ以内であれば、ヘッドライトの光によって物体を視認することができる。しかし、第２距離が１２０ｍを超えると、物体を視認することは困難である。
　本願における第１距離は、上述のようにヘッドライト５のモードの選択情報に応じて、予め定まる距離とすることができる。別法として、第１距離は、車両２から実際に観察されるヘッドライト５の光が到達している上限の距離としてよい。ヘッドライト５の光は、車両２からの距離にともない徐々に低下する。よって、第１距離は、車両２から観察される物体からのヘッドライト５の反射光の強度に閾値を設け、反射光の強度が閾値より小さくなる距離として定めてもよい。閾値は、夜間において運転者３が物体を視認し難くなる程度の光の強度に設定しうる。
　遠赤外線カメラ１０により物体を検知可能な距離ｌ3は、約２００ｍである。したがって、遠赤外線カメラ１０は、ヘッドライト５がロービームモードのとき、車両２から６０ｍ－２００ｍの距離に位置する物体を検出するのに有効である。また、遠赤外線カメラ１０は、ヘッドライト５がハイビームモードのとき、１２０ｍ－２００の距離に位置する物体を検出するのに有効である。
　以下に、物体検出表示装置１を用いて、運転者３の視野内へ、表示対象物体に対応する画像要素を表示する物体検出表示方法の例について、図４のフローチャートを用いて説明する。
　装置本体２０の制御部２２は、ヘッドライト制御装置４０からヘッドライト５が点灯状態であることを示すヘッドライト信号を受信すると、遠赤外線カメラ１０、装置本体２０の各部、及び、表示装置３０が起動される（ステップＳ１０１）。
　制御部２２は、ヘッドライト制御装置４０から、ヘッドライト５がハイビームモード及びロービームモードの何れであるかを示す選択情報を含むヘッドライト信号を受信する（ステップＳ１０２）。制御部２２は、受信した選択情報が示すヘッドライト５のモードに応じて、以下の処理を行う。
　制御部２２は、遠赤外線カメラ１０から、第１画像を取得する（ステップＳ１０３）。制御部２２は、取得した第１画像に基づいて、物体検出部２６、第１判別部２７、第２判別部２８、表示処理部２９の各部で順次以下の処理を行う。
　物体検出部２６は、第１画像から物体像を、画像上の位置情報と共に検出する（ステップＳ１０４）。
　太陽光の届かない夜間において、ヘッドライト５以外の光が無いか、または、ヘッドライト５以外の光が乏しい場合、運転者３の視界には、図５に示すように、フロントウィンドシールド５０を通した前景が視認される。図５において、車内のミラー５１と表示装置３０の投影部３４も併せて表示している。投影部３４は、ダッシュボード内の表示素子３２からの光がダッシュボードの上側に射出される窓部であり、光学系３３の光路の一部に設けられる。運転者３の視認する前景において、路面５２が車両２の前方の光到達距離である第１距離まで見ることができる。第１距離は、ヘッドライト５がロービームモードのとき約６０ｍ、ヘッドライト５がハイビームモードのとき約１２０ｍである。第１距離以上離れた場所は、光が届かないため暗くなっている。この領域を照明非到達領域５３とよぶ。
　遠赤外線カメラ１０は、図６に一例を示すように、暗い環境下で人の眼では視認できない物体を撮像することができる。遠赤外線カメラ１０の撮像する画像は、撮像される物体の温度に応じて輝度が異なる。例えば、昼の間に路面温度が上昇し、夜になっても周辺の温度よりも路面温度が高ければ、路面５２が明るく表示される。また、遠赤外線カメラ１０は、約２００ｍ前方の物体まで検出することが可能なので、ヘッドライト５の光のみでは視認できなかった物体像Ｏ1，Ｏ2を検出することが可能になる。図６において、物体像Ｏ1は自動車の像である。図６において、物体像Ｏ2は歩行者の像である。物体検出部２６は、遠赤外線カメラ１０から出力された第１画像から、物体像Ｏ1，Ｏ2を検出することができる。
　第１判別部２７は、物体検出部２６で検出した物体像Ｏ1，Ｏ2の種別を判別する（ステップＳ１０５）。例えば、図６の第１画像において、第１判別部２７は、物体像Ｏ1を自動車、物体像Ｏ2を歩行者と判別する。
　第２判別部２８は、物体検出部２６で検出し、第１判別部２７で種別を判別した物体像Ｏ1，Ｏ2に対応する実空間の物体までの距離（第２距離）を判別する（ステップＳ１０６）。図７は、第１画像の例を模式的に示している。第２判別部２８は、自動車と認識された物体像Ｏ1の幅ｗ1を画素単位で測る。第２判別部２８は、物体像Ｏ1の幅ｗ1と典型的な自動車の車幅とから、物体像Ｏ1に対応する第２距離を判別する。なお、距離の判別に用いるのは、自動車の幅に限られず、人の高さを用いることもできる。物体が自転車の場合は、自転車の全長またはタイヤの直径等を用いることもできる。第２判別部２８は、物体像Ｏ1，Ｏ2の位置する部分の道路の像の幅から距離を推定してもよい。
　表示処理部２９は、第２判別部２８で判別した第２距離に従って、表示装置３０に物体像Ｏ1，Ｏ2に対応する画像要素を表示するか否かを決定する（ステップＳ１０７）。ヘッドライト５のモードがロービームモードのとき、表示処理部２９は、ヘッドライト５の第１距離を、ロービームモードでヘッドライト５の光が到達する距離であるロービーム到達距離ｌ1に設定する。ロービーム到達距離ｌ1は例えば６０ｍである。また、ヘッドライト５のモードがハイビームモードのときは、表示処理部２９は、ヘッドライト５の第１距離をハイビームモードでヘッドライト５の光が到達する距離であるハイビーム到達距離ｌ2に設定する。ハイビーム到達距離ｌ2は、例えば１２０ｍである。表示処理部２９は、このヘッドライト５の第１距離以上物体像Ｏ1，Ｏ2に対応する物体が離れていると判断される場合、その物体を表示対象物体とする。
　ステップＳ１０７において、物体が表示対象物体であると判断されたとき、表示処理部２９は、第１判別部２７で判別した物体の種別に基づいて、画像要素であるアイコンを選択する。図８は、アイコンの例を示している。アイコンは、自動車のアイコン６１、人のアイコン６２、動物のアイコン６３、自転車のアイコン６４等を含んでよい。また、アイコンはこれらのアイコン６１－６４に限られず、種々のアイコンを用いることができる。
　表示処理部２９は、物体像Ｏ1，Ｏ2の第１画像上の位置情報から、運転者３の視野内における表示対象物体の表示すべき位置を特定する。表示処理部２９は、この位置にアイコンを表示するための、表示素子３２上の表示位置情報を算出する。運転者３の視野内における表示対象物体の表示すべき位置とは、明るい環境下であれば当該表示対象物体が見える位置である。表示処理部２９は、選択したアイコンと、表示素子３２上の位置情報とを、出力部２４を介して表示装置３０に出力する。これにより、アイコンは、表示素子３２上の適切な位置に表示され、運転者３の視野内の表示すべき位置に投影される（ステップＳ１０８）。
　図９は、表示装置３０により投影部３４から車両２のフロントウィンドシールド５０に投影され、運転者３が視認する画像を模式的に示している。照明非到達領域５３内の、明るい環境下であれば車両２が視認されるべき位置に車両アイコン５４が表示され、歩行者が視認されるべき位置に人アイコン５５が表示されている。
　表示装置３０がフロントウィンドシールド５０にアイコンを投影する領域は、ヘッドライト５がロービームモード及びハイビームモードの何れであるかによって異なる。図１０に示すように車両２が道路を直進しているとき、ヘッドライト５がロービームモードであれば、運転者３は車両２の比較的近くの前景までしか視認できない。このため、ロービームモードの時に画像が投影される領域である第１投影領域５６は図示のように設定される。ヘッドライト５がハイビームモードのとき、運転者３はより遠くの前景まで視認することが可能である。このため、ハイビームモードの時に画像が投影される領域である第２投影領域５７は、第１投影領域５６よりも狭くなる。
　ステップＳ１０７において、物体が表示対象物体でないと判断されたとき、表示処理部２９は、ステップＳ１０８の表示指示を行わない。なお、物体検出部２６において検出された物体が複数ある場合は、第２判別部２８においてそれぞれ距離を判別し、各物体についてそれぞれ表示対象物体であるか否かの判定を行い、表示対象物体のみを表示する。
　表示処理部２９が、表示装置３０に対してアイコンの表示を指示した後、または、ステップＳ１０７において表示を行わないと判断した後、システムを終了する指示を受けた場合を除き（ステップＳ１０９）、制御部２２の処理は再びＳ１０２に戻る。以下、制御部２２は、ステップＳ１０２からＳ１０９の処理を繰り返す。システムを終了する指示を受けた場合とは、例えば、ヘッドライト５の消灯状態を示すヘッドライト信号を受信したとき、装置本体２０の電源が切られた場合などである。
　以上説明したように、本実施形態によれば、遠赤外線カメラ１０により出力される第１画像を用いることで、人の肉眼では視認できない暗い場所の物体を、アイコンとして視認することが可能になる。ヘッドライト５の光が到達しない領域にのみ、選択的に第１画像に基づく表示がなされ、ヘッドライト５の光が到達する領域では、赤外線画像に基づくアイコンの表示をしないので表示が解りやすい。車両２から物体までの第２距離が、ヘッドライト５の光が到達する第１距離よりも短いとき、表示装置３０は、当該物体に対応するアイコンを表示しない。このため、運転者３の視野内で視認可能な物体とアイコンとが混在して見難くなることはない。さらに、第１画像上での表示対象物体の像の位置に基づいて、前記表示対象物体に対応する画像要素を表示するので、運転者３は表示対象物体の有るべき位置に、アイコンを視認することができる。また、表示対象物体を表示するのにアイコンを用いたので、表示がより単純で解りやすい。
　本実施形態では、ヘッドライト制御装置４０から、ヘッドライト５のハイビームモード及びロービームモードの選択情報を取得するので、ヘッドライト５のモードに応じた適切な表示領域にアイコンを表示することが可能になる。
　本実施形態では、表示装置３０として、表示素子３２に表示された表示画像の虚像を使用者の視野内へ視認可能に投影するヘッドアップディスプレイを用いているので、運転者３が肉眼で視認する前景と、アイコンとを重畳して表示することが可能になる。このため、別途表示面を有する表示装置を用いる場合に比べ、運転中に視線を前方から動かす必要がない。よって、運転者３にかかる負担が小さく、表示対象物体に対応するアイコンをより自然に視認することができる。
（第１’実施形態）
　表示装置３０は、表示素子３２に表示される画像の虚像を投影するヘッドアップディスプレイである。このため、表示装置３０から画像を投影できるフロントウィンドシールド５０上の領域は、投影部３４から投影された光が、フロントウィンドシールド５０に反射して運転者３の眼球に入射する条件を満たす範囲に限られる。フロントウィンドシールド５０での反射が正反射のとき、このような領域はフロントウィンドシールド５０の上の限られた領域となる。
　そこで、本実施形態では、光学系３３の光学素子の一部、特にフロントウィンドシールド５０は、表示素子３２から射出された光の少なくとも一部が、使用者の眼球方向に向けて正反射とは異なる角度で反射させる反射角度制御部材を用いて構成しうる。反射角度制御部材を用いることによって、投影部３４から出射した光がフロントウィンドシールド５０で反射して、運転者３の眼球方向へ向かうように設定することができ、フロントウィンドシールド５０での画像表示に使用できる領域を拡大することが可能になる。
　反射角度制御部材は、例えば、メタサーフェスを用いることができる。メタサーフェスは、反射波の位相を制御して、入射した光を任意の方向に反射させることが可能である。
　図１１は、走行中の道路がカーブしている場合のフロントウィンドシールド５０を通して視認される前景を示している。フロントウィンドシールド５０の一部または全部に反射角度制御部材を使用することによって、物体検出表示装置１は、道路のカーブに応じて第１投影領域５６及び第２投影領域５７を移動させることが可能になる。このように、道路の屈曲、上り坂及び下り坂などの多様な走行環境に合わせて、適切な位置にアイコンを表示することが可能になる。
（第２実施形態）
　図１２に示す第２実施形態に係る物体検出表示装置１０１では、第１実施形態に係る物体検出表示装置１において、遠赤外線カメラ１０に代えて、第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２を設けたものである。図１２において、第１実施形態と同一または対応する構成要素には、図１で示した第１実施形態の参照符号に１００を加えた参照符号を付している。第１実施形態の同一または対応する各構成要素と、構成または作用において特段の差異がない場合は、説明を省略する。図１２に含まれない構成要素について言及するときは、第１実施形態と同じ参照符号を用いて説明する。
　物体検出表示装置１０１は、第１遠赤外線カメラ１１１、第２遠赤外線カメラ１１２、装置本体１２０、及び、表示装置１３０を備える。装置本体１２０は、入力部１２１、制御部１２２、メモリ１２３、出力部１２４及び位置センサ１２５を備える。制御部１２２は、物体検出部１２６、第１判別部１２７、第２判別部１２８、表示処理部１２９の各機能ブロックを有する。表示装置１３０は、制御部１３１、表示素子１３２及び光学系１３３を備える。
　第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、互いに視差を有し、互いに協働する遠赤外線カメラによるステレオカメラである。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、協働して２つの方向から物体を撮像することが可能である。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、１つの筐体に搭載されていてよい。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、互いに独立し、且つ互いに離れて位置していてよい。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、光軸を互いに平行になるように前方に向けて車両２に取り付けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２の光軸は平行に限られない。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２の光軸が平行でない場合は、制御部１２２で画像処理により光軸方向のずれを補正することができる。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、光軸に交わる方向において離れて位置している。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、車両２の車幅方向に沿って並んで配置され得る。例えば、第１遠赤外線カメラ１１１は、前方を向いたときに第２遠赤外線カメラ１１２の左側に位置する。第２遠赤外線カメラ１１２は、前方を向いたときに第１遠赤外線カメラ１１１の右側に位置する。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、フロントバンパー、フェンダーグリル、サイドフェンダー、及びボンネットのいずれかに固定されていてよい。
　第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、視差を有する画像を出力する。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２の出力するそれぞれの画像内の物体像の座標の違いに基づいて、三角測量の原理で距離を測定することが可能である。したがって、第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２よりなるステレオカメラは、距離を測定するセンサでもある。物体検出表示装置１０１は、この第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２から取得した距離が、ヘッドライト５の光到達距離（第１距離）以上の場合に、当該物体を表示対象物体とする。物体検出表示装置１０１は、表示対象物体に対応するアイコンを表示装置１３０に表示させる。以下にその手順を説明する。
　制御部１２２は、入力部１２１を介して、第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２から、それぞれ物体から放出される遠赤外線を結像させて得た画像である第１遠赤外線画像及び第２遠赤外線画像を取得する。物体検出部１２６は、第１遠赤外線画像及び第２遠赤外線画像の双方または何れか一方から物体を検出する。第１判別部１２７は、物体検出部１２６で物体を検出した第１遠赤外線画像及び第２遠赤外線画像の双方または何れか一方の物体の種別を判別する。
　第２判別部１２８は、第１実施形態とは異なり、第１遠赤外線画像及び第２遠赤外線画像に含まれる物体像の視差から、車両２からそれぞれの物体までの距離（第２距離）を算出する。距離判別のため、装置本体１２０は専用の演算素子を搭載してよい。第２判別部１２８が行う距離判別処理は、第１判別部１２７の行う物体種別判別処理よりも先に実行してよい。第２判別部１２８が行う距離判別処理は、第１判別部１２７の行う物体種別判別処理よりも後に実行してよい。
　表示処理部１２９は、第２判別部１２８で算出された距離を用いて、第１遠赤外線画像及び第２遠赤外線画像に含まれる物体が表示対象物体であるか否かを判定する。表示対象物体が決定した後、表示処理部１２９は、第１遠赤外線画像または第２遠赤外線画像の一方または双方に基づいて、表示画像を生成し表示装置１３０に出力することができる。
　本実施形態では、その他の点については、図４のフローチャートに示した手順とほぼ類似の手順により、物体の検出及び画像表示をすることができる。その他の構成、作用は第１実施形態と類似であるので、説明を省略する。
　本実施形態によれば、第１実施形態の物体検出表示装置１の有する効果に加え、第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２を用いることによって、第２判別部１２８による距離判別の精度が向上する。
（第３実施形態）
　図１３に示す第３実施形態に係る物体検出表示装置２０１では、第１実施形態に係る物体検出表示装置１に、距離センサ２１３を加えたものである。図１３において、第１実施形態と同一または対応する構成要素には、図１で示した第１実施形態の参照符号に２００を加えた参照符号を付している。第１実施形態の同一または対応する各構成要素と、構成または作用において特段の差異がない場合は、説明を省略する。図１３に含まれない構成要素に言及するときは、第１実施形態と同じ参照符号を用いて説明する。
　物体検出表示装置２０１は、遠赤外線カメラ２１０、距離センサ２１３、装置本体２２０、及び、表示装置２３０を備える。装置本体２２０は、入力部２２１、制御部２２２、メモリ２２３、出力部２２４及び位置センサ２２５を備える。制御部２２２は、物体検出部２２６、第１判別部２２７、第２判別部２２８、表示処理部２２９の各機能ブロックを有する。表示装置２３０は、制御部２３１、表示素子２３２及び光学系２３３を備える。
　距離センサ２１３は、車両２から車両２の前方の物体までの距離（第２距離）を測定するセンサである。距離を測定するセンサとしては、ミリ波レーダ、レーザーレーダ、超音波センサ、又はそれらの組合せが含まれる。これらのセンサは、遠赤外線カメラ１０と類似して車両２の種々の位置に搭載することができる。自動車用レーダでは、狭いビーム幅の電磁波を水平方向に高速に走査して、検出対象の物体の水平方向の位置を判別することができる。または、方向の異なる電磁波を順次切り替えて水平方向の位置を判別することができる。ミリ波レーダは、ミリ波帯の電波を使用するセンサであり、霧、降雨、降雪等の時にも使用可能である。
　距離センサ２１３は、距離情報を、入力部２２１を介して制御部２２２に出力する。第２判別部２２８は、遠赤外線カメラ２１０で取得した第１画像内の物体像に対応する実空間の物体までの距離（第２距離）を、距離センサ２１３から得られる距離情報に基づいて決定する。
　本実施形態では、その他の点については、図４のフローチャートに示した手順とほぼ類似の手順により、物体の検出及び画像表示をすることができる。その他の構成、作用は第１実施形態と類似であるので、説明を省略する。
　本実施形態によれば、第１実施形態の効果に加え、距離センサ２１３を用いることにより、第２判別部２２８による距離判別の精度が向上する。第２実施形態と比較して、遠赤外線カメラを２台設ける必要が無く、且つ、画像処理に係る処理負荷を軽減することができる。
（第４実施形態）
　図１４に示す第４実施形態に係る物体検出表示装置３０１では、第１実施形態に係る物体検出表示装置１に、可視光カメラ３１４を加えたものである。本願では、可視光波長領域の光に感度を有するカメラを可視光カメラとよび、可視光カメラで撮像して得られる画像を可視光画像とよぶ。可視光画像は、第２画像とも呼ぶ。図１４において、第１実施形態と同一または対応する構成要素には、図１で示した第１実施形態の参照符号に３００を加えた参照符号を付している。第１実施形態の同一または対応する各構成要素と、構成または作用において特段の差異がない場合は、説明を省略する。図１４に含まれない構成要素は、第１実施形態と同じ参照符号を用いて説明する。
　物体検出表示装置３０１は、遠赤外線カメラ３１０、可視光カメラ３１４、装置本体３２０、及び、表示装置３３０を備える。装置本体３２０は、入力部３２１、制御部３２２、メモリ３２３、出力部３２４及び位置センサ３２５を備える。制御部３２２は、物体検出部３２６、第１判別部３２７、第２判別部３２８、表示処理部３２９の各機能ブロックを有する。表示装置３３０は、制御部３３１、表示素子３３２及び光学系３３３を備える。
　可視光カメラ３１４は、可視光領域の波長の光により画像を撮像するカメラである。可視光カメラ３１４は、撮像素子を含む。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。可視光カメラ３１４は、撮像素子に画像を結像させるための光学系を含む。光学系は、１枚以上のレンズで構成することができる。可視光カメラ３１４はカラーカメラでもモノクロカメラでもよい。
　可視光カメラ３１４は、遠赤外線カメラ３１０の光軸と光軸が平行になるように隣接して並んで配置することができる。可視光カメラ３１４は、車両２の遠赤外線カメラ３１０と類似の位置に類似の方法で固定してよい。可視光カメラ３１４は、遠赤外線カメラ３１０とは離して個別に車両２に固定されてよい。可視光カメラ３１４は、遠赤外線カメラ３１０と少なくとも部分的に同じ領域を撮像する。可視光カメラ３１４は、遠赤外線カメラ３１０と同じタイミング、同じフレームレートで画像を撮像してよい。可視光カメラ３１４と遠赤外線カメラ３１０の撮像は同期していなくともよい。
　可視光カメラ３１４は、撮像した第２画像を、入力部３２１を介して制御部３２２に出力する。制御部３２２の物体検出部３２６は、第１画像に加え第２画像からも物体像を検出する。第２判別部３２８は、第１画像から物体検出部３２６で検出されたそれぞれの物体について、第２画像の対応する位置からも所定値以上の輝度の物体像が検出されるか判定する。第２画像の対応する位置から物体像が検出された場合、第２判別部３２８は、当該物体はヘッドライト５の光到達距離（第１距離）以内に位置すると判断する。第１画像から物体検出部３２６で検出されたそれぞれの物体について、第２画像の対応する位置からは物体像が検出されない場合、第２判別部３２８は、当該物体がヘッドライト５の光到達距離（第１距離）以上離れた位置に位置すると判断する。第１画像から検出された物体像と対応する位置に検出された第２画像の物体像の輝度が所定の値以下のとき、第２判別部３２８は、当該物体がヘッドライト５の第１距離以上離れた位置に位置すると判断する。
　以下に、物体検出表示装置３０１を用いて運転者３の視野内への表示対象物体に対応する画像要素を表示する物体検出表示方法の例について、図１５のフローチャートを用いて説明する。
　図１５において、ステップＳ２０１は、第１実施形態における図４のステップＳ１０１と類似である。本実施形態において、制御部３２２は、第１実施形態のステップＳ１０２のように、ヘッドライト５のモードの選択情報を取得する必要はない。制御部３２２は、第１実施形態のステップＳ１０３と同一に、第１画像を取得する（ステップＳ２０２）。制御部３２２は、入力部３２１を介して可視光カメラ３１４から第２画像を取得する（ステップＳ２０３）。物体検出部３２６は、第１画像から物体像を検出することにより物体を検出する（ステップＳ２０４）。
　図１６および図１７は、説明のために、それぞれ第１画像の例及び第２画像の例を模式的に示したものである。図１６の第１画像において、物体像Ｏ1及び物体像Ｏ2が撮像される。この例において、ヘッドライト５はロービームモードであると想定する。物体像Ｏ1は車両２から４０ｍ前方に位置する物体に対応すると想定する。さらに、物体像Ｏ2は車両２から８０ｍ前方に位置する物体に対応すると想定する。
　図１７の第２画像では、ヘッドライト５の第１距離以上離れた距離に位置する物体の物体像Ｏ12は撮像されない。これに対して、ヘッドライト５の第１距離よりも短い距離離れた位置に位置する物体の物体像Ｏ11は撮像される。したがって、第１画像から検出された物体像Ｏ1，Ｏ2に対応する物体像Ｏ11，Ｏ12が第２画像に含まれているか否かを判断することにより、物体像Ｏ1，Ｏ2に対応する物体が、第１距離以上離れているか否かを判定できる（ステップＳ２０５）。このようにして、第２判別部３２８は、第１画像から検出された物体像Ｏ1，Ｏ2に対応する物体像Ｏ11，Ｏ12が、第２画像に含まれていなければ、その物体を表示対象物体であると判別する。また、第１画像から検出された物体像Ｏ1，Ｏ2に対応する第２画像の物体像Ｏ11，Ｏ12の輝度が所定の値以下であるとき、第２判別部３２８は、その物体を表示対象物体であると判別してよい。第２判別部３２８は、第１画像から検出された物体像に対応する物体像が、第２画像に含まれ且つ所定の輝度以上を有していれば、表示対象物体ではないと判別する。図１６及び図１７の例では、物体像Ｏ2に対応する物体が表示対象物体であると判断される。
　次に、第１判別部３２７は、表示対象物体の像であると判断された物体像Ｏ2について、物体の種別を判断する（ステップＳ２０６）。図１６及び図１７の例では、表示対象物体は歩行者である。なお、第１判別部３２７による物体種別の判別は、ステップＳ２０５の後ではなく、ステップＳ２０４とステップＳ２０５との間で行ってもよい。
　表示処理部３２９は、ステップＳ２０６において、第１判別部３２７が判別した表示対象物体の種別に対応するアイコンを選択し、表示装置３３０に表示させる（ステップＳ２０７）。このとき、図１８に示すように運転者３の視認できる前景の中に、人アイコン５５が虚像として表示される。
　ステップＳ２０５において、第１画像から検出された物体像Ｏ1，Ｏ2に対応する物体像Ｏ11，Ｏ12が、第２画像にある場合、および、ステップＳ２０７が終了した後、処理はステップＳ２０８に進む。ステップＳ２０８において、システムを終了する指示を受けた場合を除き、制御部３２２の処理は再びＳ２０２に戻る。以下、制御部３２２は、ステップＳ２０２からＳ２０８の処理を繰り返す。
　以上説明したように本実施形態によれば、第１実施形態と類似の効果が得られる。さらに、ヘッドライト制御装置３４０から、ヘッドライトのモードの選択情報を取得しなくとも、物体検出表示装置３０１は、光到達距離（第１距離）以上離れた表示対象物体を検出して、運転者３の視野内に視認可能に投影することが可能になる。
（第５実施形態）
　図１９に示す第５実施形態に係る物体検出表示装置４０１は、第１実施形態に係る物体検出表示装置１において、表示装置３０に代えて、フラットパネルディスプレイの表示部４３５を有する表示装置４３０を採用したものである。図１９において、第１実施形態と同一または対応する構成要素には、図１で示した第１実施形態の参照符号に４００を加えた参照符号を付している。第１実施形態の同一または対応する各構成要素と、構成または作用において特段の差異がない場合は、説明を省略する。図１９に含まれない構成要素に言及するときは、第１実施形態と同じ参照符号を用いて説明する。
　物体検出表示装置４０１は、遠赤外線カメラ４１０、装置本体４２０、及び、表示装置４３０を備える。装置本体４２０は、入力部４２１、制御部４２２、メモリ４２３、及び、出力部４２４を備える。制御部４２２は、物体検出部４２６、第１判別部４２７、第２判別部４２８、表示処理部４２９の各機能ブロックを有する。表示装置４３０は、制御部４３１及び表示部４３５を備える。表示装置４３０は、車両２に設けられた可視光カメラ４５０から入力された画像を表示可能である。
　表示装置４３０の表示部４３５は、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、電界放出ディスプレイ（ＦＥＤ：Field Emission Display）、電気泳動ディスプレイ、ツイストボールディスプレイ等の種々のフラットパネルディスプレイを採用しうる。表示部４３５は、車両２のダッシュボード内またはダッシュボード上に、画像を表示する表示面を運転者３側に向けて配置することができる。表示装置４３０は、可視光カメラ４５０から入力される車両２の前景を表示する。表示装置４３０は、車両２において他の用途に使用される表示装置と共用することができる。
　可視光カメラ４５０は、可視光領域の波長の光により画像を撮像するカメラである。可視光カメラ４５０は、第４実施形態の可視光カメラ３１４と類似に構成され、車両２の類似の位置に配置されうる。可視光カメラ４５０は、第４実施形態の可視光カメラ３１４とは異なり、装置本体４２０に第２画像を出力するのではなく、表示装置４３０に直接第２画像を出力する。
　表示装置４３０の制御部４３１は、装置本体４２０の表示処理部４２９で生成され、出力部４２４から出力される表示対象物体のアイコン、及び、表示位置の情報を受信する。制御部４３１は、表示装置４３０に表示される可視光カメラ４５０の画像に、アイコンを重畳して表示させる。
　本実施形態では、表示装置４３０による表示方法が異なることを除き、第１実施形態の図４のフローチャートに示した手順とほぼ類似の手順により、物体の検出及び画像表示をすることができる。その他の構成、作用は第１実施形態と同様であるので、説明を省略する。
　本実施形態によれば、フラットパネルディスプレイ上に表示される前景の画像上に、表示対象物体を示すアイコンを表示することが可能になる。また、表示装置４３０を車両２内に設けられたナビゲーションシステムなどの他のシステムの表示装置と兼用することができる。
　第５実施形態において、表示装置４３０は、可視光カメラ４５０の画像を直接受け取るものとした。しかし、図２０に示すように、可視光カメラ４５０の画像は、装置本体４２０を経由して表示装置４３０に出力されてもよい。その場合、物体検出表示装置４０１は、表示処理部４２９において表示するアイコンと車両２の前景の画像とを合成し、表示装置４３０で表示される画像を生成し、表示装置４３０に出力してよい。
　上述の各実施形態は代表的な例として説明した。上述の各実施形態は、本発明の趣旨及び範囲内で、多くの変更及び変更ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。フローチャートに示した手順は、可能な範囲で入れ替えることができる。フローチャートに示した手順は、可能な範囲で並列に実行することができる。
　第２実施形態から第４実施形態において、画像の表示に第５実施形態と類似にフラットパネルディスプレイを用いてもよい。表示画像を視認するのは、運転者に限られない。表示装置にヘッドアップディスプレイを使用する場合、助手席または後部座席の使用者が画像を視認できるようにしてよい。表示装置に表示するアイコンは、表示対象物体までの距離（第２距離）に応じて異なる大きさのものを用意してよい。表示装置は、ヘッドアップディスプレイ及びフラットパネルディスプレイに限られず、種々のタイプの表示装置をしようしうる。表示装置は、ＣＲＴ（Cathode Ray Tube）またはヘッドマウントディスプレイを使用しうる。
　ヘッドライトの点灯及び消灯、及び、ハイビームモード及びロービームモードの選択情報は、ヘッドライト制御装置から取得するのではなく、ヘッドライトのスイッチの操作に連動して取得できるようにしてよい。あるいは、これらの情報は、手動で入力してもよい。ヘッドライトのモードは、ハイビームモードおよびロービームモードの２種類に限られず、ヘッドライトの向きまたは明るさを変えた種々のモードとすることができる。
　１，１０１，２０１，３０１，４０１，５０１　　物体検出表示装置
　２　　車両
　３　　運転者
　５　　ヘッドライト
　１０，２１０，３１０，４１０　　遠赤外線カメラ
　２０，１２０，２２０，３２０，４２０　　装置本体
　２１，１２１，２２１，３２１，４２１　　入力部
　２２，１２２，２２２，３２２，４２２　　制御部（プロセッサ）
　２３，１２３，２２３，３２３，４２３　　メモリ
　２４，１２４，２２４，３２４，４２４　　出力部
　２５，１２５，２２５，３２５　　位置センサ
　２６，１２６，２２６，３２６，４２６　　物体検出部
　２７，１２７，２２７，３２７，４２７　　第１判別部
　２８，１２８，２２８，３２８，４２８　　第２判別部
　２９，１２９，２２９，３２９，４２９　　表示処理部
　３０，１３０，２３０，３３０，４３０　　表示装置
　３１，１３１，２３１，３３１，４３１　　制御部
　３２，１３２，２３２，３３２，４３２　　表示素子
　３３，１３３，２３３，３３３　　光学系
　３４　　投影部
　４０，１４０，２４０，３４０，４４０　　ヘッドライト制御装置
　５０　　フロントウィンドシールド
　５１　　バックミラー
　５２　　路面
　５３　　照明非到達領域
　５４　　車両アイコン（画像要素）
　５５　　人アイコン（画像要素）
　５６　　第１投影領域
　５７　　第２投影領域
　６１，６２，６３，６４　　アイコン
　１１１　　第１遠赤外線カメラ
　１１２　　第２遠赤外線カメラ
　２１３　　距離センサ
　３１４，４５０　　可視光カメラ
　４３５　　表示部
　Ｏ，Ｏ1，Ｏ2　　物体像
　ｌ1　　ロービーム到達距離
　ｌ2　　ハイビーム到達距離
　ｌ3　　遠赤外線検出距離
　ｗ1　　幅

Claims (12)

  1. 　移動体に搭載され、
    　遠赤外線カメラと、
    　表示装置と、
    　前記遠赤外線カメラにより出力される第１画像から、前記移動体のヘッドライトからの光が到達する第１距離以上離れた表示対象物体の像を検出し、前記第１画像上での前記表示対象物体の像の位置に基づいて、前記表示装置に前記表示対象物体に対応する画像要素を表示させるプロセッサと
    を備える物体検出表示装置。
  2. 　前記プロセッサは、前記第１画像から物体の像を検出し、前記移動体から前記物体までの第２距離が前記第１距離以上のときは、前記物体の像を前記表示対象物体の像として検出し、前記移動体から前記物体までの第２距離が前記第１距離よりも短いときは、前記表示装置に前記物体に対応する画像要素を表示させない請求項１に記載の物体検出表示装置。
  3. 　前記プロセッサは、前記第１画像から前記表示対象物体の種別を判定し、前記表示装置に表示する前記画像要素を前記種別に応じたアイコンとして表示させる請求項１または２に記載の物体検出表示装置。
  4. 　前記第１画像に含まれる物体までの第２距離を測定するセンサをさらに備え、前記プロセッサは前記移動体から前記物体までの前記第２距離を前記センサから取得して、該取得した第２距離が前記第１距離よりも長い場合に、前記物体を表示対象物体とする請求項１から３の何れか一項に記載の物体検出表示装置。
  5. 　前記プロセッサは、前記移動体から前記第１画像に含まれる物体までの第２距離を前記物体の像の大きさに基づいて判定し、該判定した距離が前記第１距離よりも長い場合に、前記物体を表示対象物体とする請求項１から３の何れか一項に記載の物体検出表示装置。
  6. 　前記プロセッサは、前記ヘッドライトにおける前記第１距離の異なる複数のモードのうち、選択されたモードの選択情報を取得し、該選択情報に応じて定まる前記第１距離に基づいて前記表示対象物体を検出する請求項１から５の何れか一項に記載の物体検出表示装置。
  7. 　可視光カメラをさらに備え、前記プロセッサは前記第１画像に含まれる物体のうち、前記可視光カメラから出力される第２画像に対応する物体の像が含まれない前記物体、または、前記第２画像における対応する物体の像の輝度が所定の値以下である前記物体を、前記表示対象物体とする請求項１から３の何れか一項に記載の物体検出表示装置。
  8. 　前記表示装置は、表示素子と、該表示素子に表示された画像の虚像を使用者の視野内へ視認可能に投影する光学系とを備えるヘッドアップディスプレイを含む請求項１から７の何れか一項に記載の物体検出表示装置。
  9. 　前記プロセッサは、前記第１画像上での前記表示対象物体の像の位置に基づいて、前記使用者の前記視野内における前記表示対象物体の位置を特定し、前記画像要素を、前記表示素子上の前記表示対象物体が投影される位置に表示する請求項８に記載の物体検出表示装置。
  10. 　前記光学系は、前記表示素子から射出された光の少なくとも一部を、使用者の視野内に向けて正反射とは異なる角度で反射させる反射角度制御部材を備える請求項８または９に記載の物体検出表示装置。
  11. 　遠赤外線カメラ、表示装置、及び、前記遠赤外線カメラにより出力される第１画像から、ヘッドライトからの光が到達する第１距離以上離れた表示対象物体の像を検出し、前記第１画像上での前記表示対象物体の像の位置に基づいて、前記表示装置に前記表示対象物体に対応する画像要素を表示させるプロセッサを含む物体検出表示装置を備える移動体。
  12. 　遠赤外線により撮像された第１画像を取得し、
    　前記第１画像から、移動体のヘッドライトからの光が到達する距離である第１距離以上離れた表示対象物体の像を検出し、
    　前記第１画像上での前記表示対象物体の像の位置に基づいて、前記表示対象物体に対応する画像要素を表示させ
    物体検出表示方法。
PCT/JP2017/022218 2016-06-29 2017-06-15 物体検出表示装置、移動体及び物体検出表示方法 WO2018003532A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018525048A JP6793193B2 (ja) 2016-06-29 2017-06-15 物体検出表示装置、移動体及び物体検出表示方法
EP17819892.5A EP3481059B1 (en) 2016-06-29 2017-06-15 Object detection and display apparatus, moving body, and object detection and display method
US16/314,173 US11195026B2 (en) 2016-06-29 2017-06-15 Object detection and display apparatus, moveable body, and object detection and display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-128727 2016-06-29
JP2016128727 2016-06-29

Publications (1)

Publication Number Publication Date
WO2018003532A1 true WO2018003532A1 (ja) 2018-01-04

Family

ID=60786597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/022218 WO2018003532A1 (ja) 2016-06-29 2017-06-15 物体検出表示装置、移動体及び物体検出表示方法

Country Status (4)

Country Link
US (1) US11195026B2 (ja)
EP (1) EP3481059B1 (ja)
JP (1) JP6793193B2 (ja)
WO (1) WO2018003532A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021070214A1 (ja) * 2019-10-07 2021-04-15
WO2022039229A1 (ja) * 2020-08-21 2022-02-24 株式会社小糸製作所 車載用センシングシステムおよびゲーティングカメラ

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
WO2018051573A1 (ja) * 2016-09-16 2018-03-22 富士フイルム株式会社 投写型表示装置、表示制御方法、及び表示制御プログラム
JP6654999B2 (ja) * 2016-12-12 2020-02-26 株式会社Ｓｏｋｅｎ 物標検出装置
DE102018215185B3 (de) * 2018-09-06 2019-10-10 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Einstellen eines Head-Up-Displays in einem Kraftfahrzeug, Einstellvorrichtung zur Verwendung in einem solchen Verfahren oder mit einer solchen Vorrichtung
US10679530B1 (en) * 2019-02-11 2020-06-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for mobile projection in foggy conditions
JP7099367B2 (ja) * 2019-03-06 2022-07-12 株式会社ダイフク 検査システム
US20200342623A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
US11180080B2 (en) * 2019-12-13 2021-11-23 Continental Automotive Systems, Inc. Door opening aid systems and methods
CN113954856B (zh) * 2021-10-29 2023-07-28 惠州华阳通用电子有限公司 一种自动驾驶信息显示方法
DE102021213332A1 (de) * 2021-11-26 2023-06-01 Continental Automotive Technologies GmbH Verfahren, Computerprogramm und Vorrichtung zum Steuern einer Augmented-Reality-Anzeigevorrichtung
USD1023055S1 (en) 2022-01-20 2024-04-16 Waymo Llc Display screen or portion thereof with graphical user interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009298322A (ja) * 2008-06-13 2009-12-24 Denso Corp 車両用表示装置
JP2011087006A (ja) * 2009-10-13 2011-04-28 Denso Corp 車両用表示装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置
WO2013042767A1 (ja) * 2011-09-21 2013-03-28 本田技研工業株式会社 車両周辺監視装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69516934T2 (de) * 1994-04-15 2000-10-05 Honda Motor Co Ltd Vorrichtung zur Fahrhilfe eines Fahrzeugs
US7796081B2 (en) 1997-10-22 2010-09-14 Intelligent Technologies International, Inc. Combined imaging and distance monitoring for vehicular applications
JP2003200755A (ja) * 2001-12-28 2003-07-15 Yazaki Corp 車両用表示装置
JP3982504B2 (ja) * 2004-01-23 2007-09-26 日産自動車株式会社 車両用暗視カメラ装置および表示装置
JP2007058805A (ja) 2005-08-26 2007-03-08 Fuji Heavy Ind Ltd 前方環境認識装置
JP4173901B2 (ja) 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4267657B2 (ja) * 2006-10-31 2009-05-27 本田技研工業株式会社 車両周辺監視装置
US20100079267A1 (en) * 2008-09-29 2010-04-01 Tsun-Huang Lin Automobile Anti-Collision Early-Warning Device
KR20130086066A (ko) * 2010-11-16 2013-07-30 코니카 미놀타 가부시키가이샤 화상 입력 장치 및 화상 처리 장치
JP2014056295A (ja) * 2012-09-11 2014-03-27 Honda Motor Co Ltd 車両周辺監視装置
DE102014012723A1 (de) * 2014-08-27 2016-03-03 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Anzeigesystem

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009298322A (ja) * 2008-06-13 2009-12-24 Denso Corp 車両用表示装置
JP2011087006A (ja) * 2009-10-13 2011-04-28 Denso Corp 車両用表示装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置
WO2013042767A1 (ja) * 2011-09-21 2013-03-28 本田技研工業株式会社 車両周辺監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3481059A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021070214A1 (ja) * 2019-10-07 2021-04-15
JP7505500B2 (ja) 2019-10-07 2024-06-25 日本電気株式会社 送信方法、送信システム及びシステム制御装置
WO2022039229A1 (ja) * 2020-08-21 2022-02-24 株式会社小糸製作所 車載用センシングシステムおよびゲーティングカメラ

Also Published As

Publication number Publication date
US20190205662A1 (en) 2019-07-04
JPWO2018003532A1 (ja) 2019-05-16
EP3481059A4 (en) 2020-02-05
EP3481059B1 (en) 2024-07-03
EP3481059A1 (en) 2019-05-08
JP6793193B2 (ja) 2020-12-02
US11195026B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
WO2018003532A1 (ja) 物体検出表示装置、移動体及び物体検出表示方法
US20210291751A1 (en) Vehicular driver monitoring system with camera having micro lens array
US10899277B2 (en) Vehicular vision system with reduced distortion display
US10324297B2 (en) Heads up display system for vehicle
US10185152B2 (en) Vehicle display device
US20180334099A1 (en) Vehicle environment imaging systems and methods
JP5233583B2 (ja) 車載用監視装置
US20130286193A1 (en) Vehicle vision system with object detection via top view superposition
JP4943367B2 (ja) 車両用情報表示装置
US7188014B1 (en) Assistant monitor apparatus and the method of controlling the same
US20100123395A1 (en) Headlamp control device for vehicle
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP2007142624A (ja) 車両搭載撮像装置
US10869002B2 (en) Vehicle camera device for capturing the surroundings of a motor vehicle and driver assistance device for detecting objects with such a vehicle camera device
US10846833B2 (en) System and method for visibility enhancement
JP2008193339A (ja) 後方監視装置
US11390297B2 (en) Recognition device, recognition method, and storage medium
CN114572113B (zh) 拍摄***、拍摄装置及驾驶支援装置
US20190333252A1 (en) Display control device, display system, and display control method
WO2014155954A1 (ja) 車両用表示制御装置
US10023118B2 (en) Vehicle vision system with thermal sensor
CN104618665B (zh) 多个成像器的车辆光学传感器***
KR20160034681A (ko) 차량의 주변 감시 장치 및 방법
CN108367715B (zh) 用于后视的方法和控制单元
JP2018085584A (ja) 画像処理装置、撮像装置、および表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17819892

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018525048

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017819892

Country of ref document: EP

Effective date: 20190129