WO2015146068A1 - 情報表示装置、情報表示方法及びプログラム - Google Patents

情報表示装置、情報表示方法及びプログラム Download PDF

Info

Publication number
WO2015146068A1
WO2015146068A1 PCT/JP2015/001466 JP2015001466W WO2015146068A1 WO 2015146068 A1 WO2015146068 A1 WO 2015146068A1 JP 2015001466 W JP2015001466 W JP 2015001466W WO 2015146068 A1 WO2015146068 A1 WO 2015146068A1
Authority
WO
WIPO (PCT)
Prior art keywords
graphics
distance
information
unit
display device
Prior art date
Application number
PCT/JP2015/001466
Other languages
English (en)
French (fr)
Inventor
厳太朗 竹田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2015146068A1 publication Critical patent/WO2015146068A1/ja
Priority to US15/076,656 priority Critical patent/US20160203629A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/005—Map projections or methods associated specifically therewith
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to an information display device, an information display method, and a program.
  • Patent Document 1 discloses a vehicle information display device that displays information (graphics) that allows a driver to safely and easily recognize information related to a building outside the vehicle.
  • Patent Document 1 it is difficult to identify the correspondence between graphics and buildings outside the vehicle in a real environment. For this reason, the driver may misunderstand that the displayed graphics information is information on a building that the graphics does not support. In other words, the conventional technique has a problem that it is difficult to identify at a glance the relationship between graphics and the target object of information indicated by the graphics.
  • This disclosure provides an information display device that allows a user to identify at a glance the relationship between graphics and an object in the real environment that is the object of information indicated by the graphics.
  • the information display device detects a display unit that displays graphics superimposed on a real environment, a current position of the information display device, and a direction in which the real environment exists as viewed from the information display device at the current position.
  • a first detection unit that performs, an acquisition unit that acquires region information about a region including the detected current position, and (i) a region around the current position based on the region information and the detected current position and direction. And (ii) a distance determined by using the area information and used for the first graphics, which is a distance from the information display device in the above direction.
  • a generation unit For each of a plurality of second areas in the real environment corresponding to a plurality of first areas, a generation unit that generates distance information indicating a distance for each of the first areas obtained by dividing the first graphics area.
  • a second detection unit that detects a second distance that is a distance from the information display device to the real environment, a first distance in the first region indicated by the distance information for each of the plurality of first regions, and the second
  • a comparison unit that compares the second distance detected in the second region corresponding to the one region; and (i) based on the comparison result by the comparison unit, the first region is more than the second distance among the plurality of first regions.
  • a display control unit that generates a second graphic in which the first area is removed from the first graphic at a distance that is far from the information display device in the direction, and (ii) displays the second graphic on the display unit.
  • the user can identify at a glance the relationship between the graphic and the object in the real environment that is the object of the information indicated by the graphic.
  • FIG. 1 is an external view of the vicinity of a driver's seat of a vehicle including an information display device according to Embodiment 1.
  • FIG. FIG. 2 is a block diagram illustrating a configuration of the information display device according to the first embodiment.
  • FIG. 3 is a flowchart for explaining the operation of the information display apparatus according to the first embodiment.
  • FIG. 4 is a diagram for explaining the positional relationship between an object in a real environment, graphics displayed so that a user can recognize the superimposed image in the real environment, and a vehicle.
  • FIG. 5 is a diagram for explaining the calculation process of the first distance information and the second distance information, and the comparison process of the first distance and the second distance.
  • FIG. 6 is a diagram for explaining the real environment and the generated second graphics.
  • FIG. 7 is a block diagram illustrating a configuration of the information display device according to the second embodiment.
  • FIG. 8 is a flowchart for explaining the operation of the information display apparatus according to the second embodiment.
  • FIG. 9 is a diagram for describing the second graphics displayed when the process of the information display device according to the second embodiment is performed.
  • FIG. 10 is a block diagram showing a configuration of the information display apparatus according to the third embodiment.
  • FIG. 11 is a flowchart for explaining the operation of the information display apparatus according to the third embodiment.
  • FIG. 12 is a diagram for explaining the third graphics displayed when the information display device according to Embodiment 3 is processed.
  • FIG. 13A is an external view illustrating an example of an information display device according to another embodiment.
  • FIG. 13B is an external view showing another example of an information display device according to another embodiment.
  • Embodiment 1 will be described with reference to FIGS.
  • FIG. 1 is an external view of the vicinity of a driver's seat of a vehicle 10 provided with an information display device 100 according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of the information display apparatus 100 according to the first embodiment.
  • the information display device 100 includes a reception unit 11, a first detection unit 12, an acquisition unit 13, a line-of-sight detection unit 14, a generation unit 15, an imaging unit 16, a second detection unit 17, a comparison unit 18, A display control unit 19, a display unit 20, and a storage unit 21 are provided.
  • the information display device 100 is realized as a car navigation system mounted on the vehicle 10, for example.
  • the reception unit 11 receives an input indicating the destination from the user. Specifically, the reception unit 11 receives destination information such as a destination name of a vehicle destination and a telephone number of the destination, which is input by a user of the vehicle 10. The reception unit 11 sends destination information indicating the input destination to the generation unit 15.
  • destination information such as a destination name of a vehicle destination and a telephone number of the destination, which is input by a user of the vehicle 10.
  • the reception unit 11 sends destination information indicating the input destination to the generation unit 15.
  • the first detection unit 12 detects the current position of the information display device 100 and the direction in which the real environment exists as viewed from the information display device 100 at the current position.
  • the first detection unit 12 sends information indicating the detected current position of the information display device 100 (vehicle 10) and the direction in which the information display device 100 (vehicle 10) is directed to the generation unit 15.
  • the direction in which the information display device 100 is facing may be, for example, the direction in which the front surface of the vehicle 10 (that is, the front portion) is facing, or the traveling direction of the vehicle 10.
  • the direction in which the information display device 100 is facing is referred to as a traveling direction.
  • the first detection unit 12 is realized by, for example, a GPS (Global Positioning System) receiver, a geomagnetic sensor, a gyroscope (not shown), and the like.
  • the storage unit 21 stores regional information.
  • the regional information is map information including building information and road information.
  • the map information is information used in a car navigation system or the like, and is information used to calculate a route for guiding the user from the current location to the destination.
  • the storage unit 21 is realized by, for example, a hard disk or a nonvolatile memory.
  • the acquisition unit 13 acquires, from the storage unit 21, regional information regarding the region including the current position detected by the first detection unit 12. Specifically, the acquisition unit 13 acquires map information as area information from the storage unit 21.
  • the acquisition unit 13 is realized by, for example, a processor or a program.
  • the gaze detection unit 14 detects the gaze direction of the user of the vehicle 10. Specifically, the line-of-sight detection unit 14 shoots the eyes of the user of the vehicle 10, analyzes the position of the user's eyes and the movement of the crystalline lens, and detects the direction of the line of sight that the user is looking at. The line-of-sight detection unit 14 sends the detected line-of-sight direction of the user of the vehicle 10 to the generation unit 15 and the second detection unit 17.
  • the line-of-sight detection unit 14 is realized by, for example, a camera such as a CCD (Charge Coupled Device) camera installed in the vehicle, a processor, a program, and the like.
  • CCD Charge Coupled Device
  • the generation unit 15 includes the area information acquired by the acquisition unit 13, the current position and traveling direction of the information display device 100 (vehicle 10) detected by the first detection unit 12, and the destination received by the reception unit 11. Based on the information and the line-of-sight direction of the user of the vehicle 10 detected by the line-of-sight detection unit 14, information is displayed to the user of the vehicle 10 at the optimum position on the display unit 20 in the line-of-sight direction of the user of the vehicle 10. First graphics for guiding around the current position where the apparatus 100 (vehicle 10) is located is generated. Further, the generation unit 15 determines distance information indicating the first distance that is determined using the area information and is used for the first graphics and that is the distance from the information display device 100 in the traveling direction.
  • the distance from the information display device 100 may be a distance with reference to a display surface (that is, an imaging unit 20b described later) of the display unit 20 of the information display device 100.
  • the distance may be based on a stereo camera (see below) that realizes the second detection unit 17.
  • the generation unit 15 uses the first graphics and the first graphics for guiding the route from the current location to the destination based on the map information, the current position and traveling direction of the vehicle 10, and the destination information.
  • First distance information indicating a first distance for displaying graphics is generated.
  • the first region may be, for example, each of a plurality of pixels constituting the first graphics, or may be each set of pixels in a predetermined number unit.
  • the generation unit 15 sends the generated first graphics to the display control unit 19 and the first distance information of the first graphics to the comparison unit 18.
  • the generation unit 15 is realized by, for example, a processor or a program.
  • the photographing unit 16 photographs the real environment in the traveling direction. Specifically, the imaging unit 16 captures an image in a range including at least a real environment in the traveling direction. The imaging unit 16 sends the captured image of the real environment to the display control unit 19.
  • the imaging unit 16 may be realized by, for example, a two-viewpoint camera attached inside (or outside) the vehicle, or may be realized by a one-viewpoint camera.
  • the second detection unit 17 detects a second distance that is a distance from the information display device 100 to the real environment in the traveling direction for each of the plurality of second areas of the real environment corresponding to the plurality of first areas.
  • the distance from the information display device 100 to the real environment is a distance to an object in the real environment with reference to a display surface (that is, an imaging unit 20b described later) of the display unit 20 of the information display device 100.
  • it may be a distance to an object in the real environment based on a stereo camera (see below) that realizes the second detection unit 17.
  • the distance from the information display device 100 to the real environment is, for example, infinity in a space where no object exists in the real environment.
  • the second area is an area that overlaps the real area that is visible to the user through the display unit 20 in the area where the first graphics is displayed on the display unit 20.
  • the second detection unit 17 may detect only the distance from the information display device 100 in the traveling direction of the object in the real environment ahead of the line-of-sight direction detected by the line-of-sight detection unit 14 as the second distance.
  • the second detection unit 17 is a stereo camera having two imaging units that capture the real environment in the traveling direction.
  • the second detection unit 17 detects the second distance based on the parallax between the first video imaged by one imaging unit and the second video imaged by the other imaging unit.
  • the second detection unit 17 sends second distance information indicating the detected second distance to the comparison unit 18.
  • the second detection unit 17 is realized by, for example, a two-viewpoint CCD camera (stereo camera) mounted outside the vehicle, a processor, a program, and the like.
  • the second detection unit 17 may be realized by a millimeter wave radar.
  • the comparison unit 18 includes a first distance in the first region indicated by the first distance information generated by the generation unit 15 and a second region corresponding to the first region for each of the plurality of first regions.
  • the second distance detected by the second detector 17 is compared. That is, the comparison unit 18 specifically, for each of the plurality of first regions, the first distance in a certain first region and the second region corresponding to the first region among the plurality of second regions. Compare the second distance.
  • the comparison unit 18 sends the comparison result to the display control unit 19.
  • the comparison unit 18 is configured to display both of the first graphics to be displayed on the display unit 20 and the real environment object viewed by the user of the vehicle 10 in units of pixels. The distances from the information display device 100 are compared. Then, the comparison unit 18 displays pixel information indicating a pixel in which the first graphic is farther than the object in the real environment that the user of the vehicle 10 is viewing (that is, the back position or the front position). This is sent to the display control unit 19.
  • the comparison unit 18 is realized by, for example, a processor or a program.
  • the display control unit 19 Based on the result of the comparison by the comparison unit 18, the display control unit 19 has a first distance farther from the information display device 100 than the second distance among the plurality of first regions (first graphics display region) ( In other words, a second graphic is generated by deleting the first area (in the back) from the first graphic, and the second graphic is displayed on the display unit 20. More specifically, based on the pixel information received from the comparison unit 18, the display control unit 19 selects pixels whose first graphics are behind the object in the real environment that the user of the vehicle 10 is viewing. A second graphic deleted from one graphic is generated, and the generated second graphic is displayed on the display unit 20.
  • the display control unit 19 does not satisfy that the first distance is farther from the information display device 100 than the second distance in all regions, and the first graphics is directly displayed on the display unit 20.
  • Display The display control unit 19 is realized by, for example, a processor or a program.
  • the display unit 20 displays graphics superimposed on the real environment.
  • the display unit 20 displays the second graphics generated by the display control unit 19.
  • the display unit 20 includes, for example, a projection unit 20a that projects an image, and an imaging unit 20b that is configured by a member on a transparent panel and forms an image projected by the projection unit 20a. That is, the display unit 20 displays the second graphics as an image superimposed on the real environment that can be seen through the imaging unit 20b.
  • the projection unit 20a is realized by, for example, a projector that projects an image including graphics.
  • the imaging unit 20b is realized by, for example, a windshield.
  • FIG. 3 is a flowchart for explaining the operation of the information display apparatus 100 according to the first embodiment.
  • the reception unit 11 receives destination information such as a destination name indicating a destination and a telephone number input by the user of the vehicle 10 and sends the received destination information to the generation unit 15 (S11).
  • destination information such as a destination name indicating a destination and a telephone number input by the user of the vehicle 10 and sends the received destination information to the generation unit 15 (S11).
  • the first detection unit 12 detects the current position and the traveling direction of the information display device 100 (vehicle 10), and sends information indicating the detected current position and traveling direction to the generation unit 15 (S12).
  • the acquisition unit 13 acquires area information from the storage unit 21 and sends the acquired area information to the generation unit 15 (S13).
  • the line-of-sight detection unit 14 detects the user's line-of-sight direction and sends the detected line-of-sight direction to the generation unit 15 and the second detection unit 17 (S14).
  • the generating unit 15 generates the first graphics for guiding the user around the information display device 100 based on the received area information, current position, traveling direction, and line-of-sight direction, and also displays the area information.
  • Distance information indicating the first distance that is determined by using the first graphics and that is the distance from the information display device 100 in the traveling direction is divided into a plurality of first graphics areas. Generate for each region.
  • the generation unit 15 sends the generated first graphics to the display control unit 19 and the generated first distance information to the comparison unit 18 (S15).
  • the 2nd detection part 17 detects the 2nd distance which is the distance from the information display apparatus 100 in the advancing direction to the real environment for every some 2nd area
  • the second distance information indicating the second distance is sent to the comparison unit 18 (S16). More specifically, the second detection unit 17 detects only the distance to the previous object in the received gaze direction in the real environment as the second distance.
  • the comparison unit 18 compares the received first distance information and second distance information, and sends the comparison result to the display control unit 19 (S17). More specifically, the comparison unit 18 uses the first distance information and the second distance information in a pixel unit in a region where the first graphics and an object in the real environment viewed by the user of the vehicle 10 overlap. By comparing the two, the pixel information indicating the pixel determined to be farther from the information display device 100 than the object in the real environment that the first graphic is viewed by the user of the vehicle 10 is sent to the display control unit 19. .
  • the display control unit 19 selects, in the first graphics region, an area that is determined to be farther from the information display device 100 than the second distance.
  • a second graphic deleted from one graphic is generated, and the second graphic is displayed on the display unit 20 (S18). More specifically, the display control unit 19 deletes, from the first graphics, a pixel for which the first distance is determined to be farther from the information display device 100 than the second distance based on the received pixel information. The graphics is generated and the second graphics is displayed on the display unit 20.
  • FIG. 4 is a diagram for explaining the positional relationship between an object in a real environment, graphics to be displayed so that a user can recognize the superimposition in the real environment, and a vehicle.
  • the traveling direction of the vehicle 10 is the Z-axis direction
  • the vertical direction is the Y-axis direction
  • the direction orthogonal to the Z-axis direction and the Y-axis direction is the X-axis direction.
  • buildings 41 to 45 are located in the traveling direction of the vehicle 10. Between the buildings 41 to 45, a plurality of roads 51 to 53 extend in the X-axis direction and the Z-axis direction. It is assumed that the route calculated according to the destination input by the user is a route that goes straight on the road 51 and turns left on the road 53 between the building 42 and the building 43. In this case, the generation unit 15 generates first graphics corresponding to the guidance for turning left on the road between the building 42 and the building 43 as indicated by the arrow 30. As shown in FIG. 4, the arrow 30 has a length in the Z-axis direction so as to be located at a position farthest from the vehicle 10 at the position of the road 53.
  • the generation unit 15 corresponds to the first graphic indicating the arrow 30 and each of a plurality of pixels constituting the first graphic.
  • the first distance information indicating the distance from the information display device 100 in the Z-axis direction is generated.
  • FIG. 5 is a diagram for explaining the calculation process of the first distance information and the second distance information, and the comparison process of the first distance and the second distance.
  • FIG. 5A is a diagram illustrating a real environment 110 in front of the vehicle 10 that can be seen from the driver's seat of the vehicle 10.
  • FIG. 5B is a diagram illustrating second distance information 111 indicating the second distance detected by the second detection unit 17.
  • FIG. 5C is a diagram illustrating the first graphics 31 generated by the generation unit 15.
  • the second detection unit 17 performs the first detection based on the parallax between the first video captured by one imaging unit and the second video captured by the other imaging unit.
  • Second distance information 111 indicating two distances is generated. The second distance information 111 indicates that the darker the black, the farther from the information display device 100 (the greater the distance), and the thinner black the closer the information display device 100 (the smaller the distance).
  • the generation unit 15 generates the first distance information 112 indicating the first distance for displaying the first graphics 31 together with the first graphics 31.
  • the first distance information 112 indicates that the darker the black the graphic is displayed at a position farther from the information display device 100, and the thinner the black, the closer to the information display device 100. Indicates that the graphic is to be displayed.
  • the first distance information 112 is generated based on the arrow 30 shown in FIG.
  • the comparison unit 18 compares the first distance and the second distance for each pair of pixels corresponding to each other in the first distance information 112 and the second distance information 111, and compares the first distance information 112 and the second distance information 111 from the information display device 100. Are all pixels corresponding to the first distance determined to be far (large). The comparison unit 18 compares the second distance only in the area (for example, the area indicated by the XY coordinates) in which the first graphics 31 is to be displayed in the second information with the first distance. Good.
  • FIG. 6 is a diagram for explaining the real environment and the generated second graphics. Specifically, FIG. 6A is a diagram illustrating a real environment 110 in front of the vehicle 10 that can be seen from the driver's seat of the vehicle 10. FIG. 6B is a diagram illustrating the second graphics displayed on the display unit 20. FIG. 6C is a diagram illustrating a real environment that can be seen through the second graphics displayed on the display unit 20.
  • the display control unit 19 displays, as a first graphic, an area 32 a in which the first distance is determined to be farther from the information display device 100 than the second distance as a result of comparison by the comparison unit 18.
  • the second graphics 32 deleted from the source 31 is generated and displayed on the display unit 20.
  • the second graphics 32 is displayed in a superimposed state in the actual environment that is actually seen through the display unit 20 from the driver's seat of the vehicle 10. Thereby, the user can easily grasp that the tip of the arrow indicated by the second graphics 32 is behind the building 42. For this reason, the user can easily recognize that the second graphics 32 is a guidance display that turns left toward the road 53 between the building 42 and the building 43.
  • the information display device 100 includes the display unit 20, the first detection unit 12, the acquisition unit 13, the generation unit 15, the second detection unit 17, and the comparison unit 18.
  • the display control unit 19 is provided.
  • the display unit 20 displays graphics superimposed on the real environment.
  • the first detection unit 12 detects the current position of the information display device 100 and the direction (traveling direction) in which the real environment exists as viewed from the information display device 100 at the current position.
  • the acquisition unit 13 acquires area information regarding the area including the detected current position.
  • the generation unit 15 generates first graphics for guiding the user around the current position based on the area information and the detected current position and direction, and (ii) using the area information.
  • the distance information that is determined and used for the first graphics and that indicates the first distance that is the distance from the information display device 100 in the direction is displayed for each of the plurality of first areas obtained by dividing the first graphics area.
  • the 2nd detection part 17 detects the 2nd distance which is the distance from the information display apparatus in a direction to a real environment for every some 2nd area
  • the comparison unit 18 compares the first distance in the first area indicated by the distance information with the second distance detected in the second area corresponding to the first area for each of the plurality of first areas. .
  • the display control unit 19 (i) based on the result of the comparison by the comparison unit 18, among the plurality of first regions, the first region whose first distance is farther from the information display device 100 in the direction than the second distance, A second graphic deleted from the first graphic is generated, and (ii) the second graphic is displayed on the display unit 20.
  • the second distance from the information display device 100 to the real environment in the traveling direction is detected, and the detected second distance and the first generated for use in the generated first graphics.
  • the second graphics obtained by deleting the first graphics from the first graphics in the area determined to be farther than the information display device 100 than the object in the real environment is displayed on the display unit. For this reason, for example, even if an obstacle other than a building such as a roadside tree exists in a position in front of the graphic to be displayed in the real environment, the graphics in the area overlapping the obstacle is displayed.
  • the graphic can be displayed as if the graphic is behind the obstacle. For this reason, the user can be made to recognize as if the position in the graphics progression direction (depth direction) is displayed at an appropriate position in the real environment. Therefore, the user can intuitively recognize the position in the depth direction indicated by the graphics at an appropriate position.
  • the information display device 100 further includes a line-of-sight detection unit 14 that detects a user's line-of-sight direction.
  • the second detection unit 17 detects only the distance from the information display device 100 in the direction of the object in the real environment ahead of the line of sight as the second distance.
  • the object in the real environment that is a target to which the user's line of sight is directed since the second distance is detected for an object in the real environment that is a target to which the user's line of sight is directed, the object in the real environment that is not directed to the user's line of sight. Does not have to detect the second distance. For this reason, the processing amount concerning the detection of the second distance can be reduced.
  • the information display device 100 further includes a receiving unit 11 that receives an input indicating a destination from a user.
  • the acquisition unit 13 acquires map information as regional information.
  • the generating unit 15 generates graphics for guiding a route from the current position to the destination based on the map information, the current position and the traveling direction, and the destination indicated by the received input. Generate as
  • the information display device 100 of the present disclosure it is possible to generate graphics according to the input destination. For this reason, graphics suitable for the user can be displayed.
  • the display unit 20 includes a projection unit 20a and an imaging unit 20b.
  • the projection unit 20a projects an image.
  • the imaging unit 20b is configured by a transparent panel-like member, and the image projected by the projection unit is imaged.
  • the projection unit 20a projects the generated video onto the imaging unit 20b to display graphics
  • the user can display the graphics displayed on the imaging unit 20b and the graphics displayed on the imaging unit 20b.
  • the video on which the real environment seen through the imaging unit 20b is superimposed can be visually recognized.
  • the graphics can be displayed in an overlapping manner in the real environment that is actually visible to the user, the user can visually recognize the graphics without having to distract the line of sight from the real environment.
  • FIG. 7 is a block diagram illustrating a configuration of the information display apparatus 200 according to Embodiment 2.
  • the difference from the configuration of the information display device 100 according to the first embodiment is that the information display device 200 includes a line-of-sight detection unit 22 and a display control unit 23 instead of the line-of-sight detection unit 14 and the display control unit 19. It is a point to prepare.
  • the line-of-sight detection unit 22 is different from the line-of-sight detection unit 14 of the first embodiment in that the line-of-sight direction of the user of the vehicle 10 is sent to the generation unit 15 and the second detection unit 17 and further sent to the display control unit 23. .
  • Other functions of the line-of-sight detection unit 22 are the same as those of the line-of-sight detection unit 14 according to the first embodiment, and thus the description thereof is omitted.
  • the line-of-sight detection unit 22 is realized by, for example, a camera such as a CCD (Charge Coupled Device) camera installed in the vehicle, a processor, a program, and the like.
  • the display control unit 23 further selects the first line when the line-of-sight direction faces an area other than the area of the display unit 20 on which the second graphics is to be displayed.
  • the second graphic is not displayed or the transmittance of the second graphic is increased.
  • the display control unit 23 determines whether or not the line-of-sight direction detected by the line-of-sight detection unit 22 faces a region in the display unit 20 on which the second graphics is to be displayed. If it is determined that the region is not facing, the second graphics is not displayed or the transmittance of the second graphics is increased. Since other functions of the display control unit 23 are the same as those of the display control unit 19 of the first embodiment, the description thereof is omitted.
  • the display control unit 23 is realized by, for example, a processor or a program.
  • FIG. 8 is a flowchart for explaining the operation of the information display apparatus 200 according to the second embodiment.
  • the difference from the operation flow of the information display device 100 according to Embodiment 1 is that the operation flow of the information display device 200 includes steps S14a and S18a instead of steps S14 and S18. .
  • the line-of-sight detection unit 22 detects the user's line-of-sight direction, adds the detected line-of-sight direction to the generation unit 15 and the second detection unit 17, and further sends it to the display control unit 23 (S14a).
  • the display control unit 23 determines that the line-of-sight direction is directed to a region other than the region of the display unit 20 on which the second graphics is to be displayed, in addition to the operation in step S18 of the operation flow according to the first embodiment.
  • the second graphics is not displayed or the transmittance of the second graphics is increased (S18a).
  • FIG. 9 is a diagram for explaining the second graphics displayed when the process of the information display apparatus 200 according to Embodiment 2 is performed.
  • FIG. 9A shows a situation in which the second graphics 32 as shown in FIG. 5C is displayed, and the user's line-of-sight direction D1 is the second graphic. It is a figure for demonstrating the 2nd graphics 32 displayed on the display part 20, when the area
  • FIG. 9B shows a situation where the second graphics 32 is displayed, and the user's line-of-sight direction D2 faces an area other than the area where the second graphics 32 should be displayed. It is a figure for demonstrating the 2nd graphics 32 displayed on the display part 20.
  • FIG. 9A shows a situation in which the second graphics 32 as shown in FIG. 5C is displayed, and the user's line-of-sight direction D1 is the second graphic. It is a figure for demonstrating the 2nd graphics 32 displayed on the display part 20, when the area
  • FIG. 9A when the user's line-of-sight direction D1 detected by the line-of-sight detection unit 22 faces the area in the display unit 20 where the second graphics 32 is to be displayed.
  • the second graphics 32 similar to 5 (c) is displayed.
  • FIG. 9B the user's line-of-sight direction D ⁇ b> 2 detected by the line-of-sight detection unit 22 faces the region other than the region where the second graphics 32 should be displayed on the display unit 20. If the second graphics 32 is displayed, the second graphics 32 is not displayed or the transmittance of the second graphics 32 is increased. That is, the broken line arrow 32b shown in FIG. 9B is a region where the second graphics 32 is to be displayed, and the second graphics 32 is not displayed, or the second graphics 32 is displayed. A state in which the transmittance is increased and displayed is shown.
  • the information display device 200 includes the display unit 20, the first detection unit 12, the acquisition unit 13, the generation unit 15, the second detection unit 17, and the comparison unit 18.
  • the visual line detection unit 22 and the display control unit 23 are provided.
  • the display control unit 23 displays the second graphics 32 when the line-of-sight direction detected by the line-of-sight detection unit 22 faces an area other than the area of the display unit 20 on which the second graphics 32 is to be displayed. Is not performed, or the display transmittance of the second graphics 32 is increased.
  • the display of the second graphics 32 can prevent the user from seeing the real environment as much as possible, and appropriately provide a video that the user wants to see. Can do.
  • FIG. 10 is a block diagram showing a configuration of information display apparatus 300 according to Embodiment 3.
  • the information display device 300 is different from the configuration of the information display device 100 according to the first embodiment in that the information display device 300 replaces the image capturing unit 16 and the display control unit 19 with the image capturing unit 24, the third detection unit 25 and the display. It is a point provided with the control part 26.
  • FIG. 10 the information display device 300 replaces the image capturing unit 16 and the display control unit 19 with the image capturing unit 24, the third detection unit 25 and the display. It is a point provided with the control part 26.
  • the imaging unit 24 is different from the imaging unit 16 of the first embodiment in that the captured image of the real environment is added to the display control unit 26 and further sent to the third detection unit 25. Since other functions of the imaging unit 16 are the same as those of the imaging unit 16 of the first embodiment, description thereof is omitted.
  • the imaging unit 24 may be realized by, for example, a two-viewpoint camera attached inside (or outside) the vehicle, or may be realized by a one-viewpoint camera.
  • 3rd detection part 25 detects the moving body area
  • the third detection unit 25 detects an object moving in the video by performing image processing on the acquired video.
  • the third detection unit 25 allows the user of the vehicle 10 to visually recognize the moving object on the display unit 20 based on the moving object region and the line-of-sight direction of the user of the vehicle 10. Is generated.
  • the third detection unit 25 does not have to detect all the moving objects in the captured image, and for example, detects only an object moving in a direction different from the traveling direction of the vehicle 10. It may be.
  • the direction different from the traveling direction may be a direction different from the traveling direction by a predetermined angle or more. That is, a direction different from the traveling direction by 180 degrees (a direction toward the vehicle 10) may be included in a direction different from the traveling direction.
  • the third detection unit 25 sends the generated moving object region to the display control unit 26.
  • the third detection unit 25 is realized by, for example, a processor or a program.
  • the display control unit 26 further deletes, from the second graphics, a region corresponding to the detected moving body region from the second graphics.
  • the generated third graphics are generated, and the third graphics are displayed on the display unit 20.
  • the display control unit 26 determines that the real environment in the moving object region is the user of the vehicle 10 regardless of the comparison result in the comparing unit 18. Controls the display of graphics so that they can be seen from.
  • the display control unit 26 causes the display unit 20 to display the second graphics as it is when the moving object region is not detected by the third detection unit 25.
  • the display control unit 26 is realized by, for example, a processor or a program.
  • FIG. 11 is a flowchart for explaining the operation of the information display apparatus 300 according to the third embodiment.
  • the operation flow of the information display device 300 is different from the operation flow of the information display device 100 according to the first embodiment.
  • the operation flow of the information display device 300 further includes step S15b, and includes step S18b instead of step S18. It is.
  • the third detection unit 25 detects a moving object region in which an object moving in the real environment is reflected from the image of the real environment taken in the traveling direction imaged by the shooting unit 24, and performs display control of the detected moving object region. This is sent to the unit 26 (S15b).
  • the display control unit 26 further extracts a region corresponding to the detected moving object region from the second graphics in the second graphics region.
  • the deleted third graphic is generated, and the third graphic is displayed on the display unit 20 (S18b).
  • FIG. 12 is a diagram for explaining the third graphics 33 displayed when the process of the information display apparatus 300 according to Embodiment 3 is performed.
  • FIG. 12A shows a situation in which the second graphics 32 as shown in FIG. 5C is displayed, and a situation in which a moving object is detected. It is a figure for demonstrating the 2nd graphics 32 displayed when the process in the display control part 26 is not performed.
  • FIG. 12B shows a case where the display control unit 26 performs processing when the second graphics 32 is displayed and when a moving object is detected. It is a figure for demonstrating the 3rd graphics 33 displayed on.
  • the second graphics 32 is displayed overlapping the moving object. For this reason, if the second graphics 32 is displayed as it is under such a situation, it is difficult for the user to visually recognize the moving object.
  • FIG. 12B in a situation where a moving object is detected, a moving object region is detected as a moving object region 34 and corresponds to the detected moving object region 34.
  • the third graphics 33 from which the second graphics 32 is deleted is generated, and the third graphics 33 is displayed on the display unit 20. For this reason, graphics can be displayed in areas other than the moving object area corresponding to the moving object, and the user can easily move the moving object even when the graphic overlaps the moving object. Visible to.
  • the information display device 300 includes the display unit 20, the first detection unit 12, the acquisition unit 13, the generation unit 15, the second detection unit 17, and the comparison unit 18.
  • the display control unit 26 is provided.
  • the information display device 300 further includes an imaging unit 24 and a third detection unit 25.
  • the imaging unit 24 images the real environment in the traveling direction.
  • the third detection unit 25 detects a moving object region in which an object moving in the real environment is reflected from the video imaged by the imaging unit 24.
  • the display control unit 26 further generates a third graphic 33 in which the region corresponding to the detected moving object region 34 among the regions of the second graphics 32 is deleted from the second graphics 32.
  • the graphics 33 is displayed on the display unit 20.
  • the information display device 300 of the present disclosure when a moving object such as another car, a bicycle, or a pedestrian crossing the road is included in the real environment, the object is displayed on the display unit 20. It is possible to avoid as much as possible the concealment by the second graphics 32 to be displayed. Therefore, it is possible to prompt the user to pay attention to the moving object.
  • the second detection unit 17 is a stereo camera having two imaging units that capture the real environment in the traveling direction. Further, the second detection unit 17 detects the second distance based on the parallax between the first video imaged by one imaging unit and the second video imaged by the other imaging unit.
  • the information display device 300 of the present disclosure since the distance to an object in the real environment can be detected while photographing the real environment in the traveling direction, for example, walking that crosses the traveling direction without providing a separate camera. Can detect a person. That is, the cameras for realizing the second detection unit 17 and the photographing unit 24 need not be separate cameras, and can be shared.
  • Embodiments 1 to 3 have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • the information display devices 100, 200, and 300 include the reception unit 11, but may not include the reception unit 11. That is, even if the reception unit 11 is not provided, an information display device having a configuration that does not include the reception unit may be used as long as it acquires information on the surrounding area in advance and displays the information as graphics. However, functions equivalent to those of the information display devices 100, 200, and 300 can be realized.
  • the storage unit 21 may not be included. That is, even if the information display devices 100, 200, and 300 do not include the storage unit 21, the information display devices 100, 200, and 300 may acquire regional information from a server via the Internet, or may store externally provided regional information. You may acquire from an apparatus. Thereby, even if it is an information display apparatus of the structure which is not equipped with the memory
  • the information display devices 100 and 300 include the line-of-sight detection units 14 and 22, the line-of-sight detection units 14 and 22 may not be included.
  • the information display devices 100 and 300 use the line-of-sight direction detected by the line-of-sight detection units 14 and 22 to determine the position on the display surface of the display unit 20 that displays the graphics on the display unit 20. Even if the user is not detected, if the user's position in the vehicle 10 is known to be a fixed position determined in advance, the gaze direction can be calculated. Functions can be realized.
  • the information display devices 100 and 300 are detected by the first detection unit 12 of an object in the real environment ahead of the visual line direction detected by the visual line detection units 14 and 22 (that is, an object viewed by the user).
  • the processing amount is reduced by detecting only the distance from the information display device 100 in the selected direction as the second distance, the processing amount cannot be reduced even if the line-of-sight direction is not detected. In other cases, functions equivalent to those of the information display devices 100 and 300 can be realized.
  • the generation unit 15 positively superimposes the generated first graphics on an object in the real environment corresponding to the first graphics.
  • the first graphics may be generated so as to overlap an object in the real environment. That is, the generation unit 15 at least partially overlaps an area in which the first graphics is displayed on the display unit 20 and an area where an object in the real environment that is the target of the first graphics can be viewed on the display unit 20.
  • the first graphics may be generated as described above. More specifically, for example, as shown in FIG.
  • the first part of the building annotation display (including tourist guide signs, explanations, annotations, etc.) is used as the first graphic in the real environment such as a building. It may be generated so as to overlap the object, and the region of the overlapping tip portion may be deleted. Of course, the first graphics may be positively generated so that, for example, the first graphics in the first embodiment overlap with an object in the real environment. For this reason, the user can identify at a glance the correspondence between the target object guided by the first graphic and the second graphic generated based on the first graphic.
  • the information display devices 100 and 200 include the imaging unit 16, the imaging unit 16 may not be included.
  • the information display devices 100 and 200 determine the position for displaying the graphics on the display surface of the display unit 20 using the video obtained by photographing the real environment, but the current position of the vehicle 10 without the video. If the traveling direction is detected, the real environment visible to the user can be estimated, so that the same function as the information display device 100 can be realized.
  • the display unit 20 includes the projection unit 20a and the image forming unit 20b. Or the like. That is, in the information display devices 100, 200, and 300, by projecting graphics onto the windshield as the image forming unit 20b, the user sees the real environment and graphics that are visible through the windshield superimposed.
  • the present invention is not limited to this, and a form in which graphics are superimposed on an image of a real environment photographed by the photographing unit 16 and displayed on a display may be used. Even with such a configuration, the user can view a video in which a video of a real environment and graphics are superimposed. In this case, the photographing unit 16 that photographs the real environment is an essential component.
  • the information display devices 100, 200, and 300 according to Embodiments 1 to 3 have been described as examples of being realized as a car navigation system.
  • the present invention is not limited to this, and the glasses-type wearable as shown in FIG. 13A is used. You may implement
  • the area information is map information, but is not limited thereto, and information on landmarks such as buildings, monuments, spaces (squares), and nature is displayed. May be included.
  • the information on the landmark may be a name of the landmark or an explanatory text explaining the history of the landmark. That is, in this case, instead of displaying graphics for guiding the route from the current location to the destination, information about landmarks may be displayed in an area corresponding to the landmarks as shown in FIG. 13B. Good.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a central processing unit (CPU) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the image decoding apparatus of each of the above embodiments is the following program.
  • this program is an information display method performed in an information display device provided with a display unit on a computer where graphics superimposed on the real environment are displayed on the display surface, and the current position of the information display device, A step of detecting a direction in which the real environment is present as viewed from the information display device at the current position; a step of acquiring area information relating to the area including the detected current position; (i) the acquired area information; and the detected current position A first graphic for guiding the user around the current position based on the direction and (ii) a distance determined for the first graphic and determined using the local information, Distance information indicating the first distance, which is the distance from the display surface in the above direction, for each of the plurality of first areas obtained by dividing the first graphics area Generating a second distance that is a distance from the display surface to the real environment in the direction for each of the second areas of the real environment corresponding to the first areas, and a plurality of first areas For each of the regions, a step of comparing the first distance in the first region indicated by
  • This disclosure is useful as an information display device, an information display method, and the like that allow a user to identify at a glance the relationship between graphics and an object in the real environment that is the object of information indicated by the graphics.
  • the present disclosure is applicable to car navigation systems, PNDs (Personal Navigation Devices), smartphones, tablet terminals, wearable terminals, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示の情報表示装置は、表示部と、情報表示装置の現在位置及び方向を検出する第一検出部と、地域情報を取得する取得部と、利用者に情報表示装置の周辺を案内するための第一グラフィックスと、当該第一グラフィックスを表示させる第一距離を示す距離情報とを生成する生成部と、第一グラフィックスを表示させる領域に対応する現実環境の領域における物体の第二距離を検出する第二検出部と、第一距離と、第二距離とを比較する比較部と、第二距離よりも第一距離が情報表示装置から遠い領域を、第一グラフィックスから削除した第二グラフィックスを表示部に表示する表示制御部と、を備える。

Description

情報表示装置、情報表示方法及びプログラム
　本開示は、情報表示装置、情報表示方法及びプログラムに関する。
　特許文献１は、車外の建物に関する情報を運転者に安全かつ容易に認識させることが可能な情報（グラフィックス）を表示する車用情報表示装置を開示する。
　しかしながら、特許文献１の技術では、グラフィックスと、現実環境における車外の建物との対応関係を識別することが難しい。このため、運転者は、表示されたグラフィックスの情報を、当該グラフィックスが対応していない建物の情報であると誤認するおそれがある。つまり、従来の技術では、グラフィックスと、グラフィックスが示す情報の対象となる対象物との関係を一目で識別することが難しいという問題がある。
特開２００６－２４２８５９号公報
　本開示は、グラフィックスと、グラフィックスが示す情報の対象となる現実環境における対象物との関係を利用者に一目で識別させることができる情報表示装置などを提供する。
　本開示の情報表示装置は、現実環境と重ね合わせられたグラフィックスが表示される表示部と、情報表示装置の現在位置と、現在位置における情報表示装置からみた現実環境が存在する方向とを検出する第一検出部と、検出された現在位置を含む地域に関する地域情報を取得する取得部と、（ｉ）地域情報と、検出された現在位置および方向とに基づき、利用者に現在位置の周辺を案内するための第一グラフィックスを生成し、かつ、（ｉｉ）地域情報を用いて決定され、第一グラフィックスに用いる距離であって、上記方向における情報表示装置からの距離である第一距離を示す距離情報を、第一グラフィックスの領域を分割した複数の第一領域毎に生成する生成部と、複数の第一領域に対応する現実環境の複数の第二領域毎に、上記方向における情報表示装置から現実環境までの距離である第二距離を検出する第二検出部と、複数の第一領域のそれぞれについて、距離情報により示される当該第一領域における第一距離と、当該第一領域に対応する第二領域において検出された第二距離とを比較する比較部と、（ｉ）比較部による比較の結果に基づき、複数の第一領域のうちで、第二距離よりも第一距離が上記方向において情報表示装置から遠い第一領域を、第一グラフィックスから削除した第二グラフィックスを生成し、（ｉｉ）第二グラフィックスを表示部に表示する表示制御部と、を備える。
　本開示の情報表示装置によれば、グラフィックスと、グラフィックスが示す情報の対象となる現実環境における対象物との関係を利用者に一目で識別させることができる。
図１は、実施の形態１に係る情報表示装置を備えた車両の運転席周辺の外観図である。 図２は、実施の形態１に係る情報表示装置の構成を示すブロック図である。 図３は、実施の形態１に係る情報表示装置の動作を説明するためのフローチャートである。 図４は、現実環境における物体と、利用者が当該現実環境に重畳して認識できるように表示するグラフィックスと、車両との位置関係を説明するための図である。 図５は、第一距離情報と、第二距離情報との算出処理と、第一距離及び第二距離の比較処理とについて説明するための図である。 図６は、現実環境と生成した第二グラフィックスとについて説明するための図である。 図７は、実施の形態２に係る情報表示装置の構成を示すブロック図である。 図８は、実施の形態２に係る情報表示装置の動作を説明するためのフローチャートである。 図９は、実施の形態２に係る情報表示装置の処理が行われたときに表示される第二グラフィックスについて説明するための図である。 図１０は、実施の形態３に係る情報表示装置の構成を示すブロック図である。 図１１は、実施の形態３に係る情報表示装置の動作を説明するためのフローチャートである。 図１２は、実施の形態３に係る情報表示装置の処理が行われたときに表示される第三グラフィックスについて説明するための図である。 図１３Ａは、他の実施の形態に係る情報表示装置の一例を示す外観図である。 図１３Ｂは、他の実施の形態に係る情報表示装置の他の一例を示す外観図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　以下、図１～６を用いて、実施の形態１を説明する。
　［１－１．構成］
　図１は、実施の形態１に係る情報表示装置１００を備えた車両１０の運転席周辺の外観図である。図２は、実施の形態１に係る情報表示装置１００の構成を示すブロック図である。
　図２に示すように、情報表示装置１００は、受付部１１、第一検出部１２、取得部１３、視線検出部１４、生成部１５、撮影部１６、第二検出部１７、比較部１８、表示制御部１９、表示部２０、及び記憶部２１を備える。情報表示装置１００は、例えば、車両１０に搭載されるカーナビゲーションシステムとして実現される。
　受付部１１は、目的地を示す入力を利用者から受け付ける。具体的には、受付部１１は、車両１０の利用者により入力された、車の目的地の目的地名、目的地の電話番号等の目的地情報を受け付ける。受付部１１は、入力された目的地を示す目的地情報を生成部１５に送る。
　第一検出部１２は、情報表示装置１００の現在位置と、当該現在位置における情報表示装置１００からみた現実環境が存在する方向とを検出する。第一検出部１２は、検出した情報表示装置１００（車両１０）の現在位置と、情報表示装置１００（車両１０）が向いている方向とを示す情報を生成部１５に送る。なお、情報表示装置１００が向いている方向とは、例えば、車両１０の正面（つまり、前側の部分）が向いている方向であってもよいし、車両１０の進行方向であってもよい。なお、以下では、情報表示装置１００が向いている方向を進行方向という。第一検出部１２は、例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機、地磁気センサ、ジャイロスコープ（図示せず）などで実現される。
　記憶部２１は、地域情報を記憶している。地域情報は、建物情報や道路情報などを含む地図情報である。地図情報は、カーナビゲーションシステムなどで用いられる情報であって、利用者を現在地から目的地まで案内するための経路を算出するために用いる情報である。記憶部２１は、例えば、ハードディスクや不揮発性のメモリなどで実現される。
　取得部１３は、第一検出部１２により検出された現在位置を含む地域に関する地域情報を、記憶部２１から取得する。取得部１３は、具体的には、地域情報としての地図情報を、記憶部２１から取得する。取得部１３は、例えば、プロセッサ、プログラムなどで実現される。
　視線検出部１４は、車両１０の利用者の視線方向を検出する。視線検出部１４は、具体的には、車両１０の利用者の目を撮影し、利用者の目の位置や水晶体の動きなどを解析し、利用者が見ている視線の方向を検出する。視線検出部１４は、検出した車両１０の利用者の視線方向を生成部１５および第二検出部１７に送る。視線検出部１４は、例えば、車内に取り付けられたＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）カメラなどのカメラ、プロセッサ、プログラムなどで実現される。
　生成部１５は、取得部１３により取得された地域情報と、第一検出部１２により検出された情報表示装置１００（車両１０）の現在位置および進行方向と、受付部１１により受け付けられた目的地情報と、視線検出部１４により検出された車両１０の利用者の視線方向とに基づき、車両１０の利用者の視線方向において表示部２０上で最適な位置に、車両１０の利用者に情報表示装置１００（車両１０）が位置する現在位置の周辺を案内するための第一グラフィックスを生成する。さらに、生成部１５は、地域情報を用いて決定され、第一グラフィックスに用いる距離であって、進行方向における情報表示装置１００からの距離である第一距離を示す距離情報を、第一グラフィックスの表示領域を分割した複数の第一領域毎に生成する。なお、ここでいう、情報表示装置１００からの距離とは、情報表示装置１００の表示部２０のうちの表示面（つまり、後述する結像部２０ｂ）を基準とした距離としてもよいし、第二検出部１７を実現するステレオカメラ（後述参照）を基準とした距離としてもよい。生成部１５は、具体的には、地図情報と、車両１０の現在位置および進行方向と、目的地情報とに基づき、現在地から目的地までの経路を案内するための第一グラフィックスおよび第一グラフィックスを表示させる第一距離を示す第一距離情報を生成する。なお、第一領域は、例えば、第一グラフィックスを構成する複数の画素のそれぞれであってもよいし、所定の個数単位の画素の集合のそれぞれであってもよい。
　生成部１５は、生成した第一グラフィックスを表示制御部１９に、第一グラフィックスの第一距離情報を比較部１８に送る。生成部１５は、例えば、プロセッサ、プログラムなどで実現される。
　撮影部１６は、進行方向における現実環境を撮影する。具体的には、撮影部１６は、少なくとも進行方向における現実環境を含む範囲の映像を撮影する。撮影部１６は、撮影した現実環境の映像を表示制御部１９に送る。撮影部１６は、例えば、車内（または車外）に取り付けられた２視点のカメラで実現してもよいし、１視点のカメラで実現してもよい。
　第二検出部１７は、複数の第一領域に対応する現実環境の複数の第二領域毎に、進行方向における情報表示装置１００から現実環境までの距離である第二距離を検出する。なお、情報表示装置１００から現実環境までの距離とは、情報表示装置１００の表示部２０のうちの表示面（つまり、後述する結像部２０ｂ）を基準とした現実環境における物体までの距離としてもよいし、第二検出部１７を実現するステレオカメラ（後述参照）を基準とした現実環境における物体までの距離としてもよい。なお、情報表示装置１００から現実環境までの距離とは、現実環境に物体が存在しない空間の場合には、例えば無限遠とする。また、第二領域とは、表示部２０における第一グラフィックスが表示されている領域において、利用者から表示部２０を介して見える現実領域と重なっている領域である。
　第二検出部１７は、視線検出部１４により検出された視線方向の先にある現実環境のうち物体の進行方向における情報表示装置１００からの距離のみを、第二距離として検出してもよい。
　第二検出部１７は、具体的には、進行方向における現実環境を撮影する２つの撮影部を有するステレオカメラである。第二検出部１７は、一方の撮影部で撮影された第一映像と、他方の撮影部で撮影された第二映像との視差に基づいて、第二距離を検出する。
　第二検出部１７は、検出した第二距離を示す第二距離情報を比較部１８に送る。第二検出部１７は、例えば、車外に取り付けられた２視点のＣＣＤカメラ（ステレオカメラ）、プロセッサ、プログラムなどで実現される。なお、第二検出部１７は、ミリ波レーダーで実現されてもよい。
　比較部１８は、複数の第一領域のそれぞれについて、生成部１５により生成された第一距離情報により示される当該第一領域における第一距離と、当該第一領域に対応する第二領域において第二検出部１７により検出された第二距離とを比較する。つまり、比較部１８は、具体的には、複数の第一領域のそれぞれについて、ある第一領域における第一距離と、複数の第二領域のうちの当該第一領域に対応する第二領域における第二距離とを比較する。比較部１８は、比較結果を表示制御部１９に送る。
　より具体的には、比較部１８は、表示部２０上において、表示しようとしている第一グラフィックスと、車両１０の利用者が見ている現実環境の物体とが重なり合う領域において、画素単位で両者の情報表示装置１００からの距離の比較を行う。そして、比較部１８は、第一グラフィックスが車両１０の利用者が見ている現実環境の物体よりも遠い位置（つまり、奥の位置、または、前方の位置）にある画素を示す画素情報を表示制御部１９に送る。
　比較部１８は、例えば、プロセッサ、プログラムなどで実現される。
　表示制御部１９は、比較部１８による比較の結果に基づき、複数の第一領域（第一グラフィックスの表示領域）のうちで、第二距離よりも第一距離が情報表示装置１００から遠い（つまり、奥にある）第一領域を、第一グラフィックスから削除した第二グラフィックスを生成し、第二グラフィックスを表示部２０に表示する。より具体的には、表示制御部１９は、比較部１８から受け取った画素情報に基づき、第一グラフィックスが車両１０の利用者が見ている現実環境の物体よりも奥にある画素を、第一グラフィックスから削除した第二グラフィックスを生成し、生成した第二グラフィックスを表示部２０に表示する。もちろん、表示制御部１９は、比較の結果、全ての領域において、第二距離よりも第一距離が情報表示装置１００から遠いことを満たさない場合には、第一グラフィックスをそのまま表示部２０に表示させる。表示制御部１９は、例えば、プロセッサ、プログラムなどで実現される。
　表示部２０は、現実環境と重ね合わされたグラフィックスが表示される。表示部２０は、表示制御部１９が生成した第二グラフィックスを表示する。表示部２０は、例えば、映像を投射する投射部２０ａと、透明なパネル上の部材により構成され、投射部２０ａにより投射された映像を結像するための結像部２０ｂと、を有する。つまり、表示部２０は、結像部２０ｂを透過して見える現実環境に対して重ね合わされた映像としての第二グラフィックスが表示される。投射部２０ａは、例えば、グラフィックスを含む映像を投射するプロジェクタなどで実現される。また、結像部２０ｂは、例えば、フロントガラスなどで実現される。
　［１－２．動作］
　以上のように構成された情報表示装置１００について、その動作を以下に説明する。
　図３は、実施の形態１に係る情報表示装置１００の動作を説明するためのフローチャートである。
　まず、受付部１１は、車両１０の利用者により入力された、目的地を示す目的地名、電話番号等の目的地情報を受け付け、受け付けた目的地情報を生成部１５に送る（Ｓ１１）。
　次に、第一検出部１２は、情報表示装置１００（車両１０）の現在位置および進行方向を検出し、検出した現在位置及び進行方向を示す情報を生成部１５に送る（Ｓ１２）。
　次に、取得部１３は、地域情報を記憶部２１から取得し、取得した地域情報を生成部１５に送る（Ｓ１３）。
　次に、視線検出部１４は、利用者の視線方向を検出し、検出した視線方向を生成部１５および第二検出部１７に送る（Ｓ１４）。
　次に、生成部１５は、受け取った地域情報、現在位置、進行方向及び視線方向に基づき、利用者に情報表示装置１００の周辺を案内するための第一グラフィックスを生成するとともに、地域情報を用いて決定され、第一グラフィックスに用いる距離であって、進行方向における情報表示装置１００からの距離である第一距離を示す距離情報を、第一グラフィックスの領域を分割した複数の第一領域毎に生成する。また、生成部１５は、生成した第一グラフィックスを表示制御部１９に、生成した第一距離情報を比較部１８に送る（Ｓ１５）。
　次に、第二検出部１７は、複数の第一領域に対応する現実環境の複数の第二領域毎に、進行方向における情報表示装置１００から現実環境までの距離である第二距離を検出し、第二距離を示す第二距離情報を比較部１８に送る（Ｓ１６）。より具体的には、第二検出部１７は、現実環境のうちの、受け取った視線方向の先の物体までの距離のみを、第二距離として検出する。
　比較部１８は、受け取った第一距離情報及び第二距離情報を比較し、比較結果を表示制御部１９に送る（Ｓ１７）。より具体的には、比較部１８は、第一距離情報と第二距離情報とから、第一グラフィックスと車両１０の利用者が見ている現実環境の物体とが重なり合う領域において、画素単位で両者の比較を行うことで、第一グラフィックスが車両１０の利用者が見ている現実環境の物体よりも情報表示装置１００から遠いと判定された画素を示す画素情報を表示制御部１９に送る。
　表示制御部１９は、比較部１８での比較の結果に基づき、第一グラフィックスの領域のうちで、第二距離よりも第一距離が情報表示装置１００から遠いと判定された領域を、第一グラフィックスから削除した第二グラフィックスを生成し、第二グラフィックスを表示部２０に表示する（Ｓ１８）。より具体的には、表示制御部１９は、受け取った画素情報に基づき、第一距離が第二距離よりも情報表示装置１００から遠いと判定された画素を、第一グラフィックスから削除した第二グラフィックスを生成し、第二グラフィックスを表示部２０に表示する。
　［１－３．具体例］
　ここで、表示部２０に表示するグラフィックスの具体例について、図４～図６を用いて説明する。
　図４は、現実環境における物体と、利用者が当該現実環境に重畳して認識できるように表示するグラフィックスと、車両との位置関係を説明するための図である。なお、図４では、車両１０の進行方向をＺ軸方向、鉛直方向をＹ軸方向とし、Ｚ軸方向及びＹ軸方向に直交する方向をＸ軸方向とする。
　図４に示す例の現実環境では、車両１０の進行方向に建物４１～４５が位置している。そして、建物４１～４５の間には、複数の道路５１～５３が、Ｘ軸方向及びＺ軸方向に延びている。利用者が入力した目的地に応じて算出された経路が、道路５１を直進し、建物４２と建物４３との間の道路５３を左折する経路であるとする。この場合、生成部１５は、矢印３０に示すような、建物４２と建物４３との間の道路を左に曲がる案内に相当する第一グラフィックスを生成する。この矢印３０は、図４に示すように、道路５３の位置で車両１０から最も遠い位置に位置するように、Ｚ軸方向において長さを有する。つまり、矢印３０は、車両１０から見たときに奥行きを有しているため、生成部１５は、当該矢印３０を示す第一グラフィックスと、第一グラフィックスを構成する複数の画素毎に対応するＺ軸方向における情報表示装置１００からの距離を示す第一距離情報とを生成する。
　図５は、第一距離情報と、第二距離情報との算出処理と、第一距離及び第二距離の比較処理とについて説明するための図である。具体的には、図５の（ａ）は、車両１０の運転席から見える車両１０の前方の現実環境１１０を示す図である。図５の（ｂ）は、第二検出部１７により検出された第二距離を示す第二距離情報１１１を示す図である。図５の（ｃ）は、生成部１５により生成される第一グラフィックス３１を示す図である。
　図５の（ｂ）に示すように、第二検出部１７は、一方の撮影部で撮影された第一映像と、他方の撮影部で撮影された第二映像との視差に基づいて、第二距離を示す第二距離情報１１１を生成する。第二距離情報１１１は、黒色が濃いほど情報表示装置１００から遠い（大きい距離である）ことを示し、黒色が薄いほど情報表示装置１００から近い（小さい距離である）ことを示す。
　また、図５の（ｃ）に示すように、生成部１５は、第一グラフィックス３１とともに、第一グラフィックス３１を表示する第一距離を示す第一距離情報１１２を生成する。第一距離情報１１２は、第二距離情報１１１と同様に、黒色が濃いほど情報表示装置１００から遠い位置に表示するグラフィックスであることを示し、黒色が薄いほど情報表示装置１００から近い位置に表示するグラフィックスであることを示す。なお、第一距離情報１１２は、図４で示した矢印３０に基づいて生成される。
　比較部１８は、第一距離情報１１２と第二距離情報１１１との互いに対応する画素の組のそれぞれについて、第一距離と第二距離とを比較して、情報表示装置１００から第二距離よりも遠い（大きい）と判定された第一距離に対応する画素の全てを特定する。なお、比較部１８は、第二情報のうち第一グラフィックス３１を表示しようとしている領域（例えばＸ－Ｙ座標で示される領域）のみにおける第二距離について、第一距離との比較を行えばよい。
　図６は、現実環境と生成した第二グラフィックスとについて説明するための図である。具体的には、図６の（ａ）は、車両１０の運転席から見える車両１０の前方の現実環境１１０を示す図である。図６の（ｂ）は、表示部２０に表示した第二グラフィックスを示す図である。図６の（ｃ）は、表示部２０に表示した第二グラフィックス越しに見える現実環境を示す図である。
　図６の（ｂ）に示すように、表示制御部１９は、比較部１８による比較の結果、第二距離よりも第一距離が情報表示装置１００から遠いと判定された領域３２ａを第一グラフィックス３１から削除した第二グラフィックス３２を生成し、表示部２０に表示する。これにより、図６の（ｃ）に示すように、実際に車両１０の運転席から表示部２０越しに見える現実環境には、第二グラフィックス３２が重畳した状態で表示されることになる。これにより、第二グラフィックス３２で示される矢印の先端は、建物４２の奥にあることを利用者は容易に把握することができる。このため、利用者は、第二グラフィックス３２が建物４２と建物４３との間の道路５３に向かって左折する案内表示であることを容易に認識できる。
　［１－４．効果等］
　以上のように、本実施の形態において、情報表示装置１００は、表示部２０と、第一検出部１２と、取得部１３と、生成部１５と、第二検出部１７と、比較部１８と、表示制御部１９とを備える。表示部２０は、現実環境と重ね合わされたグラフィックスが表示される。第一検出部１２は、情報表示装置１００の現在位置と、当該現在位置における情報表示装置１００からみた現実環境が存在する方向（進行方向）とを検出する。取得部１３は、検出された現在位置を含む地域に関する地域情報を取得する。生成部１５は、地域情報と、検出された現在位置および方向とに基づき、利用者に現在位置の周辺を案内するための第一グラフィックスを生成し、かつ、（ｉｉ）地域情報を用いて決定され、第一グラフィックスに用いる距離であって、方向における情報表示装置１００からの距離である第一距離を示す距離情報を、第一グラフィックスの領域を分割した複数の第一領域毎に生成する。第二検出部１７は、複数の第一領域に対応する現実環境の複数の第二領域毎に、方向における情報表示装置から現実環境までの距離である第二距離を検出する。比較部１８は、複数の第一領域のそれぞれについて、距離情報により示される当該第一領域における第一距離と、当該第一領域に対応する第二領域において検出された第二距離とを比較する。表示制御部１９は、（ｉ）比較部１８による比較の結果に基づき、複数の第一領域のうちで、第二距離よりも第一距離が方向において情報表示装置１００から遠い第一領域を、第一グラフィックスから削除した第二グラフィックスを生成し、（ｉｉ）第二グラフィックスを表示部２０に表示する。
　本開示の情報表示装置１００によれば、進行方向における情報表示装置１００から現実環境までの第二距離を検出し、検出した第二距離と、生成した第一グラフィックスに用いるために生成した第一距離とを比較して、現実環境における物体よりも第一グラフィックスを情報表示装置１００よりも遠いと判定された領域を第一グラフィックスから削除した第二グラフィックスを表示部に表示させる。このため、例えば、現実環境において建物のみならず街路樹などの建物以外の障害物が、表示させたいグラフィックスの手前の位置に存在していたとしても、当該障害物と重なった領域のグラフィックスを削除したグラフィックスを表示するため、当該障害物よりも奥側にグラフィックスがあるかのようにグラフィックスを表示させることができる。このため、利用者に、グラフィックスの進行方向（奥行き方向）の位置が現実環境において適切な位置に表示されているかのように認識させることができる。よって、利用者は、グラフィックスが示している奥行き方向の位置を直感的に適切な位置で認識できる。
　また、本実施の形態において、情報表示装置１００は、さらに、利用者の視線方向を検出する視線検出部１４を備える。第二検出部１７は、視線方向の先にある現実環境のうち物体の方向における情報表示装置１００からの距離のみを、第二距離として検出する。
　本開示の情報表示装置１００によれば、利用者の視線が向いている対象となる現実環境の物体について第二距離を検出しているため、利用者の視線が向いていない現実環境の物体については第二距離を検出しなくてもよい。このため、第二距離の検出に係る処理量を低減することができる。
　本実施の形態において、情報表示装置１００は、さらに、目的地を示す入力を利用者から受け付ける受付部１１を備える。取得部１３は、地域情報として地図情報を取得する。生成部１５は、地図情報と、現在位置及び進行方向と、受け付けられた入力により示される目的地とに基づき、現在位置から目的地までの経路を案内するためのグラフィックスを第一グラフィックス３１として生成する。
　本開示の情報表示装置１００によれば、入力された目的地に応じたグラフィックスを生成できる。このため、利用者に適したグラフィックスを表示させることができる。
　本実施の形態において、情報表示装置１００では、表示部２０は、投射部２０ａと、結像部２０ｂとを備える。投射部２０ａは、映像を投射する。結像部２０ｂは、透明なパネル状の部材により構成され、投射部により投射された映像が結像される。
　本開示の情報表示装置１００によれば、生成した映像を投射部２０ａが結像部２０ｂに投射することでグラフィックスを表示させるため、利用者は、結像部２０ｂに表示されたグラフィックスと、結像部２０ｂ越しに見える現実環境とが重畳された映像を視認できる。このように、利用者に実際に見えている現実環境に、グラフィックスを重ねて表示させることができるため、利用者は、視線を現実環境からそらさなくてもグラフィックスを視認することができる。
　（実施の形態２）
　［２－１．構成］
　図７は、実施の形態２に係る情報表示装置２００の構成を示すブロック図である。
　図７において、実施の形態１に係る情報表示装置１００の構成と異なる点は、情報表示装置２００は、視線検出部１４、表示制御部１９に代えて、視線検出部２２、表示制御部２３を備える点である。
　以下、実施の形態１に係る情報表示装置１００と異なる点について主に説明する。
　視線検出部２２は、検出した車両１０の利用者の視線方向を生成部１５および第二検出部１７に加え、さらに、表示制御部２３に送る点が実施の形態１の視線検出部１４と異なる。視線検出部２２のその他の機能は、実施の形態１の視線検出部１４と同様であるため説明を省略する。視線検出部２２は、例えば、車内に取り付けられたＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）カメラなどのカメラ、プロセッサ、プログラムなどで実現される。
　表示制御部２３は、実施の形態１の表示制御部１９の機能に加えて、さらに、視線方向が、第二グラフィックスを表示させるべき表示部２０の領域以外の領域を向いている場合、第二グラフィックスの表示を行わない、または、第二グラフィックスの透過率を上昇させる。より具体的には、表示制御部２３は、視線検出部２２により検出された視線方向が第二グラフィックスを表示させるべき表示部２０における領域を向いているか否かを判定し、当該視線方向が当該領域を向いていないと判定した場合に、第二グラフィックスの表示を行わない、または、第二グラフィックスの透過率を上昇させる。表示制御部２３のその他の機能は、実施の形態１の表示制御部１９と同様であるため説明を省略する。表示制御部２３は、例えば、プロセッサ、プログラムなどで実現される。
　［２－２．動作］
　以上のように構成された情報表示装置２００について、その動作を以下に説明する。
　図８は、実施の形態２に係る情報表示装置２００の動作を説明するためのフローチャートである。
　図８において、実施の形態１に係る情報表示装置１００の動作フローと異なる点は、情報表示装置２００の動作フローは、ステップＳ１４及びステップＳ１８に代えて、ステップＳ１４ａ及びステップＳ１８ａを含む点である。
　以下、実施の形態１に係る情報表示装置１００の動作フローと異なる点について主に説明する。
　視線検出部２２は、利用者の視線方向を検出し、検出した視線方向を生成部１５および第二検出部１７に加え、さらに、表示制御部２３に送る（Ｓ１４ａ）。
　表示制御部２３は、実施の形態１に係る動作フローのステップＳ１８の動作に加えて、視線方向が、第二グラフィックスを表示させるべき表示部２０の領域以外の領域を向いていると判定すると、当該第二グラフィックスの表示を行わない、または、当該第二グラフィックスの透過率を上昇させる（Ｓ１８ａ）。
　［２－３．具体例］
　ここで、表示部２０に表示するグラフィックスの具体例について、図９を用いて説明する。
　図９は、実施の形態２に係る情報表示装置２００の処理が行われたときに表示される第二グラフィックスについて説明するための図である。具体的には、図９の（ａ）は、図５の（ｃ）で示したような第二グラフィックス３２が表示される状況であるときに、利用者の視線方向Ｄ１が、第二グラフィックス３２が表示されるべき領域を向いている場合に表示部２０に表示される第二グラフィックス３２について説明するための図である。図９の（ｂ）は、第二グラフィックス３２が表示される状況であるときに、利用者の視線方向Ｄ２が、第二グラフィックス３２が表示されるべき領域以外の領域を向いている場合に表示部２０に表示される第二グラフィックス３２について説明するための図である。
　図９の（ａ）に示すように、視線検出部２２により検出された利用者の視線方向Ｄ１が表示部２０における第二グラフィックス３２が表示されるべき領域を向いている場合には、図５の（ｃ）と同様の第二グラフィックス３２が表示される。一方で、図９の（ｂ）に示すように、視線検出部２２により検出された利用者の視線方向Ｄ２が表示部２０における第二グラフィックス３２が表示されるべき領域以外の領域を向いている場合には、第二グラフィックス３２の表示を行わない、または、第二グラフィックス３２の透過率を上昇させて表示する。つまり、図９の（ｂ）に示す破線矢印３２ｂは、第二グラフィックス３２を表示させるべき領域であって、第二グラフィックス３２の表示を行っていない状態、または、第二グラフィックス３２の透過率を上昇させて表示している状態を示している。
　［２－４．効果等］
　以上のように、本実施の形態において、情報表示装置２００は、表示部２０と、第一検出部１２と、取得部１３と、生成部１５と、第二検出部１７と、比較部１８と、視線検出部２２と、表示制御部２３とを備える。そして、表示制御部２３は、視線検出部２２により検出された視線方向が、第二グラフィックス３２を表示させるべき表示部２０の領域以外の領域を向いている場合、第二グラフィックス３２の表示を行わない、または、第二グラフィックス３２の表示の透過率を上昇させる。
　本開示の情報表示装置２００によれば、第二グラフィックス３２の表示が、利用者による現実環境の視認を極力妨げないようにすることができ、利用者が見たい映像を適切に提供することができる。
　（実施の形態３）
　［３－１．構成］
　図１０は、実施の形態３に係る情報表示装置３００の構成を示すブロック図である。
　図１０において、実施の形態１に係る情報表示装置１００の構成と異なる点は、情報表示装置３００は、撮影部１６および表示制御部１９に代えて、撮影部２４、第三検出部２５および表示制御部２６を備える点である。
　以下、実施の形態１に係る情報表示装置１００と異なる点について主に説明する。
　撮影部２４は、撮影した現実環境の映像を表示制御部２６に加え、さらに、第三検出部２５に送る点が実施の形態１の撮影部１６と異なる。撮影部１６のその他の機能は、実施の形態１の撮影部１６と同様であるため説明を省略する。撮影部２４は、例えば、車内（または車外）に取り付けられた２視点のカメラで実現してもよいし、１視点のカメラで実現してもよい。
　第三検出部２５は、撮影部２４により撮影された映像から現実環境において動いている物体が映り込んでいる動物体領域を検出する。つまり、第三検出部２５は、取得した映像について画像処理を行うことにより、当該映像の中で動いている物体の検出を行う。このように、第三検出部２５は、動物体領域と車両１０の利用者の視線方向とに基づき、表示部２０上で車両１０の利用者に動いている物体を視覚させるための動物体領域を生成する。なお、第三検出部２５は、撮影された映像の中で動いている物体の全てを検出しなくてもよく、例えば、車両１０の進行方向と異なる方向に動いている物体のみを検出するようにしてもよい。ここで、進行方向と異なる方向とは、進行方向と所定の角度以上異なる方向としてもよい。つまり、進行方向と１８０度異なる方向（車両１０に向かってくる方向）も、進行方向と異なる方向に含んでいてもよい。第三検出部２５は、生成した動物体領域を表示制御部２６に送る。第三検出部２５は、例えば、プロセッサ、プログラムなどで実現される。
　表示制御部２６は、実施の形態１の表示制御部１９の機能に加えて、さらに、第二グラフィックスの領域のうちで、検出した動物体領域に対応する領域を、第二グラフィックスから削除した第三グラフィックスを生成し、第三グラフィックスを表示部２０に表示する。言い換えると、表示制御部２６は、第二グラフィックスと検出した動物体領域とが重なる領域については、比較部１８での比較の結果によらず、動物体領域における現実環境が車両１０の利用者から見えるようにグラフィックスの表示を制御する。もちろん、表示制御部２６は、第三検出部２５により動物体領域が検出されない場合には、第二グラフィックスをそのまま表示部２０に表示させる。表示制御部２６は、例えば、プロセッサ、プログラムなどで実現される。
　［３－２．動作］
　以上のように構成された情報表示装置３００について、その動作を以下に説明する。
　図１１は、実施の形態３に係る情報表示装置３００の動作を説明するためのフローチャートである。
　図１１において、実施の形態１に係る情報表示装置１００の動作フローと異なる点は、情報表示装置３００の動作フローは、ステップＳ１５ｂをさらに含み、また、ステップＳ１８に代えて、ステップＳ１８ｂを含む点である。
　以下、実施の形態１に係る情報表示装置１００の動作フローと異なる点について主に説明する。
　第三検出部２５は、撮影部２４により撮影された進行方向における現実環境の映像から、現実環境において動いている物体が映り込んでいる動物体領域を検出し、検出した動物体領域を表示制御部２６に送る（Ｓ１５ｂ）。
　表示制御部２６は、実施の形態１に係る動作フローのステップＳ１８の動作に加えて、さらに、第二グラフィックスの領域のうちで、検出した動物体領域に対応する領域を第二グラフィックスから削除した第三グラフィックスを生成し、第三グラフィックスを表示部２０に表示する（Ｓ１８ｂ）。
　［３－３．具体例］
　ここで、表示部２０に表示するグラフィックスの具体例について、図１２を用いて説明する。
　図１２は、実施の形態３に係る情報表示装置３００の処理が行われたときに表示される第三グラフィックス３３について説明するための図である。具体的には、図１２の（ａ）は、図５の（ｃ）で示したような第二グラフィックス３２が表示される状況であるときであって、動いている物体が検出される状況であるときに、表示制御部２６での処理を行わなかった場合に表示される第二グラフィックス３２について説明するための図である。図１２の（ｂ）は、第二グラフィックス３２が表示される状況であるときであって、動いている物体が検出される状況であるときに、表示制御部２６での処理を行った場合に表示される第三グラフィックス３３について説明するための図である。
　図１２の（ａ）に示すように、動いている物体が検出される状況では、動いている物体に第二グラフィックス３２が重なって表示される。このため、このような状況下においてそのまま第二グラフィックス３２を表示してしまうと、利用者は、動いている物体を視認することが難しい。
　一方で、図１２の（ｂ）に示すように、動いている物体が検出される状況において、動いている物体の領域を動物体領域３４として検出し、検出した当該動物体領域３４に対応する第二グラフィックス３２を削除した第三グラフィックス３３を生成し、第三グラフィックス３３を表示部２０に表示する。このため、動いている物体に対応する動物体領域を除く領域にグラフィックスを表示するようにでき、利用者はグラフィックスが動いている物体に重なる場合であっても、動いている物体を容易に視認できる。
　［３－４．効果等］
　以上のように、本実施の形態において、情報表示装置３００は、表示部２０と、第一検出部１２と、取得部１３と、生成部１５と、第二検出部１７と、比較部１８と、表示制御部２６とを備える。情報表示装置３００は、さらに、撮影部２４と、第三検出部２５とを備える。撮影部２４は、進行方向における現実環境を撮影する。第三検出部２５は、撮影部２４により撮影された映像から現実環境において動いている物体が映り込んでいる動物体領域を検出する。表示制御部２６は、さらに、第二グラフィックス３２の領域のうちで、検出した動物体領域３４に対応する領域を、第二グラフィックス３２から削除した第三グラフィックス３３を生成し、第三グラフィックス３３を表示部２０に表示する。
　本開示の情報表示装置３００によれば、現実環境の中に、例えば、道を横断する別の車や自転車、歩行者などの動きのある物体が含まれている場合、当該物体を表示部２０に表示しようとしている第二グラフィックス３２で隠すことを極力回避できる。このため、利用者に動く物体への注目を促すことができる。
　本実施の形態において、情報表示装置３００では、第二検出部１７は、進行方向における現実環境を撮影する２つの撮影部を有するステレオカメラである。また、第二検出部１７は、一方の撮影部で撮影された第一映像と、他方の撮影部で撮影された第二映像との視差に基づいて、第二距離を検出する。
　本開示の情報表示装置３００によれば、進行方向における現実環境を撮影しつつ、現実環境における物体までの距離を検出できるため、別途撮影するカメラを設けなくても、例えば、進行方向を横切る歩行者などの検出できる。つまり、第二検出部１７と撮影部２４とを実現するカメラを別々のカメラとしなくてもよく、共通化できる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１～３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１～３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態を例示する。
　上記実施の形態１～３に係る情報表示装置１００、２００、３００は、受付部１１を備えているが、受付部１１を備えていなくてもよい。つまり、受付部１１を備えていなくても予め周辺の地域の情報を取得して、当該情報を示す表示をグラフィックスとして行う形態であれば、受付部を備えていない構成の情報表示装置であっても、情報表示装置１００、２００、３００と同等の機能を実現できる。
　上記実施の形態１～３に係る情報表示装置１００、２００、３００は、記憶部２１を備えているが、記憶部２１を備えていなくてもよい。つまり、情報表示装置１００、２００、３００は、記憶部２１を備えていなくても、インターネットを介してサーバから地域情報を取得してもよいし、外部に設けられる地域情報を記憶している記憶装置から取得してもよい。これにより、記憶部２１を備えていない構成の情報表示装置であっても、情報表示装置１００、２００、３００と同等の機能を実現できる。
　上記実施の形態１、３に係る情報表示装置１００、３００は、視線検出部１４、２２を備えているが、視線検出部１４、２２を備えていなくてもよい。情報表示装置１００、３００は、視線検出部１４、２２により検出された視線方向を用いて、表示部２０におけるグラフィックスを表示させる表示部２０の表示面における位置を決定しているが、視線方向を検出していなくても、利用者の車両１０内での位置が予め定められた固定された位置であることが分かれば、視線方向を算出することができるため、情報表示装置１００と同等の機能を実現できる。
　また、情報表示装置１００、３００は、視線検出部１４、２２により検出された当該視線方向の先の現実環境における物体（つまり利用者が見ている物体）の、第一検出部１２により検出された方向における情報表示装置１００からの距離のみを、第二距離として検出することで、処理量の軽減を図っているが、視線方向が検出されなくても処理量の軽減を図ることはできないが、それ以外においては情報表示装置１００、３００と同等の機能を実現できる。
　上記実施の形態１～３に係る情報表示装置１００、２００、３００では、生成部１５は、生成した第一グラフィックスを、第一グラフィックスに対応する現実環境の物体に積極的に重ねるように生成していないが、現実環境の物体に第一グラフィックスが重なるように生成してもよい。つまり、生成部１５は、表示部２０において第一グラフィックスを表示させる領域と、第一グラフィックスが案内する対象となる現実環境における物体が表示部２０上において見える領域とが少なくとも一部で重なるように第一グラフィックスを生成してもよい。より具体的には、例えば、後述の図１３Ｂに示すように、第一グラフィックスとして建物の注釈表示（観光案内の標識、説明、注釈などを含む）のうちの先端部分を建物などの現実環境の物体に重なるように生成し、重なった先端部分の領域が削除されるようにしてもよい。もちろん、積極的に現実環境の物体にたいして、例えば、実施の形態１における第一グラフィックスが重なるように第一グラフィックスを生成してもよい。このため、利用者は、第一グラフィックスが案内している対象の物体と、第一グラフィックスに基づいて生成される第二グラフィックスとの対応関係を一目で識別することができる。
　上記実施の形態１、２に係る情報表示装置１００、２００は、撮影部１６を備えているが、撮影部１６を備えていなくてもよい。情報表示装置１００、２００は、現実環境を撮影した映像を用いて、表示部２０の表示面におけるグラフィックスを表示させる位置を決定しているが、当該映像がなくても、車両１０の現在位置及び進行方向が検出されていれば、利用者に見えている現実環境を推測することができるため、情報表示装置１００と同等の機能を実現できる。
　上記実施の形態１～３に係る情報表示装置１００、２００、３００では、表示部２０は、投射部２０ａ及び結像部２０ｂにより構成されるが、これに限らずに、液晶ディスプレイ、有機ＥＬディスプレイなどのディスプレイにより構成されてもよい。つまり、情報表示装置１００、２００、３００では、結像部２０ｂとしてのフロントガラスにグラフィックスを投射することにより、利用者は、フロントガラス越しに見える現実環境とグラフィックスとが重畳されて見ることができるが、これに限らずに、撮影部１６により撮影された現実環境の映像にグラフィックスを重畳してディスプレイに表示する形態であってもよい。このような構成であっても、利用者は、現実環境の映像とグラフィックスとが重畳された映像を見ることができる。また、この場合、現実環境を撮影する撮影部１６は、必須の構成要素となる。
　上記実施の形態１～３に係る情報表示装置１００、２００、３００は、カーナビゲーションシステムとして実現されることを一例として挙げたが、これに限らずに、図１３Ａに示すような眼鏡型のウェアラブル端末として実現してもよいし、図１３Ｂに示すようなタブレット型端末（またはスマートフォン）として実現してもよい。
　上記実施の形態１～３に係る情報表示装置１００、２００、３００は、地域情報が地図情報であるがこれに限らずに、建物、モニュメント、空間（広場）、自然などのランドマークに関する情報を含んでいてもよい。なお、ランドマークに関する情報とは、ランドマークの名称であってもよいし、ランドマークの歴史を説明する説明文であってもよい。つまり、この場合、現在地から目的地までの経路を案内するためのグラフィックスを表示するのではなく、図１３Ｂのように、ランドマークに関する情報をランドマークに対応する領域に表示するようにしてもよい。
　なお、上記各実施の形態１～３において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、中央演算処理装置（ＣＰＵ）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、現実環境と重ね合わせられたグラフィックスが表示面に表示される表示部を備える情報表示装置において行われる情報表示方法であって、情報表示装置の現在位置と、現在位置における情報表示装置からみた現実環境が存在する方向とを検出するステップと、検出した現在位置を含む地域に関する地域情報を取得するステップと、（ｉ）取得した地域情報と、検出した現在位置および方向とに基づき、利用者に現在位置の周辺を案内するための第一グラフィックスを生成し、かつ、（ｉｉ）地域情報を用いて決定され、第一グラフィックスに用いる距離であって、上記方向における表示面からの距離である第一距離を示す距離情報を、第一グラフィックスの領域を分割した複数の第一領域毎に生成するステップと、複数の第一領域に対応する現実環境の複数の第二領域毎に、上記方向における表示面から現実環境までの距離である第二距離を検出するステップと、複数の第一領域のそれぞれについて、距離情報により示される第一領域における第一距離と、当該第一領域に対応する第二領域において検出した第二距離とを比較するステップと、（ｉ）比較の結果に基づき、複数の第一領域のうちで、第二距離よりも第一距離が上記方向において表示面から遠い第一領域を、第一グラフィックスから削除した第二グラフィックスを生成し、（ｉｉ）第二グラフィックスを表示部に表示するステップと、を含む情報表示方法を実行させる。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記実装を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、グラフィックスと、グラフィックスが示す情報の対象となる現実環境における対象物との関係を利用者に一目で識別させることができる情報表示装置、情報表示方法などとして有用である。具体的には、カーナビゲーションシステム、ＰＮＤ（Ｐｅｒｓｏｎａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｄｅｖｉｃｅ）、スマートフォン、タブレット端末、ウェアラブル端末などに、本開示は適用可能である。
　１０　　車両
　１１　　受付部
　１２　　第一検出部
　１３　　取得部
　１４，２２　　視線検出部
　１５　　生成部
　１６，２４　　撮影部
　１７　　第二検出部
　１８　　比較部
　１９，２３，２６　　表示制御部
　２０　　表示部
　２０ａ　　投射部
　２０ｂ　　結像部
　２１　　記憶部
　２５　　第三検出部
　３０　　矢印
　３１　　第一グラフィックス
　３２　　第二グラフィックス
　３２ａ　　領域
　３２ｂ　　破線矢印
　３３　　第三グラフィックス
　３４　　動物体領域
　４１～４５　　建物
　５１～５３　　道路
　１００，２００，３００　　情報表示装置
　１１０　　現実環境
　１１１　　第二距離情報
　１１２　　第一距離情報

Claims (10)

  1. 　現実環境と重ね合わせられたグラフィックスが表示される表示部と、
    　前記情報表示装置の現在位置と、前記現在位置における前記情報表示装置からみた前記現実環境が存在する方向とを検出する第一検出部と、
    　検出された前記現在位置を含む地域に関する地域情報を取得する取得部と、
    　（ｉ）前記地域情報と、検出された前記現在位置および前記方向とに基づき、利用者に前記現在位置の周辺を案内するための第一グラフィックスを生成し、かつ、（ｉｉ）前記地域情報を用いて決定され、前記第一グラフィックスに用いる距離であって、前記方向における前記情報表示装置からの距離である第一距離を示す距離情報を、前記第一グラフィックスの領域を分割した複数の第一領域毎に生成する生成部と、
    　前記複数の第一領域に対応する前記現実環境の複数の第二領域毎に、前記方向における前記情報表示装置から前記現実環境までの距離である第二距離を検出する第二検出部と、
    　前記複数の第一領域のそれぞれについて、前記距離情報により示される当該第一領域における前記第一距離と、当該第一領域に対応する第二領域において検出された前記第二距離とを比較する比較部と、
    　（ｉ）前記比較部による比較の結果に基づき、前記複数の第一領域のうちで、前記第二距離よりも前記第一距離が前記方向において前記情報表示装置から遠い第一領域を、前記第一グラフィックスから削除した第二グラフィックスを生成し、（ｉｉ）前記第二グラフィックスを前記表示部に表示する表示制御部と、を備える
    　情報表示装置。
  2. 　前記生成部は、前記表示部において前記第一グラフィックスを表示させる領域と、前記第一グラフィックスが案内する対象となる前記現実環境における物体が前記表示部上において見える領域とが少なくとも一部で重なるように前記第一グラフィックスを生成する
    　請求項１に記載の情報表示装置。
  3. 　さらに、
    　利用者の視線方向を検出する視線検出部を備え、
    　前記第二検出部は、前記視線方向の先にある前記現実環境のうち物体の前記方向における前記情報表示装置からの距離のみを、前記第二距離として検出する
    　請求項１または２に記載の情報表示装置。
  4. 　前記表示制御部は、前記視線方向が、前記第二グラフィックスを表示させるべき前記表示部における領域以外の領域を向いている場合、前記第二グラフィックスの表示を行わない、または、前記第二グラフィックスの表示の透過率を上昇させる
    　請求項３に記載の情報表示装置。
  5. 　さらに、
    　前記現実環境を撮影する撮影部と、
    　前記撮影部により撮影された映像から前記現実環境において動いている物体が映り込んでいる動物体領域を検出する第三検出部と、を備え、
    　前記表示制御部は、さらに、前記第二グラフィックスの領域のうちで、検出した前記動物体領域に対応する領域を、前記第二グラフィックスから削除した第三グラフィックスを生成し、前記第三グラフィックスを前記表示部に表示する
    　請求項１から４のいずれか１項に記載の情報表示装置。
  6. 　さらに、
    　目的地を示す入力を利用者から受け付ける受付部を備え、
    　前記取得部は、前記地域情報として地図情報を取得し、
    　前記生成部は、前記地図情報と、検出した前記現在位置及び前記方向と、前記入力により示される前記目的地とに基づき、前記現在位置から前記目的地までの経路を案内するためのグラフィックスを前記第一グラフィックスとして生成する
    　請求項１から５のいずれか１項に記載の情報表示装置。
  7. 　前記表示部は、
    　（ｉ）映像を投射する投射部と、透明なパネル状の部材により構成され、前記投射部により投射された前記映像が結像される結像部と、を有し、
    　（ｉｉ）前記結像部を透過して見える現実環境に対して重ね合わされた前記映像としての前記第二グラフィックスが表示される
    　請求項１から６のいずれか１項に記載の情報表示装置。
  8. 　前記第二検出部は、
    　（ｉ）前記方向における前記現実環境を撮影する２つの撮影部を有するステレオカメラであり、
    　（ｉｉ）一方の撮影部で撮影された第一映像と、他方の撮影部で撮影された第二映像との視差に基づいて、前記第二距離を検出する
    　請求項１から７のいずれか１項に記載の情報表示装置。
  9. 　現実環境と重ね合わせられたグラフィックスが表示面に表示される表示部を備える情報表示装置において行われる情報表示方法であって、
    　前記情報表示装置の現在位置と、前記現在位置における前記情報表示装置からみた前記現実環境が存在する方向とを検出するステップと、
    　検出した前記現在位置を含む地域に関する地域情報を取得するステップと、
    　（ｉ）取得した前記地域情報と、検出した前記現在位置および前記方向とに基づき、利用者に前記現在位置の周辺を案内するための第一グラフィックスを生成し、かつ、（ｉｉ）前記地域情報を用いて決定され、前記第一グラフィックスに用いる距離であって、前記方向における前記表示面からの距離である第一距離を示す距離情報を、前記第一グラフィックスの領域を分割した複数の第一領域毎に生成するステップと、
    　前記複数の第一領域に対応する前記現実環境の複数の第二領域毎に、前記方向における前記表示面から前記現実環境までの距離である第二距離を検出するステップと、
    　前記複数の第一領域のそれぞれについて、前記距離情報により示される前記第一領域における前記第一距離と、当該第一領域に対応する第二領域において検出した前記第二距離とを比較するステップと、
    　（ｉ）比較の結果に基づき、前記複数の第一領域のうちで、前記第二距離よりも前記第一距離が前記方向において前記表示面から遠い第一領域を、前記第一グラフィックスから削除した第二グラフィックスを生成し、（ｉｉ）前記第二グラフィックスを前記表示部に表示するステップと、を含む
    　情報表示方法。
  10. 　情報表示方法をコンピュータに実行させるためのプログラムであって、
    　前記情報表示方法は、現実環境と重ね合わせられたグラフィックスが表示面に表示される表示部を備える情報表示装置において行われ、
    　前記情報表示装置の現在位置と、前記現在位置における前記情報表示装置からみた前記現実環境が存在する方向とを検出するステップと、
    　検出した前記現在位置を含む地域に関する地域情報を取得するステップと、
    　（ｉ）取得した前記地域情報と、検出した前記現在位置および前記方向とに基づき、利用者に前記現在位置の周辺を案内するための第一グラフィックスを生成し、かつ、（ｉｉ）前記地域情報を用いて決定され、前記第一グラフィックスに用いる距離であって、前記方向における前記表示面からの距離である第一距離を示す距離情報を、前記第一グラフィックスの領域を分割した複数の第一領域毎に生成するステップと、
    　前記複数の第一領域に対応する前記現実環境の複数の第二領域毎に、前記方向における前記表示面から前記現実環境までの距離である第二距離を検出するステップと、
    　前記複数の第一領域のそれぞれについて、前記距離情報により示される前記第一領域における前記第一距離と、当該第一領域に対応する第二領域において検出した前記第二距離とを比較するステップと、
    　（ｉ）比較の結果に基づき、前記複数の第一領域のうちで、前記第二距離よりも前記第一距離が前記方向において前記表示面から遠い第一領域を、前記第一グラフィックスから削除した第二グラフィックスを生成し、（ｉｉ）前記第二グラフィックスを前記表示部に表示するステップと、を含む
    　プログラム。
PCT/JP2015/001466 2014-03-28 2015-03-17 情報表示装置、情報表示方法及びプログラム WO2015146068A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/076,656 US20160203629A1 (en) 2014-03-28 2016-03-22 Information display apparatus, and method for displaying information

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014068180 2014-03-28
JP2014-068180 2014-03-28
JP2015-008952 2015-01-20
JP2015008952A JP6176541B2 (ja) 2014-03-28 2015-01-20 情報表示装置、情報表示方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/076,656 Continuation US20160203629A1 (en) 2014-03-28 2016-03-22 Information display apparatus, and method for displaying information

Publications (1)

Publication Number Publication Date
WO2015146068A1 true WO2015146068A1 (ja) 2015-10-01

Family

ID=54194619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001466 WO2015146068A1 (ja) 2014-03-28 2015-03-17 情報表示装置、情報表示方法及びプログラム

Country Status (3)

Country Link
US (1) US20160203629A1 (ja)
JP (1) JP6176541B2 (ja)
WO (1) WO2015146068A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6557973B2 (ja) * 2015-01-07 2019-08-14 株式会社リコー 地図生成装置、地図生成方法およびプログラム
JP6623906B2 (ja) * 2015-09-08 2019-12-25 株式会社Ｊｖｃケンウッド 車両用表示装置及び車両用表示方法
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
WO2017221293A1 (ja) * 2016-06-20 2017-12-28 三菱電機株式会社 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
WO2018142457A1 (ja) * 2017-01-31 2018-08-09 三菱電機株式会社 表示制御装置、表示制御方法およびキャリブレーションシステム
US10565795B2 (en) 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
JP7151073B2 (ja) * 2017-03-31 2022-10-12 株式会社アイシン 表示装置及びコンピュータプログラム
JP6793825B2 (ja) * 2017-05-11 2020-12-02 三菱電機株式会社 表示制御装置および表示制御方法
JP6883759B2 (ja) 2017-06-30 2021-06-09 パナソニックＩｐマネジメント株式会社 表示システム、表示システムの制御方法、プログラム、及び移動体
JP6618665B2 (ja) * 2017-10-20 2019-12-11 三菱電機株式会社 表示制御装置、表示制御方法、および表示システム
WO2019097755A1 (ja) * 2017-11-17 2019-05-23 アイシン・エィ・ダブリュ株式会社 表示装置及びコンピュータプログラム
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
KR102014261B1 (ko) 2017-12-12 2019-08-26 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
JP7487714B2 (ja) * 2021-08-31 2024-05-21 トヨタ自動車株式会社 表示制御装置、表示システム、表示方法及び表示プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313772A (ja) * 2004-04-28 2005-11-10 Toyota Motor Corp 車両用ヘッドアップ・ディスプレイ装置
JP2011529569A (ja) * 2008-07-31 2011-12-08 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションデータを三次元で表示するコンピュータ装置および方法
JP2014185926A (ja) * 2013-03-22 2014-10-02 Aisin Aw Co Ltd 誘導表示システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313772A (ja) * 2004-04-28 2005-11-10 Toyota Motor Corp 車両用ヘッドアップ・ディスプレイ装置
JP2011529569A (ja) * 2008-07-31 2011-12-08 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションデータを三次元で表示するコンピュータ装置および方法
JP2014185926A (ja) * 2013-03-22 2014-10-02 Aisin Aw Co Ltd 誘導表示システム

Also Published As

Publication number Publication date
JP6176541B2 (ja) 2017-08-09
JP2015194473A (ja) 2015-11-05
US20160203629A1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
JP6176541B2 (ja) 情報表示装置、情報表示方法及びプログラム
US9639968B2 (en) Generating an augmented view of a location of interest
US8395490B2 (en) Blind spot display apparatus
EP3358305B1 (en) Vehicular display device
JP6820561B2 (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
US9902341B2 (en) Image processing apparatus and image processing method including area setting and perspective conversion
JPWO2017056210A1 (ja) 車両用表示装置
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JP2017069852A (ja) 情報表示装置及び情報表示方法
JP5086824B2 (ja) 追尾装置及び追尾方法
JPWO2017163517A1 (ja) 眼鏡型ウェアラブル情報端末、その制御方法および制御プログラム
JP2014211431A (ja) ナビゲーション装置、及び、表示制御方法
JP2015154125A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP6494764B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP4857159B2 (ja) 車両運転支援装置
CN113011212B (zh) 图像识别方法、装置及车辆
JP6208977B2 (ja) 情報処理装置、通信端末およびデータ取得方法
Shiroma et al. Development of virtual viewing direction operation system with image stabilization for asynchronous visual information sharing
US20170366799A1 (en) Stereoscopic aerial-view images
US20220413295A1 (en) Electronic device and method for controlling electronic device
US20240167837A1 (en) Display processing apparatus, movable apparatus, and display processing method
JP2019012152A (ja) 表示制御システム、表示システム、表示制御方法、プログラム、及び移動体
WO2015189974A1 (ja) 画像表示装置および画像表示プログラム
JP2024070133A (ja) 目標認識方法、プログラム及び装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15769042

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase
122 Ep: pct application non-entry in european phase

Ref document number: 15769042

Country of ref document: EP

Kind code of ref document: A1