WO2013111302A1 - 表示装置、制御方法、プログラム、記憶媒体 - Google Patents

表示装置、制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
WO2013111302A1
WO2013111302A1 PCT/JP2012/051679 JP2012051679W WO2013111302A1 WO 2013111302 A1 WO2013111302 A1 WO 2013111302A1 JP 2012051679 W JP2012051679 W JP 2012051679W WO 2013111302 A1 WO2013111302 A1 WO 2013111302A1
Authority
WO
WIPO (PCT)
Prior art keywords
building
image
information
display device
camera
Prior art date
Application number
PCT/JP2012/051679
Other languages
English (en)
French (fr)
Inventor
俊一 熊谷
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to US14/374,232 priority Critical patent/US20150029214A1/en
Priority to JP2013555061A priority patent/JP5702476B2/ja
Priority to PCT/JP2012/051679 priority patent/WO2013111302A1/ja
Publication of WO2013111302A1 publication Critical patent/WO2013111302A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings

Definitions

  • the present invention relates to a technique for displaying information.
  • Patent Document 1 discloses a technique for displaying navigation information (guidance information) in a superimposed manner on a landscape image in front of the vehicle.
  • CG Computer Graphics
  • a display corresponding to a road or the like that is actually blocked by a building and is not visible is superimposed on the live-action image.
  • the sense of depth is lost by superimposing the CG image on the photographed image, and the user has difficulty grasping the sense of distance between the building and the road corresponding to the CG image.
  • the present invention has been made to solve the above-described problems, and a display device capable of appropriately maintaining a sense of depth even when guidance information is superimposed and displayed on a live-action image and its display
  • the main purpose is to provide a control method and a program.
  • a display device that superimposes and displays guidance information on a real image photographed by a camera, the photographing position, position information of a building existing in the photographing range of the camera, and a house shape.
  • the specifying means for specifying the overlap portion between the guide information and the building in the live-action image, and more than the guide information among the overlap portions
  • display control means for displaying the guidance information excluding the shielding portion on which the building is to be displayed on the front side so as to be superimposed on the photographed image.
  • the invention according to claim 8 is a display device that superimposes and displays guidance information on a live-action image taken by a camera, wherein the live-action image is more than the first building image and the first building image.
  • the guidance information indicating a route between the first building image and the second building image in the live-action image, including a second building image that is an image of a building located far from the camera
  • the guide information is displayed on the camera side with respect to the second building image in the live-action image, and the first building image is displayed on the camera side while blocking a part of the guide information. It is characterized by having a display control means.
  • the invention according to claim 10 is a control method executed by a display device that superimposes and displays guidance information on a photographed image taken by a camera, and includes a photographing position and a building existing in the photographing range of the camera. Based on the location information and the house shape information, and the location information of the facility or road corresponding to the guidance information, a specifying step for identifying a superimposed portion of the guidance information and the building in the live-action image, And a display control step of displaying the guidance information excluding the shielding portion where the building should be displayed on the front side of the guidance information so as to be superimposed on the photographed image.
  • the invention according to claim 11 is a display method in which guide information is superimposed and displayed on a live-action image taken by a camera, wherein the live-action image is more than the first building image and the first building image.
  • the guidance information indicating a route between the first building image and the second building image in the live-action image, including a second building image that is an image of a building located far from the camera
  • the guide information is displayed on the camera side with respect to the second building image in the live-action image, and the first building image is displayed on the camera side while blocking a part of the guide information. It is characterized by having display control.
  • the invention according to claim 12 is a program executed by a display device that displays guidance information superimposed on a real image photographed by a camera, the photographing position and the position of a building existing in the photographing range of the camera Based on the information and the house shape information and the location information of the facility or road corresponding to the guide information, the specifying means for specifying the overlap portion between the guide information and the building in the live-action image,
  • the display device is made to function as display control means for displaying the guidance information excluding the shielding portion where the building should be displayed in front of the guidance information, superimposed on the photographed image.
  • A It is an example of the real image image which the camera image
  • B This is an example in which a guide route is superimposed and displayed on a live-action image. It is an example of a display concerning a comparative example. It is an example of a display concerning a modification.
  • a display device that superimposes and displays guidance information on a real image photographed by a camera, the photographing position, position information of a building existing in the photographing range of the camera, and Based on the house shape information and the location information of the facility or road corresponding to the guidance information, the specifying means for identifying a superimposed portion of the guidance information and the building in the live-action image, and the guidance information of the superimposed portion Display control means for displaying the guidance information excluding the part where the building should be displayed on the front side, superimposed on the photographed image.
  • the display device is, for example, a navigation device, and displays guidance information superimposed on a real image taken by a camera.
  • the display device includes a specifying unit and a display control unit. Based on the shooting position, the position information of the building and the house shape information existing in the shooting range of the camera, and the position information of the facility or road corresponding to the guidance information, the specifying means Specify the overlapping part.
  • the display control means superimposes and displays the guidance information excluding the shielding portion where the building should be displayed in front of the guidance information, in the superimposition portion.
  • the sense of depth is lost if guidance information corresponding to a road or facility that is actually shielded by a building is not visible.
  • the above-described display device superimposes and displays on the live-action image, excluding the shielding information where the building should be displayed on the front side of the guidance information. In this way, the display device can maintain a sense of depth even when the photographed image and the guidance information are superimposed.
  • the specifying unit renders the building substantially transparent based on the location information and house shape information of the building, and draws the guidance information based on the location information of the facility or road.
  • the superimposed portion is specified, and the display control means generates a composite image combining the building drawn substantially transparently and the guidance information excluding the shielding portion, and the composite image is taken as the actual image. Overlay the image.
  • the display device can preferably specify the overlapping portion between the photographed image and the guidance information.
  • the display device draws the building substantially transparent, so that the display of the building drawn to exclude the shielding portion of the guidance information remains even when the composite image is superimposed on the live-action image. Can be prevented.
  • the display control unit when generating the composite image, draws a substantially transparent building prior to the guidance information, and then, other than the shielding portion of the overlapping portion. For this part, color mixing processing of the building drawn substantially transparent and the guidance information is performed.
  • the display device can preferably generate a composite image representing the guidance information excluding the shielding portion.
  • the display control unit displays a route on which the moving body should travel as being superimposed on the photographed image as the guidance information.
  • the display device can preferably hide the portion of the guide route to be displayed that is blocked by the building, and can maintain a sense of depth even when the guide information is superimposed on the photographed image.
  • the display control means displays the route in a vertically inverted position on the road corresponding to the route.
  • the display device can suitably hide the portion of the guide route to be displayed that is blocked by the building, and can maintain a sense of depth even when the guide information is superimposed on the photographed image. it can.
  • the display control unit displays a mark indicating the facility on the position corresponding to the facility in the photographed image so as to be superimposed on the photographed image as the guide information. According to this aspect, even if the display device is a mark representing a facility, a portion shielded by a building existing in front of the facility can be suitably hidden.
  • the display control unit excludes the shielding portion only for the mark attached to the facility in the live-action image serving as a guide for route guidance. indicate. By doing in this way, the user can grasp
  • a display device that displays guidance information superimposed on a live-action image photographed by a camera, wherein the live-action image includes a first building image and the first building image. And a second building image that is an image of a building located far from the camera, and displaying the guidance information indicating a route between the first building image and the second building image in the live-action image
  • the guide information is displayed on the camera side with respect to the second building image in the live-action image, and the first building image is displayed on the camera side while blocking part of the guide information. It is characterized by.
  • the display device can suitably maintain the sense of depth when the photographed image and the guidance information are superimposed.
  • the display control means causes the first building image to be displayed superimposed on the guidance information.
  • the display device can display the first building image in front of the guidance information, and can preferably maintain a feeling of depth.
  • a control method executed by a display device that superimposes and displays guidance information on a real image taken by a camera, and is present in a shooting position and a shooting range of the camera. Based on the location information and house shape information of the building, and the location information of the facility or road corresponding to the guidance information, a specifying step of identifying a superimposed portion of the guidance information and the building in the live-action image, A display control step of displaying the guidance information excluding the shielding portion on which the building is to be displayed on the front of the guidance information in a superimposed manner on the photographed image.
  • the display device can favorably maintain the sense of depth even when the photographed image and the guidance information are superimposed.
  • a display method for displaying guidance information superimposed on a real image taken by a camera wherein the real image is a first building image and the first building image. And a second building image that is an image of a building located far from the camera, and displaying the guidance information indicating a route between the first building image and the second building image in the live-action image
  • the guide information is displayed on the camera side with respect to the second building image in the live-action image, and the first building image is displayed on the camera side while blocking part of the guide information.
  • a program executed by a display device that displays guidance information superimposed on a photographed image taken by a camera, wherein the building is located at a shooting position and a shooting range of the camera. Identifying means for identifying a superimposed portion of the guidance information and the building in the live-action image based on the location information and the house shape information of the facility and the location information of the facility or road corresponding to the guidance information,
  • the display device is caused to function as display control means for displaying the guidance information excluding the shielding portion where the building should be displayed in front of the guidance information so as to be superimposed on the photographed image.
  • the display device can preferably maintain a sense of depth even when the photographed image and the guidance information are superimposed.
  • the program is stored in a storage medium.
  • FIG. 1 shows the configuration of the navigation device 1.
  • the navigation device 1 includes a self-supporting positioning device 10, a GPS receiver 18, a system controller 20, a disk drive 31, a data storage unit 36, a communication interface 37, a communication device 38, an interface 39, and a display unit 40.
  • the navigation device 1 shall superimpose and display a guidance route for arriving at the destination on the photographed image acquired from the camera 61 in accordance with the set destination for the driver of the vehicle.
  • the self-supporting positioning device 10 includes an acceleration sensor 11, an angular velocity sensor 12, and a distance sensor 13.
  • the acceleration sensor 11 is made of, for example, a piezoelectric element, detects vehicle acceleration, and outputs acceleration data.
  • the angular velocity sensor 12 is composed of, for example, a vibrating gyroscope, detects the angular velocity of the vehicle when the direction of the vehicle is changed, and outputs angular velocity data and relative azimuth data.
  • the distance sensor 13 measures a vehicle speed pulse composed of a pulse signal generated with the rotation of the vehicle wheel.
  • the GPS receiver 18 receives radio waves 19 carrying downlink data including positioning data from a plurality of GPS satellites.
  • the positioning data is used to detect the absolute position of the vehicle (hereinafter also referred to as “current position”) from latitude and longitude information.
  • the system controller 20 includes an interface 21, a CPU (Central Processing Unit) 22, a ROM (Read Only Memory) 23, and a RAM (Random Access Memory) 24, and controls the entire navigation device 1.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the interface 21 performs an interface operation with the acceleration sensor 11, the angular velocity sensor 12, the distance sensor 13, and the GPS receiver 18. From these, vehicle speed pulses, acceleration data, relative azimuth data, angular velocity data, GPS positioning data, absolute azimuth data, and the like are input to the system controller 20.
  • the CPU 22 controls the entire system controller 20.
  • the ROM 23 includes a nonvolatile memory (not shown) in which a control program for controlling the system controller 20 is stored.
  • the RAM 24 stores various data such as route data preset by the user via the input device 60 so as to be readable, and provides a working area to the CPU 22.
  • a system controller 20 a disk drive 31 such as a CD-ROM drive or a DVD-ROM drive, a data storage unit 36, a communication interface 37, a display unit 40, an audio output unit 50 and an input device 60 are mutually connected via a bus line 30. It is connected to the.
  • the disk drive 31 reads and outputs content data such as music data and video data from a disk 33 such as a CD or DVD under the control of the system controller 20.
  • the disk drive 31 may be either a CD-ROM drive or a DVD-ROM drive, or may be a CD and DVD compatible drive.
  • the data storage unit 36 is configured by, for example, an HDD or the like, and stores various data used for navigation processing such as map data.
  • the map data includes road data and facility information.
  • the facility information includes, in addition to the name of each facility and the position information of each facility, information related to the shape of the building (so-called house shape information) when the facility is a building.
  • the house shape information includes, for example, information such as a building location range and height.
  • the house shape information is used for displaying a city map or the like by a CG image, or used for determining the depth of a guide route for a building to be described later.
  • the communication device 38 includes, for example, an FM tuner, a beacon receiver, a mobile phone, a dedicated communication card, and the like.
  • Information distributed from a VICS (Vehicle Information Communication System (registered trademark)) center or the like (hereinafter referred to as “VICS information”) Is obtained from the radio wave 39.
  • the interface 37 performs an interface operation of the communication device 38 and inputs the VICS information to the system controller 20 or the like.
  • the display unit 40 displays various display data on a display device such as a display under the control of the system controller 20.
  • the system controller 20 reads map data from the data storage unit 36.
  • the display unit 40 displays the map data read from the data storage unit 36 by the system controller 20 on the display screen.
  • the display unit 40 includes a graphic controller 41 that controls the entire display unit 40 based on control data sent from the CPU 22 via the bus line 30 and a memory such as a VRAM (Video RAM), and can display image information that can be displayed immediately.
  • a buffer memory 42 that temporarily stores, a display control unit 43 that controls display of a display 44 such as a liquid crystal or a CRT (Cathode Ray Tube) based on image data output from the graphic controller 41, and a display 44 are provided.
  • the display 44 functions as an image display unit, and includes, for example, a liquid crystal display device having a diagonal size of about 5 to 10 inches and is mounted near the front panel in the vehicle.
  • the audio output unit 50 performs D / A (Digital to Analog) conversion of audio digital data sent from the CD-ROM drive 31, DVD-ROM 32, RAM 24, or the like via the bus line 30 under the control of the system controller 20.
  • a D / A converter 51 to perform an amplifier (AMP) 52 that amplifies the audio analog signal output from the D / A converter 51, and a speaker 53 that converts the amplified audio analog signal into sound and outputs the sound into the vehicle. It is prepared for.
  • AMP amplifier
  • the input device 60 includes keys, switches, buttons, a remote controller, a voice input device, and the like for inputting various commands and data.
  • the input device 60 is disposed around the front panel and the display 44 of the main body of the in-vehicle electronic system mounted in the vehicle.
  • the display 44 is a touch panel system
  • the touch panel provided on the display screen of the display 44 also functions as the input device 60.
  • the camera 61 is an optical machine that has a certain angle of view and photographs a subject within the angle of view.
  • the camera 61 is directed to the front of the vehicle and is placed at a position where the road on which the vehicle travels can be imaged. Then, the camera 61 generates an image (referred to as “actual image”) at predetermined intervals and supplies it to the system controller 20.
  • the system controller 20 superimposes and displays an image excluding a portion (also referred to as a “shielded portion”) that is shielded by a building in front of the guidance route and is not visible to the driver.
  • a portion also referred to as a “shielded portion”
  • the system controller 20 maintains the sense of depth even when the guidance route is superimposed on the photographed image, and allows the driver to accurately grasp the sense of distance.
  • FIG. 2 is an example of a flowchart illustrating a processing procedure according to the present embodiment.
  • the system controller 20 repeatedly executes the processing of the flowchart shown in FIG. 2 every time a photographed image is received from the camera 61, for example.
  • the processing procedure shown in FIG. 2 conforms to the processing procedure of general computer graphics software such as OpenGL (registered trademark) and DirectX (registered trademark), and can be suitably executed by these software. is there.
  • “mixing (blending) processing” refers to processing for mixing the color of the pixel to be drawn on the pixel being drawn.
  • the system controller 20 reads house shape information and the like from the data storage unit 36 (step S101). Specifically, first, the system controller 20 specifies the shooting range of the camera 61 based on the current position recognized by the GPS receiver 18. At this time, for example, the system controller 20 specifies a predetermined range as the imaging range from the current position toward the traveling direction of the vehicle. The predetermined range is determined in advance in consideration of, for example, the installation position, installation direction, angle of view, and the like of the camera 61. Next, the system controller 20 refers to the map data to identify a building that exists within the shooting range, and reads the house shape information and position information of the identified building from the map data.
  • the system controller 20 draws a transparent polygon representing a building in the three-dimensional coordinate space, and then draws a guide route (step S102). Specifically, first, the system controller 20 generates a three-dimensional coordinate space corresponding to the photographing range with the own vehicle position as the viewpoint, and arranges the polygon generated from the house shape information in the three-dimensional coordinate space. Thereafter, the system controller 20 draws the guidance route at a position overlapping the road on the guidance route. In other words, the system controller 20 determines whether the guidance route is at the same depth as the road corresponding to the guidance route, that is, whether it is the front or the back of an arbitrary building. Draw at the position.
  • the system controller 20 performs processing (ie, rasterization) for converting the building and the guidance route drawn in the three-dimensional coordinate space into position information and color information in units of pixels (step S103). Specifically, the system controller 20 generates a raster image in which a three-dimensional coordinate space in which a polygon representing a building and a guide route are drawn is projected from the position of the camera 61 in the shooting direction. At this time, the system controller 20 first draws the building display for the part where the building polygon and the guidance route overlap, and then further displays the guidance route display in the depth determination process in step S104 described later. Judge whether to do. If the system controller 20 determines that the guidance route should be drawn by the depth determination process, the system controller 20 performs a mixing process in step S105.
  • processing ie, rasterization
  • the system controller 20 performs a depth determination process (so-called depth test) for determining the drawing target portion and the non-drawing target portion of the guide route (step S104). Specifically, the system controller 20 determines whether the display of the building and the display of the guidance route overlap for each rasterized pixel. When the display of the building and the display of the guidance route do not overlap, the system controller 20 sets the guidance route as a drawing target in the processing target pixel.
  • a depth determination process so-called depth test
  • the system controller 20 determines whether or not the display of the building is behind the display of the guidance route. To do. When the building display is behind the guide route display, the system controller 20 sets the guide route as the drawing target in the processing target pixel. On the other hand, when the display of the building is in front of the display of the guidance route, the system controller 20 excludes the display of the guidance route from the drawing target in the processing target pixel. Thereby, the part shielded by the building in the guidance route is excluded from the drawing target.
  • the system controller 20 preferably performs the depth determination process before the mixing process in step S105 described later, so that, even when the polygon representing the building is drawn transparently, the rear side of the polygon is preferably displayed. Can be excluded from the drawing target.
  • the system controller 20 performs a mixing (blending) process (step S105). Specifically, the system controller 20 performs the mixing process of the drawing target portion of the guidance route designated as the drawing target in the depth determination process on the image on which the transparent building has already been drawn. Here, since the display color of the building is designated as transparent, as a result, the system controller 20 generates an image in which only the drawing target portion of the guidance route is displayed.
  • the system controller 20 superimposes the CG image (composite image) obtained by the mixing process on the actual image and displays it on the display 44 (step S106).
  • the system controller 20 displays the CG image on the display 44 using the photographed image as the background image.
  • the system controller 20 can suitably hide the portion that is blocked by the building after the guidance route, and maintains a sense of depth even when the CG image and the live-action image are superimposed. The driver can get a sense of distance.
  • FIG. 3A shows a real image captured by the camera 61 while the vehicle is traveling
  • FIG. 3B shows an image obtained by superimposing a guide route 46 that is a CG image on the real image.
  • the system controller 20 displays on the display 44 a guide route 46 indicating that the vehicle should turn left at the intersection 47. Specifically, the system controller 20 draws a curve having a thickness corresponding to the road width as a guide route 46 at a position overlapping with the road to be traveled. At this time, the system controller 20 excludes the shielding portions by the polygons of the buildings 45A to 45C according to the processing shown in FIG. 2 based on the house shape information and position information of the buildings 45A to 45C, the position information of the road 48, and the like. The guide route 46 is superimposed on the photographed image.
  • the road 48 on the guide route on which the vehicle travels after passing through the intersection 47 exists behind the buildings 45A to 45C with respect to the viewpoint of the camera 61.
  • a part of the road 48 is hidden by the buildings 45A to 45C and is not displayed.
  • the overlapping portions with the buildings 45A to 45C are not displayed in the same manner as the road 48 of the photographed image.
  • the user can easily grasp that the road in the back such as the building 45A should be turned left, and can accurately grasp the positional relationship between the road to be turned right and left and the adjacent building. .
  • FIG. 4 shows a display according to a comparative example in which a CG image of a guide route is generated and superimposed on a live-action image without considering the positional relationship between the building and the guide route.
  • a CG image of a guide route is generated and superimposed on a live-action image without considering the positional relationship between the building and the guide route.
  • some of the buildings 45A to 45C are overlapped by the guide route 46x.
  • the user cannot intuitively grasp whether the left turn road 48B exists on the front side or the back side of the building 45A or the like.
  • the sense of depth is lost by superimposing the CG image and the real image.
  • the system controller 20 performs depth determination processing of the polygons that virtually draw each building and the display of the guide route, and does not display the shielding portion of the guide route by the polygon of the building. And thereby, the system controller 20 suitably prevents the sense of depth from being lost even when the CG image and the real image are superimposed.
  • the display mode of the guidance route to which the present invention is applicable is not limited to the display mode that is superimposed on the road scheduled to travel as shown in FIG. Instead, the system controller 20 may display the guidance route display at a different position without overlapping the road corresponding to the guidance route.
  • FIG. 5 shows a display example of the guidance route according to the modification.
  • the system controller 20 displays the guide route 46y by turning it upside down at a position above the planned road.
  • the guidance route 46y is above the road corresponding to the guidance route 46y by a predetermined distance. , Drawing at the same depth as the road.
  • the system controller 20 displays the guide route 46 y so that the portion overlapping the building 45 ⁇ / b> A existing in front of the road 48 is hidden.
  • the user can easily recognize that the road on the back of the building 45A should be turned to the left, and accurately determine the positional relationship between the road to be turned to the right and the left and the building. I can grasp it.
  • the target for hiding the shielding part by the building is not limited to the guide route. Instead of this, or in addition to this, the navigation apparatus 1 may also hide the portion shielded by the building for the guidance information other than the guidance route.
  • guidance information refers to information to be visually recognized by the driver to assist driving, for example, a mark indicating the facility attached to a position corresponding to the facility (also referred to as “facility mark”). , Facilities such as towers that serve as landmarks (landmarks), and traffic lines displayed along congested roads.
  • the system controller 20 executes the processing from step S101 to step S106 in FIG. 2 for the facility mark.
  • step S102 the system controller 20 arranges the building polygons in the three-dimensional coordinate space, and then arranges each facility mark at a display position having the same depth as the corresponding facility. In this way, the system controller 20 prevents the facility mark from being displayed overlapping the building in front of the facility corresponding to the facility mark, and the user misidentifies the correspondence between the facility and the facility mark. Can be reliably suppressed.
  • the system controller 20 may perform the non-display processing of the shielding portion only in the case of displaying the facility mark to be displayed as a mark when driving according to the guidance route.
  • the system controller 20 can appropriately recognize the position of the facility that serves as a landmark for driving.
  • the system controller 20 displays other facility marks regardless of the presence or absence of a shielding part, so that the user can easily find a target facility when searching for a facility to stop by.
  • the processing procedure of the flowchart of FIG. 2 is an example, and the processing procedure to which the present invention is applicable is not limited to this.
  • the navigation device 1 identifies a portion of the guide route that overlaps the building based on the house shape information, the location information, the road location information on the guide route, etc. without generating a transparent polygon of the building. Then, an image of the guide route in which the portion is not displayed may be displayed superimposed on the photographed image.
  • the system controller 20 may appropriately execute the order of a part of the processing.
  • the system controller 20 may draw a substantially transparent polygon instead of drawing a completely transparent polygon when drawing a polygon representing a building.
  • the system controller 20 may draw a polygon having a high transmittance so that the polygon representing the building is not conspicuous when the photographed image and the CG image are superimposed. Even in this case, similarly to the embodiment, it is possible to output a display with a sense of depth while hiding the shielding portion of the building on the guide route.
  • step S102 of FIG. 2 the system controller 20 has drawn all the polygons of the building existing within the shooting range of the camera 61. Instead of this, the system controller 20 may draw polygons of some buildings within the shooting range. Specifically, the system controller 20 may generate polygons only for buildings existing in front of the road corresponding to the guidance route in the traveling direction of the vehicle. Also by this, the system controller 20 can output a display with a sense of depth while hiding the shielded part by the building of the guidance route.
  • the present invention can be suitably applied to an apparatus that performs guidance display based on a photographed image taken by a camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

　表示装置は、カメラにより撮影した実写画像上に案内情報を重畳させて表示する。表示装置は、特定手段と、表示制御手段とを備える。特定手段は、撮影位置と、カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、案内情報と実写画像中の建物との重畳部分を特定する。表示制御手段は、重畳部分のうち、案内情報よりも建物が前面に表示されるべき遮蔽部分を除外した案内情報を、実写画像に重畳させて表示する。

Description

表示装置、制御方法、プログラム、記憶媒体
　本発明は、情報を表示する技術に関する。
　従来から、車両に進行方向を撮影するカメラを設置し、当該カメラから取得された実写画像を用いて案内を行うナビゲーション装置が知られている。例えば、特許文献１には、車両前方の風景画像にナビゲーション情報（案内情報）を重畳表示させる技術が開示されている。
特開２００８－０２０２８８号公報
　実写画像に案内ルートなどの案内情報を表すＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）画像を重畳させる場合、実際には建物により遮蔽されて見えない道路等に対応する表示が実写画像に重畳して表示されてしまう。この場合、実写画像にＣＧ画像を重畳させることで奥行き感が失われ、ユーザは、建物とＣＧ画像に対応する道路等との距離感が掴みにくくなるという問題がある。
　本発明は、上記のような課題を解決するためになされたものであり、実写画像に案内情報を重畳表示させた場合であっても、適切に奥行き感を保つことが可能な表示装置並びにその制御方法及びプログラムを提供することを主な目的とする。
　請求項１に記載の発明では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置であって、撮影位置と、前記カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、前記案内情報と前記実写画像中の建物との重畳部分を特定する特定手段と、前記重畳部分のうち、前記案内情報よりも前記建物が前面に表示されるべき遮蔽部分を除外した前記案内情報を、前記実写画像に重畳させて表示する表示制御手段と、を有することを特徴とする。
　請求項８に記載の発明では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置であって、前記実写画像は、第一建物画像と、前記第一建物画像よりも前記カメラから遠方に位置する建物の画像である第二建物画像とを含み、前記実写画像において前記第一建物画像と前記第二建物画像の間にあるルートを示す前記案内情報を表示する際には、前記案内情報を前記実写画像内において前記第二建物画像よりも前記カメラ側に表示させ、且つ、前記第一建物画像を前記案内情報の一部を遮って前記カメラ側に表示させることを特徴とする表示制御手段を有することを特徴とする。
　請求項１０に記載の発明では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置が実行する制御方法であって、撮影位置と、前記カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、前記案内情報と前記実写画像中の建物との重畳部分を特定する特定工程と、前記重畳部分のうち、前記案内情報よりも前記建物が前面に表示されるべき遮蔽部分を除外した前記案内情報を、前記実写画像に重畳させて表示する表示制御工程と、を有することを特徴とする。
　請求項１１に記載の発明では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示方法であって、前記実写画像は、第一建物画像と、前記第一建物画像よりも前記カメラから遠方に位置する建物の画像である第二建物画像とを含み、前記実写画像において前記第一建物画像と前記第二建物画像の間にあるルートを示す前記案内情報を表示する際には、前記案内情報を前記実写画像内において前記第二建物画像よりも前記カメラ側に表示させ、且つ、前記第一建物画像を前記案内情報の一部を遮って前記カメラ側に表示させることを特徴とする表示制御を有することを特徴とする。
　請求項１２に記載の発明では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置が実行するプログラムであって、撮影位置と、前記カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、前記案内情報と前記実写画像中の建物との重畳部分を特定する特定手段と、前記重畳部分のうち、前記案内情報よりも前記建物が前面に表示されるべき遮蔽部分を除外した前記案内情報を、前記実写画像に重畳させて表示する表示制御手段として前記表示装置を機能させることを特徴とする。
ナビゲーション装置の概略構成である。 本実施例の処理手順を示すフローチャートである。 （Ａ）カメラが撮影した実写画像の一例である。（Ｂ）実写画像に案内ルートを重畳表示させた例である。 比較例に係る表示例である。 変形例に係る表示例である。
　本発明の１つの好適な実施形態では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置であって、撮影位置と、前記カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、前記案内情報と前記実写画像中の建物との重畳部分を特定する特定手段と、前記重畳部分のうち、前記案内情報よりも前記建物が前面に表示されるべき部分を除外した前記案内情報を、前記実写画像に重畳させて表示する表示制御手段と、を有する。
　上記表示装置は、例えばナビゲーション装置であって、カメラにより撮影した実写画像上に案内情報を重畳させて表示する。表示装置は、特定手段と、表示制御手段とを備える。特定手段は、撮影位置と、カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、案内情報と実写画像中の建物との重畳部分を特定する。表示制御手段は、重畳部分のうち、案内情報よりも建物が前面に表示されるべき遮蔽部分を除外した案内情報を、実写画像に重畳させて表示する。
　一般に、実写画像に案内情報を重畳させた際、実際には建物により遮蔽されて見えない道路又は施設に対応する案内情報が実写画像に重畳して表示されると、奥行き感が失われてしまう。以上を勘案し、上述の表示装置は、案内情報のうち、案内情報よりも建物が前面に表示されるべき遮蔽部分を除外して実写画像に重畳表示させる。このようにすることで、表示装置は、実写画像と案内情報とを重畳させた場合であっても、奥行き感を維持することができる。
　上記表示装置の一態様では、前記特定手段は、前記建物を当該建物の位置情報及び家形情報に基づき略透明に描画し、かつ、前記案内情報を前記施設又は道路の位置情報に基づき描画することで、前記重畳部分を特定し、前記表示制御手段は、略透明に描画された建物と、前記遮蔽部分を除外した前記案内情報とを合わせた合成画像を生成し、当該合成画像を前記実写画像に重畳表示させる。この態様により、表示装置は、好適に、実写画像と案内情報との重畳部分を特定することができる。また、表示装置は、建物を略透明に描くことで、実写画像に合成画像を重畳表示させた場合であっても、案内情報の遮蔽部分を除外するために描いた建物の表示が残るのを防ぐことができる。
　上記表示装置の他の一態様では、前記表示制御手段は、前記合成画像を生成する場合、前記案内情報より先に略透明な建物を描画し、その後、前記重畳部分のうち、前記遮蔽部分以外の部分を対象に、略透明に描画した建物と前記案内情報との色の混合処理を行う。この態様により、表示装置は、好適に、遮蔽部分を除外した案内情報を表した合成画像を生成することができる。
　上記表示装置の他の一態様では、前記表示制御手段は、移動体が走行すべきルートを、前記案内情報として前記実写画像上に重畳させて表示する。この態様により、表示装置は、表示すべき案内ルートのち、建物によって遮蔽される部分を好適に非表示とすることができ、実写画像に案内情報を重ねた場合でも奥行き感を維持することができる。
　上記表示装置の他の一態様では、前記表示制御手段は、前記ルートの表示を、当該ルートに対応する道路の上空の位置に上下反転させて表示する。この態様によっても、表示装置は、表示すべき案内ルートのち、建物によって遮蔽される部分を好適に非表示とすることができ、実写画像に案内情報を重ねた場合でも奥行き感を維持することができる。
　上記表示装置の他の一態様では、前記表示制御手段は、前記実写画像内の施設に対応した位置に、当該施設を示すマークを、前記案内情報として前記実写画像上に重畳させて表示する。この態様により、表示装置は、施設を表すマークであっても、当該施設より手前に存在する建物によって遮蔽される部分を好適に非表示とすることができる。
　上記表示装置の他の一態様では、前記表示制御手段は、前記マークのうち、経路案内の目印となる前記実写画像内の施設に対して付されるマークのみについて、前記遮蔽部分を除外して表示する。このようにすることで、ユーザは、運転時に目印となる施設の位置を誤認することなく正確に把握することができる。
　本発明の他の好適な実施形態では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置であって、前記実写画像は、第一建物画像と、前記第一建物画像よりも前記カメラから遠方に位置する建物の画像である第二建物画像とを含み、前記実写画像において前記第一建物画像と前記第二建物画像の間にあるルートを示す前記案内情報を表示する際には、前記案内情報を前記実写画像内において前記第二建物画像よりも前記カメラ側に表示させ、且つ、前記第一建物画像を前記案内情報の一部を遮って前記カメラ側に表示させることを特徴とする。表示装置は、この態様によっても、実写画像と案内情報とを重畳させた場合に、奥行き感を好適に維持することができる。
　上記表示装置の一態様では、前記表示制御手段は、前記第一建物画像を前記案内情報に重畳させて表示させる。表示装置は、この態様により、案内情報より前面に第一建物画像を表示することができ、奥行き感を好適に維持することができる。
　本発明の他の好適な実施形態では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置が実行する制御方法であって、撮影位置と、前記カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、前記案内情報と前記実写画像中の建物との重畳部分を特定する特定工程と、前記重畳部分のうち、前記案内情報よりも前記建物が前面に表示されるべき遮蔽部分を除外した前記案内情報を、前記実写画像に重畳させて表示する表示制御工程と、を有する。表示装置は、この制御方法を使用することで、実写画像と案内情報とを重畳させた場合であっても、奥行き感を好適に維持することができる。
　本発明の他の好適な実施形態では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示方法であって、前記実写画像は、第一建物画像と、前記第一建物画像よりも前記カメラから遠方に位置する建物の画像である第二建物画像とを含み、前記実写画像において前記第一建物画像と前記第二建物画像の間にあるルートを示す前記案内情報を表示する際には、前記案内情報を前記実写画像内において前記第二建物画像よりも前記カメラ側に表示させ、且つ、前記第一建物画像を前記案内情報の一部を遮って前記カメラ側に表示させることを特徴とする表示制御工程を有する。表示装置は、この制御方法を使用した場合であっても、実写画像と案内情報とを重畳させた場合に、奥行き感を好適に維持することができる。
　本発明の他の好適な実施形態では、カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置が実行するプログラムであって、撮影位置と、前記カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、前記案内情報と前記実写画像中の建物との重畳部分を特定する特定手段と、前記重畳部分のうち、前記案内情報よりも前記建物が前面に表示されるべき遮蔽部分を除外した前記案内情報を、前記実写画像に重畳させて表示する表示制御手段として前記表示装置を機能させる。表示装置は、このプログラムを実行することで、実写画像と案内情報とを重畳させた場合であっても、奥行き感を好適に維持することができる。好適には、上記プログラムは、記憶媒体に記憶される。
　以下、図面を参照して本発明の好適な実施例について説明する。
　［ナビゲーション装置の構成］
　図１は、ナビゲーション装置１の構成を示す。図１に示すように、ナビゲーション装置１は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、インタフェース３９、表示ユニット４０、音声出力ユニット５０、入力装置６０、及びカメラ６１を備える。ナビゲーション装置１は、車両の運転者に対し、設定された目的地に従い、カメラ６１から取得した実写画像に、目的地に到着するための案内ルートを重畳表示するものとする。
　自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
　ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置（以後、「現在位置」とも呼ぶ。）を検出するために用いられる。
　システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２４を含んでおり、ナビゲーション装置１全体の制御を行う。
　インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。
　システムコントローラ２０、ＣＤ－ＲＯＭドライブ又はＤＶＤ－ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。
　ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ－ＲＯＭドライブ又はＤＶＤ－ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。
　データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。地図データには、道路データや施設情報が含まれる。施設情報には、各施設の名称や各施設の位置情報に加え、施設が建物である場合に当該建物の形状に関する情報（所謂、家形情報）などが含まれる。家形情報は、例えば、建物の立地範囲や高さなどの情報が含まれる。家形情報は、市街地図などをＣＧ画像により表示するために用いられたり、後述する建物に対する案内ルートの奥行判定にも用いられたりする。
　通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、ＶＩＣＳ（Ｖｅｈｉｃｌｅ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ、登録商標）センタなどから配信される情報（以下、「ＶＩＣＳ情報」と呼ぶ。）を電波３９より取得する。そしてインタフェース３７は、通信装置３８のインタフェース動作を行い、ＶＩＣＳ情報をシステムコントローラ２０等に入力する。
　表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５～１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
　音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ－ＲＯＭドライブ３１又はＤＶＤ－ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。
　入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式の場合、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。
　カメラ６１は、一定の画角を有し、画角内の被写体を撮影する光学機械である。本実施例では、カメラ６１は、車両の前方に向けられ、車両が走行する道路を撮像可能な位置に載置される。そして、カメラ６１は、所定の間隔ごとに画像（「実写画像」と呼ぶ。）を生成し、システムコントローラ２０へ供給する。
　［案内ルートの表示方法］
　次に、システムコントローラ２０が行う案内ルートの表示方法について説明する。概略的には、システムコントローラ２０は、案内ルートのうち、前面にある建物により遮蔽されて運転者が視認できない部分（「遮蔽部分」とも呼ぶ。）を除外した画像を実写画像に重畳表示させる。これにより、システムコントローラ２０は、案内ルートを実写画像に重畳表示させた場合であっても、奥行き感を維持し、運転者に距離感を的確に掴ませる。
　この処理について、図２を参照して具体的に説明する。図２は、本実施例に係る処理手順を示すフローチャートの一例である。システムコントローラ２０は、図２に示すフローチャートの処理を、例えばカメラ６１から実写画像を受信するごとに繰り返し実行する。なお、図２に示す処理手順は、ＯｐｅｎＧＬ（登録商標）やＤｉｒｅｃｔＸ（登録商標）などの一般的なコンピュータグラフィックスのソフトウェアの処理手順に準じたものであり、これらのソフトウェアにより好適に実行可能である。以下において、「混合（ブレンド）処理」とは、描画されているピクセルの上に、これから描画するもののピクセルの色を混ぜる処理を指す。
　まず、システムコントローラ２０は、家形情報等をデータ記憶ユニット３６から読み込む（ステップＳ１０１）。具体的には、まず、システムコントローラ２０は、ＧＰＳ受信機１８により認識した現在位置を基準としたカメラ６１の撮影範囲を特定する。このとき、システムコントローラ２０は、例えば、現在位置から車両の進行方向に向かって所定範囲を撮影範囲として特定する。上述の所定範囲は、例えば、カメラ６１の設置位置、設置向き、画角等を勘案して予め定められる。次に、システムコントローラ２０は、地図データを参照することで撮影範囲内に存在する建物を特定すると共に、特定した建物の家形情報及び位置情報を地図データから読み込む。
　次に、システムコントローラ２０は、３次元座標空間に建物を表す透明なポリゴンを描画し、その後案内ルートを描画する（ステップＳ１０２）。具体的には、まず、システムコントローラ２０は、自車位置を視点とする撮影範囲に対応する３次元座標空間を生成し、当該３次元座標空間中に家形情報から生成したポリゴンを配置する。その後、システムコントローラ２０は、案内ルート上の道路と重なる位置に案内ルートを描画する。言い換えると、システムコントローラ２０は、案内ルートを、案内ルートに対応する道路と同じ奥行きとなる位置、即ち、任意の建物に対して前面であるか背面であるかの判断が当該道路と同一となる位置に描画する。
　次に、システムコントローラ２０は、３次元座標空間中に描画された建物及び案内ルートをピクセル単位での位置情報及び色情報に変換する処理（即ち、ラスタライズ）を行う（ステップＳ１０３）。具体的には、システムコントローラ２０は、建物を表したポリゴン及び案内ルートが描画された３次元座標空間をカメラ６１の位置から撮影方向に向けて投影させたラスタ画像を生成する。このとき、システムコントローラ２０は、建物のポリゴンと案内ルートとが重畳する部分については、まず建物の表示を描画した上で、後述のステップＳ１０４の奥行判定処理で案内ルートの表示をさらに描画対象とするか否か判定する。そして、システムコントローラ２０は、奥行判定処理により案内ルートを描画対象とすべきと判断した場合にはステップＳ１０５で混合処理を行う。
　次に、システムコントローラ２０は、案内ルートの描画対象部分及び非描画対象部分を定める奥行判定処理（所謂デプステスト）を行う（ステップＳ１０４）。具体的には、システムコントローラ２０は、ラスタライズされたピクセルごとに、建物の表示と案内ルートの表示とが重なるか否か判定する。そして、建物の表示と案内ルートの表示とが重ならない場合、システムコントローラ２０は、処理対象のピクセルにおいて、案内ルートを描画対象とする。
　一方、システムコントローラ２０は、処理対象のピクセルにおいて、建物の表示と案内ルートの表示とが重なると判断した場合、さらに、当該建物の表示が当該案内ルートの表示よりも背面にあるか否か判定する。そして、建物の表示が案内ルートの表示よりも背面にある場合には、システムコントローラ２０は、処理対象のピクセルにおいて、案内ルートを描画対象とする。一方、システムコントローラ２０は、建物の表示が案内ルートの表示よりも前面にある場合には、当該案内ルートの表示を、処理対象のピクセルにおいて描画対象外とする。これにより、案内ルートのうち、建物により遮蔽される部分が描画対象外となる。
　このように、システムコントローラ２０は、奥行判定処理を後述するステップＳ１０５の混合処理より先に行うことで、建物を表すポリゴンを透明に描いた場合であっても、好適に、当該ポリゴンよりも背面にある案内ルートを描画対象から除外することができる。
　次に、システムコントローラ２０は、混合（ブレンド）処理を行う（ステップＳ１０５）。具体的には、システムコントローラ２０は、既に透明な建物が描画された画像に対し、奥行判定処理にて描画対象に指定された案内ルートの描画対象部分の混合処理を行う。ここで、建物の表示色は透明に指定されているため、結果として、システムコントローラ２０は、案内ルートの描画対象部分のみが表示された画像を生成する。
　そして、システムコントローラ２０は、混合処理により得られたＣＧ画像（合成画像）を実写画像に重畳してディスプレイ４４に表示する（ステップＳ１０６）。言い換えると、システムコントローラ２０は、実写画像を背景画像として、ＣＧ画像をディスプレイ４４上に表示させる。これにより、システムコントローラ２０は、案内ルートのち、建物によって遮蔽される部分を好適に非表示とすることができ、ＣＧ画像と実写画像とを重畳させた場合であっても、奥行き感を維持し、運転者に距離感を掴ませることができる。
　［表示例］
　次に、図３（Ａ）、（Ｂ）を参照し、本実施例に係る案内ルートの表示態様を具体的に説明する。図３（Ａ）は、車両の走行中にカメラ６１が撮影した実写画像を示し、図３（Ｂ）は、実写画像に対してＣＧ画像である案内ルート４６を重畳させた画像を示す。
　この場合、図３（Ｂ）に示すように、システムコントローラ２０は、交差点４７で左折すべき旨を示す案内ルート４６をディスプレイ４４上に表示する。具体的には、システムコントローラ２０は、走行予定の道路と重なる位置に、道路幅に応じた太さを有する曲線を、案内ルート４６として描いている。このとき、システムコントローラ２０は、建物４５Ａ乃至４５Ｃの家形情報及び位置情報、並びに、道路４８の位置情報等に基づき、図２に示す処理に従い、建物４５Ａ乃至４５Ｃのポリゴンによる遮蔽部分が除外された案内ルート４６を実写画像に重畳表示する。
　ここで、交差点４７の通過後に車両が走行する案内ルート上の道路４８は、カメラ６１の視点に対して、建物４５Ａ乃至４５Ｃの背面に存在する。その結果、図３（Ａ）に示す実写画像では、道路４８の一部は、建物４５Ａ乃至４５Ｃにより遮蔽されて非表示となっている。これに対応して、図３（Ｂ）に示す案内ルート４６は、実写画像の道路４８と同様に、建物４５Ａ乃至４５Ｃとの重畳部分が非表示となっている。これにより、ユーザは、建物４５Ａ等の奥にある道路を左折すべきであると容易に把握することができ、右左折すべき道路と近接する建物との位置関係を的確に把握することができる。
　図４は、建物と案内ルートとの位置関係を考慮せずに案内ルートのＣＧ画像を生成して実写画像に重畳させた比較例に係る表示を示す。図４に示すように、比較例では、建物４５Ａ乃至４５Ｃの一部が案内ルート４６ｘにより重畳されている。その結果、ユーザは、左折道路４８Ｂが建物４５Ａ等の前面又は背面のいずれに存在するか直感的に把握することができない。このように、図４に示す比較例では、ＣＧ画像と実写画像とを重畳させたことにより、奥行き感が失われる。
　以上を勘案し、本実施例では、システムコントローラ２０は、各建物を仮想的に描いたポリゴンと案内ルートの表示との奥行判定処理を行い、案内ルートのうち建物のポリゴンによる遮蔽部分を非表示とする。これにより、システムコントローラ２０は、ＣＧ画像と実写画像とを重畳させた場合でも、奥行き感が失われるのを好適に防ぐ。
　［変形例］
　以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
　（変形例１）
　本発明が適用可能な案内ルートの表示態様は、図３（Ｂ）に示すように走行予定の道路に重ねる表示態様に限定されない。これに代えて、システムコントローラ２０は、案内ルートの表示を、案内ルートに対応する道路と重畳させることなく異なる位置に表示してもよい。
　図５は、変形例に係る案内ルートの表示例を示す。図５に示すように、システムコントローラ２０は、案内ルート４６ｙを、走行予定道路の上空の位置に上下反転させて表示している。この場合、システムコントローラ２０は、図２のステップＳ１０２において、３次元座標空間中に案内ルート４６ｙを描画する場合、当該案内ルート４６ｙを、案内ルート４６ｙに対応する道路より所定距離だけ上空であって、当該道路と同一の奥行きとなる位置に描画する。その結果、図５に示すように、システムコントローラ２０は、道路４８よりも手前に存在する建物４５Ａと重なる部分が非表示となるように、案内ルート４６ｙを表示している。
　従って、図５に示す表示態様によっても、ユーザは、建物４５Ａの背面にある道路を左折すべきであると容易に認識することができ、右左折すべき道路と建物との位置関係を的確に把握することができる。
　（変形例２）
　建物による遮蔽部分を非表示する対象は案内ルートに限定されない。これに代えて、又はこれに加えて、ナビゲーション装置１は、案内ルート以外の案内情報についても、同様に、建物によって遮蔽される部分を非表示にしてもよい。ここで、「案内情報」とは、運転を補助するために運転者に視認させる情報を指し、例えば、施設に対応する位置に付される当該施設を示すマーク（「施設マーク」とも呼ぶ。）、目印となるタワーなどの施設（ランドマーク）、渋滞した道路に沿って表示される渋滞線などが該当する。
　例えば、システムコントローラ２０は、カメラ６１の撮影範囲内にある施設の施設マークを表示する場合、施設マークを対象に、図２のステップＳ１０１乃至ステップＳ１０６の処理を実行する。このとき、システムコントローラ２０は、ステップＳ１０２において、３次元座標空間上で、建物のポリゴンを配置した後、各施設マークを、対応する施設と同一の奥行きとなる表示位置に配置する。このようにすることで、システムコントローラ２０は、施設マークが当該施設マークに対応する施設の前面にある建物に重なって表示されるのを防ぎ、ユーザが施設と施設マークとの対応を誤認するのを確実に抑制することができる。
　また、好適には、システムコントローラ２０は、案内ルートに従い運転する際の目印として表示する施設マークを表示する場合に限り、本実施例と同様に遮蔽部分の非表示処理を行ってもよい。これにより、システムコントローラ２０は、運転上の目印となる施設の位置を適切に認識させることができる。また、システムコントローラ２０は、他の施設マークについては、遮蔽部分の有無によらず表示することで、立ち寄る施設を探している場合等に容易に目的の施設をユーザに発見させることができる。
　（変形例３）
　図２のフローチャートの処理手順は、一例であり、本発明が適用可能な処理手順は、これに限定されない。例えば、ナビゲーション装置１は、建物の透明なポリゴンを生成することなく、建物の家形情報、位置情報、及び案内ルート上の道路の位置情報等に基づき、案内ルートのうち建物と重なる部分を特定し、当該部分を非表示にした案内ルートの画像を実写画像に重畳させて表示してもよい。その他、使用するソフトウェアの仕様に従い、システムコントローラ２０は、適宜処理の一部の順序を入れ替えて実行してもよい。
　（変形例４）
　図２のステップＳ１０２において、システムコントローラ２０は、建物を表すポリゴンを描画する際に、完全に透明なポリゴンを描画する代わりに、略透明なポリゴンを描画してもよい。例えば、システムコントローラ２０は、実写画像とＣＧ画像を重ねた際に建物を表すポリゴンが目立たない程度に透過率が高いポリゴンを描画してもよい。この場合であっても、実施例と同様に、案内ルートの建物による遮蔽部分を非表示として奥行き感のある表示を出力することができる。
　（変形例５）
　図２のステップＳ１０２において、システムコントローラ２０は、カメラ６１の撮影範囲内に存在する建物のポリゴンを全て描画した。これに代えて、システムコントローラ２０は、撮影範囲内の一部の建物のポリゴンを描画してもよい。具体的には、システムコントローラ２０は、車両の進行方向において、案内ルートに対応する道路の前面に存在する建物のみを対象にポリゴンを生成してもよい。これによっても、システムコントローラ２０は、案内ルートの建物による遮蔽部分を非表示として奥行き感のある表示を出力することができる。
　本発明は、カメラにより撮影された実写画像に基づき案内表示を行う装置に好適に適用することができる。
　１　ナビゲーション装置
　１０　自立測位装置
　１２　ＧＰＳ受信機
　２０　システムコントローラ
　２２　ＣＰＵ
　３６　データ記憶ユニット
　３８　通信装置
　４０　表示ユニット
　４４　ディスプレイ

Claims (13)

  1. 　カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置であって、
    　撮影位置と、前記カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、前記案内情報と前記実写画像中の建物との重畳部分を特定する特定手段と、
    　前記重畳部分のうち、前記案内情報よりも前記建物が前面に表示されるべき遮蔽部分を除外した前記案内情報を、前記実写画像に重畳させて表示する表示制御手段と、
    を有することを特徴とする表示装置。
  2. 　前記特定手段は、前記建物を当該建物の位置情報及び家形情報に基づき略透明に描画し、かつ、前記案内情報を前記施設又は道路の位置情報に基づき描画することで、前記重畳部分を特定し、
    　前記表示制御手段は、略透明に描画された建物と、前記遮蔽部分を除外した前記案内情報とを合わせた合成画像を生成し、当該合成画像を前記実写画像に重畳表示させることを特徴とする請求項１に記載の表示装置。
  3. 　前記表示制御手段は、前記合成画像を生成する場合、前記案内情報より先に略透明な建物を描画し、その後、前記重畳部分のうち、前記遮蔽部分以外の部分を対象に、略透明に描画した建物と前記案内情報との色の混合処理を行うことを特徴とする請求項２に記載の表示装置。
  4. 　前記表示制御手段は、移動体が走行すべきルートを、前記案内情報として前記実写画像上に重畳させて表示することを特徴とする請求項１乃至３のいずれか一項に記載の表示装置。
  5. 　前記表示制御手段は、前記ルートの表示を、当該ルートに対応する道路の上空の位置に上下反転させて表示することを特徴とする請求項４に記載の表示装置。
  6. 　前記表示制御手段は、前記実写画像内の施設に対応した位置に、当該施設を示すマークを、前記案内情報として前記実写画像上に重畳させて表示することを特徴とする請求項１乃至５のいずれか一項に記載の表示装置。
  7. 　前記表示制御手段は、前記マークのうち、経路案内の目印となる前記実写画像内の施設に対して付されるマークのみについて、前記遮蔽部分を除外して表示することを特徴とする請求項６に記載の表示装置。
  8. 　カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置であって、
    　前記実写画像は、第一建物画像と、前記第一建物画像よりも前記カメラから遠方に位置する建物の画像である第二建物画像とを含み、
    　前記実写画像において前記第一建物画像と前記第二建物画像の間にあるルートを示す前記案内情報を表示する際には、前記案内情報を前記実写画像内において
    前記第二建物画像よりも前記カメラ側に表示させ、且つ、前記第一建物画像を前記案内情報の一部を遮って前記カメラ側に表示させることを特徴とする表示制御手段を有することを特徴とする表示装置。
  9. 　前記表示制御手段は、前記第一建物画像を前記案内情報に重畳させて表示させることを特徴とする請求項８に記載の表示装置。
  10. 　カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置が実行する制御方法であって、
    　撮影位置と、前記カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、前記案内情報と前記実写画像中の建物との重畳部分を特定する特定工程と、
    　前記重畳部分のうち、前記案内情報よりも前記建物が前面に表示されるべき遮蔽部分を除外した前記案内情報を、前記実写画像に重畳させて表示する表示制御工程と、
    を有することを特徴とする制御方法。
  11. 　カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示方法であって、
    　前記実写画像は、第一建物画像と、前記第一建物画像よりも前記カメラから遠方に位置する建物の画像である第二建物画像とを含み、
    　前記実写画像において前記第一建物画像と前記第二建物画像の間にあるルートを示す前記案内情報を表示する際には、前記案内情報を前記実写画像内において
    前記第二建物画像よりも前記カメラ側に表示させ、且つ、前記第一建物画像を前記案内情報の一部を遮って前記カメラ側に表示させることを特徴とする表示制御工程を有することを特徴とする表示方法。
  12. 　カメラにより撮影した実写画像上に案内情報を重畳させて表示する表示装置が実行するプログラムであって、
    　撮影位置と、前記カメラの撮影範囲に存在する建物の位置情報及び家形情報と、案内情報に対応する施設又は道路の位置情報とに基づき、前記案内情報と前記実写画像中の建物との重畳部分を特定する特定手段と、
    　前記重畳部分のうち、前記案内情報よりも前記建物が前面に表示されるべき遮蔽部分を除外した前記案内情報を、前記実写画像に重畳させて表示する表示制御手段
    として前記表示装置を機能させることを特徴とするプログラム。
  13. 　請求項１２に記載のプログラムを記憶したことを特徴とする記憶媒体。
PCT/JP2012/051679 2012-01-19 2012-01-26 表示装置、制御方法、プログラム、記憶媒体 WO2013111302A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/374,232 US20150029214A1 (en) 2012-01-19 2012-01-26 Display device, control method, program and storage medium
JP2013555061A JP5702476B2 (ja) 2012-01-26 2012-01-26 表示装置、制御方法、プログラム、記憶媒体
PCT/JP2012/051679 WO2013111302A1 (ja) 2012-01-26 2012-01-26 表示装置、制御方法、プログラム、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/051679 WO2013111302A1 (ja) 2012-01-26 2012-01-26 表示装置、制御方法、プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
WO2013111302A1 true WO2013111302A1 (ja) 2013-08-01

Family

ID=48873070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/051679 WO2013111302A1 (ja) 2012-01-19 2012-01-26 表示装置、制御方法、プログラム、記憶媒体

Country Status (2)

Country Link
JP (1) JP5702476B2 (ja)
WO (1) WO2013111302A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015152467A (ja) * 2014-02-17 2015-08-24 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体
WO2018009109A1 (en) * 2016-07-07 2018-01-11 Saab Ab Displaying system and method for displaying a perspective view of the surrounding of an aircraft in an aircraft
DE112016006725T5 (de) 2016-05-17 2018-12-27 Mitsubishi Electric Corporation Bildanzeigevorrichtung, bildanzeigeverfahren und bildanzeigeprogramm
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008128827A (ja) * 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd ナビゲーション装置およびナビゲーション方法ならびにそのプログラム
WO2009084134A1 (ja) * 2007-12-28 2009-07-09 Mitsubishi Electric Corporation ナビゲーション装置
JP2011047649A (ja) * 2007-12-28 2011-03-10 Mitsubishi Electric Corp ナビゲーション装置
JP2011529569A (ja) * 2008-07-31 2011-12-08 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションデータを三次元で表示するコンピュータ装置および方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269972A (ja) * 1999-05-14 2003-09-25 Denso Corp 地図表示装置
JP3943346B2 (ja) * 2001-04-26 2007-07-11 トヨタ自動車株式会社 ナビゲーション装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008128827A (ja) * 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd ナビゲーション装置およびナビゲーション方法ならびにそのプログラム
WO2009084134A1 (ja) * 2007-12-28 2009-07-09 Mitsubishi Electric Corporation ナビゲーション装置
JP2011047649A (ja) * 2007-12-28 2011-03-10 Mitsubishi Electric Corp ナビゲーション装置
JP2011529569A (ja) * 2008-07-31 2011-12-08 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションデータを三次元で表示するコンピュータ装置および方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015152467A (ja) * 2014-02-17 2015-08-24 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体
DE112016006725T5 (de) 2016-05-17 2018-12-27 Mitsubishi Electric Corporation Bildanzeigevorrichtung, bildanzeigeverfahren und bildanzeigeprogramm
WO2018009109A1 (en) * 2016-07-07 2018-01-11 Saab Ab Displaying system and method for displaying a perspective view of the surrounding of an aircraft in an aircraft
US10982970B2 (en) 2016-07-07 2021-04-20 Saab Ab Displaying system and method for displaying a perspective view of the surrounding of an aircraft in an aircraft
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
US11535155B2 (en) 2017-11-17 2022-12-27 Aisin Corporation Superimposed-image display device and computer program

Also Published As

Publication number Publication date
JPWO2013111302A1 (ja) 2015-05-11
JP5702476B2 (ja) 2015-04-15

Similar Documents

Publication Publication Date Title
EP2724896B1 (en) Parking assistance device
JP2015172548A (ja) 表示制御装置、制御方法、プログラム、及び記憶媒体
JP5735658B2 (ja) 表示装置及び表示方法
JPWO2013114617A1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP5795386B2 (ja) 表示装置及び制御方法
JP2009236843A (ja) ナビゲーション装置、ナビゲーション方法、およびナビゲーションプログラム
JP2008014754A (ja) ナビゲーション装置
US20150029214A1 (en) Display device, control method, program and storage medium
JP5702476B2 (ja) 表示装置、制御方法、プログラム、記憶媒体
JP2018128466A (ja) ナビゲーション装置、ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
JP3642776B2 (ja) ナビゲーション装置の地図表示方法およびナビゲーション装置
WO2011135660A1 (ja) ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
JP2015105903A (ja) ナビゲーション装置、ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
JP2015141155A (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP6401925B2 (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2015152467A (ja) 表示制御装置、制御方法、プログラム、及び記憶媒体
WO2011121788A1 (ja) ナビゲーション装置、情報表示装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
JP4917191B1 (ja) 画像制御装置及び画像制御方法
WO2013046426A1 (ja) ヘッドアップディスプレイ、画像表示方法、画像表示プログラム、及び表示装置
JP5438172B2 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体
JP3790011B2 (ja) ナビゲーション装置における地図情報表示装置及び地図情報表示方法並びにナビゲーション装置における地図情報表示制御プログラムが記録されたコンピュータ読み取り可能な記録媒体
WO2014002167A1 (ja) 情報表示装置、情報表示方法、情報表示プログラム及び記録媒体
WO2013046425A1 (ja) ヘッドアップディスプレイ、制御方法、及び表示装置
WO2013046423A1 (ja) ヘッドアップディスプレイ、制御方法、及び表示装置
JP2014235054A (ja) 表示装置、表示方法及び表示プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12866929

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013555061

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14374232

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12866929

Country of ref document: EP

Kind code of ref document: A1