WO2018105457A1 - 経路案内システム、看板データベース作成システム、経路案内プログラムおよび看板データベース作成プログラム - Google Patents

経路案内システム、看板データベース作成システム、経路案内プログラムおよび看板データベース作成プログラム Download PDF

Info

Publication number
WO2018105457A1
WO2018105457A1 PCT/JP2017/042756 JP2017042756W WO2018105457A1 WO 2018105457 A1 WO2018105457 A1 WO 2018105457A1 JP 2017042756 W JP2017042756 W JP 2017042756W WO 2018105457 A1 WO2018105457 A1 WO 2018105457A1
Authority
WO
WIPO (PCT)
Prior art keywords
signboard
image
guidance
route
control unit
Prior art date
Application number
PCT/JP2017/042756
Other languages
English (en)
French (fr)
Inventor
純一郎 井川
Original Assignee
アイシン・エィ・ダブリュ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン・エィ・ダブリュ株式会社 filed Critical アイシン・エィ・ダブリュ株式会社
Publication of WO2018105457A1 publication Critical patent/WO2018105457A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids

Definitions

  • the present invention relates to a route guidance system, a signboard database creation system, a route guidance program, and a signboard database creation program.
  • a technology is known in which an image of a signboard included in an image obtained by capturing the front of a vehicle is recognized, and the name of a signboard of a facility indicated by the recognized signboard is guided (see Patent Document 1).
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of guiding a planned travel route using some information about as many signboards as possible.
  • the route guidance system of the present invention is a route guidance system for guiding a planned movement route using information on a signboard installed on a road or a building as a landmark,
  • the signboard database in which at least one of the signboard name and the feature information of the signboard form is associated, if the signboard name is associated with the point where the planned movement route is to be guided, the signboard name is used to move
  • a guidance control unit is provided that performs route guidance and guides the planned travel route using feature information when a signboard name is not associated with a point where the planned travel route is guided.
  • the planned travel route can be guided using the feature information of the signboard form. Therefore, it is possible to guide the planned travel route using some information about as many signs as possible.
  • a route guidance system of the present invention is a route guidance system that guides a planned movement route using information on a signboard installed on a road or a building as a landmark, and an image showing a signboard If the signboard image is a template image that matches the template image, the signage name associated with the template image is used to guide the planned travel route, and the signboard image does not match the template image.
  • a guidance control unit is provided that guides the planned travel route using feature information in the form of a signboard image.
  • a route guidance program is a route guidance system for guiding a planned travel route using information on a signboard installed on a road or a building as a landmark.
  • the signboard image which is an image indicating the image
  • the signage name associated with the template image is used to guide the planned travel route
  • the signboard image does not match the template image If it is, it is made to function as a guidance control unit that guides the planned travel route using the feature information in the form of the signboard image.
  • the signboard name associated with the template image can be guided, and the signboard image form characteristics even when the signboard image does not match the template image Information can be used to guide the planned travel route. Therefore, some information can be guided about as many signs as possible.
  • a signboard database creation system includes a signboard image collection unit that collects a signboard image that is an image of a signboard installed on a road or a building, a signboard image, and a preparation in advance.
  • a signboard image collection unit that collects a signboard image that is an image of a signboard installed on a road or a building, a signboard image, and a preparation in advance.
  • the imaging point of the signboard image and the signboard name associated with the template image are recorded in association with each other.
  • the signboard A signboard database creating unit that creates a signboard database in which image capturing points and signboard image feature information are recorded in association with each other.
  • a signboard database creation program includes a signboard image collection unit that collects a signboard image that is an image of a signboard installed on a road or a building, and a signboard image. And the template image prepared in advance are recorded in association with the imaging point of the signboard image and the signboard name associated with the template image, and the signboard image does not match the template image
  • the signboard database creating unit is configured to create a signboard database in which the imaging point of the signboard image and the feature information of the signboard image form are recorded in association with each other.
  • the signboard image matches the template image, the signboard name associated with the template image can be used, and even if the signboard image does not match the template image, the signboard image form It is possible to create a signboard database that can use feature information.
  • FIG. 3A is a flowchart of a signboard image collection process
  • FIG. 3B is a flowchart of a signboard database creation process
  • 4A is a flowchart of route guidance information distribution processing
  • FIG. 4B is a flowchart of route guidance processing.
  • FIG. 1 is a block diagram showing a configuration of a signboard database creation system 10 according to an embodiment of the present invention.
  • the signboard database creation system 10 is a server that can communicate with the route guidance system 110 and the imaging vehicle 210.
  • the signboard database creation system 10 serves both as a signboard database creation system and a system for distributing route guidance information, but these systems may be realized by separate servers.
  • the route guidance system 110 may be a mobile terminal such as a smartphone brought into the vehicle, but in this embodiment, it is assumed that the route guidance system 110 is an in-vehicle device mounted on the vehicle.
  • the imaging vehicle 210 is a vehicle that captures a signboard image that is a landscape image ahead of the traveling direction during traveling, and may be the same vehicle as the vehicle on which the route guidance system 110 is mounted. Although not shown, there are a plurality of route guidance systems 110 and imaging vehicles 210, respectively.
  • the signboard database creation system 10 includes a control unit 20, a recording medium 30, and a communication unit 40.
  • the control unit 20 includes a CPU, a RAM, a ROM, and the like, and executes a signboard database creation program 21 stored in the recording medium 30 or the ROM.
  • the communication unit 40 is a communication circuit that enables communication with the route guidance system 110 and the imaging vehicle 210.
  • the recording medium 30 records map information 30a, a signboard image group 30b, a signboard database 30c, and a template image group 30d.
  • the map information 30a includes node data and link data.
  • the node data mainly indicates information about the node corresponding to the intersection. Specifically, the node data indicates the coordinates of the node and the shape of the intersection.
  • the link data indicates various types of information such as the number of lanes, the width, and the search cost for the link corresponding to the road section.
  • a road section is a unit of road divided by intersections continuous in the length direction, and nodes exist at both ends of the link.
  • a node to which three or more links are connected corresponds to an intersection.
  • the link data includes shape interpolation point data.
  • the shape interpolation point data is data indicating the coordinates of the shape interpolation point set at the center in the width direction of the road section.
  • the control unit 20 acquires the coordinates of the node and the coordinates of the shape interpolation point, and acquires a polygonal line connecting these coordinates or an approximate curve of these coordinates as the shape of the road section.
  • the search cost is an index value used for searching for a guidance route, and is an index value indicating the difficulty of being adopted as a road section on the guidance route.
  • the signboard image group 30b is a database in which signboard images captured by the imaging vehicle 210 are accumulated.
  • the imaging vehicle 210 includes a camera (not shown), a computer that controls the camera, and a positioning unit, and captures a landscape in front of the vehicle for each predetermined time period or mileage period, thereby displaying a signboard image. Is generated.
  • the imaging vehicle 210 associates the signboard image with the imaging point, the imaging time, and the imaging direction of the signboard image, and transmits the signboard image to the signboard database creation system 10.
  • the imaging point is specified by the road section in which the imaging vehicle 210 was traveling at the imaging time and the position in the length direction of the road section.
  • the camera is installed so that the optical axis direction is in front of the imaging vehicle 210, and the imaging direction means the traveling direction of the imaging vehicle 210.
  • FIG. 2A is a map illustrating the signage image capturing points P1 to P8.
  • imaging points P1 to P8 exist for each predetermined travel distance period, and that a signboard image is captured in the imaging direction D1 at each of the imaging points P1 to P8.
  • the angle of view A when capturing the signboard image is set to be substantially the same as a human viewing angle (for example, a viewing angle during driving).
  • the signboard image is taken regardless of the presence or absence of the signboards S1 and S2 in the vicinity.
  • the signboard image may not include the signboard S1 and S2 images.
  • the signboard database 30c is a database that defines guidance contents for each of the signboards S1 and S2.
  • Table 1 shows an example of the signboard database 30c.
  • the signboard name “ab store” of the store that holds the signboard S1 is associated as the guidance content for the signboard S1.
  • the feature information “yellow square” of the signboard S2 is associated as the guidance content.
  • an imaging point, an imaging time, and an imaging direction of the signboard image where the images of the signboards S1 and S2 are recognized are recorded in association with each other.
  • the positions of the signboards S1 and S2 specified by the image recognition processing of the signboard image are recorded in association with each other.
  • the position of the signboard S1 is on the right side of the road section between the intersections B1 and B2.
  • the position of the signboard S2 is on the left side of the road section between the intersections B1 and B2.
  • the positions of the signboards S1 and S2 may be specified by coordinates.
  • the positions of the signboards S1 and S2 may be specified with high accuracy by the signboard image captured by the stereo camera.
  • the template image group 30d is a database in which a large number of template images are accumulated, and each template image is recorded in association with a signboard name of a store holding a signboard indicated by the template image.
  • the template image may be, for example, an image obtained by clearly capturing a signboard under predetermined imaging conditions, or may be an image of a signboard generated by a computer.
  • the template image of the present embodiment is an image of a chain store sign. Specifically, the template image is an image of a signboard of a large-scale chain store whose number of stores is a threshold value (for example, 100) or more.
  • the recognition result of the signboard image is shown for each imaging point.
  • the signboard image recognized in the signboard image matches the template image, the fact that the matching has been completed ( ⁇ mark) is recorded. If the image of the signboard recognized by the signboard image does not match any of the template images, the fact that the matching could not be performed (x mark) is recorded.
  • a signboard S1 is a signboard of a chain store, and a template image is prepared. Therefore, the fact that the matching with the template image of the signage images at the imaging points P2 to P5 approaching the signboard S1 is recorded in association with each other.
  • the signboard S2 is a signboard of a private store, and no template image is prepared. Accordingly, some signboard images are recognized in the signboard images at the imaging points P3 to P5 that are close to the signboard S2 to some extent, but no matching with any template image is recorded in association with each other.
  • the signboard database creation program 21 includes a signboard image collection module 21a, a signboard database creation module 21b, and a route guidance information distribution module 21c.
  • the signboard image collection module 21a and the signboard database creation module 21b are program modules that cause the control unit 20 as a computer to function as a signboard image collection unit and a signboard database creation unit, respectively.
  • the control unit 20 collects a signboard image that is an image of a signboard installed on a road or a building by the function of the signboard image collection module 21a. That is, the control unit 20 acquires the signboard image transmitted from the imaging vehicle 210 and collects the signboard image by accumulating the signboard image in the signboard image group 30b. It should be noted that the signboard image group 30b does not necessarily have to be accumulated from those transmitted from the imaging vehicle 210, and may be purchased from a trader or institution that collects signboard images.
  • the control unit 20 associates the imaging point of the signboard image with the signboard name associated with the template image.
  • the signboard database 30c is created in which the imaging point of the signboard image and the feature information of the signboard image form are recorded in association with each other. That is, the control unit 20 creates a signboard database 30c in which signboard names or feature information are associated with imaging points.
  • the control unit 20 displays the feature information of the template image form together with the imaging point of the signboard image and the signboard name associated with the template image. You may record in association. In such an imaging point, guidance of the planned movement route R may be performed using a signboard name and feature information set by the user.
  • the control unit 20 recognizes the signboard image from the signboard images in the signboard image group 30b by a known image recognition process. For example, the control unit 20 recognizes an image having a predetermined contour shape (polygon such as a square, circle, etc.) and having an area larger than a predetermined reference area as a signboard image. Also good. The reference area may be, for example, a lower limit area that can be recognized as a sign when viewed by a human.
  • the control unit 20 compares the signboard image recognized by the signboard image with each template image of the template image group 30d by a known template matching technique.
  • the similarity is equal to or greater than the threshold, it is determined that the signboard image matches the template image.
  • the signboard image does not match the template image, not only when the picked-up signboard is not a signboard of a chain store, but the picked-up signboard is a signboard of a chain store but can be matched by being obstructed by an obstacle or the like. This includes cases where there were no such cases.
  • the control unit 20 records the signboard name associated with the template image that matches the signboard image in the signboard database 30c as the guidance content for the signboard indicated by the signboard image.
  • the signboard name “ab store” is recorded in association with the signage S1 as the guidance content.
  • the control unit 20 extracts feature information from the signboard image when none of the template images in the template image group 30d matches the signboard image recognized by the signboard image.
  • the control unit 20 extracts the outline shape and color of the signboard image as feature information.
  • the control unit 20 creates a histogram for each color (for example, for each hue angle category) for the pixels constituting the signboard image, and extracts the color having the mode value in the histogram as the color of the signboard image. Also good.
  • images are taken at a plurality of imaging points through which the same signboards S1 and S2 have passed continuously.
  • the guidance content is recorded in association with only the imaging point closest to the front.
  • the signboard name “ab store” as the guidance content is associated with the image pickup spot P2 on the foremost side among the image pickup points P2 to P5 of the signboard image where the image of the signboard S1 can be recognized.
  • the feature information “yellow square” as the guidance content is associated with the image pickup point P3 closest to the front. ing. That is, as indicated by the upward arrow in Table 1, the guidance content for the same signboards S1 and S2 is integrated into the closest imaging point.
  • the signboard image can be recognized at first, and matching with the template image may be successful when approaching to some extent.
  • the signboard S1 in Table 1 although the image of the signboard S1 can be recognized from the signboard image at the imaging point P1, matching with the template image may not be possible.
  • the feature information of the image of the signboard S1 can be associated with the imaging point P1 as the guidance content.
  • the signboard name “ab store” as the guidance content may be associated with priority.
  • control unit 20 deletes the feature information of the image of the signboard S1 associated with the imaging point P1, and associates the signage name “ab store” as the guidance content with the imaging point P2. It may be recorded. Of course, the control unit 20 may maintain the feature information of the image of the signboard S1 associated with the imaging point P1.
  • the control unit 20 displays the signboard name or feature information associated with the image pickup point. Delete from the signboard database 30c. Since the imaging vehicle 210 can travel the same imaging point many times in the same imaging direction, a plurality of signboard images obtained by imaging the same imaging point in the same imaging direction at different times can be collected. When the signboard image cannot be recognized from the latest signboard image captured at the same imaging point, the control unit 20 deletes the signboard name or feature information associated as the guidance content from the signboard database 30c. To do.
  • Table 2 shows how the signboard database 30c of Table 1 has been updated.
  • the image of the signboard S2 was recognized from the signboard images picked up at the image pickup points P3 to P5 at the times T3 to T5.
  • the image of the signboard S2 cannot be recognized from the signboard images captured at the imaging points P3 to P5 at times T13 to T15 later than the times T1 to T5.
  • the control unit 20 deletes the feature information “yellow square” as the guidance content of the signboard S2 from the signboard database 30c.
  • the control unit 20 may delete the guidance content from the signboard database 30c when the image of the signboard S2 has not been recognized for a reference number of times (for example, five times).
  • the control unit 20 searches for a planned travel route and distributes route guidance information for guiding the planned travel route to the route guidance system 110.
  • the control unit 20 searches for an optimal planned travel route from the starting point to the destination indicated by the route search by a known method such as the Dijkstra method.
  • the control unit 20 may search for a planned travel route composed of a series of road sections that minimize the total search cost.
  • the control unit 20 acquires a guidance intersection that is an intersection scheduled to make a right / left turn among intersections on the planned movement route. And the control part 20 acquires the signboard which can be used for guidance of a guidance intersection by referring to the signboard database 30c.
  • the signboard that can be used for guidance of the guidance intersection may be a signboard around the guidance intersection (for example, within 50 m).
  • the control part 20 acquires the guidance content matched with the signboard which can be used for a guidance intersection, and produces
  • the guidance message is a voice message output from a speaker or the like of the route guidance system 110.
  • the control unit 20 generates a guidance message explaining the position of the guidance intersection based on the position of the signboard that can be used for guidance, and explaining the signboard by the guidance content associated with the signboard. .
  • FIG. 2B and 2C are maps explaining the guidance message.
  • the planned travel route R for making a right turn and a left turn at the guidance intersection B2 is searched.
  • FIG. 2B among the signboards S1 and S2 that exist in the road section between the intersections B1 and B2 as signboards that can be used for guidance at the guidance intersection B2, the right side that is the direction in which the planned travel route R bends at the guidance intersection B2.
  • the signboard S1 is acquired, and the signboard name “ab store” which is the guidance content for the signboard S1 is acquired.
  • the control unit 20 Based on the signboard name “ab store”, the control unit 20 generates a guidance message “next to the sign of the ab store is right”.
  • the travel planned route R is in a direction that bends at the guidance intersection B2.
  • the signboard S2 on the left side is acquired, and the feature information “yellow square” that is the guidance content for the signboard S2 is acquired.
  • the control unit 20 Based on the feature information “yellow square”, the control unit 20 generates a guidance message “next to the yellow square sign is left”.
  • the signboard on the side opposite to the direction in which the turn is made may be used.
  • the signboards S1 and S2 the one near the guidance intersection B2 may be used for guidance, or the signboard S1 whose signboard name is known may be used for guidance, A signboard with a larger signboard image at the same imaging point may be preferentially used for guidance.
  • the function of the route guidance information distribution module 21c causes the control unit 20 to calculate a required period for outputting the guidance message through the speaker, and the vehicle equipped with the route guidance system 110 is expected to travel during the required period.
  • the estimated travel distance Q is acquired.
  • the control unit 20 obtains the estimated traveling distance Q by multiplying the vehicle speed limit of the road section where the imaging points P2 and P3 associated with the guidance contents for the signboards S1 and S2 are associated with the required period. Also good. Then, the control unit 20 sets a point closer to the estimated travel distance Q from the imaging points P2 and P3 associated with the guidance contents for the signboards S1 and S2 as the guidance start point M.
  • control part 20 transmits the route guidance information which shows the guidance start point M and a guidance message for every guidance intersection to the route guidance system 110 which requested
  • route guidance information a guidance intersection where there is no signboard that can be used for guidance is associated with guidance based on the remaining distance to the guidance intersection.
  • the route guidance system 110 includes a control unit 120, a recording medium 130, a communication unit 140, a positioning unit 141, and a user I / F unit 142.
  • the control unit 120 includes a CPU, a RAM, a ROM, and the like, and executes a route guidance program 121 stored in the recording medium 130 or the ROM.
  • the communication unit 140 is a communication circuit that enables communication with the signboard database creation system 10.
  • the positioning unit 141 includes a GPS receiving unit, and may include a vehicle speed sensor, a gyro sensor, an acceleration sensor, and the like.
  • the control unit 120 derives the current location of the vehicle based on the measurement result in the positioning unit 141.
  • the user I / F unit 142 includes an input unit such as a touch panel that receives a user's operation and an output unit such as a speaker that outputs at least sound.
  • the recording medium 130 records map information 130a and route guidance information 130b.
  • the map information 130a is the same as the map information 30a of the signboard database creation system 10.
  • the route guidance information 130b is information in which a guidance start point M and a guidance message are associated with each other at a guidance intersection where a signboard can be used for guidance.
  • the route guidance information 130b is information in which a guidance intersection where a signboard cannot be used for guidance is associated with guidance based on the remaining distance to the guidance intersection.
  • the route guidance program 121 includes a guidance control module 121a.
  • the guidance control module 121a is a program module that causes the control unit 120 as a computer to function as a guidance control unit.
  • the function of the guidance control module 121a causes the control unit 120 to guide the planned travel route R using information on a signboard installed on a road or a building as a landmark. Specifically, more specifically, by the function of the guidance control module 121a, the control unit 120 associates a signboard image, which is an image showing a signboard, with the template image in association with the template image. Guidance of the planned travel route is performed using the signboard name, and when the signboard image does not match the template image, guidance of the planned travel route is performed using the feature information in the form of the signboard image.
  • the control unit 120 transmits a route search request to the destination designated by the user to the signboard database creation system 10, and provides route guidance information as a response to the route search request. 130b is received. Then, the control unit 120 guides the planned movement route R based on the route guidance information 130b.
  • the function of the guidance control module 121a causes the control unit 120 to determine whether the vehicle is approaching the guidance intersection based on the current location of the vehicle.
  • the control unit 120 determines whether a signboard can be used for guidance of the approaching guidance intersection based on the route guidance information 130b.
  • the control unit 120 acquires a guidance start point M set for the guidance intersection and a voice message that starts output at the guidance start point M. Then, the control unit 120 starts outputting a voice message at the timing when the current location of the vehicle passes the guidance start point M.
  • This voice message is a voice message that guides the planned travel route R using the signboard name associated with the template image matched with the signboard image or the feature information extracted from the signboard image.
  • the function of the guidance control module 121a allows the control unit 120 to guide the planned travel route R in the signboard database 30c in which at least one of the signboard name and the feature information of the signboard form is associated with the point.
  • the signboard name is associated with the point to be performed, the planned travel route R is guided using the signboard name, and when the signboard name is not associated with the point where the planned travel route R is guided Therefore, the planned travel route R is guided using the feature information.
  • the control unit 120 uses the function of the guidance control module 121a to move the vehicle to the imaging point where the signboard image that matches the template image is captured.
  • the signboard name guidance will be completed at the timing when. For example, in FIG. 2B, a signboard image that matches the template image associated with the signboard name “ab store” is captured at the imaging point P2, and the guidance message “ab is transmitted at the timing when the vehicle passes through the imaging point P2. Next to the store sign is on the right.
  • control unit 120 completes the guidance of the feature information at the timing when the vehicle passes through the imaging point where the signboard image from which the feature information is extracted is captured. For example, in FIG. 2C, a signboard image from which the feature information “yellow square” is extracted at the imaging point P3 is captured, and a guidance message “next to the yellow square signboard is displayed at the timing when the vehicle passes through the imaging point P3. "Left" guidance is completed.
  • the signboard database creation system 10 can use the signboard name associated with the template image when the signboard image matches the template image, and the signboard image is the template image. It is possible to create the signboard database 30c that can use the feature information in the form of the signboard image even if it does not match. Furthermore, since the route guidance system 110 performs guidance based on the route guidance information 130b based on the signboard database 30c, even if the signboard name is not associated with the signboard image in the signboard database 30c, the feature information of the signboard form Can be used to guide the planned travel route. Therefore, it is possible to guide the planned travel route using some information about as many signs as possible.
  • the route guidance system 110 can guide the planned movement route R using the signboard name associated with the template image when the signboard image obtained by imaging the signboard matches the template image. Even if the image does not match the template image, the planned movement route R can be guided using the feature information in the form of the signboard image. Therefore, it is possible to guide the planned travel route using some information about as many signs as possible.
  • the signboard database creation system 10 deletes the signboard name or feature information associated with the image pickup point from the signboard database 30c when the signboard image no longer exists from the signboard image picked up at the same image pickup point. (Table 1 ⁇ Table 2). Thereby, the possibility that the driver is confused can be reduced by preventing the signboard name and the feature information from being guided for the signboard that actually does not exist after the removal or the like.
  • control unit 120 completes the signboard name guidance at the timing when the vehicle passes through the imaging point where the signboard image that matches the template image is captured. Similarly, the control unit 120 completes the guidance of the feature information at the timing when the vehicle passes through the imaging point where the signboard image from which the feature information is extracted is captured. Thereby, an actual signboard can be confirmed at the stage where guidance is completed.
  • the template image is an image of a chain store signboard
  • the planned route R can be guided using the signboard name for the chain store signboard S1.
  • template images can be prepared.
  • FIG. 3A is a flowchart of signboard image collection processing.
  • the control unit 20 of the signboard database creation system 10 determines whether or not a signboard image has been received (step S100). That is, the control unit 20 determines whether a signboard image has been received from any of the imaging vehicles 210.
  • step S100: N If it is not determined that the signboard image has been received (step S100: N), the control unit 20 returns to step S100 and waits until the signboard image is received. On the other hand, when it determines with having received the signboard image (step S100: Y), the control part 20 records a signboard image (step S110). That is, the control unit 20 records the received signboard image in the signboard image group 30b in association with the imaging point, the imaging time, and the imaging direction. By performing the above processing, a signboard image can be accumulated in the signboard image group 30b.
  • FIG. 3B is a flowchart of signboard database creation processing.
  • the control unit 20 of the signboard database creation system 10 determines whether or not signboard images have been accumulated (step S200). Specifically, the control unit 20 determines whether or not the number of signboard images stored in the signboard image group 30b is equal to or greater than a predetermined threshold (for example, 1000). The signboard image is deleted from the signboard image group 30b when the signboard database creation process is completed, and the accumulated number is reset to zero.
  • a predetermined threshold for example, 1000
  • step S200: N If it is not determined that the signboard image has been accumulated (step S200: N), the control unit 20 returns to step S100 and waits until the signboard image is accumulated. On the other hand, when it determines with the signboard image having been accumulate
  • the control unit 20 performs image recognition processing for the signboard image (step S220).
  • a process of recognizing the signboard image from the signboard image and a process of template matching the signboard image and the template image are performed.
  • the control unit 20 recognizes an image having a predetermined contour shape (polygon such as a square, circle, etc.) and having an area larger than a predetermined reference area as a signboard image. Also good.
  • Template matching matching can be performed by a known method.
  • the similarity between the template image and the signboard image is equal to or greater than a threshold value, the template image and the signboard image are matched.
  • the similarity may be an index value such as SAD (SumSof Absolute Difference), SSD (Sum of Squared Difference), (NCC) Normalized Cross-Correlation, (ZNCC) Zero-means Normalized Cross-Correlation.
  • control unit 20 determines whether or not the signboard image has been recognized (step S230). If it is determined that the signboard image has been recognized (step S230: Y), the control unit 20 determines whether the signboard image matches the template image (step S240).
  • step S240 If it is determined that the signboard image matches the template image (step S240: Y), the control unit 20 sets the signboard name associated with the template image as the guidance content (step S250). That is, in the signboard database 30c shown in Table 1, the control unit 20 records the signboard name associated with the template image that matches the signboard image in association with the imaging point, the imaging time, and the imaging direction of the signboard image. To do.
  • the control unit 20 sets the feature information as the guidance content (step S260). That is, the control unit 20 extracts feature information from the signboard image, and associates the extracted feature information with the imaging point, the imaging time, and the imaging direction of the signboard image in the signboard database 30c shown in Table 1. Record.
  • the control unit 20 does not record the guidance content (step S270). That is, the control unit 20 records that there is no guidance content (-mark) in the signboard database 30c shown in Table 1 in association with the imaging point of the signboard image, the imaging time, and the imaging direction. A plurality of signboard images captured at different times at the same imaging point can be collected. Accordingly, there is a possibility that the signboard image cannot be recognized in the signboard image newly captured at the imaging point where the guidance content was originally recorded. In this case, the control unit 20 overwrites the originally recorded guidance content to the effect that there is no guidance content. As a result, the original guidance content is substantially deleted.
  • step S280 determines whether or not all the signboard images have been selected. If it is not determined that all the signboard images have been selected (step S280: N), the control unit 20 returns to step S210 and selects the next signboard image as a processing target.
  • step S280 if it is determined that all the signboard images have been selected (step S280: Y), the control unit 20 eliminates duplication and deletes the signboard images from the signboard image group 30b (step S290). That is, when the same signboard image is recognized in the captured images captured at a plurality of imaging points that have passed continuously, the control unit 20 selects the imaging point closest to the front among these imaging points. Only the guidance contents are recorded in association with each other (Table 1, upward arrow). Moreover, the control part 20 resets the accumulation
  • route guidance information distribution processing executed by the signboard database creation system 10 will be described.
  • the route guidance information distribution process is a process executed when a route search request is received from the route guidance system 110.
  • FIG. 4A is a flowchart of route guidance information distribution processing.
  • the control unit 20 of the signboard database creation system 10 performs a route search (step S300). That is, the optimum travel route R from the starting point to the destination indicated by the route search request is searched.
  • the planned travel route R includes a guidance intersection.
  • control unit 20 selects a guidance intersection (step S310). That is, the control unit 20 sequentially selects guide intersections to be processed in steps S320 to 360 described later, from among the guide intersections on the planned movement route R.
  • control unit 20 determines whether there is a signboard that can be used for guidance (step S320). That is, the control unit 20 determines whether there is a signboard around the guidance intersection (for example, within 50 m) by referring to the signboard database 30c.
  • the position of the signboard is specified by image recognition processing of the signboard image.
  • step S320 If it is determined that there is a signboard that can be used for guidance (step S320: Y), the control unit 20 generates a guidance message with the guidance content associated with the signboard (step S330). That is, the control unit 20 outputs a guidance message that explains the position of the guidance intersection based on the position of the signboard that can be used for guidance, and that explains the signboard by the guidance content associated with the signboard. Generate. As shown in FIG. 2B and FIG. 2C, the guidance contents explaining the signboards S1 and S2 in the guidance message may correspond to a signboard name such as “ab store” and feature information such as “yellow square”. .
  • control unit 20 sets a guidance start point M (step S340). That is, the control unit 20 acquires the estimated travel distance Q that the vehicle is expected to travel in the required period for outputting the guidance message on the speaker, and estimates the estimated travel distance Q from the imaging point associated with the guidance content. Only the point on the near side is set as the guidance start point M.
  • step S320: N If it is not determined that there is a signboard that can be used for guidance (step S320: N), the control unit 20 sets so as to guide the remaining distance to the guidance intersection (step S350). Next, the control unit 20 determines whether all guided intersections have been selected (step S360). If it is not determined that all the guidance intersections have been selected (step S360: N), the control unit 20 returns to step S310 and selects the next guidance intersection as a processing target.
  • step S360: Y the control part 20 delivers route guidance information to the route guidance system 110.
  • the control unit 20 generates the route guidance information 130b associated with the guidance of the voice message or the remaining distance for each guidance intersection, and the route guidance system 110 that has requested the route search using the route guidance information 130b. Respond to.
  • route guidance processing executed by the route guidance system 110 will be described.
  • the route guidance process is a process executed when the route guidance information 130b is received from the signboard database creation system 10.
  • FIG. 4B is a flowchart of route guidance processing.
  • the control unit 120 of the route guidance system 110 determines whether or not a guidance intersection has been approached (step S410). For example, the control unit 120 determines that the vehicle has approached the guidance intersection when the remaining distance to the next guidance intersection that is scheduled to pass on the planned movement route R is within a predetermined determination distance (for example, 1 km).
  • step S410: N If it is not determined that the vehicle has approached the guidance intersection (step S410: N), the control unit 120 returns to step S410 and waits until it approaches the guidance intersection.
  • step S410: Y the control part 120 determines whether there exists a guidance message (step S420). That is, the control unit 120 determines whether or not a guidance message is associated with the approaching intersection in the route guidance information 130b.
  • step S420: Y the control unit 120 starts outputting the guidance message at the timing when it passes the guidance start point (step S430).
  • a signboard image that matches the template image associated with the signboard name “ab store” is captured at the imaging point P2, and guidance is provided at the timing when the vehicle passes through the imaging point P2.
  • the message “Next to the ab store sign is right” is completed.
  • FIG. 2C a signboard image from which the feature information “yellow square” is extracted at the imaging point P3 is captured, and a guidance message “next to the yellow square signboard is displayed at the timing when the vehicle passes through the imaging point P3. "Left" guidance is completed.
  • step S420: N the control unit 120 guides the remaining distance to the guidance intersection (step S440). That is, when the guidance intersection that is approaching is associated with guidance of the remaining distance instead of the guidance message, the control unit 20 determines that the remaining distance to the guidance intersection is a predetermined guidance remaining distance (for example, 300, 100). , 30, 5 m), the guidance remaining distance is voice-guided.
  • a predetermined guidance remaining distance for example, 300, 100. , 30, 5 m
  • the route guidance system 110 may be mounted on the imaging vehicle 210, and the image recognition means of the signboard database creation system 10 may be provided in the route guidance system 110. That is, the route guidance system 110 may capture a signboard image while guiding the planned travel route R, and may perform image recognition processing of the signboard image in real time. Also in this case, when the signboard image matches the template image, the route guidance system 110 may guide the guidance intersection by the signboard name associated with the template image. On the other hand, when the signboard image does not match the template image, the route guidance system 110 may guide the guidance intersection by the feature information extracted from the signboard image. Thus, when performing image recognition processing in real time, the signboard database 30c is not created.
  • the route guidance system 110 mounted on the vehicle may search for the planned travel route R and generate the route guidance information 130b.
  • the route guidance information 130b for guiding the guidance intersection can be generated using the signboard.
  • the point to be guided using the signboard does not necessarily have to be a guidance intersection.
  • the destination or waypoint of the planned travel route R may be guided using the signboard.
  • the point to be guided using the signboard does not have to be a point on the planned travel route R to the destination.
  • a warning on a route (a route that has been advanced without turning right or left) as it is. It may be a point.
  • the guidance using a signboard is not limited to voice guidance, and for example, characters indicating a signboard name or feature information may be displayed on a display.
  • the output of the guidance message does not necessarily have to be completed at the signage image capturing point.
  • the control unit 120 may start outputting a guidance message at the imaging point of the signboard image. Further, the control unit 120 may set the timing for outputting the guidance message based on the recognized size of the signboard image. Moreover, the control part 120 may set the timing which outputs a guidance message based on the feature information extracted from the signboard image. For example, the control unit 120 may determine whether or not the signboard is conspicuous based on the feature information extracted from the signboard image. If the signboard is conspicuous, the timing of outputting the guidance message may be accelerated. In addition, since the signboard name is more easily stored in the memory than the feature information, the control unit 120 may output the guidance message using the signboard name earlier than the guidance message using the feature information.
  • the signboard installed on the road or the building may be a signboard that may be visible from the road, and is a signboard installed around the road (for example, within a predetermined distance from the road).
  • the planned movement route may be a route on which a moving means that can be moved with the intention of the user visually recognizing the signboard, and the moving means may be a vehicle (four-wheeled vehicle, two-wheeled vehicle) or on foot.
  • the route guidance system only needs to be able to control an output unit that outputs guidance (image, audio) to a user who moves with the moving means, and the route guiding system does not necessarily have to be provided in the moving means.
  • the route guidance system may be a server that transmits guidance content to a terminal provided in the moving means.
  • the route guidance system may be provided in the moving means.
  • the signboard image is an image obtained by imaging the signboard, and may be an image obtained by imaging the signboard from a moving means that moves along the planned movement route.
  • a signboard image may be prepared so as to have an angle of view equivalent to the viewing angle of a person looking forward from the road.
  • the signboard image may be an image obtained by cutting out a part of the angle of view from an image captured at a wider angle or an image captured at the whole globe.
  • the template image is a sample image prepared for each of various known signboards, and is an image associated with at least a signboard name.
  • “matching” means that the similarity between the template image and the signboard image (part of the image) is greater than or equal to a threshold value, and a known index value can be adopted as the similarity.
  • the signboard name associated with the template image may be a signboard name (formal signboard name), abbreviation or nickname of the facility (commercial facility, public facility, etc.) that holds the signboard indicated by the template image. It may be a name of a signboard such as a main product name or a mascot character.
  • the feature information of the signboard image form may be information indicating the image-like feature of the signboard image extracted from the signboard image, may indicate the color feature of the signboard image, Features of the shape of the image (outer shape, shape of figure or pattern, etc.) may be indicated, and character information recognized from the image of the signboard may be indicated.
  • the template image may be an image of a chain store sign.
  • the planned travel route R can be guided using the sign name.
  • template images can be prepared.
  • characteristic information will be provided for signs of stores that are not chain stores.
  • a chain store may be a store group having a scale (the number of stores, the number of employees, the degree of recognition, sales, etc.) of a threshold value or more.
  • the template image may not be an image of a signboard of a chain store, and may be an image of a signboard posted by a company whose scale (number of employees, awareness, sales, etc.) is equal to or greater than a threshold.
  • the signboard does not necessarily have to be a flat surface, and may be a three-dimensional structure.
  • the guidance control unit may complete the guidance of the signboard name at the timing when the vehicle passes through the point where the signboard image that matches the template image is captured. Thereby, an actual signboard can be confirmed at the stage where guidance is completed.
  • the guidance control unit may complete the guidance of the feature information at the timing when the vehicle passes through the point where the signboard image from which the feature information is extracted is captured. Thereby, an actual signboard can be confirmed at the stage where guidance is completed.
  • the timing at which the guidance is completed may be different from that of the guidance control unit.
  • the signboard database creation unit When the signboard image no longer exists from the captured signboard image, the signboard name or feature information associated with the image pickup point may be deleted from the signboard database. Thereby, the possibility that the driver is confused can be reduced by preventing the signboard name and the feature information from being guided for the signboard that actually does not exist after the removal or the like.
  • the method of guiding the planned travel route using one of the signboard name and the feature information of the signboard form is also applicable as a program or method.
  • the system, program, and method as described above may be realized as a single device, or may be realized using components shared with each part of the vehicle, and include various aspects. It is a waste.
  • some changes may be made as appropriate, such as a part of software and a part of hardware.
  • the invention is also established as a recording medium for a program for controlling the apparatus.
  • the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
  • imaging vehicle A ... angle of view, B1 ... intersection, B2 ... guidance intersection, D1 ... Image direction, DB30b ... Signboard image group, M ... Guide start point, P1-P8 ... Image point, Q ... estimated mileage, R ... movement scheduled route, S1, S2 ... Signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

【課題】できるだけ多くの看板について何らかの情報を用いて移動予定経路を案内できる技術の提供。 【解決手段】経路案内システムは、道路上または建造物に設置されている看板の情報を目印として移動予定経路の案内を行う経路案内システムであって、地点に対して、看板名称と前記看板の形態の特徴情報の少なくとも一方が対応付けられている看板データベースにおいて、前記移動予定経路の案内を行う地点に前記看板名称が対応付けられている場合には、前記看板名称を用いて前記移動予定経路の案内を行い、前記移動予定経路の案内を行う地点に前記看板名称が対応付けられていない場合には、前記特徴情報を用いて前記移動予定経路の案内を行う案内制御部、を備える。

Description

経路案内システム、看板データベース作成システム、経路案内プログラムおよび看板データベース作成プログラム
 本発明は、経路案内システム、看板データベース作成システム、経路案内プログラムおよび看板データベース作成プログラムに関する。
 車両の前方を撮像した画像に含まれる看板の画像を画像認識し、認識された看板が示す施設の看板名称を案内する技術が知られている(特許文献1、参照)。
特開2002-213971号公報
 この技術を利用して、看板が表している名称を用いて、看板を目印とした経路案内を行うことが考えられる。しかしながら、施設の看板名称が案内されるためには、看板の画像と施設の看板名称との対応関係を示すデータが用意されていなければならず、当該対応関係が用意されていない看板については、看板が示す看板名称を案内することは不可能であるという問題があった。
 本発明は、前記課題にかんがみてなされたもので、できるだけ多くの看板について何らかの情報を用いて移動予定経路を案内できる技術を提供することを目的とする。
 前記目的を達成するため、本発明の経路案内システムは、道路上または建造物に設置されている看板の情報を目印として移動予定経路の案内を行う経路案内システムであって、地点に対して、看板名称と看板の形態の特徴情報の少なくとも一方が対応付けられている看板データベースにおいて、移動予定経路の案内を行う地点に看板名称が対応付けられている場合には、看板名称を用いて移動予定経路の案内を行い、移動予定経路の案内を行う地点に看板名称が対応付けられていない場合には、特徴情報を用いて移動予定経路の案内を行う案内制御部、を備える。
 前記の構成において、看板データベースにおいて、看板画像に看板名称が対応付けられてない場合でも、看板の形態の特徴情報を用いて移動予定経路を案内できる。従って、できるだけ多くの看板について何らかの情報を用いて移動予定経路を案内できる。
 前記の目的を達成するため、本発明の経路案内システムは、道路上または建造物に設置されている看板の情報を目印として移動予定経路の案内を行う経路案内システムであって、看板を示す画像である看板画像が、テンプレート画像とマッチングするものである場合に、当該テンプレート画像に対応付けられた看板名称を用いて移動予定経路の案内を行い、看板画像が、テンプレート画像とマッチングしないものである場合に、看板画像の形態の特徴情報を用いて移動予定経路の案内を行う案内制御部、を備える。
 前記の目的を達成するため、本発明の経路案内プログラムは、コンピュータを、道路上または建造物に設置されている看板の情報を目印として移動予定経路の案内を行う経路案内システムであって、看板を示す画像である看板画像が、テンプレート画像とマッチングするものである場合に、当該テンプレート画像に対応付けられた看板名称を用いて移動予定経路の案内を行い、看板画像が、テンプレート画像とマッチングしないものである場合に、看板画像の形態の特徴情報を用いて移動予定経路の案内を行う案内制御部、として機能させる。
 前記の構成において、看板画像がテンプレート画像とマッチングするものである場合にはテンプレート画像に対応付けられた看板名称を案内でき、看板画像がテンプレート画像とマッチングするものでない場合でも看板画像の形態の特徴情報を用いて移動予定経路を案内できる。従って、できるだけ多くの看板について何らかの情報を案内できる。
 前記の目的を達成するため、本発明の看板データベース作成システムは、道路上または建造物に設置されている看板を撮像した画像である看板画像を収集する看板画像収集部と、看板画像と予め用意されたテンプレート画像とがマッチングする場合に、当該看板画像の撮像地点と、テンプレート画像に対応付けられた看板名称とを対応付けて記録し、看板画像とテンプレート画像とがマッチングしない場合に、当該看板画像の撮像地点と、看板画像の形態の特徴情報とを対応付けて記録した看板データベースを作成する看板データベース作成部と、を備える。
 前記の目的を達成するため、本発明の看板データベース作成プログラムは、コンピュータを、道路上または建造物に設置されている看板を撮像した画像である看板画像を収集する看板画像収集部と、看板画像と予め用意されたテンプレート画像とがマッチングする場合に、当該看板画像の撮像地点と、テンプレート画像に対応付けられた看板名称とを対応付けて記録し、看板画像とテンプレート画像とがマッチングしない場合に、当該看板画像の撮像地点と、看板画像の形態の特徴情報とを対応付けて記録した看板データベースを作成する看板データベース作成部として機能させる。
 前記の構成において、看板画像がテンプレート画像とマッチングするものである場合にはテンプレート画像に対応付けられた看板名称を用いることができ、看板画像がテンプレート画像とマッチングするものでない場合でも看板画像の形態の特徴情報を用いることができる看板データベースを作成することができる。
看板データベース作成システムと経路案内システムのブロック図である。 図2A~図2Cは地図の例である。 図3Aは看板画像収集処理のフローチャート、図3Bは看板データベース作成処理のフローチャートである。 図4Aは経路案内情報配信処理のフローチャート、図4Bは経路案内処理のフローチャートである。
 ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)看板データベース作成システムの構成:
(2)経路案内システムの構成:
(3)看板画像収集処理:
(4)看板データベース作成処理:
(5)経路案内情報配信処理:
(6)経路案内処理:
(7)他の実施形態:
(1)看板データベース作成システムの構成:
 図1は、本発明の一実施形態にかかる看板データベース作成システム10の構成を示すブロック図である。看板データベース作成システム10は、経路案内システム110と撮像車両210と通信可能なサーバである。なお、本実施形態において、看板データベース作成システム10は、看板データベース作成するシステムと、経路案内情報を配信するシステムとを兼ねるが、これらのシステムが別々のサーバによって実現されてもよい。
 経路案内システム110は車両内に持ち込まれたスマートフォン等の携帯端末であってもよいが、本実施形態では車両に搭載された車載器であることとする。撮像車両210は走行中に進行方向前方の風景画像である看板画像を撮像する車両であり、経路案内システム110が搭載された車両と同一の車両であってもよい。図示しないが、経路案内システム110と撮像車両210とはそれぞれ複数存在する。
 看板データベース作成システム10は、制御部20と記録媒体30と通信部40とを備えている。制御部20は、CPUとRAMとROM等を備え、記録媒体30やROMに記憶された看板データベース作成プログラム21を実行する。通信部40は、経路案内システム110や撮像車両210との通信を可能とする通信回路である。
 記録媒体30は、地図情報30aと看板画像群30bと看板データベース30cとテンプレート画像群30dとを記録している。地図情報30aは、ノードデータとリンクデータとを含む。ノードデータは、おもに交差点に対応するノードついての情報を示す。具体的に、ノードデータは、ノードの座標や交差点の形状を示す。リンクデータは、道路区間に対応するリンクについてレーン数や幅員や探索コスト等の各種情報を示す。道路区間は、長さ方向に連続する交差点で区切った道路の単位であり、リンクの両端にはノードが存在する。なお、3個以上のリンクが接続しているノードが交差点に対応する。リンクデータは、形状補間点データを含む。形状補間点データは、道路区間の幅方向の中央に設定された形状補間点の座標を示すデータである。制御部20は、ノードの座標と形状補間点の座標とを取得し、これらの座標を接続する折れ線、または、これらの座標の近似曲線を道路区間の形状として取得する。探索コストとは、誘導経路の探索に使用する指標値であり、誘導経路上の道路区間として採用されにくさを示す指標値である。
 看板画像群30bは、撮像車両210が撮像した看板画像を蓄積したデータベースである。撮像車両210は、図示しないカメラと、当該カメラを制御するコンピュータと、測位部とを備えており、予め決められた時間周期または走行距離周期ごとに車両の前方の風景を撮像することにより看板画像を生成する。撮像車両210は、看板画像に、当該看板画像の撮像地点と撮像時刻と撮像方向とを対応付けるとともに、当該看板画像を看板データベース作成システム10に送信する。なお、撮像地点は、撮像時刻において撮像車両210が走行していた道路区間と、当該道路区間の長さ方向の位置とによって特定されている。カメラは、光軸方向が撮像車両210の前方となるように設置されており、撮像方向は撮像車両210の進行方向を意味する。
 図2Aは、看板画像の撮像地点P1~P8を説明する地図である。図2Aにおいて、予め決められた走行距離周期ごとに撮像地点P1~P8が存在しており、撮像地点P1~P8のそれぞれにおいて撮像方向D1で看板画像が撮像されたこととする。看板画像を撮像する際の画角Aは、人間の視野角(例えば運転時の視野角)とほぼ同等の角度とされている。なお、看板画像は、周辺における看板S1,S2の有無に拘わらず撮像されるものであり、当然、看板画像に看板S1,S2像が含まれない場合も有り得る。
 看板データベース30cは、看板S1,S2のそれぞれについて案内内容を規定したデータベースである。
Figure JPOXMLDOC01-appb-T000001
 表1は、看板データベース30cの例を示す。同図において、看板S1について案内内容として、看板S1を掲げる店舗の看板名称『abストア』が対応付けられている。一方、看板S2については案内内容として、看板S2の特徴情報『黄色い四角』が対応付けられている。看板S1,S2について、当該看板S1,S2の像が認識された看板画像の撮像地点と撮像時刻と撮像方向とが対応付けて記録されている。また、看板S1,S2について、看板画像の画像認識処理によって特定された看板S1,S2の位置が対応付けて記録されている。看板S1の位置は、交差点B1~B2の間の道路区間の右側となっている。一方、看板S2の位置は、交差点B1~B2の間の道路区間の左側となっている。むろん、看板S1,S2の位置は座標で特定されてもよい。さらに、ステレオカメラによって撮像された看板画像によって看板S1,S2の位置が高精度に特定されてもよい。
 テンプレート画像群30dは、多数のテンプレート画像を蓄積したデータベースであり、各テンプレート画像には当該テンプレート画像が示す看板を掲げる店舗の看板名称が対応付けて記録されている。テンプレート画像は、例えば看板を予め決められた撮像条件で明瞭に撮像した画像であってもよいし、コンピュータが生成した看板の画像であってもよい。本実施形態のテンプレート画像は、チェーン店の看板の画像である。具体的に、テンプレート画像は、店舗数が閾値(例えば100)以上の大規模チェーン店の看板の画像である。
 表1の看板データベース30cにおいて、各撮像地点ごとに看板画像の認識結果が示されており、看板画像にて認識された看板の像がテンプレート画像とマッチングした場合には、マッチングができた旨(○印)が記録される。看板画像にて認識された看板の像がテンプレート画像のいずれともマッチングしなかった場合には、マッチングができなかった旨(×印)が記録される。看板S1はチェーン店の看板であり、テンプレート画像が用意されている。従って、ある程度、看板S1に接近した撮像地点P2~P5の看板画像についてのテンプレート画像とのマッチングができた旨が対応付けて記録されている。一方、看板S2は個人商店の看板であり、テンプレート画像が用意されていない。従って、ある程度、看板S2に接近した撮像地点P3~P5の看板画像において何らかの看板の像は認識されているが、いずれのテンプレート画像ともマッチングができなかった旨が対応付けて記録されている。
 看板データベース作成プログラム21は、看板画像収集モジュール21aと看板データベース作成モジュール21bと経路案内情報配信モジュール21cとを含む。看板画像収集モジュール21aと看板データベース作成モジュール21bとは、それぞれコンピュータとしての制御部20を看板画像収集部と看板データベース作成部として機能させるプログラムモジュールである。
 看板画像収集モジュール21aの機能により制御部20は、道路上または建造物に設置されている看板を撮像した画像である看板画像を収集する。すなわち、制御部20は、撮像車両210から送信された看板画像を取得し、看板画像を看板画像群30bに蓄積することで、看板画像を収集する。なお、看板画像群30bは、必ずしも撮像車両210から送信されたものを蓄積されたものでなくてもよく、看板画像を収集する業者や機関から購入したものであってもよい。
 看板データベース作成モジュール21bの機能により制御部20は、看板画像と予め用意されたテンプレート画像とがマッチングする場合に、当該看板画像の撮像地点と、テンプレート画像に対応付けられた看板名称とを対応付けて記録し、看板画像とテンプレート画像とがマッチングしない場合に、当該看板画像の撮像地点と、看板画像の形態の特徴情報とを対応付けて記録した看板データベース30cを作成する。すなわち、制御部20は、撮像地点に看板名称または特徴情報が対応づけられた看板データベース30cを作成する。なお、制御部20は、看板画像と予め用意されたテンプレート画像とがマッチングする場合に、当該看板画像の撮像地点と、テンプレート画像に対応付けられた看板名称とともに、テンプレート画像の形態の特徴情報を対応付けて記録してもよい。このような撮像地点においては、看板名称と特徴情報のうち、ユーザが設定した方を用いて移動予定経路Rの案内が行われてもよい。
 まず、看板データベース作成モジュール21bの機能により制御部20は、公知の画像認識処理によって看板画像群30bの看板画像から看板の像を認識する。例えば、制御部20は、予め決められた輪郭形状(四角等の多角形,円等)を有し、予め決められた基準面積以上の面積を有している像を看板の像として認識してもよい。基準面積は、例えば人間が視認した場合に、看板であると認識できる下限の面積であってもよい。次に、看板データベース作成モジュール21bの機能により制御部20は、看板画像にて認識した看板の像と、テンプレート画像群30dの各テンプレート画像とを、公知のテンプレートマッチングの手法により比較し、これらの類似度が閾値以上である場合に、看板画像がテンプレート画像とマッチングすると判定する。なお、看板画像がテンプレート画像とマッチングしない場合には、撮像された看板がチェーン店の看板でない場合だけでなく、撮像された看板がチェーン店の看板ではあるが障害物等によって遮蔽されマッチングができなかった場合等も含まれる。
 制御部20は、看板画像とマッチングするテンプレート画像に対応付けられた看板名称を、当該看板画像が示す看板についての案内内容として看板データベース30cに記録する。表1においては、看板S1について案内内容として、看板名称『abストア』が対応付けて記録されている。
 看板データベース作成モジュール21bの機能により制御部20は、テンプレート画像群30dのテンプレート画像のいずれも、看板画像にて認識した看板の像とマッチングしない場合に、当該看板の像から特徴情報を抽出する。本実施形態において、制御部20は、看板の像の輪郭形状と色とを特徴情報として抽出する。例えば、制御部20は、看板の像を構成する画素について色ごと(例えば色相角の区分ごと)のヒストグラムを作成し、当該ヒストグラムにおいて最頻値をとる色を看板の像の色として抽出してもよい。
 なお、図2Aのように、同一の看板S1,S2が連続して通過した複数の撮像地点にて撮像されることとなるが、看板データベース作成モジュール21bの機能により制御部20は、看板S1,S2の像が認識できた撮像地点のうち、最も手前側の撮像地点にのみ案内内容を対応付けて記録する。看板S1については、看板S1の像が認識できた看板画像の撮像地点P2~P5のうち、最も手前側の撮像地点P2に対して案内内容としての看板名称『abストア』が対応付けられている。一方、看板S2については、看板S2の像が認識できた看板画像の撮像地点P3~P5のうち、最も手前側の撮像地点P3に対して案内内容としての特徴情報『黄色い四角』が対応付けられている。すなわち、表1にて上向きの矢印で示すように、同一の看板S1,S2についての案内内容が、最も手前側の撮像地点に統合されることとなる。
 また、はじめは看板の像の認識のみでき、ある程度接近した時点でテンプレート画像とのマッチングが成功する場合も有り得る。例えば、表1の看板S1について、撮像地点P1の看板画像にて看板S1の像の認識はできるものの、テンプレート画像とのマッチングはできない場合も生じ得る。このような場合、撮像地点P1に対して看板S1の像の特徴情報が案内内容として対応付けられ得るが、撮像地点P2にて看板S1の像のマッチングが成功した段階で撮像地点P2に対して案内内容としての看板名称『abストア』を優先して対応付けてもよい。つまり、制御部20は、撮像地点P1に対して対応付けられた看板S1の像の特徴情報を削除した上で、撮像地点P2に対して案内内容としての看板名称『abストア』を対応付けて記録してもよい。むろん、制御部20は、撮像地点P1に対して対応付けられた看板S1の像の特徴情報を維持してもよい。
 なお、看板画像がテンプレート画像とマッチングしない場合には、撮像された看板がチェーン店の看板でない場合だけでなく、撮像された看板がチェーン店の看板ではあるが障害物等によって遮蔽されている場合等も含まれる。そのため、チェーン店の看板S1についても、特徴情報が抽出される場合も有り得る。
 看板データベース作成モジュール21bの機能により制御部20は、同一の撮像地点にて撮像された看板画像から看板の像が存在しなくなった場合に、当該撮像地点に対応付けられた看板名称または特徴情報を看板データベース30cから削除する。撮像車両210は、同一の撮像地点を同一の撮像方向で何度も走行し得るため、異なる時刻において同一の撮像地点を同一の撮像方向で撮像された複数の看板画像が収集され得る。制御部20は、同一の撮像地点にて撮像された最新の看板画像にて看板の像が認識できなくなった場合に、案内内容として対応付けられている看板名称または特徴情報を看板データベース30cから削除する。
Figure JPOXMLDOC01-appb-T000002
 表2は、表1の看板データベース30cが更新された様子を示す。表1においては、時刻T3~T5において撮像地点P3~P5にて撮像された看板画像から看板S2の像が認識できていた。しかし、表2においては、時刻T1~T5よりも遅い時刻T13~T15において撮像地点P3~P5にて撮像された看板画像から看板S2の像が認識できなくなっている。このような場合、制御部20は、看板S2の案内内容としての特徴情報『黄色い四角』を看板データベース30cから削除する。なお、制御部20は、看板S2の像が認識できなかったことが基準回数(例えば5回)だけ連続した場合に、案内内容を看板データベース30cから削除してもよい。
 経路案内情報配信モジュール21cの機能により制御部20は、移動予定経路を探索し、当該移動予定経路を案内するための経路案内情報を経路案内システム110に配信する。制御部20は、経路案内システム110から経路探索の要求を受け付けると、当該経路探索が示す出発地から目的地までの最適な移動予定経路をダイクストラ法等の公知の手法によって探索する。例えば、制御部20は、探索コストの総和が最小となるような一連の道路区間で構成された移動予定経路を探索してもよい。
 経路案内情報配信モジュール21cの機能により制御部20は、移動予定経路上の交差点のうち、右左折を行う予定の交差点である案内交差点を取得する。そして、制御部20は、看板データベース30cを参照することにより、案内交差点の案内に使用できる看板を取得する。案内交差点の案内に使用できる看板とは、案内交差点の周辺(例えば50m以内)の看板であってもよい。制御部20は、案内交差点に使用できる看板に対応付けられている案内内容を取得し、当該案内内容に基づいて案内メッセージを生成する。案内メッセージとは、経路案内システム110のスピーカ等から出力する音声メッセージである。制御部20は、案内に使用できる看板の位置を基準として案内交差点の位置を説明する案内メッセージであって、当該看板に対応付けられた案内内容によって当該看板が説明されている案内メッセージを生成する。
 図2B,図2Cは、案内メッセージを説明する地図である。図2B,図2Cにおいて、それぞれ案内交差点B2にて右折と左折を行う移動予定経路Rが探索されている。図2Bにおいて、案内交差点B2の案内に使用できる看板として、交差点B1~B2の間の道路区間に存在する看板S1,S2のうち、案内交差点B2にて移動予定経路Rが曲がる方向である右側の看板S1が取得され、当該看板S1についての案内内容である看板名称『abストア』が取得される。制御部20は、看板名称『abストア』に基づいて、案内メッセージ『abストアの看板の次を右です』を生成する。
 一方、図2Cにおいて、案内交差点B2の案内に使用できる看板として、交差点B1~B2の間の道路区間に存在する看板S1,S2のうち、案内交差点B2にて移動予定経路Rが曲がる方向である左側の看板S2が取得され、当該看板S2についての案内内容である特徴情報『黄色い四角』が取得される。制御部20は、特徴情報『黄色い四角』に基づいて案内メッセージ『黄色い四角の看板の次を左です』を生成する。
 なお、移動予定経路Rが曲がる方向に看板が存在しない場合には、曲がる方向とは反対側の看板を使用すればよい。さらに、看板S1,S2のうち、案内交差点B2に近い方を優先して案内に使用してもよいし、看板名称が判明している看板S1を優先して案内に使用してもよいし、同一の撮像地点における看板の像が大きい方の看板を優先して案内に使用してもよい。
 さらに、経路案内情報配信モジュール21cの機能により制御部20は、案内メッセージをスピーカにて出力するための所要期間を算出し、当該所要期間の間に経路案内システム110を搭載した車両が走行すると予想される推定走行距離Qを取得する。例えば、制御部20は、看板S1,S2についての案内内容が対応付けられた撮像地点P2,P3が存在する道路区間の制限車速に所要期間を乗算することにより、推定走行距離Qを取得してもよい。そして、制御部20は、看板S1,S2についての案内内容が対応付けられた撮像地点P2,P3から推定走行距離Qだけ手前側の地点を案内開始地点Mとして設定する。そして、制御部20は、案内交差点ごとに案内開始地点Mと案内メッセージとを示す経路案内情報を、経路探索の要求を行った経路案内システム110に送信する。この案内メッセージに基づいて、看板を掲げる施設の看板名称または当該看板の像の特徴情報が案内されることとなる。なお、経路案内情報において、案内に使用できる看板が存在しない案内交差点については、当該案内交差点までの残距離に基づく案内をする旨が対応付けられる。
 (2)経路案内システムの構成:
 経路案内システム110は、制御部120と記録媒体130と通信部140と測位部141とユーザI/F部142とを備えている。制御部120は、CPUとRAMとROM等を備え、記録媒体130やROMに記憶された経路案内プログラム121を実行する。通信部140は、看板データベース作成システム10との通信を可能とする通信回路である。測位部141は、GPS受信部を含み、車速センサやジャイロセンサや加速度センサ等を含んでもよい。制御部120は、測位部141における計測結果に基づいて車両の現在地を導出する。ユーザI/F部142は、ユーザの操作を受け付けるタッチパネル等の入力部と、少なくとも音声を出力するスピーカ等の出力部とを含む。
 記録媒体130は、地図情報130aと経路案内情報130bとを記録している。地図情報130aは、看板データベース作成システム10の地図情報30aと同様である。
経路案内情報130bは、案内に看板を使用できる案内交差点について、案内開始地点Mと案内メッセージとを対応付けた情報である。また、経路案内情報130bは、案内に看板を使用できない案内交差点について、当該案内交差点までの残距離に基づく案内をする旨を対応付けた情報である。
 経路案内プログラム121は、案内制御モジュール121aを含む。案内制御モジュール121aは、コンピュータとしての制御部120を案内制御部として機能させるプログラムモジュールである。
 案内制御モジュール121aの機能により制御部120は、道路上または建造物に設置されている看板の情報を目印として移動予定経路Rの案内を行う。具体的に、より具体的に、案内制御モジュール121aの機能により制御部120は、看板を示す画像である看板画像が、テンプレート画像とマッチングするものである場合に、当該テンプレート画像に対応付けられた看板名称を用いて移動予定経路の案内を行い、看板画像が、テンプレート画像とマッチングしないものである場合に、看板画像の形態の特徴情報を用いて移動予定経路の案内を行う。
 具体的に、案内制御モジュール121aの機能により制御部120は、ユーザによって指定された目的地までの経路探索の要求を看板データベース作成システム10に送信し、当該経路探索の要求の応答として経路案内情報130bを受信する。そして、制御部120は、経路案内情報130bに基づいて移動予定経路Rの案内を行う。
 案内制御モジュール121aの機能により制御部120は、車両の現在地に基づいて、車両が案内交差点に接近しているか否かを判定する。制御部120は、車両が案内交差点に接近している場合、経路案内情報130bに基づいて、接近中の案内交差点の案内に看板を使用できるか否かを判定する。制御部120は、案内交差点の案内に看板を使用できる場合、当該案内交差点について設定された案内開始地点Mと、当該案内開始地点Mにて出力を開始する音声メッセージとを取得する。そして、制御部120は、車両の現在地が案内開始地点Mに通過したタイミングで音声メッセージの出力を開始する。この音声メッセージは、看板画像とマッチングしたテンプレート画像に対応付けられた看板名称、または、看板画像から抽出した特徴情報を用いて移動予定経路Rを案内する音声メッセージである。その結果、案内制御モジュール121aの機能により制御部120は、地点に対して、看板名称と看板の形態の特徴情報の少なくとも一方が対応付けられている看板データベース30cにおいて、移動予定経路Rの案内を行う地点に看板名称が対応付けられている場合には、看板名称を用いて移動予定経路Rの案内を行い、移動予定経路Rの案内を行う地点に看板名称が対応付けられていない場合には、特徴情報を用いて移動予定経路Rの案内を行うこととなる。
 車両の現在地が案内開始地点Mに通過したタイミングで音声メッセージの出力を開始することにより、案内制御モジュール121aの機能により制御部120は、テンプレート画像とマッチングする看板画像が撮像された撮像地点を車両が通過するタイミングで看板名称の案内を完了させることとなる。例えば、図2Bにおいて、撮像地点P2にて看板名称『abストア』が対応付けられたテンプレート画像とマッチングする看板画像が撮像されており、当該撮像地点P2を車両が通過するタイミングで案内メッセージ『abストアの看板の次を右です』の案内が完了する。
 同様に、制御部120は、特徴情報が抽出された看板画像が撮像された撮像地点を車両が通過するタイミングで当該特徴情報の案内を完了させることとなる。例えば、図2Cにおいて、撮像地点P3にて特徴情報『黄色い四角』が抽出された看板画像が撮像されており、当該撮像地点P3を車両が通過するタイミングで案内メッセージ『黄色い四角の看板の次を左です』の案内が完了する。
 以上説明した本実施形態おいて、看板データベース作成システム10は、看板画像がテンプレート画像とマッチングするものである場合にはテンプレート画像に対応付けられた看板名称を用いることができ、看板画像がテンプレート画像とマッチングするものでない場合でも看板画像の形態の特徴情報を用いることができる看板データベース30cを作成することができる。さらに、経路案内システム110は、看板データベース30cに基づく経路案内情報130bに基づいて案内を行うため、看板データベース30cにおいて、看板画像に看板名称が対応付けられてない場合でも、看板の形態の特徴情報を用いて移動予定経路を案内できる。従って、できるだけ多くの看板について何らかの情報を用いて移動予定経路を案内できる。具体的に、経路案内システム110は、看板を撮像した看板画像がテンプレート画像とマッチングするものである場合にはテンプレート画像に対応付けられた看板名称を用いて移動予定経路Rを案内でき、看板画像がテンプレート画像とマッチングするものでない場合でも看板画像の形態の特徴情報を用いて移動予定経路Rを案内できる。従って、できるだけ多くの看板について何らかの情報を用いて移動予定経路を案内できる。
 看板データベース作成システム10は、同一の撮像地点にて撮像された看板画像から看板の像が存在しなくなった場合に、当該撮像地点に対応付けられた看板名称または特徴情報を看板データベース30cから削除する(表1→表2)。これにより、撤去等によって実際には存在しなくなった看板について、看板名称や特徴情報が案内されないようにすることで、運転者が混乱する可能性を低減できる。
 さらに、制御部120は、テンプレート画像とマッチングする看板画像が撮像された撮像地点を車両が通過するタイミングで看板名称の案内を完了させる。同様に、制御部120は、特徴情報が抽出された看板画像が撮像された撮像地点を車両が通過するタイミングで当該特徴情報の案内を完了させる。これにより、案内が完了した段階で実際の看板を確認できる。
 さらに、テンプレート画像は、チェーン店の看板の画像であるため、チェーン店の看板S1については看板名称を用いて移動予定経路Rを案内できる。また、チェーン店は数が限られるためテンプレート画像を用意できる。
 (3)看板画像収集処理:
 次に、看板データベース作成システム10が実行する看板画像収集処理について説明する。看板画像収集処理は看板データベース作成システム10が常時実行する処理である。
図3Aは、看板画像収集処理のフローチャートである。まず、看板データベース作成システム10の制御部20は、看板画像を受信したか否かを判定する(ステップS100)。すなわち、制御部20は、いずれかの撮像車両210から看板画像を受信したか否かを判定する。
 看板画像を受信したと判定しなかった場合(ステップS100:N)、制御部20は、ステップS100に戻り、看板画像を受信するまで待機する。一方、看板画像を受信したと判定した場合(ステップS100:Y)、制御部20は、看板画像を記録する(ステップS110)。すなわち、制御部20は、受信した看板画像に撮像地点と撮像時刻と撮像方向とを対応付けて看板画像群30bに記録する。以上の処理を行うことにより、看板画像群30bに看板画像を蓄積できる。
 (4)看板データベース作成処理:
 次に、看板データベース作成システム10が実行する看板データベース作成処理について説明する。図3Bは、看板データベース作成処理のフローチャートである。まず、看板データベース作成システム10の制御部20は、看板画像が蓄積されたか否かを判定する(ステップS200)。具体的に、制御部20は、看板画像群30bにおける看板画像の蓄積個数が予め決められた閾値以上(例えば1000個)となったか否かを判定する。なお、看板画像は、看板データベース作成処理が完了する際に看板画像群30bから削除され、蓄積個数が0にリセットされる。
 看板画像が蓄積されたと判定しなかった場合(ステップS200:N)、制御部20は、ステップS100に戻り、看板画像が蓄積されるまで待機する。一方、看板画像が蓄積されたと判定した場合(ステップS200:Y)、制御部20は、看板画像を選択する(ステップS210)。すなわち、制御部20は、看板画像群30bに蓄積された看板画像のうち、後述するステップS210~S280の処理対象とする看板画像を順に選択していく。
 次に、制御部20は、看板画像の画像認識処理を行う(ステップS220)。ここでは、看板画像のなかから看板の像を認識する処理と、当該看板の像とテンプレート画像とをテンプレートマッチングする処理とが行われる。例えば、制御部20は、予め決められた輪郭形状(四角等の多角形,円等)を有し、予め決められた基準面積以上の面積を有している像を看板の像として認識してもよい。テンプレートマッチングマッチングは、公知の手法によって行うことができ、テンプレート画像と看板の像との類似度が閾値以上である場合に、テンプレート画像と看板画像とがマッチングすることとなる。例えば、類似度は、SAD(Sum of Absolute Difference),SSD(Sum of Squared Difference),(NCC)Normalized Cross-Correlation,(ZNCC)Zero-means Normalized Cross-Correlation等の指標値であってもよい。
 次に、制御部20は、看板の像が認識できたか否かを判定する(ステップS230)。看板の像が認識できたと判定した場合(ステップS230:Y)、制御部20は、当該看板の像がテンプレート画像とマッチングしたか否かを判定する(ステップS240)。
 看板の像がテンプレート画像とマッチングしたと判定した場合(ステップS240:Y)、制御部20は、テンプレート画像に対応付けられた看板名称を案内内容に設定する(ステップS250)。すなわち、制御部20は、表1に示す看板データベース30cにおいて、看板画像とマッチングするテンプレート画像に対応付けられた看板名称を、当該看板画像の撮像地点と撮像時刻と撮像方向とに対応付けて記録する。
 一方、看板の像が認識されたが、テンプレート画像のいずれかとマッチングしたと判定されなかった場合(ステップS240:N)、制御部20は、特徴情報を案内内容に設定する(ステップS260)。すなわち、制御部20は、看板の像から特徴情報を抽出するとともに、表1に示す看板データベース30cにおいて、当該抽出した特徴情報を当該看板画像の撮像地点と撮像時刻と撮像方向とに対応付けて記録する。
 さらに、そもそも看板の像が認識できたと判定されなかった場合(ステップS230:N)、制御部20は、案内内容を記録しない(ステップS270)。すなわち、制御部20は、表1に示す看板データベース30cにおいて、案内内容がない旨(-印)を、当該看板画像の撮像地点と撮像時刻と撮像方向とに対応付けて記録する。同一の撮像地点にて異なる時刻に撮像された複数の看板画像が収集され得る。従って、もともと案内内容が記録されていた撮像地点にて新たに撮像された看板画像において、看板の像が認識できなくなる場合も有り得る。この場合、制御部20は、もともと記録されていた案内内容に、案内内容がない旨を上書きする。これにより、実質的にもとの案内内容が削除されることとなる。
 以上のようにして処理対象の看板画像について看板データベース30cを記録すると、制御部20は、すべての看板画像を選択したか否かを判定する(ステップS280)。すべての看板画像を選択したと判定しなかった場合(ステップS280:N)、制御部20は、ステップS210に戻り、次の看板画像を処理対象として選択する。
 一方、すべての看板画像を選択したと判定した場合(ステップS280:Y)、制御部20は、重複を排除するとともに、看板画像を看板画像群30bから削除する(ステップS290)。すなわち、制御部20は、連続して通過した複数の撮像地点にて撮像された撮像画像にて同一の看板の像が認識された場合、これらの撮像地点のうち、最も手前側の撮像地点にのみ案内内容を対応付けて記録する(表1、上向きの矢印)。また、制御部20は、看板画像を看板画像群30bから削除することにより、看板画像の蓄積個数を0にリセットする。
 (5)経路案内情報配信処理:
 次に、看板データベース作成システム10が実行する経路案内情報配信処理について説明する。経路案内情報配信処理は、経路探索の要求を経路案内システム110から受信した場合に実行される処理である。図4Aは、経路案内情報配信処理のフローチャートである。まず、看板データベース作成システム10の制御部20は、経路探索を行う(ステップS300)。すなわち、経路探索の要求が示す出発地から目的地までの最適な移動予定経路Rを探索する。当該移動予定経路Rには、案内交差点が含まれることとする。
 次に、制御部20は、案内交差点を選択する(ステップS310)。すなわち、制御部20は、移動予定経路R上の案内交差点のうち、後述するステップS320~360の処理対象とする案内交差点を順に選択していく。
 次に、制御部20は、案内に使用できる看板があるか否かを判定する(ステップS320)。すなわち、制御部20は、看板データベース30cを参照することにより、案内交差点の周辺(例えば50m以内)の看板が存在するか否かを判定する。看板の位置は、看板画像の画像認識処理によって特定されている。
 案内に使用できる看板があると判定した場合(ステップS320:Y)、制御部20は、看板に対応付けられた案内内容で案内メッセージを生成する(ステップS330)。すなわち、制御部20は、案内に使用できる看板の位置を基準として案内交差点の位置を説明する案内メッセージであって、当該看板に対応付けられた案内内容によって当該看板が説明されている案内メッセージを生成する。図2B,図2Cに示すように、案内メッセージにおいて看板S1,S2を説明する案内内容には、『abストア』のような看板名称と、『黄色い四角』のような特徴情報とが該当し得る。
 次に、制御部20は、案内開始地点Mを設定する(ステップS340)。すなわち、制御部20は、案内メッセージをスピーカにて出力するための所要期間において、車両が走行すると予想される推定走行距離Qを取得し、案内内容が対応付けられた撮像地点から推定走行距離Qだけ手前側の地点を案内開始地点Mとして設定する。
 案内に使用できる看板があると判定しなかった場合(ステップS320:N)、制御部20は、案内交差点までの残距離を案内するように設定する(ステップS350)。次に、制御部20は、すべての案内交差点を選択したか否かを判定する(ステップS360)。すべての案内交差点を選択したと判定しなかった場合(ステップS360:N)、制御部20は、ステップS310に戻り、次の案内交差点を処理対象として選択する。
 一方、すべての案内交差点を選択したと判定した場合(ステップS360:Y)、制御部20は、経路案内情報を経路案内システム110に配信する。すなわち、制御部20は、案内交差点ごとに音声メッセージまたは残距離を案内する旨が対応付けられた経路案内情報130bを生成し、当該経路案内情報130bを経路探索の要求を行った経路案内システム110に応答する。
 (6)経路案内処理:
 次に、経路案内システム110が実行する経路案内処理について説明する。経路案内処理は、経路案内情報130bを看板データベース作成システム10から受信した場合に実行される処理である。図4Bは、経路案内処理のフローチャートである。まず、経路案内システム110の制御部120は、案内交差点に接近したか否かを判定する(ステップS410)。例えば、制御部120は、移動予定経路R上において次に通過する予定の案内交差点までの残距離が予め決められた判定距離(例えば1km)以内である場合に案内交差点に接近したと判定する。
 案内交差点に接近したと判定しなかった場合(ステップS410:N)、制御部120は、ステップS410に戻り、案内交差点に接近するまで待機する。案内交差点に接近したと判定した場合(ステップS410:Y)、制御部120は、案内メッセージがあるか否かを判定する(ステップS420)。すなわち、制御部120は、経路案内情報130bにおいて、接近中の案内交差点について案内メッセージが対応付けられているか否かを判定する。
 案内メッセージがあると判定した場合(ステップS420:Y)、制御部120は、案内開始地点を通過したタイミングで案内メッセージの出力を開始する(ステップS430)。その結果、例えば、図2Bにおいて、撮像地点P2にて看板名称『abストア』が対応付けられたテンプレート画像とマッチングする看板画像が撮像されており、当該撮像地点P2を車両が通過するタイミングで案内メッセージ『abストアの看板の次を右です』の案内が完了する。また、図2Cにおいて、撮像地点P3にて特徴情報『黄色い四角』が抽出された看板画像が撮像されており、当該撮像地点P3を車両が通過するタイミングで案内メッセージ『黄色い四角の看板の次を左です』の案内が完了する。
 案内メッセージがあると判定しなかった場合(ステップS420:N)、制御部120は、案内交差点までの残距離を案内する(ステップS440)。すなわち、接近中の案内交差点について案内メッセージではなく残距離を案内する旨が対応付けられている場合、制御部20は、案内交差点までの残距離が予め決められた案内残距離(例えば300,100,30,5m)となったタイミングで、当該案内残距離を音声案内する。
 (7)他の実施形態:
 経路案内システム110が撮像車両210に搭載されてもよく、看板データベース作成システム10の画像認識手段が経路案内システム110に備えられてもよい。すなわち、経路案内システム110が、移動予定経路Rの案内中に看板画像を撮像するとともに、当該看板画像の画像認識処理をリアルタイムで行ってもよい。この場合も、看板画像がテンプレート画像とのマッチングする場合には、経路案内システム110は、テンプレート画像に対応付けられた看板名称によって案内交差点を案内すればよい。一方、看板画像がテンプレート画像とのマッチングしない場合には、経路案内システム110は、当該看板画像から抽出した特徴情報によって案内交差点を案内すればよい。このように画像認識処理をリアルタイムで行う場合、看板データベース30cは作成されないこととなる。
 さらに、車両に搭載された経路案内システム110が移動予定経路Rを探索し、経路案内情報130bを生成してもよい。この場合、予め看板データベース作成システム10が作成した看板データベース30cを経路案内システム110に配信しておけば、看板を使用して案内交差点を案内するための経路案内情報130bを生成することができる。
 また、看板を使用して案内する地点は、必ずしも案内交差点でなくてもよく、例えば移動予定経路Rの目的地や経由地が看板を使用して案内されてもよい。さらに、看板を使用して案内する地点は目的地までの移動予定経路R上の地点でなくてもよく、例えばこのまま道なりに進んだ経路(右左折することなく進んだ経路)上の注意喚起地点であってもよい。例えば、看板の付近に存在する交通事故多発地点の位置を、看板を使用して案内してもよい。さらに、看板を使用した案内は、音声案内に限らず、例えばディスプレイ上に看板名称や特徴情報を示す文字を表示してもよい。
 さらに、必ずしも看板画像の撮像地点にて案内メッセージの出力が完了しなくてもよい。例えば、制御部120は、看板画像の撮像地点にて案内メッセージの出力を開始してもよい。さらに、制御部120は、認識した看板の像の大きさに基づいて、案内メッセージを出力するタイミングを設定してもよい。また、制御部120は、看板画像から抽出した特徴情報に基づいて、案内メッセージを出力するタイミングを設定してもよい。例えば、制御部120は、看板画像から抽出した特徴情報に基づいて目立つ看板であるか否かを判定し、目立つ看板である場合には、案内メッセージを出力するタイミングを早くしてもよい。また、看板名称の方が特徴情報よりも記憶に残りやすいため、制御部120は、看板名称を使用した案内メッセージを、特徴情報を使用した案内メッセージよりも早期に出力してもよい。
 道路上または建造物に設置されている看板とは、道路上から視認できる可能性がある看板であればよく、道路の周辺(例えば道路から予め決められた距離位以内)に設置された看板であってもよい。移動予定経路とは、看板を視認するユーザの意思で移動が可能な移動手段が移動する経路であればよく、当該移動手段は車両(四輪車,二輪車)であってもよいし、徒歩であってもよい。経路案内システムは、移動手段にて移動するユーザに案内(画像、音声)を出力する出力部を制御可能であればよく、必ずしも移動手段に備えられなくてもよい。例えば、経路案内システムは、移動手段に備えられた端末に対して、案内内容を送信するサーバであってもよい。むろん、経路案内システムは、移動手段に備えられてもよい。
 看板画像は、看板を撮像した画像であり、移動予定経路を移動する移動手段から看板を撮像した画像であってもよい。道路上から前方を見た人間の視野角と同等の画角となるように看板画像が用意されてもよい。看板画像は、より広角に撮像された画像や全球撮像された画像から一部の画角だけ切り出された画像であってもよい。テンプレート画像は、多様な既知の看板のそれぞれについて用意された見本となる画像であり、少なくとも看板名称が対応付けられている画像である。ここで、マッチングするとは、テンプレート画像と看板画像(画像内の一部)との類似度が閾値以上であることを意味し、当該類似度として公知の指標値を採用できる。
 テンプレート画像に対応付けられた看板名称とは、テンプレート画像が示す看板を掲げる施設(商業施設、公共施設等)の看板名称(正式看板名称)や略称や愛称であってもよいし、当該施設の主力商品名やマスコットキャラクター等の看板名称であってもよい。看板画像の形態の特徴情報とは、看板画像から抽出された看板の像の画像的な特徴を示す情報であればよく、当該看板の像の色の特徴を示してもよいし、当該看板の像の形状(外形形状、図形や模様の形状等)の特徴を示してもよいし、当該看板の像から文字認識された文字情報を示してもよい。
 ここで、テンプレート画像は、チェーン店の看板の画像であってもよい。この構成において、チェーン店の看板については看板名称を用いて移動予定経路Rを案内できる。また、チェーン店は数が限られるためテンプレート画像を用意できる。一方、チェーン店でない店舗の看板については、特徴情報が案内されることとなる。チェーン店とは、規模(店舗数、従業員数、認知度、売上等)が閾値以上の店舗群であってもよい。ただし、テンプレート画像は、チェーン店の看板の画像でなくてもよく、例えば規模(従業員数、認知度、売上等)が閾値以上の企業が掲げる看板の画像であってもよい。また、看板は、必ずしも平面でなくてもよく、立体の構造物であってもよい。
 さらに、案内制御部は、テンプレート画像とマッチングする看板画像が撮像された地点を車両が通過するタイミングで看板名称の案内を完了させてもよい。これにより、案内が完了した段階で実際の看板を確認できる。
 同様に、案内制御部は、特徴情報が抽出された看板画像が撮像された地点を車両が通過するタイミングで当該特徴情報の案内を完了させてもよい。これにより、案内が完了した段階で実際の看板を確認できる。なお、看板名称を用いる場合と、特徴情報を用いる場合とで、ユーザが看板を認識するのに要する期間が異なり得るため、案内制御部とは、案内を完了させるタイミングを異ならせてもよい。
 さらに、テンプレート画像とマッチングするか否かに応じて看板画像に看板名称または特徴情報を対応付けて記録した看板データベースを作成する看板データベース作成システムにおいて、看板データベース作成部は、同一の撮像地点にて撮像された看板画像から看板の像が存在しなくなった場合に、当該撮像地点に対応付けられた看板名称または特徴情報を看板データベースから削除してもよい。これにより、撤去等によって実際には存在しなくなった看板について、看板名称や特徴情報が案内されないようにすることで、運転者が混乱する可能性を低減できる。
 さらに、本発明のように、看板名称と看板の形態の特徴情報の一方を用いて移動予定経路の案内を行う手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーションシステム、経路案内システムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
10…看板データベース作成システム、20…制御部、21…看板データベース作成プログラム、21a…看板画像収集モジュール、21b…看板データベース作成モジュール、21c…経路案内情報配信モジュール、30…記録媒体、30a…地図情報、30b…看板画像群、30c…看板データベース、30d…テンプレート画像群、40…通信部、110…経路案内システム、120…制御部、121…経路案内プログラム、121a…案内制御モジュール、130…記録媒体、130a…地図情報、130b…経路案内情報、140…通信部、141…測位部、142…ユーザI/F部、210…撮像車両、A…画角、B1…交差点、B2…案内交差点、D1…撮像方向、DB30b…看板画像群、M…案内開始地点、P1~P8…撮像地点、Q…推定走行距離、R…移動予定経路、S1,S2…看板

Claims (10)

  1.  道路上または建造物に設置されている看板の情報を目印として移動予定経路の案内を行う経路案内システムであって、
     地点に対して、看板名称と前記看板の形態の特徴情報の少なくとも一方が対応付けられている看板データベースにおいて、
     前記移動予定経路の案内を行う地点に前記看板名称が対応付けられている場合には、前記看板名称を用いて前記移動予定経路の案内を行い、
     前記移動予定経路の案内を行う地点に前記看板名称が対応付けられていない場合には、前記特徴情報を用いて前記移動予定経路の案内を行う案内制御部、
    を備える経路案内システム。
  2.  道路上または建造物に設置されている看板の情報を目印として移動予定経路の案内を行う経路案内システムであって、
     前記看板を示す画像である看板画像が、看板データベースのテンプレート画像とマッチングするものである場合に、当該テンプレート画像に対応付けられた看板名称を用いて前記移動予定経路の案内を行い、
     前記看板画像が、前記テンプレート画像とマッチングしないものである場合に、前記看板画像の形態の特徴情報を用いて前記移動予定経路の案内を行う案内制御部、
    を備える経路案内システム。
  3.  前記テンプレート画像は、チェーン店の前記看板の画像である、
    請求項2に記載の経路案内システム。
  4.  前記案内制御部は、前記テンプレート画像とマッチングする前記看板画像が撮像された地点を車両が通過するタイミングで前記看板名称の案内を完了させる、
    請求項2または請求項3のいずれか一項に記載の経路案内システム。
  5.  前記案内制御部は、前記特徴情報が抽出された前記看板画像が撮像された地点を車両が通過するタイミングで当該特徴情報の案内を完了させる、
    請求項2から請求項4のいずれか一項に記載の経路案内システム。
  6.  道路上または建造物に設置されている看板を撮像した画像である看板画像を収集する看板画像収集部と、
     前記看板画像と予め用意されたテンプレート画像とがマッチングする場合に、当該看板画像の撮像地点と、前記テンプレート画像に対応付けられた看板名称とを対応付けて記録し、
     前記看板画像と前記テンプレート画像とがマッチングしない場合に、当該看板画像の撮像地点と、前記看板画像の形態の特徴情報とを対応付けて記録した看板データベースを作成する看板データベース作成部と、
    を備える看板データベース作成システム。
  7.  前記テンプレート画像は、チェーン店の前記看板の画像である、
    請求項6に記載の看板データベース作成システム。
  8.  前記看板データベース作成部は、同一の前記撮像地点にて撮像された前記看板画像から前記看板の像が存在しなくなった場合に、当該撮像地点に対応付けられた前記看板名称または前記特徴情報を前記看板データベースから削除する、
    請求項6または請求項7のいずれかに記載の看板データベース作成システム。
  9.  道路上または建造物に設置されている看板の情報を目印として移動予定経路の案内を行う経路案内システムとしてコンピュータを機能させる経路案内プログラムであって、
     前記コンピュータを、
     前記看板を示す画像である看板画像が、看板データベースのテンプレート画像とマッチングするものである場合に、当該テンプレート画像に対応付けられた看板名称を用いて前記移動予定経路の案内を行い、
     前記看板画像が、前記テンプレート画像とマッチングしないものである場合に、前記看板画像の形態の特徴情報を用いて前記移動予定経路の案内を行う案内制御部、
    として機能させる経路案内プログラム。
  10.  コンピュータを、
     道路上または建造物に設置されている看板を撮像した画像である看板画像を収集する看板画像収集部、
     前記看板画像と予め用意されたテンプレート画像とがマッチングする場合に、当該看板画像の撮像地点と、前記テンプレート画像に対応付けられた看板名称とを対応付けて記録し、
     前記看板画像と前記テンプレート画像とがマッチングしない場合に、当該看板画像の撮像地点と、前記看板画像の形態の特徴情報とを対応付けて記録した看板データベースを作成する看板データベース作成部、
    として機能させる看板データベース作成プログラム。
PCT/JP2017/042756 2016-12-07 2017-11-29 経路案内システム、看板データベース作成システム、経路案内プログラムおよび看板データベース作成プログラム WO2018105457A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016237479 2016-12-07
JP2016-237479 2016-12-07

Publications (1)

Publication Number Publication Date
WO2018105457A1 true WO2018105457A1 (ja) 2018-06-14

Family

ID=62491016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042756 WO2018105457A1 (ja) 2016-12-07 2017-11-29 経路案内システム、看板データベース作成システム、経路案内プログラムおよび看板データベース作成プログラム

Country Status (1)

Country Link
WO (1) WO2018105457A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807648A (zh) * 2018-08-06 2020-02-18 丰田自动车株式会社 信息处理装置以及信息处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020345A (ja) * 2002-06-14 2004-01-22 Aisin Aw Co Ltd ナビゲーションシステム及び案内表示方法のプログラム
JP2005249504A (ja) * 2004-03-03 2005-09-15 Fujitsu Ten Ltd 経路案内装置、経路案内方法および経路案内プログラム
JP2014185925A (ja) * 2013-03-22 2014-10-02 Yahoo Japan Corp 案内サーバ、案内方法および案内プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020345A (ja) * 2002-06-14 2004-01-22 Aisin Aw Co Ltd ナビゲーションシステム及び案内表示方法のプログラム
JP2005249504A (ja) * 2004-03-03 2005-09-15 Fujitsu Ten Ltd 経路案内装置、経路案内方法および経路案内プログラム
JP2014185925A (ja) * 2013-03-22 2014-10-02 Yahoo Japan Corp 案内サーバ、案内方法および案内プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807648A (zh) * 2018-08-06 2020-02-18 丰田自动车株式会社 信息处理装置以及信息处理方法

Similar Documents

Publication Publication Date Title
US10126141B2 (en) Systems and methods for using real-time imagery in navigation
CN101720481B (zh) 用于在导航设备中显示十字路口放大图像的方法
CN109491375A (zh) 用于自动驾驶车辆的基于驾驶场景的路径规划
US10942519B2 (en) System and method for navigating an autonomous driving vehicle
US11720992B2 (en) Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image
US20200307576A1 (en) Driver assistance apparatus and driver assistance method
CN112313137B (zh) 行驶信息处理装置和处理方法
JP2020052045A (ja) 車両の軌跡を計画する方法
CN110162589B (zh) 道路限速值的赋值方法、装置、电子设备、计算机可读介质
JP2018072069A (ja) 地図データ構造、送信装置及び地図表示装置
WO2018105457A1 (ja) 経路案内システム、看板データベース作成システム、経路案内プログラムおよび看板データベース作成プログラム
CN112833891A (zh) 基于卫片识别的道路数据与车道级地图数据的融合方法
JP2018031947A (ja) 地図作成装置
JP2021071885A (ja) 領域切り出し方法および領域切り出しプログラム
JP2012159373A (ja) データ管理システム、データ管理方法、及びデータ管理プログラム
JP2013130464A (ja) レーン案内表示システム、方法およびプログラム
US20230175854A1 (en) Explicit Signage Visibility Cues in Driving Navigation
JP5317469B2 (ja) ナビゲーション装置
JP2012168145A (ja) 車線案内装置、方法およびプログラム
WO2019181843A1 (ja) データ構造、情報処理装置、データ通信方法、プログラム及び記憶媒体
JP2019168985A (ja) 制御装置、制御方法、プログラム及び記憶媒体
JP2019138698A (ja) 交通情報案内システムおよび交通情報案内プログラム
JP2022093646A (ja) 端末装置
JP2018204975A (ja) 経路案内装置
JP5820259B2 (ja) ナビゲーション装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17878561

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17878561

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP