WO2020250549A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2020250549A1
WO2020250549A1 PCT/JP2020/015185 JP2020015185W WO2020250549A1 WO 2020250549 A1 WO2020250549 A1 WO 2020250549A1 JP 2020015185 W JP2020015185 W JP 2020015185W WO 2020250549 A1 WO2020250549 A1 WO 2020250549A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
current position
guide information
information
guide
Prior art date
Application number
PCT/JP2020/015185
Other languages
English (en)
French (fr)
Inventor
真里 斎藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/615,459 priority Critical patent/US20220228879A1/en
Priority to JP2021525923A priority patent/JP7359208B2/ja
Publication of WO2020250549A1 publication Critical patent/WO2020250549A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3614—Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Definitions

  • This disclosure relates to information processing devices, information processing methods and programs.
  • This disclosure proposes an information processing device, an information processing method, and a program that can present guide information that is highly useful to the user and appropriately support the movement of the user.
  • the information processing apparatus of one form according to the present disclosure uses a recognition unit that recognizes the surrounding environment of the user's current position and the recognition result of the recognition unit according to the characteristics of the user.
  • a guide control unit that generates guide information and outputs it to an output device, and detects a changed part in the surrounding environment of the current position when it is determined that the user has visited the current position in the past.
  • the guide control unit includes a change detection unit, and when the change detection unit detects the changed portion, the guide control unit generates the guide information including information for causing the user to recognize the changed portion.
  • a movement support system that supports the movement of a user by using an information device (hereinafter, referred to as a “user terminal”) used by the user such as a smartphone.
  • This movement support system performs recognition processing on the image of the surrounding environment at the current position captured by the camera mounted on the user terminal and the voice recorded by the microphone, and guide information is used using the obtained recognition result. To generate. Then, the generated guide information is superimposed on the image captured by the camera and displayed on the display, or the voice is output from the speaker to support the movement of the user.
  • the guide information includes various information generated by using the above recognition result. For example, text that describes an object detected in an image, a mark that draws attention to a landmark object, text that is the result of character recognition that recognizes characters in the image, and voice recognition for voice recorded by a microphone.
  • Examples of guide information include the resulting text, a guidance mark for guiding the user to the destination, and text and voice for guiding the user to the destination.
  • FIG. 1 shows an example of mobility support when a smartphone is used as a user terminal.
  • an image of the surrounding environment at the current position captured by a camera mounted on the user terminal 10 is displayed on the display 14, and a text 101 explaining an object detected from the image is displayed on the image.
  • the text 102 as a result of character recognition that recognizes the characters in the image, the guidance mark 103 for guiding the user to the destination, and the like are superimposed.
  • a voice 104 for guiding the user to the destination is output from the speaker 15 mounted on the user terminal 10.
  • guide information that is highly useful to users is not common to all users, and may differ depending on the characteristics of individual users. For example, the highly useful guide information differs between the visually impaired and the able-bodied.
  • the guide information that is highly useful to the user differs depending on the situation in which the guide information is output. For example, at a position where the user has visited in the past, the user often feels annoyed when the same guide information as when the user visited in the past is repeatedly output. On the other hand, if there is a change in the surrounding environment at that location, such as when something that was used as a landmark when visiting in the past has disappeared or the appearance has changed, the user is made aware of the change. The usefulness of the guide information is considered to be high.
  • the guide information that is highly useful to the user is presented in consideration of the characteristics of the user and the situation in which the guide information is output, so that the movement of the user can be appropriately supported. Propose a technical proposal.
  • FIG. 2 is a block diagram showing a functional configuration example of the movement support system according to the embodiment.
  • the mobility support system according to the embodiment includes, for example, a user terminal 10 used by the user and a server 20 in a cloud environment (an example of the "information processing device" of the present disclosure), and these include communication using a network. It can be configured as a network-type information processing system.
  • the user terminal 10 used by the user registered in advance can be connected to the server 20 through, for example, a predetermined authentication process.
  • Unique identification information (user ID) is given to the user by the user registration in advance, and the information of each user is managed by this user ID.
  • user registration in addition to authentication information such as a password required for authentication, information indicating user characteristics is registered as one of the information required for processing on the server 20.
  • the user terminal 10 includes a positioning sensor 11 such as a GPS (Global Positioning System) sensor that measures the current position, a camera 12 that captures the surrounding environment of the current position, and a microphone 13 that records audio. It has a sensor group including. Further, the user terminal 10 includes an output device including a display 14 for displaying an image and a speaker 15 (including an earphone speaker) for outputting audio. In addition to these sensor groups and output devices, the user terminal 10 includes a computer system that executes various processes based on software, a communication module for communicating with an external device such as a server 20, and the like. These illustrations are omitted.
  • a positioning sensor 11 such as a GPS (Global Positioning System) sensor that measures the current position
  • a camera 12 that captures the surrounding environment of the current position
  • a microphone 13 that records audio. It has a sensor group including.
  • the user terminal 10 includes an output device including a display 14 for displaying an image and a speaker 15 (including an earphone speaker) for outputting audio.
  • the user terminal 10 When the user terminal 10 is connected to the server 20, the current position (user's current position) measured by the positioning sensor 11, the image of the surrounding environment of the current position captured by the camera 12, and the voice recorded by the microphone 13 Information such as the above is transmitted to the server 20 at any time via the network. Further, the user terminal 10 receives the guide information generated by the server 20 via the network and outputs it by an output device such as the display 14 or the speaker 15.
  • An example of the user terminal 10 is a smartphone.
  • a smartphone is used as the user terminal 10, as shown in FIG. 1, an image of the surrounding environment at the current position captured by the camera 12 is displayed on the display 14, and a visual image generated by the server 20 is displayed on the image. Guide information is superimposed. Further, the voice guide information is output from the speaker 15.
  • the user terminal 10 may be configured as a glasses-type head-mounted display (HMD: Head Mounted Display) worn on the user's head.
  • HMD Head Mounted Display
  • the non-transmissive HMD an image of the surrounding environment at the current position captured by the camera 12 is displayed on the display 14 corresponding to the spectacle lens portion, and the visual sense generated by the server 20 is displayed on this image. Guide information is superimposed.
  • the transmissive HMD the actual optical image from the surrounding environment at the current position is visually recognized by the user through the display 14 corresponding to the spectacle lens portion, but from the peripheral environment transmitted through the display 14.
  • the visual guide information generated by the server 20 is superimposed so as to be superimposed on the optical image of.
  • the voice guide information is output from the speaker 15.
  • the user terminal 10 may be configured as an in-vehicle system provided with a head-up display (HUD: Head Up Display) as the display 14.
  • HUD Head Up Display
  • the actual optical image from the surrounding environment at the current position is visible to the user (vehicle driver) through the windshield of the vehicle, but on the optical image from the surrounding environment passing through the windshield.
  • the visual guide information generated by the server 20 is projected and displayed on the windshield by the HUD so as to overlap.
  • the voice guide information is output from the speaker 15.
  • any information device having a function of sensing the current position and the surrounding environment and a function of outputting guide information generated by the server 20 can be used as the user terminal 10. can do.
  • the description will be continued assuming that the user terminal 10 is a smartphone.
  • the server 20 is a server computer that provides a service peculiar to the mobility support system according to the embodiment.
  • the server 20 includes a recognition unit 21, a guide control unit 22, and a change detection unit 23 as functional units for supporting the movement of the user in cooperation with the user terminal 10.
  • the server 20 has a user DB 24 referred to by the guide control unit 22 and a history DB 25 referred to by the change detection unit 23 as a database for holding information necessary for processing by the guide control unit 22 and the change detection unit 23. Be prepared.
  • the recognition unit 21 is a functional unit that recognizes the surrounding environment of the user's current position. For example, the recognition unit 21 performs image recognition processing on an image of the surrounding environment at the current position captured by the camera 12 of the user terminal 10 and recognizes an object or a character in the image. Further, the recognition unit 21 performs voice recognition processing on the voice recorded by the microphone 13 of the user terminal 10 and converts the voice into text.
  • the recognition algorithm for the recognition unit 21 to recognize the surrounding environment of the user's current position is not particularly limited, and a known recognition algorithm may be used.
  • a DNN Deep Neural Network
  • DL deep learning
  • the sound recorded by 13 may be input to the DNN, and the output of the DNN may be obtained as a recognition result.
  • the guide control unit 22 is a functional unit that uses the recognition result of the recognition unit 21 to generate guide information according to the characteristics of the user and outputs it to an output device such as the display 14 or the speaker 15 of the user terminal 10.
  • the guide control unit 22 uses the recognition result of the recognition unit 21 to generate guide information according to the characteristics of the user and outputs it to an output device such as the display 14 or the speaker 15 of the user terminal 10.
  • the change detection unit 23 described later detects a changed portion in the surrounding environment of the current position
  • the guide control unit 22 generates guide information including information for the user to recognize the changed portion, and the user Output to an output device such as the display 14 or the speaker 15 of the terminal 10.
  • FIG. 3 is a block diagram showing a configuration example of the guide control unit 22.
  • the guide control unit 22 includes a route determination unit 22a, a guide information generation unit 22b, and an output control unit 22c.
  • the route determination unit 22a determines the optimum route from the current position to the destination based on the current position measured by the positioning sensor 11 of the user terminal 10 and the destination set by the user. At this time, the route determination unit 22a may acquire map data, public transportation operation information, and the like necessary for determining the optimum route from the external server 30.
  • the destination is set by the user when, for example, the user terminal 10 is connected to the server 20 and the movement support service is started, and is recorded in the user data table held by the user DB 24.
  • FIG. 4 shows an example of the user data table held by the user DB 24.
  • the characteristics of the user specified by the user at the time of user registration and the destination set by the user at the start of the movement support service are recorded in association with the user ID. ing.
  • the route determination unit 22a can grasp the destination of the user by searching the user data table 41 using the user ID as a key.
  • the guide information generation unit 22b uses the recognition result of the recognition unit 21 to generate guide information for guiding the user to the destination according to the optimum route determined by the route determination unit 22a.
  • the guide information includes various information that can be generated by using the recognition result of the recognition unit 21, but the guide information generation unit 22b in the present embodiment is useful depending on the characteristics of the user. Generate guide information that is expected to be high.
  • the output control unit 22c outputs the guide information generated by the guide information generation unit 22b to an output device such as the display 14 or the speaker 15 of the user terminal 10 by an output method according to the characteristics of the user.
  • the characteristics of the user include, for example, characteristics indicating audiovisual ability (blindness, amblyopia, myopia, color blindness, hearing impairment, etc.), characteristics indicating viewpoint height (children, short stature adults, etc.), and nationality (children, short stature adults, etc.). (Foreigners, etc.), whether or not it is easy to get lost.
  • Such user characteristics are specified by the user at the time of user registration as described above, and are recorded in the user data table 41 (see FIG. 4) held by the user DB 24.
  • the guide information generation unit 22b and the output control unit 22c can grasp the characteristics of the user by searching the user data table 41 using the user ID as a key.
  • the guide information generation unit 22b and the output control unit 22c can generate guide information according to the characteristics of the user according to, for example, a predefined guide information generation rule, and output the guide information to the output device of the user terminal 10. .
  • the guide information generation rule is a rule that defines a mode of guide information that is expected to be highly useful according to the characteristics of the user. A specific example of generating and outputting guide information according to the characteristics of the user is shown below.
  • the guide information generation unit 22b uses the recognition result of the recognition unit 21 to obtain, for example, an obstacle on the road on which the user is moving or the state of the road. Voices for explaining, voices for explaining the position of the entrance of a building, voices for reading out characters such as signs and information boards, etc. are preferentially generated as guide information according to user characteristics. Then, the output control unit 22c outputs the voice generated as the guide information by the guide information generation unit 22b from the speaker 15 of the user terminal 10.
  • the guide information generation unit 22b uses the recognition result of the recognition unit 21 to read out, for example, enlarged text of small characters such as a sign or a guide board or these characters. Voice and the like are preferentially generated as guide information according to user characteristics. Then, the output control unit 22c displays the text generated as the guide information by the guide information generation unit 22b on the image of the surrounding environment at the current position displayed on the display 14 of the user terminal 10, such as a sign or a guide plate. In addition to displaying the image superimposed on the projected area, the voice generated as the guide information by the guide information generation unit 22b is output from the speaker 15 of the user terminal 10.
  • the guide information generation unit 22b uses the recognition result of the recognition unit 21 to guide the user to a destination by using, for example, a marker object.
  • a marker object When generating as, the description of the object in a color that is difficult to distinguish is replaced with the description using the shape of the object and the like. Specifically, instead of generating a voice such as "Turn the pink and light blue sign to the right", a voice such as "Turn the sign with the striped XXX to the right" is produced according to the user characteristics. Generated as guide information. Then, the output control unit 22c outputs the voice generated as the guide information by the guide information generation unit 22b from the speaker 15 of the user terminal 10.
  • the guide information generation unit 22b uses the recognition result of the recognition unit 21 to, for example, provide a text explaining the content of the voice recorded by the microphone 13 of the user terminal 10. Generated as guide information according to user characteristics. Then, the output control unit 22c superimposes and displays the text generated as the guide information by the guide information generation unit 22b on the image of the surrounding environment at the current position displayed on the display 14 of the user terminal 10.
  • the guide information generation unit 22b uses the recognition result of the recognition unit 21 to use, for example, an object at a low position that is easily visible to the user as a marker to display the user.
  • the voice for guiding to the destination is preferentially generated as guide information according to the characteristics of the user.
  • the guide information generation unit 22b generates a voice prompting the user to raise the field of view as guide information, and then guides the user to a destination by using an object at a relatively high position as a mark. May be generated as.
  • the output control unit 22c outputs the voice generated as the guide information by the guide information generation unit 22b from the speaker 15 of the user terminal 10.
  • the guide information generation unit 22b uses the recognition result of the recognition unit 21 to, for example, translate characters such as signs and information boards related to the user's destination into text. , Priority is generated as guide information according to user characteristics. Then, the output control unit 22c displays the text generated as the guide information by the guide information generation unit 22b on the image of the surrounding environment at the current position displayed on the display 14 of the user terminal 10, such as a sign or a guide plate. It is superimposed and displayed on the projected area.
  • the guide information generation unit 22b uses the recognition result of the recognition unit 21 to, for example, a mark for paying attention to an object used as a repetition mark, or a repetition.
  • the voice for guiding the user to the destination by using the object used as the mark is preferentially generated as the guide information according to the characteristics of the user.
  • the output control unit 22c displays the mark generated as the guide information by the guide information generation unit 22b on the image of the surrounding environment at the current position displayed on the display 14 of the user terminal 10 as a mark object.
  • the voice generated as the guide information by the guide information generation unit 22b is output from the speaker 15 of the user terminal 10.
  • the examples described above are one aspect of guide information according to the characteristics of the user, and the guide information according to the characteristics of the user is not limited to these examples.
  • the guide information according to the characteristics of the user may be optimized by, for example, the definition of the guide information generation rule, and various modes other than the above-mentioned example can be taken.
  • guide information that is expected to be highly useful may be prioritized according to the characteristics of the user, and generation and output may be controlled according to the priority.
  • the guide information generation unit 22b has changed.
  • Guide information including information for causing the user to recognize the portion is generated, and the output control unit 22c causes the output device of the user terminal 10 to output the guide information.
  • the change detection unit 23 determines whether or not the user has visited the current position in the past, and if it is determined that the user has visited the current position, the change detection unit 23 detects a changed part in the surrounding environment of the current position. Is.
  • the change detection unit 23 can determine, for example, whether or not the user has visited the current position in the past by using the user movement history table held by the history DB 25.
  • FIG. 5 shows an example of the user movement history table held by the history DB 25.
  • the user movement history table 42 shown in FIG. 5 is generated for each registered user and stored in the history DB 25.
  • the user movement history table 42 for each registered user corresponds to the position information of the position visited by the user in the past, the history image of the surrounding environment of the position, and the time when the history image was captured. It is attached and recorded.
  • the user movement history table 42 is generated, for example, when the user uses the movement support system according to the embodiment. That is, the current position measured by the positioning sensor 11 of the user terminal 10 and sent to the server 20 in the past and the image captured by the camera 12 of the user terminal 10 and sent to the server 20 at that time are respectively. As a history image of the position information of the position visited by the user in the past and the surrounding environment of the position, it is recorded in the user movement history table 42 in association with the time at that time.
  • the history image may be a moving image composed of continuous frames, or may be a still image cut out from the moving image.
  • the change detection unit 23 is, for example, the current position measured by the positioning sensor 11 of the user terminal 10 at the present time and sent to the server 20, and the current position imaged by the camera 12 of the user terminal 10 at the present time and sent to the server 20. Get an image of the surrounding environment of the location. Then, the change detection unit 23 refers to the user movement history table 42 corresponding to the user who is using the user terminal 10 that has transmitted the current position and the image among the user movement history table 42 held by the history DB 25, and is currently present. When the position information corresponding to the position (that is, the position information of the position that can be regarded as the same place as the current position) is included in the position information recorded in the user movement history table 42, the present Determine that the location has been visited by the user in the past. When the position information indicating the imaging location is added as metadata to the image of the surrounding environment of the current position captured by the camera 12, the position information is used instead of the current position measured by the positioning sensor 11. It may be used to make a judgment.
  • the change detection unit 23 together with the acquired image of the surrounding environment of the current position (the image captured by the camera 12 of the user terminal 10 at the present time). , Based on the history image recorded in the user movement history table 42 in association with the position information corresponding to the current position, the portion changed from the time when the user visited the current position in the past in the surrounding environment of the current position. To detect.
  • the change detection unit 23 aligns the acquired image and the history image with reference to a landmark in the image and then collates them. Then, when there is a difference in a stationary object such as a building, a sign, or a guide plate in the image, the difference is detected as a changed part. Specifically, for example, compared to when the user visited the current position in the past, there are no landmark objects, there is a shield, the position of the entrance has changed, the color and material are changed due to refurbishment. When the appearance of the landmark object changes or a new landmark object is created due to changes in the tenants, etc., they are detected by the change detection unit 23. Will be done.
  • the history image used for detecting the changed portion does not necessarily have to be the history image recorded in the user movement history table 42 of the user.
  • the user movement history table 42 of another user is searched, and if there is a history image of another user captured at a position close to the current position at a time close to the time when the user visited the current position in the past, the history thereof.
  • the changed part may be detected by using an image.
  • an image captured at a position close to the current position at a time close to the time when the user visited the current position in the past is acquired from an external server 30 or the like, and this is used as a history image to detect a changed part. You may.
  • the guide control unit 22 generates guide information according to the characteristics of the user and outputs the guide information to the output device of the user terminal 10, but the change detection unit 23 detects the changed part in the surrounding environment of the current position. If so, guide information including information for the user to recognize the changed part is generated and output to the output device of the user terminal 10.
  • FIG. 6 shows an example of guide information for the user to recognize the changed part.
  • the example shown in FIG. 6 assumes a case where a guide plate for guiding the direction of a temporary taxi stand, which the user has never visited in the past, is formed in the surrounding environment of the current position.
  • the guide plate that guides the direction of the temporary taxi stand is detected by the change detection unit 23 as a changed part.
  • the guide information generation unit 22b of the guide control unit 22 has, for example, a mark 201 for paying attention to a guide plate detected as a changed part by the change detection unit 23, and the contents of the guide plate such as "The taxi stand is going straight". Generates guide information including voice 202 and the like for explaining the above. Then, the output control unit 22c displays the mark 201 generated as guide information by the guide information generation unit 22b on the image of the surrounding environment at the current position displayed on the display 14 of the user terminal 10 in the direction of the temporary taxi stand.
  • the voice 202 generated as the guide information by the guide information generation unit 22b is output from the speaker 15 of the user terminal 10 while being superimposed and displayed so as to surround the guide plate.
  • guide information such as the mark 201 and the voice 202 for making the user recognize the guide plate detected as the changed part is shown, but in addition to these guide information, Other guide information generated according to the characteristics of the user may be displayed on the display 14 of the user terminal 10 or output from the speaker 15.
  • guide information for making the user recognize the changed part is generated according to the characteristics of the user, and guide information for making the user recognize the changed part is output by an output method according to the characteristics of the user. It may be output from 10 output devices.
  • the guide information output to the output device of the user terminal 10 can flexibly respond to changes in the situation in the process of the user moving to the destination.
  • the optimum route for the user to move from the current position to the destination is determined at any time by the above-mentioned route determination unit 22a, but when this optimum route changes, the user terminal 10 depends on the changed optimum route. It is desirable to update the guide information to be output to the output device of.
  • Figure 7 shows an example of guide information that is updated according to changes in the optimal route.
  • the user is checking the guide plate that guides the direction of the landing of various means of transportation, and the route that uses the bus to move to the destination is determined to be the optimum route.
  • the optimal route is changed to a taxi route because the bus has departed over time.
  • the guide information generation unit 22b of the guide control unit 22 may have, for example, a mark 301 for paying attention to a display portion of a guide plate that guides the direction of the bus stop. It generates guide information such as mark 302 indicating the direction of the fixed-route bus platform, and voice 303 prompting the route bus to move, such as "Go left and depart in 2 minutes from platform 6". Then, the output control unit 22c superimposes and displays the marks 301 and 302 generated as guide information by the guide information generation unit 22b on the image of the surrounding environment at the current position displayed on the display 14 of the user terminal 10. At the same time, the voice 303 generated as the guide information by the guide information generation unit 22b is output from the speaker 15 of the user terminal 10.
  • a mark 304 for paying attention to the display part of the information board that guides the direction of the taxi stand a mark 305 that indicates the direction of the taxi stand, and "The next bus is 20.
  • the taxi stand is 50m to the right.
  • the output control unit 22c superimposes and displays the marks 304 and 305 generated as guide information by the guide information generation unit 22b on the image of the surrounding environment at the current position displayed on the display 14 of the user terminal 10.
  • the voice 306 generated as the guide information by the guide information generation unit 22b is output from the speaker 15 of the user terminal 10.
  • FIG. 8 is a flowchart showing a processing procedure of the server 20, in which the user terminal 10 is connected to the server 20 through a predetermined authentication process or the like, the destination is set by the user, and then the server 20 repeatedly executes the process at a predetermined cycle. It shows the flow of processing to be performed.
  • the user terminal 10 After being connected to the server 20, the user terminal 10 synchronizes with the processing cycle of the server 20, the current position measured by the positioning sensor 11, the image of the surrounding environment of the current position captured by the camera 12, and the microphone 13. It is assumed that the voice recorded by the above is transmitted to the server 20 at any time.
  • the server 20 acquires the current position, image, and sound transmitted from the user terminal 10 (step S101).
  • the recognition unit 21 performs recognition processing on the image or voice transmitted from the user terminal 10 and passes the recognition result to the guide control unit 22 (step S102). Further, the change detection unit 23 refers to the user movement history table 42 held in the history DB 25, and determines whether or not the user has visited the current position in the past (step S103).
  • the guide control unit 22 refers to the user data table 41 held in the user DB 24 and refers to the user.
  • the characteristics are grasped, and the recognition result by the recognition unit 21 is used to generate guide information according to the characteristics of the user (step S104), and the process proceeds to step S107.
  • step S103 determines whether the user has visited the current position in the past (step S103: Yes).
  • the change detection unit 23 holds the image transmitted from the user terminal 10 and the history DB 25. Based on the history image recorded in the user movement history table 42, the changed portion in the surrounding environment of the current position is detected (step S105).
  • the guide control unit 22 grasps the characteristics of the user with reference to the user data table 41 held in the user DB 24, and uses the recognition result by the recognition unit 21 to include information for causing the user to recognize the changed part. , Generate guide information according to the characteristics of the user (step S106).
  • the guide control unit 22 outputs the guide information generated in step S104 or step S106 to an output device such as the display 14 or the speaker 15 of the user terminal 10 by an output method according to the characteristics of the user (step S107). End the process.
  • the server 20 uses the recognition result of recognizing the surrounding environment of the user's current position to determine the characteristics of the user.
  • the corresponding guide information is generated and output to the output device of the user terminal 10.
  • the server 20 determines whether or not the user has visited the current position in the past, and if it determines that the user has visited the current position, detects a changed portion in the surrounding environment of the current position. Then, guide information including information for causing the user to recognize the changed portion is generated and displayed on the output device of the user terminal 10. Therefore, according to the movement support system according to the embodiment, it is possible to present guide information that is highly useful to the user and appropriately support the movement of the user.
  • the server 20 holds a user movement history table 42 in which the position information of the position visited by the user in the past and the history image of the surrounding environment of the position are associated with each other. To do. Then, when the position information corresponding to the current position is included in the user movement history table 42, it is determined that the user has visited the current position in the past, and the image and history of the surrounding environment of the current position are captured. The changed part is detected by collating with the image. Therefore, according to the movement support system according to the embodiment, it is possible to accurately and easily determine whether or not the user has visited the current position in the past, and easily detect the changed portion.
  • the server 20 causes the output device of the user terminal 10 to output the guide information generated according to the characteristics of the user by an output method according to the characteristics of the user. Therefore, guide information that is highly useful to the user can be presented to the user in an easy-to-understand manner.
  • the server 20 generates guide information for guiding the user to the destination, and when the optimum route to the destination changes, the optimum route after the change is used. Since the guide information is updated accordingly, the guide information can be appropriately presented in response to changes in the situation in the process of the user moving to the destination.
  • the movement support system according to the above-described embodiment can be implemented by adding various modifications.
  • the state of the output device of the user terminal 10 is managed on the server 20 side, and when an abnormality occurs in the display 14 of the user terminal 10, the mode of the guide information displayed on the display 14 is changed to voice from the speaker 15. It may be output.
  • the mode of the guide information output from the speaker 15 may be converted into text and displayed on the display 14.
  • the state of the sensor group of the user terminal 10 is managed on the server 20 side, and when an abnormality occurs in the camera 12 of the user terminal 10, the surrounding environment at the current position is recognized centering on the voice recorded by the microphone 13. You may do it. Alternatively, when an abnormality occurs in the microphone 13 of the user terminal 10, the surrounding environment at the current position may be recognized centering on the image captured by the camera 12.
  • the voice estimated to be useful information for the user among the plurality of announcement voices is selected. It may be extracted and output from the speaker 15 at a loud volume. Further, among the plurality of announcement voices recorded by the microphone 13 of the user terminal 10, the voice estimated to be useful information for the user may be converted into text and displayed on the display 14 as guide information.
  • the characters are dark and easily overlooked in the image captured by the camera 12 of the user terminal 10.
  • the text as a result of recognizing the above may be preferentially displayed on the display 14 as guide information.
  • the guide information including the above may be generated and output to the output device of the user terminal 10.
  • the guide information for guiding the user terminal 10 may be generated and output to the output device of the user terminal 10.
  • the guide information presented to each user is stored in association with the position information, and when the guide information is presented to a certain user, the same location is given to another user who has the same characteristics as that user.
  • the guide information presented in the above may be presented as it is.
  • the information indicating the changed part is retained in association with the position information and is retained for other users.
  • guide information that includes information that recognizes changed parts in the surrounding environment
  • information that indicates changed parts that have been detected and held earlier is included. Guide information may be presented.
  • the guide information that is presumed to be highly useful according to the characteristics of the user may be displayed by using a highlight expression that visually stands out.
  • the guide information that is presumed to be highly useful according to the characteristics of the user is not visually conspicuous. You may let it.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in any unit according to various loads and usage conditions. It can be integrated and configured. For example, any of the functions of the recognition unit 21, the guide control unit 22, and the change detection unit 23 may be dispersed or integrated.
  • FIG. 9 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the server 20.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a recording medium readable by the computer 1000 that non-temporarily stores a program executed by the CPU 1100 and data used by the program. Specifically, the HDD 1400 stores, as an example of the program data 1450, a program for realizing the functions of the recognition unit 21, the guide control unit 22, and the change detection unit 23 of the server 20 according to the present disclosure in the computer 1000. Further, the user DB 24 and the history DB 25 of the server 20 according to the present disclosure are constructed in the HDD 1400.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a touch screen via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display or a speaker via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 realizes the functions of the recognition unit 21, the guide control unit 22, and the change detection unit 23 by executing the program loaded on the RAM 1200.
  • the HDD 1400 stores the program related to the present disclosure, the user data table 41 in the user DB 24, the user movement history table 42 in the history DB 25, and the like.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • a recognition unit that recognizes the surrounding environment of the user's current position
  • a guide control unit that generates guide information according to the characteristics of the user using the recognition result of the recognition unit and outputs the guide information to the output device. It is provided with a change detection unit that detects a changed portion in the surrounding environment of the current position when it is determined that the user has visited the current position in the past.
  • the guide control unit is an information processing device that generates the guide information including information for causing the user to recognize the changed portion when the change detecting unit detects the changed portion.
  • the change detection unit detects the changed portion based on an image of the surrounding environment of the current position and a history image of the surrounding environment of the current position in the past. Information processing device.
  • the change detection unit determines whether or not the user has visited the current position in the past based on the current position and the position information associated with the history image.
  • Information processing equipment (4) The information processing device according to any one of (1) to (3), wherein the guide control unit outputs the guide information to the output device by an output method according to the characteristics of the user. (5) The information processing apparatus according to (4) above, wherein the output method includes an output by display and an output by voice. (6) The guide control unit generates the guide information for guiding the user to the destination, and when the optimum route to the destination changes, updates the guide information according to the changed optimum route.
  • the information processing apparatus according to any one of (1) to (5).
  • the information processing device includes characteristics indicating audiovisual ability.
  • the user's characteristic includes a characteristic indicating a viewpoint height.
  • the user's characteristics include characteristics indicating nationality.
  • the characteristics of the user include whether or not it is easy to get lost.
  • a recognition step that recognizes the surrounding environment of the user's current position A guide control step that generates guide information according to the characteristics of the user using the recognition result of the recognition unit and outputs the guide information to the output device.
  • the guide control step is an information processing method for generating the guide information including information for causing the user to recognize the changed portion when the changed portion is detected in the change detection step. (12) On the computer The function of the recognition unit that recognizes the surrounding environment of the user's current position, The function of the guide control unit that generates guide information according to the characteristics of the user using the recognition result of the recognition unit and outputs it to the output device.
  • the guide control unit is a program that generates the guide information including information for causing the user to recognize the changed portion when the change detecting unit detects the changed portion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

情報処理装置は、ユーザの現在位置の周辺環境を認識する認識部（２１）と、前記認識部の認識結果を用いて前記ユーザの特性に応じたガイド情報を生成し、出力デバイスに出力させるガイド制御部（２２）と、前記ユーザが前記現在位置を過去に訪れたことがあると判定した場合に、前記現在位置の周辺環境において変化した部分を検出する変化検出部（２３）と、を備え、前記ガイド制御部は、前記変化検出部が前記変化した部分を検出した場合は、前記変化した部分を前記ユーザに認識させる情報を含む前記ガイド情報を生成する。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　従来、ユーザの現在位置の周辺環境を認識してガイド情報を生成し、そのガイド情報をディスプレイやスピーカなどの出力デバイスから出力させることにより、ユーザの移動を支援する技術が知られている。このような技術は、例えば、視覚障害者向けの視覚補助装置やユーザを目的地に誘導するナビゲーションシステムなどで利用される。
特開２０１６－１４３０６０号公報 特開２０１８－１３２５２８号公報
　上述のガイド情報を用いた移動支援技術においては、ユーザにとって有用性が低いガイド情報を提示すると、ユーザに煩わしさを感じさせてしまう懸念がある。このため、ガイド情報の有用性を的確に判断し、ユーザにとって有用性が高いガイド情報を提示できるようにすることが望まれる。
　本開示は、ユーザにとって有用性が高いガイド情報を提示し、ユーザの移動を適切に支援することができる情報処理装置、情報処理方法およびプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、ユーザの現在位置の周辺環境を認識する認識部と、前記認識部の認識結果を用いて前記ユーザの特性に応じたガイド情報を生成し、出力デバイスに出力させるガイド制御部と、前記ユーザが前記現在位置を過去に訪れたことがあると判定した場合に、前記現在位置の周辺環境において変化した部分を検出する変化検出部と、を備え、前記ガイド制御部は、前記変化検出部が前記変化した部分を検出した場合は、前記変化した部分を前記ユーザに認識させる情報を含む前記ガイド情報を生成する。
移動支援の一例を示す図である。 実施形態に係る移動支援システムの機能的な構成例を示すブロック図である。 ガイド制御部の構成例を示すブロック図である。 ユーザデータテーブルの構成例を示す図である。 ユーザ移動履歴テーブルの構成例を示す図である。 変化した部分をユーザに認識させるガイド情報の一例を示す図である。 最適ルートの変化に応じて更新されるガイド情報の一例を示す図である。 サーバの処理手順を示すフローチャートである。 サーバの機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下、添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、説明は以下の項目順序に従って行うものとする。
　　１．実施形態の概要
　　２．実施形態に係る移動支援システムの説明
　　３．変形例
　　４．ハードウェア構成例
　　５．補足
［１．実施形態の概要］
　例えばスマートフォンなどのユーザが使用する情報機器（以下、「ユーザ端末」と呼ぶ）を用いて、ユーザの移動を支援する移動支援システムが知られている。この移動支援システムは、ユーザ端末に搭載されたカメラにより撮像された現在位置の周辺環境の画像やマイクにより収録された音声などを対象に認識処理を行い、得られた認識結果を用いてガイド情報を生成する。そして、生成したガイド情報をカメラで撮像された画像に重畳してディスプレイに表示させたり、スピーカから音声出力したりすることにより、ユーザの移動を支援する。
　ここで、ガイド情報は、上記認識結果を用いて生成される様々な情報を含む。例えば、画像から検出されたオブジェクトを説明するテキスト、目印となるオブジェクトに注意を向けるためのマーク、画像中の文字を認識した文字認識の結果としてのテキスト、マイクにより収録された音声に対する音声認識の結果としてのテキスト、ユーザを目的地に誘導するための誘導マーク、ユーザを目的地に誘導するためのテキストや音声などがガイド情報の一例として挙げられる。
　図１は、ユーザ端末としてスマートフォンを用いた場合の移動支援の一例を示している。この図１に示す例では、ユーザ端末１０に搭載されたカメラで撮像された現在位置の周辺環境の画像がディスプレイ１４に表示され、その画像上に、画像から検出されたオブジェクトを説明するテキスト１０１、画像中の文字を認識した文字認識の結果としてのテキスト１０２、ユーザを目的地に誘導するための誘導マーク１０３などが重畳されている。また、ユーザ端末１０に搭載されたスピーカ１５から、ユーザを目的地に誘導するための音声１０４が出力されている。
　このような移動支援を行う場合、雑多なガイド情報を提示するとユーザに煩わしさを感じさせてしまうため、ユーザにとって有用性が高いガイド情報を選択的に提示することが重要である。ユーザにとって有用性が高いガイド情報は全てのユーザに共通ではなく、個々のユーザの特性に応じて異なると考えられる。例えば、視覚障害者と健常者とでは、有用性が高いガイド情報は異なる。
　また、ユーザにとって有用性が高いガイド情報は、ガイド情報を出力する状況によっても異なる。例えば、ユーザが過去に訪れたことがある位置では、過去に訪れたときと同じガイド情報が繰り返し出力されるとユーザが煩わしさを感じることが多い。その一方で、過去に訪れたときに目印としていたものがなくなっている、あるいは見え方が変わっているといったように、その位置の周辺環境に変化があった場合は、その変化をユーザに認識させるガイド情報の有用性は高いと考えられる。
　そこで、本開示の実施形態では、ユーザの特性やガイド情報を出力する状況などを考慮して、ユーザにとって有用性が高いガイド情報を提示することで、ユーザの移動を適切に支援できるようにする技術案を提案する。
［２．実施形態に係る移動支援システムの説明］
　以下では、実施形態に係る移動支援システムについて、具体例を挙げながら詳細に説明する。図２は、実施形態に係る移動支援システムの機能的な構成例を示すブロック図である。実施形態に係る移動支援システムは、例えば、ユーザが使用するユーザ端末１０と、クラウド環境のサーバ２０（本開示の「情報処理装置」の一例）とを含み、これらがネットワークを利用して通信を行うネットワーク型の情報処理システムとして構成することができる。
　実施形態に係る移動支援システムでは、事前に登録されたユーザが使用するユーザ端末１０が、例えば所定の認証処理を経てサーバ２０に接続することができる。事前のユーザ登録によりユーザに対して固有の識別情報（ユーザＩＤ）が与えられ、各ユーザの情報がこのユーザＩＤによって管理される。ユーザ登録では、認証に必要なパスワードなどの認証情報のほか、サーバ２０での処理に必要な情報の一つとして、ユーザの特性を示す情報が登録される。
　ユーザ端末１０は、図２に示すように、現在位置を計測するＧＰＳ（Global　Positioning　System）センサなどの測位センサ１１、現在位置の周辺環境を撮像するカメラ１２、および、音声を収録するマイク１３を含むセンサ群を備える。また、ユーザ端末１０は、画像を表示するディスプレイ１４、および、音声を出力するスピーカ１５（イヤフォンスピーカを含む）を含む出力デバイスを備える。ユーザ端末１０は、これらセンサ群や出力デバイスのほか、ソフトウェアに基づいて各種の処理を実行するコンピュータシステムや、サーバ２０などの外部装置と通信するための通信モジュールなどを備えるが、図２では、これらの図示は省略している。
　ユーザ端末１０は、サーバ２０に接続されると、測位センサ１１により計測された現在位置（ユーザの現在位置）、カメラ１２により撮像された現在位置の周辺環境の画像、マイク１３により収録された音声などの情報を、ネットワークを介してサーバ２０に随時送信する。また、ユーザ端末１０は、サーバ２０により生成されたガイド情報をネットワークを介して受信して、ディスプレイ１４やスピーカ１５などの出力デバイスにより出力する。
　ユーザ端末１０の一例としては、スマートフォンが挙げられる。ユーザ端末１０としてスマートフォンを用いる場合、図１に示したように、カメラ１２により撮像された現在位置の周辺環境の画像がディスプレイ１４に表示され、この画像上にサーバ２０により生成された視覚的なガイド情報が重畳される。また、音声によるガイド情報は、スピーカ１５から出力される。
　また、ユーザ端末１０は、ユーザの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head　Mounted　Display）として構成されていてもよい。非透過型ＨＭＤの場合は、スマートフォンと同様に、カメラ１２により撮像された現在位置の周辺環境の画像がメガネレンズ部分に相当するディスプレイ１４に表示され、この画像上にサーバ２０により生成された視覚的なガイド情報が重畳される。一方、透過型ＨＭＤの場合は、現在位置の周辺環境からの実際の光学像が、メガネレンズ部分に相当するディスプレイ１４を透過してユーザに視認されるが、このディスプレイ１４を透過する周辺環境からの光学像上に重ね合わせるように、サーバ２０により生成された視覚的なガイド情報が重畳される。音声によるガイド情報は、スピーカ１５から出力される。
　また、ユーザ端末１０は、ディスプレイ１４としてヘッドアップディスプレイ（ＨＵＤ：Head　Up　Display）を備えた車載システムとして構成されていてもよい。この場合、現在位置の周辺環境からの実際の光学像が、車両のフロントガラスを透過してユーザ（車両のドライバ）に視認されるが、このフロントガラスを透過する周辺環境からの光学像上に重ね合わせるように、サーバ２０により生成された視覚的なガイド情報がＨＵＤによってフロントガラスに投影表示される。音声によるガイド情報は、スピーカ１５から出力される。
　なお、以上例示したものに限らず、現在位置と周辺環境をセンシングする機能と、サーバ２０により生成されたガイド情報を出力する機能とを備えた情報機器であれば、いずれもユーザ端末１０として利用することができる。以下では、ユーザ端末１０がスマートフォンである場合を想定して説明を続ける。
　サーバ２０は、実施形態に係る移動支援システムに特有のサービスを提供するサーバコンピュータである。このサーバ２０は、ユーザ端末１０と連携してユーザの移動を支援するための機能部として、図２に示すように、認識部２１と、ガイド制御部２２と、変化検出部２３とを備える。また、サーバ２０は、ガイド制御部２２や変化検出部２３での処理に必要な情報を保持するデータベースとして、ガイド制御部２２が参照するユーザＤＢ２４と、変化検出部２３が参照する履歴ＤＢ２５とを備える。
　認識部２１は、ユーザの現在位置の周辺環境を認識する機能部である。例えば、認識部２１は、ユーザ端末１０のカメラ１２により撮像された現在位置の周辺環境の画像に対して画像認識処理を行い、画像中のオブジェクトや文字などを認識する。また、認識部２１は、ユーザ端末１０のマイク１３により収録された音声に対して音声認識処理を行い、音声をテキストに変換する。
　認識部２１がユーザの現在位置の周辺環境を認識するための認識アルゴリズムは特に限定されるものではなく、既知の認識アルゴリズムを利用すればよい。例えば、認識部２１として、深層学習（ＤＬ：Deep　Learning）によってガイド情報の生成に有用な情報を出力するようにトレーニングされたＤＮＮ（Deep　Neural　Network）を用い、カメラ１２により撮像された画像やマイク１３により収録された音声をＤＮＮに入力し、このＤＮＮの出力を認識結果として得る構成であってもよい。
　ガイド制御部２２は、認識部２１の認識結果を用いてユーザの特性に応じたガイド情報を生成し、ユーザ端末１０のディスプレイ１４やスピーカ１５などの出力デバイスに出力させる機能部である。特にこのガイド制御部２２は、後述の変化検出部２３によって現在位置の周辺環境において変化した部分が検出された場合は、この変化した部分をユーザに認識させる情報を含むガイド情報を生成し、ユーザ端末１０のディスプレイ１４やスピーカ１５などの出力デバイスに出力させる。
　図３は、ガイド制御部２２の構成例を示すブロック図である。ガイド制御部２２は、例えば図３に示すように、ルート判定部２２ａと、ガイド情報生成部２２ｂと、出力制御部２２ｃとを備える。
　ルート判定部２２ａは、ユーザ端末１０の測位センサ１１により計測された現在位置と、ユーザにより設定された目的地とに基づいて、現在位置から目的地までの最適ルートを判定する。この際、ルート判定部２２ａは、最適ルートを判定するために必要な地図データや公共交通機関の運行情報などを、外部サーバ３０から取得してもよい。目的地は、例えばユーザ端末１０がサーバ２０に接続されて移動支援のサービスが開始されたときにユーザにより設定され、ユーザＤＢ２４が保持するユーザデータテーブルに記録される。
　ユーザＤＢ２４が保持するユーザデータテーブルの一例を図４に示す。この図４に示すユーザデータテーブル４１には、ユーザ登録時にユーザによって指定されたユーザの特性と、移動支援のサービス開始時にユーザによって設定された目的地とが、ユーザＩＤに対応付けられて記録されている。ルート判定部２２ａは、ユーザＩＤをキーとしてユーザデータテーブル４１を検索することにより、ユーザの目的地を把握することができる。
　ガイド情報生成部２２ｂは、認識部２１の認識結果を用いて、ルート判定部２２ａにより判定された最適ルートに従ってユーザを目的地に誘導するためのガイド情報を生成する。ガイド情報は、上述したように、認識部２１の認識結果を用いて生成することができる様々な情報を含むが、本実施形態におけるガイド情報生成部２２ｂは、ユーザの特性に応じて有用性が高いと想定されるガイド情報を生成する。
　また、出力制御部２２ｃは、ガイド情報生成部２２ｂによって生成されたガイド情報を、ユーザの特性に応じた出力方法で、ユーザ端末１０のディスプレイ１４やスピーカ１５などの出力デバイスに出力させる。
　ユーザの特性としては、例えば、視聴覚の能力を示す特性（全盲、弱視、近視、色覚障がい、聴覚障害など）、視点高さを示す特性（子供、低身長の成人など）、国籍を示す特性（外国人など）、道に迷いやすいか否かなどが挙げられる。このようなユーザの特性は、上述のようにユーザ登録時にユーザによって指定され、ユーザＤＢ２４が保持するユーザデータテーブル４１（図４参照）に記録される。ガイド情報生成部２２ｂおよび出力制御部２２ｃは、ユーザＩＤをキーとしてユーザデータテーブル４１を検索することにより、ユーザの特性を把握することができる。
　ガイド情報生成部２２ｂおよび出力制御部２２ｃは、例えば、事前に定義されたガイド情報生成ルールに従って、ユーザの特性に応じたガイド情報を生成して、ユーザ端末１０の出力デバイスに出力させることができる。ガイド情報生成ルールは、ユーザの特性に応じて有用性が高いと想定されるガイド情報の態様を定義したルールである。ユーザの特性に応じたガイド情報の生成および出力の具体的な例を以下に示す。
　例えば、ユーザの特性が視覚障害（全盲）の場合、ガイド情報生成部２２ｂは、認識部２１の認識結果を用いて、例えば、ユーザが移動している道路上の障害物や道路の状態などを説明する音声、建物の入口の位置を説明する音声、標識や案内板などの文字を読み上げる音声などを、ユーザ特性に応じたガイド情報として優先的に生成する。そして、出力制御部２２ｃは、これらガイド情報生成部２２ｂによってガイド情報として生成された音声を、ユーザ端末１０のスピーカ１５から出力させる。
　また、ユーザの特性が近視や弱視などの場合、ガイド情報生成部２２ｂは、認識部２１の認識結果を用いて、例えば、標識や案内板などの小さい文字を拡大したテキストやこれらの文字を読み上げる音声などを、ユーザ特性に応じたガイド情報として優先的に生成する。そして、出力制御部２２ｃは、ガイド情報生成部２２ｂによってガイド情報として生成されたテキストを、ユーザ端末１０のディスプレイ１４に表示されている現在位置の周辺環境の画像上で、標識や案内板などが映る領域上に重畳して表示させるとともに、ガイド情報生成部２２ｂによってガイド情報として生成された音声を、ユーザ端末１０のスピーカ１５から出力させる。
　また、ユーザの特性が色覚障害の場合、ガイド情報生成部２２ｂは、認識部２１の認識結果を用いて、例えば、目印となるオブジェクトを用いてユーザを目的地に誘導するための音声をガイド情報として生成する際に、見分けにくい色によるオブジェクトの説明を、オブジェクトの形状などを用いた説明に置き換えて生成する。具体的には、例えば「ピンクと水色の看板を右に曲がります」といった音声を生成する代わりに、「縞模様のＸＸＸと書かれた看板を右に曲がります」といった音声を、ユーザ特性に応じたガイド情報として生成する。そして、出力制御部２２ｃは、ガイド情報生成部２２ｂによってガイド情報として生成された音声を、ユーザ端末１０のスピーカ１５から出力させる。
　また、ユーザの特性が聴覚障害の場合、ガイド情報生成部２２ｂは、認識部２１の認識結果を用いて、例えば、ユーザ端末１０のマイク１３により収録された音声の内容を説明するテキストなどを、ユーザ特性に応じたガイド情報として生成する。そして、出力制御部２２ｃは、ガイド情報生成部２２ｂによってガイド情報として生成されたテキストを、ユーザ端末１０のディスプレイ１４に表示されている現在位置の周辺環境の画像上に重畳して表示させる。
　また、ユーザの特性が子供や低身長の成人の場合、ガイド情報生成部２２ｂは、認識部２１の認識結果を用いて、例えば、ユーザの目に入り易い低い位置にあるオブジェクトを目印としてユーザを目的地に誘導するための音声を、ユーザの特性に応じたガイド情報として優先的に生成する。また、ガイド情報生成部２２ｂは、視野を上に上げることを促す音声をガイド情報として生成した後に、比較的高い位置にあるオブジェクトを目印としてユーザを目的地に誘導するための音声などをガイド情報として生成してもよい。そして、出力制御部２２ｃは、ガイド情報生成部２２ｂによってガイド情報として生成された音声を、ユーザ端末１０のスピーカ１５から出力させる。
　また、ユーザの特性が外国人の場合、ガイド情報生成部２２ｂは、認識部２１の認識結果を用いて、例えば、ユーザの目的地に関連する標識や案内板などの文字を翻訳したテキストなどを、ユーザ特性に応じたガイド情報として優先的に生成する。そして、出力制御部２２ｃは、ガイド情報生成部２２ｂによってガイド情報として生成されたテキストを、ユーザ端末１０のディスプレイ１４に表示されている現在位置の周辺環境の画像上で、標識や案内板などが映る領域上に重畳して表示させる。
　また、ユーザの特性が道に迷いやすい人の場合、ガイド情報生成部２２ｂは、認識部２１の認識結果を用いて、例えば、繰り返し目印として用いているオブジェクトに注意を向けるためのマークや、繰り返し目印として用いているオブジェクトを用いてユーザを目的地に誘導するための音声などを、ユーザの特性に応じたガイド情報として優先的に生成する。そして、出力制御部２２ｃは、ガイド情報生成部２２ｂによってガイド情報として生成されたマークを、ユーザ端末１０のディスプレイ１４に表示されている現在位置の周辺環境の画像上で、目印となるオブジェクトが映る領域上に重畳して表示させるとともに、ガイド情報生成部２２ｂによってガイド情報として生成された音声を、ユーザ端末１０のスピーカ１５から出力させる。
　なお、以上説明した例は、ユーザの特性に応じたガイド情報の一態様であり、ユーザの特性に応じたガイド情報はこれらの例に限らない。ユーザの特性に応じたガイド情報は、例えばガイド情報生成ルールの定義によって最適化されればよく、上述した例のほかにも様々な態様をとることができる。また、ユーザの特性に応じて有用性が高いと想定されるガイド情報に優先順位を付け、優先順位に従って生成や出力を制御してもよい。
　また、ユーザが現在位置を過去に訪れたことがあると判定され、後述の変化検出部２３によって現在位置の周辺環境において変化した部分が検出された場合、ガイド情報生成部２２ｂは、その変化した部分をユーザに認識させる情報を含むガイド情報を生成し、出力制御部２２ｃがそのガイド情報をユーザ端末１０の出力デバイスに出力させる。
　変化検出部２３は、ユーザが現在位置を過去に訪れたことがあるか否かを判定し、訪れたことがあると判定した場合に、現在位置の周辺環境において変化した部分を検出する機能部である。変化検出部２３は、例えば、履歴ＤＢ２５が保持するユーザ移動履歴テーブルを用いて、ユーザが現在位置を過去に訪れたことがあるか否かを判定することができる。
　履歴ＤＢ２５が保持するユーザ移動履歴テーブルの一例を図５に示す。この図５に示すユーザ移動履歴テーブル４２は、登録されたユーザごとに生成され、履歴ＤＢ２５に格納される。登録されたユーザごとのユーザ移動履歴テーブル４２には、そのユーザが過去に訪れた位置の位置情報と、その位置の周辺環境を撮像した履歴画像と、その履歴画像が撮像された時刻とが対応付けて記録されている。
　このユーザ移動履歴テーブル４２は、例えば、ユーザが実施形態に係る移動支援システムを利用することにより生成される。すなわち、過去にユーザ端末１０の測位センサ１１により計測されてサーバ２０に送られた現在位置と、そのときにユーザ端末１０のカメラ１２により撮像されてサーバ２０に送られた画像とが、それぞれ、ユーザが過去に訪れた位置の位置情報およびその位置の周辺環境を撮像した履歴画像として、そのときの時刻と対応付けられてユーザ移動履歴テーブル４２に記録される。履歴画像は、連続したフレームにより構成される動画であってもよいし、動画から切り出された静止画であってもよい。
　変化検出部２３は、例えば、現時点でユーザ端末１０の測位センサ１１により計測されてサーバ２０に送られた現在位置と、現時点でユーザ端末１０のカメラ１２により撮像されてサーバ２０に送られた現在位置の周辺環境の画像とを取得する。そして、変化検出部２３は、履歴ＤＢ２５が保持するユーザ移動履歴テーブル４２のうち、現在位置と画像を送信したユーザ端末１０を使用しているユーザに対応するユーザ移動履歴テーブル４２を参照し、現在位置に相当する位置情報（つまり、現在位置と同じ場所と見做すことができる位置の位置情報）が、このユーザ移動履歴テーブル４２に記録されている位置情報に含まれている場合に、現在位置をユーザが過去に訪れたことがあると判定する。なお、カメラ１２により撮像された現在位置の周辺環境の画像にメタデータとして撮像場所を示す位置情報が付加されている場合には、測位センサ１１により計測された現在位置の代わりにその位置情報を用いて判定を行ってもよい。
　そして、ユーザが現在位置を過去に訪れたことがあると判定した場合、変化検出部２３は、取得した現在位置の周辺環境の画像（現時点でユーザ端末１０のカメラ１２により撮像された画像）と、現在位置に相当する位置情報に対応付けてユーザ移動履歴テーブル４２に記録されている履歴画像とに基づいて、現在位置の周辺環境においてユーザが現在位置を過去に訪れたときから変化した部分を検出する。
　例えば、変化検出部２３は、取得した画像と履歴画像とを画像中のランドマークなどを基準として位置合わせした上で照合する。そして、画像中の建物や標識、案内板など、動きのないオブジェクトに差が生じている場合に、その差を変化した部分として検出する。具体的には、例えば、ユーザが過去に現在位置を訪れたときと比べて、目印となるオブジェクトがなくなっていたり、遮蔽物ができている、入口の位置が変わっている、改装によって色や材質が変わっている、テナントが入れ替わっているなどの理由で、その目印となるオブジェクトの見え方が変化したり、新たに目印となるオブジェクトができていたりした場合に、それらが変化検出部２３によって検出される。
　なお、変化した部分の検出に用いる履歴画像は、必ずしも、そのユーザのユーザ移動履歴テーブル４２に記録されている履歴画像でなくてもよい。例えば、他のユーザのユーザ移動履歴テーブル４２を検索し、ユーザが過去に現在位置を訪れたときと近い時刻に現在位置に近い位置で撮像された他のユーザの履歴画像があれば、その履歴画像を用いて変化した部分を検出してもよい。また、ユーザが過去に現在位置を訪れたときと近い時刻に現在位置に近い位置で撮像された画像を外部サーバ３０などから取得し、これを履歴画像として用いて変化した部分を検出するようにしてもよい。
　ガイド制御部２２は、上述のように、ユーザの特性に応じたガイド情報を生成してユーザ端末１０の出力デバイスに出力させるが、変化検出部２３によって現在位置の周辺環境における変化した部分が検出された場合は、その変化した部分をユーザに認識させる情報を含むガイド情報を生成してユーザ端末１０の出力デバイスに出力させる。
　変化した部分をユーザに認識させるガイド情報の一例を図６に示す。この図６に示す例は、現在位置の周辺環境に、ユーザが過去に訪れたときはなかった臨時タクシー乗り場の方向を案内する案内板ができた場合を想定している。
　この場合、臨時タクシー乗り場の方向を案内する案内板が、変化検出部２３によって変化した部分として検出される。ガイド制御部２２のガイド情報生成部２２ｂは、例えば、変化検出部２３によって変化した部分として検出された案内板に注意を向けるためのマーク２０１や、「タクシー乗り場は直進です」といった案内板の内容を説明する音声２０２などを含むガイド情報を生成する。そして、出力制御部２２ｃは、ガイド情報生成部２２ｂによりガイド情報として生成されたマーク２０１を、ユーザ端末１０のディスプレイ１４に表示されている現在位置の周辺環境の画像上で、臨時タクシー乗り場の方向を案内する案内板を囲むように重畳して表示させるとともに、ガイド情報生成部２２ｂによりガイド情報として生成された音声２０２を、ユーザ端末１０のスピーカ１５から出力させる。
　なお、図６に示した例では、変化した部分として検出された案内板をユーザに認識させるためのマーク２０１や音声２０２などのガイド情報のみを図示しているが、これらのガイド情報のほかに、ユーザの特性に応じて生成された他のガイド情報をユーザ端末１０のディスプレイ１４に表示させたり、スピーカ１５から出力させたりしてもよい。また、変化した部分をユーザに認識させるためのガイド情報をユーザの特性に応じて生成したり、変化した部分をユーザに認識させるためのガイド情報をユーザの特性に応じた出力方法で、ユーザ端末１０の出力デバイスから出力させたりしてもよい。
　ところで、ユーザ端末１０の出力デバイスに出力させるガイド情報は、ユーザが目的地に移動する過程での状況変化などにも柔軟に対応できるようにすることが望ましい。例えば、ユーザが現在位置から目的地に移動するための最適ルートは上述のルート判定部２２ａによって随時判定されるが、この最適ルートが変化した場合、変化後の最適ルートに応じて、ユーザ端末１０の出力デバイスに出力させるガイド情報を更新することが望ましい。
　最適ルートの変化に応じて更新されるガイド情報の一例を図７に示す。この図７に示す例は、各種の移動手段の乗場の方向を案内する案内板をユーザが確認している状況で、目的地に移動するためにバスを利用するルートが最適ルートと判定されていたが、時間の経過によってバスが出発してしまったため、最適ルートがタクシーを利用するルートに変更された場合を想定している。
　この場合、ガイド制御部２２のガイド情報生成部２２ｂは、最適ルートが変更される前は、例えば、路線バスの乗場の方向を案内する案内板の表示部分に注意を向けるためのマーク３０１や、路線バスの乗場の方向を示すマーク３０２、「左に進み６番乗り場からあと２分で発車です」といった路線バスによる移動を促す音声３０３などのガイド情報を生成する。そして、出力制御部２２ｃは、ガイド情報生成部２２ｂによりガイド情報として生成されたマーク３０１，３０２を、ユーザ端末１０のディスプレイ１４に表示されている現在位置の周辺環境の画像上に重畳して表示させるとともに、ガイド情報生成部２２ｂによりガイド情報として生成された音声３０３を、ユーザ端末１０のスピーカ１５から出力させる。
　また、最適ルートが変更された後は、例えば、タクシー乗場の方向を案内する案内板の表示部分に注意を向けるためのマーク３０４や、タクシー乗場の方向を示すマーク３０５、「次のバスは２０分後なのでタクシーをお勧めします。タクシー乗り場は右５０ｍです」といったタクシーによる移動を促す音声３０６などのガイド情報を生成する。そして、出力制御部２２ｃは、ガイド情報生成部２２ｂによりガイド情報として生成されたマーク３０４，３０５を、ユーザ端末１０のディスプレイ１４に表示されている現在位置の周辺環境の画像上に重畳して表示させるとともに、ガイド情報生成部２２ｂによりガイド情報として生成された音声３０６を、ユーザ端末１０のスピーカ１５から出力させる。
　次に、実施形態に係る移動支援システムにおけるサーバ２０の動作の概要について、図８を参照して説明する。図８は、サーバ２０の処理手順を示すフローチャートであり、所定の認証処理などを経てユーザ端末１０がサーバ２０に接続され、ユーザにより目的地が設定された後に、サーバ２０によって所定周期で繰り返し実行される処理の流れを示している。ユーザ端末１０は、サーバ２０に接続された後、サーバ２０での処理周期に同期して、測位センサ１１により計測された現在位置、カメラ１２により撮像された現在位置の周辺環境の画像、マイク１３により収録された音声などをサーバ２０に随時送信するものとする。
　処理が開始されると、サーバ２０は、ユーザ端末１０から送信された現在位置、画像、音声を取得する（ステップＳ１０１）。
　次に、認識部２１が、ユーザ端末１０から送信された画像や音声に対して認識処理を行い、認識結果をガイド制御部２２に渡す（ステップＳ１０２）。また、変化検出部２３が、履歴ＤＢ２５に保持されたユーザ移動履歴テーブル４２を参照し、ユーザが現在位置を過去に訪れたことがあるか否かを判定する（ステップＳ１０３）。
　ここで、ユーザが現在位置を過去に訪れたことがないと判定された場合は（ステップＳ１０３：Ｎｏ）、ガイド制御部２２が、ユーザＤＢ２４に保持されたユーザデータテーブル４１を参照してユーザの特性を把握し、認識部２１による認識結果を用いて、ユーザの特性に応じたガイド情報を生成し（ステップＳ１０４）、ステップＳ１０７に進む。
　一方、ステップＳ１０３でユーザが現在位置を過去に訪れたことがあると判定された場合は（ステップＳ１０３：Ｙｅｓ）、変化検出部２３が、ユーザ端末１０から送信された画像と、履歴ＤＢ２５に保持されたユーザ移動履歴テーブル４２に記録された履歴画像とに基づいて、現在位置の周辺環境における変化した部分を検出する（ステップＳ１０５）。そして、ガイド制御部２２が、ユーザＤＢ２４に保持されたユーザデータテーブル４１を参照してユーザの特性を把握し、認識部２１による認識結果を用いて、変化した部分をユーザに認識させる情報を含む、ユーザの特性に応じたガイド情報を生成する（ステップＳ１０６）。
　そして、ガイド制御部２２は、ステップＳ１０４またはステップＳ１０６で生成したガイド情報を、ユーザの特性に応じた出力方法でユーザ端末１０のディスプレイ１４やスピーカ１５などの出力デバイスに出力させ（ステップＳ１０７）、処理を終了する。
　以上、具体的な例を挙げながら詳細に説明したように、実施形態に係る移動支援システムによれば、サーバ２０が、ユーザの現在位置の周辺環境を認識した認識結果を用いてユーザの特性に応じたガイド情報を生成し、ユーザ端末１０の出力デバイスに出力させる。この際、サーバ２０は、ユーザが現在位置を過去に訪れたことがあるか否かを判定し、訪れたことがあると判定した場合は、現在位置の周辺環境において変化した部分を検出する。そして、変化した部分をユーザに認識させる情報を含むガイド情報を生成して、ユーザ端末１０の出力デバイスに表示させる。したがって、実施形態に係る移動支援システムによれば、ユーザにとって有用性が高いガイド情報を提示して、ユーザの移動を適切に支援することができる。
　また、実施形態に係る移動支援システムによれば、サーバ２０が、ユーザが過去に訪れた位置の位置情報と該位置の周辺環境を撮像した履歴画像とを対応付けたユーザ移動履歴テーブル４２を保持する。そして、現在位置に相当する位置情報がユーザ移動履歴テーブル４２に含まれている場合に、ユーザが現在位置を過去に訪れたことがあると判定し、現在位置の周辺環境を撮像した画像と履歴画像とを照合して、変化した部分を検出するようにしている。したがって、実施形態に係る移動支援システムによれば、ユーザが現在位置を過去に訪れたことがあるか否かを的確かつ簡便に判定し、変化した部分の検出も容易に行うことができる。
　また、実施形態に係る移動支援システムによれば、サーバ２０が、ユーザの特性に応じて生成したガイド情報をユーザの特性に応じた出力方法でユーザ端末１０の出力デバイスに出力させるようにしているので、ユーザにとって有用性が高いガイド情報をユーザに分かり易く提示することができる。
　また、実施形態に係る移動支援システムによれば、サーバ２０が、ユーザを目的地に誘導するためのガイド情報を生成し、目的地までの最適ルートが変化した場合は、変化後の最適ルートに応じてガイド情報を更新するようにしているので、ユーザが目的地に移動する過程での状況変化に柔軟に対応して適切にガイド情報を提示することができる。
［３．変形例］
　なお、上述の実施形態に係る移動支援システムは、様々な変形を加えて実施することができる。例えば、ユーザ端末１０の出力デバイスの状態をサーバ２０側で管理し、ユーザ端末１０のディスプレイ１４に異常が発生した場合に、ディスプレイ１４に表示させるガイド情報の態様を音声に変更してスピーカ１５から出力させるようにしてもよい。あるいは、ユーザ端末１０のスピーカ１５に異常が発生した場合に、スピーカ１５から出力させるガイド情報の態様をテキストに変換し、ディスプレイ１４に表示させるようにしてもよい。
　また、ユーザ端末１０のセンサ群の状態をサーバ２０側で管理し、ユーザ端末１０のカメラ１２に異常が発生した場合は、マイク１３で収録された音声を中心に現在位置の周辺環境の認識を行うようにしてもよい。あるいは、ユーザ端末１０のマイク１３に異常が発生した場合は、カメラ１２により撮像された画像を中心に現在位置の周辺環境の認識を行うようにしてもよい。
　また、ユーザの特性が聴覚障害である場合は、ユーザ端末１０のマイク１３で複数のアナウンス音声が収録されたときに、これら複数のアナウンス音声のうちでユーザに有用な情報と推定される音声を抽出し、大きな音量でスピーカ１５から出力させるようにしてもよい。また、ユーザ端末１０のマイク１３で収録された複数のアナウンス音声のうち、ユーザに有用な情報と推定される音声をテキストに変換して、ガイド情報としてディスプレイ１４に表示させるようにしてもよい。
　また、例えば、現在位置の周辺環境が暗く、ユーザが案内板の文字などを目視により確認することが難しい状況の場合は、ユーザ端末１０のカメラ１２により撮像された画像内で暗くて見落とし易い文字などを認識した結果のテキストを、ガイド情報としてディスプレイ１４に優先的に表示させるようにしてもよい。
　また、現在位置の周辺環境における変化した部分をユーザに認識させるガイド情報を提示するにあたり、例えば雨天によりドアが閉められているなど、天候などの環境条件の違いによって変化が生じていることの説明を加えたガイド情報を生成し、ユーザ端末１０の出力デバイスに出力させるようにしてもよい。
　また、現在位置の周辺環境を認識できず、認識結果を用いたガイド情報を提示できない場合は、例えば現在位置の周辺の交番や案内所など、ユーザの移動に有用な情報が得られる場所にユーザを誘導するガイド情報を生成し、ユーザ端末１０の出力デバイスに出力させるようにしてもよい。
　また、各ユーザに対して提示したガイド情報を位置情報と対応付けて保持しておき、あるユーザに対してガイド情報を提示するに際し、そのユーザと特性が共通する別のユーザに対して同じ場所で提示したガイド情報をそのまま提示するようにしてもよい。
　また、あるユーザに対してガイド情報を提示する際に周辺環境における変化した部分を検出した場合、その変化した部分を示す情報を位置情報と対応付けて保持しておき、他のユーザに対して周辺環境における変化した部分を認識させる情報を含むガイド情報を提示するに際し、先に検出されて保持されている変化した部分を示す情報を用いて、周辺環境における変化した部分を認識させる情報を含むガイド情報を提示するようにしてもよい。
　また、ユーザに視覚的なガイド情報を提示する際に、ユーザの特性に関わらず、周辺環境を認識した認識結果を用いて生成され得る全てのガイド情報をユーザ端末１０のディスプレイ１４に表示させ、これらガイド情報のうちで、ユーザの特性に応じて有用性が高いと推定されるガイド情報を視覚的に目立たせるハイライト表現を用いて表示させるようにしてもよい。あるいは、ユーザの特性に応じて有用性が高いと推定されるガイド情報を視覚的に目立たせる代わりに、ユーザの特性に応じて有用性が高いと推定されるガイド情報以外を視覚的に目立たなくさせるようにしてもよい。
　また、ユーザに視覚的なガイド情報を提示する際に、例えば「全部出して」といった音声コマンドが入力された場合や、動作モードとして「全情報表示」モードが選択されている場合は、ユーザの特性に関わらず、周辺環境を認識した認識結果を用いて生成され得る全てのガイド情報をユーザ端末１０のディスプレイ１４に表示させるようにしてもよい。
　その他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、上述の認識部２１とガイド制御部２２と変化検出部２３は、いずれかの機能が分散あるいは統合されていてもよい。
　また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
［４．ハードウェア構成例］
　上述の実施形態に係る移動支援システムにおけるサーバ２０は、例えば図９に示すような構成のコンピュータ１０００を用いて実現される。図９は、サーバ２０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）などのブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラムなどを格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを非一時的に記憶する、コンピュータ１０００が読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例として、本開示に係るサーバ２０の認識部２１、ガイド制御部２２および変化検出部２３の機能をコンピュータ１０００に実現させるためのプログラムを記憶する。また、ＨＤＤ１４００には、本開示に係るサーバ２０のユーザＤＢ２４および履歴ＤＢ２５が構築される。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、タッチスクリーンなどの入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカなどの出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラムなどを読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）などの光学記録媒体、ＭＯ（Magneto-Optical　disk）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。
　例えば、コンピュータ１０００がサーバ２０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、認識部２１、ガイド制御部２２および変化検出部２３の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、ユーザＤＢ２４内のユーザデータテーブル４１、履歴ＤＢ２５内のユーザ移動履歴テーブル４２などが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
［５．補足］
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザの現在位置の周辺環境を認識する認識部と、
　前記認識部の認識結果を用いて前記ユーザの特性に応じたガイド情報を生成し、出力デバイスに出力させるガイド制御部と、
　前記ユーザが前記現在位置を過去に訪れたことがあると判定した場合に、前記現在位置の周辺環境において変化した部分を検出する変化検出部と、を備え、
　前記ガイド制御部は、前記変化検出部が前記変化した部分を検出した場合は、前記変化した部分を前記ユーザに認識させる情報を含む前記ガイド情報を生成する
　情報処理装置。
（２）
　前記変化検出部は、前記現在位置の周辺環境を撮像した画像と、過去に前記現在位置の周辺環境を撮像した履歴画像とに基づいて、前記変化した部分を検出する
　前記（１）に記載の情報処理装置。
（３）
　前記変化検出部は、現在位置と前記履歴画像に対応付けられた位置情報とに基づいて、前記ユーザが前記現在位置を過去に訪れたことがあるか否かを判定する
　前記（２）に記載の情報処理装置。
（４）
　前記ガイド制御部は、前記ユーザの特性に応じた出力方法で、前記ガイド情報を前記出力デバイスに出力させる
　前記（１）乃至（３）のいずれか１つに記載の情報処理装置。
（５）
　前記出力方法は、表示による出力と音声による出力とを含む
　前記（４）に記載の情報処理装置。
（６）
　前記ガイド制御部は、前記ユーザを目的地に誘導するための前記ガイド情報を生成し、前記目的地までの最適ルートが変化した場合は、変化後の最適ルートに応じて前記ガイド情報を更新する
　前記（１）乃至（５）のいずれか１つに記載の情報処理装置。
（７）
　前記ユーザの特性は、視聴覚の能力を示す特性を含む
　前記（１）乃至（６）のいずれか１つに記載の情報処理装置。
（８）
　前記ユーザの特性は、視点高さを示す特性を含む
　前記（１）乃至（７）のいずれか１つに記載の情報処理装置。
（９）
　前記ユーザの特性は、国籍を示す特性を含む
　前記（１）乃至（８）のいずれか１つに記載の情報処理装置。
（１０）
　前記ユーザの特性は、道に迷いやすいか否かを含む
　前記（１）乃至（９）のいずれか１つに記載の情報処理装置。
（１１）
　情報処理装置において実行される情報処理方法であって、
　ユーザの現在位置の周辺環境を認識する認識ステップと、
　前記認識部の認識結果を用いて前記ユーザの特性に応じたガイド情報を生成し、出力デバイスに出力させるガイド制御ステップと、
　前記ユーザが前記現在位置を過去に訪れたことがあると判定した場合に、前記現在位置の周辺環境において変化した部分を検出する変化検出ステップと、を含み、
　前記ガイド制御ステップは、前記変化検出ステップで前記変化した部分が検出された場合は、前記変化した部分を前記ユーザに認識させる情報を含む前記ガイド情報を生成する
　情報処理方法。
（１２）
　コンピュータに、
　ユーザの現在位置の周辺環境を認識する認識部の機能と、
　前記認識部の認識結果を用いて前記ユーザの特性に応じたガイド情報を生成し、出力デバイスに出力させるガイド制御部の機能と、
　前記ユーザが前記現在位置を過去に訪れたことがあると判定した場合に、前記現在位置の周辺環境において変化した部分を検出する変化検出部の機能と、を実現させ、
　前記ガイド制御部は、前記変化検出部が前記変化した部分を検出した場合は、前記変化した部分を前記ユーザに認識させる情報を含む前記ガイド情報を生成する
　プログラム。
　１０　ユーザ端末
　１１　測位センサ
　１２　カメラ
　１３　マイク
　１４　ディスプレイ
　１５　スピーカ
　２０　サーバ
　２１　認識部
　２２　ガイド制御部
　２３　変化検出部
　２４　ユーザＤＢ
　２５　履歴ＤＢ

Claims (12)

  1. 　ユーザの現在位置の周辺環境を認識する認識部と、
    　前記認識部の認識結果を用いて前記ユーザの特性に応じたガイド情報を生成し、出力デバイスに出力させるガイド制御部と、
    　前記ユーザが前記現在位置を過去に訪れたことがあると判定した場合に、前記現在位置の周辺環境において変化した部分を検出する変化検出部と、を備え、
    　前記ガイド制御部は、前記変化検出部が前記変化した部分を検出した場合は、前記変化した部分を前記ユーザに認識させる情報を含む前記ガイド情報を生成する
    　情報処理装置。
  2. 　前記変化検出部は、前記現在位置の周辺環境を撮像した画像と、過去に前記現在位置の周辺環境を撮像した履歴画像とに基づいて、前記変化した部分を検出する
    　請求項１に記載の情報処理装置。
  3. 　前記変化検出部は、現在位置と前記履歴画像に対応付けられた位置情報とに基づいて、前記ユーザが前記現在位置を過去に訪れたことがあるか否かを判定する
    　請求項２に記載の情報処理装置。
  4. 　前記ガイド制御部は、前記ユーザの特性に応じた出力方法で、前記ガイド情報を前記出力デバイスに出力させる
    　請求項１に記載の情報処理装置。
  5. 　前記出力方法は、表示による出力と音声による出力とを含む
    　請求項４に記載の情報処理装置。
  6. 　前記ガイド制御部は、前記ユーザを目的地に誘導するための前記ガイド情報を生成し、前記目的地までの最適ルートが変化した場合は、変化後の最適ルートに応じて前記ガイド情報を更新する
    　請求項１に記載の情報処理装置。
  7. 　前記ユーザの特性は、視聴覚の能力を示す特性を含む
    　請求項１に記載の情報処理装置。
  8. 　前記ユーザの特性は、視点高さを示す特性を含む
    　請求項１に記載の情報処理装置。
  9. 　前記ユーザの特性は、国籍を示す特性を含む
    　請求項１に記載の情報処理装置。
  10. 　前記ユーザの特性は、道に迷いやすいか否かを含む
    　請求項１に記載の情報処理装置。
  11. 　情報処理装置において実行される情報処理方法であって、
    　ユーザの現在位置の周辺環境を認識する認識ステップと、
    　前記認識ステップの認識結果を用いて前記ユーザの特性に応じたガイド情報を生成し、出力デバイスに出力させるガイド制御ステップと、
    　前記ユーザが前記現在位置を過去に訪れたことがあると判定した場合に、前記現在位置の周辺環境において変化した部分を検出する変化検出ステップと、を含み、
    　前記ガイド制御ステップは、前記変化検出ステップで前記変化した部分が検出された場合は、前記変化した部分を前記ユーザに認識させる情報を含む前記ガイド情報を生成する
    　情報処理方法。
  12. 　コンピュータに、
    　ユーザの現在位置の周辺環境を認識する認識部の機能と、
    　前記認識部の認識結果を用いて前記ユーザの特性に応じたガイド情報を生成し、出力デバイスに出力させるガイド制御部の機能と、
    　前記ユーザが前記現在位置を過去に訪れたことがあると判定した場合に、前記現在位置の周辺環境において変化した部分を検出する変化検出部の機能と、を実現させ、
    　前記ガイド制御部は、前記変化検出部が前記変化した部分を検出した場合は、前記変化した部分を前記ユーザに認識させる情報を含む前記ガイド情報を生成する
    　プログラム。
PCT/JP2020/015185 2019-06-11 2020-04-02 情報処理装置、情報処理方法およびプログラム WO2020250549A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/615,459 US20220228879A1 (en) 2019-06-11 2020-04-02 Information processing device, information processing method, and program
JP2021525923A JP7359208B2 (ja) 2019-06-11 2020-04-02 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-108329 2019-06-11
JP2019108329 2019-06-11

Publications (1)

Publication Number Publication Date
WO2020250549A1 true WO2020250549A1 (ja) 2020-12-17

Family

ID=73782146

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015185 WO2020250549A1 (ja) 2019-06-11 2020-04-02 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20220228879A1 (ja)
JP (1) JP7359208B2 (ja)
WO (1) WO2020250549A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023241A (ja) * 2004-07-09 2006-01-26 Aisin Aw Co Ltd ナビゲーション装置
JP2014508596A (ja) * 2011-02-24 2014-04-10 アイシス イノベーション リミテッド 視覚障害を有する個人のための光学装置
JP2016143060A (ja) * 2015-01-30 2016-08-08 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 視覚補助装置及びオブジェクトの分類の検出方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3703297B2 (ja) * 1998-04-27 2005-10-05 株式会社日立製作所 地理情報データ管理方法
CA2559726C (en) * 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
JP4471777B2 (ja) * 2004-08-19 2010-06-02 北陸電力株式会社 サーベイメータ
US20070210937A1 (en) * 2005-04-21 2007-09-13 Microsoft Corporation Dynamic rendering of map information
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
JP2011243164A (ja) * 2010-05-21 2011-12-01 Mitsubishi Electric Engineering Co Ltd 画像記録管理装置
US9342998B2 (en) * 2010-11-16 2016-05-17 Microsoft Technology Licensing, Llc Techniques to annotate street view images with contextual information
KR20120095247A (ko) * 2011-02-18 2012-08-28 삼성전자주식회사 모바일 디바이스 및 그 정보 표시 방법
US8738638B1 (en) * 2011-04-06 2014-05-27 Google Inc. Map usage visualization
US9361283B2 (en) * 2011-11-30 2016-06-07 Google Inc. Method and system for projecting text onto surfaces in geographic imagery
US20140351064A1 (en) * 2013-05-24 2014-11-27 International Business Machines Corporation Directional Filmstrip Display in Street View
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US10012765B2 (en) * 2015-02-12 2018-07-03 International Business Machines Corporation Geographical condition prediction
US20190304026A1 (en) * 2018-03-28 2019-10-03 Betterview Marketplace, Inc. Property investigation system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023241A (ja) * 2004-07-09 2006-01-26 Aisin Aw Co Ltd ナビゲーション装置
JP2014508596A (ja) * 2011-02-24 2014-04-10 アイシス イノベーション リミテッド 視覚障害を有する個人のための光学装置
JP2016143060A (ja) * 2015-01-30 2016-08-08 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 視覚補助装置及びオブジェクトの分類の検出方法

Also Published As

Publication number Publication date
JPWO2020250549A1 (ja) 2020-12-17
US20220228879A1 (en) 2022-07-21
JP7359208B2 (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
US10960838B2 (en) Multi-sensor data fusion for automotive systems
US11371857B2 (en) Passenger profiles for autonomous vehicles
US9410818B2 (en) Navigation device
WO2018230688A1 (ja) エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム
CN111681651B (zh) 智能体装置、智能体***、服务器装置、智能体装置的控制方法及存储介质
JP2016090515A (ja) 情報表示装置、制御方法、プログラム、及び記憶媒体
CN111746435B (zh) 信息提供装置、信息提供方法及存储介质
JP2020154996A (ja) 情報処理システム、エージェントシステム、情報処理方法、およびプログラム
WO2020250549A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2021167823A (ja) 経路探索装置、制御方法、プログラム及び記憶媒体
JPWO2007072675A1 (ja) コンテンツ提示装置およびコンテンツ提示方法
US11302304B2 (en) Method for operating a sound output device of a motor vehicle using a voice-analysis and control device
CN111731320A (zh) 智能体***、智能体服务器及其控制方法、存储介质
Fink et al. The Autonomous Vehicle Assistant (AVA): Emerging technology design supporting blind and visually impaired travelers in autonomous transportation
US20200065856A1 (en) Information processing apparatus, information processing method, and non-transitory storage medium
JP2000203465A (ja) 情報記録装置
JP6667059B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2010085203A (ja) ナビゲーション装置及び案内誘導方法
JP6623657B2 (ja) 情報提供装置、情報提供システム及び情報提供方法
CN111661065A (zh) 智能体装置、智能体装置的控制方法及存储介质
US20230392936A1 (en) Method and apparatus for determining lingering communication indicators
JP2020160848A (ja) サーバ装置、情報提供システム、情報提供方法、およびプログラム
US11898870B2 (en) Apparatus and methods for providing a route using a map layer of one or more sound events
CN110709671A (zh) 信息处理设备、信息处理方法以及程序
TWI420077B (zh) 導航系統及其導航方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20823701

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021525923

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20823701

Country of ref document: EP

Kind code of ref document: A1