WO2021200187A1 - 携帯端末および情報処理方法、並びに記憶媒体 - Google Patents

携帯端末および情報処理方法、並びに記憶媒体 Download PDF

Info

Publication number
WO2021200187A1
WO2021200187A1 PCT/JP2021/010983 JP2021010983W WO2021200187A1 WO 2021200187 A1 WO2021200187 A1 WO 2021200187A1 JP 2021010983 W JP2021010983 W JP 2021010983W WO 2021200187 A1 WO2021200187 A1 WO 2021200187A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
control unit
scale
specified
map data
Prior art date
Application number
PCT/JP2021/010983
Other languages
English (en)
French (fr)
Inventor
育英 細田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021200187A1 publication Critical patent/WO2021200187A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram

Definitions

  • the present technology relates to a mobile terminal, an information processing method, and a storage medium, and more particularly to a mobile terminal, an information processing method, and a storage medium that make it easier to specify a position in real space.
  • UI User Interface
  • Patent Document 2 a UI (User Interface) for arranging a virtual object at a predetermined position in space based on, for example, distance, line of sight, gesture operation, etc. has also been proposed (see, for example, Patent Document 2).
  • GPS Global Positioning System
  • word-of-mouth information is arranged as a virtual object with respect to the current position.
  • the virtual object cannot be placed at a position away from the current position.
  • the position of the virtual object is defined as the coordinates of the global coordinate system.
  • a sensor for specifying a three-dimensional position specified by a user and a dedicated UI are required.
  • This technology was made in view of such a situation, and makes it easier to specify the position in the real space.
  • a mobile terminal on one side of the present technology includes a motion sensor, a position sensor, and a control unit.
  • the motion sensor is configured to detect a horizontal orientation and a vertical orientation.
  • the position sensor is configured to detect its own position in real space.
  • the control unit identifies one of the plurality of scales of the map data in the real space based on the vertical orientation, and the identified one scale, the self-position, and the self-position. It is configured to identify the first position of the map data based on the orientation in the horizontal direction.
  • the information processing method of one aspect of the present technology identifies one of a plurality of scales of the map data in the real space based on the vertical orientation detected by the motion sensor of the mobile terminal, and Identifying the position of the map data based on the one identified scale, the self-position in the real space detected by the position sensor of the mobile terminal, and the horizontal orientation detected by the motion sensor. including.
  • the storage medium of one aspect of the present technology includes a motion sensor configured to detect horizontal orientation and vertical orientation, and a position sensor configured to detect its own position in real space.
  • a program that causes a computer that controls a mobile terminal to execute a process including a plurality of steps is stored.
  • the plurality of steps include a step of specifying one of the plurality of scales of the map data in the real space based on the vertical orientation, the specified one scale, and the self-position. And the step of identifying the first position of the map data based on the horizontal orientation.
  • horizontal and vertical orientations are detected, self-positions are detected, and one of a plurality of scales of the map data is based on the vertical orientation.
  • a real space associated with the map data based on the specified one of the plurality of scales, the self-position information indicating the self-position, and the horizontal orientation. The position is specified.
  • the virtual objects mentioned here include not only 3DCG (Computer Graphics) objects, but also 2DCG objects including text information, 3D models using captured images, sound images (audio objects), and the like. That is, the virtual object may be an invisible object as long as it can be associated with (associate with) a specific position.
  • 3DCG Computer Graphics
  • 2DCG objects including text information, 3D models using captured images, sound images (audio objects), and the like. That is, the virtual object may be an invisible object as long as it can be associated with (associate with) a specific position.
  • virtual objects can be arranged three-dimensionally even in a space where the global coordinate system is not set by the AR (Augmented Reality) system.
  • the operation can be performed intuitively and easily.
  • the user can arrange virtual objects with a sense of distance on a world map scale.
  • the mobile terminal is, for example, a smartphone, a wearable terminal including a hand-held terminal (Hand-Held Terminal), and an HMD (Head Mounted Display), but the case where the mobile terminal is a smartphone will be described below.
  • control unit or a device including at least the control unit may be referred to as an information processing device.
  • a mobile terminal to which this technology is applied is configured as shown in FIG. 1, for example.
  • the mobile terminal 11 shown in FIG. 1 can be connected to an external device such as a server 12 via a network.
  • the mobile terminal 11 has a position sensor 21, a motion sensor 22, a control unit 23, a memory 24, a camera 25, a display 26, a communication device 27, and an input unit 28. Note that in FIG. 1, illustration of essential configurations such as a battery and a housing as a mobile terminal 11 is omitted as appropriate.
  • the camera 25 and the display 26 may be referred to as an image pickup device and a display device, respectively.
  • the position sensor 21 is composed of, for example, a GNSS (Global Navigation Satellite System) sensor, and positions the current position (self-position) of the mobile terminal 11, that is, the current position of the user who owns the mobile terminal 11, and indicates the positioning result.
  • the position information is supplied to the control unit 23.
  • GNSS Global Navigation Satellite System
  • the motion sensor 22 is composed of, for example, an IMU (Inertial Measurement Unit), measures the posture of the mobile terminal 11, and supplies the posture information indicating the measurement result to the control unit 23. For example, in the motion sensor 22, the horizontal direction and the vertical direction of the mobile terminal 11 with respect to the ground plane are detected (measured) as the posture of the mobile terminal 11.
  • IMU Inertial Measurement Unit
  • the control unit 23 is composed of, for example, a CPU (Central Processing Unit) or the like, that is, a processor, and controls the operation of the entire mobile terminal 11.
  • a CPU Central Processing Unit
  • the control unit 23 is composed of, for example, a CPU (Central Processing Unit) or the like, that is, a processor, and controls the operation of the entire mobile terminal 11.
  • the control unit 23 acquires posture information from a display control unit that controls the operation of the display 26, an imaging control unit that controls the operation of the camera 25, a position acquisition unit that acquires the current position information from the position sensor 21, and a motion sensor 22. It functions as a functional block of a posture acquisition unit, a communication unit that performs information communication with an external device such as a server 12 via a communication device 27, and the like.
  • control unit 23 acquires various data from the server 12 via the communication device 27.
  • the data acquired from the server 12 includes, for example, map data, virtual objects, and more specifically, presentation data such as image data and audio data for presenting virtual objects. These data may be acquired from the server 12 in real time, or may be downloaded in advance and stored in the memory 24.
  • the memory 24 is a non-volatile storage medium, and holds (stores) various data supplied from the control unit 23, and supplies the stored data to the control unit 23.
  • the camera 25 takes a picture of the surroundings of the mobile terminal 11 as a subject, and supplies the resulting image (image data, captured image) to the control unit 23.
  • the camera 25 may be a monocular camera or a multi-lens camera.
  • the display 26 is an output device and displays an image supplied from the control unit 23.
  • the communication device 27 communicates with the server 12 by a wireless LAN (Local Area Network) or the like according to the control by the control unit 23, and transmits the data supplied from the control unit 23 to the server 12 or has been transmitted from the server 12. It receives data and supplies it to the control unit 23.
  • a wireless LAN Local Area Network
  • the input unit 28 is composed of, for example, a touch panel, buttons, switches, microphones, etc., which are superposed on the display 26, and supplies a signal according to the user's operation or a signal obtained by collecting sound to the control unit 23.
  • the configuration of the mobile terminal 11 to which this technology is applied is not limited to the one shown in FIG. 1, and various configurations such as a geomagnetic sensor, an IR (Infrared) camera, and a polarization sensor may be combined.
  • a polarization sensor or an IR camera can function as a depth sensor for acquiring depth information.
  • the control unit 23 acquires the posture information indicating the horizontal direction and the vertical direction of the mobile terminal 11 detected by the motion sensor 22 from the motion sensor 22 in real time. Further, the control unit 23 acquires the current position information indicating the current position of the mobile terminal 11 detected by the position sensor 21 from the position sensor 21 in real time.
  • the control unit 23 is a three-dimensional position in real space, that is, a specific position in the global coordinate system, as described below with reference to FIGS. 2 and 3. Pointing (specifying).
  • control unit 23 is located at a position away from the mobile terminal 11 based on the yaw angle and pitch angle indicating the orientation of the mobile terminal 11 in the global coordinate system and the xyz coordinates (or latitude / longitude / altitude). Specify the coordinates.
  • control unit 23 specifies one of a plurality of predefined scales for each map data based on the vertical orientation (pitch angle) of the mobile terminal 11.
  • pitch angle is defined by, for example, a value of -90 degrees or more and 90 degrees or less.
  • the operation mode and scale of the mobile terminal 11 are selected (determined) by the vertical orientation (tilt) of the mobile terminal 11 indicated by the posture information, that is, the pitch angle. ..
  • the pitch angle of the mobile terminal 11 increases (increases)
  • a scale having a smaller scale is selected.
  • the pitch angle when the mobile terminal 11 is directed in the front direction is 0 degrees
  • the pitch angle when the mobile terminal 11 is directed directly upward is 90 degrees
  • the pitch angle when the terminal 11 is directly below, that is, toward the ground is set to -90 degrees.
  • the long-distance pointing mode that specifies (points) the position in the real space according to the scale is selected as the operation mode.
  • the long-distance pointing mode may be referred to as a first mode.
  • the scale SC1 is selected when the pitch angle of the mobile terminal 11 is 0 degrees or more and less than 15 degrees
  • the scale SC2 is selected when the pitch angle of the mobile terminal 11 is 15 degrees or more and less than 30 degrees. ..
  • the scale SC3 is selected
  • the scale SC4 is selected.
  • a position within the range that is close to the user and is visible in front of the user such as a range of 10 m to several tens of meters from the current position of the user (mobile terminal 11), is specified.
  • the position specified in the long-distance pointing mode is the position related to the virtual object such as the placement position of the virtual object specified by the user.
  • a virtual object specified by the user is placed at a position specified in the long-distance pointing mode, or a virtual object placed (associated) at a position specified in the long-distance pointing mode.
  • the virtual object is presented to the user.
  • the scale SC2 specifies a position several hundred meters to several kilometers away from the user's current position, such as a predetermined position in the city where the user is located. In other words, a position within a predetermined range (area) located at a distance of several hundred meters to several kilometers from the current position of the user is specified.
  • the position of a place several kilometers to several hundred kilometers away from the user's current position is specified, for example, a city, city, town, or prefecture different from the city, city, town, or prefecture where the user is located.
  • the position of a place several hundred kilometers or more away from the user's current position is specified.
  • the control unit 23 changes the distance from the current position to the specified position based on the change of the specified scale and pitch angle of one of the scales SC1 to SC3. More specifically, the rate of change of the distance with respect to the change of the pitch angle may be set to be larger as the specified scale is larger. That is, the change in distance from the current position based on the change in pitch angle is larger when a larger scale (second scale) is specified than when a smaller scale (first scale) is specified. growing.
  • the change in distance with respect to the change in pitch angle may be in a proportional relationship or in other increasing relationships. Further, the change in distance with respect to the change in pitch angle may be continuous or discontinuous.
  • the position is selected on the selected scale such as road name, place name, city name, country name, that is, the scale according to the pitch angle.
  • a plurality of specific points are generally set as data for each scale.
  • a specific point in the map data may be called a Point of Interest (POI).
  • POI Point of Interest
  • the control unit 23 can specify the POI of each scale.
  • the control unit 23 may specify the position (second position) of the map data corresponding to the POI (second point) closest to the first position instead of the first position.
  • the control unit 23 replaces the first position with the map data corresponding to the POI (third point) closest to the first position among the plurality of POIs between the first position and the current position.
  • a position (third position) may be specified. Note that the second and third points can be the same.
  • the normal operation mode is selected as the operation mode
  • the operation mode is set as the operation mode.
  • the short-range pointing mode is selected. That is, the control unit 23 dynamically switches between the long-distance pointing mode and the short-distance pointing mode according to the change in the pitch angle.
  • the long-distance pointing mode is set when the mobile terminal 11 is facing upward from the horizontal direction
  • the short-distance pointing mode is set when the mobile terminal 11 is facing downward from the horizontal direction. It may be regarded as.
  • the short-range pointing mode may be referred to as a second mode.
  • the user executes a normal function of the mobile terminal 11, such as shooting a still image or a moving image with the camera 25, UI operation, and listening to contents, that is, a function different from the pointing by the present technology. Can be done.
  • a virtual object is detected on a plane (hereinafter, also referred to as a short-distance plane) at a short distance from the mobile terminal 11 detected by a known plane detection method such as the feet of a user who owns the mobile terminal 11. Is placed and the virtual object is presented to the user. More specifically, the control unit 23 specifies a plane in real space based on the captured image.
  • a virtual object associated with a position on the short-distance plane is directly arranged on a short-distance plane such as the ground detected by the mobile terminal 11, and for example, on an image of the ground or the like corresponding to the short-distance plane.
  • the virtual object is superimposed on the corresponding position and displayed on the display 26.
  • the range to be detected on the short-distance plane is, for example, a range less than several meters from the mobile terminal 11. Further, whether to use the normal operation mode or the short-distance pointing mode may be selected not by, for example, the pitch angle of the mobile terminal 11, but by whether or not a short-distance plane is detected.
  • the -X degree which is the pitch angle for selecting the normal operation mode or the short-range pointing mode, may be a predetermined angle, or may be arbitrarily set to reflect the personal tendency of each user. It may be set (changed). However, it is desirable that the pitch angle "-X" is set to a small value in order to suppress the occurrence of a straight neck.
  • the range of pitch angles for which the normal operation mode is selected is the range of -X degrees or more and less than 0 degrees
  • the holding angle of the mobile terminal 11 when the user views the normal screen that is, UI operations and contents instead of pointing. This is the angle at which viewing is performed.
  • the holding angle of a general smartphone is about -30 degrees. If the angle when the display surface of the smartphone is perpendicular to the ground is regarded as 90 degrees, the holding angle of a general smartphone is 60 degrees.
  • the holding angle when viewing a normal screen that is, the pitch angle in the normal operation mode, is in the range of ⁇ 30 degrees (-60 degrees or more and 0) based on the normal holding angle of -30 degrees. It may be set to less than a degree).
  • the control unit 23 links to a specific position (point) on the map indicated by the map data, in other words, the map data. Specify (pointing) a specific position in the attached real space.
  • control unit 23 associates the virtual object with the designated (specified) position on the map, that is, the position on the map corresponding to the position in the real space. Specifically, the control unit 23 sets the designated position on the map as the placement position of the virtual object, or selects the virtual object at the designated position on the map as the virtual object to be presented at that position. ..
  • the yaw angle indicating the horizontal orientation of the mobile terminal 11 included in the current position information from the position sensor 21, the selected scale, and the posture information is used.
  • control unit 23 performs pointing as shown in FIG.
  • the control unit 23 determines the current position of the mobile terminal 11 on the map and the horizontal orientation of the mobile terminal 11 indicated by the posture information. Point to the position of the sidewalk or intersection in front of you. That is, the position where the sidewalk or the intersection is located is specified.
  • control unit 23 controls "Osaki” or "Shinagawa” based on the current position of the mobile terminal 11 and the horizontal orientation of the mobile terminal 11. Point to the location in the city where the user is.
  • the control unit 23 is "Akita” or "Aomori” based on the current position of the mobile terminal 11 and the horizontal orientation of the mobile terminal 11. Point to the location of a prefecture that is different from the prefecture where the user is.
  • the position pointed (designated) in the long-distance pointing mode will also be referred to as the designated position.
  • the position pointed by the control unit 23, that is, the pointing direction (pointing direction), which is determined by the horizontal orientation of the mobile terminal 11, may be set as a perfect straight line, simulating the influence of gravity. It may be set to draw a parabola.
  • the pointing direction is set as a perfect straight line, it may not be possible to point any real space plane when the pitch angle is 0 degrees or more.
  • a pointing direction for drawing a parabola which is determined by the pitch angle and yaw angle of the mobile terminal 11, is set (determined), and depending on the pointing direction, any global coordinate system is used without accurately pointing the horizontal plane.
  • the point is always specified (pointing).
  • the pointing direction of the parabolic shape in the global coordinate system indicating the position in the real space is determined based on the pitch angle and yaw angle of the mobile terminal 11 and the selected scale. Then, in the global coordinate system, the position pointed to by the pointing direction starting from the current position indicated by the current position information, that is, the position pointed to by the parabola corresponding to the pointing direction starting from the current position is specified. The specified position is set as the designated position.
  • the position (coordinates) in the global coordinate system that is, the position in the real space and the position on the map indicated by the map data are linked in advance. That is, the correspondence between the position on the global coordinate system and the position on the map is known.
  • the designated position in the global coordinate system is specified, it is possible to specify which point such as "Osaki" on the map the designated position is. That is, the designated position on the map can be specified.
  • control unit 23 knows the correspondence between the position in the global coordinate system and the position on the map indicated by the map data. Therefore, it is possible to specify the current position of the mobile terminal 11 on the map, the horizontal orientation, and the vertical orientation from the current position in the global coordinate system and the pitch angle and yaw angle of the mobile terminal 11 in the global coordinate system. can.
  • control unit 23 specifies the designated position on the map indicated by the map data based on the current position information, the attitude information, the selected scale, and the map data, and based on the specific result, the global coordinate system (real space). ) May be specified.
  • a mode for designating a specific position in the global coordinate system that is, a surface of a specific real object based on the pointing direction of such a parabolic shape may be referred to as a first operation mode.
  • control unit 23 may execute a mode in which the hollow is designated as the designated position (pointing position) as the second operation mode.
  • a designated position is set in the pointing direction, that is, a position on the pointing straight line that is separated from the mobile terminal 11 by a predetermined distance, and a virtual object is placed at the designated position.
  • the predetermined predetermined distance is defined to represent the absolute distance in the real space, such as 1 m, 10 m, 100 m, and 1 km, and it is preferable to set the larger as the scale of the map data becomes smaller.
  • the virtual object is always displayed regardless of the change in the current position or posture of the mobile terminal 11. It is set so that there is no change in the appearance.
  • the operation mode is the normal operation mode and the normal camera function is activated
  • the operation area R11-1 and the operation area R11 for the normal operation mode are displayed on the display screen of the display 26 as shown in FIG. -2 and a video-through image area R12 are provided.
  • the video-through image is defined as a captured image displayed in real time.
  • the display 26 is turned sideways, and the operation area R11-1 and the operation area R11-2 are provided at the left and right ends of the display screen of the display 26.
  • the area between the operation area R11-1 and the operation area R11-2 is the video through image area R12.
  • the operation area R11-1 and the operation area R11-2 it is also simply referred to as the operation area R11.
  • an operation UI in which icons (buttons) for capturing an image by the camera 25 and icons for performing various settings at the time of image capture are arranged is displayed, and the user can use the operation UI. It is possible to take an image by performing an operation on.
  • This video-through image is displayed for the user to confirm the angle of view and the like at the time of image shooting, and is shot by the camera 25.
  • the video-through image obtained by the camera 25 is supplied from the camera 25 to the display 26 via the control unit 23 and displayed in the video-through image area R12.
  • message MS11-1 and message MS11-2 which are GUIs (Graphical User Interface) indicating switching of the operation mode, are displayed superimposed on the video-through image.
  • message MS11-1 and message MS11-2 may be referred to as a first indicator and a second indicator, respectively.
  • the message MS11-1 is arranged at the upper part of the video-through image area R12
  • the message MS11-2 is arranged at the lower part of the video-through image area R12.
  • message MS11-1 indicates that tilting the mobile terminal 11 upward switches to the long-distance pointing mode
  • message MS11-2 indicates that tilting the mobile terminal 11 downward switches to the short-distance pointing mode. Shown.
  • message MS11-1 indicates that tilting the mobile terminal 11 upward switches to the long-distance pointing mode
  • message MS11-2 indicates that tilting the mobile terminal 11 downward switches to the short-distance pointing mode. Shown.
  • message MS11-1 indicates that tilting the mobile terminal 11 upward switches to the long-distance pointing mode
  • message MS11-2 indicates that tilting the mobile terminal 11 downward switches to the short-distance pointing mode.
  • FIG. 5 in the figure of the video-through image area R12, the vertically adjacent portions, that is, the portions of the region R21 and the region R22 and the portions of the region R23 and the region R24 are shown as a video in order to make the explanation easy to understand.
  • a real-space image that is not included as a subject in the through image is drawn with a dotted line.
  • the operation mode is the normal operation mode
  • the operation area R11 and the video through image area R12 are displayed on the display screen of the display 26 as in the example shown in FIG. It has become.
  • the operation mode automatically switches (transitions) from the normal operation mode to the long-distance pointing mode.
  • the control unit 23 switches the operation mode from the normal operation mode to the long-distance pointing mode.
  • the scale SC1 is selected in the long-distance pointing mode.
  • the entire display screen of the display 26 becomes the video-through image area R12, and the video-through image is displayed in the video-through image area R12. Further, in the video-through image area R12, the indicator IND11 including the horizontal axis and the vertical axis and the message MS11-3 indicating the switching of the operation mode are superimposed and displayed on the video-through image.
  • Message MS11-3 indicates that when the mobile terminal 11 is tilted downward, it switches to the normal operation mode.
  • message MS11-3 indicates that when the mobile terminal 11 is tilted downward, it switches to the normal operation mode.
  • message MS11-3 indicates that when the mobile terminal 11 is tilted downward, it switches to the normal operation mode.
  • the pointer for each scale in the long-distance pointing mode is displayed on the indicator IND11 along the horizontal axis and the vertical axis of the indicator IND11.
  • the triangles in the figure represent pointers, and each pointer aligned along the horizontal axis of the indicator IND11 indicates the position in real space on the currently selected scale SC1. ..
  • the pointers lined up along the vertical axis of the indicator IND11 indicate the position in real space on different scales. For example, a pointer with the character “Aomori” in the neighborhood indicates “Aomori”, which is the position in real space on the scale SC3.
  • the user has an "intersection" near his front, "Shinagawa” a little far from the front, “Aomori” far from the front, and a mobile terminal.
  • tilting 11 it is possible to instantly grasp that the position can be specified on a different scale. That is, the user can intuitively and easily perform the operation without knowing the UI operation of the long-distance pointing mode in detail.
  • a pointer whose display format such as color is different from that of other pointers is selected as a designated position, that is, a state in which a predetermined position (object) in the real space at the selected scale is pointed. It indicates that it is in a state of being.
  • the position of the "intersection" in front of the user is pointed by a pointer located near the intersection of the horizontal axis and the vertical axis of the indicator IND11 and having the character "intersection” written in the vicinity. It is in a state of being.
  • the color and shape of the horizontal axis and the vertical axis of the indicator IND11 are not particularly limited, and any color or shape may be used.
  • control unit 23 may dynamically select a color having high visibility according to the background color, that is, the color of the superposed video-through image, as the display color of the horizontal axis or the vertical axis.
  • the display color of the horizontal axis or the vertical axis may be a predetermined color (single color).
  • control unit 23 scales in the long-distance pointing mode. Select scale SC3 as.
  • control unit 23 displays, for example, the video-through image area R12 shown in FIG. 6 on the display 26.
  • the same reference numerals are given to the parts corresponding to the cases in FIG. 5, and the description thereof will be omitted as appropriate.
  • the indicator IND11 is displayed together with the video-through image in the video-through image area R12.
  • the position "Aomori" far away from the front of the user is pointed by the pointer near the intersection of the horizontal axis and the vertical axis and the character “Aomori” is written in the vicinity. ing.
  • This position "Aomori” is the position in real space on the selected scale SC3.
  • the control unit 23 sets the short-distance pointing mode as the operation mode. Is selected, and the screen shown in FIG. 7, for example, is displayed on the display 26.
  • a video-through image taken by the camera 25 is displayed on the display 26, and word-of-mouth information as a virtual object is displayed superimposed on the video-through image.
  • control unit 23 performs plane detection based on the video-through image obtained by the camera 25, and is associated with the detected position on the short-distance plane from the virtual objects acquired from the server 12. Select the one that exists (associates). Then, the control unit 23 supplies the selected virtual object to the display 26, and displays the virtual object at the corresponding position in the video through image.
  • the message MS11-1 and the message MS11-2 are displayed at the upper and lower ends of the video through image area R12, respectively. Is displayed.
  • the character "REMOTE POINTING" is written as the message MS11-1 displayed at the upper end, and the user can tilt the mobile terminal 11 upward from the character (text) and the display position of the message MS11-1. For example, it is possible to intuitively and easily grasp the switching to the long-distance pointing mode.
  • the user can intuitively and easily grasp that the display position of the message MS11-2 and the character "NEAR POINTING" are switched to the short-distance pointing mode by tilting the mobile terminal 11 downward. .. Further, with respect to the message MS11-3 shown in FIG. 5, the user can intuitively and easily grasp that the mobile terminal 11 is switched to the normal operation mode by tilting the mobile terminal 11 downward.
  • the operation modes such as the short-distance pointing mode, the normal operation mode, and the long-distance pointing mode are seamlessly switched according to the change in the pitch angle (tilt angle).
  • the message MS11 is for making the user recognize the switching of the operation mode, and the message MS11 is displayed superimposed on the video through image.
  • the message MS11 is composed of a rectangular area portion and a character (text) portion in the rectangular area portion.
  • the transmittance and color of the rectangular region of the message MS11 are changed as the pitch angle of the mobile terminal 11 increases, the user is informed in which direction and how much the mobile terminal 11 is tilted to switch the operation mode. Can be easily recognized.
  • the operation mode is the normal operation mode
  • the message MS11-1 and the message MS11-2 are displayed at the upper and lower ends of the video through image area R12, respectively.
  • the parts corresponding to the case in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the pitch angle of the mobile terminal 11 is -30 degrees (however, -30 ⁇ -X) in the normal operation mode.
  • the background part of the message MS11-1 that is, the rectangular area part is translucent, for example, with a transmittance of about 50% in order to ensure the visibility of the character (text) part. It is displayed in a single color.
  • the background part of the message MS11-1 is displayed in white, and the character part is displayed in black.
  • the user tilts the mobile terminal 11 upward, and the pitch angle becomes -15 degrees.
  • the overall transmittance of the background (rectangular area) of the message MS11-1 is 25%, the upper part of the background is blue, the lower part of the background is white, and the character part is white. Is displayed.
  • the area displayed in blue in the background portion of the message MS11-1 continuously increases as the pitch angle increases, and the transmittance of the background portion also decreases. To go.
  • the transmittance of the background portion of the message MS11-1 is 0%
  • the background portion is displayed in blue
  • the character portion is displayed in white. Switches to the long-distance pointing mode.
  • the transmittance decreases as the pitch angle increases, and the display color also continuously changes from white from the top to the bottom. It turns blue.
  • the color change mode at this time allows the user to intuitively and easily understand in which direction and how much the mobile terminal 11 should be tilted to switch the operation mode. That is, the user can intuitively and easily recognize the timing of switching the operation mode and the direction of the operation for switching the operation mode.
  • the user can intuitively recognize that the operation mode will soon switch to the long-distance pointing mode when the area displayed in blue in the background part of the message MS11-1 becomes large.
  • the user can recognize the timing of switching the operation mode and the like. It is possible to prevent the operation mode from being unintentionally switched due to a change in posture (tilt).
  • the rectangular area of the message MS11 was explicitly divided into a white area and a blue area, and the size of those areas changed according to the pitch angle.
  • the present invention is not limited to this, and for example, the color of the rectangular region portion may be changed in a gradation according to the pitch angle.
  • the operation mode lock function may be realized by operating the message MS11.
  • the operation mode is the normal operation mode and the user shoots with the camera 25, the user wants to shoot a subject diagonally above the user at an angle at which the pitch angle of the mobile terminal 11 is 0 degrees or more.
  • the operation mode is the normal operation mode and the user shoots with the camera 25
  • the user wants to shoot a subject diagonally above the user at an angle at which the pitch angle of the mobile terminal 11 is 0 degrees or more.
  • FIG. 9 when the user swipes the message MS11, the display of the message MS11 is deleted, and the automatic switching (transition) of the operation mode is temporarily disabled. You may do it.
  • the parts corresponding to the case in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the display of the message MS11-1 is deleted and the switching to the long-distance pointing mode is temporarily disabled.
  • the arrows in the figure indicate the swipe direction when temporarily canceling the switching of the operation mode, and are not actually displayed.
  • the user swipes message MS11-2 to the right, left, or down in the figure to remove the display of message MS11-2 and temporarily disable switching to short-range pointing mode. You may do so.
  • the operation mode switching is invalidated. May be automatically canceled. By doing so, it is possible to realize seamless operability according to the change of the pitch angle while appropriately disabling the switching of the operation mode.
  • the invalidation of the operation mode switching may be canceled in any way. For example, disabling the switching of the operation mode returns the pitch angle to a value within the range of the pitch angle in the operation mode different from the current operation mode, and then returns to the range of the pitch angle of the current operation mode. It may be canceled at times.
  • a GUI such as a button for canceling the invalidation of the operation mode switching may be explicitly displayed, and the invalidation may be canceled by operating the GUI, or depending on the restart of the shooting application program. The invalidation may be canceled.
  • step S11 the control unit 23 determines whether or not the operation mode is the normal operation mode based on the posture information supplied from the motion sensor 22.
  • the pitch angle included in the attitude information is -X degrees or more and less than 0 degrees, it is determined to be in the normal operation mode.
  • the operation mode switching is invalid, it is determined to be the normal operation mode.
  • the control unit 23 Temporarily disables switching between operating modes.
  • step S11 When it is determined in step S11 that the normal operation mode is set, the control unit 23 controls the display 26 in step S12 to display the UI according to the normal operation mode. As a result, the screen shown in FIG. 4, for example, is displayed on the display 26.
  • step S13 the control unit 23 performs processing according to the user's operation.
  • a signal corresponding to the user's operation is supplied from the input unit 28 to the control unit 23.
  • the control unit 23 controls the camera 25 in response to the signal from the input unit 28 to capture an image, and supplies the image obtained by the capture to the memory 24 for storage.
  • step S13 When the process of step S13 is performed, the process then proceeds to step S23.
  • step S11 determines whether or not the operation mode is the normal operation mode. If it is determined in step S11 that the operation mode is not the normal operation mode, the control unit 23 determines in step S14 whether or not the operation mode is the long-distance pointing mode based on the posture information supplied from the motion sensor 22. judge.
  • step S14 when the pitch angle included in the posture information is 0 degrees or more, it is determined that the long-distance pointing mode is used.
  • step S14 If it is determined in step S14 that the long-distance pointing mode is used, then the process proceeds to step S15.
  • step S15 the control unit 23 selects one scale from a plurality of predetermined scales SC1 to SC4, which are different from each other, based on the pitch angle included in the attitude information.
  • step S16 the control unit 23 points to a position in the real space associated with the map data of the selected scale based on the current position information from the position sensor 21 and the posture information from the motion sensor 22. Specify the specified position.
  • control unit 23 specifies a position pointed by a straight line or a parabola represented by a pointing direction determined by the pitch angle indicated by the attitude information and the yaw angle, starting from the current position on the map obtained from the current position information. Identify as.
  • control unit 23 uses the global coordinate system corresponding to the designated position on the map based on the known correspondence between the position in the global coordinate system and the position on the map. Specify the above, that is, the specified position in the real space.
  • the designated position in the global coordinate system is specified based on the selected scale, the current position information, and the attitude information, and the position on the map of the map data corresponding to the specified position is specified. You may do it.
  • step S17 the control unit 23 specifies the virtual object corresponding to the designated position specified in the process of step S16.
  • control unit 23 holds a virtual object acquired from the server 12 in advance by the communication device 27, more specifically, presentation data for presenting the virtual object, and placement position information indicating the placement position of the virtual object.
  • the arrangement position information may be coordinates indicating a position in the global coordinate system, or may be information indicating a position on a map indicated by map data.
  • control unit 23 Based on the arrangement position information of each of the plurality of virtual objects, the control unit 23 identifies the plurality of virtual objects that are arranged at the designated position specified in the process of step S16.
  • step S18 the control unit 23 supplies the display 26 with the presentation data of the virtual object specified in the process of step S17, and displays the virtual object by superimposing it on the video through image displayed in the video through image area R12. Let me.
  • control unit 23 supplies audio data as presentation data to an AR speaker or the like (not shown) to output audio as a virtual object.
  • the virtual object may be placed at a specified position.
  • the input unit 28 when the user operates the input unit 28 to specify a virtual object associated with (associate with) the specified position, the input unit 28 supplies a signal to the control unit 23 according to the user's specified operation. ..
  • control unit 23 associates the virtual object specified by the user with the designated position specified in step S16 in response to the signal from the input unit 28. That is, for example, the control unit 23 generates information indicating the designated position specified in step S16 as the placement position information of the virtual object. Then, the control unit 23 supplies the presentation data of the virtual object and the arrangement position information to the communication device 27, and transmits (uploads) the data to the server 12.
  • step S18 When the process of step S18 is performed, the process then proceeds to step S23.
  • step S14 when it is determined in step S14 that the mode is not the long-distance pointing mode, that is, when the short-distance pointing mode is set, the process proceeds to step S19.
  • step S19 the control unit 23 detects the plane based on the video-through image supplied from the camera 25.
  • step S20 the control unit 23 specifies the position in the real space corresponding to the detected short-distance plane, that is, the position (coordinates) in the global coordinate system, based on the result of the plane detection in step S19. More specifically, it is specified which position in the real space each position on the short-distance plane corresponds to.
  • step S21 the control unit 23 specifies the virtual object corresponding to the position specified in step S20. That is, the control unit 23 is arranged on the position specified in the process of step S20, that is, on the short-distance plane from among the plurality of virtual objects based on the arrangement position information of each of the plurality of virtual objects. Identify things.
  • step S22 the control unit 23 supplies the presentation data of the virtual object specified in the process of step S21 to the display 26, superimposes it on the video through image, and displays the virtual object.
  • the process of step S22 proceeds to step S23.
  • step S23 determines in step S23 whether or not to end the processing being performed. For example, when the user instructs the end of the function by the camera 25 of the mobile terminal 11, it is determined that the process is finished.
  • step S23 If it is determined in step S23 that the process has not yet been completed, the process returns to step S11, and the above-described process is repeated.
  • step S23 when it is determined in step S23 that the processing is finished, each part of the mobile terminal 11 stops the processing being performed, and the display processing is finished.
  • the mobile terminal 11 selects a scale according to its own pitch angle, and specifies a designated position to be pointed based on the selected scale, map data, current position information, and posture information. By doing so, the position with respect to the virtual object can be specified more easily.
  • the position P11 in Tokyo is the current position, and the position several hundred kilometers away from this current position is pointed by the pointing straight line L11.
  • any point will be pointed even if a pointing error of several kilometers occurs in the horizontal direction. It is possible to distinguish between the two and place the virtual object at the desired designated position.
  • the distance in the depth direction is several hundred kilometers.
  • the horizontal distance between multiple candidate stores will be several tens of meters or less.
  • the error of the required yaw angle (pan rotation angle) of pointing is much less than 1 degree. Therefore, it is difficult to point to a specific point among a plurality of points (positions) located several hundred kilometers away from the current position.
  • the designated position is specified, for example, as shown in FIG. P21 is the pseudo current position.
  • FIG. 12 the parts corresponding to the case in FIG. 11 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the user is actually at the position P11 shown in FIG. 11, but the current position for pointing moves to the position P21 in a pseudo manner. Therefore, the user can point the desired position more accurately with less error by the posture information, that is, the pointing straight line L11, starting from the position P21 as the starting point (starting point).
  • the horizontal pointing destination changes in units of several kilometers.
  • the yaw angle changes by 1 degree even when the actual pointing destination is several hundred kilometers away, whereas the horizontal change of the pointing destination is. It will be about several meters.
  • the pseudo movement destination of the self-position is not limited to voice input, but is specified (selected) by designating the place name displayed on the display 26, the position on the map, etc. by touch operation. You may do it.
  • step S16 is performed using the position indicated by the signal as a pseudo current position.
  • control unit 23 goes to the "Izakaya in front of Aomori Station" voice-input by the user instead of the current position indicated by the current position information.
  • the corresponding position "Aomori Station” is assumed to be the current position.
  • control unit 23 controls the display 26 based on the video-through image supplied from the camera 25 and the pseudo current position “Aomori Station” to display the screen indicated by the arrow Q52.
  • pointers indicating the positions of "Izakaya A”, “Izakaya B”, and “Izakaya C” around the pseudo current position "Aomori Station” and the characters of the voice input by the user, that is, The characters “Izakaya in front of Aomori Station” indicating the pseudo current position are displayed superimposed on the video through image.
  • the user can point the desired position by moving the mobile terminal 11 in the horizontal direction.
  • the pointer indicating "Izakaya B" is displayed in a display format different from other pointers, and it can be seen that the position of this "Izakaya B" is pointed.
  • the series of processes described above can be executed by hardware or software.
  • the programs that make up the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 14 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • CPU 501 In a computer, CPU 501, ROM (Read Only Memory) 502, and RAM (Random Access Memory) 503 are connected to each other by a bus 504.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 509 includes a network interface and the like.
  • the drive 510 drives a removable storage medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 into the RAM 503 via the input / output interface 505 and the bus 504 and executes the above-described series. Is processed.
  • the program executed by the computer can be stored and provided in the removable storage medium 511 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by mounting the removable storage medium 511 in the drive 510. Further, the program can be received by the communication unit 509 and installed in the storage unit 508 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 502 or the storage unit 508.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • this technology can also have the following configurations.
  • a position sensor configured to detect its own position in real space, Based on the vertical orientation, one of the plurality of scales of the map data in the real space is specified.
  • a mobile terminal comprising the one identified scale, a control unit configured to identify a first position of the map data based on the self-position and the horizontal orientation.
  • the control unit identifies the first position by changing the distance from the self-position to the first position based on the specified scale and the change in the vertical direction.
  • the mobile terminal according to (1) configured in.
  • the plurality of scales include a first scale and a second scale larger than the first scale.
  • the control unit changes the orientation in the vertical direction as compared with the case where the specified scale corresponds to the first scale.
  • the mobile terminal according to (2) which is configured to specify the first position by increasing the change in the distance with respect to the relative.
  • the control unit does not have a specific point associated with the first position on the specified scale, the specific point closest to the first position is replaced with the first position.
  • the mobile terminal according to (2) or (3) which is configured to specify the second position of the map data corresponding to the second point.
  • the control unit does not have a specific point associated with the first position on the specified scale, instead of the first position, between the first position and the self-position.
  • the mobile terminal is configured to specify the third position of the map data corresponding to the third point which is the specific point closest to the first position among the plurality of specific points in (2) to ().
  • the mobile terminal according to any one of 4).
  • (6) Further equipped with an input unit configured to acquire a signal according to the user's operation, The control unit A position different from the self-position based on the signal is set as a pseudo self-position. Any of (1) to (5) configured to identify the first position based on the identified scale, the pseudo self-position, and the horizontal orientation.
  • the mobile terminal according to any one of (1) to (6), wherein the control unit is configured to associate a virtual object with a position of the map data corresponding to the first position.
  • An image pickup device configured to acquire an image taken in the real space, and an image pickup device.
  • a display device configured to superimpose a virtual object on the captured image is further provided.
  • the control unit sets the first mode of associating the virtual object with the position of the map data based on one of the plurality of scales and the plane of the real space specified based on the captured image.
  • the mobile terminal according to (7) which switches between the second mode for associating a virtual object and the second mode based on the change in the vertical direction.
  • the control unit When the vertical direction is higher than the horizontal direction, the first mode is executed.
  • the mobile terminal according to (8) which is configured to execute the second mode when the vertical direction is lower than the horizontal direction.
  • the control unit controls the display device so as to display a first indicator indicating the first mode at the upper part of the captured image and a second indicator indicating the second mode at the lower part of the captured image.
  • the mobile terminal according to (9) configured to do so.
  • the control unit is configured to continuously change the appearance of at least one of the first indicator and the second indicator based on the change in the vertical orientation.
  • Mobile terminal (12) Identifying one of the plurality of scales of the map data in real space based on the vertical orientation detected by the motion sensor of the mobile terminal, and the identified one scale and the mobile terminal.
  • An information processing method including specifying the position of the map data based on the self-position in the real space detected by the position sensor and the horizontal orientation detected by the motion sensor.
  • a computer that controls a mobile terminal with a position sensor configured to detect its own position in real space. Based on the vertical orientation, one of the plurality of scales of the map data in the real space is specified.
  • 11 mobile terminals 12 servers, 21 position sensors, 22 motion sensors, 23 control units, 24 memories, 25 cameras, 26 displays, 27 communication devices, 28 input units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、より簡単に実空間の位置を指定することができるようにする携帯端末および情報処理方法、並びに記憶媒体に関する。 携帯端末は、モーションセンサと、位置センサと、制御部とを備える。前記モーションセンサは、水平方向の向きおよび上下方向の向きを検出するように構成される。前記位置センサは、実空間における自己位置を検出するように構成される。前記制御部は、前記上下方向の向きに基づいて、前記実空間の地図データが有する複数のスケールのうちの１つのスケールを特定し、前記特定された１つのスケールと、前記自己位置と、前記水平方向の向きとに基づいて、前記地図データの第１の位置を特定するように構成される。本技術はスマートフォンに適用することができる。

Description

携帯端末および情報処理方法、並びに記憶媒体
　本技術は、携帯端末および情報処理方法、並びに記憶媒体に関し、特に、より簡単に実空間の位置を指定することができるようにした携帯端末および情報処理方法、並びに記憶媒体に関する。
　従来、空間内に画像やオーディオの仮想オブジェクトを配置する技術が提案されている。
　具体的には、例えば各ユーザのクライアント端末から送信された口コミ情報を位置情報とともにサーバに登録し、サーバから各クライアント端末に当該口コミ情報を仮想オブジェクトとして配信する技術が提案されている（例えば、特許文献１参照）。
　また、例えば距離、視線、ジェスチャ操作等に基づいて空間内の所定の位置に仮想オブジェクトを配置するUI（User Interface）も提案されている（例えば、特許文献２参照）。
国際公開第２０１８／１８００２４号 国際公開第２０１６／２０３７９２号
　しかしながら、上述した技術では、簡単に実空間の位置を指定することは困難であった。
　例えば特許文献１に記載の技術では、クライアント端末のGPS（Global Positioning System）情報が用いられて、現在位置に対し口コミ情報が仮想オブジェクトとして配置されている。しかしながら当該システムでは現在位置から離れた位置に仮想オブジェクトを配置することはできない。
　一般的に、実空間において自己位置から離れた位置に仮想オブジェクトを配置するには、例えば特許文献２で開示されているように、実空間に関連付けて定義される三次元的な座標系、すなわちグローバル座標系を設定する必要がある。
　仮想オブジェクトの位置は、当該グローバル座標系の座標として定義される。このようなグローバル座標系において仮想オブジェクトの位置を制御するためには、ユーザにより指定される三次元的な位置を特定するためのセンサと専用のUIが必要となる。
　本技術は、このような状況に鑑みてなされたものであり、より簡単に実空間の位置を指定することができるようにするものである。
　本技術の一側面の携帯端末は、モーションセンサと、位置センサと、制御部とを備える。前記モーションセンサは、水平方向の向きおよび上下方向の向きを検出するように構成される。前記位置センサは、実空間における自己位置を検出するように構成される。前記制御部は、前記上下方向の向きに基づいて、前記実空間の地図データが有する複数のスケールのうちの１つのスケールを特定し、前記特定された１つのスケールと、前記自己位置と、前記水平方向の向きとに基づいて、前記地図データの第１の位置を特定するように構成される。
　本技術の一側面の情報処理方法は、携帯端末のモーションセンサが検出した上下方向の向きに基づいて、実空間の地図データが有する複数のスケールのうちの１つのスケールを特定すること、および、前記特定された１つのスケールと、前記携帯端末の位置センサが検出した前記実空間における自己位置と、前記モーションセンサが検出した水平方向の向きとに基づいて、前記地図データの位置を特定することを含む。
　本技術の一側面の記憶媒体には、水平方向の向きおよび上下方向の向きを検出するように構成されたモーションセンサと、実空間における自己位置を検出するように構成された位置センサと、を備える携帯端末を制御するコンピュータに複数のステップを含む処理を実行させるプログラムが記憶されている。前記複数のステップは、前記上下方向の向きに基づいて、前記実空間の地図データが有する複数のスケールのうちの１つのスケールを特定するステップと、前記特定された１つのスケールと、前記自己位置と、前記水平方向の向きとに基づいて、前記地図データの第１の位置を特定するステップを含む。
　本技術の一側面においては、水平方向の向きおよび上下方向の向きが検出され、自己位置が検出され、前記上下方向の向きに基づいて、地図データが有する複数のスケールのうちの１つのスケールが特定され、前記複数のスケールのうちの特定された前記１つのスケールと、前記自己位置を示す自己位置情報と、前記水平方向の向きとに基づいて、前記地図データに紐づけられた実空間の位置が特定される。
携帯端末の構成例を示す図である。 ピッチ角度と動作モードについて説明する図である。 水平方向のポインティングについて説明する図である。 通常操作モードでの表示画面例を示す図である。 表示画面の遷移例を示す図である。 遠距離ポインティングモードでの表示画面例を示す図である。 近距離ポインティングモードでの表示画面例を示す図である。 動作モードの切り替わりを示すメッセージの表示について説明する図である。 動作モードの切り替わりの無効化について説明する図である。 表示処理を説明するフローチャートである。 遠距離ポインティングモードでのポインティングについて説明する図である。 現在位置の擬似的な移動について説明する図である。 現在位置の擬似的な移動について説明する図である。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈携帯端末の構成例〉
　本技術によれば、実空間の位置の指定に関するUIを提供することができる。
　特に本技術では、専用のUIやデバイスを用いた場合だけでなく、汎用的なデバイスを用いた場合でも、より簡単に仮想オブジェクトに関する位置を指定することができる。
　ここでいう仮想オブジェクトには、3DCG（Computer Graphics）のオブジェクトだけでなく、テキスト情報なども含む2DCGのオブジェクトや、撮像された画像を用いた3Dモデル、音像（オーディオのオブジェクト）なども含まれる。すなわち、仮想オブジェクトは、特定の位置に紐づける（関連付ける）ことが可能であれば、不可視のオブジェクトであってもよい。
　また、本技術ではAR（Augmented Reality）システムによりグローバル座標系が設定されていない空間に対しても、三次元的に仮想オブジェクトを配置することができる。
　さらに、本技術では、ユーザが事前に本技術に関するUI等の操作方法を把握していなくても、直感的かつ容易に操作を行うことができる。例えばユーザは、世界地図規模の距離感で仮想オブジェクトの配置を行うことができる。
　以下、本技術を一般的（汎用的）な携帯端末に適用した場合について説明する。
　携帯端末とは、例えばスマートフォンや、手で把持する端末（Hand-Held Terminal）、HMD（Head Mounted Display）を含むウェアラブル端末などであるが、以下では携帯端末がスマートフォンである場合について説明する。
　なお、本開示では下記の制御部、または制御部を少なくとも含む装置（例えば携帯端末自身）を情報処理装置という場合がある。
　本技術を適用した携帯端末は、例えば図１に示すように構成される。
　図１に示す携帯端末１１は、ネットワークを介してサーバ１２等の外部の装置と接続可能である。
　携帯端末１１は、位置センサ２１、モーションセンサ２２、制御部２３、メモリ２４、カメラ２５、ディスプレイ２６、通信装置２７、および入力部２８を有している。なお、図１では、バッテリや筐体といった携帯端末１１としての必須の構成の図示は適宜省略されている。なお、本開示ではカメラ２５およびディスプレイ２６をそれぞれ撮像装置および表示装置という場合がある。
　位置センサ２１は、例えばGNSS（Global Navigation Satellite System）センサなどからなり、携帯端末１１の現在位置（自己位置）、すなわち携帯端末１１を所持するユーザの現在位置を測位し、その測位結果を示す現在位置情報を制御部２３に供給する。
　モーションセンサ２２は、例えばIMU（Inertial Measurement Unit）からなり、携帯端末１１の姿勢を計測し、その計測結果を示す姿勢情報を制御部２３に供給する。例えばモーションセンサ２２では、地平面に対する携帯端末１１の水平方向の向きや上下方向の向きが携帯端末１１の姿勢として検出（計測）される。
　制御部２３は、例えばCPU（Central Processing Unit）等、すなわちプロセッサからなり、携帯端末１１全体の動作を制御する。
　制御部２３は、ディスプレイ２６の動作を制御する表示制御部や、カメラ２５の動作を制御する撮像制御部、位置センサ２１から現在位置情報を取得する位置取得部、モーションセンサ２２から姿勢情報を取得する姿勢取得部、通信装置２７を介したサーバ１２等の外部装置との情報通信を行う通信部などの機能ブロックとして機能する。
　例えば制御部２３は、通信装置２７を介してサーバ１２から種々のデータを取得する。
　サーバ１２から取得されるデータには、例えば地図データや、仮想オブジェクト、より詳細には仮想オブジェクトを提示するための画像データやオーディオデータなどの提示用データ等が含まれる。これらのデータは、リアルタイムでサーバ１２から取得されてもよいし、事前にダウンロードされてメモリ２４に保存されていてもよい。
　メモリ２４は、不揮発性の記憶媒体であり、制御部２３から供給された各種のデータを保持（記憶）したり、記憶しているデータを制御部２３に供給したりする。
　カメラ２５は、携帯端末１１の周囲を被写体として撮影を行い、その結果得られた画像（画像データ、撮像画像）を制御部２３に供給する。なお、カメラ２５は、単眼カメラであってもよいし、多眼カメラであってもよい。
　ディスプレイ２６は、出力装置であり、制御部２３から供給された画像を表示する。通信装置２７は、制御部２３による制御に従って無線LAN（Local Area Network）等によりサーバ１２と通信を行い、制御部２３から供給されたデータをサーバ１２に送信したり、サーバ１２から送信されてきたデータを受信して制御部２３に供給したりする。
　入力部２８は、例えばディスプレイ２６に重畳して設けられたタッチパネルや、ボタン、スイッチ、マイクロホンなどからなり、ユーザの操作に応じた信号や収音により得られた信号を制御部２３に供給する。
　なお、本技術を適用した携帯端末１１の構成は図１に示すものに限らず、さらに地磁気センサやIR（Infrared）カメラ、偏光センサ等の種々の構成を組み合わせたものとしてもよい。そのような場合、例えば偏光センサやIRカメラはデプス情報を取得するデプスセンサとして機能し得る。
〈本技術について〉
　本技術について、さらに説明する。
　制御部２３は、モーションセンサ２２により検出された、携帯端末１１の水平方向の向き、および上下方向の向きを示す姿勢情報をリアルタイムでモーションセンサ２２から取得する。また、制御部２３は、位置センサ２１により検出された、携帯端末１１の現在の位置を示す現在位置情報をリアルタイムで位置センサ２１から取得する。
　制御部２３は、取得した姿勢情報、位置情報、および地図データに基づいて、以下において図２および図３を参照して説明するように実空間の三次元位置、すなわちグローバル座標系における特定の位置をポインティング（指定）する。
　換言すれば制御部２３は、グローバル座標系における携帯端末１１の向きを示すヨー角度およびピッチ角度と、xyz座標（または緯度／経度／高度）とに基づいて、携帯端末１１から離れた位置のxyz座標を指定する。
　より具体的には、制御部２３は携帯端末１１の上下方向の向き（ピッチ角度）に基づいて、地図データごとに予め定義された複数のスケールのうちの１つのスケールを特定する。ここで、ピッチ角度は例えば-90度以上、90度以下の値で定義される。
　この例においては、例えば図２に示すように、姿勢情報により示される携帯端末１１の上下方向の向き（傾き）、つまりピッチ角度によって、携帯端末１１の動作モードやスケールが選択（決定）される。特に、携帯端末１１のピッチ角度が増加する（大きくなる）ほど、縮尺の小さいスケールが選択される。
　図２に示す例では、携帯端末１１が正面方向に向けられているときのピッチ角度が0度とされ、携帯端末１１が真上に向けられているときのピッチ角度が90度とされ、携帯端末１１が真下、つまり地面の方向に向けられているときのピッチ角度が-90度とされる。
　携帯端末１１のピッチ角度が0度以上であるときには、動作モードとして、スケールに応じた実空間上の位置を指定（ポインティング）する遠距離ポインティングモードが選択される。本開示では遠距離ポインティングモードを第１のモードという場合がある。
　遠距離ポインティングモードでは、携帯端末１１のピッチ角度が0度以上、15度未満のときにはスケールSC1が選択され、携帯端末１１のピッチ角度が15度以上、30度未満のときにはスケールSC2が選択される。また、携帯端末１１のピッチ角度が30度以上、45度未満のときにはスケールSC3が選択され、携帯端末１１のピッチ角度が45度以上のときにはスケールSC4が選択される。
　スケールSC1では、ユーザ（携帯端末１１）の現在位置から10m乃至数十mの範囲など、ユーザの近くにあり、目の前に見えている範囲内の位置が指定される。
　遠距離ポインティングモードで指定される位置が、ユーザにより指定される仮想オブジェクトの配置位置などの仮想オブジェクトに関する位置とされる。
　すなわち、例えば遠距離ポインティングモードで指定された位置に、ユーザにより指定された仮想オブジェクトが配置されたり、遠距離ポインティングモードで指定された位置に配置されている（対応付けられている）仮想オブジェクトがある場合に、その仮想オブジェクトがユーザに対して提示されたりする。
　また、スケールSC2では、例えばユーザがいる都市にある所定の位置など、ユーザの現在位置から数百m乃至数km離れた位置が指定される。換言すれば、ユーザの現在位置から数百m乃至数km離れた場所にある所定範囲（領域）内の位置が指定される。
　スケールSC3では、例えばユーザがいる都市や市、街、県とは異なる他の都市や市、街、県など、ユーザの現在位置から数km乃至数百km離れた場所の位置が指定される。スケールSC4では、例えば外国や宇宙など、ユーザの現在位置から数百km以上離れた場所の位置が指定される。
　制御部２３はスケールSC1乃至SC3のうち特定された１つのスケールおよびピッチ角度の変化に基づいて、現在位置から指定される位置までの距離を変化させる。より具体的には、ピッチ角度の変化に対する距離の変化率は、特定されたスケールが大きいほど大きくなるように設定されてもよい。すなわち、より小さいスケール（第１のスケール）が特定された場合よりも、より大きいスケール（第２のスケール）が特定された場合のほうが、ピッチ角度の変化に基づく現在位置からの距離の変化が大きくなる。
　ピッチ角度の変化に対する距離の変化は比例関係であってもよく、そのほかの増加関係であってもよい。また、ピッチ角度の変化に対する距離の変化は連続的であってもよく、不連続であってもよい。
　特に遠距離ポインティングモードでは、例えば道路名や、地名、都市名、国名など、選択されたスケール、つまりピッチ角度に応じたスケールで位置が選択される。
　地図データには一般的にスケールごとに複数の特定の地点がデータとして設定されている。地図データの特定の地点はPoint of Interest（POI）という場合がある。遠距離ポインティングモードにおいて制御部２３は各スケールのPOIを特定することができる。しかしながら、POIは一般的に地図データ上で離散的に配置されているため、制御部２３が直接特定した位置（第１の位置）にPOIが無い場合がある。そこで、制御部２３は第１の位置に代えて第１の位置に最も近いPOI（第２の地点）に対応する地図データの位置（第２の位置）を特定してもよい。あるいは、制御部２３は、第１の位置に代えて第１の位置と現在位置の間にある複数のPOIのうち第１の位置に最も近いPOI（第３の地点）に対応する地図データの位置（第３の位置）を特定してもよい。ここで、第２の地点と第３の地点は同一になり得ることに留意されたい。
　また、携帯端末１１のピッチ角度が-X度以上0度未満であるときには、動作モードとして、通常操作モードが選択され、携帯端末１１のピッチ角度が-X度未満であるときには、動作モードとして、近距離ポインティングモードが選択される。すなわち、制御部２３はピッチ角度の変化に応じて遠距離ポインティングモードと近距離ポインティングモードを動的に切り替える。なお、遠距離ポインティングモードは携帯端末１１が水平方向よりも上方に向いている場合に設定され、近距離ポインティングモードは携帯端末１１が水平方向よりも下方に向いている場合に設定されるものと見做されても良い。本開示では近距離ポインティングモードを第２のモードという場合がある。
　通常操作モードでは、ユーザはカメラ２５による静止画像や動画像の撮影、UI操作、コンテンツ試聴などの携帯端末１１が有している通常の機能、つまり本技術によるポインティングとは異なる機能を実行させることができる。
　近距離ポインティングモードでは、携帯端末１１を所持しているユーザの足元など、既知の平面検出手法により検出された、携帯端末１１から近距離にある平面（以下、近距離平面とも称する）に仮想オブジェクトが配置され、ユーザに対して仮想オブジェクトが提示される。より具体的には、制御部２３は撮像画像に基づいて実空間の平面を特定する。
　すなわち、携帯端末１１により検出された地面等の近距離平面に直接、その近距離平面上の位置に対応付けられている仮想オブジェクトが配置され、例えば近距離平面に対応する地面等の画像上の対応する位置に仮想オブジェクトが重畳されてディスプレイ２６に表示される。
　なお、近距離平面の検出対象とされる範囲は、例えば携帯端末１１から数m未満の範囲などとされる。また、通常操作モードとするか、または近距離ポインティングモードとするかは、例えば携帯端末１１のピッチ角度ではなく、近距離平面が検出されたか否かにより選択されるようにしてもよい。
　また、通常操作モードや近距離ポインティングモードの選択のためのピッチ角度である-X度は、予め定められた角度であってもよいし、ユーザごとの個人的な傾向を反映するために任意に設定（変更）されたものであってもよい。但し、ピッチ角度「-X」は、ストレートネックの発生を抑制するために小さい値に設定されるのが望ましい。
　例えば通常操作モードが選択されるピッチ角度の範囲、つまり-X度以上0度未満の範囲は、ユーザが通常の画面を視聴する際の携帯端末１１の保持角度、つまりポインティングではなくUI操作やコンテンツ視聴を行う際の角度である。
　一般的なスマートフォンの保持角度は-30度程度とされる。なお、スマートフォンの表示面を地面に対して垂直にした場合の角度を90度と見做した場合には、一般的なスマートフォンの保持角度は60度とされる。
　そこで、例えば通常の画面を視聴する際の保持角度、すなわち通常操作モードとするときのピッチ角度が、例えば通常の保持角度である-30度を基準として±30度の範囲（-60度以上0度未満）に設定されるようにしてもよい。
　以上のように携帯端末１１のピッチ角度により遠距離ポインティングモードとスケールが選択されると、制御部２３は地図データにより示される地図上の特定の位置（地点）、換言すれば、地図データに紐づけられた実空間の特定の位置を指定（ポインティング）する。
　さらに、制御部２３は、指定（特定）された地図上の位置、つまり実空間の位置に対応する地図上の位置に仮想オブジェクトを関連付ける。具体的には、制御部２３は指定された地図上の位置を仮想オブジェクトの配置位置としたり、指定された地図上の位置にある仮想オブジェクトを、その位置で提示する仮想オブジェクトとして選択したりする。
　地図データの位置の指定（ポインティング）には、位置センサ２１からの現在位置情報、選択されたスケール、および姿勢情報に含まれる、携帯端末１１の水平方向の向きを示すヨー角度が用いられる。
　具体的には、例えば制御部２３は、図３に示すようにポインティングを行う。
　例えばスケールSC1が選択された場合、矢印Q11に示すように、制御部２３は地図上における携帯端末１１の現在位置と、姿勢情報により示される携帯端末１１の水平方向の向きとに基づいて、ユーザの目の前にある歩道や交差点などの位置をポインティングする。すなわち、歩道や交差点のある位置が指定される。
　同様に、例えばスケールSC2が選択された場合、矢印Q12に示すように、制御部２３は携帯端末１１の現在位置と、携帯端末１１の水平方向の向きとに基づいて、「大崎」や「品川」などのユーザがいる都市内の位置をポインティングする。
　さらに、例えばスケールSC3が選択された場合、矢印Q13に示すように、制御部２３は携帯端末１１の現在位置と、携帯端末１１の水平方向の向きとに基づいて、「秋田」や「青森」などのユーザがいる県とは異なる県の位置をポインティングする。
　以下では、遠距離ポインティングモードでポインティング（指定）された位置を、指定位置とも称することとする。
　なお、携帯端末１１の水平方向の向きにより定まる、制御部２３によりポインティングされる位置、すなわちポインティングされる方向（ポインティング方向）は、完全な直線として設定されてもよく、重力の影響を模擬して放物線を描くように設定されてもよい。
　ポインティング方向が完全な直線として設定されると、ピッチ角度が0度以上となる場合に、何れの実空間の平面もポインティングすることができなくなる場合がある。
　したがって制御部２３では、例えば携帯端末１１のピッチ角度およびヨー角度により定まる、放物線を描くポインティング方向が設定（決定）され、そのポインティング方向によって、正確に水平面をポインティングせずとも何れかのグローバル座標系の地点が必ず指定（ポインティング）されるようになっている。
　具体的には、例えば携帯端末１１のピッチ角度およびヨー角度と、選択されたスケールとに基づいて、実空間上の位置を示すグローバル座標系における放物線形状のポインティング方向が決定される。そしてグローバル座標系における、現在位置情報により示される現在位置を始点（基準）とするポインティング方向により指し示される位置、つまり現在位置を始点とする、ポインティング方向に対応する放物線により指し示される位置が特定され、その特定された位置が指定位置とされる。
　例えば制御部２３では、グローバル座標系における位置（座標）、つまり実空間上の位置と、地図データにより示される地図上の位置とが予め紐づけられている。つまり、グローバル座標系上の位置と、地図上の位置との対応関係は既知となっている。
　したがって、グローバル座標系における指定位置が特定されると、その指定位置が地図上における「大崎」等のどの地点であるかを特定することができる。すなわち、地図上における指定位置を特定することができる。
　なお、制御部２３ではグローバル座標系における位置と、地図データにより示される地図上の位置との対応関係は既知である。そのため、グローバル座標系における現在位置と、グローバル座標系における携帯端末１１のピッチ角度およびヨー角度とから、地図上における携帯端末１１の現在位置や水平方向の向き、上下方向の向きを特定することができる。
　そこで制御部２３では、現在位置情報や姿勢情報、選択されたスケール、地図データに基づいて、地図データにより示される地図上における指定位置が特定され、その特定結果に基づいてグローバル座標系（実空間）における指定位置が特定されるようにしてもよい。
　以上のようにしてピッチ角度に基づく指定位置のポインティングを行うことで、携帯端末１１でのポインティングの操作性を向上させることができる。以下では、このような放物線形状のポインティング方向に基づいて、グローバル座標系の特定の位置、すなわち特定の実オブジェクトの面を指定するモードを第１の操作モードという場合がある。
　一方で、制御部２３は、指定位置（ポインティング位置）として中空を指定するモードを第２の操作モードとして実行してもよい。
　第２の操作モードでは、例えばポインティング方向、すなわちポインティング直線上における携帯端末１１から予め定められた所定距離だけ離れた位置が指定位置とされ、その指定位置に仮想オブジェクトが配置される。この場合の予め定められた所定距離は1m、10m、100m、1kmなど、実空間の絶対距離を表すように定義され、地図データの縮尺が小さくなるほど大きく設定されるとよい。
　また、例えばスケールSC4のように、空や宇宙といった距離不定の領域が設定される場合、携帯端末１１から無限遠の距離に仮想オブジェクトが配置される。
　より具体的には、携帯端末１１を中心としたローカル座標系を設定し、携帯端末１１に対する相対位置を固定することで、携帯端末１１の現在位置や姿勢の変化に関わらず、常に仮想オブジェクトの見え方に変化が無いように設定される。
　次に、携帯端末１１がスマートフォンである場合における各動作モードでのUI操作や、UI操作による動作モードの切り替えについて説明する。
　例えば動作モードが通常操作モードであり、通常のカメラ機能が起動している場合、ディスプレイ２６の表示画面には、図４に示すように、通常操作モード用の操作領域R11-1および操作領域R11-2と、ビデオスルー画像領域R12とが設けられる。なお、本開示ではビデオスルー画像はリアルタイムに表示される撮像画像として定義される。
　図４の例では、ディスプレイ２６が横向きにされており、そのディスプレイ２６の表示画面の図中、左右の端に操作領域R11-1および操作領域R11-2が設けられている。そして、それらの操作領域R11-1と操作領域R11-2との間の領域がビデオスルー画像領域R12となっている。なお、以下、操作領域R11-1および操作領域R11-2を特に区別する必要のない場合、単に操作領域R11とも称することとする。
　操作領域R11には、例えばカメラ２５により画像を撮影させるためのアイコン（ボタン）や、画像撮影時における各種設定を行うためのアイコンなどが配置された操作UIが表示されており、ユーザは操作UIに対する操作を行って画像を撮影させることができる。
　また、ビデオスルー画像領域R12には、携帯端末１１の周囲を被写体とするビデオスルー画像が表示されている。
　このビデオスルー画像は、画像撮影時にユーザが画角等を確認するために表示されるものであり、カメラ２５により撮影される。カメラ２５で得られたビデオスルー画像は、カメラ２５から制御部２３を介してディスプレイ２６に供給され、ビデオスルー画像領域R12に表示される。
　また、ビデオスルー画像領域R12には、ビデオスルー画像に重畳されて、動作モードの切り替えを示すGUI（Graphical User Interface）であるメッセージMS11-1およびメッセージMS11-2が表示されている。本開示ではメッセージMS11-1およびメッセージMS11-2をそれぞれ第１のインジケータおよび第２のインジケータという場合がある。図４に示す通り、メッセージMS11-1はビデオスルー画像領域R12の上部に配置され、メッセージMS11-2はビデオスルー画像領域R12の下部に配置されている。
　メッセージMS11-1は、携帯端末１１を上方に傾けると遠距離ポインティングモードへと切り替わることを示しており、メッセージMS11-2は、携帯端末１１を下方に傾けると近距離ポインティングモードへと切り替わることを示している。なお、以下、メッセージMS11-1およびメッセージMS11-2を特に区別する必要のない場合、単にメッセージMS11とも称することとする。
　このように、通常操作モードで表示画面に操作領域R11とビデオスルー画像領域R12が表示された状態で、ユーザが携帯端末１１を上方に傾けていくと、すなわちピッチ角度が大きくなるように携帯端末１１を傾けていくと、表示画面は図５に示すように変化する。
　なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図５では、ビデオスルー画像領域R12の図中、上下に隣接する部分、すなわち領域R21および領域R22の部分と、領域R23および領域R24の部分とには、説明を分かり易くするため、ビデオスルー画像に被写体として含まれていない実空間の像が点線で描かれている。
　例えば矢印Q21に示すように、動作モードが通常操作モードであるときには、図４に示した例と同様に、ディスプレイ２６の表示画面には操作領域R11とビデオスルー画像領域R12とが表示された状態となっている。
　このような状態からユーザが携帯端末１１を上方向に向けて傾けていくと、徐々に操作領域R11が小さくなるとともにビデオスルー画像領域R12が大きくなっていく。
　そして、例えば矢印Q22に示すように、携帯端末１１のピッチ角度が0度以上となった時点で動作モードが通常操作モードから遠距離ポインティングモードへと自動的に切り替わる（遷移する）。換言すれば、制御部２３は、動作モードを通常操作モードから遠距離ポインティングモードへと切り替える。特に、この場合には遠距離ポインティングモードで、スケールSC1が選択された状態となる。
　遠距離ポインティングモードとなると、ディスプレイ２６の表示画面全体がビデオスルー画像領域R12となり、そのビデオスルー画像領域R12にはビデオスルー画像が表示される。また、ビデオスルー画像領域R12では、ビデオスルー画像に重畳されて、水平軸と垂直軸を含むインジケータIND11、および動作モードの切り替えを示すメッセージMS11-3とが重畳されて表示される。
　メッセージMS11-3は、携帯端末１１を下方に傾けると通常操作モードへと切り替わることを示している。なお、以下、メッセージMS11-1乃至メッセージMS11-3を特に区別する必要のない場合、単にメッセージMS11とも称することとする。
　また、インジケータIND11には、遠距離ポインティングモードでのスケールごとのポインタがインジケータIND11の水平軸および垂直軸に沿って表示されている。
　図５の例では、図中の三角形がポインタを表しており、インジケータIND11の水平軸に沿って並んでいる各ポインタは、現時点で選択されているスケールSC1での実空間の位置を示している。
　また、インジケータIND11の垂直軸に沿って並んでいる各ポインタは、互いに異なるスケールでの実空間の位置を示している。例えば近傍に文字「青森」が記されたポインタは、スケールSC3での実空間の位置である「青森」を示している。
　このようなインジケータIND11を見れば、ユーザは自身の正面の近い位置に「交差点」があり、正面の少し遠い位置に「品川」があり、正面の遠方に「青森」があることや、携帯端末１１を傾けると異なるスケールで位置を指定できることを瞬時に把握できる。すなわち、ユーザは遠距離ポインティングモードのUI操作を詳細に知らなくても、直感的かつ容易に操作を行うことができる。
　さらに、複数のポインタのうちの色等の表示形式が他のものと異なるポインタは、選択されているスケールでの実空間における所定の位置（オブジェクト）をポインティングしている状態、すなわち指定位置として選択している状態であることを表している。
　具体的には、図５では、インジケータIND11の水平軸および垂直軸の交点付近にあり、近傍に文字「交差点」が記されているポインタにより、ユーザの正面にある「交差点」の位置がポインティングされている状態となっている。
　なお、インジケータIND11の水平軸や垂直軸の色や形状などは、特に限定されることはなく、どのような色や形状であってもよい。
　例えば背景色、つまり重畳表示されているビデオスルー画像の色に合わせて視認性の高い色が水平軸や垂直軸の表示色として制御部２３により動的に選択されるようにしてもよいし、水平軸や垂直軸の表示色が予め指定された色（単色）とされてもよい。
　また、図５の矢印Q22に示した状態から、ユーザがさらに携帯端末１１を上方に傾けていき、携帯端末１１のピッチ角度が30度以上となると、制御部２３は遠距離ポインティングモードでのスケールとしてスケールSC3を選択する。
　この場合、制御部２３は、例えば図６に示すビデオスルー画像領域R12をディスプレイ２６に表示させる。なお、図６において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図６では、ビデオスルー画像領域R12にはビデオスルー画像とともにインジケータIND11が表示されている。また、インジケータIND11では、水平軸および垂直軸の交点付近にあり、近傍に文字「青森」が記されているポインタにより、ユーザの正面の遠方にある位置「青森」がポインティングされている状態となっている。この位置「青森」は、選択されているスケールSC3での実空間の位置である。
　一方、図５の矢印Q21に示した状態から、ユーザが携帯端末１１を下方に傾けていき、携帯端末１１のピッチ角度が-X度未満となると、制御部２３は動作モードとして近距離ポインティングモードを選択し、例えば図７に示す画面をディスプレイ２６に表示される。
　図７に示す例では、ディスプレイ２６にはカメラ２５により撮影されたビデオスルー画像が表示されており、さらにそのビデオスルー画像に重畳されて仮想オブジェクトとしての口コミ情報が表示されている。
　この場合、制御部２３は、カメラ２５で得られたビデオスルー画像に基づいて平面検出を行い、サーバ１２から取得した仮想オブジェクトのなかから、検出された近距離平面上の位置に対応付けられている（関連付けられている）ものを選択する。そして制御部２３は、選択した仮想オブジェクトをディスプレイ２６に供給し、ビデオスルー画像における対応する位置に仮想オブジェクトを表示させる。
　続いて、ビデオスルー画像領域R12に表示されるメッセージMS11について説明する。
　例えば図５の矢印Q21に示したように、動作モードとして通常操作モードが選択されている場合には、ビデオスルー画像領域R12の上端および下端には、それぞれメッセージMS11-1およびメッセージMS11-2が表示される。
　例えば上端部分に表示されたメッセージMS11-1として、文字「REMOTE POINTING」が記されており、この文字（テキスト）とメッセージMS11-1の表示位置とから、ユーザは携帯端末１１を上方に傾ければ、遠距離ポインティングモードへと切り替わることを直感的かつ容易に把握することができる。
　同様に、ユーザはメッセージMS11-2の表示位置と文字「NEAR POINTING」とから、携帯端末１１を下方に傾ければ、近距離ポインティングモードへと切り替わることを直感的かつ容易に把握することができる。また、図５に示したメッセージMS11-3についても、ユーザは携帯端末１１を下方に傾ければ、通常操作モードへと切り替わることを直感的かつ容易に把握することができる。
　このように携帯端末１１では、ピッチ角度（チルト角度）の変化に応じて、近距離ポインティングモードや通常操作モード、遠距離ポインティングモードなど、動作モードがシームレスに切り替わる。このようにすることで、ユーザは直感的かつ容易に操作を行うことができるとともに、操作性を向上させることができる。
　メッセージMS11は、動作モードの切り替わりをユーザに認識させるためのものであり、またメッセージMS11はビデオスルー画像に重畳されて表示される。
　そこで、例えばメッセージMS11の表示を、視認性を十分に確保しつつ、動作モードが切り替わる操作の方向をユーザが容易に認識できるような表示とすることが考えられる。
　図５に示した例では、メッセージMS11は、矩形領域部分と、その矩形領域内の文字（テキスト）部分とから構成されている。
　例えば携帯端末１１のピッチ角度の増加に伴い、メッセージMS11の矩形領域の部分の透過率と色を変化させれば、どの方向にどれだけ携帯端末１１を傾けると動作モードが切り替わるのかをユーザに対して容易に認識させることができる。
　具体的には、例えば図８の左側に示すように、動作モードが通常操作モードであり、ビデオスルー画像領域R12の上端および下端に、それぞれメッセージMS11-1およびメッセージMS11-2が表示されているとする。なお、図８において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　いま、通常操作モードで、携帯端末１１のピッチ角度が-30度（但し、-30≧-X）であるとする。そのような状態では、矢印Q31に示すようにメッセージMS11-1の背景部分、つまり矩形領域部分が、文字（テキスト）部分の視認性を確保するために、例えば透過率50％程度の半透明かつ単色で表示されている。ここでは、例えばメッセージMS11-1の背景部分は白色で表示され、文字部分は黒色で表示されている。
　この状態からユーザが携帯端末１１を上方に傾けていき、ピッチ角度が-15度となったとする。このような状態では、メッセージMS11-1の背景（矩形領域）の全体の透過率は25％で、かつ背景の上側の部分は青色で、背景の下側の部分は白色で、文字部分は白色で表示される。
　さらにユーザが携帯端末１１を上方に傾けていくと、ピッチ角度の増加とともにメッセージMS11-1の背景部分の青色で表示される領域は連続的に大きくなっていき、背景部分の透過率も低下していく。
　そして、例えば携帯端末１１のピッチ角度が0度となる状態では、メッセージMS11-1の背景部分の透過率は0％で、かつ背景部分は青色で文字部分は白色で表示され、その後、動作モードが遠距離ポインティングモードへと切り替わる。
　このように図８の例では、メッセージMS11-1の矩形領域（背景）部分において、ピッチ角度の増加に伴って透過率が低下するとともに、表示色も上方から下方に向かって連続的に白色から青色へと変化していく。
　このときの色の変化態様により、ユーザは携帯端末１１をどの方向にどれだけ傾ければ動作モードが切り替わるのかを直感的かつ容易に理解することができる。すなわち、ユーザは、動作モードの切り替わりのタイミングと、動作モードを切り替えるための操作の方向性を直感的かつ容易に認識することができる。
　例えばユーザは、メッセージMS11-1の背景部分における青色で表示されている領域が大きくなってくると、間もなく動作モードが遠距離ポインティングモードへと切り替わることを直感的に認識することができる。
　また、ピッチ角度の変化に応じて、メッセージMS11-1の背景部分の透過率や表示色を連続的に変化させることで、ユーザは動作モードの切り替わりのタイミング等を認識できるので、携帯端末１１の姿勢（傾き）の変化により意図せず動作モードが切り替わってしまうことを防止することができる。
　なお、メッセージMS11の矩形領域部分内を白色の領域と青色の領域とに明示的に分けて、それらの領域の大きさがピッチ角度に応じて変化する例について説明した。しかし、これに限らず、例えば矩形領域部分の色が、ピッチ角度に応じてグラデーションで変化していくようにしてもよい。
　その他、メッセージMS11に対する操作により動作モードのロック機能を実現できるようにしてもよい。
　例えば動作モードが通常操作モードであり、ユーザがカメラ２５により撮影を行う場合、ユーザは携帯端末１１のピッチ角度が0度以上となる角度で、つまりユーザから見て斜め上にある被写体を撮影したいこともある。
　そこで、例えば図９に示すように、ユーザがメッセージMS11に対してスワイプ操作を行うことで、メッセージMS11の表示を削除させ、動作モードの自動的な切り替わり（遷移）が一時的に無効となるようにしてもよい。なお、図９において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図９の例では、ユーザがメッセージMS11-1を図中、右側または左側へとスワイプした場合に、通常操作モードから遠距離ポインティングモードへの切り替わり（遷移）が一時的にキャンセル（無効化）される。この場合、ピッチ角度が0度以上となるようにユーザが携帯端末１１を傾けても、動作モードは通常操作モードのままとなる。
　また、例えばユーザがメッセージMS11-1を図中、上方向へとスワイプすることで、メッセージMS11-1の表示を削除させ、遠距離ポインティングモードへの切り替わりが一時的に無効となるようにしてもよい。なお、図中の矢印は、動作モードの切り替わりを一時的にキャンセルするときのスワイプ方向を表したものであり、実際には表示されない。
　同様に、ユーザがメッセージMS11-2を図中、右側や左側、下側へとスワイプすることで、メッセージMS11-2の表示を削除させ、近距離ポインティングモードへの切り替わりが一時的に無効となるようにしてもよい。
　また、例えば携帯端末１１のピッチ角度が、現在の動作モードに対して定められているピッチ角度の範囲から所定値以上外れた値となった場合に、動作モードの切り替わりが無効とされている状態が自動的に解除されるようにしてもよい。そのようにすることで、動作モードの切り替えを適宜無効化しつつ、ピッチ角度の変化に応じたシームレスな操作性を実現することができる。
　なお、動作モードの切り替えの無効化の解除は、どのようにして行われてもよい。例えば、動作モードの切り替えの無効化は、ピッチ角度が現在の動作モードとは異なる動作モードにおけるピッチ角度の範囲内の値となった後、さらに現在の動作モードのピッチ角度の範囲内に戻ったときに解除されるようにしてもよい。
　その他、動作モードの切り替えの無効化を解除するためのボタン等のGUIが明示的に表示され、そのGUIに対する操作により無効化を解除するようにしてもよいし、撮影アプリケーションプログラムの再起動に応じて無効化が解除されるようにしてもよい。
〈表示処理の説明〉
　続いて、携帯端末１１の動作について説明する。すなわち、以下、図１０のフローチャートを参照して、携帯端末１１による表示処理について説明する。
　ステップＳ１１において制御部２３は、モーションセンサ２２から供給された姿勢情報に基づいて、動作モードが通常操作モードであるか否かを判定する。
　例えば姿勢情報に含まれるピッチ角度が-X度以上0度未満である場合、通常操作モードであると判定される。
　また、例えば姿勢情報に含まれるピッチ角度が-X度未満や0度以上であっても、動作モードの切り替えが無効とされている場合には、通常操作モードであると判定される。
　例えば、ユーザが入力部２８としてのタッチパネルに対して操作を行うことで、メッセージMS11に対するスワイプ操作を行い、その操作に応じた信号が入力部２８から制御部２３に供給されると、制御部２３は動作モードの切り替えを一時的に無効化する。
　ステップＳ１１において通常操作モードであると判定された場合、ステップＳ１２において制御部２３は、ディスプレイ２６を制御し、通常操作モードに応じたUI表示を行わせる。これにより、ディスプレイ２６には、例えば図４に示した画面が表示される。
　ステップＳ１３において制御部２３は、ユーザの操作に応じた処理を行う。
　例えば、ユーザが図４に示した操作領域R11に対する操作を行い、画像の撮影を指示すると、入力部２８から制御部２３にはユーザの操作に応じた信号が供給される。すると、制御部２３は、入力部２８からの信号に応じてカメラ２５を制御して画像を撮影させるとともに、撮影により得られた画像をメモリ２４に供給して記憶させる。
　ステップＳ１３の処理が行われると、その後、処理はステップＳ２３へと進む。
　また、ステップＳ１１において通常操作モードではないと判定された場合、ステップＳ１４において制御部２３は、モーションセンサ２２から供給された姿勢情報に基づいて、動作モードが遠距離ポインティングモードであるか否かを判定する。
　例えばステップＳ１４では、姿勢情報に含まれるピッチ角度が0度以上である場合、遠距離ポインティングモードであると判定される。
　ステップＳ１４において遠距離ポインティングモードであると判定された場合、その後、処理はステップＳ１５へと進む。
　ステップＳ１５において制御部２３は、姿勢情報に含まれるピッチ角度に基づいて、予め定められた、互いに異なる複数のスケールSC1乃至スケールSC4のなかから、１つのスケールを選択する。
　ステップＳ１６において制御部２３は、位置センサ２１からの現在位置情報と、モーションセンサ２２からの姿勢情報とに基づいて、選択されたスケールの地図データに紐づけられた実空間の位置、すなわちポインティングする指定位置を特定する。
　例えば制御部２３は、現在位置情報により求まる地図上の現在位置を始点とする、姿勢情報により示されるピッチ角度およびヨー角度により定まるポインティング方向により表される直線や放物線によって指し示される位置を指定位置として特定する。
　このようにして地図上の指定位置が特定されると、制御部２３は、グローバル座標系における位置と地図上の位置との既知である対応関係から、地図上の指定位置に対応するグローバル座標系上、つまり実空間上の指定位置を特定する。
　なお、上述したように、選択されたスケール、現在位置情報、および姿勢情報に基づいてグローバル座標系での指定位置を特定し、その指定位置に対応する地図データの地図上の位置を特定するようにしてもよい。
　ステップＳ１７において制御部２３は、ステップＳ１６の処理で特定した指定位置に対応する仮想オブジェクトを特定する。
　例えば制御部２３には、通信装置２７により予めサーバ１２から取得した仮想オブジェクト、より詳細には仮想オブジェクトを提示するための提示用データと、仮想オブジェクトの配置位置を示す配置位置情報とが保持されている。ここで、配置位置情報は、グローバル座標系における位置を示す座標であってもよいし、地図データにより示される地図上の位置を示す情報であってもよい。
　制御部２３は、複数の各仮想オブジェクトの配置位置情報に基づいて、それらの複数の仮想オブジェクトのなかから、ステップＳ１６の処理で特定された指定位置に配置されているものを特定する。
　ステップＳ１８において制御部２３は、ステップＳ１７の処理で特定された仮想オブジェクトの提示用データをディスプレイ２６に供給し、ビデオスルー画像領域R12において表示されているビデオスルー画像に重畳して仮想オブジェクトを表示させる。
　なお、仮想オブジェクトがオーディオのオブジェクトである場合には、制御部２３は、提示用データとしてのオーディオデータを図示せぬARスピーカ等に供給し、仮想オブジェクトとしての音声を出力させる。
　さらに、ここでは仮想オブジェクトを表示したり、仮想オブジェクトとしての音声を出力したりしてユーザに提示する例について説明したが、指定位置に仮想オブジェクトを配置するようにしてもよい。
　そのような場合、例えばユーザが入力部２８を操作して、指定位置に関連付ける（対応付ける）仮想オブジェクトを指定すると、入力部２８から制御部２３にはユーザの指定操作に応じた信号が供給される。
　すると制御部２３は、入力部２８からの信号に応じて、ユーザにより指定された仮想オブジェクトと、ステップＳ１６で特定された指定位置とを関連付ける。すなわち、例えば制御部２３は、仮想オブジェクトの配置位置情報として、ステップＳ１６で特定された指定位置を示す情報を生成する。そして、制御部２３は、仮想オブジェクトの提示用データと配置位置情報とを通信装置２７に供給し、サーバ１２に送信（アップロード）させる。
　ステップＳ１８の処理が行われると、その後、処理はステップＳ２３へと進む。
　また、ステップＳ１４において遠距離ポインティングモードではないと判定された場合、すなわち近距離ポインティングモードである場合、その後、処理はステップＳ１９へと進む。
　ステップＳ１９において制御部２３は、カメラ２５から供給されたビデオスルー画像に基づいて平面検出を行う。
　ステップＳ２０において制御部２３は、ステップＳ１９での平面検出の結果に基づいて、検出された近距離平面に対応する実空間の位置、すなわちグローバル座標系における位置（座標）を特定する。より詳細には、近距離平面上の各位置が実空間においてどの位置に対応するかが特定される。
　ステップＳ２１において制御部２３は、ステップＳ２０で特定した位置に対応する仮想オブジェクトを特定する。すなわち、制御部２３は、複数の各仮想オブジェクトの配置位置情報に基づいて、それらの複数の仮想オブジェクトのなかから、ステップＳ２０の処理で特定された位置、つまり近距離平面上に配置されているものを特定する。
　ステップＳ２２において制御部２３は、ステップＳ２１の処理で特定された仮想オブジェクトの提示用データをディスプレイ２６に供給し、ビデオスルー画像に重畳して仮想オブジェクトを表示させる。ステップＳ２２の処理が行われると、その後、処理はステップＳ２３へと進む。
　ステップＳ１３、ステップＳ１８、またはステップＳ２２の処理が行われると、ステップＳ２３において制御部２３は、行っている処理を終了するか否かを判定する。例えば、ユーザが携帯端末１１のカメラ２５による機能の終了を指示した場合などに、処理を終了すると判定される。
　ステップＳ２３において、まだ処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返し行われる。
　これに対して、ステップＳ２３において処理を終了すると判定された場合、携帯端末１１の各部は行っている処理を停止し、表示処理は終了する。
　以上のようにして携帯端末１１は、自身のピッチ角度に応じてスケールを選択し、選択したスケール、地図データ、現在位置情報、および姿勢情報に基づいてポインティングする指定位置を特定する。このようにすることで、より簡単に仮想オブジェクトに関する位置を指定することができる。
〈第２の実施の形態〉
〈ポインティングについて〉
　ところで、遠距離ポインティングモードにおいて、縮尺が小さいスケールが選択された場合、適切なポインティングが困難となることもある。
　例えば図１１に示すように数百km先の「青森の特定の場所」をポインティングし、そのポインティングされた位置（指定位置）に仮想オブジェクトを配置することを想定する。
　図１１では、東京都内にある位置P11が現在位置であり、この現在位置から数百km離れた位置がポインティング直線L11によってポインティングされる。
　この場合、指定位置の候補となる点（場所）同士の間隔が水平方向に数十km程度離れていれば、水平方向で数km程度のポインティング誤差が発生したとしても、いずれの点をポインティングしているかを区別し、所望の指定位置に仮想オブジェクトを配置することができる。
　一方で、ユーザが「青森駅前の特定の店をポインティングで指定したい」と考えた場合、現在位置からポインティングで１つの店を選択しようとすると、奥行き方向（正面方向）の距離数百kmに対し、候補となる複数の店の間の水平方向の距離は数十m以下となる。
　そのため、求められるポインティングのヨー角度（パン回転角度）の誤差は１度を大きく下回ることになる。したがって、現在位置から数百km先にある複数の点（位置）のうちの特定の１つの点をポインティングすることは困難である。
　そこで、例えば疑似的に自己位置を遠隔地まで移動させることで、現在位置から遠く離れている位置をより正確にポインティングできるようにしてもよい。
　具体的には、例えば「青森」がポインティングにより選択されている状態で、ユーザが入力部２８としてのマイクロホンに「青森駅前の居酒屋」と音声入力を行うと、携帯端末１１の現在位置が疑似的に「青森駅」に設定される。
　すなわち、例えば図１１に示した状態で、ユーザが音声入力等により「青森駅」等の現時点でポインティングされている位置近辺の位置を指定すると、例えば図１２に示すように、その指定された位置P21が疑似的な現在位置となる。なお、図１２において図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図１２に示す例では、ユーザは現実には図１１に示した位置P11にいるが、ポインティングのための現在位置が疑似的に位置P21へと移動する。したがって、ユーザはその位置P21を始点（起点）として、姿勢情報、つまりポインティング直線L11によって、少ない誤差で、より正確に所望の位置をポインティングすることができるようになる。
　この場合、ユーザの自己位置（現在位置）が疑似的に「青森駅」である位置P21に変更されると、ヨー角度（パン角度）の変化に応じたポインティング先の変化が緩やかになるため、より正確に所望の位置をポインティングすることができる。
　より具体的には、疑似的に位置を変化させない場合、ヨー角度が１度（１°）変化すると、数km単位で水平方向のポインティング先が変化する。これに対して、疑似的に現在位置を移動させた場合、実際のポインティング先が数百km先にあるときでも、ヨー角度が１度変化するのに対して、ポインティング先の水平方向の変化は数m程度となる。
　なお、自己位置（現在位置）の擬似的な移動先は、音声入力に限らず、ディスプレイ２６に表示された地名や地図上の位置等をタッチ操作により指定することで指定（選択）されるようにしてもよい。
　このように疑似的な現在位置、すなわち現在位置の移動先がユーザにより入力される場合でも、基本的には携帯端末１１では図１０を参照して説明した表示処理が行われる。
　但し、ユーザにより入力部２８が操作されて疑似的な現在位置が指定された場合、制御部２３は、現在位置情報により示される現在位置に代えて、ユーザの操作に応じて入力部２８から供給された信号により示される位置を疑似的な現在位置として用いてステップＳ１６の処理を行う。
　例えば、図１３の矢印Q51に示すように遠距離ポインティングモードでスケールSC3が選択されている状態において、ユーザが携帯端末１１を水平方向に移動させ、インジケータIND11のポインタにより位置「青森」が選択（ポインティング）されているとする。なお、図１３において図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　このように「青森」がポインティングされている状態で、例えばユーザが「青森駅前の居酒屋」と発話し、入力部２８としてのマイクロホンに対して音声入力を行ったとする。
　すると、制御部２３は、ユーザの音声入力に応じて入力部２８から供給された信号に基づいて、現在位置情報により示される現在位置ではなく、ユーザにより音声入力された「青森駅前の居酒屋」に対応する位置「青森駅」を疑似的に現在位置とする。
　また、制御部２３は、カメラ２５から供給されたビデオスルー画像と、疑似的な現在位置「青森駅」とに基づいてディスプレイ２６を制御し、矢印Q52に示す画面を表示させる。
　この例では、疑似的な現在位置「青森駅」の周辺にある「居酒屋A」、「居酒屋B」、および「居酒屋C」の各位置を示すポインタと、ユーザにより入力された音声の文字、すなわち疑似的な現在位置を示す文字「青森駅前の居酒屋」とがビデオスルー画像に重畳されて表示されている。
　したがって、ユーザは携帯端末１１を水平方向に移動させることで、所望の位置をポインティングすることができる。この例では、「居酒屋B」を示すポインタが他のポインタとは異なる表示形式で表示されており、この「居酒屋B」の位置がポインティングされていることが分かる。
　以上のように、選択したスケールによっては、ユーザの入力に応じて疑似的に現在位置を移動させることで、簡単な操作で、より正確に所望の位置をポインティングすることができる。
〈コンピュータの構成例〉
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記憶媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体５１１に記憶して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　水平方向の向きおよび上下方向の向きを検出するように構成されたモーションセンサと、
　実空間における自己位置を検出するように構成された位置センサと、
　　前記上下方向の向きに基づいて、前記実空間の地図データが有する複数のスケールのうちの１つのスケールを特定し、
　　前記特定された１つのスケールと、前記自己位置と、前記水平方向の向きとに基づいて、前記地図データの第１の位置を特定するように構成された
　制御部と
　を備える携帯端末。
（２）
　前記制御部が、前記特定された１つのスケールおよび前記上下方向の向きの変化に基づいて、前記自己位置から前記第１の位置までの距離を変化させることで前記第１の位置を特定するように構成された
　（１）に記載の携帯端末。
（３）
　前記複数のスケールは、第１のスケールおよび前記第１のスケールよりも大きい第２のスケールを含み、
　前記制御部が、前記特定された１つのスケールが前記第２のスケールに対応する場合、前記特定された１つのスケールが前記第１のスケールに対応する場合よりも、前記上下方向の向きの変化に対する前記距離の変化を大きくすることで前記第１の位置を特定するように構成された
　（２）に記載の携帯端末。
（４）
　前記制御部が、前記特定された１つのスケールにおいて、前記第１の位置に関連付けられた特定の地点が無い場合、前記第１の位置に代えて、前記第１の位置に最も近い特定の地点である第２の地点に対応する前記地図データの第２の位置を特定するように構成された
　（２）又は（３）に記載の携帯端末。
（５）
　前記制御部が、前記特定された１つのスケールにおいて、前記第１の位置に関連付けられた特定の地点が無い場合、前記第１の位置に代えて、前記第１の位置と前記自己位置の間にある複数の特定の地点のうち前記第１の位置に最も近い特定の地点である第３の地点に対応する前記地図データの第３の位置を特定するように構成された
　（２）乃至（４）のいずれか一項に記載の携帯端末。
（６）
　ユーザの操作に応じた信号を取得するように構成された入力部を更に備え、
　前記制御部が、
　　前記信号に基づいて前記自己位置とは異なる位置を指定された位置を疑似的な自己位置として設定し、
　　前記特定された１つのスケールと、前記疑似的な自己位置と、前記水平方向の向きとに基づいて、前記第１の位置を特定するように構成された
　（１）乃至（５）のいずれか一項に記載の携帯端末。
（７）
　前記制御部が、前記第１の位置に対応する前記地図データの位置に仮想オブジェクトを関連付けるように構成された
　（１）乃至（６）のいずれか一項に記載の携帯端末。
（８）
　前記実空間の撮像画像を取得するように構成された撮像装置と、
　前記撮像画像に仮想オブジェクトを重畳するように構成された表示装置を更に備え、
　前記制御部は、前記複数のスケールのうち１つのスケールに基づいて前記地図データの位置に前記仮想オブジェクトを関連付ける第１のモードと、前記撮像画像に基づいて特定される前記実空間の平面に前記仮想オブジェクトを関連付ける第２のモードとを、前記上下方向の変化に基づいて切り替える
　（７）に記載の携帯端末。
（９）
　前記制御部が、
　　前記上下方向の向きが前記水平方向よりも上方である場合、前記第１のモードを実行し、
　　前記上下方向の向きが前記水平方向よりも下方である場合、前記第２のモードを実行するように構成された
　（８）に記載の携帯端末。
（１０）
　前記制御部が、前記撮像画像の上部に前記第１のモードを示す第１のインジケータと、前記撮像画像の下部に前記第２のモードを示す第２のインジケータを表示するよう前記表示装置を制御するように構成された
　（９）に記載の携帯端末。
（１１）
　前記制御部が、前記上下方向の向きの変化に基づいて、前記第１のインジケータまたは前記第２のインジケータのうち少なくとも一方の外観を連続的に変化させるように構成された
　（１０）に記載の携帯端末。
（１２）
　携帯端末のモーションセンサが検出した上下方向の向きに基づいて、実空間の地図データが有する複数のスケールのうちの１つのスケールを特定すること、および
　前記特定された１つのスケールと、前記携帯端末の位置センサが検出した前記実空間における自己位置と、前記モーションセンサが検出した水平方向の向きとに基づいて、前記地図データの位置を特定することを含む
　情報処理方法。
（１３）
　水平方向の向きおよび上下方向の向きを検出するように構成されたモーションセンサと、
　実空間における自己位置を検出するように構成された位置センサと
　を備える携帯端末を制御するコンピュータに、
　前記上下方向の向きに基づいて、前記実空間の地図データが有する複数のスケールのうちの１つのスケールを特定し、
　前記特定された１つのスケールと、前記自己位置と、前記水平方向の向きとに基づいて、前記地図データの第１の位置を特定する
　ステップを含む処理を実行させるプログラムが記憶されている記憶媒体。
　１１　携帯端末，　１２　サーバ，　２１　位置センサ，　２２　モーションセンサ，　２３　制御部，　２４　メモリ，　２５　カメラ，　２６　ディスプレイ，　２７　通信装置，　２８　入力部

Claims (13)

  1. 　水平方向の向きおよび上下方向の向きを検出するように構成されたモーションセンサと、
    　実空間における自己位置を検出するように構成された位置センサと、
    　　前記上下方向の向きに基づいて、前記実空間の地図データが有する複数のスケールのうちの１つのスケールを特定し、
    　　前記特定された１つのスケールと、前記自己位置と、前記水平方向の向きとに基づいて、前記地図データの第１の位置を特定するように構成された
    　制御部と
    　を備える携帯端末。
  2. 　前記制御部が、前記特定された１つのスケールおよび前記上下方向の向きの変化に基づいて、前記自己位置から前記第１の位置までの距離を変化させることで前記第１の位置を特定するように構成された
    　請求項１に記載の携帯端末。
  3. 　前記複数のスケールは、第１のスケールおよび前記第１のスケールよりも大きい第２のスケールを含み、
    　前記制御部が、前記特定された１つのスケールが前記第２のスケールに対応する場合、前記特定された１つのスケールが前記第１のスケールに対応する場合よりも、前記上下方向の向きの変化に対する前記距離の変化を大きくすることで前記第１の位置を特定するように構成された
    　請求項２に記載の携帯端末。
  4. 　前記制御部が、前記特定された１つのスケールにおいて、前記第１の位置に関連付けられた特定の地点が無い場合、前記第１の位置に代えて、前記第１の位置に最も近い特定の地点である第２の地点に対応する前記地図データの第２の位置を特定するように構成された
    　請求項２に記載の携帯端末。
  5. 　前記制御部が、前記特定された１つのスケールにおいて、前記第１の位置に関連付けられた特定の地点が無い場合、前記第１の位置に代えて、前記第１の位置と前記自己位置の間にある複数の特定の地点のうち前記第１の位置に最も近い特定の地点である第３の地点に対応する前記地図データの第３の位置を特定するように構成された
    　請求項２に記載の携帯端末。
  6. 　ユーザの操作に応じた信号を取得するように構成された入力部を更に備え、
    　前記制御部が、
    　　前記信号に基づいて前記自己位置とは異なる位置を指定された位置を疑似的な自己位置として設定し、
    　　前記特定された１つのスケールと、前記疑似的な自己位置と、前記水平方向の向きとに基づいて、前記第１の位置を特定するように構成された
    　請求項１に記載の携帯端末。
  7. 　前記制御部が、前記第１の位置に対応する前記地図データの位置に仮想オブジェクトを関連付けるように構成された
    　請求項１に記載の携帯端末。
  8. 　前記実空間の撮像画像を取得するように構成された撮像装置と、
    　前記撮像画像に仮想オブジェクトを重畳するように構成された表示装置を更に備え、
    　前記制御部は、前記複数のスケールのうち１つのスケールに基づいて前記地図データの位置に前記仮想オブジェクトを関連付ける第１のモードと、前記撮像画像に基づいて特定される前記実空間の平面に前記仮想オブジェクトを関連付ける第２のモードとを、前記上下方向の変化に基づいて切り替える
    　請求項７に記載の携帯端末。
  9. 　前記制御部が、
    　　前記上下方向の向きが前記水平方向よりも上方である場合、前記第１のモードを実行し、
    　　前記上下方向の向きが前記水平方向よりも下方である場合、前記第２のモードを実行するように構成された
    　請求項８に記載の携帯端末。
  10. 　前記制御部が、前記撮像画像の上部に前記第１のモードを示す第１のインジケータと、前記撮像画像の下部に前記第２のモードを示す第２のインジケータを表示するよう前記表示装置を制御するように構成された
    　請求項９に記載の携帯端末。
  11. 　前記制御部が、前記上下方向の向きの変化に基づいて、前記第１のインジケータまたは前記第２のインジケータのうち少なくとも一方の外観を連続的に変化させるように構成された
    　請求項１０に記載の携帯端末。
  12. 　携帯端末のモーションセンサが検出した上下方向の向きに基づいて、実空間の地図データが有する複数のスケールのうちの１つのスケールを特定すること、および
    　前記特定された１つのスケールと、前記携帯端末の位置センサが検出した前記実空間における自己位置と、前記モーションセンサが検出した水平方向の向きとに基づいて、前記地図データの位置を特定することを含む
    　情報処理方法。
  13. 　水平方向の向きおよび上下方向の向きを検出するように構成されたモーションセンサと、
    　実空間における自己位置を検出するように構成された位置センサと
    　を備える携帯端末を制御するコンピュータに、
    　前記上下方向の向きに基づいて、前記実空間の地図データが有する複数のスケールのうちの１つのスケールを特定し、
    　前記特定された１つのスケールと、前記自己位置と、前記水平方向の向きとに基づいて、前記地図データの第１の位置を特定する
    　ステップを含む処理を実行させるプログラムが記憶されている記憶媒体。
PCT/JP2021/010983 2020-03-31 2021-03-18 携帯端末および情報処理方法、並びに記憶媒体 WO2021200187A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020062189 2020-03-31
JP2020-062189 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200187A1 true WO2021200187A1 (ja) 2021-10-07

Family

ID=77927249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010983 WO2021200187A1 (ja) 2020-03-31 2021-03-18 携帯端末および情報処理方法、並びに記憶媒体

Country Status (1)

Country Link
WO (1) WO2021200187A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10103975A (ja) * 1996-10-02 1998-04-24 Nissan Motor Co Ltd 携帯型ナビゲーション装置
JP2017116831A (ja) * 2015-12-25 2017-06-29 株式会社ゼンリンデータコム 地図表示装置、地図表示方法及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10103975A (ja) * 1996-10-02 1998-04-24 Nissan Motor Co Ltd 携帯型ナビゲーション装置
JP2017116831A (ja) * 2015-12-25 2017-06-29 株式会社ゼンリンデータコム 地図表示装置、地図表示方法及びコンピュータプログラム

Similar Documents

Publication Publication Date Title
KR102414587B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
CN104350736B (zh) 附近位置信息的增强现实布置
US10043314B2 (en) Display control method and information processing apparatus
KR101295712B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
US9507485B2 (en) Electronic device, displaying method and file saving method
US20110287811A1 (en) Method and apparatus for an augmented reality x-ray
US10062209B2 (en) Displaying an object in a panoramic image based upon a line-of-sight direction
CN107771310B (zh) 头戴式显示设备及其处理方法
US20210102820A1 (en) Transitioning between map view and augmented reality view
CN111768454A (zh) 位姿确定方法、装置、设备及存储介质
US20160284130A1 (en) Display control method and information processing apparatus
KR20120017783A (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
US20210118236A1 (en) Method and apparatus for presenting augmented reality data, device and storage medium
JP2017211811A (ja) 表示制御プログラム、表示制御方法および表示制御装置
KR20110070210A (ko) 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법
JP6481456B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
JP6145563B2 (ja) 情報表示装置
JP4710217B2 (ja) 情報提示装置及び情報提示方法、情報提示システム、並びにコンピュータ・プログラム
WO2021200187A1 (ja) 携帯端末および情報処理方法、並びに記憶媒体
JP2019002747A (ja) 目的地特定システム
JP2016110296A (ja) ウェアラブルデバイス、情報処理方法及びプログラム
US11568579B2 (en) Augmented reality content generation with update suspension
KR101153127B1 (ko) 스마트 폰의 지리정보 표시장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781384

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21781384

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP