WO2021020068A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2021020068A1
WO2021020068A1 PCT/JP2020/026958 JP2020026958W WO2021020068A1 WO 2021020068 A1 WO2021020068 A1 WO 2021020068A1 JP 2020026958 W JP2020026958 W JP 2020026958W WO 2021020068 A1 WO2021020068 A1 WO 2021020068A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification content
displayed
user
information processing
display
Prior art date
Application number
PCT/JP2020/026958
Other languages
English (en)
French (fr)
Inventor
茜 近藤
智也 成田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2021020068A1 publication Critical patent/WO2021020068A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present technology relates to information processing devices, information processing methods, and programs, for example, information processing devices, information processing methods, and programs that enable more reliable provision of information to users.
  • AR Augmented Reality
  • Annotations are visualized by virtual objects in various forms such as text, icons, and animations.
  • Patent Document 1 proposes to appropriately control the display of virtual objects so as not to confuse the user due to the disorder of the display of virtual objects.
  • the user When notifying the user, if the user is facing the direction in which the notification content is displayed, the user can see the notification content. However, if the notification is given when the user is facing in a direction different from the direction in which the notification content is displayed, the user may miss the notification content.
  • This technology was made in view of such a situation, and makes it possible to reliably notify the user.
  • the information processing device on one aspect of the present technology displays the notification content superimposed on the real world at the position on the local coordinate system based on the position of the information processing device, or the world coordinates based on the real world.
  • a display control unit for displaying is provided at a position on the system, and the display control unit is on the local coordinate system and is visible to the user when the display start condition of the notification content is satisfied.
  • the notification content is displayed at the position, and after the display of the notification content is started, the notification content is displayed on the world coordinate system according to the condition for switching the coordinates at which the notification content is displayed is satisfied. Switch.
  • the information processing device displays the notification content superimposed on the real world, the position on the local coordinate system with respect to the position of the information processing device, or the real world.
  • a display control unit for displaying is provided at a position on the world coordinate system as a reference, and the display control unit is on the local coordinate system according to the condition for starting the display of the notification content.
  • the notification content is displayed at a position visible to the user, and after the display of the notification content is started, the notification content is displayed in the world coordinate system according to the condition for switching the coordinates at which the notification content is displayed is satisfied. Switch to the display above.
  • the program of one aspect of the present technology displays the notification content superimposed on the real world on the computer, the position on the local coordinate system based on the position of the information processing device, or the world based on the real world.
  • the notification content is displayed at a position on the coordinate system, and when the display start condition of the notification content is satisfied, the notification content is displayed at a position on the local coordinate system that can be seen by the user.
  • a process including a step of switching the notification content to the display on the world coordinate system is executed according to the condition for switching the coordinates in which the notification content is displayed is satisfied.
  • the notification content displayed superimposed on the real world is the position on the local coordinate system based on the position of the information processing device, or the reality. It is displayed at a position on the world coordinate system with respect to the world. Coordinates in which the notification content is displayed at a position visible to the user on the local coordinate system according to the condition for starting the display of the notification content, and the notification content is displayed after the notification content is displayed. The notification content is switched to the display on the world coordinate system when the switching condition of is satisfied.
  • the information processing device may be an independent device or an internal block constituting one device.
  • the program can be provided by transmitting via a transmission medium or by recording on a recording medium.
  • FIG. 1 It is a figure which shows the structure of one Embodiment of the information processing system which concerns on this disclosure. It is a figure which shows an example of a display device. It is a figure which shows the appearance structure of AR-HMD which applied the technique which concerns on this disclosure. It is a block diagram which shows the structural example of AR-HMD as an information processing apparatus. It is a block diagram which shows the functional structure example of AR-HMD. It is a figure for demonstrating the coordinate system. It is a figure for demonstrating the display position of the notification content. It is a figure for demonstrating the display position of the notification content. It is a flowchart for demonstrating operation of AR-HMD. It is a figure for demonstrating the display position of the notification content.
  • FIG. 1 is a diagram showing a configuration example of an information processing system according to an embodiment of the present technology.
  • the information processing system of FIG. 1 is configured by connecting the AR-HMD 1 and the information processing device 2 via a network 3 such as a LAN (Local Area Network) or the Internet.
  • a network 3 such as a LAN (Local Area Network) or the Internet.
  • the AR-HMD1 is a glasses-type wearable terminal provided with a transmissive display unit.
  • the AR-HMD1 displays an image including various objects such as characters on the display unit according to the control by the information processing device 2 performed via the network 3. The user will see the object overlaid on the landscape in front of him.
  • the projection method of the image including the object may be a virtual image projection method or a retinal projection method in which the image is directly formed on the retina of the user's eye.
  • the information processing device 2 reproduces the AR content and transmits the video data obtained by the reproduction to the AR-HMD1 to display the video of the AR content on the AR-HMD1.
  • the information processing device 2 is composed of, for example, a PC (Personal Computer).
  • AR-HMD1A which is a video-transparent HMD shown in FIG. 2A, and smartphone 1B shown in FIG. 2B, are used as AR content display devices. May be good.
  • the image of the AR content reproduced by the information processing device 2 is superimposed on the image of the landscape in front of the AR-HMD1A taken by the camera provided on the AR-HMD1A. Will be done.
  • a display for displaying AR contents overlaid on the image taken by the camera is provided.
  • the image of the AR content reproduced by the information processing device 2 is displayed superimposed on the image of the landscape in front of the smartphone 1B taken by the camera provided on the back of the smartphone 1B. ..
  • a display for displaying various images is provided on the front of the smartphone 1B.
  • a projector that projects an image on the surface of an object existing in an actual scene may be used as an AR content display device.
  • Various devices such as tablet terminals and television receivers can be used as AR content display devices.
  • the display device and the information processing device 2 may be connected by wire instead of being wirelessly connected via the network 3.
  • FIG. 3 a wearable terminal having a spectacle-shaped shape will be described as an example of an information processing device to which the present technology is applied.
  • the AR-HMD1 shown in FIG. 3 has a spectacle-shaped shape as a whole, and includes a display unit 11 and a camera 12.
  • the display unit 11 corresponds to the lens portion of the spectacles, and for example, all of the display unit 11 is configured as a transmissive display. Therefore, the display unit 11 transparently superimposes and displays the annotation (virtual object) on the image (real object) in the real world that the user is directly viewing.
  • the camera 12 is provided at the end of the display unit 11 corresponding to the left eye of the user who wears the AR-HMD1, and captures an image of the real space included in the user's field of view.
  • the camera 12 is configured by using a solid-state image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. A plurality of each sensor may be provided. That is, the camera 12 may be configured as a stereo camera.
  • the display unit 11 can display the image acquired by the camera 12 and superimpose the annotation on the image.
  • various sensors, buttons, speakers, etc. are housed or mounted in the housing corresponding to the frame of the eyeglasses in AR-HMD1.
  • the shape of AR-HMD1 is not limited to the shape shown in FIG. 3, but various shapes such as a hat shape, a belt shape fixed around the user's head, and a helmet shape covering the entire user's head. Can be taken. That is, the technique according to the present disclosure can be applied to the entire HMD.
  • FIG. 4 is a block diagram showing a configuration example of AR-HMD1 as an information processing device.
  • the AR-HMD1 of FIG. 4 includes a CPU (Central Processor Unit) 31, a memory 32, a sensor unit 33, an input unit 34, an output unit 35, and a communication unit 36. These are connected to each other via a bus 37.
  • CPU Central Processor Unit
  • the CPU 31 executes processing for realizing various functions included in the AR-HMD1 according to a program or data stored in the memory 32.
  • the memory 32 is composed of a storage medium such as a semiconductor memory or a hard disk, and stores programs and data for processing by the CPU 31.
  • the sensor unit 33 is composed of various sensors such as a microphone, a gyro sensor, and an acceleration sensor, including the camera 12 shown in FIG. Various sensor information acquired by the sensor unit 33 is also used for processing by the CPU 31.
  • the input unit 34 is composed of buttons, keys, a touch panel, and the like.
  • the output unit 35 includes a display unit 11 and a speaker shown in FIG.
  • the communication unit 36 is configured as a communication interface that mediates various types of communication.
  • FIG. 5 is a block diagram showing a functional configuration example of AR-HMD1 to which the technique according to the present disclosure is applied.
  • the AR-HMD1 of FIG. 3 is composed of a control unit 51, a sensor unit 52, a display unit 53, a speaker 54, a communication unit 55, an operation input unit 56, and a storage unit 57.
  • the control unit 51 corresponds to the CPU 31 in FIG. 4 and executes processing for realizing various functions included in the AR-HMD1.
  • the sensor unit 52 corresponds to the sensor unit 33 in FIG. 3 and is composed of various sensors.
  • the sensor unit 52 collects sound around the outward camera 52a corresponding to the camera 12 in FIG. 3, the inward camera 52b that captures the user wearing the AR-HMD1, and the surrounding sound of the AR-HMD1. It has a microphone 52c to be used.
  • the inward-facing camera 52b makes it possible to detect the line of sight of the user.
  • the sensor unit 52 has a gyro sensor 52d that detects the angle (attitude) and angular velocity of the AR-HMD1, an acceleration sensor 52e that detects acceleration, and an orientation sensor 52f that detects the direction. These may be individually configured or may be integrally configured.
  • the sensor unit 52 includes a positioning unit 52g for positioning a position by a satellite positioning system such as a GPS (Global Positioning System) system, and biological information (heart rate, body temperature) of a user wearing the AR-HMD1. , Brain wave, etc.)
  • a satellite positioning system such as a GPS (Global Positioning System) system
  • biological information heart rate, body temperature of a user wearing the AR-HMD1. , Brain wave, etc.
  • the biosensor 52h is provided.
  • the display unit 53 corresponds to the display unit 11 of FIG. 3, and displays annotations according to the control of the control unit 51, or displays an image acquired by the outward camera 52a.
  • the speaker 54 serves as a sound source of voice output to the user, and outputs voice according to the control of the control unit 51.
  • the communication unit 55 corresponds to the communication unit 36 of FIG. 4, and performs various communications with another device, for example, the information processing device 2 (FIG. 1).
  • the operation input unit 56 corresponds to the input unit 34 in FIG. 4 and receives the user's operation input to the AR-HMD1.
  • the control unit 51 represents the positional relationship between the display area of the display unit 53 of the AR-HMD1 and the real object or virtual object arranged in the three-dimensional space, and the user operation information indicating the user's operation (hereinafter, simply referred to as simple). Controls the output associated with the location of the real or virtual object based on (also known as behavioral information).
  • the three-dimensional space referred to here can be a real space or a virtual space.
  • control unit 51 executes a predetermined program to execute the sensor information acquisition unit 71, the head position / direction detection unit 72, the arrangement coordinate setting unit 73, the layout parameter calculation unit 74, and the layout determination unit 75.
  • output control unit 76 is realized. Further, as will be described later, the control unit 51 functions as a display control unit that controls the display for displaying the notification content on the local coordinate system or on the world coordinate system.
  • the sensor information acquisition unit 71 acquires sensor information from the sensor unit 52, and based on the sensor information, acquires user operation information representing the operation of the user who wears the AR-HMD1.
  • the user motion information includes dynamic information regarding the motion of the entire body of the user or each part thereof, the movement of the user's line of sight (change in the line of sight position), the change in the distance between the user and the object, and the like.
  • the sensor information acquisition unit 71 acquires user position / posture information (hereinafter, also simply referred to as position / posture information) indicating the position and posture of the user who wears the AR-HMD1 based on the sensor information acquired from the sensor unit 52. To do.
  • the user position / orientation information includes static information regarding the posture and position of the user, the distance between the user and the object, and the like.
  • the head position / direction detection unit 72 detects the position of the user's head and the direction in which the user's head is facing (the direction the user is looking at) from the information acquired by the sensor information acquisition unit 71. ..
  • the placement coordinate setting unit 73 sets whether to display the notification content to be displayed in local coordinates or in world coordinates. As will be described later, when there is information (notification content) to be notified to the user, the notification content is displayed in local coordinates and then in world coordinates in order to surely show the notification content to the user.
  • the arrangement coordinate setting unit 73 sets that when there is information to be displayed in such local coordinates, arranges the information in local coordinates, and when there is information to be displayed in world coordinates, sets that information is arranged in world coordinates. To do.
  • the layout parameter calculation unit 74 is based on the sensor information acquired by the sensor information acquisition unit 71, specifically, the user operation information and the user position / orientation information acquired from the sensor information, and the arrangement coordinate setting unit 73. Calculates parameters that represent the user's actions, positions, states, etc., based on the local coordinates or world coordinates set by.
  • the layout determination unit 75 determines the output form of the output related to the object to be displayed in the display area of the display unit 53 based on the parameters calculated by the layout parameter calculation unit 74.
  • the output control unit 76 controls the output related to the object in the display area of the display unit 53 in the output form determined by the layout determination unit 75.
  • the storage unit 57 stores various data necessary for the control unit 51 to perform control.
  • a part of the storage unit 57 and the control unit 51 may be configured to have the information processing device 2 (FIG. 1).
  • the AR-HMD1 to which this technology is applied switches between world coordinates and local coordinates for display depending on the situation.
  • the world coordinates and local coordinates will be briefly described with reference to FIG.
  • the three-dimensional coordinate system includes a left-handed coordinate system and a right-handed coordinate system.
  • the right-handed coordinate system will be described as an example.
  • the explanation will be given here by taking a coordinate system such as world coordinates and local coordinates as an example, it is also possible to realize this technology by using another coordinate system such as a coordinate system expressed by azimuth, angle, and distance. ..
  • a in FIG. 6 is a diagram for explaining world coordinates
  • B in FIG. 6 is a diagram for explaining local coordinates.
  • the world coordinates are the coordinates representing the world itself in the three-dimensional space.
  • the world coordinates are coordinates based on the real world.
  • the coordinates specified by the world coordinates are the coordinates that do not move.
  • World coordinates are sometimes referred to as global coordinates, absolute coordinates, and the like.
  • World coordinates are a coordinate system whose origin is a common reference point between an object and a camera.
  • the coordinate axes in the world coordinates are represented as the X-axis, the Y-axis, and the Z-axis, and the two axes of the plane parallel to the bottom surface in the three-dimensional space are the X-axis and the Z-axis, and the directions perpendicular to the plane are used.
  • the object 101 in the three-dimensional space shown in FIG. 6A is assigned, for example, (X1, Y1, Z1) as the coordinates in world coordinates.
  • the local coordinates are the coordinates with respect to the objects arranged in the three-dimensional space, and are the coordinates individually possessed by the objects.
  • the local coordinates can be coordinates with the center of the object as the origin.
  • the coordinate axes in the local coordinates are represented as the x-axis, the y-axis, and the z-axis, and the two axes of the plane parallel to the bottom surface in the three-dimensional space are the x-axis and the z-axis, and the directions perpendicular to the planes.
  • the axis be the y-axis.
  • the central portion of the object 101 is a coordinate system with the origin (0, 0, 0).
  • a notification content such as "Congratulations" is displayed at the position A where the mission is cleared. As shown in A in FIG. 7, the notification content A is displayed at the position A in world coordinates.
  • the notification content A when the notification content A is displayed, the user is not always facing the position A, and the user may miss the notification content.
  • the notification content should be displayed in local coordinates.
  • the notification content A superimposed and displayed in the real world is displayed at the position B in the local coordinates.
  • the local coordinates are centered on the user's head, the direction in which the user is facing (the direction of the nose) is the z-axis direction, and the direction perpendicular to the z-axis is the x-axis direction. Since the user wears the AR-HMD1 on the head as shown in FIG. 1, the local coordinates with the center of the user's head as the origin are the coordinates with respect to the position of the AR-HMD1. ..
  • the vertical direction in the figure is the z-axis direction.
  • the local coordinates are described with the center of the head of the user as the origin, but for convenience of explanation, the local coordinates and the head are not shown overlapping and are easy to see. It is shown shifted to the position.
  • Position B is in front of the user and is located in the z-axis direction in which the user is facing.
  • the user is facing the Z-axis direction in the world coordinates, and shows a state in which the Z-axis direction of the world coordinates and the z-axis direction of the local coordinates match.
  • the state shown in B of FIG. 8 is a state in which the user is facing the X-axis direction in world coordinates, as in the case shown in B of FIG. In such a state, the notification content A is displayed at the position C.
  • the position C is in front of the user and is located in the z-axis direction in which the user is facing.
  • the notification content A is in a direction that the user can see, and in this case, it is displayed in front of the user. That is, in this case, even if the user faces the X-axis direction in the world coordinates, the notification content A is displayed in the z-axis direction of the local coordinates, so that the notification content is displayed in front of the user regardless of the user's orientation. A can be displayed and the user can confirm the notification content A.
  • the notification content A is always displayed in front of the user because the local coordinates follow the movement of the user.
  • the notification content A is switched to the display in world coordinates, for example, after a predetermined time has elapsed. For example, it is displayed at the position A shown in FIG.
  • step S11 environmental information is acquired.
  • the environmental information is environmental information around the user, and is information about the actual landscape seen by the user via AR-HMD1.
  • information such as surrounding depth information, object recognition, the shape of the recognized object, and the presence / absence of a moving object is acquired.
  • step S12 the user's position information is acquired.
  • the user's physical information for example, the position of the head and the direction of the line of sight are acquired.
  • the local coordinates with the position of the user's head as the origin are updated based on the acquired position information of the user.
  • steps S11 and S12 is performed by the sensor information acquisition unit 71 acquiring the sensor information from the sensor unit 52 and processing it.
  • the head position / direction detection unit 72 updates the local coordinates using the user's head position and the line-of-sight direction.
  • step S13 it is determined whether or not the display start condition in local coordinates is satisfied.
  • the display start condition in local coordinates (hereinafter, simply referred to as a display start condition) is a condition for starting the display of the notification content in local coordinates. In other words, as described with reference to FIG. 7, it is a condition for displaying the notification content in local coordinates when the notification content is surely shown to the user.
  • the display start condition there is a case where the progress state of a predetermined event becomes a specific state.
  • the display start condition is that the mission is completed.
  • a mission for example, when a given task is solved, such as defeating an enemy or solving a mystery.
  • the given event When displaying notification content when the progress of a given event reaches a certain state, the given event is associated with, for example, a given position, and the event occurs when the user comes to that position. May be set to. In such a case, a predetermined world coordinate is associated with the position where the event occurs.
  • the display position of the notification content can be associated with the position where the event occurs.
  • the position where the event occurs and the display position of the notification content may be set to the same world coordinates, or may be set to different world coordinates (however, the position near the position indicated by the world coordinates associated with the event). World coordinates) may be set.
  • the world coordinates associated with the notification content are used as the coordinates of the position where the notification content is displayed when switching the display from the local coordinates to the world coordinates, as will be described later.
  • the event may be an event that is not associated with a position, for example, an event that occurs after a predetermined time has elapsed from the start of the game, and in such an event, the notification content is displayed at any position. It is difficult to set in advance. In other words, the position when the progress state of the event becomes a specific state is not set in the world coordinates, and the progress state of the event becomes a specific state when a predetermined condition is satisfied. If so, the position where the predetermined condition is satisfied varies from time to time.
  • the notification content is displayed on the local coordinates corresponding to the world coordinates of the position where the progress state of the event is in a specific state.
  • the position where the notification content is displayed when the display is switched from the local coordinates to the world coordinates is the world coordinates obtained by converting the local coordinates at the time of switching.
  • the notification content and the world coordinates can be managed in association with each other, and the notification content can be managed so that the world coordinates are not associated with each other.
  • One of the display start conditions is when the user's position is located at a specific position. For example, when a clock is displayed as a real-world object or a virtual object and notification content related to the clock is displayed, the display start condition is that the position of the clock is a specific position and the user is located at the specific position. ..
  • the display unit 53 displays a clock 111 as an object and notification content 112 such as “the clock being searched for” as notification content related to the clock 111. Since such notification content 112 is notification content (information) associated with the clock 111, it is preferable that the notification content 112 is displayed when the user is looking at the clock 111. In addition, it is information that the user wants to be surely notified so that the user does not pass in front of the clock 111 without looking at the clock 111.
  • the clock 111 is displayed at the position D in world coordinates.
  • the display start condition that the notification content 112 is displayed when the user comes near the position D is set, as shown in A of FIG. 11, when the user comes near the position D, Notification content 112 is displayed. Since the notification content 112 is notified in local coordinates with the center of the head of the user as the origin, the notification content 112 is displayed in the direction in which the user is facing, in this case, in the z-axis direction in the local coordinates.
  • the screen as shown in A of FIG. 10 is displayed on the display unit 53.
  • the notification is notified even when the user passes near the position D, in other words, when the user passes in front of the clock 111.
  • the content 112 is notified in local coordinates with the center of the user's head as the origin.
  • the notification content 112 When passing in front of the clock 111, that is, when the specific position is reached, the notification content 112 is displayed in the local coordinate system. Therefore, since the notification content 112 is displayed in front of the user, the user does not miss the notification content 112.
  • the position D (the position of the clock 111) is in the x-axis direction in local coordinates, and is located on the right side when viewed from the user.
  • a screen as shown in FIG. 10B is displayed on the display unit 53.
  • the user can recognize that the clock 111 he / she is looking for is nearby, although he / she cannot see it. Based on this recognition, when the user looks at the right side, the screen as shown in A of FIG. 10 is displayed, and the clock 111 can be visually recognized.
  • one condition of the display start condition may be a condition associated with the position.
  • the notification content is associated with the object (real object or virtual object) called the clock 111.
  • "Associated" means that the object named clock 111 is associated with the notification content, and the notification content associated with the clock 111 is displayed when the user is located near the clock 111. It means that it is. In other words, the notification content may be managed as information accompanying the object.
  • the world coordinates of the clock 111 are associated with the notification content and the user is located in the vicinity of the world coordinates associated with the notification content, the world coordinates are used.
  • the associated notification content may be displayed.
  • the notification content itself may be associated with the world coordinates as the position information as the condition for starting the display, or the notification content and the object are associated with each other, and the world coordinates of the object are the notification content. It may be set so as to be used as world coordinates as position information as a condition for starting display.
  • the world coordinates may be directly associated with the notification content and managed, or the world coordinates may be indirectly associated with the notification content and managed.
  • the world coordinates when switching from the local coordinates to the world coordinates the world coordinates directly or indirectly associated with the above notification content may be used.
  • the world coordinates directly or indirectly associated with the notification content are two world coordinates, the world coordinates as the position information when the display is started and the world coordinates as the position information of the display position after the coordinate conversion. It may be.
  • the position E when the user reaches (passes) the position E (not shown) and the notification content such as "passed the position E" is output, the position E and the notification content are associated with each other, and the position E is associated with the position E. Is reached, which is the display start condition. As in this example, it can be applied not to the notification content associated with the predetermined object (the position where the predetermined object is installed) but also to the notification content associated with the predetermined position itself.
  • the current time may be displayed in local coordinates every time a predetermined time elapses.
  • the elapsed time from the start of using the AR-HMD1 may be displayed in local coordinates every time a predetermined time elapses.
  • the time until the event ends may be displayed in local coordinates.
  • the notification content notifying the user of the time may be displayed in local coordinates.
  • the passage of time after the predetermined condition is satisfied may be one of the display start conditions.
  • the display start condition includes a condition associated with the event, a condition associated with the position, and a condition associated with the time.
  • the display start condition mentioned here is an example, and is not a description indicating limitation.
  • step S13 it is determined whether or not the display start condition in local coordinates is satisfied. For example, a plurality of conditions associated with an event, a position, or a time as described above are set, and it is determined whether or not even one of the plurality of set conditions is satisfied.
  • step S13 If it is determined in step S13 that the display start condition is not satisfied, the process is returned to step S11, and the subsequent processing is repeated. That is, the display in world coordinates is continuously performed.
  • step S14 the notification content is placed in local coordinates. For example, as described with reference to FIGS. 7 and 11, by displaying the notification content in local coordinates, the notification content is displayed in front of the user.
  • the arrangement coordinate setting unit 73 (FIG. 5) holds a plurality of display start conditions, and determines whether or not even one of the plurality of display start conditions is satisfied. Then, when it is determined that the display start condition is satisfied, the updated local coordinates are supplied to the layout parameter calculation unit 74.
  • the layout parameter calculation unit 74 calculates various parameters so that the notification content is displayed in local coordinates and the object displayed as the background at that time is also displayed. The calculation result is supplied to the layout determination unit 75.
  • the layout determination unit 75 determines the display layout of the notification content or the object displayed in the display area of the display unit 53 based on the parameters calculated by the layout parameter calculation unit 74.
  • the output control unit 76 displays the content in the display area of the display unit 53 with the display layout determined by the layout determination unit 75.
  • an image as shown in A of FIG. 10 or B of FIG. 10 is presented to the user.
  • the notification content is displayed in front of the user in local coordinates, but more specifically, the notification content is located in front of the user by a predetermined distance from the user and is in front of the user's head. Is displayed.
  • the notification content 112 is displayed at a position separated from the user by a distance L1.
  • the distance L1 is, for example, 2 m.
  • the coordinates at a position separated from the origin of the local coordinates by about 2 m in the depth direction are set, and the notification content is displayed on the coordinates.
  • This distance L1 is not always constant, and may be displayed near or far depending on the content of the notification content.
  • the display of the notification content is within the angle of view of the display unit 53, and the distance L1 may be set within the range in which this absolute condition is satisfied.
  • a mechanism may be provided such that the distance L1 is set according to the eyesight of the user, or the desired distance is set by the user.
  • the position where the notification content is notified may be directly in front of the user, but may be a position slightly deviated from the front in the left-right direction or a position slightly deviated from the front in the vertical direction.
  • the object when displaying the notification content associated with a predetermined object (clock 111), the object is aligned with the direction from the front of the user. It may be displayed at a position slightly offset from the front of the user.
  • the notification content 112 is displayed at a position slightly shifted to the right from the front of the user. It may be done. This deviation may be within a range in which the entire notification content 112 is within the angle of view.
  • the user can easily detect the position of the object depending on the display position.
  • step S15 it is determined whether or not the coordinate switching condition is satisfied.
  • the notification content is displayed in local coordinates. If the notification content continues to be displayed in local coordinates, that is, in this case, if the notification content continues to be displayed 2 m ahead of the user, the notification content may be annoying to the user. There is sex. Further, if the user recognizes the notification content, the notification itself may be completed.
  • the condition for switching the display in local coordinates to the display in world coordinates is described as a coordinate switching condition (coordinate switching condition).
  • One of the coordinate switching conditions is that the coordinates are switched when a predetermined time has elapsed since the display in local coordinates was started. For example, when the display in local coordinates is started, a timer is set, and the timer starts timing. Then, when it is determined that the predetermined time has elapsed, it is determined that the coordinate switching condition is satisfied. This predetermined time is set to, for example, 5 seconds.
  • AR-HMD1 capable of detecting the user's line of sight
  • a timer is set, timing is started, and whether or not a predetermined time has elapsed. May be determined.
  • One of the coordinate switching conditions is that the coordinates can be switched when the display is started in local coordinates and then moved by a predetermined distance. For example, by displaying the notification content in local coordinates, it is possible to switch the display from local coordinates to world coordinates when the user moves according to the content of the notification content.
  • the coordinates can be switched when the predetermined position and the user's position have a predetermined positional relationship.
  • the coordinates can be switched when a predetermined condition, for example, a condition such as being within a certain distance or being outside a certain distance, is satisfied in the positional relationship with a predetermined object. Can be done.
  • the posture of the user may be taken into consideration as the positional relationship.
  • the coordinate switching condition may be satisfied when the posture of the user, such as facing downward or upward, changes, or when this posture changes to a preset condition.
  • One condition of the coordinate switching condition may be the condition that a predetermined event is achieved. For example, if the notification content in local coordinates is a content that instructs the user of some event, the display can be switched from the local coordinates to the world coordinates when the instructed event is achieved.
  • One condition of the coordinate switching condition may be a condition that the information obtained from the sensor unit 52 (FIG. 5) provided in the AR-HMD1 satisfies a specific condition. For example, when the notification content is an instruction such as "say A" and it is determined by the voice information from the microphone 52c that the sound of the user's utterance "A" is heard, the coordinate switching condition is satisfied. It may be determined that the item has been used.
  • one condition of the coordinate switching condition it may be a condition that there is an instruction from the user.
  • an instruction from the user it may be determined that the coordinate switching condition is satisfied when the coordinate switching is instructed by voice or gesture.
  • a button instructing to delete the notification content is also displayed, and when such a button is operated, it is determined that the coordinate switching condition is satisfied. You may.
  • the coordinate switching conditions include conditions associated with time, conditions associated with position, and conditions associated with events. It should be noted that the coordinate switching conditions mentioned here are examples, and are not described to indicate limitation.
  • step S15 it is determined whether or not the coordinate switching condition is satisfied. For example, one or more of the plurality of conditions associated with the time, position, event, etc. as described above are set in association with the notification content. It is determined whether or not the set condition is satisfied.
  • step S15 If it is determined in step S15 that the coordinate switching condition is not satisfied, the process returns to step S14, and the subsequent processing is repeated. That is, the notification content is continuously displayed in local coordinates.
  • step S15 if it is determined in step S15 that the coordinate switching condition is satisfied, the process proceeds to step S16.
  • step S16 the notification content is converted into world coordinates and laid out.
  • the notification content displayed in local coordinates When the notification content displayed in local coordinates is to be displayed in world coordinates, the position of the notification content displayed in local coordinates is maintained as it is, and the world coordinates are assigned as the coordinates of the notification content. In this case, the notification content appears to the user as if it were fixed in the three-dimensional space.
  • the notification content F is displayed in local coordinates at coordinates (x F , y F , z F ).
  • the display position of the notification content F is converted from the local coordinates to the world coordinates.
  • the coordinates (x F , y F , z F ) in the local coordinates are converted into the coordinates (X F , Y F , Z F ) in the world coordinates.
  • the following equation (1) can be used for this conversion.
  • S represents an augmented matrix
  • R represents a rotation matrix
  • T represents a moving matrix. It can be converted to world coordinates by multiplying the matrix represented by S, R, and T by the local coordinates.
  • the display position of the notification content F remains maintained when viewed from the user.
  • the notification content F is displayed in local coordinates, even if the user moves, in other words, even if the user's head (line of sight) moves, the notification content F follows the movement and is in front of the user. It is displayed in.
  • the notification content F is displayed at the position where the user was looking at the notification content F (notification content F is fixed). Note that the content F may be displayed at the position when the content F is displayed in local coordinates, not at the position where the user was looking at the notification content when the coordinates are switched.
  • Such a display can be applied to, for example, the case described with reference to FIG. In FIG. 8, an example is given in which the user clears a predetermined mission and the notification content "Congratulations" is displayed. In such a case, when the display in which the position is fixed as described with reference to FIG. 13 is executed, the display with the notification content left at the place (position) where the user has cleared the mission is realized. be able to.
  • the notification content By leaving the notification content left behind, the user can see where the mission has been cleared at a later point in time. For example, even when time elapses from time t2, the user moves to another location, and then returns to this position (the position of the coordinates (X F , Y F , Z F ) in world coordinates), the notification content is still displayed. , Because it remains on the spot, you can see it again.
  • notification content with the same content is displayed when the display is switched from the local coordinate to the world coordinate
  • notification content with different content may be displayed.
  • notification content such as "Congratulations”
  • the notification content displayed in world coordinates may indicate instructions such as "Next, proceed to point B". ..
  • the notification content F is a content in which a map, the next command, or the like is described
  • the position where the notification content F is displayed world. It suffices to return to the coordinates (position of X F , Y F , Z F ) by the coordinates).
  • the appearance when the notification content F is made to be seen when returning will be described with reference to FIG. Referring to A in FIG. 14, for example, it is assumed that the notification content such as "Congratulations" is displayed at the position G in the world coordinates. It is assumed that the coordinate conversion is performed and fixed in the world coordinate system when the user is viewing the notification content from the direction A.
  • Such notification content is displayed in a state in which the characters "Congratulations" can be read as shown in B of FIG. 14 when the user views it from the direction A.
  • the characters "Congratulations" may be displayed in a readable state.
  • the notification content is rotated and displayed so as to face the user according to the direction in which the user is looking.
  • the characters "Congratulations" may be displayed as if they were viewed from the back side.
  • the notification content is displayed in a completely fixed state without being rotated and displayed regardless of the viewing direction of the user.
  • the notification content fixed in the world coordinate system may be displayed in the same manner regardless of the viewing direction of the user, or as shown in B of FIG. , The display may be different depending on the viewing direction of the user.
  • Such a difference in display may be different in the content of the notification content.
  • the notification content is a character such as a message or an instruction, as shown in B of FIG. 14, it is always displayed so as to face the user.
  • a map or the like is displayed when viewed from the back side, it may be incorrect information as information. Therefore, as shown in FIG. 14B, always face the user. Is displayed.
  • the display is as if viewed from the opposite side depending on the position of the user.
  • a signboard or the like as a display as seen from the opposite side, for example, a display in which nothing is written may be used.
  • step S16 Another example of converting to world coordinates in step S16 and arranging the layout will be described. If you want the notification content that was displayed in local coordinates to be displayed in world coordinates, the preset world coordinates (directly to the notification content) regardless of the position of the notification content that was displayed in local coordinates. Alternatively, it may be converted to indirectly associated world coordinates). In this case, the notification content may appear to the user as if it had been moved in three-dimensional space.
  • FIGS. 10 and 11 have been described by taking, for example, the case where the notification content 112 associated with the clock 111 is displayed. Since the notification content 112 is content associated with the clock 111, when the notification content 112 is displayed in world coordinates, it fits in the vicinity of the clock 111 (in the same screen as the clock 111) as shown in A of FIG. It is set to be displayed in (position).
  • the notification content 112 is the content associated with the clock 111.
  • the notification content 112 is managed in association with the clock 111, and the notification content 112 is in world coordinates. When it is displayed, it means that it is displayed based on (the world coordinates in the vicinity of) the world coordinates set in the clock 111.
  • the world coordinates are associated with the notification content 112 itself, and when the notification content 112 is displayed in the world coordinates, it means that the notification content 112 is displayed based on the world coordinates set in the notification content 112.
  • the notification content 112 when the notification content 112 is displayed in local coordinates as in B in FIG. 10 and is converted into world coordinates, the notification content 112 is in the clock 111 as shown in A in FIG. Displayed in the vicinity. Therefore, when such a display is made, it seems to the user that the notification content 112 has moved.
  • Notification content such as “Congratulations” described with reference to FIGS. 8 and 13.
  • Notification content such as “Congratulations” is displayed once in local coordinates at the position when the mission was cleared, but it can also be displayed in associated world coordinates after that.
  • the display of the above-mentioned notification content may be fixed and may be displayed in combination with the case of moving.
  • the notification content displayed in local coordinates is once converted to world coordinates in order to fix it at that position. After that, when the user leaves the place, a predetermined time elapses, or a predetermined condition is satisfied, the user may be further moved to another world coordinate.
  • the notification content displayed in the world coordinate system may be deleted when a predetermined condition is satisfied. For example, it may be erased when it is out of the angle of view or when a predetermined time has elapsed.
  • the notification content displayed in world coordinates looks large when the user approaches, and looks small when the user moves away. That is, like other objects, the display is accompanied by motion parallax.
  • step S16 Another example relating to the conversion to the world coordinates in step S16 and the layout arrangement will be described.
  • the notification content if the user can be notified reliably, there is content that does not need to be maintained as it is. Such content may be deleted without being converted to world coordinates when the display in local coordinates is completed.
  • step S16 When the layout arrangement of the notification content in the world coordinate system is set in step S16, the process is returned to step S11, and the subsequent processes are repeated.
  • the information to be transmitted to the user can be reliably notified in the three-dimensional space.
  • the notification ends it can be converted into a display that does not disturb the user.
  • the notification content can be displayed in the three-dimensional space without feeling any discomfort.
  • the absolute position in the set virtual space is used as the coordinates corresponding to the above-mentioned world coordinates, and the user's head is used as the origin of the local coordinates as in the above-mentioned case.
  • the above processing can be executed. That is, the present technology can be applied to VR as well.
  • the series of processes described above can be executed by hardware or by software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 15 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the storage unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads and executes the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, thereby executing the above-mentioned series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable recording medium 1011 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order in the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • system represents the entire device composed of a plurality of devices.
  • the present technology can also have the following configurations.
  • a display control unit that displays the notification content superimposed on the real world at a position on the local coordinate system based on the position of the information processing device or at a position on the world coordinate system based on the real world.
  • the display control unit When the display start condition of the notification content is satisfied, the notification content is displayed at a position on the local coordinate system that can be seen by the user.
  • An information processing device that switches the notification content to display on the world coordinate system when the condition for switching the coordinates at which the notification content is displayed is satisfied after the display of the notification content is started.
  • the display start condition is a condition determined to be satisfied when the user is located at a predetermined position.
  • the display start condition is a condition determined to be satisfied when the user is located in the vicinity of a predetermined object.
  • the display start condition is a condition determined to be satisfied when a predetermined time elapses after the predetermined condition is satisfied.
  • the display start condition is a condition determined to be satisfied when a predetermined event occurs.
  • the coordinate switching condition is a condition determined to be satisfied when a predetermined time has elapsed.
  • the coordinate switching condition is a condition determined to be satisfied when the user is located at a predetermined position.
  • the coordinate switching condition is a condition determined to be satisfied when the user achieves a predetermined event.
  • the coordinate switching condition is a condition determined to be satisfied when an instruction from the user is given.
  • the information processing device according to any one of (1) to (10), wherein the notification content is displayed at a front position separated from the user by a predetermined distance when displayed on the local coordinate system.
  • the notification content is displayed at a position within the angle of view when displayed on the local coordinate system.
  • the notification content is notification content corresponding to a predetermined position on the world coordinate system.
  • the display control unit shifts the position of the local coordinate system in which the notification content is arranged to a predetermined position on the world coordinate system corresponding to the notification content.
  • the display control unit converts the position of the local coordinate system in which the notification content is arranged to a position on the world coordinate system when the coordinate switching condition is satisfied.
  • Information processing equipment (15) When the coordinate switching condition is satisfied, the display control unit switches the display of the notification content to a position on the world coordinate system set in the notification content (1) to (14).
  • the information processing device according to any one of.
  • (16) The information processing device according to any one of (1) to (15), wherein the display control unit erases the display of the notification content when the coordinate switching condition is satisfied.
  • the information processing device according to any one of (1) to (17), wherein the notification content displayed on the world coordinate system is rotated and displayed so as to face the user.
  • the information processing device A display control unit that displays the notification content superimposed on the real world at a position on the local coordinate system based on the position of the information processing device or at a position on the world coordinate system based on the real world. With The display control unit When the display start condition of the notification content is satisfied, the notification content is displayed at a position on the local coordinate system that can be seen by the user.
  • An information processing method for switching the notification content to display on the world coordinate system when the condition for switching the coordinates at which the notification content is displayed is satisfied after the display of the notification content is started.
  • the notification content displayed superimposed on the real world is displayed at a position on the local coordinate system based on the position of the information processing device or a position on the world coordinate system based on the real world.
  • the notification content is displayed at a position on the local coordinate system that can be seen by the user.
  • a process including a step of switching the notification content to the display on the world coordinate system is executed in response to the condition of switching the coordinates in which the notification content is displayed is satisfied.
  • 1 AR-HMD 2 information processing device, 3 network, 11 display unit, 12 camera, 31 CPU, 32 memory, 33 sensor unit, 34 input unit, 35 output unit, 36 communication unit, 37 bus, 51 control unit, 52 Sensor unit, 53 display unit, 54 speaker, 55 communication unit, 56 operation input unit, 57 storage unit, 71 sensor information acquisition unit, 72 direction detection unit, 73 placement coordinate setting unit, 74 layout parameter calculation unit, 75 layout determination unit , 76 output control unit, 101 object, 111 clock, 112 notification content

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、確実に通知を行えるようにする情報処理装置、情報処理方法、およびプログラムに関する。 現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または現実世界を基準とするワールド座標系上の位置に、表示する表示制御部を備え、表示制御部は、通知コンテンツの表示開始条件が満たされたことに応じて、ローカル座標系上であって、ユーザが視認可能な位置に通知コンテンツを表示し、通知コンテンツの表示開始後に、通知コンテンツが表示される座標の切替条件が満たされたことに応じて、通知コンテンツをワールド座標系上での表示に切り替える。本技術は、例えば、ＡＲやＶＲを提供する情報処理装置に適用できる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、例えばより確実に情報をユーザに提供することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。
　実空間に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が知られている。ＡＲ技術においてユーザに提示される情報は、アノテーションとも呼ばれる。アノテーションは、テキスト、アイコン、アニメーションなどさまざまな形態の仮想的なオブジェクトによって可視化される。
　特許文献１では、仮想オブジェクトの表示を適切に制御し、仮想オブジェクトの表示の乱れによってユーザに混乱を与えないようにすることが提案されている。
特開２０１２－２２１２５０号公報
　ユーザに通知を行うとき、その通知コンテンツが表示される方向にユーザが向いていれば、ユーザは通知コンテンツを見ることができる。しかしながら、通知コンテンツが表示される方向とは異なる方向にユーザが向いているときに、通知が行われると、ユーザは通知コンテンツを見逃してしまう可能性があった。
　本技術は、このような状況に鑑みてなされたものであり、ユーザに通知を確実に行えるようにするものである。
　本技術の一側面の情報処理装置は、現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または前記現実世界を基準とするワールド座標系上の位置に、表示する表示制御部を備え、前記表示制御部は、前記通知コンテンツの表示開始条件が満たされたことに応じて、前記ローカル座標系上であって、ユーザが視認可能な位置に前記通知コンテンツを表示し、前記通知コンテンツの表示開始後に、前記通知コンテンツが表示される座標の切替条件が満たされたことに応じて、前記通知コンテンツを前記ワールド座標系上での表示に切り替える。
　本技術の一側面の情報処理方法は、情報処理装置が、現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または前記現実世界を基準とするワールド座標系上の位置に、表示する表示制御部を備え、前記表示制御部が、前記通知コンテンツの表示開始条件が満たされたことに応じて、前記ローカル座標系上であって、ユーザが視認可能な位置に前記通知コンテンツを表示し、前記通知コンテンツの表示開始後に、前記通知コンテンツが表示される座標の切替条件が満たされたことに応じて、前記通知コンテンツを前記ワールド座標系上での表示に切り替える。
　本技術の一側面のプログラムは、コンピュータに、現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または前記現実世界を基準とするワールド座標系上の位置に、表示し、前記通知コンテンツの表示開始条件が満たされたことに応じて、前記ローカル座標系上であって、ユーザが視認可能な位置に前記通知コンテンツを表示し、前記通知コンテンツの表示開始後に、前記通知コンテンツが表示される座標の切替条件が満たされたことに応じて、前記通知コンテンツを前記ワールド座標系上での表示に切り替えるステップを含む処理を実行させる。
　本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、現実世界に重畳されて表示される通知コンテンツが、情報処理装置の位置を基準としたローカル座標系上の位置、または現実世界を基準とするワールド座標系上の位置に、表示される。通知コンテンツの表示開始条件が満たされたことに応じて、ローカル座標系上であって、ユーザが視認可能な位置に通知コンテンツが表示され、通知コンテンツの表示開始後に、通知コンテンツが表示される座標の切替条件が満たされたことに応じて、通知コンテンツがワールド座標系上での表示に切り替えられる。
　なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
本開示に係わる情報処理システムの一実施の形態の構成を示す図である。 表示デバイスの一例を示す図である。 本開示に係る技術を適用したＡＲ－ＨＭＤの外観構成を示す図である。 情報処理装置としてのＡＲ－ＨＭＤの構成例を示すブロック図である。 ＡＲ－ＨＭＤの機能構成例を示すブロック図である。 座標系について説明するための図である。 通知コンテンツの表示位置について説明するための図である。 通知コンテンツの表示位置について説明するための図である。 ＡＲ－ＨＭＤの動作について説明するためのフローチャートである。 通知コンテンツの表示位置について説明するための図である。 通知コンテンツの表示位置について説明するための図である。 通知コンテンツの表示位置について説明するための図である。 通知コンテンツの表示位置について説明するための図である。 通知コンテンツの表示位置について説明するための図である。 記録媒体について説明するための図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　＜ＡＲコンテンツの表示デバイスについて＞
　図１は、本技術の一実施の形態に係る情報処理システムの構成例を示す図である。
　図１の情報処理システムは、ＡＲ－ＨＭＤ１と情報処理装置２が、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク３を介して接続されることによって構成される。
　図１に示すように、ＡＲ－ＨＭＤ１は、透過型の表示部を備えた眼鏡型のウェアラブル端末である。ＡＲ－ＨＭＤ１は、ネットワーク３を介して行われる情報処理装置２による制御に従って、キャラクタなどの各種のオブジェクトを含む映像を表示部に表示する。ユーザは、自分の前方の風景に重ねてオブジェクトを見ることになる。
　オブジェクトを含む映像の投影方式は、虚像投影方式であってもよいし、ユーザの目の網膜に直接結像させる網膜投影方式であってもよい。
　情報処理装置２は、ＡＲコンテンツを再生し、再生して得られた映像データをＡＲ－ＨＭＤ１に送信することによって、ＡＲコンテンツの映像をＡＲ－ＨＭＤ１において表示させる。情報処理装置２は、例えばＰＣ（Personal Computer）により構成される。
　ＡＲ－ＨＭＤ１に代えて、図２のＡに示すビデオ透過型のＨＭＤであるＡＲ－ＨＭＤ１Ａや、図２のＢに示すスマートフォン１Ｂなどの携帯端末が、ＡＲコンテンツの表示デバイスとして用いられるようにしてもよい。
　表示デバイスとしてＡＲ－ＨＭＤ１Ａが用いられる場合、情報処理装置２が再生するＡＲコンテンツの映像は、ＡＲ－ＨＭＤ１Ａに設けられたカメラにより撮影された、ＡＲ－ＨＭＤ１Ａの前方の風景の画像に重ねて表示される。ＡＲ－ＨＭＤ１Ａを装着したユーザの目の前方には、カメラにより撮影された画像に重ねてＡＲコンテンツを表示するディスプレイが設けられている。
　また、スマートフォン１Ｂが用いられる場合、情報処理装置２が再生するＡＲコンテンツの映像は、スマートフォン１Ｂの背面に設けられたカメラにより撮影された、スマートフォン１Ｂの前方の風景の画像に重ねて表示される。スマートフォン１Ｂの正面には、各種の画像を表示するディスプレイが設けられている。
　実際のシーンに存在する物体の表面に映像を投影するプロジェクタがＡＲコンテンツの表示デバイスとして用いられるようにしてもよい。タブレット端末、テレビジョン受像機などの各種のデバイスをＡＲコンテンツの表示デバイスとして用いることが可能である。
　表示デバイスと情報処理装置２がネットワーク３を介して無線で接続されるのではなく、有線で接続されるようにしてもよい。
　＜ＡＲ－ＨＭＤの外観構成＞
　以下の説明においては、図３に示すように、本技術を適用した情報処理装置として、眼鏡型の形状を有するウェアラブル端末を例に挙げて説明する。
　図３に示したＡＲ－ＨＭＤ１は、全体として眼鏡型の形状を採り、表示部１１およびカメラ１２を備えている。
　表示部１１は、眼鏡のレンズ部分に対応し、例えばその全部が透過型のディスプレイとして構成される。したがって、表示部１１は、ユーザが直接視認している実世界の像（実オブジェクト）に、アノテーション（仮想オブジェクト）を透過的に重畳表示する。
　カメラ１２は、ＡＲ－ＨＭＤ１を装着するユーザの左眼に対応する表示部１１の端に設けられ、そのユーザの視野に含まれる実空間の像を撮像する。カメラ１２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子を用いて構成される。なお、各センサは、それぞれ複数設けられていてもよい。すなわち、カメラ１２は、ステレオカメラとして構成されてもよい。
　表示部１１には、カメラ１２により取得された画像を表示させるとともに、その画像に対してアノテーションを重畳表示させるようにすることもできる。
　また、図示はしないが、ＡＲ－ＨＭＤ１において眼鏡のフレームに対応する筐体には、各種のセンサ類やボタン、スピーカなどが、収納または搭載されている。
　なお、ＡＲ－ＨＭＤ１の形状は、図３に示される形状に限らず、帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状など、さまざまな形状を採ることができる。すなわち、本開示に係る技術は、ＨＭＤ全般に適用することができる。
　＜情報処理装置としてのＡＲ－ＨＭＤの構成例＞
　図４は、情報処理装置としてのＡＲ－ＨＭＤ１の構成例を示すブロック図である。
　図４のＡＲ－ＨＭＤ１は、ＣＰＵ（Central Processor Unit）３１、メモリ３２、センサ部３３、入力部３４、出力部３５、および通信部３６を備えている。これらは、バス３７を介して相互に接続されている。
　ＣＰＵ３１は、メモリ３２に記憶されているプログラムやデータなどに従って、ＡＲ－ＨＭＤ１が備える各種の機能を実現するための処理を実行する。
　メモリ３２は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、ＣＰＵ３１による処理のためのプログラムやデータを格納する。
　センサ部３３は、図３のカメラ１２を始め、マイクロフォン、ジャイロセンサ、加速度センサなどの各種のセンサ類から構成される。センサ部３３により取得された各種のセンサ情報もまた、ＣＰＵ３１による処理に用いられる。
　入力部３４は、ボタンやキー、タッチパネルなどから構成される。出力部３５は、図３の表示部１１やスピーカなどから構成される。通信部３６は、各種の通信を仲介する通信インタフェースとして構成される。
　＜ＡＲ－ＨＭＤの機能構成例＞
　図５は、本開示に係る技術を適用したＡＲ－ＨＭＤ１の機能構成例を示すブロック図である。
　図３のＡＲ－ＨＭＤ１は、制御部５１、センサ部５２、表示部５３、スピーカ５４、通信部５５、操作入力部５６、および記憶部５７から構成される。
　制御部５１は、図４のＣＰＵ３１に対応し、ＡＲ－ＨＭＤ１が備える各種の機能を実現するための処理を実行する。
　センサ部５２は、図３のセンサ部３３に対応し、各種のセンサ類から構成される。
　具体的には、センサ部５２は、図３のカメラ１２に対応する外向きカメラ５２ａ、ＡＲ－ＨＭＤ１を装着するユーザを撮像する内向きカメラ５２ｂ、および、ＡＲ－ＨＭＤ１の周囲の音声を集音するマイクロフォン５２ｃを有している。特に、内向きカメラ５２ｂによれば、ユーザの視線を検出することが可能となる。
　また、センサ部５２は、ＡＲ－ＨＭＤ１の角度（姿勢）や角速度を検出するジャイロセンサ５２ｄ、加速度を検出する加速度センサ５２ｅ、および、方角を検出する方位センサ５２ｆを有している。これらは、個別に構成されていてもよいし、一体となって構成されるようにしてもよい。
　さらに、センサ部５２は、ＧＰＳ（Global Positioning System）システムなどの衛星測位システムにより位置を測位するための位置測位部５２ｇ、および、ＡＲ－ＨＭＤ１を装着しているユーザの生体情報（心拍数、体温、脳波など）を取得する生体センサ５２ｈを有している。
　これらのセンサにより取得された各種のセンサ情報は、制御部５１により実行される処理に用いられる。
　表示部５３は、図３の表示部１１に対応し、制御部５１の制御に従ってアノテーション表示したり、外向きカメラ５２ａにより取得された画像を表示したりする。
　スピーカ５４は、ユーザに向けて出力される音声の音源となり、制御部５１の制御に従って音声を出力する。
　通信部５５は、図４の通信部３６に対応し、他の装置、例えば、情報処理装置２（図１）との間で各種の通信を行う。
　操作入力部５６は、図４の入力部３４に対応し、ＡＲ－ＨＭＤ１に対するユーザの操作入力を受け付ける。
　制御部５１は、ＡＲ－ＨＭＤ１の表示部５３の表示領域と三次元空間中に配置された実オブジェクトまたは仮想オブジェクトとの間の位置関係、および、ユーザの動作を表すユーザ動作情報（以下、単に動作情報ともいう）に基づいて、その実オブジェクトまたは仮想オブジェクトの位置に関連付けられた出力を制御する。ここでいう三次元空間は、実空間とすることもできるし、仮想空間とすることもできる。
　具体的には、制御部５１は、所定のプログラムを実行することにより、センサ情報取得部７１、頭部位置・方向検出部７２、配置座標設定部７３、レイアウトパラメータ計算部７４、レイアウト決定部７５、および出力制御部７６を実現する。また制御部５１は、後述するように、通知コンテンツを、ローカル座標系上で表示したり、ワールド座標系上で表示したりするための表示を制御する表示制御部として機能する。
　センサ情報取得部７１は、センサ部５２からセンサ情報を取得し、そのセンサ情報に基づいて、ＡＲ－ＨＭＤ１を装着するユーザの動作を表すユーザ動作情報を取得する。ユーザ動作情報には、ユーザの身体全体またはその各部位の動作、ユーザの視線の動き（視線位置の変化）、ユーザとオブジェクトとの距離の変化などに関する動的情報が含まれる。また、センサ情報取得部７１は、センサ部５２から取得したセンサ情報に基づいて、ＡＲ－ＨＭＤ１を装着するユーザの位置や姿勢を表すユーザ位置姿勢情報（以下、単に位置姿勢情報ともいう）を取得する。ユーザ位置姿勢情報には、ユーザの姿勢や位置、ユーザとオブジェクトとの距離などに関する静的情報が含まれる。
　頭部位置・方向検出部７２は、センサ情報取得部７１により取得された情報から、ユーザの頭部の位置や、ユーザの頭部が向いている方向（ユーザが見ている方向）を検出する。
　配置座標設定部７３は、表示する通知コンテンツを、ローカル座標で表示するか、またはワールド座標で表示するかを設定する。後述するように、ユーザに通知すべき情報（通知コンテンツ）が有った場合、その通知コンテンツを確実にユーザに見せるために、ローカル座標で表示してから、ワールド座標で表示する。配置座標設定部７３は、このようなローカル座標で表示すべき情報があるときには、ローカル座標で情報を配置すると設定し、ワールド座標で表示すべき情報があるときには、ワールド座標で情報を配置すると設定する。
　レイアウトパラメータ計算部７４は、センサ情報取得部７１により取得されたセンサ情報、具体的には、そのセンサ情報から取得されたユーザ動作情報およびユーザ位置姿勢情報に基づいて、また、配置座標設定部７３により設定されたローカル座標またはワールド座標に基づいて、ユーザの動作・位置・状態などを表すパラメータを計算する。
　レイアウト決定部７５は、レイアウトパラメータ計算部７４により計算されたパラメータに基づいて、表示部５３の表示領域に表示するオブジェクトに関する出力の出力形態を決定する。
　出力制御部７６は、レイアウト決定部７５により決定された出力形態で、表示部５３の表示領域においてオブジェクトに関する出力を制御する。
　記憶部５７は、制御部５１が制御を行うのに必要な各種のデータを記憶している。記憶部５７と制御部５１の一部は、情報処理装置２（図１）が有する構成とすることもできる。
　＜座標切替による表示について＞
　本技術を適用したＡＲ－ＨＭＤ１は、状況に応じて、ワールド座標とローカル座標を切り替えて表示を行う。
　ワールド座標とローカル座標について、図６を参照して簡便に説明する。三次元の座標系は、左手座標系と右手座標系があるが、図６および以下の説明では、右手座標系を例に挙げて説明する。また、ここでは、ワールド座標やローカル座標といった座標系を例に挙げて説明するが、方位、角度、距離で表す座標系など、他の座標系を用いて本技術を実現することも可能である。
　図６のＡは、ワールド座標について説明するための図であり、図６のＢは、ローカル座標について説明するための図である。
　図６のＡを参照するに、ワールド座標は、三次元空間の世界そのものを表す座標である。ＡＲ－ＨＭＤ１の場合、ワールド座標は、現実世界を基準とした座標となる。ワールド座標で指定された座標は、移動することがない座標である。ワールド座標は、グローバル座標、絶対座標などとも称されることがある。ワールド座標は、物体とカメラの共通の基準点が原点とされた座標系である。以下の説明においては、ワールド座標における座標軸は、Ｘ軸、Ｙ軸、Ｚ軸と表し、三次元空間における底面と平行な面の２軸をＸ軸とＺ軸とし、その面に垂直な方向の軸をＹ軸とする。
　例えば、図６のＡに示した三次元空間にあるオブジェクト１０１には、ワールド座標での座標として、例えば（Ｘ１、Ｙ１、Ｚ１）が割り当てられている。
　図６のＢを参照するに、ローカル座標は、三次元空間に配置されるオブジェクトを基準とした座標であり、オブジェクトが個々に有している座標である。例えば、三次元空間に、複数のオブジェクトが配置されている場合、それらの複数のオブジェクト分だけ、ローカル座標は存在することになる。ローカル座標は、オブジェクトの中心を原点とした座標とすることができる。以下の説明においては、ローカル座標における座標軸は、ｘ軸、ｙ軸、ｚ軸と表し、三次元空間における底面と平行な面の２軸をｘ軸とｚ軸とし、その面に垂直な方向の軸をｙ軸とする。
　例えば、ローカル座標においては、オブジェクト１０１の中心部分が、原点（０、０、０）とされた座標系となる。
　ワールド座標とローカル座標を切り替えて表示を行う場合との比較のため、図７を参照し、ワールド座標とローカル座標の切り替えを行わない場合の表示について説明する。
　例えば、ユーザが所定のミッションをクリアしたときに、そのミッションをクリアした位置Ａに、例えば、“おめでとう”といった通知コンテンツを表示する場合を考える。図７のＡに示したように、通知コンテンツＡがワールド座標における位置Ａに表示される。
　図７のＡに示したように、ユーザが所定のミッションをクリアしたときに、Ｚ軸方向を向いていれば、位置Ａに表示された通知コンテンツＡを見ることができる。しかしながら、図７のＢに示したように、ユーザがミッションをクリアしたときに、ユーザはＺ軸方向ではなくＸ軸方向を向いていた場合、位置Ａに表示された通知コンテンツＡを見逃してしまう可能性がある。
　このように、通知コンテンツＡが表示されるときに、ユーザが位置Ａの方を向いているとは限らず、ユーザが通知コンテンツを見逃してしまう可能性がある。ユーザに、通知コンテンツを確実に確認させるために、通知コンテンツは、ローカル座標で表示されるようにする。
　通知コンテンツを現実世界に重畳して表示するとき、ワールド座標系で表示する場合とローカル座標系で表示する場合とを切り替えて行う場合について、図８を参照して説明する。図７を参照して説明した場合と同じく、ユーザが所定のミッションをクリアしたときに、“おめでとう”といった通知コンテンツＡを表示する場合を考える。
　図８のＡに示したように、現実世界に重畳されて表示される通知コンテンツＡは、ローカル座標における位置Ｂに表示される。ローカル座標は、ユーザの頭部を中心とし、ユーザが向いている方向（鼻の向き）を、ｚ軸方向とし、ｚ軸と垂直に交わる方向をｘ軸方向とする。ユーザは、図１に図示したように、ＡＲ－ＨＭＤ１を頭部に装着しているため、ユーザの頭部の中心を原点としたローカル座標は、ＡＲ－ＨＭＤ１の位置を基準とした座標となる。
　図８のＡでは、ユーザは、図中上方向を向いているため、図中上下方向がｚ軸方向となる。図８および以下の説明においては、ローカル座標は、ユーザの頭部中心を原点とするとして説明するが、図では、説明の都合上、ローカル座標と頭部を重ねては図示せずに、見やすい位置にずらして図示してある。
　位置Ｂは、ユーザの正面であり、ユーザが向いているｚ軸方向に位置する。図８のＡでは、ユーザは、ワールド座標では、Ｚ軸方向を向いており、このワールド座標のＺ軸方向と、ローカル座標のｚ軸方向が一致している状態を示した。
　図８のＢに示した状態は、図７のＢに示した場合と同じく、ユーザが、ワールド座標でＸ軸方向を向いている状態である。このような状態のときに、通知コンテンツＡは、位置Ｃに表示される。位置Ｃは、ユーザの正面であり、ユーザが向いているｚ軸方向に位置する。
　よって、図８のＢに示したように、通知コンテンツＡは、ユーザが視認できる方向であり、この場合ユーザの正面に表示される。すなわち、この場合、ユーザがワールド座標でＸ軸方向を向いていた場合でも、ローカル座標のｚ軸方向に通知コンテンツＡが表示されることで、ユーザの向きによらず、ユーザに正面に通知コンテンツＡを表示し、ユーザに通知コンテンツＡを確認させることができる。
　仮に、図８のＢの状態から、ユーザが向きを変えたとしても、ローカル座標は、ユーザの動きに追従するため、常にユーザの正面に通知コンテンツＡは表示され続ける。詳細は後述するが、通知コンテンツＡは、例えば、所定の時間が経過した後、ワールド座標での表示に切り替えられる。例えば、図７に示した位置Ａに表示される。
　＜ＡＲ－ＨＭＤの動作＞
　このような表示を行うＡＲ－ＨＭＤ１の動作、特に上記した通知コンテンツをローカル座標とワールド座標を切り替えて表示する動作について図９のフローチャートを参照して説明する。
　ステップＳ１１において、環境情報が取得される。環境情報は、ユーザの周囲の環境情報であり、ＡＲ－ＨＭＤ１を介してユーザが見ている現実の風景に関する情報である。例えば、環境情報として、周囲の奥行情報、物体認識、認識した物体の形状、移動物体の有無などの情報が取得される。
　ステップＳ１２において、ユーザの位置情報が取得される。ここでは、ユーザの身体情報、例えば頭部の位置や視線の方向が取得される。またステップＳ１２のおいては、取得されたユーザの位置情報に基づき、ユーザの頭部の位置を原点としたローカル座標が更新される。
　ステップＳ１１とステップＳ１２における処理は、センサ情報取得部７１が、センサ部５２からのセンサ情報を取得し、処理することで行われる。また、頭部位置・方向検出部７２は、ユーザの頭部位置と視線方向を用いて、ローカル座標の更新を行う。
　ステップＳ１３において、ローカル座標での表示開始条件が満たされているか否かが判定される。ローカル座標での表示開始条件（以下、単に表示開始条件と記載する）とは、ローカル座標で通知コンテンツの表示を開始するための条件である。換言すれば、図７を参照して説明したように、ユーザに確実に通知コンテンツを見せるときに、ローカル座標で、通知コンテンツを表示するときの条件である。
　表示開始条件の１条件として、所定のイベントの進行状態が特定の状態になったときがある。例えば図７を参照して説明したように、何らかのミッションが完了したときに、そのことをユーザに知らせる通知コンテンツを表示する場合、ミッションが完了したということが、表示開始条件となる。ミッションが完了したときとは、例えば、敵を倒した、謎を解いたなど、与えられた課題を解いたときである。
　所定のイベントの進行状態が特定の状態になったときに通知コンテンツを表示する場合、所定のイベントが、例えば、所定の位置に関連付けられ、その位置にユーザが来たときにイベントが発生するように設定されている場合がある。このような場合、イベントが発生する位置として、所定のワールド座標が関連付けられている。
　この場合、イベントが発生する位置に、通知コンテンツの表示位置が関連付けられているようにすることできる。イベントが発生する位置と、通知コンテンツの表示位置は、同一のワールド座標が設定されていてもよいし、異なるワールド座標（ただし、イベントに関連付けられているワールド座標で示される位置の近傍の位置のワールド座標）が設定されているようにしてもよい。
　通知コンテンツに関連付けられているワールド座標は、後述するように、ローカル座標からワールド座標に表示を切り替えるときに、通知コンテンツを表示する位置の座標として用いられる。
　またイベントが、位置とは関連付けられていないイベント、例えば、ゲーム開始から所定の時間が経過すると発生するイベントなどであってもよく、そのようなイベントにおいては、通知コンテンツがどの位置に表示されるのかを予め設定しておくことは困難である。換言すれば、イベントの進行状態が特定の状態になるときの位置は、ワールド座標では設定されておらず、イベントの進行状態が特定の状態になるとは、所定の条件が満たされたときと設定されている場合、その所定の条件が満たされる位置は、その時々により異なる。
　このような場合、通知コンテンツは、イベントの進行状態が特定の状態になった位置のワールド座標に該当するローカル座標上に表示される。この場合、後述するように、ローカル座標からワールド座標に表示を切り替えるときに通知コンテンツを表示する位置は、切り替え時のローカル座標を変換したワールド座標となる。
　このように、通知コンテンツとワールド座標が関連付けられて管理されるようにすることもできるし、通知コンテンツには、ワールド座標は関連付けられていないように管理することもできる。
　表示開始条件の１条件として、ユーザの位置が特定位置に位置したときがある。例えば、実世界のオブジェクトまたは仮想オブジェクトとして、時計が表示され、その時計に関する通知コンテンツが出される場合、時計の位置が特定位置であり、その特定位置にユーザが位置することが表示開始条件となる。
　ユーザが、時計が設置されている位置に到達したとき、例えば、図１０のＡに示すような画面が表示部５３に表示されるように設定されているとする。図１０のＡを参照するに、表示部５３には、オブジェクトとしての時計１１１と、その時計１１１に関する通知コンテンツとして、“探していた時計”といった通知コンテンツ１１２が表示されている。このような通知コンテンツ１１２は、時計１１１に関連付けられた通知コンテンツ（情報）であるため、ユーザが時計１１１を見ているときに表示されるのが良い。また、ユーザが時計１１１を見ることなく時計１１１の前を通過してしまうようなことがないように、確実に通知したい情報である。
　図１１のＡに示したように、時計１１１は、ワールド座標で位置Ｄに表示されるとする。ユーザが位置Ｄの近くに来たとき、通知コンテンツ１１２が表示されるという表示開始条件が設定されていた場合、図１１のＡに示したように、ユーザが位置Ｄの近くに来たとき、通知コンテンツ１１２が表示される。この通知コンテンツ１１２は、ユーザの頭部中心を原点とするローカル座標で通知されるため、ユーザが向いている方向、この場合、ローカル座標でｚ軸方向に、通知コンテンツ１１２が表示される。図１１のＡに示した例では、図１０のＡに示したような画面が、表示部５３に表示される。
　図１１のＢに示すように、ユーザがワールド座標において、Ｚ軸方向に進んでいるときに、位置Ｄの付近を通過した場合、換言すれば、時計１１１の前を通過した場合にも、通知コンテンツ１１２は、ユーザの頭部中心を原点とするローカル座標で通知される。
　時計１１１の前を通過したとき、すなわち特定位置に到達したときに、通知コンテンツ１１２が、ローカル座標系で表示される。よって、通知コンテンツ１１２は、ユーザの正面に表示されるため、ユーザは、通知コンテンツ１１２を見逃すことがない。
　図１１のＢの場合、位置Ｄ（時計１１１の位置）は、ローカル座標では、ｘ軸方向にあり、ユーザから見ると右側方向に位置する。このような状況のときに、ローカル座標で、ユーザの向いている方向に、通知コンテンツ１１２を出すことで、例えば、図１０のＢに示したような画面が表示部５３に表示される。
　図１０のＢを参照するに、ユーザの右側には時計１１１があるが、ユーザは、時計１１１がある方向を見ていないために、時計１１１は見えていない状況である。しかしながら、通知コンテンツ１１２は、ローカル座標で、ユーザの正面に表示されるように設定されているため、図１０のＢに示したように、“探していた時計”という内容の通知コンテンツ１１２は、表示部５３にきちんと表示される。
　ユーザは、このような通知コンテンツ１１２を見ることで、見えてはいないが、探している時計１１１が近くにあると認識することができる。その認識に基づき、ユーザが右側を見ると、図１０のＡに示したような画面となり、時計１１１を視認することができるようになる。
　このように、表示開始条件の１条件として、位置と関連付けられた条件でも良い。
　この場合、時計１１１というオブジェクト（実物体または仮想物体）に、通知コンテンツが関連付けられている。関連付けられているとは、時計１１１というオブジェクトと通知コンテンツが関連付けられており、ユーザが時計１１１の近傍に位置したときに、時計１１１と関付けられている通知コンテンツが表示されるように設定されていることを意味する。換言すれば、通知コンテンツは、オブジェクトに付随する情報として管理されているようにしてもよい。
　または、時計１１１のワールド座標（または時計１１１の近傍のワールド座標）が、通知コンテンツと関連付けられており、ユーザが通知コンテンツに関連付けられているワールド座標の近傍に位置したときに、そのワールド座標に関連付けられている通知コンテンツが表示されるようにしてもよい。
　このように、通知コンテンツ自体に、表示が開始される条件としての位置情報としてのワールド座標が関連付けられていてもよいし、通知コンテンツとオブジェクトが関連付けられ、そのオブジェクトのワールド座標が、通知コンテンツの表示が開始される条件としての位置情報としてのワールド座標として用いられるように設定されているようにしてもよい。
　換言すれば、通知コンテンツに直接的にワールド座標が関連付けられて管理されているようにしてもよいし、通知コンテンツに間接的にワールド座標が関連付けられて管理されているようにしてもよい。
　また、後述するように、ローカル座標からワールド座標に切り替えらえるときのワールド座標として、上記した通知コンテンツに直接的または間接的に関連付けられているワールド座標が用いられてもよい。
　また、通知コンテンツに直接的または間接的に関連付けられるワールド座標は、表示が開始されるときの位置情報としてのワールド座標と、座標変換後の表示位置の位置情報としてのワールド座標の２つのワールド座標であってもよい。
　図１０、図１１を参照して説明したように、所定のオブジェクトの位置に、そのオブジェクトに関する通知コンテンツが表示される場合を例に挙げて説明したが、この例は一例であり、限定を示す記載ではない。
　例えば、ユーザが位置Ｅ（不図示）に到達（通過）したときに、“位置Ｅを通過しました”といった通知コンテンツが出されるような場合、位置Ｅと通知コンテンツが関連付けられており、位置Ｅに到達したというのが、表示開始条件となる。この例のように、所定のオブジェクト（所定のオブジェクトが設置されている位置）と関連付けられた通知コンテンツではなく、所定の位置そのものに関連付けられている通知コンテンツにも適用できる。
　また、ローカル座標での表示開始条件の１条件として、時間に係わる条件がある。例えば、所定の時間が経過する毎に、現在時刻がローカル座標で表示されるようにしても良い。また、ＡＲ－ＨＭＤ１の使用を開始してからの経過時間を、所定の時間が経過する毎に、ローカル座標で表示されるようにしても良い。
　また、所定のイベントに参加しているときに、そのイベントが終了されるまでの時間がローカル座標で表示されるようにしても良い。また、ユーザが設定していた時刻、所謂アラームの時刻になったときに、そのことをユーザに知らせる通知コンテンツが、ローカル座標で表示されるようにしても良い。
　このように、所定の条件が満たされてからの時間経過が、表示開始条件の１条件とされても良い。
　このように、表示開始条件としては、イベントに関連付けられた条件、位置に関連付けられた条件、時間に関連付けられた条件がある。なお、ここで挙げた表示開始条件は、一例であり、限定を示す記載ではない。
　図９に示したフローチャートを参照した説明に戻る。ステップＳ１３において、ローカル座標での表示開始条件を満たしているか否かが判定される。例えば上記したような、イベント、位置、または時間に関連付けられた条件が、複数設定されており、それら設定されている複数の条件のうちの１つでも満たされるか否かが判定される。
　ステップＳ１３において、表示開始条件は満たされていないと判定された場合、ステップＳ１１に戻され、それ以降の処理が繰り返される。すなわち、ワールド座標での表示が継続して行われる。
　一方、ステップＳ１３において、表示開始条件が満たされたと判定された場合、ステップＳ１４に処理は進められる。ステップＳ１４において、通知コンテンツがローカル座標に配置される。例えば、図７や図１１を参照して説明したように、ローカル座標で通知コンテンツが表示されることで、ユーザの正面に通知コンテンツが表示されるようにする。
　配置座標設定部７３（図５）は、複数の表示開始条件を保持し、それら複数の表示開始条件のうちの１つでも満たされるか否かを判定している。そして、表示開始条件が満たされたと判定したとき、更新しているローカル座標を、レイアウトパラメータ計算部７４に供給する。
　レイアウトパラメータ計算部７４は、ローカル座標で通知コンテンツが表示されるとともに、その時点で背景として表示されている物体などを含めた表示がされるように、種々のパラメータを計算する。その計算結果は、レイアウト決定部７５に供給される。
　レイアウト決定部７５は、レイアウトパラメータ計算部７４により計算されたパラメータに基づいて、表示部５３の表示領域に表示される通知コンテンツやオブジェクトの表示レイアウトを決定する。出力制御部７６は、レイアウト決定部７５により決定された表示レイアウトで、表示部５３の表示領域にコンテンツを表示する。
　このような処理が行われることで、例えば、図１０のＡや図１０のＢに示したような画像が、ユーザに提示される。上記した説明においては、ローカル座標で通知コンテンツがユーザの正面に表示されるとして説明したが、より具体的には、ユーザから所定の距離だけ離れた正面の位置であり、ユーザの頭部前方に表示される。例えば、図１２に示すように、通知コンテンツ１１２は、ユーザから距離Ｌ１だけ離れた位置に表示される。
　距離Ｌ１は、例えば、２ｍなどである。例えば、距離Ｌ１＝２ｍと設定されている場合、ローカル座標の原点から奥行方向に２ｍ程度離れた位置の座標が設定され、その座標上に、通知コンテンツが表示される。
　この距離Ｌ１は、常に一定ではなく、通知コンテンツの内容に応じて、近くに表示されたり、遠くに表示されたりするようにしても良い。
　通知コンテンツの表示は、表示部５３の画角内に収まることが絶対条件とされ、この絶対条件が満たされる範囲内で、距離Ｌ１が設定されるようにしても良い。
　ユーザの視力に応じて、距離Ｌ１は設定されるようにしたり、ユーザにより好みの距離が設定されたりする仕組みが設けられていても良い。
　また、通知コンテンツが通知される位置は、ユーザの真正面であっても良いが、真正面から左右方向に少しずれた位置や、真正面から上下方向に少しずれた位置などでも良い。
　例えば、図１０、図１１を参照して説明したような場合、所定のオブジェクト（時計１１１）に関連付けられている通知コンテンツを表示するようなときには、ユーザの正面から、そのオブジェクトがある方向に合わせて、ユーザの真正面から少しずれた位置に表示されるようにしても良い。
　例えば、図１１のＢに示したように、ユーザの右側（ローカル座標でｘ軸方向）に、時計１１１があるような場合、通知コンテンツ１１２は、ユーザの真正面から右側に少しずれた位置に表示されるようにしても良い。このずれは、通知コンテンツ１１２の全体が、画角内に収まる範囲であれば良い。
　このような表示がなされることで、表示位置により、オブジェクトの位置を、ユーザが感知しやすいようになる。
　このような表示が行われると、ステップＳ１５（図９）に処理が進められる。ステップＳ１５において、座標切替条件が満たされたか否かが判定される。ステップＳ１５の処理が実行されるときは、ローカル座標で通知コンテンツが表示されている状態である。ローカル座標で通知コンテンツが表示されている状態が続く、即ちこの場合、ユーザの例えば２ｍ先に通知コンテンツが表示されている状態が続くと、ユーザにとってその通知コンテンツは邪魔な表示となってしまう可能性がある。また、ユーザが通知コンテンツを認識すれば、通知自体は完了させても良い場合もある。
　このようなことから、ローカル座標で通知コンテンツの表示を終了し、ワールド座標での通知コンテンツの表示へと切り替えられる。このように、ローカル座標での表示を、ワールド座標への表示に切り替えるときの条件を、座標切替条件（座標の切替条件）と記述する。
　座標切替条件の１条件としては、ローカル座標での表示が開始されてから、所定の時間経過した場合に、座標を切り替えるという条件がある。例えば、ローカル座標での表示が開始されると、タイマーがセットされ、そのタイマーにより計時が開始される。そして、所定の時間が経過したと判定されると、座標切替条件が満たされたと判定される。この所定の時間は、例えば、５秒などに設定される。
　または、ユーザの視線を検知できるＡＲ－ＨＭＤ１の場合、ユーザの視線が、通知コンテンツに位置していると判定されときに、タイマーがセットされ、計時が開始され、所定の時間が経過したか否かが判定されるようにしても良い。
　座標切替条件の１条件としては、ローカル座標で表示が開始されてから、所定の距離だけ移動した場合に、座標が切り替えられるという条件がある。例えば、ローカル座標で通知コンテンツが表示されることで、ユーザがその通知コンテンツの内容に従い移動した場合に、ローカル座標からワールド座標に表示が切り替えられるようにすることができる。
　このように、所定の位置とユーザの位置が、所定の位置関係になった場合に、座標が切り替えられると設定しておくことができる。また、所定のオブジェクトとの位置関係が、所定の条件、例えば、一定の距離内になる、一定の距離外になるなどの条件が満たされたときに、座標が切り替えられると設定しておくことができる。
　また、位置関係としてしては、ユーザの姿勢も考慮されるようにしても良い。例えば、ユーザが下を向く、上を向くといった姿勢が変化したとき、またこの姿勢が予め設定されている条件に変化したときを、座標切替条件が満たされたとしても良い。
　座標切替条件の１条件としては、所定のイベントが達成された場合という条件でも良い。例えば、ローカル座標で通知コンテンツが、何らかのイベントをユーザに指示する内容であった場合、その指示したイベントが達成された時点で、ローカル座標からワールド座標に表示が切り替えられるようにすることができる。
　座標切替条件の１条件としては、ＡＲ－ＨＭＤ１に備えられているセンサ部５２（図５）から得られる情報が、特定の条件を満たしている場合という条件でも良い。例えば、通知コンテンツが、“Ａと言って”といった指示であった場合、マイクロフォン５２ｃからの音声情報により、“Ａ”というユーザの発話の音が聞こえたと判定された場合、座標切替条件が満たされたと判定されるようにしても良い。
　また座標切替条件の１条件として、ユーザからの指示があった場合という条件であっても良い。ユーザからの指示として、音声やジェスチャなどで、座標の切替が指示されたときに、座標切替条件が満たされると判定されるようにしても良い。
　また、通知コンテンツが表示されたとき、その通知コンテンツを消すことを指示するボタンも表示されるようにし、そのようなボタンが操作されたときに、座標切替条件が満たされたと判定されるようにしても良い。
　このように、座標切替条件としては、時間に関連付けられた条件、位置に関連付けられた条件、イベントに関連付けられた条件などがある。なお、ここで挙げた座標切替条件は、一例であり、限定を示す記載ではない。
　図９に示したフローチャートを参照した説明に戻る。ステップＳ１５において、座標切替条件が満たされているか否かが判定される。例えば上記したような、時間、位置、イベントなどに関連付けられた複数の条件のうちの１または複数の条件が、通知コンテンツに関連付けられて設定されている。その設定されている条件が満たされるか否かが判定される。
　ステップＳ１５において、座標切替条件は満たされていないと判定された場合、ステップＳ１４に戻され、それ以降の処理が繰り返される。すなわち、ローカル座標での通知コンテンツの表示が継続して行われる。
　一方、ステップＳ１５において、座標切替条件が満たされたと判定された場合、ステップＳ１６に処理は進められる。ステップＳ１６において、通知コンテンツがワールド座標に変換され、レイアウト配置される。
　ローカル座標で表示されていた通知コンテンツを、ワールド座標で表示されるようにする場合、ローカル座標で表示されていた通知コンテンツの位置をそのまま維持し、通知コンテンツの座標として、ワールド座標を割り当てる。この場合、通知コンテンツは、ユーザから見ると、三次元空間内で固定されたかのように見える。
　図１３を参照し、通知コンテンツの表示を固定する場合について説明する。時刻ｔ１において、ローカル座標で通知コンテンツＦがローカル座標で座標（ｘF，ｙF，ｚF）に表示されている。座標切替条件が満たされたと判定された時刻ｔ２において、通知コンテンツＦの表示位置は、ローカル座標からワールド座標に変換される。
　図１３に示した例では、ローカル座標で座標（ｘF，ｙF，ｚF）が、ワールド座標の座標（ＸF，ＹF，ＺF）に変換される。この変換には、次式（１）を用いることができる。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、Ｓは拡大行列を表し、Ｒは回転行列を表し、Ｔは移動行列を表す。Ｓ、Ｒ、Ｔで表される行列にローカル座標を乗算することで、ワールド座標に変換することができる。
　図１３に示した例では、通知コンテンツＦの表示位置は、ユーザから見ると維持されたままである。ローカル座標で通知コンテンツＦが表示されているときは、ユーザが移動しても、換言すればユーザの頭部（視線）が移動しても、その移動に追従して通知コンテンツＦはユーザの正面に表示されている。座標が切り替わるときに、ユーザが通知コンテンツＦを見ていた位置に、通知コンテンツＦは置かれたような（通知コンテンツＦは固定されたような）感じの表示となる。なお、座標が切り替わるときに、ユーザが通知コンテンツを見ていた位置ではなく、コンテンツＦがローカル座標で表示されたときの位置に、コンテンツＦが表示されるようにしても良い。
　このような表示は、例えば、図８を参照して説明したような場合に適用できる。図８では、ユーザが所定のミッションをクリアし、“おめでとう”という通知コンテンツが表示される例を挙げた説明をした。このような場合に、図１３を参照して説明した位置が固定される表示が実行されると、ユーザがミッションをクリアした場所（位置）に、通知コンテンツが残されたままの表示を実現することができる。
　通知コンテンツが残されたままにしておくことで、ユーザは、ミッションをクリアした位置を後の時点になっても確認することができる。例えば、時刻ｔ２から時間が経過し、ユーザが他の場所に移動した後に、この位置（ワールド座標で座標（ＸF，ＹF，ＺF）の位置）に戻ってきたときでも、通知コンテンツは、その場に残っているため、再度見ることができる。
　なお、ローカル座標からワールド座標に表示が切り替えられるとき、同一内容の通知コンテンツが表示される場合を例に挙げて説明しているが、異なる内容の通知コンテンツが表示されるようにしても良い。例えば、ローカル座標では、“おめでとう”といった内容の通知コンテンツが表示され、その後、ワールド座標で表示される通知コンテンツは、“次はＢ地点に進む”といったような指示を示す内容であっても良い。
　なお、ワールド座標で通知コンテンツが表示されてから、所定の時間が経過した後には、その通知コンテンツは表示されないような設定にすることも、もちろん可能である。
　また、例えば、通知コンテンツＦが、地図や、次の指令などが記載されているコンテンツであった場合、ユーザは、通知コンテンツＦを再度見たければ、通知コンテンツＦが表示されていた位置（ワールド座標で座標（ＸF，ＹF，ＺF）の位置）に戻ってくれば良い。
　このように、戻ってきたときに通知コンテンツＦが見られるようにした場合の見え方について図１４を参照して説明する。図１４のＡを参照するに、例えば、ワールド座標で、位置Ｇに“おめでとう”といった通知コンテンツが表示されているとする。ユーザが、方向Ａから通知コンテンツを見ていたときに、座標変換が行われ、ワールド座標系で固定されたとする。
　このような通知コンテンツは、ユーザが方向Ａから見たときには、図１４のＢに示したように“おめでとう”と文字が読み取れる状態で表示される。
　図１４のＡに示したように、例えば、ユーザが方向Ａに歩いて行き、通知コンテンツが表示されている位置Ｇを超えたあと、再度位置Ｇに戻ってきた場合を想定する。この場合、ユーザは、方向Ａとは真逆の方向Ｂの方から、通知コンテンツを見ることになる。
　方向Ｂから見たときも、図１４のＢに示したように、“おめでとう”と文字が読み取れる状態で表示されるようにしても良い。この場合、通知コンテンツは、ユーザが見ている方向に合わせて、ユーザと正対するように、回転されて表示される。
　または、方向Ｂから見たときには、図１４のＣに示したように、“おめでとう”と文字を裏側から見たような状態で表示されるようにしても良い。この場合、通知コンテンツは、ユーザが見ている方向によらず、回転して表示されるといった処理もされず、完全に固定された状態で表示される。
　図１４のＣに示したように、ワールド座標系で固定された通知コンテンツは、ユーザが見る方向によらず同一の表示が行われるようにしても良いし、図１４のＢに示したように、ユーザが見る方向により異なる表示が行われるようにしても良い。
　このような表示の違いは、通知コンテンツの内容に異なるようにしても良い。例えば通知コンテンツがメッセージや指示などの文字の場合、図１４のＢに示したように、常に、ユーザに対して正対するように表示される。また、地図なども、裏側から見た状態で表示されると、情報として間違った情報となる可能性があるため、図１４のＢに示したように、常に、ユーザに対して正対するように表示される。
　通知コンテンツが、絵の場合や看板などの場合、図１４のＣに示したように、ユーザの位置により、反対側から見たような表示とされる。看板などの場合には、反対側から見たような表示として、例えば、何も書かれていない表示とされても良い。
　ステップＳ１６におけるワールド座標に変換し、レイアウト配置することに関する他の例について説明する。ローカル座標で表示されていた通知コンテンツを、ワールド座標で表示されるようにする場合、ローカル座標で表示されていた通知コンテンツの位置に係わらず、予め設定されているワールド座標（通知コンテンツに直接的または間接的に関連付けられているワールド座標）に変換されるようにしても良い。この場合、通知コンテンツは、ユーザから見ると、三次元空間内で移動されたかのように見える場合がある。
　図１０、図１１を再度参照して説明する。図１０、図１１は、例えば、時計１１１に関連付けられている通知コンテンツ１１２が表示される場合を例に挙げた説明であった。通知コンテンツ１１２は、時計１１１に関連付けられているコンテンツであるため、ワールド座標で通知コンテンツ１１２が表示される場合、図１０のＡのように、時計１１１の近傍（時計１１１と同一画面内に収まる位置）に表示されると設定されている。
　なお、ここで、通知コンテンツ１１２は、時計１１１に関連付けられているコンテンツであるとは、上記したように、通知コンテンツ１１２が、時計１１１に関連付けられて管理され、通知コンテンツ１１２が、ワールド座標で表示されるときには、時計１１１に設定されているワールド座標（の近傍のワールド座標）に基づいて表示されることを意味する。
　または、通知コンテンツ１１２自体にワールド座標が関連付けられており、通知コンテンツ１１２が、ワールド座標で表示されるときには、通知コンテンツ１１２に設定されているワールド座標に基づき表示されることを意味する。
　例えば、図１０のＢのように、ローカル座標で通知コンテンツ１１２が表示されているときに、ワールド座標に変換された場合、通知コンテンツ１１２は、図１０のＡに示したように、時計１１１の近傍に表示される。よってこのような表示がなされた場合、ユーザからは通知コンテンツ１１２が移動したかのように見える。
　なおここでは、図１０、図１１に示した例を参照して説明したが、図８や図１３を参照して説明した、例えば、“おめでとう”といった通知コンテンツの場合に対しても適用できる。“おめでとう”といった通知コンテンツは、ミッションをクリアしたときの位置で、ローカル座標で一旦表示されるが、その後、関連付けられているワールド座標で表示されるようにすることもできる。
　このように、通知コンテンツの表示位置を、ローカル座標系からワールド座標系に変換するとき、予め設定されているワールド座標に変換されるようにしても良い。このような座標変換は、上記したように、所定のオブジェクトに関連付けられている通知コンテンツや、所定の位置に関連付けられている通知コンテンツなどに用いることができる。
　また、上記した通知コンテンツの表示を固定する場合と、移動する場合とを組み合わせたような表示がされるようにしても良い。例えば、ローカル座標で表示されている通知コンテンツを、その位置で固定するために、一旦ワールド座標に変換する。その後、ユーザが、その場所から離れた、所定の時間が経過したなど、所定の条件が満たされたときに、さらに、他のワールド座標に移動されるようにしても良い。
　このようにして、ワールド座標系で表示された通知コンテンツは、所定の条件が満たされときに消去されるようにしても良い。例えば、画角外になった場合や、所定の時間経過した場合などに、消去されるようにしても良い。
　ワールド座標で表示された通知コンテンツは、ユーザが近づけば大きく見えるし、ユーザが離れれば小さく見える。すなわち、他のオブジェクトと同じように、運動視差を伴った表示がなされる。
　ステップＳ１６におけるワールド座標に変換し、レイアウト配置することに関するさらに他の例について説明する。通知コンテンツによっては、ユーザに確実に通知できれば、そのまま表示を維持し続けなくても良いコンテンツもある。そのようなコンテンツは、ローカル座標での表示が終了した時点でワールド座標には変換せずに、消去されるようにしても良い。
　このように、ローカル座標での表示が終了した後にワールド座標で表示するか否か、またワールド座標で表示するときに、どのような位置に表示するかは、通知コンテンツ毎に設定されている。
　ステップＳ１６において、通知コンテンツのワールド座標系におけるレイアウト配置が設定されると、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。
　本技術によれば、ユーザに伝えたい情報を、三次元空間内で確実に通知することができる。また、通知が終了したときに、その通知がユーザにとって邪魔になるようなことがない表示に変換することができる。さらに、通知コンテンツを三次元空間内で違和感を感じさせることなく表示させることができる。
　上記した実施の形態は、ＡＲ－ＨＭＤや、スマートフォンでのＡＲに適用した場合を例に挙げて説明したが、本技術は、ＶＲ（Virtual Reality）にも適用可能である。上記したＡＲは、現実世界に、仮想物体を重畳するなどの処理が行われるため、現実世界を撮影するためのカメラがあり、そのカメラ視点で、位置基準が設定され、その位置基準において、上記した処理が実行される。
　本技術をＶＲに適用した場合、設定されている仮想空間での絶対位置を、上記したワールド座標に相当する座標として用い、ユーザの頭部を上記した場合と同じくローカル座標の原点とするとして、上記した処理を実行することができる。すなわち、ＶＲに対しても本技術を適用することができる。
　＜記録媒体について＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または前記現実世界を基準とするワールド座標系上の位置に、表示する表示制御部を備え、
　前記表示制御部は、
　前記通知コンテンツの表示開始条件が満たされたことに応じて、前記ローカル座標系上であって、ユーザが視認可能な位置に前記通知コンテンツを表示し、
　前記通知コンテンツの表示開始後に、前記通知コンテンツが表示される座標の切替条件が満たされたことに応じて、前記通知コンテンツを前記ワールド座標系上での表示に切り替える
　情報処理装置。
（２）
　前記表示開始条件は、ユーザの位置情報に基づいて条件が満たされたか否かが判定される条件である
　前記（１）に記載の情報処理装置。
（３）
　前記表示開始条件は、前記ユーザが所定の位置に位置しているときに満たされたと判定される条件である
　前記（２）に記載の情報処理装置。
（４）
　前記表示開始条件は、前記ユーザが所定のオブジェクトの近傍に位置しているときに満たされたと判定される条件である
　前記（２）に記載の情報処理装置。
（５）
　前記表示開始条件は、所定の条件が満たされてから所定の時間が経過したときに満たされたと判定される条件である
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記表示開始条件は、所定のイベントが発生したときに満たされたと判定される条件である
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記座標の切替条件は、所定の時間が経過したときに満たされたと判定される条件である
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記座標の切替条件は、前記ユーザが所定の位置に位置しているときに満たされたと判定される条件である
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記座標の切替条件は、前記ユーザが所定のイベントを達成したときに満たされたと判定される条件である
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記座標の切替条件は、前記ユーザからの指示があったときに満たされたと判定される条件である
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記通知コンテンツは、ローカル座標系上で表示されるとき、前記ユーザから所定の距離だけ離れた正面の位置に表示される
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記通知コンテンツは、ローカル座標系上で表示されるとき、画角内に収まる位置に表示される
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記通知コンテンツは、所定の前記ワールド座標系上の位置に対応する通知コンテンツであり、
　前記表示制御部は、前記座標の切替条件が満たされたときに、前記通知コンテンツが配置されていた前記ローカル座標系の位置を、前記通知コンテンツに対応する前記ワールド座標系上の所定の位置に切り替える
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記表示制御部は、前記座標の切替条件が満たされたときに、前記通知コンテンツが配置されていた前記ローカル座標系の位置を、前記ワールド座標系上の位置に変換する
　前記（１３）に記載の情報処理装置。
（１５）
　前記表示制御部は、前記座標の切替条件が満たされたときに、前記通知コンテンツに設定されている前記ワールド座標系上の位置に、前記通知コンテンツの表示を切り替える
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記表示制御部は、前記座標の切替条件が満たされたときに、前記通知コンテンツの表示を消去する
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記ワールド座標系上で表示された前記通知コンテンツは、運動視差を伴って表示される
　前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記ワールド座標系上で表示された前記通知コンテンツは、ユーザに正対するように回転して表示される
　前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　情報処理装置が、
　現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または前記現実世界を基準とするワールド座標系上の位置に、表示する表示制御部を備え、
　前記表示制御部が、
　前記通知コンテンツの表示開始条件が満たされたことに応じて、前記ローカル座標系上であって、ユーザが視認可能な位置に前記通知コンテンツを表示し、
　前記通知コンテンツの表示開始後に、前記通知コンテンツが表示される座標の切替条件が満たされたことに応じて、前記通知コンテンツを前記ワールド座標系上での表示に切り替える
　情報処理方法。
（２０）
　コンピュータに、
　現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または前記現実世界を基準とするワールド座標系上の位置に、表示し、
　前記通知コンテンツの表示開始条件が満たされたことに応じて、前記ローカル座標系上であって、ユーザが視認可能な位置に前記通知コンテンツを表示し、
　前記通知コンテンツの表示開始後に、前記通知コンテンツが表示される座標の切替条件が満たされたことに応じて、前記通知コンテンツを前記ワールド座標系上での表示に切り替える
　ステップを含む処理を実行させるためのプログラム。
　１　ＡＲ－ＨＭＤ，　２　情報処理装置，　３　ネットワーク，　１１　表示部，　１２　カメラ，　３１　ＣＰＵ，　３２　メモリ，　３３　センサ部，　３４　入力部，　３５　出力部，　３６　通信部，　３７　バス，　５１　制御部，　５２　センサ部，　５３　表示部，　５４　スピーカ，　５５　通信部，　５６　操作入力部，　５７　記憶部，　７１　センサ情報取得部，　７２　方向検出部，　７３　配置座標設定部，　７４　レイアウトパラメータ計算部，　７５　レイアウト決定部，　７６　出力制御部，　１０１　オブジェクト，　１１１　時計，　１１２　通知コンテンツ

Claims (20)

  1. 　現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または前記現実世界を基準とするワールド座標系上の位置に、表示する表示制御部を備え、
    　前記表示制御部は、
    　前記通知コンテンツの表示開始条件が満たされたことに応じて、前記ローカル座標系上であって、ユーザが視認可能な位置に前記通知コンテンツを表示し、
    　前記通知コンテンツの表示開始後に、前記通知コンテンツが表示される座標の切替条件が満たされたことに応じて、前記通知コンテンツを前記ワールド座標系上での表示に切り替える
    　情報処理装置。
  2. 　前記表示開始条件は、ユーザの位置情報に基づいて条件が満たされたか否かが判定される条件である
    　請求項１に記載の情報処理装置。
  3. 　前記表示開始条件は、前記ユーザが所定の位置に位置しているときに満たされたと判定される条件である
    　請求項２に記載の情報処理装置。
  4. 　前記表示開始条件は、前記ユーザが所定のオブジェクトの近傍に位置しているときに満たされたと判定される条件である
    　請求項２に記載の情報処理装置。
  5. 　前記表示開始条件は、所定の条件が満たされてから所定の時間が経過したときに満たされたと判定される条件である
    　請求項１に記載の情報処理装置。
  6. 　前記表示開始条件は、所定のイベントが発生したときに満たされたと判定される条件である
    　請求項１に記載の情報処理装置。
  7. 　前記座標の切替条件は、所定の時間が経過したときに満たされたと判定される条件である
    　請求項１に記載の情報処理装置。
  8. 　前記座標の切替条件は、前記ユーザが所定の位置に位置しているときに満たされたと判定される条件である
    　請求項１に記載の情報処理装置。
  9. 　前記座標の切替条件は、前記ユーザが所定のイベントを達成したときに満たされたと判定される条件である
    　請求項１に記載の情報処理装置。
  10. 　前記座標の切替条件は、前記ユーザからの指示があったときに満たされたと判定される条件である
    　請求項１に記載の情報処理装置。
  11. 　前記通知コンテンツは、ローカル座標系上で表示されるとき、前記ユーザから所定の距離だけ離れた正面の位置に表示される
    　請求項１に記載の情報処理装置。
  12. 　前記通知コンテンツは、ローカル座標系上で表示されるとき、画角内に収まる位置に表示される
    　請求項１に記載の情報処理装置。
  13. 　前記通知コンテンツは、所定の前記ワールド座標系上の位置に対応する通知コンテンツであり、
    　前記表示制御部は、前記座標の切替条件が満たされたときに、前記通知コンテンツが配置されていた前記ローカル座標系の位置を、前記通知コンテンツに対応する前記ワールド座標系上の所定の位置に切り替える
    　請求項１に記載の情報処理装置。
  14. 　前記表示制御部は、前記座標の切替条件が満たされたときに、前記通知コンテンツが配置されていた前記ローカル座標系の位置を、前記ワールド座標系上の位置に変換する
    　請求項１３に記載の情報処理装置。
  15. 　前記表示制御部は、前記座標の切替条件が満たされたときに、前記通知コンテンツに設定されている前記ワールド座標系上の位置に、前記通知コンテンツの表示を切り替える
    　請求項１に記載の情報処理装置。
  16. 　前記表示制御部は、前記座標の切替条件が満たされたときに、前記通知コンテンツの表示を消去する
    　請求項１に記載の情報処理装置。
  17. 　前記ワールド座標系上で表示された前記通知コンテンツは、運動視差を伴って表示される
    　請求項１に記載の情報処理装置。
  18. 　前記ワールド座標系上で表示された前記通知コンテンツは、ユーザに正対するように回転して表示される
    　請求項１に記載の情報処理装置。
  19. 　情報処理装置が、
    　現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または前記現実世界を基準とするワールド座標系上の位置に、表示する表示制御部を備え、
    　前記表示制御部が、
    　前記通知コンテンツの表示開始条件が満たされたことに応じて、前記ローカル座標系上であって、ユーザが視認可能な位置に前記通知コンテンツを表示し、
    　前記通知コンテンツの表示開始後に、前記通知コンテンツが表示される座標の切替条件が満たされたことに応じて、前記通知コンテンツを前記ワールド座標系上での表示に切り替える
    　情報処理方法。
  20. 　コンピュータに、
    　現実世界に重畳されて表示される通知コンテンツを、情報処理装置の位置を基準としたローカル座標系上の位置、または前記現実世界を基準とするワールド座標系上の位置に、表示し、
    　前記通知コンテンツの表示開始条件が満たされたことに応じて、前記ローカル座標系上であって、ユーザが視認可能な位置に前記通知コンテンツを表示し、
    　前記通知コンテンツの表示開始後に、前記通知コンテンツが表示される座標の切替条件が満たされたことに応じて、前記通知コンテンツを前記ワールド座標系上での表示に切り替える
    　ステップを含む処理を実行させるためのプログラム。
PCT/JP2020/026958 2019-07-26 2020-07-10 情報処理装置、情報処理方法、およびプログラム WO2021020068A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019137556 2019-07-26
JP2019-137556 2019-07-26

Publications (1)

Publication Number Publication Date
WO2021020068A1 true WO2021020068A1 (ja) 2021-02-04

Family

ID=74229856

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026958 WO2021020068A1 (ja) 2019-07-26 2020-07-10 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2021020068A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023037547A1 (ja) * 2021-09-13 2023-03-16 マクセル株式会社 携帯情報端末及びオブジェクト表示方法
WO2023119596A1 (ja) * 2021-12-23 2023-06-29 日本電信電話株式会社 制御装置、制御方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP2016530600A (ja) * 2013-06-18 2016-09-29 マイクロソフト テクノロジー ライセンシング，エルエルシー 多ステップ仮想オブジェクト選択
WO2016203792A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017199237A (ja) * 2016-04-28 2017-11-02 株式会社カプコン 仮想空間表示システム、ゲームシステム、仮想空間表示プログラムおよびゲームプログラム
WO2019131143A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP2016530600A (ja) * 2013-06-18 2016-09-29 マイクロソフト テクノロジー ライセンシング，エルエルシー 多ステップ仮想オブジェクト選択
WO2016203792A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017199237A (ja) * 2016-04-28 2017-11-02 株式会社カプコン 仮想空間表示システム、ゲームシステム、仮想空間表示プログラムおよびゲームプログラム
WO2019131143A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023037547A1 (ja) * 2021-09-13 2023-03-16 マクセル株式会社 携帯情報端末及びオブジェクト表示方法
WO2023119596A1 (ja) * 2021-12-23 2023-06-29 日本電信電話株式会社 制御装置、制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
US10009542B2 (en) Systems and methods for environment content sharing
EP3379525B1 (en) Image processing device and image generation method
JP5538483B2 (ja) 映像処理装置、映像処理方法、および映像処理システム
JP2022000640A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR101309176B1 (ko) 증강 현실 장치 및 방법
US11170580B2 (en) Information processing device, information processing method, and recording medium
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
KR20170067058A (ko) 이동 단말기 및 그 제어방법
US10277814B2 (en) Display control method and system for executing the display control method
EP3847530B1 (en) Display device sharing and interactivity in simulated reality (sr)
US10771707B2 (en) Information processing device and information processing method
US11393177B2 (en) Information processing apparatus, information processing method, and program
CN110546601A (zh) 信息处理装置、信息处理方法和程序
EP3086216A1 (en) Mobile terminal and controlling method thereof
WO2021020068A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220053179A1 (en) Information processing apparatus, information processing method, and program
EP3719613A1 (en) Rendering captions for media content
US20210058611A1 (en) Multiviewing virtual reality user interface
KR101695695B1 (ko) 이동단말기 및 그 제어방법
WO2022066459A1 (en) Synchronization in a multiuser experience
WO2021020130A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2024057783A1 (ja) ３６０度画像視点位置同定部を備える情報処理装置
EP4325842A1 (en) Video display system, information processing device, information processing method, and program
JP2018190395A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20848203

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20848203

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP