WO2023149256A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2023149256A1
WO2023149256A1 PCT/JP2023/001884 JP2023001884W WO2023149256A1 WO 2023149256 A1 WO2023149256 A1 WO 2023149256A1 JP 2023001884 W JP2023001884 W JP 2023001884W WO 2023149256 A1 WO2023149256 A1 WO 2023149256A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
user
notification
virtual
display control
Prior art date
Application number
PCT/JP2023/001884
Other languages
English (en)
French (fr)
Inventor
智仁 山▲崎▼
進 関野
Original Assignee
株式会社Nttドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Nttドコモ filed Critical 株式会社Nttドコモ
Publication of WO2023149256A1 publication Critical patent/WO2023149256A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present invention relates to a display control device. More particularly, the present invention relates to a display control device for displaying virtual objects corresponding to notifications in virtual space.
  • XR glasses that apply XR technology including VR (Virtual Reality) technology, AR (Augmented Reality) technology, and MR (Mixed Reality) technology are known.
  • the XR glasses are worn on the user's head.
  • a message indicated by a virtual object may be displayed in the virtual space displayed on the XR glasses.
  • Patent Literature 1 discloses a technique for sharing messages for communication between users in a virtual space. Specifically, Patent Literature 1 discloses a technique for displaying a virtual object representing a "doodle message" in a virtual space shared between users.
  • the virtual space displayed on the XR glasses worn by the user on the head may be filled with a plurality of virtual objects.
  • the conventional technology there is a problem that the user's view is obstructed and the convenience is lowered.
  • the present invention provides a display control device that can suppress a decrease in convenience for the user when displaying a virtual space including virtual objects corresponding to notifications, even if the number of the virtual objects increases according to the number of notifications. intended to provide
  • a display control device includes an acquisition unit that acquires a notification; a generation unit that generates a virtual object corresponding to the notification; a display control unit for displaying; and a distance between the virtual object and the first user in the virtual space when the first user is included in destination information indicating one or more destinations of the notification. is within a predetermined distance, and if the determination result of the determination unit is affirmative, the virtual object is brought closer to the first user by moving the virtual object, and the determination unit and a movement control unit that does not move the virtual object when the determination result of is negative.
  • the present invention when displaying a virtual space that includes virtual objects corresponding to notifications, even if the number of virtual objects increases in accordance with the number of notifications, it is possible to prevent a decrease in convenience for the user.
  • FIG. 1 is a perspective view showing the appearance of XR glasses 20 according to the first embodiment
  • FIG. 2 is a block diagram showing a configuration example of the XR glasses 20 according to the first embodiment
  • FIG. 1 is a block diagram showing a configuration example of a terminal device 10 according to the first embodiment
  • FIG. 4 is an explanatory diagram of an operation example of a generation unit 112 and a display control unit 113
  • FIG. 4 is an explanatory diagram of an operation example of a generation unit 112 and a display control unit 113
  • FIG. 4 is an explanatory diagram of an operation example of a generation unit 112 and a display control unit 113
  • FIG. 4 is an explanatory diagram of an operation example of a generation unit 112 and a display control unit 113
  • FIG. 1 is a perspective view showing the appearance of XR glasses 20 according to the first embodiment
  • FIG. 2 is a block diagram showing a configuration example of the XR glasses 20 according to the first embodiment
  • FIG. 1 is a
  • FIG. 4 is an explanatory diagram of an operation example of a display control unit 113 and a reception unit 116; 3 is a block diagram showing a configuration example of a server 30 according to the first embodiment; FIG. 4 is a flowchart showing the operation of the terminal device 10 according to the first embodiment; The block diagram which shows the structural example of server 30A which concerns on 2nd Embodiment.
  • FIG. 3 is an explanatory diagram of an operation example of a generation unit 313 and a display control unit 314;
  • 9 is a flow chart showing the operation of the server 30A according to the second embodiment;
  • FIG. 1 First Embodiment
  • a configuration of an information processing system 1 including a terminal device 10 as a display control device according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 7.
  • FIG. 1 First Embodiment
  • FIG. 1 shows the overall configuration of an information processing system 1 .
  • the information processing system 1 includes terminal devices 10-1 and 10-2, XR glasses 20, and a server 30.
  • the suffix "-X" is used when distinguishing the terminal device 10 used for each user.
  • X is an arbitrary integer of 1 or more.
  • the terminal device 10 is used as a generic term for the terminal devices 10-1 and 10-2.
  • the terminal device 10 is an example of a display control device.
  • the terminal device 10 and the server 30 are communicably connected to each other via a communication network NET. Also, the terminal device 10 and the XR glasses 20 are connected so as to be able to communicate with each other. In FIG. 1, two terminal devices 10-1 and 10-2 and one XR glass 20 are shown. However, this number is merely an example, and the information processing system 1 may include any number of terminal devices 10 and XR glasses 20 .
  • the notification may include a notification transmitted from the terminal device 10-2 to the terminal device 10-1. Also, the notification may include a notification transmitted from the terminal device 10-1 to the terminal device 10-2. The notification may also include a message sent from another terminal device (not shown in FIG. 1) to the terminal device 10-1. Furthermore, the notification may be a notification generated by the terminal device 10-1 itself.
  • the server 30 provides various data and cloud services to the terminal device 10 via the communication network NET.
  • the terminal device 10-1 causes the XR glasses 20 worn by the user U1 to display a virtual object arranged in the virtual space.
  • the virtual space is, for example, a celestial space.
  • the virtual objects are, for example, virtual objects representing data such as still images, moving images, 3DCG models, HTML files, and text files, and virtual objects representing applications. Examples of text files include memos, source codes, diaries, and recipes. Examples of applications include browsers, applications for using SNS, and applications for generating document files.
  • the terminal device 10 is preferably a mobile terminal device such as a smart phone and a tablet, for example.
  • the terminal device 10-1 is an example of a display control device.
  • the terminal device 10-2 is a device for user U2 to send a message to user U1.
  • the terminal device 10-2 may display a virtual object placed in the virtual space on the display 14 described later or XR glasses (not shown) connected to the terminal device 10-2.
  • the configuration of the terminal device 10-2 is basically the same as that of the terminal device 10-1.
  • the terminal device 10-2 is preferably a mobile terminal device such as a smart phone and a tablet, for example.
  • the XR glasses 20 are a see-through wearable display worn on the head of user U1.
  • the XR glasses 20 are controlled by the terminal device 10 to display a virtual object on the display panel provided for each of the binocular lenses.
  • the user U1 can view the virtual space including the virtual object by wearing the XR glasses.
  • the XR glass 20 is an example of a display device.
  • the XR glasses 20 are MR glasses will be described below.
  • the fact that the XR glasses 20 are MR glasses is only an example, and the XR glasses 20 may be VR glasses or AR glasses.
  • FIG. 2 is a perspective view showing the appearance of the XR glasses 20. As shown in FIG. As shown in FIG. 2, the XR glasses 20 have temples 91 and 92, a bridge 93, frames 94 and 95, and lenses 41L and 41R, like general eyeglasses.
  • An imaging device 26 is provided on the bridge 93 .
  • the imaging device 26 images the outside world.
  • the imaging device 26 also outputs imaging information indicating the captured image.
  • Each of the lenses 41L and 41R has a half mirror.
  • a frame 94 is provided with a liquid crystal panel or an organic EL panel for the left eye.
  • a liquid crystal panel or an organic EL panel is hereinafter generically referred to as a display panel.
  • the frame 94 is provided with an optical member that guides the light emitted from the display panel for the left eye to the lens 41L.
  • the half mirror provided in the lens 41L transmits external light and guides it to the left eye, and reflects the light guided by the optical member to enter the left eye.
  • the frame 95 is provided with a right-eye display panel and an optical member that guides light emitted from the right-eye display panel to the lens 41R.
  • the half mirror provided in the lens 41R transmits external light and guides it to the right eye, and reflects the light guided by the optical member to enter the right eye.
  • the display 28 which will be described later, includes a lens 41L, a left-eye display panel, a left-eye optical member, and a lens 41R, a right-eye display panel, and a right-eye optical member.
  • the user U1 can observe the image displayed by the display panel in a see-through state in which the image is superimposed on the appearance of the outside world. Further, in the XR glasses 20, of the binocular images with parallax, the image for the left eye is displayed on the display panel for the left eye, and the image for the right eye is displayed on the display panel for the right eye. Therefore, the XR glasses 20 allow the user to perceive the displayed image as if it had depth and stereoscopic effect.
  • FIG. 3 is a block diagram showing a configuration example of the XR glasses 20.
  • the XR glasses 20 include a processing device 21 , a storage device 22 , a line-of-sight detection device 23 , a GPS device 24 , a motion detection device 25 , an imaging device 26 , a communication device 27 and a display 28 .
  • Each element of the XR glasses 20 is interconnected by one or more buses for communicating information.
  • the term "apparatus" in this specification may be replaced with another term such as a circuit, a device, or a unit.
  • the processing device 21 is a processor that controls the XR glasses 20 as a whole.
  • the processing device 21 is configured using, for example, one or more chips.
  • the processing device 21 is configured using, for example, a central processing unit (CPU) including an interface with peripheral devices, an arithmetic device, registers, and the like. Some or all of the functions of the processing device 21 are implemented by hardware such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field Programmable Gate Array). may be realized.
  • the processing device 21 executes various processes in parallel or sequentially.
  • the storage device 22 is a recording medium that can be read and written by the processing device 21 .
  • the storage device 22 also stores a plurality of programs including the control program PR2 executed by the processing device 21 .
  • the line-of-sight detection device 23 detects the line-of-sight of the user U1 and generates line-of-sight information indicating the detection result. Any method may be used to detect the line of sight by the line of sight detection device 23 .
  • the line-of-sight detection device 23 may detect line-of-sight information based on, for example, the position of the inner corner of the eye and the position of the iris.
  • the line-of-sight information indicates the line-of-sight direction of the user U1.
  • the line-of-sight detection device 23 supplies the line-of-sight information to the processing device 21, which will be described later.
  • the line-of-sight information supplied to the processing device 21 is transmitted to the terminal device 10 via the communication device 27 .
  • the GPS device 24 receives radio waves from multiple satellites.
  • the GPS device 24 also generates position information from the received radio waves.
  • the positional information indicates the position of the XR glasses 20 .
  • the location information may be in any format as long as the location can be specified.
  • the position information indicates the latitude and longitude of the XR glasses 20, for example.
  • location information is obtained from GPS device 24 .
  • the XR glasses 20 may acquire position information by any method.
  • the acquired position information is supplied to the processing device 21 .
  • the position information supplied to the processing device 21 is transmitted to the terminal device 10 via the communication device 27 .
  • the motion detection device 25 detects motion of the XR glasses 20 .
  • the motion detection device 25 corresponds to an inertial sensor such as an acceleration sensor that detects acceleration and a gyro sensor that detects angular acceleration.
  • the acceleration sensor detects acceleration in orthogonal X-, Y-, and Z-axes.
  • the gyro sensor detects angular acceleration around the X-, Y-, and Z-axes.
  • the motion detection device 25 can generate posture information indicating the posture of the XR glasses 20 based on the output information of the gyro sensor.
  • the motion information includes acceleration data indicating three-axis acceleration and angular acceleration data indicating three-axis angular acceleration.
  • the motion detection device 25 supplies posture information indicating the posture of the XR glasses 20 and motion information related to the motion of the XR glasses 20 to the processing device 21 .
  • the posture information and motion information supplied to the processing device 21 are transmitted to the terminal device 10 via the communication device 27 .
  • the imaging device 26 outputs imaging information obtained by imaging the outside world.
  • the imaging device 26 includes, for example, a lens, an imaging element, an amplifier, and an AD converter.
  • the light condensed through the lens is converted into an image pickup signal, which is an analog signal, by the image pickup device.
  • the amplifier amplifies the imaging signal and outputs it to the AD converter.
  • the AD converter converts the amplified imaging signal, which is an analog signal, into imaging information, which is a digital signal.
  • the converted imaging information is supplied to the processing device 21 .
  • the imaging information supplied to the processing device 21 is transmitted to the terminal device 10 via the communication device 27 .
  • the communication device 27 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 27 is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the communication device 27 may include a connector for wired connection and an interface circuit corresponding to the connector. Further, the communication device 27 may have a wireless communication interface. Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection. Also, as a wireless communication interface, there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 28 is a device that displays images.
  • the display 28 displays various images under the control of the processing device 21 .
  • the display 28 includes the lens 41L, the left-eye display panel, the left-eye optical member, and the lens 41R, the right-eye display panel, and the right-eye optical member, as described above.
  • Various display panels such as a liquid crystal display panel and an organic EL display panel are preferably used as the display panel.
  • the processing device 21 functions as an acquisition unit 211 and a display control unit 212, for example, by reading the control program PR2 from the storage device 22 and executing it.
  • the acquisition unit 211 acquires image information indicating an image displayed on the XR glasses 20 from the terminal device 10 .
  • the acquisition unit 211 also receives line-of-sight information input from the line-of-sight detection device 23 , position information input from the GPS device 24 , posture information and motion information input from the motion detection device 25 , and input from the imaging device 26 . Acquire imaging information. After that, the acquisition unit 211 outputs the acquired line-of-sight information, position information, posture information, motion information, and imaging information to the communication device 27 .
  • the display control unit 212 Based on the image information acquired from the terminal device 10 by the acquisition unit 211, the display control unit 212 causes the display 28 to display an image indicated by the image information.
  • FIG. 4 is a block diagram showing a configuration example of the terminal device 10. As shown in FIG.
  • the terminal device 10 includes a processing device 11 , a storage device 12 , a communication device 13 , a display 14 , an input device 15 and an inertial sensor 16 . Elements of the terminal device 10 are interconnected by one or more buses for communicating information. In the following, basically, the case where the terminal device 10 is the terminal device 10-1 used by the user U1 will be described.
  • the processing device 11 is a processor that controls the terminal device 10 as a whole. Also, the processing device 11 is configured using, for example, a single chip or a plurality of chips. The processing unit 11 is configured using, for example, a central processing unit (CPU) including interfaces with peripheral devices, arithmetic units, registers, and the like. A part or all of the functions of the processing device 11 may be implemented by hardware such as DSP, ASIC, PLD, and FPGA. The processing device 11 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 12 is a recording medium readable and writable by the processing device 11 .
  • the storage device 12 also stores a plurality of programs including the control program PR1 executed by the processing device 11 .
  • the storage device 12 may further store image information indicating an image displayed on the XR glasses 20 .
  • the communication device 13 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 13 is also called a network device, a network controller, a network card, a communication module, or the like, for example.
  • the communication device 13 may include a connector for wired connection and an interface circuit corresponding to the connector. Further, the communication device 13 may have a wireless communication interface. Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection. Also, as a wireless communication interface, there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 14 is a device that displays images and character information.
  • the display 14 displays various images under the control of the processing device 11 .
  • various display panels such as a liquid crystal display panel and an organic EL (Electro Luminescence) display panel are preferably used as the display 14 .
  • the display 14 may not be an essential component. In this case, the XR glasses 20 further have the same function as the display 14 .
  • the input device 15 accepts operations from the user U1 who wears the XR glasses 20 on his head.
  • the input device 15 includes a pointing device such as a keyboard, touch pad, touch panel, or mouse.
  • the input device 15 may also serve as the display 14 .
  • the inertial sensor 16 is a sensor that detects inertial force.
  • the inertial sensor 16 includes, for example, one or more of an acceleration sensor, an angular velocity sensor, and a gyro sensor.
  • the processing device 11 detects the orientation of the terminal device 10 based on the output information from the inertial sensor 16 . Further, the processing device 11 receives selection of the virtual object VO, input of characters, and input of instructions in the celestial sphere virtual space VS based on the orientation of the terminal device 10 .
  • the user U1 directs the central axis of the terminal device 10 toward a predetermined area of the virtual space VS, and operates the input device 15 to select the virtual object VO arranged in the predetermined area.
  • the user U1's operation on the input device 15 is, for example, a double tap. By operating the terminal device 10 in this way, the user U1 can select the virtual object VO without looking at the input device 15 of the terminal device 10 .
  • the terminal device 10 preferably has a GPS device similar to the GPS device 24 provided in the XR glasses 20.
  • the processing device 11 functions as an acquisition unit 111, a generation unit 112, a display control unit 113, a determination unit 114, a movement control unit 115, and a reception unit 116 by reading and executing the control program PR1 from the storage device 12.
  • the acquisition unit 111 acquires the notification from the server 30.
  • the terminal device 10 is the terminal device 10-1 used by the user U1
  • the "notification” includes a message from another user U to the user U1.
  • the “message” includes, for example, emails and messages via SNS applications.
  • the "notification” may include a message from the user U1 to another user U.
  • the “notification” may include a message to another user U from another user U.
  • the “notification” may include a message, such as a warning or notification, from each application corresponding to the virtual object VO displayed in the virtual space VS.
  • the "notification” may include advertisements directed to an unspecified number of people.
  • the "notification” may be a text message or an image.
  • the “notification” may be a still image or a moving image.
  • the acquisition unit 111 acquires image information indicating an image displayed on the XR glasses 20 from the server 30 via the communication device 13 .
  • the acquisition unit 111 may acquire the image information from the storage device 12 .
  • the acquisition unit 111 acquires line-of-sight information, position information, posture information, motion information, and imaging information from the XR glasses 20 via the communication device 13 .
  • the generation unit 112 generates a virtual object VO corresponding to the notification acquired by the acquisition unit 111. More specifically, the generation unit 112 uses the image information acquired by the acquisition unit 111 to create the virtual object VO corresponding to the notification also acquired by the acquisition unit 111 .
  • the display control unit 113 displays the virtual object VO generated by the generation unit 112 in the virtual space VS where the user U1 exists.
  • user U1 is an example of a first user.
  • the “virtual space VS where the user U1 exists” is a virtual space VS that becomes perceptible when the user U1 wears the XR glasses 20 .
  • FIG. 5A is an explanatory diagram of an operation example of the generation unit 112 and the display control unit 113.
  • FIG. 5A is an explanatory diagram of an operation example of the generation unit 112 and the display control unit 113.
  • FIG. 5A it is assumed that X, Y and Z axes are orthogonal to each other in the virtual space VS.
  • the X-axis extends in the front-rear direction of user U1.
  • the forward direction along the X axis is the X1 direction
  • the backward direction along the X axis is the X2 direction.
  • the Y-axis extends in the horizontal direction of the user U1.
  • the right direction along the Y axis is the Y1 direction
  • the left direction along the Y axis is the X2 direction.
  • a horizontal plane is formed by these X-axis and Y-axis.
  • the Z-axis is orthogonal to the XY plane and extends in the vertical direction of the user U1.
  • the downward direction along the Z axis is the Z1 direction
  • the upward direction along the Z axis is the Z2 direction.
  • the generation unit 112 generates virtual objects VO1 to VO5 corresponding to the notifications acquired by the acquisition unit 111.
  • the display control unit 113 may control the display form of the virtual objects VO1 to VO5 according to the destination of the notification corresponding to each of the virtual objects VO1 to VO5. For example, the display control unit 113 may change the color of each of the virtual objects VO1 to VO5 based on whether the destination of the notification corresponding to each of the virtual objects VO1 to VO5 is single or multiple. More specifically, the display control unit 113 determines the hue, brightness, and saturation of each of the virtual objects VO1 to VO5 based on whether the destination of the notification corresponding to each of the virtual objects VO1 to VO5 is singular or plural. At least one may be changed.
  • the display control unit 113 may change the transparency of each of the virtual objects VO1 to VO5 based on whether the destination of the notification corresponding to each of the virtual objects VO1 to VO5 is singular or plural.
  • the display control unit 113 may change the shape of each of the virtual objects VO1 to VO5 based on whether the destination of the notification corresponding to each of the virtual objects VO1 to VO5 is singular or plural.
  • the display control unit 113 may change the size of each of the virtual objects VO1 to VO5 according to the number of notification destinations corresponding to each of the virtual objects VO1 to VO5.
  • the display control unit 113 may increase the size of each of the virtual objects VO1 to VO5 as the number of notification destinations corresponding to each of the virtual objects VO1 to VO5 increases.
  • Increasing the size of the virtual object VO1 means increasing the volume of the virtual object VO1. Therefore, as long as the volume of the virtual object VO1 increases, the shape of the virtual object VO1 does not have to be similar before and after the change in volume.
  • the user U1 can distinguish the type of destination of the notification corresponding to the virtual object VO just by visually recognizing the virtual object VO. Therefore, convenience for user U1 is enhanced.
  • the display control unit 113 may change the display form of the virtual objects VO1 to VO5 according to the amount of information included in the notification corresponding to each of the virtual objects VO1 to VO5. For example, the display control unit 113 may increase the size of the virtual objects VO1 to VO5 as the amount of information increases.
  • the user U1 can grasp the information amount of the notification corresponding to the virtual object VO just by visually recognizing the virtual object VO. Therefore, convenience for user U1 is enhanced.
  • the display control unit 113 controls at least one of the time when the notification corresponding to each of the virtual objects VO1 to VO5 is acquired by the acquisition unit 111 and the importance of the notification corresponding to each of the virtual objects VO1 to VO5.
  • the "importance of notification” may be derived, for example, by an importance setting unit (not shown) based on the sender of each notification.
  • the “importance of notification” may be derived based on the result of analysis of the title of each notification or the content of each notification by the importance setting unit.
  • the display control unit 113 may display a virtual object VO whose notification corresponding to each of the virtual objects VO1 to VO5 is acquired earlier, at a position closer to the user U1.
  • the display control unit 113 may display a virtual object VO having a higher importance of notification corresponding to each of the virtual objects VO1 to VO5 at a position closer to the user U1.
  • the user U1 can, for example, preferentially check notifications that are acquired early and notifications that are of high importance. Therefore, convenience for user U1 is enhanced.
  • the display control unit 113 may display the virtual objects VO1 to VO5 at positions in the virtual space VS corresponding to locations in the real space associated with the destination of the notification acquired by the acquisition unit 111. For example, when the destination of the notification acquired by the acquisition unit 111 is the president of the company, the display control unit 113 displays the notification in the president's office of the company in the complex space where the virtual space VS and the real space are combined. A virtual object VO corresponding to the notification may be displayed.
  • user U1 can confirm that a notification addressed to him/herself has arrived at a location that is highly relevant to him/herself.
  • the display control unit 113 provides a A virtual object VO may be displayed at the position.
  • the display control unit 113 displays a virtual Object VO may be displayed.
  • each of the plurality of users U can confirm that a notification including other users U as destinations in addition to themselves has arrived at a place shared with other users U.
  • the virtual objects VO1 to VO5 are spheres, and that a text file indicating the content of the notification is stored in the spheres.
  • the shapes of the virtual objects VO1 to VO5 are not limited to spheres, and may be arbitrary shapes.
  • five virtual objects VO from virtual object VO1 to virtual object VO5 are shown.
  • the number of virtual objects VO is not limited to five, and may be any number.
  • the determination unit 114 determines whether the virtual object VO and the user It is determined whether the distance to U1 is within a predetermined distance. Note that the "predetermined distance" is an example of the first distance.
  • the movement control unit 115 brings the virtual object VO corresponding to the notification closer to the user U1 in the virtual space VS.
  • the determination result by the determining unit 114 is negative, the virtual object VO corresponding to the notification is not moved.
  • FIG. 5A and 5B described above are explanatory diagrams of operation examples of the determination unit 114 and the movement control unit 115.
  • the virtual objects VO2 to VO5 other than the virtual object VO1 do not include the user U1 in the destination of the corresponding notification, or the coordinates of the user U1 and the coordinates of the respective virtual objects VO2 to VO5. Either the distance between the coordinates exceeds the above predetermined distance. In this case, the movement control unit 115 does not move the virtual objects VO2 to VO5.
  • the terminal device 10 can suppress a decrease in convenience for the user U1. Specifically, when the user U1 is included in the destination information and the distance between the virtual object VO corresponding to the notification and the user U1 is within a predetermined distance in the virtual space VS, the terminal device 10 Bring the virtual object VO closer to the user U1. Therefore, the user U1 can preferentially check the virtual object VO corresponding to the notification included in the destination information, compared with other virtual objects VO.
  • the movement control unit 115 determines that the user U1 and the virtual object VO is less than or equal to the predetermined distance, the virtual object VO may not be moved.
  • the movement control unit 115 moves the virtual object VO1 to the first destination when only the user U1 is included in the destination information indicating one or more destinations of the notification corresponding to the virtual object VO1. If the destination information includes a user U other than the user U1, the virtual object VO1 may be moved in a second mode different from the first mode. For example, when only the user U1 is included in the destination information, the movement control unit 115 may move the virtual object VO1 at a faster speed than when the user U other than the user U1 is included. Alternatively, the movement control unit 115 moves the virtual object VO1 while vibrating it when only the user U1 is included in the destination information, and vibrates the virtual object VO1 when the user U other than the user U1 is included. You can move it without moving it.
  • the terminal device 10 can more appeal to the user U1 with a notification addressed only to the user U1 compared to other notifications.
  • the user U1 can preferentially check the notification addressed only to himself/herself, which increases the convenience for the user U1.
  • the reception unit 116 receives user U1's operation on the virtual object VO1.
  • the display control unit 113 displays the content of the notification corresponding to the virtual object VO1 in the virtual space VS according to the operation received by the reception unit 116.
  • FIG. 5C is an explanatory diagram of an operation example of the display control unit 113 and the reception unit 116.
  • the accepting unit 116 accepts the contact of the user U1 on the virtual object VO1 as an operation of the user U1 on the virtual object VO1.
  • the display control unit 113 in response to the operation, displays the content of the notification as an example of the content of the notification corresponding to the virtual object VO1.
  • the display control unit 113 may display the virtual object VO6 after causing the virtual object VO1 to disappear, or may simultaneously execute the disappearance of the virtual object VO1 and the display of the virtual object VO6.
  • the display method of the virtual object VO6, which is a text file is not limited to the method of disappearing the sphere as the virtual object VO1. For example, the display control unit 113 may apply morphing to transform the virtual object VO1 into the virtual object VO6.
  • the user U1 can confirm the content of the notification to the virtual object VO. Further, the user U1 can check the content of the notification included in the destination information with priority over other notifications.
  • the virtual object VO and the notification corresponding to the virtual object VO are not displayed at the same time in the field of view of the user U1. Therefore, the event that the field of view of the user U1 becomes unnecessarily narrow does not occur, and the decrease in convenience for the user U1 is suppressed.
  • the reception unit 116 receives the contact of the user U1 on the virtual object VO1 as the user U1's operation on the virtual object VO1.
  • the user U1's operation received by the receiving unit 116 is not limited to touching the virtual object VO1.
  • the user U1 may direct his or her line of sight to the virtual object VO1. More specifically, based on the line-of-sight information acquired by the terminal device 10 from the XR glasses 20, even if the reception unit 116 receives, as an operation of the user U1, that the line-of-sight of the user U1 is directed toward the virtual object VO1. good.
  • the display control unit 113 causes the content of the notification corresponding to the virtual object VO1 to be displayed in the virtual space. Display in VS.
  • the user U1 can confirm the content of the notification corresponding to the virtual object VO only by visually recognizing the virtual object VO for a predetermined time or longer. Therefore, the user U1 can easily confirm the content of the notification corresponding to the virtual object VO.
  • the user U1 and the virtual objects VO1 to VO5 are two-dimensionally displayed for simplification of explanation.
  • the user U1 and the virtual objects VO1 to VO5 are usually displayed three-dimensionally.
  • the method of displaying the user U1 and the virtual objects VO1 to VO5 in the actual virtual space VS is not limited to three-dimensional display, and may be two-dimensional display.
  • FIG. 6 is a block diagram showing a configuration example of the server 30.
  • the server 30 comprises a processing device 31 , a storage device 32 , a communication device 33 , a display 34 and an input device 35 .
  • Each element of server 30 is interconnected by one or more buses for communicating information.
  • the processing device 31 is a processor that controls the server 30 as a whole. Also, the processing device 31 is configured using, for example, a single chip or a plurality of chips. The processing unit 31 is configured using, for example, a central processing unit (CPU) including interfaces with peripheral devices, arithmetic units, registers, and the like. A part or all of the functions of the processing device 31 may be implemented by hardware such as DSP, ASIC, PLD, and FPGA. The processing device 31 executes various processes in parallel or sequentially.
  • CPU central processing unit
  • the storage device 32 is a recording medium readable and writable by the processing device 31 .
  • the storage device 32 also stores a plurality of programs including the control program PR3 executed by the processing device 31 .
  • the storage device 32 also stores image information indicating an image displayed on the XR glasses 20 .
  • the communication device 33 is hardware as a transmission/reception device for communicating with other devices.
  • the communication device 33 is also called a network device, a network controller, a network card, a communication module, or the like, for example.
  • the communication device 33 may include a connector for wired connection and an interface circuit corresponding to the connector. Further, the communication device 33 may have a wireless communication interface. Products conforming to wired LAN, IEEE1394, and USB are examples of connectors and interface circuits for wired connection. Also, as a wireless communication interface, there are products conforming to wireless LAN, Bluetooth (registered trademark), and the like.
  • the display 34 is a device that displays images and character information.
  • the display 34 displays various images under the control of the processing device 31 .
  • various display panels such as a liquid crystal display panel and an organic EL display panel are preferably used as the display 34 .
  • the input device 35 is a device that accepts operations by the administrator of the information processing system 1 .
  • the input device 35 includes a pointing device such as a keyboard, touch pad, touch panel, or mouse.
  • the input device 35 may also serve as the display 34 .
  • the processing device 31 functions as an acquisition unit 311 and an output unit 312, for example, by reading the control program PR3 from the storage device 32 and executing it.
  • the acquisition unit 311 acquires various data from the terminal device 10 via the communication device 33 .
  • the data includes, for example, data indicating the operation content for the virtual object VO, which is input to the terminal device 10 by the user U1 wearing the XR glasses 20 on the head.
  • the output unit 312 transmits a notification to the terminal device 10 via the communication device 33.
  • the output unit 312 transmits to the terminal device 10 at least a notification addressed to the user U1.
  • the output unit 312 outputs image information indicating an image displayed on the XR glasses 20 to the terminal device 10 via the communication device 33 . More specifically, the output unit 312 acquires the image information from the storage device 32 . Furthermore, the output unit 312 outputs the acquired image information to the terminal device 10 .
  • FIG. 7 is a flow chart showing the operation of the terminal device 10 according to the first embodiment. The operation of the terminal device 10 will be described below with reference to FIG.
  • step S ⁇ b>1 the processing device 11 functions as the acquisition unit 111 .
  • the processing device 11 acquires the notification from the server 30 .
  • step S2 the processing device 11 functions as the generation unit 112.
  • the processing device 11 generates a virtual object VO corresponding to the notification obtained in step S1.
  • step S3 the processing device 11 functions as the display control unit 113.
  • the processing device 11 displays the virtual object VO generated in step S2 in the virtual space VS where the user U1 exists.
  • step S4 the processing device 11 functions as the determination unit 114.
  • the processing device 11 determines whether or not the user U1 is included in the destination information indicating one or more destinations of the notification acquired in step S1. If the destination of the notification includes the user U1, that is, if the determination result of the processing device 11 is affirmative, the processing device 11 performs the operation of step S5. If the destination information does not include the user U1, that is, if the determination result of the processing device 11 is negative, the processing device 11 executes the process of step S1.
  • step S5 the processing device 11 functions as the determination unit 114.
  • the processing device 11 determines whether or not the distance D between the virtual object VO displayed in step S3 and the user U1 is within a predetermined distance in the virtual space VS. When the distance D is within the predetermined distance, that is, when the determination result of the processing device 11 is affirmative, the processing device 11 performs the operation of step S6. When the distance D exceeds the predetermined distance, that is, when the determination result of the processing device 11 is negative, the processing device 11 executes the process of step S1.
  • step S6 the processing device 11 functions as the movement control section 115.
  • the processing device 11 brings the virtual object VO closer to the user U1 in the virtual space VS.
  • step S7 the processing device 11 functions as the reception unit 116.
  • the processing device 11 receives the user U1's operation on the virtual object VO
  • the processing device 11 executes the process of step S8.
  • the processing device 11 executes the process of step S7.
  • step S8 the processing device 11 functions as the display control unit 113.
  • the processing device 11 causes the content of the notification corresponding to the virtual object VO to be displayed in the virtual space VS in accordance with the operation accepted in step S7. After that, the processing device 11 ends all the processing described in FIG.
  • the terminal device 10 as the display control device includes the acquisition unit 111, the generation unit 112, the display control unit 113, the determination unit 114, and the movement control unit 115.
  • Acquisition unit 111 acquires a notification.
  • the generation unit 112 generates a virtual object VO corresponding to the notification.
  • the display control unit 113 displays the virtual object VO in the virtual space VS in which the user U1 as the first user exists.
  • the determining unit 114 determines whether the distance D between the virtual object VO and the user U1 is within a predetermined distance in the virtual space VS when the user U1 is included in the destination information indicating one or more destinations of the notification. judge.
  • the movement control unit 115 brings the virtual object VO closer to the user U1 when the determination result of the determination unit 114 is affirmative, and does not move the virtual object VO when the determination result of the determination unit 114 is negative.
  • the terminal device 10 Since the terminal device 10 has the above configuration, when the virtual space VS including the virtual objects VO corresponding to the notifications is displayed on the XR glasses 20, the number of the virtual objects VO increases according to the number of notifications. Even so, it is possible to suppress deterioration in convenience for user U1. Specifically, when the user U1 is included in the destination of the message and the distance D between the virtual object VO corresponding to the notification and the user U1 is within a predetermined distance in the virtual space VS, the terminal device 10 , brings the virtual object VO closer to the user U1. Therefore, the user U1 can preferentially check the virtual object VO corresponding to the notification including the user U1 as the destination, compared to other virtual objects VO.
  • the terminal device 10 sets the distance D between the virtual object VO corresponding to the notification and the user U1 within a predetermined distance in the virtual space VS as a condition for bringing the virtual object VO closer to the user U1. Therefore, the virtual object VO located farther than the predetermined distance from the user U1 does not approach the user U1. That is, the virtual object VO located farther than the predetermined distance does not suddenly move in front of the user U1 by pushing away the virtual object VO located near the user U1. Therefore, confusion does not occur in the field of view of the user U1.
  • the terminal device 10 further includes the reception unit 116 .
  • the receiving unit 116 receives user U1's operation on the virtual object VO.
  • the display control unit 113 causes the content of the notification corresponding to the virtual object VO to be displayed in the virtual space VS in response to the above operation.
  • the user U1 can confirm the content of the notification to the virtual object VO when the determination result of the determination unit 114 is affirmative. Further, the user U1 can confirm the content of the notification including himself as the destination with priority over other notifications.
  • the operation on the virtual object VO may be directing the line of sight to the virtual object VO.
  • the display control unit 113 sends the content of the notification corresponding to the virtual object VO to the virtual space VS. display.
  • the terminal device 10 has the above-described configuration, when the determination result of the determination unit 114 is affirmative, the user U1 can view the content of the notification corresponding to the virtual object VO only by visually recognizing the virtual object VO for a predetermined time or longer. can be confirmed. Therefore, the user U1 can easily confirm the content of the notification corresponding to the virtual object VO.
  • the display control unit 113 causes the virtual object VO to disappear in the virtual space VS after displaying the content of the notification corresponding to the virtual object VO in the virtual space VS.
  • the terminal device 10 Since the terminal device 10 has the above configuration, the virtual object VO and the notification corresponding to the virtual object VO are not simultaneously displayed in the field of view of the user U1. Therefore, the event that the field of view of the user U1 becomes unnecessarily narrow does not occur, and the decrease in convenience for the user U1 is suppressed.
  • the display control unit 113 controls the display form of the virtual object VO according to the user U who is the destination of the notification.
  • the terminal device 10 Since the terminal device 10 has the above configuration, the user U1 can distinguish the types of notification destinations corresponding to the virtual object VO simply by visually recognizing the virtual object VO. Therefore, convenience for user U1 is enhanced.
  • the movement control unit 115 moves the virtual object VO in the first manner when only the user U1 is included in the destination information.
  • the movement control unit 115 moves the virtual object VO in the second mode when the destination information includes a user U other than the user U1.
  • the notification addressed only to the user U1 can be more appealing to the user U1 than other notifications.
  • the user U1 can preferentially check the notification addressed only to himself/herself, which increases the convenience for the user U1.
  • the display control unit 113 displays the virtual object VO in the virtual space VS based on at least one of the time when the acquisition unit 111 acquires the notification and the importance of the notification. Controls the display position.
  • the user U1 can preferentially confirm, for example, a notification acquired earlier and a notification with a higher degree of importance. Therefore, convenience for user U1 is enhanced.
  • the display control unit 113 displays the virtual object VO at a position in the virtual space VS corresponding to the location in the physical space linked to the destination of the notification.
  • the terminal device 10 Since the terminal device 10 has the above configuration, it is possible to display the virtual object VO corresponding to the notification including the user U1 as a destination at a location highly relevant to the user U1. Therefore, the user U1 can check the notification addressed to him/herself at a place that is highly relevant to him/herself.
  • the display control unit 113 controls the location in the virtual space VS corresponding to the location in the real space shared by the plurality of users U.
  • a virtual object VO is displayed at the position.
  • the virtual object VO corresponding to the notification including the plurality of users U as destinations is displayed in a place shared by the plurality of users U. Therefore, each of the plurality of users U can confirm the notification including the other users U as destinations in addition to the user U at the place shared with the other users U.
  • FIG. 2 Second Embodiment
  • the configuration of an information processing system 1A including a terminal device 10A and a server 30A as a display control device according to a second embodiment of the present invention will be described with reference to FIGS. 8 to 11.
  • FIG. 8 to 11 for the purpose of simplifying the description, among the components provided in the information processing system 1A according to the second embodiment, the same components as those of the information processing system 1 according to the first embodiment are While using the same code
  • An information processing system 1A according to the second embodiment of the present invention has terminal devices as compared with the information processing system 1 according to the first embodiment. 10 and a server 30A instead of the server 30, respectively. Otherwise, the overall configuration of the information processing system 1A is the same as the overall configuration of the information processing system 1 according to the first embodiment shown in FIG. 1, so illustration and description thereof will be omitted.
  • the terminal device 10 is an example of the display control device in the first embodiment.
  • the server 30A is an example of a display control device.
  • FIG. 8 is a block diagram showing a configuration example of the server 30A.
  • the server 30A differs from the server 30 in that it has a processing device 31A instead of the processing device 31 and a storage device 32A instead of the storage device 32 .
  • the storage device 32A stores the control program PR3A instead of the control program PR3.
  • the processing device 31A includes an acquisition unit 311A instead of the acquisition unit 311 provided in the processing device 31. Also, unlike the processing device 31, the processing device 31A does not have the output unit 312 as an essential component. Furthermore, the processing device 31A includes a generation unit 313, a display control unit 314, a determination unit 315, and a movement control unit 316 in addition to the components provided in the processing device 31. FIG.
  • the acquisition unit 311A acquires various data from the terminal device 10 via the communication device 33, similar to the acquisition unit 311.
  • the data includes, for example, data indicating the operation content for the virtual object VO, which is input to the terminal device 10 by the user U1 wearing the XR glasses 20 on the head.
  • the acquisition unit 311A acquires a notification, similar to the acquisition unit 111 included in the terminal device 10 according to the first embodiment.
  • “notification” includes a message from another user U to at least one of user U1 and user U2.
  • the “message” includes, for example, emails and messages via SNS applications.
  • the "notification” may include a message from one of the user U1 and the user U2 to another user U.
  • the “notification” may include a message to another user U from another user U.
  • the “notification” may include a message, such as a warning or notification, from each application corresponding to the virtual object VO displayed in the virtual space VS.
  • the "notification” may include advertisements directed to an unspecified number of people.
  • the acquisition unit 311A acquires the notification from the storage device 32A.
  • the acquisition unit 311A may acquire the notification from another device different from the server 30A, such as a mail server.
  • the acquisition unit 311A acquires from the terminal device 10A via the communication device 33 the operation of the user U1 on the virtual object VO1 received by the reception unit 116 provided in the terminal device 10A.
  • the generation unit 313 generates a virtual object VO corresponding to the notification acquired by the acquisition unit 311A, like the generation unit 112 included in the terminal device 10 according to the first embodiment. More specifically, the generation unit 313 uses the image information stored in the storage device 32A to generate the virtual object VO corresponding to the notification acquired by the acquisition unit 311A.
  • user U1 is an example of a first user.
  • User U2 is an example of a second user.
  • the virtual space VS1 is an example of the first virtual space.
  • the virtual space VS2 is an example of a second virtual space.
  • FIG. 9 is an explanatory diagram of an operation example of the generation unit 313 and the display control unit 314. As shown in FIG. In FIG. 9, it is assumed that the user U2 wears XR glasses connected to the terminal device 10A-2 on his head.
  • the display control unit 314 displays the virtual objects VO1 to VO5 in the virtual space VS1 similarly to the operation of the display control unit 113 provided in the terminal device 10 according to the first embodiment illustrated in FIG. 5A. More specifically, the display control unit 314 outputs image information representing images of the virtual objects VO1 to VO5 generated by the generation unit 313 to the terminal device 10A-1 via the communication device 33.
  • FIG. 9 is an explanatory diagram of an operation example of the generation unit 313 and the display control unit 314. As shown in FIG. In FIG. 9, it is assumed that the user U2 wears XR glasses connected to the terminal device 10A-2 on his head.
  • the display control unit 314 displays the virtual objects VO1 to VO5 in the virtual space VS1 similarly to the
  • Virtual objects VO1 to VO5 are displayed.
  • the display control unit 314 transmits image information representing images of the virtual objects VO1 to VO5 generated by the generation unit 313 to the terminal device 10A-2 via the communication device 33.
  • Virtual objects VO1 to VO5 are displayed.
  • the determination unit 315 uses the destination information indicating one or more destinations of the notification acquired by the acquisition unit 311A.
  • the user U1 is included, it is determined whether the distance D between the virtual object VO and the user U1 is within a predetermined distance in the virtual space VS1.
  • the movement control unit 316 moves the virtual object corresponding to the notification in the virtual space VS1 when the determination result of the determination unit 315 is affirmative. Bring VO closer to user U1. On the other hand, when the determination result by the determination unit 315 is negative, the virtual object VO corresponding to the notification is not moved.
  • An operation example of the movement control unit 316 is the same as the operation example of the movement control unit 115 illustrated in FIG. 5B.
  • the display control unit 314 causes the content of the notification corresponding to the virtual object VO1 to be displayed in the virtual space VS1 according to the operation acquired by the acquisition unit 311A.
  • the display control unit 314 causes the virtual object VO1 to disappear after displaying the virtual object VO6 in the virtual space VS1.
  • the server 30A can suppress the deterioration of convenience for user U1. Specifically, when the user U1 is included in the destination of the message and the distance between the virtual object VO corresponding to the notification and the user U1 is within a predetermined distance in the virtual space VS1, the server 30A Bring the virtual object VO closer to the user U1. Therefore, the user U1 can preferentially check the virtual object VO corresponding to the notification including the user U1 as the destination, compared to other virtual objects VO.
  • the display control unit 314 continues to display the virtual object VO1 until the content of the notification corresponding to the virtual object VO1, for example, the virtual object VO6 is displayed. That is, even after the virtual object VO1 disappears in the virtual space VS1, the display control unit 314 continues to display the virtual object VO1 in the virtual space VS2 until the user U2 confirms the content of the notification corresponding to the virtual object VO1 in the virtual space VS2. Continue to display VO1.
  • the movement control unit 316 may move the virtual object VO1 in the virtual space VS2 along the same moving path as the virtual object VO1 in the virtual space VS1.
  • FIG. 10 is a block diagram showing a configuration example of the terminal device 10A. Unlike the terminal device 10, the terminal device 10A includes a processing device 11A instead of the processing device 11 and a storage device 12A instead of the storage device 12. FIG.
  • the storage device 12A stores a control program PR1A instead of the control program PR1.
  • the processing device 11A includes an acquisition unit 111A instead of the acquisition unit 111 provided in the processing device 11, and a display control unit 113A instead of the display control unit 113. Moreover, unlike the processing device 11, the processing device 11A does not have the generation unit 112 as an essential component. Further, the processing device 11A includes an output unit 117 in addition to the components included in the processing device 11. FIG.
  • the acquisition unit 111A obtains line-of-sight information, position information, posture information, motion information, and imaging information from the XR glasses 20 via the communication device 13. to get
  • the acquisition unit 111A also acquires image information indicating an image displayed on the XR glasses 20 from the server 30A.
  • the acquisition unit 111A acquires image information representing images of the virtual objects VO1 to VO5 from the server 30A.
  • Acquire coordinate information indicating five coordinates up to the coordinates (x, y, z) (x 5 , y 5 , z 5 ) of the virtual object VO5.
  • Acquire coordinate information indicating five coordinates up to the coordinates (x, y, z) ( x15 , y15 , z15 ) of the object VO5.
  • the display control unit 113A Based on the image information indicating the images of the virtual objects VO1 to VO5 and the coordinate information indicating the five coordinates of the virtual objects VO1 to VO5, which are obtained by the obtaining unit 111A, the display control unit 113A displays the virtual space. VS displays virtual objects VO1 to VO5.
  • the output unit 117 outputs the operation of the user U1 on the virtual object VO1 accepted by the accepting unit 116 to the server 30A via the communication device 13.
  • FIG. 11 is a flow chart showing the operation of the server 30A according to the second embodiment. The operation of the server 30A will be described below with reference to FIG.
  • step S11 the processing device 31A functions as an acquisition unit 311A.
  • the processing device 31A acquires the notification.
  • step S12 the processing device 31A functions as the generation unit 313.
  • the processing device 31A creates a virtual object VO corresponding to the notification obtained in step S12.
  • step S13 the processing device 31A functions as the display control unit 314.
  • the processing device 31A displays the virtual object VO generated in step S12 in the virtual space VS1 where the user U1 exists and the virtual space VS2 where the user U2 exists.
  • step S14 the processing device 31A functions as the determination unit 315.
  • the processing device 31A determines whether or not the user U1 is included in the destination information indicating one or more destinations of the notification acquired in step S11. If the destination information includes the user U1, that is, if the determination result of the processing device 31A is affirmative, the processing device 31A performs the operation of step S15. If the destination information does not include the user U1, that is, if the determination result of the processing device 31A is negative, the processing device 31A executes the process of step S1.
  • step S15 the processing device 31A functions as the determination unit 315.
  • the processing device 31A determines whether or not the distance D between the virtual object VO displayed in step S13 and the user U1 is within a predetermined distance in the virtual space VS1.
  • the processing device 31A performs the operation of step S16.
  • the processing device 31A executes the process of step S11.
  • step S16 the processing device 31A functions as the movement control unit 316.
  • the processing device 31A brings the virtual object VO closer to the user U1 by moving the virtual object VO within the virtual space VS1.
  • step S17 the processing device 31A functions as an acquisition unit 311A.
  • the processing device 31A acquires the operation of the user U1 on the virtual object VO in the virtual space VS1, the processing device 31A executes the process of step S18.
  • the processing device 31A does not accept the user U1's operation on the virtual object VO in the virtual space VS1, the processing device 31A executes the process of step S17.
  • step S18 the processing device 31A functions as the display control unit 314.
  • 31 A of processing apparatuses display the content of the notification corresponding to the virtual object VO in virtual space VS1 according to the operation acquired in step S17.
  • the processing device 31A continues to display the virtual object VO in the virtual space VS2 until the content of the notification corresponding to the virtual object VO is displayed in the virtual space VS2. After that, the processing device 31A ends all the processes described in FIG.
  • the server 30A as the display control device includes the acquisition unit 311A, the generation unit 313, the display control unit 314, the determination unit 315, and the movement control unit 316.
  • Acquisition unit 311A acquires a notification.
  • the generation unit 313 generates a virtual object VO corresponding to the above notification.
  • the display control unit 314 displays virtual space VS1 as the first virtual space in which user U1 as the first user exists and virtual space VS2 as the second virtual space in which user U2 as the second user exists. Display the virtual object VO.
  • the determining unit 315 determines whether the distance D between the virtual object VO and the user U1 is within a predetermined distance in the virtual space VS1 when the user U1 is included in the destination information indicating one or more destinations of the notification. judge.
  • the movement control unit 316 brings the virtual object VO closer to the user U1 in the virtual space VS1 when the determination result of the determination unit 315 is affirmative, and moves the virtual object VO closer to the user U1 in the virtual space VS1 when the result of the determination unit 315 is negative. Do not move VO.
  • the display control unit 314 After displaying the content of the notification corresponding to the virtual object VO in the virtual space VS1, the display control unit 314 causes the virtual object VO to disappear in the virtual space VS1.
  • the display control unit 314 continues displaying the virtual object VO in the virtual space VS2 until the content of the notification corresponding to the virtual object VO is displayed in the virtual space VS2.
  • the server 30A has the above configuration, when the virtual space VS including the virtual objects VO corresponding to the notification is displayed on the XR glasses 20, the number of the virtual objects VO increases according to the number of notifications. Even so, it is possible to suppress deterioration in convenience for user U1. Specifically, when the user U1 is included in the destination information and the distance D between the virtual object VO corresponding to the notification and the user U1 is within a predetermined distance in the virtual space VS1, the terminal device 10 The virtual object VO is brought closer to the user U1. Therefore, the user U1 can preferentially check the virtual object VO corresponding to the notification included in the destination information, compared with other virtual objects VO.
  • the terminal device 10 brings the virtual object VO closer to the user U1 only when the distance D between the virtual object VO corresponding to the notification and the user U1 is within a predetermined distance. Therefore, the virtual object VO located farther than the predetermined distance from the user U1 does not approach the user U1. That is, the virtual object VO located farther than the predetermined distance does not suddenly move in front of the user U1 by pushing away the virtual object VO located near the user U1. Therefore, confusion does not occur in the field of view of the user U1.
  • the server 30A does not disappear the virtual object VO until the content of the notification corresponding to the virtual object VO is displayed in the virtual space VS2. Therefore, even if the virtual object VO disappears by the user U1 confirming the content of the notification in the virtual space VS1, the content of the notification corresponding to the virtual object VO suddenly appears in the virtual space VS2. never do. Therefore, user U2 is not confused by the appearance.
  • the terminal device 10 and the XR glasses 20 are implemented separately.
  • the implementation method of the terminal device 10 and the XR glasses 20 in the embodiment of the present invention is not limited to this.
  • the XR glasses 20 may have the same functions as the terminal device 10, and the terminal device 10 and the XR glasses 20 may be implemented within a single housing. The same applies to the information processing system 1A according to the second embodiment.
  • the information processing system 1 includes XR glasses 20 .
  • the XR glasses 20 are MR glasses.
  • HMDs Head Mounted Displays
  • VR Virtual Reality
  • VR glasses adopting VR technology
  • AR Augmented Reality
  • the information processing system 1 may include any one of a normal smartphone and tablet equipped with an imaging device instead of the XR glasses 20 as MR glasses.
  • These HMDs, VR glasses, AR glasses, smartphones, and tablets are examples of display devices. The same applies to the information processing system 1A according to the second embodiment.
  • the storage devices 12 to 12A, the storage device 22, and the storage devices 32 to 32A are ROM and RAM.
  • Discs Digital Versatile Discs, Blu-ray Discs), Smart Cards, Flash Memory Devices (e.g. Cards, Sticks, Key Drives), CD-ROMs (Compact Disc-ROMs), Registers, Removable Discs, Hard Disks , floppy disks, magnetic strips, databases, servers, and other suitable storage media.
  • the program may be transmitted from a network via an electric communication line.
  • the program may be transmitted from the communication network NET via an electric communication line.
  • the information, signals, etc. described may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. may be represented by a combination of
  • input/output information and the like may be stored in a specific location (for example, memory), or may be managed using a management table. Input/output information and the like can be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.
  • the determination may be made by a value (0 or 1) represented using 1 bit, or by a true/false value (Boolean: true or false). Alternatively, it may be performed by numerical comparison (for example, comparison with a predetermined value).
  • each function illustrated in FIGS. 1 to 11 is realized by any combination of at least one of hardware and software.
  • the method of realizing each functional block is not particularly limited. That is, each functional block may be implemented using one device physically or logically coupled, or directly or indirectly using two or more physically or logically separated devices (e.g. , wired, wireless, etc.) and may be implemented using these multiple devices.
  • a functional block may be implemented by combining software in the one device or the plurality of devices.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • the software uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.) to website, Wired and/or wireless technologies are included within the definition of transmission medium when sent from a server or other remote source.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • system and “network” are used interchangeably.
  • Information, parameters, etc. described in this disclosure may be expressed using absolute values, may be expressed using relative values from a predetermined value, or may be expressed using corresponding other information. may be represented as
  • the terminal devices 10-10A and the servers 30-30A may be mobile stations (MS).
  • a mobile station is defined by those skilled in the art as subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be called a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable term. Also, in the present disclosure, terms such as “mobile station”, “user terminal”, “user equipment (UE)”, “terminal”, etc. may be used interchangeably.
  • connection refers to any direct or indirect connection between two or more elements. Any connection or coupling is meant, including the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to each other. Couplings or connections between elements may be physical couplings or connections, logical couplings or connections, or a combination thereof. For example, “connection” may be replaced with "access.”
  • two elements are defined using at least one of one or more wires, cables, and printed electrical connections and, as some non-limiting and non-exhaustive examples, in the radio frequency domain. , electromagnetic energy having wavelengths in the microwave and optical (both visible and invisible) regions, and the like.
  • the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
  • determining and “determining” as used in this disclosure may encompass a wide variety of actions.
  • “Judgement” and “determination” are, for example, judging, calculating, computing, processing, deriving, investigating, looking up, searching, inquiring (eg, lookup in a table, database, or other data structure), ascertaining as “judged” or “determined”, and the like.
  • "judgment” and “determination” are used for receiving (e.g., receiving information), transmitting (e.g., transmitting information), input, output, access (accessing) (for example, accessing data in memory) may include deeming that a "judgement” or “decision” has been made.
  • judgment and “decision” are considered to be “judgment” and “decision” by resolving, selecting, choosing, establishing, comparing, etc. can contain.
  • judgment and “decision” may include considering that some action is “judgment” and “decision”.
  • judgment (decision) may be read as “assuming”, “expecting”, “considering”, and the like.
  • the term "A and B are different” may mean “A and B are different from each other.” The term may also mean that "A and B are different from C”. Terms such as “separate,” “coupled,” etc. may also be interpreted in the same manner as “different.”
  • notification of predetermined information is not limited to explicit notification, but is performed implicitly (for example, not notification of the predetermined information). good too.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示制御装置は、通知を取得する取得部と、通知に対応する仮想オブジェクトを生成する生成部と、第1のユーザが存在する仮想空間に、仮想オブジェクトを表示させる表示制御部と、通知の宛先に第1のユーザが含まれると共に、仮想空間において、仮想オブジェクトと第1のユーザとの間の距離が所定距離以内であるかを判定する判定部と、判定部の判定結果が肯定である場合、仮想オブジェクトを第1のユーザに近づける移動制御部と、を備える。

Description

表示制御装置
 本発明は、表示制御装置に関する。とりわけ本発明は、仮想空間に対して、通知に対応する仮想オブジェクトを表示させるための表示制御装置に関する。
 VR(Virtual Reality)技術、AR(Augmented Reality)技術、及びMR(Mixed Reality)技術を含むXR技術を適用したXRグラスが知られている。XRグラスは、ユーザの頭部に装着される。XRグラスに表示される仮想空間に対して、仮想オブジェクトによって示されるメッセージが表示されることがある。
 例えば、特許文献1は、仮想空間において、ユーザ間でコミュニケーションを図るためにメッセージを共有する技術を開示している。具体的には、特許文献1は、ユーザ間で共有される仮想空間に対して、「落書きメッセージ」を示す仮想オブジェクトを表示する技術を開示している。
特表2010-535363号公報
 仮想空間にメッセージを含む通知に対応する仮想オブジェクトを表示する場合、通知の数が増加すると、仮想オブジェクトの数も増加する。このため、ユーザが頭部に装着するXRグラスに表示される仮想空間が、複数の仮想オブジェクトによって埋め尽くされる場合があり得る。即ち、従来の技術では、ユーザの視界が妨げられることによって利便性が低下するといった問題があった。
 そこで本発明は、通知に対応する仮想オブジェクトを含む仮想空間を表示させる場合、通知の数に応じて当該仮想オブジェクトの数が増加しても、ユーザにとっての利便性の低下を抑制できる表示制御装置を提供することを目的とする。
 本発明の好適な態様に係る表示制御装置は、通知を取得する取得部と、前記通知に対応する仮想オブジェクトを生成する生成部と、第1のユーザが存在する仮想空間に、前記仮想オブジェクトを表示させる表示制御部と、前記通知の1又は複数の宛先を示す宛先情報に前記第1のユーザが含まれる場合に、前記仮想空間において、前記仮想オブジェクトと前記第1のユーザとの間の距離が所定距離以内であるかを判定する判定部と、前記判定部の判定結果が肯定である場合、前記仮想オブジェクトを移動させることによって、前記仮想オブジェクトを前記第1のユーザに近づけ、前記判定部の判定結果が否定である場合、前記仮想オブジェクトを移動させない移動制御部と、を備える表示制御装置である。
 本発明によれば、通知に対応する仮想オブジェクトを含む仮想空間を表示させる場合、通知の数に応じて当該仮想オブジェクトの数が増加しても、ユーザにとっての利便性の低下を抑制できる。
第1実施形態に係る情報処理システム1の全体構成を示す図。 第1実施形態に係るXRグラス20の外観を示す斜視図。 第1実施形態に係るXRグラス20の構成例を示すブロック図。 第1実施形態に係る端末装置10の構成例を示すブロック図。 生成部112、及び表示制御部113の動作例についての説明図。 生成部112、及び表示制御部113の動作例についての説明図。 表示制御部113、及び受付部116の動作例についての説明図。 第1実施形態に係るサーバ30の構成例を示すブロック図。 第1実施形態に係る端末装置10の動作を示すフローチャート。 第2実施形態に係るサーバ30Aの構成例を示すブロック図。 生成部313、及び表示制御部314の動作例についての説明図。 第2実施形態に係る端末装置10Aの構成例を示すブロック図。 第2実施形態に係るサーバ30Aの動作を示すフローチャート。
1:第1実施形態
 以下、図1~図7を参照しつつ、本発明の第1実施形態に係る表示制御装置としての端末装置10を含む情報処理システム1の構成について説明する。
1-1:第1実施形態の構成
1-1-1:全体構成
 図1は、情報処理システム1の全体構成を示す。図1に示されるように、情報処理システム1は、端末装置10-1~10-2、XRグラス20、及びサーバ30を備える。以下の説明において、ユーザごとに使用される端末装置10を区別する場合は、符号に添え字「-X」を用いる。Xは1以上の任意の整数である。また、端末装置10各々の構成要素についても同様である。また以下の説明において、端末装置10-1~10-2を区別する必要が無い場合は、端末装置10-1~10-2の総称として端末装置10を用いる。端末装置10は、表示制御装置の一例である。情報処理システム1において、端末装置10とサーバ30とは、通信網NETを介して互いに通信可能に接続される。また、端末装置10とXRグラス20とは互いに通信可能に接続される。なお、図1において、2台の端末装置10-1及び10-2、並びに1台のXRグラス20が記載される。しかし、当該台数はあくまで一例であって、情報処理システム1は、任意の台数の端末装置10とXRグラス20を備えてもよい。
 図1において、ユーザU1が端末装置10-1及びXRグラス20の組を使用することを前提とする。図1に示される情報処理システム1において、XRグラス20には、複数の通知に対応する仮想オブジェクトが表示される。当該通知は、端末装置10-2から端末装置10-1に対して送信された通知を含んでもよい。また、当該通知は端末装置10-1から端末装置10-2に対して送信された通知を含んでもよい。また、当該通知は、図1に図示されない他の端末装置から端末装置10-1に対して送信されたメッセージを含んでもよい。更に、当該通知は、端末装置10-1自身が生成した通知であってもよい。
 サーバ30は、通信網NETを介して、端末装置10に対して各種データ及びクラウドサービスを提供する。
 端末装置10-1は、ユーザU1が頭部に装着するXRグラス20に対して、仮想空間に配置される仮想オブジェクトを表示させる。当該仮想空間は、一例として、天球型の空間である。また、仮想オブジェクトは、例として、静止画像、動画、3DCGモデル、HTMLファイル、及びテキストファイル等のデータを示す仮想オブジェクト、及びアプリケーションを示す仮想オブジェクトである。ここで、テキストファイルとしては、例として、メモ、ソースコード、日記、及びレシピが挙げられる。また、アプリケーションとしては、例として、ブラウザ、SNSを用いるためのアプリケーション、及びドキュメントファイルを生成するためのアプリケーションが挙げられる。なお、端末装置10は、例として、スマートフォン、及びタブレット等の携帯端末装置であることが好適である。なお、端末装置10-1は、表示制御装置の一例である。
 端末装置10-2は、ユーザU2が、ユーザU1に対してメッセージを送信するための装置である。当該端末装置10-2は、後述のディスプレイ14、又は当該端末装置10-2に接続される図示しないXRグラスに対して、仮想空間に配置される仮想オブジェクトを表示させてもよい。とりわけ、当該端末装置10-2が、仮想オブジェクトを表示する装置である場合、端末装置10-2が有する構成は、基本的には端末装置10-1と同一である。また、端末装置10-2も端末装置10-1と同様に、例として、スマートフォン、及びタブレット等の携帯端末装置であることが好適である。
 XRグラス20は、ユーザU1の頭部に装着するシースルー型のウェアラブルディスプレイである。XRグラス20は、端末装置10が制御することによって、両眼用のレンズの各々に設けられた表示パネルに仮想オブジェクトを表示させる。ユーザU1は、XRグラスを装着することにより、当該仮想オブジェクトを含む仮想空間を視聴できる。なお、XRグラス20は、表示装置の一例である。また、以下ではXRグラス20がMRグラスである場合の例について説明する。しかし、XRグラス20がMRグラスであることはあくまで一例であり、XRグラス20は、VRグラス又はARグラスであってもよい。
1-1-2:XRグラスの構成
 図2は、XRグラス20の外観を示す斜視図である。図2に示されるようにXRグラス20の外観は、一般的な眼鏡と同様にテンプル91及び92、ブリッジ93、フレーム94及び95、並びにレンズ41L及び41Rを有する。
 ブリッジ93には撮像装置26が設けられる。撮像装置26は外界を撮像する。また、撮像装置26は、撮像した画像を示す撮像情報を出力する。
 レンズ41L及び41Rの各々は、ハーフミラーを備えている。フレーム94には、左眼用の液晶パネル又は有機ELパネルが設けられる。液晶パネル又は有機ELパネルは、以下、表示パネルと総称する。また、フレーム94には、左眼用の表示パネルから射出された光をレンズ41Lに導光する光学部材が設けられる。レンズ41Lに設けられるハーフミラーは、外界の光を透過させて左眼に導くと共に、光学部材によって導光された光を反射して、左眼に入射させる。フレーム95には、右眼用の表示パネルと、右眼用の表示パネルから射出された光をレンズ41Rに導光する光学部材が設けられる。レンズ41Rに設けられるハーフミラーは、外界の光を透過させて右眼に導くと共に、光学部材によって導光された光を反射して、右眼に入射させる。
 後述するディスプレイ28は、レンズ41L、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ41R、右眼用の表示パネル、及び右眼用の光学部材を含む。
 以上の構成において、ユーザU1は表示パネルが表示する画像を、外界の様子と重ね合わせたシースルーの状態で観察できる。また、XRグラス20において、視差を伴う両眼画像のうち、左眼用画像を左眼用の表示パネルに表示させ、右眼用画像を右眼用の表示パネルに表示させる。このため、XRグラス20は、ユーザに対し、表示された画像があたかも奥行き、及び立体感を持つかのように知覚させる。
 図3は、XRグラス20の構成例を示すブロック図である。XRグラス20は、処理装置21、記憶装置22、視線検出装置23、GPS装置24、動き検出装置25、撮像装置26、通信装置27、及びディスプレイ28を備える。XRグラス20が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。
 処理装置21は、XRグラス20の全体を制御するプロセッサである。処理装置21は、例えば、単数又は複数のチップを用いて構成される。また、処理装置21は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU:Central Processing Unit)を用いて構成される。なお、処理装置21が有する機能の一部又は全部を、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及びFPGA(Field Programmable Gate Array)等のハードウェアによって実現してもよい。処理装置21は、各種の処理を並列的又は逐次的に実行する。
 記憶装置22は、処理装置21による読取及び書込が可能な記録媒体である。また、記憶装置22は、処理装置21が実行する制御プログラムPR2を含む複数のプログラムを記憶する。
 視線検出装置23は、ユーザU1の視線を検出し、検出結果を示す視線情報を生成する。視線検出装置23による視線の検出は、どのような方法を用いてもよい。視線検出装置23は、例えば、目頭の位置と虹彩の位置に基づいて視線情報を検出してもよい。視線情報はユーザU1の視線の方向を示す。視線検出装置23は、視線情報を後述の処理装置21に供給する。処理装置21に供給された視線情報は、通信装置27を介して、端末装置10に送信される。
 GPS装置24は、複数の衛星からの電波を受信する。また、GPS装置24は、受信した電波から位置情報を生成する。位置情報は、XRグラス20の位置を示す。位置情報は、位置を特定できるのであれば、どのような形式であってもよい。位置情報は、例えば、XRグラス20の緯度と経度とを示す。一例として、位置情報はGPS装置24から得られる。しかし、XRグラス20は、どのような方法によって位置情報を取得してもよい。取得された位置情報は、処理装置21に供給される。処理装置21に供給された位置情報は、通信装置27を介して、端末装置10に送信される。
 動き検出装置25は、XRグラス20の動きを検出する。動き検出装置25としては、加速度を検出する加速度センサ及び角加速度を検出するジャイロセンサなどの慣性センサが該当する。加速度センサは、直交するX軸、Y軸、及びZ軸の加速度を検出する。ジャイロセンサは、X軸、Y軸、及びZ軸を回転の中心軸とする角加速度を検出する。動き検出装置25は、ジャイロセンサの出力情報に基づいて、XRグラス20の姿勢を示す姿勢情報を生成できる。動き情報は、3軸の加速度を各々示す加速度データ及び3軸の角加速度を各々示す角加速度データを含む。また、動き検出装置25は、XRグラス20の姿勢を示す姿勢情報、及びXRグラス20の動きに係る動き情報を処理装置21に供給する。処理装置21に供給された姿勢情報及び動き情報は、通信装置27を介して、端末装置10に送信される。
 撮像装置26は、外界を撮像して得られた撮像情報を出力する。また、撮像装置26は、例えば、レンズ、撮像素子、増幅器、及びAD変換器を備える。レンズを介して集光された光は、撮像素子によってアナログ信号である撮像信号に変換される。増幅器は撮像信号を増幅した上でAD変換器に出力する。AD変換器はアナログ信号である増幅された撮像信号をデジタル信号である撮像情報に変換する。変換された撮像情報は、処理装置21に供給される。処理装置21に供給された撮像情報は、通信装置27を介して、端末装置10に送信される。
 通信装置27は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。また、通信装置27は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び通信モジュール等とも呼ばれる。通信装置27は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置27は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線LAN、IEEE1394、USBに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線LAN及びBluetooth(登録商標)等に準拠した製品が挙げられる。
 ディスプレイ28は、画像を表示するデバイスである。ディスプレイ28は、処理装置21による制御のもとで各種の画像を表示する。ディスプレイ28は、上記のように、レンズ41L、左眼用の表示パネル、及び左眼用の光学部材、並びにレンズ41R、右眼用の表示パネル、及び右眼用の光学部材を含む。表示パネルとしては、例えば、液晶表示パネル及び有機EL表示パネル等の各種の表示パネルが好適に利用される。
 処理装置21は、例えば、記憶装置22から制御プログラムPR2を読み出して実行することによって、取得部211、及び表示制御部212として機能する。
 取得部211は、端末装置10からXRグラス20に表示される画像を示す画像情報を取得する。
 また、取得部211は、視線検出装置23から入力される視線情報、GPS装置24から入力される位置情報、動き検出装置25から入力される姿勢情報及び動き情報、及び撮像装置26から入力される撮像情報を取得する。その上で、取得部211は、取得した視線情報、位置情報、姿勢情報、動き情報、及び撮像情報を、通信装置27に出力する。
 表示制御部212は、取得部211によって端末装置10から取得された画像情報に基づいて、ディスプレイ28に対して、当該画像情報によって示される画像を表示させる。
1-1-3:端末装置の構成
 図4は、端末装置10の構成例を示すブロック図である。端末装置10は、処理装置11、記憶装置12、通信装置13、ディスプレイ14、入力装置15、及び慣性センサ16を備える。端末装置10が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。なお、以下では、基本的に、端末装置10がユーザU1によって使用される端末装置10-1である場合について説明する。
 処理装置11は、端末装置10の全体を制御するプロセッサである。また、処理装置11は、例えば、単数又は複数のチップを用いて構成される。処理装置11は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU)を用いて構成される。なお、処理装置11が有する機能の一部又は全部を、DSP、ASIC、PLD、及びFPGA等のハードウェアによって実現してもよい。処理装置11は、各種の処理を並列的又は逐次的に実行する。
 記憶装置12は、処理装置11が読取及び書込が可能な記録媒体である。また、記憶装置12は、処理装置11が実行する制御プログラムPR1を含む複数のプログラムを記憶する。また、記憶装置12は、XRグラス20に表示される画像を示す画像情報を更に記憶してもよい。
 通信装置13は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置13は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び通信モジュール等とも呼ばれる。通信装置13は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置13は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線LAN、IEEE1394、USBに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線LAN及びBluetooth(登録商標)等に準拠した製品が挙げられる。
 ディスプレイ14は、画像及び文字情報を表示するデバイスである。ディスプレイ14は、処理装置11の制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機EL(Electro Luminescence)表示パネル等の各種の表示パネルがディスプレイ14として好適に利用される。なお、端末装置10にXRグラス20が接続される場合、ディスプレイ14は、必須の構成要素としなくてもよい。この場合、当該XRグラス20が、ディスプレイ14と同一の機能を更に有することとなる。
 入力装置15は、XRグラス20を頭部に装着したユーザU1からの操作を受け付ける。例えば、入力装置15は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置15は、タッチパネルを含んで構成される場合、ディスプレイ14を兼ねてもよい。
 慣性センサ16は、慣性力を検出するセンサである。慣性センサ16は、例えば、加速度センサ、角速度センサ、及びジャイロセンサのうち、1以上のセンサを含む。処理装置11は、慣性センサ16の出力情報に基づいて、端末装置10の姿勢を検出する。更に、処理装置11は、端末装置10の姿勢に基づいて、天球型の仮想空間VSにおいて、仮想オブジェクトVOの選択、文字の入力、及び指示の入力を受け付ける。例えば、ユーザU1が端末装置10の中心軸を仮想空間VSの所定領域に向けた状態で、入力装置15を操作することによって、所定領域に配置される仮想オブジェクトVOが選択される。入力装置15に対するユーザU1の操作は、例えば、ダブルタップである。このようにユーザU1は端末装置10を操作することによって、端末装置10の入力装置15を見なくても仮想オブジェクトVOを選択できる。
 なお、端末装置10にXRグラス20が接続されない場合、端末装置10は、XRグラス20に備わるGPS装置24と同様のGPS装置を備えることが好適である。
 処理装置11は、記憶装置12から制御プログラムPR1を読み出して実行することによって、取得部111、生成部112、表示制御部113、判定部114、移動制御部115、及び受付部116として機能する。
 取得部111は、サーバ30から通知を取得する。ここで、「通知」とは、端末装置10がユーザU1の使用する端末装置10-1である場合、ユーザU1に対する他のユーザUからのメッセージを含む。当該「メッセージ」は、例えばメール、及びSNSのアプリを介してのメッセージを含む。また、当該「通知」は、他のユーザUに対するユーザU1からのメッセージを含んでもよい。また、当該「通知」は、他のユーザUに対する、更に他のユーザUからのメッセージを含んでもよい。また、当該「通知」は、仮想空間VSに表示される仮想オブジェクトVOが対応する各アプリケーションからのメッセージ、例えば警告又は連絡を含んでもよい。更に、当該「通知」は、不特定多数に向けての広告を含んでもよい。
 また、当該「通知」は、テキストによるメッセージであってもよく、画像であってもよい。当該「通知」が画像である場合、当該「通知」は静止画であってもよく、動画であってもよい。
 また、取得部111は、通信装置13を介して、サーバ30から、XRグラス20に表示される画像を示す画像情報を取得する。なお、記憶装置12に、XRグラス20に表示される画像を示す画像情報が記憶される場合には、取得部111は、記憶装置12から当該画像情報を取得してもよい。更に、取得部111は、通信装置13を介して、XRグラス20から、視線情報、位置情報、姿勢情報、動き情報、及び撮像情報を取得する。
 生成部112は、取得部111によって取得された通知に対応する仮想オブジェクトVOを生成する。より詳細には、生成部112は、取得部111によって取得された画像情報を用いて、同じく取得部111によって取得された通知に対応する仮想オブジェクトVOを生成する。
 表示制御部113は、ユーザU1が存在する仮想空間VSに、生成部112によって生成された仮想オブジェクトVOを表示させる。ここで、ユーザU1は、第1のユーザの一例である。また、「ユーザU1が存在する仮想空間VS」とは、ユーザU1がXRグラス20を装着することによって、知覚可能となる仮想空間VSのことである。
 図5Aは、生成部112、及び表示制御部113の動作例についての説明図である。以降の説明では、仮想空間VSにおいて、相互に直交するX軸、Y軸及びZ軸を想定する。一例として、X軸はユーザU1の前後方向に延伸する。更に、ユーザU1から見て、X軸に沿う前方向をX1方向とし、X軸に沿う後ろ方向をX2方向とする。また、Y軸はユーザU1の左右方向に延伸する。更に、ユーザU1から見て、Y軸に沿う右方向をY1方向とし、Y軸に沿う左方向をX2方向とする。これらのX軸とY軸とで水平面が構成される。また、Z軸はXY平面に直交し、ユーザU1の上下方向に延伸する。更に、ユーザU1から見て、Z軸に沿う下方向をZ1方向とし、Z軸に沿う上方向をZ2方向とする。
 図5Aを参照すると、仮想空間VSにおいて、ユーザU1は、仮想空間VSの中心である、座標(x,y,z)=(0,0,0)に位置するものとする。生成部112は、取得部111によって取得された通知に対応する仮想オブジェクトVO1~VO5を生成する。表示制御部113は、仮想空間VSにおいて、仮想オブジェクトVO1~VO5を表示させる。より詳細には、表示制御部113は、仮想空間VSにおいて、仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)から、仮想オブジェクトVO5の座標(x,y,z)=(x,y,z)までの5つの座標を算出する。更に、表示制御部113は、仮想オブジェクトVO1~VO5を、算出された座標の示す位置に表示させる。なお、図5Aにおいて、ユーザU1の座標(x,y,z)=(0,0,0)と、仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)との間の距離をDとする。
 ここで、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知の宛先に応じて、当該仮想オブジェクトVO1~VO5の表示形態を制御してもよい。例えば、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知の宛先が、単数か複数かに基づいて、各仮想オブジェクトVO1~VO5の色を変更してもよい。より具体的には、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知の宛先が、単数か複数かに基づいて、各仮想オブジェクトVO1~VO5の色相、明度及び彩度のうち、少なくとも1つを変更してもよい。あるいは、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知の宛先が、単数か複数かに基づいて、各仮想オブジェクトVO1~VO5の透明度を変更してもよい。あるいは、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知の宛先が、単数か複数かに基づいて、各仮想オブジェクトVO1~VO5の形状を変更してもよい。あるいは、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知の宛先の数に応じて、各仮想オブジェクトVO1~VO5の大きさを変更してもよい。例えば、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知の宛先の数が増加するほど、各仮想オブジェクトVO1~VO5の大きさを大きくしてもよい。仮想オブジェクトVO1の大きさを大きくするとは、仮想オブジェクトVO1の体積を大きくすることを意味する。したがって、仮想オブジェクトVO1の体積が大きくなるのであれば、体積が変化した前後において仮想オブジェクトVO1の形状は相似形でなくてもよい。
 その結果、ユーザU1は、仮想オブジェクトVOを視認しただけで、当該仮想オブジェクトVOに対応する通知の宛先の種別を区別できる。そのため、ユーザU1にとっての利便性が高まる。
 ここで、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知に含まれる情報量に応じて、当該仮想オブジェクトVO1~VO5の表示形態を変更してもよい。例えば、当該情報量が多いほど、表示制御部113は、当該仮想オブジェクトVO1~VO5の大きさを大きくしてもよい。
 その結果、ユーザU1は、仮想オブジェクトVOを視認しただけで、当該仮想オブジェクトVOに対応する通知の情報量を把握できる。そのため、ユーザU1にとっての利便性が高まる。
 また、表示制御部113は、取得部111によって、各仮想オブジェクトVO1~VO5に対応する通知が取得された時点、及び、各仮想オブジェクトVO1~VO5に対応する通知の重要度のうち、少なくとも一方に基づいて、仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)から、仮想オブジェクトVO5の座標(x,y,z)=(x,y,z)までの5つの座標を算出してもよい。ここで、「通知の重要度」は、例えば、図示しない重要度設定部が、各通知の送信元に基づいて導出してもよい。あるいは、「通知の重要度」は、当該重要度設定部が、各通知のタイトル又は各通知の内容を解析した結果に基づいて導出してもよい。例えば、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知が取得された時点が早い当該仮想オブジェクトVOほど、ユーザU1に対してより近い位置に表示させてもよい。あるいは、表示制御部113は、各仮想オブジェクトVO1~VO5に対応する通知の重要度が高い当該仮想オブジェクトVOほど、ユーザU1に対してより近い位置に表示させてもよい。
 その結果、ユーザU1は、例えば通知を取得した時点が早い通知、及び重要度の高い通知を優先的に確認できる。そのため、ユーザU1にとっての利便性が高まる。
 また、表示制御部113は、取得部111によって取得された通知の宛先と紐づく現実空間の場所に対応する、仮想空間VS内の位置に、仮想オブジェクトVO1~VO5を表示させてもよい。例えば、表示制御部113は、取得部111によって取得された通知の宛先が会社の社長であった場合に、仮想空間VSと現実空間とが複合された複合空間において、会社の社長室に、当該通知に対応する仮想オブジェクトVOを表示させてもよい。
 その結果、ユーザU1は、自身と関連性の高い場所において、自身宛ての通知が来たことを確認できる。
 また、表示制御部113は、取得部111によって取得された通知の宛先に複数のユーザUが含まれる場合に、複数のユーザUによって共用される現実空間の場所に対応する、仮想空間VS内の位置に、仮想オブジェクトVOを表示させてもよい。例えば、取得部111によって取得された通知の宛先に、ある家に居住する家族全員が含まれる場合に、表示制御部113は、家族全員で共用する当該家のリビングに、当該通知に対応する仮想オブジェクトVOを表示させてもよい。
 その結果、複数のユーザUの各々は、他のユーザUと共用する場所において、自身に加えて他のユーザUも宛先に含む通知が来たことを確認できる。
 なお、図5Aにおいては、一例として、仮想オブジェクトVO1~VO5が球体であり、当該球体の中に通知の内容を示すテキストファイルが格納されていることを前提とする。しかし、仮想オブジェクトVO1~仮想オブジェクトVO5の形状は球体に限定されず、任意の形状であってよい。また、図5Aにおいては、仮想オブジェクトVO1~仮想オブジェクトVO5までの5つの仮想オブジェクトVOが記載される。しかし、仮想オブジェクトVOの個数は5つに限定されず、任意の個数であってよい。
 説明を図4に戻すと、判定部114は、取得部111によって取得された通知の1又は複数の宛先を示す宛先情報にユーザU1が含まれる場合に、仮想空間VSにおいて、仮想オブジェクトVOとユーザU1との距離が所定距離以内であるかを判定する。なお、当該「所定距離」は第1距離の一例である。
 移動制御部115は、判定部114による判定結果が肯定である場合、仮想空間VSにおいて、上記の通知に対応する仮想オブジェクトVOをユーザU1に近づける。一方で、判定部114による判定結果が否定である場合、上記の通知に対応する仮想オブジェクトVOを移動させない。
 上記の図5A、及び図5Bは、判定部114、及び移動制御部115の動作例についての説明図である。図5Aの時点において、仮想オブジェクトVO1が対応する通知の宛先にはユーザU1が含まれるとする。更に、ユーザU1の座標(x,y,z)=(0,0,0)と、仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)との間の距離Dは所定距離以内であるとする。その結果、判定部114による判定結果は肯定となる。
 判定部114による判定結果が肯定であるので、図5Bにおいて、移動制御部115は、仮想オブジェクトVO1の座標を、(x,y,z)=(x,y,z)から、(x,y,z)=(x1’,y1’,z1’)に移動させる。ここで、(x,y,z)=(x1’,y1’,z1’)の位置は、(x,y,z)=(x,y,z)に比較して、ユーザU1の座標(x,y,z)=(0,0,0)により近い位置である。すなわち、ユーザU1の座標(x,y,z)=(0,0,0)と、仮想オブジェクトVO1の新たな座標(x,y,z)=(x1’,y1’,z1’)との間の距離D’は、上記の距離Dよりも短い。
 なお、図5A及び図5Bにおいて、仮想オブジェクトVO1以外の仮想オブジェクトVO2~VO5は、各々に対応する通知の宛先にユーザU1が含まれないか、ユーザU1の座標と、各仮想オブジェクトVO2~VO5の座標との間の距離が、上記の所定距離を超えているかのどちらかである。この場合、移動制御部115は、仮想オブジェクトVO2~VO5を移動させない。
 その結果、端末装置10は、通知の数に応じて仮想オブジェクトVOの数が増加しても、ユーザU1にとっての利便性の低下を抑制できる。具体的には、宛先情報にユーザU1が含まれると共に、仮想空間VSにおいて、通知に対応する仮想オブジェクトVOとユーザU1との間の距離が所定距離以内である場合に、端末装置10は、当該仮想オブジェクトVOをユーザU1に近づける。そのため、ユーザU1は、自身が宛先情報に含まれる通知に対応する仮想オブジェクトVOを、他の仮想オブジェクトVOに比較して優先的に確認できる。
 また、仮想オブジェクトVOに対応する通知が、不特定多数のユーザを宛先とする広告である場合、宛先情報にはユーザU1が含まれるものの、移動制御部115は、ユーザU1と当該仮想オブジェクトVOとの間の距離が所定距離以下だったとしても、当該仮想オブジェクトVOを移動させなくてもよい。
 また、移動制御部115は、仮想オブジェクトVO1の移動において、仮想オブジェクトVO1に対応する通知の1又は複数の宛先を示す宛先情報に、ユーザU1のみが含まれる場合には、仮想オブジェクトVO1を第1態様で移動させ、当該宛先情報にユーザU1以外のユーザUが含まれる場合には、仮想オブジェクトVO1を、第1態様とは互いに異なる第2態様で移動させてもよい。例えば、移動制御部115は、当該宛先情報にユーザU1のみが含まれる場合には、ユーザU1以外のユーザUを含む場合に比較して、仮想オブジェクトVO1をより速い速度で移動させてもよい。あるいは、移動制御部115は、当該宛先情報にユーザU1のみが含まれる場合には、仮想オブジェクトVO1を振動させながら移動させ、ユーザU1以外のユーザUが含まれる場合には、仮想オブジェクトVO1を振動させずに移動させてもよい。
 その結果、端末装置10は、通知の宛先がユーザU1のみの通知を、他の通知に比較して、ユーザU1に対してより訴求できる。ユーザU1は、宛先が自身のみの通知を優先的に確認できるので、ユーザU1にとっての利便性が高まる。
 説明を図4に戻すと、受付部116は、仮想オブジェクトVO1に対するユーザU1の操作を受け付ける。表示制御部113は、上記のように判定部114の判定結果が肯定である場合に、受付部116によって受け付けられた操作に応じて、仮想オブジェクトVO1に対応する通知の内容を仮想空間VSに表示させる。
 図5Cは、表示制御部113、及び受付部116の動作例についての説明図である。図5Cにおいて、ユーザU1は、仮想空間VSにおいて、仮想オブジェクトVO1に接触したものとする。受付部116は、ユーザU1による仮想オブジェクトVO1に対する接触を、仮想オブジェクトVO1に対するユーザU1の操作として受け付ける。上記のように、判定部114による判定結果が肯定であるので、表示制御部113は、当該操作に応じて、仮想オブジェクトVO1に対応する通知の内容の一例として、当該通知の内容が記載されたテキストファイルである仮想オブジェクトVO6を、当該球体内の座標である(x,y,z)=(x,y,z)に表示させる。また、表示制御部113は、仮想オブジェクトVO6を表示させた後、仮想オブジェクトVO1を消失させる。なお、表示制御部113は、仮想オブジェクトVO1を消失させた後、仮想オブジェクトVO6を表示してもよく、仮想オブジェクトVO1の消失と、仮想オブジェクトVO6の表示を同時に実行してもよい。なお、テキストファイルである仮想オブジェクトVO6の表示方法は、仮想オブジェクトVO1としての球体を消失させる方法に限定されない。例えば、表示制御部113は、モーフィング(morphing)を適用して、仮想オブジェクトVO1を仮想オブジェクトVO6に変形させてもよい。
 その結果、判定部114の判定結果が肯定である場合に、ユーザU1は、仮想オブジェクトVOに対する通知の内容を確認できる。また、ユーザU1は、自身が宛先情報に含まれる通知の内容を、他の通知に比較して優先的に確認できる。
 また、ユーザU1の視野において、仮想オブジェクトVOと、当該仮想オブジェクトVOに対応する通知とが同時に表示されることがなくなる。そのため、ユーザU1の視野が不要に狭くなる事象が発生せず、ユーザU1にとっての利便性の低下が抑制される。
 なお、図5Cにおいて、受付部116は、ユーザU1による仮想オブジェクトVO1に対する接触を、仮想オブジェクトVO1に対するユーザU1の操作として受け付ける。しかし、受付部116が受け付けるユーザU1の操作は、仮想オブジェクトVO1に対する接触に限定されない。例えば、ユーザU1が、自身の視線を仮想オブジェクトVO1に向けることであってもよい。より詳細には、端末装置10がXRグラス20から取得した視線情報に基づいて、受付部116が、ユーザU1の視線が仮想オブジェクトVO1に向けられていることを、ユーザU1の操作として受け付けてもよい。この場合、表示制御部113は、判定部114による判定結果が肯定であり、ユーザU1の視線が仮想オブジェクトVO1に所定時間以上向けられている場合、仮想オブジェクトVO1に対応する通知の内容を仮想空間VSに表示させる。
 その結果、判定部114の判定結果が肯定である場合に、ユーザU1は、仮想オブジェクトVOを所定時間以上視認するだけで、仮想オブジェクトVOに対応する通知の内容を確認できる。そのため、ユーザU1は、簡便に仮想オブジェクトVOに対応する通知の内容を確認できる。
 なお、図5A~図5Cにおいては、説明の簡略化のため、ユーザU1及び仮想オブジェクトVO1~VO5は2次元表示されている。しかし、実際の仮想空間VSにおいて、ユーザU1及び仮想オブジェクトVO1~仮想オブジェクトVO5は3次元表示されることが通常である。ただし、実際の仮想空間VSにおけるユーザU1及び仮想オブジェクトVO1~VO5の表示方法は、3次元表示に限定されず、2次元表示であってもよい。
1-1-4:サーバの構成
 図6は、サーバ30の構成例を示すブロック図である。サーバ30は、処理装置31、記憶装置32、通信装置33、ディスプレイ34、及び入力装置35を備える。サーバ30が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
 処理装置31は、サーバ30の全体を制御するプロセッサである。また、処理装置31は、例えば、単数又は複数のチップを用いて構成される。処理装置31は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU)を用いて構成される。なお、処理装置31の機能の一部又は全部を、DSP、ASIC、PLD、及びFPGA等のハードウェアによって実現してもよい。処理装置31は、各種の処理を並列的又は逐次的に実行する。
 記憶装置32は、処理装置31が読取及び書込が可能な記録媒体である。また、記憶装置32は、処理装置31が実行する制御プログラムPR3を含む複数のプログラムを記憶する。また、記憶装置32は、XRグラス20に表示される画像を示す画像情報を記憶する。
 通信装置33は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。通信装置33は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び通信モジュール等とも呼ばれる。通信装置33は、有線接続用のコネクターを備え、上記コネクターに対応するインタフェース回路を備えていてもよい。また、通信装置33は、無線通信インタフェースを備えていてもよい。有線接続用のコネクター及びインタフェース回路としては有線LAN、IEEE1394、及びUSBに準拠した製品が挙げられる。また、無線通信インタフェースとしては無線LAN及びBluetooth(登録商標)等に準拠した製品が挙げられる。
 ディスプレイ34は、画像及び文字情報を表示するデバイスである。ディスプレイ34は、処理装置31による制御のもとで各種の画像を表示する。例えば、液晶表示パネル及び有機EL表示パネル等の各種の表示パネルがディスプレイ34として好適に利用される。
 入力装置35は、情報処理システム1の管理者による操作を受け付ける機器である。例えば、入力装置35は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置35は、タッチパネルを含んで構成される場合、ディスプレイ34を兼ねてもよい。
 処理装置31は、例えば、記憶装置32から制御プログラムPR3を読み出して実行することによって、取得部311、及び出力部312として機能する。
 取得部311は、通信装置33を介して、端末装置10から各種のデータを取得する。当該データには、一例として、XRグラス20を頭部に装着したユーザU1によって端末装置10に入力される、仮想オブジェクトVOに対する操作内容を示すデータが含まれる。
 出力部312は、通信装置33を介して、端末装置10に対して通知を送信する。とりわけ、端末装置10が端末装置10-1である場合、出力部312は、端末装置10に対して、少なくともユーザU1宛ての通知を送信する。
 また、出力部312は、通信装置33を介して、端末装置10に対して、XRグラス20に表示される画像を示す画像情報を出力する。より詳細には、出力部312は、記憶装置32から当該画像情報を取得する。更に出力部312は、取得した画像情報を端末装置10に出力する。
1-2:第1実施形態の動作
 図7は、第1実施形態に係る端末装置10の動作を示すフローチャートである。以下、図7を参照しつつ、端末装置10の動作について説明する。
 ステップS1において、処理装置11は、取得部111として機能する。処理装置11は、サーバ30から通知を取得する。
 ステップS2において、処理装置11は、生成部112として機能する。処理装置11は、ステップS1において取得された通知に対応する仮想オブジェクトVOを生成する。
 ステップS3において、処理装置11は、表示制御部113として機能する。処理装置11は、ユーザU1が存在する仮想空間VSに、ステップS2において生成された仮想オブジェクトVOを表示させる。
 ステップS4において、処理装置11は、判定部114として機能する。処理装置11は、ステップS1において取得された通知の1又は複数の宛先を示す宛先情報にユーザU1が含まれるか否かを判定する。当該通知の宛先にユーザU1が含まれる場合、すなわち処理装置11の判定結果が肯定である場合、処理装置11はステップS5の動作を実行する。当該宛先情報にユーザU1が含まれない場合、すなわち処理装置11の判定結果が否定である場合、処理装置11は、ステップS1の処理を実行する。
 ステップS5において、処理装置11は、判定部114として機能する。処理装置11は、仮想空間VSにおいて、ステップS3において表示された仮想オブジェクトVOとユーザU1との間の距離Dが所定距離以内であるか否かを判定する。距離Dが所定距離以内である場合、すなわち処理装置11の判定結果が肯定である場合、処理装置11はステップS6の動作を実行する。距離Dが所定距離を超える場合、すなわち処理装置11の判定結果が否定である場合、処理装置11は、ステップS1の処理を実行する。
 ステップS6において、処理装置11は、移動制御部115として機能する。処理装置11は、仮想空間VSにおいて、仮想オブジェクトVOをユーザU1に近づける。
 ステップS7において、処理装置11は、受付部116として機能する。処理装置11が仮想オブジェクトVOに対するユーザU1の操作を受け付けた場合には、処理装置11はステップS8の処理を実行する。処理装置11が仮想オブジェクトVOに対するユーザU1の操作を受け付けていない場合には、処理装置11はステップS7の処理を実行する。
 ステップS8において、処理装置11は、表示制御部113として機能する。処理装置11は、ステップS7において受け付けられた操作に応じて、仮想オブジェクトVOに対応する通知の内容を、仮想空間VSに表示させる。その後、処理装置11は、図7に記載の全ての処理を終了する。
1-3:第1実施形態が奏する効果
 以上の説明によれば、表示制御装置としての端末装置10は、取得部111、生成部112、表示制御部113、判定部114、及び移動制御部115を備える。取得部111は、通知を取得する。生成部112は、通知に対応する仮想オブジェクトVOを生成する。表示制御部113は、第1のユーザとしてのユーザU1が存在する仮想空間VSに、仮想オブジェクトVOを表示させる。判定部114は、通知の1又は複数の宛先を示す宛先情報にユーザU1が含まれる場合に、仮想空間VSにおいて、仮想オブジェクトVOとユーザU1との間の距離Dが所定距離以内であるかを判定する。移動制御部115は、判定部114の判定結果が肯定である場合、仮想オブジェクトVOをユーザU1に近づけ、判定部114の判定結果が否定である場合、仮想オブジェクトVOを移動させない。
 端末装置10は、上記の構成を備えるので、XRグラス20に対して、通知に対応する仮想オブジェクトVOを含む仮想空間VSを表示させる場合、通知の数に応じて当該仮想オブジェクトVOの数が増加しても、ユーザU1にとっての利便性の低下を抑制できる。具体的には、メッセージの宛先にユーザU1が含まれると共に、仮想空間VSにおいて、通知に対応する仮想オブジェクトVOとユーザU1との間の距離Dが所定距離以内である場合に、端末装置10は、当該仮想オブジェクトVOをユーザU1に近づける。そのため、ユーザU1は、自身が宛先に含まれる通知に対応する仮想オブジェクトVOを、他の仮想オブジェクトVOに比較して優先的に確認できる。また、端末装置10は、仮想空間VSにおいて、通知に対応する仮想オブジェクトVOとユーザU1との間の距離Dが所定距離以内であることを、仮想オブジェクトVOをユーザU1に近づける条件とする。そのため、ユーザU1から見て、所定距離よりも遠方に位置する仮想オブジェクトVOが、ユーザU1に近づくことはない。すなわち、所定距離よりも遠方の仮想オブジェクトVOが、ユーザU1の近傍に位置する仮想オブジェクトVOを押しのけて、いきなりU1の眼前に移動してくることはない。そのため、ユーザU1の視野に混乱が発生しない。
 また以上の説明によれば、端末装置10は、更に受付部116を備える。受付部116は、仮想オブジェクトVOに対するユーザU1の操作を受け付ける。表示制御部113は、判定部114の判定結果が肯定である場合に、上記の操作に対して、仮想オブジェクトVOに対応する通知の内容を仮想空間VSに表示させる。
 端末装置10は、上記の構成を備えるので、判定部114の判定結果が肯定である場合に、ユーザU1は、仮想オブジェクトVOに対する通知の内容を確認できる。また、ユーザU1は、自身が宛先に含まれる通知の内容を、他の通知に比較して優先的に確認できる。
 また以上の説明によれば、仮想オブジェクトVOに対する操作は、視線を仮想オブジェクトVOに向けることであってもよい。この場合、表示制御部113は、判定部114の判定結果が肯定であり、上記の視線が仮想オブジェクトVOに所定時間以上向けられた場合、仮想オブジェクトVOに対応する通知の内容を仮想空間VSに表示させる。
 端末装置10は、上記の構成を備えるので、判定部114の判定結果が肯定である場合に、ユーザU1は、仮想オブジェクトVOを所定時間以上視認するだけで、仮想オブジェクトVOに対応する通知の内容を確認できる。そのため、ユーザU1は、簡便に仮想オブジェクトVOに対応する通知の内容を確認できる。
 また以上の説明によれば、表示制御部113は、仮想オブジェクトVOに対応する通知の内容を仮想空間VSに表示させた後、仮想空間VSにおいて、仮想オブジェクトVOを消失させる。
 端末装置10は、上記の構成を備えるので、ユーザU1の視野において、仮想オブジェクトVOと、当該仮想オブジェクトVOに対応する通知とが同時に表示されることがなくなる。そのため、ユーザU1の視野が不要に狭くなる事象が発生せず、ユーザU1にとっての利便性の低下が抑制される。
 また以上の説明によれば、表示制御部113は、通知の宛先となるユーザUに応じて、仮想オブジェクトVOの表示形態を制御する。
 端末装置10は、上記の構成を備えるので、ユーザU1は、仮想オブジェクトVOを視認しただけで、当該仮想オブジェクトVOに対応する通知の宛先の種類を区別できる。そのため、ユーザU1にとっての利便性が高まる。
 また以上の説明によれば、移動制御部115は、仮想オブジェクトVOの移動において、宛先情報にユーザU1のみが含まれる場合には仮想オブジェクトVOを第1態様で移動させる。一方で、移動制御部115は、仮想オブジェクトVOの移動において、宛先情報にユーザU1以外のユーザUが含まれる場合には、仮想オブジェクトVOを第2態様で移動させる。
 端末装置10は、上記の構成を備えるので、通知の宛先がユーザU1のみの通知を、他の通知に比較して、ユーザU1に対してより訴求できる。ユーザU1は、宛先が自身のみの通知を優先的に確認できるので、ユーザU1にとっての利便性が高まる。
 また以上の説明によれば、表示制御部113は、取得部111が上記の通知を取得した時点、及び上記の通知の重要度のうち少なくとも一方に基づいて、仮想空間VSにおいて、仮想オブジェクトVOを表示させる位置を制御する。
 端末装置10は、上記の構成を備えるので、ユーザU1は、例えば通知を取得した時点が早い通知、及び重要度の高い通知を優先的に確認できる。そのため、ユーザU1にとっての利便性が高まる。
 また以上の説明によれば、表示制御部113は、上記の通知の宛先と紐づく現実空間の場所に対応する、仮想空間VS内の位置に、仮想オブジェクトVOを表示させる。
 端末装置10は、上記の構成を備えるので、ユーザU1と関連性の高い場所に、ユーザU1を宛先に含む通知に対応する仮想オブジェクトVOを表示できる。そのため、ユーザU1は、自身と関連性の高い場所において、自身宛ての通知を確認できる。
 また以上の説明によれば、表示制御部113は、上記の宛先情報に複数のユーザUが含まれる場合に、複数のユーザUによって共用される現実空間の場所に対応する、仮想空間VS内の位置に、仮想オブジェクトVOを表示させる。
 端末装置10は、上記の構成を備えるので、複数のユーザUが共用する場所に、当該複数のユーザUを宛先に含む通知に対応する仮想オブジェクトVOを表示させる。そのため、複数のユーザUの各々は、他のユーザUと共用する場所において、自身に加えて他のユーザUも宛先に含む通知を確認できる。
2:第2実施形態
 以下、図8~図11を参照しつつ、本発明の第2実施形態に係る表示制御装置としての端末装置10A及びサーバ30Aを含む情報処理システム1Aの構成について説明する。なお、以下の説明では、説明の簡略化を目的に、第2実施形態に係る情報処理システム1Aが備える構成要素のうち、第1実施形態に係る情報処理システム1と同一の構成要素については、同一の符号を用いると共に、その説明を省略することがある。
2-1:第2実施形態の構成
2-1-1:全体構成
 本発明の第2実施形態に係る情報処理システム1Aは、第1実施形態に係る情報処理システム1に比較して、端末装置10の代わりに端末装置10Aを、サーバ30の代わりにサーバ30Aを備える点で、互いに異なる。それ以外の点では、情報処理システム1Aの全体構成は、図1に示される第1実施形態に係る情報処理システム1の全体構成と同一であるので、その図示と説明を省略する。なお、第1実施形態においては、端末装置10は表示制御装置の一例であった。しかし、第2実施形態においては、サーバ30Aが表示制御装置の一例である。
2-1-2:サーバの構成
 図8は、サーバ30Aの構成例を示すブロック図である。サーバ30Aはサーバ30と異なり、処理装置31の代わりに処理装置31Aを、記憶装置32の代わりに記憶装置32Aを備える。
 記憶装置32Aは、記憶装置32と異なり、制御プログラムPR3の代わりに制御プログラムPR3Aを記憶する。
 処理装置31Aは、処理装置31に備わる取得部311の代わりに取得部311Aを備える。また、処理装置31Aは、処理装置31と異なり、出力部312を必須の構成要素としない。更に、処理装置31Aは、処理装置31に備わる構成要素に加えて、生成部313、表示制御部314、判定部315、及び移動制御部316を備える。
 取得部311Aは、取得部311と同様に、通信装置33を介して、端末装置10から各種のデータを取得する。当該データには、一例として、XRグラス20を頭部に装着したユーザU1によって端末装置10に入力される、仮想オブジェクトVOに対する操作内容を示すデータが含まれる。
 また、取得部311Aは、第1実施形態に係る端末装置10に備わる取得部111と同様に、通知を取得する。ここで、「通知」とは、ユーザU1及びユーザU2のうち少なくとも一方に対する他のユーザUからのメッセージを含む。当該「メッセージ」は、例えばメール、及びSNSのアプリを介してのメッセージを含む。また、当該「通知」は、他のユーザUに対する、ユーザU1及びユーザU2のうち一方からのメッセージを含んでもよい。また、当該「通知」は、他のユーザUに対する、更に他のユーザUからのメッセージを含んでもよい。また、当該「通知」は、仮想空間VSに表示される仮想オブジェクトVOが対応する各アプリケーションからのメッセージ、例えば警告又は連絡を含んでもよい。更に、当該「通知」は、不特定多数に向けての広告を含んでもよい。
 なお、上記の通知が記憶装置32Aに記憶されている場合、取得部311Aは、当該通知を記憶装置32Aから取得する。あるいは、取得部311Aは、サーバ30Aとは互いに異なる他の装置、例えばメールサーバから、当該通知を取得してもよい。
 また、取得部311Aは、端末装置10Aに備わる受付部116によって受け付けられた仮想オブジェクトVO1に対するユーザU1の操作を、通信装置33を介して、当該端末装置10Aから取得する。
 生成部313は、第1実施形態に係る端末装置10に備わる生成部112と同様に、取得部311Aによって取得された通知に対応する仮想オブジェクトVOを生成する。より詳細には、生成部313は、記憶装置32Aに記憶される画像情報を用いて、取得部311Aによって取得された通知に対応する仮想オブジェクトVOを生成する。
 表示制御部314は、ユーザU1が存在する仮想空間VS1、及びユーザU2が存在する仮想空間VS2の各々に、生成部313によって生成された仮想オブジェクトVOを表示させる。なお、ユーザU1は、仮想空間VS1の中心である、座標(x,y,z)=(0,0,0)に位置するものとする。また、ユーザU2も同様に、仮想空間VS2の中心である、座標(x,y,z)=(0,0,0)に位置するものとする。ここで、ユーザU1は、第1のユーザの一例である。また、ユーザU2は、第2のユーザの一例である。また、仮想空間VS1は、第1仮想空間の一例である。更に、仮想空間VS2は、第2仮想空間の一例である。
 図9は、生成部313、及び表示制御部314の動作例についての説明図である。なお、図9において、ユーザU2は、端末装置10A-2に接続されたXRグラスを頭部に装着しているものとする。表示制御部314は、図5Aに例示される第1実施形態に係る端末装置10に備わる表示制御部113の動作と同様に、仮想空間VS1において、仮想オブジェクトVO1~VO5を表示させる。より詳細には、表示制御部314は、生成部313によって生成された仮想オブジェクトVO1~VO5の画像を示す画像情報を、通信装置33を介して、端末装置10A-1に出力する。また、表示制御部314は、仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)~仮想オブジェクトVO5の座標(x,y,z)=(x,y,z)までの5つの座標を示す座標情報を含む制御情報を、通信装置33を介して、端末装置10A-1に出力する。端末装置10A-1に備わる後述の表示制御部113Aは、サーバ30Aから取得した、仮想オブジェクトVO1~VO5の画像を示す画像情報と、仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)~仮想オブジェクトVO5の座標(x,y,z)=(x,y,z)までの5つの座標を示す座標情報とに基づいて、仮想空間VS1に、仮想オブジェクトVO1~VO5を表示させる。
 また、表示制御部314は、図9に例示されるように、仮想空間VS2において、仮想オブジェクトVO1~VO5を表示させる。より詳細には、表示制御部314は、仮想空間VS2における、仮想オブジェクトVO1の座標(x,y,z)=(x11,y11,z11)~仮想オブジェクトVO5の座標(x,y,z)=(x15,y15,z15)までの5つの座標を算出する。また、表示制御部113は、仮想オブジェクトVO1~VO5を、算出された座標の示す位置に表示させる。より詳細には、表示制御部314は、生成部313によって生成された仮想オブジェクトVO1~VO5の画像を示す画像情報を、通信装置33を介して、端末装置10A-2に送信する。また、表示制御部314は、仮想オブジェクトVO1の座標(x,y,z)=(x11,y11,z11)~仮想オブジェクトVO5の座標(x,y,z)=(x15,y15,z15)までの5つの座標を示す座標情報を含む制御情報を、通信装置33を介して、端末装置10A-2に送信する。端末装置10A-2に備わる後述の表示制御部113Aは、サーバ30Aから取得した、仮想オブジェクトVO1~VO5の画像を示す画像情報と、仮想オブジェクトVO1の座標(x,y,z)=(x11,y11,z11)~仮想オブジェクトVO5の座標(x,y,z)=(x15,y15,z15)までの5つの座標を示す座標情報とに基づいて、仮想空間VS2に、仮想オブジェクトVO1~VO5を表示させる。
 なお、仮想空間VS2における仮想オブジェクトVO1の座標(x,y,z)=(x11,y11,z11)は、仮想空間VS1における仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)と同一であってもよく、互いに異なっていてもよい。同様に、仮想空間VS2における仮想オブジェクトVO2の座標(x,y,z)=(x12,y12,z12)~仮想オブジェクトVO5の座標(x,y,z)=(x15,y15,z15)の各々は、仮想空間VS1における仮想オブジェクトVO2の座標(x,y,z)=(x,y,z)~仮想オブジェクトVO5の座標(x,y,z)=(x,y,z)の各々と同一であってもよく、互いに異なっていてもよい。
 説明を図8に戻すと、判定部315は、第1実施形態に係る端末装置10に備わる判定部114と同様に、取得部311Aによって取得された通知の1又は複数の宛先を示す宛先情報にユーザU1が含まれる場合に、仮想空間VS1において、仮想オブジェクトVOとユーザU1との距離Dが所定距離以内であるかを判定する。
 移動制御部316は、第1実施形態に係る端末装置10に備わる移動制御部115と同様に、判定部315による判定結果が肯定である場合、仮想空間VS1において、上記の通知に対応する仮想オブジェクトVOをユーザU1に近づける。一方で、判定部315による判定結果が否定である場合、上記の通知に対応する仮想オブジェクトVOを移動させない。なお、移動制御部316の動作例は、図5Bに例示される移動制御部115の動作例と同様である。
 また、判定部315による判定結果が肯定である場合、表示制御部314は、取得部311Aによって取得された操作に応じて、仮想オブジェクトVO1に対応する通知の内容を仮想空間VS1に表示させる。例えば、表示制御部314は、図5Cに例示される表示制御部113の動作例と同様に、仮想オブジェクトVO1に対応する通知の内容の一例として、仮想空間VS1において、当該通知の内容が記載されたテキストファイルである仮想オブジェクトVO6を、当該球体内の座標である(x,y,z)=(x,y,z)に表示させる。また、表示制御部314は、仮想空間VS1において、仮想オブジェクトVO6を表示させた後、仮想オブジェクトVO1を消失させる。
 その結果、サーバ30Aは、通知の数に応じて仮想オブジェクトVOの数が増加しても、ユーザU1にとっての利便性の低下を抑制できる。具体的には、メッセージの宛先にユーザU1が含まれると共に、仮想空間VS1において、通知に対応する仮想オブジェクトVOとユーザU1との間の距離が所定距離以内である場合に、サーバ30Aは、当該仮想オブジェクトVOをユーザU1に近づける。そのため、ユーザU1は、自身が宛先に含まれる通知に対応する仮想オブジェクトVOを、他の仮想オブジェクトVOに比較して優先的に確認できる。
 一方で、表示制御部314は、仮想空間VS2においては、仮想オブジェクトVO1に対応する通知の内容、例えば、仮想オブジェクトVO6を表示させるまで、仮想オブジェクトVO1の表示を継続する。すなわち、仮想空間VS1において、仮想オブジェクトVO1が消失した後も、仮想空間VS2において、ユーザU2が仮想オブジェクトVO1に対応する通知の内容を確認するまで、表示制御部314は、仮想空間VS2における仮想オブジェクトVO1の表示を継続する。
 その結果、仮想空間VS1において、ユーザU1が通知の内容を確認することにより、仮想オブジェクトVOが消失したとしても、仮想空間VS2において、ユーザU2が当該仮想オブジェクトVOに対応する通知の内容が、いきなり出現することはない。したがって、ユーザU2が、当該出現によって混乱することはない。
 なお、仮想空間VS2における仮想オブジェクトVO1の座標(x,y,z)=(x11,y11,z11)が、仮想空間VS1における仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)と同一である場合、移動制御部316は、仮想空間VS1における仮想オブジェクトVO1と同一の移動経路で、仮想空間VS2において、仮想オブジェクトVO1を移動させてもよい。
2-1-3:端末装置の構成
 図10は、端末装置10Aの構成例を示すブロック図である。端末装置10Aは端末装置10と異なり、処理装置11の代わりに処理装置11Aを、記憶装置12の代わりに記憶装置12Aを備える。
 記憶装置12Aは、記憶装置12と異なり、制御プログラムPR1の代わりに制御プログラムPR1Aを記憶する。
 処理装置11Aは、処理装置11に備わる取得部111の代わりに取得部111Aを、表示制御部113の代わりに表示制御部113Aを備える。また、処理装置11Aは、処理装置11と異なり、生成部112を必須の構成要素としない。更に、処理装置11Aは、処理装置11に備わる構成要素に加えて、出力部117を備える。
 取得部111Aは、第1実施形態に係る端末装置10に備わる取得部111と同様に、通信装置13を介して、XRグラス20から、視線情報、位置情報、姿勢情報、動き情報、及び撮像情報を取得する。
 また、取得部111Aは、サーバ30Aから、XRグラス20に表示される画像を示す画像情報を取得する。とりわけ、取得部111Aは、サーバ30Aから、仮想オブジェクトVO1~VO5の画像を示す画像情報を取得する。更に、取得部111Aは、サーバ30Aから、仮想空間VSにおける仮想オブジェクトVO1~VO5の座標を示す座標情報を取得する。より詳細には、端末装置10Aが端末装置10A-1である場合、取得部111Aは、サーバ30Aから、仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)~仮想オブジェクトVO5の座標(x,y,z)=(x,y,z)までの5つの座標を示す座標情報を取得する。一方で、端末装置10Aが端末装置10A-2である場合、取得部111Aは、サーバ30Aから、仮想オブジェクトVO1の座標(x,y,z)=(x11,y11,z11)~仮想オブジェクトVO5の座標(x,y,z)=(x15,y15,z15)までの5つの座標を示す座標情報を取得する。
 表示制御部113Aは、取得部111Aによって取得された、仮想オブジェクトVO1~VO5の画像を示す画像情報と、仮想オブジェクトVO1~VO5の座標までの5つの座標を示す座標情報とに基づいて、仮想空間VSに、仮想オブジェクトVO1~VO5を表示させる。より詳細には、端末装置10Aが端末装置10A-1である場合、表示制御部113Aは、仮想オブジェクトVO1~VO5の画像を示す画像情報と、仮想オブジェクトVO1の座標(x,y,z)=(x,y,z)~仮想オブジェクトVO5の座標(x,y,z)=(x,y,z)までの5つの座標を示す座標情報とに基づいて、仮想空間VS1に、仮想オブジェクトVO1~VO5を表示させる。一方で、端末装置10Aが端末装置10A-2である場合、表示制御部113Aは、仮想オブジェクトVO1~VO5の画像を示す画像情報と、仮想オブジェクトVO1の座標(x,y,z)=(x11,y11,z11)~仮想オブジェクトVO5の座標(x,y,z)=(x15,y15,z15)までの5つの座標を示す座標情報とに基づいて、仮想空間VS2に、仮想オブジェクトVO1~VO5を表示させる。
 出力部117は、受付部116によって受け付けられた仮想オブジェクトVO1に対するユーザU1の操作を、通信装置13を介して、サーバ30Aに出力する。
2-2:第2実施形態の動作
 図11は、第2実施形態に係るサーバ30Aの動作を示すフローチャートである。以下、図11を参照しつつ、サーバ30Aの動作について説明する。
 ステップS11において、処理装置31Aは、取得部311Aとして機能する。処理装置31Aは、通知を取得する。
 ステップS12において、処理装置31Aは、生成部313として機能する。処理装置31Aは、ステップS12において取得された通知に対応する仮想オブジェクトVOを生成する。
 ステップS13において、処理装置31Aは、表示制御部314として機能する。処理装置31Aは、ユーザU1が存在する仮想空間VS1、及びユーザU2が存在する仮想空間VS2に、ステップS12において生成された仮想オブジェクトVOを表示させる。
 ステップS14において、処理装置31Aは、判定部315として機能する。処理装置31Aは、ステップS11において取得された通知の1又は複数の宛先を示す宛先情報にユーザU1が含まれるか否かを判定する。当該宛先情報にユーザU1が含まれる場合、すなわち処理装置31Aの判定結果が肯定である場合、処理装置31AはステップS15の動作を実行する。当該宛先情報にユーザU1が含まれない場合、すなわち処理装置31Aの判定結果が否定である場合、処理装置31Aは、ステップS1の処理を実行する。
 ステップS15において、処理装置31Aは、判定部315として機能する。処理装置31Aは、仮想空間VS1において、ステップS13において表示された仮想オブジェクトVOとユーザU1との間の距離Dが所定距離以内であるか否かを判定する。距離Dが所定距離以内である場合、すなわち処理装置31Aの判定結果が肯定である場合、処理装置31AはステップS16の動作を実行する。距離Dが所定距離を超える場合、すなわち処理装置31Aの判定結果が否定である場合、処理装置31Aは、ステップS11の処理を実行する。
 ステップS16において、処理装置31Aは、移動制御部316として機能する。処理装置31Aは、仮想空間VS1内において、仮想オブジェクトVOを移動させることによって、仮想オブジェクトVOをユーザU1に近づける。
 ステップS17において、処理装置31Aは、取得部311Aとして機能する。処理装置31Aが、仮想空間VS1における、仮想オブジェクトVOに対するユーザU1の操作を取得した場合には、処理装置31AはステップS18の処理を実行する。処理装置31Aが、仮想空間VS1における、仮想オブジェクトVOに対するユーザU1の操作を受け付けていない場合には、処理装置31AはステップS17の処理を実行する。
 ステップS18において、処理装置31Aは、表示制御部314として機能する。処理装置31Aは、ステップS17において取得された操作に応じて、仮想オブジェクトVOに対応する通知の内容を、仮想空間VS1に表示させる。一方で、処理装置31Aは、仮想オブジェクトVOに対応する通知の内容を、仮想空間VS2に表示させるまで、仮想空間VS2において、仮想オブジェクトVOの表示を継続する。その後、処理装置31Aは、図11に記載の全ての処理を終了する。
2-3:第2実施形態が奏する効果
 以上の説明によれば、表示制御装置としてのサーバ30Aは、取得部311A、生成部313、表示制御部314、判定部315、及び移動制御部316を備える。取得部311Aは、通知を取得する。生成部313は、上記の通知に対応する仮想オブジェクトVOを生成する。表示制御部314は、第1のユーザとしてのユーザU1が存在する第1仮想空間としての仮想空間VS1と、第2のユーザとしてのユーザU2が存在する第2仮想空間としての仮想空間VS2に、仮想オブジェクトVOを表示させる。判定部315は、通知の1又は複数の宛先を示す宛先情報にユーザU1が含まれる場合に、仮想空間VS1において、仮想オブジェクトVOとユーザU1との間の距離Dが所定距離以内であるかを判定する。移動制御部316は、判定部315の判定結果が肯定である場合、仮想空間VS1において、仮想オブジェクトVOをユーザU1に近づけ、判定部315の結果が否定である場合、仮想空間VS1において、仮想オブジェクトVOを移動させない。表示制御部314は、仮想オブジェクトVOに対応する通知の内容を、仮想空間VS1に表示させた後、仮想空間VS1において、仮想オブジェクトVOを消失させる。一方で、表示制御部314は、仮想オブジェクトVOに対応する通知の内容を、仮想空間VS2に表示させるまで、仮想空間VS2において、仮想オブジェクトVOの表示を継続する。
 サーバ30Aは、上記の構成を備えるので、XRグラス20に対して、通知に対応する仮想オブジェクトVOを含む仮想空間VSを表示させる場合、通知の数に応じて当該仮想オブジェクトVOの数が増加しても、ユーザU1にとっての利便性の低下を抑制できる。具体的には、宛先情報にユーザU1が含まれると共に、仮想空間VS1において、通知に対応する仮想オブジェクトVOとユーザU1との間の距離Dが所定距離以内である場合に、端末装置10は、当該仮想オブジェクトVOをユーザU1に近づける。そのため、ユーザU1は、自身が宛先情報に含まれる通知に対応する仮想オブジェクトVOを、他の仮想オブジェクトVOに比較して優先的に確認できる。また、端末装置10は、あくまで通知に対応する仮想オブジェクトVOとユーザU1との間の距離Dが所定距離以内である場合に、仮想オブジェクトVOをユーザU1に近づける。そのため、ユーザU1から見て、所定距離よりも遠方に位置する仮想オブジェクトVOが、ユーザU1に近づくことはない。すなわち、所定距離よりも遠方の仮想オブジェクトVOが、ユーザU1の近傍に位置する仮想オブジェクトVOを押しのけて、いきなりU1の眼前に移動してくることはない。そのため、ユーザU1の視野に混乱が発生しない。
 更に、サーバ30Aは、仮想空間VS1において、仮想オブジェクトVOを消失させても、仮想空間VS2において、仮想オブジェクトVOに対応する通知の内容を表示させるまで、仮想オブジェクトVOを消失させない。そのため、仮想空間VS1において、ユーザU1が通知の内容を確認することにより、仮想オブジェクトVOが消失したとしても、仮想空間VS2において、ユーザU2が当該仮想オブジェクトVOに対応する通知の内容が、いきなり出現することはない。したがって、ユーザU2が、当該出現によって混乱することはない。
3:変形例
 本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を併合してもよい。
3-1:変形例1
 第1実施形態に係る情報処理システム1において、端末装置10とXRグラス20とは別体として実現されている。しかし、本発明の実施形態における、端末装置10とXRグラス20の実現方法は、これには限定されない。例えば、XRグラス20が、端末装置10と同一の機能を備え、端末装置10とXRグラス20とが単一の筐体内において実現されてもよい。第2実施形態に係る情報処理システム1Aにおいても同様である。
3-2:変形例2
 第1実施形態に係る情報処理システム1は、XRグラス20を備える。上記の説明では、一例としてXRグラス20がMRグラスである場合について述べた。しかし、情報処理システム1は、XRグラス20は、MRグラスではなく、VR(Virtual Reality)技術が採用されたHMD(Head Mounted Display)、VR技術が採用されたVRグラス、AR(Augmented Reality)技術が採用されたHMD、及びAR技術が採用されたARグラス、MR技術が採用されたHMDのうちいずれか1つであってもよい。あるいは、情報処理システム1は、MRグラスとしてのXRグラス20の代わりに、撮像装置を備えた通常のスマートフォン及びタブレットのうちいずれか1つを備えてもよい。これらのHMD、VRグラス、ARグラス、スマートフォン、及びタブレットは、表示装置の例である。第2実施形態に係る情報処理システム1Aにおいても同様である。
4:その他
(1)上述した実施形態では、記憶装置12~12A、記憶装置22、及び記憶装置32~32Aとしては、ROM及びRAMなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、CD-ROM(Compact Disc-ROM)、レジスタ、リムーバブルディスク、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ、データベース、及びサーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網NETから送信されてもよい。
(2)上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
(3)上述した実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
(4)上述した実施形態において、判定は、1ビットを用いて表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
(5)上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
(6)図1~図11に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
(7)上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
 また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
(8)前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
(9)本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
(10)上述した実施形態において、端末装置10~10A、及びサーバ30~30Aは、移動局(MS:Mobile Station)である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語によって呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末(user terminal)」、「ユーザ装置(UE:User Equipment)」、「端末」等の用語は、互換的に使用され得る。
(11)上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含められる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えられる。
(12)上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
(13)本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などによって読み替えられてもよい。
(14)上述した実施形態において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
(15)本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
(16)本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
(17)本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行う通知に限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
 以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
1、1A…情報処理システム、10、10A…端末装置、11、11A…処理装置、12、12A…記憶装置、13…通信装置、14…ディスプレイ、15…入力装置、16…慣性センサ、20…XRグラス、21…処理装置、22…記憶装置、23…視線検出装置、24…GPS装置、25…動き検出装置、26…撮像装置、27…通信装置、28…ディスプレイ、30、30A…及びサーバ、31、31A…処理装置、32、32A…記憶装置、33…通信装置、34…ディスプレイ、35…入力装置、41L、41R…レンズ、91、92…テンプル、93…ブリッジ、94…フレーム、95…フレーム、111、111A…取得部、112…生成部、113、113A…表示制御部、114…判定部、115…移動制御部、116…受付部、117…出力部、311、311A…取得部、312…出力部、313…生成部、314…表示制御部、315…判定部、316…移動制御部、PR1~PR3A…制御プログラム、U、U1~U2…ユーザ、VO、VO1~VO6…仮想オブジェクト、VS、VS1、VS2…仮想空間

Claims (10)

  1.  通知を取得する取得部と、
     前記通知に対応する仮想オブジェクトを生成する生成部と、
     第1のユーザが存在する仮想空間に、前記仮想オブジェクトを表示させる表示制御部と、
     前記通知の1又は複数の宛先を示す宛先情報に、前記第1のユーザが含まれる場合に、前記仮想空間において、前記仮想オブジェクトと前記第1のユーザとの間の距離が第1距離以内であるかを判定する判定部と、
     前記判定部の判定結果が肯定である場合、前記仮想オブジェクトを前記第1のユーザに近づけ、前記判定部の判定結果が否定である場合、前記仮想オブジェクトを移動させない移動制御部と、
    を備える表示制御装置。
  2.  前記仮想オブジェクトに対するユーザの操作を受け付ける受付部を更に備え、
     前記表示制御部は、前記判定部の判定結果が肯定である場合に、前記操作に応じて、前記仮想オブジェクトに対応する前記通知の内容を前記仮想空間に表示させる、
     請求項1に記載の表示制御装置。
  3.  前記仮想オブジェクトに対する前記操作は、視線を前記仮想オブジェクトに向けることであり、
     前記表示制御部は、前記判定部の判定結果が肯定であり、且つ、前記視線が前記仮想オブジェクトに所定時間以上向けられた場合、前記仮想オブジェクトに対応する前記通知の内容を前記仮想空間に表示させる、
    請求項1又は請求項2に記載の表示制御装置。
  4.  前記表示制御部は、前記仮想オブジェクトに対応する前記通知の内容を前記仮想空間に表示させた後、前記仮想空間において、前記仮想オブジェクトを消失させる、請求項2又は請求項3に記載の表示制御装置。
  5.  前記表示制御部は、前記通知の宛先となるユーザに応じて、前記仮想オブジェクトの表示形態を制御する、請求項1から請求項4のいずれか1項に記載の表示制御装置。
  6.  前記移動制御部は、
     前記仮想オブジェクトの移動において、前記宛先情報に前記第1のユーザのみが含まれる場合には、前記仮想オブジェクトを第1態様で移動させ、
     前記仮想オブジェクトの移動において、前記宛先情報に前記第1のユーザ以外のユーザが含まれる場合には、前記仮想オブジェクトを第2態様で移動させる、
    を備える表示制御装置。
  7.  前記表示制御部は、前記取得部が前記通知を取得した時点、及び前記通知の重要度のうち少なくとも一方に基づいて、前記仮想空間において、前記仮想オブジェクトを表示させる位置を制御する、請求項1から請求項6のいずれか1項に記載の表示制御装置。
  8.  前記表示制御部は、前記通知の宛先と紐づく現実空間の場所に対応する、前記仮想空間内の位置に、前記仮想オブジェクトを表示させる、請求項1から請求項7のいずれか1項に記載の表示制御装置。
  9.  前記表示制御部は、前記宛先情報に複数のユーザが含まれる場合に、前記複数のユーザによって共用される現実空間の場所に対応する、前記仮想空間内の位置に、前記仮想オブジェクトを表示させる、請求項1から請求項8のいずれか1項に記載の表示制御装置。
  10.  通知を取得する取得部と、
     前記通知に対応する仮想オブジェクトを生成する生成部と、
     第1のユーザが存在する第1仮想空間と、第2のユーザが存在する第2仮想空間に、前記仮想オブジェクトを表示させる表示制御部と、
     前記通知の1又は複数の宛先を示す宛先情報に第1のユーザが含まれる場合に、前記第1仮想空間において、前記仮想オブジェクトと前記第1のユーザとの間の距離が所定距離以内であるかを判定する判定部と、
     前記判定部の判定結果が肯定である場合、前記第1仮想空間において、前記仮想オブジェクトを前記第1ユーザに近づけ、前記判定部の結果が否定である場合、前記第1仮想空間において、前記仮想オブジェクトを移動させない移動制御部と、を備え、
     前記表示制御部は、前記仮想オブジェクトに対応する前記通知の内容を、前記第1仮想空間に表示させた後、前記第1仮想空間において、前記仮想オブジェクトを消失させる一方で、前記仮想オブジェクトに対応する通知の内容を、前記第2仮想空間に表示させるまで、前記第2仮想空間において、前記仮想オブジェクトの表示を継続する、表示制御装置。
PCT/JP2023/001884 2022-02-02 2023-01-23 表示制御装置 WO2023149256A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-015007 2022-02-02
JP2022015007 2022-02-02

Publications (1)

Publication Number Publication Date
WO2023149256A1 true WO2023149256A1 (ja) 2023-08-10

Family

ID=87552124

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/001884 WO2023149256A1 (ja) 2022-02-02 2023-01-23 表示制御装置

Country Status (1)

Country Link
WO (1) WO2023149256A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017138212A1 (ja) * 2016-02-08 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019138661A1 (ja) * 2018-01-12 2019-07-18 ソニー株式会社 情報処理装置および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017138212A1 (ja) * 2016-02-08 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019138661A1 (ja) * 2018-01-12 2019-07-18 ソニー株式会社 情報処理装置および情報処理方法

Similar Documents

Publication Publication Date Title
EP3629290B1 (en) Localization for mobile devices
CN105264548B (zh) 用于生成增强现实体验的难以察觉的标签
CN105900041B (zh) 利用视线跟踪进行的目标定位
US9536350B2 (en) Touch and social cues as inputs into a computer
CN115917498A (zh) 使用语音和文字字幕的增强现实体验
KR20160148557A (ko) 월드 락 디스플레이의 품질 피드백 기법
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
KR20160145976A (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
CN109117684A (zh) 用于在双目增强现实设备上选择性扫描的***和方法
CN110622110A (zh) 提供沉浸式现实内容的方法和装置
WO2019130708A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240089695A1 (en) Locating Content In An Environment
WO2023149256A1 (ja) 表示制御装置
WO2023149255A1 (ja) 表示制御装置
WO2023145890A1 (ja) 端末装置
WO2023145273A1 (ja) 表示制御装置
WO2023162499A1 (ja) 表示制御装置
WO2023112838A1 (ja) 情報処理装置
WO2023145892A1 (ja) 表示制御装置及びサーバ
WO2023145265A1 (ja) メッセージ送信装置及びメッセージ受信装置
WO2023149498A1 (ja) 表示制御装置
WO2023074852A1 (ja) 情報処理装置
WO2023176317A1 (ja) 表示制御装置
KR20220026114A (ko) 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법
WO2023079875A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23749572

Country of ref document: EP

Kind code of ref document: A1