WO2019230852A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2019230852A1 WO2019230852A1 PCT/JP2019/021432 JP2019021432W WO2019230852A1 WO 2019230852 A1 WO2019230852 A1 WO 2019230852A1 JP 2019021432 W JP2019021432 W JP 2019021432W WO 2019230852 A1 WO2019230852 A1 WO 2019230852A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- information
- display
- space
- information processing
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Definitions
- the present disclosure relates to an information processing apparatus, an information processing method, and a program.
- Patent Document 1 a pre-recorded virtual object serving as a model of work is presented to a user who is working to more effectively pass on techniques and skills related to the work.
- An apparatus capable of performing is disclosed.
- the virtual object recorded as in Patent Document 1 is not presented as a model, but with a leader located in the same space. More preferably, students communicate in real time. However, when the instructor and the student are remotely located, it is not easy for them to move because they are located in the same space.
- a conference system using a video phone has been proposed conventionally, and the instructor provides guidance to students using the conference system. You can also.
- the conventional conference system can confirm each other's state and share the document data, but it is possible that multiple users located in different spaces are working in the same space. It was impossible to make it feel like this. For this reason, it is not easy to transfer technology and skills using a conventional conference system.
- an information processing apparatus and an information processing method capable of providing a feeling as if each user is working in the same space to a plurality of users located in different spaces. , And propose programs.
- the acquisition unit that acquires the first body information of the first user that exists in the first space and the second body information of the second user that exists in the second space;
- a virtual space generation unit that generates a virtual space based on the first body information or the second body information and a trigger caused by at least one of the first user or the second user occurs
- An operation mode control unit for switching the operation mode, control of the operation mode switching, and at least one device existing in the first space or at least one device existing in the second space
- an information processing apparatus including the unit.
- acquiring the first body information of the first user existing in the first space and the second body information of the second user existing in the second space Generates a virtual space based on the first body information or the second body information, and operates when a trigger caused by at least one of the first user or the second user occurs Switching modes, switching the operation mode, and linking at least one device existing in the first space or at least one device existing in the second space, An information processing method executed by a computer is provided.
- acquiring the first body information of the first user existing in the first space and the second body information of the second user existing in the second space Generates a virtual space based on the first body information or the second body information, and operates when a trigger caused by at least one of the first user or the second user occurs Switching a mode, switching the operation mode, and linking at least one device existing in the first space or at least one device existing in the second space to a computer
- a program for realizing this is provided.
- FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus 900 that implements a server apparatus 200 or a client apparatus 110.
- the virtual object recorded as in Patent Document 1 is not presented as a model, but a leader located in the same space It is more preferable for students to communicate in real time.
- the instructor and the student are remotely located, it is not easy for them to move because they are located in the same space. For example, when students are scattered all over the world, since the instructor is required to perform the instruction while moving from place to place, the effect of the instruction is limited.
- the conventional conference system can confirm each other's state and share the document data, but it is possible that multiple users located in different spaces are working in the same space. It was impossible to make it feel like this. For example, when the instructor and the student are located in the same space, the student may observe the work at the instructor's hand from the instructor's viewpoint, or the instructor may instruct while taking the student's hand. Where possible, the conferencing system cannot realize such a transmission method. For this reason, it is not easy to transfer technology and skills using a conventional conference system.
- the information processing apparatus includes first physical information of a first user (for example, a leader) existing in a first space, or a second user (for example, a student) existing in a second space.
- the second body information is acquired, and a virtual space is generated based on the first body information or the second body information. More specifically, the information processing apparatus generates a virtual space that reproduces the positional relationship between the first user and the second user.
- the information processing apparatus switches the operation mode, and switches between the operation mode and the first space or the second user.
- At least one device for example, a display or a speaker
- the information processing apparatus reflects information obtained by editing a captured image acquired by the camera 123 or information on a part of the virtual space on a display or a speaker provided in the first space or the second space.
- the information processing apparatus can provide the first user or the second user existing in different spaces as if each user is working in the same space. .
- the information processing system includes a first space 100A and a second space 100B, and a client device 110, an input device group 120, and an output device in each space.
- the information processing system according to the present embodiment also includes a server device 200 that can communicate with the client device 110 in each space via the network 300.
- the server apparatus 200 is an apparatus that functions as the “information processing apparatus” described above. More specifically, the server device 200 stores the first body information of the first user existing in the first space 100A or the second body information of the second user present in the second space 100B. Each is acquired by analyzing various input information from the client device 110A and the client device 110B, and a virtual space is generated using the first body information or the second body information. “Physical information (including first physical information or second physical information. Hereinafter, for convenience,“ first physical information or second physical information ”may be simply referred to as“ physical information ”)” Is a concept including position information of each user's body part. Therefore, the server device 200 can reproduce the positional relationship (and posture) of each user on the virtual space based on the physical information.
- the server device 200 receives the first environment information including information related to the object existing in the first space 100A or the second environment information including information related to the object existing in the second space 100B as the client device 110A.
- the virtual space may be generated by analyzing various input information from the client device 110B and using not only the body information but also the first environment information or the second environment information.
- first environmental information or second environmental information may be simply referred to as“ environmental information ”for convenience)” Is a concept including position information of each part of an object (including the input device group 120 and the output device group 130) existing in each space. Therefore, the server apparatus 200 can reproduce the positional relationship between each object and the positional relationship between each object and each user on the virtual space by generating a virtual space based not only on physical information but also on environmental information. it can.
- the server device 200 switches the operation mode, generates control information based on the operation mode, and provides the control information to the client device 110A or the client device 110B.
- the output device group 130B can be controlled in conjunction. Note that the server device 200 may control the input device group 120A or the input device group 120B.
- the client device 110A is a device that comprehensively controls devices (the input device group 120A and the output device group 130A) provided in the first space 100A. For example, the client device 110A acquires various input information from the input device group 120A and provides it to the server device 200, or controls the output device group 130A based on control information provided from the server device 200.
- the input device group 120A is a device group that acquires various types of input information, and may include, for example, a camera, a microphone, or an arbitrary sensor.
- the contents and installation mode of the input device group 120A are not particularly limited. Details will be described later.
- the output device group 130A is a device group that performs various outputs to the first user, and may include, for example, a display (including a table display 131 and a window display 133 described later), a speaker, or a tactile presentation device.
- a display including a table display 131 and a window display 133 described later
- a speaker or a tactile presentation device.
- the contents and installation mode of the output device group 130A are not particularly limited. Details will be described later.
- the client device 110B, the input device group 120B, and the output device group 130B provided in the second space 100B are the same as the above-described configuration provided in the first space 100A, and thus description thereof is omitted.
- the configuration example of the information processing system according to the present embodiment has been described above.
- the above configuration described with reference to FIG. 1 is merely an example, and the configuration of the information processing system according to the present embodiment is not limited to the example.
- all or part of the functions of the server device 200 may be provided in the client device 110 or other external device.
- all or part of the functions of the client device 110 may be provided in the server device 200 or other external device.
- the configuration of the information processing system according to the present embodiment can be flexibly modified according to specifications and operations.
- the configuration of the second space 100B may not be the same as the configuration of the first space 100A.
- the user A (first user) exists in the first space 100A
- the display surface is a table (
- a table display 131A (second display) which is provided on the top plate portion of a table (table used as a workbench) and positioned substantially parallel to the ground surface, and is provided substantially vertically at one end on the table display 131A.
- a window display 133A (first display) whose surface is positioned substantially perpendicular to the ground surface is provided as an example of the output device group 130.
- the second space 100B there is a user B (second user) as shown in FIG.
- FIG. 3 shows a state in which each user is standing, the posture of each user is not limited to this. For example, each user may be sitting on a chair.
- the window display 133A in the first space 100A displays the user B and other objects (may include the table display 131B and the like in the second space 100B) existing in the second space 100B.
- the window display 133A has a large area (horizontal width and vertical width of a predetermined length or more) that allows the user A to recognize the state of the second space 100B well, and is substantially the same as the first space 100A.
- the user B and other objects are displayed in real time at the same scale (in other words, the current scale or the actual size) and at substantially the same height (in other words, with the height of the ground surface aligned).
- the server device 200 analyzes various input information from the client device 110A or the client device 110B, and thereby the first physical information of the user A or the second physical information of the user B, Based on the physical information or the environmental information (or at least the physical information), the first environmental information regarding the object existing in the first space 100A or the second environmental information regarding the object existing in the second space 100B is acquired.
- the server device 200 generates a virtual space that reproduces that the user A and the user B are having a conversation with a table (a table corresponding to the table display 131) interposed therebetween.
- the server device 200 cuts out part of the information in the virtual space and provides it to the client device 110A, and the window display 133A and the table display 131A acquire and display the information via the client device 110, so that the user A A feeling that the user B is located in the same space can be obtained.
- the display content is far from the reality, since the display content is far from the reality, the user A A feeling that the user B is located in the same space cannot be obtained.
- the display content is realistic.
- the user A can obtain a feeling that the user A is located in the same space as the user B.
- the user B and the like are displayed in real time at approximately the same scale and approximately the same height, so that the user A can obtain a feeling that the user B and the line of sight are aligned.
- the server device 200 does not have to display on the display an image that completely matches the virtual space, and may display an appropriately changed image on the display. For example, when a situation occurs in which it is difficult for the user A and the user B to see each other, the server device 200 may change the display position of the video on the display.
- the server device 200 also edits input information (for example, a captured image acquired by the camera 123) acquired by each input device group 120 (for example, the camera 123) in order to reproduce the reality (for example, a camera 123). For example, an image subjected to effect processing, an image combined with another image, or the like may be provided to the client device 110.
- a window display 133A or a table display 131A having a narrower width than that of FIG. 2 may be used. Even in this case, for example, by widening the vertical width of the window display 133A, the user A can recognize the state of the second space 100B well, and thus is located in the same space as the user B as described above. You can get a feeling like this. Further, the window display 133A is subjected to arbitrary image processing (for example, background color change processing or blur processing) that can emphasize that both users are located in the same space. May be displayed.
- arbitrary image processing for example, background color change processing or blur processing
- the display image 20 is displayed on the table display 131.
- the display image 20 is a display object indicating an interaction from the application, and is, for example, various UIs such as a still image, a moving image (video), a menu screen, or a control screen.
- the display image 20 may be a two-dimensional image or a three-dimensional image. Since the operation input by the user with respect to the display image 20 is detected by various sensors, the user performs various operations on the display image 20 by moving an operation tool, for example, a hand in contact with or close to the display image 20. Input can be made. For example, the user can display freely described contents on the table display 131 by tracing the table display 131 with a finger (in the figure, a display image 21 having a circular shape is generated by the free description). ).
- the operation input for the display image 20 (or the display image 21) on the table display 131 is, for example, a touch sensor provided on the table display 131, a depth camera, a thermo camera, an RGB camera, an ultrasonic sensor, or the like provided in the periphery.
- the server device 200 analyzes the captured image and the depth information acquired by the input device group 120, so that the position and depth information of the user's hand or finger located on the display screen of the table display 131 (in other words, 3D information) is acquired, and the touch or proximity of the user's hand to the table display 131 in the height direction and the detachment of the hand from the table display 131 are detected.
- an object that can be operated by both user A and user B is referred to as a “shared object”.
- Collaborative work by reflecting the operation input from the user on the shared object displayed on the server device 200 and one table display 131 to the corresponding shared object displayed on the other table display 131 (in real time). The convenience can be further improved. More specifically, for example, when the same shared object is displayed in the same arrangement on the table display 131A and the table display 131B, the user A moves a shared object on the table display 131A. The apparatus 200 moves the corresponding shared object on the table display 131B in the same manner.
- a plurality of operation modes are provided for audiovisual effects provided to the user A (first user) and the user B (second user). Then, when a predetermined trigger occurs, the server device 200 switches the operation mode and changes the audiovisual effect given to the user A and the user B, whereby the positional relationship between the user A and the user B ( And body posture).
- the instructor and the student it is more useful for the instructor and the student to perform two-way communication while appropriately changing the mutual positional relationship.
- the degree of understanding of the student is increased by not only conducting the lesson in a state where the instructor is directly facing the student, but also by appropriately moving the instructor to the position of the student and performing techniques and skills nearby.
- an operation mode in which user A and user B are positioned facing each other and output (for example, display on a display, sound output by a speaker, or the like) is performed according to an actual positional relationship.
- facing mode for convenience
- the server device 200 synthesizes another image generated by editing the captured image acquired by the camera 123 in each space (for example, an image that has been subjected to effect processing or another image). Image) on each display.
- the server device 200 may display information cut out from the virtual space generated based on physical information or environmental information on each display (note that the server device 200 is information cut out from the virtual space). May be processed as appropriate).
- the server device 200 is information cut out from the virtual space.
- the facing mode can be applied, for example, when the instructor conducts a lesson with the student facing the student.
- an operation mode in which the user A and the user B are positioned facing each other and the left and right are reversed from the actual positional relationship (hereinafter referred to as the “left and right reversed mode” for convenience). May be provided).
- the server device 200 performs another image (for example, an image obtained by reversing the left and right of the captured image, effect processing) generated by editing the captured image acquired by the camera 123 in each space. Images, images combined with other images, etc.) are displayed on each display.
- the server device 200 cuts out part of the virtual space generated based on the physical information or the environment information, and displays it on each display in a state where the right and left of the positional relationship in the information are reversed. Also good. Accordingly, as shown in FIG. 7, when the user B raises the right hand, it seems that the user B is raising the left hand to the user A who is facing up.
- the right-and-left reversal mode can also be applied, for example, when the instructor conducts a lesson in a state of facing the student in the same manner as the facing mode.
- an operation mode (hereinafter referred to as “horizontal mode” for convenience) that is output in a state in which user A and user B face in substantially the same direction and are positioned side by side. ) Is provided.
- the display image 22B of the user B's hand (the image of the right hand of the user B in the example of FIG. 8) is displayed on the left side of the user A on the table display 131A in the first space 100A.
- the user A can perceive that the user B is located on the left side.
- the display image 22A of the hand of the user A (the image of both hands of the user A in the example of FIG.
- the side-by-side mode can be applied, for example, when the instructor moves to the side of the student and shows a sample of work (or vice versa).
- an operation mode (in which one user depends on the other) is output in a state where user A and user B are oriented in substantially the same direction and one is positioned so as to cover the other from the back.
- a “dependent mode” will be provided).
- the display image 22B of the hand of the user B (in the example of FIG. 9, the image of both hands of the user B) is displayed on both sides of the user A on the table display 131A in the first space 100A. In this way, the user A can perceive that the user B is located behind the user B (note that the images of both hands of the user B are not necessarily displayed on both sides of the user A). Good).
- the display image 22A of the hand of the user A (in the example of FIG. 9, the image of both hands of the user A) is displayed between both hands of the user B on the table display 131B in the second space 100B.
- B can perceive that the user A is behind the user A and covers the user A.
- the back of the user A may be displayed on the table display 131B in the second space 100B.
- the dependent mode is, for example, when the instructor shows a sample of the work with the student behind the student (in other words, when the instructor relies on the student), or when the student moves behind the instructor. This can be applied to the case where the work of the instructor is confirmed (in other words, when the student relies on the instructor).
- the server device 200 controls devices other than the display included in the output device group 130 in each operation mode.
- the user A and the user B may perceive the positional relationship (and posture) of each other.
- the server device 200 controls the speakers included in the output device group 130 to localize the sound image in the real space, thereby allowing the user A and the user B to perceive each other's positional relationship (and posture). Good.
- the types of operation modes provided in the information processing system according to the present embodiment are not limited to the above. More specifically, the server device 200 may newly establish or change the operation mode as appropriate based on a change in the positional relationship between the users.
- the server apparatus 200 switches at least one device (for example, a display or a speaker) provided in the first space 100A or the second space 100B by switching the operation mode described above. Interlock.
- the “predetermined trigger” used for switching the operation mode is a trigger caused by at least one of the user A (first user) and the user B (second user).
- the predetermined trigger is a predetermined operation by the user A or the user B (for example, an operation of standing up from a chair or an operation of moving while sitting on a chair) or a predetermined remark (for example, “I go there. ”Or“ Please come here ”), or a predetermined operation input (for example, touching the table display 131 or pressing a button).
- the contents of the predetermined trigger are not limited to these.
- the server apparatus 200 gives each user a sense that the positional relationship (and posture) between the user A and the user B has changed in the same space by linking the devices as described above. be able to. That is, the user A and the user B can freely and naturally change each other's positional relationship (and posture).
- FIGS. 10 to 12 are diagrams showing specific examples of display operations of the window display 133A and the table display 131A when switching from the direct mode to the dependent mode.
- a user B sitting on a chair is displayed on the window display 133A of FIG. 10A, and a shared object shared by the user A and the user B is displayed on the table display 131A.
- the user A perceives that the user A is facing the user B across the table on which the shared object is placed.
- the server device 200 that detects an operation such as the user B standing up from the chair performs a series of operation mode switching processing. For example, as illustrated in B of FIG. 10, the server apparatus 200 displays the user B on the window display 133A while pulling (reducing) the user B. At this time, the server apparatus 200 may display the user B while blurring the entire window display 133A.
- the server apparatus 200 displays the user B on the window display 133A in a state where the user B is rotated in the horizontal direction with respect to the user A.
- the server device 200 leaves the window display 133 ⁇ / b> A by moving the user B straight.
- the server apparatus 200 may display the user B while blurring the entire window display 133A.
- the server device 200 is a user who is located on the direction side in which the user B has moved after the time required for the user B to move behind the user A (left side in this example).
- the display image 22B of the B hand (left hand in this example) is displayed on the table display 131 from the front direction.
- the server device 200 displays the display image 22B of the other hand (in this example, the right hand) on the table display 131 from the right front side of the user A.
- the server device 200 can provide each user with a feeling that the user B has moved around from the left direction of the user A and moved behind the user A. it can.
- the server device 200 that detects an operation such as the user B standing up from the chair performs a series of operation mode switching processing. For example, as shown in FIG. 13B, the server device 200 gradually changes the display image 23A displayed on the table display 131A to black (blackout). Others are the same as B of FIG.
- the server apparatus 200 sets the table display 131A in a completely blacked-out state. Others are the same as C and D of FIG.
- the server device 200 uses the user B from the direction in which the user B has moved after the time required for the user B to move behind the user A (upper left direction in this example).
- the display image 23B of the document being displayed is displayed on the table display 131.
- the server apparatus 200 displays the display image 23 ⁇ / b> B on the entire table display 131.
- the server apparatus 200 moves from the left direction of the user A to the user A, moves behind the user A, and is used by the user B in the table of the user A. It is possible to provide each user with the feeling of placing a certain material. Then, after that, the user B can transmit information to the user A using the display image 23B of the material.
- the server device 200 edits information (for example, a captured image acquired by the camera 123) acquired by each input device group 120 (for example, the camera 123) by editing the input information (for example, a captured image acquired by the camera 123). For example, an image subjected to effect processing, an image synthesized with another image, or the like, or information cut out from the virtual space is appropriately processed and output to each device (window display 133, table display 131, etc.). Each user is provided with a feeling that the positional relationship (and posture) between the user A and the user B has changed in the same space.
- the server apparatus 200 performs various types of image processing (for example, an image of the user B) on information obtained by editing input information acquired by each input device group 120 or information cut out from the virtual space (for example, an image of the user B).
- image processing for example, an image of the user B
- Information obtained by editing input information acquired by the input device group 120 or information extracted from the virtual space may be output to each device as it is, or may be output to each device after processing the information. .
- the processing method of these information is not limited to said example.
- the server device 200 may cause each device to output information other than information obtained by editing the input information acquired by each input device group 120 or information other than information cut out from the virtual space.
- the server device 200 holds the physical information and arbitrary object information of each user (for example, information on the characteristics of each user's body and arbitrary objects including the shape and color)
- You may edit the display content of each display using information.
- the server device 200 removes each user from the virtual space that reproduces the reality, and then superimposes the user in a desired state (posture) or a desired object on the virtual space, which is completely different from the reality.
- Video can be displayed on each display.
- the server device 200 controls the output of each device using information other than information obtained by editing the input information acquired by each input device group 120 or information other than information cut out from the virtual space. By doing so, it is possible to appropriately remove factors that hinder the sense that each user exists in the same space.
- the information processing system not only provides each user with the sensation as if the positional relationship of each user has changed in the same space, but also provides information while the users are in contact with each other. It is possible to provide each user with a feeling as if transmission is being performed.
- FIG. 16 a case where user A (student) is instructed about surgery from user B (instructor) will be described as an example.
- a dependency mode in which the user A depends on the user B is set, and the table display 131A in the first space 100A is used by a part of the user B's body and the user B.
- a display image 24 of a teaching material (apparatus used for surgery and a surgical object imitating a part of the human body) is displayed.
- User A is undergoing surgical training using the instrument he / she holds and the surgical object displayed on the table display 131A.
- the server apparatus 200 includes at least one device that exists in the first space 100A or the second space 100B (or at least the second space 100B) based on an input by the user A (first user). (Note that the server device 200 exists in the first space 100A or the second space 100B (or at least the first space 100A) based on the input by the user B (second user). At least one device may be controlled). For example, the user A performs various inputs using the input device group 120A, thereby displaying a display image 25 indicating a part of the display image 24 and a display image 26 of a balloon including a character string (in the example of FIG.
- the character string “Please tell me this part in detail” is included in the balloon, and is displayed on the table display 131 of the first space 100A or the second space 100B (or at least the second space 100B). be able to.
- the user A can obtain a feeling as if he / she is directly contacting the user B and making a more detailed question regarding technology or skill.
- the user B may transmit an important part to the user A by performing various inputs using the input device group 120B.
- output device group 130A includes a projector that enables projection mapping and a haptic presentation device that is attached to user A's hand and can present a haptic sense to user A's hand.
- the user B performs various inputs using the input device group 120 ⁇ / b> B to project the balloon display image 27 including the character string on the body of the user A and a part of the object in a superimposed manner.
- various tactile sensations may be presented to the user A's hand by controlling the tactile sense presenting device.
- the user B has a speech bubble including character strings “Please hold firmly” and “Put power on the middle finger” against a part of the body and the object of the user A.
- a tactile sensation corresponding to the contents of each balloon for example, a tactile sensation that strongly grasps the object and a tactile sensation that bends the middle finger
- the user A can get a feeling that he / she is receiving more detailed information on the technology and skill while directly contacting the user B.
- the user B is presented with another tactile sensation corresponding to the tactile sensation provided to the user A (for example, another tactile sensation generated by providing the tactile sensation to the user A). Good.
- a display image 28 indicating the user B who is projecting the balloon display image 27 is also projected.
- the user A can intuitively recognize that the projection is performed by the user B.
- a display image indicating a part of each user or object for example, a display image 25 indicating a part in the display image 24 shown in FIG. 16 and a part of the body and the object of the user A shown in FIG. 17).
- the balloon display image 27) projected in a superimposed manner is preferably continuously displayed following the portion.
- the camera 123A included in the input device group 120A in the first space 100A is installed on the upper part of the table display 131A in a manner capable of capturing an object on the table display 131A.
- the server apparatus 200 when the server apparatus 200 generates a virtual space using the captured image captured by the camera 123A as it is and reflects a part thereof on the table display 131B in the second space 100B, it is shown in FIG. 19B. In this way, not only the display image 30A of the user A's hand but also the display image 30B of the user B's hand (the display image 30B displayed on the table display 131A in the first space 100A) is displayed. .
- the phenomenon that the display image displayed on the table display 131 is displayed again on the table display 131 is repeated indefinitely (not shown in FIG. 19B for convenience, but the display image 30A and The display image 30B is displayed in an infinitely superimposed manner).
- the image may be displayed indefinitely not only on the table display 131 but also on the window display 133.
- the server device 200 analyzes the captured image generated by the camera 123A, and removes the image (display image 30B in the example of A in FIG. 19) displayed on the table display 131A, thereby removing the table display 131A.
- An object that actually exists in the example of FIG. 19A, the hand of user A
- the server apparatus 200 captures at least a part of the physical information of the user A (first user) and a display image of the table display 131A (second display) existing in the first space 100A.
- the server apparatus 200 captures at least a part of the physical information of the user A (first user) and a display image of the table display 131A (second display) existing in the first space 100A.
- the server device 200 captures at least part of the physical information of the user B (second user) and a display image of the table display 131B (second display) existing in the second space 100B. By analyzing the captured image, at least a part of the physical information of the user B (second user) may be extracted from the captured image.
- the server device 200 stores the captured image generated by the camera 123A for a predetermined period, and when any object is placed on the table display 131A, the latest captured image and the past stored image are stored.
- the object is extracted by comparing the captured images (for example, the server device 200 extracts the object by performing background difference processing).
- the server device 200 generates a virtual space using the extraction result and reflects a part of the virtual space on the table display 131B of the second space 100B. Only the display image 30A can be displayed on the table display 131B. It should be noted that the method of extracting an actual object on the table display 131A is not limited to the above, and a known image analysis process can be used. Also in this case, the server apparatus 200 may display information obtained by editing the captured image acquired by the camera 123 on each display instead of cutting out a part of the virtual space.
- Configuration example> The object extraction process from the captured image has been described above. Subsequently, a configuration example of each space and a functional configuration example of each device according to the present embodiment will be described.
- the first space 100 or the second space 100B includes a client device 110, an input device group 120, and an output device group 130.
- the client device 110 is a device that comprehensively controls the input device group 120 and the output device group 130. As illustrated in FIG. 20, the client device 110 includes a control unit 111, a communication unit 113, and a storage unit 115.
- the control unit 111 has a functional configuration that comprehensively controls the overall processing performed by the client device 110. For example, when the control unit 111 acquires various types of input information provided from the input device group 120, the control unit 111 controls a process of providing the input information to the server device 200. At this time, the control unit 111 does not provide the input information to the server device 200 as it is, but analyzes the input information and provides the analysis result to the server device 200, thereby reducing the processing load on the server device 200. And the amount of communication data can be reduced.
- control unit 111 controls the processing of the output device group 130 by providing the control information from the server device 200 to the output device group 130.
- control content of the control part 111 is not limited to these.
- control processing for example, processing related to an OS (Operating System), etc.
- OS Operating System
- tablet PC tablet PC
- smartphone smartphone
- the communication unit 113 has a functional configuration that performs various communications with external devices including the server device 200, the input device group 120, and the output device group 130. For example, the communication unit 113 receives input information from the input device group 120 or transmits the input information to the server device 200. In addition, the communication unit 113 receives control information for controlling the output device group 130 from the server device 200 or transmits the control information to the output device group 130. In addition, the information which the communication part 113 communicates, and the case where it communicates are not limited to these. Further, the communication method of the communication unit 113 is not particularly limited.
- the storage unit 115 has a functional configuration that stores various types of information.
- the storage unit 115 stores input information provided from the input device group 120, control information provided from the server device 200, or the like.
- the storage unit 115 also stores various programs used for processing of the client device 110, various parameters, and the like. Note that the information stored in the storage unit 115 is not limited to these.
- the input device group 120 is a device group that generates various types of input information. As illustrated in FIG. 20, the input device group 120 includes a sensor unit 121, a camera 123, and a microphone 125. Note that the configuration of the input device group 120 is not limited thereto, and any device may be provided in the input device group 120 as long as the device can generate input information.
- the sensor unit 121 includes an arbitrary sensor.
- the sensor unit 121 may include a touch sensor, a pressure sensor, a proximity sensor, an infrared light receiving unit, an ultrasonic sensor, a depth camera, a thermo camera, or an RGB camera, or a button, switch, controller ( For example, a stick controller or the like, and an operation input unit formed by a physical configuration such as a lever may be provided.
- the camera 123 is a structure which produces
- the installation mode of the camera 123 is not particularly limited. For example, as shown in FIG. 21A, when the user inputs an operation to the stick controller provided in the sensor unit 121, the imaging direction of the camera 123 is changed as shown in FIG.
- the camera 123 may be installed in such a manner. Thereby, for example, the imaging range can be adjusted so that a feeling as if each user is working in the same space is easily created. Moreover, as shown in FIG. 22, the some camera 123 may be installed in the celestial sphere.
- the microphone (microphone) 125 is configured to sense a user's speech and the like.
- the installation mode of the microphone 125 is not particularly limited.
- the output device group 130 is a device group that performs various outputs to the user A (first user) or the user B (second user). As illustrated in FIG. 20, the output device group 130 includes a table display 131, a window display 133, a speaker 135, and a tactile sense presentation device 137. Note that the configuration of the output device group 130 is not limited thereto, and any device may be provided in the output device group 130 as long as it can perform various outputs.
- the table display 131 is a display whose display surface is provided on the top plate portion of the table and is positioned substantially parallel to the ground surface.
- the type of display is not particularly limited.
- the window display 133 is a display that is provided substantially vertically at one end on the table display 131 and has a display surface positioned substantially perpendicular to the ground surface.
- the type of display is not particularly limited.
- the speaker 135 is configured to output sound. Further, for example, a sound image may be localized in the real space by a plurality of speakers 135 cooperating with each other. Accordingly, each user can intuitively recognize the positions and postures of other users, so that the sense that each user exists in the same space can be more emphasized. Note that the type of the speaker 135 is not particularly limited.
- the tactile sense presentation device 137 is configured to present a tactile sense to the user.
- the tactile sense presentation device 137 is a wearable device worn by the user (for example, a glass-type, watch-type, glove-type, or clothes-type wearable device), an external device that contacts the user's body, or the like.
- the tactile sense presentation device 137 is, for example, an actuator that presents vibration (for example, ERM (eccentric motor), LRA (linear resonance actuator), or VCM (voice coil motor)), an electrical element that presents force sense, or a temperature sensation.
- ERM eccentric motor
- LRA linear resonance actuator
- VCM voice coil motor
- the tactile sensation presented by the tactile presentation device 137 is not particularly limited.
- the configuration example of the first space 100 or the second space 100B has been described above.
- said structure demonstrated using FIG. 20 is an example to the last, and the structure of each space is not limited to the example which concerns.
- the client device 110, the input device group 120, or the output device group 130 may not necessarily include all of the configurations illustrated in FIG.
- the configuration of each space can be flexibly deformed according to specifications and operations.
- the client device 110 may be a device that can provide virtual reality to the user (for example, a shielded head mounted display). In this case, the table display 131 and the window display 133 are not used, and the client device 110 controls the display of the head mounted display based on the control information provided from the server device 200.
- the server device 200 includes a control unit 210, a communication unit 220, and a storage unit 230.
- the control unit 210 has a functional configuration that comprehensively controls the overall processing performed by the server device 200.
- the control unit 210 controls the start and stop of various processes based on input performed by the user using the input device group 120.
- the control content of the control unit 210 is not particularly limited.
- the control unit 210 may control processing (for example, processing related to the OS) generally performed in a general-purpose computer, a PC, a tablet PC, a smartphone, or the like.
- control unit 210 includes an input information analysis unit 211, a virtual space generation unit 213, a display control unit 215, an audio output control unit 217, and a tactile sense presentation control unit 219.
- the input information analysis unit 211 has a functional configuration for analyzing input information acquired from the input device group 120 provided in each space (the input information analysis unit 211 also functions as an analysis unit).
- the input information analysis unit 211 functions as an acquisition unit that acquires physical information or environmental information by analyzing input information.
- the physical information is a concept including the position information of the body part of each user
- the environmental information is the information of each part of the object (including the input device group 120 and the output device group 130) existing in each space. It is a concept that includes position information.
- the process in which the input information analysis unit 211 acquires the environment information by analyzing the input information is a concept including the process of extracting a real object from the captured image described above.
- the input information analysis unit 211 recognizes gestures made by the user, contents of voices made by the user, and the like by analyzing the input information.
- the gesture includes, for example, user's hand movement, arm movement, posture (for example, bone information), line of sight, touch operation (specifically, touch, tap, double tap, swipe, or drag).
- the input information analysis unit 211 recognizes a touch operation on the table display 131 or a pointing operation on the window display 133 as a gesture.
- the input information analysis unit 211 recognizes the content uttered by the user by analyzing the user's voice acquired by the microphone (microphone) 125.
- the input information analysis unit 211 also functions as an operation mode control unit that switches (or sets) the operation mode based on the analysis result. That is, the input information analysis unit 211 switches (or sets) the operation mode by selecting one of the facing mode, the left / right reverse mode, the side-by-side mode, and the dependent mode based on the analysis result. Do.
- the virtual space generation unit 213 is a functional configuration that generates a virtual space based on physical information or environmental information (or at least physical information) acquired by the input information analysis unit 211.
- the virtual space generation unit 213 can reproduce the positional relationship between each user or each object on the virtual space based on physical information or environmental information.
- the virtual space generation unit 213 updates the virtual space based on input information provided from the client device 110 as needed.
- the display control unit 215 has a functional configuration that controls display processing by a display provided in each space. As shown in FIG. 23, the display control unit 215 includes a table display display control unit 215a and a window display display control unit 215b.
- the table display display control unit 215a has a functional configuration that controls display processing by the table display 131 provided in each space. More specifically, the table display display control unit 215a includes the input content recognized by the input information analysis unit 211, the operation mode set by the input information analysis unit 211, and the virtual space generated by the virtual space generation unit 213. The display processing by the table display 131 is controlled based on the above.
- the table display display control unit 215a may provide a plurality of display areas in the table display 131.
- the table display display control unit 215a may provide a display area 31 in the table display 131A.
- the table display display control part 215a may change the position of the display area 31 in the table display 131 according to the operation input by the user A, etc., or by cooperating with the window display display control part 215b, The position of the display area 31 may be changed to the window display 133. Accordingly, the user A can change the position of the display area 31 to a desired position that is easier to work with.
- the table display display control unit 215a controls the display processing of the table display 131 by generating control information including the display contents on the table display 131 and providing the control information to the client device 110 via the communication unit 220.
- the window display display control unit 215b has a functional configuration that controls display processing by the window display 133 provided in each space. More specifically, the window display display control unit 215b includes the input content recognized by the input information analysis unit 211, the operation mode set by the input information analysis unit 211, and the virtual space generated by the virtual space generation unit 213. Based on the above, display processing by the window display 133 is controlled.
- the window display display control unit 215b may also provide a plurality of display areas 31 in the window display 133. Then, the window display display control unit 215b may change the position of the display area 31 in the window display 133 in accordance with an operation input by the user, or the display area 31 by cooperating with the table display display control unit 215a. The position 31 may be changed to the table display 131.
- the window display display control unit 215b controls the display processing of the window display 133 by generating control information including the content displayed on the window display 133 and providing the control information to the client device 110 via the communication unit 220.
- the audio output control unit 217 has a functional configuration that controls audio output processing by the speaker 135 provided in each space. For example, the voice output control unit 217 transmits the voice of the user A to the user B (or the voice of the user B to the user A). The audio output control unit 217 generates control information generated based on the user's audio information acquired by the microphone 125 and provides the control information to the client device 110 via the communication unit 220, thereby controlling the audio output process of the speaker 135. To do. At that time, the audio output control unit 217 generates control information based on the virtual space (positional relationship of each user) generated by the virtual space generation unit 213 and the operation mode set by the input information analysis unit 211. The sound image may be localized in the real space so that each user perceives the mutual positional relationship.
- the haptic presentation control unit 219 is a functional configuration that controls the haptic presentation process by the haptic presentation device 137 provided in each space. More specifically, the tactile sense presentation control unit 219 includes the input content recognized by the input information analysis unit 211, the operation mode set by the input information analysis unit 211, the virtual space generated by the virtual space generation unit 213, and the like. Based on the above, the tactile presentation processing of the tactile presentation device 137 is controlled. The haptic presentation control unit 219 controls the haptic presentation process of the haptic presentation device 137 by generating control information including the content of the haptic presentation by the haptic presentation device 137 and providing the control information to the client device 110 via the communication unit 220.
- the communication unit 220 has a functional configuration for performing various communications with external devices including the client device 110.
- the communication unit 220 receives input information acquired by the input device group 120 and transmits control information for controlling the output device group 130 in communication with the client device 110.
- the information which the communication part 220 communicates, and the case where it communicates are not limited to these.
- the communication method of the communication unit 220 is not particularly limited.
- the control unit 210 gives priority to the control information to be transmitted to the client device 110, and the communication unit 220 uses various parameters (for example, encoding scheme or transmission band) used for communication according to the priority. Etc.) may be determined. More specifically, the priority of output by each device in the output device group 130 varies depending on the type of operation mode to be set, the content of work performed by each user, and the like. For example, when the side-by-side mode or the dependent mode is set, as shown in FIGS. 8 and 9, only the background is basically displayed on the window display 133 (of course, not limited to this). Therefore, in this case, the control unit 210 may set the priority of the control information for the window display 133 to be lower than that of other devices.
- the priority of the control information for the window display 133 may be lower than that of other devices.
- the communication unit 220 can reduce the communication amount by determining various parameters used for communication based on the priority.
- the priority setting method is not limited to the above.
- the priority may be set based on the user's gazing point or the like (for example, the priority of the control information for the display that the user is gazing at is set higher).
- the storage unit 230 has a functional configuration that stores various types of information.
- the storage unit 230 includes the input information, the virtual space generated by the virtual space generation unit 213 as a result of the analysis by the input information analysis unit 211, the display control unit 215, the audio output control unit 217, and the tactile sense presentation control unit 219.
- the generated control information is stored.
- the storage unit 230 stores various programs used for processing of the server device 200, various parameters, and the like. Note that the information stored in the storage unit 230 is not limited to these.
- the functional configuration example of the server device 200 has been described above. Note that the functional configuration described above with reference to FIG. 23 is merely an example, and the functional configuration of the server device 200 is not limited to the example.
- the server apparatus 200 does not necessarily have all of the functional configurations illustrated in FIG.
- the functional configuration of the server device 200 can be flexibly modified according to specifications and operations.
- the server device 200 may generate control information to be provided to the client device 110 in consideration of the audiovisual characteristics of individual users. For example, the audiovisual characteristics of each user are different from each other depending on the user's attributes (for example, age, gender, etc.) or the user's physical characteristics (for example, height, weight, BMI, presence or absence of physical disability, etc.).
- the display control unit 215, the audio output control unit 217, and the tactile presentation control unit 219 of the server device 200 may use some method (for example, prior input by the user or analysis of input information) for the user's attributes and physical characteristics. May be used to estimate the audiovisual characteristics of the user and generate control information optimized for each user based on the estimation result.
- Example of processing flow> The configuration example of each space and the functional configuration example of each device according to the present embodiment have been described above. Next, an example of the processing flow of the server device 200 will be described with reference to FIG.
- step S1000 the communication unit 220 of the server apparatus 200 receives various input information from the client apparatus 110 provided in each space.
- the input information analysis unit 211 analyzes various input information to acquire physical information or environmental information, or recognizes input contents.
- step S1008 the virtual space generation unit 213 generates a virtual space based on physical information or environment information.
- step S1012 processing related to output control of the output device group 130 is performed. Specific examples will be described later.
- the server device 200 continues the processing from step S1000 to step S1012 until an end instruction is received from the client device 110 (step S1016 / No).
- the server apparatus 200 receives an end instruction from the client apparatus 110 (step S1016 / Yes)
- the server apparatus 200 ends the series of processes.
- step S1100 of FIG. 26 the input information analysis unit 211 of the server device 200 confirms whether or not an input for switching the operation mode has been performed based on the analysis results of various input information.
- step S1100 / Yes the input information analysis unit 211 switches the operation mode according to the input.
- step S1100 / No the operation mode switching process in step S1104 is not performed.
- the table display display control unit 215a in step S1108 and the window display display control unit 215b in step S1112 are based on the input content (for example, a captured image), the virtual space, the set operation mode, and the like. Control information.
- the table display display control unit 215a and the window display display control unit 215b display the video from the viewpoint of each user on each display based on the change in the positional relationship between the user A and the user B (or the positional relationship itself). Control information is generated.
- step S1116 the audio output control unit 217 generates control information based on the input content, the virtual space, the set operation mode, and the like. For example, the audio output control unit 217 generates control information for causing the speaker 135 used by another user to output audio based on the user's uttered voice acquired by the microphone 125.
- step S1120 the tactile sense presentation control unit 219 generates control information based on the input content, the virtual space, the set operation mode, and the like. For example, the tactile sense presentation control unit 219 generates control information for controlling a wearable device worn by another user based on the user input acquired by the sensor unit 121.
- step S ⁇ b> 1124 the communication unit 220 transmits the generated various control information to both client apparatuses 110, thereby completing a series of processing related to output control.
- steps in the flowcharts of FIGS. 25 and 26 described above do not necessarily have to be processed in time series in the order described. That is, each step in the flowchart may be processed in an order different from the order described or may be processed in parallel.
- the server device 200 has the physical information (first body) of a plurality of users A (first users) with respect to the window display 133 (first display) or the table display 131 (second display). At least a part of the information) can be displayed.
- the server device 200 displays the physical information (second physical information) of a plurality of users B (second users) with respect to the window display 133 (first display) or the table display 131 (second display). ) May be displayed.
- the server device 200 may extract the upper body part of each user A and display them in one or more columns on the window display 133B as shown in FIG. Further, the server device 200 may display the hand of each user A on a table display 131B divided into the number of users A as shown in B of FIG. At that time, the server device 200 may display information used for identifying each user A (“UserA-1” in the example of FIG. 28B) on the divided table display 131B.
- the user B can recognize the situations of a plurality of users A more efficiently.
- the server apparatus 200 can provide a feeling as if each user is working in the same space to at least one of the user A and the user B.
- the server apparatus 200 provides the unreal images shown in B of FIG. 27 and B of FIG. 28 to the user B, while each user A has an image that faces the user B.
- the server device 200 displays a part of all the users A while adjusting the scale at a predetermined position in the predetermined background image (for example, the position of each seat in the classroom background image), for example. Even if user B is provided with a feeling as if working in the same space as all users A (for example, a feeling as if classes are being performed for all users A in the classroom) Good.
- the server device 200 enables each user to adjust his / her line of sight. More specifically, the server device 200 adjusts the display position of the user B on the display used by the user A based on the display position of each user A on the display used by the user B (for example, When one user A is displayed on the upper right of the window display 133B of the user B, the user B is displayed on the lower right of the window display 133A of the user A). Thereby, when the user B matches the line of sight with one user A, the user A can also perceive that the line of sight matches the user B via the window display 133A. Note that the server device 200 does not align the user A and the user B as described above, but processes each eye image of the user A or the user B's eyes (or the vicinity of the eyes). It may be possible to adjust the line of sight.
- the server apparatus 200 may perform an evaluation regarding the work of each user A by analyzing the first physical information of each of a plurality of users A (first users) (of course, the server apparatus In contrast, 200 may analyze each user B's work by analyzing the second physical information of each of the plurality of users B (second users)). More specifically, the server device 200 calculates a degree of similarity by comparing a pre-registered captured image obtained by capturing an example of a work with a captured image obtained by capturing each user A's work state. Thus, factors such as the accuracy or speed of work of each user A may be evaluated (the server device 200 may output a proficiency level as a comprehensive evaluation based on these factors).
- the server device 200 When the server device 200 detects a specific user A (for example, a user A whose work is particularly accurate and faster than other users A) by analyzing the captured image, the output of the user B Even if the user B is notified of this by performing a predetermined output (for example, highlighting a corresponding person in the display) on the device group 130 (for example, the table display 131B or the window display 133B). Good.
- a predetermined output for example, highlighting a corresponding person in the display
- the server apparatus 200 may notify the user B of the progress status of each user A by a predetermined method (for example, a numerical value, a progress bar, audio output, or lamp lighting).
- the server device 200 analyzes the work status of each user A using a predetermined machine learning method or AI (artificial intelligence), thereby determining the accuracy of work, the average value of speed, etc. for all users A (for example, For the entire class) or for each classification according to attributes (for example, age, gender, blood type, etc.).
- AI artificial intelligence
- the server device 200 identifies at least one of the plurality of users A (first user) based on the input by the user B (second user), and performs various outputs only for the user A.
- the server device 200 specifies at least one of the plurality of users B (second users) based on the input by the user A (first user), and Various outputs may be performed only for the user B).
- FIG. 29 when the server apparatus 200 recognizes that the user B is sending a line of sight to a user A by analyzing a captured image captured by the user B (in FIG. 29). In the example, user B is sending a line of sight to user A-6). In this case, as shown in FIG.
- the server apparatus 200 highlights the window display 133A used by the user A-6, so that the user B sends a line of sight to the user A-6. It may be notified to the user A-6. At this time, as shown in FIG. 30B, the window displays 133A used by the users A-1 to A-5 to which the user B does not send a line of sight are not highlighted.
- the server apparatus 200 may notify the remark using only the microphone 125 to the user A-6 (in the examples of FIGS. 29 and 30).
- User B says "Like”).
- the user A-1 to the user A-5 to whom the user B has not sent a line of sight are not notified.
- the server device 200 can realize smoother guidance by performing various outputs only to one of the plurality of users A.
- the server device 200 may notify all the users A of the notification.
- the user A-1 can watch from another viewpoint that the user B and the user A-2 are communicating with each other in a state of facing each other. Therefore, the user A-1 can acquire not only the communication between the user A and the user B but also the information exchanged by the communication between the user A-2 and the user B. It can be performed.
- Triggers used for switching from another operation mode to the peeping mode are not particularly limited as in the above embodiment. More specifically, it is assumed that the trigger used for switching to the peeping mode is a trigger caused by at least one of user A (first user) and user B (second user). doing.
- the trigger used for switching to the peeping mode is a predetermined action by the user A or the user B (for example, to a position where the user B and the user A-2 can communicate with each other in the virtual space) User A-1 actually moves, etc.), a predetermined remark (for example, a remark that “I will go there” by user A-1), or a predetermined operation input (for example, by user A-1) Touching the table display 131A, or pressing a button).
- the user A can select a position and a direction for peeping by selecting an arbitrary position and direction in the virtual space. Also good.
- the contents of the trigger used for switching to the peeping mode are not limited to these.
- the contents of the functions of the respective functional configurations of the client device 110 and the server device 200 are not particularly changed.
- the input information analysis unit 211 of the server device 200 analyzes input information (for example, a captured image), and the display control unit 215, the audio output control unit 217, and the tactile sense presentation control unit 219. Controls the output to each user (for example, the display control unit 215 displays a part of body information (first body information) of a plurality of users A (first user) side by side on the display) ).
- FIG. 32 is a block diagram illustrating a hardware configuration example of the information processing apparatus 900 that embodies the server apparatus 200 or the client apparatus 110.
- the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, a host bus 904, a bridge 905, an external bus 906, an interface 907, , An input device 908, an output device 909, a storage device (HDD) 910, a drive 911, and a communication device 912.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- bridge 905 an external bus 906, an interface 907,
- HDD storage device
- the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
- the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
- the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus 904 including a CPU bus.
- the functions of the control unit 210 of the server device 200 or the control unit 111 of the client device 110 are realized by the cooperation of the CPU 901, the ROM 902, and the RAM 903.
- the host bus 904 is connected to an external bus 906 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 905.
- an external bus 906 such as a PCI (Peripheral Component Interconnect / Interface) bus
- PCI Peripheral Component Interconnect / Interface
- the host bus 904, the bridge 905, and the external bus 906 are not necessarily configured separately, and these functions may be mounted on one bus.
- the input device 908 includes input means for inputting information such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 901. Etc.
- a user who uses the information processing apparatus 900 can input various data and instruct a processing operation to each apparatus by operating the input apparatus 908.
- the case where the input device group 120 is provided outside the client device 110 has been described above as an example. However, when a part of the input device group 120 is provided in the client device 110, the input device group 120 is implemented by the input device 908. Can be done.
- the output device 909 includes, for example, a display device such as a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a lamp.
- the output device 909 includes an audio output device such as a speaker and headphones.
- the output device 909 includes any wearable device (for example, a glass-type, watch-type, glove-type, or clothes-type wearable device).
- the case where the output device group 130 is provided outside the client device 110 has been described as an example. However, when a part of the output device group 130 is provided in the client device 110, the output device group 130 is implemented by the output device 909. Can be done.
- the storage device 910 is a device for storing data.
- the storage device 910 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
- the storage device 910 is composed of, for example, an HDD (Hard Disk Drive).
- the storage device 910 drives a hard disk and stores programs executed by the CPU 901 and various data.
- the storage device 910 realizes the function of the storage unit 230 of the server device 200 or the storage unit 115 of the client device 110.
- the drive 911 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
- the drive 911 reads information recorded in a removable storage medium 913 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
- the drive 911 can also write information to the removable storage medium 913.
- the communication device 912 is a communication interface configured by a communication device for connecting to the communication network 914, for example.
- the function of the communication unit 220 of the server device 200 or the communication unit 113 of the client device 110 is realized by the communication device 912.
- the information processing apparatus includes the first physical information of the first user (for example, a leader) existing in the first space 100A, or the second Second physical information of a second user (for example, a student) existing in the space 100B is acquired, and a virtual space is generated based on the first physical information or the second physical information. More specifically, the information processing apparatus generates a virtual space that reproduces the positional relationship of the first user or the second user. Note that, as described above, the information processing apparatus exists in each space by using the first environment information related to the object existing in the first space 100A or the second environment information related to the object existing in the second space 100B. The object to be reproduced may also be reproduced in the virtual space.
- the information processing apparatus switches the operation mode, and switches between the operation mode and the first space 100A or the second user.
- At least one device for example, the table display 131, the window display 133, the speaker 135, or the tactile sense presentation device 137
- the information processing apparatus reflects information obtained by editing a captured image acquired by the camera 123 or information on a part of the virtual space on a display or the like provided in the first space 100A or the second space 100B.
- the information processing apparatus can make the first user or the second user existing in different spaces feel as if each user is working in the same space.
- the information processing system according to the present disclosure may provide guidance on cooking as shown in FIG. 33, guidance on calligraphy as shown in FIG. 34, guidance on musical instrument performance as shown in FIG. 35, or material as shown in FIG. It can be used for various communications performed by a plurality of users, such as interviews and conferences performed using the.
- the information processing system according to the present disclosure can be said to be particularly useful for applications that require delicate work because of the feature that a plurality of users can communicate with each other while changing their positional relationship and posture.
- a virtual space generation unit that generates a virtual space based on the first body information or the second body information;
- An operation mode control unit that switches an operation mode when a trigger caused by at least one of the first user and the second user occurs; Switching between the operation modes and at least one device existing in the first space, or a control unit that links at least one device present in the second space, Information processing device.
- the acquisition unit further acquires first environment information including information regarding an object existing in the first space, or second environment information including information regarding an object existing in the second space;
- the virtual space generation unit generates the virtual space based on the first environment information or the second environment information.
- the operation mode control unit switches the operation mode based on a change in a positional relationship between the first user and the second user in the virtual space.
- the positional relationship is a relationship in which the first user and the second user are directly facing each other, and the first user and the second user are arranged side by side in a substantially same direction.
- the information processing apparatus includes at least one display; The information processing apparatus according to any one of (1) to (4).
- the apparatus includes a first display whose display surface is positioned substantially perpendicular to the ground surface, and a second display whose display surface is positioned substantially parallel to the ground surface.
- the second display is also used as a work table for the first user or the second user.
- the control unit causes the first display or the second display existing in the first space to display at least a part of the second physical information;
- the information processing apparatus according to (7).
- (9) By analyzing at least a part of the second physical information and a captured image obtained by capturing a display image of the second display existing in the second space, at least a part of the second physical information. Further comprising an analysis unit for extracting from the captured image, The information processing apparatus according to (8).
- the control unit causes the first display or the second display to display at least a part of the second physical information of each of the plurality of second users,
- the information processing apparatus according to (9).
- the analysis unit evaluates the work of each of the second users by analyzing the second physical information of each of the plurality of second users.
- the information processing apparatus according to (10).
- the control unit controls at least one device existing in the second space based on an input by the first user.
- the information processing apparatus according to any one of (1) to (11).
- the control unit identifies at least one of the plurality of second spaces based on an input by the first user, and at least one device existing in the identified second space To control the The information processing apparatus according to (12).
- the device includes a speaker or a tactile presentation device, The information processing apparatus according to any one of (1) to (13).
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得する取得部(211)と、前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成する仮想空間生成部(213)と、前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替える動作モード制御部(211)と、前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させる制御部(210)と、を備える、情報処理装置が提供される。
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、技術や技能の伝承を効果的に実現するための様々な技術が開発されている。例えば、以下の特許文献1には、事前に収録された、作業の手本となる仮想オブジェクトを作業中のユーザに対して提示することで当該作業に関する技術や技能をより効果的に伝承することが可能な装置が開示されている。
ここで、技術や技能の伝承をより効果的なものとするためには、特許文献1のように収録された仮想オブジェクトを手本として提示するのではなく、同一の空間に位置する指導者と生徒がリアルタイムにコミュニケーションをとることがより好ましい。しかし、指導者と生徒が遠隔に位置する場合、互いに同一空間に位置するために両者が移動することは容易ではない。
ここで、遠隔に位置するユーザ同士のコミュニケーションを支援するシステムとして、従来から、テレビ電話を用いた会議システムなどが提案されており、指導者は、当該会議システムなどを用いて生徒の指導を行うこともできる。
しかしながら、従来の会議システムは、互いの様子の確認や資料データの共有などを実現することは可能であるが、互いに異なる空間に位置する複数のユーザがあたかも同一の空間で作業をしているかのように感じさせることは不可能であった。そのため、従来の会議システムなどによって、技術や技能の伝承を行うことは容易ではない。
そこで、本開示では、互いに異なる空間に位置する複数のユーザに対して、各ユーザがあたかも同一の空間で作業をしているかのような感覚を提供することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得する取得部と、前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成する仮想空間生成部と、前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替える動作モード制御部と、前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させる制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得することと、前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成することと、前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させることと、を有する、コンピュータにより実行される情報処理方法が提供される。
また、本開示によれば、第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得することと、前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成することと、前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させることと、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、互いに異なる空間に位置する複数のユーザに対して、各ユーザがあたかも同一の空間で作業をしているかのような感覚を提供することが可能になる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.詳細
3.構成例
4.処理フロー例
5.変形例
6.ハードウェア構成例
7.まとめ
1.概要
2.詳細
3.構成例
4.処理フロー例
5.変形例
6.ハードウェア構成例
7.まとめ
<1.概要>
まず、本開示の概要について説明する。
まず、本開示の概要について説明する。
上記のとおり、技術や技能の伝承をより効果的なものとするためには、特許文献1のように収録された仮想オブジェクトを手本として提示するのではなく、同一の空間に位置する指導者と生徒がリアルタイムにコミュニケーションをとることがより好ましい。しかし、指導者と生徒が遠隔に位置する場合、互いに同一空間に位置するために両者が移動することは容易ではない。例えば、生徒が全世界に点在している場合、指導者は各地を移動しながら指導を行うことが求められるため、指導の効果は限定的となる。
また、遠隔に位置するユーザ同士のコミュニケーションを支援するシステムとして、従来から、テレビ電話を用いた会議システムなどが提案されており、指導者は、当該会議システムなどを用いて生徒の指導を行うこともできる。
しかしながら、従来の会議システムは、互いの様子の確認や資料データの共有などを実現することは可能であるが、互いに異なる空間に位置する複数のユーザがあたかも同一の空間で作業をしているかのように感じさせることは不可能であった。例えば、指導者と生徒が同一空間に位置する場合、生徒が指導者の視点に立って指導者の手元の作業を観察したり、指導者が生徒の手を取りながら指導を行ったりすることができるところ、会議システムはこのような伝承方法を実現することができない。そのため、従来の会議システムなどによって、技術や技能の伝承を行うことは容易ではない。
本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本開示に係る情報処理装置は、第1の空間に存在する第1のユーザ(例えば、指導者)の第1の身体情報、または第2の空間に存在する第2のユーザ(例えば、生徒)の第2の身体情報を取得し、第1の身体情報または第2の身体情報に基づいて仮想空間を生成する。より具体的には、情報処理装置は、第1のユーザおよび第2のユーザの位置関係を再現した仮想空間を生成する。
そして、第1のユーザまたは第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、情報処理装置は動作モードを切り替え、当該動作モードの切り替えと、第1の空間または第2の空間に備えられる少なくとも1台の機器(例えば、ディスプレイやスピーカなど)を連動させる。例えば、情報処理装置は、カメラ123によって取得された撮像画像を編集した情報または仮想空間の一部の情報を第1の空間または第2の空間に備えられるディスプレイやスピーカに反映させる。
これによって、情報処理装置は、互いに異なる空間に存在する第1のユーザまたは第2のユーザに対して、各ユーザがあたかも同一の空間で作業をしているかのような感覚を提供することができる。
<2.詳細>
上記では、本開示の概要について説明した。続いて、本開示の詳細について説明する。
上記では、本開示の概要について説明した。続いて、本開示の詳細について説明する。
(2.1.システム構成例)
まず、図1を参照して、本開示の一実施形態に係る情報処理システムの構成例について説明する。
まず、図1を参照して、本開示の一実施形態に係る情報処理システムの構成例について説明する。
図1に示すように、本実施形態に係る情報処理システムには、第1の空間100Aおよび第2の空間100Bが存在し、それぞれの空間にクライアント装置110と、入力機器群120と、出力機器群130と、が備えられている。また、本実施形態に係る情報処理システムには、ネットワーク300を介して各空間のクライアント装置110と通信可能なサーバ装置200も備えられている。
サーバ装置200は、上記で説明した「情報処理装置」として機能する装置である。より具体的には、サーバ装置200は、第1の空間100Aに存在する第1のユーザの第1の身体情報、または第2の空間100Bに存在する第2のユーザの第2の身体情報のそれぞれを、クライアント装置110Aとクライアント装置110Bからの各種入力情報を解析することで取得し、第1の身体情報または第2の身体情報を用いて仮想空間を生成する。「身体情報(第1の身体情報または第2の身体情報を含む。以降、便宜的に「第1の身体情報または第2の身体情報」を単に「身体情報」と呼称する場合がある)」とは、各ユーザの身体の部位の位置情報を含む概念である。そのため、サーバ装置200は、身体情報に基づいて各ユーザの位置関係(および体勢)を仮想空間上に再現することができる。
また、サーバ装置200は、第1の空間100Aに存在する物体に関する情報を含む第1の環境情報、または第2の空間100Bに存在する物体に関する情報を含む第2の環境情報を、クライアント装置110Aまたはクライアント装置110Bからの各種入力情報を解析することで取得し、身体情報だけでなく第1の環境情報または第2の環境情報も用いて仮想空間を生成してもよい。「環境情報(第1の環境情報または第2の環境情報を含む。以降、便宜的に「第1の環境情報または第2の環境情報」を単に「環境情報」と呼称する場合がある)」とは、各空間に存在する物体(入力機器群120や出力機器群130を含む)の各部分の位置情報を含む概念である。そのため、サーバ装置200は、身体情報だけでなく環境情報にも基づいて仮想空間を生成することで、各物体の位置関係や、各物体と各ユーザの位置関係を仮想空間上に再現することができる。
そして、所定のトリガが発生した場合、サーバ装置200は、動作モードを切り替え、当該動作モードに基づいて制御情報を生成し、クライアント装置110Aまたはクライアント装置110Bへ提供することで、出力機器群130Aまたは出力機器群130Bを連動して制御することができる。なお、サーバ装置200は、入力機器群120Aまたは入力機器群120Bを制御してもよい。
クライアント装置110Aは、第1の空間100Aに備えられる機器(入力機器群120Aや出力機器群130A)を統括的に制御する装置である。例えば、クライアント装置110Aは、入力機器群120Aから各種入力情報を取得してサーバ装置200へ提供したり、サーバ装置200から提供される制御情報に基づいて出力機器群130Aを制御したりする。
入力機器群120Aは、各種入力情報を取得する機器群であり、例えば、カメラ、マイク、または任意のセンサなどを含み得る。入力機器群120Aの内容および設置態様は特に限定されない。詳細については後述する。
出力機器群130Aは、第1のユーザに対して各種出力を行う機器群であり、例えば、ディスプレイ(後述するテーブルディスプレイ131やウィンドウディスプレイ133を含む)、スピーカ、または触覚提示機器などを含み得る。出力機器群130Aの内容および設置態様は特に限定されない。詳細については後述する。
なお、第2の空間100Bに備えられるクライアント装置110B、入力機器群120B、および出力機器群130Bについては、第1の空間100Aに備えられる上記の構成と同様のことが言えるため説明を省略する。
以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図1を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、サーバ装置200の機能の全部または一部は、クライアント装置110またはその他の外部装置に備えられてもよい。また、逆に、クライアント装置110の機能の全部または一部は、サーバ装置200またはその他の外部装置に備えられてもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。また、第2の空間100Bの構成は、第1の空間100Aの構成と同一でなくてもよい。
(2.2.各空間における機器配置など)
上記では、本実施形態に係る情報処理システムの構成例について説明した。続いて、第1の空間100Aおよび第2の空間100Bにおける機器配置などについて説明する。
上記では、本実施形態に係る情報処理システムの構成例について説明した。続いて、第1の空間100Aおよび第2の空間100Bにおける機器配置などについて説明する。
第1の空間100Aにおける機器配置などについてより具体的に説明すると、第1の空間100Aには、例えば図2に示すように、ユーザA(第1のユーザ)が存在し、表示面がテーブル(作業台として用いられるテーブル)の天板部分に設けられ、地表面に対して略平行に位置するテーブルディスプレイ131A(第2のディスプレイ)と、テーブルディスプレイ131A上の一端に略垂直に設けられ、表示面が地表面に対して略垂直に位置するウィンドウディスプレイ133A(第1のディスプレイ)とが出力機器群130の一例として備えられる。また、第2の空間100Bにおいては、図3に示すようにユーザB(第2のユーザ)が存在し、基本的に第1の空間100Aと同様にテーブルディスプレイ131Aおよびウィンドウディスプレイ133Aなどが配置されている。重複した説明を避けるために以降では第1の空間100Aを一例として説明する。なお、図3には、各ユーザが立っている状態が示されているが、各ユーザの体勢はこれに限定されない。例えば、各ユーザは椅子に座っている状態であってもよい。
第1の空間100Aのウィンドウディスプレイ133Aには、第2の空間100Bに存在するユーザBおよびその他の物体(第2の空間100Bのテーブルディスプレイ131Bなどが含まれてもよい)が表示されている。そして、ウィンドウディスプレイ133Aは、ユーザAが第2の空間100Bの様子をよく認識できる程度に広い面積(所定の長さ以上の横幅と縦幅)を有しており、第1の空間100Aと略同一の縮尺(換言すると、現尺または実物大)かつ、略同一の高さで(換言すると、地表面の高さを揃えた状態で)ユーザBおよびその他の物体をリアルタイムに表示する。
より具体的に説明すると、サーバ装置200は、クライアント装置110Aまたはクライアント装置110Bからの各種入力情報を解析することで、ユーザAの第1の身体情報またはユーザBの第2の身体情報や、第1の空間100Aに存在する物体に関する第1の環境情報または第2の空間100Bに存在する物体に関する第2の環境情報を取得し、これらの身体情報または環境情報(または、少なくとも身体情報)に基づいて仮想空間を生成する。例えば、サーバ装置200は、図4に示すように、テーブル(テーブルディスプレイ131に相当するテーブル)を挟んでユーザAとユーザBが会話を行っていることを再現した仮想空間を生成する。そして、サーバ装置200は、仮想空間の一部の情報を切り出してクライアント装置110Aへ提供し、ウィンドウディスプレイ133Aおよびテーブルディスプレイ131Aがクライアント装置110経由で当該情報を取得し表示することで、ユーザAは、ユーザBと同一の空間に位置しているような感覚を得ることができる。
より具体的に説明すると、例えば、(会議システムのように)ディスプレイにユーザBの顔部分のみが拡大表示されたり縮小表示されたりする場合、表示内容が現実とかけ離れているため、ユーザAは、ユーザBと同一の空間に位置しているような感覚を得ることができない。一方、上記のように、広い面積を有するウィンドウディスプレイ133Aに、略同一の縮尺、かつ、略同一の高さでユーザBなどがリアルタイムに表示された場合には、表示内容が現実的であるため、ユーザAは、ユーザBと同一の空間に位置しているという感覚を得ることができる。特に、略同一の縮尺、かつ、略同一の高さでユーザBなどがリアルタイムに表示されることによって、ユーザAはユーザBと視線を合わせているような感覚を得ることができる。なお、サーバ装置200は、仮想空間に完全に一致させた映像をディスプレイに表示させる必要はなく、適宜変更した映像をディスプレイに表示させてもよい。例えば、ユーザAおよびユーザBの視線が合いにくい状況が発生した場合、サーバ装置200は、ディスプレイにおける映像の表示位置などを変更してもよい。また、サーバ装置200は、現実を再現するために、各入力機器群120(例えば、カメラ123など)によって取得された入力情報(例えば、カメラ123によって取得された撮像画像など)を編集した情報(例えば、エフェクト加工が施された画像、他の画像と合成された画像など)をクライアント装置110へ提供してもよい。
なお、図5に示すように、図2に比べて横幅がより狭いウィンドウディスプレイ133A、またはテーブルディスプレイ131Aが用いられてもよい。この場合でも、例えば、ウィンドウディスプレイ133Aの縦幅を広くすることで、ユーザAは、第2の空間100Bの様子をよく認識できるため上記と同様に、ユーザBと同一の空間に位置しているような感覚を得ることができる。また、ウィンドウディスプレイ133Aは、両ユーザが同一の空間に位置していることを強調することが可能な任意の画像処理(例えば、背景の色彩の変更処理や、ぼかし処理など)が施された後の映像を表示してもよい。
図2や図5などに示すように、テーブルディスプレイ131には、表示画像20が表示されている。表示画像20は、アプリケーションからのインタラクションを示す表示オブジェクトであって、例えば静止画、動画(映像)、メニュー画面、又はコントロール画面といった各種UIなどである。また、表示画像20は、2次元画像であってもよいし、3次元画像であってもよい。表示画像20に対するユーザによる操作入力は、各種センサにより検出されるため、ユーザは、表示画像20上で操作体、例えば手を接触又は近接させて動かすことで、表示画像20に対して各種の操作入力を行うことができる。例えば、ユーザは、テーブルディスプレイ131上を指でなぞることによって自由記述した内容をテーブルディスプレイ131に表示させることができる(図中には、自由記述によって円形状を有する表示画像21が生成されている)。
テーブルディスプレイ131の表示画像20(または、表示画像21)に対する操作入力は、例えばテーブルディスプレイ131に設けられたタッチセンサや、周囲に設けられたデプスカメラ、サーモカメラ、RGBカメラ、または超音波センサなどの入力機器群120により検出され得る。例えば、サーバ装置200は、入力機器群120によって取得された撮像画像やデプス情報を解析することで、テーブルディスプレイ131の表示画面上に位置するユーザの手や指の位置や深度情報(換言すると、三次元情報)を取得し、高さ方向におけるテーブルディスプレイ131へのユーザの手の接触若しくは近接、およびテーブルディスプレイ131からの手の離脱を検出する。
本明細書では、ユーザAおよびユーザBの両者が操作可能なオブジェクト(表示画像20や表示画像21)を「共有オブジェクト」と称す。サーバ装置200、一方のテーブルディスプレイ131に表示された共有オブジェクトに対するユーザからの操作入力を、他方のテーブルディスプレイ131に表示されている対応する共有オブジェクトにも(リアルタイムで)反映させることで、共同作業の利便性をさらに向上させることができる。より具体的には、例えば、テーブルディスプレイ131Aとテーブルディスプレイ131Bに同一の共有オブジェクトが同一の配置で表示されているときに、ユーザAがテーブルディスプレイ131A上においてある共有オブジェクトを移動させた場合、サーバ装置200は、テーブルディスプレイ131B上の対応する共有オブジェクトも同様に移動させる。
(2.3.動作モードの種類)
本実施形態に係る情報処理システムにおいては、ユーザA(第1のユーザ)およびユーザB(第2のユーザ)に提供される視聴覚効果について複数の動作モードが設けられる。そして、所定のトリガが発生した場合に、サーバ装置200は、動作モードを切り替えて、ユーザAおよびユーザBに与える視聴覚効果を変更することによって、ユーザAおよびユーザBに対して互いの位置関係(および体勢)を知覚させることができる。
本実施形態に係る情報処理システムにおいては、ユーザA(第1のユーザ)およびユーザB(第2のユーザ)に提供される視聴覚効果について複数の動作モードが設けられる。そして、所定のトリガが発生した場合に、サーバ装置200は、動作モードを切り替えて、ユーザAおよびユーザBに与える視聴覚効果を変更することによって、ユーザAおよびユーザBに対して互いの位置関係(および体勢)を知覚させることができる。
技術や技能の伝承に関しては、指導者と生徒が互いの位置関係を適宜変えながら双方向のコミュニケーションを行うことがより有用である。例えば、指導者が生徒と正対した状態で授業を行うだけでなく、適宜指導者が生徒の位置まで移動して近くで技術や技能の実演などを行うことで生徒の理解度が高まる。
そこで、続いて、本実施形態に係る情報処理システムにおいて用いられる動作モードの種類について説明する。例えば、図6に示すように、ユーザAおよびユーザBが正対して位置し、かつ、実際の位置関係の通りに出力(例えば、ディスプレイによる表示や、スピーカによる音声出力など)が行われる動作モード(以降、便宜的に「正対モード」と呼称する)が設けられ得る。正対モードにおいては、サーバ装置200は、各空間のカメラ123によって取得された撮像画像を編集することで生成した別の画像(例えば、エフェクト加工が施された画像、他の画像と合成された画像など)を各ディスプレイに表示させる。なお、上記のとおり、サーバ装置200は、身体情報または環境情報に基づいて生成した仮想空間から切り出した情報を各ディスプレイに表示させてもよい(なお、サーバ装置200は、仮想空間から切り出した情報を適宜加工してもよい)。これによって、図6に示すように、ユーザBが右手を挙げている場合、正対しているユーザAには、ユーザBが右手を挙げているように見える。正対モードは、例えば、指導者が生徒と正対した状態で授業を行う場合などに適用され得る。
また、図7に示すように、ユーザAおよびユーザBが正対して位置し、かつ、実際の位置関係とは左右が逆転した状態で出力される動作モード(以降、便宜的に「左右逆転モード」と呼称する)が設けられ得る。左右逆転モードにおいては、サーバ装置200は、各空間のカメラ123によって取得された撮像画像を編集することで生成した別の画像(例えば、撮像画像の左右を逆転させた画像、エフェクト加工が施された画像、他の画像と合成された画像など)を各ディスプレイに表示させる。なお、上記のとおり、サーバ装置200は、身体情報または環境情報に基づいて生成した仮想空間の一部の情報を切り出し、当該情報における位置関係の左右を逆転させた状態で各ディスプレイに表示させてもよい。これによって、図7に示すように、ユーザBが右手を挙げている場合、正対しているユーザAには、ユーザBが左手を挙げているように見える。左右逆転モードも、正対モードと同様に、例えば、指導者が生徒と正対した状態で授業を行う場合などに適用され得る。
また、図8に示すように、ユーザAおよびユーザBが略同一の方向を向き、かつ、横に並んで位置する状態で出力される動作モード(以降、便宜的に「横並びモード」と呼称する)が設けられる。横並びモードにおいては、例えば、第1の空間100Aのテーブルディスプレイ131Aに、ユーザBの手の表示画像22B(図8の例では、ユーザBの右手の画像)がユーザAの左側に表示されることで、ユーザAは、ユーザBが左側に位置していることを知覚することができる。一方、第2の空間100Bのテーブルディスプレイ131Bに、ユーザAの手の表示画像22A(図8の例では、ユーザAの両手の画像)がユーザBの右側に表示されることで、ユーザBは、ユーザAが右側に位置していることを知覚することができる。横並びモードは、例えば、指導者が生徒の横に移動して作業の見本を見せる場合(またはその逆)などに適用され得る。
また、図9に示すように、ユーザAおよびユーザBが略同一の方向を向き、かつ、一方が背後から他方に被さるように位置する状態で出力される動作モード(一方が他方に憑依しているような感覚を生じさせるため、以降、便宜的に「憑依モード」と呼称する)が設けられる。憑依モードにおいては、例えば、第1の空間100Aのテーブルディスプレイ131Aに、ユーザBの手の表示画像22B(図9の例では、ユーザBの両手の画像)がユーザAの両横に表示されることで、ユーザAは、ユーザBが背後に位置して自らに被さっていることを知覚することができる(なお、ユーザBの両手の画像は、必ずしもユーザAの両横に表示されなくてもよい)。一方、第2の空間100Bのテーブルディスプレイ131Bに、ユーザAの手の表示画像22A(図9の例では、ユーザAの両手の画像)がユーザBの両手の間に表示されることで、ユーザBは、自らがユーザAの背後に位置してユーザAに被さっていることを知覚することができる。なお、ユーザAおよびユーザBの位置関係次第では、第2の空間100Bのテーブルディスプレイ131Bに、ユーザAの後頭部が表示されてもよい。憑依モードは、例えば、指導者が生徒の背後から生徒に被さった状態で作業の見本を見せる場合(換言すると、指導者が生徒に憑依する場合)や、生徒が指導者の背後に移動して指導者の作業を確認する場合(換言すると、生徒が指導者に憑依する場合)などに適用され得る。
なお、上記(図6~図9)では、主にディスプレイへの表示制御について説明したが、サーバ装置200は、各動作モードにおいて、出力機器群130に含まれるディスプレイ以外の機器を制御することで、ユーザAおよびユーザBに対して互いの位置関係(および体勢)を知覚させてもよい。例えば、サーバ装置200は、出力機器群130に含まれるスピーカを制御して実空間に音像を定位させることで、ユーザAおよびユーザBに対して互いの位置関係(および体勢)を知覚させてもよい。
また、本実施形態に係る情報処理システムにおいて設けられる動作モードの種類は上記に限定されない。より具体的には、サーバ装置200は、各ユーザ同士の位置関係の変化に基づいて動作モードを適宜新設したり、変更したりしてもよい。
(2.4.動作モードの切り替え)
上記では、本実施形態に係る情報処理システムにおいて用いられる動作モードの種類について説明した。続いて、動作モードの切り替えについて説明する。
上記では、本実施形態に係る情報処理システムにおいて用いられる動作モードの種類について説明した。続いて、動作モードの切り替えについて説明する。
サーバ装置200は、所定のトリガが発生した場合、上記で説明した動作モードを切り替えることで第1の空間100Aまたは第2の空間100Bに備えられる少なくとも1台の機器(例えば、ディスプレイやスピーカなど)を連動させる。
ここで、動作モードの切り替えに用いられる「所定のトリガ」とは、ユーザA(第1のユーザ)またはユーザB(第2のユーザ)の少なくともいずれか一方に起因するトリガであることを想定している。例えば、所定のトリガとは、ユーザAまたはユーザBによる所定の動作(例えば、椅子から立ち上がる動作、または椅子に座ったまま移動する動作など)、所定の発言(例えば、「そちらに行きますね。」という発言、または「こちらに来てください」という発言など)、または所定の操作入力など(例えば、テーブルディスプレイ131へのタッチ、またはボタンの押下など)を含む。なお、所定のトリガの内容はこれらに限定されない。
動作モードの切り替えの際、サーバ装置200は、上記のように各機器を連動させることによって、ユーザAおよびユーザBの位置関係(および体勢)が同一空間中で変化したという感覚を各ユーザに与えることができる。すなわち、ユーザAおよびユーザBは、互いの位置関係(および体勢)を自由かつ自然に変更することができる。
続いて、図10~図12を参照して、動作モードの切り替え時における各機器の連動の具体例について説明する。図10~図12は、正対モードから憑依モードへの切り替え時におけるウィンドウディスプレイ133Aおよびテーブルディスプレイ131Aの表示動作の具体例を示す図である。
例えば、図10のAのウィンドウディスプレイ133Aには、椅子に座ったユーザBが表示されており、テーブルディスプレイ131Aには、ユーザAとユーザBが共有している共有オブジェクトが表示されている。これによって、ユーザAは、共有オブジェクトが載せられたテーブルを挟んでユーザBと正対していることを知覚している。
その後、所定のトリガとして、ユーザBが椅子から立ち上がるなどの動作を検出したサーバ装置200は一連の動作モードの切り替え処理を行う。例えば、サーバ装置200は、図10のBに示すように、ユーザBを引きつつ(縮小させつつ)ウィンドウディスプレイ133Aに表示させる。なお、このとき、サーバ装置200は、ウィンドウディスプレイ133A全体をぼかしながらユーザBを表示させてもよい。
図11のCでは、サーバ装置200は、ユーザBをユーザAに対して横方向に回転させた状態でウィンドウディスプレイ133Aに表示させる。図11のDでは、サーバ装置200は、ユーザBを直進させることでウィンドウディスプレイ133Aから退場させる。なお、図11のCおよびDにおいても、サーバ装置200は、ウィンドウディスプレイ133A全体をぼかしながらユーザBを表示させてもよい。
図12のEでは、サーバ装置200は、ユーザBがユーザAの背後へ移動するために要する時間の経過後に、ユーザBが移動してきた方向側(この例では、左方向側)に位置するユーザBの手(この例では、左手)の表示画像22Bを、手前方向からテーブルディスプレイ131に表示させる。その後、図12のFでは、サーバ装置200がもう一方の手(この例では、右手)の表示画像22BをユーザAの右手前方向からテーブルディスプレイ131に表示させる。
図10~図12に示した一連の表示動作によって、サーバ装置200は、ユーザBがユーザAの左方向から回り込んでユーザAの背後に移動したような感覚を、各ユーザに提供することができる。
続いて、図13~図15を参照して、正対モードから憑依モードへの切り替え時におけるウィンドウディスプレイ133Aおよびテーブルディスプレイ131Aの表示動作のバリエーションを説明する。
図13に示すように、テーブルディスプレイ131Aには、ユーザAとユーザBが共有している共有オブジェクトではなく、ユーザAが使用している資料の表示画像23Aが表示されている(換言すると、ユーザAとユーザBが使用している資料が異なる)。その他は図10のAと同様である。
その後、所定のトリガとして、ユーザBが椅子から立ち上がるなどの動作を検出したサーバ装置200は一連の動作モードの切り替え処理を行う。例えば、サーバ装置200は、図13のBに示すように、テーブルディスプレイ131Aに表示されている表示画像23Aを徐々に黒く変化(ブラックアウト)させていく。その他は図10のBと同様である。
図14のCおよびDでは、サーバ装置200は、テーブルディスプレイ131Aを完全にブラックアウトさせた状態にする。その他は図11のCおよびDと同様である。図15のEでは、サーバ装置200は、ユーザBがユーザAの背後へ移動するために要する時間の経過後に、ユーザBが移動してきた方向(この例では、左上方向)からユーザBが使用している資料の表示画像23Bをテーブルディスプレイ131に表示させる。その後、図15のFでは、サーバ装置200が表示画像23Bをテーブルディスプレイ131全体に表示させる。
図13~図15に示した一連の表示動作によって、サーバ装置200は、ユーザBがユーザAの左方向から回り込んでユーザAの背後に移動し、ユーザAのテーブルにユーザBが使用している資料を置いたような感覚を、各ユーザに提供することができる。そして、その後、ユーザBは、資料の表示画像23Bを用いてユーザAに対して情報の伝達などを行うことができる。
図10~図15の例では、サーバ装置200は、各入力機器群120(例えば、カメラ123など)によって取得された入力情報(例えば、カメラ123によって取得された撮像画像など)を編集した情報(例えば、エフェクト加工が施された画像、他の画像と合成された画像など)、または仮想空間から切り出した情報を適宜加工して各機器(ウィンドウディスプレイ133やテーブルディスプレイ131など)に出力させることで、ユーザAおよびユーザBの位置関係(および体勢)が同一空間中で変化したという感覚を各ユーザに提供している。より具体的には、サーバ装置200は、各入力機器群120によって取得された入力情報を編集した情報、または仮想空間から切り出した情報(例えば、ユーザBの画像)に対して、各種画像処理(例えば、縮小処理、ぼかし処理、回転処理、および位置変更(移動)処理)を施したものを各機器に出力させている。すなわち、本開示の大きなポイントの一つは、各ユーザの位置関係(および体勢)が同一空間中で変化したという感覚を各ユーザに提供することにあり、その方法として、サーバ装置200は、各入力機器群120によって取得された入力情報を編集した情報、または仮想空間から切り出した情報をそのまま各機器に出力させてもよいし、これらの情報を加工した上で各機器に出力させてもよい。なお、これらの情報の加工方法は上記の例に限定されない。
また、サーバ装置200は、各入力機器群120によって取得された入力情報を編集した情報以外の情報、または仮想空間から切り出した情報以外の情報を各機器に出力させてもよい。例えば、サーバ装置200は、各ユーザの身体情報や任意の物体情報(例えば、形状や色彩などを含む、各ユーザの身体や任意の物体の特徴に関する情報など)を保持している場合、これらの情報を用いて各ディスプレイの表示内容を編集してもよい。これによって、例えば、サーバ装置200は、現実を再現した仮想空間から各ユーザを除去した上で、所望の状態(体勢)のユーザや所望の物体を仮想空間に重畳させることで、現実と全く異なる映像を各ディスプレイに表示させることができる。現実を再現した仮想空間の情報だけでは、各ユーザが同一空間中に存在する感覚が十分に創出されない可能性がある。その点サーバ装置200は、上記のように、各入力機器群120によって取得された入力情報を編集した情報以外の情報、または仮想空間から切り出した情報以外の情報も用いて各機器の出力を制御することで、各ユーザが同一空間中に存在する感覚を妨げる要因を適宜除去することができる。
(2.5.各機器を用いた情報伝達のバリエーション)
上記では、動作モードの切り替えについて説明した。続いて、各機器を用いた情報伝達のバリエーションについて説明する。
上記では、動作モードの切り替えについて説明した。続いて、各機器を用いた情報伝達のバリエーションについて説明する。
技術や技能の伝承に関しては、指導者と生徒が直接接しながら情報伝達を行うことがより有用であると言える。例えば、指導者が直接生徒に触れながら身体の動かし方などを指導することで、技術や技能に対する生徒の理解度が高まる。
そこで、本開示に係る情報処理システムは、上記で説明した、各ユーザの位置関係が同一空間中で変化したかのような感覚を各ユーザに提供するだけでなく、各ユーザが互いに接しながら情報伝達を行っているかのような感覚を各ユーザに提供することを可能にする。
例えば、図16を参照して、ユーザA(生徒)がユーザB(指導者)から手術に関する指導を受けている場合を一例として説明する。図16の例では、ユーザAがユーザBに対して憑依する憑依モードが設定されており、第1の空間100Aにおけるテーブルディスプレイ131Aには、ユーザBの身体の一部、およびユーザBが使用している教材(手術に使用する器具、および人体の一部を模した手術対象物)の表示画像24が表示されている。ユーザAは、自ら把持した器具と、テーブルディスプレイ131Aに表示された手術対象物を用いて手術のトレーニングを受けている。
このとき、サーバ装置200は、ユーザA(第1のユーザ)による入力に基づいて第1の空間100Aまたは第2の空間100B(または、少なくとも第2の空間100B)に存在する少なくとも1台の機器を制御する(なお、サーバ装置200は、逆にユーザB(第2のユーザ)による入力に基づいて第1の空間100Aまたは第2の空間100B(または、少なくとも第1の空間100A)に存在する少なくとも1台の機器を制御してもよい)。例えば、ユーザAは、入力機器群120Aを用いて各種入力を行うことで、表示画像24内の一部分を指し示す表示画像25、および文字列が含まれる吹き出しの表示画像26(図16の例では、吹き出しに「この部分を詳しく教えてください」という文字列が含まれている)を、第1の空間100Aまたは第2の空間100B(または、少なくとも第2の空間100B)のテーブルディスプレイ131に表示させることができる。これによって、ユーザAは、ユーザBに直接接しながら技術や技能に関するより詳細な質問を行っているような感覚を得ることができる。なお、逆に、ユーザBが、入力機器群120Bを用いて各種入力を行うことで重要な部分をユーザAに対して伝達してもよい。
続いて、図17に示すように、ユーザA(生徒)がユーザB(指導者)から手工芸に関する指導を受けている場合を一例として説明する。図17の例では、ユーザBがユーザAに対して憑依する憑依モードが設定されている。また、プロジェクションマッピングを可能とするプロジェクター、およびユーザAの手に装着されユーザAの手に対して触覚を提示可能な触覚提示機器が出力機器群130Aに含まれているとする。
このとき、ユーザBは、入力機器群120Bを用いて各種入力を行うことで、ユーザAの身体および対象物の一部分に対して、文字列が含まれる吹き出しの表示画像27を重畳的に投影させつつ、触覚提示機器を制御してユーザAの手に対して様々な触覚を提示してもよい。例えば、図17の例では、ユーザBは、ユーザAの身体および対象物の一部分に対して、「しっかり持ってください」、および「中指に力を入れてください」という文字列が含まれる吹き出しの表示画像27Aおよび表示画像27Bを重畳的に投影させつつ、各吹き出しの内容に対応する触覚(例えば、対象物を強く握るような触覚、および中指を折り曲げるような触覚など)を提示する。これによって、ユーザAは、ユーザBに直接接してもらいながら技術や技能に関するより詳細な情報を伝達してもらっているような感覚を得ることができる。なお、このとき、ユーザBには、ユーザAに対して提供される触覚に対応する別の触覚(例えば、ユーザAに対して触覚が提供されることで生じる別の触覚)が提示されてもよい。
また、図17の例では、吹き出しの表示画像27の投影を行っているユーザBを示す表示画像28が併せて投影されている。これによって、ユーザAは、ユーザBによって投影が行われていることを直感的に認識することができる。このように、情報の発信元が示されることは、3人以上のユーザが本開示に係る情報処理システムを用いてコミュニケーションを行う場合に特に有用である。3人以上のユーザが本開示に係る情報処理システムを用いてコミュニケーションを行う場合の具体例については後述する。
ここで、各ユーザまたは対象物の一部分を指し示す表示画像(例えば、図16で示した表示画像24内の一部分を指し示す表示画像25、および図17で示したユーザAの身体および対象物の一部分に対して重畳的に投影される吹き出しの表示画像27)は、当該一部分に追随して表示され続けることが好ましい。
より具体的には、ユーザの親指を指し示す表示画像29が表示された場合、ユーザの手の姿勢が図18のA~Cに示すように変化しても、当該表示画像29は、手の姿勢の変化に追随するように表示され続けることが好ましい。これによって、各ユーザは、互いの位置関係や体勢を変化させることで様々な角度から重要な部分についての情報を伝達することができる。
(2.6.撮像画像からの実物体の抽出処理)
上記では、各機器を用いた情報伝達のバリエーションについて説明した。続いて、撮像画像からの実物体の抽出処理について説明する。
上記では、各機器を用いた情報伝達のバリエーションについて説明した。続いて、撮像画像からの実物体の抽出処理について説明する。
例えば、図19のAに示すように、第1の空間100Aの入力機器群120Aに含まれるカメラ123Aがテーブルディスプレイ131Aの上部に、テーブルディスプレイ131A上の物体を撮像可能な態様で設置されている場合について考える。この場合、サーバ装置200が、カメラ123Aによって撮像された撮像画像をそのまま用いて仮想空間を生成し、その一部を第2の空間100Bのテーブルディスプレイ131Bに反映させると、図19のBに示すように、ユーザAの手の表示画像30AだけでなくユーザBの手の表示画像30B(第1の空間100Aのテーブルディスプレイ131Aに表示された表示画像30Bが撮像されたもの)も表示されてしまう。このように、テーブルディスプレイ131に表示された表示画像が再度テーブルディスプレイ131に表示されるという事象が無限に繰り返されてしまう(便宜的に図19のBには示していないが、表示画像30Aおよび表示画像30Bが無限に重畳されて表示されてしまう)。なお、カメラ123の設置態様によっては、テーブルディスプレイ131だけでなくウィンドウディスプレイ133にも画像が無限に繰り返されて表示され得る。
そこで、サーバ装置200は、カメラ123Aによって生成された撮像画像を解析し、テーブルディスプレイ131Aに表示されている画像(図19のAの例では、表示画像30B)を除去することで、テーブルディスプレイ131A上に実在する物体(図19のAの例では、ユーザAの手)を抽出する。換言すると、サーバ装置200は、ユーザA(第1のユーザ)の身体情報の少なくとも一部、および第1の空間100Aに存在するテーブルディスプレイ131A(第2のディスプレイ)の表示画像が撮像された撮像画像を解析することで、ユーザA(第1のユーザ)の身体情報の少なくとも一部を撮像画像から抽出する。なお、逆に、サーバ装置200は、ユーザB(第2のユーザ)の身体情報の少なくとも一部、および第2の空間100Bに存在するテーブルディスプレイ131B(第2のディスプレイ)の表示画像が撮像された撮像画像を解析することで、ユーザB(第2のユーザ)の身体情報の少なくとも一部を撮像画像から抽出してもよい。
例えば、サーバ装置200は、カメラ123Aによって生成された撮像画像を所定の期間にわたって保存しておき、テーブルディスプレイ131A上に何らかの物体が置かれた場合、最新の撮像画像と、保存している過去の撮像画像を比較することで当該物体を抽出する(例えば、サーバ装置200は、背景差分処理を行うことで当該物体を抽出する)。
その後、サーバ装置200は、抽出結果を用いて仮想空間を生成し、その一部を第2の空間100Bのテーブルディスプレイ131Bに反映させることで、図19のCに示すように、ユーザAの手の表示画像30Aのみをテーブルディスプレイ131Bに表示することができる。なお、テーブルディスプレイ131A上に実在する物体の抽出方法は上記に限定されず、公知の画像解析処理が用いられ得る。また、この場合でも、サーバ装置200は、仮想空間の一部を切り出すのではなくカメラ123によって取得された撮像画像を編集した情報を各ディスプレイに表示させてもよい。
<3.構成例>
上記では、撮像画像からの物体の抽出処理について説明した。続いて、本実施形態に係る各空間の構成例および各装置の機能構成例について説明する。
上記では、撮像画像からの物体の抽出処理について説明した。続いて、本実施形態に係る各空間の構成例および各装置の機能構成例について説明する。
(3.1.第1の空間100または第2の空間100Bの構成例)
まず、図20を参照して、第1の空間100または第2の空間100Bの構成例について説明する。図20に示すように、第1の空間100または第2の空間100Bには、クライアント装置110と、入力機器群120と、出力機器群130と、が備えられる。
まず、図20を参照して、第1の空間100または第2の空間100Bの構成例について説明する。図20に示すように、第1の空間100または第2の空間100Bには、クライアント装置110と、入力機器群120と、出力機器群130と、が備えられる。
(クライアント装置110)
クライアント装置110は、上記のとおり、入力機器群120および出力機器群130を統括的に制御する装置である。図20に示すように、クライアント装置110は、制御部111と、通信部113と、記憶部115と、を備える。
クライアント装置110は、上記のとおり、入力機器群120および出力機器群130を統括的に制御する装置である。図20に示すように、クライアント装置110は、制御部111と、通信部113と、記憶部115と、を備える。
(制御部111)
制御部111は、クライアント装置110が行う処理全般を統括的に制御する機能構成である。例えば、制御部111は、入力機器群120から提供される各種入力情報を取得すると、当該入力情報をサーバ装置200へ提供する処理を制御する。なお、このとき、制御部111は、入力情報をそのままサーバ装置200へ提供するのではなく、入力情報を解析し、その解析結果をサーバ装置200へ提供することでサーバ装置200の処理負荷を低減させたり通信データ量を削減したりすることができる。
制御部111は、クライアント装置110が行う処理全般を統括的に制御する機能構成である。例えば、制御部111は、入力機器群120から提供される各種入力情報を取得すると、当該入力情報をサーバ装置200へ提供する処理を制御する。なお、このとき、制御部111は、入力情報をそのままサーバ装置200へ提供するのではなく、入力情報を解析し、その解析結果をサーバ装置200へ提供することでサーバ装置200の処理負荷を低減させたり通信データ量を削減したりすることができる。
また、制御部111は、サーバ装置200からの制御情報を出力機器群130へ提供することで出力機器群130の処理を制御する。なお、制御部111の制御内容はこれらに限定されない。例えば、制御部111は、汎用コンピュータ、PC(Personal Computer)、タブレットPC、またはスマートフォンなどにおいて一般的に行われる処理(例えば、OS(Operating System)に関する処理など)を制御してもよい。
(通信部113)
通信部113は、サーバ装置200、入力機器群120、および出力機器群130を含む外部装置と各種通信を行う機能構成である。例えば、通信部113は、入力機器群120から入力情報を受信したり、サーバ装置200へ当該入力情報を送信したりする。また、通信部113は、サーバ装置200から出力機器群130を制御するための制御情報を受信したり、出力機器群130へ当該制御情報を送信したりする。なお、通信部113が通信する情報および通信するケースはこれらに限定されない。また、通信部113の通信方式は特に限定されない。
通信部113は、サーバ装置200、入力機器群120、および出力機器群130を含む外部装置と各種通信を行う機能構成である。例えば、通信部113は、入力機器群120から入力情報を受信したり、サーバ装置200へ当該入力情報を送信したりする。また、通信部113は、サーバ装置200から出力機器群130を制御するための制御情報を受信したり、出力機器群130へ当該制御情報を送信したりする。なお、通信部113が通信する情報および通信するケースはこれらに限定されない。また、通信部113の通信方式は特に限定されない。
(記憶部115)
記憶部115は、各種情報を記憶する機能構成である。例えば、記憶部115は、入力機器群120から提供された入力情報、またはサーバ装置200から提供された制御情報などを記憶する。また、記憶部115は、クライアント装置110の処理に使用される各種プログラム、または各種パラメータなどを記憶する。なお、記憶部115が記憶する情報はこれらに限定されない。
記憶部115は、各種情報を記憶する機能構成である。例えば、記憶部115は、入力機器群120から提供された入力情報、またはサーバ装置200から提供された制御情報などを記憶する。また、記憶部115は、クライアント装置110の処理に使用される各種プログラム、または各種パラメータなどを記憶する。なお、記憶部115が記憶する情報はこれらに限定されない。
(入力機器群120)
入力機器群120は、各種入力情報を生成する機器群である。図20に示すように、入力機器群120は、センサ部121と、カメラ123と、マイク125と、を備える。なお、入力機器群120の構成はこれらに限定されず、入力情報を生成可能な機器であれば如何なる機器が入力機器群120に備えられてもよい。
入力機器群120は、各種入力情報を生成する機器群である。図20に示すように、入力機器群120は、センサ部121と、カメラ123と、マイク125と、を備える。なお、入力機器群120の構成はこれらに限定されず、入力情報を生成可能な機器であれば如何なる機器が入力機器群120に備えられてもよい。
(センサ部121)
センサ部121は、任意のセンサを備える構成である。例えば、センサ部121は、タッチセンサ、圧力センサ、近接センサ、赤外線受光部、超音波センサ、デプスカメラ、サーモカメラ、またはRGBカメラなどを備えていてもよいし、また、ボタン、スイッチ、コントローラ(例えば、スティック型コントローラなど)、およびレバーなど物理的構成により形成される操作入力部を備えていてもよい。
センサ部121は、任意のセンサを備える構成である。例えば、センサ部121は、タッチセンサ、圧力センサ、近接センサ、赤外線受光部、超音波センサ、デプスカメラ、サーモカメラ、またはRGBカメラなどを備えていてもよいし、また、ボタン、スイッチ、コントローラ(例えば、スティック型コントローラなど)、およびレバーなど物理的構成により形成される操作入力部を備えていてもよい。
(カメラ123)
カメラ123は、ユーザおよびユーザの作業対象物などを撮像することで撮像画像を生成する構成である。なお、カメラ123の設置態様は特に限定されない。例えば、図21のAに示すように、ユーザがセンサ部121に備えられているスティック型コントローラに対して操作入力を行うことで、図21のBに示すように、カメラ123の撮像方向が変更されるような態様でカメラ123が設置されてもよい。これによって、例えば、各ユーザが同一の空間で作業をしているかのような感覚が創出され易いように撮像範囲が調整され得る。また、図22に示すように、複数のカメラ123が天球状に設置されてもよい。これによって、物体(ユーザの身体を含む)が様々な角度から撮像された撮像画像が生成されるため、各ユーザが同一の空間で作業をしているかのような感覚が創出され易いように撮像範囲を調整することや、身体情報または環境情報を取得することがより容易になる。
カメラ123は、ユーザおよびユーザの作業対象物などを撮像することで撮像画像を生成する構成である。なお、カメラ123の設置態様は特に限定されない。例えば、図21のAに示すように、ユーザがセンサ部121に備えられているスティック型コントローラに対して操作入力を行うことで、図21のBに示すように、カメラ123の撮像方向が変更されるような態様でカメラ123が設置されてもよい。これによって、例えば、各ユーザが同一の空間で作業をしているかのような感覚が創出され易いように撮像範囲が調整され得る。また、図22に示すように、複数のカメラ123が天球状に設置されてもよい。これによって、物体(ユーザの身体を含む)が様々な角度から撮像された撮像画像が生成されるため、各ユーザが同一の空間で作業をしているかのような感覚が創出され易いように撮像範囲を調整することや、身体情報または環境情報を取得することがより容易になる。
(マイク125)
マイク(マイクロホン)125は、ユーザの発話音声などをセンシングする構成である。なお、マイク125の設置態様は特に限定されない。
マイク(マイクロホン)125は、ユーザの発話音声などをセンシングする構成である。なお、マイク125の設置態様は特に限定されない。
(出力機器群130)
出力機器群130は、上記のとおり、ユーザA(第1のユーザ)、またはユーザB(第2のユーザ)に対して各種出力を行う機器群である。図20に示すように、出力機器群130は、テーブルディスプレイ131と、ウィンドウディスプレイ133と、スピーカ135と、触覚提示機器137と、を備える。なお、出力機器群130の構成はこれらに限定されず、各種出力を行うことができる機器であれば如何なる機器が出力機器群130に備えられてもよい。
出力機器群130は、上記のとおり、ユーザA(第1のユーザ)、またはユーザB(第2のユーザ)に対して各種出力を行う機器群である。図20に示すように、出力機器群130は、テーブルディスプレイ131と、ウィンドウディスプレイ133と、スピーカ135と、触覚提示機器137と、を備える。なお、出力機器群130の構成はこれらに限定されず、各種出力を行うことができる機器であれば如何なる機器が出力機器群130に備えられてもよい。
(テーブルディスプレイ131)
テーブルディスプレイ131は、表示面がテーブルの天板部分に設けられ、地表面に対して略平行に位置するディスプレイである。なお、ディスプレイの種類は特に限定されない。
テーブルディスプレイ131は、表示面がテーブルの天板部分に設けられ、地表面に対して略平行に位置するディスプレイである。なお、ディスプレイの種類は特に限定されない。
(ウィンドウディスプレイ133)
ウィンドウディスプレイ133は、テーブルディスプレイ131上の一端に略垂直に設けられ、表示面が地表面に対して略垂直に位置するディスプレイである。なお、ディスプレイの種類は特に限定されない。
ウィンドウディスプレイ133は、テーブルディスプレイ131上の一端に略垂直に設けられ、表示面が地表面に対して略垂直に位置するディスプレイである。なお、ディスプレイの種類は特に限定されない。
(スピーカ135)
スピーカ135は、音声を出力する構成である。また、例えば、複数台のスピーカ135が互いに連携することなどによって実空間に音像が定位されてもよい。これによって、各ユーザは、他のユーザの位置および体勢などを直感的に認識することができるため、各ユーザが同一空間中に存在する感覚がより強調され得る。なお、スピーカ135の種類は特に限定されない。
スピーカ135は、音声を出力する構成である。また、例えば、複数台のスピーカ135が互いに連携することなどによって実空間に音像が定位されてもよい。これによって、各ユーザは、他のユーザの位置および体勢などを直感的に認識することができるため、各ユーザが同一空間中に存在する感覚がより強調され得る。なお、スピーカ135の種類は特に限定されない。
(触覚提示機器137)
触覚提示機器137は、ユーザに対して触覚を提示する構成である。例えば、触覚提示機器137は、ユーザが装着するウェアラブル機器(例えば、グラス型、時計型、グローブ型、または衣服型のウェアラブル装置など)や、ユーザの身体に接触する外部機器などである。触覚提示機器137は、例えば、振動を提示するアクチュエータ(例えば、ERM(偏心モータ)、LRA(リニア共振アクチュエータ)、またはVCM(ボイスコイルモータ)など)、力覚を提示する電気素子、または温度感覚を提示する温度変化素子など(例えば、ペルチェ素子など)を備えている。なお、触覚提示機器137が提示する触覚は特に限定されない。
触覚提示機器137は、ユーザに対して触覚を提示する構成である。例えば、触覚提示機器137は、ユーザが装着するウェアラブル機器(例えば、グラス型、時計型、グローブ型、または衣服型のウェアラブル装置など)や、ユーザの身体に接触する外部機器などである。触覚提示機器137は、例えば、振動を提示するアクチュエータ(例えば、ERM(偏心モータ)、LRA(リニア共振アクチュエータ)、またはVCM(ボイスコイルモータ)など)、力覚を提示する電気素子、または温度感覚を提示する温度変化素子など(例えば、ペルチェ素子など)を備えている。なお、触覚提示機器137が提示する触覚は特に限定されない。
以上、第1の空間100または第2の空間100Bの構成例について説明した。なお、図20を用いて説明した上記の構成はあくまで一例であり、各空間の構成は係る例に限定されない。例えば、クライアント装置110、入力機器群120、または出力機器群130は、図20に示す構成の全てを必ずしも備えなくてもよい。また、各空間の構成は、仕様や運用に応じて柔軟に変形可能である。また、クライアント装置110は、ユーザに対して仮想現実を提供可能な装置(例えば、遮蔽型のヘッドマウントディスプレイなど)であってもよい。この場合、テーブルディスプレイ131およびウィンドウディスプレイ133は用いられず、クライアント装置110は、サーバ装置200から提供される制御情報に基づいてヘッドマウントディスプレイの表示を制御する。
(3.2.サーバ装置200の機能構成例)
続いて、図23を参照して、サーバ装置200の機能構成例について説明する。図23に示すように、サーバ装置200は、制御部210と、通信部220と、記憶部230と、を備える。
続いて、図23を参照して、サーバ装置200の機能構成例について説明する。図23に示すように、サーバ装置200は、制御部210と、通信部220と、記憶部230と、を備える。
(制御部210)
制御部210は、サーバ装置200が行う処理全般を統括的に制御する機能構成である。例えば、制御部210は、ユーザによって入力機器群120を用いて行われる入力などに基づいて各種処理の開始や停止を制御する。なお、制御部210の制御内容は特に限定されない。例えば、制御部210は、汎用コンピュータ、PC、タブレットPCまたはスマートフォンなどにおいて一般的に行われる処理(例えば、OSに関する処理など)を制御してもよい。
制御部210は、サーバ装置200が行う処理全般を統括的に制御する機能構成である。例えば、制御部210は、ユーザによって入力機器群120を用いて行われる入力などに基づいて各種処理の開始や停止を制御する。なお、制御部210の制御内容は特に限定されない。例えば、制御部210は、汎用コンピュータ、PC、タブレットPCまたはスマートフォンなどにおいて一般的に行われる処理(例えば、OSに関する処理など)を制御してもよい。
図23に示すように、制御部210は、入力情報解析部211と、仮想空間生成部213と、表示制御部215と、音声出力制御部217と、触覚提示制御部219と、を備える。
(入力情報解析部211)
入力情報解析部211は、各空間に備えられる入力機器群120から取得された入力情報を解析する機能構成である(入力情報解析部211は、解析部としても機能する)。例えば、入力情報解析部211は、入力情報を解析することで、身体情報または環境情報を取得する取得部として機能する。上記のとおり、身体情報とは各ユーザの身体の部位の位置情報を含む概念であり、環境情報とは各空間に存在する物体(入力機器群120や出力機器群130を含む)の各部分の位置情報を含む概念である。なお、入力情報解析部211が入力情報を解析することで環境情報を取得する処理は、上記で説明した、撮像画像から実物体を抽出する処理を含む概念であることに留意されたい。
入力情報解析部211は、各空間に備えられる入力機器群120から取得された入力情報を解析する機能構成である(入力情報解析部211は、解析部としても機能する)。例えば、入力情報解析部211は、入力情報を解析することで、身体情報または環境情報を取得する取得部として機能する。上記のとおり、身体情報とは各ユーザの身体の部位の位置情報を含む概念であり、環境情報とは各空間に存在する物体(入力機器群120や出力機器群130を含む)の各部分の位置情報を含む概念である。なお、入力情報解析部211が入力情報を解析することで環境情報を取得する処理は、上記で説明した、撮像画像から実物体を抽出する処理を含む概念であることに留意されたい。
また、入力情報解析部211は、入力情報を解析することで、ユーザが行ったジェスチャやユーザが発した音声の内容などを認識する。ここで、ジェスチャとは、例えばユーザの手の動き、腕の動き、姿勢(例えばボーン情報)、視線、タッチ操作(具体的には、タッチ、タップ、ダブルタップ、スワイプ、またはドラッグ)などを含む。例えば、入力情報解析部211は、テーブルディスプレイ131に対するタッチ操作や、ウィンドウディスプレイ133に対する指差し操作などを、ジェスチャとして認識する。また、入力情報解析部211は、マイク(マイクロホン)125により取得されたユーザの音声を解析することで、ユーザによって発話された内容を認識する。
さらに、入力情報解析部211は、上記の解析結果に基づいて動作モードの切り替え(または設定)を行う動作モード制御部としても機能する。すなわち、入力情報解析部211は、上記の解析結果に基づいて、正対モード、左右逆転モード、横並びモード、および憑依モードの中からいずれかを選択することで動作モードの切り替え(または設定)を行う。
(仮想空間生成部213)
仮想空間生成部213は、入力情報解析部211によって取得された身体情報または環境情報(または、少なくとも身体情報)に基づいて仮想空間を生成する機能構成である。仮想空間生成部213は、身体情報または環境情報に基づいて各ユーザまたは各物体の位置関係を仮想空間上に再現することができる。仮想空間生成部213は、クライアント装置110から随時提供される入力情報に基づいて仮想空間を更新していく。
仮想空間生成部213は、入力情報解析部211によって取得された身体情報または環境情報(または、少なくとも身体情報)に基づいて仮想空間を生成する機能構成である。仮想空間生成部213は、身体情報または環境情報に基づいて各ユーザまたは各物体の位置関係を仮想空間上に再現することができる。仮想空間生成部213は、クライアント装置110から随時提供される入力情報に基づいて仮想空間を更新していく。
(表示制御部215)
表示制御部215は、各空間に備えられるディスプレイによる表示処理を制御する機能構成である。図23に示すように、表示制御部215は、テーブルディスプレイ表示制御部215aと、ウィンドウディスプレイ表示制御部215bと、を備える。
表示制御部215は、各空間に備えられるディスプレイによる表示処理を制御する機能構成である。図23に示すように、表示制御部215は、テーブルディスプレイ表示制御部215aと、ウィンドウディスプレイ表示制御部215bと、を備える。
(テーブルディスプレイ表示制御部215a)
テーブルディスプレイ表示制御部215aは、各空間に備えられるテーブルディスプレイ131による表示処理を制御する機能構成である。より具体的には、テーブルディスプレイ表示制御部215aは、入力情報解析部211により認識された入力の内容、入力情報解析部211により設定された動作モード、仮想空間生成部213により生成された仮想空間などに基づいてテーブルディスプレイ131による表示処理を制御する。
テーブルディスプレイ表示制御部215aは、各空間に備えられるテーブルディスプレイ131による表示処理を制御する機能構成である。より具体的には、テーブルディスプレイ表示制御部215aは、入力情報解析部211により認識された入力の内容、入力情報解析部211により設定された動作モード、仮想空間生成部213により生成された仮想空間などに基づいてテーブルディスプレイ131による表示処理を制御する。
ここで、テーブルディスプレイ表示制御部215aは、テーブルディスプレイ131中に複数の表示領域を設けてもよい。例えば、図24に示すように、テーブルディスプレイ表示制御部215aは、テーブルディスプレイ131A中に表示領域31を設けてもよい。そして、テーブルディスプレイ表示制御部215aは、ユーザAによる操作入力などに応じて、表示領域31の位置をテーブルディスプレイ131中で変更してもよいし、ウィンドウディスプレイ表示制御部215bと連携することによって、表示領域31の位置をウィンドウディスプレイ133に変更してもよい。これによって、ユーザAは、より作業し易い所望の位置に表示領域31の位置を変更することができる。
テーブルディスプレイ表示制御部215aは、テーブルディスプレイ131による表示内容を含む制御情報を生成し、通信部220を介してクライアント装置110へ提供することでテーブルディスプレイ131の表示処理を制御する。
(ウィンドウディスプレイ表示制御部215b)
ウィンドウディスプレイ表示制御部215bは、各空間に備えられるウィンドウディスプレイ133による表示処理を制御する機能構成である。より具体的には、ウィンドウディスプレイ表示制御部215bは、入力情報解析部211により認識された入力の内容、入力情報解析部211により設定された動作モード、仮想空間生成部213により生成された仮想空間などに基づいてウィンドウディスプレイ133による表示処理を制御する。
ウィンドウディスプレイ表示制御部215bは、各空間に備えられるウィンドウディスプレイ133による表示処理を制御する機能構成である。より具体的には、ウィンドウディスプレイ表示制御部215bは、入力情報解析部211により認識された入力の内容、入力情報解析部211により設定された動作モード、仮想空間生成部213により生成された仮想空間などに基づいてウィンドウディスプレイ133による表示処理を制御する。
ここで、テーブルディスプレイ表示制御部215aと同様に、ウィンドウディスプレイ表示制御部215bも、ウィンドウディスプレイ133中に複数の表示領域31を設けてもよい。そして、ウィンドウディスプレイ表示制御部215bも、ユーザによる操作入力などに応じて表示領域31の位置をウィンドウディスプレイ133中で変更してもよいし、テーブルディスプレイ表示制御部215aと連携することによって、表示領域31の位置をテーブルディスプレイ131に変更してもよい。
ウィンドウディスプレイ表示制御部215bは、ウィンドウディスプレイ133による表示内容を含む制御情報を生成し、通信部220を介してクライアント装置110へ提供することでウィンドウディスプレイ133の表示処理を制御する。
(音声出力制御部217)
音声出力制御部217は、各空間に備えられるスピーカ135による音声出力処理を制御する機能構成である。例えば、音声出力制御部217は、ユーザAの音声をユーザBへ(または、ユーザBの音声をユーザAへ)伝達する。音声出力制御部217は、マイク125によって取得されたユーザの音声情報に基づいて生成した制御情報を生成し、通信部220を介してクライアント装置110へ提供することでスピーカ135の音声出力処理を制御する。その際、音声出力制御部217は、仮想空間生成部213によって生成された仮想空間(各ユーザの位置関係)および入力情報解析部211により設定された動作モードに基づいて制御情報を生成することで、実空間に音像を定位させて各ユーザに互いの位置関係を知覚させてもよい。
音声出力制御部217は、各空間に備えられるスピーカ135による音声出力処理を制御する機能構成である。例えば、音声出力制御部217は、ユーザAの音声をユーザBへ(または、ユーザBの音声をユーザAへ)伝達する。音声出力制御部217は、マイク125によって取得されたユーザの音声情報に基づいて生成した制御情報を生成し、通信部220を介してクライアント装置110へ提供することでスピーカ135の音声出力処理を制御する。その際、音声出力制御部217は、仮想空間生成部213によって生成された仮想空間(各ユーザの位置関係)および入力情報解析部211により設定された動作モードに基づいて制御情報を生成することで、実空間に音像を定位させて各ユーザに互いの位置関係を知覚させてもよい。
(触覚提示制御部219)
触覚提示制御部219は、各空間に備えられる触覚提示機器137による触覚提示処理を制御する機能構成である。より具体的には、触覚提示制御部219は、入力情報解析部211により認識された入力の内容、入力情報解析部211により設定された動作モード、仮想空間生成部213により生成された仮想空間などに基づいて触覚提示機器137の触覚提示処理を制御する。触覚提示制御部219は、触覚提示機器137による触覚提示の内容を含む制御情報を生成し、通信部220を介してクライアント装置110へ提供することで触覚提示機器137の触覚提示処理を制御する。
触覚提示制御部219は、各空間に備えられる触覚提示機器137による触覚提示処理を制御する機能構成である。より具体的には、触覚提示制御部219は、入力情報解析部211により認識された入力の内容、入力情報解析部211により設定された動作モード、仮想空間生成部213により生成された仮想空間などに基づいて触覚提示機器137の触覚提示処理を制御する。触覚提示制御部219は、触覚提示機器137による触覚提示の内容を含む制御情報を生成し、通信部220を介してクライアント装置110へ提供することで触覚提示機器137の触覚提示処理を制御する。
(通信部220)
通信部220は、クライアント装置110を含む外部装置との各種通信を行う機能構成である。例えば、通信部220は、クライアント装置110との通信において、入力機器群120によって取得された入力情報を受信したり、出力機器群130を制御するための制御情報を送信したりする。なお、通信部220が通信する情報および通信するケースはこれらに限定されない。また、通信部220の通信方式は特に限定されない。
通信部220は、クライアント装置110を含む外部装置との各種通信を行う機能構成である。例えば、通信部220は、クライアント装置110との通信において、入力機器群120によって取得された入力情報を受信したり、出力機器群130を制御するための制御情報を送信したりする。なお、通信部220が通信する情報および通信するケースはこれらに限定されない。また、通信部220の通信方式は特に限定されない。
ここで、制御部210は、クライアント装置110へ送信する制御情報に対して優先度を設け、通信部220は、当該優先度に応じて通信に用いられる各種パラメータ(例えば、符号化方式または伝送帯域など)を決定してもよい。より具体的に説明すると、設定される動作モードの種類や、各ユーザが行っている作業の内容などに応じて出力機器群130の各機器による出力の優先度は変わる。例えば、横並びモードや憑依モードが設定されている場合、図8や図9に示したように、ウィンドウディスプレイ133には基本的に背景のみ表示されている(もちろん、これに限定されない)。したがってこの場合、制御部210は、ウィンドウディスプレイ133についての制御情報の優先度を他の機器に比べて低く設定してもよい。これによって、通信部220は、当該優先度に基づいて通信に用いられる各種パラメータを決定することで通信量を削減することができる。なお、優先度の設定方法は上記に限定されない。例えば、ユーザの注視点などに基づいて優先度が設定されてもよい(例えば、ユーザが注視しているディスプレイについての制御情報の優先度がより高く設定されるなど)。
(記憶部230)
記憶部230は、各種情報を記憶する機能構成である。例えば、記憶部230は、入力情報、入力情報解析部211による解析の結果、仮想空間生成部213によって生成された仮想空間、表示制御部215、音声出力制御部217、および触覚提示制御部219によって生成された制御情報などを記憶する。また、記憶部230は、サーバ装置200の処理に使用される各種プログラム、または各種パラメータなどを記憶する。なお、記憶部230が記憶する情報はこれらに限定されない。
記憶部230は、各種情報を記憶する機能構成である。例えば、記憶部230は、入力情報、入力情報解析部211による解析の結果、仮想空間生成部213によって生成された仮想空間、表示制御部215、音声出力制御部217、および触覚提示制御部219によって生成された制御情報などを記憶する。また、記憶部230は、サーバ装置200の処理に使用される各種プログラム、または各種パラメータなどを記憶する。なお、記憶部230が記憶する情報はこれらに限定されない。
以上、サーバ装置200の機能構成例について説明した。なお、図23を用いて説明した上記の機能構成はあくまで一例であり、サーバ装置200の機能構成は係る例に限定されない。例えば、サーバ装置200は、図23に示す機能構成の全てを必ずしも備えなくてもよい。また、サーバ装置200の機能構成は、仕様や運用に応じて柔軟に変形可能である。また、サーバ装置200は、個々のユーザの視聴覚特性も考慮して、クライアント装置110に提供する制御情報を生成してもよい。例えば、ユーザの属性(例えば、年齢、または性別など)、またはユーザの身体的特徴など(例えば、身長、体重、BMI、または身体障害の有無など)によって各ユーザの視聴覚特性は互いに異なる。そこで、サーバ装置200の表示制御部215、音声出力制御部217および触覚提示制御部219は、ユーザの属性や身体的特徴などを何らかの方法(例えば、ユーザによる事前入力、または入力情報の解析など)で取得することで当該ユーザの視聴覚特性を推定し、その推定結果に基づいてユーザ毎に最適化された制御情報を生成してもよい。
<4.処理フロー例>
上記では、本実施形態に係る各空間の構成例および各装置の機能構成例について説明した。続いて、図25を参照して、サーバ装置200の処理フローの一例について説明する。
上記では、本実施形態に係る各空間の構成例および各装置の機能構成例について説明した。続いて、図25を参照して、サーバ装置200の処理フローの一例について説明する。
ステップS1000では、サーバ装置200の通信部220が、各空間に備えられるクライアント装置110から各種入力情報を受信する。ステップS1004では、入力情報解析部211が各種入力情報を解析することで身体情報または環境情報を取得したり、入力の内容を認識したりする。ステップS1008では、仮想空間生成部213が、身体情報または環境情報に基づいて仮想空間を生成する。ステップS1012では、出力機器群130の出力制御に関する処理が行われる。具体例については後述する。サーバ装置200は、クライアント装置110から終了指示を受信するまで(ステップS1016/No)、ステップS1000~ステップS1012の処理を継続する。サーバ装置200は、クライアント装置110から終了指示を受信した場合に(ステップS1016/Yes)、一連の処理を終了する。
続いて、図25のステップS1012にて行われる出力制御に関する処理のフローの一例を、図26を参照して説明する。
図26のステップS1100では、サーバ装置200の入力情報解析部211は、各種入力情報の解析結果に基づいて動作モード切り替えのための入力が行われたか否かを確認する。動作モード切り替えのための入力が行われた場合(ステップS1100/Yes)、入力情報解析部211は、その入力に応じて動作モードの切り替えを行う。動作モード切り替えのための入力が行われなかった場合(ステップS1100/No)、ステップS1104の動作モード切り替え処理は行われない。
その後、ステップS1108にてテーブルディスプレイ表示制御部215aが、ステップS1112にてウィンドウディスプレイ表示制御部215bがそれぞれ、入力の内容(例えば、撮像画像など)、仮想空間、および設定された動作モードなどに基づいて制御情報を生成する。例えば、テーブルディスプレイ表示制御部215aおよびウィンドウディスプレイ表示制御部215bは、ユーザAおよびユーザBの位置関係の変化(または、位置関係自体)に基づいて各ユーザの視点からの映像を各ディスプレイへ表示させるための制御情報を生成する。
ステップS1116では、音声出力制御部217が、入力の内容、仮想空間、および設定された動作モードなどに基づいて制御情報を生成する。例えば、音声出力制御部217は、マイク125によって取得されたユーザの発話音声に基づいて他のユーザが使用しているスピーカ135に音声出力をさせるための制御情報を生成する。
ステップS1120では、触覚提示制御部219が入力の内容、仮想空間、および設定された動作モードなどに基づいて制御情報を生成する。例えば、触覚提示制御部219は、センサ部121によって取得されたユーザの入力に基づいて、他のユーザが装着しているウェアラブル機器などを制御するための制御情報を生成する。ステップS1124では、通信部220が、生成された各種制御情報を両クライアント装置110へ送信することで一連の出力制御に関する処理が終了する。
なお、上記で説明した図25および図26のフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
<5.変形例>
上記では、サーバ装置200の処理フローの一例について説明した。続いて、本開示の変形例について説明する。
上記では、サーバ装置200の処理フローの一例について説明した。続いて、本開示の変形例について説明する。
上記で説明した実施形態においては、ユーザA(第1のユーザ)およびユーザB(第2のユーザ)がそれぞれ1人ずつ存在していた。本開示の変形例においては、第1の空間100Aが複数存在し、ユーザA(第1のユーザ)が複数人存在する場合について考える。例えば、生徒である複数人のユーザAが、指導者である1人のユーザBから指導を受ける場合について考える。この場合、サーバ装置200は、ウィンドウディスプレイ133(第1のディスプレイ)またはテーブルディスプレイ131(第2のディスプレイ)に対して、複数人のユーザA(第1のユーザ)の身体情報(第1の身体情報)の少なくとも一部を表示させることができる。
なお、第2の空間100Bが複数存在し、ユーザB(第2のユーザ)が複数人存在する場合についても同様のことが言える点に留意されたい(以降で説明する内容についても同様である)。すなわち、サーバ装置200は、ウィンドウディスプレイ133(第1のディスプレイ)またはテーブルディスプレイ131(第2のディスプレイ)に対して、複数人のユーザB(第2のユーザ)の身体情報(第2の身体情報)の少なくとも一部を表示させてもよい。
図27のAに示すように、ユーザA-1~ユーザA-6が存在する場合(図27のAでは、各ユーザが一人ずつウィンドウディスプレイ133Bに表示された場合を示している)、サーバ装置200は、各ユーザAの上半身部分を抽出し、図27のBに示すようにウィンドウディスプレイ133Bに1以上の列に並べて表示させてもよい。また、サーバ装置200は、図28のBに示すようにユーザAの人数分に分割したテーブルディスプレイ131Bに各ユーザAの手元を表示させてもよい。その際、サーバ装置200は、各ユーザAの識別に用いられる情報(図28のBの例では、「UserA-1」など)を併せて分割されたテーブルディスプレイ131Bに表示させてもよい。図27のBおよび図28のBの表示方法によって、ユーザBは、より効率的に複数人のユーザAの状況を認識することができる。なお、図27および図28では、ユーザAが複数人でありユーザBが1人である場合を一例として示したが、これに限定されない。より具体的には、ユーザAが1人でありユーザBが複数人であってもよいし、ユーザAおよびユーザBが複数人であってもよい。
変形例においても、サーバ装置200は、ユーザAまたはユーザBの少なくともいずれか一方に対して、各ユーザがあたかも同一の空間で作業をしているかのような感覚を提供することができる。例えば、サーバ装置200は、ユーザBには図27のBおよび図28のBに示した非現実的な画像を提供する一方で、各ユーザAにはユーザBと正対しているような画像を提供することでユーザBと同一の空間で作業をしているかのような感覚を提供することができる。また、サーバ装置200は、例えば、所定の背景画像における所定の位置(例えば、教室の背景画像における各席の位置など)に、縮尺を調整しつつ全ユーザAの一部を表示させることで、ユーザBに対しても、全ユーザAと同一の空間で作業をしているかのような感覚(例えば、教室で全ユーザAに対して授業を行っているかのような感覚)を提供してもよい。
ここで、サーバ装置200は、各ユーザが視線を合わせることを可能にする。より具体的には、サーバ装置200は、ユーザBが使用しているディスプレイにおける各ユーザAの表示位置に基づいて、ユーザAが使用しているディスプレイにおけるユーザBの表示位置を調整する(例えば、ユーザBのウィンドウディスプレイ133Bの右上に一人のユーザAが表示されている場合、当該ユーザAのウィンドウディスプレイ133Aの右下にユーザBが表示される)。これによって、ユーザBが一人のユーザAと視線を合わせた場合、当該ユーザAもウィンドウディスプレイ133Aを介してユーザBと視線が合ったことを知覚可能である。なお、サーバ装置200は、上記のようにユーザAおよびユーザBの位置合わせをするのではなく、ユーザAまたはユーザBの眼部(または眼部付近)の画像を加工することなどによって各ユーザが視線を合わせることを可能にしてもよい。
変形例において、サーバ装置200は、複数人のユーザA(第1のユーザ)それぞれの第1の身体情報を解析することで、各ユーザAの作業に関する評価を行ってもよい(もちろん、サーバ装置200は、逆に、複数人のユーザB(第2のユーザ)それぞれの第2の身体情報を解析することで、各ユーザBの作業に関する評価を行ってもよい)。より具体的には、サーバ装置200は、予め登録された、作業の手本が撮像された撮像画像と各ユーザAの作業の様子が撮像された撮像画像とを比較し類似度を算出することで各ユーザAの作業の正確さ、またはスピードなどの要素を評価してもよい(また、サーバ装置200は、これらの要素に基づく総合的な評価として習熟度を出力してもよい)。
そして、サーバ装置200は、撮像画像を解析することで、特異なユーザA(例えば、他のユーザAに比べて作業が特に正確であり、速いユーザAなど)を検出した場合、ユーザBの出力機器群130(例えば、テーブルディスプレイ131Bやウィンドウディスプレイ133Bなど)に対して所定の出力(例えば、ディスプレイに写る該当者をハイライト表示するなど)を行うことでユーザBにその旨を通知してもよい。なお、ユーザBに対する通知の内容はこれに限定されない。例えば、サーバ装置200は、各ユーザAの進捗状況を所定の方法(例えば、数値、プログレスバー、音声出力、またはランプ点灯など)でユーザBに通知してもよい。
さらに、サーバ装置200は、所定の機械学習手法やAI(人工知能)を用いて各ユーザAの作業状況を解析することで、作業の正確さや、スピードの平均値などを全ユーザA(例えば、クラス全体)で算出したり、属性(例えば、年齢、性別、または血液型など)による分類ごとで算出したりすることができる。これによって、ユーザBは、全ユーザAや、分類ごとの傾向分析をより容易に行うことができるため、指導をより適切に行うことができる。
また、サーバ装置200は、ユーザB(第2のユーザ)による入力に基づいて、複数人のユーザA(第1のユーザ)の中の少なくとも一人を特定し、当該ユーザAに対してのみ各種出力を行うことができる(なお、サーバ装置200は、逆にユーザA(第1のユーザ)による入力に基づいて、複数人のユーザB(第2のユーザ)の中の少なくとも一人を特定し、当該ユーザBに対してのみ各種出力を行ってもよい)。例えば、図29に示すように、サーバ装置200は、ユーザBが撮像された撮像画像を解析することでユーザBがあるユーザAに対して視線を送っていることを認識した場合(図29の例では、ユーザBはユーザA-6に対して視線を送っている)について考える。この場合、図30のAに示すように、サーバ装置200は、ユーザA-6が使用しているウィンドウディスプレイ133Aをハイライトさせることで、ユーザBがユーザA-6に対して視線を送っていることをユーザA-6に通知してもよい。このとき、図30のBに示すように、ユーザBが視線を送っていないユーザA-1~ユーザA-5が使用しているウィンドウディスプレイ133Aはハイライトされない。
さらに、この状態でユーザAが何らかの発言をした場合、サーバ装置200は、ユーザA-6のみに対してマイク125を用いて当該発言を通知してもよい(図29および図30の例では、ユーザBは「いいね」と発言している)。このとき、図30のBに示すように、ユーザBが視線を送っていないユーザA-1~ユーザA-5には当該発言が通知されない。
ここで、指導者が複数の生徒に対して何らかの指導を行う場合、一部の生徒に対して個別に注意やアドバイスなどを行うことが重要であると一般的に考えられている。例えば、注意やアドバイスを受ける一部の生徒は、他の生徒に聞かれていることによる羞恥心を抱くことがないため、より容易に注意やアドバイスを受け入れることができる。したがって、上記のように、サーバ装置200は、複数人のユーザAの中の一人に対してのみ各種出力を行うことで、より円滑な指導を実現することができる。もちろん、指導者が生徒に対してポジティブなメッセージを通知する場合などにおいては、サーバ装置200は、全てのユーザAに対して当該通知を行ってもよい。
また、ユーザA(第1のユーザ)が複数人存在する場合、ユーザAが、ユーザB(第2のユーザ)と他のユーザAとのコミュニケーションの様子を視聴することができる動作モードが新たに設けられてもよい。以降、あるユーザAがユーザBと他のユーザAとのコミュニケーションの様子を視聴可能な動作モードを「覗き見モード」と呼称する。覗き見モードによっては、図31に示すように、ユーザA-1は、ユーザBとユーザA-2が正対した状態でコミュニケーションをとっているところを別の視点から視聴することなどができる。したがって、ユーザA-1は、自分とユーザBとのコミュニケ―ションだけでなく、ユーザA-2とユーザBとのコミュニケーションによってやり取りされる情報を取得することができるため、より効果的に学習などを行うことができる。
他の動作モードから覗き見モードへの切り替えに用いられるトリガは、上記の実施形態と同様に特に限定されない。より具体的には、覗き見モードへの切り替えに用いられるトリガとは、ユーザA(第1のユーザ)またはユーザB(第2のユーザ)の少なくともいずれか一方に起因するトリガであることを想定している。例えば、覗き見モードへの切り替えに用いられるトリガとは、ユーザAまたはユーザBによる所定の行動(例えば、仮想空間においてユーザBとユーザA-2がコミュニケーションをとっている様子を視認可能な位置へユーザA-1が実際に移動するなど)、所定の発言(例えば、ユーザA-1による「そちらに行きますね。」という発言など)、または所定の操作入力など(例えば、ユーザA-1によるテーブルディスプレイ131Aへのタッチ、またはボタンの押下など)を含む。例えば、サーバ装置200によって生成された仮想空間がディスプレイに表示されることで、ユーザAは、当該仮想空間上の任意の位置と方向を選択することで覗き見を行う位置と方向を選択できてもよい。なお、覗き見モードへの切り替えに用いられるトリガの内容はこれらに限定されない。
なお、本開示の変形例においてもクライアント装置110およびサーバ装置200の各機能構成が有する機能の内容は特に変わらない。例えば、本開示の変形例においても、サーバ装置200の入力情報解析部211が入力情報(例えば、撮像画像など)の解析を行い、表示制御部215、音声出力制御部217および触覚提示制御部219が各ユーザへの出力の制御を行う(例えば、表示制御部215が、複数人のユーザA(第1のユーザ)の身体情報(第1の身体情報)の一部を並べてディスプレイに表示させるなど)。
<6.ハードウェア構成例>
上記では、本開示の変形例について説明した。続いて、図32を参照して、サーバ装置200またはクライアント装置110のハードウェア構成例について説明する。
上記では、本開示の変形例について説明した。続いて、図32を参照して、サーバ装置200またはクライアント装置110のハードウェア構成例について説明する。
図32は、サーバ装置200またはクライアント装置110を具現する情報処理装置900のハードウェア構成例を示すブロック図である。情報処理装置900は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912とを備える。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、サーバ装置200の制御部210またはクライアント装置110の制御部111の各機能が実現される。
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900を使用するユーザは、該入力装置908を操作することにより、各装置に対して各種のデータを入力したり処理動作を指示したりすることができる。上記ではクライアント装置110の外部に入力機器群120が設けられる場合を一例として説明したが、入力機器群120の一部がクライアント装置110に備えられる場合、当該入力装置908によって入力機器群120が具現され得る。
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。また、出力装置909は、スピーカおよびヘッドホンなどの音声出力装置を含む。さらに、出力装置909は、任意のウェアラブル装置(例えば、グラス型、時計型、グローブ型、または衣服型のウェアラブル装置など)を含む。上記ではクライアント装置110の外部に出力機器群130が設けられる場合を一例として説明したが、出力機器群130の一部がクライアント装置110に備えられる場合、当該出力装置909によって出力機器群130が具現され得る。
ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。当該ストレージ装置910によって、サーバ装置200の記憶部230またはクライアント装置110の記憶部115の機能が実現される。
ドライブ911は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。通信装置912によって、サーバ装置200の通信部220またはクライアント装置110の通信部113の機能が実現される。
<7.まとめ>
以上で説明してきたように、本開示に係る情報処理装置(サーバ装置200)は、第1の空間100Aに存在する第1のユーザ(例えば、指導者)の第1の身体情報、または第2の空間100Bに存在する第2のユーザ(例えば、生徒)の第2の身体情報を取得し、第1の身体情報または第2の身体情報に基づいて仮想空間を生成する。より具体的には、情報処理装置は、第1のユーザまたは第2のユーザの位置関係を再現した仮想空間を生成する。なお上記のとおり、情報処理装置は、第1の空間100Aに存在する物体に関する第1の環境情報、または第2の空間100Bに存在する物体に関する第2の環境情報も用いることで各空間に存在する物体についても仮想空間に再現してもよい。
以上で説明してきたように、本開示に係る情報処理装置(サーバ装置200)は、第1の空間100Aに存在する第1のユーザ(例えば、指導者)の第1の身体情報、または第2の空間100Bに存在する第2のユーザ(例えば、生徒)の第2の身体情報を取得し、第1の身体情報または第2の身体情報に基づいて仮想空間を生成する。より具体的には、情報処理装置は、第1のユーザまたは第2のユーザの位置関係を再現した仮想空間を生成する。なお上記のとおり、情報処理装置は、第1の空間100Aに存在する物体に関する第1の環境情報、または第2の空間100Bに存在する物体に関する第2の環境情報も用いることで各空間に存在する物体についても仮想空間に再現してもよい。
そして、第1のユーザまたは第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に、情報処理装置は動作モードを切り替え、当該動作モードの切り替えと、第1の空間100Aまたは第2の空間100Bに備えられる少なくとも1台の機器(例えば、テーブルディスプレイ131、ウィンドウディスプレイ133、スピーカ135、または触覚提示機器137など)を連動させる。例えば、情報処理装置は、カメラ123によって取得された撮像画像を編集した情報または仮想空間の一部の情報を第1の空間100Aまたは第2の空間100Bに備えられるディスプレイなどに反映させる。
これによって、情報処理装置は、互いに異なる空間に存在する第1のユーザまたは第2のユーザに対して、各ユーザがあたかも同一の空間で作業をしているかのように感じさせることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと解される。
例えば、上記(図16および図17)では、本開示に係る情報処理システムが手術および手工芸に関する指導に用いられる場合を一例として説明したが、本開示に係る情報処理システムの用途はこれに限定されない。
例えば、本開示に係る情報処理システムは、図33に示すように料理に関する指導、図34に示すように書道に関する指導、図35に示すように楽器演奏に関する指導、または図36に示すように資料を用いて行われる面談や会議などのように、複数のユーザによって行われる様々なコミュニケーションのために用いられ得る。複数のユーザが互いの位置関係や体勢を変化させながらコミュニケーションをとることができるという特長から、本開示に係る情報処理システムは、繊細な作業が要求される用途について特に有用であると言える。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得する取得部と、
前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成する仮想空間生成部と、
前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替える動作モード制御部と、
前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させる制御部と、を備える、
情報処理装置。
(2)
前記取得部は、前記第1の空間に存在する物体に関する情報を含む第1の環境情報、または前記第2の空間に存在する物体に関する情報を含む第2の環境情報をさらに取得し、
前記仮想空間生成部は、前記第1の環境情報または前記第2の環境情報にも基づいて前記仮想空間を生成する、
前記(1)に記載の情報処理装置。
(3)
前記動作モード制御部は、前記仮想空間における前記第1のユーザおよび前記第2のユーザの位置関係の変化に基づいて前記動作モードを切り替える、
前記(2)に記載の情報処理装置。
(4)
前記位置関係は、前記第1のユーザおよび前記第2のユーザが正対して位置する関係、前記第1のユーザおよび前記第2のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第1のユーザおよび前記第2のユーザが略同一の方向を向いた状態で一方が他方に被さるように位置する関係のうちの少なくともいずれか1つを含む、
前記(3)に記載の情報処理装置。
(5)
前記機器は、少なくとも1台のディスプレイを含む、
前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
前記機器は、表示面が地表面に対して略垂直に位置する第1のディスプレイ、および表示面が地表面に対して略平行に位置する第2のディスプレイを含む、
前記(5)に記載の情報処理装置。
(7)
前記第2のディスプレイは、前記第1のユーザまたは前記第2のユーザの作業台としても使用される、
前記(6)に記載の情報処理装置。
(8)
前記制御部は、前記第1の空間に存在する前記第1のディスプレイまたは前記第2のディスプレイに対して、前記第2の身体情報の少なくとも一部を表示させる、
前記(7)に記載の情報処理装置。
(9)
前記第2の身体情報の少なくとも一部、および前記第2の空間に存在する前記第2のディスプレイの表示画像が撮像された撮像画像を解析することで、前記第2の身体情報の少なくとも一部を前記撮像画像から抽出する解析部をさらに備える、
前記(8)に記載の情報処理装置。
(10)
前記第2の空間が複数存在し、前記第2のユーザが複数人存在する場合、
前記制御部は、前記第1のディスプレイまたは前記第2のディスプレイに対して、複数人の前記第2のユーザそれぞれの前記第2の身体情報の少なくとも一部を表示させる、
前記(9)に記載の情報処理装置。
(11)
前記解析部は、複数人の前記第2のユーザそれぞれの前記第2の身体情報を解析することで、前記第2のユーザそれぞれの作業に関する評価を行う、
前記(10)に記載の情報処理装置。
(12)
前記制御部は、前記第1のユーザによる入力に基づいて前記第2の空間に存在する少なくとも1台の機器を制御する、
前記(1)から(11)のいずれか1項に記載の情報処理装置。
(13)
前記第2の空間が複数存在し、前記第2のユーザが複数人存在する場合、
前記制御部は、前記第1のユーザによる入力に基づいて複数の前記第2の空間のうちの少なくともいずれか1つを特定し、特定された前記第2の空間に存在する少なくとも1台の機器を制御する、
前記(12)に記載の情報処理装置。
(14)
前記機器は、スピーカまたは触覚提示機器を含む、
前記(1)から(13)のいずれか1項に記載の情報処理装置。
(15)
第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得することと、
前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成することと、
前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、
前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させることと、を有する、
コンピュータにより実行される情報処理方法。
(16)
第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得することと、
前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成することと、
前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、
前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させることと、
をコンピュータに実現させるためのプログラム。
(1)
第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得する取得部と、
前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成する仮想空間生成部と、
前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替える動作モード制御部と、
前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させる制御部と、を備える、
情報処理装置。
(2)
前記取得部は、前記第1の空間に存在する物体に関する情報を含む第1の環境情報、または前記第2の空間に存在する物体に関する情報を含む第2の環境情報をさらに取得し、
前記仮想空間生成部は、前記第1の環境情報または前記第2の環境情報にも基づいて前記仮想空間を生成する、
前記(1)に記載の情報処理装置。
(3)
前記動作モード制御部は、前記仮想空間における前記第1のユーザおよび前記第2のユーザの位置関係の変化に基づいて前記動作モードを切り替える、
前記(2)に記載の情報処理装置。
(4)
前記位置関係は、前記第1のユーザおよび前記第2のユーザが正対して位置する関係、前記第1のユーザおよび前記第2のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第1のユーザおよび前記第2のユーザが略同一の方向を向いた状態で一方が他方に被さるように位置する関係のうちの少なくともいずれか1つを含む、
前記(3)に記載の情報処理装置。
(5)
前記機器は、少なくとも1台のディスプレイを含む、
前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
前記機器は、表示面が地表面に対して略垂直に位置する第1のディスプレイ、および表示面が地表面に対して略平行に位置する第2のディスプレイを含む、
前記(5)に記載の情報処理装置。
(7)
前記第2のディスプレイは、前記第1のユーザまたは前記第2のユーザの作業台としても使用される、
前記(6)に記載の情報処理装置。
(8)
前記制御部は、前記第1の空間に存在する前記第1のディスプレイまたは前記第2のディスプレイに対して、前記第2の身体情報の少なくとも一部を表示させる、
前記(7)に記載の情報処理装置。
(9)
前記第2の身体情報の少なくとも一部、および前記第2の空間に存在する前記第2のディスプレイの表示画像が撮像された撮像画像を解析することで、前記第2の身体情報の少なくとも一部を前記撮像画像から抽出する解析部をさらに備える、
前記(8)に記載の情報処理装置。
(10)
前記第2の空間が複数存在し、前記第2のユーザが複数人存在する場合、
前記制御部は、前記第1のディスプレイまたは前記第2のディスプレイに対して、複数人の前記第2のユーザそれぞれの前記第2の身体情報の少なくとも一部を表示させる、
前記(9)に記載の情報処理装置。
(11)
前記解析部は、複数人の前記第2のユーザそれぞれの前記第2の身体情報を解析することで、前記第2のユーザそれぞれの作業に関する評価を行う、
前記(10)に記載の情報処理装置。
(12)
前記制御部は、前記第1のユーザによる入力に基づいて前記第2の空間に存在する少なくとも1台の機器を制御する、
前記(1)から(11)のいずれか1項に記載の情報処理装置。
(13)
前記第2の空間が複数存在し、前記第2のユーザが複数人存在する場合、
前記制御部は、前記第1のユーザによる入力に基づいて複数の前記第2の空間のうちの少なくともいずれか1つを特定し、特定された前記第2の空間に存在する少なくとも1台の機器を制御する、
前記(12)に記載の情報処理装置。
(14)
前記機器は、スピーカまたは触覚提示機器を含む、
前記(1)から(13)のいずれか1項に記載の情報処理装置。
(15)
第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得することと、
前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成することと、
前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、
前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させることと、を有する、
コンピュータにより実行される情報処理方法。
(16)
第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得することと、
前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成することと、
前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、
前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させることと、
をコンピュータに実現させるためのプログラム。
100A 第1の空間
100B 第2の空間
110 クライアント装置
111 制御部
113 通信部
115 記憶部
120 入力機器群
121 センサ部
123 カメラ
125 マイク
130 出力機器群
131 テーブルディスプレイ
133 ウィンドウディスプレイ
135 スピーカ
137 触覚提示機器
200 サーバ装置
210 制御部
211 入力情報解析部
213 仮想空間生成部
215 表示制御部
215a テーブルディスプレイ表示制御部
215b ウィンドウディスプレイ表示制御部
217 音声出力制御部
219 触覚提示制御部
220 通信部
230 記憶部
300 ネットワーク
100B 第2の空間
110 クライアント装置
111 制御部
113 通信部
115 記憶部
120 入力機器群
121 センサ部
123 カメラ
125 マイク
130 出力機器群
131 テーブルディスプレイ
133 ウィンドウディスプレイ
135 スピーカ
137 触覚提示機器
200 サーバ装置
210 制御部
211 入力情報解析部
213 仮想空間生成部
215 表示制御部
215a テーブルディスプレイ表示制御部
215b ウィンドウディスプレイ表示制御部
217 音声出力制御部
219 触覚提示制御部
220 通信部
230 記憶部
300 ネットワーク
Claims (16)
- 第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得する取得部と、
前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成する仮想空間生成部と、
前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替える動作モード制御部と、
前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させる制御部と、を備える、
情報処理装置。 - 前記取得部は、前記第1の空間に存在する物体に関する情報を含む第1の環境情報、または前記第2の空間に存在する物体に関する情報を含む第2の環境情報をさらに取得し、
前記仮想空間生成部は、前記第1の環境情報または前記第2の環境情報にも基づいて前記仮想空間を生成する、
請求項1に記載の情報処理装置。 - 前記動作モード制御部は、前記仮想空間における前記第1のユーザおよび前記第2のユーザの位置関係の変化に基づいて前記動作モードを切り替える、
請求項2に記載の情報処理装置。 - 前記位置関係は、前記第1のユーザおよび前記第2のユーザが正対して位置する関係、前記第1のユーザおよび前記第2のユーザが略同一の方向を向いた状態で横に並んで位置する関係、前記第1のユーザおよび前記第2のユーザが略同一の方向を向いた状態で一方が背後から他方に被さるように位置する関係のうちの少なくともいずれか1つを含む、
請求項3に記載の情報処理装置。 - 前記機器は、少なくとも1台のディスプレイを含む、
請求項1に記載の情報処理装置。 - 前記機器は、表示面が地表面に対して略垂直に位置する第1のディスプレイ、および表示面が地表面に対して略平行に位置する第2のディスプレイを含む、
請求項5に記載の情報処理装置。 - 前記第2のディスプレイは、前記第1のユーザまたは前記第2のユーザの作業台としても使用される、
請求項6に記載の情報処理装置。 - 前記制御部は、前記第1の空間に存在する前記第1のディスプレイまたは前記第2のディスプレイに対して、前記第2の身体情報の少なくとも一部を表示させる、
請求項7に記載の情報処理装置。 - 前記第2の身体情報の少なくとも一部、および前記第2の空間に存在する前記第2のディスプレイの表示画像が撮像された撮像画像を解析することで、前記第2の身体情報の少なくとも一部を前記撮像画像から抽出する解析部をさらに備える、
請求項8に記載の情報処理装置。 - 前記第2の空間が複数存在し、前記第2のユーザが複数人存在する場合、
前記制御部は、前記第1のディスプレイまたは前記第2のディスプレイに対して、複数人の前記第2のユーザそれぞれの前記第2の身体情報の少なくとも一部を表示させる、
請求項9に記載の情報処理装置。 - 前記解析部は、複数人の前記第2のユーザそれぞれの前記第2の身体情報を解析することで、前記第2のユーザそれぞれの作業に関する評価を行う、
請求項10に記載の情報処理装置。 - 前記制御部は、前記第1のユーザによる入力に基づいて前記第2の空間に存在する少なくとも1台の機器を制御する、
請求項1に記載の情報処理装置。 - 前記第2の空間が複数存在し、前記第2のユーザが複数人存在する場合、
前記制御部は、前記第1のユーザによる入力に基づいて複数の前記第2の空間のうちの少なくともいずれか1つを特定し、特定された前記第2の空間に存在する少なくとも1台の機器を制御する、
請求項12に記載の情報処理装置。 - 前記機器は、スピーカまたは触覚提示機器を含む、
請求項1に記載の情報処理装置。 - 第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得することと、
前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成することと、
前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、
前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させることと、を有する、
コンピュータにより実行される情報処理方法。 - 第1の空間に存在する第1のユーザの第1の身体情報、および第2の空間に存在する第2のユーザの第2の身体情報を取得することと、
前記第1の身体情報または前記第2の身体情報に基づいて仮想空間を生成することと、
前記第1のユーザまたは前記第2のユーザの少なくともいずれか一方に起因するトリガが発生した場合に動作モードを切り替えることと、
前記動作モードの切り替えと、前記第1の空間に存在する少なくとも1台の機器、または前記第2の空間に存在する少なくとも1台の機器を連動させることと、
をコンピュータに実現させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112019002798.0T DE112019002798T5 (de) | 2018-06-01 | 2019-05-29 | Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm |
US17/058,230 US11366631B2 (en) | 2018-06-01 | 2019-05-29 | Information processing device, information processing method, and program |
CN201980035050.4A CN112166602B (zh) | 2018-06-01 | 2019-05-29 | 信息处理装置、信息处理方法以及程序 |
JP2020522571A JP7276334B2 (ja) | 2018-06-01 | 2019-05-29 | 情報処理装置、情報処理方法、およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-105824 | 2018-06-01 | ||
JP2018105824 | 2018-06-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019230852A1 true WO2019230852A1 (ja) | 2019-12-05 |
Family
ID=68698274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/021432 WO2019230852A1 (ja) | 2018-06-01 | 2019-05-29 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11366631B2 (ja) |
JP (1) | JP7276334B2 (ja) |
CN (1) | CN112166602B (ja) |
DE (1) | DE112019002798T5 (ja) |
WO (1) | WO2019230852A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6933850B1 (ja) * | 2020-11-06 | 2021-09-08 | 株式会社Abal | 仮想空間体感システム |
WO2021220494A1 (ja) * | 2020-04-30 | 2021-11-04 | 塁 佐藤 | 通信端末装置、通信方法、およびソフトウェアプログラム |
JP2023066988A (ja) * | 2021-10-29 | 2023-05-16 | 学校法人同志社 | 映像シェアシステム |
JP7525598B2 (ja) | 2020-04-30 | 2024-07-30 | 塁 佐藤 | 通信端末装置、通信方法、およびソフトウェアプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009145883A (ja) * | 2007-11-20 | 2009-07-02 | Rissho Univ | 学習システム、記憶媒体及び学習方法 |
WO2017030193A1 (ja) * | 2015-08-20 | 2017-02-23 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2018073093A (ja) * | 2016-10-28 | 2018-05-10 | キヤノン株式会社 | 表示制御システム、画像処理装置、表示制御方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5845211B2 (ja) * | 2013-06-24 | 2016-01-20 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10055018B2 (en) * | 2014-08-22 | 2018-08-21 | Sony Interactive Entertainment Inc. | Glove interface object with thumb-index controller |
US9898864B2 (en) * | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
JP6541497B2 (ja) * | 2015-07-31 | 2019-07-10 | キヤノン株式会社 | コミュニケーションシステム、その制御方法及びプログラム |
JP2018019338A (ja) * | 2016-07-29 | 2018-02-01 | キヤノン株式会社 | 遠隔コミュニケーションシステム、その制御方法、及びプログラム |
JP2018092313A (ja) * | 2016-12-01 | 2018-06-14 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US20190212901A1 (en) * | 2018-01-08 | 2019-07-11 | Cisco Technology, Inc. | Manipulation of content on display surfaces via augmented reality |
-
2019
- 2019-05-29 DE DE112019002798.0T patent/DE112019002798T5/de active Pending
- 2019-05-29 JP JP2020522571A patent/JP7276334B2/ja active Active
- 2019-05-29 US US17/058,230 patent/US11366631B2/en active Active
- 2019-05-29 WO PCT/JP2019/021432 patent/WO2019230852A1/ja active Application Filing
- 2019-05-29 CN CN201980035050.4A patent/CN112166602B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009145883A (ja) * | 2007-11-20 | 2009-07-02 | Rissho Univ | 学習システム、記憶媒体及び学習方法 |
WO2017030193A1 (ja) * | 2015-08-20 | 2017-02-23 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2018073093A (ja) * | 2016-10-28 | 2018-05-10 | キヤノン株式会社 | 表示制御システム、画像処理装置、表示制御方法、及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021220494A1 (ja) * | 2020-04-30 | 2021-11-04 | 塁 佐藤 | 通信端末装置、通信方法、およびソフトウェアプログラム |
JP7525598B2 (ja) | 2020-04-30 | 2024-07-30 | 塁 佐藤 | 通信端末装置、通信方法、およびソフトウェアプログラム |
JP6933850B1 (ja) * | 2020-11-06 | 2021-09-08 | 株式会社Abal | 仮想空間体感システム |
JP2023066988A (ja) * | 2021-10-29 | 2023-05-16 | 学校法人同志社 | 映像シェアシステム |
Also Published As
Publication number | Publication date |
---|---|
US20210157541A1 (en) | 2021-05-27 |
JP7276334B2 (ja) | 2023-05-18 |
US11366631B2 (en) | 2022-06-21 |
CN112166602B (zh) | 2023-12-05 |
DE112019002798T5 (de) | 2021-04-22 |
CN112166602A (zh) | 2021-01-01 |
JPWO2019230852A1 (ja) | 2021-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Thoravi Kumaravel et al. | Loki: Facilitating remote instruction of physical tasks using bi-directional mixed-reality telepresence | |
US11734906B2 (en) | Automatic transparency of VR avatars | |
Cao et al. | An exploratory study of augmented reality presence for tutoring machine tasks | |
Schloerb et al. | BlindAid: Virtual environment system for self-reliant trip planning and orientation and mobility training | |
KR101563312B1 (ko) | 시선 기반 교육 콘텐츠 실행 시스템 | |
WO2019230852A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US8992232B2 (en) | Interactive and educational vision interfaces | |
US11442685B2 (en) | Remote interaction via bi-directional mixed-reality telepresence | |
JP2006201912A (ja) | 3次元仮想オブジェクト情報提供サービス処理方法と3次元仮想オブジェクト提供システムおよびプログラム | |
Köpsel et al. | Effects of auditory, haptic and visual feedback on performing gestures by gaze or by hand | |
CN112424736A (zh) | 机器交互 | |
Pusch et al. | Augmented reality for operator training on industrial workplaces–Comparing the Microsoft hololens vs. small and big screen tactile devices | |
Liu et al. | Instrumentar: Auto-generation of augmented reality tutorials for operating digital instruments through recording embodied demonstration | |
Chapoulie et al. | Evaluation of direct manipulation using finger tracking for complex tasks in an immersive cube | |
Wang et al. | Research on Application of Perceptive Human-computer Interaction Based on Computer Multimedia | |
US20190064920A1 (en) | Controlling and configuring unit and method for controlling and configuring a microscope | |
WO2023189405A1 (ja) | 入出力装置 | |
WO2023105706A1 (ja) | 触覚提示デバイスおよび制御方法 | |
WO2023189404A1 (ja) | 入出力装置 | |
US20240257487A1 (en) | Cheating deterrence in vr education environments | |
ALEZ | Authoring Tools for Augmented Reality Scenario Based Training Experiences | |
Mudiyanse | Exploring the effect of viewing attributes of mobile AR interfaces on remote collaborative and competitive tasks | |
Krichenbauer | Creating Immersive 3D User Interfaces for Professional 3D Design Work | |
Deneke | Enabling people with motor impairments to get around in 360° video experiences: Concept and prototype of an adaptable control systemEnabling people with motor impairments to get around in 360° video experiences: Concept and prototype of an adaptable control system | |
Zhang | Future Interactions with Virtual Reality Technology (VR): How Virtual Reality Technology Will Impact Our Future |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19810021 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020522571 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19810021 Country of ref document: EP Kind code of ref document: A1 |