WO2017051570A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017051570A1
WO2017051570A1 PCT/JP2016/068146 JP2016068146W WO2017051570A1 WO 2017051570 A1 WO2017051570 A1 WO 2017051570A1 JP 2016068146 W JP2016068146 W JP 2016068146W WO 2017051570 A1 WO2017051570 A1 WO 2017051570A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observer
information processing
virtual space
processing apparatus
Prior art date
Application number
PCT/JP2016/068146
Other languages
English (en)
French (fr)
Inventor
翼 塚原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP16848360.0A priority Critical patent/EP3355278A4/en
Priority to US15/743,921 priority patent/US10855925B2/en
Publication of WO2017051570A1 publication Critical patent/WO2017051570A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 it is considered to apply a virtual space image.
  • a virtual space image it is considered to make an observer visually recognize an image in a virtual space that can freely change the viewpoint in the space, not an image in the real space. In such a case, the observer can visually recognize images of various viewpoints, and thus can perceive more information.
  • Such a viewpoint change in the image of the virtual space is generally performed by controlling the angle of view of the virtual camera that defines the image of the virtual space with reference to the origin of the virtual space.
  • the angle of view of the virtual camera is controlled based on the origin of the virtual space unrelated to the object that the observer wants to visually recognize, the observer easily loses sight of the object that he or she wants to visually recognize. Therefore, the virtual space image included in the angle of view of the virtual camera controlled by the above method is not convenient for the observer.
  • the present disclosure proposes an information processing device, an information processing method, and a program that allow an observer to visually recognize a virtual space image that is more convenient.
  • control unit that controls the angle of view of the virtual camera that defines the virtual space image based on the observer's gaze point or the gaze target with respect to the virtual space image, and information related to the virtual space image Is provided with an image information output unit.
  • the arithmetic processing device controls an angle of view of a virtual camera that defines an image of the virtual space based on an observer's gaze point or a gaze target with respect to the virtual space image;
  • An information processing method including outputting information related to an image in a virtual space is provided.
  • control unit that controls the angle of view of the virtual camera that defines the image of the virtual space based on the observer's gaze point or gaze target with respect to the image of the virtual space, and the virtual space A program is provided that functions as an image information output unit that outputs information related to the image.
  • an observer can visually recognize an image in a virtual space that is more convenient.
  • FIG. 2 is an explanatory diagram illustrating an overview of an information processing apparatus according to a first embodiment of the present disclosure.
  • FIG. It is explanatory drawing explaining the control of the angle of view of the virtual camera which concerns on a comparative example. It is explanatory drawing explaining control of the angle of view of the virtual camera which concerns on the embodiment.
  • 3 is a block diagram illustrating a functional configuration of the information processing apparatus according to the embodiment.
  • FIG. It is explanatory drawing explaining rotation of the angle of view of a virtual camera. It is explanatory drawing explaining the zoom-in or zoom-out of a virtual camera. It is explanatory drawing which shows the example of an image in the zoom-in of a virtual camera. It is explanatory drawing explaining the parallel movement of a virtual camera.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to each embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram for explaining the outline of the information processing apparatus according to the present embodiment.
  • FIG. 2A is an explanatory diagram for explaining the control of the angle of view of the virtual camera according to the comparative example, and
  • FIG. 2B is an explanatory diagram for explaining the control of the angle of view of the virtual camera according to the present embodiment.
  • the information processing apparatus generates an image 5 of a virtual space that is visually recognized by an observer 2.
  • the virtual space is a virtual three-dimensional space constructed by information processing executed by the information processing apparatus.
  • the virtual space image 5 is an image obtained when the virtual space is imaged by a virtual camera installed at a predetermined position in the virtual space.
  • Such a virtual space image 5 can be used for, for example, a videophone and a video conference.
  • the image 5 in the virtual space may be an image including the image 30 of the observer existing in the remote real space.
  • the content of the image 5 in the virtual space is defined by the angle of view of the virtual camera set in the virtual space as described above.
  • the information processing apparatus can change the image 5 of the virtual space visually recognized by the observer 2 by controlling the angle of view of the virtual camera. Specifically, the information processing apparatus can cause the observer 2 to visually recognize images of the virtual space from various viewpoints by controlling the position and orientation of the virtual camera in the virtual space.
  • the rotated image 51B the image 31 of the observer moves to a position deviated from the center of the image 51B. This is because when the angle of view of the virtual camera is rotated, the object moves more greatly due to the rotation as the object moves away from the center of rotation.
  • the information processing apparatus controls the angle of view of the virtual camera based on the gaze point or the gaze target of the observer 2 in the virtual space image.
  • the gaze point is detected from the image 52A based on the line-of-sight information of the observer 2, and the reference point based on the detected gaze point
  • the angle of view of the virtual camera is rotated with 42 as the rotation center.
  • the image 32 of the person to be observed can be positioned at the center of the image 52B.
  • the angle of view of the virtual camera is controlled while the object that the observer 2 wants to view is captured at the center of the image in the virtual space, and the virtual space can be freely viewed. Can be changed. Further, according to the information processing apparatus according to the present embodiment, when the angle of view of the virtual camera is changed, the object visually recognized by the observer 2 deviates from the angle of view of the virtual camera, and the observer 2 visually recognizes. It is possible to prevent losing sight of the target. Therefore, the information processing apparatus according to the present embodiment can improve the convenience of the virtual space image for the observer 2.
  • a reference point for controlling the angle of view of the virtual camera can be dynamically changed in the virtual space.
  • the observer 2 can change the reference point for controlling the angle of view of the virtual camera by gazing at an object to be visually recognized.
  • the information processing apparatus according to the present embodiment can cause the observer 2 to intuitively change the position and orientation of the virtual camera, and can visually recognize images in the virtual space of various viewpoints.
  • the information processing apparatus may be a display apparatus that displays an image of a virtual space, and is an information processing apparatus that generates an image of a virtual space and outputs image information to an external display apparatus. May be.
  • the information processing apparatus according to this embodiment includes a transmissive or shielded head-mounted display device, a dome-type display capable of displaying an image on the entire sky, a liquid crystal display device, an organic electroluminescence display device, and the like.
  • An information processing apparatus that outputs image information to the display apparatus, a 3D display apparatus that can display a 3D image, and a projector display apparatus that can display a 2D image or a 3D image It may be.
  • the image of the virtual space generated by the information processing apparatus may be generated based on, for example, an image captured by an imaging device installed in a real space, What was produced
  • the image in the virtual space may be generated without being based on the information in the real space.
  • the virtual space image may be a point cloud image generated based on depth information measured by at least one depth sensor installed in the real space.
  • the depth sensor is a sensor capable of measuring a distance from the sensor to a target and outputting the measured distance as depth information.
  • the point cloud image is an image expressing the target as a set of points arranged in the virtual space based on the distance from the depth sensor to the target.
  • FIG. 3 is a block diagram illustrating a functional configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes a gazing point detection unit 100, a reference point setting unit 110, an angle of view control information acquisition unit 120, a control unit 130, an input unit 140, and an image information output unit. 150 and an image generation unit 160.
  • the gazing point detection unit 100 detects the gazing point of the observer 2.
  • a known method can be used as a method for the gazing point detection unit 100 to detect the gazing point.
  • the gazing point detection unit 100 may detect the gazing point by analyzing the image of the observer 2 captured by the imaging apparatus and detecting the center of the eyeball and the pupil. Further, the gazing point detection unit 100 may detect the gazing point using the reflected light on the corneal surface acquired by irradiating the eyeball of the observer 2 with the infrared rays and the position of the pupil detected by the imaging device. Good.
  • the gazing point detection unit 100 detects the sight line of the observer 2 and uses the intersection of the sight line of the observer 2 and an image in the virtual space (for example, the foremost target in the virtual space) as the gazing point of the observer 2. Also good. Further, when the gaze point cannot be detected due to the detection limit of the sensor that detects the gaze point, and only the gaze of the observer 2 is detected, the gaze point detection unit 100 detects the gaze of the observer 2 and the detection limit of the sensor. It is also possible to use the point of intersection with the observer 2 as a gazing point.
  • the reference point setting unit 110 sets a reference point in the virtual space based on the gazing point of the observer 2. Specifically, the reference point setting unit 110 sets a reference point for controlling the angle of view of the virtual camera in the virtual space based on the gazing point of the observer 2 detected by the gazing point detection unit 100. . When the observer 2 does not visually recognize the image in the virtual space, the reference point setting unit 110 does not need to set the reference point in the virtual space, and the control unit 130 (to be described later) It is not necessary to perform control.
  • the reference point setting unit 110 may set the reference point so that the gaze point of the observer 2 and the reference point always coincide. Further, the reference point setting unit 110 may set the gazing point of the observer 2 at a predetermined timing as a reference point, and update the reference point at a constant cycle (for example, every minute). In addition, when the movement amount of the gazing point of the observer 2 is less than the threshold for a predetermined period (for example, 5 seconds), the reference point setting unit 110 sets the gazing point of the observer 2 at the timing as the reference point. May be. Furthermore, the reference point setting unit 110 may set, as a reference point, a point obtained by moving and averaging the gazing point of the observer 2 for a predetermined period (for example, 10 seconds).
  • the angle-of-view control information acquisition unit 120 acquires information instructing to control the angle of view of the virtual camera that defines the image in the virtual space. Specifically, the view angle control information acquisition unit 120 acquires information instructing to control the position and orientation of a virtual camera that defines an image in the virtual space.
  • the view angle control information acquisition unit 120 includes an input device that receives an input from the observer 2, and information that instructs the observer 2 to control the angle of view of the virtual camera is input by the input device. Also good. Examples of such an input device include a touch panel, a mouse, a keyboard, a button, a switch, and a lever.
  • the angle-of-view control information acquisition unit 120 may detect the movement of the head of the observer 2 and acquire information regarding the movement of the head of the observer 2 as information for controlling the angle of view of the virtual camera.
  • the movement of the head of the observer 2 can be detected by, for example, analyzing an image of the observer 2 imaged by the imaging device or measuring an acceleration sensor or the like provided on the head of the observer 2. Is possible.
  • the control unit 130 controls the angle of view of the virtual camera based on a reference point set based on the gazing point of the observer 2. Specifically, the control unit 130 sets the reference point set by the reference point setting unit 110 according to the information instructing to control the view angle of the virtual camera acquired by the view angle control information acquisition unit 120. Used to control the angle of view of the virtual camera. Note that the control unit 130 determines that the observer 2 does not visually recognize an image in the virtual space when receiving an input from the observer 2 to instruct to fix the angle of view of the virtual camera or from the line-of-sight information. In this case, the control may be switched so as to fix the angle of view of the virtual camera.
  • the control unit 130 when the angle-of-view control information acquisition unit 120 is an input device that accepts input from the observer 2, the control unit 130 performs a reference in accordance with an instruction to rotate the angle of view of the virtual camera input by the observer 2.
  • the angle of view of the virtual camera may be rotated with the point as the rotation center.
  • the control unit 130 may zoom in or zoom out the virtual camera with respect to the reference point in response to the zoom-in or zoom-out instruction of the virtual camera input by the observer 2.
  • the control unit 130 when the angle-of-view control information acquisition unit 120 detects the movement of the head of the observer 2, the control unit 130 performs a virtual operation with the reference point as the rotation center according to the movement of the head of the observer 2.
  • the angle of view of the camera may be rotated.
  • the control unit 130 may zoom in or zoom out the virtual camera with respect to the reference point according to the movement of the head of the observer 2, and the reference point according to the movement of the head of the observer 2.
  • the virtual camera may be translated in relation to
  • FIG. 4 is an explanatory diagram illustrating rotation of the angle of view of the virtual camera.
  • FIG. 5A is an explanatory diagram illustrating zoom-in or zoom-out of the virtual camera
  • FIG. 5B is an explanatory diagram illustrating an example of an image when the virtual camera is zoomed in.
  • FIG. 6A is an explanatory diagram illustrating the parallel movement of the virtual camera
  • FIG. 6B is an explanatory diagram illustrating an image example in the parallel movement of the virtual camera.
  • the control unit 130 rotates the angle of view of the virtual camera with the reference point as the rotation center. Specifically, the control unit 130 rotates the angle of view of the virtual camera so that the direction of rotation of the head of the observer 2 and the direction of rotation of the angle of view of the virtual camera are symmetric about the reference point. Let According to such control, the control unit 130 can cause the observer 2 to visually recognize an image in the virtual space with less discomfort. In addition, when the image of the observer is included in the virtual space image 5, the control unit 130 matches the line of sight between the observer 2 whose head is rotated and the observer of the image 5 in the virtual space. The angle of view of the virtual camera can be rotated. Needless to say, the rotation of the head of the observer 2 includes not only the rotation in the horizontal direction shown in FIG. 4 but also the rotation in the vertical direction (for example, the rotation by looking up or looking down).
  • the control unit 130 zooms in on the virtual camera with respect to the reference point. Or zoom out. Specifically, when the head of the observer 2 approaches the image 5 in the virtual space, the control unit 130 zooms in the virtual camera toward the reference point. Further, the control unit 130 zooms out the virtual camera from the reference point when the head of the observer 2 moves away from the image in the virtual space.
  • the observer 2 when the observer 2 brings his head close to the virtual space image 53A including the image 33 of the person to be observed shown in FIG. 5B, the observer 2 moves toward the reference point 42 based on the gazing point.
  • the zoomed-in virtual space image 53B can be viewed.
  • the observer 2 can intuitively control the virtual camera by the movement of the head, and can visually recognize the image in the virtual space with less discomfort.
  • the control unit 130 moves the virtual camera to the reference point. Move the angle of view to the left or right. Specifically, the control unit 130 makes the direction of translation of the observer's head relative to the image 5 in the virtual space and the direction of translation of the angle of view of the virtual camera symmetric with respect to the reference point. Translate the angle of view of the virtual camera. According to such control, even when the observer 2 moves with respect to the virtual space image 5, the control unit 130 views the virtual space image 5 moved so that the object being viewed is translated. 2 can be visually recognized.
  • the observer 2 when the observer 2 translates to the right side with respect to the virtual space image 54A including the image 34 of the observer shown in FIG. 6B, the observer 2 moves the observer's image relative to the reference point 42.
  • the virtual space image 54B in which the image 34 is translated to the right side can be viewed. In such a case, even when the observer 2 moves in parallel with the image in the virtual space, the observer 2 can continue to capture the object being viewed in front.
  • control unit 130 may execute the above control in combination. Specifically, when the head of the observer 2 rotates, the control unit 130 may rotate and translate the virtual camera relative to the reference point. When the observer 2's head is translated, the control unit 130 may translate and rotate the virtual camera with respect to the reference point. The control unit 130 can perform natural control of the virtual camera that is more uncomfortable with respect to the movement of the head of the viewer 2 by executing such control in combination.
  • the amount of movement of the virtual camera corresponding to the amount of movement of the head of the observer 2 is preferably set as appropriate so that the observer 2 is less uncomfortable when viewing the image in the virtual space.
  • the amount of movement of the virtual camera described above is based on whether the observer 2 wants to keep an eye on the observer in the virtual space image, or the observer 2 collaborates with the observer in the virtual space image. It may be set based on the purpose such as whether the observer 2 wants to share the space with the observer in the image of the virtual space.
  • the input unit 140 receives information for generating a virtual space image.
  • the input unit 140 may be an imaging device installed in real space, or various sensors (for example, a depth sensor).
  • the input unit 140 is a wired interface such as an USB (Universal Serial Bus) interface, an Ethernet (registered trademark) interface, or an IEEE 802.11 standard interface to which information from an imaging device installed in a real space or various sensors is input.
  • a wireless external input interface may be used.
  • the image information output unit 150 outputs information related to the image of the virtual space including information related to the control of the angle of view of the virtual camera.
  • the image information output unit 150 may further output information for generating an image of the virtual space input to the input unit 140.
  • the image information output unit 150 may be an internal bus, a bridge, an interface, or the like that outputs information related to the image in the virtual space to the image generation unit 160, and sends information related to the image in the virtual space to the outside of the information processing apparatus 1. It may be a wired or wireless external output interface such as a USB interface, an Ethernet interface, or an IEEE 802.11 standard interface that outputs to the provided image generation unit 160.
  • the image generation unit 160 generates an image of the virtual space based on the information regarding the image of the virtual space output from the image information output unit 150. Specifically, the image generation unit 160 is based on information for generating an image of the virtual space input to the input unit 140 and the angle of view of the virtual camera controlled by the control unit 130. Generate an image. For example, the image generation unit 160 may first generate a virtual space based on information for generating an image of the virtual space, and then generate an image of the virtual space included in the angle of view of the virtual camera. .
  • the image generation unit 160 may generate an image that clearly indicates the gazing point of the observer 2 in the generated virtual space image.
  • the observer 2 controls the angle of view of the virtual camera, the observer 2 can grasp the control reference point from his own point of sight, so that the angle of view of the virtual camera can be controlled more intuitively. Can be directed.
  • FIG. 7 is a schematic diagram illustrating a point cloud image generated by the image generation unit 160
  • FIG. 8 is a schematic diagram illustrating a mesh image generated by the image generation unit 160.
  • the image generation unit 160 may generate a point cloud image in which a target in the virtual space is represented by a set of dots, cubes, or squares.
  • a point cloud image is an image that expresses a target as a set of points arranged in a virtual space.
  • the point cloud image is generated by expressing a target color and a three-dimensional shape as a set of points using a depth sensor that measures the distance to the target and an imaging device that detects the target color. .
  • a publicly known one can be used.
  • the infrared sensor is irradiated and the distance from the reflected infrared reflected light to the target is measured.
  • the method, the method of irradiating the pattern with infrared rays, and measuring the distance from the distortion of the pattern reflected in the target to the target, or matching the images captured by the stereo camera and measuring the distance from the parallax between the images to the target Or the like can be used.
  • the image generation unit 160 may generate a mesh image in which the target is expressed by a polygon or the like. Note that the method of expressing the image in the virtual space by the image generation unit 160 is not limited to the above, and a known method can be used.
  • the information processing apparatus 1 can change the angle of view of the virtual camera that defines the image in the virtual space at the reference point set based on the gaze point or gaze target of the observer 2. Can be controlled. As a result, the information processing apparatus 1 controls the angle of view of the virtual camera while keeping the object that the observer 2 wants to view in the center of the image in the virtual space, and allows the observer 2 to freely change the viewpoint in the virtual space. Can do. Therefore, the information processing apparatus 1 can cause the observer 2 to visually recognize an image in a virtual space that is less likely to deviate from the angle of view of the virtual camera.
  • FIG. 9 is a flowchart showing an example of the operation of the information processing apparatus 1 according to the present embodiment.
  • the operation examples shown below are merely examples, and the operation of the information processing apparatus according to the present embodiment is not limited to the examples shown below.
  • the image generation unit 160 generates an image of the virtual space included in the angle of view of the image camera (S101).
  • the information from the input unit 140 is, for example, the depth information of the real space target measured by the depth sensor, the color information of the real space target measured by the imaging device, and the like.
  • an instruction to control the angle of view of the virtual camera by the observer 2 is acquired via the angle of view control information acquisition unit 120 (S103).
  • the instruction for controlling the angle of view of the virtual camera by the observer 2 is, for example, the movement of the head of the observer 2.
  • the gazing point detection unit 100 detects the gazing point of the observer 2 in the virtual space image (S105), and the reference point setting unit 110 performs a reference in the virtual space based on the gazing point of the observer 2.
  • a point is set (S107).
  • the control unit 130 controls the angle of view of the virtual camera using the set reference point according to the instruction of the observer 2 (S109).
  • the image information output unit 150 outputs information about the image of the virtual space including information about the angle of view of the virtual camera, and the image generation unit 160 includes the virtual angle included in the angle of view of the virtual camera controlled by the control unit 130. Generate an image of the space.
  • the observer 2 can freely control the angle of view of the virtual camera and visually recognize the image in the virtual space.
  • FIG. 10 is an explanatory diagram illustrating a first application example of the information processing apparatus 1 according to the present embodiment
  • FIG. 11 is an explanatory diagram illustrating a second application example of the information processing apparatus 1 according to the present embodiment.
  • the first application example of the information processing apparatus 1 uses an image and a sound between an observer 2 and a person to be observed 3 that are present at different locations.
  • the observer 2 can communicate using the information processing apparatus 1 according to the present embodiment while visually recognizing the image 30 of the observer included in the virtual space image 5A.
  • the person to be observed 3 can perform communication while visually recognizing the image 20 of the observer included in the image 5B in the virtual space using the information processing apparatus 1 according to the present embodiment.
  • the image 5A in the virtual space may be based on the real space in which the observer 3 exists
  • the image 5B in the virtual space is based on the real space in which the observer 2 exists. It may be.
  • the image 30 of the observer is the angle of view of the virtual camera. It is possible to prevent the user from losing sight of it. Therefore, the observer 2 and the person to be observed 3 can perform higher quality communication.
  • the second application example of the information processing apparatus 1 sequentially reproduces images 5 of a time-series virtual space recorded in advance, so that the observer 2 can make an event (for example, , A conference etc.) 30A, 30B, and 30C can be viewed from a free viewpoint.
  • an event for example, , A conference etc.
  • the virtual space image 5 is not a real-time image based on a real space such as a remote place, but is an image of an event such as a meeting or work recorded in advance.
  • the observer 2 can grasp the event images 30A, 30B, and 30C from a free viewpoint by viewing the time-series virtual space image 5 while freely changing the viewpoint in the virtual space.
  • such a time-series virtual space image 5 may be reproduced with the reproduction speed being variable with respect to the actual event speed. According to this, by making the playback speed of the image 5 in the time-series virtual space faster than the actual event speed, the observer 2 can grasp the event in a shorter time than the actual time. is there. Further, by making the playback speed of the image 5 in the time-series virtual space slower than the actual event speed, the observer 2 can also grasp the event deeper.
  • the observer 2 can control the angle of view of the virtual camera using a reference point based on a gaze point or a gaze target, and thus reproduce past events.
  • the image of the virtual space can be viewed from a free viewpoint. Therefore, the observer 2 can grasp the reproduced past events from various viewpoints from various viewpoints.
  • the information processing apparatus 1 according to the first embodiment of the present disclosure has been described in detail above.
  • the information processing apparatus is for one-to-one or one-to-many collaborative work, and the position and orientation of the virtual camera that is the viewpoint of the observer 2 with respect to the observer 3 Is provided.
  • the information processing apparatus includes means for outputting information related to interference such as operations and instructions from the observer 2 for the person to be observed 3 in order to smoothly perform the collaborative work.
  • FIG. 12 is a block diagram illustrating a functional configuration of the information processing apparatus 1A according to the present embodiment.
  • the information processing apparatus 1A includes a gazing point detection unit 100, a reference point setting unit 110, an angle of view control information acquisition unit 120, a control unit 130, an input unit 140, and an image information output unit. 150, an image generation unit 160, an interference information acquisition unit 170, and an output unit 180.
  • the specific configurations of the gazing point detection unit 100, the reference point setting unit 110, the angle-of-view control information acquisition unit 120, the control unit 130, the input unit 140, the image information output unit 150, and the image generation unit 160 will be described in detail. Since the configuration is substantially the same as that described in the first embodiment, a detailed description thereof is omitted here.
  • the interference information acquisition unit 170 corresponds to the virtual space and acquires information related to the interference from the observer 2 to the real space where the observer 3 exists. Specifically, the interference information acquisition unit 170 acquires information related to interference such as alerting and operation of joint work from the observer 2 to the observer 3. For example, the interference information acquisition unit 170 may acquire information that prompts the viewer 2 to call attention to a specific target in the real space. Further, the interference information acquisition unit 170 may acquire operation information for operating devices in the real space (for example, air conditioners, lighting devices, and information devices) from the observer 2.
  • air conditioners for example, air conditioners, lighting devices, and information devices
  • Such an interference information acquisition unit 170 includes, for example, an input device that receives an input from the observer 2, and acquires the interference information to the real space when the interference information is input by the input device.
  • Examples of the input device that receives an input from the observer 2 include a touch panel, a mouse, a keyboard, a button, a microphone, a switch, and a lever.
  • the output unit 180 outputs information on the position and orientation of the virtual camera in the virtual space.
  • Information regarding the position and orientation of the virtual camera is used, for example, to notify the observer 3 of the viewpoint of the observer 2.
  • the viewpoint of the observer 2 is to superimpose an image representing the position and orientation of the virtual camera on the image in the virtual space.
  • the person to be observed 3 may be notified.
  • the viewpoint of the observer 2 is to display the image representing the position and orientation of the virtual camera on the display device. 3 may be notified.
  • the image representing the position and orientation of the virtual camera may be, for example, an image of the head of the observer 2, a fireball, and a light bulb.
  • the viewpoint of the observer 2 is controlled by the three-dimensional sound field control so that the sound of the person to be observed 3 indicates the position and orientation of the virtual camera.
  • the person to be observed 3 may be notified by being reproduced as if it was emitted from the position to represent.
  • the output unit 180 outputs information related to interference with the real space corresponding to the virtual space acquired by the interference information acquisition unit 170.
  • Information relating to interference with the real space is used, for example, to support collaborative work for the person 3 to be observed.
  • a warning to a specific target is given to the person to be observed 3 by superimposing an alert image on the image in the virtual space. You may be notified.
  • alerting a specific target is performed by causing the person to be observed 3 to display characters or an alert image on the display device. You may be notified.
  • the alert image may be a flashing light source image, an arrow image, or the like.
  • alerting a specific target can be triggered by a three-dimensional sound field control where the alert sound is emitted from the position where the specific target exists.
  • the person to be observed 3 may be notified by being reproduced as described.
  • the output unit 180 sends operation information from the observer 2 to devices in the real space (for example, air conditioners, lighting devices, and information devices) connected to the information processing apparatus 1A via the network.
  • devices in the real space for example, air conditioners, lighting devices, and information devices
  • the observer 2 may operate the device in the real space instead of the person to be observed 3.
  • Such an output unit 180 may be, for example, a cable communication device that performs wired cable communication that can be connected to a communication network, or a wired or wireless LAN compatible communication device.
  • the output unit 180 may be a wired or wireless external output interface such as a USB interface, an Ethernet interface, or an IEEE 802.11 standard interface.
  • the output unit 180 can perform the above-described control by outputting these pieces of information to a real space where the person 3 is present, for example, via a network or the like.
  • information regarding the position and orientation of the virtual camera can be output from the output unit 180 to the observer 3, so that the observer 2 can smoothly collaborate with the observer 3. It is possible to proceed. Moreover, since the information regarding the interference of the observer 2 can be output from the output unit 180 to the real space in which the observer 3 exists, the observer 2 supports the joint work with the observer 3. It is possible.
  • FIGS. 13 to 15 are explanatory diagrams for explaining an example of use of the information processing apparatus 1A according to the present embodiment.
  • one example of use of the information processing apparatus 1A is that viewers 2A, 2B, and 2C that exist in different remote locations each hold a video conference in a common virtual space.
  • This is an example of how to use it.
  • the viewers 2A, 2B, and 2C share a virtual space by wearing a transmissive or shielded head-mounted display device and visually recognizing an image of the common virtual space.
  • virtual objects such as desks and chairs may be arranged in the virtual space.
  • the images 20A and 20B of the observers 2A and 2B are displayed in the virtual space image 71 visually recognized by the observer 2C.
  • the observer 2C can change the viewpoint (that is, the position and orientation of the virtual camera) in the virtual space by instructing the control of the angle of view of the virtual camera at the reference point based on the line-of-sight information.
  • the observer 2C can participate in a video conference or the like with the observers 2A and 2B while freely changing the viewpoint in the virtual space.
  • the image of the observer 2C is preferably moved to the position of the viewpoint changed by the observer 2C.
  • an example of use of the information processing apparatus 1 ⁇ / b> A is an example of use when observers 2 ⁇ / b> B and 2 ⁇ / b> C existing in a remote place and an observer 3 perform joint work. It is. Specifically, the observers 2B and 2C and the person to be observed 3 wear a transmissive or shielded head-mounted display device, respectively, and the observers 2B and 2C are virtual space images corresponding to the real space 7. Is visible. In addition, the person to be observed 3 visually recognizes an image in which images representing the viewpoint positions of the observers 2B and 2C are superimposed on the real space 7. In the virtual space visually recognized by the viewers 2B and 2C, desks and chairs that exist in the real space 7 may be arranged as virtual objects.
  • the image 30 of the person to be observed 3 and the image 20B of the observer 2B are displayed in the virtual space image 73 visually recognized by the observer 2C.
  • the image 20B of the observer 2B existing in the remote place is distinguished from the image 30 of the observer 3 existing in the real space 7, and for example, only the head image may be displayed.
  • the observer 2C can change the viewpoint (that is, the position and orientation of the virtual camera) in the virtual space by instructing the control of the angle of view of the virtual camera at the reference point based on the line-of-sight information.
  • the observer 2 ⁇ / b> C can support collaborative work for the person to be observed 3 while freely changing the viewpoint in the virtual space.
  • images 20B and 20C representing the position and orientation of the virtual camera are displayed at positions corresponding to the viewpoints of the observers 2B and 2C.
  • the positions of the images 20B and 20C representing the position and orientation of the virtual camera are also changed to corresponding positions. According to this, since the person to be observed 3 can grasp from which position the observers 2B and 2C are viewing, it is possible to perform smoother communication.
  • the images 20B and 20C representing the position and orientation of the virtual camera may be, for example, images of the heads of the observers 2B and 2C, or may be images of fireballs or light balls, for example. .
  • an example of use of the information processing apparatus 1 ⁇ / b> A is an example of use when observers 2 ⁇ / b> B and 2 ⁇ / b> C existing in a remote place and an observer 3 perform joint work. It is. Specifically, the observers 2B and 2C wear transmissive or shielded head-mounted display devices, respectively, and the observers 2B and 2C visually recognize an image of the virtual space corresponding to the real space 7. In addition, the person to be observed 3 does not visually recognize the transmissive or shielded head mounted display device and other display devices, and communicates with the observers 2B and 2C only by voice. In the virtual space visually recognized by the viewers 2B and 2C, desks and chairs that exist in the real space 7 may be arranged as virtual objects.
  • the image 30 of the person to be observed 3 and the image 20B of the observer 2B are displayed in the virtual space image 74 visually recognized by the observer 2C.
  • the observer 2C can change the viewpoint (that is, the position and orientation of the virtual camera) in the virtual space by instructing the control of the angle of view of the virtual camera at the reference point based on the line-of-sight information.
  • the observer 2 ⁇ / b> C can support collaborative work for the person to be observed 3 while freely changing the viewpoint in the virtual space.
  • the observer 3 listens as if the sounds of the observers 2B and 2C are emitted from the positions corresponding to the viewpoints of the observers 2B and 2C by the three-dimensional sound field control technology. For example, when the observers 2B and 2C change the viewpoint in the virtual space, the position that the observer 3 feels that the sounds of the observers 2B and 2C are emitted is also changed to the position after the viewpoint is changed. According to this, the person to be observed 3 can grasp from which position the observers 2B and 2C are visually recognizing from the position where the sound is emitted, and therefore can perform smoother communication.
  • the observer 8 receives the sounds of the observers 2B and 2C or the alert sound as the object 8 It may be heard as if emanating from. According to this, it is possible to alert the subject 8 to the subject 3 by voice. Therefore, the person to be observed 3 can perform smoother collaborative work with the observers 2B and 2C.
  • FIG. 16 is an explanatory diagram illustrating an information processing apparatus 1A according to a first modification of the present embodiment.
  • FIG. 17 is an explanatory diagram illustrating an information processing apparatus 1A according to a second modification of the present embodiment.
  • the information processing apparatus 1 ⁇ / b> A controls to hide the image of the head and body 392 of the person to be observed 3 and display only the hand 391 of the person to be observed 3. May be.
  • the information processing apparatus 1A generates an image of a virtual space that allows the observer 2 to clearly see the hand of the person 3 to be observed, and supports the work 3 to the person 3 to be observed by the observer 2 Can be made easier.
  • the information processing apparatus 1A when the virtual camera enters the inside of the person 3 to be observed, the information processing apparatus 1A according to the present modification displays only the frame (that is, the outline) of the image of the head 3 and the body part 392 of the person 3 to be observed. It is good. Thereby, the information processing apparatus 1 ⁇ / b> A allows the observer 2 to visually recognize the hand of the person to be observed 3 through the head and the body part 392 of the person to be observed 3. Furthermore, the information processing apparatus 1 ⁇ / b> A according to the present modified example pays attention to the observer 2 about the color of the image of the head and the body part 392 of the observer 3 when the virtual camera enters the inside of the observer 3. You may change it to a color to evoke. Thereby, the information processing apparatus 1 ⁇ / b> A can make the observer 2 clearly recognize that the virtual camera has entered the inside of the person to be observed 3.
  • the head and body 392 of the person to be observed 3 and the hand part 391 can be distinguished by, for example, pattern recognition of an image of the person to be observed 3 captured by an imaging device or the like by image analysis using a machine learning algorithm. Can be determined.
  • this modification is not limited to the case where the virtual camera enters the inside of the person 3 to be observed.
  • the information processing apparatus 1A when the virtual camera enters the inside of an object such as a desk in the virtual space, the information processing apparatus 1A according to the present modification hides a part of the entered object, thereby virtualizing the observer 2 A visual field of space may be secured. According to this, the information processing apparatus 1A prevents the images of a plurality of objects in the virtual space from being superimposed even when a virtual camera enters the inside of the object in the virtual space, and has high visibility. An image of the virtual space can be generated.
  • the depth sensor 9 ⁇ / b> A or 9 ⁇ / b> B is used to generate an image of the virtual space corresponding to the observer 3 in the real space 7.
  • the depth sensor 9A may be installed on a desk or the like, and the depth sensor 9B may be installed on a flying body such as a drone.
  • the depth sensor measures the distance from the sensor to the object, only depth information from one direction can be measured. Therefore, when the angle of view of the virtual camera is rotated, there is a possibility that the depth information is not measured in the real space 7 and an area where the virtual space is not generated is included in the angle of view of the virtual camera. Therefore, in this modification, by controlling the position and orientation of the depth sensor along with the control of the angle of view of the virtual camera, the area where the depth information is not measured and the virtual space is not generated is the image of the virtual camera. It is suppressed from being included in the corner.
  • the depth sensor 9A installed on a desk or the like, even if the direction of measuring the depth information is changed by rotating the direction of the depth sensor 9A up, down, left, or right in accordance with the control of the angle of view of the virtual camera. Good. Thereby, it can suppress that the area
  • the direction in which the depth information is measured may be changed by controlling the position and orientation of the flying object in accordance with the control of the angle of view of the virtual camera.
  • the direction in which the depth information is measured is changed by controlling the flying body so that the position and orientation of the virtual camera in the virtual space coincide with the position and orientation of the depth sensor 9B installed in the flying body in the real space. May be. Thereby, it can suppress that the area
  • the information processing apparatus 1A can perform the above-described control by outputting information about the position and orientation of the virtual camera to the depth sensors 9A and 9B. According to this, even when there are few depth sensors for generating the virtual space, the information processing apparatus 1A can efficiently generate the virtual space and provide the observer 2 with a convenient virtual space image. it can.
  • FIG. 18 is a block diagram illustrating a hardware configuration example of the information processing apparatus 1 according to each embodiment.
  • Information processing by the information processing apparatus 1 according to each embodiment is realized by cooperation between software and hardware.
  • the information processing apparatus 1 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 203, a RAM (Random Access Memory) 205, a bridge 211, internal buses 207 and 209, and the like.
  • the CPU 201 functions as an arithmetic processing unit and a control unit, and controls the overall operation of the information processing apparatus 1 according to various programs stored in the ROM 203 or the like.
  • the ROM 203 stores programs and calculation parameters used by the CPU 201
  • the RAM 205 temporarily stores programs used in the execution of the CPU 201, parameters that change as appropriate in the execution, and the like.
  • the CPU 201 may execute functions such as the reference point setting unit 110, the control unit 130, and the image generation unit 160.
  • the CPU 201, ROM 203, and RAM 205 are connected to each other by a bridge 211, internal buses 207 and 209, and the like.
  • the CPU 201, the ROM 203, and the RAM 205 are also connected to the input device 215, the output device 217, the storage device 219, the drive 221, the connection port 223, and the communication device 225 via the interface 213.
  • the input device 215 includes an input device for inputting various information such as a touch panel, a keyboard, a mouse, a button, a microphone, a switch, and a lever, and sensors for measuring various information such as an imaging device, a depth sensor, and an infrared sensor.
  • the input device 215 also includes an input control circuit for generating an input signal based on input or measured information and outputting it to the CPU 201.
  • the input device 215 may execute functions such as the gazing point detection unit 100, the view angle control information acquisition unit 120, and the interference information acquisition unit 170.
  • the output device 217 is, for example, a transmissive or shielded head-mounted display device, a dome-type display capable of displaying an image on the entire sky, a display device such as a liquid crystal display device and an organic electroluminescence display device, or a three-dimensional image.
  • 3D display devices and various display devices such as projector display devices capable of displaying two-dimensional images or three-dimensional images, and sound output devices such as speakers and headphones.
  • the storage device 219 is a data storage device configured as an example of a storage unit of the information processing device 1.
  • the storage device 219 may include a storage medium, a storage device that stores data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes stored data.
  • the drive 221 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 1.
  • the drive 221 reads information stored in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 203.
  • the drive 221 can also write information on a removable storage medium.
  • connection port 223 is a connection interface composed of connection ports for connecting externally connected devices such as a USB port, an Ethernet port, an IEEE 802.11 standard port, and an optical audio terminal, for example.
  • the connection port 223 may execute functions such as the input unit 140 and the output unit 180.
  • the connection port 223 may execute functions such as the image information output unit 150.
  • the communication device 225 is a communication interface configured by a communication device for connecting to the network 10 such as a public line network.
  • the communication device 225 may be a cable communication device that performs wired cable communication, or may be a wired or wireless LAN compatible communication device.
  • the communication device 225 may execute the function of the output unit 180.
  • the image of the virtual space at the reference point set based on the gaze point or the gaze target of the observer 2 Controls the angle of view of the virtual camera that defines Thereby, the information processing apparatus 1 can make the observer 2 visually recognize an image in a highly convenient virtual space without causing the object visually recognized by the observer 2 to deviate from the angle of view of the virtual camera.
  • information on the position and orientation of the virtual camera that represents the viewpoint of the observer 2 with respect to the real space 7 in which the observer 3 is present. Can be output.
  • the information processing apparatus 1A can notify the observer 3 from which position the observer 2 is viewing, the information processing apparatus 1A can perform smoother communication.
  • the information processing apparatus 1A it is possible to output information related to interference by the observer 2 to the real space 7 in which the observer 3 exists.
  • the information processing apparatus 1 ⁇ / b> A can improve the efficiency of joint work between the person to be observed 3 and the observer 2.
  • a control unit that controls an angle of view of a virtual camera that defines an image of the virtual space based on an observer's gaze point or gaze target with respect to the image of the virtual space;
  • An image information output unit that outputs information about the image of the virtual space;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the control unit controls an angle of view of the virtual camera so that the gaze point or the gaze target is included in an image of the virtual space.
  • a reference point setting unit for setting a reference point in the virtual space based on the gaze point or the gaze target The information processing apparatus according to (1) or (2), wherein the control unit controls an angle of view of the virtual camera so that the reference point is included in an image of the virtual space.
  • the control unit rotates an angle of view of the virtual camera with the reference point as a rotation center.
  • the control unit moves an angle of view of the virtual camera.
  • a gaze point detection unit that detects the gaze point of the observer in the image of the virtual space based on the line-of-sight information of the observer
  • the reference point setting unit sets the gazing point of the observer at a predetermined timing as the reference point.
  • a gaze point detection unit that detects the gaze point of the observer in the image of the virtual space based on the line-of-sight information of the observer
  • the reference point setting unit sets, as the reference point, a point obtained by moving and averaging the gazing point of the observer over a predetermined period.
  • the information processing apparatus controls an angle of view of the virtual camera according to a movement of the head of the observer.
  • the control unit controls the angle of view of the virtual camera so that the direction of movement of the head of the observer and the direction of movement of the angle of view of the virtual camera are symmetric with respect to the reference point.
  • the information processing apparatus according to any one of (3) to (6).
  • the controller is configured to switch whether the angle of view of the virtual camera is fixed, or can be moved or rotated, based on input from the observer or line-of-sight information of the observer.
  • the information processing apparatus according to any one of (9).
  • the information processing apparatus according to any one of (1) to (10), wherein the virtual space is a three-dimensional space including an observer.
  • the information processing apparatus according to any one of (1) to (11), wherein the image of the virtual space is generated based on depth information measured by a depth sensor.
  • the information processing apparatus according to (12), wherein an orientation of the depth sensor is controlled according to an angle of view of the virtual camera.
  • the depth sensor is provided in a flying object, The information processing apparatus according to (13), wherein the flying object is controlled according to an angle of view of the virtual camera.
  • the information processing apparatus according to any one of (1) to (14), further including an output unit that outputs information related to a position and an orientation of the virtual camera in the virtual space.
  • the information processing apparatus according to any one of (1) to (15), further including an output unit that outputs information related to the observer's interference with the real space corresponding to the virtual space.
  • an output unit that outputs information related to the observer's interference with the real space corresponding to the virtual space.
  • An image information output unit that outputs information about the image of the virtual space;
  • a program that functions as

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】より利便性が高い仮想空間の画像を観察者に視認させる情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、前記仮想空間の画像に関する情報を出力する画像情報出力部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、観察者に対する出力インタフェースとして、仮想空間の画像を用いることが検討されている。
　例えば、下記の特許文献１に開示されるようなテレビ会議システムにおいて、仮想空間の画像を適用することが検討されている。具体的には、テレビ会議システムにおいて、実空間の画像ではなく、空間内を自由に視点変更することが可能な仮想空間の画像を観察者に視認させることが検討されている。このような場合、観察者は、様々な視点の画像を視認することができるため、より多くの情報を知覚することができる。
　このような仮想空間の画像における視点の変更は、一般的に仮想空間の画像を規定する仮想カメラの画角を、仮想空間の原点を基準として制御することによって行われる。
特開２００９－８１８８１号公報
　しかしながら、観察者が視認したい対象とは無関係な仮想空間の原点を基準として仮想カメラの画角が制御された場合、観察者は視認したい対象を見失いやすかった。したがって、上記の方法によって制御された仮想カメラの画角に含まれる仮想空間の画像は、観察者にとって利便性が低かった。
　そこで、本開示では、より利便性が高い仮想空間の画像を観察者に視認させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、前記仮想空間の画像に関する情報を出力する画像情報出力部と、を備える、情報処理装置が提供される。
　また、本開示によれば、演算処理装置により、仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御することと、前記仮想空間の画像に関する情報を出力することと、を含む、情報処理方法が提供される。
　さらに、本開示によれば、コンピュータを仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、前記仮想空間の画像に関する情報を出力する画像情報出力部と、として機能させる、プログラムが提供される。
　本開示によれば、観察者が視認したい対象に基づいて仮想カメラの画角を制御することが可能である。
　以上説明したように本開示によれば、観察者は、より利便性が高い仮想空間の画像を視認することが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理装置の概要を説明する説明図である。 比較例に係る仮想カメラの画角の制御を説明する説明図である。 同実施形態に係る仮想カメラの画角の制御を説明する説明図である。 同実施形態に係る情報処理装置の機能構成を説明するブロック図である。 仮想カメラの画角の回転を説明する説明図である。 仮想カメラのズームインまたはズームアウトを説明する説明図である。 仮想カメラのズームインにおける画像例を示す説明図である。 仮想カメラの平行移動を説明する説明図である。 仮想カメラの平行移動における画像例を示す説明図である。 画像生成部が生成するポイントクラウド画像を示す模式図である。 画像生成部が生成するメッシュ画像を示す模式図である。 同実施形態に係る情報処理装置の動作の一例を示すフローチャート図である。 同実施形態に係る情報処理装置の第１の用途例を説明する説明図である。 同実施形態に係る情報処理装置の第２の用途例を説明する説明図である。 本開示の第２の実施形態に係る情報処理装置の機能構成を示したブロック図である。 同実施形態に係る情報処理装置の使用例を説明する説明図である。 同実施形態に係る情報処理装置の使用例を説明する説明図である。 同実施形態に係る情報処理装置の使用例を説明する説明図である。 同実施形態の第１の変形例に係る情報処理装置について説明する説明図である。 同実施形態の第２の変形例に係る情報処理装置について説明する説明図である。 本開示の各実施形態に係る情報処理装置のハードウェア構成例を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１．１．情報処理装置の概要
　　１．２．情報処理装置の構成
　　１．３．情報処理装置の動作
　　１．４．情報処理装置の用途
　２．第２の実施形態
　　２．１．情報処理装置の構成
　　２．２．情報処理装置の用途
　　２．３．変形例
　３．ハードウェア構成例
　４．まとめ
　＜１．第１の実施形態＞
　［１．１．情報処理装置の概要］
　まず、図１～図２Ｂを参照して、本開示の一実施形態に係る情報処理装置の概要について説明する。図１は、本実施形態に係る情報処理装置の概要を説明する説明図である。また、図２Ａは、比較例に係る仮想カメラの画角の制御を説明する説明図であり、図２Ｂは、本実施形態に係る仮想カメラの画角の制御を説明する説明図である。
　図１に示すように、本実施形態に係る情報処理装置は、観察者２によって視認される仮想空間の画像５を生成するものである。仮想空間とは、情報処理装置が実行する情報処理によって構築された仮想上の三次元空間である。また、仮想空間の画像５とは、該仮想空間の所定の位置に設置された仮想カメラにて、該仮想空間を撮像した場合に得られる画像である。
　このような仮想空間の画像５は、例えば、テレビ電話、およびテレビ会議などに用いることができる。例えば、仮想空間の画像５は、遠隔地の実空間に存在する被観察者の画像３０を含む画像であってもよい。
　仮想空間の画像５の内容は、上述したように仮想空間内に設定された仮想カメラの画角によって規定される。情報処理装置は、仮想カメラの画角を制御することによって、観察者２に視認される仮想空間の画像５を変更することができる。具体的には、情報処理装置は、仮想空間内における仮想カメラの位置および向きを制御することにより、様々な視点からの仮想空間の画像を観察者２に視認させることができる。
　ここで、観察者２によって視認されている対象とは無関係な固定点（例えば、仮想空間における原点など）を回転中心として仮想カメラの画角を回転させる場合、観察者２により視認されている対象を仮想カメラの画角の中央に捉え続けることは困難であった。
　例えば、図２Ａに示す被観察者の画像３１を含む仮想空間の画像５１Ａにおいて、仮想空間の固定点４１を回転中心として仮想カメラの画角を回転させた場合、回転後の画像５１Ｂでは、被観察者の画像３１は、画像５１Ｂの中央から外れた位置に移動してしまう。これは、仮想カメラの画角を回転させる場合、回転中心から対象が離れるほど、回転によって対象が大きく移動してしまうためである。
　すなわち、このような仮想カメラの画角の制御では、観察者２が視認したい対象を中央に捉えたまま、仮想カメラの位置および向きを制御することは困難であった。特に、仮想カメラの画角の回転中心である固定点と、視認したい対象との距離が離れている場合、小さな画角の回転でも視認したい対象が仮想カメラの画角から外れてしまうことがあり、利便性が低かった。
　一方、本実施形態に係る情報処理装置は、仮想空間の画像における観察者２の注視点または注視対象に基づいて仮想カメラの画角を制御する。例えば、図２Ｂに示す被観察者の画像３２を含む仮想空間の画像５２Ａにおいて、画像５２Ａの中から観察者２の視線情報に基づいて注視点を検出し、検出した注視点に基づいた基準点４２を回転中心として仮想カメラの画角を回転させる。このような場合、回転後の画像５２Ｂでは、被観察者の画像３２を画像５２Ｂの中央に位置させることができる。これは、多くの場合、観察者２は、視認したい対象を注視しているため、観察者２の注視点に基づいた基準点４２を回転中心として仮想カメラの画角を回転させることによって、観察者２が視認している対象の移動量を小さくすることができるためである。
　このような本実施形態に係る情報処理装置によれば、観察者２が視認したい対象を仮想空間の画像の中央に捉えたまま、仮想カメラの画角を制御し、仮想空間内を自由に視点変更することができる。また、本実施形態に係る情報処理装置によれば、仮想カメラの画角が変更された際に、観察者２によって視認されている対象が仮想カメラの画角から外れ、観察者２が視認していた対象を見失うことを防止することができる。したがって、本実施形態に係る情報処理装置は、観察者２に対する仮想空間の画像の利便性を向上させることができる。
　さらに、本実施形態に係る情報処理装置によれば、仮想カメラの画角を制御するための基準となる点を仮想空間内において動的に変更することができる。このような場合、観察者２は、視認したい対象を注視することによって、仮想カメラの画角の制御の基準点を変更することができる。これにより、本実施形態に係る情報処理装置は、観察者２に直感的に仮想カメラの位置および向きを変更させることができ、様々な視点の仮想空間の画像を視認させることが可能である。
　なお、本実施形態に係る情報処理装置は、仮想空間の画像を表示する表示装置であってもよく、仮想空間の画像を生成し、外部の表示装置に画像情報を出力する情報処理装置であってもよい。例えば、本実施形態に係る情報処理装置は、透過型または遮蔽型のヘッドマウントディスプレイ装置、全天周に画像を表示することができるドーム型ディスプレイ、液晶表示装置および有機エレクトロルミネッセンス表示装置などの表示装置、三次元画像を表示可能な３Ｄ表示装置、ならびに二次元画像または三次元画像を表示することができるプロジェクタ表示装置などであってもよく、これらの表示装置に画像情報を出力する情報処理装置であってもよい。
　ここで、本実施形態に係る情報処理装置にて生成される仮想空間の画像は、例えば、実空間に設置された撮像装置によって撮像された画像に基づいて生成されたものであってもよく、実空間に設置された各種センサの測定結果に基づいて生成されたものであってもよい。また、仮想空間の画像は、実空間の情報等に基づかずに生成されたものであってもよいことは言うまでもない。具体的には、仮想空間の画像は、実空間に設置された少なくとも１つ以上のデプスセンサによって測定されたデプス情報に基づいて生成されたポイントクラウド画像であってもよい。ここで、デプスセンサとは、センサから対象までの距離を測定し、測定した距離をデプス情報として出力することが可能なセンサである。また、ポイントクラウド画像とは、デプスセンサから対象までの距離に基づいて、対象を仮想空間上に配置された点の集合として表現した画像である。
　［１．２．情報処理装置の構成］
　次に、図３～図８を参照して、本実施形態に係る情報処理装置の構成を説明する。図３は、本実施形態に係る情報処理装置１の機能構成を説明するブロック図である。
　図３に示すように、情報処理装置１は、注視点検出部１００と、基準点設定部１１０と、画角制御情報取得部１２０と、制御部１３０と、入力部１４０と、画像情報出力部１５０と、画像生成部１６０と、を備える。
　注視点検出部１００は、観察者２の注視点を検出する。注視点検出部１００が注視点を検出する方法は、公知の方法を用いることができる。例えば、注視点検出部１００は、撮像装置によって撮像された観察者２の画像を解析し、眼球の中心および瞳孔を検出することで注視点を検出してもよい。また、注視点検出部１００は、赤外線を観察者２の眼球に照射することで取得した角膜表面での反射光と、撮像装置により検出した瞳孔の位置とを用いて注視点を検出してもよい。
　さらに、注視点検出部１００は、観察者２の視線を検出し、観察者２の視線と仮想空間の画像（例えば、仮想空間において最前面の対象）との交点を観察者２の注視点としてもよい。また、注視点を検出するセンサの検出限界等により注視点が検出できず、観察者２の視線のみが検出される場合、注視点検出部１００は、観察者２の視線と、センサの検出限界との交点を観察者２の注視点としてもよい。
　基準点設定部１１０は、観察者２の注視点に基づいて、仮想空間内に基準点を設定する。具体的には、基準点設定部１１０は、注視点検出部１００によって検出された観察者２の注視点に基づいて、仮想空間内に仮想カメラの画角を制御するための基準点を設定する。なお、観察者２が仮想空間の画像を視認していない場合、基準点設定部１１０は、仮想空間内に基準点を設定しなくともよく、後述する制御部１３０は、仮想空間の画角の制御を行わなくともよい。
　例えば、基準点設定部１１０は、観察者２の注視点と基準点とが常に一致するように基準点を設定してもよい。また、基準点設定部１１０は、所定のタイミングにおける観察者２の注視点を基準点として設定し、一定周期（例えば、１分ごとなど）にて基準点を更新してもよい。また、基準点設定部１１０は、観察者２の注視点の移動量が所定の期間（例えば、５秒間など）、閾値未満である場合、当該タイミングにおける観察者２の注視点を基準点として設定してもよい。さらに、基準点設定部１１０は、観察者２の注視点を所定の期間（例えば、１０秒間など）にて移動平均した点を基準点として設定してもよい。
　画角制御情報取得部１２０は、仮想空間の画像を規定する仮想カメラの画角を制御することを指示する情報を取得する。具体的には、画角制御情報取得部１２０は、仮想空間の画像を規定する仮想カメラの位置および向きを制御することを指示する情報を取得する。
　例えば、画角制御情報取得部１２０は、観察者２からの入力を受け付ける入力装置を備え、該入力装置によって観察者２からの仮想カメラの画角を制御することを指示する情報が入力されてもよい。このような入力装置としては、例えば、タッチパネル、マウス、キーボード、ボタン、スイッチおよびレバーなどを例示することができる。
　また、画角制御情報取得部１２０は、観察者２の頭部の動きを検出し、観察者２の頭部の動きに関する情報を仮想カメラの画角を制御する情報として取得してもよい。なお、観察者２の頭部の動きは、例えば、撮像装置によって撮像された観察者２の画像の解析、または観察者２の頭部に備えられた加速度センサ等の測定により、検出することが可能である。
　制御部１３０は、観察者２の注視点に基づいて設定された基準点に基づいて、仮想カメラの画角を制御する。具体的には、制御部１３０は、画角制御情報取得部１２０により取得された仮想カメラの画角を制御することを指示する情報に応じて、基準点設定部１１０によって設定された基準点を用いて仮想カメラの画角を制御する。なお、制御部１３０は、観察者２から仮想カメラの画角を固定することを指示する入力を受けた場合、または視線情報から観察者２が仮想空間の画像を視認していないと判断される場合、仮想カメラの画角を固定するように制御を切り替えてもよい。
　例えば、画角制御情報取得部１２０が観察者２からの入力を受け付ける入力装置である場合、制御部１３０は、観察者２によって入力された仮想カメラの画角の回転の指示に応じて、基準点を回転中心として仮想カメラの画角を回転させてもよい。また、制御部１３０は、観察者２によって入力された仮想カメラのズームインまたはズームアウトの指示に応じて、基準点に対して仮想カメラをズームインまたはズームアウトさせてもよい。
　例えば、画角制御情報取得部１２０が観察者２の頭部の動きを検出するものである場合、制御部１３０は、観察者２の頭部の動きに応じて、基準点を回転中心として仮想カメラの画角を回転させてもよい。また、制御部１３０は、観察者２の頭部の動きに応じて、基準点に対して仮想カメラをズームインまたはズームアウトさせてもよく、観察者２の頭部の動きに応じて、基準点に対して仮想カメラを平行移動させてもよい。
　このような観察者２の頭部の動きに応じて、仮想カメラの動きおよび向きを制御する場合について、図４～図６Ｂを参照して、より具体的に説明する。図４は、仮想カメラの画角の回転を説明する説明図である。また、図５Ａは、仮想カメラのズームインまたはズームアウトを説明する説明図であり、図５Ｂは、仮想カメラのズームインにおける画像例を示す説明図である。さらに、図６Ａは、仮想カメラの平行移動を説明する説明図であり、図６Ｂは、仮想カメラの平行移動における画像例を示す説明図である。
　図４に示すように、観察者２の頭部が回転した場合、制御部１３０は、基準点を回転中心として仮想カメラの画角を回転させる。具体的には、制御部１３０は、観察者２の頭部の回転の方向と、仮想カメラの画角の回転の方向とが基準点を中心として対称になるように仮想カメラの画角を回転させる。このような制御によれば、制御部１３０は、観察者２に対して、より違和感が少ない仮想空間の画像を視認させることができる。また、制御部１３０は、仮想空間の画像５に被観察者の画像が含まれる場合、頭部を回転させた観察者２と、仮想空間の画像５の被観察者との視線が合うように仮想カメラの画角を回転させることができる。なお、観察者２の頭部の回転とは、図４に示す左右方向の回転に限らず、上下方向の回転（例えば、見上げる、または見下ろす動作による回転）をも含むことは言うまでもない。
　また、図５Ａに示すように、観察者２の頭部が仮想空間の画像５（すなわち、表示装置）に近づいた、または離れた場合、制御部１３０は、基準点に対して仮想カメラをズームインまたはズームアウトする。具体的には、制御部１３０は、観察者２の頭部が仮想空間の画像５に近づいた場合、仮想カメラを基準点に向かってズームインさせる。また、制御部１３０は、観察者２の頭部が仮想空間の画像から離れた場合、仮想カメラを基準点からズームアウトさせる。
　例えば、図５Ｂに示す被観察者の画像３３を含む仮想空間の画像５３Ａに対して、観察者２が頭部を接近させた場合、観察者２は、注視点に基づく基準点４２に向かってズームインした仮想空間の画像５３Ｂを視認することができる。このような場合、観察者２は、頭部の動きにより、直感的に仮想カメラを制御し、より違和感が少ない仮想空間の画像を視認することができる。
　また、図６Ａに示すように、観察者２の頭部が仮想空間の画像５（すなわち、表示装置）に対して左右に平行移動した場合、制御部１３０は、基準点に対して仮想カメラの画角を左右に平行移動させる。具体的には、制御部１３０は、観察者の頭部の仮想空間の画像５に対する平行移動の方向と、仮想カメラの画角の平行移動の方向とが基準点に対して対称になるように仮想カメラの画角を平行移動させる。このような制御によれば、制御部１３０は、観察者２が仮想空間の画像５に対して移動した場合でも、視認している対象が並進するように移動した仮想空間の画像５を観察者２に視認させることができる。
　例えば、図６Ｂに示す被観察者の画像３４を含む仮想空間の画像５４Ａに対して、観察者２が右側に平行移動した場合、観察者２は、基準点４２に対して、被観察者の画像３４が右側に平行移動した仮想空間の画像５４Ｂを視認することができる。このような場合、観察者２は、仮想空間の画像に対して平行移動した場合でも、視認している対象を正面に捉え続けることができる。
　さらに、制御部１３０は、上記の制御を複合して実行してもよい。具体的には、観察者２の頭部が回転した場合、制御部１３０は、基準点に対して仮想カメラを回転させ、かつ平行移動させてもよい。また、観察者２の頭部が平行移動した場合、制御部１３０は、基準点に対して仮想カメラを平行移動させ、かつ回転させてもよい。制御部１３０は、このような制御を複合して実行することにより、観察者２の頭部の動きに対して、より違和感のない自然な仮想カメラの制御を行うことができる。
　なお、観察者２の頭部の動き量に対応する仮想カメラの動き量は、観察者２が仮想空間の画像を視認するにあたって違和感が少なくなるように、適宜設定することが好ましい。また、上記の仮想カメラの動き量は、観察者２が仮想空間の画像中の被観察者に対して目線を合わせたいのか、観察者２が仮想空間の画像中の被観察者と共同作業をしたいのか、または観察者２が仮想空間の画像中の被観察者と空間を共有したいのか等の目的に基づいて設定されてもよい。
　入力部１４０には、仮想空間の画像を生成するための情報が入力される。例えば、入力部１４０は、実空間に設置された撮像装置、または各種センサ（例えば、デプスセンサ）などであってもよい。また、入力部１４０は、実空間に設置された撮像装置、または各種センサなどからの情報が入力されるＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）インタフェース、イーサネット（登録商標）インタフェース、ＩＥＥＥ８０２．１１規格インタフェース等の有線または無線の外部入力インタフェースであってもよい。
　画像情報出力部１５０は、仮想カメラの画角の制御に関する情報を含む仮想空間の画像に関する情報を出力する。また、画像情報出力部１５０は、入力部１４０に入力された仮想空間の画像を生成するための情報をさらに出力してもよい。例えば、画像情報出力部１５０は、仮想空間の画像に関する情報を画像生成部１６０に出力する内部バス、ブリッジまたはインタフェースなどであってもよく、仮想空間の画像に関する情報を情報処理装置１の外部に備えらえた画像生成部１６０に出力するＵＳＢインタフェース、イーサネットインタフェース、ＩＥＥＥ８０２．１１規格インタフェース等の有線または無線の外部出力インタフェースであってもよい。
　画像生成部１６０は、画像情報出力部１５０から出力された仮想空間の画像に関する情報に基づいて、仮想空間の画像を生成する。具体的には、画像生成部１６０は、入力部１４０に入力された仮想空間の画像を生成するための情報と、制御部１３０によって制御された仮想カメラの画角とに基づいて、仮想空間の画像を生成する。例えば、画像生成部１６０は、まず、仮想空間の画像を生成するための情報に基づいて仮想空間を生成し、次に、仮想カメラの画角に含まれる仮想空間の画像を生成してもよい。
　また、画像生成部１６０は、生成した仮想空間の画像において、観察者２の注視点を明示する画像を生成してもよい。このような場合、観察者２は、仮想カメラの画角を制御する際に、自身の注視点から制御の基準点を把握することができるため、より直感的に仮想カメラの画角の制御を指示することができる。
　ここで、画像生成部１６０が生成する仮想空間の画像について、図７および図８を参照して説明する。図７は、画像生成部１６０が生成するポイントクラウド画像を示す模式図であり、図８は、画像生成部１６０が生成するメッシュ画像を示す模式図である。
　図７に示すように、画像生成部１６０は、仮想空間内の対象をドット、キューブ、またはスクエアの集合にて表現したポイントクラウド画像を生成してもよい。ポイントクラウド画像とは、対象を仮想空間上に配置された点の集合として表現した画像である。具体的には、ポイントクラウド画像は、対象までの距離を測定するデプスセンサと、対象の色を検出する撮像装置とを用い、対象の色および立体形状を点の集合として表現することで生成される。
　デプスセンサが対象までの距離を測定する方法は、公知のものを使用することができるが、例えば、赤外線等を照射し、照射した赤外線の反射光が戻るまでの時間から対象までの距離を測定する方法、赤外線等でパターンを照射し、対象に映ったパターンの歪みから対象までの距離を測定する方法、またはステレオカメラにて撮像した画像をマッチングし、画像同士の視差から対象までの距離を測定する方法などを用いることができる。
　また、図８に示すように、画像生成部１６０は、対象をポリゴンなどで表現したメッシュ画像を生成してもよい。なお、画像生成部１６０による仮想空間の画像の表現方法としては、上記に限定されず、公知のものを使用することが可能である。
　このような構成により、本実施形態に係る情報処理装置１は、観察者２の注視点または注視対象に基づいて設定された基準点にて、仮想空間の画像を規定する仮想カメラの画角を制御することができる。これにより、情報処理装置１は、観察者２が視認したい対象を仮想空間の画像の中央に捉えたまま仮想カメラの画角を制御し、観察者２に仮想空間内を自由に視点変更させることができる。したがって、情報処理装置１は、観察者２に対して、視認したい対象が仮想カメラの画角から外れることが少なく、利便性が高い仮想空間の画像を視認させることができる。
　［１．３．情報処理装置の動作］
　続いて、図９を参照して、本実施形態に係る情報処理装置１の動作について説明する。図９は、本実施形態に係る情報処理装置１の動作の一例を示すフローチャート図である。ただし、以下で示す動作例は、あくまで例示であり、本実施形態に係る情報処理装置の動作が以下で示す例示に限定されるわけではない。
　図９に示すように、まず、入力部１４０からの情報に基づいて、画像生成部１６０は、画像カメラの画角に含まれる仮想空間の画像を生成する（Ｓ１０１）。ここで、入力部１４０からの情報とは、例えば、デプスセンサによって測定された実空間の対象のデプス情報、および撮像装置によって測定された実空間の対象の色情報などである。次に、画角制御情報取得部１２０を介して、観察者２による仮想カメラの画角の制御の指示を取得する（Ｓ１０３）。なお、観察者２による仮想カメラの画角の制御の指示とは、例えば、観察者２の頭部の動きなどである。
　続いて、注視点検出部１００は、仮想空間の画像における観察者２の注視点を検出し（Ｓ１０５）、基準点設定部１１０は、観察者２の注視点に基づいて、仮想空間内に基準点を設定する（Ｓ１０７）。次に、制御部１３０は、観察者２の指示に応じ、設定された基準点を用いて、仮想カメラの画角を制御する（Ｓ１０９）。さらに、画像情報出力部１５０は、仮想カメラの画角に関する情報を含む仮想空間の画像に関する情報を出力し、画像生成部１６０は、制御部１３０による制御後の仮想カメラの画角に含まれる仮想空間の画像を生成する。これにより、観察者２は、自由に仮想カメラの画角を制御し、仮想空間の画像を視認することができる。
　［１．４．情報処理装置の用途］
　次に、図１０および図１１を参照して、上記にて説明した本実施形態に係る情報処理装置１の用途例について説明する。図１０は、本実施形態に係る情報処理装置１の第１の用途例を説明する説明図であり、図１１は、本実施形態に係る情報処理装置１の第２の用途例を説明する説明図である。
　（第１の用途例）
　図１０に示すように、本実施形態に係る情報処理装置１の第１の用途例は、それぞれ離れた場所に存在する観察者２と、被観察者３との間で、画像および音声を介したコミュニケーションを行うためのテレビ電話またはテレビ会議システムである。
　具体的には、観察者２は、本実施形態に係る情報処理装置１を用いて、仮想空間の画像５Ａに含まれる被観察者の画像３０を視認しながらコミュニケーションを行うことができる。また、同様に、被観察者３は、本実施形態に係る情報処理装置１を用いて仮想空間の画像５Ｂに含まれる観察者の画像２０を視認しながら、コミュニケーションを行うことができる。このような場合、例えば、仮想空間の画像５Ａは、被観察者３が存在する実空間に基づいたものであってもよく、仮想空間の画像５Ｂは、観察者２が存在する実空間に基づいたものであってもよい。
　本実施形態に係る情報処理装置１によれば、観察者２は、仮想空間において視点変更するために、仮想カメラの画角を制御した場合でも、被観察者の画像３０が仮想カメラの画角から外れて見失うことを防止することができる。したがって、観察者２、および被観察者３は、より質が高いコミュニケーションを行うことができる。
　（第２の用途例）
　図１１に示すように、本実施形態に係る情報処理装置１の第２の用途例は、あらかじめ収録された時系列の仮想空間の画像５を順次再生することで、観察者２が事象（例えば、会議など）の画像３０Ａ、３０Ｂ、および３０Ｃを自由な視点にて視認することを可能にする画像再生装置である。
　具体的には、仮想空間の画像５は、遠隔地等の実空間に基づいたリアルタイムの画像ではなく、例えば、あらかじめ収録された会議または作業などの事象の画像である。観察者２は、仮想空間内を自由に視点変更しながら、時系列の仮想空間の画像５を視認することで、事象の画像３０Ａ、３０Ｂ、および３０Ｃを自由な視点で把握することができる。
　また、このような時系列の仮想空間の画像５は、実際の事象の速度に対して再生速度を可変として再生されてもよい。これによれば、時系列の仮想空間の画像５の再生速度を実際の事象の速度よりも速くすることで、観察者２は、実際の時間よりも短時間で事象を把握することが可能である。また、時系列の仮想空間の画像５の再生速度を実際の事象の速度よりも遅くすることで、観察者２は、より深く事象を把握することも可能である。
　本実施形態に係る情報処理装置１によれば、観察者２は、注視点または注視対象に基づいた基準点を用いて、仮想カメラの画角を制御することができるため、過去の事象を再生した仮想空間の画像を自由な視点で視認することができる。したがって、観察者２は、再生した過去の事象を様々な視点で多面的に把握することができる。
　以上にて、本開示の第１の実施形態に係る情報処理装置１について、詳細に説明した。
　＜２．第２の実施形態＞
　次に、図１２～図１７を参照して、本開示の第２の実施形態に係る情報処理装置について説明する。
　本実施形態に係る情報処理装置は、１対１、または１対複数による共同作業を行うためのものであり、被観察者３に対して、観察者２の視点である仮想カメラの位置および向きを通知する手段を備えるものである。また、本実施形態に係る情報処理装置は、共同作業を円滑に行うために、被観察者３に対する観察者２からの操作および指示などの干渉に関する情報を出力する手段を備えるものである。
　［２．１．情報処理装置の構成］
　まず、図１２を参照して、本実施形態に係る情報処理装置の構成について説明する。図１２は、本実施形態に係る情報処理装置１Ａの機能構成を示したブロック図である。
　図１２に示すように、情報処理装置１Ａは、注視点検出部１００と、基準点設定部１１０と、画角制御情報取得部１２０と、制御部１３０と、入力部１４０と、画像情報出力部１５０と、画像生成部１６０と、干渉情報取得部１７０と、出力部１８０と、を備える。
　なお、注視点検出部１００、基準点設定部１１０、画角制御情報取得部１２０、制御部１３０、入力部１４０、画像情報出力部１５０、および画像生成部１６０の具体的な構成については、第１の実施形態にて説明した構成と実質的に同様であるため、ここでの詳細な説明は省略する。
　干渉情報取得部１７０は、仮想空間に対応し、被観察者３が存在する実空間への観察者２からの干渉に関する情報を取得する。具体的には、干渉情報取得部１７０は、観察者２から被観察者３に対する共同作業の注意喚起および操作などの干渉に関する情報を取得する。例えば、干渉情報取得部１７０は、観察者２から、実空間内の特定の対象へ被観察者３の注意を向けるための注意喚起を促す情報を取得してもよい。また、干渉情報取得部１７０は、観察者２から、実空間内の機器（例えば、空調機器、照明機器、および情報機器など）を操作するための操作情報を取得してもよい。
　このような干渉情報取得部１７０は、例えば、観察者２からの入力を受け付ける入力装置を備えており、該入力装置によって上記の干渉情報が入力されることで、実空間への干渉情報を取得する。観察者２からの入力を受け付ける入力装置としては、例えば、タッチパネル、マウス、キーボード、ボタン、マイクロフォン、スイッチおよびレバーなどを例示することができる。
　出力部１８０は、仮想空間における仮想カメラの位置および向きに関する情報を出力する。仮想カメラの位置および向きに関する情報は、例えば、被観察者３に対して、観察者２の視点を通知するために用いられる。
　例えば、被観察者３が透過型または遮蔽型のヘッドマウントディスプレイ装置を装着している場合、観察者２の視点は、仮想カメラの位置および向きを表す画像を仮想空間の画像に重畳することによって被観察者３に通知されてもよい。また、被観察者３がヘッドマウントディスプレイ装置以外の表示装置を視認している場合、観察者２の視点は、仮想カメラの位置および向きを表す画像を該表示装置に表示させることによって被観察者３に通知されてもよい。ここで、仮想カメラの位置および向きを表す画像とは、例えば、観察者２の頭部の画像、火の玉、および光球などであってもよい。
　例えば、被観察者３がヘッドフォン、イヤフォン、スピーカ等によって音声を聴取している場合、観察者２の視点は、３次元音場制御により、被観察者３の音声が仮想カメラの位置および向きを表す位置から発せられたように再生されることによって被観察者３に通知されてもよい。
　また、出力部１８０は、干渉情報取得部１７０により取得された仮想空間に対応する実空間への干渉に関する情報を出力する。実空間への干渉に関する情報は、例えば、被観察者３に対して、共同作業を支援するために用いられる。
　例えば、被観察者３が透過型または遮蔽型のヘッドマウントディスプレイ装置を装着している場合、特定の対象への注意喚起は、アラート画像を仮想空間の画像に重畳することによって被観察者３に通知されてもよい。また、被観察者３がヘッドマウントディスプレイ装置以外の表示装置を視認している場合、特定の対象への注意喚起は、文字、またはアラート画像を該表示装置に表示させることによって被観察者３に通知されてもよい。ここで、アラート画像とは、点滅する光源の画像、矢印の画像などであってもよい。
　例えば、被観察者３がヘッドフォン、イヤフォン、スピーカ等によって音声を聴取している場合、特定の対象への注意喚起は、３次元音場制御により、アラート音声が特定の対象が存在する位置から発せられたように再生されることによって被観察者３に通知されてもよい。
　また、出力部１８０は、ネットワークを介して情報処理装置１Ａと接続された実空間内の機器（例えば、空調機器、照明機器、および情報機器など）に対して、観察者２からの操作情報を出力することにより、被観察者３に代わって観察者２が実空間内の機器を操作できるようにしてもよい。
　このような出力部１８０は、例えば、通信網と接続可能な有線によるケーブル通信を行うケーブル通信装置、有線または無線ＬＡＮ対応通信装置であってもよい。また、出力部１８０は、例えば、ＵＳＢインタフェース、イーサネットインタフェース、ＩＥＥＥ８０２．１１規格インタフェース等の有線または無線の外部出力インタフェースであってもよい。出力部１８０は、例えば、ネットワーク等を介して、これらの情報を被観察者３が存在する実空間に出力することにより、上記の制御を行うことができる。
　このような構成により、出力部１８０から被観察者３に対して、仮想カメラの位置および向きに関する情報を出力することができるため、観察者２は、被観察者３との共同作業を円滑に進めることが可能である。また、出力部１８０から被観察者３が存在する実空間に対して、観察者２の干渉に関する情報を出力することができるため、観察者２は、被観察者３との共同作業を支援することが可能である。
　［２．２．情報処理装置の使用例］
　次に、図１３～図１５を参照して、本実施形態に係る情報処理装置１Ａの使用例について説明する。図１３～図１５は、本実施形態に係る情報処理装置１Ａの使用例を説明する説明図である。
　図１３に示すように、本実施形態に係る情報処理装置１Ａの一使用例は、それぞれ別の遠隔地に存在する観察者２Ａ、２Ｂ、および２Ｃが共通の仮想空間内にてテレビ会議などを行う場合の使用例である。具体的には、観察者２Ａ、２Ｂ、および２Ｃは、それぞれ透過型または遮蔽型のヘッドマウントディスプレイ装置を装着し、共通の仮想空間の画像を視認することによって仮想空間を共有している。なお、仮想空間には、例えば、机および椅子などの仮想オブジェクトが配置されていてもよい。
　例えば、観察者２Ｃが視認する仮想空間の画像７１には、観察者２Ａおよび２Ｂの画像２０Ａおよび２０Ｂが表示される。また、観察者２Ｃは、視線情報に基づいた基準点にて仮想カメラの画角の制御を指示することによって、仮想空間における視点（すなわち、仮想カメラの位置および向き）を変更することができる。これによれば、観察者２Ｃは、仮想空間内を自由に視点変更しながら、観察者２Ａおよび２Ｂとのテレビ会議等に参加することができる。なお、観察者２Ｃが視点変更した場合、観察者２Ａおよび２Ｂが視認する仮想空間の画像において、観察者２Ｃの画像は、観察者２Ｃが変更した視点の位置に移動していることが好ましい。
　また、図１４に示すように、本実施形態に係る情報処理装置１Ａの一使用例は、遠隔地に存在する観察者２Ｂおよび２Ｃと、被観察者３とが共同作業を行う場合の使用例である。具体的には、観察者２Ｂおよび２Ｃ、および被観察者３は、それぞれ透過型または遮蔽型のヘッドマウントディスプレイ装置を装着し、観察者２Ｂおよび２Ｃは、実空間７に対応する仮想空間の画像を視認している。また、被観察者３は、実空間７に観察者２Ｂおよび２Ｃの視点位置を表す画像が重畳された画像を視認している。なお、観察者２Ｂおよび２Ｃが視認する仮想空間には、実空間７に存在する机および椅子などが仮想オブジェクトとして配置されていてもよい。
　例えば、観察者２Ｃが視認する仮想空間の画像７３には、被観察者３の画像３０、および観察者２Ｂの画像２０Ｂが表示される。ここで、遠隔地に存在する観察者２Ｂの画像２０Ｂは、実空間７に存在する被観察者３の画像３０と区別されて、例えば、頭部の画像のみが表示されてもよい。また、観察者２Ｃは、視線情報に基づいた基準点にて仮想カメラの画角の制御を指示することによって、仮想空間における視点（すなわち、仮想カメラの位置および向き）を変更することができる。これによれば、観察者２Ｃは、仮想空間内を自由に視点変更しながら、被観察者３に対して、共同作業の支援を行うことができる。
　また、被観察者３が視認する画像７２には、観察者２Ｂおよび２Ｃの視点に対応する位置に仮想カメラの位置および向きを表す画像２０Ｂおよび２０Ｃが表示される。例えば、観察者２Ｂおよび２Ｃが仮想空間において視点変更した場合、仮想カメラの位置および向きを表す画像２０Ｂおよび２０Ｃの位置も対応する位置に変更される。これによれば、被観察者３は、観察者２Ｂおよび２Ｃがいずれの位置から視認しているかを把握することができるため、より円滑なコミュニケーションを行うことができる。なお、仮想カメラの位置および向きを表す画像２０Ｂおよび２０Ｃは、例えば、観察者２Ｂおよび２Ｃの頭部の画像であってもよく、他にも火の玉、または光球などの画像であってもよい。
　さらに、図１５に示すように、本実施形態に係る情報処理装置１Ａの一使用例は、遠隔地に存在する観察者２Ｂおよび２Ｃと、被観察者３とが共同作業を行う場合の使用例である。具体的には、観察者２Ｂおよび２Ｃは、それぞれ透過型または遮蔽型のヘッドマウントディスプレイ装置を装着し、観察者２Ｂおよび２Ｃは、実空間７に対応した仮想空間の画像を視認している。また、被観察者３は、透過型または遮蔽型のヘッドマウントディスプレイ装置および他の表示装置等を視認しておらず、観察者２Ｂおよび２Ｃと音声のみにてコミュニケーションを行っている。なお、観察者２Ｂおよび２Ｃが視認する仮想空間には、実空間７に存在する机および椅子などが仮想オブジェクトとして配置されていてもよい。
　例えば、観察者２Ｃが視認する仮想空間の画像７４には、被観察者３の画像３０、および観察者２Ｂの画像２０Ｂが表示される。また、観察者２Ｃは、視線情報に基づいた基準点にて仮想カメラの画角の制御を指示することによって、仮想空間における視点（すなわち、仮想カメラの位置および向き）を変更することができる。これによれば、観察者２Ｃは、仮想空間内を自由に視点変更しながら、被観察者３に対して、共同作業の支援を行うことができる。
　また、被観察者３には、三次元音場制御技術により、観察者２Ｂおよび２Ｃの音声が観察者２Ｂおよび２Ｃの視点に対応する位置から発せられたように聴取される。例えば、観察者２Ｂおよび２Ｃが仮想空間において視点変更した場合、観察者２Ｂおよび２Ｃの音声が発せられたと被観察者３が感じる位置も視点変更後の位置に変更される。これによれば、被観察者３は、観察者２Ｂおよび２Ｃがいずれの位置から視認しているかを音声が発せられた位置によって把握することができるため、より円滑なコミュニケーションを行うことができる。
　さらに、観察者２Ｂおよび２Ｃが実空間７内の対象８を指し示し、被観察者３の注意喚起をした場合、被観察者３には、観察者２Ｂおよび２Ｃの音声、またはアラート音声が対象８から発せられたように聴取されてもよい。これによれば、被観察者３に対して、音声によって対象８への注意喚起を行うことができる。したがって、被観察者３は、観察者２Ｂおよび２Ｃとさらに円滑な共同作業を行うことができる。
　［２．３．変形例］
　続いて、図１６および図１７を参照して、本実施形態の変形例に係る情報処理装置１Ａについてそれぞれ説明する。図１６は、本実施形態の第１の変形例に係る情報処理装置１Ａについて説明する説明図である。図１７は、本実施形態の第２の変形例に係る情報処理装置１Ａについて説明する説明図である。
　（第１の変形例）
　図１６に示すように、例えば、観察者２が被観察者３の作業を支援するために、仮想空間において仮想カメラの画角を制御した場合、仮想カメラが被観察者３の内部（すなわち、仮想空間の画像の裏側）に入り込んでしまうことがある。このとき、被観察者３の画像が被観察者３の手元の画像と重畳してしまうため、観察者２は、被観察者３の手元を視認しづらくなってしまうことがあった。
　このような場合、本変形例に係る情報処理装置１Ａは、被観察者３の頭部および体部３９２の画像を非表示とし、被観察者３の手部３９１のみを表示させるように制御してもよい。これにより、情報処理装置１Ａは、観察者２に対して、被観察者３の手元を明確に視認することができる仮想空間の画像を生成し、観察者２による被観察者３への作業支援を容易にすることができる。
　また、本変形例に係る情報処理装置１Ａは、仮想カメラが被観察者３の内部に入り込んだ場合、被観察者３の頭部および体部３９２の画像をフレーム（すなわち、外郭）のみの表示としてもよい。これにより、情報処理装置１Ａは、被観察者３の頭部および体部３９２を透過させて、観察者２に被観察者３の手元を視認させることができる。さらに、本変形例に係る情報処理装置１Ａは、仮想カメラが被観察者３の内部に入り込んだ場合、被観察者３の頭部および体部３９２の画像の色を、観察者２に注意を喚起させる色に変更してもよい。これにより、情報処理装置１Ａは、観察者２に仮想カメラが被観察者３の内部に入り込んでいることを明確に認識させることができる。
　なお、被観察者３の頭部および体部３９２と、手部３９１との区別は、例えば、撮像装置等によって撮像した被観察者３の画像を機械学習アルゴリズムによる画像解析にてパターン認識することで判別することが可能である。
　また、本変形例は、仮想カメラが被観察者３の内部に入り込んだ場合に限られない。例えば、仮想カメラが仮想空間内の机などの物体の内部に入り込んだ場合、本変形例に係る情報処理装置１Ａは、入り込んだ物体の一部を非表示とすることで、観察者２に対する仮想空間の視野を確保してもよい。これによれば、情報処理装置１Ａは、仮想空間内の物体の内部に仮想カメラが入り込んだ場合でも、仮想空間内の複数の物体の画像が重畳してしまうことを防止し、視認性の高い仮想空間の画像を生成することができる。
　（第２の変形例）
　図１７に示すように、本実施形態の変形例に係る情報処理装置１Ａでは、実空間７における被観察者３に対応する仮想空間の画像を生成するために、デプスセンサ９Ａまたは９Ｂが用いられる。例えば、デプスセンサ９Ａは、机等に設置されていてもよく、デプスセンサ９Ｂは、ドローン等の飛行体に設置されていてもよい。
　ここで、デプスセンサは、センサから対象までの距離を測定するものであるため、一方向からのデプス情報しか測定することできない。そのため、仮想カメラの画角を回転させた場合、実空間７においてデプス情報が測定されておらず、仮想空間が生成されていない領域が仮想カメラの画角に含まれる可能性があった。そこで、本変形例では、仮想カメラの画角の制御に伴い、デプスセンサの位置および向きも制御することにより、デプス情報が測定されておらず、仮想空間が生成されていない領域が仮想カメラの画角に含まれることを抑制するものである。
　具体的には、机等に設置されているデプスセンサ９Ａにおいて、仮想カメラの画角の制御に伴い、デプスセンサ９Ａの向きを上下左右に回転させることによって、デプス情報を測定する方向を変更してもよい。これにより、デプス情報が測定されておらず、仮想空間が生成されない領域が仮想カメラの画角に含まれることを抑制することができる。
　また、ドローン等の飛行体に設置されているデプスセンサ９Ｂにおいて、仮想カメラの画角の制御に伴い、飛行体の位置および向きを制御することによって、デプス情報を測定する方向を変更してもよい。例えば、仮想空間における仮想カメラの位置および向きと、実空間における飛行体に設置されたデプスセンサ９Ｂの位置および向きとが一致するように飛行体を制御することにより、デプス情報を測定する方向を変更してもよい。これにより、デプス情報が測定されておらず、仮想空間が生成されない領域が仮想カメラの画角に含まれることを抑制することができる。
　したがって、情報処理装置１Ａは、デプスセンサ９Ａおよび９Ｂに対して、仮想カメラの位置および向きに関する情報を出力することによって、上述した制御を行うことができる。これによれば、情報処理装置１Ａは、仮想空間を生成するためのデプスセンサが少ない場合でも、効率的に仮想空間を生成し、観察者２に利便性の高い仮想空間の画像を提供することができる。
　＜３．ハードウェア構成＞
　以下では、図１８を参照して、本開示の各実施形態に係る情報処理装置１のハードウェア構成の一例について説明する。図１８は、各実施形態に係る情報処理装置１のハードウェア構成例を示したブロック図である。なお、各実施形態に係る情報処理装置１による情報処理は、ソフトウェアとハードウェアとの協働によって実現される。
　図１８に示すように、情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０３と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０５と、ブリッジ２１１と、内部バス２０７および２０９と、インタフェース２１３と、入力装置２１５と、出力装置２１７と、ストレージ装置２１９と、ドライブ２２１と、接続ポート２２３と、通信装置２２５と、を備える。
　ＣＰＵ２０１は、演算処理装置および制御装置として機能し、ＲＯＭ２０３等に記憶された各種プログラムに従って、情報処理装置１の動作全般を制御する。ＲＯＭ２０３は、ＣＰＵ２０１が使用するプログラム、演算パラメータを記憶し、ＲＡＭ２０５は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。例えば、ＣＰＵ２０１は、基準点設定部１１０、制御部１３０、画像生成部１６０等の機能を実行してもよい。
　これらＣＰＵ２０１、ＲＯＭ２０３およびＲＡＭ２０５は、ブリッジ２１１、内部バス２０７および２０９等により相互に接続されている。また、ＣＰＵ２０１、ＲＯＭ２０３およびＲＡＭ２０５は、インタフェース２１３を介して入力装置２１５、出力装置２１７、ストレージ装置２１９、ドライブ２２１、接続ポート２２３および通信装置２２５とも接続されている。
　入力装置２１５は、タッチパネル、キーボード、マウス、ボタン、マイクロフォン、スイッチおよびレバーなどの各種情報が入力される入力装置、ならびに撮像装置、デプスセンサ、および赤外線センサなどの各種情報を測定するセンサ類を含む。また、入力装置２１５は、入力または測定された情報に基づいて入力信号を生成し、ＣＰＵ２０１に出力するための入力制御回路なども含む。例えば、入力装置２１５は、注視点検出部１００、画角制御情報取得部１２０、および干渉情報取得部１７０等の機能を実行してもよい。
　出力装置２１７は、例えば、透過型または遮蔽型のヘッドマウントディスプレイ装置、全天周に画像を表示することができるドーム型ディスプレイ、液晶表示装置および有機エレクトロルミネッセンス表示装置などの表示装置、三次元画像を表示可能な３Ｄ表示装置、ならびに二次元画像または三次元画像を表示することができるプロジェクタ表示装置などの各種表示装置を含み、また、スピーカおよびヘッドフォンなどの音声出力装置を含む。
　ストレージ装置２１９は、情報処理装置１の記憶部の一例として構成されるデータ格納用の装置である。ストレージ装置２１９は、記憶媒体、記憶媒体にデータを記憶する記憶装置、記憶媒体からデータを読み出す読み出し装置、および記憶されたデータを削除する削除装置を含んでもよい。
　ドライブ２２１は、記憶媒体用リードライタであり、情報処理装置１に内蔵、または外付けされる。例えば、ドライブ２２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出し、ＲＡＭ２０３に出力する。また、ドライブ２２１は、リムーバブル記憶媒体に情報を書き込むことも可能である。
　接続ポート２２３は、例えば、ＵＳＢポート、イーサネットポート、ＩＥＥＥ８０２．１１規格ポート、および光オーディオ端子等のような外部接続機器を接続するための接続ポートで構成された接続インタフェースである。例えば、接続ポート２２３は、入力部１４０、および出力部１８０等の機能を実行してもよい。また、画像生成部１６０が情報処理装置１の外部に存在する場合、接続ポート２２３は、画像情報出力部１５０等の機能を実行してもよい。
　通信装置２２５は、例えば、公衆回線網などのネットワーク１０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２２５は、有線によるケーブル通信を行うケーブル通信装置であってもよく、有線または無線ＬＡＮ対応通信装置であってもよい。例えば、通信装置２２５は、出力部１８０の機能を実行してもよい。
　また、情報処理装置１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを上述した情報処理装置１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　＜４．まとめ＞
　以上にて説明したように、本開示の第１の実施形態に係る情報処理装置１によれば、観察者２の注視点または注視対象に基づいて設定された基準点にて、仮想空間の画像を規定する仮想カメラの画角を制御する。これにより、情報処理装置１は、観察者２により視認される対象が仮想カメラの画角から外れることがなく、利便性が高い仮想空間の画像を観察者２に視認させることができる。
　また、本開示の第２の実施形態に係る情報処理装置１Ａによれば、被観察者３が存在する実空間７に対して、観察者２の視点を表す仮想カメラの位置および向きに関する情報を出力することができる。これにより、情報処理装置１Ａは、被観察者３に対して、観察者２がどの位置から視認しているのかを通知することができるため、より円滑なコミュニケーションを行わせることができる。
　さらに、本開示の第２の実施形態に係る情報処理装置１Ａによれば、被観察者３が存在する実空間７への観察者２による干渉に関する情報を出力することができる。これにより、情報処理装置１Ａは、被観察者３と、観察者２との共同作業の効率を向上させることができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、
　前記仮想空間の画像に関する情報を出力する画像情報出力部と、
を備える、情報処理装置。
（２）
　前記制御部は、前記注視点または注視対象が前記仮想空間の画像に含まれるように、前記仮想カメラの画角を制御する、前記（１）に記載の情報処理装置。
（３）
　前記注視点または注視対象に基づいて、前記仮想空間内に基準点を設定する基準点設定部をさらに備え、
　前記制御部は、前記基準点が前記仮想空間の画像に含まれるように、前記仮想カメラの画角を制御する、前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、前記基準点を回転中心にして、前記仮想カメラの画角を回転させる、前記（３）に記載の情報処理装置。
（５）
　前記制御部は、前記仮想カメラの画角を移動させる、前記（３）または（４）に記載の情報処理装置。
（６）
　前記観察者の視線情報に基づいて、前記仮想空間の画像における前記観察者の注視点を検出する注視点検出部をさらに備え、
　前記基準点設定部は、所定のタイミングにおける前記観察者の注視点を前記基準点として設定する、前記（３）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記観察者の視線情報に基づいて、前記仮想空間の画像における前記観察者の注視点を検出する注視点検出部をさらに備え、
　前記基準点設定部は、前記観察者の注視点を所定の期間にて移動平均した点を前記基準点として設定する、前記（３）～（５）のいずれか一項に記載の情報処理装置。
（８）
　前記制御部は、前記観察者の頭部の動きに応じて、前記仮想カメラの画角を制御する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記制御部は、前記基準点に対して、前記観察者の頭部の動きの方向と、前記仮想カメラの画角の動きの方向とが対称となるように前記仮想カメラの画角を制御する、前記（３）～（６）のいずれか一項に記載の情報処理装置。
（１０）
　前記制御部は、前記観察者からの入力、または前記観察者の視線情報に基づいて、前記仮想カメラの画角を固定するか、または移動もしくは回転可能とするかを切り替える、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記仮想空間は、被観察者を含む三次元空間である、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記仮想空間の画像は、デプスセンサによって測定されたデプス情報に基づいて生成される、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記デプスセンサの向きは、前記仮想カメラの画角に応じて制御される、前記（１２）に記載の情報処理装置。
（１４）
　前記デプスセンサは、飛行体に備えられ、
　前記飛行体は、前記仮想カメラの画角に応じて制御される、前記（１３）に記載の情報処理装置。
（１５）
　前記仮想空間における前記仮想カメラの位置および向きに関する情報を出力する出力部をさらに備える、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記仮想空間に対応する実空間への前記観察者の干渉に関する情報を出力する出力部をさらに備える、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記仮想カメラが前記仮想空間に存在する被観察物の内部に位置する場合、前記仮想空間の画像において、前記被観察物の少なくとも一部は、非表示に制御される、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記被観察物は、前記仮想空間に存在する被観察者である、前記（１７）に記載の情報処理装置。
（１９）
　演算処理装置により、仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御することと、
　前記仮想空間の画像に関する情報を出力することと、
を含む、情報処理方法。
（２０）
　コンピュータを
　仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、
　前記仮想空間の画像に関する情報を出力する画像情報出力部と、
として機能させる、プログラム。
　１、１Ａ　　情報処理装置
　２　　　　　観察者
　３　　　　　被観察者
　１００　　　注視点検出部
　１１０　　　基準点設定部
　１２０　　　画角制御情報取得部
　１３０　　　制御部
　１４０　　　入力部
　１５０　　　画像情報出力部
　１６０　　　画像生成部
　１７０　　　干渉情報取得部
　１８０　　　出力部

Claims (20)

  1. 　仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、
    　前記仮想空間の画像に関する情報を出力する画像情報出力部と、
    を備える、情報処理装置。
  2. 　前記制御部は、前記注視点または注視対象が前記仮想空間の画像に含まれるように、前記仮想カメラの画角を制御する、請求項１に記載の情報処理装置。
  3. 　前記注視点または注視対象に基づいて、前記仮想空間内に基準点を設定する基準点設定部をさらに備え、
    　前記制御部は、前記基準点が前記仮想空間の画像に含まれるように、前記仮想カメラの画角を制御する、請求項１に記載の情報処理装置。
  4. 　前記制御部は、前記基準点を回転中心にして、前記仮想カメラの画角を回転させる、請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記仮想カメラの画角を移動させる、請求項３に記載の情報処理装置。
  6. 　前記観察者の視線情報に基づいて、前記仮想空間の画像における前記観察者の注視点を検出する注視点検出部をさらに備え、
    　前記基準点設定部は、所定のタイミングにおける前記観察者の注視点を前記基準点として設定する、請求項３に記載の情報処理装置。
  7. 　前記観察者の視線情報に基づいて、前記仮想空間の画像における前記観察者の注視点を検出する注視点検出部をさらに備え、
    　前記基準点設定部は、前記観察者の注視点を所定の期間にて移動平均した点を前記基準点として設定する、請求項３に記載の情報処理装置。
  8. 　前記制御部は、前記観察者の頭部の動きに応じて、前記仮想カメラの画角を制御する、請求項１に記載の情報処理装置。
  9. 　前記制御部は、前記基準点に対して、前記観察者の頭部の動きの方向と、前記仮想カメラの画角の動きの方向とが対称となるように前記仮想カメラの画角を制御する、請求項３に記載の情報処理装置。
  10. 　前記制御部は、前記観察者からの入力、または前記観察者の視線情報に基づいて、前記仮想カメラの画角を固定するか、または移動もしくは回転可能とするかを切り替える、請求項１に記載の情報処理装置。
  11. 　前記仮想空間は、被観察者を含む三次元空間である、請求項１に記載の情報処理装置。
  12. 　前記仮想空間の画像は、デプスセンサによって測定されたデプス情報に基づいて生成される、請求項１に記載の情報処理装置。
  13. 　前記デプスセンサの向きは、前記仮想カメラの画角に応じて制御される、請求項１２に記載の情報処理装置。
  14. 　前記デプスセンサは、飛行体に備えられ、
    　前記飛行体は、前記仮想カメラの画角に応じて制御される、請求項１３に記載の情報処理装置。
  15. 　前記仮想空間における前記仮想カメラの位置および向きに関する情報を出力する出力部をさらに備える、請求項１に記載の情報処理装置。
  16. 　前記仮想空間に対応する実空間への前記観察者の干渉に関する情報を出力する出力部をさらに備える、請求項１に記載の情報処理装置。
  17. 　前記仮想カメラが前記仮想空間に存在する被観察物の内部に位置する場合、前記仮想空間の画像において、前記被観察物の少なくとも一部は、非表示に制御される、請求項１に記載の情報処理装置。
  18. 　前記被観察物は、前記仮想空間に存在する被観察者である、請求項１７に記載の情報処理装置。
  19. 　演算処理装置により、仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御することと、
    　前記仮想空間の画像に関する情報を出力することと、
    を含む、情報処理方法。
  20. 　コンピュータを
    　仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、
    　前記仮想空間の画像に関する情報を出力する画像情報出力部と、
    として機能させる、プログラム。
PCT/JP2016/068146 2015-09-24 2016-06-17 情報処理装置、情報処理方法、およびプログラム WO2017051570A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16848360.0A EP3355278A4 (en) 2015-09-24 2016-06-17 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US15/743,921 US10855925B2 (en) 2015-09-24 2016-06-17 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-187005 2015-09-24
JP2015187005A JP2017062598A (ja) 2015-09-24 2015-09-24 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2017051570A1 true WO2017051570A1 (ja) 2017-03-30

Family

ID=58385907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068146 WO2017051570A1 (ja) 2015-09-24 2016-06-17 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10855925B2 (ja)
EP (1) EP3355278A4 (ja)
JP (1) JP2017062598A (ja)
WO (1) WO2017051570A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299184A (zh) * 2018-07-31 2019-02-01 武汉大学 一种近地空间三维点云统一编码可视化方法
CN109756620A (zh) * 2018-12-15 2019-05-14 深圳壹账通智能科技有限公司 基于手机的虚拟摄像头识别方法及相关设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607398B2 (en) * 2016-07-04 2020-03-31 Colopl, Inc. Display control method and system for executing the display control method
JP2018173829A (ja) * 2017-03-31 2018-11-08 株式会社ルクレ 仮想会議プログラム
CN107093210B (zh) * 2017-04-20 2021-07-16 北京图森智途科技有限公司 一种激光点云标注方法及装置
WO2021095573A1 (ja) * 2019-11-15 2021-05-20 ソニー株式会社 情報処理システム、情報処理方法及びプログラム
CN111880654A (zh) * 2020-07-27 2020-11-03 歌尔光学科技有限公司 一种图像显示方法、装置、穿戴设备及存储介质
US20230138434A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Extraction of user representation from video stream to a virtual environment

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005230263A (ja) * 2004-02-19 2005-09-02 Nintendo Co Ltd ゲーム装置及びゲームプログラム
JP2006209319A (ja) * 2005-01-26 2006-08-10 Sekisui House Ltd 住宅用３次元ｃｇシステム
JP2008029694A (ja) * 2006-07-31 2008-02-14 Toshiba Corp 画像処理装置及び該画像処理装置を備える医用診断装置
JP2009237680A (ja) * 2008-03-26 2009-10-15 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム
JP2011156061A (ja) * 2010-01-29 2011-08-18 Konami Digital Entertainment Co Ltd ゲームプログラム、ゲーム装置、ゲーム制御方法
JP2012155654A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012212237A (ja) * 2011-03-30 2012-11-01 Namco Bandai Games Inc 画像生成システム、サーバシステム、プログラム及び情報記憶媒体
JP2015125641A (ja) * 2013-12-26 2015-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179800A (ja) * 2001-12-13 2003-06-27 Sony Corp 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP5411473B2 (ja) * 2008-09-16 2014-02-12 株式会社バンダイナムコゲームス プログラム及びゲーム装置
JP2009081881A (ja) 2008-11-28 2009-04-16 Sony Corp 画像処理装置および方法、並びに記録媒体
WO2010116506A1 (ja) 2009-04-09 2010-10-14 富士通株式会社 指紋認証サーバ装置、指紋認証クライアント装置および指紋認証方法
JP5478205B2 (ja) * 2009-11-13 2014-04-23 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステムおよびゲーム制御方法
JP2011255119A (ja) * 2010-06-11 2011-12-22 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP5800473B2 (ja) * 2010-06-11 2015-10-28 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
WO2012020760A1 (ja) * 2010-08-09 2012-02-16 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
JP5614211B2 (ja) * 2010-09-30 2014-10-29 株式会社セガ 画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JPWO2012073779A1 (ja) * 2010-12-01 2014-05-19 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末、画像処理方法およびプログラム
US9196306B2 (en) 2011-01-28 2015-11-24 Apple Inc. Smart scaling and cropping
US20130231590A1 (en) 2012-03-04 2013-09-05 Corbett Allan, Inc. System and method for analyzing gait and recommending footwear with a mobile computer device
EP2685351A1 (en) 2012-07-10 2014-01-15 Thomson Licensing Method for calibration free gaze tracking using low cost camera
US20140002581A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
JP6103526B2 (ja) * 2013-03-15 2017-03-29 オリンパス株式会社 撮影機器，画像表示機器，及び画像表示機器の表示制御方法
US10137363B2 (en) * 2013-06-20 2018-11-27 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
JP2015026172A (ja) * 2013-07-25 2015-02-05 株式会社スクウェア・エニックス 画像処理プログラムおよび画像処理装置
CA2917962A1 (en) * 2013-07-25 2015-01-29 Square Enix Holdings Co., Ltd. Image processing program, server device, image processing system, and image processing method
ITBO20130431A1 (it) 2013-08-01 2015-02-02 01Wiring S R L Metodo per controllare l'orientamento di una videocamera mobile atta a filmare una coppia di atleti in movimento su di un campo di gara, e corrispondente sistema per filmare atleti in movimento
JP5804007B2 (ja) * 2013-09-03 2015-11-04 カシオ計算機株式会社 動画生成システム、動画生成方法及びプログラム
US9616339B2 (en) * 2014-04-24 2017-04-11 Microsoft Technology Licensing, Llc Artist-directed volumetric dynamic virtual cameras
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9779633B2 (en) * 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
US20170188930A1 (en) * 2014-09-10 2017-07-06 Oregon Health & Science University Animation-based autism spectrum disorder assessment
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
US10853625B2 (en) * 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US20180321493A1 (en) * 2015-11-11 2018-11-08 Lg Electronics Inc. Hmd and method for controlling same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005230263A (ja) * 2004-02-19 2005-09-02 Nintendo Co Ltd ゲーム装置及びゲームプログラム
JP2006209319A (ja) * 2005-01-26 2006-08-10 Sekisui House Ltd 住宅用３次元ｃｇシステム
JP2008029694A (ja) * 2006-07-31 2008-02-14 Toshiba Corp 画像処理装置及び該画像処理装置を備える医用診断装置
JP2009237680A (ja) * 2008-03-26 2009-10-15 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム
JP2011156061A (ja) * 2010-01-29 2011-08-18 Konami Digital Entertainment Co Ltd ゲームプログラム、ゲーム装置、ゲーム制御方法
JP2012155654A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012212237A (ja) * 2011-03-30 2012-11-01 Namco Bandai Games Inc 画像生成システム、サーバシステム、プログラム及び情報記憶媒体
JP2015125641A (ja) * 2013-12-26 2015-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3355278A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299184A (zh) * 2018-07-31 2019-02-01 武汉大学 一种近地空间三维点云统一编码可视化方法
CN109299184B (zh) * 2018-07-31 2022-04-29 武汉大学 一种近地空间三维点云统一编码可视化方法
CN109756620A (zh) * 2018-12-15 2019-05-14 深圳壹账通智能科技有限公司 基于手机的虚拟摄像头识别方法及相关设备
CN109756620B (zh) * 2018-12-15 2021-07-23 深圳壹账通智能科技有限公司 基于手机的虚拟摄像头识别方法及相关设备

Also Published As

Publication number Publication date
EP3355278A4 (en) 2019-03-27
US20180205888A1 (en) 2018-07-19
US10855925B2 (en) 2020-12-01
JP2017062598A (ja) 2017-03-30
EP3355278A1 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
WO2017051570A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7275227B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
US9842433B2 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
JP6340017B2 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
US20150312561A1 (en) Virtual 3d monitor
US20100225743A1 (en) Three-Dimensional (3D) Imaging Based on MotionParallax
US11822708B2 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
WO2014199154A1 (en) Head-mountable apparatus and systems
WO2014199155A1 (en) Head-mountable apparatus and systems
JP6822410B2 (ja) 情報処理システム及び情報処理方法
CN106168855B (zh) 一种便携式mr眼镜、手机和mr眼镜***
US20230258942A1 (en) Spectator view of virtual and physical objects
WO2020017435A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20170150127A1 (en) Virtual Training System
US10831443B2 (en) Content discovery
US20210400234A1 (en) Information processing apparatus, information processing method, and program
JP2018007180A (ja) 映像表示装置、映像表示方法及び映像表示プログラム
WO2018216327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20200112706A (ko) 표시자 모드

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848360

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15743921

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016848360

Country of ref document: EP