WO2021106552A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- WO2021106552A1 WO2021106552A1 PCT/JP2020/041895 JP2020041895W WO2021106552A1 WO 2021106552 A1 WO2021106552 A1 WO 2021106552A1 JP 2020041895 W JP2020041895 W JP 2020041895W WO 2021106552 A1 WO2021106552 A1 WO 2021106552A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target object
- information processing
- processing device
- information
- virtual
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
Definitions
- This technology relates to information processing devices, information processing methods, and programs applicable to display control such as AR (Augmented Reality).
- the mobile device described in Patent Document 1 can display at least a part of a predetermined image displayed on the display device. By moving the mobile device back and forth with respect to the display device, the image displayed on the mobile device is enlarged / reduced. It is also possible to move the image displayed on the mobile device by moving it left and right. As a result, information can be efficiently provided to the user (paragraphs [0022] [0030] of Patent Document 1, FIG. 6 and the like).
- the purpose of this technology is to provide an information processing device, an information processing method, and a program capable of providing a high-quality viewing experience.
- the information processing device includes a display control unit.
- the display control unit receives the operation of the target object according to the operation of the target object by the operation object based on the target object information including the position and shape of the target object and the operation object information including the position of the operation object. Controls the superimposed display of virtual objects according to the shape.
- this information processing device based on the target object information including the position and shape of the target object and the operation object information including the position of the operation object, according to the shape of the target object according to the operation of the operation object on the target object.
- the superimposed display of virtual objects is controlled. This makes it possible to provide a high-quality viewing experience.
- the display control unit may superimpose and display the virtual object along the surface of the target object.
- the display control unit may control the superimposed display so that the virtual object is virtually drawn on the surface of the target object.
- the display control unit may control the superimposed display so that the virtual object is virtually arranged along the surface of the target object.
- Each of the position of the target object and the position of the operating object may include depth information detected by the depth sensor.
- the depth sensor may include at least a TOF (Time of Flight) camera.
- TOF Time of Flight
- the target object information may include a shadow state of the target object.
- the display control unit may control the brightness of the virtual object based on the shadow condition.
- the display control unit may control the brightness of the virtual object so that the shadow state of the target object is reflected in the virtual object.
- the information processing device may further include an acquisition unit that acquires the target object information and the operation object information.
- the acquisition unit may be able to estimate the shadow state of the target object based on the lighting state of the target object and the shape of the target object.
- the lighting condition may include the position of a light source that projects light onto the target object and the brightness of the light source.
- the display control unit may superimpose and display the virtual object on the target object image including the target object.
- the target object may be at least one of the face and the head.
- the operating object may be a finger.
- the target object and the operation object may be different parts of the same user.
- the target object information may include brightness.
- the display control unit may display the virtual object on the target object when the operating object comes into contact with the target object.
- the display control unit may control the superimposed display of the virtual object according to the shape of the target object based on the position where the operation object operates on the target object.
- the information processing method is an information processing method executed by a computer system, and is based on the target object information including the position and shape of the target object and the operation object information including the position of the operation object.
- the present invention includes controlling the superimposition display of the virtual object according to the shape of the target object according to the operation on the target object by the operation object.
- a program causes a computer system to perform the following steps. Based on the target object information including the position and shape of the target object and the operation object information including the position of the operation object, a virtual object according to the shape of the target object according to the operation on the target object by the operation object. Steps to control the superimposed display of.
- FIG. 1 is a schematic diagram for explaining an outline of a display control system according to the present technology.
- the display control system 100 according to the present technology transfers the target object 1 to the target object 1 by the operation object 2 based on the target object information 6 including the position and shape of the target object 1 and the operation object information 7 including the position of the operation object 2. It is possible to control the superimposed display of the virtual object 4 according to the shape of the target object 1 according to the operation.
- the display control system 100 it is possible to provide a high-quality viewing experience. For example, as shown in FIG. 1, the user 3 takes a picture (selfie) of the user 3 himself using the user terminal 5. By using the display control system 100, the user 3 can execute a high-quality superimposed display of the virtual object 4 on his / her own face or the like being photographed.
- the target object 1 is an object on which the virtual object 4 is superimposed and displayed.
- the face of the user 3 is set as the target object 1.
- the target object 1 and the operation object 2 are realized by different parts of the same user 3.
- a part such as the body of the user 3 or the entire body (user 3 itself) may be set as the target object 1, or a plurality of parts such as both hands and feet may be set as the target object 1.
- You may.
- a person other than the user 3 may be set as the target object 1.
- the target object 1 may be other than a person.
- it may be a living thing such as a cat or a dog, or an object such as a doll, a mug, or a folding fan.
- the operation object 2 is an object that executes an operation on the target object 1.
- the finger of the user 3 is set as the operating object 2.
- any object such as a pen or a brush may be set as the operation object 2.
- a plurality of operating objects 2 may be set.
- the index finger, the middle finger, and the ring finger may be set as the operating object 2.
- Examples of the operation on the target object 1 include contact (touch) with the target object 1, tracing (slide) the surface of the target object 1, and the like.
- operations on the target object 1 using various operation objects 2 may be executed.
- an arbitrary operation for controlling the virtual object 4 is also included in the operation on the target object 1.
- the operating object 2 slides while the operating object 2 touches the virtual object 4, so that the virtual object 4 follows the operating object 2.
- You may.
- the operation on the target object 1 is not limited to this.
- the superimposed display of the virtual object 4 according to the operation object 2 may be controlled, such as the operation on the target object 1 is executed by the index finger and the operation on the virtual object 4 is executed by the middle finger.
- CG Computer Graphics
- the present invention is not limited to this, and any virtual object may be displayed.
- the picture written by the user 3 when the picture written by the user 3 is input to the user terminal 5, the picture written by the user 3 may be output as the virtual object 4. Further, for example, it may be a still image or a moving image.
- "displaying a virtual object superimposed on a target object” includes displaying a specific virtual object in a specific space including the target object. It also includes displaying virtual objects at specific locations.
- an arbitrary display in which a virtual object is superimposed and displayed on a target object image (photographed image) including the target object 1 is included.
- the target object information 6 includes various information such as the position and shape of the target object 1.
- a coordinate value for example, an XYZ coordinate value
- an absolute coordinate system world coordinate system
- a coordinate value for example, xyz coordinate value or uvd coordinate value
- a relative coordinate system with a predetermined point as a reference (origin)
- the reference origin may be set arbitrarily.
- the depth information of the face of the user 3 is set based on the inward camera 13 of the user terminal 5.
- the target object information 6 also includes the orientation and posture of the user 3's face.
- Depth information is the distance from the origin to the measurement object.
- the depths of the target object 1 and the operating object 2 with the position of the inward camera 13 as a reference are the depth information.
- the depth information in each pixel of the target object 1 and the operating object 2 is acquired by the inward camera 13.
- a 3D shape of the face surface of the user 3 is set.
- the 3D shape is information indicating the shape of an object such as size and curvature. For example, when the target object 1 is a face, the size and curvature of the nose, chin, cheeks, eyes, orbits, etc. are used as the 3D shape.
- the target object information 6 includes the posture and the shadow state of the target object 1.
- the posture of the target object 1 for example, when the target object 1 is a face, information such as which direction the face is facing or tilted based on the posture of the face facing the inward camera 13 is obtained. It is set as the posture of the target object 1.
- the shadow situation is information about a shadow in the target object 1.
- the brightness and the brightness information distribution at each position (pixel) of the target object 1 are included in the shadow situation. For example, when the target object 1 is a face, the brightness of the shadow region generated by the nose, hair, or the like is detected to be low.
- information including the position of the operating object 2 is set as the operating object information 7.
- a coordinate value for example, an XYZ coordinate value
- an absolute coordinate system world coordinate system
- a coordinate value for example, xyz coordinate value or uvd coordinate value
- a relative coordinate system with a predetermined point as a reference (origin)
- the reference origin may be set arbitrarily.
- the position of the operating object 2 is defined by the coordinate system that defines the position of the target object 1 included in the target object information 6 and the same coordinate system.
- the depth information of the finger of the user 3 is set as the operation object information 7 with reference to the inward camera 13 of the user terminal 5.
- the operating object information 7 includes the posture and brightness of the operating object 2.
- the posture of the operating object 2 for example, when the operating object 2 is a finger, information such as which direction the tip of the finger is facing or tilted is set as the posture of the operating object 2.
- the display control system 100 includes a user terminal 5 and an information processing device 10.
- the information processing device 10 is realized by the user terminal 5 itself. Of course, it is not limited to such a configuration.
- the user terminal 5 is a terminal used by the user 3.
- a mobile terminal such as a smartphone or a tablet terminal is used as the user terminal 5.
- the user terminal 5 has an inward-facing camera 13, an outward-facing camera 14, and a touch panel 15.
- the inward-facing camera 13 and the outward-facing camera 14 are imaging devices capable of capturing peripheral images.
- the inward-facing camera 13 is a camera mounted on the same surface as the surface on which the touch panel 15 is mounted.
- the outward-facing camera 14 is a camera mounted on a surface opposite to the surface on which the touch panel 15 is mounted.
- the inward-facing camera 13 and the outward-facing camera 14 include a TOF (Time of Flight) camera capable of measuring the distance (depth information) to the target object 1 and the operating object 2.
- TOF Time of Flight
- imaging devices such as stereo cameras, digital cameras, monocular cameras, infrared cameras, polarized cameras, and other cameras are used.
- sensor devices such as laser distance measuring sensors, contact sensors, ultrasonic sensors, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), and sonar may be used.
- the inward-facing camera 13 and the outward-facing camera 14 include an RGB camera for acquiring the brightness of the target object 1.
- the touch panel 15 functions as a display unit and can display various images and GUIs. In the present embodiment, the inside of the angle of view taken by the inward-facing camera 13 or the outward-facing camera 14 is displayed in real time. Further, the touch panel 15 can accept the touch operation of the user 3. The user 3 can input a predetermined instruction or the like via the touch panel 15.
- FIG. 1 schematically shows how the user 3 photographed by the inward camera 13 is displayed on the touch panel 15.
- the user 3 can execute the superimposed display of the virtual object 4 according to the shape of the face according to the operation on the face (target object 1) by the finger (operation object 2).
- the virtual object 4 of the crocodile is superimposed and displayed at the place where the finger touches.
- the virtual object 4 of the crocodile is controlled to have a shape corresponding to the surface of the face of the user 3.
- the information processing device 10 has hardware necessary for configuring a computer, such as a processor such as a CPU, GPU, and DSP, a memory such as ROM and RAM, and a storage device such as an HDD (see FIG. 9).
- a computer such as a processor such as a CPU, GPU, and DSP, a memory such as ROM and RAM, and a storage device such as an HDD (see FIG. 9).
- the information processing method according to the present technology is executed when the CPU loads and executes the program according to the present technology recorded in advance in the ROM or the like into the RAM.
- the information processing device 10 can be realized by an arbitrary computer such as a PC (Personal Computer).
- hardware such as FPGA and ASIC may be used.
- the display control unit as a functional block is configured by the CPU executing a predetermined program.
- the program is installed in the information processing apparatus 10 via, for example, various recording media. Alternatively, the program may be installed via the Internet or the like.
- the type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any non-transient storage medium readable by a computer may be used.
- the information processing device 10 acquires the target object information 6 and the operation object information 7.
- the acquisition of the target object information 6 and the manipulated object information 7 is to receive the target object information 6 and the manipulated object information 7 transmitted from the outside, and the target object information 6 and the information processing device 10 itself. It includes both generating the operating object information 7.
- the information processing device 10 illustrated in FIG. 1 controls the superimposed display of the virtual object 4 based on the target object information 6 and the operation object information 7.
- FIG. 2 is a block diagram showing a functional configuration example of the user terminal 5.
- the user terminal 5 includes a speaker 11, a microphone 12, an inward camera 13, an outward camera 14, a touch panel 15, an operation button 16, a lighting unit 17, a sensor unit 18, a communication unit 19, a storage unit 20, and a controller 21.
- the speaker 11 can output audio.
- the speaker 11 outputs, for example, voice guidance, an alarm sound, and the like.
- the microphone 12 is used for making a call, inputting a voice instruction, collecting surrounding sounds, and the like.
- the operation button 16 is provided to perform an operation different from the operation via the touch panel 15, such as an operation of turning the power on / off.
- the lighting unit 17 has a light source such as an LED (Light Emitting Diode) or an LD (Laser Diode), and can output light. For example, by turning on the illumination unit 17, it is possible to illuminate the target object 1 like a light. It is also possible for the lighting unit 17 to notify the reception of an e-mail or the like.
- a light source such as an LED (Light Emitting Diode) or an LD (Laser Diode)
- LD Laser Diode
- the sensor unit 18 can detect the surrounding situation, the state of the user terminal 5, the state of the user 3, and the like.
- a 9-axis sensor As the sensor unit 18, a 9-axis sensor, GPS, a biological sensor, and the like are mounted.
- the 9-axis sensor includes a 3-axis accelerometer, a 3-axis gyro sensor, and a 3-axis compass sensor.
- the 9-axis sensor can detect acceleration, angular velocity, and direction in the three axes of the user terminal 5.
- GPS acquires information on the current position of the user terminal 5.
- the biosensor acquires the biometric information of the user.
- a temperature sensor capable of measuring body temperature a heart rate sensor capable of measuring heart rate, a sweating sensor capable of measuring sweating amount, and the like are provided.
- the type of sensor provided as the sensor unit 18 is not limited, and any sensor may be provided.
- a temperature sensor, a humidity sensor, or the like capable of measuring the temperature, humidity, etc. of the environment in which the user terminal 5 is used may be provided.
- the microphone 12, the inward-facing camera 13, and the outward-facing camera 14 can be regarded as a part of the sensor unit 18.
- the communication unit 19 is a module for executing network communication, short-range wireless communication, infrared communication, etc. with other devices.
- a wireless LAN module such as WiFi and a communication module such as Bluetooth (registered trademark) are provided. Further, any infrared communication module may be used.
- the storage unit 20 is a non-volatile storage device, and for example, an HDD (Hard Disk Drive) or the like is used.
- the storage unit 20 stores a control program for controlling the overall operation of the user terminal 5. Further, the storage unit 20 stores data used for performing various processes, data generated by various processes, and the like. The method of installing the control program or the like on the user terminal 5 is not limited.
- the controller 21 controls the operation of each block of the user terminal 5.
- the controller 21 has a hardware configuration necessary for a computer such as a CPU and a memory (RAM, ROM). Various processes are executed when the CPU loads the control program or the like stored in the storage unit 20 into the RAM and executes it. In this embodiment, the controller 21 functions as an information processing device.
- a device such as a PLD (Programmable Logic Device) such as an FPGA (Field Programmable Gate Array) or another device such as an ASIC (Application Specific Integrated Circuit) may be used.
- PLD Processable Logic Device
- FPGA Field Programmable Gate Array
- ASIC Application Specific Integrated Circuit
- the information acquisition unit 31, the shape estimation unit 32, the action detection unit 33, the lighting estimation unit 34, and the display control unit 35 are functional blocks. Is realized, and the information processing method according to the present embodiment is executed.
- dedicated hardware such as an IC (integrated circuit) may be appropriately used. ..
- the controller 21 functions as an information processing device according to the present technology.
- the information acquisition unit 31 acquires the sensing result output from the outside.
- the depth information of the target object 1 and the depth information of the operating object 2 acquired from the inward camera 13 are acquired.
- various information may be acquired from the speaker 11, the microphone 12, the outward-facing camera 14, the touch panel 15, the operation buttons 16, and the sensor unit 18.
- an instruction to change the virtual object 4 by the user 3 may be obtained from the microphone 12.
- the shape estimation unit 32 estimates the shapes of the target object 1 and the operation object 2.
- the position, 3D shape, and posture of the target object 1 are estimated based on the depth information of the target object 1 acquired from the information acquisition unit 31.
- the position and posture of the operating object 2 are estimated based on the depth information of the operating object 2 acquired from the information acquisition unit 31.
- the shape estimation unit 32 estimates the depth information for a region having low brightness obtained from the RGB camera. For example, in a black region such as the black hair of the user 3, the IR (Infra-Red) reflection is weak, so that the depth information may not be obtained accurately. In this case, the shape estimation unit 32 estimates the depth information of the black region based on the depth information of the face.
- the shape estimation unit 32 can estimate the shadow state of the target object based on the illumination state of the target object 1 and the shape of the target object 1.
- the position (region) of the shadow generated on the target object 1 is estimated from the position and brightness of the light source that projects light onto the target object 1 and the shape of the target object 1.
- the illumination situation is a situation relating to a light source that projects light onto the target object 1.
- the position of the light source that projects light onto the target object 1 and the brightness of the light source are included.
- the light source projects light onto the target object 1 to produce a region in which the light is projected (a region with high brightness) and a region in which the light is projected (a region in which the brightness is low).
- the entire face (target object 1) of the user 3 has a high brightness region or a low brightness.
- An object that projects light may be used as a light source even when it is a region.
- Any technique (algorithm or the like) for estimating the target object information 6, the manipulated object information 7, and the depth information of the black region may be adopted.
- an arbitrary machine learning algorithm using DNN (Deep Neural Network) or the like may be used.
- AI artificial intelligence
- a learning unit and an identification unit are constructed to estimate the target object information 6, the manipulated object information 7, and the depth information of the black region.
- the learning unit performs machine learning based on the input information (learning data) and outputs the learning result.
- the identification unit identifies (determines, predicts, etc.) the input information based on the input information and the learning result.
- a neural network or deep learning is used as a learning method in the learning unit.
- a neural network is a model that imitates a human brain neural circuit, and is composed of three types of layers: an input layer, an intermediate layer (hidden layer), and an output layer.
- Deep learning is a model that uses a multi-layered neural network, and it is possible to learn complex patterns hidden in a large amount of data by repeating characteristic learning in each layer. Deep learning is used, for example, to identify objects in images and words in sounds.
- a convolutional neural network (CNN) used for recognizing images and moving images is used.
- a neurochip / neuromorphic chip incorporating the concept of a neural network can be used.
- Machine learning problem settings include supervised learning, unsupervised learning, semi-supervised learning, reinforcement learning, reverse reinforcement learning, active learning, and transfer learning.
- supervised learning features are learned based on given labeled learning data (teacher data). This makes it possible to derive labels for unknown data.
- unsupervised learning a large amount of unlabeled learning data is analyzed to extract features, and clustering is performed based on the extracted features. This makes it possible to analyze trends and predict the future based on a huge amount of unknown data.
- semi-supervised learning is a mixture of supervised learning and unsupervised learning. After learning features in supervised learning, a huge amount of training data is given in unsupervised learning, and the features are automatically characterized. This is a method of repeatedly learning while calculating the amount.
- Reinforcement learning also deals with the problem of observing the current state of an agent in an environment and deciding what action to take. Agents learn rewards from the environment by choosing actions and learn how to get the most rewards through a series of actions. In this way, by learning the optimum solution in a certain environment, it is possible to reproduce human judgment and to make a computer acquire judgment that exceeds human judgment. It is also possible to generate virtual sensing data by machine learning. For example, it is possible to predict another sensing data from one sensing data and use it as input information, such as generating position information from the input image information. It is also possible to generate different sensing data from a plurality of sensing data. It is also possible to predict the required information and generate predetermined information from the sensing data.
- an arbitrary learning algorithm or the like different from machine learning may be used.
- the estimation accuracy of the target object information 6, the manipulated object information 7, and the depth information of the black region is improved. It becomes possible to make it.
- the learning algorithm is used.
- the application of the learning algorithm may be executed for any process in the present disclosure.
- the action detection unit 33 detects the operation of the operation object 2 on the target object 1. In the present embodiment, it is detected whether or not the finger touches the face based on the depth information of the face which is the target object 1 and the depth information of the finger which is the operating object 2. Further, for example, it is detected whether the operation object 2 has executed a predetermined operation on the virtual object 4. Further, the action detection unit 33 detects the position where the operation object 2 operates the target object 1. For example, based on the 3D shape and posture of the face, it is detected whether the finger touches the cheek. By supplying the information detected by the action detection unit 33 to the display control unit 35, the superimposed display of the virtual object 4 is controlled.
- the method of detecting the operation of the target object 1 by the operation object 2 is not limited, and any technique (algorithm or the like) may be adopted.
- the illumination estimation unit 34 estimates the illumination condition around the target object 1.
- the lighting state related to the illumination of the target object 1 at the time of shooting is estimated based on the 3D shape of the target object 1 and the brightness of the target object 1.
- the method of estimating the lighting condition is not limited.
- the light source may be estimated by object recognition or the like.
- an object whose brightness is attenuated in a predetermined direction (radial or concentric) around an object that projects light may be used as a light source.
- the display control unit 35 controls the superimposed display of the virtual object 4.
- the virtual object 4 is superimposed and displayed along the surface of the target object 1.
- the superimposed display of the virtual object 4 according to the shape of the face is controlled based on the position where the operation on the face is performed by the finger.
- “along the surface” means that when the virtual object 4 is superimposed and displayed on the face of the user 3, the virtual object 4 is projected and transformed on the surface (3D shape) of the face of the user 3. It is in a state of being. That is, the superimposed display is controlled so that the virtual object 4 is virtually drawn on the surface of the target object 1. Further, the display control unit 35 controls the brightness of the virtual object 4 based on the shadow condition.
- the brightness of the virtual object 4 is controlled based on the shadow area (the area with low brightness) actually existing in the target object 1. That is, the brightness of the virtual object 4 is controlled so that the shadow state of the target object 1 is reflected in the virtual object 4. Further, in the present embodiment, the brightness of the virtual object 4 is controlled based on the lighting condition estimated by the lighting estimation unit 34 and the shape of the target object 1. That is, the virtual object 4 is superposed on the target object in a shaded state. Further, the display control unit 35 controls the superimposed display so that the virtual object 4 is virtually arranged along the surface of the target object 1.
- the display control unit 35 responds to the operation of the target object by the operation object based on the target object information including the position and shape of the target object and the operation object information including the position of the operation object. It corresponds to a display control unit that controls the superimposed display of virtual objects according to the shape of the target object.
- the illumination estimation unit 34 corresponds to the illumination estimation unit that estimates the illumination status related to the illumination at the time of shooting the target object based on the target object information.
- the information acquisition unit 31 and the shape estimation unit 32 function as acquisition units for acquiring the target object information and the operation object information.
- FIG. 3 is a flowchart showing a basic execution example of the control of the superimposed display.
- the target object information 6 is acquired by the information acquisition unit 31 and the shape estimation unit 32 (step 101).
- the operation object information 7 is acquired by the information acquisition unit 31 and the shape estimation unit 32 (step 102).
- the action detection unit 33 detects the operation of the operation object 2 on the target object 1 (step 103).
- the virtual object 4 is superimposed and displayed by the display control unit 35 (step 104).
- FIG. 4 is a flowchart showing a specific execution example of the control of the superimposed display.
- the face 1 of the user 3 is set as the target object.
- the finger 2 of the user 3 is set as the operation object.
- FIG. 5 is a schematic diagram showing a superimposed display of the virtual object 4. As shown in FIG. 5, the user 3 is displayed on the touch panel 15 of the user terminal 5.
- FIG. 5 is a simplified view of the state in which the user 3 is taking a selfie, as shown in FIG.
- User 3 takes a picture of himself / herself using the inward camera 13 of the user terminal 5. As shown in FIG. 5, the camera through is displayed on the touch panel 15 of the user terminal 5 (step 201).
- the depth information of the face 1 is acquired based on the sensing result acquired by the inward camera 13 by the information acquisition unit 31 (step 202).
- the shape estimation unit 32 estimates the position, 3D shape, and posture of the face 1 based on the depth information of the face 1 (step 203).
- Step 202 and step 203 correspond to the acquisition of the target object information in step 101 shown in FIG.
- Step 204 corresponds to the acquisition of the operating object information in step 102 shown in FIG.
- the action detection unit 33 detects that the finger 2 touches the face 1 of the user 3 (step 205).
- the difference between the depth information of the face 1 and the depth information of the finger 2 is equal to or less than a predetermined threshold value, it is determined that the finger 2 touches the face 1.
- Step 205 corresponds to the detection of the operation on the target object by the operation object in step 103 shown in FIG.
- the display control unit 35 displays the virtual object 4 at the place where the finger 2 touches the face of the user 3 (step 206).
- the virtual object 4 is virtually superimposed and displayed to confirm how the virtual object 4 is drawn with respect to the face 1 of the user 3. That is, an image diagram for confirming the display position of the virtual object 4, the size and angle of the virtual object 4, and the like is displayed on the face 1 of the user 3.
- various controls such as enlargement, reduction, rotation, and movement of the virtual object 4 displayed in step 206.
- the lighting estimation unit 34 estimates the lighting condition based on the 3D shape (surface shape) of the face 1 and the brightness of the face 1 (step 207). As shown in FIG. 5, in the present embodiment, the low-luminance region 40 of the face 1 is acquired as a shadow region by the RGB camera. The illumination estimation unit 34 estimates the position of the light source 41 based on the position of the region 40 generated in the shape of the face 1. For example, when the region 40 is generated in the lower left of the face, it is estimated that the light source 41 is on the opposite side of the region 40 with respect to the face 1.
- the display control unit 35 adds a shadow along the shape of the face 1 to the virtual object 4 based on the lighting condition and displays it (step 208). As shown in FIG. 5, a shadow is added to the virtual object 4 in the area 40. In the present embodiment, a virtual shadow corresponding to the brightness of the shadow of the face 1 is given to the virtual object 4. It is possible to perform various controls such as enlargement, reduction, rotation, and movement of the virtual object 4 displayed in step 208. Further, when various controls are executed, the superimposed display is controlled for the virtual object 4. For example, when the virtual object 4 is moved to the mouth 42 of the user 3, the virtual object 4 is displayed along the shape of the mouth 42.
- a shadow may be expressed by controlling the brightness of the virtual object 4 to be low. Further, the shadow may be expressed by superimposing a shadow layer corresponding to the brightness of the face 1 on the virtual object 4. Steps 206 to 208 correspond to step 104 shown in FIG.
- the information processing device 10 responds to the operation of the target object by the operation object based on the target object information including the position and shape of the target object and the operation object information including the position of the operation object.
- the superimposed display of the virtual object is controlled according to the shape of the target object. This makes it possible to provide a high-quality viewing experience.
- depth information of the face and fingers is acquired using the TOF sensor.
- the operation performed by the finger on the face is detected based on the depth information of the face and the finger, and the superimposed display of the virtual object on the face is controlled. This makes it possible to provide a high-quality viewing experience. In addition, three-dimensional processing and adjustment of virtual objects becomes possible.
- the virtual object 4 when the finger, which is the operating object, comes into contact with the face, which is the target object, the virtual object 4 is superimposed and displayed. Not limited to this, the control of the superimposed display may be switched according to the contact point of the operating object.
- FIG. 6 is a flowchart showing an execution example of switching the processing of the superimposed display.
- FIG. 7 is a schematic diagram showing another example of the superimposed display of virtual objects.
- the illustration of the user terminal and the left hand holding the user terminal is omitted.
- the illustration of the right hand 51 of the user 50 is simplified.
- the target object is set as the face 52
- the operating object is set as the right hand 51
- the virtual object is set as the star 53. Since the description of steps 201 to 208 in FIG. 6 is the same as that in FIG. 4, the description will be omitted or simplified.
- the user 50 is wearing a black hat 54.
- the depth information of the area of the black hat 54 may not be accurately obtained.
- the region of the hat 54 (region with low brightness) is estimated based on the brightness (brightness information distribution) obtained from the RGB camera (step 301).
- the shape estimation unit 32 estimates the depth information of the region of the hat 54 (step 302).
- the depth information of the region of the hat 54 is estimated based on the depth information of the face 52 of the user 50 who wears the hat 54.
- the depth information of the hat 54 may be estimated based on the depth information of the face 52 based on the size of the hat 54.
- the display control unit 35 switches the control of the virtual object according to the position where the right hand 51 is operated (step 303).
- the action detection unit 33 detects that the right hand 51 touches the face (step 205)
- the processes of steps 206 to 208 are executed as shown in FIGS. 4 and 5.
- the action detection unit 33 detects that the right hand 51 touches the area of the hat 54 (step 304).
- the difference between the depth information in the area of the hat 54 and the depth information of the right hand 51 is equal to or less than a predetermined threshold value, it is determined that the right hand 51 touches the face 52.
- the display control unit 35 controls the superimposed display of the virtual object in the area of the hat 54 (step 305).
- the star 53 is displayed at the position touched by the right hand 51.
- the size of the star 53 is controlled based on the depth information of the portion touched by the right hand 51. That is, the star 53 is superimposed and displayed along the surface of the face 52 (hat 54).
- the action detection unit 33 detects an operation in which the right hand 51 pinches the star 53.
- the display control unit 35 controls the superimposed display of the corresponding star 53. For example, when the right hand 51 moves while pinching the star 53, the star 53 may be moved so as to follow the movement of the right hand 51. In addition to this, the user 50 can execute arbitrary control on the virtual object.
- the star 53 emit light, change the color of the star 53, control the size of the star 53, and the like.
- the types of virtual objects that are superimposed and displayed are not limited. For example, a predetermined character or pattern may be superimposed and displayed around the hat 54. Further, these virtual objects may be shaded based on the lighting conditions. Further, a new shadow may be added to the virtual object superimposed on the face of the user 50 by using the superimposed virtual object as a light source.
- the superimposed display of alligators and stars as virtual objects was controlled.
- superimposition display may be controlled by using a part of the body such as the user's hair or an object such as a hat that can be worn by the user as a virtual object.
- a part of the body such as the user's hair or an object such as a hat that can be worn by the user as a virtual object.
- the size and posture of the virtual object may be controlled based on the size and posture of the user's head (target object information).
- a plurality of the same virtual objects such as a star 53 are displayed.
- any number of virtual objects may be superimposed and displayed.
- makeup such as lipstick and eyeliner may be superimposed and displayed on the user's face as a virtual object.
- a specific makeup combination may be set as one virtual object.
- the virtual object is given a virtual shadow according to the shape and shadow of the target object.
- the brightness of the virtual object may be controlled to be high according to the brightness of the region.
- the virtual object is shaded based on the lighting conditions around the target object.
- the brightness of the virtual object may be controlled based on the brightness in each area of the face without being limited to this.
- the superimposed display of the virtual object is controlled by the user taking a picture of the user's face (target object) with the inward camera 13.
- the present invention is not limited to this, and another user may be photographed by the outward-facing camera 13 and the superimposed display of the virtual object may be controlled.
- the user confirms another user acquired by the outward-facing camera 14 on the touch panel 15, and causes the user to touch the face of the other user with a finger to superimpose and display the virtual object on the other user. It is possible.
- a smartphone or the like was used as the user terminal 5.
- a transmissive HMD Head Mounted Display
- AR glasses may be used as the user terminal 5.
- FIG. 8 is a perspective view showing the appearance of the HMD according to another embodiment.
- the HMD 60 is a glasses-type device equipped with a transmissive display, and is worn on the user's head for use.
- the HMD 60 includes a frame 61, left and right lenses 62a and 62b, a left-eye display 61a and a right-eye display 61b, a left-eye camera 63a and a right-eye camera 63b.
- a controller, a sensor unit, and the like substantially the same as those shown in FIG. 2 are configured inside the frame 61 or at a predetermined position.
- the left and right lenses 62a and 62b are arranged in front of the user's left eye and right eye, respectively.
- the left-eye and right-eye displays 61a and 61b are provided on the left and right lenses 62a and 62b, respectively, so as to cover the user's field of view.
- the left-eye and right-eye displays 61a and 61b are transmissive displays, and images for the left eye and the right eye are displayed, respectively.
- the user wearing the HMD 60 can visually recognize the actual scenery and at the same time visually recognize the image displayed on each display. This allows the user to experience augmented reality (AR) and the like.
- AR augmented reality
- a dimming element (not shown) or the like may be provided on the outside of the left-eye and right-eye displays 61a and 61b (the side opposite to the user's eye).
- the dimming element is an element capable of adjusting the amount of light transmitted through the element.
- By providing the dimming element for example, it is possible to regulate the actual scenery seen by the user through each display and emphasize the image displayed on each display so that the user can see it. This allows the user to experience virtual reality (VR) and the like.
- VR virtual reality
- the left-eye and right-eye displays 61a and 61b for example, a transmissive organic EL display, an LCD (Liquid Crystal Display, liquid crystal display element) display, or the like is used.
- the dimming element for example, a dimming glass, a dimming sheet, a liquid crystal shutter, or the like whose transmittance can be electrically controlled is used.
- the left and right lenses 62a and 62b and the left-eye and right-eye displays 61a and 61b realize a virtual object display mechanism.
- the left eye and right eye cameras 63a and 63b are provided at arbitrary positions where the user's left eye and right eye can be imaged.
- the superposed position of the virtual object may be controlled based on the left eye and right eye images taken by the left eye and right eye cameras 63a and 63b.
- each of the left and right lenses 62a and 62b is movable with respect to the frame 61, and is moved by a drive mechanism. Further, the frame 61 itself is also configured to be movable, and the holding force can be changed. By appropriately changing the positions and inclinations of the left and right lenses 62a and 62b, it is possible to realize a high-quality viewing experience as in the above embodiment.
- the information processing device 10 is realized by the user terminal 5 itself. Not limited to this, the information processing device 10 and the user terminal 5 may be communicably connected via wire or wireless. Further, the connection form between each device is not limited, and for example, wireless LAN communication such as WiFi and short-range wireless communication such as Bluetooth (registered trademark) may be used.
- FIG. 9 is a block diagram showing a hardware configuration example of the information processing device 10.
- the information processing device 10 includes a CPU 71, a ROM 72, a RAM 73, an input / output interface 75, and a bus 74 that connects them to each other.
- a display unit 76, an input unit 77, a storage unit 78, a communication unit 79, a drive unit 80, and the like are connected to the input / output interface 75.
- the display unit 76 is a display device using, for example, a liquid crystal or an EL.
- the input unit 77 is, for example, a keyboard, a pointing device, a touch panel, or other operation device. When the input unit 77 includes a touch panel, the touch panel can be integrated with the display unit 76.
- the storage unit 78 is a non-volatile storage device, for example, an HDD, a flash memory, or other solid-state memory.
- the drive unit 80 is a device capable of driving a removable recording medium 81 such as an optical recording medium or a magnetic recording tape.
- the communication unit 79 is a modem, router, or other communication device for communicating with another device that can be connected to a LAN, WAN, or the like.
- the communication unit 79 may communicate using either wire or wireless.
- the communication unit 79 is often used separately from the information processing device 10. In the present embodiment, the communication unit 79 enables communication with other devices via the network.
- Information processing by the information processing device 10 having the hardware configuration as described above is realized by the cooperation between the software stored in the storage unit 78 or the ROM 72 or the like and the hardware resources of the information processing device 10.
- the information processing method according to the present technology is realized by loading the program constituting the software stored in the ROM 72 or the like into the RAM 73 and executing the program.
- the program is installed in the information processing device 10 via, for example, the recording medium 71.
- the program may be installed in the information processing apparatus 10 via a global network or the like.
- any non-transient storage medium that can be read by a computer may be used.
- the information processing device, information processing method, and program related to this technology are executed by linking the computer mounted on the communication terminal with another computer that can communicate via a network or the like, and the information processing device related to this technology. May be constructed.
- the information processing apparatus, information processing method, and program according to the present technology can be executed not only in a computer system composed of a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device in which a plurality of modules are housed in one housing are both systems.
- the information processing device, information processing method, and program related to this technology are executed by a computer system when, for example, acquisition of target object information, estimation of lighting status, control of superimposed display, and the like are executed by a single computer. , And when each process is performed by a different computer. Further, the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquire the result.
- the information processing device, information processing method, and program related to the present technology can be applied to a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network. ..
- the effects described in this disclosure are merely examples and are not limited, and other effects may be obtained.
- the description of the plurality of effects described above does not necessarily mean that those effects are exerted at the same time. It means that at least one of the above-mentioned effects can be obtained depending on the conditions and the like, and of course, there is a possibility that an effect not described in the present disclosure may be exhibited.
- the present technology can also adopt the following configurations.
- (1) Based on the target object information including the position and shape of the target object and the operation object information including the position of the operation object, a virtual object according to the shape of the target object according to the operation on the target object by the operation object.
- An information processing device including a display control unit that controls a superposed display of.
- the display control unit is an information processing device that superimposes and displays the virtual object along the surface of the target object.
- the display control unit is an information processing device that controls the superimposed display so that the virtual object is virtually drawn on the surface of the target object.
- the information processing device according to (2) or (3) The information processing device according to (2) or (3).
- the display control unit is an information processing device that controls the superimposed display so that the virtual object is virtually arranged along the surface of the target object.
- the information processing device according to any one of (1) to (4).
- An information processing device that includes depth information detected by a depth sensor in each of the position of the target object and the position of the operating object.
- the depth sensor is an information processing device including at least a TOF (Time of Flight) camera.
- the target object information includes the shadow status of the target object.
- the display control unit is an information processing device that controls the brightness of the virtual object based on the shadow condition. (8) The information processing apparatus according to (7).
- the display control unit is an information processing device that controls the brightness of the virtual object so that the shadow state of the target object is reflected in the virtual object.
- the information processing apparatus according to (7) or (8), further It is provided with an acquisition unit for acquiring the target object information and the operation object information.
- the acquisition unit is an information processing device capable of estimating the shadow state of the target object based on the lighting state of the target object and the shape of the target object.
- the lighting condition is an information processing device including the position of a light source that projects light onto the target object and the brightness of the light source.
- the display control unit is an information processing device that superimposes and displays the virtual object on an image of the target object including the target object.
- the information processing apparatus according to any one of (1) to (11).
- the object of interest is at least one of the face or head.
- the operating object is an information processing device that is a finger.
- the information processing apparatus according to any one of (1) to (12).
- the information processing apparatus according to any one of (1) to (13).
- the target object information is an information processing device including brightness.
- the display control unit is an information processing device that displays the virtual object on the target object when the operating object comes into contact with the target object.
- the information processing apparatus according to any one of (1) to (15).
- the display control unit is an information processing device that controls superimposition display of the virtual object according to the shape of the target object based on a position where the operation object operates on the target object.
- (17) Based on the target object information including the position and shape of the target object and the operation object information including the position of the operation object, a virtual object according to the shape of the target object according to the operation on the target object by the operation object.
- a virtual object according to the shape of the target object according to the operation on the target object by the operation object by the operation object.
- a program that causes a computer system to perform steps that control the superposition of.
- Target object 2 ... Operation object 5 ... User terminal 6 ... Target object information 7 ... Operation object information 10 ... Information processing device 31 ... Information acquisition unit 32 ; Shape estimation unit 34 ... Lighting estimation unit 35 ... Display control unit 100 ... Display Control system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
本技術の一形態に係る情報処理装置は、表示制御部を具備する。前記表示制御部は、対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する。これにより、高品質な視聴体験を提供することができる。
Description
本技術は、AR(Augmented Reality)等の表示制御に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
特許文献1に記載のモバイル機器は、表示装置に表示された所定の画像の少なくとも一部を表示することができる。モバイル機器を表示装置に対して前後に動かすことでモバイル機器に表示された画像が拡大縮小処理される。また左右に動かすことでモバイル機器に表示された画像を移動させることが可能である。これにより、ユーザに対して情報を効率よく提供することが図られている(特許文献1の段落[0022][0030]図6等)。
このように、画像等の表示制御に関して、高品質な視聴体験を提供することを可能な技術が求められている。
以上のような事情に鑑み、本技術の目的は、高品質な視聴体験を提供することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、表示制御部を具備する。
前記表示制御部は、対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する。
前記表示制御部は、対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する。
この情報処理装置では、対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、操作物体による対象物体への操作に応じた対象物体の形状に応じた仮想オブジェクトの重畳表示が制御される。これにより、高品質な視聴体験を提供することができる。
前記表示制御部は、前記対象物体の表面に沿うように前記仮想オブジェクトを重畳表示してもよい。
前記表示制御部は、前記対象物体の表面に前記仮想オブジェクトが仮想的に描画されるように、前記重畳表示を制御してもよい。
前記表示制御部は、前記対象物体の表面に沿って前記仮想オブジェクトが仮想的に配置されるように、前記重畳表示を制御してもよい。
前記対象物体の位置及び前記操作物体の位置の各々は、デプスセンサにより検出されるデプス情報を含んでもよい。
前記デプスセンサは、少なくともTOF(Time of Flight)カメラを含んでもよい。
前記対象物体情報は、前記対象物体の陰影状況を含んでもよい。この場合、前記表示制御部は、前記陰影状況に基づいて、前記仮想オブジェクトの輝度を制御してもよい。
前記表示制御部は、前記対象物体の前記陰影状況が前記仮想オブジェクトに反映されるように、前記仮想オブジェクトの輝度を制御してもよい。
前記情報処理装置であって、さらに、前記対象物体情報及び前記操作物体情報を取得する取得部を具備してもよい。この場合、前記取得部は、前記対象物体に対する照明状況と前記対象物体の形状とに基づいて、前記対象物体の陰影状況を推定することが可能であってもよい。
前記照明状況は、前記対象物体に光を投射する光源の位置、及び前記光源の明るさを含んでもよい。
前記表示制御部は、前記対象物体を含む対象物体画像に対して、前記仮想オブジェクトを重畳表示してもよい。
前記対象物体は、顔又は頭の少なくとも一方であってもよい。この場合、前記操作物体は、指であってもよい。
前記対象物体及び前記操作物体は、同じユーザの互いに異なる部位であってもよい。
前記対象物体情報は、輝度を含んでもよい。
前記表示制御部は、前記操作物体が前記対象物体に接触した場合に、前記対象物体に対して前記仮想オブジェクトを表示してもよい。
前記表示制御部は、前記操作物体による前記対象物体への操作を行う位置に基づいて、前記対象物体の形状に応じた前記仮想オブジェクトの重畳表示を制御してもよい。
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御することを含む。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御するステップ。
対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御するステップ。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[表示制御システム]
図1は、本技術に係る表示制御システムの概要を説明するための模式図である。
本技術に係る表示制御システム100は、対象物体1の位置及び形状を含む対象物体情報6と、操作物体2の位置を含む操作物体情報7とに基づいて、操作物体2による対象物体1への操作に応じた対象物体1の形状に応じた仮想オブジェクト4の重畳表示を制御することが可能である。
表示制御システム100を用いることで、高品質な視聴体験を提供することが可能となる。例えば図1に示すように、ユーザ3は、ユーザ端末5を用いてユーザ3自身を撮影(自撮り)している。ユーザ3は、表示制御システム100を用いることで、撮影されている自分の顔等に対して、高品質な仮想オブジェクト4の重畳表示を実行することが可能となる。
図1は、本技術に係る表示制御システムの概要を説明するための模式図である。
本技術に係る表示制御システム100は、対象物体1の位置及び形状を含む対象物体情報6と、操作物体2の位置を含む操作物体情報7とに基づいて、操作物体2による対象物体1への操作に応じた対象物体1の形状に応じた仮想オブジェクト4の重畳表示を制御することが可能である。
表示制御システム100を用いることで、高品質な視聴体験を提供することが可能となる。例えば図1に示すように、ユーザ3は、ユーザ端末5を用いてユーザ3自身を撮影(自撮り)している。ユーザ3は、表示制御システム100を用いることで、撮影されている自分の顔等に対して、高品質な仮想オブジェクト4の重畳表示を実行することが可能となる。
対象物体1は、仮想オブジェクト4が重畳表示される対象となる物体である。図1に示す例では、ユーザ3の顔が対象物体1として設定される。例えば、対象物体1及び操作物体2は、同じユーザ3の互いに異なる部位によりそれぞれ実現される。
これに限定されず、例えば、ユーザ3の胴体等の部位や身体全体(ユーザ3自身)が対象物体1として設定されてもよいし、両手や両足等の複数の部位が対象物体1として設定されてもよい。また例えば、ユーザ3以外の人物が対象物体1として設定されてもよい。
また対象物体1は人以外でもよい。例えば、猫や犬等の生物、人形やマグカップ、扇子等の物体でもよい。
これに限定されず、例えば、ユーザ3の胴体等の部位や身体全体(ユーザ3自身)が対象物体1として設定されてもよいし、両手や両足等の複数の部位が対象物体1として設定されてもよい。また例えば、ユーザ3以外の人物が対象物体1として設定されてもよい。
また対象物体1は人以外でもよい。例えば、猫や犬等の生物、人形やマグカップ、扇子等の物体でもよい。
操作物体2は、対象物体1への操作を実行する物体である。図1に示す例では、ユーザ3の指が操作物体2として設定される。これに限定されず、例えば、ペンや筆等の任意の物体が操作物体2として設定されてもよい。
また操作物体2は複数設定されてもよい。例えば、人差し指、中指、及び薬指が操作物体2として設定されてもよい。
対象物体1への操作は、例えば、対象物体1への接触(タッチ)、対象物体1の表面をなぞる(スライド)等が挙げられる。これ以外にも様々な操作物体2を用いた対象物体1への操作が実行されてもよい。
また本実施形態では、仮想オブジェクト4の制御するための任意の操作も対象物体1への操作に含まれる。例えば、仮想オブジェクト4の重畳される位置を制御(移動)させる場合に、操作物体2が仮想オブジェクト4をタッチした状態で、操作物体2がスライドすることで、仮想オブジェクト4が操作物体2に追従してもよい。
対象物体1への操作はこれに限定されない。例えば、対象物体1への操作は人差し指で実行され、仮想オブジェクト4への操作は中指で実行される等の操作物体2に応じた仮想オブジェクト4の重畳表示が制御されてもよい。
また操作物体2は複数設定されてもよい。例えば、人差し指、中指、及び薬指が操作物体2として設定されてもよい。
対象物体1への操作は、例えば、対象物体1への接触(タッチ)、対象物体1の表面をなぞる(スライド)等が挙げられる。これ以外にも様々な操作物体2を用いた対象物体1への操作が実行されてもよい。
また本実施形態では、仮想オブジェクト4の制御するための任意の操作も対象物体1への操作に含まれる。例えば、仮想オブジェクト4の重畳される位置を制御(移動)させる場合に、操作物体2が仮想オブジェクト4をタッチした状態で、操作物体2がスライドすることで、仮想オブジェクト4が操作物体2に追従してもよい。
対象物体1への操作はこれに限定されない。例えば、対象物体1への操作は人差し指で実行され、仮想オブジェクト4への操作は中指で実行される等の操作物体2に応じた仮想オブジェクト4の重畳表示が制御されてもよい。
仮想オブジェクト4は、例えばキャラクター等のCG(Computer Graphics)、写真、文字、模様、図形等が仮想オブジェクトとして表示可能である。もちろんこれに限定されず、任意の仮想オブジェクトが表示されてよい。例えば、ユーザ3が書いた絵がユーザ端末5に入力されることでユーザ3が書いた絵が仮想オブジェクト4として出力されてもよい。また例えば、静止画又は動画でもよい。
なお、「仮想オブジェクトを対象物体に対して重畳表示」するとは、対象物体が含まれる特定の空間内に対して特定の仮想オブジェクトを表示することを含む。また特定の位置に仮想オブジェクトを表示することが含まれる。その他、対象物体1を含む対象物体画像(撮影画像)に対して、仮想オブジェクトを重畳表示させる任意の表示が含まれる。
なお、「仮想オブジェクトを対象物体に対して重畳表示」するとは、対象物体が含まれる特定の空間内に対して特定の仮想オブジェクトを表示することを含む。また特定の位置に仮想オブジェクトを表示することが含まれる。その他、対象物体1を含む対象物体画像(撮影画像)に対して、仮想オブジェクトを重畳表示させる任意の表示が含まれる。
対象物体情報6は、対象物体1の位置及び形状等の種々の情報を含む。
対象物体1の位置の情報として、例えば、絶対座標系(ワールド座標系)により規定される座標値(例えばXYZ座標値)が用いられてもよい。あるいは、所定の点を基準(原点)とした相対座標系により規定される座標値(例えばxyz座標値又はuvd座標値)が用いられてもよい。相対座標系が用いられる場合、基準となる原点は、任意に設定されてよい。本実施形態では、ユーザ端末5の内向きカメラ13を基準にユーザ3の顔のデプス情報が設定される。またユーザ3の顔の向きや姿勢等も対象物体情報6に含まれる。
デプス情報とは、原点から測定物体までの距離である。本実施形態では、内向きカメラ13の位置を基準(原点)とした対象物体1及び操作物体2の各々の奥行きがデプス情報となる。具体的には、対象物体1及び操作物体2の各画素におけるデプス情報が内向きカメラ13により取得される。
対象物体1の形状の情報として、例えば、ユーザ3の顔表面の3D形状が設定される。3D形状とは、大きさや曲率等の物体の形状を示す情報である。例えば、対象物体1が顔の場合、鼻、あご、頬、眼、眼窩等の大きさや曲率等が3D形状として用いられる。
また対象物体情報6は、対象物体1の姿勢及び陰影状況を含む。対象物体1の姿勢は、例えば、対象物体1が顔の場合、内向きカメラ13に対して正対した顔の姿勢を基準として、顔がどの方向を向いているか、傾いているか等の情報が対象物体1の姿勢として設定される。
陰影状況は、対象物体1における影に関する情報である。本実施形態では、対象物体1の各位置(画素)における輝度や輝度情報分布が陰影状況に含まれる。例えば、対象物体1が顔の場合、鼻や髪等により生じる影の領域の輝度が低く検出される。
対象物体1の位置の情報として、例えば、絶対座標系(ワールド座標系)により規定される座標値(例えばXYZ座標値)が用いられてもよい。あるいは、所定の点を基準(原点)とした相対座標系により規定される座標値(例えばxyz座標値又はuvd座標値)が用いられてもよい。相対座標系が用いられる場合、基準となる原点は、任意に設定されてよい。本実施形態では、ユーザ端末5の内向きカメラ13を基準にユーザ3の顔のデプス情報が設定される。またユーザ3の顔の向きや姿勢等も対象物体情報6に含まれる。
デプス情報とは、原点から測定物体までの距離である。本実施形態では、内向きカメラ13の位置を基準(原点)とした対象物体1及び操作物体2の各々の奥行きがデプス情報となる。具体的には、対象物体1及び操作物体2の各画素におけるデプス情報が内向きカメラ13により取得される。
対象物体1の形状の情報として、例えば、ユーザ3の顔表面の3D形状が設定される。3D形状とは、大きさや曲率等の物体の形状を示す情報である。例えば、対象物体1が顔の場合、鼻、あご、頬、眼、眼窩等の大きさや曲率等が3D形状として用いられる。
また対象物体情報6は、対象物体1の姿勢及び陰影状況を含む。対象物体1の姿勢は、例えば、対象物体1が顔の場合、内向きカメラ13に対して正対した顔の姿勢を基準として、顔がどの方向を向いているか、傾いているか等の情報が対象物体1の姿勢として設定される。
陰影状況は、対象物体1における影に関する情報である。本実施形態では、対象物体1の各位置(画素)における輝度や輝度情報分布が陰影状況に含まれる。例えば、対象物体1が顔の場合、鼻や髪等により生じる影の領域の輝度が低く検出される。
操作物体情報7は、操作物体2の位置を含む情報が操作物体情報7として設定される。例えば、絶対座標系(ワールド座標系)により規定される座標値(例えばXYZ座標値)が用いられてもよい。あるいは、所定の点を基準(原点)とした相対座標系により規定される座標値(例えばxyz座標値又はuvd座標値)が用いられてもよい。相対座標系が用いられる場合、基準となる原点は、任意に設定されてよい。
典型的には、対象物体情報6に含まれる対象物体1の位置を規定する座標系と、同じ座標系により、操作物体2の位置が規定される。
本実施形態では、ユーザ端末5の内向きカメラ13を基準にユーザ3の指のデプス情報が操作物体情報7として設定される。
また操作物体情報7は、操作物体2の姿勢及び輝度を含む。操作物体2の姿勢は、例えば、操作物体2が指の場合、指の先端がどの方向を向いているか、傾いているか等の情報が操作物体2の姿勢として設定される。
典型的には、対象物体情報6に含まれる対象物体1の位置を規定する座標系と、同じ座標系により、操作物体2の位置が規定される。
本実施形態では、ユーザ端末5の内向きカメラ13を基準にユーザ3の指のデプス情報が操作物体情報7として設定される。
また操作物体情報7は、操作物体2の姿勢及び輝度を含む。操作物体2の姿勢は、例えば、操作物体2が指の場合、指の先端がどの方向を向いているか、傾いているか等の情報が操作物体2の姿勢として設定される。
図1に示すように表示制御システム100は、ユーザ端末5と情報処理装置10とを含む。本実施形態では、情報処理装置10は、ユーザ端末5自身により実現されるものとする。もちろんそのような構成に限定される訳ではない。
ユーザ端末5は、ユーザ3に使用される端末である。例えばスマートフォンやタブレット端末等の携帯端末が、ユーザ端末5として用いられる。本実施形態では、ユーザ端末5は内向きカメラ13と外向きカメラ14とタッチパネル15とを有する。
内向きカメラ13及び外向きカメラ14は、周辺の画像を撮影可能な撮像装置である。ここで内向きカメラ13はタッチパネル15が搭載される面と同じ面に搭載されるカメラである。また外向きカメラ14は、タッチパネル15が搭載される面とは反対側の面に搭載されるカメラである。
本実施形態では、内向きカメラ13及び外向きカメラ14は、対象物体1及び操作物体2までの距離(デプス情報)を測定可能なTOF(Time of Flight)カメラを含む。これ以外にもステレオカメラ、デジタルカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置が用いられる。またレーザ測距センサ、接触センサ、超音波センサ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等のセンサデバイスが用いられてもよい。
また本実施形態では、内向きカメラ13及び外向きカメラ14は、対象物体1の輝度を取得するためのRGBカメラを含む。これに限定されず、対象物体1の輝度を取得可能であれば任意の撮像装置が用いられてもよい。
タッチパネル15は表示部として機能し、種々の画像やGUIを表示することが可能である。本実施形態では、内向きカメラ13又は外向きカメラ14により撮影される画角内がリアルタイムで表示される。
またタッチパネル15は、ユーザ3のタッチ操作を受付けることが可能である。ユーザ3は、タッチパネル15を介して、所定の指示等を入力可能である。
内向きカメラ13及び外向きカメラ14は、周辺の画像を撮影可能な撮像装置である。ここで内向きカメラ13はタッチパネル15が搭載される面と同じ面に搭載されるカメラである。また外向きカメラ14は、タッチパネル15が搭載される面とは反対側の面に搭載されるカメラである。
本実施形態では、内向きカメラ13及び外向きカメラ14は、対象物体1及び操作物体2までの距離(デプス情報)を測定可能なTOF(Time of Flight)カメラを含む。これ以外にもステレオカメラ、デジタルカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置が用いられる。またレーザ測距センサ、接触センサ、超音波センサ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等のセンサデバイスが用いられてもよい。
また本実施形態では、内向きカメラ13及び外向きカメラ14は、対象物体1の輝度を取得するためのRGBカメラを含む。これに限定されず、対象物体1の輝度を取得可能であれば任意の撮像装置が用いられてもよい。
タッチパネル15は表示部として機能し、種々の画像やGUIを表示することが可能である。本実施形態では、内向きカメラ13又は外向きカメラ14により撮影される画角内がリアルタイムで表示される。
またタッチパネル15は、ユーザ3のタッチ操作を受付けることが可能である。ユーザ3は、タッチパネル15を介して、所定の指示等を入力可能である。
図1では、内向きカメラ13により撮影されたユーザ3がタッチパネル15に表示されている様子が模式的に図示されている。ユーザ3は、指(操作物体2)による顔(対象物体1)への操作に応じた、顔の形状に応じた仮想オブジェクト4の重畳表示を実行することが可能である。例えば、ユーザ3の指がユーザ3の顔に接触した場合に、指が接触した箇所にワニの仮想オブジェクト4が重畳表示される。本実施形態では、ワニの仮想オブジェクト4がユーザ3の顔の表面に応じた形状に制御されている。
情報処理装置10は、例えばCPUやGPU、DSP等のプロセッサ、ROMやRAM等のメモリ、HDD等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する(図9参照)。例えばCPUがROM等に予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、本技術に係る情報処理方法が実行される。
例えばPC(Personal Computer)等の任意のコンピュータにより、情報処理装置10を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。
本実施形態では、CPUが所定のプログラムを実行することで、機能ブロックとしての表示制御部が構成される。もちろん機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介して情報処理装置10にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
例えばPC(Personal Computer)等の任意のコンピュータにより、情報処理装置10を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。
本実施形態では、CPUが所定のプログラムを実行することで、機能ブロックとしての表示制御部が構成される。もちろん機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介して情報処理装置10にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
情報処理装置10は、対象物体情報6及び操作物体情報7を取得する。なお、本開示において、対象物体情報6及び操作物体情報7の取得は、外部から送信された対象物体情報6及び操作物体情報7を受信する事、及び情報処理装置10自身により対象物体情報6及び操作物体情報7を生成することの両方を含む。
図1に例示する情報処理装置10は、対象物体情報6と操作物体情報7とに基づいて、仮想オブジェクト4の重畳表示を制御する。
図1に例示する情報処理装置10は、対象物体情報6と操作物体情報7とに基づいて、仮想オブジェクト4の重畳表示を制御する。
図2は、ユーザ端末5の機能的な構成例を示すブロック図である。ユーザ端末5は、スピーカ11、マイク12、内向きカメラ13、外向きカメラ14、タッチパネル15、操作ボタン16、照明部17、センサ部18、通信部19、記憶部20、及びコントローラ21を有する。
スピーカ11は、音声を出力可能である。スピーカ11により、例えば音声ガイダンスやアラーム音等が出力される。
マイク12は、通話、声による指示の入力、周辺の音の収集等に用いられる。
操作ボタン16は、例えば電源のON/OFFの操作のように、タッチパネル15を介した操作とは異なる操作を行うために設けられる。
照明部17は、LED(Light Emitting Diode)やLD(Laser Diode)等の光源を有し、光を出力することが可能である。例えば照明部17をONすることで、ライトの様に対象物体1に光を照らすことが可能である。また、照明部17によりメールの受信等を通知することも可能である。
センサ部18は、周辺の状況、ユーザ端末5の状態、ユーザ3の状態等を検出可能である。例えばセンサ部18として、9軸センサ、GPS、生体センサ等が搭載される。9軸センサは、3軸加速度センサ、3軸ジャイロセンサ、及び3軸コンパスセンサを含む。9軸センサにより、ユーザ端末5の3軸における加速度、角速度、及び方位を検出することが可能である。GPSは、ユーザ端末5の現在位置の情報を取得する。生体センサは、ユーザの生体情報を取得する。例えば生体センサとして、体温を測定可能な温度センサ、心拍数を測定可能な心拍センサ、発汗量を測定可能な発汗センサ等が設けられる。
センサ部18として設けられるセンサの種類は限定されず、任意のセンサが設けられてもよい。例えばユーザ端末5を使用する環境の温度や湿度等を測定可能な温度センサや湿度センサ等が設けられてもよい。なお、マイク12や内向きカメラ13、外向きカメラ14を、センサ部18の一部として見做すことも可能である。
センサ部18として設けられるセンサの種類は限定されず、任意のセンサが設けられてもよい。例えばユーザ端末5を使用する環境の温度や湿度等を測定可能な温度センサや湿度センサ等が設けられてもよい。なお、マイク12や内向きカメラ13、外向きカメラ14を、センサ部18の一部として見做すことも可能である。
通信部19は、他のデバイスとの間で、ネットワーク通信、近距離無線通信、赤外線通信等を実行するためのモジュールである。例えばWiFi等の無線LANモジュールや、Bluetooth(登録商標)等の通信モジュールが設けられる。また任意の赤外線通信モジュールが用いられてよい。
記憶部20は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)等が用いられる。記憶部20には、ユーザ端末5の全体の動作を制御するための制御プログラムが記憶される。また記憶部20には、各種の処理を行う上で使用するデータ、及び各種の処理によって生成されたデータ等が記憶される。制御プログラム等を、ユーザ端末5にインストールする方法は限定されない。
コントローラ21は、ユーザ端末5が有する各ブロックの動作を制御する。コントローラ21は、例えばCPUやメモリ(RAM、ROM)等のコンピュータに必要なハードウェア構成を有する。CPUが記憶部20に記憶されている制御プログラム等をRAMにロードして実行することにより、種々の処理が実行される。本実施形態では、コントローラ21は、情報処理装置として機能する。
コントローラ21として、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
本実施形態では、コントローラ21のCPUが実施形態に係るプログラムを実行することで、機能ブロックとして、情報取得部31、形状推定部32、行動検出部33、照明推定部34、及び表示制御部35が実現され、本実施形態に係る情報処理方法が実行される。なお情報取得部31、形状推定部32、行動検出部33、照明推定部34、及び表示制御部35を実現するために、IC(集積回路)等の専用のハードウェアが適宜用いられてもよい。
また本実施形態では、コントローラ21は、本技術に係る情報処理装置として機能する。
また本実施形態では、コントローラ21は、本技術に係る情報処理装置として機能する。
情報取得部31は、外部から出力されるセンシング結果を取得する。本実施形態では、内向きカメラ13から取得された対象物体1のデプス情報と操作物体2のデプス情報が取得される。これに限定されず、スピーカ11、マイク12、外向きカメラ14、タッチパネル15、操作ボタン16、及びセンサ部18から種々の情報が取得されてもよい。例えば、ユーザ3による仮想オブジェクト4の変更の旨の指示がマイク12から取得されてもよい。
形状推定部32は、対象物体1及び操作物体2の形状を推定する。
本実施形態では、情報取得部31から取得された対象物体1のデプス情報に基づいて、対象物体1の位置、3D形状、及び姿勢が推定される。また本実施形態では、情報取得部31から取得された操作物体2のデプス情報に基づいて、操作物体2の位置、及び姿勢が推定される。
また形状推定部32は、RGBカメラから得られる輝度の低い領域に対して、デプス情報を推定する。例えば、ユーザ3の黒髪等の黒色の領域では、IR(Infra-Red)の反射が弱いためデプス情報が正確に求まらない可能性がある。この場合に、形状推定部32は、顔のデプス情報に基づいて、黒色の領域のデプス情報を推定する。
また形状推定部32は、対象物体1に対する照明状況と対象物体1の形状とに基づいて、対象物体の陰影状況を推定することが可能である。本実施形態では、対象物体1に光を投射する光源の位置及び明るさと対象物体1の形状から、対象物体1に生じる影の位置(領域)が推定される。
照明状況とは、対象物体1に光を投射する光源に関する状況である。本実施形態では、対象物体1に光を投射する光源の位置、及び光源の明るさを含む。典型的には、光源は、対象物体1に対して光を投射することで、光が投射される領域(輝度が高い領域)と光が投射されることで生じる影の領域(輝度が低い領域)とを発生させる物体である。
これに限定されず、例えば、ユーザ端末5とユーザ3との直線上に光を投射する物体があった場合に、ユーザ3の顔(対象物体1)全体が、輝度が高い領域又は輝度が低い領域となる場合でも光を投射する物体を光源としてもよい。
本実施形態では、情報取得部31から取得された対象物体1のデプス情報に基づいて、対象物体1の位置、3D形状、及び姿勢が推定される。また本実施形態では、情報取得部31から取得された操作物体2のデプス情報に基づいて、操作物体2の位置、及び姿勢が推定される。
また形状推定部32は、RGBカメラから得られる輝度の低い領域に対して、デプス情報を推定する。例えば、ユーザ3の黒髪等の黒色の領域では、IR(Infra-Red)の反射が弱いためデプス情報が正確に求まらない可能性がある。この場合に、形状推定部32は、顔のデプス情報に基づいて、黒色の領域のデプス情報を推定する。
また形状推定部32は、対象物体1に対する照明状況と対象物体1の形状とに基づいて、対象物体の陰影状況を推定することが可能である。本実施形態では、対象物体1に光を投射する光源の位置及び明るさと対象物体1の形状から、対象物体1に生じる影の位置(領域)が推定される。
照明状況とは、対象物体1に光を投射する光源に関する状況である。本実施形態では、対象物体1に光を投射する光源の位置、及び光源の明るさを含む。典型的には、光源は、対象物体1に対して光を投射することで、光が投射される領域(輝度が高い領域)と光が投射されることで生じる影の領域(輝度が低い領域)とを発生させる物体である。
これに限定されず、例えば、ユーザ端末5とユーザ3との直線上に光を投射する物体があった場合に、ユーザ3の顔(対象物体1)全体が、輝度が高い領域又は輝度が低い領域となる場合でも光を投射する物体を光源としてもよい。
なお、対象物体情報6、操作物体情報7、及び黒色の領域のデプス情報を推定するための任意の技術(アルゴリズム等)が採用されてよい。
例えばDNN(Deep Neural Network:深層ニューラルネットワーク)等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング(深層学習)を行うAI(人工知能)等を用いることで、対象物体情報6、操作物体情報7、及び黒色の領域のデプス情報の推定精度を向上させることが可能となる。
例えば対象物体情報6、操作物体情報7、及び黒色の領域のデプス情報を推定するために学習部及び識別部が構築される。学習部は、入力された情報(学習データ)に基づいて機械学習を行い、学習結果を出力する。また、識別部は、入力された情報と学習結果に基づいて、当該入力された情報の識別(判断や予測等)を行う。
学習部における学習手法には、例えばニューラルネットワークやディープラーニングが用いられる。ニューラルネットワークとは、人間の脳神経回路を模倣したモデルであって、入力層、中間層(隠れ層)、出力層の3種類の層から成る。
ディープラーニングとは、多層構造のニューラルネットワークを用いたモデルであって、各層で特徴的な学習を繰り返し、大量データの中に潜んでいる複雑なパターンを学習することができる。
ディープラーニングは、例えば画像内のオブジェクトや音声内の単語を識別する用途として用いられる。例えば、画像や動画の認識に用いられる畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)等が用いられる。
また、このような機械学習を実現するハードウェア構造としては、ニューラルネットワークの概念を組み込まれたニューロチップ/ニューロモーフィック・チップが用いられ得る。
例えばDNN(Deep Neural Network:深層ニューラルネットワーク)等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング(深層学習)を行うAI(人工知能)等を用いることで、対象物体情報6、操作物体情報7、及び黒色の領域のデプス情報の推定精度を向上させることが可能となる。
例えば対象物体情報6、操作物体情報7、及び黒色の領域のデプス情報を推定するために学習部及び識別部が構築される。学習部は、入力された情報(学習データ)に基づいて機械学習を行い、学習結果を出力する。また、識別部は、入力された情報と学習結果に基づいて、当該入力された情報の識別(判断や予測等)を行う。
学習部における学習手法には、例えばニューラルネットワークやディープラーニングが用いられる。ニューラルネットワークとは、人間の脳神経回路を模倣したモデルであって、入力層、中間層(隠れ層)、出力層の3種類の層から成る。
ディープラーニングとは、多層構造のニューラルネットワークを用いたモデルであって、各層で特徴的な学習を繰り返し、大量データの中に潜んでいる複雑なパターンを学習することができる。
ディープラーニングは、例えば画像内のオブジェクトや音声内の単語を識別する用途として用いられる。例えば、画像や動画の認識に用いられる畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)等が用いられる。
また、このような機械学習を実現するハードウェア構造としては、ニューラルネットワークの概念を組み込まれたニューロチップ/ニューロモーフィック・チップが用いられ得る。
機械学習の問題設定には、教師あり学習、教師なし学習、半教師学習、強化学習、逆強化学習、能動学習、転移学習等がある。
例えば教師あり学習は、与えられたラベル付きの学習データ(教師データ)に基づいて特徴量を学習する。これにより、未知のデータのラベルを導くことが可能となる。
また、教師なし学習は、ラベルが付いていない学習データを大量に分析して特徴量を抽出し、抽出した特徴量に基づいてクラスタリングを行う。これにより、膨大な未知のデータに基づいて傾向の分析や未来予測を行うことが可能となる。
また、半教師学習は、教師あり学習と教師なし学習を混在させたものであって、教師あり学習で特徴量を学ばせた後、教師なし学習で膨大な訓練データを与え、自動的に特徴量を算出させながら繰り返し学習を行う方法である。
また、強化学習は、ある環境内におけるエージェントが現在の状態を観測して取るべき行動を決定する問題を扱うものである。エージェントは、行動を選択することで環境から報酬を習得し、一連の行動を通じて報酬が最も多く得られるような方策を学習する。このように、ある環境における最適解を学習することで、人間の判断力を再現し、また、人間を超える判断力をコンピュータに習得させることが可能となる。
機械学習によって、仮想的なセンシングデータを生成することも可能である。例えば、入力された画像情報から位置情報を生成するなど、あるセンシングデータから別のセンシングデータを予測して入力情報として使用することが可能である。
また、複数のセンシングデータから別のセンシングデータを生成することも可能である。また、必要な情報を予測し、センシングデータから所定の情報を生成することも可能である。
また、機械学習とは異なる任意の学習アルゴリズム等が用いられてよい。所定の学習アルゴリズムに従って対象物体情報6、操作物体情報7、及び黒色の領域のデプス情報を推定することで、対象物体情報6、操作物体情報7、及び黒色の領域のデプス情報の推定精度を向上させることが可能となる。もちろん学習アルゴリズムが用いられる場合に限定される訳ではない。
なお学習アルゴリズムの適用は、本開示内の任意の処理に対して実行されてよい。
例えば教師あり学習は、与えられたラベル付きの学習データ(教師データ)に基づいて特徴量を学習する。これにより、未知のデータのラベルを導くことが可能となる。
また、教師なし学習は、ラベルが付いていない学習データを大量に分析して特徴量を抽出し、抽出した特徴量に基づいてクラスタリングを行う。これにより、膨大な未知のデータに基づいて傾向の分析や未来予測を行うことが可能となる。
また、半教師学習は、教師あり学習と教師なし学習を混在させたものであって、教師あり学習で特徴量を学ばせた後、教師なし学習で膨大な訓練データを与え、自動的に特徴量を算出させながら繰り返し学習を行う方法である。
また、強化学習は、ある環境内におけるエージェントが現在の状態を観測して取るべき行動を決定する問題を扱うものである。エージェントは、行動を選択することで環境から報酬を習得し、一連の行動を通じて報酬が最も多く得られるような方策を学習する。このように、ある環境における最適解を学習することで、人間の判断力を再現し、また、人間を超える判断力をコンピュータに習得させることが可能となる。
機械学習によって、仮想的なセンシングデータを生成することも可能である。例えば、入力された画像情報から位置情報を生成するなど、あるセンシングデータから別のセンシングデータを予測して入力情報として使用することが可能である。
また、複数のセンシングデータから別のセンシングデータを生成することも可能である。また、必要な情報を予測し、センシングデータから所定の情報を生成することも可能である。
また、機械学習とは異なる任意の学習アルゴリズム等が用いられてよい。所定の学習アルゴリズムに従って対象物体情報6、操作物体情報7、及び黒色の領域のデプス情報を推定することで、対象物体情報6、操作物体情報7、及び黒色の領域のデプス情報の推定精度を向上させることが可能となる。もちろん学習アルゴリズムが用いられる場合に限定される訳ではない。
なお学習アルゴリズムの適用は、本開示内の任意の処理に対して実行されてよい。
行動検出部33は、操作物体2による対象物体1への操作を検出する。本実施形態では、対象物体1である顔のデプス情報と、操作物体2である指のデプス情報とに基づいて、指が顔に接触したかが検出される。また例えば、操作物体2が仮想オブジェクト4に対して所定の操作を実行したかが検出される。
また行動検出部33は、操作物体2による対象物体1への操作を行う位置を検出する。例えば、顔の3D形状及び姿勢に基づいて、指が頬に接触したかが検出される。
行動検出部33により検出された情報が表示制御部35に供給されることで、仮想オブジェクト4の重畳表示が制御される。
なお、操作物体2による対象物体1への操作の検出方法は限定されず、任意の技術(アルゴリズム等)が採用されてよい。
また行動検出部33は、操作物体2による対象物体1への操作を行う位置を検出する。例えば、顔の3D形状及び姿勢に基づいて、指が頬に接触したかが検出される。
行動検出部33により検出された情報が表示制御部35に供給されることで、仮想オブジェクト4の重畳表示が制御される。
なお、操作物体2による対象物体1への操作の検出方法は限定されず、任意の技術(アルゴリズム等)が採用されてよい。
照明推定部34は、対象物体1の周辺にある照明状況を推定する。本実施形態では、対象物体1の3D形状と対象物体1の輝度とに基づいて、対象物体1の撮影時の照明に関する照明状況を推定する。
なお、照明状況を推定する方法は限定されない。例えば、内向きカメラ13の画角内に光源がある場合、光源が物体認識等で推定されてもよい。また例えば、光を投射する物体を中心に所定の方向(放射状又は同心円状)に輝度が減衰している物体を光源としてもよい。
なお、照明状況を推定する方法は限定されない。例えば、内向きカメラ13の画角内に光源がある場合、光源が物体認識等で推定されてもよい。また例えば、光を投射する物体を中心に所定の方向(放射状又は同心円状)に輝度が減衰している物体を光源としてもよい。
表示制御部35は、仮想オブジェクト4の重畳表示を制御する。本実施形態では、対象物体1の表面に沿うように仮想オブジェクト4が重畳表示される。例えば、指による顔への操作を行う位置に基づいて、顔の形状に応じた仮想オブジェクト4の重畳表示が制御される。
本開示において、「表面に沿うように」とは、ユーザ3の顔に仮想オブジェクト4が重畳表示された場合に、ユーザ3の顔の表面(3D形状)に対して仮想オブジェクト4が射影変換された状態である。すなわち、対象物体1の表面に仮想オブジェクト4が仮想的に描画されるように、重畳表示が制御される。
また表示制御部35は、陰影状況に基づいて、仮想オブジェクト4の輝度を制御する。本実施形態では、実際に対象物体1に存在する影の領域(輝度の低い領域)に基づいて、仮想オブジェクト4の輝度を制御する。すなわち、対象物体1の陰影状況が仮想オブジェクト4に反映されるように、仮想オブジェクト4の輝度が制御される。
また本実施形態では、照明推定部34により推定された照明状況と、対象物体1の形状とに基づいて、仮想オブジェクト4の輝度を制御する。すなわち、仮想オブジェクト4に陰影が付与された状態で対象物体に重畳表示される。
また表示制御部35は、対象物体1の表面に沿って仮想オブジェクト4が仮想的に配置されるように、重畳表示を制御する。
本開示において、「表面に沿うように」とは、ユーザ3の顔に仮想オブジェクト4が重畳表示された場合に、ユーザ3の顔の表面(3D形状)に対して仮想オブジェクト4が射影変換された状態である。すなわち、対象物体1の表面に仮想オブジェクト4が仮想的に描画されるように、重畳表示が制御される。
また表示制御部35は、陰影状況に基づいて、仮想オブジェクト4の輝度を制御する。本実施形態では、実際に対象物体1に存在する影の領域(輝度の低い領域)に基づいて、仮想オブジェクト4の輝度を制御する。すなわち、対象物体1の陰影状況が仮想オブジェクト4に反映されるように、仮想オブジェクト4の輝度が制御される。
また本実施形態では、照明推定部34により推定された照明状況と、対象物体1の形状とに基づいて、仮想オブジェクト4の輝度を制御する。すなわち、仮想オブジェクト4に陰影が付与された状態で対象物体に重畳表示される。
また表示制御部35は、対象物体1の表面に沿って仮想オブジェクト4が仮想的に配置されるように、重畳表示を制御する。
なお、本実施形態において、表示制御部35は、対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、操作物体による対象物体への操作に応じた対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する表示制御部に相当する。
なお、本実施形態において、照明推定部34は、対象物体情報に基づいて、対象物体の撮影時の照明に関する照明状況を推定する照明推定部に相当する。
なお、本実施形態において、情報取得部31及び形状推定部32は、対象物体情報及び操作物体情報を取得する取得部として機能する。
なお、本実施形態において、照明推定部34は、対象物体情報に基づいて、対象物体の撮影時の照明に関する照明状況を推定する照明推定部に相当する。
なお、本実施形態において、情報取得部31及び形状推定部32は、対象物体情報及び操作物体情報を取得する取得部として機能する。
図3は、重畳表示の制御の基本的な実行例を示すフローチャートである。
情報取得部31及び形状推定部32により対象物体情報6が取得される(ステップ101)。
情報取得部31及び形状推定部32により操作物体情報7が取得される(ステップ102)。
行動検出部33により操作物体2による対象物体1への操作が検出される(ステップ103)。
表示制御部35により仮想オブジェクト4が重畳表示される(ステップ104)。
情報取得部31及び形状推定部32により対象物体情報6が取得される(ステップ101)。
情報取得部31及び形状推定部32により操作物体情報7が取得される(ステップ102)。
行動検出部33により操作物体2による対象物体1への操作が検出される(ステップ103)。
表示制御部35により仮想オブジェクト4が重畳表示される(ステップ104)。
図4は、重畳表示の制御の具体的な実行例を示すフローチャートである。
図4では、ユーザ3の顔1が対象物体として設定される。またユーザ3の指2が操作物体として設定される。
図5は、仮想オブジェクト4の重畳表示を示す模式図である。図5に示すように、ユーザ端末5のタッチパネル15にユーザ3が表示されている。図5では、図1に示すように、ユーザ3が自撮りしている状態を簡略した図である。
図4では、ユーザ3の顔1が対象物体として設定される。またユーザ3の指2が操作物体として設定される。
図5は、仮想オブジェクト4の重畳表示を示す模式図である。図5に示すように、ユーザ端末5のタッチパネル15にユーザ3が表示されている。図5では、図1に示すように、ユーザ3が自撮りしている状態を簡略した図である。
ユーザ3はユーザ端末5の内向きカメラ13を用いて自身の撮影を行う。図5に示すように、ユーザ端末5のタッチパネル15にカメラスルーが表示される(ステップ201)。
情報取得部31により内向きカメラ13により取得されたセンシング結果に基づいて、顔1のデプス情報が取得される(ステップ202)。
形状推定部32により、顔1のデプス情報に基づいて、顔1の位置、3D形状、及び姿勢が推定される(ステップ203)。
ステップ202及びステップ203は、図3に示すステップ101の対象物体情報の取得に相当する。
形状推定部32により、顔1のデプス情報に基づいて、顔1の位置、3D形状、及び姿勢が推定される(ステップ203)。
ステップ202及びステップ203は、図3に示すステップ101の対象物体情報の取得に相当する。
また情報取得部31により内向きカメラ13により取得されたセンシング結果に基づいて、指2のデプス情報が取得される(ステップ204)。ステップ204は、図3に示すステップ102の操作物体情報の取得に相当する。
行動検出部33により、指2がユーザ3の顔1にタッチしたことが検出される(ステップ205)。本実施形態では、顔1のデプス情報と指2のデプス情報との差が所定の閾値以下の場合に、指2が顔1にタッチしたと判定される。ステップ205は、図3に示すステップ103の操作物体による対象物体への操作の検出に相当する。
表示制御部35により、指2がユーザ3の顔のタッチした箇所に仮想オブジェクト4を表示する(ステップ206)。ステップ206では、仮想オブジェクト4がユーザ3の顔1に対してどのように描画されるかを確認するための仮想的に重畳表示される。すなわち、仮想オブジェクト4の表示される位置、仮想オブジェクト4の大きさや角度等を確認するためのイメージ図がユーザ3の顔1に表示される。もちろんステップ206で表示された仮想オブジェクト4に対して、拡大、縮小、回転、移動等の様々な制御を行うことが可能である。
照明推定部34により、顔1の3D形状(表面形状)と顔1の輝度とに基づいて、照明状況が推定される(ステップ207)。図5に示すように、本実施形態では、RGBカメラにより顔1の輝度の低い領域40が影の領域として取得される。照明推定部34により、顔1の形状に生じる領域40の位置に基づいて、光源41の位置が推定される。例えば、顔の左下に領域40が生じる場合は、光源41が顔1に対して領域40の反対側にいると推定される。
表示制御部35により、照明状況に基づいて、顔1の形状に沿った陰影が仮想オブジェクト4に付与され、表示される(ステップ208)。図5に示すように、領域40内にある仮想オブジェクト4に対して陰影が付与される。本実施形態では、顔1の影の輝度に応じた仮想の陰影が仮想オブジェクト4に付与される。
ステップ208で表示された仮想オブジェクト4に対して、拡大、縮小、回転、移動等の様々な制御を行うことが可能である。また種々の制御が実行された際にも、仮想オブジェクト4に対して重畳表示が制御される。例えば、仮想オブジェクト4をユーザ3の口42に移動させた場合、仮想オブジェクト4が口42の形状に沿って表示される。また仮想オブジェクト4が重畳表示されている際に顔1の姿勢が変わった場合も、姿勢の変化に応じた影の領域の位置の変化に基づいて、仮想オブジェクト4の陰影の付与が制御される。
なお、仮想オブジェクト4に対して仮想の陰影を付与する方法は限定されない。例えば、仮想オブジェクト4の輝度が低く制御されることで陰影が表現されてもよい。また仮想オブジェクト4に対して顔1の輝度に応じた影のレイヤーが重畳されることで陰影が表現されてもよい。
ステップ206~ステップ208は、図3に示すステップ104に相当する。
ステップ208で表示された仮想オブジェクト4に対して、拡大、縮小、回転、移動等の様々な制御を行うことが可能である。また種々の制御が実行された際にも、仮想オブジェクト4に対して重畳表示が制御される。例えば、仮想オブジェクト4をユーザ3の口42に移動させた場合、仮想オブジェクト4が口42の形状に沿って表示される。また仮想オブジェクト4が重畳表示されている際に顔1の姿勢が変わった場合も、姿勢の変化に応じた影の領域の位置の変化に基づいて、仮想オブジェクト4の陰影の付与が制御される。
なお、仮想オブジェクト4に対して仮想の陰影を付与する方法は限定されない。例えば、仮想オブジェクト4の輝度が低く制御されることで陰影が表現されてもよい。また仮想オブジェクト4に対して顔1の輝度に応じた影のレイヤーが重畳されることで陰影が表現されてもよい。
ステップ206~ステップ208は、図3に示すステップ104に相当する。
以上、本実施形態に係る情報処理装置10は、対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、操作物体による対象物体への操作に応じた対象物体の形状に応じた仮想オブジェクトの重畳表示が制御される。これにより、高品質な視聴体験を提供することができる。
スマートフォン等の2次元の画面上では、2次元の位置指定に比べて3次元的な奥行きの位置指定や位置の調整が困難である。また顔周辺を指で操作する場合など、顔と指が同じ肌色であるためRGBカメラ等から得られる輝度の情報だけでは頑健な認識が困難である。
そこで、本技術では、TOFセンサを用いて顔や指のデプス情報が取得される。顔や指のデプス情報に基づいて指が顔に対して実行される操作が検出され、顔に対して仮想オブジェクトの重畳表示が制御される。これにより、高品質な視聴体験を提供することが可能となる。また仮想オブジェクトの3次元的な加工及び調整が容易に可能となる。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記の実施形態では、操作物体である指が対象物体である顔に接触した場合に、仮想オブジェクト4が重畳表示された。これに限定されず、操作物体の接触する箇所に応じて、重畳表示の制御が切り替えられてもよい。
図6は、重畳表示の処理の切替の実行例を示すフローチャートである。
図7は、仮想オブジェクトの重畳表示の他の例を示す模式図である。図7では、説明の簡略化のために、ユーザ端末とユーザ端末を保持する左手との図示が省略されている。また、ユーザ50の右手51の図示が簡略化されている。
また図7に示す例では、対象物体が顔52、操作物体が右手51、仮想オブジェクトが星53として設定される。
なお、図6におけるステップ201~ステップ208の説明は図4と同様のため、その説明を省略又は簡略化する。
図7は、仮想オブジェクトの重畳表示の他の例を示す模式図である。図7では、説明の簡略化のために、ユーザ端末とユーザ端末を保持する左手との図示が省略されている。また、ユーザ50の右手51の図示が簡略化されている。
また図7に示す例では、対象物体が顔52、操作物体が右手51、仮想オブジェクトが星53として設定される。
なお、図6におけるステップ201~ステップ208の説明は図4と同様のため、その説明を省略又は簡略化する。
図7に示すように、ユーザ50が黒色の帽子54をかぶっている。TOFセンサでは、黒色の帽子54の領域のデプス情報が正確に求まらない可能性がある。本実施形態では、RGBカメラから得られる輝度(輝度情報分布)に基づいて、帽子54の領域(輝度の低い領域)が推定される(ステップ301)。
形状推定部32により、帽子54の領域のデプス情報が推定される(ステップ302)。本実施形態では、帽子54をかぶるユーザ50の顔52のデプス情報に基づいて、帽子54の領域のデプス情報が推定される。例えば、帽子54の大きさに基づいて、顔52のデプス情報を基準に帽子54のデプス情報が推定されてもよい。
形状推定部32により、帽子54の領域のデプス情報が推定される(ステップ302)。本実施形態では、帽子54をかぶるユーザ50の顔52のデプス情報に基づいて、帽子54の領域のデプス情報が推定される。例えば、帽子54の大きさに基づいて、顔52のデプス情報を基準に帽子54のデプス情報が推定されてもよい。
表示制御部35により、右手51の操作を行う位置に応じて、仮想オブジェクトの制御が切り替えられる(ステップ303)。行動検出部33により、右手51が顔にタッチしたことが検出された場合(ステップ205)、図4及び図5に示すようにステップ206~ステップ208の処理が実行される。
図7に示すように、行動検出部33により、右手51が帽子54の領域にタッチしたことが検出される(ステップ304)。本実施形態では、帽子54の領域におけるデプス情報と右手51のデプス情報との差が所定の閾値以下の場合に、右手51が顔52にタッチしたと判定される。
表示制御部35により、帽子54の領域における仮想オブジェクトの重畳表示が制御される(ステップ305)。本実施形態では、右手51がタッチした箇所に対して星53が表示される。例えば、右手51がタッチした箇所のデプス情報に基づいて、星53の大きさが制御される。すなわち、顔52(帽子54)の表面に沿って星53が重畳表示される。
また行動検出部33により、右手51が星53をつまむような操作を検出したとする。表示制御部35により、該当する星53の重畳表示が制御される。例えば、右手51が星53をつまんだ状態で移動した場合、右手51の移動に追従するように星53が移動されてもよい。
これ以外にもユーザ50は、仮想オブジェクトに対して任意の制御を実行することが可能である。例えば、星53を発光させたり、星53の色を変更させることや星53の大きさ等を制御することが可能である。
なお、重畳表示される仮想オブジェクトの種類は限定されない。例えば、所定のキャラクターや模様を帽子54の周辺に重畳表示してもよい。またこれらの仮想オブジェクトに対して、照明状況に基づいた陰影を付与させてもよい。また重畳された仮想オブジェクトを光源として、ユーザ50の顔に重畳される仮想オブジェクトに新たな陰影が付与されてもよい。
図7に示すように、行動検出部33により、右手51が帽子54の領域にタッチしたことが検出される(ステップ304)。本実施形態では、帽子54の領域におけるデプス情報と右手51のデプス情報との差が所定の閾値以下の場合に、右手51が顔52にタッチしたと判定される。
表示制御部35により、帽子54の領域における仮想オブジェクトの重畳表示が制御される(ステップ305)。本実施形態では、右手51がタッチした箇所に対して星53が表示される。例えば、右手51がタッチした箇所のデプス情報に基づいて、星53の大きさが制御される。すなわち、顔52(帽子54)の表面に沿って星53が重畳表示される。
また行動検出部33により、右手51が星53をつまむような操作を検出したとする。表示制御部35により、該当する星53の重畳表示が制御される。例えば、右手51が星53をつまんだ状態で移動した場合、右手51の移動に追従するように星53が移動されてもよい。
これ以外にもユーザ50は、仮想オブジェクトに対して任意の制御を実行することが可能である。例えば、星53を発光させたり、星53の色を変更させることや星53の大きさ等を制御することが可能である。
なお、重畳表示される仮想オブジェクトの種類は限定されない。例えば、所定のキャラクターや模様を帽子54の周辺に重畳表示してもよい。またこれらの仮想オブジェクトに対して、照明状況に基づいた陰影を付与させてもよい。また重畳された仮想オブジェクトを光源として、ユーザ50の顔に重畳される仮想オブジェクトに新たな陰影が付与されてもよい。
上記の実施形態では、ワニや星が仮想オブジェクトとして重畳表示が制御された。これに限定されず、ユーザの髪等の体の一部や帽子等のユーザが装着可能な物体を仮想オブジェクトとして、重畳表示が制御されてもよい。例えば、仮想オブジェクトの髪をユーザの頭に表示することで様々な髪型のユーザを閲覧することが可能となる。またこの際に、仮想オブジェクトの大きさや姿勢等がユーザの頭の大きさや姿勢(対象物体情報)に基づいて、制御されてもよい。
また上記の実施形態では、星53等の複数の同じ仮想オブジェクトが表示された。これに限定されず、任意の仮想オブジェクトが任意の数で重畳表示されてもよい。例えば、口紅やアイライナー等の化粧が仮想オブジェクトとしてユーザの顔に重畳表示されてもよい。この場合、特定の化粧の組み合わせが1つの仮想オブジェクトとして設定されてもよい。
また上記の実施形態では、仮想オブジェクトは対象物体の形状及び陰影に応じた仮想の陰影が付与された。これに限定されず、対象物体の輝度が高い領域(明るい領域)に仮想オブジェクトが重畳表示される場合、領域の輝度に応じて仮想オブジェクトの輝度が高く制御されてもよい。
上記の実施形態では、対象物体の周辺の照明状況に基づいて、仮想オブジェクトに陰影が付与された。これに限定されず、顔の各領域における輝度に基づいて、仮想オブジェクトの輝度が制御されてもよい。
上記の実施形態では、ユーザの顔(対象物体)をユーザが内向きカメラ13で撮影することで、仮想オブジェクトの重畳表示が制御された。これに限定されず、他のユーザが外向きカメラ13で撮影され、仮想オブジェクトの重畳表示が制御されてもよい。例えば、ユーザは、外向きカメラ14に取得された他のユーザをタッチパネル15で確認しながら、他のユーザの顔をユーザが指でタッチすることで他のユーザに対して仮想オブジェクトを重畳表示させることが可能である。
上記の実施形態では、ユーザ端末5はスマートフォン等が用いられた。これに限定されず、ARグラス等の透過型のHMD(Head Mounted Display)がユーザ端末5として用いられてもよい。
図8は、他の実施形態に係るHMDの外観を示す斜視図である。HMD60は、透過型のディスプレイを備えたメガネ型の装置であり、ユーザの頭部に装着されて使用される。HMD60は、フレーム61、左右のレンズ62a及び62b、左眼用ディスプレイ61a及び右眼用ディスプレイ61b、左眼用カメラ63a及び右眼用カメラ63bを有する。またフレーム61の内部や所定の位置には、図2に示すのと略同様のコントローラやセンサ部等が構成されている。
左右のレンズ62a及び62bは、ユーザの左眼及び右眼の前方にそれぞれ配置される。左眼用及び右眼用ディスプレイ61a及び61bは、ユーザの視野を覆うように、左右のレンズ62a及び62bにそれぞれ設けられる。
左眼用及び右眼用ディスプレイ61a及び61bは、透過型のディスプレイであり、左眼及び右眼用の画像等がそれぞれ表示される。HMD60を装着するユーザは、現実の景色を視認すると同時に、各ディスプレイに表示される画像を視認することが可能となる。これにより、ユーザは拡張現実感(AR)等を体験することが可能となる。
なお、左眼用及び右眼用ディスプレイ61a及び61bの外側(ユーザの眼とは反対の側)に、調光素子(図示省略)等が設けられてもよい。調光素子は、当該素子を透過する光の量を調節可能な素子である。調光素子を設けることで、例えば各ディスプレイを透過してユーザに視認される現実の景色を規制し、各ディスプレイに表示される画像を強調してユーザに視認させることが可能である。これにより、ユーザは仮想現実(VR)等を体験することが可能となる。
左眼用及び右眼用ディスプレイ61a及び61bとしては、例えば透過型の有機ELディスプレイやLCD(Liquid Crystal Display、液晶表示素子)ディスプレイ等が用いられる。また調光素子としては、例えば透過率を電気的に制御可能な調光ガラス、調光シート、及び液晶シャッター等が用いられる。本実施形態では、左右のレンズ62a及び62bと、左眼用及び右眼用ディスプレイ61a及び61bにより、仮想オブジェクトの表示機構が実現される。
左眼用及び右眼用カメラ63a及び63bは、ユーザの左眼及び右眼を撮像可能な任意の位置に設けられる。例えば左眼用及び右眼用カメラ63a及び63bにより撮影された左眼及び右眼の画像に基づいて、仮想オブジェクトの重畳表示される位置が制御されてもよい。
図8に示すHMD60では、フレーム61に対して、左右のレンズ62a及び62bの各々が移動可能に構成され、駆動機構により移動される。またフレーム61自体も移動可能に構成され、保持力が変更可能となっている。左右のレンズ62a及び62bの各々の、位置や傾きが適宜変更されることで、上記の実施形態と同様に、高品質な視聴体験を実現することが可能である。
上記の実施形態では、情報処理装置10がユーザ端末5自身により実現された。これに限定されず、情報処理装置10とユーザ端末5が有線又は無線を介して、通信可能に接続されていてもよい。また各デバイス間の接続形態は限定されず、例えばWiFi等の無線LAN通信や、Bluetooth(登録商標)等の近距離無線通信を利用することが可能であってもよい。
図9は、情報処理装置10のハードウェア構成例を示すブロック図である。
情報処理装置10は、CPU71、ROM72、RAM73、入出力インタフェース75、及びこれらを互いに接続するバス74を備える。入出力インタフェース75には、表示部76、入力部77、記憶部78、通信部79、及びドライブ部80等が接続される。
表示部76は、例えば液晶、EL等を用いた表示デバイスである。入力部77は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部77がタッチパネルを含む場合、そのタッチパネルは表示部76と一体となり得る。
記憶部78は、不揮発性の記憶デバイスであり、例えばHDD、フラッシュメモリ、その他の固体メモリである。ドライブ部80は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体81を駆動することが可能なデバイスである。
通信部79は、LAN、WAN等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部79は、有線及び無線のどちらを利用して通信するものであってもよい。通信部79は、情報処理装置10とは別体で使用される場合が多い。
本実施形態では、通信部79により、ネットワークを介した他の装置との通信が可能となる。
本実施形態では、通信部79により、ネットワークを介した他の装置との通信が可能となる。
上記のようなハードウェア構成を有する情報処理装置10による情報処理は、記憶部78またはROM72等に記憶されたソフトウェアと、情報処理装置10のハードウェア資源との協働により実現される。具体的には、ROM72等に記憶された、ソフトウェアを構成するプログラムをRAM73にロードして実行することにより、本技術に係る情報処理方法が実現される。
プログラムは、例えば記録媒体71を介して情報処理装置10にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが情報処理装置10にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る情報処理装置、情報処理方法、及びプログラムが実行され、本技術に係る情報処理装置が構築されてもよい。
すなわち本技術に係る情報処理装置、情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理装置、情報処理方法、及びプログラムの実行は、例えば、対象物体情報の取得、照明状況の推定、及び重畳表示の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理装置、情報処理方法、及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
各図面を参照して説明した形状推定部、行動検出部、照明推定部、表示制御部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
本開示において、「中心」「中央」「均一」「等しい」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
なお、本技術は以下のような構成も採ることができる。
(1)
対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する表示制御部
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の表面に沿うように前記仮想オブジェクトを重畳表示する
情報処理装置。
(3)(2)に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の表面に前記仮想オブジェクトが仮想的に描画されるように、前記重畳表示を制御する
情報処理装置。
(4)(2)又は(3)に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の表面に沿って前記仮想オブジェクトが仮想的に配置されるように、前記重畳表示を制御する
情報処理装置。
(5)(1)から(4)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体の位置及び前記操作物体の位置の各々は、デプスセンサにより検出されるデプス情報を含む
情報処理装置。
(6)(5)に記載の情報処理装置であって、
前記デプスセンサは、少なくともTOF(Time of Flight)カメラを含む
情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体情報は、前記対象物体の陰影状況を含み、
前記表示制御部は、前記陰影状況に基づいて、前記仮想オブジェクトの輝度を制御する
情報処理装置。
(8)(7)に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の前記陰影状況が前記仮想オブジェクトに反映されるように、前記仮想オブジェクトの輝度を制御する
情報処理装置。
(9)(7)又は(8)に記載の情報処理装置であって、さらに、
前記対象物体情報及び前記操作物体情報を取得する取得部を具備し、
前記取得部は、前記対象物体に対する照明状況と前記対象物体の形状とに基づいて、前記対象物体の陰影状況を推定することが可能である
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記照明状況は、前記対象物体に光を投射する光源の位置、及び前記光源の明るさを含む
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記対象物体を含む対象物体画像に対して、前記仮想オブジェクトを重畳表示する
情報処理装置。
(12)(1)から(11)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体は、顔又は頭の少なくとも一方であり、
前記操作物体は、指である
情報処理装置。
(13)(1)から(12)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体及び前記操作物体は、同じユーザの互いに異なる部位である
情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体情報は、輝度を含む
情報処理装置。
(15)(1)から(14)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記操作物体が前記対象物体に接触した場合に、前記対象物体に対して前記仮想オブジェクトを表示する
情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記操作物体による前記対象物体への操作を行う位置に基づいて、前記対象物体の形状に応じた前記仮想オブジェクトの重畳表示を制御する
情報処理装置。
(17)
対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する
ことをコンピュータシステムが実行する情報処理方法。
(18)
対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御するステップ
をコンピュータシステムに実行させるプログラム。
(1)
対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する表示制御部
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の表面に沿うように前記仮想オブジェクトを重畳表示する
情報処理装置。
(3)(2)に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の表面に前記仮想オブジェクトが仮想的に描画されるように、前記重畳表示を制御する
情報処理装置。
(4)(2)又は(3)に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の表面に沿って前記仮想オブジェクトが仮想的に配置されるように、前記重畳表示を制御する
情報処理装置。
(5)(1)から(4)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体の位置及び前記操作物体の位置の各々は、デプスセンサにより検出されるデプス情報を含む
情報処理装置。
(6)(5)に記載の情報処理装置であって、
前記デプスセンサは、少なくともTOF(Time of Flight)カメラを含む
情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体情報は、前記対象物体の陰影状況を含み、
前記表示制御部は、前記陰影状況に基づいて、前記仮想オブジェクトの輝度を制御する
情報処理装置。
(8)(7)に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の前記陰影状況が前記仮想オブジェクトに反映されるように、前記仮想オブジェクトの輝度を制御する
情報処理装置。
(9)(7)又は(8)に記載の情報処理装置であって、さらに、
前記対象物体情報及び前記操作物体情報を取得する取得部を具備し、
前記取得部は、前記対象物体に対する照明状況と前記対象物体の形状とに基づいて、前記対象物体の陰影状況を推定することが可能である
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記照明状況は、前記対象物体に光を投射する光源の位置、及び前記光源の明るさを含む
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記対象物体を含む対象物体画像に対して、前記仮想オブジェクトを重畳表示する
情報処理装置。
(12)(1)から(11)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体は、顔又は頭の少なくとも一方であり、
前記操作物体は、指である
情報処理装置。
(13)(1)から(12)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体及び前記操作物体は、同じユーザの互いに異なる部位である
情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
前記対象物体情報は、輝度を含む
情報処理装置。
(15)(1)から(14)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記操作物体が前記対象物体に接触した場合に、前記対象物体に対して前記仮想オブジェクトを表示する
情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記操作物体による前記対象物体への操作を行う位置に基づいて、前記対象物体の形状に応じた前記仮想オブジェクトの重畳表示を制御する
情報処理装置。
(17)
対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する
ことをコンピュータシステムが実行する情報処理方法。
(18)
対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御するステップ
をコンピュータシステムに実行させるプログラム。
1…対象物体
2…操作物体
5…ユーザ端末
6…対象物体情報
7…操作物体情報
10…情報処理装置
31…情報取得部
32…形状推定部
34…照明推定部
35…表示制御部
100…表示制御システム
2…操作物体
5…ユーザ端末
6…対象物体情報
7…操作物体情報
10…情報処理装置
31…情報取得部
32…形状推定部
34…照明推定部
35…表示制御部
100…表示制御システム
Claims (18)
- 対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する表示制御部
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の表面に沿うように前記仮想オブジェクトを重畳表示する
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の表面に前記仮想オブジェクトが仮想的に描画されるように、前記重畳表示を制御する
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の表面に沿って前記仮想オブジェクトが仮想的に配置されるように、前記重畳表示を制御する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記対象物体の位置及び前記操作物体の位置の各々は、デプスセンサにより検出されるデプス情報を含む
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記デプスセンサは、少なくともTOF(Time of Flight)カメラを含む
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記対象物体情報は、前記対象物体の陰影状況を含み、
前記表示制御部は、前記陰影状況に基づいて、前記仮想オブジェクトの輝度を制御する
情報処理装置。 - 請求項7に記載の情報処理装置であって、
前記表示制御部は、前記対象物体の前記陰影状況が前記仮想オブジェクトに反映されるように、前記仮想オブジェクトの輝度を制御する
情報処理装置。 - 請求項7に記載の情報処理装置であって、さらに、
前記対象物体情報及び前記操作物体情報を取得する取得部を具備し、
前記取得部は、前記対象物体に対する照明状況と前記対象物体の形状とに基づいて、前記対象物体の陰影状況を推定することが可能である
情報処理装置。 - 請求項9に記載の情報処理装置であって、
前記照明状況は、前記対象物体に光を投射する光源の位置、及び前記光源の明るさを含む
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部は、前記対象物体を含む対象物体画像に対して、前記仮想オブジェクトを重畳表示する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記対象物体は、顔又は頭の少なくとも一方であり、
前記操作物体は、指である
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記対象物体及び前記操作物体は、同じユーザの互いに異なる部位である
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記対象物体情報は、輝度を含む
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部は、前記操作物体が前記対象物体に接触した場合に、前記対象物体に対して前記仮想オブジェクトを表示する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示制御部は、前記操作物体による前記対象物体への操作を行う位置に基づいて、前記対象物体の形状に応じた前記仮想オブジェクトの重畳表示を制御する
情報処理装置。 - 対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御する
ことをコンピュータシステムが実行する情報処理方法。 - 対象物体の位置及び形状を含む対象物体情報と、操作物体の位置を含む操作物体情報とに基づいて、前記操作物体による前記対象物体への操作に応じた前記対象物体の形状に応じた仮想オブジェクトの重畳表示を制御するステップ
をコンピュータシステムに実行させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-216826 | 2019-11-29 | ||
JP2019216826A JP2021086511A (ja) | 2019-11-29 | 2019-11-29 | 情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021106552A1 true WO2021106552A1 (ja) | 2021-06-03 |
Family
ID=76088334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/041895 WO2021106552A1 (ja) | 2019-11-29 | 2020-11-10 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021086511A (ja) |
WO (1) | WO2021106552A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013520729A (ja) * | 2010-02-22 | 2013-06-06 | ナイキ インターナショナル リミテッド | 拡張現実設計システム |
JP2013196388A (ja) * | 2012-03-19 | 2013-09-30 | Bs-Tbs Inc | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2016218547A (ja) * | 2015-05-15 | 2016-12-22 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
WO2019093156A1 (ja) * | 2017-11-10 | 2019-05-16 | ソニーセミコンダクタソリューションズ株式会社 | 表示処理装置および表示処理方法、並びにプログラム |
WO2019111465A1 (ja) * | 2017-12-04 | 2019-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
WO2019150430A1 (ja) * | 2018-01-30 | 2019-08-08 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
-
2019
- 2019-11-29 JP JP2019216826A patent/JP2021086511A/ja active Pending
-
2020
- 2020-11-10 WO PCT/JP2020/041895 patent/WO2021106552A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013520729A (ja) * | 2010-02-22 | 2013-06-06 | ナイキ インターナショナル リミテッド | 拡張現実設計システム |
JP2013196388A (ja) * | 2012-03-19 | 2013-09-30 | Bs-Tbs Inc | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2016218547A (ja) * | 2015-05-15 | 2016-12-22 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
WO2019093156A1 (ja) * | 2017-11-10 | 2019-05-16 | ソニーセミコンダクタソリューションズ株式会社 | 表示処理装置および表示処理方法、並びにプログラム |
WO2019111465A1 (ja) * | 2017-12-04 | 2019-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
WO2019150430A1 (ja) * | 2018-01-30 | 2019-08-08 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021086511A (ja) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3807710B1 (en) | Augmented reality display with frame modulation functionality | |
US11487366B2 (en) | Multi-modal hand location and orientation for avatar movement | |
US20240005808A1 (en) | Individual viewing in a shared space | |
US11755122B2 (en) | Hand gesture-based emojis | |
WO2019177870A1 (en) | Animating virtual avatar facial movements | |
US20230034657A1 (en) | Modes of user interaction | |
EP3759542B1 (en) | Head scan alignment using ocular registration | |
AU2021290132B2 (en) | Presenting avatars in three-dimensional environments | |
US11579693B2 (en) | Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body | |
US20230171484A1 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
WO2021106552A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2021131950A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Bhaskaran et al. | Immersive User Experiences: Trends and Challenges of Using XR Technologies | |
CN116868152A (zh) | 用于在三维环境中呈现化身的界面 | |
WO2024054433A2 (en) | Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments | |
CN117642775A (zh) | 用于确定对象的保持的信息处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20892882 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20892882 Country of ref document: EP Kind code of ref document: A1 |