WO2020234939A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2020234939A1 WO2020234939A1 PCT/JP2019/019776 JP2019019776W WO2020234939A1 WO 2020234939 A1 WO2020234939 A1 WO 2020234939A1 JP 2019019776 W JP2019019776 W JP 2019019776W WO 2020234939 A1 WO2020234939 A1 WO 2020234939A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- content
- display
- control unit
- information processing
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Definitions
- This disclosure relates to information processing devices, information processing methods, and programs.
- Patent Document 1 discloses a head-mounted display for realizing AR technology.
- a control unit that controls the display of AR content by a display device arranged in front of the user is provided, and the control unit is a real space by the user as compared with the case where the original content is displayed.
- An information processing device for controlling the display mode of the AR content is provided so that the degree of decrease in the visibility level of the AR content is reduced.
- the processor controls the display of AR content by a display device arranged in front of the user, and the control thereof is compared with the case where the original content is displayed.
- An information processing method is provided that further includes controlling the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced.
- the computer includes a control unit that controls the display of AR content by a display device arranged in front of the user, and the control unit is compared with the case where the original content is displayed.
- a program for functioning as an information processing device that controls the display mode of the AR content is provided so that the degree of decrease in the visual level of the real space by the user is reduced.
- the user can view the AR content displayed on the display while visually recognizing the real space with a transmissive type (including video transmissive type and optical transmissive type) head-mounted display as disclosed in Patent Document 1. It is possible.
- a transmissive type including video transmissive type and optical transmissive type
- the displayed AR content may lower the visibility level of an object or the like existing in the real space.
- FIG. 1 is a diagram for explaining the display of AR contents by a general head-mounted display.
- FIG. 1 shows an example of the field of view of a user wearing a general head-mounted display 90.
- the user uses the head-mounted display 90 to view the video content provided by the video distribution service as AR content C.
- the head-mounted display 90 displays the AR content C in the central portion of the user's field of view
- most of the user's field of view is occupied by the AR content C.
- the visibility level of the real space that is, an object or a landscape visible through a transmissive display
- the user when the user is performing exercise such as walking or driving a vehicle, the user is obstructed by the display of the AR content C and cannot visually recognize the object or the terrain existing in the moving direction, resulting in a collision or a collision. There is a possibility of falling.
- the information processing device includes a control unit that controls the display of AR contents by a display device arranged in front of the user.
- the control unit according to the embodiment of the present disclosure sets the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
- One of the features is to control.
- FIG. 2 is a diagram showing an example of AR content display according to the present embodiment.
- FIG. 2 shows an example of the field of view of the user who wears the head-mounted display 20 according to the present embodiment.
- the head-mounted display is an example of the information processing device in the present disclosure.
- the user is viewing the video content provided by the video distribution service as AR content.
- the head-mounted display 20 according to the present embodiment has a background excluding the main subjects MS1 to MS3 corresponding to three people from the above-mentioned moving image content (referred to as original content).
- the removed AR content C is displayed.
- the area where the AR content C is superimposed on the real space can be reduced, and the degree of decrease in the visual level of the real space by the user can be effectively suppressed.
- the main subject according to the present embodiment may be a subject that is expected to attract more attention from the user in original content such as moving image content.
- original content such as moving image content
- the main subject according to the present embodiment may be a person (performer) as shown in FIG.
- the area corresponding to the subject expected to be more noticed by the user that is, the subject expected to be viewed more by the user is extracted from the original content.
- the area can be displayed as AR content.
- the display control shown in FIG. 2 is only an example, and the display control of the AR content according to the present embodiment is not limited to the example.
- the display control according to the present embodiment is not limited to the example.
- a specific example of the display control according to the present embodiment and a configuration for realizing various display controls will be described in detail.
- FIG. 3 is a diagram showing a configuration example of an information processing system according to the present embodiment.
- the information processing system according to the present embodiment includes an information processing terminal 10 and a head-mounted display 20. Further, the information processing terminal 10 and the head-mounted display 20 are connected so as to be able to communicate with each other via the network 30.
- the information processing terminal 10 is an example of an information processing device that realizes the information processing method according to the present embodiment.
- the information processing terminal 10 according to the present embodiment controls the AR display by the head-mounted display 20 via the network 30.
- the information processing terminal 10 according to the present embodiment may be a small electronic device suitable for carrying, such as a smartphone.
- the information processing terminal 10 according to the present embodiment may be a server.
- the head-mounted display 20 is a device including a transmissive display, which enables a user to visually recognize a real space and view AR contents.
- the head-mounted display 20 according to the present embodiment may display AR contents based on, for example, control by the information processing terminal 10.
- the head-mounted display 20 may be, for example, a glasses-type or preventive-type device. Further, the head-mounted display 20 may be, for example, an external device that can be worn on ordinary glasses or the like.
- the network 30 has a function of connecting the information processing terminal 10 and the head-mounted display 20.
- the network 30 may include a wireless communication network such as Wi-Fi (registered trademark) and Bluetooth (registered trademark). Further, the network 30 may include a mobile communication network such as LTE (Long Term Evolution).
- the configuration example of the information processing system according to this embodiment has been described above.
- the above configuration described with reference to FIG. 3 is merely an example, and the configuration of the information processing system according to the present embodiment is not limited to such an example.
- the case where the information processing terminal 10 controls the display of AR contents by the head-mounted display 20 via the network 30 has been described as an example.
- control by the information processing terminal 10 is not always necessary, and the head-mounted display 20 according to the present embodiment can independently realize the information processing method according to the present embodiment.
- FIG. 4 is a block diagram showing a functional configuration example of the information processing terminal 10 and the head-mounted display 20 according to the present embodiment.
- the case where the information processing terminal 10 controls the AR display by the head-mounted display 20 will be described as a main example.
- the photographing unit 110 has a function of photographing a real space.
- the control unit 130 described later may control the AR display by the head-mounted display 20 based on the image information in the real space photographed by the photographing unit 110.
- the photographing unit 110 is arranged so that the user can photograph in the same direction as the user visually recognizes the real space via the head-mounted display 20.
- the sensor unit 120 has a function of collecting various sensor information such as acceleration and angular velocity.
- the control unit 130 described later controls the AR display by the head-mounted display 20 based on the sensor information collected by the sensor unit 120. You may.
- the control unit 130 according to the present embodiment controls each configuration included in the information processing terminal 10 as a whole. Further, the control unit 130 according to the present embodiment has a function of controlling the AR display by the head-mounted display 20 based on the captured image information and the collected sensor information. At this time, the control unit 130 according to the present embodiment reduces the degree of decrease in the visual level of the real space by the user as compared with the case where the original content is displayed by the output unit 240 of the head-mounted display 20. One of the features is to control the display mode of the AR content by the output unit 240.
- control unit 130 may display the AR content obtained by removing the background excluding the main subject from the original content on the output unit 240.
- the above display mode may include the display content, display position, display timing, etc. of the AR content. Details of the functions of the control unit 130 according to this embodiment will be described later.
- the output unit 140 outputs various information based on the control by the control unit 130.
- the output unit 140 according to the present embodiment includes a display device, a speaker, and the like.
- the communication unit 150 performs information communication with the head-mounted display 20 via the network 30.
- the photographing unit 210 according to the present embodiment has a function of photographing a real space.
- the photographing unit 210 according to the present embodiment is arranged so that the user can photograph in the same direction as the user visually recognizes the real space via the output unit 240 described later.
- the sensor unit 220 has a function of collecting various sensor information such as acceleration and angular velocity.
- the control unit 230 controls each configuration of the head-mounted display 20 as a whole. Further, the control unit 230 performs a process related to the display of the AR content based on the control by the information processing terminal 10. For example, the control unit 230 may deliver image information, control signals, and the like related to the AR content generated by the control unit 130 of the information processing terminal 10 to the output unit 240.
- the control unit 230 When the head-mounted display 20 independently displays AR content without being controlled by the information processing terminal 10, the control unit 230 according to the present embodiment has a display control function equivalent to that of the control unit 130 of the information processing terminal 10. May have. That is, in this case, the control unit 230 may control the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
- the output unit 240 displays AR content based on the control by the control unit 130 and the control unit 230.
- the output unit 240 according to the present embodiment includes at least a display device that is arranged in front of the user's eyes when the head-mounted display 20 is attached. Further, the output unit 240 may include a speaker or the like for outputting the sound accompanying the AR content.
- the communication unit 150 performs information communication with the information processing terminal 10 via the network 30.
- the functional configuration examples of the information processing terminal 10 and the head-mounted display 20 according to the present embodiment have been described above.
- the above configuration described with reference to FIG. 4 is merely an example, and the functional configurations of the information processing terminal 10 and the head-mounted display 20 according to the present embodiment are not limited to such an example.
- the head-mounted display 20 according to the present embodiment can independently display AR contents without being controlled by the information processing terminal 10.
- the head-mounted display 20 according to the present embodiment can realize the display of AR contents alone or based on the control by the information processing terminal 10.
- FIG. 5 is a block diagram showing an example of a detailed configuration when the head-mounted display 20 according to the present embodiment independently controls the display of AR contents.
- control unit 230 is composed of a SoC (System on Chip), an OS, an AR framework, an application, and the like.
- the control unit 230 is SLAM (Simutaneous Localization and Mapping) based on the image information taken by the camera included in the photographing unit 210 and the sensor information (acceleration information and angular velocity information) received from the IMU (Inertial Measurement Unit) included in the sensor unit 220. ) To generate an environment map and a pose graph (attitude graph).
- control unit 230 can recognize the space including the object (environment map) based on the image information and the sensor information, and can grasp the position and posture (pose graph) of the camera in the recognized space.
- FIG. 6 is a diagram showing a configuration example of software that realizes SLAM according to the present embodiment.
- the software that realizes SLAM according to the present embodiment may be separately configured as a front end and a back end.
- the image information acquired by the photographing unit 210 and the sensor information acquired by the sensor unit 220 are sequentially input, and data correspondence, real-time update of the environment map, and generation of the pose graph are performed.
- the front end may execute loop detection for detecting the loop as described above.
- batch processing that greatly updates the environment map, such as synchronizing the environment map with the server, is executed.
- pause correction and the like associated with loop detection are executed. Since updating and using the environment map requires a large amount of calculation, the amount of calculation can be reduced and the performance can be ensured by using the pose graph that estimates the position based on the movement of the head-mounted display 20.
- the back end may be executed in a thread different from the front end. According to this, it is possible to perform the processing without affecting the real-time property.
- the control unit 230 determines a display mode such as the display content, display position, size, and display timing of the AR content based on the environment map and the pose graph generated as described above, and the display device included in the output unit 240 It can be output.
- control unit 230 performs all the processing related to the display control of the SLAM and AR contents, it is necessary for the control unit 230 to have abundant arithmetic resources, which in turn increases the size of the head-mounted display 20. Become.
- the processing load on the head-mounted display 20 side is reduced by performing the processing related to the display control of the SLAM and AR contents on the information processing terminal 10, and the head-mounted display 20 is used. It is possible to make it smaller.
- FIG. 7 is a block diagram showing an example of a detailed configuration when the information processing terminal 10 controls the display of SLAM and AR contents according to the present embodiment.
- control unit 130 has the same configuration as the control unit 230 shown in FIG. At this time, the control unit 130 receives image information and sensor information from the photographing unit 210 and the sensor unit 220 of the head-mounted display 20 via the wireless communication devices included in the communication unit 150 and the communication unit 250, respectively, and SLAM and AR Processing related to content display can be executed.
- control unit 230 may use the gesture recognizer to recognize the user's gesture from the received image information and control the display of the AR content based on the recognition result.
- the gesture recognition function of the control unit 230 according to this embodiment will be described later.
- control unit 230 of the head-mounted display 20 detects the difference between the image information input in time series from the photographing unit 210 by using the motion detector, and when the difference is detected, that is, the image information.
- the image information may be transmitted to the information processing terminal 10 only when there is a change in the information processing terminal 10. According to such control, the amount of image information to be communicated can be reduced and traffic can be effectively suppressed.
- control unit 130 may control the display mode of the AR content according to the reproduction scene of the original content.
- control unit 130 according to the present embodiment may display the AR content corresponding to the reproduction scene on the output unit 240 only when the reproduction scene of the original content includes the main subject.
- FIG. 8 is a diagram for explaining display control of AR content according to a playback scene including a main subject according to the present embodiment.
- video content such as promotional videos of music
- playback scenes that do not include a main subject such as an artist are often used.
- the above-mentioned moving image content is continuously displayed as AR content, it is assumed that the user is distracted by the frequently changing playback scene and the visual recognition of the real space is neglected.
- the control unit 130 may display the AR content C corresponding to the reproduction scene on the output unit 240 only when the reproduction scene includes the main subject MS. Good.
- the display time of the AR content C is shortened by limiting the display content of the AR content C to the target to be watched by the user, and the degree of deterioration of the visual level of the real space by the user is effectively suppressed. Is possible.
- control unit 130 may extract a playback scene including the main subject by, for example, setting a person appearing in the moving image content as the main subject and performing face detection processing or the like.
- control unit 130 can also extract a playback scene including a main subject based on the metadata attached to the moving image content. For example, when the metadata includes subject information for each playback scene (frame), the user may be able to specify a main subject (for example, only vocals among people) that he / she wants to watch.
- control unit 130 may extract a representative image for each playback scene from the original moving image content and output the representative image as AR content to the output unit 240.
- FIG. 9 is a diagram for explaining display control of AR content corresponding to a representative image for each playback scene according to the present embodiment.
- control unit 130 extracts a representative image (still image) for each playback scene, and while the same playback scene continues, the control unit 130 outputs the representative image as AR content to the output unit 240. You may continue to output.
- control unit 130 keeps displaying the representative image of the "intro" on the output unit 240 as AR content C1.
- control unit 130 causes the output unit 240 to display the representative image of "A melody” as AR content C, and displays the display as the end of "A melody". Continue until.
- the display control as described above by suppressing the frequency of change of the AR content, the visual information representing the playback scene is presented to the user while reducing the degree of decrease in the visual level of the real space by the user. , It is possible to secure user satisfaction.
- the control unit 130 may display the AR content C around the user's field of view, for example, as shown in FIGS. 8 and 9. According to the display control, it is possible to reduce the degree of decrease in the visual level of the real space by the user by not blocking the central portion of the user's field of view.
- control unit 130 may dynamically control the display position of the AR content based on the playback scene of the moving image content and the operation status of the user.
- FIG. 10 is a diagram for explaining display position control of AR content based on a playback scene and a user's operation status according to the present embodiment.
- the upper part of FIG. 10 shows an example of displaying AR contents when the user is performing an operation such as walking.
- the control unit 130 may display the AR content C in the peripheral portion of the user's field of view as described above.
- the central portion of the user's field of view can be opened, and the degree of decrease in the visual level of the real space by the user can be reduced.
- control unit 130 displays the main subjects MS1 to MS3 separately in the peripheral portion of the user's field of view. Control may be performed.
- the lower part of FIG. 10 shows an example of displaying AR content when the user is stationary or when the playback scene is the main scene in the original content.
- control unit 130 displays the AR content in the peripheral portion of the user's field of view when the user is moving, and displays the AR content when the user is stationary. It may be displayed in the center of the field of view of.
- the playback scene is the main scene in the original content, for example, the chorus part in the promotion video of the music, it is assumed that the user wants to watch more than the other playback scenes.
- the control unit 130 displays the AR content in the peripheral portion of the user's field of view, and the playback scene is the main scene in the original content.
- the AR content may be displayed in the center of the user's field of view.
- control unit 130 can dynamically control the display position of the AR content based on the playback scene of the original content and the operation status of the user. According to such control, it is possible to realize a higher quality AR experience by securing the user's field of view and changing the priority of viewing AR contents according to the situation.
- control unit 130 can identify the characteristics of each playback scene included in the original content by analyzing the original content. For example, when the original content is a promotional video of a musical piece, the control unit 130 may specify the characteristics of each playback scene based on the musical piece data included in the original content.
- FIG. 11 is a flowchart showing the flow of specifying the playback scene characteristic based on the music data according to the present embodiment and controlling the display of the AR content based on the playback scene characteristic.
- control unit 130 loads the original content (S1101).
- control unit 130 determines whether or not the content is played for the first time (S1102).
- control unit 130 subsequently determines whether or not the music data exists (S1103).
- control unit 130 ends the processing of one example.
- the control unit 130 decodes the music data (S1104).
- control unit 130 causes the speaker provided in the output unit 240 to output the PCM (Pulse Code Modulation) data acquired by the decoding in step S1104 (1105).
- PCM Pulse Code Modulation
- control unit 130 performs a Fourier transform on the PCM data and executes clustering based on the acquired power spectrogram (S1106).
- clustering for example, it is possible to classify parts having similar output, tune, tempo, etc. of each instrument or vocal as a cluster, that is, a playback scene.
- FIG. 12 is a diagram showing an example of clustering based on music data according to the present embodiment.
- the upper part of FIG. 12 shows the part composition of a certain music "ABC".
- the musical piece ABC is composed of an intro, a verse, a bridge, a chorus, an interlude, and an outro.
- the playback scenes of the music data "ABC" can be classified as shown in the lower part of the figure, for example.
- the numbers in the figure indicate the elapsed time from the beginning of the content.
- Such clustering data may be used for the second and subsequent reproductions of the content.
- step S1102 when the content is not reproduced for the first time, that is, when the content is reproduced for the second time or later, the control unit 130 determines whether or not the music data exists (S1107).
- control unit 130 ends a series of processes.
- the control unit 130 decodes the music data (S1108).
- control unit 130 outputs the PCM data acquired by the decoding in step S1108 to the speaker included in the output unit 240 (1109).
- control unit 130 controls the display of the AR content based on the clustering data acquired in step S1106 at the time of the first reproduction of the content (S1110).
- the control unit 130 determines that the playback scene is the main scene in the original content, and as shown in the lower part of FIG. 10, AR Content C may be displayed in the center of the user's field of view.
- AR Content C may be displayed in the center of the user's field of view.
- the clustering according to the present embodiment it is possible to change the movement of the AR content according to the speed of the music and to change the expression of the AR content according to the nature of the sound.
- the superimposed display may be performed centering on the extraction of the person, and in the case of "sound: musical instrument", the effect effect on the background may be mainly performed. It can be used as an input for improving the expressiveness of the music scene.
- control unit 130 identifies the characteristics of the playback scene included in the original content by analyzing the music data and the like, and controls the display of the AR content based on the characteristics. It is possible to do.
- the above is just an example, and the analysis method related to the playback scene may be appropriately selected according to the type of the original content.
- control unit 130 can also acquire the characteristics of the reproduction scene from the metadata attached to the original content.
- the clustering of the music data may be performed by a server provided separately.
- the music data is clustered in advance on the server, and the clustering data is saved.
- each user reproduces the AR content he / she can view the AR content according to the characteristics of the reproduction scene by communicating with the server and receiving the above clustering data.
- clustering data may be prepared only for representative contents instead of generating clustering data in advance for all contents including music data.
- the content having the total number of times played by the entire user may be the representative content, or the content having the highest total number of times played in the predetermined period may be the representative content.
- the control unit 130 may display the AR content at a position corresponding to the advertising medium.
- FIG. 13 is a diagram for explaining display control of AR content based on the recognition result of an object existing in the real space according to the present embodiment.
- FIG. 13 shows buildings B1 to B3 existing in the real space.
- advertising media A1 and A2 are installed in the buildings B1 and B2, respectively.
- the advertising medium A1 may be, for example, a signboard advertisement
- the advertising medium A2 may be, for example, a large display.
- control unit 130 can recognize the advertising media A1 and A2 based on the image information captured by the photographing unit 210 of the head-mounted display 20.
- the control unit 130 may recognize the advertising media A1 and A2 by using, for example, a detector that detects a rectangular area.
- control unit 130 can display the AR contents C1 and C2 at the positions corresponding to the recognized advertising media A1 and A2, respectively.
- the advertising medium existing in the real space can be diverted as a display medium for AR content, and it is possible to realize a natural AR display that blends into the landscape without narrowing the user's field of view. Become.
- control unit 130 may use various rectangular areas for displaying AR content, not limited to the advertising medium.
- control unit 130 can detect a plurality of windows of the building B3 as a rectangular area and display AR contents in the rectangular area.
- control unit 130 may control the display of the AR content based on the detection of a plane such as a wall existing in front of the user. For example, in the case of the example shown in FIG. 14, the control unit 130 detects the wall W in front of the user based on the image information captured by the imaging unit 210 of the head-mounted display 20.
- control unit 130 may superimpose and display the AR content C1 related to the notification of the message received before the detection of the wall W on the wall W.
- control unit 130 detects a flat surface such as a wall or a screen, and when the user stops walking, AR display related to the message notification allows the user to confirm the message in a safer situation. Is possible.
- the control unit 130 can control the display mode of the AR content based on the recognition results of various objects existing in the real space.
- control unit 130 can also control the display mode of the AR content based on, for example, the color of the recognized object or plane.
- AR content tends to be easy to see when the background is black, but difficult to see when the background color is light. Therefore, for example, the control unit 130 may correct the entire image so that the AR content is easily visible with respect to the brightness of the recognized object or plane, or may display the AR content at a position that is easier to see. Good.
- the control unit 130 may recognize the user's gesture based on the image information captured by the imaging unit 210 of the head-mounted display 20, and control the display mode of the AR content based on the gesture.
- control unit 130 may determine, for example, that the input is the same as the tap operation in the information processing terminal 10, and control the display mode of the AR content C1 according to the input.
- the control unit 130 determines that the input is the same as the drag operation in the information processing terminal 10, and the AR responds to the input.
- the display mode of the content C1 may be controlled.
- the user can easily and intuitively operate the application without taking out the information processing terminal 10 each time, and can provide a more convenient AR experience.
- control unit 130 can display the AR content for accepting the gesture corresponding to the key input by the user on the output unit 140.
- the control unit 130 recognizes that the user has gazed at the hand UH and causes the hand UH to display the AR content C for accepting the input of the number keys.
- the user can input an arbitrary number while obtaining tactile feedback related to the pressing position by performing a gesture of pressing the AR content C superimposed on the UH of his / her hand with the other hand. You can do it.
- the control unit 130 can associate the display position of the AR content C with the gesture position of the user and specify a number that the user desires to input.
- VR content displays images in the entire field of view of the user, so it can be said that it is extremely difficult to enjoy VR content while moving outdoors. Therefore, in the present embodiment, by reconstructing the VR content as AR content, the user can easily enjoy the favorite content outdoors.
- FIG. 16 is a diagram for explaining the generation of AR content based on the VR content according to the present embodiment.
- a state in which the user U views the VR content VC corresponding to 360 degrees using the VR device 40 is shown.
- control unit 130 extracts a moving object from the VR content VC, for example, and removes the background excluding the object.
- the control unit 130 superimposes and displays the extracted object on the field of view FV as AR content C in accordance with the arrangement direction on the user's VR content VC.
- the original content according to the present embodiment may be VR content.
- control unit 130 according to the present embodiment can also generate VR content based on the AR content.
- FIG. 17 is a diagram for explaining the generation of VR content based on the AR content according to the present embodiment.
- the control unit 130 displays the image information captured by the photographing unit 210 of the head-mounted display 20 and the image information of the AR content C to be displayed on the output unit 240 together with the display position information (attitude information of the head-mounted display 20) in VR. Save in format.
- the VR device 40 may supplement the image information in the direction not captured by the photographing unit 210 of the head-mounted display 20 by using, for example, an image generator using a machine learning method.
- FIGS. 18 and 19 are diagrams for explaining the VR format storage of the image information according to the present embodiment.
- the control unit 130 first analyzes the content. At this time, the control unit 130 first performs separation processing on the image input from the photographing unit 210 of the head-mounted display 20. Specifically, the control unit 130 separates the elements included in the image into a stationary object such as a background and a moving object including a person. In addition, the control unit 130 further detects a flat surface such as the ground from the extracted stationary object.
- control unit 130 measures the distance between the detected moving body and the plane, and estimates the position and size of the plane.
- control unit 130 associates the position and size between the plane and the moving body from the measured distance between the moving body and the plane and the estimated position and size of the plane.
- control unit 130 performs a process of arranging the moving object acquired as described above on the background image for VR content.
- control unit 130 first detects a plane from the background image and estimates the position and size of the plane. Next, the control unit 130 arranges the moving body on the background image based on the estimated position and size of the plane and the relationship between the position and the size between the plane and the moving body acquired in the above content analysis. According to such processing, it is possible to naturally position the position and size of a moving object such as a person with respect to the position and size of the background.
- the control unit 130 performs voxelization and data compression of the arranged moving body.
- the control unit 130 associates the position information of the moving object with the image information and executes voxelization.
- the voxel refers to normal grid data in a three-dimensional space. That is, the control unit 130 converts the image information of the moving object into 3D point cloud data. In addition, the control unit 130 generates a shader for smoothing the 3D point cloud data.
- control unit 130 compresses and saves the 3D point cloud data, shader, position information, and color information acquired as described above.
- control unit 130 according to the present embodiment can generate VR content based on the AR content and the image information obtained by capturing the real space.
- the VR device 40 first performs decompression processing of the compressed data.
- the VR device 40 can acquire the position information and the image information related to the moving object and express the moving object in the volumetric space by releasing the voxels and performing the rendering process using the shader.
- FIG. 20 is a diagram showing an example of a system configuration that realizes sharing of AR experience by the AR cloud according to the present embodiment.
- FIG. 20 shows the system configuration for realizing the sharing of AR experience by the AR cloud, divided into three layers: device, platform, and application.
- the device layer is a layer responsible for input / output related to the display of AR contents, and includes, for example, a modem, a GNSS signal receiver, an IMU, a geomagnetic sensor, a camera (RGB, ToF), a display, a GPU, and the like.
- the platform layer is a layer that relays between the device layer and the application layer, and includes various services.
- the application layer is a layer responsible for display control of SLAM and AR contents, and associates data stored in the AR cloud with data stored locally.
- the point cloud data in the three-dimensional space stored in the AR cloud is associated with the locally acquired SLAM data, and the position and orientation of the own terminal in the three-dimensional space are specified. To do.
- the coordinates of the AR content displayed by the own terminal in the above three-dimensional space are acquired with high accuracy, and the acquired coordinate information is uploaded to the AR cloud to realize the display of the AR content by another terminal. can do.
- the AR uploaded by the other terminal can be displayed in the correct position.
- the information processing method it is possible to share the AR experience among a plurality of users by sharing the information related to the object in the real space via the cloud.
- the information processing device includes a control unit that controls the display of AR contents by the display device arranged in front of the user.
- the control unit according to the embodiment of the present disclosure sets the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
- One of the features is to control. According to this configuration, AR content fused with the real space can be viewed more safely.
- each step related to the processing of the information processing terminal 10 of the present specification does not necessarily have to be processed in chronological order in the order described in the flowchart.
- each step related to the processing of the information processing terminal 10 may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
- a control unit that controls the display of AR content by a display device placed in front of the user. With The control unit controls the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
- Information processing device (2)
- the display mode includes at least one of a display content, a display position, and a display timing. The information processing device according to (1) above.
- the control unit causes the display device to display the AR content obtained by removing the background excluding the main subject from the original content.
- the control unit displays the AR content in a peripheral portion of the user's field of view.
- the control unit controls so that the plurality of the main subjects are displayed separately in the peripheral portion of the user's field of view.
- the information processing device according to (3) above.
- the control unit controls the display position of the AR content based on the operating state of the user.
- the information processing device according to any one of (2) to (5) above.
- the control unit displays the AR content in the peripheral portion of the user's visual field, and when the user is stationary, the AR content is displayed in the central portion of the user's visual field.
- the original content is video content and The control unit controls the display mode of the AR content according to the reproduction scene of the original content.
- the information processing device according to any one of (2) to (7) above.
- the control unit displays the AR content corresponding to the playback scene only when the playback scene includes a main subject.
- the information processing device according to (8) above.
- the control unit displays a representative image for each playback scene as the AR content.
- the information processing device according to (8) above.
- the control unit displays the AR content in the peripheral portion of the user's field of view when the playback scene is not the main scene in the original content, and when the playback scene is the main scene in the original content, the AR Display the content in the center of the user's field of view.
- the information processing device according to (8) above.
- the control unit controls the display mode of the AR content based on the recognition result of the object existing in the real space.
- the information processing device according to any one of (2) to (11). (13) When the rectangular area existing in the real space is detected, the control unit displays the AR content at a position corresponding to the rectangular area. The information processing device according to (12) above. (14) When the advertising medium existing in the real space is recognized, the control unit displays the AR content at a position corresponding to the advertising medium. The information processing device according to (12) or (13). (15) The original content is VR content. The information processing device according to (3) above. (16) The control unit controls the display mode of the AR content based on the gesture of the user. The information processing device according to any one of (2) to (15). (17) The control unit generates VR content based on the AR content and image information obtained by capturing the real space. The information processing device according to any one of (2) to (16).
- the communication unit receives the image information of the real space taken by the photographing unit included in the head-mounted display and the sensor information acquired by the sensor unit included in the head-mounted display. Based on the image information and the sensor information, the control unit causes the AR content to be displayed on the display device included in the head-mounted display.
- the information processing device according to any one of (1) to (17).
- the processor controls the display of AR content by a display device placed in front of the user. Including The control is to control the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed. Including, Information processing method.
- (20) Computer A control unit that controls the display of AR content by a display device placed in front of the user. With The control unit controls the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
- Information processing device A program to function as.
- Control unit 150 Communication unit 20 Head-mounted display 210 Imaging unit 220 Sensor unit 230 Control unit 240 Output unit 250 Communication unit
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
現実空間と融合したARコンテンツをより安全に視聴する。ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、を備え、前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御する、情報処理装置が提供される。また、プロセッサが、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御すること、を含み、前記制御することは、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御すること、をさらに含む、情報処理方法が提供される。
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、AR(Augmented Reality)技術を活用したサービスや、当該サービスを実現するための装置が開発されている。例えば、特許文献1には、AR技術を実現するためのヘッドマウントディスプレイが開示されている。
ところで、特許文献1に開示されるようなヘッドマウントディスプレイを装着したユーザが、歩行などの動作を行いながらARコンテンツを視聴する場合、表示されるARコンテンツにより現実空間に存在する物体等の視認レベルが低下する可能性がある。
本開示によれば、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、を備え、前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御すること、を含み、前記制御することは、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御すること、をさらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、を備え、前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御する、情報処理装置、として機能させるためのプログラムが提供される。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態
1.1.概要
1.2.システム構成例
1.3.機能構成例
1.4.詳細構成例
1.5.ARコンテンツの表示制御
2.まとめ
1.実施形態
1.1.概要
1.2.システム構成例
1.3.機能構成例
1.4.詳細構成例
1.5.ARコンテンツの表示制御
2.まとめ
<1.実施形態>
<<1.1.概要>>
まず、本開示の一実施形態の概要について述べる。上述したように、近年においては、AR技術を活用したサービスや、当該サービスを実現するための装置が多く開発されている。上記のような装置には、例えば、特許文献1に開示されるようなヘッドマウントディスプレイが挙げられる。
<<1.1.概要>>
まず、本開示の一実施形態の概要について述べる。上述したように、近年においては、AR技術を活用したサービスや、当該サービスを実現するための装置が多く開発されている。上記のような装置には、例えば、特許文献1に開示されるようなヘッドマウントディスプレイが挙げられる。
ユーザは、特許文献1に開示されるような、透過型(ビデオ透過型、光学透過型を含む)ヘッドマウントディスプレイにより現実空間を視認しながら、ディスプレイ上に表示されるARコンテンツを視聴することが可能である。
しかし、例えば、歩行時などユーザが移動を行いながらARコンテンツを視聴する場合、表示されるARコンテンツにより現実空間に存在する物体等の視認レベルが低下する可能性がある。
図1は、一般的なヘッドマウントディスプレイによるARコンテンツの表示について説明するための図である。図1には、一般的なヘッドマウントディスプレイ90を装着するユーザの視野の一例が示されている。なお、図1に示す一例では、ユーザは、ヘッドマウントディスプレイ90を用いて、動画配信サービスが提供する動画コンテンツをARコンテンツCとして視聴している。
ここで、図1に示す一例のように、ヘッドマウントディスプレイ90がユーザの視野の中央部にARコンテンツCを表示する場合、ユーザの視野の大部分がARコンテンツCに占められることから、ユーザによる現実空間(すなわち、透過型のディスプレイを介して視認可能な物体や景色など)の視認レベルは著しく低下することとなる。
ここで、ユーザが歩行などの運動や車両の運転などを行っている場合、ユーザがARコンテンツCの表示に妨害されて移動方向に存在する物体や地形などを視認することができず、衝突や転倒などが発生する可能性がある。
本開示に係る技術思想は上記の点に着目して発想されたものであり、現実空間と融合したARコンテンツをより安全に視聴することを可能とする。このために、本開示の一実施形態に係る情報処理装置は、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、を備える。また、本開示の一実施形態に係る制御部は、オリジナルコンテンツが表示される場合と比較して上記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、上記ARコンテンツの表示態様を制御すること、を特徴の一つとする。
図2は、本実施形態に係るARコンテンツ表示の一例を示す図である。図2には、本実施形態に係るヘッドマウントディスプレイ20を装着するユーザの視野の一例が示されている。なお、ヘッドマウントディスプレイは、本開示における情報処理装置の一例である。
また、図2の場合も、図1の場合と同様に、ユーザは、動画配信サービスが提供する動画コンテンツをARコンテンツとして視聴している。一方、図2に示す一例の場合、本実施形態に係るヘッドマウントディスプレイ20は、上記の動画コンテンツ(オリジナルコンテンツ、と称する)から、3人の人物に対応する主要被写体MS1~MS3を除く背景を除去したARコンテンツCを表示している。
上記のような制御によれば、ARコンテンツCを現実空間に重畳させる領域を縮小することができ、ユーザによる現実空間の視認レベルの低下度合いを効果的に抑えることが可能となる。
また、本実施形態に係る主要被写体とは、例えば、動画コンテンツなどのオリジナルコンテンツにおいて、ユーザがより注目を行うと想定される被写体であってよい。例えば、オリジナルコンテンツが楽曲をプロモーションビデオや、ドラマや映画などである場合、本実施形態に係る主要被写体は、図2に示すように人物(演者)であり得る。
このように、本実施形態に係る情報処理方法によれば、オリジナルコンテンツから、ユーザがより注目すると想定される被写体、すなわちユーザがより視聴したいことが想定される被写体に対応する領域を抽出して、当該領域をARコンテンツとして表示することができる。
これによれば、ARコンテンツを現実空間に重畳する領域を縮小し安全性を向上させると共に、ユーザの興味を維持した表示を実現することができ、品質の高いAR体験を提供することが可能となる。
なお、図2に示した表示制御はあくまで一例であり、本実施形態に係るARコンテンツの表示制御は係る例に限定されない。以下、本実施形態に係る表示制御の具体例と、各種の表示制御を実現するための構成について詳細に説明する。
<<1.2.システム構成例>>
まず、本実施形態に係る情報処理システムの構成例について説明する。図3は、本実施形態に係る情報処理システムの構成例を示す図である。図3に示すように、本実施形態に係る情報処理システムは、情報処理端末10およびヘッドマウントディスプレイ20を備える。また、情報処理端末10とヘッドマウントディスプレイ20は、ネットワーク30を介して互いに通信が可能なように接続される。
まず、本実施形態に係る情報処理システムの構成例について説明する。図3は、本実施形態に係る情報処理システムの構成例を示す図である。図3に示すように、本実施形態に係る情報処理システムは、情報処理端末10およびヘッドマウントディスプレイ20を備える。また、情報処理端末10とヘッドマウントディスプレイ20は、ネットワーク30を介して互いに通信が可能なように接続される。
(情報処理端末10)
情報処理端末10は、本実施形態に係る情報処理方法を実現する情報処理装置の一例である。本実施形態に係る情報処理端末10は、ネットワーク30を介してヘッドマウントディスプレイ20によるAR表示を制御する。本実施形態に係る情報処理端末10は、例えば、スマートフォンなどの、持ち運びに適した小型の電子機器であってよい。一方、本実施形態に係る情報処理端末10は、サーバであってもよい。
情報処理端末10は、本実施形態に係る情報処理方法を実現する情報処理装置の一例である。本実施形態に係る情報処理端末10は、ネットワーク30を介してヘッドマウントディスプレイ20によるAR表示を制御する。本実施形態に係る情報処理端末10は、例えば、スマートフォンなどの、持ち運びに適した小型の電子機器であってよい。一方、本実施形態に係る情報処理端末10は、サーバであってもよい。
(ヘッドマウントディスプレイ20)
本実施形態に係るヘッドマウントディスプレイ20は、透過型のディスプレイを備え、ユーザによる現実空間の視認とARコンテンツの視聴とを可能とする装置である。本実施形態に係るヘッドマウントディスプレイ20は、例えば、情報処理端末10による制御に基づいて、ARコンテンツの表示を行ってもよい。
本実施形態に係るヘッドマウントディスプレイ20は、透過型のディスプレイを備え、ユーザによる現実空間の視認とARコンテンツの視聴とを可能とする装置である。本実施形態に係るヘッドマウントディスプレイ20は、例えば、情報処理端末10による制御に基づいて、ARコンテンツの表示を行ってもよい。
本実施形態に係るヘッドマウントディスプレイ20は、例えば、眼鏡型や防止型の装置であってもよい。また、ヘッドマウントディスプレイ20は、例えば、通常の眼鏡などに装着が可能な外付け型の装置であってもよい。
(ネットワーク30)
ネットワーク30は、情報処理端末10とヘッドマウントディスプレイ20とを接続する機能を有する。ネットワーク30は、Wi-Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。また、ネットワーク30は、LTE(Long Term Evolution)などの移動体通信網を含んでもよい。
ネットワーク30は、情報処理端末10とヘッドマウントディスプレイ20とを接続する機能を有する。ネットワーク30は、Wi-Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。また、ネットワーク30は、LTE(Long Term Evolution)などの移動体通信網を含んでもよい。
以上、本実施形態に係る情報処理システムの構成例について述べた。なお、図3を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、上記では、情報処理端末10がネットワーク30を介してヘッドマウントディスプレイ20によるARコンテンツの表示を制御する場合を例に述べた。一方、情報処理端末10による制御は必ずしも必要なく、本実施形態に係るヘッドマウントディスプレイ20は、単独で本実施形態に係る情報処理方法を実現することも可能である。
<<1.3.機能構成例>>
次に、本実施形態に係る情報処理端末10とヘッドマウントディスプレイ20の機能構成例について述べる。図4は、本実施形態に係る情報処理端末10とヘッドマウントディスプレイ20の機能構成例を示すブロック図である。なお、以下では、情報処理端末10がヘッドマウントディスプレイ20によるAR表示を制御する場合を主な例として説明を行う。
次に、本実施形態に係る情報処理端末10とヘッドマウントディスプレイ20の機能構成例について述べる。図4は、本実施形態に係る情報処理端末10とヘッドマウントディスプレイ20の機能構成例を示すブロック図である。なお、以下では、情報処理端末10がヘッドマウントディスプレイ20によるAR表示を制御する場合を主な例として説明を行う。
(情報処理端末10)
((撮影部110))
本実施形態に係る撮影部110は、現実空間を撮影する機能を有する。例えば、ヘッドマウントディスプレイ20が撮影機能を有しない場合、後述する制御部130は、撮影部110が撮影した現実空間の画像情報に基づいてヘッドマウントディスプレイ20によるAR表示を制御してもよい。この場合、撮影部110は、ヘッドマウントディスプレイ20を介してユーザが現実空間を視認する方向と同一の方向を撮影可能なように配置される。
((撮影部110))
本実施形態に係る撮影部110は、現実空間を撮影する機能を有する。例えば、ヘッドマウントディスプレイ20が撮影機能を有しない場合、後述する制御部130は、撮影部110が撮影した現実空間の画像情報に基づいてヘッドマウントディスプレイ20によるAR表示を制御してもよい。この場合、撮影部110は、ヘッドマウントディスプレイ20を介してユーザが現実空間を視認する方向と同一の方向を撮影可能なように配置される。
((センサ部120))
本実施形態に係るセンサ部120は、加速度や角速度などの各種のセンサ情報を収集する機能を有する。例えば、ヘッドマウントディスプレイ20が上記のようなセンサ情報に係る収集機能を有しない場合、後述する制御部130は、センサ部120が収集したセンサ情報に基づいてヘッドマウントディスプレイ20によるAR表示を制御してもよい。
本実施形態に係るセンサ部120は、加速度や角速度などの各種のセンサ情報を収集する機能を有する。例えば、ヘッドマウントディスプレイ20が上記のようなセンサ情報に係る収集機能を有しない場合、後述する制御部130は、センサ部120が収集したセンサ情報に基づいてヘッドマウントディスプレイ20によるAR表示を制御してもよい。
((制御部130))
本実施形態に係る制御部130は、情報処理端末10が備える各構成を全体的に制御する。また、本実施形態に係る制御部130は、撮影された画像情報や収集されたセンサ情報に基づいて、ヘッドマウントディスプレイ20によるAR表示を制御する機能を有する。この際、本実施形態に係る制御部130は、ヘッドマウントディスプレイ20の出力部240によりオリジナルコンテンツが表示される場合と比較して、ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、出力部240によるARコンテンツの表示態様を制御すること、を特徴の一つとする。
本実施形態に係る制御部130は、情報処理端末10が備える各構成を全体的に制御する。また、本実施形態に係る制御部130は、撮影された画像情報や収集されたセンサ情報に基づいて、ヘッドマウントディスプレイ20によるAR表示を制御する機能を有する。この際、本実施形態に係る制御部130は、ヘッドマウントディスプレイ20の出力部240によりオリジナルコンテンツが表示される場合と比較して、ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、出力部240によるARコンテンツの表示態様を制御すること、を特徴の一つとする。
例えば、図2に示したように、本実施形態に係る制御部130は、オリジナルコンテンツから主要被写体を除く背景を除去したARコンテンツを出力部240に表示させてもよい。
なお、上記の表示態様は、ARコンテンツの表示内容、表示位置、表示タイミングなどを含んでよい。本実施形態に係る制御部130が有する機能の詳細については別途後述する。
((出力部140))
本実施形態に係る出力部140は、制御部130による制御に基づいて、各種の情報を出力する。このために、本実施形態に係る出力部140は、表示装置やスピーカなどを備える。
本実施形態に係る出力部140は、制御部130による制御に基づいて、各種の情報を出力する。このために、本実施形態に係る出力部140は、表示装置やスピーカなどを備える。
((通信部150))
本実施形態に係る通信部150は、ネットワーク30を介してヘッドマウントディスプレイ20との情報通信を行う。
本実施形態に係る通信部150は、ネットワーク30を介してヘッドマウントディスプレイ20との情報通信を行う。
((ヘッドマウントディスプレイ20))
((撮影部210))
本実施形態に係る撮影部210は、現実空間を撮影する機能を有する。本実施形態に係る撮影部210は、後述する出力部240を介してユーザが現実空間を視認する方向と同一方向を撮影可能なように配置される。
((撮影部210))
本実施形態に係る撮影部210は、現実空間を撮影する機能を有する。本実施形態に係る撮影部210は、後述する出力部240を介してユーザが現実空間を視認する方向と同一方向を撮影可能なように配置される。
((センサ部220))
本実施形態に係るセンサ部220は、加速度や角速度などの各種のセンサ情報を収集する機能を有する。
本実施形態に係るセンサ部220は、加速度や角速度などの各種のセンサ情報を収集する機能を有する。
((制御部230))
本実施形態に係る制御部230は、ヘッドマウントディスプレイ20が備える各構成を全体的に制御する。また、制御部230は、情報処理端末10による制御に基づいて、ARコンテンツの表示に係る処理を行う。例えば、制御部230は、情報処理端末10の制御部130が生成したARコンテンツに係る画像情報や制御信号などを出力部240に引き渡してもよい。
本実施形態に係る制御部230は、ヘッドマウントディスプレイ20が備える各構成を全体的に制御する。また、制御部230は、情報処理端末10による制御に基づいて、ARコンテンツの表示に係る処理を行う。例えば、制御部230は、情報処理端末10の制御部130が生成したARコンテンツに係る画像情報や制御信号などを出力部240に引き渡してもよい。
また、ヘッドマウントディスプレイ20が情報処理端末10による制御に依らず単独でARコンテンツの表示を行う場合、本実施形態に係る制御部230は、情報処理端末10の制御部130と同等の表示制御機能を有してよい。すなわち、この場合、制御部230は、オリジナルコンテンツが表示される場合と比較して、ユーザによる現実空間の視認レベルの低下度合いが低減されるように、ARコンテンツの表示態様を制御してよい。
((出力部240))
本実施形態に係る出力部240は、制御部130や制御部230による制御に基づいてARコンテンツを表示する。このために、本実施形態に係る出力部240は、ヘッドマウントディスプレイ20の装着時にユーザの眼前に配置される表示装置を少なくとも備える。また、出力部240は、ARコンテンツに付随する音声を出力するためのスピーカなどを備えてよい。
本実施形態に係る出力部240は、制御部130や制御部230による制御に基づいてARコンテンツを表示する。このために、本実施形態に係る出力部240は、ヘッドマウントディスプレイ20の装着時にユーザの眼前に配置される表示装置を少なくとも備える。また、出力部240は、ARコンテンツに付随する音声を出力するためのスピーカなどを備えてよい。
((通信部250))
本実施形態に係る通信部150は、ネットワーク30を介して情報処理端末10との情報通信を行う。
本実施形態に係る通信部150は、ネットワーク30を介して情報処理端末10との情報通信を行う。
以上、本実施形態に係る情報処理端末10およびヘッドマウントディスプレイ20の機能構成例について述べた。なお、図4を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末10およびヘッドマウントディスプレイ20の機能構成は係る例に限定されない。上述したように、本実施形態に係るヘッドマウントディスプレイ20は、情報処理端末10による制御に依らず、単独でARコンテンツの表示を行うことも可能である。
<<1.4.詳細構成例>>
続いて、本実施形態に係る情報処理端末10およびヘッドマウントディスプレイ20の詳細構成について具体例を挙げて説明する。
続いて、本実施形態に係る情報処理端末10およびヘッドマウントディスプレイ20の詳細構成について具体例を挙げて説明する。
上述したように、本実施形態に係るヘッドマウントディスプレイ20は、単独で、あるいは情報処理端末10による制御に基づいてARコンテンツの表示を実現することができる。まず、本実施形態に係るヘッドマウントディスプレイ20が、単独でARコンテンツの表示を行う場合の詳細構成例について述べる。図5は、本実施形態に係るヘッドマウントディスプレイ20が単独でARコンテンツの表示制御を行う場合の詳細構成の一例を示すブロック図である。
この場合、制御部230は、SoC(System on Chip)、OS、ARフレームワーク、アプリケーションなどから構成される。制御部230は、撮影部210が備えるカメラが撮影した画像情報とセンサ部220が備えるIMU(Inertial Measurement Unit)から受信するセンサ情報(加速度情報および角速度情報)に基づいて、SLAM(Simultaneous Localization and Mapping)を行い、環境マップとポーズグラフ(姿勢グラフ)を生成する。
すなわち、制御部230は、画像情報やセンサ情報に基づいて、物体を含む空間(環境マップ)を認識し、また認識した空間におけるカメラの位置と姿勢(ポーズグラフ)を把握することができる。
ここで、SLAMを実現するソフトウェア構成の一例について詳細に説明する。図6は、本実施形態に係るSLAMを実現するソフトウェアの構成例を示す図である。図6に示すように、本実施形態に係るSLAMを実現するソフトウェアは、フロントエンドとバックエンドに分かれて構成されてもよい。
フロントエンドでは、撮影部210が取得した画像情報とセンサ部220が取得したセンサ情報とが逐次入力され、データの対応付け、環境マップのリアルタイム更新、およびポーズグラフの生成が行われる。
また、SLAMはセンサ情報に基づく推定技術であるため、環境マップが大きくなるにつれ誤差が累積する。このことから、同一経路をループして同じ点を観測した場合、当該ループを検出し、ループの閉じ込みを行うことで累積誤差を大幅に削減することが重要となる。このため、フロントエンドでは、上記のようなループを検出するループ検出が実行されてよい。
また、バックエンドにおいては、環境マップをサーバと同期するなど、環境マップを大きく更新する一括処理が実行される。また、バックエンドでは、ループ検出に伴うポーズ補正などが実行される。環境マップの更新や利用は演算量が大きくなるため、ヘッドマウントディスプレイ20の動きを基に位置を推定するポーズグラフを用いることで、演算量を低減し性能を確保することができる。なお、バックエンドはフロンドエンドとは別スレッドで実行されてよい。これによれば、実時間性に影響を与えずに処理を行うことが可能となる。
制御部230は、上記のように生成した環境マップおよびポーズグラフに基づいて、ARコンテンツの表示内容や表示位置、大きさ、表示タイミングなどの表示態様を決定し、出力部240が備える表示装置に出力させることができる。
上記のような構成によれば、ヘッドマウントディスプレイ20単体でARコンテンツの表示を実現することが可能となる。一方、この場合、SLAMおよびARコンテンツの表示制御に係る処理を制御部230がすべて行うことから、制御部230に豊富な演算リソースを備える必要があり、ひいてはヘッドマウントディスプレイ20が大型化することとなる。
このため、本実施形態に係る情報処理方法では、SLAMおよびARコンテンツの表示制御に係る処理を情報処理端末10で行うことで、ヘッドマウントディスプレイ20側の処理負担を軽減し、ヘッドマウントディスプレイ20をより小型化することが可能である。
図7は、本実施形態に係るSLAMおよびARコンテンツの表示制御を情報処理端末10が行う場合の詳細構成の一例を示すブロック図である。
この場合、図7に示すように、制御部130は、図5に示した制御部230と同等の構成を備える。この際、制御部130は、通信部150および通信部250が備える無線通信装置を介して、ヘッドマウントディスプレイ20の撮影部210およびセンサ部220からそれぞれ画像情報とセンサ情報を受信し、SLAMおよびARコンテンツ表示に係る処理を実行することができる。
なお、この際、制御部230は、ジェスチャ認識器を用いて、受信した画像情報からユーザのジェスチャを認識し、認識の結果に基づいてARコンテンツの表示を制御してもよい。本実施形態に係る制御部230が有するジェスチャ認識機能については別途後述する。
また、この場合、ヘッドマウントディスプレイ20の制御部230は、モーション検出器を用いて撮影部210から時系列で入力される画像情報間の差分を検出し、差分が検出された場合、すなわち画像情報に変化が生じている場合にのみ、画像情報を情報処理端末10に送信してもよい。係る制御によれば、通信する画像情報の量を低減し、トラフィックを効果的に抑制することができる。
<<1.5.ARコンテンツの表示制御>>
次に、本実施形態に係るARコンテンツの表示制御について具体例を挙げながら詳細に説明する。図2では、本実施形態に係るヘッドマウントディスプレイ20が、オリジナルコンテンツから主要被写体を除く背景を除去したARコンテンツを表示する場合を例に述べたが、本実施形態に係るヘッドマウントディスプレイ20は上記の例に限定されず、種々の表示態様を有するARコンテンツを表示することが可能である。なお、以下では、情報処理端末10の制御部130がヘッドマウントディスプレイ20の出力部240によるARコンテンツの表示を制御する場合を主な例として説明する。
次に、本実施形態に係るARコンテンツの表示制御について具体例を挙げながら詳細に説明する。図2では、本実施形態に係るヘッドマウントディスプレイ20が、オリジナルコンテンツから主要被写体を除く背景を除去したARコンテンツを表示する場合を例に述べたが、本実施形態に係るヘッドマウントディスプレイ20は上記の例に限定されず、種々の表示態様を有するARコンテンツを表示することが可能である。なお、以下では、情報処理端末10の制御部130がヘッドマウントディスプレイ20の出力部240によるARコンテンツの表示を制御する場合を主な例として説明する。
例えば、オリジナルコンテンツが動画コンテンツである場合、本実施形態に係る制御部130は、オリジナルコンテンツの再生シーンに応じてARコンテンツの表示態様を制御してもよい。例えば、本実施形態に係る制御部130は、オリジナルコンテンツの再生シーンが主要被写体を含む場合にのみ、当該再生シーンに対応するARコンテンツを出力部240に表示させてもよい。
図8は、本実施形態に係る主要被写体を含む再生シーンに応じたARコンテンツの表示制御について説明するための図である。例えば、楽曲のプロモーションビデオなどの動画コンテンツには、アーティストなどの主要被写体を含まない再生シーンが多用される場合も多く見受けられる。ここで、上記のような動画コンテンツをそのままARコンテンツとして表示し続ける場合、ユーザが頻繁に変化する再生シーンに気を取られ、現実空間の視認がおろそかになる状況も想定される。
このため、本実施形態に係る制御部130は、図8に示すように、再生シーンが主要被写体MSを含む場合にのみ、当該再生シーンに応じたARコンテンツCを出力部240に表示させてもよい。係る制御によれば、ARコンテンツCの表示内容をユーザが注視したい対象に限定することでARコンテンツのCの表示時間を短縮し、ユーザによる現実空間の視認レベルの低下度合いを効果的に抑えることが可能となる。
なお、制御部130は、例えば、動画コンテンツ中に登場する人物を主要被写体とし、顔検出処理などを行うことで、主要被写体を含む再生シーンを抽出してもよい。また、制御部130は、動画コンテンツに付随するメタデータに基づいて主要被写体を含む再生シーンを抽出することも可能である。例えば、メタデータに再生シーン(フレーム)ごとの被写体情報が含まれる場合、ユーザは、自身が視聴したい主要被写体(例えば、人物のうちヴォーカルのみ、など)を指定することができてもよい。
また、本実施形態に係る制御部130は、オリジナルの動画コンテンツから再生シーンごとの代表画像を抽出し、当該代表画像をARコンテンツとして出力部240に出力させてもよい。図9は、本実施形態に係る再生シーンごとの代表画像に対応するARコンテンツの表示制御について説明するための図である。
上述したように、楽曲のプロモーションビデオなど表示内容の変化が激しい動画コンテンツをそのままARコンテンツとして表示した場合、ユーザが頻繁に変化する再生シーンに気を取られる可能性がある。
このため、本実施形態に係る制御部130は、再生シーンごとに代表画像(静止画)を抽出し、同一の再生シーンが継続している間は、当該代表画像をARコンテンツとして出力部240に出力させ続けてよい。
例えば、図9に示す一例の場合、再生シーン「イントロ」が継続している間、制御部130は、「イントロ」の代表画像をARコンテンツC1として出力部240に表示させ続ける。
一方、再生シーンが「Aメロ(Verse)」に切り替わった場合、制御部130は、「Aメロ」の代表画像をARコンテンツCとして出力部240に表示させ、当該表示を「Aメロ」の終了まで継続させる。
上記のような表示制御によれば、ARコンテンツの変化の頻度を抑えることで、ユーザによる現実空間の視認レベルの低下度合いを軽減しながら、再生シーンを代表する視覚情報をユーザに提示することで、ユーザの満足度を確保することが可能となる。
次に、本実施形態に係る再生シーンやユーザの動作状況に応じたARコンテンツの表示制御について説明する。制御部130は、通常時においては、例えば、図8や図9に示すように、ARコンテンツCをユーザの視野の周辺時に表示させてもよい。係る表示制御によれば、ユーザの視野の中央部を塞がないことで、ユーザによる現実空間の視認レベルの低下度合いを軽減することができる。
一方、上記のような表示が始終行われる場合、ARコンテンツを視聴したいユーザの満足度が低下することも想定される。このため、本実施形態に係る制御部130は、動画コンテンツの再生シーンや、ユーザの動作状況に基づいて、ARコンテンツの表示位置を動的に制御してよい。
図10は、本実施形態に係る再生シーンやユーザの動作状況に基づくARコンテンツの表示位置制御について説明するための図である。
図10の上段には、ユーザが歩行などの動作を行っている場合におけるARコンテンツの表示例が示されている。この際、制御部130は、上述したように、ARコンテンツCをユーザの視野の周辺部に表示させてもよい。係る表示制御によれば、ユーザの視野の中央部を開放し、ユーザによる現実空間の視認レベルの低下度合いを低減することができる。
なお、この際、図示するように、ARコンテンツCが複数の主要被写体MS1~MS3を含む場合、制御部130は、主要被写体MS1~MS3がユーザの視野の周辺部に分離して表示されるよう制御を行ってもよい。
一方、図10の下段には、ユーザが静止している場合や、再生シーンがオリジナルコンテンツにおける主要シーンである場合におけるARコンテンツの表示例が示されている。
例えば、ユーザが静止している場合、図示するように、ユーザの視野の中央部にARコンテンツCを表示してもユーザが他の物体に衝突したり、地形につまずいたりする可能性は著しく低いことが想定される。
このため、本実施形態に係る制御部130は、ユーザが移動している場合には、ARコンテンツをユーザの視野の周辺部に表示させ、ユーザが静止している場合には、ARコンテンツをユーザの視野の中央部に表示させてもよい。
また、例えば、楽曲のプロモーションビデオにおけるコーラス部分など、再生シーンがオリジナルコンテンツにおける主要シーンである場合、ユーザが他の再生シーンと比較して視聴をより望むことが想定される。
このため、本実施形態に係る制御部130は、再生シーンがオリジナルコンテンツにおける主要シーンではない場合には、ARコンテンツをユーザの視野の周辺部に表示させ、再生シーンがオリジナルコンテンツにおける主要シーンである場合には、ARコンテンツをユーザの視野の中央部に表示させてもよい。
以上説明したように、本実施形態に係る制御部130は、オリジナルコンテンツの再生シーンや、ユーザの動作状況に基づいて、ARコンテンツの表示位置を動的に制御することが可能である。係る制御によれば、状況に応じてユーザの視野を確保とARコンテンツ視聴との優先度合いを変化させることで、より質の高いAR体験を実現することが可能となる。
なお、制御部130は、オリジナルコンテンツを解析することで、当該オリジナルコンテンツが含む各再生シーンの特性を特定することが可能である。例えば、オリジナルコンテンツが楽曲のプロモーションビデオである場合、制御部130は、オリジナルコンテンツに含まれる楽曲データに基づいて各再生シーンの特性を特定してもよい。
図11は、本実施形態に係る楽曲データに基づく再生シーン特性の特定と再生シーン特性に基づくARコンテンツの表示制御の流れを示すフローチャートである。
図11を参照すると、まず、制御部130は、オリジナルコンテンツのロードを行う(S1101)。
次に、制御部130は、コンテンツの再生が一回目か否かを判定する(S1102)。
ここで、コンテンツの再生が一回目である場合(S1101:YES)、制御部130は、続いて、楽曲データが存在するか否かを判定する(S1103)。
ここで、楽曲データが存在しない場合(S1103:NO)、制御部130は、一例の処理を終了する。
一方、楽曲データが存在する場合(S1103:YES)、制御部130は、楽曲データのデコードを行う(S1104)。
次に、制御部130は、ステップS1104におけるデコードにより取得したPCM(Pulse Code Modulation)データを出力部240が備えるスピーカに出力させる(1105)。
また、制御部130は、PCMデータに対するフーリエ変換を行い、取得したパワースペクトログラムに基づくクラスタリングを実行する(S1106)。
上記のクラスタリングによれば、例えば、各楽器やヴォーカルの出力有無、また曲調やテンポなどが類似するパートをクラスタ、すなわち再生シーンとして分類することが可能となる。
図12は、本実施形態に係る楽曲データに基づくクラスタリングの一例を示す図である。図12の上段には、ある楽曲「ABC」のパート構成が示されている。図12に示す一例の場合、楽曲ABCは、イントロ、Aメロ(verse)、Bメロ(bridge)、コーラス、間奏、アウトロを含んで構成されている。
ここで、上述したクラスタリングを実行した場合、楽曲データ「ABC」の再生シーンは、例えば、図中下段に示すように分類が可能である。なお、図中の数字はコンテンツ冒頭からの経過時間を示している。このようなクラスタリングデータは、コンテンツの2回目以降の再生に利用されてよい。
再び図11を参照して、再生シーンの特性に基づくARコンテンツの表示制御の流れについて説明する。ステップS1102において、コンテンツの再生が一回目でない場合、すなわち再生が2回目以降である場合、制御部130は、楽曲データが存在するか否かを判定する(S1107)。
ここで、楽曲データが存在しない場合(S1107:NO)、制御部130は、一連の処理を終了する。
一方、楽曲データが存在する場合(S1107:YES)、制御部130は、楽曲データのデコードを行う(S1108)。
次に、制御部130は、ステップS1108におけるデコードにより取得したPCMデータを出力部240が備えるスピーカに出力させる(1109)。
また、制御部130は、コンテンツの一回目の再生時にステップS1106において取得したクラスタリングデータに基づいて、ARコンテンツの表示を制御する(S1110)。
例えば、再生シーンがクラスタ「スピード:速い、音:声」に該当する場合、制御部130は、当該再生シーンがオリジナルコンテンツにおける主要シーンであると判定し、図10の下段に示すように、ARコンテンツCをユーザの視野の中央部に表示させてもよい。このように、本実施形態に係るクラスタリングによれば、楽曲の速度に応じてARコンテンツの動きを変化させたり、音の性質に応じてARコンテンツの表現を変化させることが可能である。例えば、「音:声」の場合には、人物の抜き出しを中心とした重畳表示を行ってもよいし、「音:楽器」の場合には、背景へのエフェクト効果を中心とすることで、ミュージックシーンの表現力向上のインプットとすることができる。
以上説明したように、本実施形態に係る制御部130は、楽曲データなどの解析を行うことで、オリジナルコンテンツが含む再生シーンの特性を特定し、当該特性に基づいて、ARコンテンツの表示制御を行うことが可能である。なお、上記はあくまで一例であり、再生シーンに係る解析手法はオリジナルコンテンツの種別に応じて適宜選択されてよい。また、制御部130は、オリジナルコンテンツに付随するメタデータなどから再生シーンの特性を取得することも可能である。
また、上記では、楽曲データのクラスタリングを情報処理端末10で実施する場合の例を述べたが、楽曲データのクラスタリングは、別途に設けられるサーバにより実施されてもよい。この場合、予めサーバにおいて楽曲データのクラスタリングを行い、クラスタリングデータを保存する。各ユーザは、ARコンテンツを再生する際に、サーバと通信して上記のクラスタリングデータを受信することで、再生シーンの特性に応じたARコンテンツを視聴することが可能である。
なお、この場合、楽曲データを含むすべてのコンテンツについて予めクラスタリングデータを生成するのではなく、代表的なコンテンツについてのみクラスタリングデータを用意しておいてもよい。この際、例えば、ユーザ全体の総再生回数が所定回数以上のコンテンツを代表的なコンテンツとしてもよいし、所定期間において総再生回数が上位のコンテンツを代表的なコンテンツとしてもよい。
次に、本実施形態に係る現実空間に存在する物体の認識結果に基づくARコンテンツの表示制御について説明する。本実施形態に係る制御部130は、例えば、現実空間に存在する広告媒体が認識された場合、当該広告媒体に対応する位置にARコンテンツを表示させてもよい。
図13は、本実施形態に係る現実空間に存在する物体の認識結果に基づくARコンテンツの表示制御について説明するための図である。図13には、現実空間に存在するビルB1~B3が示されている。ここで、ビルB1およびB2には、それぞれ広告媒体A1およびA2が設置されている。広告媒体A1は、例えば、看板広告であってもよいし、広告媒体A2は、例えば、大型のディスプレイであってもよい。
この際、制御部130は、ヘッドマウントディスプレイ20の撮影部210が撮影した画像情報に基づいて広告媒体A1およびA2を認識することが可能である。制御部130は、例えば、矩形領域を検出する検出器を用いて広告媒体A1およびA2を認識してもよい。
この場合、制御部130は、認識した広告媒体A1およびA2に対応する位置にARコンテンツC1およびC2をそれぞれ表示させることができる。係る制御によれば、現実空間に存在する広告媒体をARコンテンツの表示媒体として転用することができ、ユーザの視野を狭めることなく、かつ風景に溶け込んだ自然なAR表示を実現することが可能となる。
なお、制御部130は、広告媒体に限らず、各種の矩形領域をARコンテンツの表示に利用してよい。制御部130は、例えば、ビルB3が有する複数の窓を矩形領域として検出し、当該矩形領域にARコンテンツを表示させることも可能である。
また、本実施形態に係る制御部130は、ユーザの前方に存在する壁などの平面を検出したことに基づいてARコンテンツの表示を制御してもよい。例えば、図14に示す一例の場合、制御部130は、ヘッドマウントディスプレイ20の撮影部210が撮影した画像情報に基づいて、ユーザの前方に壁Wを検出している。
この場合、制御部130は、壁Wの検出前に受信していたメッセージの通知に係るARコンテンツC1を壁Wの上に重畳表示させてもよい。
例えば、歩行時にSNSなどのメッセージを受信した場合において、状況に鑑みず当該メッセージに係る通知を即時ARコンテンツとして表示すると、必要以上にユーザの注意を惹き、ユーザによる現実空間の視認レベルが低下する可能がある。
このため、制御部130が壁やスクリーンなどの平面を検出し、かつユーザが歩行を停止した場合にメッセージの通知に係るAR表示を行うことで、より安全な状況でユーザがメッセージを確認することが可能となる。
また、例えば、ビデオ通話などについても同様に、壁Wなどの平面を検出した場合には、検出前においてユーザの視野の周辺部に表示させていたARコンテンツC2をユーザの視野の中央部に拡大して表示させてもよい。このように、本実施形態に係る制御部130は、現実空間に存在する各種の物体の認識結果に基づいて、ARコンテンツの表示態様を制御することができる。
なお、上記のような制御の他、制御部130は、例えば、認識した物体や平面の色などに基づいてARコンテンツの表示態様を制御することも可能である。例えば、ARコンテンツは、背景が黒い場合は視認がしやすいが、背景色が薄い色である場合には視認しづらい傾向がある。このため、制御部130は、例えば、認識した物体や平面の輝度に対してARコンテンツが視認しやすいように画像全体を補正してもよいし、より見えやすい位置にARコンテンツを表示させてもよい。
次に、本実施形態に係るジェスチャ認識に基づくARコンテンツの表示制御について説明する。本実施形態に係る制御部130は、ヘッドマウントディスプレイ20の撮影部210が撮影した画像情報に基づいてユーザのジェスチャを認識し、当該ジェスチャに基づいてARコンテンツの表示態様を制御してもよい。
例えば、図14に示す一例の場合、ユーザは、手UHを用いてARコンテンツC1をつまむようなジェスチャを行っている。この場合、制御部130は、例えば、情報処理端末10におけるタップ操作と同様の入力と判定し、当該入力に応じてARコンテンツC1の表示態様を制御してもよい。
また、例えば、ユーザがARコンテンツC1をつまんで上下左右などに手UHを移動させた場合、制御部130は、情報処理端末10におけるドラッグ操作と同様の入力と判定し、当該入力に応じてARコンテンツC1の表示態様を制御してもよい。
上記のような制御によれば、ユーザが、都度、情報処理端末10を取り出さずともアプリケーションの操作を気軽かつ直感的に行うことができ、より利便性の高いAR体験を提供することができる。
さらには、本実施形態に係る制御部130は、ユーザによるキー入力に対応するジェスチャを受け付けるためのARコンテンツを出力部140に表示させることも可能である。例えば、図15に示す一例の場合、制御部130は、ユーザが手UHを注視したことを認識し、手UHに数字キーの入力を受け付けるためのARコンテンツCを表示させている。
この場合、ユーザは、自身の手UHに重畳表示されるARコンテンツCを他方の手で押下するジェスチャを行うことで、押下位置に係る触覚的なフィードバックを得ながら任意の数字を入力することができてよい。この際、制御部130は、ARコンテンツCの表示位置とユーザのジェスチャ位置とを対応付け、ユーザが入力を望む数字を特定することが可能である。
以上、本実施形態に係るジェスチャ認識に基づくARコンテンツの表示制御について説明した。次に、本実施形態に係るVR(Virtual Reality)コンテンツに基づくARコンテンツの生成について説明する。
ARコンテンツとは異なり、VRコンテンツはユーザの視野のすべてに画像表示を行うため、VRコンテンツを屋外において移動しながら楽しむことは非常に困難といえる。このため、本実施形態では、VRコンテンツをARコンテンツとして再構成することで、ユーザがお気に入りのコンテンツを気軽に屋外で楽しむことを可能とする。
図16は、本実施形態に係るVRコンテンツに基づくARコンテンツの生成について説明するための図である。図16の左側には、ユーザUがVR機器40を用いて360度対応のVRコンテンツVCを視聴する様子が示されている。
この際、制御部130は、例えば、VRコンテンツVCから動きのあるオブジェクトを抽出し、当該オブジェクトを除く背景を除去する。次に、制御部130は、図中右側に示すように、視野FV上において、抽出した上記オブジェクトをユーザのVRコンテンツVC上の配置方向に合わせてARコンテンツCとして重畳表示させる。
上記のような制御によれば、ユーザがお気に入りのコンテンツを気軽に屋外で楽しむことが可能となる。このように、本実施形態に係るオリジナルコンテンツは、VRコンテンツであってもよい。
また、反対に本実施形態に係る制御部130は、ARコンテンツに基づいてVRコンテンツを生成することも可能である。図17は、本実施形態に係るARコンテンツに基づくVRコンテンツの生成について説明するための図である。
図17の左側には、ユーザUがヘッドマウントディスプレイ20により視野FV上に重畳表示されるARコンテンツCを視聴している様子が示されている。この際、制御部130は、ヘッドマウントディスプレイ20の撮影部210が撮影した画像情報と、出力部240に表示させるARコンテンツCの画像情報を表示位置情報(ヘッドマウントディスプレイ20の姿勢情報)と共にVRフォーマットで保存する。
また、図17の右側には、ユーザUが、VR機器40を用いて上記のように保存されたVRコンテンツVCを視聴する様子が示されている。この際、VR機器40は、ヘッドマウントディスプレイ20の撮影部210により撮影されていない方向の画像情報に関しては、例えば、機械学習手法を用いた画像生成器などを用いて補完してもよい。
ここで、ユーザの視野FVに係る画像情報をVRフォーマットで保存する処理について、より詳細に説明する。図18および図19は、本実施形態に係る画像情報のVRフォーマット保存について説明するための図である。
図18の上段に示すように、制御部130は、まず、コンテンツの分析を行う。この際、制御部130は、初めにヘッドマウントディスプレイ20の撮影部210から入力される画像に対し分離処理を行う。具体的には、制御部130は、画像に含まれる要素を、背景などの静止物体、人などを含む動体に分離する。また、制御部130は、抜き出した静止物体からさらに地面などの平面を検出する。
次に、制御部130は、検出した動体と平面の距離を測定すると共に、平面の位置やサイズを推定する。
続いて、制御部130は、測定した動体と平面の距離、推定した平面の位置とサイズから、平面と動体間における位置とサイズの関連付けを行う。
次に、制御部130は、図18の下段に示すように、上記のように取得した動体をVRコンテンツ用の背景画像に配置する処理を行う。
この際、制御部130は、まず背景画像から平面を検出し、平面の位置とサイズを推定する。次に、制御部130は、推定した平面の位置とサイズ、および上記のコンテンツ分析において取得した平面と動体間における位置とサイズの関係に基づいて、背景画像上に動体を配置する。係る処理によれば、人などの動体の位置やサイズを背景の位置やサイズに対して自然に位置することが可能である。
続いて、制御部130は、図19の上段に示すように、配置した動体のボクセル化とデータ圧縮を行う。この際、制御部130は、動体の位置情報と画像情報との関連付けを行い、ボクセル化を実行する。ここで、ボクセルとは、3次元空間における正規格子データを指す。すなわち、制御部130は、動体の画像情報を3D点群データに変換する。また、制御部130は、3D点群データを滑らかにするためのシェーダを生成する。
次に、制御部130は、上記のように取得した3D点群データ、シェーダ、位置情報、色情報をデータ圧縮して保存する。このように、本実施形態に係る制御部130は、ARコンテンツと現実空間を撮影した画像情報とに基づくVRコンテンツを生成することが可能である。
続いて、VR機器40によるVRコンテンツの再生について説明する。VR機器40は、図中下段に示すように、まず圧縮されたデータの伸長処理を行う。次に、VR機器40は、ボクセルを解除し、シェーダを利用してレンダリング処理を行うことで、動体に係る位置情報と画像情報とを取得し、Volumetric空間において動体を表現することができる。
次に、本実施形態に係るARクラウドを利用したAR体験の共有について述べる。上記では、主にユーザが個人でARコンテンツを楽しむ場合の構成や制御について説明した。一方、本実施形態に係る情報処理方法によれば、現実空間上の物体に係る情報をクラウド経由で共有することで、複数のユーザの間でAR体験を共有することも可能である。
図20は、本実施形態に係るARクラウドによるAR体験の共有を実現するシステム構成の一例を示す図である。図20には、ARクラウドによるAR体験の共有を実現するためのシステム構成が、デバイス、プラットフォーム、およびアプリケーションの3つの層に分かれて示されている。
ここで、デバイス層はARコンテンツの表示に係る入出力を担う層であり、例えば、モデムやGNSS信号受信機、IMUや地磁気センサ、カメラ(RGB、ToF)、ディスプレイ、GPUなどを含む。
また、プラットフォーム層は、デバイス層とアプリケーション層との中継を行う層であり、各種のサービスを含む。
また、アプリケーション層は、SLAMとARコンテンツの表示制御を担う層であり、またARクラウドに保存されるデータとローカルで保管するデータとの対応付けを行う。具体的には、アプリケーション層では、ARクラウドに保存される3次元空間の点群データとローカルで取得したSLAMデータとの対応付けを行い、当該3次元空間上における自端末の位置と姿勢を特定する。
これによれば、自端末が表示するARコンテンツの上記3次元空間上における座標を精度高く取得し、取得した座標情報をARクラウドにアップロードすることで、他の端末による上記ARコンテンツの表示を実現することができる。
また、反対に他の端末からARクラウドにアップロードされたARコンテンツの画像情報と座標情報とをダウンロードし、当該座標情報と自端末のSLAMデータとを対応づけることで、他の端末がアップロードしたARコンテンツを正確な位置に表示することができる。
このように、本実施形態に係る情報処理方法によれば、現実空間上の物体に係る情報をクラウド経由で共有することで、複数のユーザの間でAR体験を共有することが可能となる。
<2.まとめ>
以上説明したように、本開示の一実施形態に係る情報処理装置は、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、を備える。また、本開示の一実施形態に係る制御部は、オリジナルコンテンツが表示される場合と比較して上記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、上記ARコンテンツの表示態様を制御すること、を特徴の一つとする。係る構成によれば、現実空間と融合したARコンテンツをより安全に視聴することが可能となる。
以上説明したように、本開示の一実施形態に係る情報処理装置は、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、を備える。また、本開示の一実施形態に係る制御部は、オリジナルコンテンツが表示される場合と比較して上記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、上記ARコンテンツの表示態様を制御すること、を特徴の一つとする。係る構成によれば、現実空間と融合したARコンテンツをより安全に視聴することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理端末10やヘッドマウントディスプレイ20が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な非一過性の記録媒体も提供され得る。
また、本明細書の情報処理端末10の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理端末10の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、
を備え、
前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御する、
情報処理装置。
(2)
前記表示態様は、表示内容、表示位置、表示タイミングのうち少なくとも1つを含む、
前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記オリジナルコンテンツから主要被写体を除く背景を除去した前記ARコンテンツを前記表示装置に表示させる、
前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記ARコンテンツを前記ユーザの視野の周辺部に表示させる、
前記(2)または(3)に記載の情報処理装置。
(5)
前記制御部は、前記オリジナルコンテンツが複数の前記主要被写体を含む場合、複数の前記主要被写体が前記ユーザの視野の周辺部に分離して表示されるように制御する、
前記(3)に記載の情報処理装置。
(6)
前記制御部は、前記ユーザの動作状態に基づいて、前記ARコンテンツの表示位置を制御する、
前記(2)~(5)のいずれかに記載の情報処理装置。
(7)
前記制御部は、前記ユーザが移動している場合、前記ARコンテンツを前記ユーザの視野の周辺部に表示させ、前記ユーザが静止している場合、前記ARコンテンツを前記ユーザの視野の中央部に表示させる、
前記(6)に記載の情報処理装置。
(8)
前記オリジナルコンテンツは、動画コンテンツであり、
前記制御部は、前記オリジナルコンテンツの再生シーンに応じて前記ARコンテンツの前記表示態様を制御する、
前記(2)~(7)のいずれかに記載の情報処理装置。
(9)
前記制御部は、前記再生シーンが主要被写体を含む場合にのみ、前記再生シーンに対応する前記ARコンテンツを表示させる、
前記(8)に記載の情報処理装置。
(10)
前記制御部は、前記再生シーンごとの代表画像を前記ARコンテンツとして表示させる、
前記(8)に記載の情報処理装置。
(11)
前記制御部は、前記再生シーンが前記オリジナルコンテンツにおける主要シーンではない場合、前記ARコンテンツを前記ユーザの視野の周辺部に表示させ、前記再生シーンが前記オリジナルコンテンツにおける主要シーンである場合、前記ARコンテンツを前記ユーザの視野の中央部に表示させる、
前記(8)に記載の情報処理装置。
(12)
前記制御部は、前記現実空間に存在する物体の認識結果に基づいて、前記ARコンテンツの前記表示態様を制御する、
前記(2)~(11)のいずれかに記載の情報処理装置。
(13)
前記制御部は、前記現実空間に存在する矩形領域が検出された場合、前記矩形領域に対応する位置に前記ARコンテンツを表示させる、
前記(12)に記載の情報処理装置。
(14)
前記制御部は、前記現実空間に存在する広告媒体が認識された場合、前記広告媒体に対応する位置に前記ARコンテンツを表示させる、
前記(12)または(13)に記載の情報処理装置。
(15)
前記オリジナルコンテンツは、VRコンテンツである、
前記(3)に記載の情報処理装置。
(16)
前記制御部は、前記ユーザのジェスチャに基づいて、前記ARコンテンツの表示態様を制御する、
前記(2)~(15)のいずれかに記載の情報処理装置。
(17)
前記制御部は、前記ARコンテンツと前記現実空間を撮影した画像情報とに基づくVRコンテンツを生成する、
前記(2)~(16)のいずれかに記載の情報処理装置。
(18)
ヘッドマウントディスプレイとの無線通信を行う通信部、
をさらに備え、
前記通信部は、前記ヘッドマウントディスプレイが備える撮影部が撮影した前記現実空間の画像情報と、前記ヘッドマウントディスプレイが備えるセンサ部が取得したセンサ情報とを受信し、
前記制御部は、前記画像情報と前記センサ情報に基づいて、前記ARコンテンツを前記ヘッドマウントディスプレイが備える前記表示装置に前記ARコンテンツを表示させる、
前記(1)~(17)のいずれかに記載の情報処理装置。
(19)
プロセッサが、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御すること、
を含み、
前記制御することは、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御すること、
をさらに含む、
情報処理方法。
(20)
コンピュータを、
ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、
を備え、
前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御する、
情報処理装置、
として機能させるためのプログラム。
(1)
ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、
を備え、
前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御する、
情報処理装置。
(2)
前記表示態様は、表示内容、表示位置、表示タイミングのうち少なくとも1つを含む、
前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記オリジナルコンテンツから主要被写体を除く背景を除去した前記ARコンテンツを前記表示装置に表示させる、
前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記ARコンテンツを前記ユーザの視野の周辺部に表示させる、
前記(2)または(3)に記載の情報処理装置。
(5)
前記制御部は、前記オリジナルコンテンツが複数の前記主要被写体を含む場合、複数の前記主要被写体が前記ユーザの視野の周辺部に分離して表示されるように制御する、
前記(3)に記載の情報処理装置。
(6)
前記制御部は、前記ユーザの動作状態に基づいて、前記ARコンテンツの表示位置を制御する、
前記(2)~(5)のいずれかに記載の情報処理装置。
(7)
前記制御部は、前記ユーザが移動している場合、前記ARコンテンツを前記ユーザの視野の周辺部に表示させ、前記ユーザが静止している場合、前記ARコンテンツを前記ユーザの視野の中央部に表示させる、
前記(6)に記載の情報処理装置。
(8)
前記オリジナルコンテンツは、動画コンテンツであり、
前記制御部は、前記オリジナルコンテンツの再生シーンに応じて前記ARコンテンツの前記表示態様を制御する、
前記(2)~(7)のいずれかに記載の情報処理装置。
(9)
前記制御部は、前記再生シーンが主要被写体を含む場合にのみ、前記再生シーンに対応する前記ARコンテンツを表示させる、
前記(8)に記載の情報処理装置。
(10)
前記制御部は、前記再生シーンごとの代表画像を前記ARコンテンツとして表示させる、
前記(8)に記載の情報処理装置。
(11)
前記制御部は、前記再生シーンが前記オリジナルコンテンツにおける主要シーンではない場合、前記ARコンテンツを前記ユーザの視野の周辺部に表示させ、前記再生シーンが前記オリジナルコンテンツにおける主要シーンである場合、前記ARコンテンツを前記ユーザの視野の中央部に表示させる、
前記(8)に記載の情報処理装置。
(12)
前記制御部は、前記現実空間に存在する物体の認識結果に基づいて、前記ARコンテンツの前記表示態様を制御する、
前記(2)~(11)のいずれかに記載の情報処理装置。
(13)
前記制御部は、前記現実空間に存在する矩形領域が検出された場合、前記矩形領域に対応する位置に前記ARコンテンツを表示させる、
前記(12)に記載の情報処理装置。
(14)
前記制御部は、前記現実空間に存在する広告媒体が認識された場合、前記広告媒体に対応する位置に前記ARコンテンツを表示させる、
前記(12)または(13)に記載の情報処理装置。
(15)
前記オリジナルコンテンツは、VRコンテンツである、
前記(3)に記載の情報処理装置。
(16)
前記制御部は、前記ユーザのジェスチャに基づいて、前記ARコンテンツの表示態様を制御する、
前記(2)~(15)のいずれかに記載の情報処理装置。
(17)
前記制御部は、前記ARコンテンツと前記現実空間を撮影した画像情報とに基づくVRコンテンツを生成する、
前記(2)~(16)のいずれかに記載の情報処理装置。
(18)
ヘッドマウントディスプレイとの無線通信を行う通信部、
をさらに備え、
前記通信部は、前記ヘッドマウントディスプレイが備える撮影部が撮影した前記現実空間の画像情報と、前記ヘッドマウントディスプレイが備えるセンサ部が取得したセンサ情報とを受信し、
前記制御部は、前記画像情報と前記センサ情報に基づいて、前記ARコンテンツを前記ヘッドマウントディスプレイが備える前記表示装置に前記ARコンテンツを表示させる、
前記(1)~(17)のいずれかに記載の情報処理装置。
(19)
プロセッサが、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御すること、
を含み、
前記制御することは、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御すること、
をさらに含む、
情報処理方法。
(20)
コンピュータを、
ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、
を備え、
前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御する、
情報処理装置、
として機能させるためのプログラム。
10 情報処理端末
130 制御部
150 通信部
20 ヘッドマウントディスプレイ
210 撮影部
220 センサ部
230 制御部
240 出力部
250 通信部
130 制御部
150 通信部
20 ヘッドマウントディスプレイ
210 撮影部
220 センサ部
230 制御部
240 出力部
250 通信部
Claims (20)
- ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、
を備え、
前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御する、
情報処理装置。 - 前記表示態様は、表示内容、表示位置、表示タイミングのうち少なくとも1つを含む、
請求項1に記載の情報処理装置。 - 前記制御部は、前記オリジナルコンテンツから主要被写体を除く背景を除去した前記ARコンテンツを前記表示装置に表示させる、
請求項2に記載の情報処理装置。 - 前記制御部は、前記ARコンテンツを前記ユーザの視野の周辺部に表示させる、
請求項2に記載の情報処理装置。 - 前記制御部は、前記オリジナルコンテンツが複数の前記主要被写体を含む場合、複数の前記主要被写体が前記ユーザの視野の周辺部に分離して表示されるように制御する、
請求項3に記載の情報処理装置。 - 前記制御部は、前記ユーザの動作状態に基づいて、前記ARコンテンツの表示位置を制御する、
請求項2に記載の情報処理装置。 - 前記制御部は、前記ユーザが移動している場合、前記ARコンテンツを前記ユーザの視野の周辺部に表示させ、前記ユーザが静止している場合、前記ARコンテンツを前記ユーザの視野の中央部に表示させる、
請求項6に記載の情報処理装置。 - 前記オリジナルコンテンツは、動画コンテンツであり、
前記制御部は、前記オリジナルコンテンツの再生シーンに応じて前記ARコンテンツの前記表示態様を制御する、
請求項2に記載の情報処理装置。 - 前記制御部は、前記再生シーンが主要被写体を含む場合にのみ、前記再生シーンに対応する前記ARコンテンツを表示させる、
請求項8に記載の情報処理装置。 - 前記制御部は、前記再生シーンごとの代表画像を前記ARコンテンツとして表示させる、
請求項8に記載の情報処理装置。 - 前記制御部は、前記再生シーンが前記オリジナルコンテンツにおける主要シーンではない場合、前記ARコンテンツを前記ユーザの視野の周辺部に表示させ、前記再生シーンが前記オリジナルコンテンツにおける主要シーンである場合、前記ARコンテンツを前記ユーザの視野の中央部に表示させる、
請求項8に記載の情報処理装置。 - 前記制御部は、前記現実空間に存在する物体の認識結果に基づいて、前記ARコンテンツの前記表示態様を制御する、
請求項2に記載の情報処理装置。 - 前記制御部は、前記現実空間に存在する矩形領域が検出された場合、前記矩形領域に対応する位置に前記ARコンテンツを表示させる、
請求項12に記載の情報処理装置。 - 前記制御部は、前記現実空間に存在する広告媒体が認識された場合、前記広告媒体に対応する位置に前記ARコンテンツを表示させる、
請求項12に記載の情報処理装置。 - 前記オリジナルコンテンツは、VRコンテンツである、
請求項3に記載の情報処理装置。 - 前記制御部は、前記ユーザのジェスチャに基づいて、前記ARコンテンツの表示態様を制御する、
請求項2に記載の情報処理装置。 - 前記制御部は、前記ARコンテンツと前記現実空間を撮影した画像情報とに基づくVRコンテンツを生成する、
請求項2に記載の情報処理装置。 - ヘッドマウントディスプレイとの無線通信を行う通信部、
をさらに備え、
前記通信部は、前記ヘッドマウントディスプレイが備える撮影部が撮影した前記現実空間の画像情報と、前記ヘッドマウントディスプレイが備えるセンサ部が取得したセンサ情報とを受信し、
前記制御部は、前記画像情報と前記センサ情報に基づいて、前記ARコンテンツを前記ヘッドマウントディスプレイが備える前記表示装置に前記ARコンテンツを表示させる、
請求項1に記載の情報処理装置。 - プロセッサが、ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御すること、
を含み、
前記制御することは、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御すること、
をさらに含む、
情報処理方法。 - コンピュータを、
ユーザの眼前に配置される表示装置によるARコンテンツの表示を制御する制御部、
を備え、
前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ARコンテンツの表示態様を制御する、
情報処理装置、
として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/019776 WO2020234939A1 (ja) | 2019-05-17 | 2019-05-17 | 情報処理装置、情報処理方法、およびプログラム |
CN201980096271.2A CN113875227A (zh) | 2019-05-17 | 2019-05-17 | 信息处理设备、信息处理方法和程序 |
EP19929702.9A EP3972241A4 (en) | 2019-05-17 | 2019-05-17 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
US17/600,606 US11846783B2 (en) | 2019-05-17 | 2019-05-17 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/019776 WO2020234939A1 (ja) | 2019-05-17 | 2019-05-17 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020234939A1 true WO2020234939A1 (ja) | 2020-11-26 |
Family
ID=73459237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/019776 WO2020234939A1 (ja) | 2019-05-17 | 2019-05-17 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11846783B2 (ja) |
EP (1) | EP3972241A4 (ja) |
CN (1) | CN113875227A (ja) |
WO (1) | WO2020234939A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022264377A1 (ja) * | 2021-06-17 | 2022-12-22 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220146822A1 (en) * | 2019-08-15 | 2022-05-12 | Ostendo Technologies, Inc. | Wearable Display Systems and Design Methods Thereof |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011002753A (ja) | 2009-06-22 | 2011-01-06 | Sony Corp | 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法 |
JP2015037242A (ja) * | 2013-08-13 | 2015-02-23 | ソニー株式会社 | 受信装置、受信方法、送信装置、及び、送信方法 |
WO2015125626A1 (ja) * | 2014-02-20 | 2015-08-27 | ソニー株式会社 | 表示制御装置、表示制御方法およびコンピュータプログラム |
JP2015166816A (ja) * | 2014-03-04 | 2015-09-24 | 富士通株式会社 | 表示装置,表示制御プログラム及び表示制御方法 |
WO2016185845A1 (ja) * | 2015-05-21 | 2016-11-24 | 日本電気株式会社 | インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム |
JP2017516196A (ja) * | 2014-04-17 | 2017-06-15 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 会話検出 |
JP2017181842A (ja) * | 2016-03-31 | 2017-10-05 | 拓志 船木 | 広告方法、広告用車両及び広告システム |
WO2018198499A1 (ja) * | 2017-04-27 | 2018-11-01 | ソニー株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
US20110213664A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US9317133B2 (en) * | 2010-10-08 | 2016-04-19 | Nokia Technologies Oy | Method and apparatus for generating augmented reality content |
US9081177B2 (en) * | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN106843456B (zh) * | 2016-08-16 | 2018-06-29 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
US10728616B2 (en) * | 2017-04-19 | 2020-07-28 | Intel Corporation | User interest-based enhancement of media quality |
US20180336591A1 (en) * | 2017-05-16 | 2018-11-22 | Philip Neumeier | Virtually projected augmented ad display |
US20180349946A1 (en) * | 2017-05-31 | 2018-12-06 | Telefonaktiebolaget Lm Ericsson (Publ) | System, method and architecture for real-time native advertisement placement in an augmented/mixed reality (ar/mr) environment |
-
2019
- 2019-05-17 US US17/600,606 patent/US11846783B2/en active Active
- 2019-05-17 CN CN201980096271.2A patent/CN113875227A/zh active Pending
- 2019-05-17 EP EP19929702.9A patent/EP3972241A4/en active Pending
- 2019-05-17 WO PCT/JP2019/019776 patent/WO2020234939A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011002753A (ja) | 2009-06-22 | 2011-01-06 | Sony Corp | 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法 |
JP2015037242A (ja) * | 2013-08-13 | 2015-02-23 | ソニー株式会社 | 受信装置、受信方法、送信装置、及び、送信方法 |
WO2015125626A1 (ja) * | 2014-02-20 | 2015-08-27 | ソニー株式会社 | 表示制御装置、表示制御方法およびコンピュータプログラム |
JP2015166816A (ja) * | 2014-03-04 | 2015-09-24 | 富士通株式会社 | 表示装置,表示制御プログラム及び表示制御方法 |
JP2017516196A (ja) * | 2014-04-17 | 2017-06-15 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 会話検出 |
WO2016185845A1 (ja) * | 2015-05-21 | 2016-11-24 | 日本電気株式会社 | インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム |
JP2017181842A (ja) * | 2016-03-31 | 2017-10-05 | 拓志 船木 | 広告方法、広告用車両及び広告システム |
WO2018198499A1 (ja) * | 2017-04-27 | 2018-11-01 | ソニー株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022264377A1 (ja) * | 2021-06-17 | 2022-12-22 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
EP3972241A1 (en) | 2022-03-23 |
EP3972241A4 (en) | 2022-07-27 |
US20220171202A1 (en) | 2022-06-02 |
CN113875227A (zh) | 2021-12-31 |
US11846783B2 (en) | 2023-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109819313B (zh) | 视频处理方法、装置及存储介质 | |
US10971188B2 (en) | Apparatus and method for editing content | |
RU2621644C2 (ru) | Мир массового одновременного удаленного цифрового присутствия | |
EP3383036A2 (en) | Information processing device, information processing method, and program | |
US20210165481A1 (en) | Method and system of interactive storytelling with probability-based personalized views | |
CN111031386B (zh) | 基于语音合成的视频配音方法、装置、计算机设备及介质 | |
CN110163066B (zh) | 多媒体数据推荐方法、装置及存储介质 | |
CN112218136B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
WO2021098338A1 (zh) | 一种模型训练的方法、媒体信息合成的方法及相关装置 | |
KR20190024249A (ko) | 광고를 제공하는 방법 및 전자 장치 | |
CN114025219B (zh) | 增强现实特效的渲染方法、装置、介质及设备 | |
CN112235635B (zh) | 动画显示方法、装置、电子设备及存储介质 | |
CN111432245B (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
US10261749B1 (en) | Audio output for panoramic images | |
CN111836073B (zh) | 视频清晰度的确定方法、装置、设备及存储介质 | |
WO2023138548A1 (zh) | 图像处理方法、装置、设备和存储介质 | |
WO2020234939A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN113705302A (zh) | 图像生成模型的训练方法、装置、计算机设备及存储介质 | |
US20220319061A1 (en) | Transmitting metadata via invisible light | |
CN112528760A (zh) | 图像处理方法、装置、计算机设备及介质 | |
US20220318303A1 (en) | Transmitting metadata via inaudible frequencies | |
EP4080907A1 (en) | Information processing device and information processing method | |
US11025921B1 (en) | Providing a virtual view by streaming serialized data | |
CN111797754A (zh) | 图像检测的方法、装置、电子设备及介质 | |
CN113587812B (zh) | 显示设备、测量方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19929702 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2019929702 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: JP |