WO2020234939A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020234939A1
WO2020234939A1 PCT/JP2019/019776 JP2019019776W WO2020234939A1 WO 2020234939 A1 WO2020234939 A1 WO 2020234939A1 JP 2019019776 W JP2019019776 W JP 2019019776W WO 2020234939 A1 WO2020234939 A1 WO 2020234939A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
display
control unit
information processing
user
Prior art date
Application number
PCT/JP2019/019776
Other languages
English (en)
French (fr)
Inventor
健司 徳武
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to PCT/JP2019/019776 priority Critical patent/WO2020234939A1/ja
Priority to CN201980096271.2A priority patent/CN113875227A/zh
Priority to EP19929702.9A priority patent/EP3972241A4/en
Priority to US17/600,606 priority patent/US11846783B2/en
Publication of WO2020234939A1 publication Critical patent/WO2020234939A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • This disclosure relates to information processing devices, information processing methods, and programs.
  • Patent Document 1 discloses a head-mounted display for realizing AR technology.
  • a control unit that controls the display of AR content by a display device arranged in front of the user is provided, and the control unit is a real space by the user as compared with the case where the original content is displayed.
  • An information processing device for controlling the display mode of the AR content is provided so that the degree of decrease in the visibility level of the AR content is reduced.
  • the processor controls the display of AR content by a display device arranged in front of the user, and the control thereof is compared with the case where the original content is displayed.
  • An information processing method is provided that further includes controlling the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced.
  • the computer includes a control unit that controls the display of AR content by a display device arranged in front of the user, and the control unit is compared with the case where the original content is displayed.
  • a program for functioning as an information processing device that controls the display mode of the AR content is provided so that the degree of decrease in the visual level of the real space by the user is reduced.
  • the user can view the AR content displayed on the display while visually recognizing the real space with a transmissive type (including video transmissive type and optical transmissive type) head-mounted display as disclosed in Patent Document 1. It is possible.
  • a transmissive type including video transmissive type and optical transmissive type
  • the displayed AR content may lower the visibility level of an object or the like existing in the real space.
  • FIG. 1 is a diagram for explaining the display of AR contents by a general head-mounted display.
  • FIG. 1 shows an example of the field of view of a user wearing a general head-mounted display 90.
  • the user uses the head-mounted display 90 to view the video content provided by the video distribution service as AR content C.
  • the head-mounted display 90 displays the AR content C in the central portion of the user's field of view
  • most of the user's field of view is occupied by the AR content C.
  • the visibility level of the real space that is, an object or a landscape visible through a transmissive display
  • the user when the user is performing exercise such as walking or driving a vehicle, the user is obstructed by the display of the AR content C and cannot visually recognize the object or the terrain existing in the moving direction, resulting in a collision or a collision. There is a possibility of falling.
  • the information processing device includes a control unit that controls the display of AR contents by a display device arranged in front of the user.
  • the control unit according to the embodiment of the present disclosure sets the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
  • One of the features is to control.
  • FIG. 2 is a diagram showing an example of AR content display according to the present embodiment.
  • FIG. 2 shows an example of the field of view of the user who wears the head-mounted display 20 according to the present embodiment.
  • the head-mounted display is an example of the information processing device in the present disclosure.
  • the user is viewing the video content provided by the video distribution service as AR content.
  • the head-mounted display 20 according to the present embodiment has a background excluding the main subjects MS1 to MS3 corresponding to three people from the above-mentioned moving image content (referred to as original content).
  • the removed AR content C is displayed.
  • the area where the AR content C is superimposed on the real space can be reduced, and the degree of decrease in the visual level of the real space by the user can be effectively suppressed.
  • the main subject according to the present embodiment may be a subject that is expected to attract more attention from the user in original content such as moving image content.
  • original content such as moving image content
  • the main subject according to the present embodiment may be a person (performer) as shown in FIG.
  • the area corresponding to the subject expected to be more noticed by the user that is, the subject expected to be viewed more by the user is extracted from the original content.
  • the area can be displayed as AR content.
  • the display control shown in FIG. 2 is only an example, and the display control of the AR content according to the present embodiment is not limited to the example.
  • the display control according to the present embodiment is not limited to the example.
  • a specific example of the display control according to the present embodiment and a configuration for realizing various display controls will be described in detail.
  • FIG. 3 is a diagram showing a configuration example of an information processing system according to the present embodiment.
  • the information processing system according to the present embodiment includes an information processing terminal 10 and a head-mounted display 20. Further, the information processing terminal 10 and the head-mounted display 20 are connected so as to be able to communicate with each other via the network 30.
  • the information processing terminal 10 is an example of an information processing device that realizes the information processing method according to the present embodiment.
  • the information processing terminal 10 according to the present embodiment controls the AR display by the head-mounted display 20 via the network 30.
  • the information processing terminal 10 according to the present embodiment may be a small electronic device suitable for carrying, such as a smartphone.
  • the information processing terminal 10 according to the present embodiment may be a server.
  • the head-mounted display 20 is a device including a transmissive display, which enables a user to visually recognize a real space and view AR contents.
  • the head-mounted display 20 according to the present embodiment may display AR contents based on, for example, control by the information processing terminal 10.
  • the head-mounted display 20 may be, for example, a glasses-type or preventive-type device. Further, the head-mounted display 20 may be, for example, an external device that can be worn on ordinary glasses or the like.
  • the network 30 has a function of connecting the information processing terminal 10 and the head-mounted display 20.
  • the network 30 may include a wireless communication network such as Wi-Fi (registered trademark) and Bluetooth (registered trademark). Further, the network 30 may include a mobile communication network such as LTE (Long Term Evolution).
  • the configuration example of the information processing system according to this embodiment has been described above.
  • the above configuration described with reference to FIG. 3 is merely an example, and the configuration of the information processing system according to the present embodiment is not limited to such an example.
  • the case where the information processing terminal 10 controls the display of AR contents by the head-mounted display 20 via the network 30 has been described as an example.
  • control by the information processing terminal 10 is not always necessary, and the head-mounted display 20 according to the present embodiment can independently realize the information processing method according to the present embodiment.
  • FIG. 4 is a block diagram showing a functional configuration example of the information processing terminal 10 and the head-mounted display 20 according to the present embodiment.
  • the case where the information processing terminal 10 controls the AR display by the head-mounted display 20 will be described as a main example.
  • the photographing unit 110 has a function of photographing a real space.
  • the control unit 130 described later may control the AR display by the head-mounted display 20 based on the image information in the real space photographed by the photographing unit 110.
  • the photographing unit 110 is arranged so that the user can photograph in the same direction as the user visually recognizes the real space via the head-mounted display 20.
  • the sensor unit 120 has a function of collecting various sensor information such as acceleration and angular velocity.
  • the control unit 130 described later controls the AR display by the head-mounted display 20 based on the sensor information collected by the sensor unit 120. You may.
  • the control unit 130 according to the present embodiment controls each configuration included in the information processing terminal 10 as a whole. Further, the control unit 130 according to the present embodiment has a function of controlling the AR display by the head-mounted display 20 based on the captured image information and the collected sensor information. At this time, the control unit 130 according to the present embodiment reduces the degree of decrease in the visual level of the real space by the user as compared with the case where the original content is displayed by the output unit 240 of the head-mounted display 20. One of the features is to control the display mode of the AR content by the output unit 240.
  • control unit 130 may display the AR content obtained by removing the background excluding the main subject from the original content on the output unit 240.
  • the above display mode may include the display content, display position, display timing, etc. of the AR content. Details of the functions of the control unit 130 according to this embodiment will be described later.
  • the output unit 140 outputs various information based on the control by the control unit 130.
  • the output unit 140 according to the present embodiment includes a display device, a speaker, and the like.
  • the communication unit 150 performs information communication with the head-mounted display 20 via the network 30.
  • the photographing unit 210 according to the present embodiment has a function of photographing a real space.
  • the photographing unit 210 according to the present embodiment is arranged so that the user can photograph in the same direction as the user visually recognizes the real space via the output unit 240 described later.
  • the sensor unit 220 has a function of collecting various sensor information such as acceleration and angular velocity.
  • the control unit 230 controls each configuration of the head-mounted display 20 as a whole. Further, the control unit 230 performs a process related to the display of the AR content based on the control by the information processing terminal 10. For example, the control unit 230 may deliver image information, control signals, and the like related to the AR content generated by the control unit 130 of the information processing terminal 10 to the output unit 240.
  • the control unit 230 When the head-mounted display 20 independently displays AR content without being controlled by the information processing terminal 10, the control unit 230 according to the present embodiment has a display control function equivalent to that of the control unit 130 of the information processing terminal 10. May have. That is, in this case, the control unit 230 may control the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
  • the output unit 240 displays AR content based on the control by the control unit 130 and the control unit 230.
  • the output unit 240 according to the present embodiment includes at least a display device that is arranged in front of the user's eyes when the head-mounted display 20 is attached. Further, the output unit 240 may include a speaker or the like for outputting the sound accompanying the AR content.
  • the communication unit 150 performs information communication with the information processing terminal 10 via the network 30.
  • the functional configuration examples of the information processing terminal 10 and the head-mounted display 20 according to the present embodiment have been described above.
  • the above configuration described with reference to FIG. 4 is merely an example, and the functional configurations of the information processing terminal 10 and the head-mounted display 20 according to the present embodiment are not limited to such an example.
  • the head-mounted display 20 according to the present embodiment can independently display AR contents without being controlled by the information processing terminal 10.
  • the head-mounted display 20 according to the present embodiment can realize the display of AR contents alone or based on the control by the information processing terminal 10.
  • FIG. 5 is a block diagram showing an example of a detailed configuration when the head-mounted display 20 according to the present embodiment independently controls the display of AR contents.
  • control unit 230 is composed of a SoC (System on Chip), an OS, an AR framework, an application, and the like.
  • the control unit 230 is SLAM (Simutaneous Localization and Mapping) based on the image information taken by the camera included in the photographing unit 210 and the sensor information (acceleration information and angular velocity information) received from the IMU (Inertial Measurement Unit) included in the sensor unit 220. ) To generate an environment map and a pose graph (attitude graph).
  • control unit 230 can recognize the space including the object (environment map) based on the image information and the sensor information, and can grasp the position and posture (pose graph) of the camera in the recognized space.
  • FIG. 6 is a diagram showing a configuration example of software that realizes SLAM according to the present embodiment.
  • the software that realizes SLAM according to the present embodiment may be separately configured as a front end and a back end.
  • the image information acquired by the photographing unit 210 and the sensor information acquired by the sensor unit 220 are sequentially input, and data correspondence, real-time update of the environment map, and generation of the pose graph are performed.
  • the front end may execute loop detection for detecting the loop as described above.
  • batch processing that greatly updates the environment map, such as synchronizing the environment map with the server, is executed.
  • pause correction and the like associated with loop detection are executed. Since updating and using the environment map requires a large amount of calculation, the amount of calculation can be reduced and the performance can be ensured by using the pose graph that estimates the position based on the movement of the head-mounted display 20.
  • the back end may be executed in a thread different from the front end. According to this, it is possible to perform the processing without affecting the real-time property.
  • the control unit 230 determines a display mode such as the display content, display position, size, and display timing of the AR content based on the environment map and the pose graph generated as described above, and the display device included in the output unit 240 It can be output.
  • control unit 230 performs all the processing related to the display control of the SLAM and AR contents, it is necessary for the control unit 230 to have abundant arithmetic resources, which in turn increases the size of the head-mounted display 20. Become.
  • the processing load on the head-mounted display 20 side is reduced by performing the processing related to the display control of the SLAM and AR contents on the information processing terminal 10, and the head-mounted display 20 is used. It is possible to make it smaller.
  • FIG. 7 is a block diagram showing an example of a detailed configuration when the information processing terminal 10 controls the display of SLAM and AR contents according to the present embodiment.
  • control unit 130 has the same configuration as the control unit 230 shown in FIG. At this time, the control unit 130 receives image information and sensor information from the photographing unit 210 and the sensor unit 220 of the head-mounted display 20 via the wireless communication devices included in the communication unit 150 and the communication unit 250, respectively, and SLAM and AR Processing related to content display can be executed.
  • control unit 230 may use the gesture recognizer to recognize the user's gesture from the received image information and control the display of the AR content based on the recognition result.
  • the gesture recognition function of the control unit 230 according to this embodiment will be described later.
  • control unit 230 of the head-mounted display 20 detects the difference between the image information input in time series from the photographing unit 210 by using the motion detector, and when the difference is detected, that is, the image information.
  • the image information may be transmitted to the information processing terminal 10 only when there is a change in the information processing terminal 10. According to such control, the amount of image information to be communicated can be reduced and traffic can be effectively suppressed.
  • control unit 130 may control the display mode of the AR content according to the reproduction scene of the original content.
  • control unit 130 according to the present embodiment may display the AR content corresponding to the reproduction scene on the output unit 240 only when the reproduction scene of the original content includes the main subject.
  • FIG. 8 is a diagram for explaining display control of AR content according to a playback scene including a main subject according to the present embodiment.
  • video content such as promotional videos of music
  • playback scenes that do not include a main subject such as an artist are often used.
  • the above-mentioned moving image content is continuously displayed as AR content, it is assumed that the user is distracted by the frequently changing playback scene and the visual recognition of the real space is neglected.
  • the control unit 130 may display the AR content C corresponding to the reproduction scene on the output unit 240 only when the reproduction scene includes the main subject MS. Good.
  • the display time of the AR content C is shortened by limiting the display content of the AR content C to the target to be watched by the user, and the degree of deterioration of the visual level of the real space by the user is effectively suppressed. Is possible.
  • control unit 130 may extract a playback scene including the main subject by, for example, setting a person appearing in the moving image content as the main subject and performing face detection processing or the like.
  • control unit 130 can also extract a playback scene including a main subject based on the metadata attached to the moving image content. For example, when the metadata includes subject information for each playback scene (frame), the user may be able to specify a main subject (for example, only vocals among people) that he / she wants to watch.
  • control unit 130 may extract a representative image for each playback scene from the original moving image content and output the representative image as AR content to the output unit 240.
  • FIG. 9 is a diagram for explaining display control of AR content corresponding to a representative image for each playback scene according to the present embodiment.
  • control unit 130 extracts a representative image (still image) for each playback scene, and while the same playback scene continues, the control unit 130 outputs the representative image as AR content to the output unit 240. You may continue to output.
  • control unit 130 keeps displaying the representative image of the "intro" on the output unit 240 as AR content C1.
  • control unit 130 causes the output unit 240 to display the representative image of "A melody” as AR content C, and displays the display as the end of "A melody". Continue until.
  • the display control as described above by suppressing the frequency of change of the AR content, the visual information representing the playback scene is presented to the user while reducing the degree of decrease in the visual level of the real space by the user. , It is possible to secure user satisfaction.
  • the control unit 130 may display the AR content C around the user's field of view, for example, as shown in FIGS. 8 and 9. According to the display control, it is possible to reduce the degree of decrease in the visual level of the real space by the user by not blocking the central portion of the user's field of view.
  • control unit 130 may dynamically control the display position of the AR content based on the playback scene of the moving image content and the operation status of the user.
  • FIG. 10 is a diagram for explaining display position control of AR content based on a playback scene and a user's operation status according to the present embodiment.
  • the upper part of FIG. 10 shows an example of displaying AR contents when the user is performing an operation such as walking.
  • the control unit 130 may display the AR content C in the peripheral portion of the user's field of view as described above.
  • the central portion of the user's field of view can be opened, and the degree of decrease in the visual level of the real space by the user can be reduced.
  • control unit 130 displays the main subjects MS1 to MS3 separately in the peripheral portion of the user's field of view. Control may be performed.
  • the lower part of FIG. 10 shows an example of displaying AR content when the user is stationary or when the playback scene is the main scene in the original content.
  • control unit 130 displays the AR content in the peripheral portion of the user's field of view when the user is moving, and displays the AR content when the user is stationary. It may be displayed in the center of the field of view of.
  • the playback scene is the main scene in the original content, for example, the chorus part in the promotion video of the music, it is assumed that the user wants to watch more than the other playback scenes.
  • the control unit 130 displays the AR content in the peripheral portion of the user's field of view, and the playback scene is the main scene in the original content.
  • the AR content may be displayed in the center of the user's field of view.
  • control unit 130 can dynamically control the display position of the AR content based on the playback scene of the original content and the operation status of the user. According to such control, it is possible to realize a higher quality AR experience by securing the user's field of view and changing the priority of viewing AR contents according to the situation.
  • control unit 130 can identify the characteristics of each playback scene included in the original content by analyzing the original content. For example, when the original content is a promotional video of a musical piece, the control unit 130 may specify the characteristics of each playback scene based on the musical piece data included in the original content.
  • FIG. 11 is a flowchart showing the flow of specifying the playback scene characteristic based on the music data according to the present embodiment and controlling the display of the AR content based on the playback scene characteristic.
  • control unit 130 loads the original content (S1101).
  • control unit 130 determines whether or not the content is played for the first time (S1102).
  • control unit 130 subsequently determines whether or not the music data exists (S1103).
  • control unit 130 ends the processing of one example.
  • the control unit 130 decodes the music data (S1104).
  • control unit 130 causes the speaker provided in the output unit 240 to output the PCM (Pulse Code Modulation) data acquired by the decoding in step S1104 (1105).
  • PCM Pulse Code Modulation
  • control unit 130 performs a Fourier transform on the PCM data and executes clustering based on the acquired power spectrogram (S1106).
  • clustering for example, it is possible to classify parts having similar output, tune, tempo, etc. of each instrument or vocal as a cluster, that is, a playback scene.
  • FIG. 12 is a diagram showing an example of clustering based on music data according to the present embodiment.
  • the upper part of FIG. 12 shows the part composition of a certain music "ABC".
  • the musical piece ABC is composed of an intro, a verse, a bridge, a chorus, an interlude, and an outro.
  • the playback scenes of the music data "ABC" can be classified as shown in the lower part of the figure, for example.
  • the numbers in the figure indicate the elapsed time from the beginning of the content.
  • Such clustering data may be used for the second and subsequent reproductions of the content.
  • step S1102 when the content is not reproduced for the first time, that is, when the content is reproduced for the second time or later, the control unit 130 determines whether or not the music data exists (S1107).
  • control unit 130 ends a series of processes.
  • the control unit 130 decodes the music data (S1108).
  • control unit 130 outputs the PCM data acquired by the decoding in step S1108 to the speaker included in the output unit 240 (1109).
  • control unit 130 controls the display of the AR content based on the clustering data acquired in step S1106 at the time of the first reproduction of the content (S1110).
  • the control unit 130 determines that the playback scene is the main scene in the original content, and as shown in the lower part of FIG. 10, AR Content C may be displayed in the center of the user's field of view.
  • AR Content C may be displayed in the center of the user's field of view.
  • the clustering according to the present embodiment it is possible to change the movement of the AR content according to the speed of the music and to change the expression of the AR content according to the nature of the sound.
  • the superimposed display may be performed centering on the extraction of the person, and in the case of "sound: musical instrument", the effect effect on the background may be mainly performed. It can be used as an input for improving the expressiveness of the music scene.
  • control unit 130 identifies the characteristics of the playback scene included in the original content by analyzing the music data and the like, and controls the display of the AR content based on the characteristics. It is possible to do.
  • the above is just an example, and the analysis method related to the playback scene may be appropriately selected according to the type of the original content.
  • control unit 130 can also acquire the characteristics of the reproduction scene from the metadata attached to the original content.
  • the clustering of the music data may be performed by a server provided separately.
  • the music data is clustered in advance on the server, and the clustering data is saved.
  • each user reproduces the AR content he / she can view the AR content according to the characteristics of the reproduction scene by communicating with the server and receiving the above clustering data.
  • clustering data may be prepared only for representative contents instead of generating clustering data in advance for all contents including music data.
  • the content having the total number of times played by the entire user may be the representative content, or the content having the highest total number of times played in the predetermined period may be the representative content.
  • the control unit 130 may display the AR content at a position corresponding to the advertising medium.
  • FIG. 13 is a diagram for explaining display control of AR content based on the recognition result of an object existing in the real space according to the present embodiment.
  • FIG. 13 shows buildings B1 to B3 existing in the real space.
  • advertising media A1 and A2 are installed in the buildings B1 and B2, respectively.
  • the advertising medium A1 may be, for example, a signboard advertisement
  • the advertising medium A2 may be, for example, a large display.
  • control unit 130 can recognize the advertising media A1 and A2 based on the image information captured by the photographing unit 210 of the head-mounted display 20.
  • the control unit 130 may recognize the advertising media A1 and A2 by using, for example, a detector that detects a rectangular area.
  • control unit 130 can display the AR contents C1 and C2 at the positions corresponding to the recognized advertising media A1 and A2, respectively.
  • the advertising medium existing in the real space can be diverted as a display medium for AR content, and it is possible to realize a natural AR display that blends into the landscape without narrowing the user's field of view. Become.
  • control unit 130 may use various rectangular areas for displaying AR content, not limited to the advertising medium.
  • control unit 130 can detect a plurality of windows of the building B3 as a rectangular area and display AR contents in the rectangular area.
  • control unit 130 may control the display of the AR content based on the detection of a plane such as a wall existing in front of the user. For example, in the case of the example shown in FIG. 14, the control unit 130 detects the wall W in front of the user based on the image information captured by the imaging unit 210 of the head-mounted display 20.
  • control unit 130 may superimpose and display the AR content C1 related to the notification of the message received before the detection of the wall W on the wall W.
  • control unit 130 detects a flat surface such as a wall or a screen, and when the user stops walking, AR display related to the message notification allows the user to confirm the message in a safer situation. Is possible.
  • the control unit 130 can control the display mode of the AR content based on the recognition results of various objects existing in the real space.
  • control unit 130 can also control the display mode of the AR content based on, for example, the color of the recognized object or plane.
  • AR content tends to be easy to see when the background is black, but difficult to see when the background color is light. Therefore, for example, the control unit 130 may correct the entire image so that the AR content is easily visible with respect to the brightness of the recognized object or plane, or may display the AR content at a position that is easier to see. Good.
  • the control unit 130 may recognize the user's gesture based on the image information captured by the imaging unit 210 of the head-mounted display 20, and control the display mode of the AR content based on the gesture.
  • control unit 130 may determine, for example, that the input is the same as the tap operation in the information processing terminal 10, and control the display mode of the AR content C1 according to the input.
  • the control unit 130 determines that the input is the same as the drag operation in the information processing terminal 10, and the AR responds to the input.
  • the display mode of the content C1 may be controlled.
  • the user can easily and intuitively operate the application without taking out the information processing terminal 10 each time, and can provide a more convenient AR experience.
  • control unit 130 can display the AR content for accepting the gesture corresponding to the key input by the user on the output unit 140.
  • the control unit 130 recognizes that the user has gazed at the hand UH and causes the hand UH to display the AR content C for accepting the input of the number keys.
  • the user can input an arbitrary number while obtaining tactile feedback related to the pressing position by performing a gesture of pressing the AR content C superimposed on the UH of his / her hand with the other hand. You can do it.
  • the control unit 130 can associate the display position of the AR content C with the gesture position of the user and specify a number that the user desires to input.
  • VR content displays images in the entire field of view of the user, so it can be said that it is extremely difficult to enjoy VR content while moving outdoors. Therefore, in the present embodiment, by reconstructing the VR content as AR content, the user can easily enjoy the favorite content outdoors.
  • FIG. 16 is a diagram for explaining the generation of AR content based on the VR content according to the present embodiment.
  • a state in which the user U views the VR content VC corresponding to 360 degrees using the VR device 40 is shown.
  • control unit 130 extracts a moving object from the VR content VC, for example, and removes the background excluding the object.
  • the control unit 130 superimposes and displays the extracted object on the field of view FV as AR content C in accordance with the arrangement direction on the user's VR content VC.
  • the original content according to the present embodiment may be VR content.
  • control unit 130 according to the present embodiment can also generate VR content based on the AR content.
  • FIG. 17 is a diagram for explaining the generation of VR content based on the AR content according to the present embodiment.
  • the control unit 130 displays the image information captured by the photographing unit 210 of the head-mounted display 20 and the image information of the AR content C to be displayed on the output unit 240 together with the display position information (attitude information of the head-mounted display 20) in VR. Save in format.
  • the VR device 40 may supplement the image information in the direction not captured by the photographing unit 210 of the head-mounted display 20 by using, for example, an image generator using a machine learning method.
  • FIGS. 18 and 19 are diagrams for explaining the VR format storage of the image information according to the present embodiment.
  • the control unit 130 first analyzes the content. At this time, the control unit 130 first performs separation processing on the image input from the photographing unit 210 of the head-mounted display 20. Specifically, the control unit 130 separates the elements included in the image into a stationary object such as a background and a moving object including a person. In addition, the control unit 130 further detects a flat surface such as the ground from the extracted stationary object.
  • control unit 130 measures the distance between the detected moving body and the plane, and estimates the position and size of the plane.
  • control unit 130 associates the position and size between the plane and the moving body from the measured distance between the moving body and the plane and the estimated position and size of the plane.
  • control unit 130 performs a process of arranging the moving object acquired as described above on the background image for VR content.
  • control unit 130 first detects a plane from the background image and estimates the position and size of the plane. Next, the control unit 130 arranges the moving body on the background image based on the estimated position and size of the plane and the relationship between the position and the size between the plane and the moving body acquired in the above content analysis. According to such processing, it is possible to naturally position the position and size of a moving object such as a person with respect to the position and size of the background.
  • the control unit 130 performs voxelization and data compression of the arranged moving body.
  • the control unit 130 associates the position information of the moving object with the image information and executes voxelization.
  • the voxel refers to normal grid data in a three-dimensional space. That is, the control unit 130 converts the image information of the moving object into 3D point cloud data. In addition, the control unit 130 generates a shader for smoothing the 3D point cloud data.
  • control unit 130 compresses and saves the 3D point cloud data, shader, position information, and color information acquired as described above.
  • control unit 130 according to the present embodiment can generate VR content based on the AR content and the image information obtained by capturing the real space.
  • the VR device 40 first performs decompression processing of the compressed data.
  • the VR device 40 can acquire the position information and the image information related to the moving object and express the moving object in the volumetric space by releasing the voxels and performing the rendering process using the shader.
  • FIG. 20 is a diagram showing an example of a system configuration that realizes sharing of AR experience by the AR cloud according to the present embodiment.
  • FIG. 20 shows the system configuration for realizing the sharing of AR experience by the AR cloud, divided into three layers: device, platform, and application.
  • the device layer is a layer responsible for input / output related to the display of AR contents, and includes, for example, a modem, a GNSS signal receiver, an IMU, a geomagnetic sensor, a camera (RGB, ToF), a display, a GPU, and the like.
  • the platform layer is a layer that relays between the device layer and the application layer, and includes various services.
  • the application layer is a layer responsible for display control of SLAM and AR contents, and associates data stored in the AR cloud with data stored locally.
  • the point cloud data in the three-dimensional space stored in the AR cloud is associated with the locally acquired SLAM data, and the position and orientation of the own terminal in the three-dimensional space are specified. To do.
  • the coordinates of the AR content displayed by the own terminal in the above three-dimensional space are acquired with high accuracy, and the acquired coordinate information is uploaded to the AR cloud to realize the display of the AR content by another terminal. can do.
  • the AR uploaded by the other terminal can be displayed in the correct position.
  • the information processing method it is possible to share the AR experience among a plurality of users by sharing the information related to the object in the real space via the cloud.
  • the information processing device includes a control unit that controls the display of AR contents by the display device arranged in front of the user.
  • the control unit according to the embodiment of the present disclosure sets the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
  • One of the features is to control. According to this configuration, AR content fused with the real space can be viewed more safely.
  • each step related to the processing of the information processing terminal 10 of the present specification does not necessarily have to be processed in chronological order in the order described in the flowchart.
  • each step related to the processing of the information processing terminal 10 may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • a control unit that controls the display of AR content by a display device placed in front of the user. With The control unit controls the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
  • Information processing device (2)
  • the display mode includes at least one of a display content, a display position, and a display timing. The information processing device according to (1) above.
  • the control unit causes the display device to display the AR content obtained by removing the background excluding the main subject from the original content.
  • the control unit displays the AR content in a peripheral portion of the user's field of view.
  • the control unit controls so that the plurality of the main subjects are displayed separately in the peripheral portion of the user's field of view.
  • the information processing device according to (3) above.
  • the control unit controls the display position of the AR content based on the operating state of the user.
  • the information processing device according to any one of (2) to (5) above.
  • the control unit displays the AR content in the peripheral portion of the user's visual field, and when the user is stationary, the AR content is displayed in the central portion of the user's visual field.
  • the original content is video content and The control unit controls the display mode of the AR content according to the reproduction scene of the original content.
  • the information processing device according to any one of (2) to (7) above.
  • the control unit displays the AR content corresponding to the playback scene only when the playback scene includes a main subject.
  • the information processing device according to (8) above.
  • the control unit displays a representative image for each playback scene as the AR content.
  • the information processing device according to (8) above.
  • the control unit displays the AR content in the peripheral portion of the user's field of view when the playback scene is not the main scene in the original content, and when the playback scene is the main scene in the original content, the AR Display the content in the center of the user's field of view.
  • the information processing device according to (8) above.
  • the control unit controls the display mode of the AR content based on the recognition result of the object existing in the real space.
  • the information processing device according to any one of (2) to (11). (13) When the rectangular area existing in the real space is detected, the control unit displays the AR content at a position corresponding to the rectangular area. The information processing device according to (12) above. (14) When the advertising medium existing in the real space is recognized, the control unit displays the AR content at a position corresponding to the advertising medium. The information processing device according to (12) or (13). (15) The original content is VR content. The information processing device according to (3) above. (16) The control unit controls the display mode of the AR content based on the gesture of the user. The information processing device according to any one of (2) to (15). (17) The control unit generates VR content based on the AR content and image information obtained by capturing the real space. The information processing device according to any one of (2) to (16).
  • the communication unit receives the image information of the real space taken by the photographing unit included in the head-mounted display and the sensor information acquired by the sensor unit included in the head-mounted display. Based on the image information and the sensor information, the control unit causes the AR content to be displayed on the display device included in the head-mounted display.
  • the information processing device according to any one of (1) to (17).
  • the processor controls the display of AR content by a display device placed in front of the user. Including The control is to control the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed. Including, Information processing method.
  • (20) Computer A control unit that controls the display of AR content by a display device placed in front of the user. With The control unit controls the display mode of the AR content so that the degree of decrease in the visual level of the real space by the user is reduced as compared with the case where the original content is displayed.
  • Information processing device A program to function as.
  • Control unit 150 Communication unit 20 Head-mounted display 210 Imaging unit 220 Sensor unit 230 Control unit 240 Output unit 250 Communication unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

現実空間と融合したＡＲコンテンツをより安全に視聴する。ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御する制御部、を備え、前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御する、情報処理装置が提供される。また、プロセッサが、ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御すること、を含み、前記制御することは、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御すること、をさらに含む、情報処理方法が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を活用したサービスや、当該サービスを実現するための装置が開発されている。例えば、特許文献１には、ＡＲ技術を実現するためのヘッドマウントディスプレイが開示されている。
特開２０１１－２７５３号公報
　ところで、特許文献１に開示されるようなヘッドマウントディスプレイを装着したユーザが、歩行などの動作を行いながらＡＲコンテンツを視聴する場合、表示されるＡＲコンテンツにより現実空間に存在する物体等の視認レベルが低下する可能性がある。
　本開示によれば、ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御する制御部、を備え、前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御する、情報処理装置が提供される。
　また、本開示によれば、プロセッサが、ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御すること、を含み、前記制御することは、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御すること、をさらに含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御する制御部、を備え、前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御する、情報処理装置、として機能させるためのプログラムが提供される。
一般的なヘッドマウントディスプレイによるＡＲコンテンツの表示について説明するための図である。 本開示の一実施形態に係るＡＲコンテンツ表示の一例を示す図である。 同実施形態に係る情報処理システムの構成例を示す図である。 同実施形態に係る情報処理端末１０とヘッドマウントディスプレイ２０の機能構成例を示すブロック図である。 同実施形態に係るヘッドマウントディスプレイ２０が単独でＡＲコンテンツの表示制御を行う場合の詳細構成の一例を示すブロック図である。 同実施形態に係るＳＬＡＭを実現するソフトウェアの構成例を示す図である。 同実施形態に係るＳＬＡＭおよびＡＲコンテンツの表示制御を情報処理端末１０が行う場合の詳細構成の一例を示すブロック図である。 同実施形態に係る主要被写体を含む再生シーンに応じたＡＲコンテンツの表示制御について説明するための図である。 同実施形態に係る再生シーンごとの代表画像に対応するＡＲコンテンツの表示制御について説明するための図である。 同実施形態に係る再生シーンやユーザの動作状況に基づくＡＲコンテンツの表示位置制御について説明するための図である。 同実施形態に係る楽曲データに基づく再生シーン特性の特定と再生シーン特性に基づくＡＲコンテンツの表示制御の流れを示すフローチャートである。 同実施形態に係る楽曲データに基づくクラスタリングの一例を示す図である。 同実施形態に係る現実空間に存在する物体の認識結果に基づくＡＲコンテンツの表示制御について説明するための図である。 同実施形態に係るユーザのジェスチャに基づくＡＲコンテンツの表示制御の一例を示す図である。 同実施形態に係るユーザのジェスチャに基づくＡＲコンテンツの表示制御の一例を示す図である。 同実施形態に係るＶＲコンテンツに基づくＡＲコンテンツの生成について説明するための図である。 同実施形態に係るＡＲコンテンツに基づくＶＲコンテンツの生成について説明するための図である。 同実施形態に係る画像情報のＶＲフォーマット保存について説明するための図である。 同実施形態に係る画像情報のＶＲフォーマット保存について説明するための図である。 本開示の一実施形態に係るハードウェア構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．概要
　　１．２．システム構成例
　　１．３．機能構成例
　　１．４．詳細構成例
　　１．５．ＡＲコンテンツの表示制御
　２．まとめ
　＜１．実施形態＞
　＜＜１．１．概要＞＞
　まず、本開示の一実施形態の概要について述べる。上述したように、近年においては、ＡＲ技術を活用したサービスや、当該サービスを実現するための装置が多く開発されている。上記のような装置には、例えば、特許文献１に開示されるようなヘッドマウントディスプレイが挙げられる。
　ユーザは、特許文献１に開示されるような、透過型（ビデオ透過型、光学透過型を含む）ヘッドマウントディスプレイにより現実空間を視認しながら、ディスプレイ上に表示されるＡＲコンテンツを視聴することが可能である。
　しかし、例えば、歩行時などユーザが移動を行いながらＡＲコンテンツを視聴する場合、表示されるＡＲコンテンツにより現実空間に存在する物体等の視認レベルが低下する可能性がある。
　図１は、一般的なヘッドマウントディスプレイによるＡＲコンテンツの表示について説明するための図である。図１には、一般的なヘッドマウントディスプレイ９０を装着するユーザの視野の一例が示されている。なお、図１に示す一例では、ユーザは、ヘッドマウントディスプレイ９０を用いて、動画配信サービスが提供する動画コンテンツをＡＲコンテンツＣとして視聴している。
　ここで、図１に示す一例のように、ヘッドマウントディスプレイ９０がユーザの視野の中央部にＡＲコンテンツＣを表示する場合、ユーザの視野の大部分がＡＲコンテンツＣに占められることから、ユーザによる現実空間（すなわち、透過型のディスプレイを介して視認可能な物体や景色など）の視認レベルは著しく低下することとなる。
　ここで、ユーザが歩行などの運動や車両の運転などを行っている場合、ユーザがＡＲコンテンツＣの表示に妨害されて移動方向に存在する物体や地形などを視認することができず、衝突や転倒などが発生する可能性がある。
　本開示に係る技術思想は上記の点に着目して発想されたものであり、現実空間と融合したＡＲコンテンツをより安全に視聴することを可能とする。このために、本開示の一実施形態に係る情報処理装置は、ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御する制御部、を備える。また、本開示の一実施形態に係る制御部は、オリジナルコンテンツが表示される場合と比較して上記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、上記ＡＲコンテンツの表示態様を制御すること、を特徴の一つとする。
　図２は、本実施形態に係るＡＲコンテンツ表示の一例を示す図である。図２には、本実施形態に係るヘッドマウントディスプレイ２０を装着するユーザの視野の一例が示されている。なお、ヘッドマウントディスプレイは、本開示における情報処理装置の一例である。
　また、図２の場合も、図１の場合と同様に、ユーザは、動画配信サービスが提供する動画コンテンツをＡＲコンテンツとして視聴している。一方、図２に示す一例の場合、本実施形態に係るヘッドマウントディスプレイ２０は、上記の動画コンテンツ（オリジナルコンテンツ、と称する）から、３人の人物に対応する主要被写体ＭＳ１～ＭＳ３を除く背景を除去したＡＲコンテンツＣを表示している。
　上記のような制御によれば、ＡＲコンテンツＣを現実空間に重畳させる領域を縮小することができ、ユーザによる現実空間の視認レベルの低下度合いを効果的に抑えることが可能となる。
　また、本実施形態に係る主要被写体とは、例えば、動画コンテンツなどのオリジナルコンテンツにおいて、ユーザがより注目を行うと想定される被写体であってよい。例えば、オリジナルコンテンツが楽曲をプロモーションビデオや、ドラマや映画などである場合、本実施形態に係る主要被写体は、図２に示すように人物（演者）であり得る。
　このように、本実施形態に係る情報処理方法によれば、オリジナルコンテンツから、ユーザがより注目すると想定される被写体、すなわちユーザがより視聴したいことが想定される被写体に対応する領域を抽出して、当該領域をＡＲコンテンツとして表示することができる。
　これによれば、ＡＲコンテンツを現実空間に重畳する領域を縮小し安全性を向上させると共に、ユーザの興味を維持した表示を実現することができ、品質の高いＡＲ体験を提供することが可能となる。
　なお、図２に示した表示制御はあくまで一例であり、本実施形態に係るＡＲコンテンツの表示制御は係る例に限定されない。以下、本実施形態に係る表示制御の具体例と、各種の表示制御を実現するための構成について詳細に説明する。
　＜＜１．２．システム構成例＞＞
　まず、本実施形態に係る情報処理システムの構成例について説明する。図３は、本実施形態に係る情報処理システムの構成例を示す図である。図３に示すように、本実施形態に係る情報処理システムは、情報処理端末１０およびヘッドマウントディスプレイ２０を備える。また、情報処理端末１０とヘッドマウントディスプレイ２０は、ネットワーク３０を介して互いに通信が可能なように接続される。
　（情報処理端末１０）
　情報処理端末１０は、本実施形態に係る情報処理方法を実現する情報処理装置の一例である。本実施形態に係る情報処理端末１０は、ネットワーク３０を介してヘッドマウントディスプレイ２０によるＡＲ表示を制御する。本実施形態に係る情報処理端末１０は、例えば、スマートフォンなどの、持ち運びに適した小型の電子機器であってよい。一方、本実施形態に係る情報処理端末１０は、サーバであってもよい。
　（ヘッドマウントディスプレイ２０）
　本実施形態に係るヘッドマウントディスプレイ２０は、透過型のディスプレイを備え、ユーザによる現実空間の視認とＡＲコンテンツの視聴とを可能とする装置である。本実施形態に係るヘッドマウントディスプレイ２０は、例えば、情報処理端末１０による制御に基づいて、ＡＲコンテンツの表示を行ってもよい。
　本実施形態に係るヘッドマウントディスプレイ２０は、例えば、眼鏡型や防止型の装置であってもよい。また、ヘッドマウントディスプレイ２０は、例えば、通常の眼鏡などに装着が可能な外付け型の装置であってもよい。
　（ネットワーク３０）
　ネットワーク３０は、情報処理端末１０とヘッドマウントディスプレイ２０とを接続する機能を有する。ネットワーク３０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。また、ネットワーク３０は、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）などの移動体通信網を含んでもよい。
　以上、本実施形態に係る情報処理システムの構成例について述べた。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、上記では、情報処理端末１０がネットワーク３０を介してヘッドマウントディスプレイ２０によるＡＲコンテンツの表示を制御する場合を例に述べた。一方、情報処理端末１０による制御は必ずしも必要なく、本実施形態に係るヘッドマウントディスプレイ２０は、単独で本実施形態に係る情報処理方法を実現することも可能である。
　＜＜１．３．機能構成例＞＞
　次に、本実施形態に係る情報処理端末１０とヘッドマウントディスプレイ２０の機能構成例について述べる。図４は、本実施形態に係る情報処理端末１０とヘッドマウントディスプレイ２０の機能構成例を示すブロック図である。なお、以下では、情報処理端末１０がヘッドマウントディスプレイ２０によるＡＲ表示を制御する場合を主な例として説明を行う。
　（情報処理端末１０）
　（（撮影部１１０））
　本実施形態に係る撮影部１１０は、現実空間を撮影する機能を有する。例えば、ヘッドマウントディスプレイ２０が撮影機能を有しない場合、後述する制御部１３０は、撮影部１１０が撮影した現実空間の画像情報に基づいてヘッドマウントディスプレイ２０によるＡＲ表示を制御してもよい。この場合、撮影部１１０は、ヘッドマウントディスプレイ２０を介してユーザが現実空間を視認する方向と同一の方向を撮影可能なように配置される。
　（（センサ部１２０））
　本実施形態に係るセンサ部１２０は、加速度や角速度などの各種のセンサ情報を収集する機能を有する。例えば、ヘッドマウントディスプレイ２０が上記のようなセンサ情報に係る収集機能を有しない場合、後述する制御部１３０は、センサ部１２０が収集したセンサ情報に基づいてヘッドマウントディスプレイ２０によるＡＲ表示を制御してもよい。
　（（制御部１３０））
　本実施形態に係る制御部１３０は、情報処理端末１０が備える各構成を全体的に制御する。また、本実施形態に係る制御部１３０は、撮影された画像情報や収集されたセンサ情報に基づいて、ヘッドマウントディスプレイ２０によるＡＲ表示を制御する機能を有する。この際、本実施形態に係る制御部１３０は、ヘッドマウントディスプレイ２０の出力部２４０によりオリジナルコンテンツが表示される場合と比較して、ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、出力部２４０によるＡＲコンテンツの表示態様を制御すること、を特徴の一つとする。
　例えば、図２に示したように、本実施形態に係る制御部１３０は、オリジナルコンテンツから主要被写体を除く背景を除去したＡＲコンテンツを出力部２４０に表示させてもよい。
　なお、上記の表示態様は、ＡＲコンテンツの表示内容、表示位置、表示タイミングなどを含んでよい。本実施形態に係る制御部１３０が有する機能の詳細については別途後述する。
　（（出力部１４０））
　本実施形態に係る出力部１４０は、制御部１３０による制御に基づいて、各種の情報を出力する。このために、本実施形態に係る出力部１４０は、表示装置やスピーカなどを備える。
　（（通信部１５０））
　本実施形態に係る通信部１５０は、ネットワーク３０を介してヘッドマウントディスプレイ２０との情報通信を行う。
　（（ヘッドマウントディスプレイ２０））
　（（撮影部２１０））
　本実施形態に係る撮影部２１０は、現実空間を撮影する機能を有する。本実施形態に係る撮影部２１０は、後述する出力部２４０を介してユーザが現実空間を視認する方向と同一方向を撮影可能なように配置される。
　（（センサ部２２０））
　本実施形態に係るセンサ部２２０は、加速度や角速度などの各種のセンサ情報を収集する機能を有する。
　（（制御部２３０））
　本実施形態に係る制御部２３０は、ヘッドマウントディスプレイ２０が備える各構成を全体的に制御する。また、制御部２３０は、情報処理端末１０による制御に基づいて、ＡＲコンテンツの表示に係る処理を行う。例えば、制御部２３０は、情報処理端末１０の制御部１３０が生成したＡＲコンテンツに係る画像情報や制御信号などを出力部２４０に引き渡してもよい。
　また、ヘッドマウントディスプレイ２０が情報処理端末１０による制御に依らず単独でＡＲコンテンツの表示を行う場合、本実施形態に係る制御部２３０は、情報処理端末１０の制御部１３０と同等の表示制御機能を有してよい。すなわち、この場合、制御部２３０は、オリジナルコンテンツが表示される場合と比較して、ユーザによる現実空間の視認レベルの低下度合いが低減されるように、ＡＲコンテンツの表示態様を制御してよい。
　（（出力部２４０））
　本実施形態に係る出力部２４０は、制御部１３０や制御部２３０による制御に基づいてＡＲコンテンツを表示する。このために、本実施形態に係る出力部２４０は、ヘッドマウントディスプレイ２０の装着時にユーザの眼前に配置される表示装置を少なくとも備える。また、出力部２４０は、ＡＲコンテンツに付随する音声を出力するためのスピーカなどを備えてよい。
　（（通信部２５０））
　本実施形態に係る通信部１５０は、ネットワーク３０を介して情報処理端末１０との情報通信を行う。
　以上、本実施形態に係る情報処理端末１０およびヘッドマウントディスプレイ２０の機能構成例について述べた。なお、図４を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末１０およびヘッドマウントディスプレイ２０の機能構成は係る例に限定されない。上述したように、本実施形態に係るヘッドマウントディスプレイ２０は、情報処理端末１０による制御に依らず、単独でＡＲコンテンツの表示を行うことも可能である。
　＜＜１．４．詳細構成例＞＞
　続いて、本実施形態に係る情報処理端末１０およびヘッドマウントディスプレイ２０の詳細構成について具体例を挙げて説明する。
　上述したように、本実施形態に係るヘッドマウントディスプレイ２０は、単独で、あるいは情報処理端末１０による制御に基づいてＡＲコンテンツの表示を実現することができる。まず、本実施形態に係るヘッドマウントディスプレイ２０が、単独でＡＲコンテンツの表示を行う場合の詳細構成例について述べる。図５は、本実施形態に係るヘッドマウントディスプレイ２０が単独でＡＲコンテンツの表示制御を行う場合の詳細構成の一例を示すブロック図である。
　この場合、制御部２３０は、ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　Ｃｈｉｐ）、ＯＳ、ＡＲフレームワーク、アプリケーションなどから構成される。制御部２３０は、撮影部２１０が備えるカメラが撮影した画像情報とセンサ部２２０が備えるＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）から受信するセンサ情報（加速度情報および角速度情報）に基づいて、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）を行い、環境マップとポーズグラフ（姿勢グラフ）を生成する。
　すなわち、制御部２３０は、画像情報やセンサ情報に基づいて、物体を含む空間（環境マップ）を認識し、また認識した空間におけるカメラの位置と姿勢（ポーズグラフ）を把握することができる。
　ここで、ＳＬＡＭを実現するソフトウェア構成の一例について詳細に説明する。図６は、本実施形態に係るＳＬＡＭを実現するソフトウェアの構成例を示す図である。図６に示すように、本実施形態に係るＳＬＡＭを実現するソフトウェアは、フロントエンドとバックエンドに分かれて構成されてもよい。
　フロントエンドでは、撮影部２１０が取得した画像情報とセンサ部２２０が取得したセンサ情報とが逐次入力され、データの対応付け、環境マップのリアルタイム更新、およびポーズグラフの生成が行われる。
　また、ＳＬＡＭはセンサ情報に基づく推定技術であるため、環境マップが大きくなるにつれ誤差が累積する。このことから、同一経路をループして同じ点を観測した場合、当該ループを検出し、ループの閉じ込みを行うことで累積誤差を大幅に削減することが重要となる。このため、フロントエンドでは、上記のようなループを検出するループ検出が実行されてよい。
　また、バックエンドにおいては、環境マップをサーバと同期するなど、環境マップを大きく更新する一括処理が実行される。また、バックエンドでは、ループ検出に伴うポーズ補正などが実行される。環境マップの更新や利用は演算量が大きくなるため、ヘッドマウントディスプレイ２０の動きを基に位置を推定するポーズグラフを用いることで、演算量を低減し性能を確保することができる。なお、バックエンドはフロンドエンドとは別スレッドで実行されてよい。これによれば、実時間性に影響を与えずに処理を行うことが可能となる。
　制御部２３０は、上記のように生成した環境マップおよびポーズグラフに基づいて、ＡＲコンテンツの表示内容や表示位置、大きさ、表示タイミングなどの表示態様を決定し、出力部２４０が備える表示装置に出力させることができる。
　上記のような構成によれば、ヘッドマウントディスプレイ２０単体でＡＲコンテンツの表示を実現することが可能となる。一方、この場合、ＳＬＡＭおよびＡＲコンテンツの表示制御に係る処理を制御部２３０がすべて行うことから、制御部２３０に豊富な演算リソースを備える必要があり、ひいてはヘッドマウントディスプレイ２０が大型化することとなる。
　このため、本実施形態に係る情報処理方法では、ＳＬＡＭおよびＡＲコンテンツの表示制御に係る処理を情報処理端末１０で行うことで、ヘッドマウントディスプレイ２０側の処理負担を軽減し、ヘッドマウントディスプレイ２０をより小型化することが可能である。
　図７は、本実施形態に係るＳＬＡＭおよびＡＲコンテンツの表示制御を情報処理端末１０が行う場合の詳細構成の一例を示すブロック図である。
　この場合、図７に示すように、制御部１３０は、図５に示した制御部２３０と同等の構成を備える。この際、制御部１３０は、通信部１５０および通信部２５０が備える無線通信装置を介して、ヘッドマウントディスプレイ２０の撮影部２１０およびセンサ部２２０からそれぞれ画像情報とセンサ情報を受信し、ＳＬＡＭおよびＡＲコンテンツ表示に係る処理を実行することができる。
　なお、この際、制御部２３０は、ジェスチャ認識器を用いて、受信した画像情報からユーザのジェスチャを認識し、認識の結果に基づいてＡＲコンテンツの表示を制御してもよい。本実施形態に係る制御部２３０が有するジェスチャ認識機能については別途後述する。
　また、この場合、ヘッドマウントディスプレイ２０の制御部２３０は、モーション検出器を用いて撮影部２１０から時系列で入力される画像情報間の差分を検出し、差分が検出された場合、すなわち画像情報に変化が生じている場合にのみ、画像情報を情報処理端末１０に送信してもよい。係る制御によれば、通信する画像情報の量を低減し、トラフィックを効果的に抑制することができる。
　＜＜１．５．ＡＲコンテンツの表示制御＞＞
　次に、本実施形態に係るＡＲコンテンツの表示制御について具体例を挙げながら詳細に説明する。図２では、本実施形態に係るヘッドマウントディスプレイ２０が、オリジナルコンテンツから主要被写体を除く背景を除去したＡＲコンテンツを表示する場合を例に述べたが、本実施形態に係るヘッドマウントディスプレイ２０は上記の例に限定されず、種々の表示態様を有するＡＲコンテンツを表示することが可能である。なお、以下では、情報処理端末１０の制御部１３０がヘッドマウントディスプレイ２０の出力部２４０によるＡＲコンテンツの表示を制御する場合を主な例として説明する。
　例えば、オリジナルコンテンツが動画コンテンツである場合、本実施形態に係る制御部１３０は、オリジナルコンテンツの再生シーンに応じてＡＲコンテンツの表示態様を制御してもよい。例えば、本実施形態に係る制御部１３０は、オリジナルコンテンツの再生シーンが主要被写体を含む場合にのみ、当該再生シーンに対応するＡＲコンテンツを出力部２４０に表示させてもよい。
　図８は、本実施形態に係る主要被写体を含む再生シーンに応じたＡＲコンテンツの表示制御について説明するための図である。例えば、楽曲のプロモーションビデオなどの動画コンテンツには、アーティストなどの主要被写体を含まない再生シーンが多用される場合も多く見受けられる。ここで、上記のような動画コンテンツをそのままＡＲコンテンツとして表示し続ける場合、ユーザが頻繁に変化する再生シーンに気を取られ、現実空間の視認がおろそかになる状況も想定される。
　このため、本実施形態に係る制御部１３０は、図８に示すように、再生シーンが主要被写体ＭＳを含む場合にのみ、当該再生シーンに応じたＡＲコンテンツＣを出力部２４０に表示させてもよい。係る制御によれば、ＡＲコンテンツＣの表示内容をユーザが注視したい対象に限定することでＡＲコンテンツのＣの表示時間を短縮し、ユーザによる現実空間の視認レベルの低下度合いを効果的に抑えることが可能となる。
　なお、制御部１３０は、例えば、動画コンテンツ中に登場する人物を主要被写体とし、顔検出処理などを行うことで、主要被写体を含む再生シーンを抽出してもよい。また、制御部１３０は、動画コンテンツに付随するメタデータに基づいて主要被写体を含む再生シーンを抽出することも可能である。例えば、メタデータに再生シーン（フレーム）ごとの被写体情報が含まれる場合、ユーザは、自身が視聴したい主要被写体（例えば、人物のうちヴォーカルのみ、など）を指定することができてもよい。
　また、本実施形態に係る制御部１３０は、オリジナルの動画コンテンツから再生シーンごとの代表画像を抽出し、当該代表画像をＡＲコンテンツとして出力部２４０に出力させてもよい。図９は、本実施形態に係る再生シーンごとの代表画像に対応するＡＲコンテンツの表示制御について説明するための図である。
　上述したように、楽曲のプロモーションビデオなど表示内容の変化が激しい動画コンテンツをそのままＡＲコンテンツとして表示した場合、ユーザが頻繁に変化する再生シーンに気を取られる可能性がある。
　このため、本実施形態に係る制御部１３０は、再生シーンごとに代表画像（静止画）を抽出し、同一の再生シーンが継続している間は、当該代表画像をＡＲコンテンツとして出力部２４０に出力させ続けてよい。
　例えば、図９に示す一例の場合、再生シーン「イントロ」が継続している間、制御部１３０は、「イントロ」の代表画像をＡＲコンテンツＣ１として出力部２４０に表示させ続ける。
　一方、再生シーンが「Ａメロ（Ｖｅｒｓｅ）」に切り替わった場合、制御部１３０は、「Ａメロ」の代表画像をＡＲコンテンツＣとして出力部２４０に表示させ、当該表示を「Ａメロ」の終了まで継続させる。
　上記のような表示制御によれば、ＡＲコンテンツの変化の頻度を抑えることで、ユーザによる現実空間の視認レベルの低下度合いを軽減しながら、再生シーンを代表する視覚情報をユーザに提示することで、ユーザの満足度を確保することが可能となる。
　次に、本実施形態に係る再生シーンやユーザの動作状況に応じたＡＲコンテンツの表示制御について説明する。制御部１３０は、通常時においては、例えば、図８や図９に示すように、ＡＲコンテンツＣをユーザの視野の周辺時に表示させてもよい。係る表示制御によれば、ユーザの視野の中央部を塞がないことで、ユーザによる現実空間の視認レベルの低下度合いを軽減することができる。
　一方、上記のような表示が始終行われる場合、ＡＲコンテンツを視聴したいユーザの満足度が低下することも想定される。このため、本実施形態に係る制御部１３０は、動画コンテンツの再生シーンや、ユーザの動作状況に基づいて、ＡＲコンテンツの表示位置を動的に制御してよい。
　図１０は、本実施形態に係る再生シーンやユーザの動作状況に基づくＡＲコンテンツの表示位置制御について説明するための図である。
　図１０の上段には、ユーザが歩行などの動作を行っている場合におけるＡＲコンテンツの表示例が示されている。この際、制御部１３０は、上述したように、ＡＲコンテンツＣをユーザの視野の周辺部に表示させてもよい。係る表示制御によれば、ユーザの視野の中央部を開放し、ユーザによる現実空間の視認レベルの低下度合いを低減することができる。
　なお、この際、図示するように、ＡＲコンテンツＣが複数の主要被写体ＭＳ１～ＭＳ３を含む場合、制御部１３０は、主要被写体ＭＳ１～ＭＳ３がユーザの視野の周辺部に分離して表示されるよう制御を行ってもよい。
　一方、図１０の下段には、ユーザが静止している場合や、再生シーンがオリジナルコンテンツにおける主要シーンである場合におけるＡＲコンテンツの表示例が示されている。
　例えば、ユーザが静止している場合、図示するように、ユーザの視野の中央部にＡＲコンテンツＣを表示してもユーザが他の物体に衝突したり、地形につまずいたりする可能性は著しく低いことが想定される。
　このため、本実施形態に係る制御部１３０は、ユーザが移動している場合には、ＡＲコンテンツをユーザの視野の周辺部に表示させ、ユーザが静止している場合には、ＡＲコンテンツをユーザの視野の中央部に表示させてもよい。
　また、例えば、楽曲のプロモーションビデオにおけるコーラス部分など、再生シーンがオリジナルコンテンツにおける主要シーンである場合、ユーザが他の再生シーンと比較して視聴をより望むことが想定される。
　このため、本実施形態に係る制御部１３０は、再生シーンがオリジナルコンテンツにおける主要シーンではない場合には、ＡＲコンテンツをユーザの視野の周辺部に表示させ、再生シーンがオリジナルコンテンツにおける主要シーンである場合には、ＡＲコンテンツをユーザの視野の中央部に表示させてもよい。
　以上説明したように、本実施形態に係る制御部１３０は、オリジナルコンテンツの再生シーンや、ユーザの動作状況に基づいて、ＡＲコンテンツの表示位置を動的に制御することが可能である。係る制御によれば、状況に応じてユーザの視野を確保とＡＲコンテンツ視聴との優先度合いを変化させることで、より質の高いＡＲ体験を実現することが可能となる。
　なお、制御部１３０は、オリジナルコンテンツを解析することで、当該オリジナルコンテンツが含む各再生シーンの特性を特定することが可能である。例えば、オリジナルコンテンツが楽曲のプロモーションビデオである場合、制御部１３０は、オリジナルコンテンツに含まれる楽曲データに基づいて各再生シーンの特性を特定してもよい。
　図１１は、本実施形態に係る楽曲データに基づく再生シーン特性の特定と再生シーン特性に基づくＡＲコンテンツの表示制御の流れを示すフローチャートである。
　図１１を参照すると、まず、制御部１３０は、オリジナルコンテンツのロードを行う（Ｓ１１０１）。
　次に、制御部１３０は、コンテンツの再生が一回目か否かを判定する（Ｓ１１０２）。
　ここで、コンテンツの再生が一回目である場合（Ｓ１１０１：ＹＥＳ）、制御部１３０は、続いて、楽曲データが存在するか否かを判定する（Ｓ１１０３）。
　ここで、楽曲データが存在しない場合（Ｓ１１０３：ＮＯ）、制御部１３０は、一例の処理を終了する。
　一方、楽曲データが存在する場合（Ｓ１１０３：ＹＥＳ）、制御部１３０は、楽曲データのデコードを行う（Ｓ１１０４）。
　次に、制御部１３０は、ステップＳ１１０４におけるデコードにより取得したＰＣＭ（Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ）データを出力部２４０が備えるスピーカに出力させる（１１０５）。
　また、制御部１３０は、ＰＣＭデータに対するフーリエ変換を行い、取得したパワースペクトログラムに基づくクラスタリングを実行する（Ｓ１１０６）。
　上記のクラスタリングによれば、例えば、各楽器やヴォーカルの出力有無、また曲調やテンポなどが類似するパートをクラスタ、すなわち再生シーンとして分類することが可能となる。
　図１２は、本実施形態に係る楽曲データに基づくクラスタリングの一例を示す図である。図１２の上段には、ある楽曲「ＡＢＣ」のパート構成が示されている。図１２に示す一例の場合、楽曲ＡＢＣは、イントロ、Ａメロ（ｖｅｒｓｅ）、Ｂメロ（ｂｒｉｄｇｅ）、コーラス、間奏、アウトロを含んで構成されている。
　ここで、上述したクラスタリングを実行した場合、楽曲データ「ＡＢＣ」の再生シーンは、例えば、図中下段に示すように分類が可能である。なお、図中の数字はコンテンツ冒頭からの経過時間を示している。このようなクラスタリングデータは、コンテンツの２回目以降の再生に利用されてよい。
　再び図１１を参照して、再生シーンの特性に基づくＡＲコンテンツの表示制御の流れについて説明する。ステップＳ１１０２において、コンテンツの再生が一回目でない場合、すなわち再生が２回目以降である場合、制御部１３０は、楽曲データが存在するか否かを判定する（Ｓ１１０７）。
　ここで、楽曲データが存在しない場合（Ｓ１１０７：ＮＯ）、制御部１３０は、一連の処理を終了する。
　一方、楽曲データが存在する場合（Ｓ１１０７：ＹＥＳ）、制御部１３０は、楽曲データのデコードを行う（Ｓ１１０８）。
　次に、制御部１３０は、ステップＳ１１０８におけるデコードにより取得したＰＣＭデータを出力部２４０が備えるスピーカに出力させる（１１０９）。
　また、制御部１３０は、コンテンツの一回目の再生時にステップＳ１１０６において取得したクラスタリングデータに基づいて、ＡＲコンテンツの表示を制御する（Ｓ１１１０）。
　例えば、再生シーンがクラスタ「スピード：速い、音：声」に該当する場合、制御部１３０は、当該再生シーンがオリジナルコンテンツにおける主要シーンであると判定し、図１０の下段に示すように、ＡＲコンテンツＣをユーザの視野の中央部に表示させてもよい。このように、本実施形態に係るクラスタリングによれば、楽曲の速度に応じてＡＲコンテンツの動きを変化させたり、音の性質に応じてＡＲコンテンツの表現を変化させることが可能である。例えば、「音：声」の場合には、人物の抜き出しを中心とした重畳表示を行ってもよいし、「音：楽器」の場合には、背景へのエフェクト効果を中心とすることで、ミュージックシーンの表現力向上のインプットとすることができる。
　以上説明したように、本実施形態に係る制御部１３０は、楽曲データなどの解析を行うことで、オリジナルコンテンツが含む再生シーンの特性を特定し、当該特性に基づいて、ＡＲコンテンツの表示制御を行うことが可能である。なお、上記はあくまで一例であり、再生シーンに係る解析手法はオリジナルコンテンツの種別に応じて適宜選択されてよい。また、制御部１３０は、オリジナルコンテンツに付随するメタデータなどから再生シーンの特性を取得することも可能である。
　また、上記では、楽曲データのクラスタリングを情報処理端末１０で実施する場合の例を述べたが、楽曲データのクラスタリングは、別途に設けられるサーバにより実施されてもよい。この場合、予めサーバにおいて楽曲データのクラスタリングを行い、クラスタリングデータを保存する。各ユーザは、ＡＲコンテンツを再生する際に、サーバと通信して上記のクラスタリングデータを受信することで、再生シーンの特性に応じたＡＲコンテンツを視聴することが可能である。
　なお、この場合、楽曲データを含むすべてのコンテンツについて予めクラスタリングデータを生成するのではなく、代表的なコンテンツについてのみクラスタリングデータを用意しておいてもよい。この際、例えば、ユーザ全体の総再生回数が所定回数以上のコンテンツを代表的なコンテンツとしてもよいし、所定期間において総再生回数が上位のコンテンツを代表的なコンテンツとしてもよい。
　次に、本実施形態に係る現実空間に存在する物体の認識結果に基づくＡＲコンテンツの表示制御について説明する。本実施形態に係る制御部１３０は、例えば、現実空間に存在する広告媒体が認識された場合、当該広告媒体に対応する位置にＡＲコンテンツを表示させてもよい。
　図１３は、本実施形態に係る現実空間に存在する物体の認識結果に基づくＡＲコンテンツの表示制御について説明するための図である。図１３には、現実空間に存在するビルＢ１～Ｂ３が示されている。ここで、ビルＢ１およびＢ２には、それぞれ広告媒体Ａ１およびＡ２が設置されている。広告媒体Ａ１は、例えば、看板広告であってもよいし、広告媒体Ａ２は、例えば、大型のディスプレイであってもよい。
　この際、制御部１３０は、ヘッドマウントディスプレイ２０の撮影部２１０が撮影した画像情報に基づいて広告媒体Ａ１およびＡ２を認識することが可能である。制御部１３０は、例えば、矩形領域を検出する検出器を用いて広告媒体Ａ１およびＡ２を認識してもよい。
　この場合、制御部１３０は、認識した広告媒体Ａ１およびＡ２に対応する位置にＡＲコンテンツＣ１およびＣ２をそれぞれ表示させることができる。係る制御によれば、現実空間に存在する広告媒体をＡＲコンテンツの表示媒体として転用することができ、ユーザの視野を狭めることなく、かつ風景に溶け込んだ自然なＡＲ表示を実現することが可能となる。
　なお、制御部１３０は、広告媒体に限らず、各種の矩形領域をＡＲコンテンツの表示に利用してよい。制御部１３０は、例えば、ビルＢ３が有する複数の窓を矩形領域として検出し、当該矩形領域にＡＲコンテンツを表示させることも可能である。
　また、本実施形態に係る制御部１３０は、ユーザの前方に存在する壁などの平面を検出したことに基づいてＡＲコンテンツの表示を制御してもよい。例えば、図１４に示す一例の場合、制御部１３０は、ヘッドマウントディスプレイ２０の撮影部２１０が撮影した画像情報に基づいて、ユーザの前方に壁Ｗを検出している。
　この場合、制御部１３０は、壁Ｗの検出前に受信していたメッセージの通知に係るＡＲコンテンツＣ１を壁Ｗの上に重畳表示させてもよい。
　例えば、歩行時にＳＮＳなどのメッセージを受信した場合において、状況に鑑みず当該メッセージに係る通知を即時ＡＲコンテンツとして表示すると、必要以上にユーザの注意を惹き、ユーザによる現実空間の視認レベルが低下する可能がある。
　このため、制御部１３０が壁やスクリーンなどの平面を検出し、かつユーザが歩行を停止した場合にメッセージの通知に係るＡＲ表示を行うことで、より安全な状況でユーザがメッセージを確認することが可能となる。
　また、例えば、ビデオ通話などについても同様に、壁Ｗなどの平面を検出した場合には、検出前においてユーザの視野の周辺部に表示させていたＡＲコンテンツＣ２をユーザの視野の中央部に拡大して表示させてもよい。このように、本実施形態に係る制御部１３０は、現実空間に存在する各種の物体の認識結果に基づいて、ＡＲコンテンツの表示態様を制御することができる。
　なお、上記のような制御の他、制御部１３０は、例えば、認識した物体や平面の色などに基づいてＡＲコンテンツの表示態様を制御することも可能である。例えば、ＡＲコンテンツは、背景が黒い場合は視認がしやすいが、背景色が薄い色である場合には視認しづらい傾向がある。このため、制御部１３０は、例えば、認識した物体や平面の輝度に対してＡＲコンテンツが視認しやすいように画像全体を補正してもよいし、より見えやすい位置にＡＲコンテンツを表示させてもよい。
　次に、本実施形態に係るジェスチャ認識に基づくＡＲコンテンツの表示制御について説明する。本実施形態に係る制御部１３０は、ヘッドマウントディスプレイ２０の撮影部２１０が撮影した画像情報に基づいてユーザのジェスチャを認識し、当該ジェスチャに基づいてＡＲコンテンツの表示態様を制御してもよい。
　例えば、図１４に示す一例の場合、ユーザは、手ＵＨを用いてＡＲコンテンツＣ１をつまむようなジェスチャを行っている。この場合、制御部１３０は、例えば、情報処理端末１０におけるタップ操作と同様の入力と判定し、当該入力に応じてＡＲコンテンツＣ１の表示態様を制御してもよい。
　また、例えば、ユーザがＡＲコンテンツＣ１をつまんで上下左右などに手ＵＨを移動させた場合、制御部１３０は、情報処理端末１０におけるドラッグ操作と同様の入力と判定し、当該入力に応じてＡＲコンテンツＣ１の表示態様を制御してもよい。
　上記のような制御によれば、ユーザが、都度、情報処理端末１０を取り出さずともアプリケーションの操作を気軽かつ直感的に行うことができ、より利便性の高いＡＲ体験を提供することができる。
　さらには、本実施形態に係る制御部１３０は、ユーザによるキー入力に対応するジェスチャを受け付けるためのＡＲコンテンツを出力部１４０に表示させることも可能である。例えば、図１５に示す一例の場合、制御部１３０は、ユーザが手ＵＨを注視したことを認識し、手ＵＨに数字キーの入力を受け付けるためのＡＲコンテンツＣを表示させている。
　この場合、ユーザは、自身の手ＵＨに重畳表示されるＡＲコンテンツＣを他方の手で押下するジェスチャを行うことで、押下位置に係る触覚的なフィードバックを得ながら任意の数字を入力することができてよい。この際、制御部１３０は、ＡＲコンテンツＣの表示位置とユーザのジェスチャ位置とを対応付け、ユーザが入力を望む数字を特定することが可能である。
　以上、本実施形態に係るジェスチャ認識に基づくＡＲコンテンツの表示制御について説明した。次に、本実施形態に係るＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）コンテンツに基づくＡＲコンテンツの生成について説明する。
　ＡＲコンテンツとは異なり、ＶＲコンテンツはユーザの視野のすべてに画像表示を行うため、ＶＲコンテンツを屋外において移動しながら楽しむことは非常に困難といえる。このため、本実施形態では、ＶＲコンテンツをＡＲコンテンツとして再構成することで、ユーザがお気に入りのコンテンツを気軽に屋外で楽しむことを可能とする。
　図１６は、本実施形態に係るＶＲコンテンツに基づくＡＲコンテンツの生成について説明するための図である。図１６の左側には、ユーザＵがＶＲ機器４０を用いて３６０度対応のＶＲコンテンツＶＣを視聴する様子が示されている。
　この際、制御部１３０は、例えば、ＶＲコンテンツＶＣから動きのあるオブジェクトを抽出し、当該オブジェクトを除く背景を除去する。次に、制御部１３０は、図中右側に示すように、視野ＦＶ上において、抽出した上記オブジェクトをユーザのＶＲコンテンツＶＣ上の配置方向に合わせてＡＲコンテンツＣとして重畳表示させる。
　上記のような制御によれば、ユーザがお気に入りのコンテンツを気軽に屋外で楽しむことが可能となる。このように、本実施形態に係るオリジナルコンテンツは、ＶＲコンテンツであってもよい。
　また、反対に本実施形態に係る制御部１３０は、ＡＲコンテンツに基づいてＶＲコンテンツを生成することも可能である。図１７は、本実施形態に係るＡＲコンテンツに基づくＶＲコンテンツの生成について説明するための図である。
　図１７の左側には、ユーザＵがヘッドマウントディスプレイ２０により視野ＦＶ上に重畳表示されるＡＲコンテンツＣを視聴している様子が示されている。この際、制御部１３０は、ヘッドマウントディスプレイ２０の撮影部２１０が撮影した画像情報と、出力部２４０に表示させるＡＲコンテンツＣの画像情報を表示位置情報（ヘッドマウントディスプレイ２０の姿勢情報）と共にＶＲフォーマットで保存する。
　また、図１７の右側には、ユーザＵが、ＶＲ機器４０を用いて上記のように保存されたＶＲコンテンツＶＣを視聴する様子が示されている。この際、ＶＲ機器４０は、ヘッドマウントディスプレイ２０の撮影部２１０により撮影されていない方向の画像情報に関しては、例えば、機械学習手法を用いた画像生成器などを用いて補完してもよい。
　ここで、ユーザの視野ＦＶに係る画像情報をＶＲフォーマットで保存する処理について、より詳細に説明する。図１８および図１９は、本実施形態に係る画像情報のＶＲフォーマット保存について説明するための図である。
　図１８の上段に示すように、制御部１３０は、まず、コンテンツの分析を行う。この際、制御部１３０は、初めにヘッドマウントディスプレイ２０の撮影部２１０から入力される画像に対し分離処理を行う。具体的には、制御部１３０は、画像に含まれる要素を、背景などの静止物体、人などを含む動体に分離する。また、制御部１３０は、抜き出した静止物体からさらに地面などの平面を検出する。
　次に、制御部１３０は、検出した動体と平面の距離を測定すると共に、平面の位置やサイズを推定する。
　続いて、制御部１３０は、測定した動体と平面の距離、推定した平面の位置とサイズから、平面と動体間における位置とサイズの関連付けを行う。
　次に、制御部１３０は、図１８の下段に示すように、上記のように取得した動体をＶＲコンテンツ用の背景画像に配置する処理を行う。
　この際、制御部１３０は、まず背景画像から平面を検出し、平面の位置とサイズを推定する。次に、制御部１３０は、推定した平面の位置とサイズ、および上記のコンテンツ分析において取得した平面と動体間における位置とサイズの関係に基づいて、背景画像上に動体を配置する。係る処理によれば、人などの動体の位置やサイズを背景の位置やサイズに対して自然に位置することが可能である。
　続いて、制御部１３０は、図１９の上段に示すように、配置した動体のボクセル化とデータ圧縮を行う。この際、制御部１３０は、動体の位置情報と画像情報との関連付けを行い、ボクセル化を実行する。ここで、ボクセルとは、３次元空間における正規格子データを指す。すなわち、制御部１３０は、動体の画像情報を３Ｄ点群データに変換する。また、制御部１３０は、３Ｄ点群データを滑らかにするためのシェーダを生成する。
　次に、制御部１３０は、上記のように取得した３Ｄ点群データ、シェーダ、位置情報、色情報をデータ圧縮して保存する。このように、本実施形態に係る制御部１３０は、ＡＲコンテンツと現実空間を撮影した画像情報とに基づくＶＲコンテンツを生成することが可能である。
　続いて、ＶＲ機器４０によるＶＲコンテンツの再生について説明する。ＶＲ機器４０は、図中下段に示すように、まず圧縮されたデータの伸長処理を行う。次に、ＶＲ機器４０は、ボクセルを解除し、シェーダを利用してレンダリング処理を行うことで、動体に係る位置情報と画像情報とを取得し、Ｖｏｌｕｍｅｔｒｉｃ空間において動体を表現することができる。
　次に、本実施形態に係るＡＲクラウドを利用したＡＲ体験の共有について述べる。上記では、主にユーザが個人でＡＲコンテンツを楽しむ場合の構成や制御について説明した。一方、本実施形態に係る情報処理方法によれば、現実空間上の物体に係る情報をクラウド経由で共有することで、複数のユーザの間でＡＲ体験を共有することも可能である。
　図２０は、本実施形態に係るＡＲクラウドによるＡＲ体験の共有を実現するシステム構成の一例を示す図である。図２０には、ＡＲクラウドによるＡＲ体験の共有を実現するためのシステム構成が、デバイス、プラットフォーム、およびアプリケーションの３つの層に分かれて示されている。
　ここで、デバイス層はＡＲコンテンツの表示に係る入出力を担う層であり、例えば、モデムやＧＮＳＳ信号受信機、ＩＭＵや地磁気センサ、カメラ（ＲＧＢ、ＴｏＦ）、ディスプレイ、ＧＰＵなどを含む。
　また、プラットフォーム層は、デバイス層とアプリケーション層との中継を行う層であり、各種のサービスを含む。
　また、アプリケーション層は、ＳＬＡＭとＡＲコンテンツの表示制御を担う層であり、またＡＲクラウドに保存されるデータとローカルで保管するデータとの対応付けを行う。具体的には、アプリケーション層では、ＡＲクラウドに保存される３次元空間の点群データとローカルで取得したＳＬＡＭデータとの対応付けを行い、当該３次元空間上における自端末の位置と姿勢を特定する。
　これによれば、自端末が表示するＡＲコンテンツの上記３次元空間上における座標を精度高く取得し、取得した座標情報をＡＲクラウドにアップロードすることで、他の端末による上記ＡＲコンテンツの表示を実現することができる。
　また、反対に他の端末からＡＲクラウドにアップロードされたＡＲコンテンツの画像情報と座標情報とをダウンロードし、当該座標情報と自端末のＳＬＡＭデータとを対応づけることで、他の端末がアップロードしたＡＲコンテンツを正確な位置に表示することができる。
　このように、本実施形態に係る情報処理方法によれば、現実空間上の物体に係る情報をクラウド経由で共有することで、複数のユーザの間でＡＲ体験を共有することが可能となる。
　＜２．まとめ＞
　以上説明したように、本開示の一実施形態に係る情報処理装置は、ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御する制御部、を備える。また、本開示の一実施形態に係る制御部は、オリジナルコンテンツが表示される場合と比較して上記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、上記ＡＲコンテンツの表示態様を制御すること、を特徴の一つとする。係る構成によれば、現実空間と融合したＡＲコンテンツをより安全に視聴することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理端末１０やヘッドマウントディスプレイ２０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な非一過性の記録媒体も提供され得る。
　また、本明細書の情報処理端末１０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理端末１０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御する制御部、
　を備え、
　前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御する、
情報処理装置。
（２）
　前記表示態様は、表示内容、表示位置、表示タイミングのうち少なくとも１つを含む、
前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記オリジナルコンテンツから主要被写体を除く背景を除去した前記ＡＲコンテンツを前記表示装置に表示させる、
前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記ＡＲコンテンツを前記ユーザの視野の周辺部に表示させる、
前記（２）または（３）に記載の情報処理装置。
（５）
　前記制御部は、前記オリジナルコンテンツが複数の前記主要被写体を含む場合、複数の前記主要被写体が前記ユーザの視野の周辺部に分離して表示されるように制御する、
前記（３）に記載の情報処理装置。
（６）
　前記制御部は、前記ユーザの動作状態に基づいて、前記ＡＲコンテンツの表示位置を制御する、
前記（２）～（５）のいずれかに記載の情報処理装置。
（７）
　前記制御部は、前記ユーザが移動している場合、前記ＡＲコンテンツを前記ユーザの視野の周辺部に表示させ、前記ユーザが静止している場合、前記ＡＲコンテンツを前記ユーザの視野の中央部に表示させる、
前記（６）に記載の情報処理装置。
（８）
　前記オリジナルコンテンツは、動画コンテンツであり、
　前記制御部は、前記オリジナルコンテンツの再生シーンに応じて前記ＡＲコンテンツの前記表示態様を制御する、
前記（２）～（７）のいずれかに記載の情報処理装置。
（９）
　前記制御部は、前記再生シーンが主要被写体を含む場合にのみ、前記再生シーンに対応する前記ＡＲコンテンツを表示させる、
前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記再生シーンごとの代表画像を前記ＡＲコンテンツとして表示させる、
前記（８）に記載の情報処理装置。
（１１）
　前記制御部は、前記再生シーンが前記オリジナルコンテンツにおける主要シーンではない場合、前記ＡＲコンテンツを前記ユーザの視野の周辺部に表示させ、前記再生シーンが前記オリジナルコンテンツにおける主要シーンである場合、前記ＡＲコンテンツを前記ユーザの視野の中央部に表示させる、
前記（８）に記載の情報処理装置。
（１２）
　前記制御部は、前記現実空間に存在する物体の認識結果に基づいて、前記ＡＲコンテンツの前記表示態様を制御する、
前記（２）～（１１）のいずれかに記載の情報処理装置。
（１３）
　前記制御部は、前記現実空間に存在する矩形領域が検出された場合、前記矩形領域に対応する位置に前記ＡＲコンテンツを表示させる、
前記（１２）に記載の情報処理装置。
（１４）
　前記制御部は、前記現実空間に存在する広告媒体が認識された場合、前記広告媒体に対応する位置に前記ＡＲコンテンツを表示させる、
前記（１２）または（１３）に記載の情報処理装置。
（１５）
　前記オリジナルコンテンツは、ＶＲコンテンツである、
前記（３）に記載の情報処理装置。
（１６）
　前記制御部は、前記ユーザのジェスチャに基づいて、前記ＡＲコンテンツの表示態様を制御する、
前記（２）～（１５）のいずれかに記載の情報処理装置。
（１７）
　前記制御部は、前記ＡＲコンテンツと前記現実空間を撮影した画像情報とに基づくＶＲコンテンツを生成する、
前記（２）～（１６）のいずれかに記載の情報処理装置。
（１８）
　ヘッドマウントディスプレイとの無線通信を行う通信部、
　をさらに備え、
　前記通信部は、前記ヘッドマウントディスプレイが備える撮影部が撮影した前記現実空間の画像情報と、前記ヘッドマウントディスプレイが備えるセンサ部が取得したセンサ情報とを受信し、
　前記制御部は、前記画像情報と前記センサ情報に基づいて、前記ＡＲコンテンツを前記ヘッドマウントディスプレイが備える前記表示装置に前記ＡＲコンテンツを表示させる、
前記（１）～（１７）のいずれかに記載の情報処理装置。
（１９）
　プロセッサが、ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御すること、
　を含み、
　前記制御することは、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御すること、
　をさらに含む、
情報処理方法。
（２０）
　コンピュータを、
　ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御する制御部、
　を備え、
　前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御する、
　情報処理装置、
として機能させるためのプログラム。
　１０　　　情報処理端末
　１３０　　制御部
　１５０　　通信部
　２０　　　ヘッドマウントディスプレイ
　２１０　　撮影部
　２２０　　センサ部
　２３０　　制御部
　２４０　　出力部
　２５０　　通信部

Claims (20)

  1. 　ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御する制御部、
    　を備え、
    　前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御する、
    情報処理装置。
  2. 　前記表示態様は、表示内容、表示位置、表示タイミングのうち少なくとも１つを含む、
    請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記オリジナルコンテンツから主要被写体を除く背景を除去した前記ＡＲコンテンツを前記表示装置に表示させる、
    請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記ＡＲコンテンツを前記ユーザの視野の周辺部に表示させる、
    請求項２に記載の情報処理装置。
  5. 　前記制御部は、前記オリジナルコンテンツが複数の前記主要被写体を含む場合、複数の前記主要被写体が前記ユーザの視野の周辺部に分離して表示されるように制御する、
    請求項３に記載の情報処理装置。
  6. 　前記制御部は、前記ユーザの動作状態に基づいて、前記ＡＲコンテンツの表示位置を制御する、
    請求項２に記載の情報処理装置。
  7. 　前記制御部は、前記ユーザが移動している場合、前記ＡＲコンテンツを前記ユーザの視野の周辺部に表示させ、前記ユーザが静止している場合、前記ＡＲコンテンツを前記ユーザの視野の中央部に表示させる、
    請求項６に記載の情報処理装置。
  8. 　前記オリジナルコンテンツは、動画コンテンツであり、
    　前記制御部は、前記オリジナルコンテンツの再生シーンに応じて前記ＡＲコンテンツの前記表示態様を制御する、
    請求項２に記載の情報処理装置。
  9. 　前記制御部は、前記再生シーンが主要被写体を含む場合にのみ、前記再生シーンに対応する前記ＡＲコンテンツを表示させる、
    請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記再生シーンごとの代表画像を前記ＡＲコンテンツとして表示させる、
    請求項８に記載の情報処理装置。
  11. 　前記制御部は、前記再生シーンが前記オリジナルコンテンツにおける主要シーンではない場合、前記ＡＲコンテンツを前記ユーザの視野の周辺部に表示させ、前記再生シーンが前記オリジナルコンテンツにおける主要シーンである場合、前記ＡＲコンテンツを前記ユーザの視野の中央部に表示させる、
    請求項８に記載の情報処理装置。
  12. 　前記制御部は、前記現実空間に存在する物体の認識結果に基づいて、前記ＡＲコンテンツの前記表示態様を制御する、
    請求項２に記載の情報処理装置。
  13. 　前記制御部は、前記現実空間に存在する矩形領域が検出された場合、前記矩形領域に対応する位置に前記ＡＲコンテンツを表示させる、
    請求項１２に記載の情報処理装置。
  14. 　前記制御部は、前記現実空間に存在する広告媒体が認識された場合、前記広告媒体に対応する位置に前記ＡＲコンテンツを表示させる、
    請求項１２に記載の情報処理装置。
  15. 　前記オリジナルコンテンツは、ＶＲコンテンツである、
    請求項３に記載の情報処理装置。
  16. 　前記制御部は、前記ユーザのジェスチャに基づいて、前記ＡＲコンテンツの表示態様を制御する、
    請求項２に記載の情報処理装置。
  17. 　前記制御部は、前記ＡＲコンテンツと前記現実空間を撮影した画像情報とに基づくＶＲコンテンツを生成する、
    請求項２に記載の情報処理装置。
  18. 　ヘッドマウントディスプレイとの無線通信を行う通信部、
    　をさらに備え、
    　前記通信部は、前記ヘッドマウントディスプレイが備える撮影部が撮影した前記現実空間の画像情報と、前記ヘッドマウントディスプレイが備えるセンサ部が取得したセンサ情報とを受信し、
    　前記制御部は、前記画像情報と前記センサ情報に基づいて、前記ＡＲコンテンツを前記ヘッドマウントディスプレイが備える前記表示装置に前記ＡＲコンテンツを表示させる、
    請求項１に記載の情報処理装置。
  19. 　プロセッサが、ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御すること、
    　を含み、
    　前記制御することは、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御すること、
    　をさらに含む、
    情報処理方法。
  20. 　コンピュータを、
    　ユーザの眼前に配置される表示装置によるＡＲコンテンツの表示を制御する制御部、
    　を備え、
    　前記制御部は、オリジナルコンテンツが表示される場合と比較して前記ユーザによる現実空間の視認レベルの低下度合いが軽減されるように、前記ＡＲコンテンツの表示態様を制御する、
    　情報処理装置、
    として機能させるためのプログラム。
PCT/JP2019/019776 2019-05-17 2019-05-17 情報処理装置、情報処理方法、およびプログラム WO2020234939A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/019776 WO2020234939A1 (ja) 2019-05-17 2019-05-17 情報処理装置、情報処理方法、およびプログラム
CN201980096271.2A CN113875227A (zh) 2019-05-17 2019-05-17 信息处理设备、信息处理方法和程序
EP19929702.9A EP3972241A4 (en) 2019-05-17 2019-05-17 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US17/600,606 US11846783B2 (en) 2019-05-17 2019-05-17 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/019776 WO2020234939A1 (ja) 2019-05-17 2019-05-17 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2020234939A1 true WO2020234939A1 (ja) 2020-11-26

Family

ID=73459237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019776 WO2020234939A1 (ja) 2019-05-17 2019-05-17 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US11846783B2 (ja)
EP (1) EP3972241A4 (ja)
CN (1) CN113875227A (ja)
WO (1) WO2020234939A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264377A1 (ja) * 2021-06-17 2022-12-22 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220146822A1 (en) * 2019-08-15 2022-05-12 Ostendo Technologies, Inc. Wearable Display Systems and Design Methods Thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002753A (ja) 2009-06-22 2011-01-06 Sony Corp 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
JP2015037242A (ja) * 2013-08-13 2015-02-23 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
WO2015125626A1 (ja) * 2014-02-20 2015-08-27 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
JP2015166816A (ja) * 2014-03-04 2015-09-24 富士通株式会社 表示装置，表示制御プログラム及び表示制御方法
WO2016185845A1 (ja) * 2015-05-21 2016-11-24 日本電気株式会社 インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
JP2017516196A (ja) * 2014-04-17 2017-06-15 マイクロソフト テクノロジー ライセンシング，エルエルシー 会話検出
JP2017181842A (ja) * 2016-03-31 2017-10-05 拓志 船木 広告方法、広告用車両及び広告システム
WO2018198499A1 (ja) * 2017-04-27 2018-11-01 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106843456B (zh) * 2016-08-16 2018-06-29 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
US20180336591A1 (en) * 2017-05-16 2018-11-22 Philip Neumeier Virtually projected augmented ad display
US20180349946A1 (en) * 2017-05-31 2018-12-06 Telefonaktiebolaget Lm Ericsson (Publ) System, method and architecture for real-time native advertisement placement in an augmented/mixed reality (ar/mr) environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002753A (ja) 2009-06-22 2011-01-06 Sony Corp 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
JP2015037242A (ja) * 2013-08-13 2015-02-23 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
WO2015125626A1 (ja) * 2014-02-20 2015-08-27 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
JP2015166816A (ja) * 2014-03-04 2015-09-24 富士通株式会社 表示装置，表示制御プログラム及び表示制御方法
JP2017516196A (ja) * 2014-04-17 2017-06-15 マイクロソフト テクノロジー ライセンシング，エルエルシー 会話検出
WO2016185845A1 (ja) * 2015-05-21 2016-11-24 日本電気株式会社 インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
JP2017181842A (ja) * 2016-03-31 2017-10-05 拓志 船木 広告方法、広告用車両及び広告システム
WO2018198499A1 (ja) * 2017-04-27 2018-11-01 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264377A1 (ja) * 2021-06-17 2022-12-22 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
EP3972241A1 (en) 2022-03-23
EP3972241A4 (en) 2022-07-27
US20220171202A1 (en) 2022-06-02
CN113875227A (zh) 2021-12-31
US11846783B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
CN109819313B (zh) 视频处理方法、装置及存储介质
US10971188B2 (en) Apparatus and method for editing content
RU2621644C2 (ru) Мир массового одновременного удаленного цифрового присутствия
EP3383036A2 (en) Information processing device, information processing method, and program
US20210165481A1 (en) Method and system of interactive storytelling with probability-based personalized views
CN111031386B (zh) 基于语音合成的视频配音方法、装置、计算机设备及介质
CN110163066B (zh) 多媒体数据推荐方法、装置及存储介质
CN112218136B (zh) 视频处理方法、装置、计算机设备及存储介质
WO2021098338A1 (zh) 一种模型训练的方法、媒体信息合成的方法及相关装置
KR20190024249A (ko) 광고를 제공하는 방법 및 전자 장치
CN114025219B (zh) 增强现实特效的渲染方法、装置、介质及设备
CN112235635B (zh) 动画显示方法、装置、电子设备及存储介质
CN111432245B (zh) 多媒体信息的播放控制方法、装置、设备及存储介质
US10261749B1 (en) Audio output for panoramic images
CN111836073B (zh) 视频清晰度的确定方法、装置、设备及存储介质
WO2023138548A1 (zh) 图像处理方法、装置、设备和存储介质
WO2020234939A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN113705302A (zh) 图像生成模型的训练方法、装置、计算机设备及存储介质
US20220319061A1 (en) Transmitting metadata via invisible light
CN112528760A (zh) 图像处理方法、装置、计算机设备及介质
US20220318303A1 (en) Transmitting metadata via inaudible frequencies
EP4080907A1 (en) Information processing device and information processing method
US11025921B1 (en) Providing a virtual view by streaming serialized data
CN111797754A (zh) 图像检测的方法、装置、电子设备及介质
CN113587812B (zh) 显示设备、测量方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929702

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019929702

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP