WO2019150880A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019150880A1
WO2019150880A1 PCT/JP2018/048407 JP2018048407W WO2019150880A1 WO 2019150880 A1 WO2019150880 A1 WO 2019150880A1 JP 2018048407 W JP2018048407 W JP 2018048407W WO 2019150880 A1 WO2019150880 A1 WO 2019150880A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
information processing
eye
user
Prior art date
Application number
PCT/JP2018/048407
Other languages
English (en)
French (fr)
Inventor
相木 一磨
遼 深澤
木村 淳
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/963,642 priority Critical patent/US11327317B2/en
Priority to CN201880087591.7A priority patent/CN111630852A/zh
Priority to KR1020207020304A priority patent/KR20200112837A/ko
Publication of WO2019150880A1 publication Critical patent/WO2019150880A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • stereoscopic images or virtual images display devices that display stereoscopically visible images (hereinafter also referred to as stereoscopic images or virtual images) in a three-dimensional space. For example, by displaying a left-eye image and a right-eye image with a horizontal displacement between the two images, a binocular parallax is given to the user, so that the stereoscopic image is within the three-dimensional space.
  • a technique for visually recognizing the position is known.
  • stereoscopic viewing using such a display device may place a burden on the user.
  • Patent Document 1 in a display device that is worn by a user and displays an image for the left eye and an image for the right eye, the user is caused by the size of the convergence angle with respect to the display object (stereoscopic image) perceived by the user. Techniques have been proposed to reduce the burden on the user.
  • the factor that burdens the user in stereoscopic vision is not only the size of the convergence angle with respect to the stereoscopic image.
  • the distance (adjustment distance) to the display light image that the user focuses with the eyeball and the distance from the user to the display position where the stereoscopic image is displayed (convergence distance) May occur. Even if this deviation is large, there is a risk of burdening the user.
  • the display control unit that controls the display unit to display the virtual image in the three-dimensional space
  • the display control unit is configured so that the virtual image is in the depth direction when viewed from the user of the display unit.
  • the display control unit is configured so that the virtual image is in the depth direction when viewed from the user of the display unit.
  • the virtual image is the predetermined image
  • An information processing apparatus is provided that displays the left-eye image and the right-eye image on the display unit when it is determined that the image is located within the range.
  • the processor controls the display unit so as to display the virtual image in the three-dimensional space, and it is determined that the virtual image is located outside the predetermined range when viewed from the user of the display unit. In the case where only one of the left-eye image and the right-eye image corresponding to the virtual image is displayed on the display unit, and the virtual image is determined to be located within the predetermined range And displaying the left-eye image and the right-eye image on the display unit.
  • the virtual image when it is determined that the computer controls a display unit to display a virtual image in a three-dimensional space, and the virtual image is located outside a predetermined range, the virtual When only one of the left-eye image or right-eye image corresponding to the image is displayed on the display unit and the virtual image is determined to be located within the predetermined range, the left eye And a function for displaying the image for the right eye and the image for the right eye on the display unit.
  • FIG. 1 is a block diagram illustrating a configuration of an information processing apparatus 1-1 according to a first embodiment of the present disclosure.
  • 3 is a flowchart showing an example of the operation of the information processing apparatus 1-1 according to the embodiment.
  • FIG. 7 is a flowchart showing another example of the operation of the information processing apparatus 1-1 according to the embodiment.
  • FIG. FIG. 1 is a block diagram illustrating a configuration of an information processing apparatus 1-1 according to a first embodiment of the present disclosure.
  • 3 is a flowchart showing an example of the operation of the information processing apparatus 1-1 according to the embodiment.
  • FIG. 7 is a flowchart showing another example of the operation of the information processing apparatus 1-1 according to the embodiment.
  • FIG. 6 is a block diagram illustrating a configuration of an information processing device 1-2 according to a second embodiment of the present disclosure. 6 is a flowchart showing an example of the operation of the information processing apparatus 1-2 according to the embodiment. FIG. It is explanatory drawing which shows the hardware structural example.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • a display device that displays a stereoscopic image (virtual object or the like) so that the image can be viewed as if it is superimposed in a three-dimensional space (hereinafter simply referred to as superimposition).
  • a display device mounted on the user's head called a head-mounted display (hereinafter referred to as HMD)
  • HMD head-mounted display
  • the left-eye image and the right-eye image are shifted in the horizontal direction between them.
  • the stereoscopic image can be displayed in the three-dimensional space.
  • the stereoscopic image means an image that allows the user to feel binocular parallax by being displayed in a three-dimensional space. Therefore, the stereoscopic image is not limited to one having a three-dimensional shape. Even if the stereoscopic image itself is planar, it is displayed in the three-dimensional space and exists at the displayed display position. Thus, it is only necessary that the user can feel binocular parallax by being visually recognized by the user.
  • the content of the stereoscopic image is not particularly limited, and may include, for example, a character, an effect, text, a button, and the like.
  • the three-dimensional space on which the display device superimposes the stereoscopic image may be a real space or a virtual space, but in the following, an example in which a stereoscopic image is displayed in the real space is mainly described. explain.
  • a display unit that displays an image for the left eye and an image for the right eye in the HMD includes, for example, a lens and a small display panel having optical transparency.
  • a virtual image distance (sometimes referred to as an adjustment distance) from the user (more precisely, from the user's eyeball) to a display light image that the user focuses (adjusts) with the eyeball is a lens.
  • the positional relationship is fixed, the virtual image distance with which the virtual image is focused is also fixed.
  • the virtual image distance and the adjustment distance substantially correspond to each other.
  • the “virtual image distance” is used for convenience, and in the context mainly described with respect to natural vision, For convenience, the “adjustment distance” may be mainly used.
  • the sense of depth given to the user is the distance from the user (more precisely, from the user's eyeball) to the display position of the stereoscopic image (hereinafter referred to as the convergence distance) and between the left eye and the right eye. It is affected by the convergence angle, which is an angle determined by the interval (hereinafter referred to as interpupillary distance).
  • the convergence distance is D
  • the interpupillary distance is I
  • the convergence angle is ⁇
  • the interpupillary distance I varies among users, it can be said that it is fixed for each user. Therefore, the convergence angle ⁇ for a certain user is determined by the convergence distance D. Then, the user's eyeball moves according to the convergence angle ⁇ determined by the convergence distance D.
  • the user's eyeball adjusts the focus according to the distance from the user to the real object. Further, in the case of natural vision, the user's eyeball rotates the eyeball according to the corresponding convergence angle, with the distance from the user to the real object as the convergence distance. That is, in the case of natural vision, the adjustment distance matches the convergence distance.
  • the existing display device while the virtual image distance is fixed as described above, a stereoscopic image is displayed so as to change the convergence angle in order to give the user a sense of depth.
  • the user's adjustment distance and the virtual image distance of the display device substantially match.
  • the adjustment distance and the convergence distance deviate, the divergence can cause a burden such as discomfort and discomfort to the user. As a result, symptoms such as sickness may occur.
  • FIG. 1 is a diagram showing the relationship between the adjustment distance and the convergence distance in the range of deviation recommended in ISO 9241-392.
  • the adjustment distance represented by the horizontal axis and the convergence distance represented by the vertical axis coincide.
  • the convergence angle in the case of natural vision corresponds to the convergence angle when the above-described convergence distance matches the adjustment distance. Note that when the user's focus is on the stereoscopic image, the convergence angle in the case of natural vision in FIG. 1 may be considered to be substantially equal to the convergence angle corresponding to the virtual image distance.
  • the range in which the convergence angle corresponding to the convergence distance is greater than 1 degree with respect to the convergence angle in the case of natural vision is a region below the curve represented by the solid line in FIG.
  • the range in which the convergence angle corresponding to the convergence distance is smaller by 1 degree or more than the convergence angle in the case of natural vision is an area above the curve represented by the broken line in FIG. That is, the recommended range of ISO 9241-392 is a range between the solid line and the broken line shown in FIG.
  • the distance to the display position of the stereoscopic image (convergence distance) is often a short distance of 2 m or less. In such a case, the user feels uncomfortable or uncomfortable. There was a risk of burdens such as pleasure.
  • the convergence distance which is the distance from the user to the display position of the stereoscopic image, is assumed to be approximately in the range of 30 cm to 70 cm, although it varies depending on individual differences in the user's hand length, posture, and the like.
  • the convergence angle corresponding to this convergence distance is in the range of 7 degrees.
  • the amount of deviation recommended in ISO 9241-392 is ⁇ 1 degree, that is, the recommended range is a range of 2 degrees. Therefore, in consideration of the use case described above, when designing the display unit of the HMD so as to have a fixed virtual image distance, there is no virtual image distance that allows all of the assumed convergence distances to fall within the recommended range. Therefore, in the above-mentioned use case, as long as the virtual image distance of the display unit is fixed, it may be used beyond the recommended range of ISO 9241-392, and it is likely to give the user a burden of discomfort or discomfort. It is done.
  • FIG. 2 is a diagram illustrating an appearance example of an information processing apparatus common to the embodiments of the present disclosure.
  • the information processing apparatus 1 according to each embodiment of the present disclosure is realized by, for example, a glasses-type HMD attached to the head of a user U.
  • the display unit 15 corresponding to the spectacle lens portion located in front of the user U's eye when worn has optical transparency.
  • the display unit 15 includes a left-eye display 151 that displays a left-eye image corresponding to a stereoscopic image, and a right-eye display that displays a right-eye image corresponding to a stereoscopic image. 152.
  • the left-eye display is positioned in front of the user U's left eye
  • the right-eye display is positioned in front of the user U's right eye.
  • the present technology is not limited to this example, and the left-eye image may be displayed on the left side of the integrally formed display, and the right-eye image may be displayed on the right side of the display.
  • the information processing apparatus 1 can present a stereoscopic image in front of the line of sight of the user U by displaying the left-eye image and the right-eye image on the display unit 15.
  • the shape of the information processing apparatus 1 is not limited to the example shown in FIG.
  • the information processing apparatus 1 is an HMD of a headband type (a type that is worn by a band that goes around the entire circumference of the head, or a band that passes through the top of the head as well as the temporal region) or a helmet type.
  • HMD the visor part of a helmet corresponds to a display
  • the visor part of a helmet corresponds to a display
  • FIG. 3 is an explanatory diagram for explaining an overview of stereoscopic image display according to the present technology.
  • the horizontal axis illustrated in FIG. 3 represents the convergence distance to the stereoscopic image displayed by the information processing device 1 in the depth direction when viewed from the user U wearing the information processing device 1 according to the embodiment of the present disclosure.
  • the information processing apparatus 1 common to each embodiment of the present disclosure displays an image in a display format of either one-eye display or binocular display according to the convergence distance.
  • the binocular display means a display format in which both the left-eye image and the right-eye image are displayed on the display unit 15, and the single-eye display means the left-eye display on the display unit 15. It means a display format in which only one of the image and the right eye image is displayed.
  • the binocular non-display described later means a display format in which neither the left-eye image nor the right-eye image is displayed on the display unit 15.
  • the display format of the image is binocular display
  • the image display format is monocular display
  • the display format of the image is binocular display. It is possible to provide a user with a stereoscopic effect due to motion parallax regardless of whether the display is a single-eye display or a single-eye display.
  • the image display format when the convergence distance is not less than the first distance D1 and not more than the second distance D2, the image display format is binocular display, and the convergence distance is less than the first distance D1.
  • the image display format when the distance is greater than the second distance D2, the image display format is one-eye display. That is, as shown in FIG. 3, when a range that is not less than the first distance D1 and not more than the second distance D2 is the predetermined range R1, the display format of the information processing apparatus 1 is that the stereoscopic image is within the predetermined range R1. Is binocular display, and when it is outside the predetermined range R1, it is single-eye display. Note that a third distance less than the first distance D1 may be set, and binocular non-display may be performed when the convergence distance is 0 or more and less than the third distance.
  • the first distance D1 and the second distance D2 that define the predetermined range R1 may be set to have a predetermined relationship with respect to the adjustment distance that the display unit 15 has in a fixed manner.
  • the first distance D1 is a convergence distance corresponding to a convergence angle that is larger by a predetermined angle than a convergence angle in the case of natural vision at the adjustment distance with respect to the adjustment distance that the display unit 15 has fixedly. You may have a relationship.
  • the second distance D2 is a convergence distance corresponding to a convergence angle that is smaller by a predetermined angle than a convergence angle in the case of natural vision at the adjustment distance with respect to the adjustment distance that the display unit 15 has fixedly. You may have a relationship.
  • the first distance D1 and the second distance D2 may be set so that the predetermined range R1 corresponds to the recommended range described with reference to FIG.
  • the first distance D1 is preferably a convergence distance corresponding to a convergence angle that is 1 degree larger than the convergence angle in the case of natural vision described above (hereinafter also referred to as a convergence angle of a convergence angle + 1 degree).
  • the second distance D2 is, for example, a convergence distance corresponding to a convergence angle that is 1 degree smaller than the convergence angle in the case of natural vision described above (hereinafter also referred to as a convergence distance of 1 degree of convergence angle). desirable.
  • Table 1 shown below is a table showing the relationship between the adjustment distance, the convergence angle in the case of natural vision in which the adjustment distance matches the convergence distance, and the convergence distance with a convergence angle of ⁇ 1 degree.
  • the convergence angle in Table 1 is a trial calculation when the distance between the left and right pupils is 63.5 mm, and can be increased or decreased according to the distance between the pupils of each individual user.
  • the convergence angle of +1 degree which is the limit of the short distance in the recommended range of FIG. 1
  • the convergence angle ⁇ is the limit of the long distance.
  • the convergence distance of 1 degree is infinite.
  • the convergence distance of the convergence angle + 1 degree which is the limit of the short distance in the recommended range of FIG. 1 is 1.29 m
  • the convergence distance of the convergence angle of ⁇ 1 degree which is the limit of the long distance Is 4.4 m.
  • each of the convergence distance of the convergence angle + 1 degree and the convergence distance of the convergence angle -1 degree is outside the recommended range of FIG.
  • the display format of the image is a one-eye display, and the burden on the user is reduced.
  • the present technology is not limited to such an example.
  • a distance smaller than the convergence distance of convergence angle +1 degree is set as the first distance D1
  • a distance larger than the convergence distance of convergence angle -1 degree is the second distance. May be set as the distance D2.
  • FIG. 4 is a block diagram illustrating a configuration of the information processing apparatus 1-1 according to the first embodiment of the present disclosure.
  • the information processing apparatus 1-1 according to the present embodiment includes a control unit 12-1, a communication unit 13, a display unit 15, an operation input unit 16, and a storage unit 17.
  • the control unit 12-1 the control unit 12-1 will be described in more detail.
  • the control unit 12-1 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 1-1 according to various programs. Further, the control unit 12-1 according to the present embodiment functions as a determination unit 121 and a display control unit 123, as shown in FIG. The functions of the determination unit 121 and the display control unit 123 of the control unit 12-1 will be described later.
  • the communication unit 13 is a communication module for transmitting / receiving data to / from other devices by wire / wireless.
  • the communication unit 13 is, for example, a wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity, registered trademark), infrared communication, Bluetooth (registered trademark), short-range / non-contact communication, etc. Wirelessly or directly with a network access point.
  • the display unit 15 is controlled by the display control unit 123 described later, and displays a stereoscopic image in real space (an example of a three-dimensional space). As described with reference to FIG. 2, the display unit 15 has optical transparency, and this configuration enables a stereoscopic image to be superimposed in real space.
  • the display unit 15 according to the present embodiment has a fixed adjustment distance (virtual image distance) as described above.
  • the display unit 15 having a fixed adjustment distance means that the adjustment distance is fixed in a state where the positional relationship between the display unit 15 and the user's eyes is fixed. To do. For example, even if it is possible to change the adjustment distance by manual adjustment, the adjustment distance is fixed when the adjustment distance is not automatically changed during observation by the user or wearing by the user. Is considered to be the target.
  • the display unit 15 includes the left-eye display 151 and the right-eye display 152 described with reference to FIG.
  • the left-eye display 151 and the right-eye display 152 can be independently controlled by the display control unit 123 described later.
  • the right-eye display 152 may not display anything, or an image that is not related to the stereoscopic image, For example, an alternative image described later may be displayed.
  • the power supply to the right eye display 152 may be reduced.
  • the power supply to the right-eye display 152 is reduced, for example, the power supply to the right-eye display 152 is turned off and the power supply to the right-eye display 152 is stopped. 152 includes transitioning to a power saving mode that reduces power consumption.
  • the control related to the right-eye display 152 described above can also be performed on the left-eye display 151.
  • the operation input unit 16 is realized by an operation member having a physical structure such as a switch, a button, or a lever.
  • the storage unit 17 stores programs and parameters for the control unit 12-1 to execute each function.
  • the storage unit 17 may store a left-eye image, a right-eye image, a parameter related to a stereoscopic image, and the like corresponding to a stereoscopic image displayed by the display control unit 123 described later.
  • the storage unit 17 may store user information to be described later.
  • the determination unit 121 determines whether or not the stereoscopic image displayed in the real space by the display unit 15 is located outside a predetermined range.
  • the determination unit 121 may determine whether or not the stereoscopic image is located outside the predetermined range R1 by using the predetermined range R1 described with reference to FIG. That is, the predetermined range R1 used for determination by the determination unit 121 may be a range that is not less than the first distance D1 and not more than the second distance D2 from the user.
  • the predetermined range R1 is a range based on the first distance D1 and the second distance D2 that have a predetermined relationship with respect to the adjustment distance that the display unit 15 has fixedly. It is.
  • the distance from the user is preferably, for example, a distance from the intermediate position of the user's eyes, but is not necessarily exact, and the distance from the user's head position is It may be used as a distance.
  • the information processing apparatus 1-1 is used by being attached to the user, so that the distance from the information processing apparatus 1-1 or the like may be used as the distance from the user. Good.
  • the determining unit 121 may determine whether or not the stereoscopic image is located outside the predetermined range R1 depending on whether or not the display position of the stereoscopic image in the real space is outside the predetermined range R1.
  • the method for specifying the display position of a stereoscopic image depends on, for example, an application provided by the information processing apparatus 1-1, and is not particularly limited in the present embodiment.
  • the display position of the stereoscopic image may be specified by a function (not shown) of the display control unit 123 or the control unit 12-1, or may be specified by a parameter stored in the storage unit 17.
  • the stereoscopic image itself has a three-dimensional shape, and there may be a difference in depth in the stereoscopic image, for example.
  • the determination unit 121 may determine that the stereoscopic image is located outside the predetermined range R1 when at least a part of the stereoscopic image is not included in the predetermined range R1.
  • the method of determining whether or not the stereoscopic image is located outside the predetermined range by the determination unit 121 is not limited to the above-described example.
  • the determination unit 121 may determine whether or not the stereoscopic image is located outside the predetermined range R1 depending on whether or not the position of the center of gravity of the stereoscopic image is outside the predetermined range R1.
  • the determination unit 121 may determine whether the stereoscopic image is located outside a predetermined range based on the type of the stereoscopic image. For example, the determination unit 121 determines that a stereoscopic image of a type that is determined to be displayed at a user's closest distance based on parameters stored in the storage unit 17 is located outside the predetermined range R1. Also good.
  • the determination unit 121 may determine that the stereoscopic image is located outside the predetermined range when it is determined that the stereoscopic image is located at a shorter distance than the predetermined range.
  • the display control unit 123 controls the display unit 15 to display a stereoscopic image in real space (an example of a three-dimensional space).
  • the display control unit 123 controls the display unit 15 based on the determination by the determination unit 121 described above.
  • the display control unit 123 may be capable of independently controlling the left eye display 151 and the right eye display 152 included in the display unit 15 as described above.
  • the display control unit 123 displays the left-eye image corresponding to the stereoscopic image on the left-eye display 151, and displays the right-eye image corresponding to the stereoscopic image on the right-eye display 152, thereby
  • the display unit 15 can be controlled to display a stereoscopic image inside.
  • the display control unit 123 switches the display format according to the determination result by the determination unit 121 and displays a stereoscopic image. For example, when the determination unit 121 determines that the stereoscopic image is located within a predetermined range, the display control unit 123 displays the stereoscopic image with binocular display. That is, the display control unit 123 causes the left-eye display 151 to display the left-eye image corresponding to the stereoscopic image when the determination unit 121 determines that the stereoscopic image is located within a predetermined range. The right-eye image corresponding to the stereoscopic image is displayed on the right-eye display 152.
  • the display control unit 123 causes the stereoscopic image to be displayed in one-eye display when the determination unit 121 determines that the stereoscopic image is located outside the predetermined range. That is, when the determination unit 121 determines that the stereoscopic image is located outside the predetermined range, the display control unit 123 selects one of the left-eye image and the right-eye image corresponding to the stereoscopic image. Only the image is displayed on the display unit 15. With such a configuration, when a stereoscopic image that may put a burden on the user when the display format is binocular display is displayed, the image display format is switched to single-eye display, and the burden on the user is reduced.
  • the display control unit 123 determines one image to be displayed on the display unit 15 when it is determined that the stereoscopic image is located outside the predetermined range. Such determination of one image can be performed in various ways.
  • the display control unit 123 may determine one image to be displayed on the display unit 15 based on preset user information.
  • the user information is information related to the user wearing the information processing apparatus 1-1, and may be stored in the storage unit 17 described above, or may be input by the user via the operation input unit 16, for example.
  • the user information may include information indicating the user's dominant eye, for example.
  • the dominant eye is an eye that is more frequently used by the user or an eye that is more favorably used by the user.
  • the dominant eye can be determined by a well-known method. The known method is a method that can be performed without using any device, but guide information for the display control unit 123 to determine the dominant eye may be displayed on the display unit 15.
  • the display control unit 123 first causes the display unit 15 to display a message such as “Please maintain a state where a finger appears to overlap a specific real object”, for example. This message may be presented to the user by voice. Thereafter, the left-eye display 151 displays a shielding image that substantially blocks the left-eye field of view, and then deletes the left-eye display 151 and displays the right-eye field of view on the right-eye display 152. An occlusion image that is substantially occluded is displayed. The user can determine his / her dominant eye by visually recognizing the left eye occlusion image and the right eye occlusion image. In addition, the information regarding a user's dominant eye may be recorded on the memory
  • the display control unit 123 causes the display unit 15 to display only the image corresponding to the dominant eye among the left-eye image or the right-eye image. Also good. For example, the display control unit 123 causes the display unit 15 to display only the left-eye image when the user's dominant eye is the left eye, and displays only the right-eye image when the user's dominant eye is the right eye. You may display on the part 15. With this configuration, even when the image display format is single-eye display, the user can more comfortably view a stereoscopic image.
  • the display control unit 123 may determine one image to be displayed on the display unit 15 based on the display position of the stereoscopic image with respect to the user's field of view. For example, when the display position of the stereoscopic image is on the left side with respect to the center direction of the user's field of view, the display control unit 123 displays only the left eye image, and the display position is relative to the center direction of the user's field of view. In the case of the right side, only the right eye image may be displayed.
  • the center of the user's field of view may be determined according to the orientation of the information processing apparatus 1-1.
  • whether the display position of the stereoscopic image is on the right side or the left side with respect to the center direction of the user's field of view is determined based on the left-eye image and the right-eye image corresponding to the stereoscopic image. Is also possible.
  • the display control unit 123 may realize a one-eye display by controlling the power supply to the display unit 15. For example, the display control unit 123 reduces the power supply to one of the left-eye display 151 and the right-eye display 152 when it is determined that the stereoscopic image is located outside a predetermined range. An eye display may be realized.
  • reducing power supply includes not only stopping power supply but also shifting to a power saving mode that reduces power consumption. According to this configuration, it is possible to reduce power consumption.
  • the display control unit 123 substitutes for the image that is not displayed on the display unit 15 among the left-eye image or the right-eye image.
  • One-eye display may be realized by displaying an image on the display unit 15.
  • the substitute image is desirably an image having low visibility for the user.
  • the substitute image may be an image prepared according to the characteristics of the display unit 15, and may be, for example, a black image or a pure white image.
  • the substitute image may be an image having a smaller amount of information than the other image that is not displayed. According to such a configuration, for example, even when the power supply to the left-eye display 151 and the right-eye display 152 cannot be controlled, it is possible to realize a one-eye display.
  • FIG. 5 is a flowchart showing an example of the operation of the information processing apparatus 1-1 according to the present embodiment.
  • the display position of the stereoscopic image is specified (S104).
  • the display position of the stereoscopic image in step S104 may be specified by the display control unit 123, for example, or may be performed by a function (not shown) of the control unit 12-1.
  • the determination unit 121 determines whether or not the stereoscopic image is located outside a predetermined range (S108).
  • the display control unit 123 controls the display unit 15 to display the stereoscopic image in binocular display. (S112).
  • the display control unit 123 causes the display unit 15 to display the stereoscopic image in one-eye display. Control is performed (S116).
  • step S116 the display control unit 123 causes the display unit 15 to display, for example, only the image corresponding to the user's dominant eye among the left-eye image and the right-eye image based on the user information as described above. May be.
  • the display control unit 123 may cause the display unit 15 to display only one image determined in advance among the left-eye image and the right-eye image.
  • the display control unit 123 can determine one image to be displayed on the display unit 15 based on the display position of the stereoscopic image as described above.
  • the display control unit 123 can determine one image to be displayed on the display unit 15 based on the display position of the stereoscopic image as described above.
  • FIG. 6 an operation example when one image to be displayed on the display unit 15 is determined based on the display position of the stereoscopic image will be described.
  • FIG. 6 is a flowchart showing another example of the operation of the information processing apparatus 1-1 according to the present embodiment. Steps S104 to S112 in FIG. 6 are the same as steps S104 to S112 in FIG.
  • step S120 the display control unit 123 is displayed on the display unit 15 according to the display position of the stereoscopic image with respect to the user's field of view. One image is determined.
  • the display control unit 123 displays only the left eye image on the display unit 15 (S124).
  • the display control unit 123 displays only the right-eye image on the display unit 15 (S128).
  • Second Embodiment it is determined whether or not the stereoscopic image is located outside a predetermined range when a trigger is detected based on sensing. For example, a predetermined user action can be detected as a trigger.
  • a UI User Interface
  • the user can visually recognize the information more accurately (visibility) than the user who enjoys force and presence, and the user can operate comfortably (operation). Gender) is considered important. Therefore, according to the present embodiment, it is possible to improve visibility and operability while further reducing the burden on the user when displaying a stereoscopic image in which visibility and operability are more important. Become.
  • the configuration and operation of the present embodiment for realizing such effects will be sequentially described in more detail.
  • FIG. 7 is a block diagram showing a configuration of the information processing apparatus 1-2 according to the second embodiment of the present disclosure.
  • the information processing apparatus 1-2 according to the present embodiment includes a sensor unit 11, a control unit 12-2, a communication unit 13, a display unit 15, an operation input unit 16, and a storage unit 17.
  • the configurations of the communication unit 13, the display unit 15, the operation input unit 16, and the storage unit 17 are the communication unit 13, the display unit 15, and the operation input unit described with reference to FIG. 4. 16 and the storage unit 17 are substantially the same in configuration, and detailed description thereof is omitted here.
  • the sensor unit 11 acquires sensor information related to the user wearing the information processing apparatus 1-2 and the surrounding environment by sensing.
  • the sensor unit 11 may include sensors such as a camera that captures the user's field of view, a depth sensor that measures distance, an acceleration sensor that detects acceleration, and a gyro sensor that detects angular velocity.
  • the sensor included in the sensor unit 11 is not limited to this example, and the sensor unit 11 may further include a line-of-sight sensor, a geomagnetic sensor, a force sensor, a biological sensor, a microphone, and the like.
  • the control unit 12-2 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 1-2 according to various programs. Further, the control unit 12-2 according to the present embodiment functions as a detection unit 125, a determination unit 127, and a display control unit 129, as shown in FIG.
  • the detection unit 125 performs detection based on the sensor data acquired by the sensing of the sensor unit 11.
  • the detection unit 125 provides information obtained by the detection to the determination unit 127 and the display control unit 129.
  • the detection unit 125 detects a real object existing in real space based on sensor data acquired by sensing of a camera or a depth sensor included in the sensor unit 11, for example.
  • the detection unit 125 may detect the user's hand, arm, and the like based on an image obtained by imaging with a camera and distance information acquired by a depth sensor.
  • the real object detected by the detection unit 125 is not limited to such an example, and may depend on, for example, an application provided by the information processing apparatus 1-2. More specifically, it may be an object having a substantially flat surface at a short distance from the user, which is determined for each application. This is because the accuracy of localization of a virtual image on a flat surface is generally higher than the accuracy of localization on a non-flat surface.
  • the detection unit 125 specifies information regarding the position and angle of the detected real object and the distance to the real object based on the image obtained by the imaging of the camera and the distance information acquired by the depth sensor. May be.
  • the detection unit 125 may detect a user action based on sensor data acquired by sensing such as a camera, a depth sensor, an acceleration sensor, or a gyro sensor included in the sensor unit 11.
  • the detection unit 125 can detect a user action in which the user faces down or a user action that puts an arm or hand into the field of view.
  • a user action such as watching a wristwatch can be detected as follows. In such a user action, the face direction of the user is slightly downward, and the arm action is considered to be an action of exposing the wrist so as to cross the user's line of sight.
  • the detection unit 125 can detect an operation in which the user turns his / her face downward based on sensing of an acceleration sensor and a gyro sensor, for example. And the detection part 125 detects the operation
  • the detection unit 125 acquires information about the position, angle, and distance to the arm of an arm (an example of a real object) by an image captured by a camera or a depth sensor. You may specify based on distance information.
  • the detection unit 125 detects a trigger used in the determination unit 127 and the display control unit 129 described later. Note that the determination unit 127 and the display control unit 129 perform a predetermined process described later when a trigger is detected by the detection unit 125.
  • the detecting unit 125 may detect, for example, a predetermined user action as a trigger.
  • the detection unit 125 may detect, as a trigger, a user action with the face facing down or a user action such as watching a wristwatch.
  • a predetermined operation detected as a trigger may depend on, for example, an application provided by the information processing apparatus 1-2.
  • the detection by the detection unit 125 as a trigger is not limited to a user action.
  • the detection unit 125 may detect a predetermined type of real object as a trigger. Such an example will be described later as a modified example.
  • the detection unit 125 When the detection unit 125 detects the trigger, the detection unit 125 notifies the determination unit 127 and the display control unit 129 that the trigger has been detected.
  • the determination unit 127 determines whether or not the stereoscopic image is located outside a predetermined range, similarly to the determination unit 121 described in the first embodiment.
  • the determination method of the determination unit 127 and the predetermined range used for determination are the same as the determination method of the determination unit 121 described above and the predetermined range used for determination.
  • the determination unit 127 according to the present embodiment is different from the determination unit 121 described above in that it is determined whether or not the stereoscopic image is located outside a predetermined range when a trigger is detected by the detection unit 125. .
  • this point will be mainly described.
  • the determination unit 127 determines whether or not a stereoscopic image to be displayed by the display control unit 129 described later according to the detection of the trigger is located outside a predetermined range.
  • a display control unit 129 described later superimposes a stereoscopic image of a wristwatch (an example of a UI) on the user's arm in response to a user action (an example of a detected trigger) that looks at the wristwatch.
  • the determination unit 127 determines whether or not a stereoscopic image of the wristwatch displayed by the display control unit 129 is located outside a predetermined range when a user action such as watching a wristwatch is detected as a trigger. Determine.
  • the display format of the image can be switched to single-eye display.
  • the determination by the determination unit 127 whether or not the display format for the stereoscopic image can be switched to the one-eye display is determined. Can depend on.
  • the display control unit 129 controls the display unit 15 so as to display a stereoscopic image in the real space, similarly to the display control unit 123 described in the first embodiment. Further, the display control unit 129 controls the display unit 15 based on the determination by the determination unit 127 described above.
  • the control method of the display unit 15 based on the determination by the display control unit 129 is the same as the control method of the display unit 15 based on the determination by the display control unit 123.
  • the display control unit 129 according to the present embodiment is different from the above-described display control unit 129 in that a stereoscopic image is displayed according to the trigger detected by the detection unit 125.
  • this point will be mainly described.
  • the display control unit 129 displays a stereoscopic image corresponding to the trigger when the detection unit 125 detects the trigger, for example. For example, when a plurality of types of triggers can be detected by the detection unit 125, the display control unit 129 may display different stereoscopic images depending on the type of trigger.
  • the display control unit 129 may display a stereoscopic image based on the information on the real object detected by the detection unit 125. For example, the display control unit 129 may display a stereoscopic image at a position in the real space corresponding to the position of the real object detected by the detection unit 125 at an angle corresponding to the angle of the real object.
  • the display control unit 129 is based on a real object detected accompanying the user action, and a stereoscopic image corresponding to the user action May be displayed.
  • the display control unit 129 superimposes the stereoscopic image of the wrist watch on the user's arm or hand according to a user action (an example of a trigger) detected by the detection unit 125 such as watching a wrist watch.
  • the stereoscopic image may be displayed.
  • the stereoscopic image displayed in response to the trigger detected by the detection unit 125 is a determination target by the determination unit 127. Therefore, the stereoscopic image displayed in response to the trigger detected by the detection unit 125 may be one in which visibility and operability are more important than enjoying, for example, force or presence, for example, as described above. It may be a UI such as a clock or an operation menu. Even if such a stereoscopic image is displayed as a single-eye display instead of a binocular display as a result of the determination by the determination unit 127, there is little demerit due to the loss of force and presence. On the other hand, since visibility and operability are important for such a stereoscopic image, when it is located outside a predetermined range, it is displayed with one-eye display, thereby reducing the burden on the user. And operability can be improved.
  • the display control unit 129 may display a stereoscopic image that does not depend on the trigger detected by the detection unit 125.
  • the stereoscopic image is not a determination target by the determination unit 127 described above.
  • the stereoscopic image displayed without depending on the trigger detected by the detection unit 125 may be more important to enjoy force, realism, and the like than visibility and operability, for example.
  • a stereoscopic image in which it is important to enjoy force, a sense of presence, and the like is displayed with a binocular display instead of a one-eye display.
  • the configuration of the information processing apparatus 1-1 according to the present embodiment has been specifically described above.
  • the configuration of the information processing apparatus 1-1 illustrated in FIG. 4 is an example, and the present embodiment is not limited to this.
  • each function of the control unit 12-1 according to the present embodiment may be included in another information processing apparatus connected via the communication unit 13 instead of the control unit 12-1.
  • FIG. 8 is a flowchart showing an example of the operation of the information processing apparatus 1-2 according to the present embodiment.
  • the detection unit 125 detects a trigger based on the sensing of the sensor unit 11 (S202).
  • the detection unit 125 may detect a real object existing in real space while detecting a predetermined user action as a trigger.
  • the display position of the stereoscopic image displayed according to the trigger detected in step S204 is specified (S204).
  • the display position of the stereoscopic image in step S204 may be specified by the display control unit 123.
  • the display position of the stereoscopic image is specified based on the position of the real object detected in step S202. Also good.
  • the determination unit 127 determines whether or not the stereoscopic image whose display position is specified in step S204 is located outside a predetermined range (S208). If the determination unit 127 determines that the stereoscopic image is located outside the predetermined range (YES in S208), the display control unit 129 controls the display unit 15 to display the stereoscopic image in binocular display. (S212).
  • the display control unit 129 responds to the display position of the stereoscopic image with respect to the user's field of view in step S220. Thus, one image displayed on the display unit 15 is determined.
  • the display control unit 129 displays only the left eye image on the display unit 15 (S224).
  • the display control unit 129 displays only the right-eye image on the display unit 15 (S228).
  • the display control unit 129 according to the present embodiment determines one image to be displayed on the display unit 15 based on the display position of the stereoscopic image. It is not limited to. As in the first embodiment, the display control unit 129 according to the present embodiment may determine one image to be displayed on the display unit 15 based on user information, or only one predetermined image. May be displayed on the display unit 15.
  • the detection unit 125 may detect a predetermined type of real object as a trigger.
  • the convergence distance which is the distance from the user to the display position of the stereoscopic image, is approximately in the range of 30 cm to 70 cm. is assumed.
  • a burden such as discomfort and discomfort
  • the detection unit 125 includes the user's hand or arm (actual object) wearing the information processing apparatus 1-2.
  • An example of a body) may be detected as a trigger.
  • the determination unit 127 performs determination when a stereoscopic image that is likely to give the user a burden of discomfort or discomfort is displayed, so that the determination can be performed more efficiently. It becomes.
  • a stereoscopic image displayed at a short distance may be uncomfortable or uncomfortable for the user over the entire movable range of the user's hand or arm. It may be easy to give a burden of pleasure
  • the determination unit 127 may determine whether or not the stereoscopic image is located outside a predetermined range using the detected trigger information. As described above, the type and position of the stereoscopic image can be specified to some extent according to the detected trigger. Therefore, the determination unit 127 may determine whether or not the stereoscopic image is located outside a predetermined range based on the detected trigger.
  • the determination unit 127 may determine whether the stereoscopic image is located outside a predetermined range based on the user operation as the first determination unit. For example, as described above, consider a use case in which a user action such as watching a wristwatch is detected as a trigger, and a stereoscopic image of the wristwatch is superimposed on the user's arm in accordance with the user action. In such a use case, depending on the adjustment distance of the display unit 15, the stereoscopic image may be located outside the predetermined range in the entire movable range of the user's arm. In such a case, the determination unit 127 determines that the stereoscopic image is located outside the predetermined range or is located at a shorter distance than the predetermined range based on detection of an operation such as watching a wristwatch as a trigger. May be.
  • the determination unit 127 may determine whether the stereoscopic image is located outside a predetermined range based on the real object as the second determination unit. Good. For example, consider the use case in which a stereoscopic image is displayed on the user's hand or arm as described above. In such a use case, depending on the adjustment distance of the display unit 15, the stereoscopic image may be located outside the predetermined range in the entire movable range of the user's hand or arm. In such a case, the determination unit 127 may determine that the stereoscopic image is located outside a predetermined range based on the detection of the user's hand or arm as a trigger. Note that a virtual image displayed only in one-eye display can be regarded as a non-stereoscopic image.
  • the processing of the determination unit 127 is simplified, the processing amount is suppressed, and the time required for determination is shortened, so that smoother display can be achieved.
  • the present technology can be applied to an HMD including a display unit that does not have optical transparency.
  • the present technology is applied to a so-called video see-through HMD that acquires an image of a real space using an imaging device and displays an image obtained by superimposing a stereoscopic image on the acquired image of the real space.
  • the present technology can be applied to an HMD that displays a stereoscopic image in a virtual space (an example of a three-dimensional space) instead of a real space.
  • the present technology can be applied to display control by an installation type display device instead of the HMD.
  • an installation type display device for example, in a stationary display device that displays a stereoscopic image, the position of the user is detected using a sensor or the like, and the stereoscopic image is positioned outside a predetermined range based on the position of the user and the position of the display device. It is determined whether or not to perform the above-described display control based on the determination.
  • the adjustment distance described above corresponds to the distance between the position of the user (strictly, the position of the user's eyeball) and the position of the display device
  • the convergence distance described above is the position of the user (strictly, Can correspond to the position of the user's eyeball) and the display position of the stereoscopic image.
  • a predetermined range may be set based on the adjustment distance and the convergence distance, and it may be determined whether or not the stereoscopic image is located outside the predetermined range.
  • FIG. 9 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 1 according to the embodiment of the present disclosure.
  • the information processing apparatus 1 illustrated in FIG. 9 can realize, for example, the information processing apparatus 1-1 and the information processing apparatus 1-2 illustrated in FIGS. 4 and 7, respectively.
  • Information processing by the information processing apparatus 1-1 and the information processing apparatus 1-2 according to the embodiment of the present disclosure is realized by cooperation of software and hardware described below.
  • the information processing apparatus 1 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 1 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 1 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 1 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form, for example, the control unit 12-1 and the control unit 12-2.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 1.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • the user of the information processing apparatus 1 can input various data and instruct a processing operation to the information processing apparatus 1 by operating the input device 906.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 1. Specifically, the display device visually displays the results obtained by various processes performed by the information processing device 1 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the output device 907 can form the display unit 15, for example.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 1.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form the storage unit 17, for example.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 1.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication device 913 can form the communication unit 13, for example.
  • the sensor 915 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 1 itself, such as the posture and movement speed of the information processing apparatus 1, and information on the surrounding environment of the information processing apparatus 1, such as brightness and noise around the information processing apparatus 1.
  • Sensor 915 may also include a GPS sensor that receives GPS signals and measures the latitude, longitude, and altitude of the device.
  • the sensor 915 can form the sensor unit 11, for example.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at the time of implementing the embodiment of the present disclosure.
  • a computer program for realizing each function of the information processing apparatus 1 according to the embodiment of the present disclosure as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • each step in the above-described embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • a display control unit for controlling the display unit to display a virtual image in a three-dimensional space; When it is determined that the virtual image is located outside a predetermined range in the depth direction when viewed from the user of the display unit, the display control unit is configured to display a left-eye image or a right-eye image corresponding to the virtual image. When only one of the images is displayed on the display unit and the virtual image is determined to be located within the predetermined range, the left-eye image and the right-eye image are displayed on the display unit.
  • the predetermined range is a range separated from the user by a predetermined distance or more.
  • the information processing apparatus causes the display unit to display a stereoscopic image in the predetermined range.
  • the display control unit causes the display unit to display only one of the left-eye image and the right-eye image when the virtual image is determined to be located at a shorter distance than the predetermined range.
  • the information processing apparatus according to any one of (1) to (3).
  • the information processing apparatus further including a first determination unit that determines that the virtual image is located at a shorter distance than the predetermined range based on detection of a predetermined user action.
  • the display control unit when it is determined that the virtual image is located at a closer distance than the predetermined range based on detection of the predetermined user action, one of the left eye image and the right eye image
  • the information processing apparatus according to (5) wherein only the image is displayed on the display unit.
  • the display unit is a display unit of a head mounted display,
  • the display control unit displays only one of the left-eye image and the right-eye image on the user's arm or hand on the display unit.
  • the information processing apparatus according to (8).
  • the predetermined range is a range based on at least one of a first distance smaller than the virtual image distance or a second distance larger than the virtual image distance.
  • the first distance and the second distance are a convergence angle corresponding to the virtual image distance, and a difference between a convergence angle between the left eye image and the right eye image is +1 degree or less and -1 degree or more.
  • the information processing apparatus according to (12), which is set to be (14) The information processing apparatus according to any one of (11) to (13), wherein the display unit has optical transparency.
  • the display control unit determines the one image to be displayed on the display unit on the basis of user information including information related to a preset dominant eye, according to any one of (1) to (15). The information processing apparatus described.
  • the display control unit replaces the other image that is not displayed on the display unit among the image for the left eye or the image for the right eye,
  • the information processing apparatus according to any one of (1) to (16), wherein a substitute image having an information amount smaller than an information amount of the other image is displayed on the display unit.
  • the display unit includes a left-eye display that displays the left-eye image, and a right-eye display that displays the right-eye image,
  • the display control unit reduces power supply to one of the left-eye display and the right-eye display when it is determined that the virtual image is located outside the predetermined range, (1)
  • the information processing apparatus according to any one of (17) to (17).
  • the processor controls the display unit to display a virtual image in a three-dimensional space; When it is determined that the virtual image is located outside a predetermined range when viewed from the user of the display unit, only one of the left-eye image and the right-eye image corresponding to the virtual image is displayed on the display unit.
  • An information processing method including: (20) On the computer, A function for controlling the display unit to display a virtual image in a three-dimensional space; When it is determined that the virtual image is located outside a predetermined range, only one of the left-eye image and the right-eye image corresponding to the virtual image is displayed on the display unit, and the virtual image A function of displaying the left-eye image and the right-eye image on the display unit when it is determined that the image is located within the predetermined range; A program to realize

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】 三次元空間内に仮想画像を表示するように表示部を制御する表示制御部を備え、前記表示制御部は、前記表示部のユーザから見て前記仮想画像が奥行方向における所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、かつ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させる、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
 本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
 近年、立体視可能な画像(以下、立体視画像あるいは仮想画像とも呼ぶ)を三次元空間内に表示する表示装置が用いられている。例えば、左眼用画像と右眼用画像とを、両者の間で水平方向にズレを有するように表示させることで、ユーザに両眼視差を与えることで、立体視画像が三次元空間内に位置するように視認させる技術が知られている。しかし、このような表示装置を用いた立体視は、ユーザに負担を与える場合があった。
 これに対して、立体視におけるユーザの負担を軽減するための技術も提案されている。例えば、下記特許文献1では、ユーザに装着されて左眼用画像と右眼用画像を表示する表示装置において、ユーザに知覚される表示オブジェクト(立体視画像)に対する輻輳角の大きさによって生じるユーザの負担を軽減させるための技術が提案されている。
国際公開第2017/022303号
 しかし、立体視においてユーザに負担を与える要因は、立体視画像に対する輻輳角の大きさだけではない。例えば、立体視画像を表示させる表示装置では、ユーザが眼球でピントを合わせる表示光の像までの距離(調節距離)と、ユーザから当該立体視画像が表示される表示位置までの距離(輻輳距離)との間に乖離が発生し得る。この乖離が大きい場合にも、ユーザに負担を与える恐れがある。
 このように、立体視画像を表示させる技術において、よりユーザの負担を軽減させることが望まれていた。
 本開示によれば、三次元空間内に仮想画像を表示するように表示部を制御する表示制御部を備え、前記表示制御部は、前記表示部のユーザから見て前記仮想画像が奥行方向における所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、かつ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させる、情報処理装置が提供される。
 また、本開示によれば、三次元空間内に仮想画像を表示するようにプロセッサが表示部を制御することと、前記表示部のユーザから見て前記仮想画像が所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させることと、を含む情報処理方法が提供される。
 また、本開示によれば、コンピュータに、三次元空間内に仮想画像を表示するように表示部を制御する機能と、前記仮想画像が所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、かつ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させる機能と、を実現させるためのプログラムが提供される。
 以上説明したように本開示によれば、立体視におけるユーザの負担をより軽減させることが可能である。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
ISO9241-392において推奨される乖離量の範囲における調節距離と輻輳距離の関係を示す図である。 本開示の各実施形態に共通する情報処理装置の外観例を示す図である。 本技術による立体視画像の表示の概要を説明するための説明図である。 本開示の第1の実施形態にかかる情報処理装置1-1の構成を示すブロック図である。 同実施形態にかかる情報処理装置1-1の動作の一例を示すフローチャート図である。 同実施形態にかかる情報処理装置1-1の動作の他の例を示すフローチャート図である。 本開示の第2の実施形態にかかる情報処理装置1-2の構成を示すブロック図である。 同実施形態にかかる情報処理装置1-2の動作の一例を示すフローチャート図である。 ハードウェア構成例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 なお、説明は以下の順序で行うものとする。
 <<1.はじめに>>
  <1-1.背景>
  <1-2.本技術の概要>
 <<2.第1の実施形態>>
  <2-1.構成>
  <2-2.動作>
 <<3.第2の実施形態>>
  <3-1.構成>
  <3-2.動作>
 <<4.変形例>>
  <4-1.変形例1>
  <4-2.変形例2>
  <4-3.変形例3>
 <<5.ハードウェア構成例>>
 <<6.むすび>>
 <<1.はじめに>>
  <1-1.背景>
 本開示の実施形態についての説明にあたり、まず図面を参照しながら本開示の実施形態の創作に至った背景を説明する。
 近年、画像が三次元空間に重畳されているように視認されるよう立体視画像(仮想物体等)を表示する(以下、単に重畳させると呼ぶ場合がある)表示装置が開発されている。例えばヘッドマウントディスプレイ(以下、HMDと呼ぶ)と呼ばれるユーザの頭部に装着された表示装置を用いて、左眼用画像と右眼用画像とを、両者の間で水平方向にズレを有するように表示させて、三次元空間内に立体視画像を表示させことができる。
 なお、本明細書において、立体視画像とは、三次元空間内に表示されることでユーザが両眼視差を感じることが可能な画像を意味する。そのため、立体視画像は、三次元的な形状を有するものに限定されず、立体視画像自体は平面的であっても、三次元空間内に表示され、表示された表示位置に存在するかのようにユーザに視認されることで、ユーザが両眼視差を感じることが可能であればよい。立体視画像の内容は特に限定されないが、例えばキャラクタ、エフェクト、テキスト、ボタン等を含んでもよい。また、表示装置が立体視画像を重畳させる三次元空間は、実空間であっても、仮想空間であってもよいが、以下では、実空間内に立体視画像が表示される例を主に説明する。
 実空間内に立体視画像が表示される場合、HMDにおいて左眼用画像と右眼用画像とを表示する表示部は、例えばレンズと、光学的透過性を有する小型ディスプレイパネルを含んで構成される。かかる構成において、ユーザから(より厳密にはユーザの眼球から)ユーザが眼球でピントを合わせる(調節する)表示光の像までの距離である虚像距離(調節距離と呼ばれる場合もある)は、レンズと小型ディスプレイパネルとの位置関係に依存する。したがって、当該位置関係が固定される場合、仮想画像のピントが合う虚像距離も固定される。なお、表示部がレンズを駆動させる機構を備えることで、虚像距離を可変にすることも考えられるが、装置構成が複雑化、あるいは大型化してしまうため、以下では固定的な虚像距離を有する表示部の例について説明を行う。上記の通り、虚像距離と調節距離は実質的に対応するが、以下、主に表示装置に関して説明する文脈においては、便宜上“虚像距離”が用いられ、主に自然視に関して説明する文脈においては、便宜上“調節距離”が主に用いられる場合がある。
 一方、ユーザに与えられる奥行き感は、ユーザから(より厳密にはユーザの眼球から)立体視画像の表示位置までの距離(以下、輻輳距離と呼ぶ)、及び左眼と右眼との間の間隔(以下、瞳孔間距離と呼ぶ)とで決まる角度である輻輳角の影響を受ける。輻輳距離をD、瞳孔間距離をI、輻輳角をαとすると、以下の数式(1)の関係が成り立つ。
 Tan(α/2)=I/(2*D)…(1)
 上記数式(1)において、瞳孔間距離Iは、ユーザによって個人差があるものの、ユーザごとに固定的であるといえるため、あるユーザにとっての輻輳角αは、輻輳距離Dにより決定される。そして、輻輳距離Dにより決定された輻輳角αに応じて、ユーザの眼球が動くことになる
 ところで、実空間に存在する実物体を観察する自然視の場合、ユーザの眼球は、ユーザから実物体までの距離に合わせてピントを調節する。さらに、自然視の場合、ユーザの眼球は、当該ユーザから実物体までの距離を輻輳距離として、対応する輻輳角に応じて眼球を回旋させる。つまり自然視の場合、調節距離と、輻輳距離とが一致する。
 しかし、既存の表示装置では、先述の通り虚像距離が固定されている一方で、ユーザに奥行き感を与えるため、輻輳角を変化させるように立体視画像の表示を行う。その結果、上述した自然視の場合と異なり、ユーザの調節距離と表示装置の虚像距離とが実質的に一致する。一方で、調節距離と輻輳距離とが乖離するため、当該乖離はユーザに、違和感や不快感等の負担を与える原因となり得る。また、その結果、酔い等の症状が発生する恐れもある。
 また、ユーザの眼球運動には個人差もあるため、調節距離と輻輳距離との乖離により、融像して観察することが困難なユーザも存在し得る。このようなユーザは、近距離に存在する実物体に対しても融像し難い場合もあり、調節距離と輻輳距離とが異なる場合にはさらに融像し難い傾向が助長されることが懸念される。
 この乖離に関し、ISO9241-392において、輻輳距離が調節距離と一致した場合の輻輳角と、実際の輻輳距離に応じた輻輳角との間の乖離量を±1度以内とすることが推奨されている。図1は、ISO9241-392において推奨される乖離量の範囲における調節距離と輻輳距離の関係を示す図である。
 図1において一点鎖線で示される自然視の場合、横軸で表された調節距離と縦軸で表された輻輳距離とが一致する。この自然視の場合の輻輳角は、上述した輻輳距離が調節距離と一致した場合の輻輳角に相当する。なお、ユーザのピントが立体視画像に合っている場合、図1における自然視の場合の輻輳角は、虚像距離に対応する輻輳角と実質的に等しくなると見做されてよい。
 これに対し、輻輳距離に応じた輻輳角が自然視の場合の輻輳角に対し、1度以上大きくなる範囲は、図1において実線で表される曲線から下の領域となる。また、輻輳距離に応じた輻輳角が自然視の場合の輻輳角に対し、1度以上小さくなる範囲は、図1において破線で表される曲線から上の領域となる。つまり、ISO9241-392の推奨範囲は、図1に示す実線と破線の間の範囲となる。
 近距離に表示されるほど、輻輳角の変化が大きくなるため、図1に示すように、輻輳距離、あるいは調節距離が小さい程、推奨範囲は狭くなる。上述したようなHMDにおいて提供されるアプリケーションによっては、立体視画像の表示位置までの距離(輻輳距離)が2m以下の近距離である場合も多く、このような場合には、ユーザに違和感や不快感等の負担を与える恐れがあった。
 例えば、実空間に立体視画像を重畳させることが可能なHMDにおいて、ユーザの手の上を表示位置として立体視画像を表示させるユースケースが考えられる。この場合、ユーザの手の長さの個人差や姿勢等によって異なるものの、ユーザから立体視画像の表示位置までの距離である輻輳距離は、概ね30cmから70cmの範囲であると想定される。この輻輳距離に対応する輻輳角は7度の範囲である。
 一方、上述したように、ISO9241-392で推奨される乖離量は±1度、つまり推奨範囲は2度の範囲である。したがって、上述したユースケースを考慮して、固定的な虚像距離を有するようにHMDの表示部を設計する場合、想定される輻輳距離の全てを推奨範囲に収めるような虚像距離は存在しない。したがって、上述したユースケースでは、表示部の虚像距離が固定されている限り、ISO9241-392の推奨範囲を超えて使用される恐れがあり、ユーザに違和感や不快感等の負担を与えやすいと考えられる。
  <1-2.本技術の概要>
 そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態による情報処理装置は、立体視画像の所定の範囲外に位置すると判定される場合に、当該立体視画像に対応する右眼用画像または左眼用画像のうち一方のみを表示させることで、ユーザの負担を軽減させることが可能である。以下、このような本開示の実施形態にかかる技術(以下、本技術とも呼ぶ)の概要について、図2、図3を参照して説明を行う。以下、便宜上、調節距離と虚像距離を、統一的に“調節距離”として表現する。
 図2は、本開示の各実施形態に共通する情報処理装置の外観例を示す図である。図2に示すように、本開示の各実施形態による情報処理装置1は、例えばユーザUの頭部に装着されるメガネ型のHMDにより実現される。装着時にユーザUの眼前に位置するメガネレンズ部分に相当する表示部15は、光学的透過性を有する。
 また、図2に示すように表示部15は、立体視画像に対応する左眼用画像を表示する左眼用ディスプレイ151と、立体視画像に対応する右眼用画像を表示する右眼用ディスプレイ152とを、を有する。情報処理装置1がユーザUによって装着されるとき、図2に示すように、左眼用ディスプレイはユーザUの左眼の前に位置し、右眼用ディスプレイはユーザUの右眼の前に位置する。ただし、本技術はかかる例に限定されず、一体に形成されたディスプレイの左側に左眼用画像が表示され、当該ディスプレイの右側に右眼用画像が表示されてもよい。情報処理装置1は、表示部15に左眼用画像と右眼用画像とを表示することで、ユーザUの視線の前方に立体視画像を提示することができる。
 なお、情報処理装置1の形状は図2に示す例に限定されない。例えば情報処理装置1は、ヘッドバンド型(頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある)のHMDや、ヘルメットタイプ(ヘルメットのバイザー部分がディスプレイに相当する)のHMDであってもよい。
 図3は、本技術による立体視画像の表示の概要を説明するための説明図である。図3に示す横軸は、本開示の実施形態にかかる情報処理装置1を装着したユーザUから見て奥行方向における、情報処理装置1が表示する立体視画像までの輻輳距離を表している。
 図3に示すように、本開示の各実施形態に共通する情報処理装置1は、輻輳距離に応じて、片眼表示、または両眼表示のいずれかの表示形式で画像を表示する。なお、本開示において、両眼表示とは、表示部15に左眼用画像と右眼用画像の両方が表示される表示形式を意味し、片眼表示とは、表示部15に左眼用画像または右眼用画像のうち一方のみが表示される表示形式を意味する。なお、後述の両眼非表示とは、表示部15に左眼用画像および右眼用画像のいずれも表示されない表示形式を意味する。
 画像の表示形式が両眼表示の場合、ユーザに両眼視差を与えることが可能であり、ユーザはより立体的に観察することが可能となる。一方、画像の表示形式が片眼表示の場合、ユーザに両眼視差が与えられない代わりに、違和感や不快感等のユーザに与えられる負担を軽減させることができる。なお、立体視画像の表示位置が、三次元空間に対して固定される、あるいは三次元空間内の物体に対して所定の位置関係で固定される場合には、画像の表示形式が両眼表示であるか片眼表示であるかにかかわらず、運動視差による立体感をユーザに提供することが可能である。
 図3に示す例によれば、輻輳距離が第1の距離D1以上かつ第2の距離D2以下の場合に、画像の表示形式が両眼表示となり、輻輳距離が第1の距離D1未満の場合、あるいは第2の距離D2より大きい場合に、画像の表示形式が片眼表示となる。つまり、図3に示すように、第1の距離D1以上かつ第2の距離D2以下の範囲を所定の範囲R1とすると、情報処理装置1の表示形式は、立体視画像が所定の範囲R1内である場合に両眼表示、所定の範囲R1外である場合に片眼表示となる。なお、第1の距離D1未満の第3の距離を設定し、輻輳距離が0以上第3の距離未満である場合に、両眼非表示としてもよい。
 ここで、所定の範囲R1を規定する第1の距離D1、及び第2の距離D2は、表示部15が固定的に有する調節距離に対して所定の関係を有するように設定されてもよい。例えば、第1の距離D1は、表示部15が固定的に有する調節距離に対し、当該調節距離における自然視の場合の輻輳角に対して所定角度大きい輻輳角に対応する輻輳距離であるような関係を有してもよい。また、第2の距離D2は、表示部15が固定的に有する調節距離に対し、当該調節距離における自然視の場合の輻輳角に対して所定角度小さい輻輳角に対応する輻輳距離であるような関係を有してもよい。
 望ましくは、第1の距離D1、及び第2の距離D2は、所定の範囲R1が図1を参照して説明した推奨範囲と対応するように、設定され得る。第1の距離D1は、例えば上述した自然視の場合の輻輳角に対して1度大きい輻輳角に対応する輻輳距離(以下、輻輳角+1度の輻輳距離とも呼ぶ)であることが望ましい。また、第2の距離D2は、例えば上述した自然視の場合の輻輳角に対して1度小さい輻輳角に対応する輻輳距離(以下、輻輳角-1度の輻輳距離とも呼ぶ)であることが望ましい。以下に示す表1は、調節距離、調節距離と輻輳距離が一致する自然視の場合の輻輳角、及び輻輳角±1度の輻輳距離の関係を示す表である。なお、表1の輻輳角は、左右の瞳孔間距離が63.5mmの場合の試算であり、ユーザ個々人の瞳孔間距離に応じて、増減し得る。
Figure JPOXMLDOC01-appb-T000001
 表1によれば、例えば調節距離が5mである場合、図1の推奨範囲において近距離の限界である輻輳角+1度の輻輳距離は2.11mであり、遠距離の限界である輻輳角-1度の輻輳距離は無限遠である。また、調節距離が2mである場合、図1の推奨範囲において近距離の限界である輻輳角+1度の輻輳距離は1.29mであり、遠距離の限界である輻輳角-1度の輻輳距離は4.4mである。
 このような輻輳角+1度の輻輳距離、及び輻輳角-1度の輻輳距離の各々を第1の距離D1、及び第2の距離D2として設定することにより、図1の推奨範囲から外れるような場合には、画像の表示形式が片眼表示となり、ユーザの負担が軽減される。ただし、本技術はかかる例に限定されず、例えば、輻輳角+1度の輻輳距離よりも小さい距離が第1の距離D1として設定され、輻輳角-1度の輻輳距離よりも大きい距離が第2の距離D2として設定されてもよい。
 以上、本開示にかかる技術の概要について説明した。続いて、本開示の各実施形態について、より詳細に説明する。
 <<2.第1の実施形態>>
  <2-1.構成>
 まず、本開示の第1の実施形態にかかる情報処理装置1の構成について、より詳細に説明する。なお、以下では、本開示の第1の実施形態にかかる情報処理装置1を、情報処理装置1-1と呼称する。
 図4は、本開示の第1の実施形態にかかる情報処理装置1-1の構成を示すブロック図である。図4に示すように、本実施形態にかかる情報処理装置1-1は、制御部12-1、通信部13、表示部15、操作入力部16、及び記憶部17を有する。以下では、まず情報処理装置1-1の全体的な構成について説明した後に、制御部12-1の機能についてより詳細に説明する。
 制御部12-1は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1-1内の動作全般を制御する。また、本実施形態による制御部12-1は、図4に示すように、判定部121、及び表示制御部123として機能する。制御部12-1の判定部121、及び表示制御部123としての機能については後述する。
 通信部13は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部13は、例えば有線LAN(Local Area Network)、無線LAN、Wi-Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離/非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
 表示部15は、後述する表示制御部123に制御されて、実空間(三次元空間の一例)内に立体視画像を表示する。図2を参照して説明したように、表示部15は、光学的透過性を有し、かかる構成により立体視画像を実空間内に重畳させることが可能となる。
 また、本実施形態にかかる表示部15は、上述したように固定的な調節距離(虚像距離)を有する。なお、本明細書において、表示部15が固定的な調節距離を有するとは、表示部15とユーザの両眼との位置関係が固定された状態において、調節距離が固定的であることを意味する。なお、例えば手動調整により調節距離を変化させることが可能であったとしても、ユーザによる観察中や、ユーザの装着中に調節距離が自動的に変化しない構成である場合には、調節距離は固定的であるとみなされる。
 また、図4に示すように、本実施形態にかかる表示部15は、図2を参照して説明した左眼用ディスプレイ151と、右眼用ディスプレイ152とを含む。左眼用ディスプレイ151と、右眼用ディスプレイ152とは、後述する表示制御部123によって独立に制御され得る。
 例えば、左眼用ディスプレイ151が立体視画像に対応する左眼用画像を表示している間、右眼用ディスプレイ152は何も表示しなくてもよいし、あるいは立体視画像と無関係な画像、例えば後述する代替画像等を表示していてもよい。また、左眼用ディスプレイ151が立体視画像に対応する左眼用画像を表示している間、右眼用ディスプレイ152に対する電力供給が低減されてもよい。なお右眼用ディスプレイ152に対する電力供給が低減されるとは、例えば右眼用ディスプレイ152の電源がOFFとなり、右眼用ディスプレイ152への電力供給が停止されることだけでなく、右眼用ディスプレイ152が、電力消費を低減させる省電力モードに移行することを含む。なお、上述した右眼用ディスプレイ152に関する制御が、左眼用ディスプレイ151に対しても行われ得ることは当然である。
 操作入力部16は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
 記憶部17は、制御部12-1が各機能を実行するためのプログラムやパラメータを記憶する。例えば記憶部17には、後述する表示制御部123が表示させる立体視画像に対応する左眼用画像、及び右眼用画像、並びに立体視画像に関するパラメータ等が記憶されていてもよい。また、記憶部17には、後述するユーザ情報が記憶されていてもよい。
 以上、情報処理装置1-1の全体的な構成について説明した。続いて、制御部12-1の機能についてより詳細に説明する。
 判定部121は、表示部15によって実空間内に表示される立体視画像が所定の範囲外に位置するか否かを判定する。判定部121は、例えば、立体視画像が図3を参照して説明した所定の範囲R1を判定に用い、立体視画像が所定の範囲R1外に位置するか否かを判定してもよい。つまり、判定部121により判定に用いられる所定の範囲R1は、ユーザから第1の距離D1以上かつ第2の距離D2以下の範囲であってもよい。図3を参照して上述したように、所定の範囲R1は、表示部15が固定的に有する調節距離に対して所定の関係を有する第1の距離D1、及び第2の距離D2に基づく範囲である。
 なお、ここで、ユーザからの距離とは、例えばユーザの両眼の中間位置からの距離であることが望ましいが、必ずしも厳密である必要はなく、ユーザの頭部位置からの距離がユーザからの距離として用いられてもよい。あるいは、図2を参照して説明したように、情報処理装置1-1は、ユーザに装着されて用いられるため、情報処理装置1-1からの距離等がユーザからの距離として用いられてもよい。
 判定部121は、実空間における立体視画像の表示位置が所定の範囲R1外であるか否かにより、立体視画像が所定の範囲R1外に位置するか否かを判定してもよい。なお、立体視画像の表示位置の特定方法は、例えば情報処理装置1-1が提供するアプリケーション等に依存するものであり、本実施形態において特に限定されるものではない。立体視画像の表示位置は、表示制御部123、あるいは制御部12-1の不図示の機能により特定されてもよいし、記憶部17に記憶されたパラメータにより特定されてもよい。
 また、上述したように、立体視画像自体が三次元的な形状を有し、例えば立体視画像内で奥行きに差がある場合がある。かかる場合、立体視画像の表示位置として特定された位置が所定の範囲R1内であったとしても、立体視画像の一部分が所定の範囲R1内に含まれないことにより、当該一部分がユーザに負担を与える恐れがある。そこで、判定部121は、立体視画像の少なくとも一部が所定の範囲R1内に含まれない場合、当該立体視画像が所定の範囲R1外に位置すると判定してもよい。
 なお、判定部121による、立体視画像が所定の範囲外に位置するか否かの判定方法は上述した例に限定されない。例えば、判定部121は、立体視画像の重心位置が所定の範囲R1外であるか否かにより、立体視画像が所定の範囲R1外に位置するか否かを判定してもよい。あるいは、判定部121は、立体視画像の種別に基づいて、立体視画像が所定の範囲外に位置するか否かを判定してもよい。例えば、判定部121は、記憶部17に記憶されたパラメータ等により、ユーザの至近距離に表示することが予め決められている種別の立体視画像について、所定の範囲R1外に位置すると判定してもよい。また、判定部121は、立体視画像が所定の範囲よりも近距離に位置すると判定した場合に、立体視画像が所定の範囲外に位置すると判定してもよい。
 表示制御部123は、実空間(三次元空間の一例)内に立体視画像を表示するように表示部15を制御する。また、本実施形態にかかる表示制御部123は、上述した判定部121による判定に基づいて、表示部15を制御する。表示制御部123は、上述したように表示部15に含まれる左眼用ディスプレイ151と、右眼用ディスプレイ152とを独立に制御可能であってもよい。表示制御部123は、立体視画像に対応する左眼用画像を左眼用ディスプレイ151に表示させ、立体視画像に対応する右眼用画像を右眼用ディスプレイ152に表示させることで、実空間内に立体視画像を表示するように表示部15を制御し得る。
 本実施形態にかかる表示制御部123は、判定部121による判定結果に応じて、表示形式を切り替えて、立体視画像を表示させる。例えば、表示制御部123は、判定部121により、立体視画像が所定の範囲内に位置すると判定された場合に、両眼表示で立体視画像を表示させる。つまり、表示制御部123は、判定部121により、立体視画像が所定の範囲内に位置すると判定された場合に、立体視画像に対応する左眼用画像を左眼用ディスプレイ151に表示させ、立体視画像に対応する右眼用画像を右眼用ディスプレイ152に表示させる。また、表示制御部123は、判定部121により、立体視画像が所定の範囲外に位置すると判定された場合に、片眼表示で立体視画像を表示させる。つまり、表示制御部123は、判定部121により、立体視画像が所定の範囲外に位置すると判定された場合に、当該立体視画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを表示部15に表示させる。かかる構成により、表示形式が両眼表示だとユーザに負担をかける恐れのある立体視画像が表示される場合に、画像の表示形式が片眼表示に切り替えられ、ユーザの負担が軽減される。
 また、本実施形態にかかる表示制御部123は、立体視画像が所定の範囲外に位置すると判定された場合に表示部15に表示させる一方の画像を決定する。かかる一方の画像の決定は、多様な方法で行われ得る。
 例えば、表示制御部123は、予め設定されたユーザ情報に基づいて、表示部15に表示させる一方の画像を決定してもよい。ここでユーザ情報は、情報処理装置1-1を装着したユーザに関する情報であり、例えば上述した記憶部17に記憶されていてもよいし、操作入力部16を介してユーザにより入力されてもよい。また、ユーザ情報は、例えば当該ユーザの利き眼を示す情報を含んでもよい。なお、利き眼とは、当該ユーザがよりよく使う側の眼、あるいはユーザがより好んで使う側の眼のことである。利き眼は、周知の手法により判定され得る。当該周知の手法はデバイスを一切用いずに行われうる手法であるが、表示制御部123が利き眼を判定するためのガイド情報を表示部15に表示させてもよい。具体的には、表示制御部123は、まず、例えば“特定の実オブジェクトに指が重なって見える状態を維持してください”といったメッセージを表示部15に表示させる。このメッセージは、音声によりユーザに提示されてもよい。その後、左眼用ディスプレイ151に左眼の視界を略全体的に遮る遮蔽画像を表示し、続いて、左眼用ディスプレイ151の遮蔽画像を削除して右眼用ディスプレイ152に右眼の視界を略全体的に遮る遮蔽画像を表示する。ユーザはこれら左眼用遮蔽画像、右眼用遮蔽画像を視認することで、自身の利き眼を判断することができる。なお、ユーザの利き眼に関する情報は、ユーザによっていずれかの入力手段を介して記憶部17に記録されてもよい。
 表示制御部123は、立体視画像が所定の範囲外に位置すると判定された場合に、左眼用画像または右眼用画像のうち、利き眼に対応する画像のみを表示部15に表示させてもよい。例えば、表示制御部123は、ユーザの利き眼が左眼である場合に左眼用画像のみを表示部15に表示させ、ユーザの利き眼が右眼である場合に右眼用画像のみを表示部15に表示させてもよい。かかる構成により、画像の表示形式が片眼表示の場合であっても、ユーザはより快適に立体視画像を見ることが可能となる。
 あるいは、表示制御部123は、ユーザの視界に対する立体視画像の表示位置に基づいて、表示部15に表示させる一方の画像を決定してもよい。例えば、表示制御部123は、立体視画像の表示位置がユーザの視界の中心方向に対して左側である場合には左眼用画像のみを表示させ、表示位置がユーザの視界の中心方向に対して右側である場合には右眼用画像のみを表示させてもよい。なお、ここで、ユーザの視界の中心は、情報処理装置1-1の向きに応じて決定されてもよい。また、立体視画像の表示位置がユーザの視界の中心方向に対して右側であるか左側であるかは、立体視画像に対応する左眼用画像、及び右眼用画像に基づいて判定することも可能である。
 また、本実施形態にかかる表示制御部123は、表示部15への電力供給を制御することにより、片眼表示を実現してもよい。例えば、表示制御部123は、立体視画像が所定の範囲外に位置すると判定された場合に、左眼用ディスプレイ151または右眼用ディスプレイ152のうち一方への電力供給を低減させることで、片眼表示を実現してもよい。なお、上述したように、電力供給を低減させるとは、電力供給を停止させることだけでなく、電力消費を低減させる省電力モードに移行させることを含む。かかる構成によれば、電力消費を低減させることが可能となる。
 あるいは、表示制御部123は、立体視画像が所定の範囲外に位置すると判定された場合に、左眼用画像または右眼用画像のうち表示部15に表示されない方の画像に代えて、代替画像を表示部15に表示させることで、片眼表示を実現してもよい。代替画像は、ユーザにとって視認性の低い画像であることが望ましい。また、代替画像は、表示部15の特性に応じて用意された画像であってよく、例えば真っ黒な画像であってもよいし、真っ白な画像であってもよい。すなわち、代替画像は、表示されない他方の画像よりも情報量の少ない画像であればよい。かかる構成によれば、例えば左眼用ディスプレイ151と右眼用ディスプレイ152への電力供給を制御することができない場合であっても、片眼表示を実現することが可能である。
  <2-2.動作>
 以上、本開示の第1の実施形態にかかる情報処理装置1-1の構成例について説明した。続いて、本実施形態にかかる情報処理装置1-1の動作例について説明する。なお、以下では、まず、図5を参照して、本実施形態の基本的な動作例を説明した後、図6を参照して、立体視画像の表示位置に基づいて、表示部15に表示させる一方の画像が決定される場合の動作例について説明する。
 図5は、本実施形態にかかる情報処理装置1-1の動作の一例を示すフローチャート図である。図5を参照すると、まず立体視画像の表示位置が特定される(S104)。ステップS104における立体視画像の表示位置の特定は、例えば表示制御部123により行われてもよいし、制御部12-1の不図示の機能により行われてもよい。
 続いて、判定部121により、立体視画像が所定の範囲外に位置するか否かが判定される(S108)。判定部121により、立体視画像が所定の範囲外に位置すると判定された場合(S108においてYES)、表示制御部123は、両眼表示で立体視画像を表示させるように表示部15を制御する(S112)。
 一方、判定部121により、立体視画像が所定の範囲外に位置すると判定された場合(S108においてNO)、表示制御部123は、片眼表示で立体視画像を表示させるように表示部15を制御する(S116)。
 以上、本実施形態の基本的な動作例について説明した。なお、ステップS116において、表示制御部123は、上述したようにユーザ情報に基づいて、例えば左眼用画像と右眼用画像のうちユーザの利き眼に対応する画像のみを表示部15に表示させてもよい。あるいは、表示制御部123は、左眼用画像と右眼用画像のうち予め決められた一方の画像のみを表示部15に表示させてもよい。
 また、表示制御部123は、上述したように立体視画像の表示位置に基づいて、表示部15に表示させる一方の画像を決定することも可能である。ここで、図6を参照して、立体視画像の表示位置に基づいて、表示部15に表示させる一方の画像が決定される場合の動作例について説明する。
 図6は、本実施形態にかかる情報処理装置1-1の動作の他の例を示すフローチャート図である。図6のステップS104~S112は、図5のステップS104~S112と同一であるため、説明を省略する。
 ステップS108において、立体視画像が所定の範囲外に位置すると判定された場合、ステップS120において、表示制御部123が、ユーザの視界に対する立体視画像の表示位置に応じて、表示部15に表示される一方の画像を決定する。
 立体視画像の表示位置がユーザの視界の中心方向に対して左側である場合、表示制御部123は、左眼用画像のみを表示部15に表示させる(S124)。一方、立体視画像の表示位置がユーザの視界の中心方向に対して右側である場合、表示制御部123は、右眼用画像のみを表示部15に表示させる(S128)。
 <<3.第2の実施形態>>
 以上、本開示の第1の実施形態について説明した。続いて、本開示の第2の実施形態について説明する。以下に説明する本開示の第2の実施形態では、センシングに基づいてトリガが検出された場合に、立体視画像が所定の範囲外に位置するか否か判定される。例えば、所定のユーザ動作がトリガとして検出され得る。
 本実施形態によれば、例えばトリガに応じて表示される時計や操作メニュー等のUI(User Interface)の立体視画像に関する表示形式をより適切に切り替えることが可能となる。このようなUIを表示させる場合、迫力や臨場感等を楽しむことよりも、例えばユーザがより正確に情報を視認可能であること(視認性)や、ユーザが快適に操作可能であること(操作性)が重視されると考えられる。したがって、本実施形態によれば、視認性や操作性がより重視されるような立体視画像を表示させる場合に、よりユーザの負担を低減させつつ視認性や操作性を向上させることが可能となる。以下、このような効果を実現するための、本実施形態の構成と動作について、順次より詳細に説明する。
  <3-1.構成>
まず、本開示の第2の実施形態にかかる情報処理装置1の構成について、より詳細に説明する。なお、以下では、本開示の第2の実施形態にかかる情報処理装置1を、情報処理装置1-2と呼称する。
 図7は、本開示の第2の実施形態にかかる情報処理装置1-2の構成を示すブロック図である。図7に示すように、本実施形態にかかる情報処理装置1-2は、センサ部11、制御部12-2、通信部13、表示部15、操作入力部16、及び記憶部17を有する。なお、図7に示す構成のうち、通信部13、表示部15、操作入力部16、及び記憶部17の構成は、図4を参照して説明した通信部13、表示部15、操作入力部16、及び記憶部17の構成と実質的に同一であるため、ここでの詳細な説明は省略する。
 センサ部11は、情報処理装置1-2を装着するユーザ、及び周囲の環境に関するセンサ情報をセンシングにより取得する。センサ部11は、例えばユーザの視界を撮像するカメラ、距離を測定するデプスセンサ、加速度を検出する加速度センサ、角速度を検出するジャイロセンサ等のセンサを含んでよい。なお、センサ部11に含まれるセンサはかかる例に限定されず、センサ部11は、視線センサ、地磁気センサ、力センサ、生体センサ、マイクロフォン等をさらに含んでもよい。
 制御部12-2は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1-2内の動作全般を制御する。また、本実施形態による制御部12-2は、図4に示すように、検出部125、判定部127、及び表示制御部129として機能する。
 検出部125は、センサ部11のセンシングにより取得されたセンサデータに基づく検出を行う。検出部125は、検出により得られた情報を、判定部127、及び表示制御部129へ提供する。
 検出部125は、例えばセンサ部11に含まれるカメラやデプスセンサのセンシングにより取得されたセンサデータに基づいて、実空間に存在する実物体を検出する。例えば、検出部125は、カメラの撮像により得られた画像、デプスセンサにより取得された距離情報に基づいて、ユーザの手や腕等を検出してもよい。なお、検出部125が検出する実物体は、かかる例に限定されず、例えば情報処理装置1-2が提供するアプリケーション等に依存し得る。より具体的には、アプリケーション毎に定められた、ユーザから近距離にある実質的に平らな面を有する物体等であってもよい。これは、一般的には、平らな面への仮想画像の定位の精度は、平らではない面への定位の精度よりも高いためである。また、検出部125は、検出された実物体の位置、角度、及び当該実物体までの距離に関する情報を、カメラの撮像により得られた画像や、デプスセンサにより取得された距離情報に基づいて特定してもよい。
 また、検出部125は、センサ部11に含まれるカメラやデプスセンサ、加速度センサ、ジャイロセンサ等のセンシングにより取得されたセンサデータに基づいて、ユーザ動作を検出してもよい。
 例えば、検出部125は、ユーザが下を向くユーザ動作や、腕または手を視界内に入れるユーザ動作を検出することができる。例えば、腕時計を見るようなユーザ動作を以下のように検出することができる。かかるユーザ動作において、ユーザの顔向きはやや下方向であり、腕の動作はユーザの視線を横断するようにして手首を露出する動作であると考えられる。検出部125は、例えば加速度センサとジャイロセンサのセンシングに基づいてユーザが顔を下に向ける動作を検出し得る。そして、検出部125は、カメラの撮像により得られた画像に基づいて、ユーザの視線を横断するようにして手首を露出する動作を検出する。なお、このとき検出部125は、上述したように、腕(実物体の一例)の位置、角度、及び腕までの距離に関する情報を、カメラの撮像により得られた画像や、デプスセンサにより取得された距離情報に基づいて特定してもよい。
 また、本実施形態にかかる検出部125は、後述する判定部127、及び表示制御部129に用いられるトリガを検出する。なお、判定部127、及び表示制御部129は、検出部125によりトリガが検出された場合に、後述する所定の処理を行う。
 検出部125は、例えば所定のユーザ動作をトリガとして検出してもよい。例えば、検出部125は、上述した顔を下に向けるユーザ動作や、腕時計を見るようなユーザ動作を、トリガとして検出してもよい。ただしかかる動作は一例に過ぎず、トリガとして検出される所定の動作は、例えば情報処理装置1-2が提供するアプリケーション等に依存し得る。
 なお、検出部125がトリガとして検出するのは、ユーザ動作に限定されるものではない。検出部125は、所定の種類の実物体を、トリガとして検出してもよい。かかる例については変形例として後述する。
 検出部125は、トリガを検出すると、トリガが検出されたことを判定部127、及び表示制御部129へ通知する。
 判定部127は、第1の実施形態で説明した判定部121と同様に、立体視画像が所定の範囲外に位置するか否かを判定する。判定部127の判定方法や、判定に用いる所定の範囲は、上述した判定部121の判定方法や、判定に用いる所定の範囲と同様である。ただし、本実施形態にかかる判定部127は、検出部125によりトリガが検出された場合に、立体視画像が所定の範囲外に位置するか否かを判定する点において上述した判定部121と異なる。以下では、かかる点について主に説明する。
 判定部127は、検出部125によりトリガが検出された場合に、後述する表示制御部129が当該トリガの検出に応じて表示させる立体視画像が所定の範囲外に位置するか否かを判定する。例えば、後述する表示制御部129が、腕時計を見るようなユーザ動作(検出されたトリガの一例)に応じて、腕時計(UIの一例)の立体視画像をユーザの腕に重畳させるようなアプリケーションが提供されるユースケースことを考える。かかるユースケースにおいて、判定部127は、腕時計を見るようなユーザ動作がトリガとして検出された場合に、表示制御部129が表示させる当該腕時計の立体視画像が所定の範囲外に位置するか否かを判定する。
 上述したように、腕時計や操作メニュー等のUIを表示させる場合、迫力や臨場感等を楽しむことよりも、視認性や操作性が重視されると考えられる。本実施形態によれば、例えば視認性や操作性がより重視される立体視画像が表示される場合に限って、画像の表示形式を片眼表示へ切り替えるようにすることが可能となる。ただし、どのような立体視画像に対して表示形式を片眼表示へ切り替えることを可能にするかどうかは、立体視画像の表示、及び判定部127による判定のためのトリガとして何を検出するかに依存し得る。
 表示制御部129は、第1の実施形態で説明した表示制御部123と同様に、実空間内に立体視画像を表示するように表示部15を制御する。また、表示制御部129は、上述した判定部127による判定に基づいて、表示部15を制御する。表示制御部129による、判定に基づく表示部15の制御方法については、表示制御部123による、判定に基づく表示部15の制御方法と同様である。ただし、本実施形態にかかる表示制御部129は、検出部125により検出されたトリガに応じて立体視画像を表示させる点において、上述した表示制御部129と異なる。以下では、かかる点について主に説明する。
 表示制御部129は、例えば検出部125によりトリガが検出された場合に、当該トリガに応じた立体視画像を表示させる。例えば、検出部125により複数種類のトリガが検出され得る場合には、表示制御部129は、トリガの種類に応じて、異なる立体視画像を表示させてもよい。
 また、表示制御部129は、検出部125により検出された実物体の情報に基づいて、立体視画像を表示させてもよい。例えば、表示制御部129は、検出部125により検出された実物体の位置に応じた実空間内の位置に、当該実物体の角度に応じた角度で、立体視画像を表示させてもよい。
 また、表示制御部129は、検出部125により、所定のユーザ動作がトリガとして検出された場合、当該ユーザ動作に付随して検出された実物体に基づいて、当該ユーザ動作に応じた立体視画像を表示させてもよい。例えば、表示制御部129は、検出部125により検出された、腕時計を見るようなユーザ動作(トリガの一例)に応じて、腕時計の立体視画像をユーザの腕または手の上に重畳させるように、当該立体視画像を表示させてもよい。
 なお、検出部125により検出されたトリガに応じて表示される立体視画像は、判定部127による判定の対象となる。そこで、検出部125により検出されたトリガに応じて表示される立体視画像は、例えば迫力や臨場感等を楽しむことよりも、視認性や操作性が重要なものであってもよく、例えば上述した時計や操作メニュー等のUIであってもよい。このような立体視画像は、判定部127による判定の結果、両眼表示ではなく片眼表示で表示された場合であっても、迫力や臨場感が損なわれることによるデメリットは小さい。一方で、このような立体視画像は視認性や操作性が重要であるため、所定の範囲外に位置する場合には、片眼表示で表示されることにより、ユーザの負担を低減させつつ視認性や操作性を向上させることが可能となる。
 また、本実施形態にかかる表示制御部129は、検出部125により検出されたトリガに依存しない立体視画像を表示させてもよい。かかる場合、当該立体視画像については、上述した判定部127による判定の対象とはならない。そこで、検出部125により検出されたトリガに依存せずに表示される立体視画像は、例えば視認性や操作性よりも迫力や臨場感等を楽しむことが重要なものであってもよい。かかる構成によれば、迫力や臨場感等を楽しむことが重要な立体視画像は、片眼表示ではなく、両眼表示で表示されるため、ユーザに与えられる迫力や臨場感が損なわれ難い。
 以上、本実施形態による情報処理装置1-1の構成について具体的に説明した。なお、図4に示す情報処理装置1-1の構成は一例であって、本実施形態はこれに限定されない。例えば、本実施形態による制御部12-1の各機能を、制御部12-1の代わりに、通信部13を介して接続される他の情報処理装置が有していてもよい。
  <3-2.動作>
 以上、本開示の第2の実施形態にかかる情報処理装置1-2の構成例について説明した。続いて、図8を参照して、本実施形態にかかる情報処理装置1-2の動作例について説明する。図8は、本実施形態にかかる情報処理装置1-2の動作の一例を示すフローチャート図である。
 図8を参照すると、センサ部11のセンシングに基づいて、検出部125がトリガを検出する(S202)。ステップS202において、検出部125は、所定のユーザ動作をトリガとして検出すると共に、実空間に存在する実物体を検出してもよい。
 続いて、ステップS204で検出されたトリガに応じて表示される立体視画像の表示位置が特定される(S204)。ステップS204における立体視画像の表示位置の特定は、表示制御部123により行われてもよく、例えば、ステップS202において検出された実物体の位置に基づいて、立体視画像の表示位置が特定されてもよい。
 続いて、判定部127により、ステップS204で表示位置が特定された立体視画像が所定の範囲外に位置するか否かが判定される(S208)。判定部127により、立体視画像が所定の範囲外に位置すると判定された場合(S208においてYES)、表示制御部129は、両眼表示で立体視画像を表示させるように表示部15を制御する(S212)。
 一方、判定部127により、立体視画像が所定の範囲外に位置すると判定された場合(S208においてNO)、ステップS220において、表示制御部129が、ユーザの視界に対する立体視画像の表示位置に応じて、表示部15に表示される一方の画像を決定する。
 立体視画像の表示位置がユーザの視界の中心方向に対して左側である場合、表示制御部129は、左眼用画像のみを表示部15に表示させる(S224)。一方、立体視画像の表示位置がユーザの視界の中心方向に対して右側である場合、表示制御部129は、右眼用画像のみを表示部15に表示させる(S228)。
 なお、上記では、本実施形態にかかる表示制御部129が、立体視画像の表示位置に基づいて、表示部15に表示させる一方の画像が決定する例を説明したが、本実施形態はかかる例に限定されない。本実施形態にかかる表示制御部129は、第1の実施形態と同様に、ユーザ情報に基づいて表示部15に表示させる一方の画像を決定してもよいし、予め決められた一方の画像のみを表示部15に表示させてもよい。
 <<4.変形例>>
 以上、本開示の第1の実施形態、及び第2の実施形態について説明した。以下では、上記各実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で各実施形態に適用されてもよいし、組み合わせで各実施形態に適用されてもよい。また、各変形例は、各実施形態で説明した構成に代えて適用されてもよいし、各実施形態で説明した構成に対して追加的に適用されてもよい。
  <4-1.変形例1>
 上記第2の実施形態では、ユーザ動作がトリガとして検出される例を説明した。ただし、本技術はかかる例に限定されない。例えば、検出部125は、所定の種類の実物体をトリガとして検出してもよい。
 例えば、上述したように、ユーザの手の上を表示位置として立体視画像を表示させる場合、ユーザから立体視画像の表示位置までの距離である輻輳距離は、概ね30cmから70cmの範囲であると想定される。そして、上述したようにユーザの手の上を表示位置として立体視画像を表示させる場合には、ユーザに違和感や不快感等の負担を与えやすいと考えられる。
 そこで、例えば表示制御部129がユーザの手や腕の上を表示位置として立体視画像を表示させる場合、検出部125は、情報処理装置1-2を装着しているユーザの手や腕(実物体の一例)をトリガとして検出してもよい。かかる構成によれば、判定部127は、ユーザに違和感や不快感等の負担を与えやすい立体視画像が表示される場合に判定を行うことになるため、より効率的に判定を行うことが可能となる。
 また、表示部15の有する調節距離によっては、ユーザの手や腕の上のような近距離に表示される立体視画像は、ユーザの手や腕の可動範囲全体において、当該ユーザに違和感や不快感等の負担を与えやすい場合がある
 そこで、判定部127は、検出されたトリガの情報を用いて、立体視画像が所定の範囲外に位置するか否かを判定してもよい。上述したように、検出されたトリガに応じて立体視画像の種類や位置がある程度特定され得る。したがって、判定部127は、検出されたトリガに基づいて立体視画像が所定の範囲外に位置するか否かを判定してもよい。
 ユーザ動作がトリガとして検出される場合、判定部127は、第1の判定部として、当該ユーザ動作に基づいて、立体視画像が所定の範囲外に位置するか否かを判定してもよい。例えば、上述したように、腕時計を見るようなユーザ動作がトリガとして検出され、当該ユーザ動作に応じて、ユーザの腕の上に腕時計の立体視画像が重畳されるユースケースを考える。かかるユースケースにおいて、表示部15の有する調節距離によっては、ユーザの腕の可動範囲全体において、当該立体視画像は所定の範囲外に位置する場合がある。かかる場合、判定部127は、腕時計を見るような動作がトリガとして検出されたことを基に、当該立体視画像が所定の範囲外に位置する、あるいは所定の範囲よりも近距離に位置すると判定してもよい。
 また、実物体がトリガとして検出される場合、判定部127は、第2の判定部として、当該実物体に基づいて、立体視画像が所定の範囲外に位置するか否かを判定してもよい。例えば、上述したように、ユーザの手や腕の上に立体視画像が表示されるユースケースを考える。かかるユースケースにおいて、表示部15の有する調節距離によっては、ユーザの手や腕の可動範囲全体において、当該立体視画像は所定の範囲外に位置する場合がある。かかる場合、判定部127は、ユーザの手や腕がトリガとして検出されたことを基に、当該立体視画像が所定の範囲外に位置すると判定してもよい。なお、片眼表示でのみ表示が行われる仮想画像は、非立体視画像とみなされ得る。
 かかる構成によれば、判定部127の処理が簡易化され、処理量が抑制されると共に、判定にかかる時間が短縮されて、よりスムーズな表示が可能となり得る。
  <4-2.変形例2>
 上記実施形態では、情報処理装置1が光学的透過性を有する表示部を備えたHMDである例を説明したが、本技術はかかる例に限定されない。以下では、本技術が適用され得る、他の装置の例について、いくつか説明する。
 例えば、本技術は、光学的透過性を有さない表示部を備えたHMDに適用することが可能である。かかる場合、例えば、撮像装置を用いて実空間の画像を取得し、取得される実空間の画像に立体視画像を重畳させることにより得られる画像を表示する、いわゆるビデオシースルー方式のHMDに本技術が適用され得る。あるいは、実空間ではなく、仮想空間(三次元空間の一例)内に立体視画像を表示させるHMDにも本技術を適用することが可能である。
 また、本技術は、HMDではなく、設置型の表示装置による表示の制御にも適用することが可能である。例えば、立体視画像を表示させる設置型の表示装置において、センサ等を用いてユーザの位置を検出し、ユーザの位置と、表示装置の位置に基づいて、立体視画像が所定の範囲外に位置するか否かを判定し、当該判定に基づいて上述した表示制御を行い得る。なお、かかる場合、上述した調節距離はユーザの位置(厳密にはユーザの眼球の位置)と、表示装置の位置との間の距離に相当し、上述した輻輳距離は、ユーザの位置(厳密にはユーザの眼球の位置)と、立体視画像の表示位置に相当し得る。このような調節距離と輻輳距離に基づいて、所定の範囲を設定し、立体視画像が所定の範囲外に位置するか否かを判定してもよい。
  <4-3.変形例3>
 図3では、輻輳距離が第1の距離D1未満の場合には、画像の表示形式が片眼表示となるように示したが、本技術はかかる例に限定されない。例えばあまりにユーザに近すぎる位置に立体視画像を表示させる場合、仮に画像の表示形式が片眼表示であってもユーザに負担を与える恐れがある。そこで、例えば輻輳距離が第1の距離D1よりも小さい第3の距離未満の場合には、立体視画像が表示されないように、表示制御が行われてもよい。
 <<5.ハードウェア構成例>>
 以上、本開示の実施形態を説明した。最後に、図9を参照して、本開示の実施形態にかかる情報処理装置のハードウェア構成について説明する。図9は、本開示の実施形態にかかる情報処理装置1のハードウェア構成の一例を示すブロック図である。なお、図9に示す情報処理装置1は、例えば、図4、図7にそれぞれ示した情報処理装置1-1、情報処理装置1-2を実現し得る。本開示の実施形態にかかる情報処理装置1-1、情報処理装置1-2による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図9に示すように、情報処理装置1は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置1は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913、及びセンサ915を備える。情報処理装置1は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置1内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、制御部12-1、制御部12-2を形成し得る。
 CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置1の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置1のユーザは、この入力装置906を操作することにより、情報処理装置1に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置1が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置1が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば表示部15を形成し得る。
 ストレージ装置908は、情報処理装置1の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置908は、例えば、記憶部17を形成し得る。
 ドライブ909は、記憶媒体用リーダライタであり、情報処理装置1に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
 接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
 通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、通信部13を形成し得る。
 センサ915は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ915は、情報処理装置1の姿勢、移動速度等、情報処理装置1自身の状態に関する情報や、情報処理装置1の周辺の明るさや騒音等、情報処理装置1の周辺環境に関する情報を取得する。また、センサ915は、GPS信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。センサ915は、例えば、センサ部11を形成し得る。
 なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 以上、本開示の実施形態にかかる情報処理装置1の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 なお、上述のような本開示の実施形態にかかる情報処理装置1の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 <<6.むすび>>
 以上説明したように、本開示の実施形態によれば、立体視におけるユーザの負担をより軽減させることが可能である。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 三次元空間内に仮想画像を表示するように表示部を制御する表示制御部を備え、
 前記表示制御部は、前記表示部のユーザから見て前記仮想画像が奥行方向における所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、かつ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させる、
情報処理装置。
(2)
 前記所定の範囲は、前記ユーザから所定距離以上離れた範囲である、前記(1)に記載の情報処理装置。
(3)
 前記表示制御部は、前記所定の範囲において、立体視画像を前記表示部に表示させる、前記(2)に記載の情報処理装置。
(4)
 前記表示制御部は、前記仮想画像が前記所定の範囲よりも近距離に位置すると判定された場合、前記左眼用画像または前記右眼用画像のうち一方の画像のみを前記表示部に表示させる、前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
 所定のユーザ動作の検出に基づいて、前記仮想画像が前記所定の範囲よりも近距離に位置すると判定する第1の判定部をさらに備える、前記(4)に記載の情報処理装置。
(6)
 前記表示制御部は、前記所定のユーザ動作の検出に基づいて前記仮想画像が前記所定の範囲よりも近距離に位置すると判定された場合、前記左眼用画像または前記右眼用画像のうち一方の画像のみを前記表示部に表示させる、前記(5)に記載の情報処理装置。
(7)
 前記表示部は、ヘッドマウントディスプレイの表示部であり、
 前記所定のユーザ動作は、前記ユーザが下を向く動作を含む、前記(6)に記載の情報処理装置。
(8)
 前記所定のユーザ動作は、前記ユーザが腕または手を視界内に入れる動作を含む、前記(5)~(7)のいずれか一項に記載の情報処理装置。
(9)
 前記表示制御部は、前記所定のユーザ動作が検出された場合、前記左眼用画像または前記右眼用画像のうち一方の画像のみを前記ユーザの腕または手の上に前記表示部に表示させる、前記(8)に記載の情報処理装置。
(10)
 所定の実物体の検出に基づいて、前記仮想画像が前記所定の範囲よりも近距離に位置すると判定する第2の判定部をさらに備える、前記(4)に記載の情報処理装置。
(11)
 前記表示部は、実質的に固定的な虚像距離を有する、前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
 前記所定の範囲は、前記虚像距離よりも小さい第1の距離または前記虚像距離よりも大きい第2の距離の少なくとも一方と、に基づく範囲である、前記(11)に記載の情報処理装置。
(13)
 前記第1の距離および前記第2の距離は、前記虚像距離に対応する輻輳角と、前記左眼用画像と前記右眼用画像の輻輳角の差が、+1度以下かつ-1度以上となるように設定される、前記(12)に記載の情報処理装置。
(14)
 前記表示部は光学的透過性を有する、前記(11)~(13)のいずれか一項に記載の情報処理装置。
(15)
 前記三次元空間は実空間である、前記(1)~(14)のいずれか一項に記載の情報処理装置。
(16)
 前記表示制御部は、予め設定された利き眼に関する情報を含むユーザ情報に基づいて、前記表示部に表示させる前記一方の画像を決定する、前記(1)~(15)のいずれか一項に記載の情報処理装置。
(17)
 前記表示制御部は、前記仮想画像が前記所定の範囲外に位置すると判定される場合に、前記左眼用画像または前記右眼用画像のうち前記表示部に表示されない他方の画像に代えて、前記他方の画像の情報量よりも少ない情報量を有する代替画像を前記表示部に表示させる、前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
 前記表示部は、前記左眼用画像を表示する左眼用ディスプレイと、前記右眼用画像を表示する右眼用ディスプレイとを含み、
 前記表示制御部は、前記仮想画像が前記所定の範囲外に位置すると判定される場合に、前記左眼用ディスプレイまたは前記右眼用ディスプレイのうち一方への電力供給を低減させる、前記(1)~(17)のいずれか一項に記載の情報処理装置。
(19)
 三次元空間内に仮想画像を表示するようにプロセッサが表示部を制御することと、
 前記表示部のユーザから見て前記仮想画像が所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させることと、
 を含む情報処理方法。
(20)
 コンピュータに、
 三次元空間内に仮想画像を表示するように表示部を制御する機能と、
 前記仮想画像が所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、かつ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させる機能と、
 を実現させるためのプログラム。
 1 情報処理装置
 11 センサ部
 12-1、12-2 制御部
 13 通信部
 15 表示部
 16 操作入力部
 17 記憶部
 121、127 判定部
 123、129 表示制御部
 125 検出部 
 151 左眼用ディスプレイ
 152 右眼用ディスプレイ

Claims (20)

  1.  三次元空間内に仮想画像を表示するように表示部を制御する表示制御部を備え、
     前記表示制御部は、前記表示部のユーザから見て前記仮想画像が奥行方向における所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、かつ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させる、
    情報処理装置。
  2.  前記所定の範囲は、前記ユーザから所定距離以上離れた範囲である、請求項1に記載の情報処理装置。
  3.  前記表示制御部は、前記所定の範囲において、立体視画像を前記表示部に表示させる、請求項2に記載の情報処理装置。
  4.  前記表示制御部は、前記仮想画像が前記所定の範囲よりも近距離に位置すると判定された場合、前記左眼用画像または前記右眼用画像のうち一方の画像のみを前記表示部に表示させる、請求項1に記載の情報処理装置。
  5.  所定のユーザ動作の検出に基づいて、前記仮想画像が前記所定の範囲よりも近距離に位置すると判定する第1の判定部をさらに備える、請求項4に記載の情報処理装置。
  6.  前記表示制御部は、前記所定のユーザ動作の検出に基づいて前記仮想画像が前記所定の範囲よりも近距離に位置すると判定された場合、前記左眼用画像または前記右眼用画像のうち一方の画像のみを前記表示部に表示させる、請求項5に記載の情報処理装置。
  7.  前記表示部は、ヘッドマウントディスプレイの表示部であり、
     前記所定のユーザ動作は、前記ユーザが下を向く動作を含む、請求項6に記載の情報処理装置。
  8.  前記所定のユーザ動作は、前記ユーザが腕または手を視界内に入れる動作を含む、請求項5に記載の情報処理装置。
  9.  前記表示制御部は、前記所定のユーザ動作が検出された場合、前記左眼用画像または前記右眼用画像のうち一方の画像のみを前記ユーザの腕または手の上に前記表示部に表示させる、請求項8に記載の情報処理装置。
  10.  所定の実物体の検出に基づいて、前記仮想画像が前記所定の範囲よりも近距離に位置すると判定する第2の判定部をさらに備える、請求項4に記載の情報処理装置。
  11.  前記表示部は、実質的に固定的な虚像距離を有する、請求項1に記載の情報処理装置。
  12.  前記所定の範囲は、前記虚像距離よりも小さい第1の距離または前記虚像距離よりも大きい第2の距離の少なくとも一方と、に基づく範囲である、請求項11に記載の情報処理装置。
  13.  前記第1の距離および前記第2の距離は、前記虚像距離に対応する輻輳角と、前記左眼用画像と前記右眼用画像の輻輳角の差が、+1度以下かつ-1度以上となるように設定される、請求項12に記載の情報処理装置。
  14.  前記表示部は光学的透過性を有する、請求項11に記載の情報処理装置。
  15.  前記三次元空間は実空間である、請求項1に記載の情報処理装置。
  16.  前記表示制御部は、予め設定された利き眼に関する情報を含むユーザ情報に基づいて、前記表示部に表示させる前記一方の画像を決定する、請求項1に記載の情報処理装置。
  17.  前記表示制御部は、前記仮想画像が前記所定の範囲外に位置すると判定される場合に、前記左眼用画像または前記右眼用画像のうち前記表示部に表示されない他方の画像に代えて、前記他方の画像の情報量よりも少ない情報量を有する代替画像を前記表示部に表示させる、請求項1に記載の情報処理装置。
  18.  前記表示部は、前記左眼用画像を表示する左眼用ディスプレイと、前記右眼用画像を表示する右眼用ディスプレイとを含み、
     前記表示制御部は、前記仮想画像が前記所定の範囲外に位置すると判定される場合に、前記左眼用ディスプレイまたは前記右眼用ディスプレイのうち一方への電力供給を低減させる、請求項1に記載の情報処理装置。
  19.  三次元空間内に仮想画像を表示するようにプロセッサが表示部を制御することと、
     前記表示部のユーザから見て前記仮想画像が所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させることと、
     を含む情報処理方法。
  20.  コンピュータに、
     三次元空間内に仮想画像を表示するように表示部を制御する機能と、
     前記仮想画像が所定の範囲外に位置すると判定される場合に、前記仮想画像に対応する左眼用画像または右眼用画像のうち一方の画像のみを前記表示部に表示させ、かつ、前記仮想画像が前記所定の範囲内に位置すると判定される場合に、前記左眼用画像および前記右眼用画像を前記表示部に表示させる機能と、
     を実現させるためのプログラム。
PCT/JP2018/048407 2018-01-30 2018-12-28 情報処理装置、情報処理方法、及びプログラム WO2019150880A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/963,642 US11327317B2 (en) 2018-01-30 2018-12-28 Information processing apparatus and information processing method
CN201880087591.7A CN111630852A (zh) 2018-01-30 2018-12-28 信息处理设备、信息处理方法和程序
KR1020207020304A KR20200112837A (ko) 2018-01-30 2018-12-28 정보 처리 장치, 정보 처리 방법 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018013670 2018-01-30
JP2018-013670 2018-01-30

Publications (1)

Publication Number Publication Date
WO2019150880A1 true WO2019150880A1 (ja) 2019-08-08

Family

ID=67479897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/048407 WO2019150880A1 (ja) 2018-01-30 2018-12-28 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11327317B2 (ja)
KR (1) KR20200112837A (ja)
CN (1) CN111630852A (ja)
WO (1) WO2019150880A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171397A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 表示制御装置、表示装置、及び表示制御方法
WO2021200270A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021131490A (ja) * 2020-02-20 2021-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
KR102337907B1 (ko) * 2021-05-20 2021-12-09 주식회사 아진엑스텍 증강 현실 스마트 글래스 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179275A (ja) * 1994-12-21 1996-07-12 Canon Inc 表示装置及びその駆動制御方法
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP2003241100A (ja) * 2002-02-18 2003-08-27 Olympus Optical Co Ltd 偏心光学系
WO2010061689A1 (ja) * 2008-11-26 2010-06-03 日本電気株式会社 表示装置、端末装置および表示方法
JP2012019376A (ja) * 2010-07-08 2012-01-26 Sharp Corp 立体映像観賞用メガネ
JP2012109934A (ja) * 2010-10-19 2012-06-07 Panasonic Corp 立体画像表示装置
JP2013106355A (ja) * 2011-11-16 2013-05-30 Christie Digital Systems Usa Inc コリメートされたステレオディスプレイシステム
JP2014010418A (ja) * 2012-07-03 2014-01-20 Yazaki Corp 立体表示装置及び立体表示方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201130289A (en) * 2009-07-14 2011-09-01 Panasonic Corp Image reproducing apparatus
JP5499854B2 (ja) * 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8511838B2 (en) * 2011-06-29 2013-08-20 Microvision, Inc. Scanning laser projector with safety system
JP2013192196A (ja) * 2012-02-16 2013-09-26 Panasonic Corp カーソル合成装置およびカーソル合成方法
US20160131904A1 (en) * 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
WO2017022303A1 (ja) 2015-08-03 2017-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10928638B2 (en) * 2016-10-31 2021-02-23 Dolby Laboratories Licensing Corporation Eyewear devices with focus tunable lenses
US11037116B2 (en) * 2017-12-29 2021-06-15 Paypal, Inc. Payment transactions using an augmented reality device
CN108549487A (zh) * 2018-04-23 2018-09-18 网易(杭州)网络有限公司 虚拟现实交互方法与装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179275A (ja) * 1994-12-21 1996-07-12 Canon Inc 表示装置及びその駆動制御方法
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
JP2003241100A (ja) * 2002-02-18 2003-08-27 Olympus Optical Co Ltd 偏心光学系
WO2010061689A1 (ja) * 2008-11-26 2010-06-03 日本電気株式会社 表示装置、端末装置および表示方法
JP2012019376A (ja) * 2010-07-08 2012-01-26 Sharp Corp 立体映像観賞用メガネ
JP2012109934A (ja) * 2010-10-19 2012-06-07 Panasonic Corp 立体画像表示装置
JP2013106355A (ja) * 2011-11-16 2013-05-30 Christie Digital Systems Usa Inc コリメートされたステレオディスプレイシステム
JP2014010418A (ja) * 2012-07-03 2014-01-20 Yazaki Corp 立体表示装置及び立体表示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171397A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 表示制御装置、表示装置、及び表示制御方法
WO2021200270A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、及び情報処理方法
DE112021002069T5 (de) 2020-03-31 2023-01-19 Sony Group Corporation Informationsverarbeitungvorrichtung und informationsverarbeitungsverfahren

Also Published As

Publication number Publication date
CN111630852A (zh) 2020-09-04
US11327317B2 (en) 2022-05-10
KR20200112837A (ko) 2020-10-05
US20210063746A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US10009542B2 (en) Systems and methods for environment content sharing
JP6572893B2 (ja) 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
KR101845350B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
WO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6459421B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6337418B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2017165035A1 (en) Gaze-based sound selection
JP6369005B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6277673B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US11487354B2 (en) Information processing apparatus, information processing method, and program
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US20200202161A1 (en) Information processing apparatus, information processing method, and program
CN110998666B (zh) 信息处理装置、信息处理方法以及程序
JPWO2016013272A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
JP2014187574A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6341759B2 (ja) 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
JP2018195172A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
US10834382B2 (en) Information processing apparatus, information processing method, and program
JP6683218B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN111566597A (zh) 信息处理设备、信息处理方法和程序
US20230015732A1 (en) Head-mountable display systems and methods
US20220270330A1 (en) Information processing device, information processing method, and program
JP6275809B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18904299

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18904299

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP