WO2022254833A1 - 情報処理装置、情報処理方法及びプログラムを記録した記録媒体 - Google Patents

情報処理装置、情報処理方法及びプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2022254833A1
WO2022254833A1 PCT/JP2022/008177 JP2022008177W WO2022254833A1 WO 2022254833 A1 WO2022254833 A1 WO 2022254833A1 JP 2022008177 W JP2022008177 W JP 2022008177W WO 2022254833 A1 WO2022254833 A1 WO 2022254833A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
viewpoint position
user
information processing
phase
Prior art date
Application number
PCT/JP2022/008177
Other languages
English (en)
French (fr)
Inventor
仕豪 温
雅人 赤尾
佳明 神山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022254833A1 publication Critical patent/WO2022254833A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a recording medium recording a program.
  • VR virtual reality
  • HMD head-mounted display
  • rendering is performed based on the detected positions of the user's head and eyes.
  • Eye position is constantly moving. Therefore, there is a time lag (latency) between the detection of the position of the user's head and eyes and the display of the image, and as a result, the actual movement of the user's head and eyes when viewing the displayed image.
  • the problem arises that the positions are different from the user's head and eye positions used for rendering, making it difficult to provide the user with a smooth viewing experience.
  • Time warp processing exists as a way to deal with such problems.
  • Time warp processing detects the positions of the user's head and eyes immediately before displaying the image after the image is generated by rendering, and compensates for the displayed image based on the detected positions. This technology reduces the gap between the position of the head and eyes at the time of viewing and the displayed image.
  • AR augmented reality
  • CGH computer-generated holograms
  • the present disclosure proposes an information processing device, an information processing method, and a recording medium that records a program that can suppress deterioration of the user's viewing experience.
  • an information processing apparatus includes a viewpoint position acquisition unit that acquires a viewpoint position of a user, a rendering unit that generates a rendering image based on the viewpoint position, and A wavefront propagation unit that generates a propagation signal representing a hologram based on a rendered image; a phase signal generation unit that generates a first phase signal for displaying a hologram based on the propagation signal; a correction unit that performs correction based on the current viewpoint position of the user acquired by the viewpoint position acquisition unit.
  • FIG. 1 is a schematic diagram for explaining the outline of a hologram display system according to a first embodiment
  • FIG. 1 is a simplified schematic diagram of a hologram display system according to a first embodiment
  • FIG. FIG. 3 is a diagram obtained by rotating the schematic diagram shown in FIG. 2
  • 1 is a block diagram showing a schematic configuration example of a hologram display system according to a first embodiment
  • FIG. 4 is a flowchart showing an operation example of the hologram display system according to the first embodiment
  • 6 is a diagram showing a specific example for explaining step S102 of FIG. 5 according to the first embodiment
  • FIG. FIG. 4 is a diagram showing an example of RGB image data according to the first embodiment
  • FIG. 4 is a diagram for explaining a case where a user's viewpoint position changes between time T1 and time T2 according to the first embodiment;
  • FIG. 4 is a diagram showing an example of a linear phase pattern in the x direction according to the first embodiment;
  • FIG. 10 is a diagram showing an example of a phase pattern when the compensating phase pattern shown in FIG. 9 has a period of 0 to 2 ⁇ ;
  • 11 is a two-dimensional image expressing the compensating phase pattern shown in FIG. 10 in grayscale;
  • FIG. 4 is a diagram for explaining a case where a user's viewpoint position changes between time T1 and time T2 according to the first embodiment;
  • FIG. 4 is a diagram showing an example of a linear phase pattern in the x direction according to the first embodiment;
  • FIG. 10 is a diagram showing an example of a phase pattern when the compensating phase pattern shown
  • FIG. 9 is a timing chart for explaining the operation flow according to Modification 1 of the first embodiment
  • FIG. FIG. 10 is a diagram showing an example of a pre-computed one-dimensional compensation phase pattern according to Modification 3 of the first embodiment
  • 15 is a two-dimensional image obtained by two-dimensionally representing the compensating phase pattern shown in FIG. 14
  • FIG. 11 is a diagram showing an example of a y-direction compensating phase pattern according to Modification 4 of the first embodiment
  • FIG. 11 is a diagram showing an example of compensation phase patterns in the x-direction and the y-direction according to Modification 4 of the first embodiment
  • FIG. 11 is a block diagram showing a schematic configuration example of a hologram display system according to a second embodiment
  • FIG. 9 is a flowchart showing an operation example of the hologram display system according to the second embodiment
  • FIG. 11 is a schematic diagram for explaining an outline of an AR HUD system using CGH according to the third embodiment
  • 1 is a block diagram showing a hardware configuration example of an information processing apparatus according to an embodiment
  • an information processing apparatus, an information processing method, and a recording medium storing a program according to a first embodiment of the present disclosure will be described in detail with reference to the drawings.
  • an AR device using an optical see-through HMD is exemplified as a hologram display system to which the information processing apparatus, information processing method, and program according to the embodiment are applied. is not limited to
  • FIG. 1 is a schematic diagram for explaining the outline of the hologram display system according to this embodiment.
  • (A) to (F) indicate respective schematic positions.
  • this embodiment exemplifies a hologram display system 1 including a light source 11, an enlarging optical system composed of a plurality of lenses 12 and 13, a beam splitter 14, and a spatial light modulator 15. do.
  • a laser beam L1 emitted from a light source 11 at position (D) is converted into coherent light L2 with an enlarged beam diameter by an expansion optical system composed of a plurality of lenses 12 and 13 at position (C). be done.
  • the coherent light L 2 passes through the beam splitter 14 and enters the spatial light modulator 15 .
  • a reflective SLM is exemplified as the spatial light modulator 15, but it is not limited to this, and may be a transmissive SLM. Also, in this description, a phase-only SLM is exemplified, but the present invention is not limited to this, and an amplitude-only SLM may be used.
  • the coherent light L2 is modulated by the spatial light modulator 15 so as to display a hologram at a desired display position (E) in real space.
  • the beam splitter 14 at the position (B) is arranged so that a viewer (hereinafter referred to as a user) 19 at the position (viewpoint position (F)) can observe the hologram 18 reproduced by the spatial light modulator 15. For example, Projected at the display position (E) on the real space. A user 19 at the viewpoint position (F) can see the hologram 18 superimposed on the real space seen through the beam splitter 14 by observing the direction of the display position (E).
  • the hologram display system can make a virtual object or the like appear in the real space, direct an object in the real space with a special effect or the like, or present predetermined information to the user. experience can be provided.
  • FIG. 1 the schematic diagram of the hologram display system 1 illustrated in FIG. 1 can be simplified as shown in FIG.
  • the spatial light modulator 15 of FIG. 1 which was of a reflective type, is changed to a transmissive type.
  • FIG. 3 is a diagram rotated 90 degrees to the right to make the schematic diagram shown in FIG. 2 easier to see.
  • FIG. 4 is a block diagram showing a schematic configuration example of the hologram display system according to this embodiment.
  • the hologram display system 1 includes a viewpoint position acquisition unit 110, a rendering unit 120, a wavefront propagation unit 130, a viewpoint position change calculation unit 140, and a correction signal generation unit 150. , a complex signal synthesizing unit 160 , an interference fringe transforming unit 170 , and an output device 180 .
  • the complex signal synthesizing unit 160 and the interference fringe transforming unit 170 can correspond to, for example, an example of the phase signal generating unit in the scope of claims.
  • the viewpoint position change calculation unit 140 and the correction signal generation unit 150 can correspond to an example of the correction unit in the claims, for example.
  • the viewpoint position acquisition unit 110 receives input from a sensor such as an IMU (Inertial Measurement Unit) provided in an HMD worn on the head of the user 19 or a camera that acquires images of the eyes and face of the user 19, for example. Based on the information, information about the viewpoint position (F) of the user 19 (hereinafter referred to as viewpoint position information) is acquired.
  • a sensor such as an IMU (Inertial Measurement Unit) provided in an HMD worn on the head of the user 19 or a camera that acquires images of the eyes and face of the user 19, for example.
  • viewpoint position information information about the viewpoint position (F) of the user 19
  • the viewpoint position information may be the position of the viewpoint of the user 19 in the physical space. Further, the position of the viewpoint of the user 19 in the physical space may be the position of both eyes or one eye of the user 19 in the physical space, or the position of the head of the user 19 in the physical space. good too.
  • the viewpoint position information may include information regarding the orientation of both eyes or one eye or the head of the user 19 in addition to the information regarding the position of the user's 19 eyes or one eye or the head.
  • the viewpoint position acquisition unit 110 may acquire the viewpoint position of the user 19 in the physical space by SLAM (Simultaneous Localization and Mapping). Furthermore, the viewpoint position acquisition unit 110 predicts the viewpoint position after a predetermined time (for example, a preset time) has elapsed from the current viewpoint position (F), and acquires this predicted viewpoint position as the user's viewpoint position.
  • SLAM Simultaneous Localization and Mapping
  • the rendering unit 120 renders the three-dimensional image information 101 of the object displayed as a hologram based on the viewpoint position information input from the viewpoint position acquisition unit 110, thereby obtaining RGB image data representing the texture of the object and Generate a depth map representing depth.
  • a set of RGB image data and a depth map indicating the depth value of each pixel of the RGB image data is also called RGB+D image data or rendered image.
  • the wavefront propagation unit 130 propagates the RGB+D image data generated by the rendering unit 120 to generate a propagation signal of the hologram pattern displayed by the spatial light modulator 15 .
  • the viewpoint position change calculation unit 140 calculates the viewpoint position information acquired by the viewpoint position acquisition unit 110 when the rendering unit 120 renders the three-dimensional image information 101 (that is, the viewpoint position information used by the rendering unit 120 for rendering the three-dimensional image information 101).
  • the difference between the viewpoint position (F) of the user 19 in the viewpoint position information acquired by the viewpoint position acquisition unit 110 and the viewpoint position of the user 19 in the current viewpoint position information acquired by the viewpoint position acquisition unit 110 is It is calculated as a viewpoint position change amount.
  • the correction signal generation unit 150 generates a correction signal for correcting the propagation signal of the hologram pattern generated by the wavefront propagation unit 130 based on the viewpoint position change amount calculated by the viewpoint position change calculation unit 140 .
  • the complex signal synthesizing unit 160 synthesizes the propagation signal generated by the wavefront propagating unit 130 and the correction signal generated by the correction signal generating unit 150 to generate a complex signal of the hologram pattern.
  • the interference fringe conversion unit 170 converts the complex signal generated by the complex signal synthesis unit 160 to generate a phase signal for displaying the hologram pattern on the spatial light modulator 15 .
  • the output device 180 displays the phase signal generated by the interference fringe converter 170 on the spatial light modulator 15 . As a result, the hologram is superimposed on the real space and displayed to the user 19 .
  • FIG. 5 is a flowchart showing an operation example of the hologram display system according to this embodiment.
  • the operation of the hologram display system 1 includes a first half step S100 of generating a propagation signal of the hologram pattern based on the viewpoint position (F) of the user 19 at a certain time (time T1);
  • the hologram pattern is corrected based on the viewpoint position (F′) of the user 19 at the time immediately before the display (time T2), and the second half step S200 of displaying the corrected hologram pattern.
  • a first half step S100 of generating a propagation signal of the hologram pattern based on the viewpoint position (F) of the user 19 at a certain time (time T1) The hologram pattern is corrected based on the viewpoint position (F′) of the user 19 at the time immediately before the display (time T2), and the second half step S200 of displaying the corrected hologram pattern.
  • Step S101 As shown in FIG. 5, in the first half step S100, first, the viewpoint position acquisition unit 110, for example, based on sensor information from a sensor such as an IMU provided in an HMD or the like worn on the head of the user 19, , the viewpoint position information of the user 19 at time T1 is obtained (step S101).
  • the acquired viewpoint position information may include a time stamp indicating the time T1 at which the viewpoint position information was acquired.
  • the acquired viewpoint position information is input to the rendering unit 120 and the viewpoint position change calculation unit 140 .
  • Step S102 the rendering unit 120 renders the externally input three-dimensional image information 101 based on the viewpoint position (F) of the user 19 indicated by the viewpoint position information at time T1, thereby generating an RGB image representing the texture of the object. Data and a depth map representing the depth of the object are generated (step S102).
  • FIG. 6 is a diagram showing a specific example for explaining step S102 in FIG. 6, in the simplified schematic diagram shown in FIG. 2, the initial position is 500 mm (millimeters) forward from the viewpoint position (F) of the user 19 (for example, the position of the right eye).
  • the initial position is 500 mm (millimeters) forward from the viewpoint position (F) of the user 19 (for example, the position of the right eye).
  • a case where three-dimensional image information 101 for displaying a distant point object 18a is input to the rendering unit 120 will be illustrated.
  • the spatial light modulator 15 is assumed to be arranged at a position 100 mm (millimeters) away from the viewpoint position (right eye) of the user 19 in front.
  • FIG. 7A is a diagram showing an example of RGB image data 18RGB when the hologram of the point object 18a shown in FIG. 6 is displayed to the user.
  • FIG. 10 is a diagram showing an example of a depth map 18D displayed for .
  • the rendering unit 120 sets black to areas where there is no image to be projected. Further, as shown in FIG. 6, when displaying the hologram of the point object 18a 500 mm away from the viewpoint position (F) to the user 19, as shown in FIG. are given colored pixel values corresponding to the texture of the point object 18a, and pixels in the other regions are given black pixel values to generate RGB image data 18RGB. That is, the rendering unit 120 sets black to areas where there is no image to be projected. Further, as shown in FIG.
  • the rendering unit 120 gives, for example, a depth value corresponding to 400 mm, which is the distance from the spatial light modulator 15 to the point object 18a, to pixels in the area of the point object 18a, and A depth map 18D is generated in which white pixel values indicating that the distance from the spatial light modulator 15 is infinite are given to the pixels in the other area.
  • Step S103 the wavefront propagation unit 130 wavefront propagates the RGB+D image data generated in step S102, so that the hologram pattern at the position (hereinafter also referred to as the SLM position) (A) where the spatial light modulator 15 is arranged is generated (step S103).
  • Arithmetic processing for generating a propagation signal of a hologram pattern depends on the type of spatial light modulator 15, propagation distance, and encoding technique.
  • a case where a phase-only liquid crystal on silicon (LCoS) is used as the spatial light modulator 15 will be exemplified.
  • the wavefront propagation can be expressed by the Fresnel diffraction formula.
  • a dual-phase encoding algorithm can also be used for phase-only encoding. The propagation formula and encoding algorithm according to this embodiment will be described below.
  • the wavefront propagating unit 130 propagates the wavefront of each point represented in units of pixels in FIGS. 7A and 7B by using Fresnel's wavefront diffraction formula shown in Equation (1) below.
  • z indicates the distance from the display position (E) on the real space where each point is displayed to the SLM position (A) where the spatial light modulator 15 is arranged.
  • the distance (400 mm) from the display position (E) in the real space where the point object 18a is displayed to the SLM position (A) where the spatial light modulator 15 is arranged is Set as the value of z.
  • the wavefront propagation unit 130 sets the value of z for all points and causes wavefront propagation for each point using equation (1), thereby generating a propagation signal of the hologram pattern for all points.
  • the values of all points are summed to generate the hologram pattern, as shown in equation (1).
  • Other wave propagation functions that can be used to generate the hologram pattern at SLM position A can also be used.
  • the wavefront propagation unit 130 Through the processing of step S103, the wavefront propagation unit 130 generates a propagation signal representing a complex number that displays a hologram at the SLM position (A).
  • the generated propagation signal is input to the complex signal synthesizing section 160 .
  • Step S201 Subsequently, in the second half step S200, first, similar to step S101, the viewpoint position acquisition unit 110, for example, based on sensor information from a sensor such as an IMU provided in the HMD or the like worn on the head of the user 19. Thus, viewpoint position information of the user 19 at time T2 is obtained (step S201). The acquired viewpoint position information is input to the viewpoint position change calculation unit 140 .
  • Step S202 the viewpoint position change calculation unit 140 calculates the viewpoint position (F) in the viewpoint position information at time T1 input in step S101 and the viewpoint position in the viewpoint position information at time T2 newly input in step S201. A difference (viewpoint position change amount) from (F') is obtained (step S202). Note that the viewpoint position information acquired in step S201 may also be input to the rendering unit 120 and used for rendering the 3D image information 101 from the next time onward.
  • FIG. 8 is a diagram for explaining a case where the user's viewpoint position changes between time T1 and time T2. 8, the positional relationship between the viewpoint position (F) of the user 19, the spatial light modulator 15, and the display position (E) where the hologram 18 (however, the point object 18a shown in FIG. 6 and the like) is displayed. are the same as those illustrated in FIGS. 3 and 6 to 7B.
  • the hologram pattern (point object 18a) displayed by the spatial light modulator 15 is calculated based on the viewpoint position (F) of the user 19 at time T1.
  • the point object 18a calculated based on the viewpoint position (F) at time T1 is displayed as it is when the position (A) is translated to the viewpoint positions (F') and (A') separated by a distance d to the right, for example, , the point object 18a is displayed at the display position (E') which is moved rightward by a distance d from the display position (E) where it should be displayed.
  • an arrow extending from the point object 18a indicates an optical path from the point object 18a through the spatial light modulator 15 to the viewpoint position (F) or (F') of the user 19.
  • the rendering unit 120 uses the 3D image information 101 to render the three-dimensional image information 101 in order to correct the deviation of the display position of the hologram pattern due to the movement of the viewpoint position (F) between rendering and display.
  • the difference between the viewpoint position (F) of the user 19 in the viewpoint position information at time T1 and the viewpoint position (F′) of the user 19 in the viewpoint position information acquired by the viewpoint position acquisition unit 110 at time T2 immediately before the display is Acquired as a viewpoint position change amount. For example, in the example shown in FIG.
  • the viewpoint position change calculation unit 140 changes the viewpoint position (F) and A distance d (for example, 3 mm) from the viewpoint position (F′) is acquired as the viewpoint position change amount.
  • the viewpoint position change amount may be a vector from the viewpoint position (F) to the viewpoint position (F').
  • Step S203 the correction signal generation unit 150 generates a correction signal for reducing display position deviation due to a change in viewpoint position based on the viewpoint position change amount generated in step S202 (step S203).
  • This embodiment illustrates a method of adding a linear phase signal to the propagation signal generated in step S103.
  • a linear phase signal is a correction signal for shifting an object displayed in the field of complex numbers in accordance with a change in viewpoint position, and can be expressed by the following equation (2), for example.
  • the viewpoint position change amount is 3 mm and the distance from the SLM position (A) to the display position (E) is 400 mm, based on the above equation (2), from the point object 18a
  • the display position of the point object 18a can be changed to the position before the movement even when the viewpoint position moves from (F) to (F′). can be set to the display position (E).
  • the incident angle of the optical path from the point object 18a to the spatial light modulator 15 in the case of FIG. 5 in the initial state is assumed to be zero degrees, and the wavelength of the light emitted from the light source 11 is assumed to be Assuming 532 nm (nanometers) and the pixel pitch of the spatial light modulator 15 to be 3.74 ⁇ m (micrometers), in order to rotate the optical path of light from the spatial light modulator 15 by 0.86 degrees, the complex number field should be approximately 0.33128 radians, or 19 degrees, between adjacent pixels in linear phase added to .
  • FIG. 9 is a diagram showing an example of a compensating phase pattern of linear phase only in the x direction.
  • the horizontal axis indicates the viewpoint position change amount (in units of pixels), and the vertical axis indicates the phase.
  • the linear phase shown in FIG. 9 can be a phase pattern that repeats with a period of 0 to 2 ⁇ .
  • FIG. 11 is a two-dimensional image of a linear phase compensation phase pattern in which phase values in the range of 0 to 2 ⁇ are expressed in gray scale.
  • black has the smallest phase difference, and the closer to white, the greater the phase difference.
  • Step S204 the complex signal synthesizing unit 160 synthesizes the propagation signal generated in step S103 and the correction signal generated in step S203 to generate a complex signal of the hologram pattern (step S204). Equation (3) shown below, for example, is used to synthesize the propagation signal and the correction signal.
  • Step S205 the interference fringe conversion unit 170 executes hologram pattern conversion processing (step S205).
  • the complex number field represented by the complex signal generated in step S204 is converted into a hologram pattern phase signal that can be displayed using the spatial light modulator 15 .
  • This hologram pattern conversion process requires a different conversion technique for each type of spatial light modulator 15 . If the spatial light modulator 15 is a phase-only SLM, as exemplified in this description, the complex number field needs to be converted to a phase-only field in order for the hologram to be displayed on the spatial light modulator 15. be. However, it is not limited to this, and various other encoding methods may be used.
  • Pa and Pb in equation (4) alternate in a checkerboard pattern to form a phase-only signal (phase signal) for displaying the hologram pattern on spatial light modulator 15.
  • phase signal phase signal
  • Step S206 The phase signal of the hologram pattern generated in step S205 is input to the output device 180 that controls the light source 11. FIG. Then, by controlling the light source 11 based on the phase signal input by the output device 180, the light for displaying the hologram pattern is irradiated onto the modulation surface of the spatial light modulator 15, thereby causing the user 19 to Then, the hologram at the display position (E) is displayed (step S206).
  • step S300 the control unit that controls the overall operation of the hologram display system determines whether or not to continue this operation (step S300), and ends the operation. If so (YES in step S300), this operation is terminated. On the other hand, when not ending (NO of step S300), a control part returns to step S101 and performs subsequent operation
  • the hologram pattern to be displayed is corrected based on the viewpoint position (F′) immediately before display. can be reduced. As a result, it is possible to reduce the sense of discomfort that the user feels due to the positional deviation between the real space and the object superimposed thereon, so that it is possible to suppress deterioration in the user's viewing experience.
  • the first half step S100 of generating the propagation signal of the hologram pattern based on the viewpoint position (F) of the user 19 at a certain time T1 and the The hologram pattern is corrected based on the viewpoint position (F') of the user 19 at time T2, and the hologram pattern is displayed after correction.
  • S200 was configured to be executed.
  • FIG. 13 is a timing chart for explaining the operation flow according to Modification 1. As shown in FIG.
  • the viewpoint position acquisition unit 110 generates line-of-sight position information in a predetermined cycle based on sensor information sequentially input from sensors provided in an HMD or the like (step S101, S201).
  • the generated line-of-sight position information is sequentially input to the rendering unit 120 and the viewpoint position change calculation unit 140 .
  • the first half process S100 that is, steps S101 to S103 in FIG. 5 are looped asynchronously with the second half process S200. is looped asynchronously.
  • the cycle in which the viewpoint position acquisition unit 110 outputs the viewpoint position information may be a cycle shorter than the cycle in which the first half step S100 and the second half step S200 are looped.
  • a correction signal is generated based on the acquired viewpoint position change amount (S203), and by using the generated correction signal, is corrected (S204), and the complex signal generated by this correction is converted into a phase signal (S205) and output, so that the hologram pattern is displayed on the spatial light modulator 15 (S206 ) is repeated.
  • the wavefront propagation process of step S103 requires a much longer processing time than the other processes. Therefore, for example, when displaying a hologram to the user 19 at time T3, the propagation signal used to generate the hologram pattern is based on the rendered image rendered using the viewpoint position information at time T1. If the propagated signal is not corrected based on the viewpoint position information at the time T2 immediately before the display, there is a possibility that a very large shift in the display position will occur. Since the user 19 is sensitive to such display position deviation, there is a possibility that the user's viewing experience will be significantly degraded if no correction is made.
  • the correction signal generation unit 150 generates the correction signal asynchronously with the generation of the propagation signal by the wavefront propagation unit 130, so that the hologram based on the latest viewpoint position is always displayed to the user 19. is possible, it is possible to reduce the deviation of the display position. As a result, it becomes possible to suppress deterioration of the user's viewing experience.
  • the propagation signals generated in the same first half step S100 can be corrected based on each of two or more viewpoint positions at different times to display the hologram, the substantial frame rate of the hologram displayed to the user 19 can be increased.
  • Modification 2 refers to the viewpoint position acquisition unit 110 .
  • the viewpoint position acquisition unit 110 receives input from sensors such as an IMU provided in the HMD worn on the head of the user 19 and a camera that acquires images of the eyes and face of the user 19. The case where the viewpoint position information of the user 19 is acquired based on the sensor information obtained is illustrated.
  • the viewpoint position (head and eye positions) of the user 19 is estimated from the position and posture of the HMD worn on the head of the user 19 will be illustrated.
  • the sensors include, for example, an internal sensor such as an IMU, such as a sensor used for SLAM, an external camera, a ToF (Time of Flight) sensor, and the like.
  • IMU internal sensor
  • the IMU is capable of sensing at a high sampling frequency of 1000 Hz or higher and at a low cost of several milliseconds (milliseconds) or less. It is possible to acquire with low latency and high frequency.
  • the viewpoint position (head and eye position) of the user 19 can be estimated from the position and posture of the HMD. Therefore, by using the sensor information from the IMU for estimating the viewpoint position of the user 19, it is possible to obtain an accurate viewpoint position with low latency and high frequency. Such acquisition of an accurate viewpoint position with low latency and high frequency eliminates side effects such as displacement of the display position caused by the operation illustrated in FIG. can contribute to reducing
  • the hologram pattern is displayed after obtaining the viewpoint position information of the viewpoint position (F′) of the display straight line during the processing time of the latter step S200. It is effective to shorten the time to Therefore, in Modification 3, a lookup table (LUT) is used in the process of generating the correction signal shown in step S202 in the latter half of the process S200, thereby shortening the processing time of the entire latter half of the process S200 including step S202.
  • LUT lookup table
  • the LUT stores pre-calculated compensating phase patterns to compensate based on the required diffraction angle ⁇ given in equation (2) above.
  • the number of compensating phase patterns stored in the LUT depends on how many diffraction angles ⁇ are quantized. For example, when the diffraction angle ⁇ of 0.1 to 3.0 degrees is quantized in increments of 0.1 degrees, the LUT stores 30 compensating phase patterns.
  • FIG. 14 shows an example of a pre-computed one-dimensional representation of the compensating phase pattern.
  • FIG. 15 shows a two-dimensional image obtained by two-dimensionally expressing the compensating phase pattern shown in FIG.
  • Other compensating phase patterns in the LUT can also be generated by a simple method similar to the method described above.
  • the compensation phase obtained from the LUT illustrated in Modification 3 may be corrected based on actual use. For example, if the viewpoint of the user 19 moves not only horizontally (x-direction) but also vertically (y-direction), the compensation phase (correction signal) shifts the object displayed as a hologram in two dimensions. may be corrected as follows.
  • the display position (E′) of the point object 18a is changed to It is possible to shift the display position of the point object 18a in the x direction and the y direction to the original display position (E) by continuously applying the compensation phase pattern for shifting to .
  • a compensation phase pattern for shifting the display position in the x-direction and the y-direction can be a combination of an x-direction compensation phase pattern and a y-direction compensation phase pattern.
  • the compensating phase pattern illustrated in FIG. 11 can be used as the compensating phase pattern in the x direction.
  • the compensating phase pattern in the y direction is as shown in FIG.
  • the x direction of the compensating phase pattern obtained by rotating the compensating phase pattern in the x direction to the right by 90 degrees is multiplied by m/n.
  • the compensating phase pattern obtained by setting the resolution to (m:n) may be used as the compensating phase pattern in the y direction.
  • the (m:n) area is cut out (cropped) from the (m:n) area.
  • the propagation signal generated by the wavefront propagation unit 130 and the correction signal generated by the correction signal generation unit 150 are combined in the complex signal synthesis unit 160,
  • the obtained complex signal is converted into a phase signal in the interference fringe converter 170 .
  • the propagation signal is converted into a phase signal before synthesizing the correction signal, and then the correction signal is synthesized.
  • FIG. 18 is a block diagram showing a schematic configuration example of a hologram display system according to this embodiment.
  • the hologram display system 2 according to the present embodiment has a configuration similar to that of the hologram display system 1 described in the first embodiment with reference to FIG. 260 , and the arrangement of the interference fringe conversion section 170 is changed between the wavefront propagation section 130 and the phase signal synthesis section 260 .
  • the interference fringe conversion section 170 converts the propagation signal of the hologram pattern generated by the wavefront propagation section 130 into a phase signal, and inputs the phase signal to the phase signal synthesis section 260 .
  • the phase signal synthesizing unit 260 synthesizes the phase signal input from the interference fringe converting unit 170 and the correction signal generated by the correction signal generating unit 150 to display the hologram pattern on the spatial light modulator 15. is generated and input to the output device 180 .
  • the interference fringe conversion unit 170 and the phase signal synthesis unit 260 can correspond to an example of the phase signal generation unit in the scope of claims, for example.
  • the viewpoint position change calculation unit 140 and the correction signal generation unit 150 can correspond to an example of the correction unit in the claims, for example.
  • FIG. 19 is a flowchart showing an operation example of the hologram display system according to this embodiment.
  • the operation of the hologram display system 2 is similar to the operation described using FIG. 5 in the first embodiment, based on the viewpoint position (F) of the user 19 at a certain time T1. and a second half step S500 of correcting the hologram pattern based on the viewpoint position (F′) of the user 19 at time T2 immediately before display and displaying the corrected hologram pattern. It consists of processes.
  • Step S401 the interference fringe conversion unit 170 performs hologram pattern conversion processing on the propagation signal of the hologram pattern generated by the wavefront propagation unit 130 (step S401).
  • the content of the hologram pattern conversion processing may be the same as the processing content shown in step S205 of FIG. 5 illustrated in the first embodiment.
  • Step S501 the phase signal synthesizer 260 synthesizes the phase signal generated in step S401 and the correction signal generated in step S203 to generate the phase signal of the hologram pattern (step S501).
  • Formula (6) shown below, for example, is used to synthesize the phase signal and the correction signal.
  • Step S206 the phase signal of the hologram pattern generated in step S501 is input to the output device 180 that controls the light source 11, and the output device 180 controls the light source 11 based on the input phase signal.
  • the modulation surface of the spatial light modulator 15 is irradiated with light for displaying the hologram pattern, and the hologram at the display position (E) is displayed to the user 19 (step S206).
  • the control unit determines whether or not to continue this operation (step S300), and if it ends (YES in step S300), end the action. On the other hand, when not ending (NO of step S300), a control part returns to step S101 and performs subsequent operation
  • an AR device using an optical see-through HMD was exemplified as a hologram display system, but the present invention is not limited to this. It can be applied to various AR devices that can superimpose and display a hologram on the real world, such as an AR device using a naked-eye stereoscopic television or the like.
  • an AR HUD system using CGH can be realized as an application example of the hologram display system described with reference to FIG. 1 in the first embodiment. Therefore, in the third embodiment, an AR HUD system using CGH will be described as an example.
  • FIG. 20 is a schematic diagram for explaining the outline of the AR HUD system using the CGH according to this embodiment.
  • the principle by which the spatial light modulator 15 forms the hologram 18 may be the same as the principle by which the spatial light modulator 15 forms the hologram 18 in the first embodiment, for example.
  • a transmissive SLM is used as the spatial light modulator 15 .
  • the light emitted from the light source 11 is magnified by a magnifying optical system composed of a plurality of lenses 12 and 13, and then transmitted through the spatial light modulator 15, thereby creating a hologram at the display position (E). form 18.
  • the hologram 18 formed at the display position (E) is reflected by the combiner 30 and viewed by the user 19 at the viewpoint position (F) as the hologram 18A at the display position (G).
  • a hologram combiner that reflects light from the light source 11 while transmitting light in the visible light range may be used.
  • the technology according to the present disclosure is not limited to HMD type AR devices, but can be applied to various AR devices that can display holograms superimposed on the real world.
  • FIG. 21 is a hardware configuration diagram showing an example of a computer 1000 that implements the functions of the information processing apparatus according to the above-described embodiments.
  • the computer 1000 has a CPU 1100 , a RAM 1200 , a ROM (Read Only Memory) 1300 , a HDD (Hard Disk Drive) 1400 , a communication interface 1500 and an input/output interface 1600 . Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records the program according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500, and transmits data generated by the CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk)
  • magneto-optical recording media such as MO (Magneto-Optical disk)
  • tape media magnetic recording media
  • magnetic recording media semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 executes a program loaded on the RAM 1200 to obtain the viewpoint position acquisition unit 110, the rendering unit 120, the wavefront propagation At least part of the functions of the unit 130, the viewpoint position change calculation unit 140, the correction signal generation unit 150, the complex signal synthesis unit 160 or the phase signal synthesis unit 260, the interference fringe conversion unit 170, and the output device 180 are realized.
  • the HDD 1400 also stores programs and the like according to the present disclosure. Although CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the present technology can also take the following configuration.
  • a viewpoint position acquisition unit that acquires a user's viewpoint position; a rendering unit that generates a rendered image based on the viewpoint position; a wavefront propagation unit that generates a propagated signal representing a hologram based on the rendered image; a phase signal generator that generates a first phase signal for displaying a hologram based on the propagation signal; a correction unit that corrects the displayed hologram based on the current viewpoint position of the user acquired by the viewpoint position acquisition unit; Information processing device.
  • the correction unit generates a correction signal for correcting the propagation signal based on the user's current viewpoint position acquired by the viewpoint position acquisition unit
  • the phase signal generator is a complex signal synthesizing unit that generates a complex signal based on the propagation signal and the correction signal; an interference fringe conversion unit that converts the complex signal into the first phase signal; including, The information processing device according to (1) above.
  • the phase signal generation unit includes an interference fringe conversion unit that converts the propagation signal into a second phase signal,
  • the correction unit generates a correction signal for correcting the second phase signal based on the current viewpoint position of the user acquired by the viewpoint position acquisition unit,
  • the phase signal generation unit further includes a phase signal synthesis unit that generates the first phase signal based on the second phase signal and the correction signal,
  • the information processing device according to (1) above.
  • the correction unit generates the correction signal by referring to a lookup table prepared in advance based on the current viewpoint position of the user. information processing equipment.
  • the information processing apparatus corrects the correction signal obtained from the lookup table prepared in advance based on the current viewpoint position of the user.
  • the correction signal has a compensating phase pattern of a linear phase.
  • the compensating phase pattern has a phase pattern that repeats with a period of 0 to 2 ⁇ .
  • the correction signal includes a horizontal compensating phase pattern and a vertical compensating phase pattern.
  • the information processing apparatus according to any one of (2) to (9), wherein the correction signal has a compensating phase pattern obtained by synthesizing a horizontal compensating phase pattern and a vertical compensating phase pattern.
  • the correction unit generates the correction signal asynchronously with generation of the propagation signal by the wavefront propagation unit.
  • the information processing apparatus according to any one of (1) to (12) above, further comprising an output unit that controls a light source that outputs light to the spatial light modulator based on the first phase signal.
  • the spatial light modulator is a phase limited spatial light modulator or an amplitude limited spatial light modulator.
  • An information processing method comprising: (19) A recording medium recording a program for operating a processor mounted in a system for displaying a hologram by irradiating a spatial light modulator with light, to the processor; a process of acquiring a user's viewpoint position; a process of generating a rendered image based on the viewpoint position; generating a propagated signal representing a hologram based on the rendered image; a process of generating a first phase signal for displaying a hologram based on the propagation signal; a process of obtaining the user's current viewpoint position; a process of correcting the displayed hologram based

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)

Abstract

ユーザの視聴体験の低下を抑制する。情報処理装置は、ユーザの視点位置を取得する視点位置取得部（１１０）と、前記視点位置に基づいてレンダリング画像を生成するレンダリング部（１２０）と、前記レンダリング画像に基づいてホログラムを表す伝搬信号を生成する波面伝搬部（１３０）と、前記伝搬信号に基づいてホログラムを表示するための第１位相信号を生成する位相信号生成部（１６０、１７０）と、表示される前記ホログラムを前記視点位置取得部で取得された前記ユーザの現在の視点位置に基づいて補正する補正部（１４０、１５０）と、を備える。

Description

情報処理装置、情報処理方法及びプログラムを記録した記録媒体
　本開示は、情報処理装置、情報処理方法及びプログラムを記録した記録媒体に関する。
　ヘッドマウントディスプレイ（ＨＭＤ）を利用してユーザに仮想空間を表示する仮想現実（ＶＲ）の分野では、検出されたユーザの頭や目の位置に基づいてレンダリングが実行されるが、ユーザの頭や目の位置は常に動いている。そのため、ユーザの頭や目の位置を検出してから映像を表示するまでの間に時間差（レイテンシー）が生じ、それにより、ユーザが表示された映像を観る際のユーザの頭や目の実際の位置が、レンダリングに使用したユーザの頭や目の位置とは異なってしまい、ユーザにスムーズな視聴体験を提供することが困難になるという問題が生じる。
　このような問題に対処する方法としては、タイムワープ処理が存在する。タイムワープ処理は、レンダリングにより映像を生成した後、その映像を表示する直前に、ユーザの頭や目の位置を検出し、検出された位置に基づいて表示する映像を補償することで、ユーザの視聴時点での頭や目の位置と表示される映像とのずれを低減する技術である。
国際公開第２０１９／１８１２６３号
　上述のようなレイテンシーによる問題は、コンピュータにより生成されたホログラム（以下、ＣＧＨともいう）を現実世界にＨＭＤ等を用いて重畳する拡張現実（ＡＲ）の分野でも生じる。しかしながら、ＡＲの場合、ＶＲの場合と比較して、ホログラムパターンの生成に長い処理時間を要する。そのため、ユーザの頭や目の位置を検出してから映像を表示するまでの時間差がより大きくなり、ユーザにスムーズな視聴体験を提供することが困難になり得るという問題が存在する。
　また、現実空間に重畳される点が空間光変調器（ＳＬＭ）上の領域における複数のピクセルに投射されるため、ホログラムパターンの単純な変換、回転又は再投影であっても副作用が生じてしまい、ユーザにスムーズな視聴体験を提供することが困難になるという問題も存在する。
　そこで本開示では、ユーザの視聴体験の低下を抑制することが可能な情報処理装置、情報処理方法及びプログラムを記録した記録媒体を提案する。
　上記の課題を解決するために、本開示の一形態に係る情報処理装置は、ユーザの視点位置を取得する視点位置取得部と、前記視点位置に基づいてレンダリング画像を生成するレンダリング部と、前記レンダリング画像に基づいてホログラムを表す伝搬信号を生成する波面伝搬部と、前記伝搬信号に基づいてホログラムを表示するための第１位相信号を生成する位相信号生成部と、表示される前記ホログラムを前記視点位置取得部で取得された前記ユーザの現在の視点位置に基づいて補正する補正部と、を備える。
第１の実施形態に係るホログラム表示システムの概要を説明するための模式図である。 第１の実施形態に係るホログラム表示システムの簡素化された模式図である。 図２に示す模式図を回転させた図である。 第１の実施形態に係るホログラム表示システムの概略構成例を示すブロック図である。 第１の実施形態に係るホログラム表示システムの動作例を示すフローチャートである。 第１の実施形態に係る図５のステップＳ１０２を説明するための具体例を示す図である。 第１の実施形態に係るＲＧＢ画像データの一例を示す図である。 第１の実施形態に係るデプスマップの一例を示す図である。 第１の実施形態に係る時刻Ｔ１から時刻Ｔ２の間にユーザの視点位置が変化した場合を説明するための図である。 第１の実施形態に係るｘ方向の直線位相パターンの一例を示す図である。 図９に示す補償位相パターンを０～２πの周期とした場合の位相パターンの一例を示す図である。 図１０に示す補償位相パターンをグレースケールで表現した２次元画像である。 第１の実施形態に係る式（４）におけるＰａ及びＰｂの配置例を示す図である。 第１の実施形態の本変形例１に係る動作フローを説明するためのタイミングチャートである。 第１の実施形態の変形例３に係る事前に計算された１次元表現の補償位相パターンの一例を示す図である。 図１４に示す補償位相パターンを２次元表現することで得られる２次元画像である。 第１の実施形態の変形例４に係るｙ方向の補償位相パターンの一例を示す図である。 第１の実施形態の変形例４に係るｘ方向及びｙ方向の補償位相パターンの一例を示す図である。 第２の実施形態に係るホログラム表示システムの概略構成例を示すブロック図である。 第２の実施形態に係るホログラム表示システムの動作例を示すフローチャートである。 第３の実施形態に係るＣＧＨを用いたＡＲ　ＨＵＤシステムの概要を説明するための模式図である。 実施形態に係る情報処理装置のハードウエア構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１　概要
　　　１．２　構成例
　　　１．３　動作例
　　　　１．３．１　前半工程Ｓ１００
　　　　１．３．２　後半工程Ｓ２００
　　　１．４　作用効果
　　　１．５　変形例
　　　　１．５．１　変形例１
　　　　１．５．２　変形例２
　　　　１．５．３　変形例３
　　　　１．５．４　変形例４
　　２．第２の実施形態
　　　２．１　構成例
　　　２．２　動作例
　　　　２．２．１　前半工程Ｓ４００
　　　　２．２．２　後半工程Ｓ５００
　　　２．３　作用効果
　　３．第３の実施形態
　　　３．１　作用効果
　　４．ハードウエア構成
　１．第１の実施形態
　まず、本開示の第１の実施形態に係る情報処理装置、情報処理方法及びプログラムを記録した記録媒体について、図面を参照して詳細に説明する。なお、以下の説明では、本実施形態に係る実施形態に係る情報処理装置、情報処理方法及びプログラムが適用されるホログラム表示システムとして、光学シースルー型のＨＭＤを用いたＡＲデバイスを例示するが、これに限定されるものではない。
　１．１　概要
　まず、本実施形態に係るホログラム表示システムの概要について説明する。図１は、本実施形態に係るホログラム表示システムの概要を説明するための模式図である。なお、図１及び以下の図において、（Ａ）～（Ｆ）は、それぞれの概略的な位置を示している。
　図１に示すように、本実施形態では、光源１１と、複数のレンズ１２及び１３で構成された拡大光学系と、ビームスプリッタ１４と、空間光変調器１５とを備えるホログラム表示システム１を例示する。
　図１において、位置（Ｄ）の光源１１から出射したレーザ光Ｌ１は、位置（Ｃ）の複数のレンズ１２及び１３で構成された拡大光学系により、ビーム径が拡大されたコヒーレント光Ｌ２に変換される。コヒーレント光Ｌ２は、ビームスプリッタ１４を通過して空間光変調器１５に入射する。
　本実施形態では、空間光変調器１５として、反射型のＳＬＭを例示するが、これに低減されず、透過型のＳＬＭであってもよい。また、本説明では、位相限定型（Phase-Only）のＳＬＭを例示するが、これに限定されず、振幅限定型（Amplitude-Only）のＳＬＭであってもよい。コヒーレント光Ｌ２は、空間光変調器１５によって、実空間上の所望の表示位置（Ｅ）にホログラムを表示するように変調される。
　位置（Ｂ）のビームスプリッタ１４は、空間光変調器１５によって再生されたホログラム１８を、位置（視点位置（Ｆ））の視聴者（以下、ユーザという）１９が観察可能なように、例えば、実空間上の表示位置（Ｅ）に映し出す。視点位置（Ｆ）のユーザ１９は、表示位置（Ｅ）の方向を観察することで、ビームスプリッタ１４越しに見える実空間に重畳ざれたホログラム１８を見ることができる。
　このように、本実施形態に係るホログラム表示システムは、実空間に仮想オブジェクト等を出現させたり、実空間の物体を特殊効果等によって演出したり、ユーザに所定の情報を提示したりなどの視聴体験を提供することが可能である。
　なお、光源１１及びビームスプリッタ１４は、表示位置（Ｅ）と空間光変調器１５の位置（Ａ）と、ユーザ１９の視点位置（Ｆ）との相対的な位置関係に対してほとんど影響しない。そのため、図１に例示するホログラム表示システム１の模式図は、図２に示すように簡素化することができる。なお、図２では、説明の都合上、図１において反射型であった空間光変調器１５が透過型に変更されている。また、図３は、図２に示す模式図をさらに見やすくするために、右に９０度回転させた図である。
　１．２　構成例
　図４は、本実施形態に係るホログラム表示システムの概略構成例を示すブロック図である。図４に示すように、本実施形態に係るホログラム表示システム１は、視点位置取得部１１０と、レンダリング部１２０と、波面伝搬部１３０と、視点位置変化計算部１４０と、補正信号生成部１５０と、複素信号合成部１６０と、干渉縞変換部１７０と、出力装置１８０とを備える。
　本実施形態において、複素信号合成部１６０と干渉縞変換部１７０とは、例えば、請求の範囲における位相信号生成部の一例に相当し得る。また、視点位置変化計算部１４０と補正信号生成部１５０とは、例えば、請求の範囲における補正部の一例に相当し得る。
　（視点位置取得部１１０）
　視点位置取得部１１０は、例えば、ユーザ１９の頭部に装着されるＨＭＤに設けられたＩＭＵ（Inertial　Measurement　Unit）やユーザ１９の眼や顔の画像を取得するカメラなどのセンサから入力されたセンサ情報に基づいて、ユーザ１９の視点位置（Ｆ）に関する情報（以下、視点位置情報という）を取得する。
　なお、本説明において、視点位置情報は、現実空間内でのユーザ１９の視点の位置であってよい。また、現実空間内でのユーザ１９の視点の位置は、現実空間内でのユーザ１９の両目又は片目の位置であってもよいし、現実空間内でのユーザ１９の頭部の位置であってもよい。加えて、視点位置情報には、ユーザ１９の両目又は片目若しくは頭部の位置に関する情報の他に、ユーザ１９の両目又は片目若しくは頭部の向きに関する情報が含まれてもよい。
　また、さらに、視点位置取得部１１０は、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）により現実空間内でのユーザ１９の視点位置を取得してもよい。さらに、視点位置取得部１１０は、現在の視点位置（Ｆ）から所定時間（例えば予め設定された時間）経過後の視点位置を予測し、この予測された視点位置をユーザの視点位置として取得してもよい。
　（レンダリング部１２０）
　レンダリング部１２０は、ホログラムとして表示するオブジェクトの３次元画像情報１０１を、視点位置取得部１１０から入力された視点位置情報に基づいてレンダリングすることで、オブジェクトのテクスチャを表すＲＧＢ画像データと、オブジェクトの奥行を表すデプスマップとを生成する。なお、以下の説明では、ＲＧＢ画像データと、ＲＧＢ画像データの各画素のデプス値を示すデプスマップとのセットをＲＧＢ＋Ｄ画像データ又はレンダリング画像ともいう。
　（波面伝搬部１３０）
　波面伝搬部１３０は、レンダリング部１２０により生成されたＲＧＢ＋Ｄ画像データを波面伝搬することで、空間光変調器１５で表示するホログラムパターンの伝搬信号を生成する。
　（視点位置変化計算部１４０）
　視点位置変化計算部１４０は、レンダリング部１２０が３次元画像情報１０１をレンダリングする際に視点位置取得部１１０により取得された視点位置情報（すなわち、レンダリング部１２０が３次元画像情報１０１のレンダリングに使用した視点位置情報）におけるユーザ１９の視点位置（Ｆ）と、視点位置取得部１１０により取得された現在の視点位置情報におけるユーザ１９の視点位置（これを視点位置Ｆ’とする）との差分を視点位置変化量として計算する。
　（補正信号生成部１５０）
　補正信号生成部１５０は、視点位置変化計算部１４０により計算された視点位置変化量に基づいて、波面伝搬部１３０により生成されたホログラムパターンの伝搬信号を補正するための補正信号を生成する。
　（複素信号合成部１６０）
　複素信号合成部１６０は、波面伝搬部１３０により生成された伝搬信号と、補正信号生成部１５０により生成された補正信号とを合成することで、ホログラムパターンの複素信号を生成する。
　（干渉縞変換部１７０）
　干渉縞変換部１７０は、複素信号合成部１６０により生成された複素信号を変換することで、ホログラムパターンを空間光変調器１５で表示するための位相信号を生成する。
　（出力装置１８０）
　出力装置１８０は、干渉縞変換部１７０により生成された位相信号を空間光変調器１５で表示する。それにより、ユーザ１９に対して、ホログラムが現実空間に重畳して表示される。
　１．３　動作例
　図５は、本実施形態に係るホログラム表示システムの動作例を示すフローチャートである。図５に示すように、ホログラム表示システム１の動作は、ある時刻（これを時刻Ｔ１とする）におけるユーザ１９の視点位置（Ｆ）に基づいてホログラムパターンの伝搬信号を生成する前半工程Ｓ１００と、表示直前の時刻（これを時刻Ｔ２とする）のユーザ１９の視点位置（Ｆ’）に基づいてホログラムパターンを補正して補正後のホログラムパターンを表示する後半工程Ｓ２００との２つの工程から構成されている。
　１．３．１　前半工程Ｓ１００
　（ステップＳ１０１）
　図５に示すように、前半工程Ｓ１００では、まず、視点位置取得部１１０が、例えば、ユーザ１９の頭部に装着されるＨＭＤ等に設けられたＩＭＵなどのセンサからのセンサ情報に基づくことで、時刻Ｔ１でのユーザ１９の視点位置情報を取得する（ステップＳ１０１）。なお、取得された視点位置情報には、この視点位置情報を取得した時刻Ｔ１を示すタイムスタンプが含まれていてよい。そして、取得された視点位置情報は、レンダリング部１２０及び視点位置変化計算部１４０に入力される。
　（ステップＳ１０２）
　次に、レンダリング部１２０が、外部から入力された３次元画像情報１０１を時刻Ｔ１の視点位置情報が示すユーザ１９の視点位置（Ｆ）に基づいてレンダリングすることで、オブジェクトのテクスチャを表すＲＧＢ画像データと、オブジェクトの奥行（デプス）を表すデプスマップとを生成する（ステップＳ１０２）。
　ここで、ステップＳ１０２の処理を、具体例を用いて説明する。図６は、図５のステップＳ１０２を説明するための具体例を示す図である。なお、図６では、説明の簡略化のため、図２に示す簡素化された模式図において、初期位置がユーザ１９の視点位置（Ｆ）（例えば右眼の位置）から前方に５００ｍｍ（ミリメートル）離れた点オブジェクト１８ａを表示するための３次元画像情報１０１がレンダリング部１２０に入力された場合を例示する。ただし、図６に示す例では、簡単のため、平行射影の場合が示されているが、これに限定されず、透視投影の場合であっても同様に適用可能である。また、図６に示す例では、空間光変調器１５は、ユーザ１９の視点位置（右眼）から前方に１００ｍｍ（ミリメートル）離れた位置に配置されているものとする。
　図７Ａは、図６に示す点オブジェクト１８ａのホログラムをユーザに対して表示する場合のＲＧＢ画像データ１８ＲＧＢの一例を示す図であり、図７Ｂは、同じく図６に示す点オブジェクト１８ａのホログラムをユーザに対して表示する場合のデプスマップ１８Ｄの一例を示す図である。
　図６に示すように、視点位置（Ｆ）から５００ｍｍ離れた点オブジェクト１８ａのホログラムをユーザ１９に表示する場合、図７Ａに示すように、レンダリング部１２０は、例えば、点オブジェクト１８ａの領域の画素には点オブジェクト１８ａのテクスチャに対応する有色の画素値が与えられ、それ以外の領域の画素には黒の画素値が与えられたＲＧＢ画像データ１８ＲＧＢを生成する。すなわち、レンダリング部１２０は、投影される画像が存在しない領域に黒を設定する。また、図７Ｂに示すように、レンダリング部１２０は、例えば、点オブジェクト１８ａの領域の画素には空間光変調器１５から点オブジェクト１８ａまでの距離である４００ｍｍに相当するデプス値が与えられ、それ以外の領域の画素には空間光変調器１５からの距離が無限遠であることを示す白の画素値が与えられたデプスマップ１８Ｄを生成する。
　（ステップＳ１０３）
　次に、波面伝搬部１３０が、ステップＳ１０２で生成されたＲＧＢ＋Ｄ画像データを波面伝搬することで、空間光変調器１５が配置された位置（以下、ＳＬＭ位置ともいう）（Ａ）でのホログラムパターンの伝搬信号を生成する（ステップＳ１０３）。
　ホログラムパターンの伝搬信号を生成するための演算処理は、空間光変調器１５のタイプと、伝搬距離と、符号化手法とに依存する。本実施形態では、位相限定型のＬＣｏＳ（Phase-Only　Liquid　Crystal　on　Silicon）を空間光変調器１５として用いた場合を例示する。
　図６～図７Ｂに示した例のように、伝搬距離が数１００ｍｍの範囲である場合、波面伝搬は、フレネル回折の公式により表すことができる。また、位相限定符号化には、二重相符号化アルゴリズムを用いることができる。以下に、本実施形態に係る伝搬式及び符号化アルゴリズムについて説明する。
　波面伝搬部１３０は、図７Ａ及び図７Ｂにおいて画素単位で表される各点を、以下の式（１）に示すフレネルの波面回折式を用いることで波面伝搬させる。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、ｚは各点が表示される実空間上の表示位置（Ｅ）から空間光変調器１５が配置されたＳＬＭ位置（Ａ）までの距離を示す。例えば、図６～図７Ｂに示した例では、点オブジェクト１８ａが表示される実空間上の表示位置（Ｅ）から空間光変調器１５が配置されたＳＬＭ位置（Ａ）まで距離（４００ｍｍ）がｚの値として設定される。
　なお、本例では、簡略化のため、点オブジェクト１８ａが１画素に対応している場合を例示するが、１つのオブジェクトが複数の点より構成されている場合や複数のオブジェクトを表示する場合などでは、波面伝搬部１３０は、全ての点についてｚの値を設定し、各点を式（１）を用いて波面伝搬させることで、全ての点についてホログラムパターンの伝搬信号を生成する。
　本例では、式（１）に示すように、ホログラムパターンを生成するために、全ての点の値が合計される。しかしながら、実際のユースケースでは、デプス値が異なる領域を合成する手法を用いる必要がある。例えば、個々の点のデプスオクルージョンを考慮した伝搬アルゴリズムを用いる必要がある。また、ＳＬＭ位置Ａにおけるホログラムパターンの生成に利用することができる他の波動伝搬関数を用いることも可能である。例えば、異なる前提で使用することが可能なレイリー・ゾンマーフェルトの回折式やフラウンホーファーの回折式を用いることも可能である。
　このようなステップＳ１０３の処理により、波面伝搬部１３０は、ＳＬＭ位置（Ａ）にホログラムを表示する複素数体を表す伝搬信号を生成する。生成された伝搬信号は、複素信号合成部１６０に入力される。
　１．３．２　後半工程Ｓ２００
　（ステップＳ２０１）
　つづいて、後半工程Ｓ２００では、まず、ステップＳ１０１と同様に、視点位置取得部１１０が、例えば、ユーザ１９の頭部に装着されるＨＭＤ等に設けられたＩＭＵなどのセンサからのセンサ情報に基づくことで、時刻Ｔ２でのユーザ１９の視点位置情報を取得する（ステップＳ２０１）。そして、取得された視点位置情報は、視点位置変化計算部１４０に入力される。
　（ステップＳ２０２）
　次に、視点位置変化計算部１４０が、ステップＳ１０１で入力された時刻Ｔ１での視点位置情報における視点位置（Ｆ）と、ステップＳ２０１で新たに入力された時刻Ｔ２での視点位置情報における視点位置（Ｆ’）との差分（視点位置変化量）を取得する（ステップＳ２０２）。なお、ステップＳ２０１で取得された視点位置情報は、レンダリング部１２０にも入力されて、次以降の３次元画像情報１０１のレンダリングに使用されてよい。
　図８は、時刻Ｔ１から時刻Ｔ２の間にユーザの視点位置が変化した場合を説明するための図である。なお、図８において、ユーザ１９の視点位置（Ｆ）と、空間光変調器１５と、ホログラム１８（ただし、図６等に示す点オブジェクト１８ａ）が表示される表示位置（Ｅ）との位置関係は、図３及び図６～図７Ｂに例示したものと同じであるとする。
　図８の左図（Ｔ１）に示すように、空間光変調器１５で表示されるホログラムパターン（点オブジェクト１８ａ）は、時刻Ｔ１におけるユーザ１９の視点位置（Ｆ）に基づいて算出される。しかしながら、図８の左図（Ｔ１）から右図（Ｔ２）に示すように、時刻Ｔ１から時刻Ｔ２までの間にユーザ１９の視点位置及び空間光変調器１５の位置が視点位置（Ｆ）及び位置（Ａ）から例えば右側に距離ｄ離れた視点位置（Ｆ’）及び（Ａ’）に平行移動した場合、時刻Ｔ１の視点位置（Ｆ）に基づいて算出された点オブジェクト１８ａをそのまま表示すると、点オブジェクト１８ａは、本来表示されるべき表示位置（Ｅ）から右方向へ距離ｄ移動した表示位置（Ｅ’）に表示されることとなる。なお、図８において、点オブジェクト１８ａから延びる矢印は、点オブジェクト１８ａから空間光変調器１５を介してユーザ１９の視点位置（Ｆ）又は（Ｆ’）までの光路を示している。
　そこで、図５のステップＳ２０２では、レンダリングから表示までの間の視点位置（Ｆ）の移動によるホログラムパターンの表示位置のずれを補正するために、レンダリング部１２０が３次元画像情報１０１のレンダリングに使用した時刻Ｔ１の視点位置情報におけるユーザ１９の視点位置（Ｆ）と、表示直前の時刻Ｔ２に視点位置取得部１１０により取得された視点位置情報におけるユーザ１９の視点位置（Ｆ’）との差分が視点位置変化量として取得される。例えば、図８に示す例では、点オブジェクト１８ａが表示される位置を表示位置（Ｅ’）から表示位置（Ｅ）に補正するために、視点位置変化計算部１４０は、視点位置（Ｆ）と視点位置（Ｆ’）との距離ｄ（例えば３ｍｍ）を視点位置変化量として取得する。なお、視点位置変化量は、視点位置（Ｆ）から視点位置（Ｆ’）までのベクトルであってもよい。
　（ステップＳ２０３）
　次に、補正信号生成部１５０が、ステップＳ２０２で生成された視点位置変化量に基づいて、視点位置の変化による表示位置のずれを低減するための補正信号を生成する（ステップＳ２０３）。
　ここで、視点位置の変化による表示位置のずれを低減する方法としては、いくつかの方法が存在する。本実施形態では、ステップＳ１０３で生成された伝搬信号に直線位相信号を加算する方法を例示する。
　直線位相信号は、視点位置の変化に従って複素数体で表示されるオブジェクトをシフトさせるための補正信号であり、例えば、以下の式（２）で表すことができる。
Figure JPOXMLDOC01-appb-M000002
　例えば、図８に示す例のように、視点位置変化量が３ｍｍで、ＳＬＭ位置（Ａ）から表示位置（Ｅ）までの距離が４００ｍｍの場合、上記式（２）に基づき、点オブジェクト１８ａからの光路をｔａｎ－１（３／４００）（約０．４３度）左回転させることで、視点位置が（Ｆ）から（Ｆ’）に移動した場合でも、点オブジェクト１８ａの表示位置を移動前の表示位置（Ｅ）とすることが可能となる。
　ここで、図５に示す模式図において、初期状態での点オブジェクト１８ａからの光路の空間光変調器１５（図５の場合）に対する入射角をゼロ度とし、光源１１から出射する光の波長を５３２ｎｍ（ナノメートル）とし、空間光変調器１５の画素ピッチを３．７４μｍ（マイクロメートル）と仮定すると、空間光変調器１５からの光の光路を０．８６度回転させるためには、複素数体に加算される直線位相での隣接画素間の位相差を約０．３３１２８ラジアン、つまり１９度とする必要がある。
　そして、図８に示す例のように、視点位置が右方向（これをｘ方向とする）にのみ移動する場合を仮定すると、補正信号は、点オブジェクト１８ａの位置をｘ方向に移動させればよいこととなる。その場合、ｘ方向に対してのみ直線位相が適用される。
　図９は、ｘ方向のみの直線位相の補償位相パターンの一例を示す図である。なお、図９において、横軸は視点位置変化量（画素単位）を示し、縦軸は位相を示している。また、図１０に示すように、図９に示す直線位相は、０～２πの周期で繰り返される位相パターンとするが可能である。
　また、図１１は、０～２πの範囲の位相値がグレースケールで表現された直線位相の補償位相パターンの２次元画像である。なお、図１１に示す例では、黒色が最も位相差が小さく、白色に近づくほど位相差が大きい。
　（ステップＳ２０４）
　次に、複素信号合成部１６０が、ステップＳ１０３で生成された伝搬信号と、ステップＳ２０３で生成された補正信号とを合成することで、ホログラムパターンの複素信号を生成する（ステップＳ２０４）。伝搬信号と補正信号との合成には、例えば、以下に示す式（３）が使用される。
Figure JPOXMLDOC01-appb-M000003
　（ステップＳ２０５）
　次に、干渉縞変換部１７０が、ホログラムパターン変換処理を実行する（ステップＳ２０５）。ホログラムパターン変換処理では、ステップＳ２０４で生成された複素信号により表される複素数体が空間光変調器１５を用いて表示できるホログラムパターンの位相信号に変換される。このホログラムパターン変換処理には、空間光変調器１５のタイプごとに異なる変換手法が要求される。本説明で例示したように、空間光変調器１５が位相限定型のＳＬＭである場合、ホログラムを空間光変調器１５で表示するためには、複素数体が位相のみのフィールドに変換される必要がある。ただし、これに限定されず、その他の種々の符号化手法が用いられてもよい。例えば、振幅廃棄法（Amplitude　Discard　method）やＧｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムや二重相符号化アルゴリズムなどの手法が用いられてもよい。本例では、上述したように、二重相符号化アルゴリズムを用いた場合を例示する。その場合の計算式を以下の式（４）に示す。
Figure JPOXMLDOC01-appb-M000004
　図１２に示すように、式（４）におけるＰａ及びＰｂは、ホログラムパターンを空間光変調器１５で表示するための位相のみの信号（位相信号）を形成するために、市松模様のように交互に入れ替わっている。この市松模様のパターンは固定されているため、空間光変調器１５の画素ごとに式（４）におけるＰａ及びＰｂが計算されるように、符号化処理を実行することができる。
　なお、Ｐａ及びＰｂは、共に位相値であるため、式（４）で計算された値が空間光変調器１５が対応可能な範囲を超えた場合でも、０～２πの範囲に落とし込むことが可能である。
　（ステップＳ２０６）
　ステップＳ２０５で生成されたホログラムパターンの位相信号は、光源１１を制御する出力装置１８０に入力される。そして、出力装置１８０が入力された位相信号に基づいて光源１１を制御することで、ホログラムパターンを表示するための光が空間光変調器１５の変調面に照射され、それにより、ユーザ１９に対して表示位置（Ｅ）のホログラムが表示される（ステップＳ２０６）。
　以上のように、前半工程Ｓ１００と後半工程Ｓ２００とを実行すると、例えば、ホログラム表示システムの全体動作を制御する制御部は、本動作を継続するか否かを判定し（ステップＳ３００）、終了する場合（ステップＳ３００のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ３００のＮＯ）、制御部は、ステップＳ１０１へ戻り、以降の動作を実行する。
　１．４　作用効果
　以上のように、本実施形態によれば、表示直前の視点位置（Ｆ’）に基づいて表示対象のホログラムパターンが補正されるため、視点位置の変化による表示位置のずれを低減することが可能となる。それにより、実空間とそれに重畳されたオブジェクトと位置ずれによるユーザが抱く違和感等を低減することが可能となるため、ユーザの視聴体験の低下を抑制することが可能となる。
　１．５　変形例
　つづいて、上述した第１の実施形態の変形例について、いくつか例を挙げて説明する。
　１．５．１　変形例１
　上述した第１の実施形態では、図５を用いて説明したように、ある時刻Ｔ１におけるユーザ１９の視点位置（Ｆ）に基づいてホログラムパターンの伝搬信号を生成する前半工程Ｓ１００と、表示直前の時刻Ｔ２のユーザ１９の視点位置（Ｆ’）に基づいてホログラムパターンを補正して補正後のホログラムパターンを表示する後半工程Ｓ２００との２つの工程から構成され、前半工程Ｓ１００が完了した後に後半工程Ｓ２００が実行されるように構成されていた。
　これに対し、本変形例１では、前半工程Ｓ１００と後半工程Ｓ２００とが独立して動作する場合を例に挙げる。図１３は、本変形例１に係る動作フローを説明するためのタイミングチャートである。
　図１３に示すように、本変形例１では、視点位置取得部１１０は、ＨＭＤ等に設けられたセンサから順次入力されるセンサ情報に基づいて、所定の周期で視線位置情報を生成する（ステップＳ１０１、Ｓ２０１）。生成された視線位置情報は、順次、レンダリング部１２０及び視点位置変化計算部１４０に入力される。
　また、本変形例１では、前半工程Ｓ１００、すなわち図５におけるステップＳ１０１～Ｓ１０３が後半工程Ｓ２００とは非同期にループされ、同様に、後半工程Ｓ２００、すなわち図５におけるステップＳ２０１～Ｓ２０５が前半工程Ｓ１００とは非同期にループされる。なお、視点位置取得部１１０が視点位置情報を出力する周期は、前半工程Ｓ１００及び後半工程Ｓ２００がループされる周期よりも短い周期であってよい。
　前半工程Ｓ１００のループでは、図５を用いて説明した動作と同様に、視点位置取得部１１０から順次入力（Ｓ１０１）される視点位置情報のうち最新の視点位置情報に基づいて最新の３次元画像情報１０１がレンダリング（Ｓ１０２）され、それにより生成されたレンダリング画像からホログラムパターンの伝搬信号が生成（Ｓ１０３）される動作が繰り返される。
　また、後半工程Ｓ２００のループでは、図５を用いて説明した動作と同様に、視点位置取得部１１０から順次入力（Ｓ２０１）される視点位置情報のうち最新のセンサ情報に基づいて視点位置変化量が取得（Ｓ２０２）され、取得された視点位置変化量に基づいて補正信号が生成（Ｓ２０３）され、生成された補正信号を用いることで、前半工程Ｓ１００のループにおいて順次生成される伝搬信号のうちの最新の伝搬信号が補正（Ｓ２０４）され、そして、この補正により生成された複素信号が位相信号に変換（Ｓ２０５）されて出力されることで、ホログラムパターンが空間光変調器１５で表示（Ｓ２０６）される動作が繰り返される。
　ここで、図１３に示されているように、ステップＳ１０１～Ｓ１０３及びＳ２０１～Ｓ２０６の処理のうち、ステップＳ１０３の波面伝搬処理は、他の処理と比較して、非常に長い処理時間を要する。そのため、例えば、時刻Ｔ３にてユーザ１９にホログラムを表示する場合、そのホログラムパターンの生成に使用される伝搬信号が時刻Ｔ１の視点位置情報を用いてレンダリングされたレンダリング画像に基づく伝搬信号となるため、表示直前の時刻Ｔ２での視点位置情報に基づいて伝搬信号を補正しない場合、非常に大きな表示位置のずれが生じてしまう可能性が存在する。そして、ユーザ１９は、このような表示位置のずれに対して敏感であるため、何ら補正をしない場合、ユーザの視聴体験を著しく低下させてしまう可能性が存在する。
　これに対し、本変形例１のように、前半工程Ｓ１００のループで順次生成される伝搬信号を表示直線の視点位置にて補正する後半工程Ｓ２００を前半工程Ｓ１００とは非同期にループさせることで、より具体的には、補正信号生成部１５０が波面伝搬部１３０による伝搬信号の生成とは非同期に補正信号を生成することで、ユーザ１９に対して常に最新の視点位置に基づくホログラムを表示することが可能となるため、表示位置のずれを低減することが可能となる。その結果、ユーザの視聴体験の低下を抑制することが可能となる。
　また、前半工程Ｓ１００のループで順次生成される伝搬信号を表示直線の視点位置にて補正する後半工程Ｓ２００を前半工程Ｓ１００とは非同期にループさせることで、同じ前半工程Ｓ１００で生成された伝搬信号を時刻の異なる２以上の視点位置それぞれに基づいて補正してホログラムを表示することが可能となるため、ユーザ１９に表示されるホログラムの実質的なフレームレートを上げることが可能となる。
　１．５．２　変形例２
　変形例２では、視点位置取得部１１０について言及する。上述した第１の実施形態では、視点位置取得部１１０は、ユーザ１９の頭部に装着されるＨＭＤに設けられたＩＭＵやユーザ１９の眼や顔の画像を取得するカメラなどのセンサから入力されたセンサ情報に基づいて、ユーザ１９の視点位置情報を取得する場合を例示した。これに対し、変形例２では、ユーザ１９の頭部に装着されたＨＭＤの位置や姿勢からユーザ１９の視点位置（頭や目の位置）を推定する場合を例示する。
　ＨＭＤの位置や姿勢からユーザ１９の視点位置を推定する場合、センサには、例えば、ＳＬＡＭに用いられるセンサのように、ＩＭＵなどの内界センサと、外部カメラやＴｏＦ（Time　of　Flight）センサやＬｉＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）などの外界センサとの組み合わせが用いられ得る。例えば、ＩＭＵは、１０００Ｈｚ以上の高いサンプリング周波数で且つ数ｍｓ（ミリ秒）以下の低廉シーでのセンシングが可能であるため、ＩＭＵからのセンサ情報を用いることで、ＨＭＤの正確な位置や姿勢を低レイテンシーで且つ高頻度に取得することが可能となる。
　そして、ユーザ１９の視点位置（頭や目の位置）は、ＨＭＤの位置や姿勢から推定することが可能である。したがって、ユーザ１９の視点位置の推定にＩＭＵからのセンサ情報を用いることで、正確な視点位置を低レイテンシーで且つ高頻度に取得することが可能となる。このような、正確な視点位置の低レイテンシーで且つ高頻度な取得は、図５に例示した動作（例えば、ステップＳ１０３の波面伝搬処理）に時間がかかることにより生じる表示位置のずれなどの副作用を低減することに寄与し得る。
　１．５．３　変形例３
　第１の実施形態において、表示位置のずれをより低減させるためには、後半工程Ｓ２００の処理時間、すなわち表示直線の視点位置（Ｆ’）の視点位置情報を取得してからホログラムパターンを表示するまでの時間をより短縮することが有効である。そこで、本変形例３では、後半工程Ｓ２００におけるステップＳ２０２に示す補正信号の生成処理にルックアップテーブル（ＬＵＴ）を用いることで、ステップＳ２０２を含めた後半工程Ｓ２００全体の処理時間を短縮する。
　ＬＵＴには、上述において式（２）に示した要求される回折角θに基づいて補償するために、事前に計算された補償位相パターンが格納されている。ＬＵＴに格納される補償位相パターンの数は、回折角θを幾つに量子化するかに依存する。例えば、０．１～３．０度の回折角θを０．１度刻みに量子化した場合には、ＬＵＴには、３０個の補償位相パターンが格納される。
　ここで、例として、回折角θが１．０度の補償位相パターンを事前に計算する場合を説明する。例えば、図５に示す模式図において、初期状態での点オブジェクト１８ａからの光路の空間光変調器１５（図５の場合）に対する入射角をゼロ度とし、光源１１から出射する光の波長を５３２ｎｍ（ナノメートル）とし、空間光変調器１５の画素ピッチを３．７４μｍと仮定すると、空間光変調器１５からの光の光路を１．０度回転させるためには、複素数体に加算される直線位相での隣接画素間の位相差を約０．７７ラジアン、つまり４４度とする必要がある。図１４に、事前に計算された１次元表現の補償位相パターンの一例を示す。また、図１５に、図１４に示す補償位相パターンを２次元表現することで得られる２次元画像を示す。なお、ＬＵＴにおける他の補償位相パターンについても、上述による手法と同様の簡単な手法で生成することが可能である。
　１．５．４　変形例４
　また、変形例３で例示したＬＵＴから取得された補償位相は、実際の使用に基づいて補正されてもよい。例えば、ユーザ１９の視点が水平方向（ｘ方向）だけでなく垂直方向（ｙ方向）にも移動するような場合、補償位相（補正信号）は、ホログラムとして表示するオブジェクトを２次元方向にシフトさせるように補正されてもよい。
　例えば、図６～図８に示す例において、ユーザ１９の視点位置（Ｆ）がｘ方向及びｙ方向にそれぞれ３ｍｍずつ移動した場合、点オブジェクト１８ａの表示位置（Ｅ’）をｘ方向及びｙ方向にシフトさせるための補償位相パターンを連続して適用することで、点オブジェクト１８ａの表示位置をｘ方向及びｙ方向にシフトさせて本来の表示位置（Ｅ）とすることが可能である。
　表示位置をｘ方向及びｙ方向にシフトさせるための補償位相パターンは、ｘ方向の補償位相パターンと、ｙ方向の補償位相パターンとの組み合わせとすることができる。ｘ方向の補償位相パターンには、例えば、図１１に例示した補償位相パターンを用いることができる。その場合、空間光変調器１５の画素のアスペクト比（ｘ：ｙ）が１：１である場合、すなわち、画素形状が正方形である場合、ｙ方向の補償位相パターンには、図１６に示すように、ｘ方向の補償位相パターンを９０度右回転させた補償位相パターンを用いることが可能である。なお、空間光変調器１５の画素のアスペクト比（ｘ：ｙ）がｍ：ｎである場合、ｘ方向の補償位相パターンを９０度右回転させた補償位相パターンのｘ方向をｍ／ｎ倍し、その解像度を（ｍ：ｎ）にすることで得られる補償位相パターンをｙ方向の補償位相パターンとして用いてもよい。これにより、（ｍ：ｎ）の領域から（ｍ：ｎ）の領域が切り出される（クロッピングされる）。
　このように、２つの位相成分をホログラムパターンの複素数体に連続して適用することは、位相成分として表現された複素数体とホログラムパターンの複素数体とを乗算することと同じである。そのため、以下の式（５）に示される結合法則を用いた場合、図１１に示すｘ方向の補償位相パターンと図１６に示すｙ方向の補償位相パターンとを合成した最終的な補償位相パターンは、図１７に示すようになる。
Figure JPOXMLDOC01-appb-M000005
　２．第２の実施形態
　次に、本開示の第２の実施形態に係る情報処理装置、情報処理方法及びプログラムを記録した記録媒体について、図面を参照して詳細に説明する。なお、以下の説明において、第１の実施形態又はその変形例と同様の構成及び動作については、それらを引用することで、重複する説明を省略する。
　上述した第１の実施形態又はその変形例では、波面伝搬部１３０により生成された伝搬信号と、補正信号生成部１５０により生成された補正信号とを複素信号合成部１６０において合成した後、合成により得られた複素信号を干渉縞変換部１７０において位相信号に変換していた。これに対し、第２の実施形態では、補正信号を合成する前に伝搬信号を位相信号に変換し、その後、補正信号を合成する場合について例を挙げる。
　２．１　構成例
　図１８は、本実施形態に係るホログラム表示システムの概略構成例を示すブロック図である。図１８に示すように、本実施形態に係るホログラム表示システム２は、第１の実施形態において図４を用いて説明したホログラム表示システム１と同様の構成において、複素信号合成部１６０が位相信号合成部２６０に置き換えられるとともに、干渉縞変換部１７０の配置が波面伝搬部１３０と位相信号合成部２６０との間に変更されている。
　本実施形態において、干渉縞変換部１７０は、波面伝搬部１３０により生成されたホログラムパターンの伝搬信号を位相信号に変換し、位相信号合成部２６０に入力する。
　位相信号合成部２６０は、干渉縞変換部１７０から入力された位相信号と、補正信号生成部１５０により生成された補正信号とを合成することで、ホログラムパターンを空間光変調器１５で表示するための位相信号を生成し、これを出力装置１８０に入力する。
　本実施形態において、干渉縞変換部１７０と位相信号合成部２６０とは、例えば、請求の範囲における位相信号生成部の一例に相当し得る。また、視点位置変化計算部１４０と補正信号生成部１５０とは、例えば、請求の範囲における補正部の一例に相当し得る。
　２．２　動作例
　図１９は、本実施形態に係るホログラム表示システムの動作例を示すフローチャートである。図１９に示すように、ホログラム表示システム２の動作は、第１の実施形態において図５を用いて説明した動作と同様に、ある時刻Ｔ１におけるユーザ１９の視点位置（Ｆ）に基づいてホログラムパターンの伝搬信号を生成する前半工程Ｓ４００と、表示直前の時刻Ｔ２のユーザ１９の視点位置（Ｆ’）に基づいてホログラムパターンを補正して補正後のホログラムパターンを表示する後半工程Ｓ５００との２つの工程から構成されている。
　２．２．１　前半工程Ｓ４００
　（ステップＳ１０１～Ｓ１０３）
　図１９に示すように、前半工程Ｓ４００では、まず、図５のステップＳ１０１～Ｓ１０３と同様の動作が実行されることで、ＳＬＭ位置（Ａ）にホログラムパターンを表現する複素数体を表す伝搬信号が生成される。
　（ステップＳ４０１）
　次に、干渉縞変換部１７０が、波面伝搬部１３０により生成されたホログラムパターンの伝搬信号に対してホログラムパターン変換処理を実行する（ステップＳ４０１）。なお、ホログラムパターン変換処理の内容は、第１の実施形態において例示した図５のステップＳ２０５に示す処理内容と同様であってよい。
　２．２．２　後半工程Ｓ５００
　（ステップＳ２０１）
　つづいて、後半工程Ｓ５００では、まず、図５のステップＳ２０１～Ｓ２０３と同様の動作が実行されることで、視点位置（Ｆ）から視点位置（Ｆ’）までの視点位置変化量に基づく補正信号が生成される。
　（ステップＳ５０１）
　次に、位相信号合成部２６０が、ステップＳ４０１で生成された位相信号と、ステップＳ２０３で生成された補正信号とを合成することで、ホログラムパターンの位相信号を生成する（ステップＳ５０１）。位相信号と補正信号との合成には、例えば、以下に示す式（６）が使用される。
Figure JPOXMLDOC01-appb-M000006
　（ステップＳ２０６）
　その後、図５のステップＳ２０６と同様に、ステップＳ５０１で生成されたホログラムパターンの位相信号が光源１１を制御する出力装置１８０に入力され、出力装置１８０が入力された位相信号に基づいて光源１１を制御することで、ホログラムパターンを表示するための光が空間光変調器１５の変調面に照射されて、ユーザ１９に対して表示位置（Ｅ）のホログラムが表示される（ステップＳ２０６）。
　以上のように、前半工程Ｓ４００と後半工程Ｓ５００とを実行すると、例えば、制御部は、本動作を継続するか否かを判定し（ステップＳ３００）、終了する場合（ステップＳ３００のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ３００のＮＯ）、制御部は、ステップＳ１０１へ戻り、以降の動作を実行する。
　２．３　作用効果
　以上のように、補正信号を合成する前に伝搬信号を位相信号に変換し、その後、補正信号を合成した場合でも、第１の実施形態又はその変形例と同様に、表示直前の視点位置（Ｆ’）に基づいて表示対象のホログラムパターンが補正されるため、視点位置の変化による表示位置のずれを低減することが可能となる。それにより、実空間とそれに重畳されたオブジェクトと位置ずれによるユーザが抱く違和感等を低減することが可能となるため、ユーザの視聴体験の低下を抑制することが可能となる。
　その他の構成、動作及び効果は、第１の実施形態又はその変形例と同様であってよいため、ここでは詳細な説明を省略する。なお、第１の実施形態において説明した変形例１～４は、第２の実施形態に対しても同様に適用することが可能である。
　３．第３の実施形態
　上述した実施形態又はその変形例では、ホログラム表示システムとして光学シースルー型のＨＭＤを用いたＡＲデバイスを例示したが、これに限定されず、例えば、ヘッドアップディスプレイ（ＨＵＤ）や、裸眼立体テレビ等を用いたＡＲデバイスなど、現実世界にホログラムを重畳して表示し得る種々のＡＲデバイスに適用することが可能である。例えば、ＣＧＨを用いたＡＲ　ＨＵＤシステムは、第１の実施形態において図１を用いて説明したホログラム表示システムの応用例として実現することができる。そこで、第３の実施形態では、ＣＧＨを用いたＡＲ　ＨＵＤシステムを例に挙げて説明する。
　図２０は、本実施形態に係るＣＧＨを用いたＡＲ　ＨＵＤシステムの概要を説明するための模式図である。図２０において、空間光変調器１５がホログラム１８を形成する原理は、例えば、第１の実施形態において空間光変調器１５がホログラム１８を形成する原理と同様であってよい。ただし、本実施形態では、空間光変調器１５として、透過型のＳＬＭが用いられている。
　ＡＲ　ＨＵＤシステム３では、光源１１から出射した光が複数のレンズ１２及び１３で構成された拡大光学系により拡大された後、空間光変調器１５を透過することで、表示位置（Ｅ）にホログラム１８を形成する。表示位置（Ｅ）に形成されたホログラム１８は、コンバイナ３０によって反射されることで、表示位置（Ｇ）のホログラム１８Ａとして視点位置（Ｆ）のユーザ１９に視聴される。コンバイナ３０には、例えば、可視光域の光を透過しつつ光源１１からの光を反射するホログラムコンバイナが使用されてよい。
　３．１　作用効果
　このように、本開示に係る技術は、ＨＭＤ型のＡＲデバイスに限られず、現実世界にホログラムを重畳して表示し得る種々のＡＲデバイスに適用することが可能である。
　その他の構成、動作及び効果は、上述した実施形態又はその変形例と同様であってよいため、ここでは詳細な説明を省略する。なお、第１の実施形態において説明した変形例１～４は、第３の実施形態に対しても同様に適用することが可能である。
　４．ハードウエア構成
　上述してきた実施形態及びその変形例並びに応用例に係る視点位置取得部１１０、レンダリング部１２０、波面伝搬部１３０、視点位置変化計算部１４０、補正信号生成部１５０、複素信号合成部１６０又は位相信号合成部２６０、干渉縞変換部１７０、及び、出力装置１８０の少なくとも一部を備える情報処理装置は、例えば図２１に示すような構成のコンピュータ１０００によって実現され得る。図２１は、上述した実施形態に係る情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウエア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウエアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。
　通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が上述の実施形態に係る情報処理装置として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、視点位置取得部１１０、レンダリング部１２０、波面伝搬部１３０、視点位置変化計算部１４０、補正信号生成部１５０、複素信号合成部１６０又は位相信号合成部２６０、干渉縞変換部１７０、及び、出力装置１８０の少なくとも一部の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　以上、本開示の各実施形態及びその変形例について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザの視点位置を取得する視点位置取得部と、
　前記視点位置に基づいてレンダリング画像を生成するレンダリング部と、
　前記レンダリング画像に基づいてホログラムを表す伝搬信号を生成する波面伝搬部と、
　前記伝搬信号に基づいてホログラムを表示するための第１位相信号を生成する位相信号生成部と、
　表示される前記ホログラムを前記視点位置取得部で取得された前記ユーザの現在の視点位置に基づいて補正する補正部と、
　を備える情報処理装置。
（２）
　前記補正部は、前記視点位置取得部で取得された前記ユーザの現在の視点位置に基づいて前記伝搬信号を補正するための補正信号を生成し、
　前記位相信号生成部は、
　　前記伝搬信号と前記補正信号とに基づいて複素信号を生成する複素信号合成部と、
　　前記複素信号を前記第１位相信号に変換する干渉縞変換部と、
　を含む、
　前記（１）に記載の情報処理装置。
（３）
　前記複素信号合成部は、前記伝搬信号と前記補正信号とを重畳することで前記複素信号を生成する前記（２）に記載の情報処理装置。
（４）
　前記位相信号生成部は、前記伝搬信号を第２位相信号に変換する干渉縞変換部を含み、
　前記補正部は、前記視点位置取得部で取得された前記ユーザの現在の視点位置に基づいて前記第２位相信号を補正するための補正信号を生成し、
　前記位相信号生成部は、前記第２位相信号と前記補正信号とに基づいて前記第１位相信号を生成する位相信号合成部をさらに含む、
　前記（１）に記載の情報処理装置。
（５）
　前記位相信号合成部は、前記第２位相信号と前記補正信号とを重畳することで前記第１位相信号を生成する前記（４）に記載の情報処理装置。
（６）
　前記補正部は、前記ユーザの前記現在の視点位置に基づいて予め用意されたルックアップテーブルを参照することで、前記補正信号を生成する前記（２）～（５）の何れか１つに記載の情報処理装置。
（７）
　前記補正部は、予め用意された前記ルックアップテーブルから取得した前記補正信号を前記ユーザの前記現在の視点位置に基づいて修正する前記（６）に記載の情報処理装置。
（８）
　前記補正信号は、直線位相の補償位相パターンを有する前記（２）～（７）の何れか１つに記載の情報処理装置。
（９）
　前記補償位相パターンは、０から２πの周期で繰り返される位相パターンを有する前記（８）に記載の情報処理装置。
（１０）
　前記補正信号は、水平方向の補償位相パターンと垂直方向の補償位相パターンとを含む前記（２）～（９）の何れか１つに記載の情報処理装置。
（１１）
　前記補正信号は、水平方向の補償位相パターンと垂直方向の補償位相パターンとを合成した補償位相パターンを有する前記（２）～（９）の何れか１つに記載の情報処理装置。
（１２）
　前記補正部は、前記波面伝搬部による前記伝搬信号の生成とは非同期に前記補正信号を生成する前記（２）～（１１）の何れか１つに記載の情報処理装置。
（１３）
　前記第１位相信号に基づいて空間光変調器へ向けて出力する光源を制御する出力部をさらに備える前記（１）～（１２）の何れか１つに記載の情報処理装置。
（１４）
　前記空間光変調器は、位相限定型空間光変調器又は振幅限定型空間光変調器である前記（１３）に記載の情報処理装置。
（１５）
　前記視点位置取得部は、前記ユーザの頭の位置を前記視点位置として取得する前記（１）～（１４）の何れか１つに記載の情報処理装置。
（１６）
　前記視点位置取得部は、前記ユーザの頭部に装着される機器に設けられた慣性センサからの信号に戻づいて前記ユーザの視点位置を取得する前記（１）～（１５）の何れか１つに記載の情報処理装置。
（１７）
　前記ユーザの頭部に装着される機器は、ヘッドマウントディスプレイである前記（１６）に記載の情報処理装置。
（１８）
　ユーザの視点位置を取得する工程と、
　前記視点位置に基づいてレンダリング画像を生成する工程と、
　前記レンダリング画像に基づいてホログラムを表す伝搬信号を生成する工程と、
　前記伝搬信号に基づいてホログラムを表示するための第１位相信号を生成する工程と、
　前記ユーザの現在の視点位置を取得する工程と、
　表示される前記ホログラムを前記ユーザの現在の視点位置に基づいて補正する工程と、
　を備える情報処理方法。
（１９）
　空間光変調器に光を照射することでホログラムを表示するシステムに実装されるプロセッサを機能させるためのプログラムを記録した記録媒体であって、
　前記プロセッサに、
　　ユーザの視点位置を取得する処理と、
　　前記視点位置に基づいてレンダリング画像を生成する処理と、
　　前記レンダリング画像に基づいてホログラムを表す伝搬信号を生成する処理と、
　　前記伝搬信号に基づいてホログラムを表示するための第１位相信号を生成する処理と、
　　前記ユーザの現在の視点位置を取得する処理と、
　　表示される前記ホログラムを前記ユーザの現在の視点位置に基づいて補正する処理と、
　を実行させるためのプログラムを記録した記録媒体。
　１、２　ホログラム表示システム
　３　ＡＲ　ＨＵＤシステム
　１１　光源
　１２、１３　レンズ
　１４　ビームスプリッタ
　１５　空間光変調器
　１８、１８Ａ　ホログラム
　１８Ｄ　デプスマップ
　１８ＲＧＢ　ＲＧＢ画像データ
　１８ａ　点オブジェクト
　１９　ユーザ
　１０１　３次元画像情報
　１１０　視点位置取得部
　１２０　レンダリング部
　１３０　波面伝搬部
　１４０　視点位置変化計算部
　１５０　補正信号生成部
　１６０　複素信号合成部
　１７０　干渉縞変換部
　１８０　出力装置
　２６０　位相信号合成部

Claims (19)

  1. 　ユーザの視点位置を取得する視点位置取得部と、
    　前記視点位置に基づいてレンダリング画像を生成するレンダリング部と、
    　前記レンダリング画像に基づいてホログラムを表す伝搬信号を生成する波面伝搬部と、
    　前記伝搬信号に基づいてホログラムを表示するための第１位相信号を生成する位相信号生成部と、
    　表示される前記ホログラムを前記視点位置取得部で取得された前記ユーザの現在の視点位置に基づいて補正する補正部と、
    　を備える情報処理装置。
  2. 　前記補正部は、前記視点位置取得部で取得された前記ユーザの現在の視点位置に基づいて前記伝搬信号を補正するための補正信号を生成し、
    　前記位相信号生成部は、
    　　前記伝搬信号と前記補正信号とに基づいて複素信号を生成する複素信号合成部と、
    　　前記複素信号を前記第１位相信号に変換する干渉縞変換部と、
    　を含む、
    　請求項１に記載の情報処理装置。
  3. 　前記複素信号合成部は、前記伝搬信号と前記補正信号とを重畳することで前記複素信号を生成する請求項２に記載の情報処理装置。
  4. 　前記位相信号生成部は、前記伝搬信号を第２位相信号に変換する干渉縞変換部を含み、
    　前記補正部は、前記視点位置取得部で取得された前記ユーザの現在の視点位置に基づいて前記第２位相信号を補正するための補正信号を生成し、
    　前記位相信号生成部は、前記第２位相信号と前記補正信号とに基づいて前記第１位相信号を生成する位相信号合成部をさらに含む、
    　請求項１に記載の情報処理装置。
  5. 　前記位相信号合成部は、前記第２位相信号と前記補正信号とを重畳することで前記第１位相信号を生成する請求項４に記載の情報処理装置。
  6. 　前記補正部は、前記ユーザの前記現在の視点位置に基づいて予め用意されたルックアップテーブルを参照することで、前記補正信号を生成する請求項２に記載の情報処理装置。
  7. 　前記補正部は、予め用意された前記ルックアップテーブルから取得した前記補正信号を前記ユーザの前記現在の視点位置に基づいて修正する請求項６に記載の情報処理装置。
  8. 　前記補正信号は、直線位相の補償位相パターンを有する請求項２に記載の情報処理装置。
  9. 　前記補償位相パターンは、０から２πの周期で繰り返される位相パターンを有する請求項８に記載の情報処理装置。
  10. 　前記補正信号は、水平方向の補償位相パターンと垂直方向の補償位相パターンとを含む請求項２に記載の情報処理装置。
  11. 　前記補正信号は、水平方向の補償位相パターンと垂直方向の補償位相パターンとを合成した補償位相パターンを有する請求項２に記載の情報処理装置。
  12. 　前記補正部は、前記波面伝搬部による前記伝搬信号の生成とは非同期に前記補正信号を生成する請求項２に記載の情報処理装置。
  13. 　前記第１位相信号に基づいて空間光変調器へ向けて出力する光源を制御する出力部をさらに備える請求項１に記載の情報処理装置。
  14. 　前記空間光変調器は、位相限定型空間光変調器又は振幅限定型空間光変調器である請求項１３に記載の情報処理装置。
  15. 　前記視点位置取得部は、前記ユーザの頭の位置を前記視点位置として取得する請求項１に記載の情報処理装置。
  16. 　前記視点位置取得部は、前記ユーザの頭部に装着される機器に設けられた慣性センサからの信号に戻づいて前記ユーザの視点位置を取得する請求項１に記載の情報処理装置。
  17. 　前記ユーザの頭部に装着される機器は、ヘッドマウントディスプレイである請求項１６に記載の情報処理装置。
  18. 　ユーザの視点位置を取得する工程と、
    　前記視点位置に基づいてレンダリング画像を生成する工程と、
    　前記レンダリング画像に基づいてホログラムを表す伝搬信号を生成する工程と、
    　前記伝搬信号に基づいてホログラムを表示するための第１位相信号を生成する工程と、
    　前記ユーザの現在の視点位置を取得する工程と、
    　表示される前記ホログラムを前記ユーザの現在の視点位置に基づいて補正する工程と、
    　を備える情報処理方法。
  19. 　空間光変調器に光を照射することでホログラムを表示するシステムに実装されるプロセッサを機能させるためのプログラムを記録した記録媒体であって、
    　前記プロセッサに、
    　　ユーザの視点位置を取得する処理と、
    　　前記視点位置に基づいてレンダリング画像を生成する処理と、
    　　前記レンダリング画像に基づいてホログラムを表す伝搬信号を生成する処理と、
    　　前記伝搬信号に基づいてホログラムを表示するための第１位相信号を生成する処理と、
    　　前記ユーザの現在の視点位置を取得する処理と、
    　　表示される前記ホログラムを前記ユーザの現在の視点位置に基づいて補正する処理と、
    　を実行させるためのプログラムを記録した記録媒体。
PCT/JP2022/008177 2021-05-31 2022-02-28 情報処理装置、情報処理方法及びプログラムを記録した記録媒体 WO2022254833A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-091158 2021-05-31
JP2021091158 2021-05-31

Publications (1)

Publication Number Publication Date
WO2022254833A1 true WO2022254833A1 (ja) 2022-12-08

Family

ID=84324113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008177 WO2022254833A1 (ja) 2021-05-31 2022-02-28 情報処理装置、情報処理方法及びプログラムを記録した記録媒体

Country Status (1)

Country Link
WO (1) WO2022254833A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005516258A (ja) * 2002-01-30 2005-06-02 エックスワイジー イメージング インク． 合成１段階ホログラムの書き込み方法
JP2009544036A (ja) * 2006-07-18 2009-12-10 セルオプティック、インコーポレイテッド 受信電磁放射線から物体の３次元情報を抽出するシステム、装置および方法
JP2010528325A (ja) * 2007-05-16 2010-08-19 シーリアル テクノロジーズ ソシエテ アノニム ３ｄレンダリング・グラフィック・パイプラインを向上するためにビデオホログラムをリアルタイムに生成する方法
US20190310585A1 (en) * 2013-06-06 2019-10-10 Seereal Technologies S.A. Device and method for calculating holographic data
JP2020516933A (ja) * 2017-04-07 2020-06-11 デュアリタス リミテッド ホログラフィックプロジェクタ
JP2020533629A (ja) * 2017-09-08 2020-11-19 デュアリタス リミテッド ホログラフィックプロジェクタ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005516258A (ja) * 2002-01-30 2005-06-02 エックスワイジー イメージング インク． 合成１段階ホログラムの書き込み方法
JP2009544036A (ja) * 2006-07-18 2009-12-10 セルオプティック、インコーポレイテッド 受信電磁放射線から物体の３次元情報を抽出するシステム、装置および方法
JP2010528325A (ja) * 2007-05-16 2010-08-19 シーリアル テクノロジーズ ソシエテ アノニム ３ｄレンダリング・グラフィック・パイプラインを向上するためにビデオホログラムをリアルタイムに生成する方法
US20190310585A1 (en) * 2013-06-06 2019-10-10 Seereal Technologies S.A. Device and method for calculating holographic data
JP2020516933A (ja) * 2017-04-07 2020-06-11 デュアリタス リミテッド ホログラフィックプロジェクタ
JP2020533629A (ja) * 2017-09-08 2020-11-19 デュアリタス リミテッド ホログラフィックプロジェクタ

Similar Documents

Publication Publication Date Title
Maimone et al. Holographic near-eye displays for virtual and augmented reality
Park et al. Holographic techniques for augmented reality and virtual reality near-eye displays
US10481554B2 (en) Near-eye device
Padmanaban et al. Holographic near-eye displays based on overlap-add stereograms
KR101620852B1 (ko) 홀로그래픽 보정을 갖는 홀로그래픽 이미지 프로젝션
JP5265546B2 (ja) サブホログラムを使用してビデオホログラムをリアルタイムに生成する方法
US10558049B2 (en) Focal surface display
EP1287400B8 (en) Computation time reduction for three-dimensional displays
JP7486822B2 (ja) ホログラフィックヘッドアップディスプレイ装置
JP5468537B2 (ja) ３ｄレンダリング・グラフィック・パイプラインを向上するためにビデオホログラムをリアルタイムに生成する方法
JP5266223B2 (ja) 伝播を使用して計算機ビデオホログラムをリアルタイムに生成する方法
US20180364643A1 (en) Method for computing holograms for holographic reconstruction of two-dimensional and/or three-dimensional scenes
US10845761B2 (en) Reduced bandwidth holographic near-eye display
JP2008541159A (ja) シーンのホログラフィック再構成を行う投影装置及び方法
JP2008541159A5 (ja)
WO2005099386A2 (en) Holographic projector
JP7227095B2 (ja) ホログラム生成装置およびホログラム生成方法
Kang et al. Color holographic wavefront printing technique for realistic representation
JP2004516498A (ja) 改良型３ｄディスプレイ
WO2022254833A1 (ja) 情報処理装置、情報処理方法及びプログラムを記録した記録媒体
JP2009540353A (ja) エレクトロホログラフィックディスプレイにおける実効画素ピッチを低減する方法及び低減された実効画素ピッチを含むエレクトロホログラフィックディスプレイ
US20220342366A1 (en) Holographic display apparatus including freeform curved surface and operating method thereof
CN109946943B (zh) 一种基于光束整形抑制散斑噪声的全息显示***
CN110431470B (zh) 焦面显示
US10168668B2 (en) Method of forming a rarefied hologram for video imaging and 3D lithography

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22815591

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22815591

Country of ref document: EP

Kind code of ref document: A1