WO2016181909A1 - ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法 - Google Patents
ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法 Download PDFInfo
- Publication number
- WO2016181909A1 WO2016181909A1 PCT/JP2016/063678 JP2016063678W WO2016181909A1 WO 2016181909 A1 WO2016181909 A1 WO 2016181909A1 JP 2016063678 W JP2016063678 W JP 2016063678W WO 2016181909 A1 WO2016181909 A1 WO 2016181909A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- output
- information processing
- data
- mounted display
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
Definitions
- the present invention relates to an electronic content output technique including image display.
- HMD head mounted display
- HMD can give a sense of reality to the world expressed in comparison with a general display, but it is easy for the user to lose the objective viewpoint for the output state of video and audio because the user is immersed in the world of expression. For example, even if the parallax of the parallax image is not appropriate or the brightness of the screen is too bright or too dark, the user cannot objectively judge that and continues watching, resulting in a change in physical condition. It is also easier to happen than a typical display. In addition, since it is difficult for a person other than the wearer of the HMD to check the output state, it may be adversely affected before a user such as a child who does not have sufficient judgment power notices.
- the present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of providing an appropriate viewing environment at all times in content output using an HMD.
- the head-mounted display is a head-mounted display having a lens on the front surface of a display panel.
- the head-mounted display includes an input unit that acquires content data output from the information processing apparatus, and a user during a moving image frame included in the content data.
- Content that includes an invisible region confirmation unit that identifies a notification item from the information processing device by confirming an image that is invisible when viewed through a lens, and output stop based on the notification item And an output unit that performs any one of changes in the data output mode.
- This information processing apparatus generates data to be output to a head-mounted display having a lens on the front surface of the display panel, and the user views through the lens on the head-mounted display during a moving image frame included in the data.
- An output data generation unit that generates final content data by representing an image indicating that the data is appropriate in a region that is sometimes invisible, and a head mounted display that displays the content data generated by the output data generation unit And an output unit for outputting to the terminal.
- This information processing system is an information processing system comprising a head mounted display having a lens on the front surface of a display panel, and an information processing device for generating content data to be output to the head mounted display. Generates data to be output to the head-mounted display, and in the moving image frame included in the data, the data is appropriate for an area that is invisible when the user views the lens through the lens on the head-mounted display.
- An output data generation unit that generates final content data by representing an image indicating that it is a thing, and an output unit that outputs the content data generated by the output data generation unit to a head mounted display. Is the computer output by the information processing device.
- An invisible area confirmation that identifies a notification item from the information processing apparatus by confirming an image represented in the invisible area in a moving image frame included in the content data and an input unit that acquires the content data And an output unit that implements any one of changes in the output mode of content data including output stop based on the notification matter.
- Still another aspect of the present invention relates to a content data output method.
- This content data output method is a content data output method using a head mounted display having a lens on the front surface of a display panel, the step of acquiring content data output by an information processing device, and a moving image included in the content data The step of identifying the notification item from the information processing device by checking the image that is invisible when the user looks through the lens in the frame, and the output is stopped based on the notification item And executing any one of the changes in the output mode of the content data including.
- Still another aspect of the present invention also relates to a content data output method.
- data to be output to a head-mounted display having a lens on the front surface of the display panel is generated, and a user views through the lens on the head-mounted display during a moving image frame included in the data.
- a step of generating final content data by representing an image indicating that the data is appropriate in a region that becomes invisible at the time, and outputting the generated content data to a head-mounted display. It is characterized by including.
- content using HMD can be viewed in an appropriate state at all times.
- FIG. 1 shows a configuration example of an information processing system to which this embodiment can be applied.
- the information processing system 8 includes an imaging device 12 that captures an object, an information processing device 10 that performs information processing based on the captured image, a flat panel display 16 that displays an image obtained as a result of information processing, and a user.
- HMD 18 worn by the user and an input device 14 operated by the user.
- the information processing apparatus 10, the imaging apparatus 12, the input apparatus 14, the flat display 16, and the HMD 18 may be connected by a cable or a known wireless communication technology such as Bluetooth (registered trademark). Further, depending on the information processing performed by the information processing apparatus 10, the imaging device 12, the flat display 16, and the input device 14 may be omitted. Further, the external shapes of these devices are not limited to those shown in the drawings.
- the imaging apparatus 12 generates output data of a captured image by performing general processing such as demosaic processing on a camera that captures an object such as a user at a predetermined frame rate, and outputs the output data to the information processing apparatus 10.
- the camera includes a visible light sensor used in general digital cameras and digital video cameras, such as a CCD (Charge-Coupled Device) sensor and a CMOS (Complementary Metal-Oxide Semiconductor) sensor.
- the imaging device 12 may include only one camera, or may be a so-called stereo camera in which two cameras are arranged on the left and right sides at a known interval as illustrated.
- the imaging device 12 may be configured by a combination of a device that irradiates an object with reference light such as infrared rays and measures the reflected light and a monocular camera.
- a stereo camera or a reflected light measurement mechanism When a stereo camera or a reflected light measurement mechanism is introduced, the position of a subject in a three-dimensional real space can be obtained, and information processing and display images can be further diversified.
- the subject is determined by the triangulation principle, the subject's distance from the camera, and the reflected light is measured by TOF (Time of Flight) or pattern irradiation. Any method for specifying the distance from the camera is widely known.
- the information processing apparatus 10 outputs image data to be displayed on the HMD 18 or the flat display 16.
- the data of the image may be data saved as a complete form such as a movie or a captured moving image, or may be drawn in real time inside the information processing apparatus 10.
- the information processing apparatus 10 performs, for example, general face detection and tracking processing on a captured image acquired from the imaging apparatus 12 at a predetermined frame rate, thereby reflecting a user's action as a subject. Progress the game in which appears, or convert the user's movement into a command input to perform information processing.
- the information processing apparatus 10 acquires the movement of each user by using the marker or acceleration sensor provided in the HMD 18 or the input apparatus 14 or acquires user operation information on the input apparatus 14 to perform information processing. Or may be reflected in the display image. For example, the position and movement of the user's head are specified by tracking the image of the marker of the HMD 18 in the captured image. Then, by changing the viewpoint of the virtual world displayed on the HMD 18 corresponding to the movement, the user can see the virtual world corresponding to his / her viewpoint, and can obtain a sense of presence and immersion. In addition to such image data, the information processing apparatus 10 may output sound data such as environmental sounds and conversations.
- the HMD 18 is a display device that displays an image on a display panel such as an organic EL panel positioned in front of the user when the user puts on the head.
- the HMD 18 according to the present embodiment stereoscopically displays an image by displaying parallax images viewed from the left and right viewpoints in left and right areas obtained by dividing the display screen into two.
- the HMD 18 further includes a light emitting marker composed of an element that emits light of a predetermined color or a set thereof, a speaker or earphone that outputs sound at a position corresponding to the user's ear, an acceleration sensor that detects the inclination of the head of the user who wears the head. May be equipped.
- the flat display 16 may be a general television that has a display that outputs a two-dimensional image and a speaker that outputs sound, and specifically, may be any of a liquid crystal television, an organic EL television, a plasma television, a PC display, and the like. . Or the display and speaker of a tablet terminal or a portable terminal may be sufficient.
- the input device 14 accepts requests for processing start, end, function selection, various command inputs, and the like, and supplies them to the information processing device 10 as electrical signals.
- the input device 14 may be realized by any one of general input devices such as a game controller, a keyboard, a mouse, a joystick, a touch pad provided on the display screen of the flat display 16, or a combination thereof.
- the input device 14 may further include a light emitting marker composed of an element that emits light of a predetermined color or a set thereof.
- the information processing apparatus 10 tracks the movement of the marker using the captured image, so that the movement itself of the input apparatus 14 can be a user operation.
- you may comprise the input device 14 only with the light emission marker which has a holding part.
- FIG. 2 shows an example of the external shape of the HMD 18.
- the HMD 18 includes an output mechanism unit 102 and a mounting mechanism unit 104.
- the mounting mechanism unit 104 includes a mounting band 106 that goes around the head when the user wears to fix the device.
- the wearing band 106 is made of a material or a structure whose length can be adjusted according to the head circumference of each user.
- an elastic body such as rubber may be used, or a buckle, a gear, or the like may be used.
- the output mechanism unit 102 includes a housing 108 shaped to cover the left and right eyes when the user wears the HMD 18 and includes a display panel inside so as to face the eyes when worn.
- the display panel is realized by a liquid crystal panel or an organic EL panel.
- the housing 108 further includes a pair of lenses that are positioned between the display panel and the user's eyes when the HMD 18 is mounted, and that enlarge the viewing angle of the user.
- the HMD 18 may further include a speaker or an earphone at a position corresponding to the user's ear when worn.
- light emitting markers 110a, 110b, 110c, and 110d are provided on the outer surface of the housing 108.
- the number and arrangement of the light emitting markers are not particularly limited.
- the light emitting markers are provided at the four corners on the front surface of the casing of the output mechanism unit 102. Further, it may be provided on both side surfaces behind the mounting band 106. Since the light emitting markers 110c and 110d are below the output mechanism unit 102 and are not originally visible from the viewpoint of FIG. 2, the outer periphery is represented by dotted lines.
- FIG. 3 shows an internal circuit configuration of the information processing apparatus 10.
- the information processing apparatus 10 includes a CPU (Central Processing Unit) 22, a GPU (Graphics Processing Unit) 24, and a main memory 26. These units are connected to each other via a bus 30.
- An input / output interface 28 is further connected to the bus 30.
- the input / output interface 28 includes a peripheral device interface such as USB or IEEE1394, a communication unit 32 including a wired or wireless LAN network interface, a storage unit 34 such as a hard disk drive or a nonvolatile memory, and an output for outputting data to an external device.
- a unit 36, an input unit 38 for inputting data from an external device, and a recording medium driving unit 40 for driving a removable recording medium such as a magnetic disk, an optical disk or a semiconductor memory are connected.
- the CPU 22 controls the entire information processing apparatus 10 by executing an operating system stored in the storage unit 34.
- the CPU 22 also executes various programs read from the removable recording medium and loaded into the main memory 26 or downloaded via the communication unit 32.
- the GPU 24 has a function of a geometry engine and a function of a rendering processor, performs a drawing process according to a drawing command from the CPU 22, and outputs data from the output unit 36 to the HMD 18 or the like.
- the main memory 26 is composed of RAM (Random Access Memory) and stores programs and data necessary for processing.
- FIG. 4 is a diagram for explaining images displayed on the HMD 18 and the flat display 16.
- the image (a) on the left side of the figure is an image displayed on the HMD 18, and the image (b) on the right side is a general image displayed on the flat display 16.
- a grid-like pattern is the display target, but in reality, various images are displayed depending on the contents of information processing such as a virtual world and a game image.
- the image (a) for the HMD 18 arranges a pair of parallax images composed of a left-eye image and a right-eye image in left and right regions obtained by dividing the image plane corresponding to the display panel into two in order to stereoscopically view the image.
- the configuration is as follows.
- the HMD 18 of the present embodiment has a structure in which a lens for expanding the user's field of view is provided in front of the display panel.
- a so-called “pincushion” distortion is generated in the image displayed on the display panel, which is stretched by the lens with a larger displacement as the pixel is further away from the center. Since the amount of displacement varies depending on the color, chromatic aberration also occurs. Accordingly, distortion correction is performed in which the distortion and the chromatic aberration are taken into consideration in the opposite direction, and a “barrel-shaped” image like the image (a) is displayed.
- an original image such as the image (b) can be seen stereoscopically when viewed through the lens.
- the information processing apparatus 10 generates image data such as the image (a) as a display image for HMD and outputs it to the HMD 18.
- the peripheral region of the region of the image distorted in the barrel shape in the image (a) is an invisible region that cannot be seen by the user when viewed through the lens.
- predetermined information is represented in the invisible region by a graphic or the like, and is reflected in the display processing in the HMD 18.
- the information processing apparatus 10 may output image data such as the image (b) to the flat display 16.
- FIG. 5 shows functional block configurations of the information processing apparatus 10 and the HMD 18.
- Each functional block shown in FIG. 5 can be realized in terms of hardware by a CPU, GPU, various memories, a microprocessor, and the like, and in terms of software, a data input function and a data holding function loaded from a recording medium into the memory It is realized by a program that exhibits various functions such as an image processing function and a communication function. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
- the information processing device 10 includes an input data acquisition unit 72 that acquires input data from the imaging device 12 and the input device 14, an information processing unit 74 that performs information processing according to an application to be executed such as a game, and information such as game images and sounds thereof An output data generation unit 78 that generates data to be output as a result of processing, a communication unit 76 that establishes communication with the HMD 18, and a data storage unit 80 that stores basic data necessary for generation of output data are included.
- the input data acquisition unit 72 sequentially acquires images taken by the imaging device 12 at a predetermined frame rate. Also, information indicating the content of the user operation via the input device 14 is acquired.
- the user operation may be performed by general information processing such as selection of an application to be executed, start / end of processing, and command input. Then, the input data acquisition unit 72 supplies the acquired information to the information processing unit 74.
- the input data acquisition unit 72 may further acquire the result measured by the acceleration sensor in the HMD 18 from the communication unit 76 and supply the result to the information processing unit 74.
- the input data acquisition unit 72 also controls the start / end of shooting in the imaging device 12 according to the processing start / end request from the user acquired from the input device 14, or according to the processing result in the information processing unit 74.
- the type of data acquired from the imaging device 12 may be controlled. However, the data acquired by the input data acquisition unit 72 may differ depending on the content of information processing executed by the information processing unit 74.
- the information processing unit 74 performs information processing such as a game designated by the user.
- This information processing may include a process of detecting an image of an object from a captured image and tracking it. For example, a part of a user's body such as a head or a hand may be tracked using a contour line, or an object having a specific pattern or shape may be tracked by pattern matching. A general image processing technique can be applied to these tracking processes. Further, the position and posture of the user's head may be specified in detail by integrating information such as measurement values transmitted from the HMDs 18 by the acceleration sensor.
- the information processing unit 74 uses the movement and position of the user thus obtained as an input value, or uses a user operation via the input device 14 as an input value, so that the game progresses or performs a corresponding process. Or
- the contents of information processing are not limited to these.
- the output data generation unit 78 generates image and audio data to be output as a result of information processing in accordance with a request from the information processing unit 74.
- the virtual world viewed from the viewpoint corresponding to the position and posture of the user's head is rendered as a left and right parallax image, and distortion correction considering the lens is performed and the image data arranged on the left and right Is generated. If this image is displayed in front of the left and right eyes at a predetermined frame rate on the HMD 18 and the sound in the virtual world is further output, the user can feel as if he / she entered the virtual world.
- the output data generation unit 78 embeds the information by filling the invisible area of the image or a part thereof with a predetermined color or representing a predetermined figure in the area. For example, a graphic indicating that the generated image data is appropriate is displayed or expressed in color. In this way, the HMD 18 can determine whether or not the image data is proper image data created for the HMD 18 by the information processing apparatus 10 with a simple confirmation process. Alternatively, information instructing output adjustment of a display panel or a speaker inside the HMD 18 may be embedded in accordance with a scene change of the content.
- Basic data necessary for processing in the information processing unit 74 and the output data generation unit 78 is stored in the data storage unit 80.
- This data also includes correspondence information between information to be embedded in the image data and colors and graphics for representing it in an invisible region.
- the communication unit 76 establishes communication with the HMD 18 by a predetermined protocol such as HDMI (registered trademark) (High-Definition Multimedia Interface) or USB (Universal Serial Bus), and outputs image and audio output data generated by the output data generation unit 78. Send.
- HDMI registered trademark
- USB Universal Serial Bus
- the HMD 18 includes a communication unit 82 that acquires output data transmitted from the information processing apparatus 10, an invisible region confirmation unit 84 that confirms colors and figures represented in an invisible region among images included in the output data, and output data An output unit 86 for outputting the image and sound from the display panel and the speaker.
- the communication unit 82 establishes communication with the information processing apparatus 10 using a predetermined protocol, and acquires output data transmitted from the information processing apparatus 10 at a predetermined rate.
- the communication unit 82 may further transmit a measurement value obtained by an acceleration sensor inside the HMD 18 to the information processing apparatus 10 as appropriate.
- the invisible area confirmation unit 84 confirms the color or figure represented in the invisible area of the image from the output data acquired by the communication unit 82, and interprets the embedded information. For this reason, the invisible area confirmation unit 84 holds data in which the color or figure is associated with the information represented by the internal memory.
- the output data is supplied to the output unit 86 only when the output is appropriate by referring to the data based on the graphic or the like represented in the invisible region. If the output adjustment of the display panel or the speaker is instructed, the output unit 86 is requested to adjust.
- the output unit 86 is realized by a display panel, a speaker, and a mechanism for controlling the output state thereof, and displays an image or outputs a sound using the output data supplied from the invisible region confirmation unit 84.
- the output unit 86 performs adjustment according to the request. Since a general technique can be applied to specific processing procedures for image display, audio output, and output state control, description thereof is omitted here.
- FIG. 6 shows an example of an HMD image in which information is embedded in an invisible area.
- ellipses denoted as “L” and “R” indicate regions of left and right parallax images that are distorted into a barrel shape in consideration of the lens as in the image (a) of FIG. 4. Therefore, the surrounding area becomes an invisible area.
- information is represented by rectangular figures 192a to 192h at the four corners of the left half area including the image for the left eye and the four corners of the right half area including the image for the right eye.
- the amount of information may be further increased by providing variations in the internal patterns and the shapes of the figures 192a to 192h themselves.
- Different types of information may be embedded depending on the position in the image.
- the information may be represented by the color of the entire invisible area.
- Information other than the illustrated area may be embedded in the same manner as long as it is invisible or difficult to be visually recognized by the user.
- the region 194 near the center of the display panel is located immediately before the user's eyes, and thus tends to be invisible. Even if information is represented by colors or graphics using this area, the display mode of the HMD 18 can be controlled by the same processing without making the user aware of it.
- the region 194 is circular, but the present invention is not limited to this.
- FIG. 7 shows an example of the structure of data representing the correspondence between the graphic represented in the invisible region and the information indicated by it.
- the embedded information setting table 200 includes a position column 202a, a graphic column 202b, and an information column 204c.
- a display position of a graphic indicating information in the invisible region of the image output from the information processing apparatus 10 is set.
- eight positions where the figures 192a to 192h are represented in the image 190 of FIG. 6 are set in advance, and any one of them is represented by a coordinate (horizontal number, vertical number). Represents.
- the attributes of the figure such as color, pattern, and shape are set.
- the figure set in the figure column 202b is displayed at the position set in the position column 202a.
- the information indicated by is set. For example, if a “red rectangle” is displayed at the positions (0, 0) and (3, 0) as set in the second line of the embedded information setting table 200 shown in the figure, the image is appropriate. It is a thing.
- the third line if no other graphic is displayed at that position or the graphic itself is not displayed, the image is not displayed because it is inappropriate.
- the HMD 18 When the information processing apparatus 10 adds such a figure to an image drawn by the information processing apparatus 10 before output, the HMD 18 that has received the image data can easily determine that the image data is appropriate. Once an image has been processed, some kind of processing has been applied to it, or an image that has been created with a device whose identity is not clear. For example, the parallax between the left and right images is not appropriate. It may be defective or cause visual impairment.
- safety can be ensured immediately before output to the HMD 18, and such a danger can be eliminated by displaying only when the safety is ensured in the HMD 18. Even if the video data is stored once, the danger can be eliminated in the same manner by adding a predetermined figure to the regular video data. In addition, by displaying different predetermined colors in the invisible areas of the left half and the right half, when the left eye image and the right eye image are arranged in reverse for some reason, it is detected and not displayed. Also good.
- the information processing apparatus 10 determines an appropriate luminance depending on a scene to be drawn and causes the HMD 18 to adjust the luminance by representing a figure at a corresponding position as necessary. Image quality such as contrast and color may be adjusted. In addition to the adjustment of the display panel, the speaker volume and sound balance may be adjusted.
- the embedded information setting table 200 is stored in the data storage unit 80 of the information processing apparatus 10 and is referred to by the output data generation unit 78 in accordance with a request from the information processing unit 74, thereby adding a specific figure to the output image. Moreover, it stores in the internal memory of the invisible area confirmation part 84 of HMD18, and specifies the information which it shows based on a figure.
- the information processing apparatus 10 may embed information in an image of all frames, or may embed information periodically at a predetermined interval. In any case, by continuously representing the necessary graphic, it is possible to make an immediate correction even if the detection temporarily fails or is erroneously recognized.
- the final determination may be made after confirming that the same figure has been continuously detected at the same position for a predetermined time, thereby improving the information specifying accuracy.
- information may be expressed by a pattern of color change of the figure at the same position, the duration of each color, or the like.
- FIG. 8 is a flowchart illustrating a processing procedure in which the information processing apparatus 10 and the HMD 18 output data.
- This flowchart is started when the user designates a game or the like via the input device 14 or the like and requests the start of processing.
- the information processing apparatus 10 performs processing such as a designated game and starts generating an output image (S10).
- S10 an output image
- necessary graphics are drawn at the set position of the invisible area (S12).
- invisible areas may be filled in depending on the setting contents.
- the image data generated in this way is appropriately combined with audio data and transmitted to the HMD 18 as output data (S14).
- the generation and transmission process of the output image is similarly continued at a predetermined frame rate (N in S16, S10 to S14).
- the HMD 18 receives the output data transmitted from the information processing apparatus 10 (S18).
- the invisible area confirmation unit 84 confirms the presence or absence of a figure in the invisible area and the attribute of the figure (S20).
- the data is appropriate (Y in S22). If the output needs to be adjusted such as brightness (Y in S24), the output It outputs after adjusting (S26, S28). If it is indicated that the data is appropriate (Y in S22) and there is no need to adjust the output such as the brightness (N in S24), the data is output as it is (S28). If the data is not appropriate, the output data is not output (N in S22).
- the user may be warned by display or voice, or the information processing apparatus 10 may be notified of this.
- the display color may be temporarily output by reducing the display color as a whole.
- the HMD 18 repeats the processes of S18 to S28 on the output data for each frame transmitted from the information processing apparatus 10 while the process does not need to be terminated (N in S30). Thereby, a moving image such as a game screen and sound are always displayed on each HMD 18 in an appropriate state.
- the information processing apparatus 10 finishes all the processes when the user inputs a termination request or the game is terminated and the process needs to be terminated (Y in S16).
- the HMD 18 also finishes all the processes when it becomes necessary to terminate the processes due to a notification from the information processing apparatus 10 (Y in S30).
- information is embedded by representing a color, a figure, a pattern, or the like in an invisible region that is invisible to the user in the HMD image corrected in consideration of distortion caused by the lens.
- a graphic indicating that the image is appropriate the right or wrong of the output is determined after confirmation on the HMD side.
- information related to physical adjustments such as brightness and contrast
- adjustments are made automatically according to changes in the scene, etc., and a comfortable output environment can be provided at all times, and physical conditions caused by excessive audiovisual stimulation. Defects can be prevented.
- Information processing system 10 Information processing device, 12 Imaging device, 14 Input device, 16 Flat panel display, 18 HMD, 72 Input data acquisition unit, 74 Information processing unit, 76 Communication unit, 78 Output data generation unit, 80 Data storage Part, 82 communication part, 84 invisible area confirmation part, 86 output part.
- the present invention can be used for a computer, a display device, a game device, an information processing device, an image processing device, a system including them, and the like that process various electronic contents.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
情報処理装置からHMDへ送出するコンテンツデータのうち、画像190は左右の視差画像を、HMDが備えるレンズによる画像の歪みを考慮してそれぞれに補正を施した画像を左右に並べた構成を有する。さらに画像190には、レンズを介したときに不可視となる領域に図形192a~192hを表示し、その色、模様、形によって、情報処理装置からの通知事項を埋め込む。HMDは当該図形に対応する通知事項を特定し、その後の出力態様を変化させる。
Description
本発明は画像表示を含む電子コンテンツの出力技術に関する。
ユーザが頭部に装着することで眼前に映像を表示するヘッドマウントディスプレイ(Head Mounted Display、以下、「HMD」と呼ぶ)が実用化されている。近年では、ユーザの左右の目に視差画像を表示することで立体映像を提示するHMDや、さらにユーザの頭部の動きを追跡しその結果を映像に反映させることで仮想空間への没入感や臨場感を与えるHMDが提案されている(例えば特許文献1参照)。
HMDは一般的なディスプレイと比較し表現された世界に臨場感を与えることができる一方、ユーザがその表現世界に没入するあまり映像や音声の出力状態に対して客観的な視点を失いやすくなる。例えば視差画像の視差が適切でなかったり画面の輝度が明るすぎたり暗すぎたりしても、ユーザがそのことを客観的に判断できず視聴を継続してしまい、結果として体調に異変をきたすといったことも、一般的なディスプレイより起こりやすい。またHMDの装着者以外の人がその出力状態をチェックすることが難しいため、子供など判断力が未熟なユーザが気づかないうちに悪影響を受けてしまうことも考えられる。
本発明はこうした課題に鑑みてなされたものであり、その目的は、HMDを用いたコンテンツ出力において常時適切な視聴環境を提供できる技術を提供することにある。
本発明のある態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、表示パネルの前面にレンズを備えたヘッドマウントディスプレイであって、情報処理装置が出力したコンテンツデータを取得する入力部と、コンテンツデータに含まれる動画像のフレーム中、ユーザがレンズを介して見たときに不可視となる領域に表された画像を確認することにより、情報処理装置からの通知事項を特定する不可視領域確認部と、当該通知事項に基づき、出力停止を含むコンテンツデータの出力態様の変化のいずれかを実施する出力部と、を備えたことを特徴とする。
本発明の別の態様は情報処理装置に関する。この情報処理装置は、表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、ヘッドマウントディスプレイにおいてユーザがレンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する出力データ生成部と、出力データ生成部が生成したコンテンツデータをヘッドマウントディスプレイに出力する出力部と、を備えたことを特徴とする。
本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、表示パネルの前面にレンズを備えたヘッドマウントディスプレイと、当該ヘッドマウントディスプレイに出力させるコンテンツデータを生成する情報処理装置と、を備えた情報処理システムであって、情報処理装置は、ヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、ヘッドマウントディスプレイにおいてユーザがレンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する出力データ生成部と、出力データ生成部が生成したコンテンツデータをヘッドマウントディスプレイに出力する出力部と、を備え、ヘッドマウントディスプレイは、情報処理装置が出力したコンテンツデータを取得する入力部と、当該コンテンツデータに含まれる動画像のフレーム中、前記不可視となる領域に表された画像を確認することにより、前記情報処理装置からの通知事項を特定する不可視領域確認部と、通知事項に基づき、出力停止を含むコンテンツデータの出力態様の変化のいずれかを実施する出力部と、を備えることを特徴とする。
本発明のさらに別の態様はコンテンツデータ出力方法に関する。このコンテンツデータ出力方法は、表示パネルの前面にレンズを備えたヘッドマウントディスプレイによるコンテンツデータ出力方法であって、情報処理装置が出力したコンテンツデータを取得するステップと、当該コンテンツデータに含まれる動画像のフレーム中、ユーザがレンズを介して見たときに不可視となる領域に表された画像を確認することにより、情報処理装置からの通知事項を特定するステップと、当該通知事項に基づき、出力停止を含むコンテンツデータの出力態様の変化のいずれかを実施するステップと、を含むことを特徴とする。
本発明のさらに別の態様もコンテンツデータ出力方法に関する。このコンテンツデータ出力方法は、表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、ヘッドマウントディスプレイにおいてユーザがレンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成するステップと、生成したコンテンツデータをヘッドマウントディスプレイに出力するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によると、HMDを用いたコンテンツを常時適切な状態で視聴できる。
図1は本実施の形態を適用できる情報処理システムの構成例を示す。この例で情報処理システム8は、対象物を撮影する撮像装置12、撮影した画像に基づき情報処理を行う情報処理装置10、情報処理の結果として得られた画像を表示する平板型ディスプレイ16およびユーザが装着するHMD18、ユーザが操作する入力装置14を含む。
情報処理装置10と、撮像装置12、入力装置14、平板型ディスプレイ16、HMD18とは、ケーブルで接続されても、Bluetooth(登録商標)など既知の無線通信技術により接続されてもよい。また情報処理装置10が実施する情報処理によっては、撮像装置12、平板型ディスプレイ16、入力装置14はなくてもよい。またこれらの装置の外観形状は図示するものに限らない。
撮像装置12は、ユーザなどの対象物を所定のフレームレートで撮影するカメラと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像の出力データを生成し、情報処理装置10に送出する機構とを有する。カメラはCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。撮像装置12が備えるカメラは1つのみでもよいし、図示するように2つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラでもよい。
あるいは、赤外線などの参照光を対象物に照射しその反射光を測定する装置と単眼のカメラとの組み合わせにより撮像装置12を構成してもよい。ステレオカメラや反射光の測定機構を導入した場合、3次元の実空間における被写体の位置を求めることができ、情報処理や表示画像をより多様化させることができる。ステレオカメラが左右の視点から撮影したステレオ画像を用いて、三角測量の原理により被写体のカメラからの距離を特定する手法や、反射光の測定によりTOF(Time of Flight)やパターン照射の方式で被写体のカメラからの距離を特定する手法はいずれも広く知られている。
情報処理装置10は、HMD18や平板型ディスプレイ16に表示させる画像のデータを出力する。当該画像のデータは、映画や撮影された動画など元から完成形としてデータ保存されたものでもよいし、情報処理装置10内部でリアルタイムに描画したものでもよい。後者の場合、情報処理装置10は例えば、撮像装置12から所定のフレームレートで取得した撮影画像に対し一般的な顔検出や追跡処理を施すことにより、被写体であるユーザの動作を反映させたキャラクタが登場するゲームを進捗させたり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。
このとき情報処理装置10は、HMD18や入力装置14に設けたマーカーや加速度センサを利用して各ユーザの動きを取得したり、入力装置14に対するユーザの操作情報を取得したりして、情報処理や表示画像に反映させてもよい。例えば撮影画像におけるHMD18のマーカーの像を追跡することにより、ユーザの頭部の位置や動きを特定する。そして、その動きに対応してHMD18に表示させる仮想世界に対する視点を変化させることにより、ユーザは自分の視点に対応した仮想世界を見ることができ、臨場感や没入感を得ることができる。情報処理装置10はそのような画像データに加え、環境音や会話などの音声データも出力してよい。
HMD18は、ユーザが頭に装着することによりその眼前に位置する有機ELパネルなどの表示パネルに画像を表示する表示装置である。本実施の形態におけるHMD18は、左右の視点から見た状態の視差画像を、表示画面を2分割してなる左右の領域にそれぞれ表示させることにより画像を立体視させる。HMD18はさらに、所定の色で発光する素子またはその集合からなる発光マーカー、ユーザの耳に対応する位置に音声を出力するスピーカーやイヤホン、装着した使用者の頭部の傾きを検出する加速度センサなどを装備していてもよい。
平板型ディスプレイ16は、一般的な2次元の画像を出力するディスプレイおよび音声を出力するスピーカーを有するテレビでよく、具体的には液晶テレビ、有機ELテレビ、プラズマテレビ、PCディスプレイ等のいずれでもよい。あるいはタブレット端末や携帯端末のディスプレイおよびスピーカーであってもよい。入力装置14は、ユーザが操作することにより、処理の開始、終了、機能の選択、各種コマンド入力などの要求を受け付け、情報処理装置10に電気信号として供給する。
入力装置14は、ゲームコントローラ、キーボード、マウス、ジョイスティック、平板型ディスプレイ16の表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。入力装置14はさらに、所定の色で発光する素子またはその集合からなる発光マーカーを備えていてもよい。この場合、情報処理装置10がマーカーの動きを、撮影画像を用いて追跡することにより、入力装置14の動き自体をユーザ操作とすることができる。なお入力装置14を、把持部を有する発光マーカーのみで構成してもよい。
図2はHMD18の外観形状の例を示している。この例においてHMD18は、出力機構部102および装着機構部104で構成される。装着機構部104は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド106を含む。装着バンド106は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。
出力機構部102は、HMD18をユーザが装着した状態において左右の目を覆うような形状の筐体108を含み、内部には装着時に目に正対するように表示パネルを備える。表示パネルは液晶パネルや有機ELパネルなどで実現する。筐体108内部にはさらに、HMD18装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを備える。HMD18はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。
筐体108の外面には、発光マーカー110a、110b、110c、110dが備えられる。発光マーカーの数や配置は特に限定されないが、図示した例では出力機構部102の筐体前面の4隅に設けている。さらに、装着バンド106後方の両側面にも設けてもよい。なお発光マーカー110c、110dは出力機構部102の下側にあり、図2の視点からは本来は見えないため、外周を点線で表している。
図3は情報処理装置10の内部回路構成を示している。情報処理装置10は、CPU(Central Processing Unit)22、GPU(Graphics Processing Unit)24、メインメモリ26を含む。これらの各部は、バス30を介して相互に接続されている。バス30にはさらに入出力インターフェース28が接続されている。入出力インターフェース28には、USBやIEEE1394などの周辺機器インターフェースや、有線又は無線LANのネットワークインターフェースからなる通信部32、ハードディスクドライブや不揮発性メモリなどの記憶部34、外部装置へデータを出力する出力部36、外部装置からデータを入力する入力部38、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部40が接続される。
CPU22は、記憶部34に記憶されているオペレーティングシステムを実行することにより情報処理装置10の全体を制御する。CPU22はまた、リムーバブル記録媒体から読み出されてメインメモリ26にロードされた、あるいは通信部32を介してダウンロードされた各種プログラムを実行する。GPU24は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU22からの描画命令に従って描画処理を行い、出力部36からHMD18等へデータを出力する。メインメモリ26はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図4はHMD18と平板型ディスプレイ16に表示する画像を説明するための図である。同図左側の画像(a)は、HMD18に表示される画像、右側の画像(b)は平板型ディスプレイ16に表示される一般的な画像である。同図ではわかりやすさのために格子状の図柄を表示対象としているが、実際には仮想世界やゲーム画像など情報処理の内容によって表示される画像も様々となる。HMD18用の画像(a)は、画像を立体視させるため、表示パネルに対応する画像平面を2分割してなる左右の領域に、左目用画像と右目用画像からなる一対の視差画像をそれぞれ配置した構成を有する。
本実施の形態のHMD18は上述のように、表示パネルの前にユーザの視野を広げるためのレンズを設けた構造とする。この場合、表示パネルに表示された画像には、レンズによって、中心から離れた画素ほど大きい変位で引き延ばされるいわゆる「糸巻き型」の歪みが発生する。変位量は色によっても異なるため色収差も生じる。したがって、当該歪みと色収差を考慮して逆方向に歪めておく歪み補正を行い、画像(a)のような「樽型」の画像を表示させる。これにより、レンズを介して見たときに画像(b)のような本来の画像が立体的に見えるようになる。
レンズ用の歪み補正については一般的な手法を適用することができる。情報処理装置10は、HMD用の表示画像として画像(a)のような画像データを生成し、HMD18に出力する。ここで画像(a)のうち樽型に歪めた画像の領域の周辺領域は、レンズを介して見たときにはユーザからは見えない不可視領域となる。本実施の形態では当該不可視領域に所定の情報を図形などで表すことにより、HMD18での表示処理に反映させる。なお、平板型ディスプレイ16に同様の画像を表示させる態様においては、情報処理装置10は画像(b)のような画像データを平板型ディスプレイ16に出力すればよい。
図5は情報処理装置10とHMD18の機能ブロックの構成を示している。図5に示す各機能ブロックは、ハードウェア的には、CPU、GPU、各種メモリ、マイクロプロセッサなどで実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
情報処理装置10は、撮像装置12および入力装置14からの入力データを取得する入力データ取得部72、ゲームなど実行するアプリケーションに応じた情報処理を行う情報処理部74、ゲーム画像やその音声など情報処理の結果として出力すべきデータを生成する出力データ生成部78、HMD18と通信を確立する通信部76、出力データの生成に必要な基礎データを格納するデータ記憶部80を含む。
入力データ取得部72は、撮像装置12が撮影した画像を所定のフレームレートで順次取得する。また、入力装置14を介したユーザ操作の内容を示す情報を取得する。ここでユーザ操作とは、実行するアプリケーションの選択、処理の開始/終了、コマンド入力など、一般的な情報処理でなされるものでよい。そして入力データ取得部72は、取得した情報を情報処理部74に供給する。
入力データ取得部72はさらに、HMD18内部の加速度センサが計測した結果を通信部76から取得し、情報処理部74に供給してもよい。入力データ取得部72はまた、入力装置14から取得したユーザからの処理開始/終了要求に従い、撮像装置12における撮影の開始/終了を制御したり、情報処理部74における処理の結果に応じて、撮像装置12から取得するデータの種類を制御したりしてもよい。ただし入力データ取得部72が取得するデータは、情報処理部74が実行する情報処理の内容によって異なってよい。
情報処理部74は、ユーザが指定したゲームなどの情報処理を実施する。この情報処理には、撮影画像から対象物の像を検出しそれを追跡する処理などを含んでよい。例えば頭部や手などユーザの体の一部を、輪郭線を利用して追跡したり、特定の模様や形状を有する対象物をパターンマッチングにより追跡したりしてもよい。これらの追跡処理には一般的な画像処理技術を適用できる。さらに各HMD18から送信された加速度センサによる計測値などの情報を統合することにより、ユーザの頭部の位置や姿勢を詳細に特定してもよい。情報処理部74は、そのようにして得たユーザの動きや位置を入力値としたり、入力装置14を介したユーザ操作を入力値としたりして、ゲームを進捗させたり対応する処理を実施したりする。ただし情報処理の内容はこれらに限定されない。
出力データ生成部78は、情報処理部74からの要求に従い、情報処理の結果として出力すべき画像や音声のデータを生成する。例えば上述のように、ユーザの頭部の位置や姿勢に対応する視点から見た仮想世界を、左右の視差画像として描画したうえ、レンズを考慮した歪み補正を施して左右に配置した画像のデータを生成する。この画像をHMD18において所定のフレームレートで左右の目の前に表示させ、仮想世界での音声をさらに出力したりすれば、ユーザはあたかも仮想世界に入り込んだような感覚を得られる。
ここで出力データ生成部78は、上述した画像の不可視領域またはその一部を所定の色で塗りつぶしたり、当該領域に所定の図形を表したりすることで情報を埋め込む。例えば、生成した画像データが適正なものであることを示す図形を表示したり色で表したりする。このようにすることで、情報処理装置10がHMD18用に作成した適正な画像データか否かを、HMD18が簡易な確認処理で判別できるようにする。あるいはコンテンツのシーン変化などに応じて、HMD18内部の表示パネルやスピーカーの出力調整を指示する情報を埋め込んでもよい。
情報処理部74や出力データ生成部78における処理に必要な基礎的なデータはデータ記憶部80に格納しておく。このデータには、画像データに埋め込むべき情報とそれを不可視領域に表すための色や図形との対応情報も含まれる。通信部76は、HDMI(登録商標)(High-Definition Multimedia Interface)やUSB(Universal Serial Bus)など所定のプロトコルによりHMD18と通信を確立し、出力データ生成部78が生成した画像や音声の出力データを送信する。
HMD18は、情報処理装置10から送信された出力データを取得する通信部82、出力データに含まれる画像のうち不可視領域に表された色や図形を確認する不可視領域確認部84、および、出力データの画像や音声を表示パネルやスピーカーから出力する出力部86を含む。通信部82は所定のプロトコルにより情報処理装置10と通信を確立し、所定のレートで情報処理装置10から送信される出力データを取得する。通信部82はさらに、HMD18内部の加速度センサによる計測値などを適宜、情報処理装置10に送信してもよい。
不可視領域確認部84は、通信部82が取得した出力データのうち、画像の不可視領域に表される色や図形を確認し、埋め込まれた情報を解釈する。そのため不可視領域確認部84は、当該色や図形と、それが表す情報とを対応づけたデータを内部のメモリに保持している。そして不可視領域に表された図形等に基づき当該データを参照することにより、出力が適正である場合に限り出力データを出力部86へ供給する。また、表示パネルやスピーカーの出力調整が指示されているのであれば、出力部86に調整を要求する。
出力部86は表示パネルやスピーカーと、それらの出力状態を制御する機構などで実現し、不可視領域確認部84から供給された出力データを用いて画像を表示したり音声を出力したりする。不可視領域確認部84から出力調整の要求があった場合は、出力部86はそれに従い調整を行う。画像表示、音声出力、出力状態の制御の具体的な処理手順については一般的な技術を適用できるためここでは説明を省略する。
図6は不可視領域に情報を埋め込んだHMD用画像の例を示している。画像190において、「L」、「R」と表記された楕円は、図4の画像(a)のようにレンズを考慮して樽型に歪めた左右の視差画像の領域を示している。したがってその周囲の領域が不可視領域となる。そして同図の例では、左目用の画像を含む左半分の領域の四隅、および右目用の画像を含む右半分の領域の四隅に、矩形の図形192a~192hで情報を表している。
例えば図形192a~192hの色で情報を表す場合、赤、緑、青の3要素を0または最大階調で表すことにより、全ての図形を同じ色としても8パターンの情報を表すことができる。このように画素値に大きな差を持たせることにより、情報処理装置10の出力データ生成部78で画像が生成されてから不可視領域確認部84において不可視領域を確認するまでに介在する各種処理により色空間が微妙に変化しても、埋め込まれた情報を誤認識しないようにできる。図形192a~192hの色を全て同じとせず、位置と色の組み合わせで情報を表すようにすると、さらに情報量を増やすことができる。
図形192a~192hの塗り潰し色で情報を表現するのみならず、内部の模様や、図形192a~192h自体の形状にバリエーションを持たせることにより、さらに情報量を増やしてもよい。ただしこの場合も、不可視領域を確認するまでに介在する処理の影響で図形に多少の歪みが生じても誤認識がないよう、模様や形状に大きく差をつけることが望ましい。例えば縦線と横線、あるいは縦縞と横縞などで差を出すことが考えられる。また、画像中の位置によって異なる種類の情報を埋め込むようにしてもよい。
なお図示したように不可視領域の一部を利用するのみならず、不可視領域全体の色で情報を表してもよい。また図示した領域以外でも、不可視またはユーザに視認されにくい領域であれば同様に情報を埋め込んでよい。例えば表示パネルの中央付近の領域194は、ユーザの両眼間の直前に位置するため不可視となりやすい。この領域を利用して色や図形で情報を表しても、ユーザに意識させることなくHMD18の表示態様を同様の処理で制御できる。なお図では領域194を円形としたがそれに限る主旨ではない。
図7は不可視領域に表す図形とそれが示す情報との対応を表すデータの構造例を示している。埋め込み情報設定テーブル200は、位置欄202a、図形欄202b、情報欄204cを含む。位置欄202aには、情報処理装置10から出力される画像の不可視領域のうち、情報を示す図形の表示位置を設定する。同図の例では、図6の画像190のうち図形192a~192hが表されている8つの位置があらかじめ設定されており、そのいずれかを(横方向の番号,縦方向の番号)という座標で表している。
図形欄202bには、色、模様、形といった図形の属性を設定し、情報欄204cには、位置欄202aに設定された位置に図形欄202bで設定された図形が表されていたときにそれが示す情報を設定している。例えば図示する埋め込み情報設定テーブル200の2行目に設定されているように、(0,0)および(3,0)の位置に「赤の矩形」が表されていたら、その画像は適正なものであることを示している。一方、3行目に設定されているように、その位置にそれ以外の図形が表されていたり図形自体が表されていなければ、当該画像は不適正なものであるため表示しないようにする。
情報処理装置10が、自らが描画した画像に対し出力前にそのような図形を付加することで、当該画像データを受信したHMD18は、それが適正なものであることを容易に判別できる。一旦生成された画像に後から何らかの加工が施されていたり、素性が明らかでない装置で作成されたりした画像は、左右の画像間の視差が適切でないなどの理由で、それを見続けることにより体調不良となったり視覚障害が発生したりする可能性がある。
上記のようにHMD18への出力の直前で安全を保障し、HMD18では安全が担保されている場合に限り表示することにより、そのような危険性を排除できる。一旦保存された動画データであっても、正規のものには所定の図形を付加することで、同様に危険性を排除できる。また左半分と右半分の不可視領域に、互いに異なる所定の色を表すことにより、左目用画像と右目用画像が何らかの理由で逆に配置されている場合にそれを検出し、表示しないようにしてもよい。
また、埋め込み情報設定テーブル200の4行目に設定されているように、(1,0)および(2,0)の位置に「緑の縦縞」が表されている場合、表示パネルの輝度を減少させる指示を示している。一方、5行目に設定されているように、その位置に「緑の横縞」が表されている場合、表示パネルの輝度を増加させる指示を示している。例えば描画する仮想世界の明るさが大きく変化するようなときには、輝度を調整した方がよい場合がある。そこで情報処理装置10は描画するシーンなどによって適切な輝度を決定し、必要に応じて該当する位置に図形を表すことでHMD18に輝度を調整させる。コントラストや色味などの画質を調整してもよい。表示パネルの調整のみならず、スピーカーの音量や音のバランスを調整するようにしてもよい。
このようにすることで、ユーザの手間をかけずに常に最適な状態で画像を表示させたり音声を出力したりすることができるとともに、強い光の明滅など刺激の大きいシーンの表現を当該シーン開始直前のタイミングで緩和方向に調整でき、視覚効果による予想外の体調不良などが発生しにくい。そのような緩和処理を行うか否かを、ユーザが事前に設定できるようにしてもよい。なお図示した設定のフォーマットや設定の内容は一例であり、様々な変形が考えられる。例えば画像が適正であることを示す図形をより複雑なものとすることにより、容易に模倣できないようにしてもよい。あるいは縞模様の色や太さにバリエーションを持たせることにより、輝度を変化させる割合を具体的に指定してもよい。
埋め込み情報設定テーブル200は、情報処理装置10のデータ記憶部80に格納し、情報処理部74からの要求に従い出力データ生成部78が参照することで、具体的な図形を出力画像に付加する。またHMD18の不可視領域確認部84の内部メモリに格納し、図形に基づきそれが示す情報を特定する。情報処理装置10は、全フレームの画像に情報を埋め込んでもよいし、所定の間隔で定期的に埋め込んでもよい。いずれにしろ必要な図形を継続して表すようにすることで、一時的に検出に失敗したり誤認識したりしても即時の修正が可能となる。
またこのようにすることで、上述したシーンごとの調整のように、状況が時間変化する場合にも対応できる。なお、同じ位置に同じ図形が所定時間、継続して検出されたことを確認してから最終的な判定を行うようにして、情報の特定精度を上げてもよい。さらに、そのような時間軸上での図形の連続性を活用し、同じ位置における図形の色の変化のパターンや各色の継続時間などによって情報を表してもよい。
次にこれまで述べた構成によって実現される情報処理システム8の動作について説明する。図8は、情報処理装置10およびHMD18がデータ出力を行う処理手順を示すフローチャートである。このフローチャートは、ユーザが入力装置14などを介してゲームなどを指定し処理の開始を要求することにより開始される。まず情報処理装置10は、指定されたゲームなどの処理を行い、出力画像の生成を開始する(S10)。そして図7で示したような埋め込み情報設定テーブル200の設定内容に従い、必要な図形を不可視領域の設定された位置に描画する(S12)。なお上述のとおり、設定内容によっては不可視領域の塗り潰しなどでもよい。
このようにして生成した画像のデータを適宜音声のデータと組み合わせるなどして、出力データとしてHMD18に送信する(S14)。情報処理装置10では、処理を終了させる必要がない間は、所定のフレームレートで出力用の画像の生成および送信処理を同様に継続する(S16のN、S10~S14)。一方、HMD18では、情報処理装置10から送信された出力データを受信する(S18)。すると不可視領域確認部84は、不可視領域の図形の有無や図形の属性を確認する(S20)。
それを内部メモリに保持する埋め込み情報設定テーブル200と照合し、適正なデータであることが示され(S22のY)、輝度等、出力を調整する必要がある場合は(S24のY)、出力調整を行ったうえで出力する(S26、S28)。適正なデータであることが示され(S22のY)、輝度等、出力を調整する必要がない場合は(S24のN)、そのまま出力する(S28)。適正なデータでない場合は、当該出力データの出力を行わない(S22のN)。
なおこの場合、表示や音声によりユーザに警告したり、情報処理装置10にその旨を通知したりしてもよい。あるいは、表示色を全体的に薄くするなどして暫定的に出力するようにしてもよい。HMD18は、処理終了の必要がない間は、情報処理装置10から送信されるフレームごとの出力データに対しS18~S28の処理を繰り返す(S30のN)。これにより各HMD18にはゲーム画面などの動画像や音声が常に適切な状態で表示される。情報処理装置10は、ユーザが終了要求を入力したりゲームが終了したりして処理を終了させる必要が生じたら全ての処理を終える(S16のY)。HMD18も、情報処理装置10からの通知などによって処理を終了させる必要が生じたら全ての処理を終える(S30のY)。
以上述べた本実施の形態によれば、レンズによる歪みを考慮して補正したHMD用の画像のうち、ユーザから見えない不可視領域に色、図形、模様などを表すことで情報を埋め込む。例えば画像が適正であることを示す図形を表すことにより、HMD側で確認のうえ出力の是非を決定する。これにより不正な加工などに起因し視差が不適切であったり、左右の画像が逆になっていたりする不適切な画像を見続けることによる体調不良や視覚障害などを防止できる。また輝度やコントラストなど物理的な調整に係る情報を埋め込むことにより、シーンの変化などに応じて自動で調整がなされ、常時快適な出力環境を提供できるとともに、視聴覚的な過度の刺激に起因した体調不良なども防止できる。
不可視領域に情報を埋め込むことにより、HMDにおける表示画像には見かけ上の影響はなく、また送信されるデータサイズも変化しない。さらに、単純な図形や色の違いで判別可能なシンプルな情報を通達するため、埋め込まれた情報の検出やそれに対応した処理のための高度な情報処理モジュールを必要としない。結果として、HMDが重くなったりサイズが大きくなったりしてユーザに煩わしさを感じさせることなく、必要な処理を確実に実施させることができる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
8 情報処理システム、 10 情報処理装置、 12 撮像装置、 14 入力装置、 16 平板型ディスプレイ、 18 HMD、 72 入力データ取得部、 74 情報処理部、 76 通信部、 78 出力データ生成部、 80 データ記憶部、 82 通信部、 84 不可視領域確認部、 86 出力部。
以上のように、本発明は各種電子コンテンツを処理するコンピュータ、表示装置、ゲーム装置、情報処理装置、画像処理装置や、それらを含むシステムなどに利用可能である。
Claims (13)
- 表示パネルの前面にレンズを備えたヘッドマウントディスプレイであって、
情報処理装置が出力したコンテンツデータを取得する入力部と、
前記コンテンツデータに含まれる動画像のフレーム中、ユーザが前記レンズを介して見たときに不可視となる領域に表された画像を確認することにより、前記情報処理装置からの通知事項を特定する不可視領域確認部と、
前記通知事項に基づき、出力停止を含む前記コンテンツデータの出力態様の変化のいずれかを実施する出力部と、
を備えたことを特徴とするヘッドマウントディスプレイ。 - 前記出力部は、前記コンテンツデータが適正なものであること示す画像が表されていないとき、当該コンテンツデータの出力を停止することを特徴とする請求項1に記載のヘッドマウントディスプレイ。
- 前記出力部は、前記表示パネルの出力値の調整要求を示す画像が表されているとき、それに従い前記表示パネルの出力値を調整することを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。
- 前記不可視領域確認部は、前記不可視となる領域に表された画像の属性とその表示位置とに基づき、前記情報処理装置からの通知事項を特定することを特徴とする請求項1から3のいずれかに記載のヘッドマウントディスプレイ。
- 前記不可視領域確認部は、前記不可視となる領域に表された画像の属性、画像の表示位置、および画像の時間変化に基づき、前記情報処理装置からの通知事項を特定することを特徴とする請求項1から3のいずれかに記載のヘッドマウントディスプレイ。
- 前記不可視領域確認部は、前記不可視となる領域に表された色、模様、図形形状の少なくともいずれかに基づき、前記情報処理装置からの通知事項を特定することを特徴とする請求項1から3のいずれかに記載のヘッドマウントディスプレイ
- 表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する出力データ生成部と、
前記出力データ生成部が生成したコンテンツデータを前記ヘッドマウントディスプレイに出力する出力部と、
を備えたことを特徴とする情報処理装置。 - 前記出力データ生成部はさらに、前記動画像の途中のタイミングで、前記表示パネルの出力値の調整要求を示す画像を前記不可視となる領域に表すことを特徴とする請求項7に記載の情報処理装置。
- 表示パネルの前面にレンズを備えたヘッドマウントディスプレイと、当該ヘッドマウントディスプレイに出力させるコンテンツデータを生成する情報処理装置と、を備えた情報処理システムであって、
前記情報処理装置は、
前記ヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する出力データ生成部と、
前記出力データ生成部が生成したコンテンツデータを前記ヘッドマウントディスプレイに出力する出力部と、を備え、
前記ヘッドマウントディスプレイは、
前記情報処理装置が出力したコンテンツデータを取得する入力部と、
前記コンテンツデータに含まれる動画像のフレーム中、前記不可視となる領域に表された画像を確認することにより、前記情報処理装置からの通知事項を特定する不可視領域確認部と、
前記通知事項に基づき、出力停止を含む前記コンテンツデータの出力態様の変化のいずれかを実施する出力部と、を備えることを特徴とする情報処理システム。 - 表示パネルの前面にレンズを備えたヘッドマウントディスプレイによるコンテンツデータ出力方法であって、
情報処理装置が出力したコンテンツデータを取得するステップと、
前記コンテンツデータに含まれる動画像のフレーム中、ユーザが前記レンズを介して見たときに不可視となる領域に表された画像を確認することにより、前記情報処理装置からの通知事項を特定するステップと、
前記通知事項に基づき、出力停止を含む前記コンテンツデータの出力態様の変化のいずれかを実施するステップと、
を含むことを特徴とするコンテンツデータ出力方法。 - 表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成するステップと、
生成したコンテンツデータを前記ヘッドマウントディスプレイに出力するステップと、
を含むことを特徴とする情報処理装置によるコンテンツデータ出力方法。 - 表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する機能と、
生成したコンテンツデータを前記ヘッドマウントディスプレイに出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 - 表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する機能と、
生成したコンテンツデータを前記ヘッドマウントディスプレイに出力する機能と、
をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/561,638 US10156724B2 (en) | 2015-05-13 | 2016-05-06 | Head-mounted display, information processing apparatus, information processing system, and content data outputting method |
CN201680026229.XA CN107533833B (zh) | 2015-05-13 | 2016-05-06 | 头戴式显示器、信息处理装置、信息处理***和内容数据输出方法 |
EP16792634.4A EP3296986A4 (en) | 2015-05-13 | 2016-05-06 | Head-mounted display, information processing device, information processing system, and content data output method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-098394 | 2015-05-13 | ||
JP2015098394A JP6433850B2 (ja) | 2015-05-13 | 2015-05-13 | ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016181909A1 true WO2016181909A1 (ja) | 2016-11-17 |
Family
ID=57248070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/063678 WO2016181909A1 (ja) | 2015-05-13 | 2016-05-06 | ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10156724B2 (ja) |
EP (1) | EP3296986A4 (ja) |
JP (1) | JP6433850B2 (ja) |
CN (1) | CN107533833B (ja) |
WO (1) | WO2016181909A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI691738B (zh) * | 2019-03-20 | 2020-04-21 | 宏碁股份有限公司 | 近眼顯示裝置 |
WO2020170455A1 (ja) * | 2019-02-22 | 2020-08-27 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイおよび画像表示方法 |
WO2022070270A1 (ja) * | 2020-09-29 | 2022-04-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US11960086B2 (en) | 2019-02-22 | 2024-04-16 | Sony Interactive Entertainment Inc. | Image generation device, head-mounted display, and image generation method |
JP7526803B2 (ja) | 2020-09-29 | 2024-08-01 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6786797B2 (ja) * | 2015-12-22 | 2020-11-18 | ソニー株式会社 | 情報処理装置、撮像装置、情報処理システム、および情報処理方法、並びにプログラム |
US9965899B2 (en) * | 2016-04-28 | 2018-05-08 | Verizon Patent And Licensing Inc. | Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration |
KR102629149B1 (ko) * | 2019-01-03 | 2024-01-26 | 삼성전자주식회사 | 외부 광에 따라 디스플레이의 특성을 변경하는 전자 장치 및 방법 |
JP2022113550A (ja) * | 2021-01-25 | 2022-08-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システムおよび画像表示方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004236191A (ja) * | 2003-01-31 | 2004-08-19 | Nikon Corp | 画像表示装置 |
JP2007003848A (ja) * | 2005-06-24 | 2007-01-11 | Hitachi Ltd | 信号変換方法および信号変換装置 |
JP2007097129A (ja) * | 2005-08-29 | 2007-04-12 | Canon Inc | ステレオ表示装置及びその制御方法 |
JP2011128460A (ja) * | 2009-12-18 | 2011-06-30 | Funai Electric Co Ltd | 映像表示システム |
WO2013001590A1 (ja) * | 2011-06-27 | 2013-01-03 | パイオニア株式会社 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイで行われる制御方法及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004061519A1 (ja) * | 2002-12-24 | 2004-07-22 | Nikon Corporation | ヘッドマウントディスプレイ |
CN1993688B (zh) | 2004-08-03 | 2012-01-18 | 西尔弗布鲁克研究有限公司 | 走近启动的打印 |
US9480919B2 (en) | 2008-10-24 | 2016-11-01 | Excalibur Ip, Llc | Reconfiguring reality using a reality overlay device |
JP2011069902A (ja) * | 2009-09-24 | 2011-04-07 | Brother Industries Ltd | 画像表示装置 |
US9832441B2 (en) * | 2010-07-13 | 2017-11-28 | Sony Interactive Entertainment Inc. | Supplemental content on a mobile device |
JP2012118291A (ja) * | 2010-11-30 | 2012-06-21 | Brother Ind Ltd | 画像表示装置 |
US9224322B2 (en) * | 2012-08-03 | 2015-12-29 | Apx Labs Inc. | Visually passing data through video |
JP5732446B2 (ja) | 2012-11-06 | 2015-06-10 | 株式会社ソニー・コンピュータエンタテインメント | ヘッドマウントディスプレイ、および動き検出方法 |
WO2014129105A1 (ja) * | 2013-02-22 | 2014-08-28 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム |
US9753288B2 (en) * | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US9836122B2 (en) * | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
JP6332061B2 (ja) * | 2015-01-30 | 2018-05-30 | 株式会社Jvcケンウッド | 画像描画装置、画像描画方法及びプログラム |
-
2015
- 2015-05-13 JP JP2015098394A patent/JP6433850B2/ja active Active
-
2016
- 2016-05-06 WO PCT/JP2016/063678 patent/WO2016181909A1/ja active Application Filing
- 2016-05-06 US US15/561,638 patent/US10156724B2/en active Active
- 2016-05-06 CN CN201680026229.XA patent/CN107533833B/zh active Active
- 2016-05-06 EP EP16792634.4A patent/EP3296986A4/en not_active Ceased
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004236191A (ja) * | 2003-01-31 | 2004-08-19 | Nikon Corp | 画像表示装置 |
JP2007003848A (ja) * | 2005-06-24 | 2007-01-11 | Hitachi Ltd | 信号変換方法および信号変換装置 |
JP2007097129A (ja) * | 2005-08-29 | 2007-04-12 | Canon Inc | ステレオ表示装置及びその制御方法 |
JP2011128460A (ja) * | 2009-12-18 | 2011-06-30 | Funai Electric Co Ltd | 映像表示システム |
WO2013001590A1 (ja) * | 2011-06-27 | 2013-01-03 | パイオニア株式会社 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイで行われる制御方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3296986A4 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020170455A1 (ja) * | 2019-02-22 | 2020-08-27 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイおよび画像表示方法 |
US11960086B2 (en) | 2019-02-22 | 2024-04-16 | Sony Interactive Entertainment Inc. | Image generation device, head-mounted display, and image generation method |
TWI691738B (zh) * | 2019-03-20 | 2020-04-21 | 宏碁股份有限公司 | 近眼顯示裝置 |
WO2022070270A1 (ja) * | 2020-09-29 | 2022-04-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
JP7526803B2 (ja) | 2020-09-29 | 2024-08-01 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107533833B (zh) | 2020-12-01 |
US20180074321A1 (en) | 2018-03-15 |
JP2016212351A (ja) | 2016-12-15 |
CN107533833A (zh) | 2018-01-02 |
EP3296986A1 (en) | 2018-03-21 |
US10156724B2 (en) | 2018-12-18 |
EP3296986A4 (en) | 2018-11-07 |
JP6433850B2 (ja) | 2018-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6433850B2 (ja) | ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法 | |
CN106165415B (zh) | 立体观看 | |
US11455032B2 (en) | Immersive displays | |
JP6511386B2 (ja) | 情報処理装置および画像生成方法 | |
KR101275542B1 (ko) | 3차원 화상표시장치 및 3차원 화상표시방법 | |
US20150130915A1 (en) | Apparatus and system for dynamic adjustment of depth for stereoscopic video content | |
JP6465672B2 (ja) | 情報処理装置および情報処理方法 | |
CN105894567B (zh) | 放缩三维场景中的用户控制的虚拟对象的像素深度值 | |
US11659158B1 (en) | Frustum change in projection stereo rendering | |
WO2012020522A1 (ja) | 画像表示装置、画像表示方法、および画像補正方法 | |
US9681122B2 (en) | Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort | |
CN110537208B (zh) | 头戴式显示器和方法 | |
WO2016063617A1 (ja) | 画像生成装置、画像抽出装置、画像生成方法、および画像抽出方法 | |
WO2019098198A1 (ja) | 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム | |
JP6494305B2 (ja) | 情報処理装置、表示装置、および情報処理方法 | |
EP3402410B1 (en) | Detection system | |
KR20200115631A (ko) | 멀티뷰잉 가상 현실 사용자 인터페이스 | |
JP2019083504A (ja) | 平板パネルにおける立体映像入力のためのハードウェアシステム | |
JP2017046065A (ja) | 情報処理装置 | |
WO2017163649A1 (ja) | 画像処理装置 | |
JP2012083573A (ja) | 立体映像処理装置及びその制御方法 | |
US20240236290A9 (en) | Image generation device, program, image generation method, and image displaying system | |
JP6705929B2 (ja) | 表示制御装置及び表示制御方法 | |
WO2022255058A1 (ja) | 情報処理装置および画像生成方法 | |
WO2016027970A1 (ko) | 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16792634 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15561638 Country of ref document: US |
|
REEP | Request for entry into the european phase |
Ref document number: 2016792634 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |