WO2023100468A1 - 表示装置、表示システム、および表示方法 - Google Patents
表示装置、表示システム、および表示方法 Download PDFInfo
- Publication number
- WO2023100468A1 WO2023100468A1 PCT/JP2022/037182 JP2022037182W WO2023100468A1 WO 2023100468 A1 WO2023100468 A1 WO 2023100468A1 JP 2022037182 W JP2022037182 W JP 2022037182W WO 2023100468 A1 WO2023100468 A1 WO 2023100468A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- image data
- display
- data
- pixel
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
Definitions
- the present disclosure relates to display devices and display systems for displaying images, and display methods used in such display devices and display systems.
- Patent Literature 1 discloses a technique of generating a display image by performing reprojection processing using depth value information based on supplied image data (for example, Patent Literature 1).
- a head-mounted display used for augmented reality (AR) or virtual reality (VR) it is possible to immediately display an image according to changes in the orientation of the head-mounted display. , the latency is desired to be reduced.
- AR augmented reality
- VR virtual reality
- a display device includes a receiving circuit, a display section, a first sensor, an image processing circuit, and a display driving circuit.
- the receiving circuit receives first image data representing a first resolution overall image and second image data representing a peripheral image of a second resolution lower than the first resolution, which is an image outside the overall image.
- third image data representing a first partial image at a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the full image.
- the display section has a plurality of pixels and is capable of displaying an image of the same image range as that of the entire image.
- the first sensor is capable of detecting a change in posture of the device itself.
- the image processing circuit generates display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor. It is possible to perform the first image processing.
- the display drive circuit can drive the display unit based on the display image data.
- a display system includes an image generation device and a display device.
- the image generation device generates first image data representing a whole image of a first resolution and second image data representing a peripheral image of a second resolution lower than the first resolution, which is an image outside the whole image. and third image data representing a first partial image with a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the entire image.
- the display device includes a receiving circuit, a display section, a first sensor, an image processing circuit, and a display driving circuit. The receiving circuit is capable of receiving the first image data, the second image data and the third image data.
- the display section has a plurality of pixels and is capable of displaying an image of the same image range as that of the entire image.
- the first sensor is capable of detecting a change in posture of the device itself.
- the image processing circuit generates display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor. It is possible to perform the first image processing.
- the display drive circuit can drive the display unit based on the display image data.
- a display method includes first image data representing an overall image with a first resolution, and peripheral images with a second resolution lower than the first resolution, which are images outside the overall image. and third image data representing a first partial image with a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the entire image receiving; detecting a change in orientation of the display device using a first sensor; and generating first image data, second image data, and second image data based on the detection result of the first sensor. performing a first image processing for generating display image data by performing geometric deformation processing on the image data of 3; and displaying an image of the same image range as the image range of the entire image based on the display image data. and driving the display.
- first image data indicating an entire image with a first resolution and an image outside the overall image with a resolution of the first resolution or less
- Second image data representing a peripheral image of a second resolution
- a first partial image of a third resolution higher than the first resolution which is an image of an image range narrower than the image range of the entire image.
- Third image data is received.
- the first sensor detects a change in the posture of the display device.
- First image processing for generating display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor is done. Then, based on the generated display image data, a display unit capable of displaying an image of the same image range as that of the entire image is driven.
- FIG. 1 is a block diagram showing a configuration example of a display system according to a first embodiment of the present disclosure
- FIG. 2 is an explanatory diagram showing an example of an image generated by the image generation circuit shown in FIG. 1
- FIG. 2 is an explanatory diagram showing an operation example of the display system shown in FIG. 1
- FIG. FIG. 2 is an explanatory diagram showing a transmission band of the display system shown in FIG. 1
- FIG. 2 is an explanatory diagram showing changes in posture of the head mounted display shown in FIG. 1
- 2 is an explanatory diagram showing an example of image processing in the prediction processing circuit shown in FIG. 1
- FIG. 3 is an explanatory diagram showing another example of image processing in the prediction processing circuit shown in FIG. 1
- FIG. 3 is an explanatory diagram showing another example of image processing in the prediction processing circuit shown in FIG. 1;
- FIG. 3 is an explanatory diagram showing another example of image processing in the prediction processing circuit shown in FIG. 1;
- FIG. 2 is a block diagram showing one configuration example of a display panel shown in FIG. 1;
- FIG. 2 is a timing diagram showing an example of input signals of the display controller shown in FIG. 1;
- FIG. 2 is another timing diagram representing an example of input signals of the display controller shown in FIG. 1;
- FIG. 2 is a timing diagram showing an example of output signals of the display controller shown in FIG. 1;
- FIG. 2 is another timing diagram showing an example of output signals of the display controller shown in FIG. 1;
- FIG. It is explanatory drawing showing an example of a pixel drive operation.
- FIG. 1 is an explanatory drawing showing another example of a pixel drive operation.
- FIG. 11 is an explanatory diagram showing another example of pixel driving operation; 2 is an explanatory diagram showing an example of pixel driving operation in the head mounted display shown in FIG. 1; FIG. 2 is an explanatory diagram showing an operation example of the prediction processing circuit shown in FIG. 1; FIG. 2 is an explanatory diagram showing an operation example of the prediction processing circuit shown in FIG. 1; FIG. 2 is an explanatory diagram showing an operation example of the prediction processing circuit shown in FIG. 1; FIG. 2 is a timing chart showing an example of display operation in the display system shown in FIG. 1; FIG. 3 is a timing chart showing another example of display operation in the display system shown in FIG. 1; FIG. 2 is an explanatory diagram showing an example of an image signal in the display system shown in FIG. 1; FIG.
- FIG. 3 is an explanatory diagram showing another example of an image signal in the display system shown in FIG. 1;
- FIG. 3 is an explanatory diagram showing another example of an image signal in the display system shown in FIG. 1;
- FIG. 3 is an explanatory diagram showing another example of an image signal in the display system shown in FIG. 1;
- FIG. 2 is a timing chart showing an operation example of the display system shown in FIG. 1;
- FIG. 3 is a timing chart showing another operation example of the display system shown in FIG. 1;
- FIG. 3 is a timing chart showing another operation example of the display system shown in FIG. 1;
- FIG. 11 is an explanatory diagram showing an example of a peripheral image according to a modified example of the first embodiment;
- FIG. 9 is a table showing an example of peripheral images according to a modification of the first embodiment
- FIG. 11 is an explanatory diagram showing an operation example of a prediction processing circuit according to another modification of the first embodiment
- FIG. 10 is an explanatory diagram showing an example of an image generated by an image generation circuit according to another modification of the first embodiment
- FIG. 11 is a table showing an operation example of the display system according to another modification of the first embodiment
- FIG. 11 is an explanatory diagram showing transmission bands of a display system according to another modification of the first embodiment
- FIG. 11 is a timing chart showing an example of output signals of a display controller according to another modification of the first embodiment
- FIG. 10 is another timing chart showing an example of output signals of the display controller according to another modification of the first embodiment
- FIG. 10 is another timing chart showing an example of output signals of the display controller according to another modification of the first embodiment
- FIG. 11 is an explanatory diagram showing an example of pixel driving operation according to another modification of the first embodiment
- FIG. 10 is an explanatory diagram showing another example of pixel driving operation according to another modification of the first embodiment
- FIG. 11 is a block diagram showing a configuration example of a display system according to a second embodiment
- FIG. 41 is an explanatory diagram showing an operation example of the display system shown in FIG. 40
- FIG. 41 is an explanatory diagram showing the transmission band of the display system shown in FIG. 40
- FIG. 41 is a timing chart showing an example of input signals of the display controller shown in FIG. 40
- FIG. 41 is another timing chart showing an example of input signals of the display controller shown in FIG. 40
- FIG. 41 is a timing chart showing an example of output signals of the display controller shown in FIG.
- FIG. 41 is another timing chart showing an example of output signals of the display controller shown in FIG. 40;
- FIG. 41 is an explanatory diagram showing an example of pixel driving operation in the head mounted display shown in FIG. 40;
- FIG. FIG. 11 is a block diagram showing a configuration example of a display system according to a third embodiment;
- FIG. 49 is an explanatory diagram showing an example of an image generated by the image generation circuit shown in FIG. 48;
- FIG. FIG. 49 is an explanatory diagram showing a transmission band of the display system shown in FIG. 48;
- FIG. 49 is an explanatory diagram showing an operation example of the head mounted display shown in FIG. 48;
- FIG. 49 is a timing chart showing an operation example of the display system shown in FIG. 48;
- FIG. 49 is a timing chart showing an operation example of the display system shown in FIG. 48;
- FIG. 12 is a block diagram showing a configuration example of a display system according to a fourth embodiment
- FIG. 54 is an explanatory diagram showing an example of an image generated by the image generation circuit shown in FIG. 53;
- FIG. 54 is an explanatory diagram showing an example of the image signal shown in FIG. 53;
- FIG. FIG. 54 is an explanatory diagram showing an operation example of the head mounted display shown in FIG. 53;
- FIG. 54 is a timing chart showing an operation example of the display system shown in FIG. 53;
- FIG. 11 is a perspective view showing an external configuration of a head mounted display according to an application example;
- FIG. 11 is a perspective view showing an external configuration of another head mounted display according to an application example;
- FIG. 11 is a front view showing the external configuration of a digital still camera according to another application example;
- FIG. 11 is a rear view showing the external configuration of a digital still camera according to another application example;
- FIG. 11 is a rear view showing an external configuration of a television device according to another application example;
- FIG. 11 is a rear view showing the external configuration of a smartphone according to another application example;
- FIG. 11 is an explanatory diagram showing a configuration example of a vehicle according to another application example;
- FIG. 11 is another explanatory diagram showing a configuration example of a vehicle according to another application example; It is a block diagram showing one structural example of the head mounted display which concerns on a modification.
- FIG. 11 is a front view showing the external configuration of a digital still camera according to another application example;
- FIG. 11 is a rear view showing the external configuration of a digital still camera according to another application example;
- FIG. 11 is a rear view showing an external configuration of a television device according to another application example;
- FIG. 11 is a block diagram showing a configuration example of a display panel according to another modified example; 66 is a circuit diagram showing a configuration example of the pixel shown in FIG. 65; FIG. FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65
- FIG. 1 shows a configuration example of a display system (display system 1) according to an embodiment. Note that the display device and the display method according to the embodiment of the present disclosure are embodied by the present embodiment, so they will be described together.
- the display system 1 includes an image generation device 10 and a head mounted display 20.
- the display system 1 is used for augmented reality and virtual reality.
- the display system 1 is configured to perform foveated rendering, in which the focused area is drawn with high resolution and the other areas are drawn with low resolution.
- Communication between the image generation device 10 and the head-mounted display 20, in this example uses an interface such as HDMI (registered trademark) (High-Definition Multimedia Interface) or MIPI (registered trademark) (Mobile Industry Processor Interface). is done. In this example, this communication is performed by wire communication, but it is not limited to this, and may be performed by wireless communication.
- HDMI registered trademark
- MIPI registered trademark
- this communication is performed by wire communication, but it is not limited to this, and may be performed by wireless communication.
- the head mounted display 20 displays an image based on the image signal SP transmitted from the image generating device 10.
- An acceleration sensor 22 (described later) of the head-mounted display 20 detects movements such as orientation of the head-mounted display 20 .
- the eye tracking sensor 23 of the head mounted display 20 detects which part of the displayed image the user is looking at by detecting the orientation of the eyes of the user wearing the head mounted display 20. .
- the head-mounted display 20 supplies a detection signal SD containing these detection results to the image generation device 10 .
- the image generation device 10 generates an image (whole image P11) corresponding to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22.
- the image generation device 10 generates an image (peripheral image P12) outside the entire image P11. Further, the image generation device 10 identifies an image (partial image P2) including the portion viewed by the user in the entire image P11 based on the detection result of the eye tracking sensor 23 . Then, the image generation device 10 generates an image signal SP including low-resolution image data representing the entire image P11 and the peripheral image P12 and high-resolution image data representing the partial image P2, and outputs the generated image signal SP to the head. It is designed to transmit to the mount display 20 .
- Image generation device 10 is configured to generate an image to be displayed on head-mounted display 20 .
- the image generation device 10 has an image generation circuit 11 , a transmission circuit 12 and a reception circuit 13 .
- the image generation circuit 11 is configured to generate an image to be displayed on the head mounted display 20 by performing predetermined processing such as rendering processing.
- the image generation circuit 11 has a transmission signal generation circuit 18 .
- the transmission signal generation circuit 18 is configured to generate an image signal SP to be transmitted based on the image generated by the image generation circuit 11 .
- the image generating circuit 11 generates an entire image P11 showing the scenery in the virtual space according to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22 included in the data supplied from the receiving circuit 13. .
- the image range of the entire image P11 is the same as the image range of the display image of the head mounted display 20.
- FIG. The image generation circuit 11 also generates a peripheral image P12, which is an image outside the entire image P11.
- the entire image P11 and the peripheral image P12 constitute the image P1.
- the image generation circuit 11 selects, based on the detection result of the eye tracking sensor 23 included in the data supplied from the reception circuit 13, the user's specifies a partial image P2 indicating the portion viewed by . This partial image P2 is a part of the whole image P11.
- FIG. 2 shows an example of an image generated by the image generation circuit 11.
- the squares correspond to multiple pixels in the head mounted display 20 .
- 32 pixels are arranged horizontally and 32 pixels are arranged vertically.
- the entire image P11 includes 28 pixel values in the horizontal direction and 28 pixel values in the vertical direction.
- the peripheral image P12 is an image in a ring-shaped image area having a width of two pixels outside the entire image P11.
- the full image P11 includes an image of the person 9.
- the image generating circuit 11 identifies the partial image P2 including the portion viewed by the user in the entire image P11 based on the detection result of the eye tracking sensor 23 included in the data supplied from the receiving circuit 13. .
- the partial image P2 includes an image of this person 9's face.
- the size of partial image P2 in the horizontal direction is half the size of image P1 in the horizontal direction
- the size in the vertical direction (vertical direction in FIG. 2) of partial image P2 is half that of image P1.
- the height is half the vertical dimension of image P1. That is, the area of the partial image P2 is 1 ⁇ 4 of the area of the image P1.
- the head mounted display 20 generates a display image based on such an image generated by the image generation circuit 11. For example, when the orientation of the head mounted display 20 does not change, the head mounted display 20 generates a display image based on the entire image P11 and the partial image P2. Also, the head mounted display 20 generates a display image based on the entire image P11, the peripheral image P12, and the partial image P2, for example, when the orientation of the head mounted display 20 changes. That is, when the orientation of the head-mounted display 20 changes, the head-mounted display 20 generates a display image in consideration of the peripheral image P12, which is an image outside the overall image P11.
- the transmission signal generation circuit 18 generates an image signal SP to be transmitted based on such an image generated by the image generation circuit 11 .
- FIG. 3 shows an operation example of the display system 1, where (A) shows an image generated by the image generation circuit 11, (B) shows image data included in the image signal SP, and (C). indicates the display driving operation in the head mounted display 20.
- FIG. 3 the portion shaded with oblique lines indicates the peripheral image P12, and the portion shaded with dots indicates the partial image P2.
- the transmission signal generation circuit 18 sequentially scans the image P1 generated by the image generation circuit 11 from left to right and from top to bottom. generates an image signal SP.
- the transmission signal generation circuit 18 converts the four pixel values arranged in two rows and two columns into one pixel value for the image P1, and converts the portion of the image P1 overlapping the partial image P2 to one pixel value.
- the image data in the image signal SP is generated by outputting the two pixel values as they are.
- the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns to 1 based on 64 pixel values included in the first and second rows of the image P1. 16 pixel values related to the peripheral image P12 are generated by converting to one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the first row in the image signal SP.
- the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns into one pixel value based on the 64 pixel values included in the third and fourth rows of the image P1. , one pixel value for the peripheral image P12, 14 pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated. Thereby, the transmission signal generation circuit 18 generates the image data of the second row in the image signal SP.
- the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns into one pixel value based on the 64 pixel values included in the fifth and sixth rows of the image P1. , one pixel value for the peripheral image P12, 14 pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated. Thereby, the transmission signal generation circuit 18 generates the image data of the third row in the image signal SP.
- the transmission signal generation circuit 18 directly outputs 16 pixel values related to the partial image P2 among the 32 pixel values included in the 5th row of the image P1, and outputs the 16 pixel values included in the 6th row of the image P1. Of the 32 pixel values, 16 pixel values related to the partial image P2 are output as they are. Thereby, the transmission signal generation circuit 18 generates the image data of the 4th and 5th rows in the image signal SP.
- the transmission signal generation circuit 18 converts the four pixel values arranged in two rows and two columns into one pixel value for the image P1, and the image P1 overlaps the partial image P2. As for the part, the pixel value is output as it is. As a result, the transmission signal generation circuit 18 converts the image P1 into an image P1 with a lower resolution. On the other hand, the resolution of partial image P2 does not change. As a result, the resolution of the converted image P1 is lower than the resolution of the partial image P2. Since the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns for the entire image P1 into one pixel value, the image P1 after conversion corresponds to the partial image P2. contains images that Further, in the example of FIG.
- the transmission signal generation circuit 18 generates the image signal SP by sequentially performing processing from top to bottom.
- the SP has a portion where the pixel values of one line image included in the image P1 and the pixel values of two line images included in the partial image P2 are alternately arranged in the vertical direction. .
- the transmission signal generation circuit 18 generates image data including a plurality of pixel values as shown in FIG. 3(B) based on the image generated by the image generation circuit 11. Then, the transmission signal generating circuit 18 generates an image signal SP including this image data and image position data indicating the position (parameters POSX, POSY) of the partial image P2 in the image P1.
- the transmission circuit 12 ( FIG. 1 ) is configured to transmit the image signal SP supplied from the image generation circuit 11 to the head mounted display 20 .
- the transmission circuit 12 can transmit the image position data using the data format of the image data, for example, in the blanking period during which the image data is not transmitted in the vertical period V.
- the transmission circuit 12 may transmit the image position data as the control data, for example, during the blanking period.
- the transmission circuit 12 may transmit the image position data using a general-purpose interface such as I2C or SPI (Serial Peripheral Interface), which is different from the interface for transmitting the image data.
- the image data included in the image signal SP includes 32 rows of image data in this example.
- the data number NSP is attached to the image data for 32 lines.
- the image data of each row includes image data relating to image P1 (whole image P11 and peripheral image P12) and image data relating to partial image P2.
- the data number N1 is given to the image data for 16 lines related to the image P1
- the data number N2 is given to the image data for 16 lines related to the partial image P2.
- the number of pixel values in the image data included in the image signal SP is half the number of pixel values included in the image P1 before conversion.
- the display system 1 can halve the amount of image data compared to the case where the image P1 before conversion is transmitted as it is.
- the receiving circuit 13 ( FIG. 1 ) is configured to receive the detection signal SD transmitted from the head mounted display 20 .
- the receiving circuit 13 supplies the image generating circuit 11 with the data on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 included in the detection signal SD.
- the head mounted display 20 has a receiving circuit 21 , an acceleration sensor 22 , an eye tracking sensor 23 , a processor 24 , a transmitting circuit 25 , a display controller 26 and a display panel 27 .
- the receiving circuit 21 is configured to receive the image signal SP transmitted from the image generating device 10 .
- the receiving circuit 21 supplies the image data and image position data included in the image signal SP to the processor 24 .
- the acceleration sensor 22 is configured to detect movements such as the orientation of the head mounted display 20 .
- a 6-axis inertial sensor for example, can be used as the acceleration sensor 22 .
- the display system 1 can generate an image P1 corresponding to the direction of the head mounted display 20 in the virtual space.
- the eye tracking sensor 23 is configured to detect the orientation of the eyes of the user wearing the head mounted display 20 .
- the display system 1 can detect which part of the display image the user is looking at, and specify the partial image P2 including the part the user is looking at from the entire image P11. It is possible.
- the processor 24 is configured to control the operation of the head mounted display 20, and includes, for example, a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
- the processor 24 performs predetermined image processing based on the image data supplied from the receiving circuit 21, for example, and converts the image data subjected to the image processing into image position data, the detection result of the acceleration sensor 22, and the eye tracking sensor. 23 to the display controller 26.
- the processor 24 also supplies the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 to the transmission circuit 25 and causes the transmission circuit 25 to transmit these detection results.
- the transmission circuit 25 is configured to transmit the detection signal SD including the detection result of the acceleration sensor 22 supplied from the processor 24 and the detection result of the eye tracking sensor 23 to the image generation device 10 .
- the display controller 26 is configured to control the operation of the display panel 27 based on the image data and image position data supplied from the processor 24 .
- the display controller 26 has prediction processing circuitry 29 .
- the prediction processing circuit 29 generates display image data by performing geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23.
- the head mounted display 20 supplies the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 to the image generation device 10, and the image generation device 10 generates the image P1 based on these detection results. and a partial image P2, and supplies the generated image to the head mounted display 20.
- FIG. in this case, in the display system 1, it takes time for the head mounted display 20 to display an image according to the orientation of the head mounted display 20 after the user changes the orientation of the head mounted display 20. may be required.
- the prediction processing circuit 29 of the head mounted display 20 performs geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 . That is, the prediction processing circuit 29 generates an image based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 before the image generation device 10 generates the image. With such prediction processing, the display system 1 can immediately display an image corresponding to a change in the orientation of the head mounted display 20, thereby reducing latency.
- FIG. 5 shows changes in orientation of the head mounted display 20.
- FIG. 6 and 7 show an example of image processing in the prediction processing circuit 29.
- the acceleration sensor 22 detects changes in orientation of the head mounted display 20 .
- the prediction processing circuit 29 performs geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22, as shown in FIGS.
- the geometric deformation processing may be, for example, a projective geometric deformation processing as shown in FIG. 6 or a geometric deformation processing using vectors as shown in FIG.
- the prediction processing circuit 29 performs geometric deformation processing so that the left side of the image P1 appears to be slightly further away than the right side in response to the orientation of the head mounted display 20 being slightly changed to the lower left.
- the prediction processing circuit 29 When the prediction processing circuit 29 performs the geometric deformation processing on the image P1 in this way, it also performs the geometric deformation processing on the partial image P2 included in the image P1.
- the prediction processing circuit 29 changes the position of the partial image P2 in the image P1 based on the detection result of the eye tracking sensor 23, Geometric deformation processing is performed while performing super-resolution processing for increasing resolution.
- the prediction processing circuit 29 converts the pixel values outside the image P1 into black pixels as shown in FIG. 8, for example. can be set to a value. Note that the present invention is not limited to this, and the prediction processing circuit 29 performs image processing for stretching the image based on the peripheral image P12 and the entire image P11 included in the image P1, as shown in FIG. 9, for example. Thus, pixel values outside the image P1 may be set.
- the prediction processing circuit 29 Based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23, the prediction processing circuit 29 performs geometric deformation processing on the image data supplied from the processor 24 to obtain display image data. to generate The display controller 26 controls the operation of the display panel 27 based on this display image data.
- the display panel 27 ( FIG. 1 ) is configured to display an image based on control by the display controller 26 .
- the display panel 27 displays an image of the same image range as that of the entire image P11.
- the display panel 27 is an organic EL (Electro Luminescence) display panel in this example. Note that the display panel 27 is not limited to this, and may be, for example, a liquid crystal display panel.
- FIG. 10 shows a configuration example of the display panel 27.
- the display panel 27 has a pixel array 31 , a pixel signal generation circuit 32 and a scanning circuit 33 .
- the pixel array 31 has multiple signal lines SGL, multiple control lines CTL, and multiple pixels PIX.
- the plurality of signal lines SGL extends in the vertical direction (vertical direction in FIG. 10) and is arranged in parallel in the horizontal direction (horizontal direction in FIG. 10).
- Each of the plurality of signal lines SGL supplies pixel signals generated by the pixel signal generating circuit 32 to the pixels PIX.
- the plurality of control lines CTL extend in the horizontal direction (horizontal direction in FIG. 10) and are arranged in parallel in the vertical direction (vertical direction in FIG. 10). Each of the plurality of control lines CTL supplies control signals generated by the scanning circuit 33 to the pixels PIX.
- a plurality of pixels PIX are arranged in a matrix in the pixel array 31 .
- Each of the plurality of pixels PIX is controlled based on the control signal supplied via the control line CTL, and the pixel signal supplied via the signal line SGL is written. Thereby, each of the plurality of pixels PIX is configured to emit light with luminance corresponding to the written pixel signal.
- a row of pixels PIX arranged in the horizontal direction forms a pixel line L. As shown in FIG.
- the pixel signal generation circuit 32 is configured to generate pixel signals based on image data to be displayed and apply the generated pixel signals to each of the plurality of signal lines SGL.
- the scanning circuit 33 generates a control signal and applies the generated control signal to each of the plurality of control lines CTL, thereby scanning the plurality of pixels PIX with one or a plurality of pixel lines L as scanning units. It's becoming
- the receiving circuit 21 corresponds to a specific example of "receiving circuit” in the present disclosure.
- the converted whole image P11 corresponds to a specific example of the “whole image” in the present disclosure.
- the peripheral image P12 after conversion corresponds to a specific example of the “peripheral image” in the present disclosure.
- the partial image P2 corresponds to a specific example of "first partial image” in the present disclosure.
- the pixel array 31 corresponds to a specific example of the "display section” in the present disclosure.
- the acceleration sensor 22 corresponds to a specific example of "first sensor” in the present disclosure.
- the eye tracking sensor 23 corresponds to a specific example of "second sensor” in the present disclosure.
- the display controller 26 corresponds to a specific example of "image processing circuit” in the present disclosure.
- the pixel signal generation circuit 32 and the scanning circuit 33 correspond to a specific example of "display driving circuit” in the present disclosure.
- the transmission circuit 25 corresponds to a specific example of "transmission circuit”
- the receiving circuit 13 of the image generation device 10 receives the detection signal SD transmitted from the head-mounted display 20, and the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 included in this detection signal SD. Data is supplied to the image generation circuit 11 .
- the image generating circuit 11 generates an entire image P11 showing the scenery in the virtual space according to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22 included in the data supplied from the receiving circuit 13. .
- the image generation circuit 11 also generates a peripheral image P12, which is an image outside the entire image P11. The entire image P11 and the peripheral image P12 constitute the image P1.
- the image generating circuit 11 generates a partial image P2 including the portion viewed by the user from the entire image P11 based on the detection result of the eye tracking sensor 23 included in the data supplied from the receiving circuit 13. Identify.
- the transmission signal generation circuit 18 generates an image signal SP to be transmitted based on the image generated by the image generation circuit 11 .
- the image signal SP includes image data and image position data indicating the position of the partial image P2 in the image P1.
- the transmission circuit 12 transmits this image signal SP to the head mounted display 20 .
- the receiving circuit 21 of the head mounted display 20 receives the image signal SP transmitted from the image generating device 10 and supplies the image data and image position data included in this image signal SP to the processor 24 .
- the acceleration sensor 22 detects movements such as the orientation of the head mounted display 20 .
- the eye tracking sensor 23 detects the orientation of the eyes of the user wearing the head mounted display 20 .
- the processor 24 supplies the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 to the transmission circuit 25 .
- the transmission circuit 25 transmits a detection signal SD including the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 supplied from the processor 24 to the image generation device 10 .
- the processor 24 performs predetermined image processing based on the image data supplied from the receiving circuit 21, and converts the processed image data into image position data, the detection result of the acceleration sensor 22, and the eye tracking sensor. 23 to the display controller 26.
- the prediction processing circuit 29 of the display controller 26 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Generate.
- the display controller 26 controls the operation of the display panel 27 based on the image position data supplied from the processor 24 and the display image data generated by the prediction processing circuit 29 .
- the display panel 27 displays images under the control of the display controller 26 .
- the image generation circuit 11 presents the scenery in the virtual space according to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22 included in the data supplied from the reception circuit 13. A whole image P11 is generated.
- the image generation circuit 11 also generates a peripheral image P12, which is an image outside the entire image P11. Further, the image generating circuit 11 generates a partial image P2 including the portion viewed by the user from the entire image P11 based on the detection result of the eye tracking sensor 23 included in the data supplied from the receiving circuit 13. Identify.
- the transmission signal generation circuit 18 generates an image signal SP to be transmitted based on the image generated by the image generation circuit 11 . Specifically, the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns into one pixel value for the image P1 (whole image P11 and peripheral image P12). Further, the transmission signal generation circuit 18 outputs the pixel values as they are for the portions of the image P1 that overlap with the partial image P2. In this manner, the transmission signal generation circuit 18 generates image data including a plurality of pixel values as shown in FIG. 3B based on the image generated by the image generation circuit 11. FIG. Then, the transmission signal generation circuit 18 generates an image signal SP including this image data and image position data indicating the position (parameters POSX, POSY) of the partial image P2 in the image P1.
- the transmission circuit 12 then transmits the image signal SP supplied from the image generation circuit 11 to the head mounted display 20 .
- the receiving circuit 21 receives the image signal SP transmitted from the image generating device 10 and supplies the image data and image position data included in this image signal SP to the processor 24 .
- the processor 24 performs predetermined image processing based on the image data supplied from the receiving circuit 21, and converts the image data that has undergone the image processing into image position data, the detection result of the acceleration sensor 22, and the detection result of the eye tracking sensor 23. It is supplied to the display controller 26 together with the detection result.
- FIG. 11 shows an example of signals input to the display controller 26.
- (A) shows the waveform of the vertical synchronizing signal VS_IN
- (B) shows the waveform of the horizontal synchronizing signal HS_IN
- (C) shows the waveform of the horizontal synchronizing signal HS_IN.
- the waveform of the vertical data enable signal VDE_IN is shown
- (D) shows the data signal DATA_IN.
- a pulse occurs in the vertical synchronization signal VS_IN, and the vertical period V starts (FIG. 11(A)). Further, a pulse is generated in the horizontal synchronization signal HS_IN each time the horizontal period H starts (FIG. 11(B)).
- the vertical data enable signal VDE_IN changes from low level to high level (FIG. 11(C)).
- the data signal DATA_IN in the period when the vertical data enable signal VDE_IN is at high level indicates image data (FIG. 11(D)).
- the data signal DATA_IN is supplied over 32 horizontal periods H.
- FIG. 11 also shows data numbers N1 and N2 in addition to data number NSP.
- FIG. 12 shows an example of the data signal DATA_IN.
- the first row of image data included in the image signal SP corresponds to the first image data among the 32 pieces of image data included in the data signal DATA_IN.
- This image data includes 16 pixel values of the peripheral image P12.
- the image data in the second row included in the image signal SP corresponds to the second image data among the 32 pieces of image data included in the data signal DATA_IN.
- This image data includes one pixel value associated with the peripheral image P12, 14 pixel values associated with the entire image P11, and one pixel value associated with the peripheral image P12.
- the image data in the fourth row included in the image signal SP corresponds to the fourth image data among the 32 pieces of image data included in the data signal DATA_IN.
- This image data includes 16 pixel values for the partial image P2.
- the vertical data enable signal VDE_IN changes from high level to low level (FIG. 11(C)). Then, at timing t4, this vertical period V ends and the next vertical period V starts.
- the prediction processing circuit 29 of the display controller 26 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Generate. Based on this display image data, the display controller 26 generates a vertical synchronization signal VS_OUT, a horizontal synchronization signal HS_OUT, a vertical data enable signal VDE_OUT, and a data signal DATA_OUT.
- FIG. 13 shows an example of signals output from the display controller 26 when the orientation of the head-mounted display 20 does not change and the orientation of the user's eyes does not change.
- (B) shows the waveform of the horizontal synchronization signal HS_OUT
- (C) shows the waveform of the vertical data enable signal VDE_OUT
- (D) shows the waveform of the data signal DATA_OUT.
- the non-shaded portion indicates the entire image P11
- the dotted portion indicates the partial image P2. That is, in this example, the orientation of the head-mounted display 20 does not change and the orientation of the user's eyes does not change, so the prediction processing circuit 29 does not perform the geometric deformation processing shown in FIGS. Therefore, the data signal DATA_OUT includes image data relating to the entire image P11 and the partial image P2, and does not include image data relating to the peripheral image P12.
- a pulse occurs in the vertical synchronization signal VS_OUT, and the vertical period V starts ((A) in FIG. 13). Further, a pulse is generated in the horizontal synchronization signal HS_OUT each time the horizontal period H starts (FIG. 13(B)).
- the vertical data enable signal VDE_OUT changes from low level to high level (FIG. 13(C)).
- the display controller 26 outputs 30 pieces of image data as the data signal DATA_OUT over 30 horizontal periods H (FIG. 13(D)).
- the display controller 26 outputs the image data relating to the entire image P11 and the image data relating to the partial image P2. , as a data signal DATA_OUT.
- the 30 pieces of image data included in the data signal DATA_OUT respectively correspond to the 2nd to 31st pieces of 30 image data included in the data signal DATA_IN (FIG. 11).
- the 30 pieces of image data included in the data signal DATA_OUT correspond to the 2nd to 31st rows of image data included in the image signal SP shown in FIGS.
- FIG. 13 shows data numbers NSP, N1, and N2 for convenience of explanation.
- the prediction processing circuit 29 performs geometric deformation processing as shown in FIGS. It does not necessarily correspond to the 2nd to 31st image data contained in the data signal DATA_IN (FIG. 11).
- the display controller 26 drives a plurality of pixels PIX in the display panel 27 in units of four pixels PIX arranged in two rows and two columns, based on image data relating to the entire image P11 included in the data signal DATA_OUT. to control. Further, the display controller 26 controls the plurality of pixels PIX in the display panel 27 to be driven in units of one pixel PIX based on the data relating to the partial image P2 included in the data signal DATA_OUT.
- FIG. 14 shows an example of the data signal DATA_OUT at timings t12 to t16 in FIG. 13 and the display driving operation based on the data signal DATA_OUT.
- 15 and 16 show an example of the operation of the display panel 27.
- the display panel 27 performs the display driving operation for the two pixel lines L indicated by W1 in FIG. 14 during the period from timing t12 to t13.
- the display controller 26 outputs image data including 14 pixel values of the entire image P11 as the data signal DATA_OUT.
- the scanning circuit 33 scans the plurality of pixels PIX with two pixel lines L as the scanning unit US. Also, the pixel signal generation circuit 32 applies the same pixel signal to two signal lines SGL adjacent to each other. As a result, the same pixel signal is written to the four pixels PIX in the two pixel lines L selected. In this manner, the display panel 27 drives a plurality of pixels PIX with four pixels PIX as a unit UD.
- the pixel signal generation circuit 32 writes pixel signals relating to the entire image P11 to the two pixel lines L indicated by reference numeral W1 in FIG.
- the display panel 27 performs the display driving operation for the two pixel lines L indicated by the symbol W2 in FIG. 14 during the period from timing t13 to t14.
- the display controller 26 outputs image data including 14 pixel values of the entire image P11 as the data signal DATA_OUT.
- the display controller 26 sets the 2nd to 9th pixel values among the 14 pixel values to pixel values indicating black.
- the display panel 27 controls not to write pixel signals to the pixels PIX corresponding to the second to ninth pixel values.
- the display controller 26 may write the pixel signal based on the pixel value of "0" to the pixels PIX corresponding to the second to ninth pixel values.
- the display controller 26 sets the second to ninth pixel values among the 14 pixel values to pixel values indicating black, but the present invention is not limited to this, and black can be displayed.
- the original pixel value may be left as it is without setting to the indicated pixel value.
- 17A and 17B show an example of the display driving operation for the two pixel lines L indicated by symbol W2 in FIG.
- (C) shows the operation at timings t15 to t16.
- the pixel signal generation circuit 32 outputs pixel signals corresponding to the 1st, 10th to 14th pixel values to the pixels PIX corresponding to these pixel values. Write. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
- the display controller 26 In the next period from timing t14 to t15, the display controller 26 outputs image data including 16 pixel values of the partial image P2 as the data signal DATA_OUT, as shown in FIG.
- the data number NSP of this image data is "4" and the data number N2 is "1".
- the scanning circuit 33 scans the plurality of pixels PIX with one pixel line L as the scanning unit US. Also, the pixel signal generation circuit 32 applies a plurality of pixel signals to the plurality of signal lines SGL. Thereby, one pixel signal is written to one pixel PIX in one selected pixel line L, respectively. In this way, the display panel 27 drives a plurality of pixels PIX with one pixel PIX as a unit UD.
- the pixel signal generation circuit 32 writes pixel signals corresponding to 16 pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
- the display controller 26 In the next period from timing t15 to t16, the display controller 26 outputs image data including 16 pixel values of the partial image P2 as the data signal DATA_OUT, as shown in FIG.
- the data number NSP of this image data is "5" and the data number N2 is "2".
- the pixel signal generation circuit 32 writes pixel signals corresponding to 16 pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
- the pixel signal generation circuit 32 during the period of timings t13 to t16, generates two pixel lines L in all of the two pixel lines L indicated by symbol W2 in FIG.
- a pixel signal related to the entire image P11 or a pixel signal related to the partial image P2 is written to the pixels PIX of the .
- the display controller 26 and the display panel 27 operate in the same manner after this. Then, at timing t17, the vertical data enable signal VDE_OUT changes from high level to low level (FIG. 13(C)). Then, at timing t18, this vertical period V ends and the next vertical period V starts.
- FIG. 18 to 20 schematically represent the operation of the display controller 26.
- FIG. 18 to 20 (A) shows image data supplied to the display controller 26, and (B) shows display image data output by the display controller 26.
- FIG. 18 to 20 (A) shows image data supplied to the display controller 26, and (B) shows display image data output by the display controller 26.
- the display image data generated by the display controller 26 includes image data relating to the entire image P11 and image data relating to the partial image P2. That is, this display image data does not include image data relating to the peripheral image P12.
- the display controller 26 drives the plurality of pixels PIX in units of one pixel PIX based on the image data relating to the partial image P2 included in the display image data, and drives the plurality of pixels PIX based on the other image data. of pixels PIX are driven in units of one pixel PIX.
- the acceleration sensor 22 detects that the orientation of the head mounted display 20 has changed.
- the prediction processing circuit 29 of the display controller 26 generates display image data by performing geometric deformation processing as shown in FIG. 19 based on the detection results of the acceleration sensor 22 and the eye tracking sensor 23 .
- This display image data includes image data related to the peripheral image P12 in addition to image data related to the entire image P11 and image data related to the partial image P2.
- the display image data may further include image data of an outer image, as shown in FIGS. In this example, the image P1 becomes smaller due to the geometric deformation process, so the partial image P2 also becomes smaller.
- the display controller 26 drives the plurality of pixels PIX in units of one pixel PIX based on the image data relating to the partial image P2 included in the display image data, and drives the plurality of pixels PIX based on the other image data. of pixels PIX are driven in units of one pixel PIX.
- the acceleration sensor 22 detects that the orientation of the head-mounted display 20 has changed
- the eye tracking sensor 23 detects that the orientation of the user's eyes has changed. Detects that the orientation of the eyes has changed.
- the prediction processing circuit 29 of the display controller 26 generates display image data by performing geometric deformation processing as shown in FIG. 20 based on the detection results of the acceleration sensor 22 and the eye tracking sensor 23 .
- This display image data includes image data related to the peripheral image P12 in addition to image data related to the entire image P11 and image data related to the partial image P2.
- the display image data may further include image data of an outer image, as shown in FIGS.
- the prediction processing circuit 29 changes the position of the partial image P2 in the image P1 based on the detection result of the eye tracking sensor 23, thereby increasing the resolution.
- Image data of the partial image P2 is generated by image processing.
- the display controller 26 drives the plurality of pixels PIX in units of one pixel PIX based on the image data relating to the partial image P2 included in the display image data, and drives the plurality of pixels PIX based on the other image data. of pixels PIX are driven in units of one pixel PIX.
- the display controller 26 generates display image data and controls the operation of the display panel 27 based on this display image data.
- FIG. 21 shows an operation example of the display panel 27.
- the frame rate is 120Hz.
- the scanning circuit 33 scans from the top to the bottom of the pixel array 31 using one pixel line L or two pixel lines L as a scanning unit.
- the scanning speed is fast during the period from timing t21 to t22 and from timing t24 to t25, and the scanning speed is slow during the period from timing t22 to t24. That is, during the period from timing t22 to t24, the scanning circuit 33 scans a plurality of pixel lines L corresponding to the position of the partial image P2.
- the pixel signal generation circuit 32 writes pixel signals to a plurality of pixels PIX related to two pixel lines L in three horizontal periods, as in the operation during the period from timing t13 to t16, so the scanning speed is slow. .
- the pixel signal generation circuit 32 performs the operation in the period of timings t12 to t13.
- the scanning speed is high because the pixel signals are written in the pixels PIX of the . In this way, in the display panel 27, scanning is performed with one pixel line L or two pixel lines L as the scanning unit. can be lowered, and power consumption can be reduced.
- the pixel PIX to which the pixel signal is written emits light for a predetermined period after the pixel signal is written in this example.
- the display panel 27 displays an image.
- the head mounted display 20 displays images based on the image P1 and the partial image P2.
- the time ⁇ t from the timing t21 when the input of image data starts until the pixel PIX at the center position in the vertical direction of the display panel 27 starts emitting light is about half the time corresponding to the period T in this example. .
- the time ⁇ t can be set to about 4.1 [msec.].
- FIG. 22 shows another operation example of the display panel 27.
- the light emitting operation of the pixel PIX is different from the example in FIG. That is, in the example of FIG. 21, the display panel 27 emits light according to the scanning timing, but in this example, the pixels PIX in the entire area emit light at the same timing.
- the time ⁇ t is comparable to the time corresponding to the period T in this example. Specifically, for example, when the period T is 8.3 [msec.], the time ⁇ t can be set to about 8 [msec.].
- the eye tracking sensor 23 of the head mounted display 20 detects which part of the display image the user is looking at by detecting the orientation of the eyes of the user wearing the head mounted display 20. to detect Based on the detection result of the eye tracking sensor 23, the image generation device 10 identifies an image (partial image P2) including the portion viewed by the user in the entire image P11. Then, the image generation device 10 generates an image signal SP including low-resolution image data representing the image P1 (whole image P11 and peripheral image P12) and high-resolution image data representing the partial image P2. Therefore, in the image data included in the image signal SP, the positions of the image data relating to the image P1 and the image data relating to the partial image P2 can change according to the detection result of the eye tracking sensor 23 .
- FIG. 23 to 26 show an operation example of the display system 1.
- FIG. 23 shows the case where the user is looking at the upper left portion of the display image on the display panel 27, and
- FIG. 25 shows a case where the user is looking at the upper right portion of the display image on the panel 27,
- FIG. 25 shows a case where the user is looking at the lower left portion of the display image on the display panel 27, and
- FIG. 2 shows a case in which the lower right portion of the display image of is viewed.
- the image data of the partial image P2 in the image signal SP is shown in FIG. , 24(B) above.
- the image data of the partial image P2 in the image signal SP is shown in FIG. (B), located below as shown in 26(B). In this way, the positions of the image data related to the image P1 and the image data related to the partial image P2 in the image data included in the image signal SP can change according to the detection result of the eye tracking sensor 23 .
- FIG. 27 shows an example of the operation of the display system 1, where (A) shows the operation of the image generation circuit 11, (B) shows the operation of the transmission circuit 12, and (C) shows the operation of the display controller 26. (D) shows the operation of the display panel 27.
- the frame rate of display panel 27 is 120 Hz.
- image data is generated in cycle T0, and display based on the image data is performed in cycle T.
- the image generation circuit 11 of the image generation device 10 performs rendering processing to generate the entire image P11 corresponding to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22.
- a peripheral image P12 outside the overall image P11 is generated (FIG. 27(A)).
- the image generation circuit 11 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22, similar to the prediction processing circuit 29 of the display controller 26. to update the entire image P11 and the peripheral image P12. Further, the image generation circuit 11 identifies a partial image P2 including the portion viewed by the user in the entire image P11 based on the detection result of the eye tracking sensor 23.
- the transmission circuit 12 of the image generation device 10 generates an image signal SP based on such an image generated by the image generation circuit 11, and transmits this image signal SP to the head mounted display. 20 (FIG. 27(B)).
- the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to display Image data is generated (FIG. 27(C)).
- the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 ((D) in FIG. 27).
- the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to display the image. Data is generated (FIG. 27(C)).
- the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 ((D) in FIG. 27).
- the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to generate display image data. Generate.
- the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 .
- the prediction processing circuit 29 performs prediction processing during the period from timing t104 to t105.
- the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 during the period from timing t105 to t108.
- an image corresponding to a change in orientation of the head-mounted display 20 can be immediately displayed, and latency can be reduced.
- the prediction processing circuit 29 performs prediction processing during the period from timing t106 to t108, and the display panel 27 displays the image based on the display image data generated by the prediction processing circuit 29 during the period from timing t108 to t109. display.
- the prediction processing of the prediction processing circuit 29 can immediately display an image corresponding to, for example, a change in the orientation of the head-mounted display 20. , the latency can be reduced.
- the prediction processing circuit 28 performs geometric deformation processing based on the image data of the peripheral image P12 in addition to the image data of the entire image P11 and the image data of the partial image P2. Therefore, in the display system 1, as shown in FIGS. 19 and 20, when the image P1 is reduced by the geometric deformation processing, the display image is reduced by performing the geometric deformation processing by effectively using the peripheral image P12. can be generated.
- FIGS. 28 and 29 represent another example of the operation of the display system 1.
- the image generation circuit 11 of the image generation device 10 performs rendering processing to generate an entire image P11 according to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22.
- a peripheral image P12 outside the overall image P11 is generated (FIG. 28(A)).
- the image generation circuit 11, like the prediction processing circuit 29 of the display controller 26, performs geometric deformation processing based on the latest detection result of the acceleration sensor 22. to update the entire image P11 and the peripheral image P12.
- the image generation circuit 11 identifies a partial image P2 including the portion viewed by the user in the entire image P11 based on the detection result of the eye tracking sensor 23. FIG. Then, at timing t113, the image generation circuit 11 starts the next rendering process.
- the transmission circuit 12 of the image generation device 10 generates an image signal SP based on such an image generated by the image generation circuit 11, and transmits this image signal SP to the head mounted display. 20 (FIG. 28(B)).
- the display panel 27 displays an image based on the display image data generated by the display controller 26 based on the image data transmitted from the transmission circuit 12 ((D) in FIG. 28). ).
- the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to display Image data is generated (FIG. 28(C)).
- the rendering process started by the image generation circuit 11 at timing t113 ends within the period corresponding to the period T0 (FIG. 28(A)). Therefore, during the period from timing t116 to t118, the transmission circuit 12 of the image generation device 10 generates the image signal SP based on the image generated by the image generation circuit 11, and transmits the image signal SP to the head mounted display 20. Send (FIG. 28(B)). In this case, the display image data generated by the prediction processing circuit 29 during the period from timing t115 to t117 is discarded. Then, the display panel 27 displays an image based on the display image data generated by the display controller 26 based on the image data transmitted from the transmission circuit 12 during the period from timing t117 to t119.
- the rendering process started by the image generation circuit 11 at timing t113 has not been completed within the period corresponding to cycle T0.
- the transmission circuit 12 cannot start transmitting the image signal SP at timing t116. Therefore, the display panel 27 displays an image during the period from timing t117 to t119 based on the display image data generated by the prediction processing circuit 29 during the period from timing t115 to t117 ((D) in FIG. 29).
- the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to display the image. Generate data.
- the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 .
- the display panel 27 During the period from t118 to t118, an image is displayed based on the display image data generated by the prediction processing circuit 29 during the period from t115 to t117.
- the display system 1 can display an image based on the display image data generated by the prediction processing circuit 29 even if the rendering processing cannot be completed in time. The image can be displayed immediately.
- the receiving circuit 21 receives the first image data representing the whole image P11 with the first resolution and the second image data outside the whole image P11 with the first resolution or lower.
- third image data representing a partial image P2 of a third resolution higher than the first resolution which is an image of an image range narrower than the overall image P11. received.
- the acceleration sensor 22 detects a change in posture of the head mounted display 20 .
- the display controller 26 performs geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor 22 to generate display image data. 1 image processing.
- the pixel signal generation circuit 32 and the scanning circuit 33 drive the pixel array 31 capable of displaying an image within the same image range as that of the entire image P11.
- the head-mounted display 20 can display an image based on the display image data generated by the prediction processing circuit 29, so that, for example, an image corresponding to a change in orientation of the head-mounted display 20 can be immediately displayed. be able to.
- FIGS. 28 and 29 even when the transmission rate is reduced, it is possible to immediately display an image corresponding to a change in orientation of the head mounted display 20.
- FIG. 28 and 29 even when the transmission rate is reduced, it is possible to immediately display an image corresponding to a change in orientation of the head mounted display 20.
- latency can be reduced in the head mounted display 20 .
- the first image data representing the entire image with the first resolution and the peripheral images of the second resolution lower than the first resolution, which are images outside the entire image are shown.
- Second image data and third image data representing a partial image of a third resolution higher than the first resolution, which is an image of an image range narrower than the entire image are received.
- the acceleration sensor detects changes in posture of the head-mounted display.
- the prediction processing circuit generates display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor. image processing. Based on this display image data, the pixel signal generation circuit and the scanning circuit drive a pixel array capable of displaying an image within the same image range as that of the entire image. This can reduce latency.
- the image generation circuit 11 generates the image P1 (the entire image P11 and the peripheral image P12), identifies a portion of the entire image P11 as the partial image P2, and in the image P1,
- the high-resolution image P1 is converted to the low-resolution image P1 by converting the four pixel values arranged in , into one pixel value, but the present invention is not limited to this.
- the image generating circuit 11 may generate the low resolution image P1 and the high resolution partial image P2 separately.
- the transmission signal generation circuit 18 generates image data included in the image signal SP based on the low resolution image P1 and the high resolution partial image P2.
- the resolution of the peripheral image P12 is the same as the resolution of the entire image P11, but the present invention is not limited to this.
- the resolution of the peripheral image P12 may be lower than the resolution of the entire image P11.
- the image data amount is reduced by setting the resolution of the peripheral image P12 to 1/4 (2 ⁇ 2), 1/9 (3 ⁇ 3), and 1/16 (4 ⁇ 4). and the transmission bandwidth can be reduced.
- the prediction processing circuit 29 generates the display image using the peripheral image P12 based on the detection result of the acceleration sensor 22.
- both the left-eye image and the right-eye image may be used to generate the display image of the left-eye image and the display image of the right-eye image.
- the prediction processing circuit 29 may use the right-eye image when generating the display image of the left-eye image, or use the left-eye image when generating the display image of the right-eye image. may This operation will be described in detail below.
- FIG. 32 shows an operation example of the prediction processing circuit 29 according to this modified example.
- the prediction processing circuit 29 performs processing based on the image data of the left-eye image PL and the right-eye image PR.
- each of the left-eye image PL and right-eye image PR includes an image of box 100 .
- the image of the right end of the box 100 is missing in the left eye image PL, and the image of the left end of the box 100 is missing in the right eye image PR.
- the prediction processing circuit 29 detects the acceleration sensor 22 as shown in FIG. Based on the latest detection result of the left eye image PL, a left eye image PL1 is generated by performing geometric deformation processing on the left eye image PL, and a right eye image PL1 is generated by performing geometric deformation processing on the right eye image PR. Generate PR1. In the right-eye image PR, the image at the left end of the box 100 is missing, so even if the right-eye image PR undergoes geometric deformation processing, the prediction processing circuit 29 generates an image of this missing portion. Can not do it.
- the prediction processing circuit 29 generates an image of this missing portion in the right-eye image PR1 based on the left-eye image PL. Specifically, the prediction processing circuit 29 first converts the left eye image PL for the left eye into the image PR11 for the right eye by performing geometric deformation processing. That is, since the left-eye image PL is an image observed with the left eye of the user 8, the prediction processing circuit 29 considers the positional difference between the left eye and the right eye and performs geometric deformation processing to obtain An image PR11 when viewed with the left eye of the user 8 is generated. Next, the prediction processing circuit 29 performs geometric deformation processing on the image PR11 based on the latest detection result of the acceleration sensor 22 to generate an image PR12.
- the prediction processing circuit 29 synthesizes the image corresponding to the missing portion in the right-eye image PR1 in the image PR12 with the right-eye image PR1. In this manner, the prediction processing circuit 29 can correct the missing image portion at the left end of the box 100 in the right eye image PR1.
- the image generation circuit 11 generates an image of the entire scenery corresponding to the direction of the head-mounted display 20 in the virtual space based on the detection result of the acceleration sensor 22 included in the data supplied from the reception circuit 13. Generate an image P11. Further, the image generation circuit 11 generates a peripheral image P12 outside the entire image P11. In addition, the image generation circuit 11 selects, based on the detection result of the eye tracking sensor 23 included in the data supplied from the reception circuit 13, the user's specifies the partial images P2 and P3 indicating the portion viewed by .
- FIG. 33 shows an example of an image generated by the image generation circuit 11.
- the image generation circuit 11 Based on the detection result of the eye tracking sensor 23 included in the data supplied from the receiving circuit 13, the image generation circuit 11 generates partial images P2 and P3 including the portion viewed by the user from the entire image P11. Identify.
- the size of partial image P2 in the horizontal direction is half the size of image P1 in the horizontal direction
- the size of partial image P2 in the vertical direction (vertical direction in FIG. 33) is half that of image P1.
- the height is half the vertical dimension of image P1. That is, the area of the partial image P2 is 1 ⁇ 4 of the area of the image P1.
- the horizontal size of the partial image P3 is half the horizontal size of the partial image P2, and the vertical size of the partial image P3 is half the vertical size of the partial image P2. be. That is, the area of the partial image P3 is 1 ⁇ 4 of the area of the partial image P2. In this example, the central position of partial image P3 is the same as the central position of partial image P2.
- FIG. 34 shows an operation example of the display system 1 according to this modification, where (A) shows an image generated by the image generation circuit 11, and (B) shows image data included in the image signal SP. , and (C) shows the display driving operation in the head mounted display 20 according to this modification.
- the transmission signal generation circuit 18 scans the image P1 generated by the image generation circuit 11 from left to right from top to bottom.
- An image signal SP is generated by performing the steps one after the other.
- the transmission signal generation circuit 18 converts the 16 pixel values arranged in 4 rows and 4 columns into one pixel value for the image P1, and for the portion of the image P1 that overlaps the partial image P2, Four pixel values arranged in two rows and two columns are converted into one pixel value, and one pixel value is output as it is for a portion of the image P1 that overlaps the partial image P3, thereby obtaining an image signal.
- Generate image data in SP is
- the transmission signal generation circuit 18 generates 16 pixel values arranged in 4 rows and 4 columns based on 128 pixel values included in the 1st to 4th rows of the image P1. By converting to one pixel value, eight pixel values relating to the peripheral image P12 are generated. Thereby, the transmission signal generation circuit 18 generates the image data of the first row in the image signal SP.
- the transmission signal generation circuit 18 converts 16 pixel values arranged in 4 rows and 4 columns into one pixel value based on 128 pixel values included in the 5th to 8th rows of the image P1.
- one pixel value for the peripheral image P12, six pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated.
- the transmission signal generation circuit 18 generates the image data of the second row in the image signal SP.
- the transmission signal generation circuit 18 is arranged in two rows and two columns based on 32 pixel values related to the partial image P2 among the 64 pixel values included in the fifth and sixth rows of the image P1. Eight pixel values of the partial image P2 are generated by converting the four pixel values into one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the third row in the image signal SP.
- the transmission signal generation circuit 18 is arranged in two rows and two columns based on 32 pixel values related to the partial image P2 among the 64 pixel values included in the 7th and 8th rows of the image P1. Eight pixel values of the partial image P2 are generated by converting the four pixel values into one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the fourth row in the image signal SP.
- the transmission signal generation circuit 18 converts 16 pixel values arranged in 4 rows and 4 columns into one pixel value based on 128 pixel values included in the 9th to 12th rows of the image P1.
- one pixel value for the peripheral image P12, six pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated.
- the transmission signal generation circuit 18 generates the image data of the fifth row in the image signal SP.
- the transmission signal generation circuit 18 is arranged in two rows and two columns based on 32 pixel values related to the partial image P2 among the 64 pixel values included in the 9th and 10th rows of the image P1. Eight pixel values of the partial image P2 are generated by converting the four pixel values into one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the sixth row in the image signal SP.
- the transmission signal generation circuit 18 is arranged in two rows and two columns based on 32 pixel values related to the partial image P2 among the 64 pixel values included in the 11th and 12th rows of the image P1. Eight pixel values of the partial image P2 are generated by converting the four pixel values into one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the seventh row in the image signal SP.
- the transmission signal generation circuit 18 directly outputs the eight pixel values related to the partial image P3 among the 32 pixel values included in the 9th row of the image P1, and outputs the 32 pixel values included in the 10th row of the image P1. 8 pixel values related to the partial image P3 are output as they are, and 8 pixel values related to the partial image P3 are output as they are among the 32 pixel values included in the 11th row of the image P1. 8 pixel values of the partial image P3 among the 32 pixel values included in the 12th row of the image P1 are output as they are. Thereby, the transmission signal generation circuit 18 generates the image data of the 8th to 11th rows in the image signal SP.
- the transmission signal generation circuit 18 converts 16 pixel values arranged in 4 rows and 4 columns into one pixel value for the image P1.
- the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns into one pixel value for a portion of the image P1 that overlaps the partial image P2. Further, the transmission signal generation circuit 18 outputs the pixel values as they are for the portions of the image P1 that overlap with the partial image P3. Accordingly, in the image signal SP, the resolution of the image P1 is lower than the resolution of the partial image P2, and the resolution of the partial image P2 is lower than the resolution of the partial image P3.
- the transmission signal generation circuit 18 generates image data including a plurality of pixel values as shown in FIG. 34(B) based on the image generated by the image generation circuit 11. Then, the transmission signal generation circuit 18 generates an image signal SP including this image data and image position data indicating the position (parameters POSX, POSY) of the partial image P2 in the image P1.
- FIG. 35 shows transmission bands in the display system 1 according to this modified example.
- the image data included in the image signal SP includes 24 rows of image data in this example.
- data number N1 is given to 8 lines of image data for image P1 (whole image P11 and peripheral image P12)
- data number N2 is given to 8 lines of image data for partial image P2.
- the data number N3 is attached to the image data for eight lines related to the partial image P3.
- FIG. 36 shows an example of a signal output from the display controller 26 according to this modification when the orientation of the head mounted display 20 does not change and the orientation of the user's eyes does not change.
- the orientation of the head-mounted display 20 does not change and the orientation of the user's eyes does not change, so the prediction processing circuit 29 does not perform the geometric deformation processing shown in FIGS. Therefore, the data signal DATA_OUT includes image data relating to the entire image P11 and the partial images P2 and P3, and does not include image data relating to the peripheral image P12.
- a pulse occurs in the vertical synchronization signal VS_OUT, and the vertical period V starts (FIG. 36(A)). Further, a pulse is generated in the horizontal synchronization signal HS_OUT each time the horizontal period H starts (FIG. 36(B)).
- the vertical data enable signal VDE_OUT changes from low level to high level (FIG. 36(C)).
- the display controller 26 outputs 22 pieces of image data as the data signal DATA_OUT over 22 horizontal periods H (FIG. 36(D)).
- the display controller 26 outputs image data relating to the entire image P11 and images relating to the partial images P2 and P3. Data is output as data signal DATA_OUT.
- the 22 pieces of image data included in the data signal DATA_OUT correspond to the 2nd to 23rd rows of image data included in the image signal SP shown in FIGS. 34(B) and 35, respectively.
- FIG. 36 shows data numbers NSP, N1 to N3 for convenience of explanation.
- the display controller 26 drives a plurality of pixels PIX in the display panel 27 in units of 16 pixels PIX arranged in 4 rows and 4 columns based on the image data relating to the entire image P11 included in the data signal DATA_OUT. control to Further, the display controller 26 drives a plurality of pixels PIX in the display panel 27 in units of four pixels PIX arranged in two rows and two columns, based on data relating to the partial image P2 included in the data signal DATA_OUT. control to Further, the display controller 26 controls the plurality of pixels PIX in the display panel 27 to be driven in units of one pixel PIX based on the data related to the partial image P3 included in the data signal DATA_OUT.
- FIG. 37 shows an example of the data signal DATA_OUT at timings t22 to t32 in FIG. 36 and the display driving operation based on the data signal DATA_OUT.
- the display panel 27 performs the display drive operation for the four pixel lines L indicated by W4 in FIG. 37 during the period from timing t22 to t23.
- the display controller 26 outputs image data including six pixel values of the entire image P11 as the data signal DATA_OUT.
- the data number NSP of this image data is "2"
- the data number N1 is "2”.
- the display controller 26 sets the 1st to 4th pixel values among the 6 pixel values to pixel values indicating black.
- the display panel 27 controls not to write pixel signals to the pixels PIX corresponding to the first to fourth pixel values.
- FIG. 38 shows an example of the display driving operation for the four pixel lines L indicated by symbol W4 in FIG.
- (C) shows the operation at timings t24 to t25.
- the pixel signal generation circuit 32 writes pixel signals corresponding to the fifth and sixth pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
- the display controller 26 In the next period from timing t23 to t24, the display controller 26 outputs image data including eight pixel values of the partial image P2 as the data signal DATA_OUT, as shown in FIG.
- the data number NSP of this image data is "3" and the data number N2 is "1".
- the pixel signal generation circuit 32 writes pixel signals corresponding to eight pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
- the operation during the period from timing t24 to t25 is the same as the operation during the period from timing t23 to t24.
- the pixel signal generation circuit 32 writes pixel signals corresponding to eight pixel values to the pixels PIX corresponding to these pixel values.
- the pixel signal generation circuit 32 as shown in FIG. A pixel signal related to the entire image P11 or a pixel signal related to the partial image P2 is written to the pixels PIX of the .
- the display panel 27 performs the display driving operation for the four pixel lines L indicated by reference numeral W5 in FIG. 37 during the period from timing t25 to t32.
- the display controller 26 outputs image data including six pixel values of the entire image P11 as the data signal DATA_OUT.
- the data number NSP of this image data is "5" and the data number N1 is "3".
- the display controller 26 sets the 1st to 4th pixel values among the 6 pixel values to pixel values indicating black.
- the display panel 27 controls not to write pixel signals to the pixels PIX corresponding to the first to fourth pixel values.
- FIG. 39 shows an example of the display driving operation for the four pixel lines L indicated by symbol W5 in FIG.
- C shows the operation at timing t27-t28
- D shows the operation at timing t28-t29
- E shows the operation at timing t29-t30
- F shows the operation at timing t30 to t31
- G shows the operation at timings t31 to t32.
- the pixel signal generation circuit 32 writes pixel signals corresponding to the fifth and sixth pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
- the display controller 26 In the next period from timing t26 to t27, the display controller 26 outputs image data including eight pixel values of the partial image P2 as the data signal DATA_OUT, as shown in FIG.
- the data number NSP of this image data is "6" and the data number N2 is "3".
- the display controller 26 sets the third to sixth pixel values among the eight pixel values to pixel values indicating black.
- the display panel 27 controls not to write pixel signals to the pixels PIX corresponding to the third to sixth pixel values.
- the pixel signal generation circuit 32 At timings t26 to t27, the pixel signal generation circuit 32 generates pixel signals corresponding to the 1st, 2nd, 7th, and 8th pixel values for the pixels corresponding to these pixel values. Write to PIX. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
- the operation during the period from timing t27 to t28 is the same as the operation during the period from timing t26 to t27.
- the pixel signal generation circuit 32 generates pixel signals corresponding to the 1st, 2nd, 7th, and 8th pixel values. Write to the pixel PIX that
- the display controller 26 outputs image data including eight pixel values of the partial image P3 as the data signal DATA_OUT, as shown in FIG.
- the data number NSP of this image data is "8" and the data number N3 is "1".
- the pixel signal generation circuit 32 writes pixel signals corresponding to eight pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
- the pixel signal generation circuit 32 generates eight pixel A pixel signal corresponding to the value is written to the pixel PIX corresponding to these pixel values.
- the pixel signal generation circuit 32 as shown in FIG. A pixel signal related to the entire image P11, a pixel signal related to the partial image P2, or a pixel signal related to the partial image P3 is written to the pixels PIX of the .
- the display controller 26 and the display panel 27 operate in the same manner after this. Then, at timing t33, the vertical data enable signal VDE_OUT changes from high level to low level (FIG. 36(C)). Then, at timing t34, this vertical period V ends and the next vertical period V starts.
- Second Embodiment> a display system 2 according to a second embodiment will be described. This embodiment differs from the first embodiment in the configuration of image data in the image signal SP.
- symbol is attached
- FIG. 40 shows a configuration example of the display system 2 according to this embodiment.
- the display system 2 includes an image generation device 40 and a head mounted display 50 .
- the image generation device 40 has an image generation circuit 41 .
- the image generation circuit 41 has a transmission signal generation circuit 48 .
- the transmission signal generation circuit 48 is configured to generate an image signal SP to be transmitted based on the image generated by the image generation circuit 41 .
- FIG. 41 shows an operation example of the display system 2
- (A) shows an image generated by the image generation circuit 41
- (B) shows image data included in the image signal SP
- (C) indicates the display driving operation in the head mounted display 50.
- the transmission signal generation circuit 48 sequentially scans the image P1 generated by the image generation circuit 41 from left to right and from top to bottom. generates an image signal SP.
- the transmission signal generation circuit 48 converts four pixel values arranged in two rows and two columns into one pixel value for a portion of the image P1 that does not overlap with the partial image P2, and converts the portion of the image P1 into a single pixel value.
- the image data in the image signal SP is generated by outputting one pixel value as it is.
- the transmission signal generation circuit 48 converts four pixel values arranged in two rows and two columns to 1 based on 64 pixel values included in the first and second rows of the image P1. 16 pixel values related to the peripheral image P12 are generated by converting to one pixel value. Then, the transmission signal generation circuit 48 generates eight pixel values representing black. Thereby, the transmission signal generation circuit 48 generates the image data of the first row in the image signal SP.
- the transmission signal generation circuit 48 converts four pixel values arranged in two rows and two columns into one pixel value based on the 64 pixel values included in the third and fourth rows of the image P1. , one pixel value for the peripheral image P12, 14 pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated. Then, the transmission signal generation circuit 48 generates eight pixel values representing black. Thereby, the transmission signal generation circuit 48 generates the image data of the second row in the image signal SP.
- the transmission signal generation circuit 48 is arranged in two rows and two columns based on 8 pixel values belonging to the 1st to 4th columns among the 64 pixel values included in the 5th and 6th rows of the image P1. By converting the resulting four pixel values into one pixel value, one pixel value for the peripheral image P12 and one pixel value for the entire image P11 are generated.
- the transmission signal generation circuit 48 directly outputs 16 pixel values related to the partial image P2 among the 32 pixel values included in the fifth row of the image P1.
- the transmission signal generating circuit 48 is arranged in two rows and two columns based on 20 pixel values belonging to the 21st to 32nd columns among the 64 pixel values included in the 5th and 6th rows of the image P1. By converting the four pixel values into one pixel value, five pixel values for the entire image P11 and one pixel value for the peripheral image P12 are generated. Thereby, the transmission signal generation circuit 48 generates the image data of the third row in the image signal SP.
- the transmission signal generation circuit 48 generates two pixel values indicating black.
- the transmission signal generation circuit 48 directly outputs 16 pixel values related to the partial image P2 among the 32 pixel values included in the 6th row of the image P1. Then, the transmission signal generation circuit 48 generates six pixel values representing black. Thereby, the transmission signal generation circuit 48 generates the image data of the fourth row in the image signal SP.
- the transmission signal generation circuit 48 converts four pixel values arranged in two rows and two columns into one pixel value for a portion of the image P1 that does not overlap the partial image P2. Therefore, the converted image P1 does not include an image corresponding to the partial image P2.
- the transmission signal generation circuit 48 converts a portion of the image P1 that does not overlap with the partial image P2 into an image P1 with a lower resolution.
- the resolution of partial image P2 does not change. As a result, the resolution of the converted image P1 is lower than the resolution of the partial image P2.
- the transmission signal generation circuit 48 generates the image signal SP by sequentially scanning from left to right and from top to bottom. For example, in the image signal SP, one or more pixel values relating to the image P1 and one or more pixel values relating to the partial image P2 are arranged alternately.
- the transmission signal generation circuit 48 generates image data including a plurality of pixel values as shown in FIG. 41(B) based on the image generated by the image generation circuit 41.
- This image data includes pixel values representing black.
- the transmission signal generation circuit 48 generates an image signal SP including this image data and image position data indicating the position (parameters POSX, POSY) of the partial image P2 in the image P1.
- FIG. 42 shows the transmission band in the display system 2.
- the unshaded portion indicates the entire image P11
- the shaded portion indicates the peripheral image P12
- the dotted portion indicates the partial image P2.
- Pixel values shaded with dark shading indicate black pixel values.
- the image data included in the image signal SP includes 24 rows of image data in this example. For convenience of explanation, the data number NSP is given to the image data for 24 lines.
- the display system 2 can reduce the amount of image data compared to the case where the image P1 before conversion is transmitted as it is.
- the head mounted display 50 (FIG. 40) has a display controller 56.
- Display controller 56 is configured to control the operation of display panel 27 based on the image data and image position data provided by processor 24 .
- the display controller 56 has prediction processing circuitry 59 .
- the prediction processing circuit 59 generates display image data by performing geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Configured.
- FIG. 43 shows an example of signals input to the display controller 56.
- (A) shows the waveform of the vertical synchronizing signal VS_IN
- (B) shows the waveform of the horizontal synchronizing signal HS_IN
- (C) shows the waveform of the horizontal synchronizing signal HS_IN.
- the waveform of the vertical data enable signal VDE_IN is shown
- (D) shows the data signal DATA_IN.
- a pulse occurs in the vertical synchronization signal VS_IN, and the vertical period V starts (FIG. 43(A)).
- a pulse is generated in the horizontal synchronization signal HS_IN each time the horizontal period H starts (FIG. 43(B)).
- the vertical data enable signal VDE_IN changes from low level to high level (FIG. 43(C)).
- the data signal DATA_IN is supplied over 24 horizontal periods H.
- FIG. The data signal DATA_IN includes 24 image data corresponding to 24 horizontal periods H.
- FIG. 44 shows an example of the data signal DATA_IN.
- the second row of image data included in the image signal SP corresponds to the second image data among the 24 pieces of image data included in the data signal DATA_IN.
- This image data includes one pixel value of the peripheral image P12, 14 pixel values of the entire image P11, one pixel value of the peripheral image P12, and eight pixel values representing black.
- the third row of image data included in the image signal SP corresponds to the third image data among the 24 pieces of image data included in the data signal DATA_IN.
- This image data includes one pixel value related to the peripheral image P12, one pixel value related to the whole image P11, 16 pixel values related to the partial image P2, five pixel values related to the whole image P11, and one pixel value related to the peripheral image P12.
- the image data in the fourth row included in the image signal SP corresponds to the fourth image data among the 24 pieces of image data included in the data signal DATA_IN.
- This image data includes two pixel values representing black, 16 pixel values relating to the partial image P2, and six pixel values representing black.
- the vertical data enable signal VDE_IN changes from high level to low level (FIG. 43(C)). Then, at timing t44, this vertical period V ends and the next vertical period V starts.
- the prediction processing circuit 59 of the display controller 56 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Generate.
- the display controller 56 then generates a vertical synchronizing signal VS_OUT, a horizontal synchronizing signal HS_OUT, a vertical data enable signal VDE_OUT, and a data signal DATA_OUT based on this display image data.
- FIG. 45 shows an example of signals output from the display controller 56 when the orientation of the head mounted display 50 does not change and the orientation of the user's eyes does not change.
- (B) shows the waveform of the horizontal synchronization signal HS_OUT
- (C) shows the waveform of the vertical data enable signal VDE_OUT
- (D) shows the waveform of the data signal DATA_OUT.
- the non-shaded portion indicates the entire image P11
- the dotted portion indicates the partial image P2. That is, in this example, the orientation of the head-mounted display 50 does not change and the orientation of the user's eyes does not change, so the prediction processing circuit 59 does not perform the geometric deformation processing shown in FIGS. Therefore, the data signal DATA_OUT includes image data relating to the entire image P11 and the partial image P2, and does not include image data relating to the peripheral image P12.
- a pulse occurs in the vertical synchronization signal VS_OUT, and the vertical period V starts (FIG. 45(A)).
- a pulse is generated in the horizontal synchronization signal HS_OUT each time the horizontal period H starts (FIG. 45(B)).
- the vertical data enable signal VDE_OUT changes from low level to high level (FIG. 45(C)).
- the display controller 56 outputs 22 pieces of image data as the data signal DATA_OUT over 22 horizontal periods H (FIG. 45(D)).
- the display controller 56 converts the image data relating to the entire image P11 and the image data relating to the partial image P2 to , as a data signal DATA_OUT.
- the 22 image data included in the data signal DATA_OUT correspond to the 22nd to 23rd image data included in the data signal DATA_IN (FIG. 43).
- the 22 pieces of image data included in the data signal DATA_OUT correspond to the 2nd to 23rd rows of image data included in the image signal SP shown in FIGS.
- FIG. 45 shows the data number NSP for convenience of explanation.
- the display controller 56 drives the plurality of pixels PIX in the display panel 27 in units of four pixels PIX arranged in two rows and two columns, based on image data relating to the entire image P11 included in the data signal DATA_OUT. to control. Further, the display controller 56 controls the plurality of pixels PIX in the display panel 27 to be driven in units of one pixel PIX based on the data related to the partial image P2 included in the data signal DATA_OUT.
- FIG. 46 shows an example of the data signal DATA_OUT at timings t52 to t55 in FIG. 45 and the display driving operation based on the data signal DATA_OUT.
- the display panel 27 performs the display drive operation for the two pixel lines L indicated by reference numeral W6 in FIG. 46 during the period from timing t52 to t53.
- the display controller 56 outputs image data including 14 pixel values of the entire image P11 and 8 pixel values representing black as data signals. Output as DATA_OUT.
- the pixel signal generation circuit 32 writes pixel signals relating to the entire image P11 to the two pixel lines L indicated by reference numeral W6 in FIG.
- the display panel 27 performs the display driving operation for the two pixel lines L indicated by W7 in FIG. 46 during the period from timing t53 to t55.
- the display controller 56 As shown in FIG. and five pixel values of the entire image P11 from the 18th to 22nd pixel values are output as the data signal DATA_OUT.
- the data number NSP of this image data is "3". That is, as shown in FIG. 44, the image data with the data number NSP of "3" included in the image signal SP has one pixel value associated with the peripheral image P12 and one pixel value associated with the entire image P11. , 16 pixel values of the partial image P2, 5 pixel values of the full image P11, and 1 pixel value of the peripheral image P12.
- One pixel value of the image P11, 16 pixel values of the partial image P2, and 5 pixel values of the full image P11 are output as the data signal DATA_OUT.
- FIG. 47 shows an example of the display driving operation for the two pixel lines L indicated by symbol W7 in FIG. shows the behavior in As shown in FIG. 47A, at timings t53 to t54, the pixel signal generation circuit 32 writes pixel signals corresponding to the 1st to 22nd pixel values to the pixels PIX corresponding to these pixel values.
- the display controller 56 In the next period from timing t54 to t55, the display controller 56, as shown in FIG. and six pixel values representing black at the 19th to 24th pixel values are output as the data signal DATA_OUT.
- the data number NSP of this image data is "4". That is, as shown in FIG. 44, the image data with the data number NSP of "4" included in the image signal SP has two pixel values representing black and 16 pixel values of the partial image P2. , and 6 pixel values indicating black, display controller 56 outputs these 2 pixel values indicating black, the 16 pixel values associated with partial image P2, and the 6 pixel values indicating black. are output as the data signal DATA_OUT.
- the pixel signal generation circuit 32 At timings t54 to t55, the pixel signal generation circuit 32 generates pixel signals corresponding to 16 pixel values of the 3rd to 18th pixels to the pixel PIX corresponding to these pixel values. write to Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
- the pixel signal generation circuit 32 As shown in FIGS. 47(A) and 47(B), during the period of timings t53 to t55, the pixel signal generation circuit 32 generates all of the two pixel lines L indicated by the symbol W7 in FIG. A pixel signal related to the entire image P11 or a pixel signal related to the partial image P2 is written to the pixels PIX of the .
- the display controller 56 and the display panel 27 operate in the same manner after this. Then, at timing t56, the vertical data enable signal VDE_OUT changes from high level to low level (FIG. 45(C)). Then, at timing t57, this vertical period V ends and the next vertical period V starts.
- the receiving circuit 21 receives the first image data representing the whole image P11 with the first resolution and the second image data outside the whole image P11 with the first resolution or lower.
- third image data representing a partial image P2 of a third resolution higher than the first resolution which is an image of an image range narrower than the overall image P11. received.
- the acceleration sensor 22 detects changes in posture of the head mounted display 50 .
- the display controller 56 performs geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor 22 to generate display image data. 1 image processing.
- the pixel signal generation circuit 32 and the scanning circuit 33 drive the pixel array 31 capable of displaying an image within the same image range as that of the entire image P11. As a result, latency can be reduced in the head mounted display 50 as in the head mounted display 20 according to the first embodiment.
- Modifications 1-1, 1-2, and 1-3 of the first embodiment may be applied to the display system 2 according to the embodiment.
- FIG. 48 shows a configuration example of the display system 3 according to this embodiment.
- the display system 3 includes an image generation device 60 and a head mounted display 70 .
- the image generation device 60 has an image generation circuit 61 .
- the image generation circuit 61 is configured to generate an image to be displayed on the head mounted display 70 by performing predetermined processing such as rendering processing.
- the image generating circuit 61 generates an entire image P11 showing the scenery in the virtual space according to the direction of the head mounted display 70 based on the detection result of the acceleration sensor 22 included in the data supplied from the receiving circuit 13. .
- the image generation circuit 61 also generates a peripheral image P12, which is an image outside the entire image P11.
- the entire image P11 and the peripheral image P12 constitute the image P1.
- the image generation circuit 61 selects, based on the detection results of the eye tracking sensor 23 included in the data supplied from the reception circuit 13, the user is designed to generate a partial image P2 showing the part viewed by.
- FIG. 49 shows an example of the image P1 and the partial image P2 generated by the image generation circuit 61.
- the image P1 is an image corresponding to the image P1 after conversion by the transmission signal generation circuit 18 in the first embodiment, and is an image with a low resolution.
- the partial image P2 is an image with high resolution.
- each pixel in image P1 corresponds to four pixels PIX on head-mounted display 70
- each pixel in partial image P2 corresponds to one pixel PIX on head-mounted display 70.
- the number of pixels in image P1 and the number of pixels in partial image P2 are made equal to each other.
- the image generation circuit 61 generates an image signal SP to be transmitted based on such an image.
- the transmission circuit 12 (FIG. 48) transmits the image signal SP supplied from the image generation circuit 61 to the head mounted display 70.
- FIG. 48 transmits the image signal SP supplied from the image generation circuit 61 to the head mounted display 70.
- the display system 3 can halve the amount of image data compared to the case where the pixel values of all the pixels PIX in the display panel 27 are transmitted as they are.
- the head mounted display 70 (FIG. 48) has a display controller 76.
- Display controller 76 is configured to control the operation of display panel 27 based on the image data and image position data provided by processor 24 .
- the display controller 76 has prediction processing circuitry 79 .
- the prediction processing circuit 79 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Configured.
- the display controller 76 controls the operation of the display panel 27 based on this display image data.
- FIG. 51 shows an operation example of the head-mounted display 70
- (A) shows image data included in the image signal SP
- (B) shows the display driving operation in the head-mounted display 70.
- the prediction processing circuit 79 of the display controller 76 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Generate. Then, the display controller 76 drives the plurality of pixels PIX in the display panel 27 in units of four pixels PIX based on the display image data generated based on the image P1. Further, based on the display image data generated based on the partial image P2, the display controller 76 converts the plurality of pixels PIX at positions corresponding to the partial image P2 out of the plurality of pixels PIX on the display panel 27 to 1 One pixel PIX is driven as a unit.
- FIG. 52 shows an operation example of the head-mounted display 70
- (A) shows the waveform of the vertical synchronization signal VS_IN input to the display controller 76
- (B) shows the data input to the display controller 76
- (C) shows the operation of the display panel 27.
- the frame rate of display panel 27 is 120 Hz.
- a pulse occurs in the vertical synchronization signal VS_IN, and the vertical period V starts (FIG. 52(A)). Then, the image data of the image P1 is supplied to the display controller 76 during the period from timing t61 to t62, and the image data of the partial image P2 is supplied to the display controller 76 during the period from timing t62 to t65 (FIG. 52 (B )).
- the display controller 76 generates display image data based on the image data of the entire image P11 and the image data of the partial image P2 in the supplied image P1. During the period from timing t63 to t67, the display controller 76 controls the operation of the display panel 27 based on the generated display image data.
- the scanning circuit 33 of the display panel 27 scans from the bottom to the top of the pixel array 31 using one pixel line L or two pixel lines L as a scanning unit.
- the scanning speed is fast during the period from timing t63 to t65 and the period from timing t66 to t67, and the scanning speed is slow during the period from timing t65 to t66. That is, during the period from timing t65 to t66, the scanning circuit 33 scans a plurality of pixel lines L corresponding to the position of the partial image P2. In this case, since the pixel signal generation circuit 32 scans one pixel line L as a scanning unit, the scanning speed is slow.
- the pixel signal generation circuit 32 scans two pixel lines L as a scanning unit, so the scanning speed is high. In this way, in the display panel 27, scanning is performed with one pixel line L or two pixel lines L as the scanning unit. can be lowered, and power consumption can be reduced.
- the pixel PIX to which the pixel signal is written emits light for a predetermined period after the pixel signal is written in this example.
- the display panel 27 displays an image.
- the prediction processing circuit 79 performs prediction processing based on the image data of the image P1 and the partial image P2 supplied to the display controller 76 to generate display image data.
- the display controller 76 controls the operation of the display panel 27 based on the generated display image data.
- the receiving circuit 21 receives the first image data representing the whole image P11 with the first resolution and the second image data outside the whole image P11 with the first resolution or lower.
- Second image data representing a peripheral image P12 of resolution
- third image data representing a partial image P2 of a third resolution higher than the first resolution, which is an image of an image range narrower than the overall image P11. received.
- the acceleration sensor 22 is designed to detect changes in the orientation of the head mounted display 70 .
- the display controller 76 performs geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor 22 to generate display image data. 1 image processing.
- the pixel signal generation circuit 32 and the scanning circuit 33 drive the pixel array 31 capable of displaying an image within the same image range as that of the entire image P11. As a result, latency can be reduced in the head mounted display 70 as in the head mounted display 20 according to the first embodiment.
- Modifications 1-2 and 1-3 of the first embodiment may be applied to the display system 3 according to the embodiment.
- a display system 4 according to a fourth embodiment will be described. This embodiment differs from the first embodiment in the configuration of image data in the image signal SP.
- symbol is attached
- FIG. 53 shows a configuration example of the display system 4 according to this embodiment.
- the display system 4 includes an image generation device 80 and a head mounted display 90 .
- the image generation device 80 has an image generation circuit 81 .
- the image generation circuit 81 is configured to generate an image to be displayed on the head mounted display 90 by performing predetermined processing such as rendering processing.
- the image generation circuit 81 generates an entire image P11 showing the scenery in the virtual space according to the direction of the head mounted display 90 based on the detection result of the acceleration sensor 22 included in the data supplied from the reception circuit 13. .
- the image generation circuit 81 also generates a peripheral image P12, which is an image outside the entire image P11.
- the entire image P11 and the peripheral image P12 constitute the image P1.
- the image generation circuit 81 selects, based on the detection result of the eye tracking sensor 23 included in the data supplied from the reception circuit 13, the user's is designed to generate a partial image P2 showing the part viewed by.
- FIG. 54 shows an example of the image P1 and the partial image P2 generated by the image generation circuit 81.
- the image P1 is an image corresponding to the image P1 after conversion by the transmission signal generation circuit 18 in the first embodiment, and is an image with a low resolution.
- the partial image P2 is an image with high resolution.
- the partial image P2 is an image with high resolution.
- each pixel in image P1 corresponds to four pixels PIX on head-mounted display 90
- each pixel in partial image P2 corresponds to one pixel PIX on head-mounted display 90.
- the number of pixels in image P1 and the number of pixels in partial image P2 are made equal to each other.
- the image generation circuit 81 generates an image signal SP to be transmitted based on such an image.
- the transmission circuit 12 ( FIG. 53 ) transmits the image signal SP supplied from the image generation circuit 81 to the head mounted display 90 .
- FIG. 55 schematically shows an example of the image signal SP.
- the transmission circuit 12 transmits image data relating to the image P1 and image data relating to the partial image P2 in a time division manner. Specifically, the transmission circuit 12 alternately transmits the image data related to the image P1 and the image data related to the partial image P2.
- the head mounted display 90 (FIG. 53) has a display controller 96.
- Display controller 96 is configured to control the operation of display panel 27 based on the image data and image position data provided by processor 24 .
- the display controller 96 has prediction processing circuitry 99 .
- the prediction processing circuit 99 generates display image data by performing geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Configured.
- the display controller 96 controls the operation of the display panel 27 based on this display image data.
- FIG. 56 shows an example of the display operation of the head-mounted display 90.
- FIG. Head-mounted display 90 alternately receives image data relating to image P1 and image data relating to partial image P2.
- the display controller 96 controls the plurality of pixels PIX on the display panel 27 to drive four pixels PIX as a unit based on the image data related to the image P1. Thereby, the display panel 27 displays the display image P21 related to the low-resolution image P1.
- the display controller 96 converts the plurality of pixels PIX arranged in the region corresponding to the partial image P2 out of the plurality of pixels PIX on the display panel 27 into one pixel. It is controlled to drive in units of PIX. Thereby, the display panel 27 displays the display image P22 related to the high-resolution partial image P2.
- FIG. 57 shows an operation example of the head-mounted display 90
- (A) shows the waveform of the vertical synchronization signal VS_IN input to the display controller 96
- (B) shows the data input to the display controller 96
- (C) shows the operation of the display panel 27.
- a pair of image P1 and partial image P2 is supplied at period T1.
- Each of the image P1 and the partial image P2 is supplied at a period T2.
- a pulse occurs in the vertical synchronization signal VS_IN, and the vertical period V starts ((A) in FIG. 57). Then, the image data of the image P1 is supplied to the display controller 96 during the period from timing t71 to t72, and the image data of the partial image P2 is supplied to the display controller 96 during the period from timing t73 to t77 (FIG. 57 (B )).
- the display controller 96 generates display image data based on the image data of the entire image P11 in the supplied image P1. During the period from timing t73 to t74, the display controller 96 controls the operation of the display panel 27 based on the generated display image data.
- the scanning circuit 33 of the display panel 27 performs scanning from the bottom to the top of the pixel array 31 using two pixel lines L as scanning units.
- the pixel PIX to which the pixel signal is written emits light for a predetermined period after the pixel signal is written in this example.
- the display panel 27 displays an image.
- the display controller 96 generates display image data based on the supplied image data of the partial image P2. During the period from timing t75 to t78, the display controller 96 controls the operation of the display panel 27 based on the generated display image data.
- the scanning circuit 33 of the display panel 27 scans a plurality of pixels PIX at positions corresponding to the partial image P2 in the pixel array 31, using one pixel line L as a scanning unit.
- the pixels PIX of the pixel line L to which the pixels PIX to which the pixel signals are written emit light for a predetermined period after the pixel signals are written in this example.
- the pixels PIX in the pixel line L near the bottom to which the pixel signals were not written emit light in the same period as the pixels PIX to which the pixel signals were written first, and the pixels near the top to which the pixel signals were not written.
- the pixels PIX on the line L emit light in the same period as the pixel PIX to which the pixel signal was lastly written.
- the display panel 27 displays an image.
- the prediction processing circuit 99 performs prediction processing based on the image P1 supplied to the display controller 96 to generate display image data.
- the display controller 96 controls the operation of the display panel 27 based on the generated display image data.
- the prediction processing circuit 99 performs prediction processing based on the partial image P2 supplied to the display controller 96 to generate display image data.
- the display controller 96 controls the operation of the display panel 27 based on the generated display image data.
- the receiving circuit 21 receives the first image data representing the whole image P11 with the first resolution and the second image data outside the whole image P11 with the first resolution or lower.
- Second image data representing a peripheral image P12 of resolution
- third image data representing a partial image P2 of a third resolution higher than the first resolution, which is an image of an image range narrower than the overall image P11.
- the acceleration sensor 22 is designed to detect changes in the orientation of the head mounted display 90 .
- the display controller 96 performs geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor 22 to generate display image data. 1 image processing.
- the pixel signal generation circuit 32 and the scanning circuit 33 drive the pixel array 31 capable of displaying an image within the same image range as that of the entire image P11. As a result, latency can be reduced in the head mounted display 90 as in the head mounted display 20 according to the first embodiment.
- Modifications 1-2 and 1-3 of the first embodiment may be applied to the display system 4 according to the above embodiment.
- FIG. 58 shows an example of the appearance of the head mounted display 110.
- the head-mounted display 110 has, for example, ear hooks 112 on both sides of an eyeglass-shaped display 111 to be worn on the user's head.
- the technology according to the above embodiments and the like can be applied to such a head mounted display 110 .
- FIG. 59 shows an example of the appearance of another head mounted display 120.
- the head-mounted display 120 is a transmissive head-mounted display having a body portion 121 , an arm portion 122 and a lens barrel portion 123 .
- This head mounted display 120 is attached to glasses 128 .
- the body section 121 has a control board and a display section for controlling the operation of the head mounted display 120 .
- the display section emits image light for a display image.
- the arm portion 122 connects the body portion 121 and the lens barrel portion 123 and supports the lens barrel portion 123 .
- the lens barrel section 123 projects the image light supplied from the body section 121 via the arm section 122 toward the user's eyes via the lens 129 of the spectacles 128 .
- the technology according to the above embodiments and the like can be applied to such a head mounted display 120 .
- the head mounted display 120 is a so-called light guide plate type head mounted display, it is not limited to this, and may be, for example, a so-called bird bath type head mounted display.
- This Birdbus-type head-mounted display includes, for example, a beam splitter and a partially transparent mirror. The beam splitter outputs light encoded with image information towards a mirror, which reflects the light towards the user's eye. Both the beam splitter and the partially transparent mirror are partially transparent. This allows light from the surrounding environment to reach the user's eyes.
- 60A and 60B show an example of the appearance of the digital still camera 130, FIG. 60A showing a front view and FIG. 60B showing a rear view.
- This digital still camera 130 is a lens-interchangeable single-lens reflex camera, and includes a camera body 131, a photographing lens unit 132, a grip 133, a monitor 134, and an electronic viewfinder 135. have.
- the imaging lens unit 312 is an interchangeable lens unit, and is provided near the center of the front surface of the camera body 311 .
- the grip portion 133 is provided on the front left side of the camera main body portion 311, and the photographer grips this grip portion 133. As shown in FIG.
- the monitor 134 is provided on the left side of the center of the rear surface of the camera body 131 .
- the electronic viewfinder 135 is provided above the monitor 14 on the back of the camera body 131 . By looking through the electronic viewfinder 135, the photographer can view the optical image of the subject guided from the photographing lens unit 132 and determine the composition.
- the technology according to the above embodiments and the like can be applied to the electronic viewfinder 135 .
- FIG. 61 shows an example of the appearance of the television device 140.
- Television apparatus 140 has image display screen portion 141 including front panel 142 and filter glass 143 .
- the technology according to the above embodiments and the like can be applied to the video display screen unit 141 .
- FIG. 62 shows an example of the appearance of smartphone 150 .
- the smartphone 150 has a display unit 151 that displays various types of information, and an operation unit 152 that includes buttons and the like for receiving operation input by the user.
- the technology according to the above embodiments and the like can be applied to this display unit 151 .
- FIG. 63A and 63B show a configuration example of a vehicle to which the technology of the present disclosure is applied.
- FIG. 63A shows an example of the inside of the vehicle viewed from the rear of the vehicle 200.
- 1 shows an example of the interior of a vehicle viewed from the left rear of the vehicle.
- the vehicle of FIGS. 63A and 63B has a center display 201, a console display 202, a head-up display 203, a digital rear mirror 204, a steering wheel display 205, and a rear entertainment display 106.
- the center display 201 is arranged on the dashboard 261 at a location facing the driver's seat 262 and the front passenger's seat 263 .
- FIG. 63A shows an example of a horizontally elongated center display 201 extending from the driver's seat 262 side to the passenger's seat 263 side, but the screen size and placement location of the center display 201 are not limited to this.
- Center display 201 can display information detected by various sensors. As a specific example, the center display 201 displays an image captured by an image sensor, an image of the distance to obstacles in front of and to the sides of the vehicle measured by a ToF sensor, and the body temperature of a passenger detected by an infrared sensor. can be displayed.
- Center display 201 can be used, for example, to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information.
- Safety-related information is information based on sensor detection results, such as dozing off detection, looking away detection, tampering detection by children in the car, seatbelt wearing status, and occupant abandonment detection.
- the operation-related information is information of a gesture related to the operation of the occupant detected using a sensor. Gestures may include operations of various facilities in the vehicle, such as operations of an air conditioner, a navigation device, an AV (Audio Visual) device, a lighting device, and the like.
- the lifelog includes lifelogs of all crew members. For example, the lifelog includes activity records of each passenger. By acquiring and storing the lifelog, it is possible to check what kind of condition the occupant was in when the accident occurred.
- Health-related information includes occupant body temperature detected using a temperature sensor and occupant health information inferred based on the detected body temperature. Alternatively, information on the health condition of the occupant may be inferred based on the occupant's face imaged by an image sensor. Also, information on the health condition of the crew member may be estimated based on the content of the crew member's response obtained by having a conversation with the crew member using automatic voice.
- the authentication/identification-related information includes information such as a keyless entry function that performs face authentication using a sensor, and a seat height and position automatic adjustment function for face identification.
- the entertainment-related information includes operation information of the AV apparatus by the passenger detected by the sensor, content information to be displayed suitable for the passenger detected and recognized by the sensor, and the like.
- the console display 202 can be used, for example, to display lifelog information.
- Console display 202 is located near shift lever 265 on center console 264 between driver's seat 262 and passenger's seat 263 .
- a console display 202 is also capable of displaying information sensed by various sensors. Also, the console display 202 may display an image of the surroundings of the vehicle captured by an image sensor, or may display an image of the distance to obstacles around the vehicle.
- the head-up display 203 is virtually displayed behind the windshield 266 in front of the driver's seat 262 .
- the heads-up display 203 can be used to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information, for example. Since the head-up display 203 is often placed virtually in front of the driver's seat 262, it displays information directly related to vehicle operation, such as vehicle speed, fuel level, and battery level. Suitable for
- the digital rear mirror 204 can display not only the rear of the vehicle, but also the state of the passengers in the rear seats, so it can be used, for example, to display the lifelog information of the passengers in the rear seats.
- the steering wheel display 205 is arranged near the center of the steering wheel 267 of the vehicle.
- Steering wheel display 205 can be used, for example, to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information.
- life log information such as the driver's body temperature and information regarding the operation of AV equipment and air conditioning equipment.
- the rear entertainment display 206 is attached to the rear side of the driver's seat 262 and the front passenger's seat 263, and is for viewing by passengers in the rear seats.
- Rear entertainment display 206 can be used, for example, to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information.
- the rear entertainment display 206 may display, for example, information relating to the operation of AV equipment and air conditioning equipment, or the results of measuring the body temperature of passengers in the rear seats with the temperature sensor 5 .
- center display 201 console display 202, head-up display 203, digital rear mirror 204, steering wheel display 205, and rear entertainment display 206.
- the image generation device 10 generates the image signal SP, and the head-mounted display 20 displays an image based on this image signal SP.
- the head mounted display 220 may generate an image signal SP and display an image based on this image signal SP.
- This head mounted display 220 comprises a processor 224 and a receiving circuit 221 .
- the processor 224 has an image generation circuit 211 and a transmission circuit 212 .
- the image generation circuit 211 Based on the detection result of the acceleration sensor 22, the image generation circuit 211 generates an entire image P11 showing the scenery in the virtual space according to the orientation of the head mounted display 220.
- the image generation circuit 211 also generates a peripheral image P12, which is an image outside the entire image P11. In addition, based on the detection result of the eye tracking sensor 23, the image generation circuit 211 identifies a partial image P2 representing the portion viewed by the user in the scenery corresponding to the orientation of the head-mounted display 220 in the virtual space. do.
- the image generation circuit 211 has a transmission signal generation circuit 218 .
- the transmission signal generation circuit 218 is configured to generate an image signal SP to be transmitted based on the image generated by the image generation circuit 211 .
- the transmission circuit 212 is configured to transmit the image signal SP supplied from the image generation circuit 211 to the display controller 26 .
- the processor 224 is also configured to send a detection signal SD including the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 to the display controller 26 .
- the receiving circuit 221 is configured to receive the image signal SP transmitted from the processor 224 .
- This technology can be applied not only to the closed systems shown in the above embodiments and the like, but also to video see-through systems and mixed reality systems.
- This technology can also be applied to various simulators such as flight simulators, gaming, and projection mapping.
- the display panel 27 shown in FIG. 10 is used, but the present invention is not limited to this.
- the display panel 27E according to this modification will be described in detail below.
- FIG. 65 shows a configuration example of the display panel 27E.
- the display panel 27E has a pixel array 31E, a pixel signal generation circuit 32, a scanning circuit 33, and a drive circuit 34E.
- the pixel array 31E has multiple signal lines SGL, multiple control lines CTL, multiple control lines WSEN, and multiple pixels PIX.
- the plurality of control lines WSEN extend in the vertical direction (the vertical direction in FIG. 65) and are arranged side by side in the horizontal direction (the horizontal direction in FIG. 65).
- Each of the plurality of control lines WSEN supplies control signals generated by the drive circuit 34E to the pixels PIX.
- the drive circuit 34E generates a control signal and applies the generated control signal to a plurality of control lines WSEN, thereby selecting a pixel PIX to which the pixel signal generated by the pixel signal generation circuit 32 is written, out of the plurality of pixels PIX. It is configured to control which pixels PIX are written to.
- FIG. 66 shows a configuration example of the pixel PIX.
- a pixel array having the pixels PIX has a control line WSL. Control lines CTL shown in FIG. 65 include this control line WSL.
- the pixel PIX has transistors MN01 to MN03, a capacitor C01, and a light emitting element EL.
- the transistors MN01 to MN03 are N-type MOSFETs (Metal Oxide Semiconductor Field Effect Transistors).
- the transistor MN01 has a gate connected to the control line WSEN, a drain connected to the signal line SGL, and a source connected to the drain of the transistor MN02.
- the transistor MN02 has a gate connected to the control line WSL, a drain connected to the source of the transistor MN01, and a source connected to the gate of the transistor MN03 and the capacitor C01.
- One end of the capacitor C01 is connected to the source of the transistor MN02 and the gate of the transistor MN03, and the other end is connected to the source of the transistor MN03 and the anode of the light emitting element EL.
- the transistor MN03 has a gate connected to the source of the transistor MN02 and one end of the capacitor C01, a drain connected to the power supply line VCCP, and a source connected to the other end of the capacitor C01 and the anode of the light emitting element EL.
- the light emitting element EL is, for example, an organic EL light emitting element, and has an anode connected to the source of the transistor MN03 and the other end of the capacitor C01, and a cathode connected to the power supply line Vcath.
- the voltage across the capacitor C01 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MN01 and MN02.
- the transistor MN03 causes a current corresponding to the voltage across the capacitor C01 to flow through the light emitting element EL.
- the light emitting element EL emits light based on the current supplied from the transistor MN03.
- the pixel PIX emits light with luminance according to the pixel signal.
- the display controller 26 displays a plurality of pixels PIX on the display panel 27E based on the image data of the entire image P1 during the period from timing t13 to t14, as shown in FIG. 17(A). Control is performed to drive four pixels PIX as a unit.
- the scanning circuit 33 of the display panel 27E scans the plurality of pixels PIX with two pixel lines L as the scanning unit US.
- the drive circuit 34E activates (high level) all the control lines WSEN.
- the pixel signal generation circuit 32 applies the same pixel signal to two signal lines SGL adjacent to each other. As a result, the same pixel signal is written to the four pixels PIX in the two pixel lines L selected. In this manner, the display panel 27E drives a plurality of pixels PIX with four pixels PIX as a unit UD.
- the display controller 26 controls the display panel 27E based on the image data of the partial image P2 and the data on the position of this partial image P2 during the period from timing t14 to t15.
- the plurality of pixels PIX in are controlled to be driven in units of one pixel PIX.
- the scanning circuit 33 of the display panel 27E scans the plurality of pixels PIX with one pixel line L as the scanning unit US.
- the drive circuit 34E activates (high level) the plurality of control lines WSEN related to the area corresponding to the partial image P2, and deactivates (low level) the other plurality of control lines WSEN.
- the pixel signal generation circuit 32 applies a plurality of pixel signals to a plurality of signal lines SGL related to a region corresponding to the partial image P2 among the plurality of signal lines SGL.
- a plurality of pixel signals are written to a plurality of pixels PIX related to the area corresponding to the partial image P2.
- pixel signals are not written to the plurality of pixels PIX related to areas other than the area corresponding to the partial image P2.
- the display panel 27E drives a plurality of pixels PIX with one pixel PIX as a unit UD.
- the display controller 26 controls the display panel 27E based on the image data of the partial image P2 and the data on the position of the partial image P2 during the period from timing t15 to t16.
- the plurality of pixels PIX in the plurality of pixels PIX arranged in the region corresponding to the partial image P2 are controlled to be driven in units of one pixel PIX. This operation is the same as the operation during the period from timing t14 to t15 shown in FIG. 17(B).
- the configuration of the pixel PIX is not limited to the example of FIG. Some examples are given below.
- FIG. 67 shows another configuration example of the pixel PIX.
- a pixel array having this pixel PIX has a control line WSL, a control line DSL, and a control line AZSL.
- Control lines CTL shown in FIG. 65 include these control lines WSL, DSL and AZSL.
- This pixel PIX has transistors MP11 and MP12, capacitors C11 and C12, transistors MP13 to MP15, and a light emitting element EL.
- the transistors MP11 to MP15 are P-type MOSFETs.
- the transistor MP11 has a gate connected to the control line WSEN, a source connected to the signal line SGL, and a drain connected to the source of the transistor MP12.
- the transistor MP12 has a gate connected to the control line WSL, a source connected to the drain of the transistor MP11, and a drain connected to the gate of the transistor MP14 and the capacitor C12.
- One end of the capacitor C11 is connected to the power supply line VCCP, and the other end is connected to the capacitor C12, the drain of the transistor MP13, and the source of the transistor MP14.
- One end of capacitor C12 is connected to the other end of capacitor C11, the drain of transistor MP13, and the source of transistor MP14, and the other end is connected to the drain of transistor MP12 and the gate of transistor MP14.
- the transistor MP13 has a gate connected to the control line DSL, a source connected to the power supply line VCCP, and a drain connected to the source of the transistor MP14, the other end of the capacitor C11, and one end of the capacitor C12.
- the transistor MP14 has a gate connected to the drain of the transistor MP12 and the other end of the capacitor C12, a source connected to the drain of the transistor MP13, the other end of the capacitor C11 and one end of the capacitor C12, and a drain connected to the anode of the light emitting element EL and the transistor.
- the transistor MP15 has a gate connected to the control line AZSL, a source connected to the drain of the transistor MP14 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
- the voltage across the capacitor C12 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MP11 and MP12.
- the transistor MP13 is turned on and off based on the signal on the control line DSL.
- the transistor MP14 causes a current corresponding to the voltage across the capacitor C12 to flow through the light emitting element EL while the transistor MP13 is on.
- the light emitting element EL emits light based on the current supplied from the transistor MP14.
- the pixel PIX emits light with luminance according to the pixel signal.
- the transistor MP15 is turned on and off based on the signal on the control line AZSL. While the transistor MP15 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
- FIG. 68 shows another configuration example of the pixel PIX.
- a pixel array having this pixel PIX has a control line WSL, a control line DSL, and a control line AZSL.
- Control lines CTL shown in FIG. 65 include these control lines WSL, DSL and AZSL.
- This pixel PIX has transistors MN21 and MN22, a capacitor C21, transistors MN23 to MN25, and a light emitting element EL.
- the transistors MN21 to MN25 are N-type MOSFETs.
- the transistor MN21 has a gate connected to the control line WSEN, a drain connected to the signal line SGL, and a source connected to the drain of the transistor MN22.
- the transistor MN22 has a gate connected to the control line WSL, a drain connected to the source of the transistor MN21, and a source connected to the gate of the transistor MN24 and the capacitor C21.
- One end of the capacitor C21 is connected to the source of the transistor MN22 and the gate of the transistor MN24, and the other end is connected to the source of the transistor MN24, the drain of the transistor MN25 and the anode of the light emitting element EL.
- the transistor MN23 has a gate connected to the control line DSL, a drain connected to the power supply line VCCP, and a source connected to the drain of the transistor MN24.
- the gate of transistor MN24 is connected to the source of transistor MN22 and one end of capacitor C21, the drain is connected to the source of transistor MN23, and the source is connected to the other end of capacitor C21, the drain of transistor MN25, and the anode of light emitting element EL.
- the transistor MN25 has a gate connected to the control line AZSL, a drain connected to the source of the transistor MN24, the other end of the capacitor C21 and the anode of the light emitting element EL, and a source connected to the power supply line VSS.
- the voltage across the capacitor C21 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MN21 and MN22.
- the transistor MN23 is turned on and off based on the signal on the control line DSL.
- the transistor MN24 causes a current corresponding to the voltage across the capacitor C21 to flow through the light emitting element EL while the transistor MN23 is on.
- the light emitting element EL emits light based on the current supplied from the transistor MN24.
- the pixel PIX emits light with luminance according to the pixel signal.
- the transistor MN25 is turned on and off based on the signal on the control line AZSL. While the transistor MN25 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
- FIG. 69 shows another configuration example of the pixel PIX.
- a pixel array having this pixel PIX has a control line WSL, a control line DSL, and control lines AZSL1 and AZSL2.
- Control lines CTL shown in FIG. 65 include these control lines WSL, DSL, AZSL1 and AZSL2.
- This pixel PIX has transistors MP31 and MP32, a capacitor C31, transistors MP33 to MP36, and a light emitting element EL.
- the transistors MP31 to MP36 are P-type MOSFETs.
- the transistor MP31 has a gate connected to the control line WSEN, a source connected to the signal line SGL, and a drain connected to the source of the transistor MP32.
- the transistor MP32 has a gate connected to the control line WSL, a source connected to the drain of the transistor MP31, and a drain connected to the gate of the transistor MP33, the source of the transistor MP34, and the capacitor C31.
- One end of the capacitor C31 is connected to the power supply line VCCP, and the other end is connected to the drain of the transistor MP32, the gate of the transistor MP33, and the source of the transistor MP34.
- Transistor MP34 has a gate connected to control line AZSL1, a source connected to the drain of transistor MP32, a gate of transistor MP33 and the other end of capacitor C31, and a drain connected to the drain of transistor MP33 and the source of transistor MP35.
- the transistor MP35 has a gate connected to the control line DSL, a source connected to the drains of the transistors MP33 and MP34, and a drain connected to the source of the transistor MP36 and the anode of the light emitting element EL.
- the transistor MP36 has a gate connected to the control line AZSL2, a source connected to the drain of the transistor MP35 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
- the voltage across the capacitor C31 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MP31 and MP32.
- the transistor MP35 is turned on and off based on the signal on the control line DSL.
- the transistor MP33 causes a current corresponding to the voltage across the capacitor C31 to flow through the light emitting element EL while the transistor MP35 is on.
- the light emitting element EL emits light based on the current supplied from the transistor MP33.
- the pixel PIX emits light with luminance according to the pixel signal.
- the transistor MP34 is turned on and off based on the signal on the control line AZSL1. While transistor MP34 is on, the drain and gate of transistor MP33 are connected to each other.
- the transistor MP36 is turned on and off based on the signal on the control line AZSL2. During the period in which the transistor MP36 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
- FIG. 70 shows another configuration example of the pixel PIX.
- a pixel array having this pixel PIX has control lines WSL1 and WSL2, a control line DSL, control lines AZSL1 and AZSL2, signal lines SGL1 and SGL2, capacitors C48 and C49, and a transistor MP49.
- the control lines CTL shown in FIG. 65 include control lines WSL1, WSL2, DSL, AZSL1 and AZSL2.
- Signal lines SGL shown in FIG. 65 include signal lines SGL1 and SGL2.
- One end of the capacitor C48 is connected to the signal line SGL1, and the other end is connected to the power supply line VSS.
- One end of the capacitor C49 is connected to the signal line SGL1, and the other end is connected to the signal line SGL2.
- the transistor MP49 is a P-type MOSFET, and has a gate connected to the control line WSL2, a source connected to the signal line SGL1, and a drain connected to the signal line SGL2.
- the pixel PIX has transistors MP41 and MP42, a capacitor C41, transistors MP43 to MP46, and a light emitting element EL.
- the transistors MP41 to MP46 are P-type MOSFETs.
- the transistor MP41 has a gate connected to the control line WSEN, a source connected to the signal line SGL2, and a drain connected to the source of the transistor MP42.
- the transistor MP42 has a gate connected to the control line WSL1, a source connected to the drain of the transistor MP41, and a drain connected to the gate of the transistor MP43 and the capacitor C41.
- One end of the capacitor 41 is connected to the power supply line VCCP, and the other end is connected to the drain of the transistor MP42 and the gate of the transistor MP43.
- the transistor MP43 has a gate connected to the drain of the transistor MP42 and the other end of the capacitor C41, a source connected to the power supply line VCCP, and a drain connected to the sources of the transistors MP44 and MP45.
- the transistor MP44 has a gate connected to the control line AZSL1, a source connected to the drain of the transistor MP43 and a source of the transistor MP45, and a drain connected to the signal line SGL2.
- the transistor MP45 has a gate connected to the control line DSL, a source connected to the drain of the transistor MP43 and the source of the transistor MP44, and a drain connected to the source of the transistor MP46 and the anode of the light emitting element EL.
- the transistor MP46 has a gate connected to the control line AZSL2, a source connected to the drain of the transistor MP45 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
- the voltage across the capacitor C41 is set based on the pixel signal supplied from the signal line SGL1 via the capacitor C49 by turning on the transistors MP41 and MP42.
- the transistor MP45 is turned on and off based on the signal on the control line DSL.
- the transistor MP43 causes a current corresponding to the voltage across the capacitor C41 to flow through the light emitting element EL while the transistor MP45 is on.
- the light emitting element EL emits light based on the current supplied from the transistor MP43.
- the pixel PIX emits light with luminance according to the pixel signal.
- the transistor MP44 is turned on and off based on the signal on the control line AZSL1.
- transistor MP44 While transistor MP44 is on, the drain of transistor MP43 and signal line SGL2 are connected to each other.
- the transistor MP46 is turned on and off based on the signal on the control line AZSL2. While the transistor MP46 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
- FIG. 71 shows another configuration example of the pixel PIX.
- a pixel array having the pixels PIX has a control line WSL, a control line DSL, a control line AZSL, signal lines SGL1 and SGL2, and control units 70 and 80.
- FIG. Control lines CTL shown in FIG. 56 include control lines WSL, DSL and AZSL.
- Signal lines SGL shown in FIG. 56 include signal lines SGL1 and SGL2.
- the control unit 70 has transistors MN71 and MP72, a capacitor C71, and a transistor MP73.
- the transistor MN71 is an N-type MOSFET, and the transistors MP72 and MP73 are P-type MOSFETs.
- a control signal is supplied to the gate of the transistor MN71, the drain is connected to the source of the transistor MP72 and the signal line SGL1, and the source is connected to the drain of the transistor MP72, the capacitor C71, and the drain of the transistor MP73.
- a control signal is supplied to the gate of the transistor MP72, the source is connected to the drain of the transistor MN71 and the signal line SGL1, and the drain is connected to the source of the transistor MN71, the capacitor C71, and the drain of the transistor MP73.
- Transistors MN71 and MP72 form a transmission gate.
- One end of the capacitor C71 is connected to the source of the transistor MN71, the drain of the transistor MP72, and the drain of the transistor MP73, and the other end is connected to the signal line SGL2.
- the transistor MP73 has a gate connected to the control line REFL, a source connected to the power supply line Vref, and a drain connected to the source of the transistor MN71, the drain of the transistor MP72, and the capacitor C71.
- the control unit 80 has transistors MN81 and MP82, a capacitor C81, and transistors MP83, MN84, MP85 and MP86.
- the transistors MN81 and MN84 are N-type MOSFETs
- the transistors MP82, MP83, MP85 and MP86 are P-type MOSFETs.
- the transistor MN81 has a gate supplied with a control signal, a drain connected to the source of the transistor MP82 and the signal line SGL1, and a source connected to the drain of the transistor MP82.
- a control signal is supplied to the gate of the transistor MP82, the source is connected to the drain of the transistor MN81 and the signal line SGL1, and the drain is connected to the source of the transistor MN81.
- Transistors MN81 and MP82 form a transmission gate.
- a pixel signal generated by the pixel signal generation circuit 32 is supplied to the source of the transistor MN81 and the drain of the transistor MP82.
- One end of the capacitor C81 is connected to the signal line SGL1, and the other end is connected to the power supply line VSS.
- the transistor MP83 has a gate supplied with a control signal, a drain connected to the source of the transistor MN84 and the signal line SGL2, and a source connected to the drain of the transistor MN84 and the power supply line Vorst.
- a control signal is supplied to the gate of the transistor MN84, the source is connected to the drain of the transistor MP83 and the signal line SGL2, and the drain is connected to the source of the transistor MP83 and the power supply line Vorst.
- Transistors MP83 and MN84 form a transmission gate.
- the transistor MP85 has a gate connected to the control line INIL, a drain connected to the signal line SGL2, and a source connected to the power supply line Vini.
- the transistor MP86 has a gate connected to the control line ELL, a drain connected to the signal line SGL2, and a source connected to the power supply line Vel.
- the pixel PIX has transistors MP91 and MP92, a capacitor C91, transistors MP93 to MP96, and a light emitting element EL.
- the transistors MP91 to MP96 are P-type MOSFETs.
- the transistor MP91 has a gate connected to the control line WSEN, a source connected to the signal line SGL2, and a drain connected to the source of the transistor MP92.
- the transistor MP92 has a gate connected to the control line WSL, a source connected to the drain of the transistor MP91, and a drain connected to the gate of the transistor MP93 and the capacitor C91.
- One end of the capacitor 91 is connected to the power supply line Vel, and the other end is connected to the drain of the transistor MP92 and the gate of the transistor MP93.
- the transistor MP93 has a gate connected to the drain of the transistor MP92 and the other end of the capacitor C91, a source connected to the power supply line Vel, and a drain connected to the sources of the transistors MP94 and MP95.
- the gate of transistor MP94 is connected to control line AZSL
- the source is connected to the drain of transistor MP93 and the source of transistor MP95
- the drain is connected to signal line SGL2.
- the transistor MP95 has a gate connected to the control line DSL, a source connected to the drain of the transistor MP93 and the source of the transistor MP94, and a drain connected to the source of the transistor MP96 and the anode of the light emitting element EL.
- the transistor MP96 has a gate connected to the control line AZSL, a source connected to the drain of the transistor MP95 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
- the pixel PIX when the transistors MP91 and MP92 are turned on, the pixel signal supplied via the transistors MN81 and MP82, the signal line SGL1, the transistors MN71 and MP72, the capacitor C71, and the signal line SGL2 is changed. Based on this, the voltage across capacitor C91 is set.
- the transistor MP95 is turned on and off based on the signal on the control line DSL.
- the transistor MP93 causes a current corresponding to the voltage across the capacitor C91 to flow through the light emitting element EL while the transistor MP95 is on.
- the light emitting element EL emits light based on the current supplied from the transistor MP93.
- the pixel PIX emits light with luminance according to the pixel signal.
- Transistors MP94 and MP96 are turned on and off based on the signal on control line AZSL. While transistor MP94 is on, the drain of transistor MP93 and the source of transistor MP95 are connected to signal line SGL2. While the transistor MP96 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line Vorst.
- the transistor MP85 is turned on and off based on the signal on the control line INIL
- the transistor MP86 is turned on and off based on the signal on the control line ELL
- the transistor MP73 is turned on and off based on the signal on the control line REFL.
- the transistor MP85 When the transistor MP85 is turned on, the voltage of the signal line SGL2 is set to the voltage of the power supply line Vini, and when the transistor MP86 is turned on, the voltage of the signal line SGL2 is set to the voltage of the power supply line Vel.
- the transistor MP73 When the transistor MP73 is turned on, one end of the capacitor C71 is initialized by setting it to the voltage of the power supply line Vref.
- FIG. 72 shows another configuration example of the pixel PIX.
- a pixel array having this pixel PIX has a control line WSL, a control line DSL, and control lines AZSL1 and AZSL2.
- Control lines CTL shown in FIG. 65 include these control lines WSL, DSL, AZSL1 and AZSL2.
- This pixel PIX has transistors MP51 to MP54, a capacitor C51, transistors MP55 to MP60, and a light emitting element EL.
- the transistors MP51-MP60 are P-type MOSFETs.
- the transistor MP51 has a gate connected to the control line WSEN, a source connected to the signal line SGL, and a drain connected to the source of the transistor MP52.
- the transistor MP52 has a gate connected to the control line WSL, a source connected to the drain of the transistor MP51, and a drain connected to the drain of the transistor MP53 and the source of the transistor MP54.
- the transistor MP53 has a gate connected to the control line DSL, a source connected to the power supply line VCCP, and a drain connected to the drain of the transistor MP52 and the source of the transistor MP54.
- the gate of transistor MP54 is connected to the source of transistor MP55, the drain of transistor MP57 and capacitor C51, the source is connected to the drains of transistors MP52 and MP53, and the drain is connected to the sources of transistors MP58 and MP59.
- Capacitor C51 may include two capacitors connected in parallel with each other.
- the transistor MP55 has a gate connected to the control line AZSL1, a source connected to the gate of the transistor MP54, a drain of the transistor MP57 and the other end of the capacitor C51, and a drain connected to the source of the transistor MP56.
- the transistor MP56 has a gate connected to the control line AZSL1, a source connected to the drain of the transistor MP55, and a drain connected to the power supply line VSS.
- the transistor MP57 has a gate connected to the control line WSL, a drain connected to the gate of the transistor MP54, a source of the transistor MP55 and the other end of the capacitor C51, and a source connected to the drain of the transistor MP58.
- the transistor MP58 has a gate connected to the control line WSL, a drain connected to the drain of the transistor MP57, and a source connected to the drain of the transistor MP54 and the source of the transistor MP59.
- the transistor 59 has a gate connected to the control line DSL, a source connected to the drain of the transistor MP54 and the source of the transistor MP58, and a drain connected to the source of the transistor MP60 and the anode of the light emitting element EL.
- the transistor MP60 has a gate connected to the control line AZSL2, a source connected to the drain of the transistor MP59 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
- the voltage across the capacitor C51 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MP51, MP52, MP54, MP58, and MP57.
- the transistors MP53 and MP59 are turned on and off based on the signal on the control line DSL.
- the transistor MP54 causes a current corresponding to the voltage across the capacitor C51 to flow through the light emitting element EL while the transistors MP53 and MP59 are on.
- the light emitting element EL emits light based on the current supplied from the transistor MP54.
- the pixel PIX emits light with luminance according to the pixel signal.
- the transistors MP55 and MP56 are turned on and off based on the signal on the control line AZSL1.
- the voltage of the gate of the transistor MP54 is initialized by setting it to the voltage of the power supply line VSS.
- the transistor MP60 is turned on and off based on the signal on the control line AZSL2. While the transistor MP60 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
- FIG. 73 shows another configuration example of the pixel PIX.
- a pixel array having the pixels PIX has control lines WSENN, WSENP, control lines WSNL, WSPL, control lines AZL, and control lines DSL.
- Control line WSEN shown in FIG. 65 includes control lines WSENN and WSENP.
- Control lines CTL shown in FIG. 65 include control lines WSNL, WSPL, AZL and DSL.
- the signal on the control line WSENN and the signal on the control line WSENP are signals inverted from each other.
- the signal on the control line WSNL and the signal on the control line WSPL are signals inverted from each other.
- the pixel PIX has transistors MN61, MP62, MN63, MP64, capacitors C61, C62, transistors MN65 to MN67, and a light emitting element EL.
- Transistors MN61, MN63, MN65 to MN67 are N-type MOSFETs, and transistors MP62 and MP64 are P-type MOSFETs.
- the transistor MN61 has a gate connected to the control line WSENN, a drain connected to the signal line SGL and the source of the transistor MP62, and a source connected to the drains of the transistors MP62, MN63 and MP64.
- the transistor MP62 has a gate connected to the control line WSENP, a source connected to the signal line SGL and the drain of the transistor MN61, and a drain connected to the sources of the transistors MN61, MN63, and MP64.
- the gate of the transistor MN63 is connected to the control line WSNL, the drain is connected to the source of the transistor MN61, the drain of the transistor MP62, and the source of the transistor MP64, and the source is connected to the drain of the transistor MP64, the capacitors C61 and C62, and the gates of the transistor MN65.
- the transistor MP64 has a gate connected to the control line WSPL, a source connected to the source of the transistor MN61, a drain of the transistor MP62 and a drain of the transistor MN63, and a drain connected to the source of the transistor MN63, the capacitors C61 and C62 and the gates of the transistor MN65.
- connected to Capacitor C61 is configured using, for example, a MOM (Metal Oxide Metal) capacitor, and has one end connected to the source of transistor MN63, the drain of transistor MP64, capacitor C62, and the gate of transistor MN65, and the other end connected to power supply line VSS2. be done.
- MOM Metal Oxide Metal
- capacitor C61 may be configured using, for example, a MOS capacitor or an MIM (Metal Insulator Metal) capacitor.
- Capacitor C62 is configured using a MOS capacitor, for example, and has one end connected to the source of transistor MN63, the drain of transistor MP64, one end of capacitor C61, and the gate of transistor MN65, and the other end connected to power supply line VSS2.
- the capacitor C62 may be configured using, for example, an MOM capacitor or an MIM capacitor.
- the gate of transistor MN65 is connected to the source of transistor MN63, the drain of transistor MP64, and one end of capacitors C61 and C62, the drain is connected to power supply line VCCP, and the source is connected to the drains of transistors MN66 and MN67.
- the transistor MN66 has a gate connected to the control line AZL, a drain connected to the sources of the transistors MN65 and MN67, and a source connected to the power supply line VSS1.
- the transistor MN67 has a gate connected to the control line DSL, a drain connected to the source of the transistor MN65 and a drain of the transistor MN66, and a source connected to the anode of the light emitting element EL.
- the pixel PIX In the pixel PIX, at least one of the transistors MN61 and MP62 is turned on, and at least one of the transistors MN63 and MP64 is turned on. , the voltage across the capacitors C61 and C62 is set.
- the transistor MN67 is turned on and off based on the signal on the control line DSL.
- the transistor MN65 causes a current corresponding to the voltage across the capacitors C61 and C62 to flow through the light emitting element EL while the transistor MN67 is on.
- the light emitting element EL emits light based on the current supplied from the transistor MP65.
- the pixel PIX emits light with luminance according to the pixel signal.
- the transistor MN66 may be turned on and off based on the signal on the control line AZL. Further, the transistor MN66 may function as a resistive element having a resistance value according to the signal on the control line AZL. In this case, transistors MN65 and MN66 form a so-called source follower circuit.
- This technology can be configured as follows. According to the present technology having the following configuration, latency can be reduced.
- first image data representing an entire image of a first resolution
- second image data representing a peripheral image of a second resolution lower than or equal to the first resolution, which is an image outside the overall image
- a receiving circuit capable of receiving third image data representing a first partial image having a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the entire image
- a display unit having a plurality of pixels and capable of displaying an image of the same image range as the image range of the entire image
- a first sensor capable of detecting a change in posture of the device; generating display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor; an image processing circuit capable of performing image processing of 1
- a display device comprising: a display driving circuit capable of driving the display unit based on the display image data.
- the display image data is first data based on the first image data and based on the second image data.
- the display device according to (1) including second data and third data based on the third image data.
- the display image data further includes fourth data indicating an outer image outside the image indicated by the second data.
- the image processing circuit can generate the fourth data having a predetermined pixel value.
- the image processing circuit can generate the fourth data based on the second data.
- the display image data is one of the first data, the second data, and the third data.
- the display device including the first data and the third data.
- the image processing circuit is When the detection result of the second sensor indicates that the area observed by the user has changed, image processing is performed to increase the resolution based on the first image data, so that the user can is capable of generating fourth image data representing a second partial image at the third resolution of the region observed by In the first image processing, the display image data can be generated by performing the geometric deformation processing on the first image data, the second image data, and the fourth image data.
- the display device according to any one of (1) to (6).
- the image processing circuit is performing second image processing for generating the display image data based on the first image data and the third image data;
- the display device according to any one of (1) to (7), wherein one of the first image processing and the second image processing can be selectively performed.
- the receiving circuit is capable of receiving the first image data, the second image data, and the third image data in each of a plurality of repeatedly set reception periods, When the receiving circuit finishes receiving the first image data, the second image data, and the third image data in the first receiving period among the plurality of receiving periods, The image processing circuit performs the second image processing based on the first image data, the second image data, and the third image data received during the first reception period.
- the receiving circuit receives the first image data, the second image data, and the third image in a second receiving period next to the first receiving period, among the plurality of receiving periods. If the data has not been completely received, the image processing circuit processes the first image data, the second image data, and the third image data that have been received in the first reception period.
- the receiving circuit is capable of receiving the first image data, the second image data, and the third image data in each of a plurality of repeatedly set reception periods
- the image processing circuit is capable of performing a plurality of the first image processes in each of the plurality of reception periods
- the display drive circuit is capable of driving the display section based on each of the plurality of display image data generated by the plurality of first image processing in each of the plurality of reception periods.
- the receiving circuit is capable of receiving the first image data, the second image data, and the third image data in each of a plurality of repeatedly set reception periods
- the image processing circuit generates the display image data based on the first image processing and the first image data and the third image data in each of the plurality of reception periods.
- the display drive circuit drives the display unit based on the display image data generated by the second image processing in each of the plurality of reception periods, and then displays the display image data generated by the first image processing.
- the display device according to any one of (1) to (7), wherein the display section can be driven based on the display image data.
- the display image data includes first data based on the first image data and third data based on the third image data;
- the display drive circuit performs first driving for driving the display portion in units of a first number of pixels based on the first data, and driving the first number of pixels based on the third data.
- the display device according to (1), wherein the second driving is performed by driving the display section in units of a second number of pixels, which is smaller.
- the display image data further includes second data based on the second image data;
- the display drive circuit is further capable of performing a third drive of driving the display section in units of a third number of pixels equal to or greater than the first number based on the second data.
- first image data representing an entire image of a first resolution
- second image data representing a peripheral image of a second resolution lower than or equal to the first resolution, which is an image outside the overall image
- an image generation device capable of transmitting third image data representing a first partial image having a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the entire image
- a display device and The display device a receiving circuit capable of receiving the first image data, the second image data, and the third image data; a display unit having a plurality of pixels and capable of displaying an image of the same image range as the image range of the entire image; a first sensor capable of detecting a change in posture of the device; generating display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor; an image processing circuit capable of performing image processing of 1;
- a display system comprising: a display driving circuit capable of driving the display unit based on the display image data.
- the display device has a transmission circuit capable of transmitting the detection result of the first sensor to the image generation device,
- first image data representing an entire image of a first resolution
- second image data representing a peripheral image of a second resolution lower than or equal to the first resolution, which is an image outside the overall image
- receiving third image data representing a first partial image at a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the full image
- detecting a change in orientation of the display device using the first sensor generating display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor; performing the image processing of 1; and driving a display unit capable of displaying an image of the same image range as that of the entire image based on the display image data.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本開示の表示装置は、第1の解像度の全体画像を示す第1の画像データと、全体画像の外側の画像である、第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを受信可能な受信回路と、複数の画素を有し、全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、自装置の姿勢の変化を検出可能な第1のセンサと、第1のセンサの検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことが可能な画像処理回路と、表示画像データに基づいて、表示部を駆動することが可能な表示駆動回路とを備える。
Description
本開示は、画像を表示する表示装置、表示システム、およびそのような表示装置および表示システムにおいて用いられる表示方法に関する。
表示装置には、例えば、供給された画像データに基づいて、リプロジェクション処理を行うことにより表示画像を生成するものがある。例えば、特許文献1には、供給された画像データに基づいて、奥行き値の情報を用いてリプロジェクション処理を行うことにより表示画像を生成する技術が開示されている(例えば特許文献1)。
ところで、拡張現実(AR:Augmented Reality)や、仮想現実(VR;Virtual Reality)の用途に用いられるヘッドマウントディスプレイでは、ヘッドマウントディスプレイの向きの変化に応じた画像をすぐに表示することができるよう、レイテンシが低減されることが望まれる。
レイテンシを低減することができる表示装置、表示システム、および表示方法を提供することが望ましい。
本開示の一実施の形態における表示装置は、受信回路と、表示部と、第1のセンサと、画像処理回路と、表示駆動回路とを備えている。受信回路は、第1の解像度の全体画像を示す第1の画像データと、全体画像の外側の画像である、第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを受信可能なものである。表示部は、複数の画素を有し、全体画像の画像範囲と同じ画像範囲の画像を表示可能なものである。第1のセンサは、自装置の姿勢の変化を検出可能なものである。画像処理回路は、第1のセンサの検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことが可能なものである。表示駆動回路は、表示画像データに基づいて、表示部を駆動することが可能なものである。
本開示の一実施の形態における表示システムは、画像生成装置と、表示装置とを備えている。画像生成装置は、第1の解像度の全体画像を示す第1の画像データと、全体画像の外側の画像である、第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを送信可能なものである。表示装置は、受信回路と、表示部と、第1のセンサと、画像処理回路と、表示駆動回路とを備えている。受信回路は、第1の画像データ、第2の画像データ、および第3の画像データを受信可能なものである。表示部は、複数の画素を有し、全体画像の画像範囲と同じ画像範囲の画像を表示可能なものである。第1のセンサは、自装置の姿勢の変化を検出可能なものである。画像処理回路は、第1のセンサの検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことが可能なものである。表示駆動回路は、表示画像データに基づいて、表示部を駆動することが可能なものである。
本開示の一実施の形態における表示方法は、第1の解像度の全体画像を示す第1の画像データと、全体画像の外側の画像である、第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを受信することと、第1のセンサを用いて、表示装置の姿勢の変化を検出することと、第1のセンサの検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことと、表示画像データに基づいて、全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部を駆動することとを含む。
本開示の一実施の形態における表示装置、表示システム、および表示方法では、第1の解像度の全体画像を示す第1の画像データと、全体画像の外側の画像である、第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとが受信される。また、第1のセンサにより、表示装置の姿勢の変化が検出される。第1のセンサの検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理が行われる。そして、生成された表示画像データに基づいて、全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部が駆動される。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.適用例
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.適用例
<1.第1の実施の形態>
[構成例]
図1は、一実施の形態に係る表示システム(表示システム1)の一構成例を表すものである。なお、本開示の実施の形態に係る表示装置および表示方法は、本実施の形態により具現化されるので、併せて説明する。
[構成例]
図1は、一実施の形態に係る表示システム(表示システム1)の一構成例を表すものである。なお、本開示の実施の形態に係る表示装置および表示方法は、本実施の形態により具現化されるので、併せて説明する。
表示システム1は、画像生成装置10と、ヘッドマウントディスプレイ20とを備えている。表示システム1は、拡張現実や、仮想現実の用途に用いられる。表示システム1は、画像を生成する際に、注視している領域は高解像度で、それ以外は低解像度で描画する中心窩レンダリング(Foveated Rendering)を行うように構成される。画像生成装置10と、ヘッドマウントディスプレイ20との間の通信は、この例では、HDMI(登録商標)(High-Definition Multimedia Interface)やMIPI(登録商標)(Mobile Industry Processor Interface)などのインタフェースを用いて行われる。なお、この例ではこの通信は有線通信により行われるようにしたが、これに限定されるものではなく、無線通信により行われるようにしてもよい。
表示システム1では、画像生成装置10から送信された画像信号SPに基づいて、ヘッドマウントディスプレイ20が画像を表示する。ヘッドマウントディスプレイ20の加速度センサ22(後述)は、ヘッドマウントディスプレイ20の向きなどの動きを検出する。また、ヘッドマウントディスプレイ20のアイトラッキングセンサ23は、このヘッドマウントディスプレイ20を装着しているユーザの目の向きを検出することにより、ユーザが表示画像のうちのどの部分を見ているかを検出する。ヘッドマウントディスプレイ20は、これらの検出結果を含む検出信号SDを、画像生成装置10に供給する。画像生成装置10は、加速度センサ22の検出結果に基づいて、ヘッドマウントディスプレイ20の向きに応じた画像(全体画像P11)を生成する。また、画像生成装置10は、この全体画像P11の外側の画像(周辺画像P12)を生成する。また、画像生成装置10は、アイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちのユーザが見ている部分を含む画像(部分画像P2)を特定する。そして、画像生成装置10は、全体画像P11および周辺画像P12を示す低解像度の画像データ、および部分画像P2を示す高解像度の画像データを含む画像信号SPを生成し、生成した画像信号SPをヘッドマウントディスプレイ20に送信するようになっている。
(画像生成装置10)
画像生成装置10は、ヘッドマウントディスプレイ20において表示される画像を生成するように構成される。画像生成装置10は、画像生成回路11と、送信回路12と、受信回路13とを有している。
画像生成装置10は、ヘッドマウントディスプレイ20において表示される画像を生成するように構成される。画像生成装置10は、画像生成回路11と、送信回路12と、受信回路13とを有している。
画像生成回路11は、例えばレンダリング処理などの所定の処理を行うことにより、ヘッドマウントディスプレイ20において表示される画像を生成するように構成される。 画像生成回路11は、送信信号生成回路18を有している。送信信号生成回路18は、画像生成回路11が生成した画像に基づいて、送信すべき画像信号SPを生成するように構成される。
画像生成回路11は、受信回路13から供給されたデータに含まれる、加速度センサ22の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ20の向きに応じた風景を示す全体画像P11を生成する。例えば、全体画像P11の画像範囲は、ヘッドマウントディスプレイ20の表示画像における画像範囲と同じである。また、画像生成回路11は、この全体画像P11の外側の画像である周辺画像P12を生成する。全体画像P11および周辺画像P12は、画像P1を構成する。また、画像生成回路11は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ20の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像P2を特定する。この部分画像P2は、全体画像P11のうちの一部である。
図2は、画像生成回路11が生成した画像の一例を表すものである。図2において、升目は、ヘッドマウントディスプレイ20における複数の画素に対応している。この例では、説明の便宜上、横方向に32個の画素が並設され、同様に縦方向に32個の画素が並設される。全体画像P11は、横方向において28個の画素値を含み、縦方向において28個の画素値を含む。周辺画像P12は、この例では、全体画像P11の外側における、2画素分の幅を有する、リング形状の画像領域における画像である。この例では、全体画像P11は、人物9の画像を含んでいる。画像生成回路11は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちの、ユーザが見ている部分を含む部分画像P2を特定する。この例では、部分画像P2は、この人物9の顔の画像を含む。この例では、部分画像P2の水平方向(図2における横方向)の大きさは、画像P1の水平方向の大きさの半分であり、部分画像P2の垂直方向(図2における縦方向)の大きさは、画像P1の垂直方向の大きさの半分である。すなわち、部分画像P2の面積は、画像P1の面積の1/4である。
ヘッドマウントディスプレイ20は、画像生成回路11が生成したこのような画像に基づいて表示画像を生成する。ヘッドマウントディスプレイ20は、例えば、ヘッドマウントディスプレイ20の向きが変化しない場合に、全体画像P11および部分画像P2に基づいて表示画像を生成する。また、ヘッドマウントディスプレイ20は、例えば、ヘッドマウントディスプレイ20の向きが変化する場合に、全体画像P11、周辺画像P12、および部分画像P2に基づいて表示画像を生成する。すなわち、ヘッドマウントディスプレイ20の向きが変化した場合には、ヘッドマウントディスプレイ20は、全体画像P11よりも外側の画像である周辺画像P12を考慮して表示画像を生成するようになっている。
送信信号生成回路18は、画像生成回路11が生成したこのような画像に基づいて、送信すべき画像信号SPを生成する。
図3は、表示システム1の一動作例を表すものであり、(A)は画像生成回路11が生成した画像を示し、(B)は画像信号SPに含まれる画像データを示し、(C)はヘッドマウントディスプレイ20における表示駆動動作を示す。この図3において、斜線で網掛けされている部分は周辺画像P12を示し、ドットで網掛けされている部分は部分画像P2を示す。図3(A)において、画像P1における部分画像P2の左上の画素の位置は、この例では、左から5番目(POSX=5)であり、上から5番目(POSY=5)である。
送信信号生成回路18は、図3(A),(B)に示したように、画像生成回路11が生成した画像P1において、左から右に向かう走査を、上から下に向かって順次行うことにより、画像信号SPを生成する。送信信号生成回路18は、画像P1については、2行2列で配置された4つの画素値を1つの画素値に変換し、画像P1のうち、部分画像P2と重なっている部分については、1つの画素値をそのまま出力することにより、画像信号SPにおける画像データを生成する。
具体的には、この例では、送信信号生成回路18は、画像P1の1,2行目に含まれる64個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、周辺画像P12に係る16個の画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける1行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の3,4行目に含まれる64個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、周辺画像P12に係る1つの画素値、全体画像P11に係る14個の画素値、および周辺画像P12に係る1つの画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける2行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の5,6行目に含まれる64個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、周辺画像P12に係る1つの画素値、全体画像P11に係る14個の画素値、および周辺画像P12に係る1つの画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける3行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の5行目に含まれる32個の画素値のうちの部分画像P2に係る16個の画素値をそのまま出力し、画像P1の6行目に含まれる32個の画素値のうちの部分画像P2に係る16個の画素値をそのまま出力する。これにより、送信信号生成回路18は、画像信号SPにおける4,5行目の画像データを生成する。
このように、送信信号生成回路18は、画像P1については、2行2列で配置された4つの画素値を1つの画素値に変換するとともに、画像P1のうち、部分画像P2と重なっている部分については、画素値をそのまま出力する。これにより、送信信号生成回路18は、画像P1を、より解像度が低い画像P1に変換する。一方、部分画像P2の解像度は変化しない。その結果、変換後の画像P1の解像度は、部分画像P2の解像度よりも低くなる。送信信号生成回路18は、画像P1の全画像に対して、2行2列で配置された4つの画素値を1つの画素値に変換するので、変換後の画像P1は、部分画像P2に対応する画像を含む。また、送信信号生成回路18は、図3の例では、上から下に向かって処理を順次行うことにより画像信号SPを生成するので、図3(B)に示したように、例えば、画像信号SPには、画像P1に含まれる1つのライン画像の画素値と、部分画像P2に含まれる2つのライン画像の画素値とが、縦方向において交互に配置される部分が生じるようになっている。
このようにして、送信信号生成回路18は、画像生成回路11が生成した画像に基づいて、図3(B)に示したような複数の画素値を含む画像データを生成する。そして、送信信号生成回路18は、この画像データ、および画像P1における部分画像P2の位置(パラメータPOSX,POSY)を示す画像位置データを含む画像信号SPを生成するようになっている。
送信回路12(図1)は、画像生成回路11から供給された画像信号SPをヘッドマウントディスプレイ20に送信するように構成される。送信回路12は、例えば、垂直期間Vにおける、画像データを送信しないブランキング期間において、画像位置データを、画像データのデータフォーマットを利用して送信することができる。また、送信回路12は、例えば、ブランキング期間において、画像位置データを制御データとして送信してもよい。また、送信回路12は、例えば、画像データを送信するインタフェースとは別の、I2CやSPI(Serial Peripheral Interface)などの汎用インタフェースを用いて、画像位置データを送信してもよい。
図4は、表示システム1における伝送帯域を表すものである。この図4において、網掛けされていない部分は全体画像P11を示し、斜線で網掛けされている部分は周辺画像P12を示し、ドットで網掛けされている部分は部分画像P2を示す。画像信号SPに含まれる画像データは、この例では32行分の画像データを含む。説明の便宜上、この32行分の画像データに、データ番号NSPを付している。各行の画像データは、画像P1(全体画像P11およおび周辺画像P12)に係る画像データ、および部分画像P2に係る画像データを含む。説明の便宜上、画像P1に係る16行分の画像データにデータ番号N1を付しており、部分画像P2に係る16行分の画像データにデータ番号N2を付している。
画像信号SPに含まれる画像データにおける画素値の数は、変換前の画像P1に含まれる画素値の数の半分である。このように、表示システム1は、変換前の画像P1をそのまま送信する場合に比べて、画像データ量を半分にすることができるようになっている。
受信回路13(図1)は、ヘッドマウントディスプレイ20から送信された検出信号SDを受信するように構成される。そして、受信回路13は、この検出信号SDに含まれる、加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果についてのデータを、画像生成回路11に供給するようになっている。
(ヘッドマウントディスプレイ20)
ヘッドマウントディスプレイ20は、受信回路21と、加速度センサ22と、アイトラッキングセンサ23と、プロセッサ24と、送信回路25と、ディスプレイコントローラ26と、表示パネル27とを有している。
ヘッドマウントディスプレイ20は、受信回路21と、加速度センサ22と、アイトラッキングセンサ23と、プロセッサ24と、送信回路25と、ディスプレイコントローラ26と、表示パネル27とを有している。
受信回路21は、画像生成装置10から送信された画像信号SPを受信するように構成される。そして、受信回路21は、この画像信号SPに含まれる画像データおよび画像位置データを、プロセッサ24に供給するようになっている。
加速度センサ22は、ヘッドマウントディスプレイ20の向きなどの動きを検出するように構成される。加速度センサ22は、例えば6軸慣性センサを用いることができる。これにより、表示システム1では、仮想空間における、ヘッドマウントディスプレイ20の向きに応じた画像P1を生成することができるようになっている。
アイトラッキングセンサ23は、ヘッドマウントディスプレイ20を装着しているユーザの目の向きを検出するように構成される。これにより、表示システム1では、ユーザが表示画像のうちのどの部分を見ているかを検出することができ、全体画像P11のうちのユーザが見ている部分を含む部分画像P2を特定することができるようになっている。
プロセッサ24は、ヘッドマウントディスプレイ20の動作を制御するように構成され、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などを含んで構成される。プロセッサ24は、例えば、受信回路21から供給された画像データに基づいて所定の画像処理を行い、画像処理が施された画像データを、画像位置データ、加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果とともに、ディスプレイコントローラ26に供給する。また、プロセッサ24は、加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果を送信回路25に供給し、送信回路25に、これらの検出結果を送信させるようになっている。
送信回路25は、プロセッサ24から供給された加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果を含む検出信号SDを、画像生成装置10に送信するように構成される。
ディスプレイコントローラ26は、プロセッサ24から供給された画像データおよび画像位置データに基づいて、表示パネル27の動作を制御するように構成される。ディスプレイコントローラ26は、予測処理回路29を有している。
予測処理回路29は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成するように構成される。すなわち、表示システム1では、ヘッドマウントディスプレイ20が、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果を画像生成装置10に供給し、画像生成装置10がこれらの検出結果に基づいて画像P1および部分画像P2を生成し、生成した画像をヘッドマウントディスプレイ20に供給する。しかしながら、この場合には、表示システム1では、ユーザが、ヘッドマウントディスプレイ20の向きの変化させてから、ヘッドマウントディスプレイ20が、ヘッドマウントディスプレイ20の向きに応じた画像を表示するまでに時間を要する場合があり得る。そこで、ヘッドマウントディスプレイ20の予測処理回路29は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行う。すなわち、予測処理回路29は、画像生成装置10が画像を生成する前に、加速度センサ22の最新の検出結果およびアイトラッキングセンサ23の最新の検出結果に基づいて画像を生成する。このような予測処理により、表示システム1では、ヘッドマウントディスプレイ20の向きの変化に応じた画像をすぐに表示することができ、レイテンシを低減することができるようになっている。
図5は、ヘッドマウントディスプレイ20の向きの変化を表すものである。図6,7は、予測処理回路29における画像処理の一例を表すものである。図5の例では、ヘッドマウントディスプレイ20を装着しているユーザ8は、首をやや左下に向かって振る。加速度センサ22は、ヘッドマウントディスプレイ20の向きの変化を検出する。予測処理回路29は、図6,7に示したように、加速度センサ22の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行う。幾何変形処理は、例えば、図6に示したような、射影幾何変形処理であってもよいし、図7に示したような、ベクトルを用いた幾何変形処理であってもよい。この例では、ヘッドマウントディスプレイ20の向きがやや左下に変化したことに応じて、予測処理回路29は、画像P1の左側が右側よりもやや遠方にあるように見えるよう、幾何変形処理を行う。
予測処理回路29は、このように画像P1に対して幾何変形処理を行う際、画像P1に含まれる部分画像P2に対しても幾何変形処理を行う。アイトラッキングセンサ23が、ユーザ8の目の向きの変化を検出した場合には、予測処理回路29は、アイトラッキングセンサ23の検出結果に基づいて、画像P1における部分画像P2の位置を変更し、解像度を高める超解像処理を行いつつ、幾何変形処理を行う。
図6,7に示したように、幾何変形処理により、画像P1が小さくなる場合には、予測処理回路29は、例えば図8に示すように、この画像P1の外側の画素値を黒色の画素値に設定することができる。なお、これに限定されるものではなく、予測処理回路29は、例えば図9に示すように、画像P1に含まれる周辺画像P12や全体画像P11の画像に基づいて、画像を引き延ばす画像処理を行うことにより、画像P1の外側の画素値を設定してもよい。
予測処理回路29は、このようにして、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。ディスプレイコントローラ26は、この表示画像データに基づいて、表示パネル27の動作を制御する。
表示パネル27(図1)は、ディスプレイコントローラ26による制御に基づいて、画像を表示するように構成される。表示パネル27は、全体画像P11の画像範囲と同じ画像範囲の画像を表示するようになっている。表示パネル27は、この例では、有機EL(Electro Luminescence)表示パネルである。なお、これに限定されるものではなく、表示パネル27は、例えば、液晶表示パネルであってもよい。
図10は、表示パネル27の一構成例を表すものである。表示パネル27は、画素アレイ31と、画素信号生成回路32と、走査回路33とを有している。
画素アレイ31は、複数の信号線SGLと、複数の制御線CTLと、複数の画素PIXとを有している。
複数の信号線SGLは、垂直方向(図10における縦方向)に延伸するとともに水平方向(図10における横方向)に並設される。複数の信号線SGLのそれぞれは、画素信号生成回路32が生成した画素信号を画素PIXに供給するようになっている。
複数の制御線CTLは、水平方向(図10における横方向)に延伸するとともに垂直方向(図10における縦方向)に並設される。複数の制御線CTLのそれぞれは、走査回路33が生成した制御信号を画素PIXに供給するようになっている。
複数の画素PIXは、画素アレイ31においてマトリックス状に配置される。複数の画素PIXのそれぞれは、制御線CTLを介して供給された制御信号に基づいて制御され、信号線SGLを介して供給された画素信号が書き込まれる。これにより、複数の画素PIXのそれぞれは、書き込まれた画素信号に応じた輝度で発光するように構成される。水平方向に並設された1行分の画素PIXは、画素ラインLを構成する。
画素信号生成回路32は、表示すべき画像データに基づいて画素信号を生成し、生成した画素信号を複数の信号線SGLのそれぞれに印加するように構成される。
走査回路33は、制御信号を生成し、生成した制御信号を複数の制御線CTLのそれぞれに印加することにより、複数の画素PIXを、1または複数の画素ラインLを走査単位として走査するようになっている。
ここで、受信回路21は、本開示における「受信回路」の一具体例に対応する。変換後の全体画像P11は、本開示における「全体画像」の一具体例に対応する。変換後の周辺画像P12は、本開示における「周辺画像」の一具体例に対応する。部分画像P2は、本開示における「第1の部分画像」の一具体例に対応する。画素アレイ31は、本開示における「表示部」の一具体例に対応する。加速度センサ22は、本開示における「第1のセンサ」の一具体例に対応する。アイトラッキングセンサ23は、本開示における「第2のセンサ」の一具体例に対応する。ディスプレイコントローラ26は、本開示における「画像処理回路」の一具体例に対応する。画素信号生成回路32および走査回路33は、本開示における「表示駆動回路」の一具体例に対応する。送信回路25は、本開示における「送信回路」の一具体例に対応する。
[動作および作用]
続いて、本実施の形態の表示システム1の動作および作用について説明する。
続いて、本実施の形態の表示システム1の動作および作用について説明する。
(全体動作概要)
まず、図1を参照して、表示システム1の全体動作概要を説明する。画像生成装置10の受信回路13は、ヘッドマウントディスプレイ20から送信された検出信号SDを受信し、この検出信号SDに含まれる、加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果についてのデータを、画像生成回路11に供給する。画像生成回路11は、受信回路13から供給されたデータに含まれる、加速度センサ22の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ20の向きに応じた風景を示す全体画像P11を生成する。また、画像生成回路11は、この全体画像P11の外側の画像である周辺画像P12を生成する。全体画像P11および周辺画像P12は、画像P1を構成する。また、画像生成回路11は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちの、ユーザが見ている部分を含む部分画像P2を特定する。送信信号生成回路18は、画像生成回路11が生成した画像に基づいて、送信すべき画像信号SPを生成する。画像信号SPは、画像データと、画像P1における部分画像P2の位置を示す画像位置データとを含む。送信回路12は、この画像信号SPをヘッドマウントディスプレイ20に送信する。
まず、図1を参照して、表示システム1の全体動作概要を説明する。画像生成装置10の受信回路13は、ヘッドマウントディスプレイ20から送信された検出信号SDを受信し、この検出信号SDに含まれる、加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果についてのデータを、画像生成回路11に供給する。画像生成回路11は、受信回路13から供給されたデータに含まれる、加速度センサ22の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ20の向きに応じた風景を示す全体画像P11を生成する。また、画像生成回路11は、この全体画像P11の外側の画像である周辺画像P12を生成する。全体画像P11および周辺画像P12は、画像P1を構成する。また、画像生成回路11は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちの、ユーザが見ている部分を含む部分画像P2を特定する。送信信号生成回路18は、画像生成回路11が生成した画像に基づいて、送信すべき画像信号SPを生成する。画像信号SPは、画像データと、画像P1における部分画像P2の位置を示す画像位置データとを含む。送信回路12は、この画像信号SPをヘッドマウントディスプレイ20に送信する。
ヘッドマウントディスプレイ20の受信回路21は、画像生成装置10から送信された画像信号SPを受信し、この画像信号SPに含まれる画像データおよび画像位置データを、プロセッサ24に供給する。加速度センサ22は、ヘッドマウントディスプレイ20の向きなどの動きを検出する。アイトラッキングセンサ23は、ヘッドマウントディスプレイ20を装着しているユーザの目の向きを検出する。プロセッサ24は、加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果を、送信回路25に供給する。送信回路25は、プロセッサ24から供給された加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果を含む検出信号SDを、画像生成装置10に送信する。
また、プロセッサ24は、受信回路21から供給された画像データに基づいて所定の画像処理を行い、画像処理が施された画像データを、画像位置データ、加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果とともに、ディスプレイコントローラ26に供給する。ディスプレイコントローラ26の予測処理回路29は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。ディスプレイコントローラ26は、プロセッサ24から供給された画像位置データ、および予測処理回路29が生成した表示画像データに基づいて、表示パネル27の動作を制御する。表示パネル27は、ディスプレイコントローラ26による制御に基づいて、画像を表示する。
(詳細動作)
画像生成装置10において、画像生成回路11は、受信回路13から供給されたデータに含まれる、加速度センサ22の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ20の向きに応じた風景を示す全体画像P11を生成する。また、画像生成回路11は、この全体画像P11の外側の画像である周辺画像P12を生成する。また、画像生成回路11は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちの、ユーザが見ている部分を含む部分画像P2を特定する。
画像生成装置10において、画像生成回路11は、受信回路13から供給されたデータに含まれる、加速度センサ22の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ20の向きに応じた風景を示す全体画像P11を生成する。また、画像生成回路11は、この全体画像P11の外側の画像である周辺画像P12を生成する。また、画像生成回路11は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちの、ユーザが見ている部分を含む部分画像P2を特定する。
送信信号生成回路18は、画像生成回路11が生成した画像に基づいて、送信すべき画像信号SPを生成する。具体的には、送信信号生成回路18は、画像P1(全体画像P11および周辺画像P12)については、2行2列で配置された4つの画素値を1つの画素値に変換する。また、送信信号生成回路18は、画像P1のうち、部分画像P2と重なっている部分については、画素値をそのまま出力する。このようにして、送信信号生成回路18は、画像生成回路11が生成した画像に基づいて、図3(B)に示したような複数の画素値を含む画像データを生成する。そして、送信信号生成回路18は、この画像データ、および画像P1における部分画像P2の位置(パラメータPOSX,POSY)を示す画像位置データを含む画像信号SPを生成する。
そして、送信回路12は、画像生成回路11から供給された画像信号SPをヘッドマウントディスプレイ20に送信する。
ヘッドマウントディスプレイ20において、受信回路21は、画像生成装置10から送信された画像信号SPを受信し、この画像信号SPに含まれる画像データおよび画像位置データを、プロセッサ24に供給する。プロセッサ24は、受信回路21から供給された画像データに基づいて所定の画像処理を行い、画像処理が施された画像データを、画像位置データ、加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果とともに、ディスプレイコントローラ26に供給する。
図11は、ディスプレイコントローラ26に入力される信号の一例を表すものであり、(A)は垂直同期信号VS_INの波形を示し、(B)は水平同期信号HS_INの波形を示し、(C)は垂直データイネーブル信号VDE_INの波形を示し、(D)はデータ信号DATA_INを示す。
タイミングt1において、垂直同期信号VS_INにパルスが生じ、垂直期間Vが開始する(図11(A))。また、水平同期信号HS_INには、水平期間Hが開始する度にパルスが生じる(図11(B))。
そして、タイミングt2において、垂直データイネーブル信号VDE_INが低レベルから高レベルに変化する(図11(C))。垂直データイネーブル信号VDE_INが高レベルである期間におけるデータ信号DATA_INは、画像データを示す(図11(D))。この例では、32個の水平期間Hにわたり、データ信号DATA_INが供給される。データ信号DATA_INは、32個の水平期間Hに対応する32個の画像データを含む。この32個の画像データは、図4に示した、画像信号SPに含まれる32行分の画像データ(データ番号NSP=1~32)にそれぞれ対応する。この図11は、データ番号NSPに加え、データ番号N1,N2も示している。
図12は、データ信号DATA_INの一例を表すものである。例えば、画像信号SPに含まれる1行目の画像データは、データ信号DATA_INに含まれる32個の画像データのうちの、1番目の画像データに対応する。この画像データは、周辺画像P12に係る16個の画素値を含む。また、例えば、画像信号SPに含まれる2行目の画像データは、データ信号DATA_INに含まれる32個の画像データのうちの、2番目の画像データに対応する。この画像データは、周辺画像P12に係る1つの画素値と、全体画像P11に係る14個の画素値と、周辺画像P12に係る1つの画素値とを含む。また、例えば、画像信号SPに含まれる4行目の画像データは、データ信号DATA_INに含まれる32個の画像データのうちの、4番目の画像データに対応する。この画像データは、部分画像P2に係る16個の画素値を含む。
そして、タイミングt3において、垂直データイネーブル信号VDE_INが高レベルから低レベルに変化する(図11(C))。そして、タイミングt4において、この垂直期間Vが終了するとともに、次の垂直期間Vが開始する。
ディスプレイコントローラ26の予測処理回路29は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。そして、ディスプレイコントローラ26は、この表示画像データに基づいて、垂直同期信号VS_OUT、水平同期信号HS_OUT、垂直データイネーブル信号VDE_OUT、およびデータ信号DATA_OUTを生成する。
図13は、ヘッドマウントディスプレイ20の向きが変化せず、ユーザの目の向きが変化しない場合に、ディスプレイコントローラ26から出力される信号の一例を表すものであり、(A)は垂直同期信号VS_OUTの波形を示し、(B)は水平同期信号HS_OUTの波形を示し、(C)は垂直データイネーブル信号VDE_OUTの波形を示し、(D)はデータ信号DATA_OUTを示す。図13(D)において、網掛けされていない部分は全体画像P11を示し、ドットで網掛けされている部分は部分画像P2を示す。すなわち、この例では、ヘッドマウントディスプレイ20の向きが変化せず、ユーザの目の向きが変化しないので、予測処理回路29は、図6,7に示したような幾何変形処理は行われない。よって、データ信号DATA_OUTは、全体画像P11および部分画像P2に係る画像データを含み、周辺画像P12に係る画像データを含まない。
図11の場合と同様に、タイミングt11において、垂直同期信号VS_OUTにパルスが生じ、垂直期間Vが開始する(図13(A))。また、水平同期信号HS_OUTには、水平期間Hが開始する度にパルスが生じる(図13(B))。
そして、タイミングt12において、垂直データイネーブル信号VDE_OUTが低レベルから高レベルに変化する(図13(C))。ディスプレイコントローラ26は、この例では、30個の水平期間Hにわたり、30個の画像データをデータ信号DATA_OUTとして出力する(図13(D))。この例のように、ヘッドマウントディスプレイ20の向きが変化せず、ユーザの目の向きが変化しない場合には、ディスプレイコントローラ26は、全体画像P11に係る画像データおよび部分画像P2に係る画像データを、データ信号DATA_OUTとして出力する。データ信号DATA_OUTに含まれる30個の画像データは、データ信号DATA_IN(図11)に含まれる2~31番目の30個の画像データにそれぞれ対応する。言い換えれば、データ信号DATA_OUTに含まれる30個の画像データは、図3(B),4に示した画像信号SPに含まれる2~31行目の画像データにそれぞれ対応している。図13には、説明の便宜上、データ番号NSP,N1,N2を記載している。なお、例えばヘッドマウントディスプレイ20の向きが変化した場合には、予測処理回路29は図6,7に示したように幾何変形処理を行うので、データ信号DATA_OUTに含まれる30個の画像データは、データ信号DATA_IN(図11)に含まれる2~31番目の画像データに必ずしも対応しない。
ディスプレイコントローラ26は、データ信号DATA_OUTに含まれる、全体画像P11に係る画像データに基づいて、表示パネル27における複数の画素PIXを、2行2列で配置された4つの画素PIXを単位として駆動するように制御する。また、ディスプレイコントローラ26は、データ信号DATA_OUTに含まれる、部分画像P2に係るデータに基づいて、表示パネル27における複数の画素PIXを、1つの画素PIXを単位として駆動するように制御する。
図14は、図13におけるタイミングt12~t16におけるデータ信号DATA_OUTと、そのデータ信号DATA_OUTに基づく表示駆動動作の一例を表すものである。図15,16は、表示パネル27の動作の一例を表すものである。
表示パネル27は、タイミングt12~t13の期間では、図14において符号W1で示した2つの画素ラインLに対する表示駆動動作を行う。
このタイミングt12~t13の期間では、ディスプレイコントローラ26は、図14に示したように、全体画像P11に係る14個の画素値を含む画像データをデータ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“2”であり、データ番号N1は“2”である。すなわち、図12に示したように、画像信号SPに含まれる、データ番号NSPが“2”である画像データは、周辺画像P12に係る1つの画素値と、全体画像P11に係る14個の画素値と、周辺画像P12に係る1つの画素値とを含んでいるので、ディスプレイコントローラ26は、このうちの全体画像P11に係る14個の画素値に対応する14個の画素値を含む画像データを、データ信号DATA_OUTとして出力する。ディスプレイコントローラ26は、この画像データに基づいて、データ番号N1=2に対応する2つの画素ラインLに対して、図15に示したように4つの画素PIXを単位として駆動するように制御する。
この場合、図15に示したように、走査回路33は、複数の画素PIXを、2つの画素ラインLを走査単位USとして走査する。また、画素信号生成回路32は、互いに隣り合う2つの信号線SGLに、同じ画素信号を印加する。これにより、選択された2つの画素ラインLでは、4つの画素PIXに、同じ画素信号が書き込まれる。このようにして、表示パネル27は、複数の画素PIXを、4つの画素PIXを単位UDとして駆動する。
このようにして、画素信号生成回路32は、図14において符号W1で示した2つの画素ラインLに対して、全体画像P11に係る画素信号を書き込む。
次に、表示パネル27は、タイミングt13~t14の期間では、図14において符号W2で示した2つの画素ラインLに対する表示駆動動作を行う。
まず、タイミングt13~t14の期間では、ディスプレイコントローラ26は、図14に示したように、全体画像P11に係る14個の画素値を含む画像データをデータ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“3”であり、データ番号N1は“3”である。すなわち、図12に示したように、画像信号SPに含まれる、データ番号NSPが“3”である画像データは、周辺画像P12に係る1つの画素値と、全体画像P11に係る14個の画素値と、周辺画像P12に係る1つの画素値とを含んでいるので、ディスプレイコントローラ26は、このうちの全体画像P11に係る14個の画素値に対応する14個の画素値を含む画像データを、データ信号DATA_OUTとして出力する。ディスプレイコントローラ26は、この画像データに基づいて、データ番号N1=3に対応する2つの画素ラインLに対して、図15に示したように4つの画素PIXを単位として駆動するように制御する。
この例では、ディスプレイコントローラ26は、図14に示したように、この14個の画素値のうちの2~9番目の画素値を、黒色を示す画素値に設定する。表示パネル27は、2~9番目の画素値に対応する画素PIXに、画素信号を書き込まないように制御する。なお、これに限定されるものではなく、ディスプレイコントローラ26は、2~9番目の画素値に対応する画素PIXに、値が“0”の画素値に基づいて画素信号を書き込んでもよい。また、この例では、ディスプレイコントローラ26は、この14個の画素値のうちの2~9番目の画素値を、黒色を示す画素値に設定したが、これに限定されるものではなく、黒色を示す画素値に設定せず、元の画素値のままにしてもよい。
図17は、図14において符号W2で示した2つの画素ラインLに対する表示駆動動作の一例を表すものであり、(A)はタイミングt13~t14における動作を示し、(B)はタイミングt14~t15における動作を示し、(C)はタイミングt15~t16における動作を示す。図17(A)に示したように、タイミングt13~t14では、画素信号生成回路32は、1,10~14番目の画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。また、画素信号生成回路32は、これらの画素PIX以外の画素PIXに、画素値を書き込まない。
次のタイミングt14~t15の期間では、ディスプレイコントローラ26は、図14に示したように、部分画像P2に係る16個の画素値を含む画像データをデータ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“4”であり、データ番号N2は“1”である。ディスプレイコントローラ26は、画像位置データに基づいて、この画像データが、部分画像P2に係る画素値を含むことを把握する。そして、ディスプレイコントローラ26は、この画像データに基づいて、データ番号N2=1に対応する1つの画素ラインLに対して、図16に示したように1つの画素PIXを単位として駆動するように制御する。
この場合、図16に示したように、走査回路33は、複数の画素PIXを、1つの画素ラインLを走査単位USとして走査する。また、画素信号生成回路32は、複数の信号線SGLに、複数の画素信号をそれぞれ印加する。これにより、選択された1つの画素ラインLでは、1つの画素PIXに、1つの画素信号がそれぞれ書き込まれる。このようにして、表示パネル27は、複数の画素PIXを、1つの画素PIXを単位UDとして駆動する。
図17(B)に示したように、タイミングt14~t15では、画素信号生成回路32は、16個の画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。また、画素信号生成回路32は、これらの画素PIX以外の画素PIXに、画素値を書き込まない。
次のタイミングt15~t16の期間では、ディスプレイコントローラ26は、図14に示したように、部分画像P2に係る16個の画素値を含む画像データをデータ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“5”であり、データ番号N2は“2”である。ディスプレイコントローラ26は、画像位置データに基づいて、この画像データが、部分画像P2に係る画素値を含むことを把握する。そして、ディスプレイコントローラ26は、この画像データに基づいて、データ番号N2=2に対応する1つの画素ラインLに対して、図16に示したように1つの画素PIXを単位として駆動するように制御する。
図17(C)に示したように、タイミングt15~t16では、画素信号生成回路32は、16個の画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。また、画素信号生成回路32は、これらの画素PIX以外の画素PIXに、画素値を書き込まない。
このようにして、画素信号生成回路32は、図17(A)~(C)に示したように、タイミングt13~t16の期間において、図14において符号W2で示した2つの画素ラインLにおける全ての画素PIXに対して、全体画像P11に係る画素信号、または部分画像P2に係る画素信号を書き込む。
図13に示したように、これ以降も、ディスプレイコントローラ26および表示パネル27は同様に動作する。そして、タイミングt17において、垂直データイネーブル信号VDE_OUTが高レベルから低レベルに変化する(図13(C))。そして、タイミングt18において、この垂直期間Vが終了するとともに、次の垂直期間Vが開始する。
図18~20は、ディスプレイコントローラ26の動作を模式的に表すものである。図18~20において、(A)は、ディスプレイコントローラ26に供給された画像データを示し、(B)はディスプレイコントローラ26が出力する表示画像データを示す。
図13,14では、ヘッドマウントディスプレイ20の向きが変化せず、ユーザの目の向きが変化しない場合を例に挙げて説明した。この場合には、図18に示すように、ディスプレイコントローラ26が生成した表示画像データは、全体画像P11に係る画像データおよび部分画像P2に係る画像データを含む。すなわち、この表示画像データは、周辺画像P12に係る画像データを含まない。ディスプレイコントローラ26は、この表示画像データに含まれる、部分画像P2に係る画像データに基づいて、複数の画素PIXを、1つの画素PIXを単位として駆動し、それ以外の画像データに基づいて、複数の画素PIXを、1つの画素PIXを単位として駆動する。
例えば、ヘッドマウントディスプレイ20の向きが変化し、ユーザの目の向きが変化しない場合には、加速度センサ22は、ヘッドマウントディスプレイ20の向きが変化したことを検出する。ディスプレイコントローラ26の予測処理回路29は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、図19に示すように幾何変形処理を行うことにより表示画像データを生成する。この表示画像データは、全体画像P11に係る画像データおよび部分画像P2に係る画像データに加えて、周辺画像P12に係る画像データを含む。なお、表示画像データは、周辺画像P12に係る画像データに加えて、さらに、図8,9に示したように、さらに外側の画像の画像データを含んでもよい。この例では、幾何変形処理により、画像P1が小さくなるので、部分画像P2もまた小さくなる。ディスプレイコントローラ26は、この表示画像データに含まれる、部分画像P2に係る画像データに基づいて、複数の画素PIXを、1つの画素PIXを単位として駆動し、それ以外の画像データに基づいて、複数の画素PIXを、1つの画素PIXを単位として駆動する。
例えば、ヘッドマウントディスプレイ20の向きが変化し、ユーザの目の向きも変化した場合には、加速度センサ22は、ヘッドマウントディスプレイ20の向きが変化したことを検出し、アイトラッキングセンサ23は、ユーザの目の向きが変化したことを検出する。ディスプレイコントローラ26の予測処理回路29は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、図20に示すように幾何変形処理を行うことにより表示画像データを生成する。この表示画像データは、全体画像P11に係る画像データおよび部分画像P2に係る画像データに加えて、周辺画像P12に係る画像データを含む。なお、表示画像データは、周辺画像P12に係る画像データに加えて、さらに、図8,9に示したように、さらに外側の画像の画像データを含んでもよい。この例では、ユーザの目の向きが変化しているので、予測処理回路29は、アイトラッキングセンサ23の検出結果に基づいて、画像P1における部分画像P2の位置を変更し、解像度を高める超解像処理を行うことにより、部分画像P2の画像データを生成する。ディスプレイコントローラ26は、この表示画像データに含まれる、部分画像P2に係る画像データに基づいて、複数の画素PIXを、1つの画素PIXを単位として駆動し、それ以外の画像データに基づいて、複数の画素PIXを、1つの画素PIXを単位として駆動する。
このようにして、ディスプレイコントローラ26は、表示画像データを生成し、この表示画像データに基づいて、表示パネル27の動作を制御する。
図21は、表示パネル27の一動作例を表すものである。この例では、フレームレートは120Hzである。この場合、表示パネル27における表示動作の周期Tは8.3[msec.](=1/120[Hz])である。
走査回路33は、この例では画素アレイ31の最上部から最下部に向かって、1つの画素ラインLまたは2つの画素ラインLを走査単位として走査を行う。この例では、タイミングt21~t22の期間およびタイミングt24~t25の期間では、走査速度が速く、タイミングt22~t24の期間では、走査速度が遅い。すなわち、タイミングt22~t24の期間では、走査回路33は、部分画像P2の位置に対応する複数の画素ラインLを走査している。この場合、画素信号生成回路32は、タイミングt13~t16の期間の動作のように、3つの水平期間において、2つの画素ラインLに係る複数の画素PIXに画素信号を書き込むので、走査速度が遅い。一方、タイミングt21~t22の期間およびタイミングt24~t25の期間では、画素信号生成回路32は、タイミングt12~t13の期間の動作のように、1つの水平期間において、2つの画素ラインLに係る複数の画素PIXに画素信号を書き込むので、走査速度が速い。このように、表示パネル27では、1つの画素ラインLまたは2つの画素ラインLを走査単位として走査を行うので、例えば、1つの画素ラインLを走査単位として走査を行う場合に比べて、動作周波数を下げることができ、消費電力を低減することができる。
そして、図21において網掛けで示したように、画素信号が書き込まれた画素PIXは、この例では、画素信号が書き込まれてから所定の期間にわたり発光する。このようにして、表示パネル27は、画像を表示する。
このようにして、ヘッドマウントディスプレイ20は、画像P1および部分画像P2に基づいて、画像を表示する。画像データの入力が開始されるタイミングt21から、表示パネル27の上下方向の中央の位置の画素PIXが発光し始めるまでの時間Δtは、この例では、周期Tに対応する時間の半分程度である。具体的には、例えば、周期Tが8.3[msec.]である場合には、時間Δtは4.1[msec.]程度にすることができる。
図22は、表示パネル27の他の一動作例を表すものである。この例では、画素PIXの発光動作が、図21の例とは異なる。すなわち、図21の例では、表示パネル27は、走査のタイミングに応じて発光したが、この例では、全領域の画素PIXが同じタイミングで発光する。時間Δtは、この例では、周期Tに対応する時間と同程度である。具体的には、例えば、周期Tが8.3[msec.]である場合には、時間Δtは8[msec.]程度にすることができる。
表示システム1では、ヘッドマウントディスプレイ20のアイトラッキングセンサ23は、このヘッドマウントディスプレイ20を装着しているユーザの目の向きを検出することにより、ユーザが表示画像のうちのどの部分を見ているかを検出する。画像生成装置10は、このアイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちのユーザが見ている部分を含む画像(部分画像P2)を特定する。そして、画像生成装置10は、画像P1(全体画像P11および周辺画像P12)を示す低解像度の画像データ、および部分画像P2を示す高解像度の画像データを含む画像信号SPを生成する。よって、画像信号SPに含まれる画像データでは、画像P1に係る画像データおよび部分画像P2に係る画像データの位置は、アイトラッキングセンサ23の検出結果に応じて変化し得る。
図23~26は、表示システム1の一動作例を表すものであり、図23は、ユーザが表示パネル27の表示画像における左上の部分を見ている場合を示し、図24は、ユーザが表示パネル27の表示画像における右上の部分を見ている場合を示し、図25は、ユーザが表示パネル27の表示画像における左下の部分を見ている場合を示し、図26は、ユーザが表示パネル27の表示画像における右下の部分を見ている場合を示す。
例えば、ユーザが表示パネル27の表示画像における左上や右上を見ている場合(図23,24)には、画像信号SPにおける画像データにおいて、部分画像P2に係る画像データは、図23(B),24(B)に示したように、上方に位置する。一方、例えば、ユーザが表示パネル27の表示画像における左下や右下を見ている場合(図25,26)には、画像信号SPにおける画像データにおいて、部分画像P2に係る画像データは、図25(B),26(B)に示したように、下方に位置する。このように、画像信号SPに含まれる画像データにおける、画像P1に係る画像データおよび部分画像P2に係る画像データの位置は、アイトラッキングセンサ23の検出結果に応じて変化し得る。
図27は、表示システム1の動作の一例を表すものであり、(A)は画像生成回路11の動作を示し、(B)は送信回路12の動作を示し、(C)はディスプレイコントローラ26の動作を示し、(D)は表示パネル27の動作を示す。この例では、表示パネル27のフレームレートは120Hzである。この場合、周期Tは8.3[msec.](=1/120[Hz])である。また、画像生成回路11におけるレンダリング処理の周期T0は16.7[msec.](=1/60[Hz])である。表示システム1では、周期T0で画像データが生成され、周期Tでその画像データに基づく表示が行われる。
タイミングt101~t103の期間において、画像生成装置10の画像生成回路11は、レンダリング処理を行うことにより、加速度センサ22の検出結果に基づいて、ヘッドマウントディスプレイ20の向きに応じた全体画像P11を生成するとともに、この全体画像P11の外側の周辺画像P12を生成する(図27(A))。そして、このタイミングt101~t103のうちのタイミングt102~t103の期間において、画像生成回路11は、ディスプレイコントローラ26の予測処理回路29と同様に、加速度センサ22の最新の検出結果に基づいて幾何変形処理を行うことにより、全体画像P11および周辺画像P12を更新する。また、画像生成回路11は、アイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちのユーザが見ている部分を含む部分画像P2を特定する。
次に、タイミングt103~t107の期間において、画像生成装置10の送信回路12は、画像生成回路11が生成したこのような画像に基づいて画像信号SPを生成し、この画像信号SPをヘッドマウントディスプレイ20に対して送信する(図27(B))。
次に、タイミングt104~t105の期間において、ディスプレイコントローラ26の予測処理回路29は、加速度センサ22の最新の検出結果およびアイトラッキングセンサ23の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する(図27(C))。そして、タイミングt105~t108の期間において、表示パネル27は、予測処理回路29により生成された表示画像データに基づいて、画像を表示する(図27(D))。
また、タイミングt106~t108の期間において、ディスプレイコントローラ26の予測処理回路29は、加速度センサ22の最新の検出結果およびアイトラッキングセンサ23の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する(図27(C))。そして、タイミングt108~t109の期間において、表示パネル27は、予測処理回路29により生成された表示画像データに基づいて、画像を表示する(図27(D))。
図27に示したように、ディスプレイコントローラ26の予測処理回路29は、加速度センサ22の最新の検出結果およびアイトラッキングセンサ23の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する。そして、表示パネル27は、予測処理回路29が生成した表示画像データに基づいて、画像を表示する。具体的には、例えば、タイミングt102~t103における画像生成回路11における予測処理に反映されなかった、加速度センサ22の最新の検出結果およびアイトラッキングセンサ23の最新の検出結果に基づいて、予測処理回路29は、タイミングt104~t105の期間において予測処理を行う。そして、表示パネル27は、タイミングt105~t108の期間において、予測処理回路29が生成した表示画像データに基づいて、画像を表示する。表示システム1では、このような予測処理回路29の予測処理により、例えば、ヘッドマウントディスプレイ20の向きの変化に応じた画像をすぐに表示することができ、レイテンシを低減することができる。
また、例えば、予測処理回路29は、タイミングt106~t108の期間において予測処理を行い、表示パネル27は、タイミングt108~t109の期間において、予測処理回路29が生成した表示画像データに基づいて、画像を表示する。これにより、表示システム1では、画像信号SPの伝送レートが低い場合でも、予測処理回路29の予測処理により、例えば、ヘッドマウントディスプレイ20の向きの変化に応じた画像をすぐに表示することができ、レイテンシを低減することができる。
このような予測処理において、予測処理回路28は、全体画像P11の画像データおよび部分画像P2の画像データに加え、周辺画像P12の画像データにも基づいて、幾何変形処理を行う。よって、表示システム1では、図19,20に示したように、幾何変形処理により画像P1が小さくなる場合において、この周辺画像P12を有効に利用して幾何変形処理を行うことにより、表示画像を生成することができる。
図28,29は、表示システム1の動作の他の一例を表すものである。この例では、画像生成回路11におけるレンダリング処理の周期T0は、表示パネル27における表示動作の周期Tと同じであり、8.3[msec.](=1/120[Hz])である。
タイミングt111~t113の期間において、画像生成装置10の画像生成回路11は、レンダリング処理を行うことにより、加速度センサ22の検出結果に基づいて、ヘッドマウントディスプレイ20の向きに応じた全体画像P11を生成するとともに、この全体画像P11の外側の周辺画像P12を生成する(図28(A))。そして、このタイミングt111~t113のうちのタイミングt112~t113の期間において、画像生成回路11は、ディスプレイコントローラ26の予測処理回路29と同様に、加速度センサ22の最新の検出結果に基づいて幾何変形処理を行うことにより、全体画像P11および周辺画像P12を更新する。また、画像生成回路11は、アイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちのユーザが見ている部分を含む部分画像P2を特定する。そして、タイミングt113において、画像生成回路11は、次のレンダリング処理を開始する。
次に、タイミングt113~t116の期間において、画像生成装置10の送信回路12は、画像生成回路11が生成したこのような画像に基づいて画像信号SPを生成し、この画像信号SPをヘッドマウントディスプレイ20に対して送信する(図28(B))。そして、タイミングt114~t117の期間において、表示パネル27は、送信回路12から送信された画像データに基づいてディスプレイコントローラ26が生成した表示画像データに基づいて、画像を表示する(図28(D))。
次に、タイミングt115~t117の期間において、ディスプレイコントローラ26の予測処理回路29は、加速度センサ22の最新の検出結果およびアイトラッキングセンサ23の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する(図28(C))。
図28の例では、タイミングt113において画像生成回路11が開始したレンダリング処理は、周期T0に対応する期間内に終了している(図28(A))。よって、タイミングt116~t118の期間において、画像生成装置10の送信回路12は、画像生成回路11が生成した画像に基づいて画像信号SPを生成し、この画像信号SPをヘッドマウントディスプレイ20に対して送信する(図28(B))。この場合には、タイミングt115~t117の期間において予測処理回路29が生成した表示画像データは破棄される。そして、表示パネル27は、タイミングt117~t119の期間において、送信回路12から送信された画像データに基づいてディスプレイコントローラ26が生成した表示画像データに基づいて、画像を表示する。
一方、図29の例では、タイミングt113において画像生成回路11が開始したレンダリング処理は、周期T0に対応する期間内に終了できていない。この場合には、送信回路12は、タイミングt116において画像信号SPを送信し始めることができない。よって、表示パネル27は、タイミングt117~t119の期間において、予測処理回路29がタイミングt115~t117の期間において生成した表示画像データに基づいて、画像を表示する(図29(D))。
図28,29に示したように、ディスプレイコントローラ26の予測処理回路29は、加速度センサ22の最新の検出結果およびアイトラッキングセンサ23の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する。そして、表示パネル27は、予測処理回路29が生成した表示画像データに基づいて、画像を表示する。具体的には、例えば、図29に示したように、タイミングt113において画像生成回路11が開始したレンダリング処理が、周期T0に対応する期間内に終了しない場合には、表示パネル27は、タイミングt117~t118の期間において、予測処理回路29がタイミングt115~t117の期間において生成した表示画像データに基づいて、画像を表示する。これにより、表示システム1では、レンダリング処理が間に合わない場合でも、予測処理回路29が生成した表示画像データに基づいて画像を表示することができるので、例えば、ヘッドマウントディスプレイ20の向きの変化に応じた画像をすぐに表示することができる。
このように、表示システム1では、受信回路21は、第1の解像度の全体画像P11を示す第1の画像データと、全体画像P11の外側の画像である、第1の解像度以下の第2の解像度の周辺画像P12を示す第2の画像データと、全体画像P11よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の部分画像P2を示す第3の画像データとを受信するようにした。加速度センサ22は、ヘッドマウントディスプレイ20の姿勢の変化を検出するようにした。ディスプレイコントローラ26は、加速度センサ22の検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うようにした。そして、画素信号生成回路32および走査回路33は、この表示画像データに基づいて、全体画像P11の画像範囲と同じ画像範囲の画像を表示可能な画素アレイ31を駆動するようにした。これにより、ヘッドマウントディスプレイ20では、予測処理回路29が生成した表示画像データに基づいて画像を表示することができるので、例えば、ヘッドマウントディスプレイ20の向きの変化に応じた画像をすぐに表示することができる。また、例えば、図28,29に示したように、伝送レートを低減した場合でも、ヘッドマウントディスプレイ20の向きの変化に応じた画像をすぐに表示することができる。その結果、ヘッドマウントディスプレイ20では、レイテンシを低減することができる。
[効果]
以上のように本実施の形態では、第1の解像度の全体画像を示す第1の画像データと、全体画像の外側の画像である、第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、全体画像よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の部分画像を示す第3の画像データとを受信するようにした。加速度センサは、ヘッドマウントディスプレイの姿勢の変化を検出するようにした。予測処理回路は、加速度センサの検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うようにした。そして画素信号生成回路および走査回路は、この表示画像データに基づいて、全体画像の画像範囲と同じ画像範囲の画像を表示可能な画素アレイを駆動するようにした。これにより、レイテンシを低減することができる。
以上のように本実施の形態では、第1の解像度の全体画像を示す第1の画像データと、全体画像の外側の画像である、第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、全体画像よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の部分画像を示す第3の画像データとを受信するようにした。加速度センサは、ヘッドマウントディスプレイの姿勢の変化を検出するようにした。予測処理回路は、加速度センサの検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うようにした。そして画素信号生成回路および走査回路は、この表示画像データに基づいて、全体画像の画像範囲と同じ画像範囲の画像を表示可能な画素アレイを駆動するようにした。これにより、レイテンシを低減することができる。
[変形例1-1]
上記実施の形態では、画像生成回路11は、画像P1(全体画像P11および周辺画像P12)を生成し、この全体画像P11の一部を部分画像P2として特定し、画像P1において、2行2列で配置された4つの画素値を1つの画素値に変換することにより、高い解像度の画像P1を低い解像度の画像P1に変換したが、これに限定されるものではない。これに代えて、画像生成回路11は、低い解像度の画像P1と、高い解像度の部分画像P2とを個別に生成してもよい。この場合、送信信号生成回路18は、低い解像度の画像P1、および高い解像度の部分画像P2に基づいて、画像信号SPに含まれる画像データを生成する。
上記実施の形態では、画像生成回路11は、画像P1(全体画像P11および周辺画像P12)を生成し、この全体画像P11の一部を部分画像P2として特定し、画像P1において、2行2列で配置された4つの画素値を1つの画素値に変換することにより、高い解像度の画像P1を低い解像度の画像P1に変換したが、これに限定されるものではない。これに代えて、画像生成回路11は、低い解像度の画像P1と、高い解像度の部分画像P2とを個別に生成してもよい。この場合、送信信号生成回路18は、低い解像度の画像P1、および高い解像度の部分画像P2に基づいて、画像信号SPに含まれる画像データを生成する。
[変形例1-2]
上記実施の形態では、図18(A)などに示したように、周辺画像P12の解像度を全体画像P11の解像度と同じにしたが、これに限定されるものではなく、これに代えて、例えば、図30に示すように、周辺画像P12の解像度を全体画像P11の解像度よりも低くしてもよい。図31に示すように、周辺画像P12の解像度を1/4(2×2)、1/9(3×3)、1/16(4×4)にすることにより、画像データ量を小さくすることができ、伝送帯域を小さくすることができる。
上記実施の形態では、図18(A)などに示したように、周辺画像P12の解像度を全体画像P11の解像度と同じにしたが、これに限定されるものではなく、これに代えて、例えば、図30に示すように、周辺画像P12の解像度を全体画像P11の解像度よりも低くしてもよい。図31に示すように、周辺画像P12の解像度を1/4(2×2)、1/9(3×3)、1/16(4×4)にすることにより、画像データ量を小さくすることができ、伝送帯域を小さくすることができる。
[変形例1-3]
上記実施の形態では、予測処理回路29は、加速度センサ22の検出結果に基づいて、周辺画像P12を利用して表示画像を生成したが、表示システム1が左眼画像および右眼画像を含むステレオ画像を表示する場合には、左眼画像および右眼画像の両方を用いて、左眼画像の表示画像および右眼画像の表示画像を生成してもよい。具体的には、予測処理回路29は、左眼画像の表示画像を生成する際に右眼画像を利用してもよいし、右眼画像の表示画像を生成する際に左眼画像を利用してもよい。以下に、この動作について詳細に説明する。
上記実施の形態では、予測処理回路29は、加速度センサ22の検出結果に基づいて、周辺画像P12を利用して表示画像を生成したが、表示システム1が左眼画像および右眼画像を含むステレオ画像を表示する場合には、左眼画像および右眼画像の両方を用いて、左眼画像の表示画像および右眼画像の表示画像を生成してもよい。具体的には、予測処理回路29は、左眼画像の表示画像を生成する際に右眼画像を利用してもよいし、右眼画像の表示画像を生成する際に左眼画像を利用してもよい。以下に、この動作について詳細に説明する。
図32は、本変形例に係る予測処理回路29の一動作例を表すものである。予測処理回路29は、左眼画像PLおよび右眼画像PRの画像データに基づいて処理を行う。この例では、左眼画像PLおよび右眼画像PRのそれぞれは、箱100の画像を含んでいる。この例では、左眼画像PLでは、箱100の右側端部の画像が欠落しており、右眼画像PRでは、箱100の左側端部の画像が欠落している。
例えば、図5に示したように、ヘッドマウントディスプレイ20を装着しているユーザ8は、首をやや左下に向かって振ると、図32に示したように、予測処理回路29は、加速度センサ22の最新の検出結果に基づいて、左眼画像PLに対して幾何変形処理を行うことにより、左眼画像PL1を生成し、右眼画像PRに対して幾何変形処理を行うことにより、右眼画像PR1を生成する。右眼画像PRでは、箱100の左側端部の画像が欠落しているので、予測処理回路29は、右眼画像PRに対して幾何変形処理を行っても、この欠落した部分の画像を生成することができない。そこで、予測処理回路29は、左眼画像PLに基づいて、右眼画像PR1における、この欠落した部分の画像を生成する。具体的には、予測処理回路29は、まず、左眼用の左眼画像PLに対して幾何変形処理を行うことにより、右眼用の画像PR11に変換する。すなわち、左眼画像PLは、ユーザ8が左眼で観察した場合の画像であるので、予測処理回路29は、左眼と右眼の位置の違いを考慮して幾何変形処理を行うことにより、ユーザ8が左眼で観察した場合の画像PR11を生成する。次に、予測処理回路29は、加速度センサ22の最新の検出結果に基づいて、この画像PR11に対して幾何変形処理を行うことにより、画像PR12を生成する。そして、予測処理回路29は、この画像PR12のうちの、右眼画像PR1における欠落した部分に対応する画像を、右眼画像PR1に合成する。このようにして、予測処理回路29は、右眼画像PR1において、箱100の左側端部の欠落した画像部分を修正することができる。
[変形例1-4]
上記実施の形態は、全体画像P11および部分画像P2を用いたが、これに限定されるものではなく、これに代えて、例えば、解像度がさらに異なる画像を用いてもよい。以下に、3つの画像を用いた場合の例について、詳細に説明する。
上記実施の形態は、全体画像P11および部分画像P2を用いたが、これに限定されるものではなく、これに代えて、例えば、解像度がさらに異なる画像を用いてもよい。以下に、3つの画像を用いた場合の例について、詳細に説明する。
本変形例に係る画像生成回路11は、受信回路13から供給されたデータに含まれる、加速度センサ22の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ20の向きに応じた風景を示す全体画像P11を生成する。また、画像生成回路11は、この全体画像P11の外側の周辺画像P12を生成する。また、画像生成回路11は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ20の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像P2,P3を特定する。
図33は、画像生成回路11が生成した画像の一例を表すものである。画像生成回路11は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、全体画像P11のうちの、ユーザが見ている部分を含む部分画像P2,P3を特定する。この例では、部分画像P2の水平方向(図33における横方向)の大きさは、画像P1の水平方向の大きさの半分であり、部分画像P2の垂直方向(図33における縦方向)の大きさは、画像P1の垂直方向の大きさの半分である。すなわち、部分画像P2の面積は、画像P1の面積の1/4である。また、部分画像P3の水平方向の大きさは、部分画像P2の水平方向の大きさの半分であり、部分画像P3の垂直方向の大きさは、部分画像P2の垂直方向の大きさの半分である。すなわち、部分画像P3の面積は、部分画像P2の面積の1/4である。この例では、部分画像P3の中心位置は、部分画像P2の中心位置と同じである。
図34は、本変形例に係る表示システム1の一動作例を表すものであり、(A)は画像生成回路11が生成した画像を示し、(B)は画像信号SPに含まれる画像データを示し、(C)は本変形例に係るヘッドマウントディスプレイ20における表示駆動動作を示す。
本変形例に係る送信信号生成回路18は、図34(A),(B)に示したように、画像生成回路11が生成した画像P1において、左から右に向かう走査を、上から下に向かって順次行うことにより、画像信号SPを生成する。送信信号生成回路18は、画像P1については、4行4列で配置された16個の画素値を1つの画素値に変換し、画像P1のうち、部分画像P2と重なっている部分については、2行2列で配置された4つの画素値を1つの画素値に変換し、画像P1のうち、部分画像P3と重なっている部分については、1つの画素値をそのまま出力することにより、画像信号SPにおける画像データを生成する。
具体的には、この例では、送信信号生成回路18は、画像P1の1~4行目に含まれる128個の画素値に基づいて、4行4列で配置された16個の画素値を1つの画素値に変換することにより、周辺画像P12に係る8つの画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける1行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の5~8行目に含まれる128個の画素値に基づいて、4行4列で配置された16個の画素値を1つの画素値に変換することにより、周辺画像P12に係る1つの画素値、全体画像P11に係る6つの画素値、および周辺画像P12に係る1つの画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける2行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の5,6行目に含まれる64個の画素値のうちの部分画像P2に係る32個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、部分画像P2に係る8つの画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける3行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の7,8行目に含まれる64個の画素値のうちの部分画像P2に係る32個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、部分画像P2に係る8つの画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける4行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の9~12行目に含まれる128個の画素値に基づいて、4行4列で配置された16個の画素値を1つの画素値に変換することにより、周辺画像P12に係る1つの画素値、全体画像P11に係る6つの画素値、および周辺画像P12に係る1つの画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける5行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の9,10行目に含まれる64個の画素値のうちの部分画像P2に係る32個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、部分画像P2に係る8つの画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける6行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の11,12行目に含まれる64個の画素値のうちの部分画像P2に係る32個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、部分画像P2に係る8つの画素値を生成する。これにより、送信信号生成回路18は、画像信号SPにおける7行目の画像データを生成する。
また、送信信号生成回路18は、画像P1の9行目に含まれる32個の画素値のうちの部分画像P3に係る8つの画素値をそのまま出力し、画像P1の10行目に含まれる32個の画素値のうちの部分画像P3に係る8つの画素値をそのまま出力し、画像P1の11行目に含まれる32個の画素値のうちの部分画像P3に係る8つの画素値をそのまま出力し、画像P1の12行目に含まれる32個の画素値のうちの部分画像P3に係る8つの画素値をそのまま出力する。これにより、送信信号生成回路18は、画像信号SPにおける8~11行目の画像データを生成する。
このように、送信信号生成回路18は、画像P1については、4行4列で配置された16個の画素値を1つの画素値に変換する。送信信号生成回路18は、画像P1のうち、部分画像P2と重なっている部分については、2行2列で配置された4つの画素値を1つの画素値に変換する。また、送信信号生成回路18は、画像P1のうち、部分画像P3と重なっている部分については、画素値をそのまま出力する。これにより、画像信号SPでは、画像P1の解像度は部分画像P2の解像度よりも低くなり、部分画像P2の解像度は部分画像P3の解像度よりも低くなる。
このようにして、送信信号生成回路18は、画像生成回路11が生成した画像に基づいて、図34(B)に示したような複数の画素値を含む画像データを生成する。そして、送信信号生成回路18は、この画像データ、および画像P1における部分画像P2の位置(パラメータPOSX,POSY)を示す画像位置データを含む画像信号SPを生成する。
図35は、本変形例に係る表示システム1における伝送帯域を表すものである。画像信号SPに含まれる画像データは、この例では24行分の画像データを含む。説明の便宜上、画像P1(全体画像P11およおび周辺画像P12)に係る8行分の画像データにデータ番号N1を付しており、部分画像P2に係る8行分の画像データにデータ番号N2を付しており、部分画像P3に係る8行分の画像データにデータ番号N3を付している。
画像信号SPに含まれる画像データにおける画素値の数は、画像P1に含まれる画素値の数の18.75%(=0.75×0.25)である。このように、表示システム1は、変換前の画像P1をそのまま送信する場合に比べて、画像データ量を削減することができる。
図36は、ヘッドマウントディスプレイ20の向きが変化せず、ユーザの目の向きが変化しない場合に、本変形例に係るディスプレイコントローラ26から出力される信号の一例を表すものであり、(A)は垂直同期信号VS_OUTの波形を示し、(B)は水平同期信号HS_OUTの波形を示し、(C)は垂直データイネーブル信号VDE_OUTの波形を示し、(D)はデータ信号DATA_OUTを示す。この例では、ヘッドマウントディスプレイ20の向きが変化せず、ユーザの目の向きが変化しないので、予測処理回路29は、図6,7に示したような幾何変形処理は行われない。よって、データ信号DATA_OUTは、全体画像P11および部分画像P2,P3に係る画像データを含み、周辺画像P12に係る画像データを含まない。
タイミングt21において、垂直同期信号VS_OUTにパルスが生じ、垂直期間Vが開始する(図36(A))。また、水平同期信号HS_OUTには、水平期間Hが開始する度にパルスが生じる(図36(B))。
そして、タイミングt22において、垂直データイネーブル信号VDE_OUTが低レベルから高レベルに変化する(図36(C))。ディスプレイコントローラ26は、この例では、22個の水平期間Hにわたり、22個の画像データをデータ信号DATA_OUTとして出力する(図36(D))。この例のように、ヘッドマウントディスプレイ20の向きが変化せず、ユーザの目の向きが変化しない場合には、ディスプレイコントローラ26は、全体画像P11に係る画像データおよび部分画像P2,P3に係る画像データを、データ信号DATA_OUTとして出力する。データ信号DATA_OUTに含まれる22個の画像データは、図34(B),35に示した画像信号SPに含まれる2~23行目の画像データにそれぞれ対応している。図36には、説明の便宜上、データ番号NSP,N1~N3を記載している。
ディスプレイコントローラ26は、データ信号DATA_OUTに含まれる、全体画像P11に係る画像データに基づいて、表示パネル27における複数の画素PIXを、4行4列で配置された16個の画素PIXを単位として駆動するように制御する。また、ディスプレイコントローラ26は、データ信号DATA_OUTに含まれる、部分画像P2に係るデータに基づいて、表示パネル27における複数の画素PIXを、2行2列で配置された4つの画素PIXを単位として駆動するように制御する。また、ディスプレイコントローラ26は、データ信号DATA_OUTに含まれる、部分画像P3に係るデータに基づいて、表示パネル27における複数の画素PIXを、1つの画素PIXを単位として駆動するように制御する。
図37は、図36におけるタイミングt22~t32におけるデータ信号DATA_OUTと、そのデータ信号DATA_OUTに基づく表示駆動動作の一例を表すものである。
表示パネル27は、タイミングt22~t23の期間では、図37において符号W4で示した4つの画素ラインLに対する表示駆動動作を行う。
まず、タイミングt22~t23の期間では、ディスプレイコントローラ26は、図37に示したように、全体画像P11に係る6つの画素値を含む画像データをデータ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“2”であり、データ番号N1は“2”である。ディスプレイコントローラ26は、この画像データに基づいて、データ番号N1=2に対応する4つの画素ラインLに対して、16個の画素PIXを単位として駆動するように制御する。
この例では、ディスプレイコントローラ26は、図37に示したように、この6つの画素値のうちの1~4番目の画素値を、黒色を示す画素値に設定する。表示パネル27は、1~4番目の画素値に対応する画素PIXに、画素信号を書き込まないように制御する。
図38は、図37において符号W4で示した4つの画素ラインLに対する表示駆動動作の一例を表すものであり、(A)はタイミングt22~t23における動作を示し、(B)はタイミングt23~t24における動作を示し、(C)はタイミングt24~t25における動作を示す。図38(A)に示したように、タイミングt22~t23では、画素信号生成回路32は、5,6番目の画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。また、画素信号生成回路32は、これらの画素PIX以外の画素PIXに、画素値を書き込まない。
次のタイミングt23~t24の期間では、ディスプレイコントローラ26は、図37に示したように、部分画像P2に係る8つの画素値を含む画像データをデータ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“3”であり、データ番号N2は“1”である。ディスプレイコントローラ26は、画像位置データに基づいて、この画像データが、部分画像P2に係る画素値を含むことを把握する。そして、ディスプレイコントローラ26は、この画像データに基づいて、データ番号N1=2に対応する2つの画素ラインLに対して、4つの画素PIXを単位として駆動するように制御する。
図38(B)に示したように、タイミングt23~t24では、画素信号生成回路32は、8つの画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。また、画素信号生成回路32は、これらの画素PIX以外の画素PIXに、画素値を書き込まない。
次のタイミングt24~t25の期間の動作は、タイミングt23~t24の期間の動作と同様である。図38(C)に示したように、タイミングt24~t25の期間では、画素信号生成回路32は、8つの画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。
このようにして、画素信号生成回路32は、図38(A)~(C)に示したように、タイミングt22~t25の期間において、図37において符号W4で示した4つの画素ラインLにおける全ての画素PIXに対して、全体画像P11に係る画素信号、または部分画像P2に係る画素信号を書き込む。
次に、表示パネル27は、タイミングt25~t32の期間では、図37において符号W5で示した4つの画素ラインLに対する表示駆動動作を行う。
まず、タイミングt25~t26の期間では、ディスプレイコントローラ26は、図37に示したように、全体画像P11に係る6つの画素値を含む画像データをデータ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“5”であり、データ番号N1は“3”である。ディスプレイコントローラ26は、この画像データに基づいて、データ番号N1=3に対応する4つの画素ラインLに対して、16個の画素PIXを単位として駆動するように制御する。
この例では、ディスプレイコントローラ26は、図37に示したように、この6つの画素値のうちの1~4番目の画素値を、黒色を示す画素値に設定する。表示パネル27は、1~4番目の画素値に対応する画素PIXに、画素信号を書き込まないように制御する。
図39は、図37において符号W5で示した4つの画素ラインLに対する表示駆動動作の一例を表すものであり、(A)はタイミングt25~t26における動作を示し、(B)はタイミングt26~t27における動作を示し、(C)はタイミングt27~t28における動作を示し、(D)はタイミングt28~t29における動作を示し、(E)はタイミングt29~t30における動作を示し、(F)はタイミングt30~t31における動作を示、(G)はタイミングt31~t32における動作を示す。図39(A)に示したように、タイミングt25~t26では、画素信号生成回路32は、5,6番目の画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。また、画素信号生成回路32は、これらの画素PIX以外の画素PIXに、画素値を書き込まない。
次のタイミングt26~t27の期間では、ディスプレイコントローラ26は、図37に示したように、部分画像P2に係る8つの画素値を含む画像データをデータ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“6”であり、データ番号N2は“3”である。ディスプレイコントローラ26は、画像位置データに基づいて、この画像データが、部分画像P2に係る画素値を含むことを把握する。そして、ディスプレイコントローラ26は、この画像データに基づいて、データ番号N2=3に対応する2つの画素ラインLに対して、4つの画素PIXを単位として駆動するように制御する。
この例では、ディスプレイコントローラ26は、図37に示したように、この8つの画素値のうちの3~6番目の画素値を、黒色を示す画素値に設定する。表示パネル27は、3~6番目の画素値に対応する画素PIXに、画素信号を書き込まないように制御する。
図39(B)に示したように、タイミングt26~t27では、画素信号生成回路32は、1,2,7,8番目の画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。また、画素信号生成回路32は、これらの画素PIX以外の画素PIXに、画素値を書き込まない。
次のタイミングt27~t28の期間の動作は、タイミングt26~t27の期間の動作と同様である。図39(C)に示したように、タイミングt27~t28の期間では、画素信号生成回路32は、1,2,7,8番目の画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。
タイミングt28~t29の期間では、ディスプレイコントローラ26は、図37に示したように、部分画像P3に係る8つの画素値を含む画像データをデータ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“8”であり、データ番号N3は“1”である。ディスプレイコントローラ26は、画像位置データに基づいて、この画像データが、部分画像P3に係る画素値を含むことを把握する。そして、ディスプレイコントローラ26は、この画像データに基づいて、データ番号N3=1に対応する1つの画素ラインLに対して、1つの画素PIXを単位として駆動するように制御する。
図39(D)に示したように、タイミングt28~t29では、画素信号生成回路32は、8つの画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。また、画素信号生成回路32は、これらの画素PIX以外の画素PIXに、画素値を書き込まない。
タイミングt29~t30の期間、タイミングt30~t31の期間、およびタイミングt31~t32の期間の動作は、タイミングt28~t29の期間の動作と同様である。図39(E)~(G)に示したように、タイミングt29~t30の期間、タイミングt30~t31の期間、およびタイミングt31~t32の期間のそれぞれでは、画素信号生成回路32は、8つの画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。
このようにして、画素信号生成回路32は、図39(A)~(G)に示したように、タイミングt25~t32の期間において、図37において符号W5で示した4つの画素ラインLにおける全ての画素PIXに対して、全体画像P11に係る画素信号、部分画像P2に係る画素信号、あるいは部分画像P3に係る画素信号を書き込む。
図36に示したように、これ以降も、ディスプレイコントローラ26および表示パネル27は同様に動作する。そして、タイミングt33において、垂直データイネーブル信号VDE_OUTが高レベルから低レベルに変化する(図36(C))。そして、タイミングt34において、この垂直期間Vが終了するとともに、次の垂直期間Vが開始する。
[その他の変形例]
また、これらの変形例のうちの2以上を組み合わせてもよい。
また、これらの変形例のうちの2以上を組み合わせてもよい。
<2.第2の実施の形態>
次に、第2の実施の形態に係る表示システム2について説明する。本実施の形態は、画像信号SPにおける画像データの構成が、上記第1の実施の形態と異なるものである。なお、上記第1の実施の形態に係る表示システム1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
次に、第2の実施の形態に係る表示システム2について説明する。本実施の形態は、画像信号SPにおける画像データの構成が、上記第1の実施の形態と異なるものである。なお、上記第1の実施の形態に係る表示システム1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図40は、本実施の形態に係る表示システム2の一構成例を表すものである。表示システム2は、画像生成装置40と、ヘッドマウントディスプレイ50とを備えている。
画像生成装置40は、画像生成回路41を有している。画像生成回路41は、送信信号生成回路48を有している。送信信号生成回路48は、画像生成回路41が生成した画像に基づいて、送信すべき画像信号SPを生成するように構成される。
図41は、表示システム2の一動作例を表すものであり、(A)は画像生成回路41が生成した画像を示し、(B)は画像信号SPに含まれる画像データを示し、(C)はヘッドマウントディスプレイ50における表示駆動動作を示す。
送信信号生成回路48は、図41(A),(B)に示したように、画像生成回路41が生成した画像P1において、左から右に向かう走査を、上から下に向かって順次行うことにより、画像信号SPを生成する。送信信号生成回路48は、画像P1のうちの部分画像P2と重なっていない部分については、2行2列で配置された4つの画素値を1つの画素値に変換し、画像P1のうちの部分画像P2と重なっている部分については、1つの画素値をそのまま出力することにより、画像信号SPにおける画像データを生成する。
具体的には、この例では、送信信号生成回路48は、画像P1の1,2行目に含まれる64個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、周辺画像P12に係る16個の画素値を生成する。そして、送信信号生成回路48は、黒色を示す8つの画素値を生成する。これにより、送信信号生成回路48は、画像信号SPにおける1行目の画像データを生成する。
また、送信信号生成回路48は、画像P1の3,4行目に含まれる64個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、周辺画像P12に係る1つの画素値、全体画像P11に係る14個の画素値、および周辺画像P12に係る1つの画素値を生成する。そして、送信信号生成回路48は、黒色を示す8つの画素値を生成する。これにより、送信信号生成回路48は、画像信号SPにおける2行目の画像データを生成する。
また、送信信号生成回路48は、画像P1の5,6行目に含まれる64個の画素値のうちの、1~4列目に属する8つの画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、周辺画像P12に係る1つの画素値、および全体画像P11に係る1つの画素値を生成する。送信信号生成回路48は、画像P1の5行目に含まれる32個の画素値のうちの、部分画像P2に係る16個の画素値をそのまま出力する。送信信号生成回路48は、画像P1の5,6行目に含まれる64個の画素値のうちの、21~32列目に属する20個の画素値に基づいて、2行2列で配置された4つの画素値を1つの画素値に変換することにより、全体画像P11に係る5つの画素値、および周辺画像P12に係る1つの画素値を生成する。これにより、送信信号生成回路48は、画像信号SPにおける3行目の画像データを生成する。
また、送信信号生成回路48は、黒色を示す2つの画素値を生成する。送信信号生成回路48は、画像P1の6行目に含まれる32個の画素値のうちの、部分画像P2に係る16個の画素値をそのまま出力する。そして、送信信号生成回路48は、黒色を示す6つの画素値を生成する。これにより、送信信号生成回路48は、画像信号SPにおける4行目の画像データを生成する。
この例では、送信信号生成回路48は、画像P1のうちの部分画像P2と重なっていない部分について、2行2列で配置された4つの画素値を1つの画素値に変換する。よって、変換後の画像P1は、部分画像P2に対応する画像を含まない。送信信号生成回路48は、画像P1のうちの部分画像P2と重なっていない部分を、より解像度が低い画像P1に変換する。一方、部分画像P2の解像度は変化しない。その結果、変換後の画像P1の解像度は、部分画像P2の解像度よりも低くなる。送信信号生成回路48は、図41の例では、左から右に向かう走査を、上から下に向かって順次行うことにより画像信号SPを生成するので、図41(B)に示したように、例えば、画像信号SPには、画像P1に係る1または複数の画素値と、部分画像P2に係る1または複数の画素値とが、交互に配置されるようになっている。
このようにして、送信信号生成回路48は、画像生成回路41が生成した画像に基づいて、図41(B)に示したような複数の画素値を含む画像データを生成する。この画像データは、黒色を示す画素値を含む。そして、送信信号生成回路48は、この画像データ、および画像P1における部分画像P2の位置(パラメータPOSX,POSY)を示す画像位置データを含む画像信号SPを生成するようになっている。
図42は、表示システム2における伝送帯域を表すものである。この図42において、網掛けされていない部分は全体画像P11を示し、斜線で網掛けされている部分は周辺画像P12を示し、ドットで網掛けされている部分は部分画像P2を示す。また、濃い網掛けが施されている画素値は、黒色の画素値を示す。画像信号SPに含まれる画像データは、この例では24行分の画像データを含む。説明の便宜上、この24行分の画像データにデータ番号NSPを付している。
画像信号SPに含まれる画像データにおける画素値の数は、画像P1に含まれる画素値の数の56.25%(=0.75×0.75)である。このように、表示システム2は、変換前の画像P1をそのまま送信する場合に比べて、画像データ量を削減することができるようになっている。
ヘッドマウントディスプレイ50(図40)は、ディスプレイコントローラ56を有している。ディスプレイコントローラ56は、プロセッサ24から供給された画像データおよび画像位置データに基づいて、表示パネル27の動作を制御するように構成される。ディスプレイコントローラ56は、予測処理回路59を有している。予測処理回路59は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成するように構成される。
図43は、ディスプレイコントローラ56に入力される信号の一例を表すものであり、(A)は垂直同期信号VS_INの波形を示し、(B)は水平同期信号HS_INの波形を示し、(C)は垂直データイネーブル信号VDE_INの波形を示し、(D)はデータ信号DATA_INを示す。
タイミングt41において、垂直同期信号VS_INにパルスが生じ、垂直期間Vが開始する(図43(A))。また、水平同期信号HS_INには、水平期間Hが開始する度にパルスが生じる(図43(B))。
そして、タイミングt42において、垂直データイネーブル信号VDE_INが低レベルから高レベルに変化する(図43(C))。この例では、24個の水平期間Hにわたり、データ信号DATA_INが供給される。データ信号DATA_INは、24個の水平期間Hに対応する24個の画像データを含む。この24個の画像データは、図42に示した、画像信号SPに含まれる24行分の画像データ(データ番号NSP=1~24)にそれぞれ対応する。
図44は、データ信号DATA_INの一例を表すものである。例えば、画像信号SPに含まれる2行目の画像データは、データ信号DATA_INに含まれる24個の画像データのうちの、2番目の画像データに対応する。この画像データは、周辺画像P12に係る1つの画素値と、全体画像P11に係る14個の画素値と、周辺画像P12に係る1つの画素値と、黒色を示す8つの画素値とを含む。例えば、画像信号SPに含まれる3行目の画像データは、データ信号DATA_INに含まれる24個の画像データのうちの、3番目の画像データに対応する。この画像データは、周辺画像P12に係る1つの画素値と、全体画像P11に係る1つの画素値と、部分画像P2に係る16個の画素値と、全体画像P11に係る5つの画素値と、周辺画像P12に係る1つの画素値とを含む。例えば、画像信号SPに含まれる4行目の画像データは、データ信号DATA_INに含まれる24個の画像データのうちの、4番目の画像データに対応する。この画像データは、黒色を示す2つの画素値と、部分画像P2に係る16個の画素値と、黒色を示す6つの画素値とを含む。
そして、タイミングt43において、垂直データイネーブル信号VDE_INが高レベルから低レベルに変化する(図43(C))。そして、タイミングt44において、この垂直期間Vが終了するとともに、次の垂直期間Vが開始する。
ディスプレイコントローラ56の予測処理回路59は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。そして、ディスプレイコントローラ56は、この表示画像データに基づいて、垂直同期信号VS_OUT、水平同期信号HS_OUT、垂直データイネーブル信号VDE_OUT、およびデータ信号DATA_OUTを生成する。
図45は、ヘッドマウントディスプレイ50の向きが変化せず、ユーザの目の向きが変化しない場合に、ディスプレイコントローラ56から出力される信号の一例を表すものであり、(A)は垂直同期信号VS_OUTの波形を示し、(B)は水平同期信号HS_OUTの波形を示し、(C)は垂直データイネーブル信号VDE_OUTの波形を示し、(D)はデータ信号DATA_OUTを示す。図45(D)において、網掛けされていない部分は全体画像P11を示し、ドットで網掛けされている部分は部分画像P2を示す。すなわち、この例では、ヘッドマウントディスプレイ50の向きが変化せず、ユーザの目の向きが変化しないので、予測処理回路59は、図6,7に示したような幾何変形処理は行われない。よって、データ信号DATA_OUTは、全体画像P11および部分画像P2に係る画像データを含み、周辺画像P12に係る画像データを含まない。
図44の場合と同様に、タイミングt51において、垂直同期信号VS_OUTにパルスが生じ、垂直期間Vが開始する(図45(A))。また、水平同期信号HS_OUTには、水平期間Hが開始する度にパルスが生じる(図45(B))。
そして、タイミングt52において、垂直データイネーブル信号VDE_OUTが低レベルから高レベルに変化する(図45(C))。ディスプレイコントローラ56は、この例では、22個の水平期間Hにわたり、22個の画像データをデータ信号DATA_OUTとして出力する(図45(D))。この例のように、ヘッドマウントディスプレイ50の向きが変化せず、ユーザの目の向きが変化しない場合には、ディスプレイコントローラ56は、全体画像P11に係る画像データおよび部分画像P2に係る画像データを、データ信号DATA_OUTとして出力する。データ信号DATA_OUTに含まれる22個の画像データは、データ信号DATA_IN(図43)に含まれる2~23番目の22個の画像データにそれぞれ対応する。言い換えれば、データ信号DATA_OUTに含まれる22個の画像データは、図41(B),42に示した画像信号SPに含まれる2~23行目の画像データにそれぞれ対応している。図45には、説明の便宜上、データ番号NSPを記載している。
ディスプレイコントローラ56は、データ信号DATA_OUTに含まれる、全体画像P11に係る画像データに基づいて、表示パネル27における複数の画素PIXを、2行2列で配置された4つの画素PIXを単位として駆動するように制御する。また、ディスプレイコントローラ56は、データ信号DATA_OUTに含まれる、部分画像P2に係るデータに基づいて、表示パネル27における複数の画素PIXを、1つの画素PIXを単位として駆動するように制御する。
図46は、図45におけるタイミングt52~t55におけるデータ信号DATA_OUTと、そのデータ信号DATA_OUTに基づく表示駆動動作の一例を表すものである。
表示パネル27は、タイミングt52~t53の期間では、図46において符号W6で示した2つの画素ラインLに対する表示駆動動作を行う。
このタイミングt52~t53の期間では、ディスプレイコントローラ56は、図43に示したように、全体画像P11に係る14個の画素値と、黒色を示す8つの画素値とを含む画像データを、データ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“2”である。すなわち、図44に示したように、画像信号SPに含まれる、データ番号NSPが“2”である画像データは、周辺画像P12に係る1つの画素値と、全体画像P11に係る14個の画素値と、周辺画像P12に係る1つの画素値と、黒色を示す8つの画素値とを含んでいるので、ディスプレイコントローラ56は、このうちの全体画像P11に係る14個の画素値に対応する14個の画素値と、黒色を示す8つの画素値とを含む画像データとを、データ信号DATA_OUTとして出力する。ディスプレイコントローラ56は、この14個の画素値に基づいて、データ番号NSP=2に対応する2つの画素ラインLに対して、4つの画素PIXを単位として駆動するように制御する。
このようにして、画素信号生成回路32は、図46において符号W6で示した2つの画素ラインLに対して、全体画像P11に係る画素信号を書き込む。
次に、表示パネル27は、タイミングt53~t55の期間では、図46において符号W7で示した2つの画素ラインLに対する表示駆動動作を行う。
まず、タイミングt53~t54の期間では、ディスプレイコントローラ56は、図46に示したように、1番目における、全体画像P11に係る1つの画素値と、2~17番目における、部分画像P2に係る16個の画素値と、18~22番目における、全体画像P11に係る5つの画素値とを含む画像データを、データ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“3”である。すなわち、図44に示したように、画像信号SPに含まれる、データ番号NSPが“3”である画像データは、周辺画像P12に係る1つの画素値と、全体画像P11に係る1つの画素値と、部分画像P2に係る16個の画素値と、全体画像P11に係る5つの画素値と、周辺画像P12に係る1つの画素値とを含んでいるので、ディスプレイコントローラ56は、このうちの全体画像P11に係る1つの画素値と、部分画像P2に係る16個の画素値と、全体画像P11に係る5つの画素値とを、データ信号DATA_OUTとして出力する。ディスプレイコントローラ56は、画像位置データに基づいて、この画像データが、部分画像P2に係る画素値を含むことを把握する。そして、ディスプレイコントローラ56は、全体画像P11に係るこれらの合計6つ(1つおよび5つ)の画素値に基づいて、データ番号NSP=3,4に対応する2つの画素ラインLに対して、4つの画素PIXを単位として駆動するように制御する。また、ディスプレイコントローラ56は、部分画像P2に係る16個の画素値に基づいて、データ番号NSP=3,4に対応する2つの画素ラインLに対して、2つの画素PIXを単位として駆動するように制御する。
図47は、図46において符号W7で示した2つの画素ラインLに対する表示駆動動作の一例を表すものであり、(A)はタイミングt53~t54における動作を示し、(B)はタイミングt54~t55における動作を示す。図47(A)に示したように、タイミングt53~t54では、画素信号生成回路32は、1~22番目の画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。
次のタイミングt54~t55の期間では、ディスプレイコントローラ56は、図46に示したように、1,2番目における、黒色を示す2つの画素値と、3~18番目における、部分画像P2に係る16個の画素値と、19~24番目における、黒色を示す6つの画素値とを含む画像データを、データ信号DATA_OUTとして出力する。この画像データのデータ番号NSPは“4”である。すなわち、図44に示したように、画像信号SPに含まれる、データ番号NSPが“4”である画像データは、黒色を示す2つの画素値と、部分画像P2に係る16個の画素値と、黒色を示す6つの画素値とを含んでいるので、ディスプレイコントローラ56は、これらの黒色を示す2つの画素値と、部分画像P2に係る16個の画素値と、黒色を示す6つの画素値とを、データ信号DATA_OUTとして出力する。ディスプレイコントローラ56は、画像位置データに基づいて、この画像データが、部分画像P2に係る画素値を含むことを把握する。そして、ディスプレイコントローラ56は、部分画像P2に係る16個の画素値に基づいて、データ番号NSP=4に対応する1つの画素ラインLに対して、1つの画素PIXを単位として駆動するように制御する。
図47(B)に示したように、タイミングt54~t55では、画素信号生成回路32は、3~18番目の16個の画素値に応じた画素信号を、これらの画素値に対応する画素PIXに書き込む。また、画素信号生成回路32は、これらの画素PIX以外の画素PIXに、画素値を書き込まない。
このようにして、画素信号生成回路32は、図47(A),(B)に示したように、タイミングt53~t55の期間において、図46において符号W7で示した2つの画素ラインLにおける全ての画素PIXに対して、全体画像P11に係る画素信号、または部分画像P2に係る画素信号を書き込む。
図45に示したように、これ以降も、ディスプレイコントローラ56および表示パネル27は同様に動作する。そして、タイミングt56において、垂直データイネーブル信号VDE_OUTが高レベルから低レベルに変化する(図45(C))。そして、タイミングt57において、この垂直期間Vが終了するとともに、次の垂直期間Vが開始する。
このように、表示システム2では、受信回路21は、第1の解像度の全体画像P11を示す第1の画像データと、全体画像P11の外側の画像である、第1の解像度以下の第2の解像度の周辺画像P12を示す第2の画像データと、全体画像P11よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の部分画像P2を示す第3の画像データとを受信するようにした。加速度センサ22は、ヘッドマウントディスプレイ50の姿勢の変化を検出するようにした。ディスプレイコントローラ56は、加速度センサ22の検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うようにした。そして、画素信号生成回路32および走査回路33は、この表示画像データに基づいて、全体画像P11の画像範囲と同じ画像範囲の画像を表示可能な画素アレイ31を駆動するようにした。これにより、ヘッドマウントディスプレイ50では、第1の実施の形態に係るヘッドマウントディスプレイ20と同様に、レイテンシを低減することができる。
[変形例2]
上記実施の形態に係る表示システム2に、上記第1の実施の形態の変形例1-1,1-2,1-3を適用してもよい。
上記実施の形態に係る表示システム2に、上記第1の実施の形態の変形例1-1,1-2,1-3を適用してもよい。
<3.第3の実施の形態>
次に、第3の実施の形態に係る表示システム3について説明する。本実施の形態は、画像信号SPにおける画像データの構成が、上記第1の実施の形態と異なるものである。なお、上記第1の実施の形態に係る表示システム1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
次に、第3の実施の形態に係る表示システム3について説明する。本実施の形態は、画像信号SPにおける画像データの構成が、上記第1の実施の形態と異なるものである。なお、上記第1の実施の形態に係る表示システム1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図48は、本実施の形態に係る表示システム3の一構成例を表すものである。表示システム3は、画像生成装置60と、ヘッドマウントディスプレイ70とを備えている。
画像生成装置60は、画像生成回路61を有している。画像生成回路61は、例えばレンダリング処理などの所定の処理を行うことにより、ヘッドマウントディスプレイ70において表示される画像を生成するように構成される。画像生成回路61は、受信回路13から供給されたデータに含まれる、加速度センサ22の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ70の向きに応じた風景を示す全体画像P11を生成する。また、画像生成回路61は、この全体画像P11の外側の画像である周辺画像P12を生成する。全体画像P11および周辺画像P12は、画像P1を構成する。また、画像生成回路61は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ70の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像P2を生成するようになっている。
図49は、画像生成回路61が生成した画像P1および部分画像P2の一例を表すものである。画像P1は、上記第1の実施の形態における、送信信号生成回路18により変換された後の画像P1に対応する画像であり、解像度が低い画像である。部分画像P2は、解像度が高い画像である。この例では、画像P1における各画素は、ヘッドマウントディスプレイ70における4つ分の画素PIXに対応しており、部分画像P2における各画素は、ヘッドマウントディスプレイ70における1つ分の画素PIXに対応する。この例では、画像P1における画素の数および部分画像P2における画素の数を、互いに等しくしている。
画像生成回路61は、このような画像に基づいて、送信すべき画像信号SPを生成する。そして、送信回路12(図48)は、画像生成回路61から供給された画像信号SPをヘッドマウントディスプレイ70に送信するようになっている。
図50は、表示システム3における伝送帯域を表すものである。この図50において、網掛けされていない部分は全体画像P11を示し、斜線で網掛けされている部分は周辺画像P12を示し、ドットで網掛けされている部分は部分画像P2を示す。このように、表示システム3は、表示パネル27における全ての画素PIXの画素値をそのまま送信する場合に比べて、画像データ量を半分にすることができる。
ヘッドマウントディスプレイ70(図48)は、ディスプレイコントローラ76を有している。ディスプレイコントローラ76は、プロセッサ24から供給された画像データおよび画像位置データに基づいて、表示パネル27の動作を制御するように構成される。ディスプレイコントローラ76は、予測処理回路79を有している。予測処理回路79は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成するように構成される。ディスプレイコントローラ76は、この表示画像データに基づいて、表示パネル27の動作を制御するようになっている。
図51は、ヘッドマウントディスプレイ70の一動作例を表すものであり、(A)は画像信号SPに含まれる画像データを示し、(B)はヘッドマウントディスプレイ70における表示駆動動作を示す。
ディスプレイコントローラ76の予測処理回路79は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。そして、ディスプレイコントローラ76は、画像P1に基づいて生成された表示画像データに基づいて、表示パネル27における複数の画素PIXを、4つの画素PIXを単位として駆動する。また、ディスプレイコントローラ76は、部分画像P2に基づいて生成された表示画像データに基づいて、表示パネル27における複数の画素PIXのうちの、部分画像P2に対応する位置の複数の画素PIXを、1つの画素PIXを単位として駆動する。
図52は、ヘッドマウントディスプレイ70の一動作例を表すものであり、(A)はディスプレイコントローラ76に入力される垂直同期信号VS_INの波形を示し、(B)はディスプレイコントローラ76に入力されるデータ信号DATA_INを示し、(C)は表示パネル27の動作を示す。この例では、表示パネル27のフレームレートは120Hzである。この場合、表示パネル27における表示動作の周期Tは8.3[msec.](=1/120[Hz])である。また、画像生成回路61におけるレンダリング処理の周期T0は16.7[msec.](=1/60[Hz])である。
タイミングt61において、垂直同期信号VS_INにパルスが生じ、垂直期間Vが開始する(図52(A))。そして、タイミングt61~t62の期間において、画像P1の画像データがディスプレイコントローラ76に供給され、タイミングt62~t65の期間において、部分画像P2の画像データがディスプレイコントローラ76に供給される(図52(B))。
ディスプレイコントローラ76は、供給された画像P1における全体画像P11の画像データ、および部分画像P2の画像データに基づいて、表示画像データを生成する。そして、タイミングt63~t67の期間において、ディスプレイコントローラ76は、生成した表示画像データに基づいて表示パネル27の動作を制御する。
この例では、表示パネル27の走査回路33は、画素アレイ31の最下部から最上部に向かって、1つの画素ラインLまたは2つの画素ラインLを走査単位として走査を行う。この例では、タイミングt63~t65の期間およびタイミングt66~t67の期間では、走査速度が速く、タイミングt65~t66の期間では、走査速度が遅い。すなわち、タイミングt65~t66の期間では、走査回路33は、部分画像P2の位置に対応する複数の画素ラインLを走査している。この場合、画素信号生成回路32は、1つの画素ラインLを走査単位として走査を行うので、走査速度が遅い。一方、タイミングt63~t65の期間およびタイミングt66~t67の期間では、画素信号生成回路32は、2つの画素ラインLを走査単位として走査を行うので、走査速度が速い。このように、表示パネル27では、1つの画素ラインLまたは2つの画素ラインLを走査単位として走査を行うので、例えば、1つの画素ラインLを走査単位として走査を行う場合に比べて、動作周波数を下げることができ、消費電力を低減することができる。
そして、図52において網掛けで示したように、画素信号が書き込まれた画素PIXは、この例では、画素信号が書き込まれてから所定の期間にわたり発光する。このようにして、表示パネル27は、画像を表示する。
また、タイミングt64~t68の期間において、予測処理回路79は、ディスプレイコントローラ76に供給された画像P1および部分画像P2の画像データに基づいて、予測処理を行うことにより、表示画像データを生成する。そして、タイミングt68~t69の期間において、ディスプレイコントローラ76は、生成した表示画像データに基づいて表示パネル27の動作を制御する。
このように、表示システム3では、受信回路21は、第1の解像度の全体画像P11を示す第1の画像データと、全体画像P11の外側の画像である、第1の解像度以下の第2の解像度の周辺画像P12を示す第2の画像データと、全体画像P11よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の部分画像P2を示す第3の画像データとを受信するようにした。加速度センサ22は、ヘッドマウントディスプレイ70の姿勢の変化を検出するようにした。ディスプレイコントローラ76は、加速度センサ22の検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うようにした。そして、画素信号生成回路32および走査回路33は、この表示画像データに基づいて、全体画像P11の画像範囲と同じ画像範囲の画像を表示可能な画素アレイ31を駆動するようにした。これにより、ヘッドマウントディスプレイ70では、第1の実施の形態に係るヘッドマウントディスプレイ20と同様に、レイテンシを低減することができる。
[変形例3]
上記実施の形態に係る表示システム3に、上記第1の実施の形態の変形例1-2,1-3を適用してもよい。
上記実施の形態に係る表示システム3に、上記第1の実施の形態の変形例1-2,1-3を適用してもよい。
<4.第4の実施の形態>
次に、第4の実施の形態に係る表示システム4について説明する。本実施の形態は、画像信号SPにおける画像データの構成が、上記第1の実施の形態と異なるものである。なお、上記第1の実施の形態に係る表示システム1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
次に、第4の実施の形態に係る表示システム4について説明する。本実施の形態は、画像信号SPにおける画像データの構成が、上記第1の実施の形態と異なるものである。なお、上記第1の実施の形態に係る表示システム1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図53は、本実施の形態に係る表示システム4の一構成例を表すものである。表示システム4は、画像生成装置80と、ヘッドマウントディスプレイ90とを備えている。
画像生成装置80は、画像生成回路81を有している。画像生成回路81は、例えばレンダリング処理などの所定の処理を行うことにより、ヘッドマウントディスプレイ90において表示される画像を生成するように構成される。画像生成回路81は、受信回路13から供給されたデータに含まれる、加速度センサ22の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ90の向きに応じた風景を示す全体画像P11を生成する。また、画像生成回路81は、この全体画像P11の外側の画像である周辺画像P12を生成する。全体画像P11および周辺画像P12は、画像P1を構成する。また、画像生成回路81は、受信回路13から供給されたデータに含まれる、アイトラッキングセンサ23の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ90の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像P2を生成するようになっている。
図54は、画像生成回路81が生成した画像P1および部分画像P2の一例を表すものである。画像P1は、上記第1の実施の形態における、送信信号生成回路18により変換された後の画像P1に対応する画像であり、解像度が低い画像である。部分画像P2は、解像度が高い画像である。部分画像P2は、解像度が高い画像である。この例では、画像P1における各画素は、ヘッドマウントディスプレイ90における4つ分の画素PIXに対応しており、部分画像P2における各画素は、ヘッドマウントディスプレイ90における1つ分の画素PIXに対応する。この例では、画像P1における画素の数および部分画像P2における画素の数を、互いに等しくしている。
画像生成回路81は、このような画像に基づいて、送信すべき画像信号SPを生成する。そして、送信回路12(図53)は、画像生成回路81から供給された画像信号SPをヘッドマウントディスプレイ90に送信するようになっている。
図55は、画像信号SPの一例を模式的に表すものである。送信回路12は、画像P1に係る画像データおよび部分画像P2に係る画像データを時分割的に送信する。具体的には、送信回路12は、画像P1に係る画像データおよび部分画像P2に係る画像データを交互に送信するようになっている。
ヘッドマウントディスプレイ90(図53)は、ディスプレイコントローラ96を有している。ディスプレイコントローラ96は、プロセッサ24から供給された画像データおよび画像位置データに基づいて、表示パネル27の動作を制御するように構成される。ディスプレイコントローラ96は、予測処理回路99を有している。予測処理回路99は、加速度センサ22の検出結果およびアイトラッキングセンサ23の検出結果に基づいて、プロセッサ24から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成するように構成される。ディスプレイコントローラ96は、この表示画像データに基づいて、表示パネル27の動作を制御するようになっている。
図56は、ヘッドマウントディスプレイ90における表示動作の一例を表すものである。ヘッドマウントディスプレイ90は、画像P1に係る画像データおよび部分画像P2に係る画像データを交互に受信する。
ディスプレイコントローラ96は、画像P1に係る画像データに基づいて、表示パネル27における複数の画素PIXを、4つの画素PIXを単位として駆動するように制御する。これにより、表示パネル27は、低解像度の画像P1に係る表示画像P21を表示する。
また、ディスプレイコントローラ96は、部分画像P2に係る画像データに基づいて、表示パネル27における複数の画素PIXのうちの、部分画像P2に対応する領域に配置された複数の画素PIXを、1つの画素PIXを単位として駆動するように制御する。これにより、表示パネル27は、高解像度の部分画像P2に係る表示画像P22を表示する。
図57は、ヘッドマウントディスプレイ90の一動作例を表すものであり、(A)はディスプレイコントローラ96に入力される垂直同期信号VS_INの波形を示し、(B)はディスプレイコントローラ96に入力されるデータ信号DATA_INを示し、(C)は表示パネル27の動作を示す。
画像P1および部分画像P2のペアは、周期T1で供給される。この例では、周期T1は、例えば、16.7[msec.](=1/60[Hz])である。画像P1および部分画像P2のそれぞれは、周期T2で供給される。周期T2は、例えば、8.3[msec.](=1/120[Hz])である。
タイミングt71において、垂直同期信号VS_INにパルスが生じ、垂直期間Vが開始する(図57(A))。そして、タイミングt71~t72の期間において、画像P1の画像データがディスプレイコントローラ96に供給され、タイミングt73~t77の期間において、部分画像P2の画像データがディスプレイコントローラ96に供給される(図57(B))。
ディスプレイコントローラ96は、供給された画像P1における全体画像P11の画像データに基づいて表示画像データを生成する。そして、タイミングt73~t74の期間において、ディスプレイコントローラ96は、生成した表示画像データに基づいて表示パネル27の動作を制御する。この例では、表示パネル27の走査回路33は、画素アレイ31の最下部から最上部に向かって、2つの画素ラインLを走査単位として走査を行う。
そして、図57において網掛けで示したように、画素信号が書き込まれた画素PIXは、この例では、画素信号が書き込まれてから所定の期間にわたり発光する。このようにして、表示パネル27は、画像を表示する。
また、ディスプレイコントローラ96は、供給された部分画像P2の画像データに基づいて表示画像データを生成する。そして、タイミングt75~t78の期間において、ディスプレイコントローラ96は、生成した表示画像データに基づいて表示パネル27の動作を制御する。この例では、表示パネル27の走査回路33は、画素アレイ31における部分画像P2に対応する位置の複数の画素PIXに対して、1つの画素ラインLを走査単位として走査を行う。
そして、図57において網掛けで示したように、画素信号が書き込まれた画素PIXが属する画素ラインLの画素PIXは、この例では、画素信号が書き込まれてから所定の期間にわたり発光する。また、画素信号が書き込まれなかった最下部付近の画素ラインLの画素PIXは、最初に画素信号が書き込まれた画素PIXと同じ期間において発光し、画素信号が書き込まれなかった最上部付近の画素ラインLの画素PIXは、最後に画素信号が書き込まれた画素PIXと同じ期間において発光する。このようにして、表示パネル27は、画像を表示する。
また、タイミングt75~t79の期間において、予測処理回路99は、ディスプレイコントローラ96に供給された画像P1に基づいて、予測処理を行うことにより、表示画像データを生成する。そして、タイミングt79~t80の期間において、ディスプレイコントローラ96は、生成した表示画像データに基づいて表示パネル27の動作を制御する。
また、タイミングt75~t79の期間において、予測処理回路99は、ディスプレイコントローラ96に供給された部分画像P2に基づいて、予測処理を行うことにより、表示画像データを生成する。そして、タイミングt81~t82の期間において、ディスプレイコントローラ96は、生成した表示画像データに基づいて表示パネル27の動作を制御する。
このように、表示システム4では、受信回路21は、第1の解像度の全体画像P11を示す第1の画像データと、全体画像P11の外側の画像である、第1の解像度以下の第2の解像度の周辺画像P12を示す第2の画像データと、全体画像P11よりも狭い画像範囲の画像である、第1の解像度よりも高い第3の解像度の部分画像P2を示す第3の画像データとを受信するようにした。加速度センサ22は、ヘッドマウントディスプレイ90の姿勢の変化を検出するようにした。ディスプレイコントローラ96は、加速度センサ22の検出結果に基づいて、第1の画像データ、第2の画像データ、および第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うようにした。そして、画素信号生成回路32および走査回路33は、この表示画像データに基づいて、全体画像P11の画像範囲と同じ画像範囲の画像を表示可能な画素アレイ31を駆動するようにした。これにより、ヘッドマウントディスプレイ90では、第1の実施の形態に係るヘッドマウントディスプレイ20と同様に、レイテンシを低減することができる。
[変形例4]
上記実施の形態に係る表示システム4に、上記第1の実施の形態の変形例1-2,1-3を適用してもよい。
上記実施の形態に係る表示システム4に、上記第1の実施の形態の変形例1-2,1-3を適用してもよい。
<5.適用例>
次に、上記実施の形態および変形例で説明した表示システムの適用例について説明する。
次に、上記実施の形態および変形例で説明した表示システムの適用例について説明する。
(具体例1)
図58は、ヘッドマウントディスプレイ110の外観の一例を表すものである。ヘッドマウントディスプレイ110は、例えば、眼鏡形の表示部111の両側に、使用者の頭部に装着するための耳掛け部112を有する。このようなヘッドマウントディスプレイ110に、上記実施の形態等に係る技術を適用することができる。
図58は、ヘッドマウントディスプレイ110の外観の一例を表すものである。ヘッドマウントディスプレイ110は、例えば、眼鏡形の表示部111の両側に、使用者の頭部に装着するための耳掛け部112を有する。このようなヘッドマウントディスプレイ110に、上記実施の形態等に係る技術を適用することができる。
(具体例2)
図59は、他のヘッドマウントディスプレイ120の外観の一例を表すものである。ヘッドマウントディスプレイ120は、本体部121と、アーム部122と、鏡筒部123とを有する、透過式のヘッドマウントディスプレイである。このヘッドマウントディスプレイ120は、眼鏡128に装着されている。本体部121は、ヘッドマウントディスプレイ120の動作を制御するための制御基板や表示部を有している。この表示部は、表示画像の画像光を射出する。アーム部122は、本体部121と鏡筒部123とを連結し、鏡筒部123を支持する。鏡筒部123は、本体部121からアーム部122を介して供給された画像光を、眼鏡128のレンズ129を介して、ユーザの目に向かって投射する。このようなヘッドマウントディスプレイ120に、上記実施の形態等に係る技術を適用することができる。
図59は、他のヘッドマウントディスプレイ120の外観の一例を表すものである。ヘッドマウントディスプレイ120は、本体部121と、アーム部122と、鏡筒部123とを有する、透過式のヘッドマウントディスプレイである。このヘッドマウントディスプレイ120は、眼鏡128に装着されている。本体部121は、ヘッドマウントディスプレイ120の動作を制御するための制御基板や表示部を有している。この表示部は、表示画像の画像光を射出する。アーム部122は、本体部121と鏡筒部123とを連結し、鏡筒部123を支持する。鏡筒部123は、本体部121からアーム部122を介して供給された画像光を、眼鏡128のレンズ129を介して、ユーザの目に向かって投射する。このようなヘッドマウントディスプレイ120に、上記実施の形態等に係る技術を適用することができる。
なお、このヘッドマウントディスプレイ120は、いわゆる導光板方式のヘッドマウントディスプレイであるが、これに限定されるものではなく、例えば、いわゆるバードバス方式のヘッドマウントディスプレイであってもよい。このバードバス方式のヘッドマウントディスプレイは、例えば、ビームスプリッタと、部分的に透明なミラーとを備えている。ビームスプリッタは、画像情報でエンコードされた光をミラーに向けて出力し、ミラーは、光をユーザの目に向かって反射させる。ビームスプリッタおよび部分的に透明なミラーの両方は、部分的に透明である。これにより、周囲環境からの光がユーザの目に到達する。
(適用例3)
図60A,60Bは、デジタルスチルカメラ130の外観の一例を表すものであり、図60Aは正面図を示し、図60Bは背面図を示す。このデジタルスチルカメラ130は、レンズ交換式一眼レフレックスタイプのカメラであり、カメラ本体部(カメラボディ)131と、撮影レンズユニット132と、グリップ部133と、モニタ134と、電子ビューファインダ135とを有する。撮像レンズユニット312は、交換式のレンズユニットであり、カメラ本体部311の正面のほぼ中央付近に設けられる。グリップ部133は、カメラ本体部311の正面の左側に設けられ、撮影者は、このグリップ部133を把持するようになっている。モニタ134は、カメラ本体部131の背面のほぼ中央よりも左側に設けられる。電子ビューファインダ135は、カメラ本体部131の背面において、モニタ14の上部に設けられる。撮影者は、この電子ビューファインダ135を覗くことにより、撮影レンズユニット132から導かれた被写体の光像を視認し、構図を決定することができる。電子ビューファインダ135に、上記実施の形態等に係る技術を適用することができる。
図60A,60Bは、デジタルスチルカメラ130の外観の一例を表すものであり、図60Aは正面図を示し、図60Bは背面図を示す。このデジタルスチルカメラ130は、レンズ交換式一眼レフレックスタイプのカメラであり、カメラ本体部(カメラボディ)131と、撮影レンズユニット132と、グリップ部133と、モニタ134と、電子ビューファインダ135とを有する。撮像レンズユニット312は、交換式のレンズユニットであり、カメラ本体部311の正面のほぼ中央付近に設けられる。グリップ部133は、カメラ本体部311の正面の左側に設けられ、撮影者は、このグリップ部133を把持するようになっている。モニタ134は、カメラ本体部131の背面のほぼ中央よりも左側に設けられる。電子ビューファインダ135は、カメラ本体部131の背面において、モニタ14の上部に設けられる。撮影者は、この電子ビューファインダ135を覗くことにより、撮影レンズユニット132から導かれた被写体の光像を視認し、構図を決定することができる。電子ビューファインダ135に、上記実施の形態等に係る技術を適用することができる。
(適用例4)
図61は、テレビジョン装置140の外観の一例を表すものである。テレビジョン装置140は、フロントパネル142およびフィルターガラス143を含む映像表示画面部141を有する。この映像表示画面部141に、上記実施の形態等に係る技術を適用することができる。
図61は、テレビジョン装置140の外観の一例を表すものである。テレビジョン装置140は、フロントパネル142およびフィルターガラス143を含む映像表示画面部141を有する。この映像表示画面部141に、上記実施の形態等に係る技術を適用することができる。
(適用例5)
図62は、スマートフォン150の外観の一例を表すものである。スマートフォン150は、各種情報を表示する表示部151と、ユーザによる操作入力を受け付けるボタンなどを含む操作部152とを有する。この表示部151に、上記実施の形態等に係る技術を適用することができる。
図62は、スマートフォン150の外観の一例を表すものである。スマートフォン150は、各種情報を表示する表示部151と、ユーザによる操作入力を受け付けるボタンなどを含む操作部152とを有する。この表示部151に、上記実施の形態等に係る技術を適用することができる。
(適用例6)
図63A,63Bは、本開示の技術が適用された車両の一構成例を表すものであり、図63Aは、車両200の後部から見た車両の内部の一例を示し、図63Bは、車両200の左後方からみた車両の内部の一例を示す。
図63A,63Bは、本開示の技術が適用された車両の一構成例を表すものであり、図63Aは、車両200の後部から見た車両の内部の一例を示し、図63Bは、車両200の左後方からみた車両の内部の一例を示す。
図63A,63Bの車両は、センターディスプレイ201と、コンソールディスプレイ202と、ヘッドアップディスプレイ203と、デジタルリアミラー204と、ステアリングホイールディスプレイ205と、リアエンタテイメントディスプレイ106とを有する。
センターディスプレイ201は、ダッシュボード261における、運転席262及び助手席263に対向する場所に配置されている。図63Aでは、運転席262側から助手席263側まで延びる横長形状のセンターディスプレイ201の例を示すが、センターディスプレイ201の画面サイズや配置場所はこれに限定されるものではない。センターディスプレイ201は、種々のセンサで検知された情報を表示可能である。具体的な一例として、センターディスプレイ201には、イメージセンサで撮影した撮影画像、ToFセンサで計測された、車両前方や側方の障害物までの距離画像、赤外線センサで検出された乗員の体温などを表示可能である。センターディスプレイ201は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証/識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。
安全関連情報は、センサの検出結果に基づく、居眠り検知、よそ見検知、同乗している子供のいたずら検知、シートベルト装着有無、乗員の置き去り検知などの情報である。操作関連情報は、センサを用いて検出された、乗員の操作に関するジェスチャの情報である。ジェスチャは、車両内の種々の設備の操作を含んでいてもよく、例えば、空調設備、ナビゲーション装置、AV(Audio Visual)装置、照明装置等の操作を含む。ライフログは、乗員全員のライフログを含む。例えば、ライフログは、各乗員の行動記録を含む。ライフログを取得し保存することにより、事故が生じた際、乗員がどのような状態であったかを確認できる。健康関連情報は、温度センサを用いて検出された乗員の体温や、検出された体温に基づいて推測された乗員の健康状態の情報を含む。あるいは、乗員の健康状態の情報は、イメージセンサにより撮像された乗員の顔に基づいて推測されてもよい。また、乗員の健康状態の情報は、乗員と自動音声を用いて会話を行うことにより得られた乗員の回答内容に基づいて推測されてもよい。認証/識別関連情報は、センサを用いて顔認証を行うキーレスエントリ機能や、顔識別でシート高さや位置の自動調整機能などの情報を含む。エンタテイメント関連情報は、センサにより検出された乗員によるAV装置の操作情報や、センサにより検出され認識された乗員に適した、表示すべきコンテンツの情報などを含む。
コンソールディスプレイ202は、例えばライフログ情報の表示に用いることができる。コンソールディスプレイ202は、運転席262と助手席263の間のセンターコンソール264における、シフトレバー265の近くに配置されている。コンソールディスプレイ202も、種々のセンサで検知された情報を表示可能である。また、コンソールディスプレイ202は、イメージセンサで撮像された車両周辺の画像を表示してもよいし、車両周辺の障害物までの距離画像を表示してもよい。
ヘッドアップディスプレイ203は、運転席262の前方のフロントガラス266の奥に仮想的に表示される。ヘッドアップディスプレイ203は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証/識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。ヘッドアップディスプレイ203は、運転席262の正面に仮想的に配置されることが多いため、車両の速度、燃料の残量、バッテリの残量などの車両の操作に直接関連する情報を表示するのに適している。
デジタルリアミラー204は、車両の後方を表示できるだけでなく、後部座席の乗員の様子も表示できるため、例えば後部座席の乗員のライフログ情報の表示に用いることができる。
ステアリングホイールディスプレイ205は、車両のステアリングホイール267の中心付近に配置されている。ステアリングホイールディスプレイ205は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証/識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、ステアリングホイールディスプレイ205は、運転者の手の近くにあるため、運転者の体温等のライフログ情報を表示したり、AV装置や空調設備等の操作に関する情報などを表示するのに適している。
リアエンタテイメントディスプレイ206は、運転席262や助手席263の背面側に取り付けられており、後部座席の乗員が視聴するためのものである。リアエンタテイメントディスプレイ206は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証/識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、リアエンタテイメントディスプレイ206は、後部座席の乗員の目の前にあるため、後部座席の乗員に関連する情報が表示される。リアエンタテイメントディスプレイ206は、例えば、AV装置や空調設備の操作に関する情報を表示したり、後部座席の乗員の体温等を温度センサ5で計測した結果を表示してもよい。
これらのセンターディスプレイ201、コンソールディスプレイ202、ヘッドアップディスプレイ203、デジタルリアミラー204、ステアリングホイールディスプレイ205、リアエンタテイメントディスプレイ206に、上記実施の形態等に係る技術を適用することができる。
以上、いくつかの実施の形態および変形例、ならびに電子機器への適用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
例えば、上記第1の実施の形態に係る表示システム1では、例えば画像生成装置10が画像信号SPを生成し、ヘッドマウントディスプレイ20がこの画像信号SPに基づいて画像を表示したが、これに限定されるものではない。これに代えて、例えば、図64に示すヘッドマウントディスプレイ220のように、ヘッドマウントディスプレイ220が画像信号SPを生成し、この画像信号SPに基づいて画像を表示してもよい。このヘッドマウントディスプレイ220は、プロセッサ224と、受信回路221とを備えている。プロセッサ224は、画像生成回路211と、送信回路212とを有している。画像生成回路211は、加速度センサ22の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ220の向きに応じた風景を示す全体画像P11を生成する。また、画像生成回路211は、この全体画像P11の外側の画像である周辺画像P12を生成する。また、画像生成回路211は、アイトラッキングセンサ23の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ220の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像P2を特定する。画像生成回路211は、送信信号生成回路218を有している。送信信号生成回路218は、画像生成回路211が生成した画像に基づいて、送信すべき画像信号SPを生成するように構成される。送信回路212は、画像生成回路211から供給された画像信号SPをディスプレイコントローラ26に送信するように構成される。また、プロセッサ224は、加速度センサ22の検出結果、およびアイトラッキングセンサ23の検出結果を含む検出信号SDを、ディスプレイコントローラ26に送信するように構成される。受信回路221は、プロセッサ224から送信された画像信号SPを受信するように構成される。以上では、第1の実施の形態に係る表示システム1を例に挙げて説明したが、第2の実施の形態に係る表示システム2、第3の実施の形態に係る表示システム3、および第4の実施の形態に係る表示システム4についても同様である。
本技術は、上記実施の形態等に示したクローズドなシステムだけでなく、ビデオシースルーのシステムや、ミックスドリアリティのシステムに適用することができる。
また、本技術は、フライトシミュレータなどの各種シミュレータ、ゲーミング、プロジェクションマッピングなどの用途にも適用することができる。
また、上記実施の形態では、図10に示した表示パネル27を用いたが、これに限定されるものではない。以下に、本変形例に係る表示パネル27Eについて、詳細に説明する。
図65は、表示パネル27Eの一構成例を表すものである。表示パネル27Eは、画素アレイ31Eと、画素信号生成回路32と、走査回路33と、駆動回路34Eとを有している。
画素アレイ31Eは、複数の信号線SGLと、複数の制御線CTLと、複数の制御線WSENと、複数の画素PIXとを有している。複数の制御線WSENは、垂直方向(図65における縦方向)に延伸するとともに水平方向(図65における横方向)に並設される。複数の制御線WSENのそれぞれは、駆動回路34Eが生成した制御信号を画素PIXに供給するようになっている。
駆動回路34Eは、制御信号を生成し、生成した制御信号を複数の制御線WSENに印加することにより、画素信号生成回路32が生成した画素信号を書き込む画素PIXを、複数の画素PIXのうちのどの画素PIXに書き込むかを制御するよう構成される。
図66は、画素PIXの一構成例を表すものである。この画素PIXを有する画素アレイは、制御線WSLを有している。図65に示した制御線CTLは、この制御線WSLを含む。画素PIXは、トランジスタMN01~MN03と、キャパシタC01と、発光素子ELとを有している。トランジスタMN01~MN03は、N型のMOSFET(Metal Oxide Semiconductor Field Effect Transistor)である。トランジスタMN01のゲートは制御線WSENに接続され、ドレインは信号線SGLに接続され、ソースはトランジスタMN02のドレインに接続される。トランジスタMN02のゲートは制御線WSLに接続され、ドレインはトランジスタMN01のソースに接続され、ソースはトランジスタMN03のゲートおよびキャパシタC01に接続される。キャパシタC01の一端はトランジスタMN02のソースおよびトランジスタMN03のゲートに接続され、他端はトランジスタMN03のソースおよび発光素子ELのアノードに接続される。トランジスタMN03のゲートはトランジスタMN02のソースおよびキャパシタC01の一端に接続され、ドレインは電源線VCCPに接続され、ソースはキャパシタC01の他端および発光素子ELのアノードに接続される。発光素子ELは例えば有機EL発光素子であり、アノードはトランジスタMN03のソースおよびキャパシタC01の他端に接続され、カソードは電源線Vcathに接続される。
この構成により、画素PIXでは、トランジスタMN01,MN02がオン状態になることにより、信号線SGLから供給された画素信号に基づいてキャパシタC01の両端間の電圧が設定される。トランジスタMN03は、キャパシタC01の両端間の電圧に応じた電流を発光素子ELに流す。発光素子ELは、トランジスタMN03から供給された電流に基づいて発光する。このようにして、画素PIXは、画素信号に応じた輝度で発光する。
図17の例では、ディスプレイコントローラ26は、図17(A)に示したように、タイミングt13~t14の期間において、全体画像P1の画像データに基づいて、表示パネル27Eにおける複数の画素PIXを、4つの画素PIXを単位として駆動するように制御する。図15に示したように、このタイミングt13~t14の期間において、表示パネル27Eの走査回路33は、複数の画素PIXを、2つの画素ラインLを走査単位USとして走査する。駆動回路34Eは、全ての制御線WSENをアクティブ(高レベル)にする。画素信号生成回路32は、互いに隣り合う2つの信号線SGLに、同じ画素信号を印加する。これにより、選択された2つの画素ラインLでは、4つの画素PIXに、同じ画素信号が書き込まれる。このようにして、表示パネル27Eは、複数の画素PIXを、4つの画素PIXを単位UDとして駆動する。
また、ディスプレイコントローラ26は、図17(B)に示したように、タイミングt14~t15の期間において、部分画像P2の画像データ、およびこの部分画像P2の位置についてのデータに基づいて、表示パネル27Eにおける複数の画素PIXのうちの、部分画像P2に対応する領域に配置された複数の画素PIXを、1つの画素PIXを単位として駆動するように制御する。図16に示したように、このタイミングt14~t15において、表示パネル27Eの走査回路33は、複数の画素PIXを、1つの画素ラインLを走査単位USとして走査する。駆動回路34Eは、部分画像P2に対応する領域に係る複数の制御線WSENをアクティブ(高レベル)にし、それ以外の複数の制御線WSENを非アクティブ(低レベル)にする。画素信号生成回路32は、複数の信号線SGLのうちの、部分画像P2に対応する領域に係る複数の信号線SGLに、複数の画素信号をそれぞれ印加する。これにより、選択された1つの画素ラインLでは、部分画像P2に対応する領域に係る複数の画素PIXに、複数の画素信号がそれぞれ書き込まれる。一方、部分画像P2に対応する領域以外の領域に係る複数の画素PIXには、画素信号は書き込まれない。このようにして、表示パネル27Eは、複数の画素PIXを、1つの画素PIXを単位UDとして駆動する。
また、ディスプレイコントローラ26は、図17(C)に示したように、タイミングt15~t16の期間において、部分画像P2の画像データ、およびこの部分画像P2の位置についてのデータに基づいて、表示パネル27Eにおける複数の画素PIXのうちの、部分画像P2に対応する領域に配置された複数の画素PIXを、1つの画素PIXを単位として駆動するように制御する。この動作は、図17(B)に示したタイミングt14~t15の期間における動作と同様である。
画素PIXの構成は、図66の例に限定されるものではない。以下に、いくつかの例を挙げて説明する。
図67は、画素PIXの他の一構成例を表すものである。この画素PIXを有する画素アレイは、制御線WSLと、制御線DSLと、制御線AZSLとを有している。図65に示した制御線CTLは、この制御線WSL,DSL,AZSLを含む。この画素PIXは、トランジスタMP11,MP12と、キャパシタC11,C12と、トランジスタMP13~MP15と、発光素子ELとを有している。トランジスタMP11~MP15はP型のMOSFETである。トランジスタMP11のゲートは制御線WSENに接続され、ソースは信号線SGLに接続され、ドレインはトランジスタMP12のソースに接続される。トランジスタMP12のゲートは制御線WSLに接続され、ソースはトランジスタMP11のドレインに接続され、ドレインはトランジスタMP14のゲートおよびキャパシタC12に接続される。キャパシタC11の一端は電源線VCCPに接続され、他端はキャパシタC12、トランジスタMP13のドレイン、およびトランジスタMP14のソースに接続される。キャパシタC12の一端はキャパシタC11の他端、トランジスタMP13のドレイン、およびトランジスタMP14のソースに接続され、他端はトランジスタMP12のドレインおよびトランジスタMP14のゲートに接続される。トランジスタMP13のゲートは制御線DSLに接続され、ソースは電源線VCCPに接続され、ドレインはトランジスタMP14のソース、キャパシタC11の他端、およびキャパシタC12の一端に接続される。トランジスタMP14のゲートはトランジスタMP12のドレインおよびキャパシタC12の他端に接続され、ソースはトランジスタMP13のドレイン、キャパシタC11の他端、およびキャパシタC12の一端に接続され、ドレインは発光素子ELのアノードおよびトランジスタMP15のソースに接続される。トランジスタMP15のゲートは制御線AZSLに接続され、ソースはトランジスタMP14のドレインおよび発光素子ELのアノードに接続され、ドレインは電源線VSSに接続される。
この構成により、画素PIXでは、トランジスタMP11,MP12がオン状態になることにより、信号線SGLから供給された画素信号に基づいてキャパシタC12の両端間の電圧が設定される。トランジスタMP13は、制御線DSLの信号に基づいてオンオフする。トランジスタMP14は、トランジスタMP13がオン状態である期間において、キャパシタC12の両端間の電圧に応じた電流を発光素子ELに流す。発光素子ELは、トランジスタMP14から供給された電流に基づいて発光する。このようにして、画素PIXは、画素信号に応じた輝度で発光する。トランジスタMP15は、制御線AZSLの信号に基づいてオンオフする。トランジスタMP15がオン状態である期間において、発光素子ELのアノードの電圧は電源線VSSの電圧に設定されることにより初期化される。
図68は、画素PIXの他の一構成例を表すものである。この画素PIXを有する画素アレイは、制御線WSLと、制御線DSLと、制御線AZSLとを有している。図65に示した制御線CTLは、この制御線WSL,DSL,AZSLを含む。この画素PIXは、トランジスタMN21,MN22と、キャパシタC21と、トランジスタMN23~MN25と、発光素子ELとを有している。トランジスタMN21~MN25はN型のMOSFETである。トランジスタMN21のゲートは制御線WSENに接続され、ドレインは信号線SGLに接続され、ソースはトランジスタMN22のドレインに接続される。トランジスタMN22のゲートは制御線WSLに接続され、ドレインはトランジスタMN21のソースに接続され、ソースはトランジスタMN24のゲートおよびキャパシタC21に接続される。キャパシタC21の一端はトランジスタMN22のソースおよびトランジスタMN24のゲートに接続され、他端はトランジスタMN24のソース、トランジスタMN25のドレイン、および発光素子ELのアノードに接続される。トランジスタMN23のゲートは制御線DSLに接続され、ドレインは電源線VCCPに接続され、ソースはトランジスタMN24のドレインに接続される。トランジスタMN24のゲートはトランジスタMN22のソースおよびキャパシタC21の一端に接続され、ドレインはトランジスタMN23のソースに接続され、ソースはキャパシタC21の他端、トランジスタMN25のドレイン、および発光素子ELのアノードに接続される。トランジスタMN25のゲートは制御線AZSLに接続され、ドレインはトランジスタMN24のソース、キャパシタC21の他端、および発光素子ELのアノードに接続され、ソースは電源線VSSに接続される。
この構成により、画素PIXでは、トランジスタMN21,MN22がオン状態になることにより、信号線SGLから供給された画素信号に基づいてキャパシタC21の両端間の電圧が設定される。トランジスタMN23は、制御線DSLの信号に基づいてオンオフする。トランジスタMN24は、トランジスタMN23がオン状態である期間において、キャパシタC21の両端間の電圧に応じた電流を発光素子ELに流す。発光素子ELは、トランジスタMN24から供給された電流に基づいて発光する。このようにして、画素PIXは、画素信号に応じた輝度で発光する。トランジスタMN25は、制御線AZSLの信号に基づいてオンオフする。トランジスタMN25がオン状態である期間において、発光素子ELのアノードの電圧は電源線VSSの電圧に設定されることにより初期化される。
図69は、画素PIXの他の一構成例を表すものである。この画素PIXを有する画素アレイは、制御線WSLと、制御線DSLと、制御線AZSL1,AZSL2とを有している。図65に示した制御線CTLは、この制御線WSL,DSL,AZSL1,AZSL2を含む。この画素PIXは、トランジスタMP31,MP32と、キャパシタC31と、トランジスタMP33~MP36と、発光素子ELとを有している。トランジスタMP31~MP36はP型のMOSFETである。トランジスタMP31のゲートは制御線WSENに接続され、ソースは信号線SGLに接続され、ドレインはトランジスタMP32のソースに接続される。トランジスタMP32のゲートは制御線WSLに接続され、ソースはトランジスタMP31のドレインに接続され、ドレインはトランジスタMP33のゲート、トランジスタMP34のソース、およびキャパシタC31に接続される。キャパシタC31の一端は電源線VCCPに接続され、他端はトランジスタMP32のドレイン、トランジスタMP33のゲート、およびトランジスタMP34のソースに接続される。トランジスタMP34のゲートは制御線AZSL1に接続され、ソースはトランジスタMP32のドレイン、トランジスタMP33のゲート、およびキャパシタC31の他端に接続され、ドレインはトランジスタMP33のドレインおよびトランジスタMP35のソースに接続される。トランジスタMP35のゲートは制御線DSLに接続され、ソースはトランジスタMP33,MP34のドレインに接続され、ドレインはトランジスタMP36のソースおよび発光素子ELのアノードに接続される。トランジスタMP36のゲートは制御線AZSL2に接続され、ソースはトランジスタMP35のドレインおよび発光素子ELのアノードに接続され、ドレインは電源線VSSに接続される。
この構成により、画素PIXでは、トランジスタMP31,MP32がオン状態になることにより、信号線SGLから供給された画素信号に基づいてキャパシタC31の両端間の電圧が設定される。トランジスタMP35は、制御線DSLの信号に基づいてオンオフする。トランジスタMP33は、トランジスタMP35がオン状態である期間において、キャパシタC31の両端間の電圧に応じた電流を、発光素子ELに流す。発光素子ELは、トランジスタMP33から供給された電流に基づいて発光する。このようにして、画素PIXは、画素信号に応じた輝度で発光する。トランジスタMP34は、制御線AZSL1の信号に基づいてオンオフする。トランジスタMP34がオン状態である期間において、トランジスタMP33のドレインおよびゲートが互いに接続される。トランジスタMP36は、制御線AZSL2の信号に基づいてオンオフする。トランジスタMP36がオン状態になる期間において、発光素子ELのアノードの電圧は電源線VSSの電圧に設定されることにより初期化される。
図70は、画素PIXの他の一構成例を表すものである。この画素PIXを有する画素アレイは、制御線WSL1,WSL2と、制御線DSLと、制御線AZSL1,AZSL2と、信号線SGL1,SGL2と、キャパシタC48,C49と、トランジスタMP49とを有している。図65に示した制御線CTLは、制御線WSL1,WSL2,DSL,AZSL1,AZSL2を含む。図65に示した信号線SGLは、信号線SGL1,SGL2を含む。キャパシタC48の一端は信号線SGL1に接続され、他端は電源線VSSに接続される。キャパシタC49の一端は信号線SGL1に接続され、他端は信号線SGL2に接続される。トランジスタMP49はP型のMOSFETであり、ゲートは制御線WSL2に接続され、ソースは信号線SGL1に接続され、ドレインは信号線SGL2に接続される。
画素PIXは、トランジスタMP41,MP42と、キャパシタC41と、トランジスタMP43~MP46と、発光素子ELとを有している。トランジスタMP41~MP46は、P型のMOSFETである。トランジスタMP41のゲートは制御線WSENに接続され、ソースは信号線SGL2に接続され、ドレインはトランジスタMP42のソースに接続される。トランジスタMP42のゲートは制御線WSL1に接続され、ソースはトランジスタMP41のドレインに接続され、ドレインはトランジスタMP43のゲートおよびキャパシタC41に接続される。キャパシタ41の一端は電源線VCCPに接続され、他端はトランジスタMP42のドレインおよびトランジスタMP43のゲートに接続される。トランジスタMP43のゲートはトランジスタMP42のドレインおよびキャパシタC41の他端に接続され、ソースは電源線VCCPに接続され、ドレインはトランジスタMP44,MP45のソースに接続される。トランジスタMP44のゲートは制御線AZSL1に接続され、ソースはトランジスタMP43のドレインおよびトランジスタMP45のソースに接続され、ドレインは信号線SGL2に接続される。トランジスタMP45のゲートは制御線DSLに接続され、ソースはトランジスタMP43のドレインおよびトランジスタMP44のソースに接続され、ドレインはトランジスタMP46のソースおよび発光素子ELのアノードに接続される。トランジスタMP46のゲートは制御線AZSL2に接続され、ソースはトランジスタMP45のドレインおよび発光素子ELのアノードに接続され、ドレインは電源線VSSに接続される。
この構成により、画素PIXでは、トランジスタMP41,MP42がオン状態になることにより、信号線SGL1からキャパシタC49を介して供給された画素信号に基づいてキャパシタC41の両端間の電圧が設定される。トランジスタMP45は、制御線DSLの信号に基づいてオンオフする。トランジスタMP43は、トランジスタMP45がオン状態である期間において、キャパシタC41の両端間の電圧に応じた電流を発光素子ELに流す。発光素子ELは、トランジスタMP43から供給された電流に基づいて発光する。このようにして、画素PIXは、画素信号に応じた輝度で発光する。トランジスタMP44は、制御線AZSL1の信号に基づいてオンオフする。トランジスタMP44がオン状態である期間において、トランジスタMP43のドレインおよび信号線SGL2が互いに接続される。トランジスタMP46は、制御線AZSL2の信号に基づいてオンオフする。トランジスタMP46がオン状態になる期間において、発光素子ELのアノードの電圧は電源線VSSの電圧に設定されることにより初期化される。
図71は、画素PIXの他の一構成例を表すものである。この画素PIXを有する画素アレイは、制御線WSLと、制御線DSLと、制御線AZSLと、信号線SGL1,SGL2と、制御部70,80とを有している。図56に示した制御線CTLは、制御線WSL,DSL,AZSLを含む。図56に示した信号線SGLは、信号線SGL1,SGL2を含む。
制御部70は、トランジスタMN71,MP72と、キャパシタC71と、トランジスタMP73とを有している。トランジスタMN71はN型のMOSFETであり、トランジスタMP72,MP73はP型のMOSFETである。トランジスタMN71のゲートには制御信号が供給され、ドレインはトランジスタMP72のソースおよび信号線SGL1に接続され、ソースはトランジスタMP72のドレイン、キャパシタC71、およびトランジスタMP73のドレインに接続される。トランジスタMP72のゲートには制御信号が供給され、ソースはトランジスタMN71のドレインおよび信号線SGL1に接続され、ドレインはトランジスタMN71のソース、キャパシタC71、トランジスタMP73のドレインに接続される。トランジススタMN71,MP72は、トランスミッションゲートを構成する。キャパシタC71の一端はトランジスタMN71のソース、トランジスタMP72のドレイン、およびトランジスタMP73のドレインに接続され、他端は信号線SGL2に接続される。トランジスタMP73のゲートは制御線REFLに接続され、ソースは電源線Vrefに接続され、ドレインはトランジスタMN71のソース、トランジスタMP72のドレイン、およびキャパシタC71に接続される。
制御部80は、トランジスタMN81,MP82、キャパシタC81、トランジスタMP83,MN84,MP85,MP86を有している。トランジスタMN81,MN84はN型のMOSFETであり、トランジスタMP82,MP83,MP85,MP86はP型のMOSFETである。トランジスタMN81のゲートには制御信号が供給され、ドレインはトランジスタMP82のソースおよび信号線SGL1に接続され、ソースはトランジスタMP82のドレインに接続される。トランジスタMP82のゲートには制御信号が供給され、ソースはトランジスタMN81のドレインおよび信号線SGL1に接続され、ドレインはトランジスタMN81のソースに接続される。トランジススタMN81,MP82は、トランスミッションゲートを構成する。トランジスタMN81のソースおよびトランジスタMP82のドレインには、画素信号生成回路32が生成した画素信号が供給される。キャパシタC81の一端は信号線SGL1に接続され、他端は電源線VSSに接続される。トランジスタMP83のゲートには制御信号が供給され、ドレインはトランジスタMN84のソースおよび信号線SGL2に接続され、ソースはトランジスタMN84のドレインおよび電源線Vorstに接続される。トランジスタMN84のゲートには制御信号が供給され、ソースはトランジスタMP83のドレインおよび信号線SGL2に接続され、ドレインはトランジスタMP83のソースおよび電源線Vorstに接続される。トランジススタMP83,MN84は、トランスミッションゲートを構成する。トランジスタMP85のゲートは制御線INILに接続され、ドレインは信号線SGL2に接続され、ソースは電源線Viniに接続される。トランジスタMP86のゲートは制御線ELLに接続され、ドレインは信号線SGL2に接続され、ソースは電源線Velに接続される。
画素PIXは、トランジスタMP91,MP92と、キャパシタC91と、トランジスタMP93~MP96と、発光素子ELとを有している。トランジスタMP91~MP96は、P型のMOSFETである。トランジスタMP91のゲートは制御線WSENに接続され、ソースは信号線SGL2に接続され、ドレインはトランジスタMP92のソースに接続される。トランジスタMP92のゲートは制御線WSLに接続され、ソースはトランジスタMP91のドレインに接続され、ドレインはトランジスタMP93のゲートおよびキャパシタC91に接続される。キャパシタ91の一端は電源線Velに接続され、他端はトランジスタMP92のドレインおよびトランジスタMP93のゲートに接続される。トランジスタMP93のゲートはトランジスタMP92のドレインおよびキャパシタC91の他端に接続され、ソースは電源線Velに接続され、ドレインはトランジスタMP94,MP95のソースに接続される。トランジスタMP94のゲートは制御線AZSLに接続され、ソースはトランジスタMP93のドレインおよびトランジスタMP95のソースに接続され、ドレインは信号線SGL2に接続される。トランジスタMP95のゲートは制御線DSLに接続され、ソースはトランジスタMP93のドレインおよびトランジスタMP94のソースに接続され、ドレインはトランジスタMP96のソースおよび発光素子ELのアノードに接続される。トランジスタMP96のゲートは制御線AZSLに接続され、ソースはトランジスタMP95のドレインおよび発光素子ELのアノードに接続され、ドレインは電源線VSSに接続される。
この構成により、画素PIXでは、トランジスタMP91,MP92がオン状態になることにより、トランジスタMN81,MP82、信号線SGL1、トランジスタMN71,MP72、キャパシタC71、および信号線SGL2を介して供給された画素信号に基づいて、キャパシタC91の両端間の電圧が設定される。トランジスタMP95は、制御線DSLの信号に基づいてオンオフする。トランジスタMP93は、トランジスタMP95がオン状態である期間において、キャパシタC91の両端間の電圧に応じた電流を発光素子ELに流す。発光素子ELは、トランジスタMP93から供給された電流に基づいて発光する。このようにして、画素PIXは、画素信号に応じた輝度で発光する。トランジスタMP94,96は、制御線AZSLの信号に基づいてオンオフする。トランジスタMP94がオン状態である期間において、トランジスタMP93のドレインおよびトランジスタMP95のソースが、信号線SGL2に接続される。トランジスタMP96がオン状態である期間において、発光素子ELのアノードの電圧は電源線Vorstの電圧に設定されることにより初期化される。また、トランジスタMP85は、制御線INILの信号に基づいてオンオフし、トランジスタMP86は、制御線ELLの信号に基づいてオンオフし、トランジスタMP73は、制御線REFLの信号に基づいてオンオフする。トランジスタMP85がオン状態になると、信号線SGL2の電圧は電源線Viniの電圧に設定され、トランジスタMP86がオン状態になると、信号線SGL2の電圧は電源線Velの電圧に設定される。トランジスタMP73がオン状態になると、キャパシタC71の一端は電源線Vrefの電圧に設定されることにより初期化される。
図72は、画素PIXの他の一構成例を表すものである。この画素PIXを有する画素アレイは、制御線WSLと、制御線DSLと、制御線AZSL1,AZSL2とを有している。図65に示した制御線CTLは、この制御線WSL,DSL,AZSL1,AZSL2を含む。この画素PIXは、トランジスタMP51~MP54と、キャパシタC51と、トランジスタMP55~MP60と、発光素子ELとを有している。トランジスタMP51~MP60はP型のMOSFETである。トランジスタMP51のゲートは制御線WSENに接続され、ソースは信号線SGLに接続され、ドレインはトランジスタMP52のソースに接続される。トランジスタMP52のゲートは制御線WSLに接続され、ソースはトランジスタMP51のドレインに接続され、ドレインはトランジスタMP53のドレインおよびトランジスタMP54のソースに接続される。トランジスタMP53のゲートは制御線DSLに接続され、ソースは電源線VCCPに接続され、ドレインはトランジスタMP52のドレインおよびトランジスタMP54のソースに接続される。トランジスタMP54のゲートはトランジスタMP55のソース、トランジスタMP57のドレイン、およびキャパシタC51に接続され、ソースはトランジスタMP52,MP53のドレインに接続され、ドレインはトランジスタMP58,MP59のソースに接続される。キャパシタC51の一端は電源線VCCPに接続され、他端はトランジスタMP54のゲート、トランジスタMP55のソース、およびトランジスタMP57のドレインに接続される。キャパシタC51は、互いに並列に接続された2つのキャパシタを含んでいてもよい。トランジスタMP55のゲートは制御線AZSL1に接続され、ソースはトランジスタMP54のゲート、トランジスタMP57のドレイン、およびキャパシタC51の他端に接続され、ドレインはトランジスタMP56のソースに接続される。トランジスタMP56のゲートは制御線AZSL1に接続され、ソースはトランジスタMP55のドレインに接続され、ドレインは電源線VSSに接続される。トランジスタMP57のゲートは制御線WSLに接続され、ドレインはトランジスタMP54のゲート、トランジスタMP55のソース、およびキャパシタC51の他端に接続され、ソースはトランジスタMP58のドレインに接続される。トランジスタMP58のゲートは制御線WSLに接続され、ドレインはトランジスタMP57のドレインに接続され、ソースはトランジスタMP54のドレインおよびトランジスタMP59のソースに接続される。トランジスタ59のゲートは制御線DSLに接続され、ソースはトランジスタMP54のドレインおよびトランジスタMP58のソースに接続され、ドレインはトランジスタMP60のソースおよび発光素子ELのアノードに接続される。トランジスタMP60のゲートは制御線AZSL2に接続され、ソースはトランジスタMP59のドレインおよび発光素子ELのアノードに接続され、ドレインは電源線VSSに接続される。
この構成により、画素PIXでは、トランジスタMP51,MP52,MP54,MP58,MP57がオン状態になることにより、信号線SGLから供給された画素信号に基づいてキャパシタC51の両端間の電圧が設定される。トランジスタMP53,MP59は、制御線DSLの信号に基づいてオンオフする。トランジスタMP54は、トランジスタMP53,MP59がオン状態である期間において、キャパシタC51の両端間の電圧に応じた電流を、発光素子ELに流す。発光素子ELは、トランジスタMP54から供給された電流に基づいて発光する。このようにして、画素PIXは、画素信号に応じた輝度で発光する。トランジスタMP55,MP56は、制御線AZSL1の信号に基づいてオンオフする。トランジスタMP55,MP56がオン状態である期間において、トランジスタMP54のゲートの電圧は電源線VSSの電圧に設定されることにより初期化される。トランジスタMP60は、制御線AZSL2の信号に基づいてオンオフする。トランジスタMP60がオン状態である期間において、発光素子ELのアノードの電圧は電源線VSSの電圧に設定されることにより初期化される。
図73は、画素PIXの他の一構成例を表すものである。この画素PIXを有する画素アレイは、制御線WSENN,WSENPと、制御線WSNL,WSPLと、制御線AZLと、制御線DSLとを有している。図65に示した制御線WSENは、制御線WSENN,WSENPを含む。図65に示した制御線CTLは、制御線WSNL,WSPL,AZL,DSLを含む。制御線WSENNの信号および制御線WSENPの信号は、互いに反転した信号である。制御線WSNLの信号および制御線WSPLの信号は、互いに反転した信号である。
画素PIXは、トランジスタMN61,MP62,MN63,MP64と、キャパシタC61,C62と、トランジスタMN65~MN67と、発光素子ELとを有している。トランジスタMN61,MN63,MN65~MN67はN型のMOSFETであり、トランジスタMP62,MP64はP型のMOSFETである。トランジスタMN61のゲートは制御線WSENNに接続され、ドレインは信号線SGLおよびトランジスタMP62のソースに接続され、ソースはトランジスタMP62のドレイン、トランジスタMN63のドレイン、およびトランジスタMP64のソースに接続される。トランジスタMP62のゲートは制御線WSENPに接続され、ソースは信号線SGLおよびトランジスタMN61のドレインに接続され、ドレインはトランジスタMN61のソース、トランジスタMN63のドレイン、およびトランジスタMP64のソースに接続される。トランジスタMN63のゲートは制御線WSNLに接続され、ドレインはトランジスタMN61のソース、トランジスタMP62のドレイン、およびトランジスタMP64のソースに接続され、ソースはトランジスタMP64のドレイン、キャパシタC61,C62、およびトランジスタMN65のゲートに接続される。トランジスタMP64のゲートは制御線WSPLに接続され、ソースはトランジスタMN61のソース、トランジスタMP62のドレイン、およびトランジスタMN63のドレインに接続され、ドレインはトランジスタMN63のソース、キャパシタC61,C62、およびトランジスタMN65のゲートに接続される。キャパシタC61は、例えばMOM(Metal Oxide Metal)キャパシタを用いて構成され、一端はトランジスタMN63のソース、トランジスタMP64のドレイン、キャパシタC62、およびトランジスタMN65のゲートに接続され、他端は電源線VSS2に接続される。なお、キャパシタC61は、例えばMOSキャパシタやMIM(Metal Insulator Metal)キャパシタを用いて構成されてもよい。キャパシタC62は、例えばMOSキャパシタを用いて構成され、一端はトランジスタMN63のソース、トランジスタMP64のドレイン、キャパシタC61の一端、およびトランジスタMN65のゲートに接続され、他端は電源線VSS2に接続される。なお、キャパシタC62は、例えば、MOMキャパシタやMIMキャパシタを用いて構成されてもよい。トランジスタMN65のゲートはトランジスタMN63のソース、トランジスタMP64のドレイン、およびキャパシタC61,C62の一端に接続され、ドレインは電源線VCCPに接続され、ソースはトランジスタMN66,MN67のドレインに接続される。トランジスタMN66のゲートは制御線AZLに接続され、ドレインはトランジスタMN65のソースおよびトランジスタMN67のドレインに接続され、ソースは電源線VSS1に接続される。トランジスタMN67のゲートは制御線DSLに接続され、ドレインはトランジスタMN65のソースおよびトランジスタMN66のドレインに接続され、ソースは発光素子ELのアノードに接続される。
この構成により、画素PIXでは、トランジスタMN61,MP62のうちの少なくとも一方がオン状態になるとともに、トランジスタMN63,MP64のうちの少なくとも一方がオン状態になることにより、信号線SGLから供給された画素信号に基づいてキャパシタC61,C62の両端間の電圧が設定される。トランジスタMN67は、制御線DSLの信号に基づいてオンオフする。トランジスタMN65は、トランジスタMN67がオン状態である期間において、キャパシタC61,C62の両端間の電圧に応じた電流を、発光素子ELに流す。発光素子ELは、トランジスタMP65から供給された電流に基づいて発光する。このようにして、画素PIXは、画素信号に応じた輝度で発光する。トランジスタMN66は、制御線AZLの信号に基づいてオンオフしてもよい。また、トランジスタMN66は、制御線AZLの信号に応じた抵抗値を有する抵抗素子として機能してもよい。この場合、トランジスタMN65およびトランジスタMN66はいわゆるソースフォロワ回路を構成する。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、レイテンシを低減することができる。
(1)
第1の解像度の全体画像を示す第1の画像データと、前記全体画像の外側の画像である、前記第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを受信可能な受信回路と、
複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
自装置の姿勢の変化を検出可能な第1のセンサと、
前記第1のセンサの検出結果に基づいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことが可能な画像処理回路と、
前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
を備えた表示装置。
(2)
前記第1のセンサの検出結果が、前記姿勢が変化したことを示す場合には、前記表示画像データは、前記第1の画像データに基づく第1のデータと、前記第2の画像データに基づく第2のデータと、前記第3の画像データに基づく第3のデータとを含む
前記(1)に記載の表示装置。
(3)
前記表示画像データは、前記第2のデータが示す画像の外側の外側画像を示す第4のデータをさらに含む
前記(2)に記載の表示装置。
(4)
前記画像処理回路は、所定の画素値を有する前記第4のデータを生成可能である
前記(3)に記載の表示装置。
(5)
前記画像処理回路は、前記第2のデータに基づいて前記第4のデータを生成可能である
前記(3)に記載の表示装置。
(6)
前記第1のセンサの検出結果が、前記姿勢が変化しなかったことを示す場合には、前記表示画像データは、前記第1のデータ、前記第2のデータ、および前記第3のデータのうちの、前記第1のデータおよび前記第3のデータを含む
前記(2)に記載の表示装置。
(7)
ユーザが前記表示部の表示領域におけるどの領域を観察しているかを検出可能な第2のセンサをさらに備え、
前記画像処理回路は、
前記第2のセンサの検出結果が、前記ユーザが観察している領域が変化したことを示す場合には、前記第1の画像データに基づいて、解像度を高める画像処理を行うことにより、前記ユーザが観察している領域の、前記第3の解像度の第2の部分画像を示す第4の画像データを生成可能であり、
前記第1の画像処理において、前記第1の画像データ、前記第2の画像データ、および前記第4の画像データに対して前記幾何変形処理を行うことにより前記表示画像データを生成可能である
前記(1)から(6)のいずれかに記載の表示装置。
(8)
前記画像処理回路は、
前記第1の画像データおよび前記第3の画像データに基づいて前記表示画像データを生成する第2の画像処理を行うことが可能であり、
前記第1の画像処理および前記第2の画像処理のうちの一方を選択的に行うことが可能である
前記(1)から(7)のいずれかに記載の表示装置。
(9)
前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能であり、
前記受信回路が、前記複数の受信期間のうちの第1の受信期間において、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信し終えた場合には、前記画像処理回路は、前記第1の受信期間において受信し終えた前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに基づいて、前記第2の画像処理を行うことが可能であり、
前記受信回路が、前記複数の受信期間のうちの、前記第1の受信期間の次の第2の受信期間において、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信し終えなかった場合には、前記画像処理回路は、前記第1の受信期間において受信し終えた前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに基づいて、前記第1の画像処理を行うことが可能である
前記(8)に記載の表示装置。
(10)
前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能であり、
前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、複数の前記第1の画像処理を行うことが可能であり、
前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記複数の第1の画像処理により生成された複数の前記表示画像データのそれぞれに基づいて、前記表示部を駆動可能である
前記(1)から(7)のいずれかに記載の表示装置。
(11)
前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能であり、
前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、前記第1の画像処理と、前記第1の画像データおよび前記第3の画像データに基づいて前記表示画像データを生成する第2の画像処理とを行うことが可能であり、
前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記第2の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動した後に、前記第1の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動可能である
前記(1)から(7)のいずれかに記載の表示装置。
(12)
前記表示画像データは、前記第1の画像データに基づく第1のデータと、前記第3の画像データに基づく第3のデータとを含み、
前記表示駆動回路は、前記第1のデータに基づいて、第1の数の画素を単位として前記表示部を駆動する第1の駆動と、前記第3のデータに基づいて、前記第1の数より少ない第2の数の画素を単位として前記表示部を駆動する第2の駆動とを行うことが可能である
前記(1)に記載の表示装置。
(13)
前記第1のセンサの検出結果が、前記姿勢が変化したことを示す場合に、前記表示画像データは、前記第2の画像データに基づく第2のデータをさらに含み、
前記表示駆動回路は、さらに、前記第2のデータに基づいて、前記第1の数以上の第3の数の画素を単位として前記表示部を駆動する第3の駆動を行うことが可能である
前記(12)に記載の表示装置。
(14)
第1の解像度の全体画像を示す第1の画像データと、前記全体画像の外側の画像である、前記第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを送信可能な画像生成装置と、
表示装置と
を備え、
前記表示装置は、
前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能な受信回路と、
複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
自装置の姿勢の変化を検出可能な第1のセンサと、
前記第1のセンサの検出結果に基づいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことが可能な画像処理回路と、
前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
を有する
表示システム。
(15)
前記表示装置は、前記第1のセンサの検出結果を前記画像生成装置に送信可能な送信回路を有し、
前記画像生成装置は、前記送信回路から送信された前記第1のセンサの検出結果に基づいて、前記全体画像を示す前記第1の画像データを生成可能である
前記(14)に記載の表示システム。
(16)
第1の解像度の全体画像を示す第1の画像データと、前記全体画像の外側の画像である、前記第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを受信することと、
第1のセンサを用いて、表示装置の姿勢の変化を検出することと、
前記第1のセンサの検出結果に基づいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことと、
前記表示画像データに基づいて、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部を駆動することと
を含む表示方法。
第1の解像度の全体画像を示す第1の画像データと、前記全体画像の外側の画像である、前記第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを受信可能な受信回路と、
複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
自装置の姿勢の変化を検出可能な第1のセンサと、
前記第1のセンサの検出結果に基づいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことが可能な画像処理回路と、
前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
を備えた表示装置。
(2)
前記第1のセンサの検出結果が、前記姿勢が変化したことを示す場合には、前記表示画像データは、前記第1の画像データに基づく第1のデータと、前記第2の画像データに基づく第2のデータと、前記第3の画像データに基づく第3のデータとを含む
前記(1)に記載の表示装置。
(3)
前記表示画像データは、前記第2のデータが示す画像の外側の外側画像を示す第4のデータをさらに含む
前記(2)に記載の表示装置。
(4)
前記画像処理回路は、所定の画素値を有する前記第4のデータを生成可能である
前記(3)に記載の表示装置。
(5)
前記画像処理回路は、前記第2のデータに基づいて前記第4のデータを生成可能である
前記(3)に記載の表示装置。
(6)
前記第1のセンサの検出結果が、前記姿勢が変化しなかったことを示す場合には、前記表示画像データは、前記第1のデータ、前記第2のデータ、および前記第3のデータのうちの、前記第1のデータおよび前記第3のデータを含む
前記(2)に記載の表示装置。
(7)
ユーザが前記表示部の表示領域におけるどの領域を観察しているかを検出可能な第2のセンサをさらに備え、
前記画像処理回路は、
前記第2のセンサの検出結果が、前記ユーザが観察している領域が変化したことを示す場合には、前記第1の画像データに基づいて、解像度を高める画像処理を行うことにより、前記ユーザが観察している領域の、前記第3の解像度の第2の部分画像を示す第4の画像データを生成可能であり、
前記第1の画像処理において、前記第1の画像データ、前記第2の画像データ、および前記第4の画像データに対して前記幾何変形処理を行うことにより前記表示画像データを生成可能である
前記(1)から(6)のいずれかに記載の表示装置。
(8)
前記画像処理回路は、
前記第1の画像データおよび前記第3の画像データに基づいて前記表示画像データを生成する第2の画像処理を行うことが可能であり、
前記第1の画像処理および前記第2の画像処理のうちの一方を選択的に行うことが可能である
前記(1)から(7)のいずれかに記載の表示装置。
(9)
前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能であり、
前記受信回路が、前記複数の受信期間のうちの第1の受信期間において、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信し終えた場合には、前記画像処理回路は、前記第1の受信期間において受信し終えた前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに基づいて、前記第2の画像処理を行うことが可能であり、
前記受信回路が、前記複数の受信期間のうちの、前記第1の受信期間の次の第2の受信期間において、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信し終えなかった場合には、前記画像処理回路は、前記第1の受信期間において受信し終えた前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに基づいて、前記第1の画像処理を行うことが可能である
前記(8)に記載の表示装置。
(10)
前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能であり、
前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、複数の前記第1の画像処理を行うことが可能であり、
前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記複数の第1の画像処理により生成された複数の前記表示画像データのそれぞれに基づいて、前記表示部を駆動可能である
前記(1)から(7)のいずれかに記載の表示装置。
(11)
前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能であり、
前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、前記第1の画像処理と、前記第1の画像データおよび前記第3の画像データに基づいて前記表示画像データを生成する第2の画像処理とを行うことが可能であり、
前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記第2の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動した後に、前記第1の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動可能である
前記(1)から(7)のいずれかに記載の表示装置。
(12)
前記表示画像データは、前記第1の画像データに基づく第1のデータと、前記第3の画像データに基づく第3のデータとを含み、
前記表示駆動回路は、前記第1のデータに基づいて、第1の数の画素を単位として前記表示部を駆動する第1の駆動と、前記第3のデータに基づいて、前記第1の数より少ない第2の数の画素を単位として前記表示部を駆動する第2の駆動とを行うことが可能である
前記(1)に記載の表示装置。
(13)
前記第1のセンサの検出結果が、前記姿勢が変化したことを示す場合に、前記表示画像データは、前記第2の画像データに基づく第2のデータをさらに含み、
前記表示駆動回路は、さらに、前記第2のデータに基づいて、前記第1の数以上の第3の数の画素を単位として前記表示部を駆動する第3の駆動を行うことが可能である
前記(12)に記載の表示装置。
(14)
第1の解像度の全体画像を示す第1の画像データと、前記全体画像の外側の画像である、前記第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを送信可能な画像生成装置と、
表示装置と
を備え、
前記表示装置は、
前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能な受信回路と、
複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
自装置の姿勢の変化を検出可能な第1のセンサと、
前記第1のセンサの検出結果に基づいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことが可能な画像処理回路と、
前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
を有する
表示システム。
(15)
前記表示装置は、前記第1のセンサの検出結果を前記画像生成装置に送信可能な送信回路を有し、
前記画像生成装置は、前記送信回路から送信された前記第1のセンサの検出結果に基づいて、前記全体画像を示す前記第1の画像データを生成可能である
前記(14)に記載の表示システム。
(16)
第1の解像度の全体画像を示す第1の画像データと、前記全体画像の外側の画像である、前記第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを受信することと、
第1のセンサを用いて、表示装置の姿勢の変化を検出することと、
前記第1のセンサの検出結果に基づいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことと、
前記表示画像データに基づいて、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部を駆動することと
を含む表示方法。
本出願は、日本国特許庁において2021年12月1日に出願された日本特許出願番号2021-195400号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
Claims (16)
- 第1の解像度の全体画像を示す第1の画像データと、前記全体画像の外側の画像である、前記第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを受信可能な受信回路と、
複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
自装置の姿勢の変化を検出可能な第1のセンサと、
前記第1のセンサの検出結果に基づいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことが可能な画像処理回路と、
前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
を備えた表示装置。 - 前記第1のセンサの検出結果が、前記姿勢が変化したことを示す場合には、前記表示画像データは、前記第1の画像データに基づく第1のデータと、前記第2の画像データに基づく第2のデータと、前記第3の画像データに基づく第3のデータとを含む
請求項1に記載の表示装置。 - 前記表示画像データは、前記第2のデータが示す画像の外側の外側画像を示す第4のデータをさらに含む
請求項2に記載の表示装置。 - 前記画像処理回路は、所定の画素値を有する前記第4のデータを生成可能である
請求項3に記載の表示装置。 - 前記画像処理回路は、前記第2のデータに基づいて前記第4のデータを生成可能である
請求項3に記載の表示装置。 - 前記第1のセンサの検出結果が、前記姿勢が変化しなかったことを示す場合には、前記表示画像データは、前記第1のデータ、前記第2のデータ、および前記第3のデータのうちの、前記第1のデータおよび前記第3のデータを含む
請求項2に記載の表示装置。 - ユーザが前記表示部の表示領域におけるどの領域を観察しているかを検出可能な第2のセンサをさらに備え、
前記画像処理回路は、
前記第2のセンサの検出結果が、前記ユーザが観察している領域が変化したことを示す場合には、前記第1の画像データに基づいて、解像度を高める画像処理を行うことにより、前記ユーザが観察している領域の、前記第3の解像度の第2の部分画像を示す第4の画像データを生成可能であり、
前記第1の画像処理において、前記第1の画像データ、前記第2の画像データ、および前記第4の画像データに対して前記幾何変形処理を行うことにより前記表示画像データを生成可能である
請求項1に記載の表示装置。 - 前記画像処理回路は、
前記第1の画像データおよび前記第3の画像データに基づいて前記表示画像データを生成する第2の画像処理を行うことが可能であり、
前記第1の画像処理および前記第2の画像処理のうちの一方を選択的に行うことが可能である
請求項1に記載の表示装置。 - 前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能であり、
前記受信回路が、前記複数の受信期間のうちの第1の受信期間において、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信し終えた場合には、前記画像処理回路は、前記第1の受信期間において受信し終えた前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに基づいて、前記第2の画像処理を行うことが可能であり、
前記受信回路が、前記複数の受信期間のうちの、前記第1の受信期間の次の第2の受信期間において、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信し終えなかった場合には、前記画像処理回路は、前記第1の受信期間において受信し終えた前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに基づいて、前記第1の画像処理を行うことが可能である
請求項8に記載の表示装置。 - 前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能であり、
前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、複数の前記第1の画像処理を行うことが可能であり、
前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記複数の第1の画像処理により生成された複数の前記表示画像データのそれぞれに基づいて、前記表示部を駆動可能である
請求項1に記載の表示装置。 - 前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能であり、
前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、前記第1の画像処理と、前記第1の画像データおよび前記第3の画像データに基づいて前記表示画像データを生成する第2の画像処理とを行うことが可能であり、
前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記第2の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動した後に、前記第1の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動可能である
請求項1に記載の表示装置。 - 前記表示画像データは、前記第1の画像データに基づく第1のデータと、前記第3の画像データに基づく第3のデータとを含み、
前記表示駆動回路は、前記第1のデータに基づいて、第1の数の画素を単位として前記表示部を駆動する第1の駆動と、前記第3のデータに基づいて、前記第1の数より少ない第2の数の画素を単位として前記表示部を駆動する第2の駆動とを行うことが可能である
請求項1に記載の表示装置。 - 前記第1のセンサの検出結果が、前記姿勢が変化したことを示す場合に、前記表示画像データは、前記第2の画像データに基づく第2のデータをさらに含み、
前記表示駆動回路は、さらに、前記第2のデータに基づいて、前記第1の数以上の第3の数の画素を単位として前記表示部を駆動する第3の駆動を行うことが可能である
請求項12に記載の表示装置。 - 第1の解像度の全体画像を示す第1の画像データと、前記全体画像の外側の画像である、前記第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを送信可能な画像生成装置と、
表示装置と
を備え、
前記表示装置は、
前記第1の画像データ、前記第2の画像データ、および前記第3の画像データを受信可能な受信回路と、
複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
自装置の姿勢の変化を検出可能な第1のセンサと、
前記第1のセンサの検出結果に基づいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことが可能な画像処理回路と、
前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
を有する
表示システム。 - 前記表示装置は、前記第1のセンサの検出結果を前記画像生成装置に送信可能な送信回路を有し、
前記画像生成装置は、前記送信回路から送信された前記第1のセンサの検出結果に基づいて、前記全体画像を示す前記第1の画像データを生成可能である
請求項14に記載の表示システム。 - 第1の解像度の全体画像を示す第1の画像データと、前記全体画像の外側の画像である、前記第1の解像度以下の第2の解像度の周辺画像を示す第2の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第1の解像度よりも高い第3の解像度の第1の部分画像を示す第3の画像データとを受信することと、
第1のセンサを用いて、表示装置の姿勢の変化を検出することと、
前記第1のセンサの検出結果に基づいて、前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第1の画像処理を行うことと、
前記表示画像データに基づいて、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部を駆動することと
を含む表示方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-195400 | 2021-12-01 | ||
JP2021195400 | 2021-12-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023100468A1 true WO2023100468A1 (ja) | 2023-06-08 |
Family
ID=86611984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/037182 WO2023100468A1 (ja) | 2021-12-01 | 2022-10-04 | 表示装置、表示システム、および表示方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023100468A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170316607A1 (en) * | 2016-04-28 | 2017-11-02 | Verizon Patent And Licensing Inc. | Methods and Systems for Minimizing Pixel Data Transmission in a Network-Based Virtual Reality Media Delivery Configuration |
JP2017215875A (ja) * | 2016-06-01 | 2017-12-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成システム、および画像生成方法 |
JP2019012258A (ja) * | 2017-06-30 | 2019-01-24 | エルジー ディスプレイ カンパニー リミテッド | 表示装置及びそのゲート駆動回路 |
US20200082498A1 (en) * | 2017-09-28 | 2020-03-12 | Apple Inc. | Error concealment for a head-mountable device |
JP2020106655A (ja) * | 2018-12-27 | 2020-07-09 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020524331A (ja) * | 2017-06-09 | 2020-08-13 | 株式会社ソニー・インタラクティブエンタテインメント | テンポラル・アンチエイリアシングの中心窩適合 |
-
2022
- 2022-10-04 WO PCT/JP2022/037182 patent/WO2023100468A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170316607A1 (en) * | 2016-04-28 | 2017-11-02 | Verizon Patent And Licensing Inc. | Methods and Systems for Minimizing Pixel Data Transmission in a Network-Based Virtual Reality Media Delivery Configuration |
JP2017215875A (ja) * | 2016-06-01 | 2017-12-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成システム、および画像生成方法 |
JP2020524331A (ja) * | 2017-06-09 | 2020-08-13 | 株式会社ソニー・インタラクティブエンタテインメント | テンポラル・アンチエイリアシングの中心窩適合 |
JP2019012258A (ja) * | 2017-06-30 | 2019-01-24 | エルジー ディスプレイ カンパニー リミテッド | 表示装置及びそのゲート駆動回路 |
US20200082498A1 (en) * | 2017-09-28 | 2020-03-12 | Apple Inc. | Error concealment for a head-mountable device |
JP2020106655A (ja) * | 2018-12-27 | 2020-07-09 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107797280B (zh) | 个人沉浸式显示装置及其驱动方法 | |
CN105359540B (zh) | 头戴式显示设备及用于控制这样的设备的方法 | |
US11303875B2 (en) | Split rendering between a head-mounted display (HMD) and a host computer | |
CN108241213B (zh) | 头戴式显示器及其控制方法 | |
CN109427283B (zh) | 图像产生方法和使用该方法的显示装置 | |
JP2022517991A (ja) | 眼追跡に基づく動的レンダリング時間ターゲット化 | |
US20180131920A1 (en) | Display apparatus and control method thereof | |
EP3862981A1 (en) | Information processing device, information processing method, and recording medium | |
US20230290014A1 (en) | Attention-driven rendering for computer-generated objects | |
US10341538B2 (en) | Display system and display method | |
WO2023100468A1 (ja) | 表示装置、表示システム、および表示方法 | |
WO2023084950A1 (ja) | 表示装置、表示システム、および表示駆動方法 | |
WO2022255147A1 (ja) | 表示装置、表示システム、および表示駆動方法 | |
KR102422036B1 (ko) | 낮은 레이턴시 가상 현실을 구동 및 보상하는 표시장치 | |
WO2021117606A1 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
WO2023182097A1 (ja) | 表示装置及びその駆動方法 | |
WO2023243474A1 (ja) | 表示装置 | |
WO2023062976A1 (ja) | 表示装置及び電子機器 | |
WO2023176166A1 (ja) | 表示装置及び電子機器 | |
WO2024048268A1 (ja) | 表示装置、電子機器及び表示装置の駆動方法 | |
WO2024101213A1 (ja) | 表示装置 | |
WO2024048221A1 (ja) | 表示装置 | |
WO2022196492A1 (ja) | 表示装置及び電子機器 | |
WO2023007819A1 (ja) | 表示装置 | |
US20130016195A1 (en) | Device and method for 3-d display control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22900902 Country of ref document: EP Kind code of ref document: A1 |