WO2023100468A1 - 表示装置、表示システム、および表示方法 - Google Patents

表示装置、表示システム、および表示方法 Download PDF

Info

Publication number
WO2023100468A1
WO2023100468A1 PCT/JP2022/037182 JP2022037182W WO2023100468A1 WO 2023100468 A1 WO2023100468 A1 WO 2023100468A1 JP 2022037182 W JP2022037182 W JP 2022037182W WO 2023100468 A1 WO2023100468 A1 WO 2023100468A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
display
data
pixel
Prior art date
Application number
PCT/JP2022/037182
Other languages
English (en)
French (fr)
Inventor
航太 間瀬
隆行 神田
太郎 市坪
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023100468A1 publication Critical patent/WO2023100468A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Definitions

  • the present disclosure relates to display devices and display systems for displaying images, and display methods used in such display devices and display systems.
  • Patent Literature 1 discloses a technique of generating a display image by performing reprojection processing using depth value information based on supplied image data (for example, Patent Literature 1).
  • a head-mounted display used for augmented reality (AR) or virtual reality (VR) it is possible to immediately display an image according to changes in the orientation of the head-mounted display. , the latency is desired to be reduced.
  • AR augmented reality
  • VR virtual reality
  • a display device includes a receiving circuit, a display section, a first sensor, an image processing circuit, and a display driving circuit.
  • the receiving circuit receives first image data representing a first resolution overall image and second image data representing a peripheral image of a second resolution lower than the first resolution, which is an image outside the overall image.
  • third image data representing a first partial image at a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the full image.
  • the display section has a plurality of pixels and is capable of displaying an image of the same image range as that of the entire image.
  • the first sensor is capable of detecting a change in posture of the device itself.
  • the image processing circuit generates display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor. It is possible to perform the first image processing.
  • the display drive circuit can drive the display unit based on the display image data.
  • a display system includes an image generation device and a display device.
  • the image generation device generates first image data representing a whole image of a first resolution and second image data representing a peripheral image of a second resolution lower than the first resolution, which is an image outside the whole image. and third image data representing a first partial image with a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the entire image.
  • the display device includes a receiving circuit, a display section, a first sensor, an image processing circuit, and a display driving circuit. The receiving circuit is capable of receiving the first image data, the second image data and the third image data.
  • the display section has a plurality of pixels and is capable of displaying an image of the same image range as that of the entire image.
  • the first sensor is capable of detecting a change in posture of the device itself.
  • the image processing circuit generates display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor. It is possible to perform the first image processing.
  • the display drive circuit can drive the display unit based on the display image data.
  • a display method includes first image data representing an overall image with a first resolution, and peripheral images with a second resolution lower than the first resolution, which are images outside the overall image. and third image data representing a first partial image with a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the entire image receiving; detecting a change in orientation of the display device using a first sensor; and generating first image data, second image data, and second image data based on the detection result of the first sensor. performing a first image processing for generating display image data by performing geometric deformation processing on the image data of 3; and displaying an image of the same image range as the image range of the entire image based on the display image data. and driving the display.
  • first image data indicating an entire image with a first resolution and an image outside the overall image with a resolution of the first resolution or less
  • Second image data representing a peripheral image of a second resolution
  • a first partial image of a third resolution higher than the first resolution which is an image of an image range narrower than the image range of the entire image.
  • Third image data is received.
  • the first sensor detects a change in the posture of the display device.
  • First image processing for generating display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor is done. Then, based on the generated display image data, a display unit capable of displaying an image of the same image range as that of the entire image is driven.
  • FIG. 1 is a block diagram showing a configuration example of a display system according to a first embodiment of the present disclosure
  • FIG. 2 is an explanatory diagram showing an example of an image generated by the image generation circuit shown in FIG. 1
  • FIG. 2 is an explanatory diagram showing an operation example of the display system shown in FIG. 1
  • FIG. FIG. 2 is an explanatory diagram showing a transmission band of the display system shown in FIG. 1
  • FIG. 2 is an explanatory diagram showing changes in posture of the head mounted display shown in FIG. 1
  • 2 is an explanatory diagram showing an example of image processing in the prediction processing circuit shown in FIG. 1
  • FIG. 3 is an explanatory diagram showing another example of image processing in the prediction processing circuit shown in FIG. 1
  • FIG. 3 is an explanatory diagram showing another example of image processing in the prediction processing circuit shown in FIG. 1;
  • FIG. 3 is an explanatory diagram showing another example of image processing in the prediction processing circuit shown in FIG. 1;
  • FIG. 2 is a block diagram showing one configuration example of a display panel shown in FIG. 1;
  • FIG. 2 is a timing diagram showing an example of input signals of the display controller shown in FIG. 1;
  • FIG. 2 is another timing diagram representing an example of input signals of the display controller shown in FIG. 1;
  • FIG. 2 is a timing diagram showing an example of output signals of the display controller shown in FIG. 1;
  • FIG. 2 is another timing diagram showing an example of output signals of the display controller shown in FIG. 1;
  • FIG. It is explanatory drawing showing an example of a pixel drive operation.
  • FIG. 1 is an explanatory drawing showing another example of a pixel drive operation.
  • FIG. 11 is an explanatory diagram showing another example of pixel driving operation; 2 is an explanatory diagram showing an example of pixel driving operation in the head mounted display shown in FIG. 1; FIG. 2 is an explanatory diagram showing an operation example of the prediction processing circuit shown in FIG. 1; FIG. 2 is an explanatory diagram showing an operation example of the prediction processing circuit shown in FIG. 1; FIG. 2 is an explanatory diagram showing an operation example of the prediction processing circuit shown in FIG. 1; FIG. 2 is a timing chart showing an example of display operation in the display system shown in FIG. 1; FIG. 3 is a timing chart showing another example of display operation in the display system shown in FIG. 1; FIG. 2 is an explanatory diagram showing an example of an image signal in the display system shown in FIG. 1; FIG.
  • FIG. 3 is an explanatory diagram showing another example of an image signal in the display system shown in FIG. 1;
  • FIG. 3 is an explanatory diagram showing another example of an image signal in the display system shown in FIG. 1;
  • FIG. 3 is an explanatory diagram showing another example of an image signal in the display system shown in FIG. 1;
  • FIG. 2 is a timing chart showing an operation example of the display system shown in FIG. 1;
  • FIG. 3 is a timing chart showing another operation example of the display system shown in FIG. 1;
  • FIG. 3 is a timing chart showing another operation example of the display system shown in FIG. 1;
  • FIG. 11 is an explanatory diagram showing an example of a peripheral image according to a modified example of the first embodiment;
  • FIG. 9 is a table showing an example of peripheral images according to a modification of the first embodiment
  • FIG. 11 is an explanatory diagram showing an operation example of a prediction processing circuit according to another modification of the first embodiment
  • FIG. 10 is an explanatory diagram showing an example of an image generated by an image generation circuit according to another modification of the first embodiment
  • FIG. 11 is a table showing an operation example of the display system according to another modification of the first embodiment
  • FIG. 11 is an explanatory diagram showing transmission bands of a display system according to another modification of the first embodiment
  • FIG. 11 is a timing chart showing an example of output signals of a display controller according to another modification of the first embodiment
  • FIG. 10 is another timing chart showing an example of output signals of the display controller according to another modification of the first embodiment
  • FIG. 10 is another timing chart showing an example of output signals of the display controller according to another modification of the first embodiment
  • FIG. 11 is an explanatory diagram showing an example of pixel driving operation according to another modification of the first embodiment
  • FIG. 10 is an explanatory diagram showing another example of pixel driving operation according to another modification of the first embodiment
  • FIG. 11 is a block diagram showing a configuration example of a display system according to a second embodiment
  • FIG. 41 is an explanatory diagram showing an operation example of the display system shown in FIG. 40
  • FIG. 41 is an explanatory diagram showing the transmission band of the display system shown in FIG. 40
  • FIG. 41 is a timing chart showing an example of input signals of the display controller shown in FIG. 40
  • FIG. 41 is another timing chart showing an example of input signals of the display controller shown in FIG. 40
  • FIG. 41 is a timing chart showing an example of output signals of the display controller shown in FIG.
  • FIG. 41 is another timing chart showing an example of output signals of the display controller shown in FIG. 40;
  • FIG. 41 is an explanatory diagram showing an example of pixel driving operation in the head mounted display shown in FIG. 40;
  • FIG. FIG. 11 is a block diagram showing a configuration example of a display system according to a third embodiment;
  • FIG. 49 is an explanatory diagram showing an example of an image generated by the image generation circuit shown in FIG. 48;
  • FIG. FIG. 49 is an explanatory diagram showing a transmission band of the display system shown in FIG. 48;
  • FIG. 49 is an explanatory diagram showing an operation example of the head mounted display shown in FIG. 48;
  • FIG. 49 is a timing chart showing an operation example of the display system shown in FIG. 48;
  • FIG. 49 is a timing chart showing an operation example of the display system shown in FIG. 48;
  • FIG. 12 is a block diagram showing a configuration example of a display system according to a fourth embodiment
  • FIG. 54 is an explanatory diagram showing an example of an image generated by the image generation circuit shown in FIG. 53;
  • FIG. 54 is an explanatory diagram showing an example of the image signal shown in FIG. 53;
  • FIG. FIG. 54 is an explanatory diagram showing an operation example of the head mounted display shown in FIG. 53;
  • FIG. 54 is a timing chart showing an operation example of the display system shown in FIG. 53;
  • FIG. 11 is a perspective view showing an external configuration of a head mounted display according to an application example;
  • FIG. 11 is a perspective view showing an external configuration of another head mounted display according to an application example;
  • FIG. 11 is a front view showing the external configuration of a digital still camera according to another application example;
  • FIG. 11 is a rear view showing the external configuration of a digital still camera according to another application example;
  • FIG. 11 is a rear view showing an external configuration of a television device according to another application example;
  • FIG. 11 is a rear view showing the external configuration of a smartphone according to another application example;
  • FIG. 11 is an explanatory diagram showing a configuration example of a vehicle according to another application example;
  • FIG. 11 is another explanatory diagram showing a configuration example of a vehicle according to another application example; It is a block diagram showing one structural example of the head mounted display which concerns on a modification.
  • FIG. 11 is a front view showing the external configuration of a digital still camera according to another application example;
  • FIG. 11 is a rear view showing the external configuration of a digital still camera according to another application example;
  • FIG. 11 is a rear view showing an external configuration of a television device according to another application example;
  • FIG. 11 is a block diagram showing a configuration example of a display panel according to another modified example; 66 is a circuit diagram showing a configuration example of the pixel shown in FIG. 65; FIG. FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65; FIG. 66 is a circuit diagram showing another configuration example of the pixel shown in FIG. 65
  • FIG. 1 shows a configuration example of a display system (display system 1) according to an embodiment. Note that the display device and the display method according to the embodiment of the present disclosure are embodied by the present embodiment, so they will be described together.
  • the display system 1 includes an image generation device 10 and a head mounted display 20.
  • the display system 1 is used for augmented reality and virtual reality.
  • the display system 1 is configured to perform foveated rendering, in which the focused area is drawn with high resolution and the other areas are drawn with low resolution.
  • Communication between the image generation device 10 and the head-mounted display 20, in this example uses an interface such as HDMI (registered trademark) (High-Definition Multimedia Interface) or MIPI (registered trademark) (Mobile Industry Processor Interface). is done. In this example, this communication is performed by wire communication, but it is not limited to this, and may be performed by wireless communication.
  • HDMI registered trademark
  • MIPI registered trademark
  • this communication is performed by wire communication, but it is not limited to this, and may be performed by wireless communication.
  • the head mounted display 20 displays an image based on the image signal SP transmitted from the image generating device 10.
  • An acceleration sensor 22 (described later) of the head-mounted display 20 detects movements such as orientation of the head-mounted display 20 .
  • the eye tracking sensor 23 of the head mounted display 20 detects which part of the displayed image the user is looking at by detecting the orientation of the eyes of the user wearing the head mounted display 20. .
  • the head-mounted display 20 supplies a detection signal SD containing these detection results to the image generation device 10 .
  • the image generation device 10 generates an image (whole image P11) corresponding to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22.
  • the image generation device 10 generates an image (peripheral image P12) outside the entire image P11. Further, the image generation device 10 identifies an image (partial image P2) including the portion viewed by the user in the entire image P11 based on the detection result of the eye tracking sensor 23 . Then, the image generation device 10 generates an image signal SP including low-resolution image data representing the entire image P11 and the peripheral image P12 and high-resolution image data representing the partial image P2, and outputs the generated image signal SP to the head. It is designed to transmit to the mount display 20 .
  • Image generation device 10 is configured to generate an image to be displayed on head-mounted display 20 .
  • the image generation device 10 has an image generation circuit 11 , a transmission circuit 12 and a reception circuit 13 .
  • the image generation circuit 11 is configured to generate an image to be displayed on the head mounted display 20 by performing predetermined processing such as rendering processing.
  • the image generation circuit 11 has a transmission signal generation circuit 18 .
  • the transmission signal generation circuit 18 is configured to generate an image signal SP to be transmitted based on the image generated by the image generation circuit 11 .
  • the image generating circuit 11 generates an entire image P11 showing the scenery in the virtual space according to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22 included in the data supplied from the receiving circuit 13. .
  • the image range of the entire image P11 is the same as the image range of the display image of the head mounted display 20.
  • FIG. The image generation circuit 11 also generates a peripheral image P12, which is an image outside the entire image P11.
  • the entire image P11 and the peripheral image P12 constitute the image P1.
  • the image generation circuit 11 selects, based on the detection result of the eye tracking sensor 23 included in the data supplied from the reception circuit 13, the user's specifies a partial image P2 indicating the portion viewed by . This partial image P2 is a part of the whole image P11.
  • FIG. 2 shows an example of an image generated by the image generation circuit 11.
  • the squares correspond to multiple pixels in the head mounted display 20 .
  • 32 pixels are arranged horizontally and 32 pixels are arranged vertically.
  • the entire image P11 includes 28 pixel values in the horizontal direction and 28 pixel values in the vertical direction.
  • the peripheral image P12 is an image in a ring-shaped image area having a width of two pixels outside the entire image P11.
  • the full image P11 includes an image of the person 9.
  • the image generating circuit 11 identifies the partial image P2 including the portion viewed by the user in the entire image P11 based on the detection result of the eye tracking sensor 23 included in the data supplied from the receiving circuit 13. .
  • the partial image P2 includes an image of this person 9's face.
  • the size of partial image P2 in the horizontal direction is half the size of image P1 in the horizontal direction
  • the size in the vertical direction (vertical direction in FIG. 2) of partial image P2 is half that of image P1.
  • the height is half the vertical dimension of image P1. That is, the area of the partial image P2 is 1 ⁇ 4 of the area of the image P1.
  • the head mounted display 20 generates a display image based on such an image generated by the image generation circuit 11. For example, when the orientation of the head mounted display 20 does not change, the head mounted display 20 generates a display image based on the entire image P11 and the partial image P2. Also, the head mounted display 20 generates a display image based on the entire image P11, the peripheral image P12, and the partial image P2, for example, when the orientation of the head mounted display 20 changes. That is, when the orientation of the head-mounted display 20 changes, the head-mounted display 20 generates a display image in consideration of the peripheral image P12, which is an image outside the overall image P11.
  • the transmission signal generation circuit 18 generates an image signal SP to be transmitted based on such an image generated by the image generation circuit 11 .
  • FIG. 3 shows an operation example of the display system 1, where (A) shows an image generated by the image generation circuit 11, (B) shows image data included in the image signal SP, and (C). indicates the display driving operation in the head mounted display 20.
  • FIG. 3 the portion shaded with oblique lines indicates the peripheral image P12, and the portion shaded with dots indicates the partial image P2.
  • the transmission signal generation circuit 18 sequentially scans the image P1 generated by the image generation circuit 11 from left to right and from top to bottom. generates an image signal SP.
  • the transmission signal generation circuit 18 converts the four pixel values arranged in two rows and two columns into one pixel value for the image P1, and converts the portion of the image P1 overlapping the partial image P2 to one pixel value.
  • the image data in the image signal SP is generated by outputting the two pixel values as they are.
  • the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns to 1 based on 64 pixel values included in the first and second rows of the image P1. 16 pixel values related to the peripheral image P12 are generated by converting to one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the first row in the image signal SP.
  • the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns into one pixel value based on the 64 pixel values included in the third and fourth rows of the image P1. , one pixel value for the peripheral image P12, 14 pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated. Thereby, the transmission signal generation circuit 18 generates the image data of the second row in the image signal SP.
  • the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns into one pixel value based on the 64 pixel values included in the fifth and sixth rows of the image P1. , one pixel value for the peripheral image P12, 14 pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated. Thereby, the transmission signal generation circuit 18 generates the image data of the third row in the image signal SP.
  • the transmission signal generation circuit 18 directly outputs 16 pixel values related to the partial image P2 among the 32 pixel values included in the 5th row of the image P1, and outputs the 16 pixel values included in the 6th row of the image P1. Of the 32 pixel values, 16 pixel values related to the partial image P2 are output as they are. Thereby, the transmission signal generation circuit 18 generates the image data of the 4th and 5th rows in the image signal SP.
  • the transmission signal generation circuit 18 converts the four pixel values arranged in two rows and two columns into one pixel value for the image P1, and the image P1 overlaps the partial image P2. As for the part, the pixel value is output as it is. As a result, the transmission signal generation circuit 18 converts the image P1 into an image P1 with a lower resolution. On the other hand, the resolution of partial image P2 does not change. As a result, the resolution of the converted image P1 is lower than the resolution of the partial image P2. Since the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns for the entire image P1 into one pixel value, the image P1 after conversion corresponds to the partial image P2. contains images that Further, in the example of FIG.
  • the transmission signal generation circuit 18 generates the image signal SP by sequentially performing processing from top to bottom.
  • the SP has a portion where the pixel values of one line image included in the image P1 and the pixel values of two line images included in the partial image P2 are alternately arranged in the vertical direction. .
  • the transmission signal generation circuit 18 generates image data including a plurality of pixel values as shown in FIG. 3(B) based on the image generated by the image generation circuit 11. Then, the transmission signal generating circuit 18 generates an image signal SP including this image data and image position data indicating the position (parameters POSX, POSY) of the partial image P2 in the image P1.
  • the transmission circuit 12 ( FIG. 1 ) is configured to transmit the image signal SP supplied from the image generation circuit 11 to the head mounted display 20 .
  • the transmission circuit 12 can transmit the image position data using the data format of the image data, for example, in the blanking period during which the image data is not transmitted in the vertical period V.
  • the transmission circuit 12 may transmit the image position data as the control data, for example, during the blanking period.
  • the transmission circuit 12 may transmit the image position data using a general-purpose interface such as I2C or SPI (Serial Peripheral Interface), which is different from the interface for transmitting the image data.
  • the image data included in the image signal SP includes 32 rows of image data in this example.
  • the data number NSP is attached to the image data for 32 lines.
  • the image data of each row includes image data relating to image P1 (whole image P11 and peripheral image P12) and image data relating to partial image P2.
  • the data number N1 is given to the image data for 16 lines related to the image P1
  • the data number N2 is given to the image data for 16 lines related to the partial image P2.
  • the number of pixel values in the image data included in the image signal SP is half the number of pixel values included in the image P1 before conversion.
  • the display system 1 can halve the amount of image data compared to the case where the image P1 before conversion is transmitted as it is.
  • the receiving circuit 13 ( FIG. 1 ) is configured to receive the detection signal SD transmitted from the head mounted display 20 .
  • the receiving circuit 13 supplies the image generating circuit 11 with the data on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 included in the detection signal SD.
  • the head mounted display 20 has a receiving circuit 21 , an acceleration sensor 22 , an eye tracking sensor 23 , a processor 24 , a transmitting circuit 25 , a display controller 26 and a display panel 27 .
  • the receiving circuit 21 is configured to receive the image signal SP transmitted from the image generating device 10 .
  • the receiving circuit 21 supplies the image data and image position data included in the image signal SP to the processor 24 .
  • the acceleration sensor 22 is configured to detect movements such as the orientation of the head mounted display 20 .
  • a 6-axis inertial sensor for example, can be used as the acceleration sensor 22 .
  • the display system 1 can generate an image P1 corresponding to the direction of the head mounted display 20 in the virtual space.
  • the eye tracking sensor 23 is configured to detect the orientation of the eyes of the user wearing the head mounted display 20 .
  • the display system 1 can detect which part of the display image the user is looking at, and specify the partial image P2 including the part the user is looking at from the entire image P11. It is possible.
  • the processor 24 is configured to control the operation of the head mounted display 20, and includes, for example, a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 24 performs predetermined image processing based on the image data supplied from the receiving circuit 21, for example, and converts the image data subjected to the image processing into image position data, the detection result of the acceleration sensor 22, and the eye tracking sensor. 23 to the display controller 26.
  • the processor 24 also supplies the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 to the transmission circuit 25 and causes the transmission circuit 25 to transmit these detection results.
  • the transmission circuit 25 is configured to transmit the detection signal SD including the detection result of the acceleration sensor 22 supplied from the processor 24 and the detection result of the eye tracking sensor 23 to the image generation device 10 .
  • the display controller 26 is configured to control the operation of the display panel 27 based on the image data and image position data supplied from the processor 24 .
  • the display controller 26 has prediction processing circuitry 29 .
  • the prediction processing circuit 29 generates display image data by performing geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23.
  • the head mounted display 20 supplies the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 to the image generation device 10, and the image generation device 10 generates the image P1 based on these detection results. and a partial image P2, and supplies the generated image to the head mounted display 20.
  • FIG. in this case, in the display system 1, it takes time for the head mounted display 20 to display an image according to the orientation of the head mounted display 20 after the user changes the orientation of the head mounted display 20. may be required.
  • the prediction processing circuit 29 of the head mounted display 20 performs geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 . That is, the prediction processing circuit 29 generates an image based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 before the image generation device 10 generates the image. With such prediction processing, the display system 1 can immediately display an image corresponding to a change in the orientation of the head mounted display 20, thereby reducing latency.
  • FIG. 5 shows changes in orientation of the head mounted display 20.
  • FIG. 6 and 7 show an example of image processing in the prediction processing circuit 29.
  • the acceleration sensor 22 detects changes in orientation of the head mounted display 20 .
  • the prediction processing circuit 29 performs geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22, as shown in FIGS.
  • the geometric deformation processing may be, for example, a projective geometric deformation processing as shown in FIG. 6 or a geometric deformation processing using vectors as shown in FIG.
  • the prediction processing circuit 29 performs geometric deformation processing so that the left side of the image P1 appears to be slightly further away than the right side in response to the orientation of the head mounted display 20 being slightly changed to the lower left.
  • the prediction processing circuit 29 When the prediction processing circuit 29 performs the geometric deformation processing on the image P1 in this way, it also performs the geometric deformation processing on the partial image P2 included in the image P1.
  • the prediction processing circuit 29 changes the position of the partial image P2 in the image P1 based on the detection result of the eye tracking sensor 23, Geometric deformation processing is performed while performing super-resolution processing for increasing resolution.
  • the prediction processing circuit 29 converts the pixel values outside the image P1 into black pixels as shown in FIG. 8, for example. can be set to a value. Note that the present invention is not limited to this, and the prediction processing circuit 29 performs image processing for stretching the image based on the peripheral image P12 and the entire image P11 included in the image P1, as shown in FIG. 9, for example. Thus, pixel values outside the image P1 may be set.
  • the prediction processing circuit 29 Based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23, the prediction processing circuit 29 performs geometric deformation processing on the image data supplied from the processor 24 to obtain display image data. to generate The display controller 26 controls the operation of the display panel 27 based on this display image data.
  • the display panel 27 ( FIG. 1 ) is configured to display an image based on control by the display controller 26 .
  • the display panel 27 displays an image of the same image range as that of the entire image P11.
  • the display panel 27 is an organic EL (Electro Luminescence) display panel in this example. Note that the display panel 27 is not limited to this, and may be, for example, a liquid crystal display panel.
  • FIG. 10 shows a configuration example of the display panel 27.
  • the display panel 27 has a pixel array 31 , a pixel signal generation circuit 32 and a scanning circuit 33 .
  • the pixel array 31 has multiple signal lines SGL, multiple control lines CTL, and multiple pixels PIX.
  • the plurality of signal lines SGL extends in the vertical direction (vertical direction in FIG. 10) and is arranged in parallel in the horizontal direction (horizontal direction in FIG. 10).
  • Each of the plurality of signal lines SGL supplies pixel signals generated by the pixel signal generating circuit 32 to the pixels PIX.
  • the plurality of control lines CTL extend in the horizontal direction (horizontal direction in FIG. 10) and are arranged in parallel in the vertical direction (vertical direction in FIG. 10). Each of the plurality of control lines CTL supplies control signals generated by the scanning circuit 33 to the pixels PIX.
  • a plurality of pixels PIX are arranged in a matrix in the pixel array 31 .
  • Each of the plurality of pixels PIX is controlled based on the control signal supplied via the control line CTL, and the pixel signal supplied via the signal line SGL is written. Thereby, each of the plurality of pixels PIX is configured to emit light with luminance corresponding to the written pixel signal.
  • a row of pixels PIX arranged in the horizontal direction forms a pixel line L. As shown in FIG.
  • the pixel signal generation circuit 32 is configured to generate pixel signals based on image data to be displayed and apply the generated pixel signals to each of the plurality of signal lines SGL.
  • the scanning circuit 33 generates a control signal and applies the generated control signal to each of the plurality of control lines CTL, thereby scanning the plurality of pixels PIX with one or a plurality of pixel lines L as scanning units. It's becoming
  • the receiving circuit 21 corresponds to a specific example of "receiving circuit” in the present disclosure.
  • the converted whole image P11 corresponds to a specific example of the “whole image” in the present disclosure.
  • the peripheral image P12 after conversion corresponds to a specific example of the “peripheral image” in the present disclosure.
  • the partial image P2 corresponds to a specific example of "first partial image” in the present disclosure.
  • the pixel array 31 corresponds to a specific example of the "display section” in the present disclosure.
  • the acceleration sensor 22 corresponds to a specific example of "first sensor” in the present disclosure.
  • the eye tracking sensor 23 corresponds to a specific example of "second sensor” in the present disclosure.
  • the display controller 26 corresponds to a specific example of "image processing circuit” in the present disclosure.
  • the pixel signal generation circuit 32 and the scanning circuit 33 correspond to a specific example of "display driving circuit” in the present disclosure.
  • the transmission circuit 25 corresponds to a specific example of "transmission circuit”
  • the receiving circuit 13 of the image generation device 10 receives the detection signal SD transmitted from the head-mounted display 20, and the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 included in this detection signal SD. Data is supplied to the image generation circuit 11 .
  • the image generating circuit 11 generates an entire image P11 showing the scenery in the virtual space according to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22 included in the data supplied from the receiving circuit 13. .
  • the image generation circuit 11 also generates a peripheral image P12, which is an image outside the entire image P11. The entire image P11 and the peripheral image P12 constitute the image P1.
  • the image generating circuit 11 generates a partial image P2 including the portion viewed by the user from the entire image P11 based on the detection result of the eye tracking sensor 23 included in the data supplied from the receiving circuit 13. Identify.
  • the transmission signal generation circuit 18 generates an image signal SP to be transmitted based on the image generated by the image generation circuit 11 .
  • the image signal SP includes image data and image position data indicating the position of the partial image P2 in the image P1.
  • the transmission circuit 12 transmits this image signal SP to the head mounted display 20 .
  • the receiving circuit 21 of the head mounted display 20 receives the image signal SP transmitted from the image generating device 10 and supplies the image data and image position data included in this image signal SP to the processor 24 .
  • the acceleration sensor 22 detects movements such as the orientation of the head mounted display 20 .
  • the eye tracking sensor 23 detects the orientation of the eyes of the user wearing the head mounted display 20 .
  • the processor 24 supplies the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 to the transmission circuit 25 .
  • the transmission circuit 25 transmits a detection signal SD including the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 supplied from the processor 24 to the image generation device 10 .
  • the processor 24 performs predetermined image processing based on the image data supplied from the receiving circuit 21, and converts the processed image data into image position data, the detection result of the acceleration sensor 22, and the eye tracking sensor. 23 to the display controller 26.
  • the prediction processing circuit 29 of the display controller 26 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Generate.
  • the display controller 26 controls the operation of the display panel 27 based on the image position data supplied from the processor 24 and the display image data generated by the prediction processing circuit 29 .
  • the display panel 27 displays images under the control of the display controller 26 .
  • the image generation circuit 11 presents the scenery in the virtual space according to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22 included in the data supplied from the reception circuit 13. A whole image P11 is generated.
  • the image generation circuit 11 also generates a peripheral image P12, which is an image outside the entire image P11. Further, the image generating circuit 11 generates a partial image P2 including the portion viewed by the user from the entire image P11 based on the detection result of the eye tracking sensor 23 included in the data supplied from the receiving circuit 13. Identify.
  • the transmission signal generation circuit 18 generates an image signal SP to be transmitted based on the image generated by the image generation circuit 11 . Specifically, the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns into one pixel value for the image P1 (whole image P11 and peripheral image P12). Further, the transmission signal generation circuit 18 outputs the pixel values as they are for the portions of the image P1 that overlap with the partial image P2. In this manner, the transmission signal generation circuit 18 generates image data including a plurality of pixel values as shown in FIG. 3B based on the image generated by the image generation circuit 11. FIG. Then, the transmission signal generation circuit 18 generates an image signal SP including this image data and image position data indicating the position (parameters POSX, POSY) of the partial image P2 in the image P1.
  • the transmission circuit 12 then transmits the image signal SP supplied from the image generation circuit 11 to the head mounted display 20 .
  • the receiving circuit 21 receives the image signal SP transmitted from the image generating device 10 and supplies the image data and image position data included in this image signal SP to the processor 24 .
  • the processor 24 performs predetermined image processing based on the image data supplied from the receiving circuit 21, and converts the image data that has undergone the image processing into image position data, the detection result of the acceleration sensor 22, and the detection result of the eye tracking sensor 23. It is supplied to the display controller 26 together with the detection result.
  • FIG. 11 shows an example of signals input to the display controller 26.
  • (A) shows the waveform of the vertical synchronizing signal VS_IN
  • (B) shows the waveform of the horizontal synchronizing signal HS_IN
  • (C) shows the waveform of the horizontal synchronizing signal HS_IN.
  • the waveform of the vertical data enable signal VDE_IN is shown
  • (D) shows the data signal DATA_IN.
  • a pulse occurs in the vertical synchronization signal VS_IN, and the vertical period V starts (FIG. 11(A)). Further, a pulse is generated in the horizontal synchronization signal HS_IN each time the horizontal period H starts (FIG. 11(B)).
  • the vertical data enable signal VDE_IN changes from low level to high level (FIG. 11(C)).
  • the data signal DATA_IN in the period when the vertical data enable signal VDE_IN is at high level indicates image data (FIG. 11(D)).
  • the data signal DATA_IN is supplied over 32 horizontal periods H.
  • FIG. 11 also shows data numbers N1 and N2 in addition to data number NSP.
  • FIG. 12 shows an example of the data signal DATA_IN.
  • the first row of image data included in the image signal SP corresponds to the first image data among the 32 pieces of image data included in the data signal DATA_IN.
  • This image data includes 16 pixel values of the peripheral image P12.
  • the image data in the second row included in the image signal SP corresponds to the second image data among the 32 pieces of image data included in the data signal DATA_IN.
  • This image data includes one pixel value associated with the peripheral image P12, 14 pixel values associated with the entire image P11, and one pixel value associated with the peripheral image P12.
  • the image data in the fourth row included in the image signal SP corresponds to the fourth image data among the 32 pieces of image data included in the data signal DATA_IN.
  • This image data includes 16 pixel values for the partial image P2.
  • the vertical data enable signal VDE_IN changes from high level to low level (FIG. 11(C)). Then, at timing t4, this vertical period V ends and the next vertical period V starts.
  • the prediction processing circuit 29 of the display controller 26 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Generate. Based on this display image data, the display controller 26 generates a vertical synchronization signal VS_OUT, a horizontal synchronization signal HS_OUT, a vertical data enable signal VDE_OUT, and a data signal DATA_OUT.
  • FIG. 13 shows an example of signals output from the display controller 26 when the orientation of the head-mounted display 20 does not change and the orientation of the user's eyes does not change.
  • (B) shows the waveform of the horizontal synchronization signal HS_OUT
  • (C) shows the waveform of the vertical data enable signal VDE_OUT
  • (D) shows the waveform of the data signal DATA_OUT.
  • the non-shaded portion indicates the entire image P11
  • the dotted portion indicates the partial image P2. That is, in this example, the orientation of the head-mounted display 20 does not change and the orientation of the user's eyes does not change, so the prediction processing circuit 29 does not perform the geometric deformation processing shown in FIGS. Therefore, the data signal DATA_OUT includes image data relating to the entire image P11 and the partial image P2, and does not include image data relating to the peripheral image P12.
  • a pulse occurs in the vertical synchronization signal VS_OUT, and the vertical period V starts ((A) in FIG. 13). Further, a pulse is generated in the horizontal synchronization signal HS_OUT each time the horizontal period H starts (FIG. 13(B)).
  • the vertical data enable signal VDE_OUT changes from low level to high level (FIG. 13(C)).
  • the display controller 26 outputs 30 pieces of image data as the data signal DATA_OUT over 30 horizontal periods H (FIG. 13(D)).
  • the display controller 26 outputs the image data relating to the entire image P11 and the image data relating to the partial image P2. , as a data signal DATA_OUT.
  • the 30 pieces of image data included in the data signal DATA_OUT respectively correspond to the 2nd to 31st pieces of 30 image data included in the data signal DATA_IN (FIG. 11).
  • the 30 pieces of image data included in the data signal DATA_OUT correspond to the 2nd to 31st rows of image data included in the image signal SP shown in FIGS.
  • FIG. 13 shows data numbers NSP, N1, and N2 for convenience of explanation.
  • the prediction processing circuit 29 performs geometric deformation processing as shown in FIGS. It does not necessarily correspond to the 2nd to 31st image data contained in the data signal DATA_IN (FIG. 11).
  • the display controller 26 drives a plurality of pixels PIX in the display panel 27 in units of four pixels PIX arranged in two rows and two columns, based on image data relating to the entire image P11 included in the data signal DATA_OUT. to control. Further, the display controller 26 controls the plurality of pixels PIX in the display panel 27 to be driven in units of one pixel PIX based on the data relating to the partial image P2 included in the data signal DATA_OUT.
  • FIG. 14 shows an example of the data signal DATA_OUT at timings t12 to t16 in FIG. 13 and the display driving operation based on the data signal DATA_OUT.
  • 15 and 16 show an example of the operation of the display panel 27.
  • the display panel 27 performs the display driving operation for the two pixel lines L indicated by W1 in FIG. 14 during the period from timing t12 to t13.
  • the display controller 26 outputs image data including 14 pixel values of the entire image P11 as the data signal DATA_OUT.
  • the scanning circuit 33 scans the plurality of pixels PIX with two pixel lines L as the scanning unit US. Also, the pixel signal generation circuit 32 applies the same pixel signal to two signal lines SGL adjacent to each other. As a result, the same pixel signal is written to the four pixels PIX in the two pixel lines L selected. In this manner, the display panel 27 drives a plurality of pixels PIX with four pixels PIX as a unit UD.
  • the pixel signal generation circuit 32 writes pixel signals relating to the entire image P11 to the two pixel lines L indicated by reference numeral W1 in FIG.
  • the display panel 27 performs the display driving operation for the two pixel lines L indicated by the symbol W2 in FIG. 14 during the period from timing t13 to t14.
  • the display controller 26 outputs image data including 14 pixel values of the entire image P11 as the data signal DATA_OUT.
  • the display controller 26 sets the 2nd to 9th pixel values among the 14 pixel values to pixel values indicating black.
  • the display panel 27 controls not to write pixel signals to the pixels PIX corresponding to the second to ninth pixel values.
  • the display controller 26 may write the pixel signal based on the pixel value of "0" to the pixels PIX corresponding to the second to ninth pixel values.
  • the display controller 26 sets the second to ninth pixel values among the 14 pixel values to pixel values indicating black, but the present invention is not limited to this, and black can be displayed.
  • the original pixel value may be left as it is without setting to the indicated pixel value.
  • 17A and 17B show an example of the display driving operation for the two pixel lines L indicated by symbol W2 in FIG.
  • (C) shows the operation at timings t15 to t16.
  • the pixel signal generation circuit 32 outputs pixel signals corresponding to the 1st, 10th to 14th pixel values to the pixels PIX corresponding to these pixel values. Write. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
  • the display controller 26 In the next period from timing t14 to t15, the display controller 26 outputs image data including 16 pixel values of the partial image P2 as the data signal DATA_OUT, as shown in FIG.
  • the data number NSP of this image data is "4" and the data number N2 is "1".
  • the scanning circuit 33 scans the plurality of pixels PIX with one pixel line L as the scanning unit US. Also, the pixel signal generation circuit 32 applies a plurality of pixel signals to the plurality of signal lines SGL. Thereby, one pixel signal is written to one pixel PIX in one selected pixel line L, respectively. In this way, the display panel 27 drives a plurality of pixels PIX with one pixel PIX as a unit UD.
  • the pixel signal generation circuit 32 writes pixel signals corresponding to 16 pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
  • the display controller 26 In the next period from timing t15 to t16, the display controller 26 outputs image data including 16 pixel values of the partial image P2 as the data signal DATA_OUT, as shown in FIG.
  • the data number NSP of this image data is "5" and the data number N2 is "2".
  • the pixel signal generation circuit 32 writes pixel signals corresponding to 16 pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
  • the pixel signal generation circuit 32 during the period of timings t13 to t16, generates two pixel lines L in all of the two pixel lines L indicated by symbol W2 in FIG.
  • a pixel signal related to the entire image P11 or a pixel signal related to the partial image P2 is written to the pixels PIX of the .
  • the display controller 26 and the display panel 27 operate in the same manner after this. Then, at timing t17, the vertical data enable signal VDE_OUT changes from high level to low level (FIG. 13(C)). Then, at timing t18, this vertical period V ends and the next vertical period V starts.
  • FIG. 18 to 20 schematically represent the operation of the display controller 26.
  • FIG. 18 to 20 (A) shows image data supplied to the display controller 26, and (B) shows display image data output by the display controller 26.
  • FIG. 18 to 20 (A) shows image data supplied to the display controller 26, and (B) shows display image data output by the display controller 26.
  • the display image data generated by the display controller 26 includes image data relating to the entire image P11 and image data relating to the partial image P2. That is, this display image data does not include image data relating to the peripheral image P12.
  • the display controller 26 drives the plurality of pixels PIX in units of one pixel PIX based on the image data relating to the partial image P2 included in the display image data, and drives the plurality of pixels PIX based on the other image data. of pixels PIX are driven in units of one pixel PIX.
  • the acceleration sensor 22 detects that the orientation of the head mounted display 20 has changed.
  • the prediction processing circuit 29 of the display controller 26 generates display image data by performing geometric deformation processing as shown in FIG. 19 based on the detection results of the acceleration sensor 22 and the eye tracking sensor 23 .
  • This display image data includes image data related to the peripheral image P12 in addition to image data related to the entire image P11 and image data related to the partial image P2.
  • the display image data may further include image data of an outer image, as shown in FIGS. In this example, the image P1 becomes smaller due to the geometric deformation process, so the partial image P2 also becomes smaller.
  • the display controller 26 drives the plurality of pixels PIX in units of one pixel PIX based on the image data relating to the partial image P2 included in the display image data, and drives the plurality of pixels PIX based on the other image data. of pixels PIX are driven in units of one pixel PIX.
  • the acceleration sensor 22 detects that the orientation of the head-mounted display 20 has changed
  • the eye tracking sensor 23 detects that the orientation of the user's eyes has changed. Detects that the orientation of the eyes has changed.
  • the prediction processing circuit 29 of the display controller 26 generates display image data by performing geometric deformation processing as shown in FIG. 20 based on the detection results of the acceleration sensor 22 and the eye tracking sensor 23 .
  • This display image data includes image data related to the peripheral image P12 in addition to image data related to the entire image P11 and image data related to the partial image P2.
  • the display image data may further include image data of an outer image, as shown in FIGS.
  • the prediction processing circuit 29 changes the position of the partial image P2 in the image P1 based on the detection result of the eye tracking sensor 23, thereby increasing the resolution.
  • Image data of the partial image P2 is generated by image processing.
  • the display controller 26 drives the plurality of pixels PIX in units of one pixel PIX based on the image data relating to the partial image P2 included in the display image data, and drives the plurality of pixels PIX based on the other image data. of pixels PIX are driven in units of one pixel PIX.
  • the display controller 26 generates display image data and controls the operation of the display panel 27 based on this display image data.
  • FIG. 21 shows an operation example of the display panel 27.
  • the frame rate is 120Hz.
  • the scanning circuit 33 scans from the top to the bottom of the pixel array 31 using one pixel line L or two pixel lines L as a scanning unit.
  • the scanning speed is fast during the period from timing t21 to t22 and from timing t24 to t25, and the scanning speed is slow during the period from timing t22 to t24. That is, during the period from timing t22 to t24, the scanning circuit 33 scans a plurality of pixel lines L corresponding to the position of the partial image P2.
  • the pixel signal generation circuit 32 writes pixel signals to a plurality of pixels PIX related to two pixel lines L in three horizontal periods, as in the operation during the period from timing t13 to t16, so the scanning speed is slow. .
  • the pixel signal generation circuit 32 performs the operation in the period of timings t12 to t13.
  • the scanning speed is high because the pixel signals are written in the pixels PIX of the . In this way, in the display panel 27, scanning is performed with one pixel line L or two pixel lines L as the scanning unit. can be lowered, and power consumption can be reduced.
  • the pixel PIX to which the pixel signal is written emits light for a predetermined period after the pixel signal is written in this example.
  • the display panel 27 displays an image.
  • the head mounted display 20 displays images based on the image P1 and the partial image P2.
  • the time ⁇ t from the timing t21 when the input of image data starts until the pixel PIX at the center position in the vertical direction of the display panel 27 starts emitting light is about half the time corresponding to the period T in this example. .
  • the time ⁇ t can be set to about 4.1 [msec.].
  • FIG. 22 shows another operation example of the display panel 27.
  • the light emitting operation of the pixel PIX is different from the example in FIG. That is, in the example of FIG. 21, the display panel 27 emits light according to the scanning timing, but in this example, the pixels PIX in the entire area emit light at the same timing.
  • the time ⁇ t is comparable to the time corresponding to the period T in this example. Specifically, for example, when the period T is 8.3 [msec.], the time ⁇ t can be set to about 8 [msec.].
  • the eye tracking sensor 23 of the head mounted display 20 detects which part of the display image the user is looking at by detecting the orientation of the eyes of the user wearing the head mounted display 20. to detect Based on the detection result of the eye tracking sensor 23, the image generation device 10 identifies an image (partial image P2) including the portion viewed by the user in the entire image P11. Then, the image generation device 10 generates an image signal SP including low-resolution image data representing the image P1 (whole image P11 and peripheral image P12) and high-resolution image data representing the partial image P2. Therefore, in the image data included in the image signal SP, the positions of the image data relating to the image P1 and the image data relating to the partial image P2 can change according to the detection result of the eye tracking sensor 23 .
  • FIG. 23 to 26 show an operation example of the display system 1.
  • FIG. 23 shows the case where the user is looking at the upper left portion of the display image on the display panel 27, and
  • FIG. 25 shows a case where the user is looking at the upper right portion of the display image on the panel 27,
  • FIG. 25 shows a case where the user is looking at the lower left portion of the display image on the display panel 27, and
  • FIG. 2 shows a case in which the lower right portion of the display image of is viewed.
  • the image data of the partial image P2 in the image signal SP is shown in FIG. , 24(B) above.
  • the image data of the partial image P2 in the image signal SP is shown in FIG. (B), located below as shown in 26(B). In this way, the positions of the image data related to the image P1 and the image data related to the partial image P2 in the image data included in the image signal SP can change according to the detection result of the eye tracking sensor 23 .
  • FIG. 27 shows an example of the operation of the display system 1, where (A) shows the operation of the image generation circuit 11, (B) shows the operation of the transmission circuit 12, and (C) shows the operation of the display controller 26. (D) shows the operation of the display panel 27.
  • the frame rate of display panel 27 is 120 Hz.
  • image data is generated in cycle T0, and display based on the image data is performed in cycle T.
  • the image generation circuit 11 of the image generation device 10 performs rendering processing to generate the entire image P11 corresponding to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22.
  • a peripheral image P12 outside the overall image P11 is generated (FIG. 27(A)).
  • the image generation circuit 11 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22, similar to the prediction processing circuit 29 of the display controller 26. to update the entire image P11 and the peripheral image P12. Further, the image generation circuit 11 identifies a partial image P2 including the portion viewed by the user in the entire image P11 based on the detection result of the eye tracking sensor 23.
  • the transmission circuit 12 of the image generation device 10 generates an image signal SP based on such an image generated by the image generation circuit 11, and transmits this image signal SP to the head mounted display. 20 (FIG. 27(B)).
  • the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to display Image data is generated (FIG. 27(C)).
  • the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 ((D) in FIG. 27).
  • the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to display the image. Data is generated (FIG. 27(C)).
  • the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 ((D) in FIG. 27).
  • the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to generate display image data. Generate.
  • the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 .
  • the prediction processing circuit 29 performs prediction processing during the period from timing t104 to t105.
  • the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 during the period from timing t105 to t108.
  • an image corresponding to a change in orientation of the head-mounted display 20 can be immediately displayed, and latency can be reduced.
  • the prediction processing circuit 29 performs prediction processing during the period from timing t106 to t108, and the display panel 27 displays the image based on the display image data generated by the prediction processing circuit 29 during the period from timing t108 to t109. display.
  • the prediction processing of the prediction processing circuit 29 can immediately display an image corresponding to, for example, a change in the orientation of the head-mounted display 20. , the latency can be reduced.
  • the prediction processing circuit 28 performs geometric deformation processing based on the image data of the peripheral image P12 in addition to the image data of the entire image P11 and the image data of the partial image P2. Therefore, in the display system 1, as shown in FIGS. 19 and 20, when the image P1 is reduced by the geometric deformation processing, the display image is reduced by performing the geometric deformation processing by effectively using the peripheral image P12. can be generated.
  • FIGS. 28 and 29 represent another example of the operation of the display system 1.
  • the image generation circuit 11 of the image generation device 10 performs rendering processing to generate an entire image P11 according to the direction of the head mounted display 20 based on the detection result of the acceleration sensor 22.
  • a peripheral image P12 outside the overall image P11 is generated (FIG. 28(A)).
  • the image generation circuit 11, like the prediction processing circuit 29 of the display controller 26, performs geometric deformation processing based on the latest detection result of the acceleration sensor 22. to update the entire image P11 and the peripheral image P12.
  • the image generation circuit 11 identifies a partial image P2 including the portion viewed by the user in the entire image P11 based on the detection result of the eye tracking sensor 23. FIG. Then, at timing t113, the image generation circuit 11 starts the next rendering process.
  • the transmission circuit 12 of the image generation device 10 generates an image signal SP based on such an image generated by the image generation circuit 11, and transmits this image signal SP to the head mounted display. 20 (FIG. 28(B)).
  • the display panel 27 displays an image based on the display image data generated by the display controller 26 based on the image data transmitted from the transmission circuit 12 ((D) in FIG. 28). ).
  • the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to display Image data is generated (FIG. 28(C)).
  • the rendering process started by the image generation circuit 11 at timing t113 ends within the period corresponding to the period T0 (FIG. 28(A)). Therefore, during the period from timing t116 to t118, the transmission circuit 12 of the image generation device 10 generates the image signal SP based on the image generated by the image generation circuit 11, and transmits the image signal SP to the head mounted display 20. Send (FIG. 28(B)). In this case, the display image data generated by the prediction processing circuit 29 during the period from timing t115 to t117 is discarded. Then, the display panel 27 displays an image based on the display image data generated by the display controller 26 based on the image data transmitted from the transmission circuit 12 during the period from timing t117 to t119.
  • the rendering process started by the image generation circuit 11 at timing t113 has not been completed within the period corresponding to cycle T0.
  • the transmission circuit 12 cannot start transmitting the image signal SP at timing t116. Therefore, the display panel 27 displays an image during the period from timing t117 to t119 based on the display image data generated by the prediction processing circuit 29 during the period from timing t115 to t117 ((D) in FIG. 29).
  • the prediction processing circuit 29 of the display controller 26 performs geometric deformation processing based on the latest detection result of the acceleration sensor 22 and the latest detection result of the eye tracking sensor 23 to display the image. Generate data.
  • the display panel 27 displays an image based on the display image data generated by the prediction processing circuit 29 .
  • the display panel 27 During the period from t118 to t118, an image is displayed based on the display image data generated by the prediction processing circuit 29 during the period from t115 to t117.
  • the display system 1 can display an image based on the display image data generated by the prediction processing circuit 29 even if the rendering processing cannot be completed in time. The image can be displayed immediately.
  • the receiving circuit 21 receives the first image data representing the whole image P11 with the first resolution and the second image data outside the whole image P11 with the first resolution or lower.
  • third image data representing a partial image P2 of a third resolution higher than the first resolution which is an image of an image range narrower than the overall image P11. received.
  • the acceleration sensor 22 detects a change in posture of the head mounted display 20 .
  • the display controller 26 performs geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor 22 to generate display image data. 1 image processing.
  • the pixel signal generation circuit 32 and the scanning circuit 33 drive the pixel array 31 capable of displaying an image within the same image range as that of the entire image P11.
  • the head-mounted display 20 can display an image based on the display image data generated by the prediction processing circuit 29, so that, for example, an image corresponding to a change in orientation of the head-mounted display 20 can be immediately displayed. be able to.
  • FIGS. 28 and 29 even when the transmission rate is reduced, it is possible to immediately display an image corresponding to a change in orientation of the head mounted display 20.
  • FIG. 28 and 29 even when the transmission rate is reduced, it is possible to immediately display an image corresponding to a change in orientation of the head mounted display 20.
  • latency can be reduced in the head mounted display 20 .
  • the first image data representing the entire image with the first resolution and the peripheral images of the second resolution lower than the first resolution, which are images outside the entire image are shown.
  • Second image data and third image data representing a partial image of a third resolution higher than the first resolution, which is an image of an image range narrower than the entire image are received.
  • the acceleration sensor detects changes in posture of the head-mounted display.
  • the prediction processing circuit generates display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor. image processing. Based on this display image data, the pixel signal generation circuit and the scanning circuit drive a pixel array capable of displaying an image within the same image range as that of the entire image. This can reduce latency.
  • the image generation circuit 11 generates the image P1 (the entire image P11 and the peripheral image P12), identifies a portion of the entire image P11 as the partial image P2, and in the image P1,
  • the high-resolution image P1 is converted to the low-resolution image P1 by converting the four pixel values arranged in , into one pixel value, but the present invention is not limited to this.
  • the image generating circuit 11 may generate the low resolution image P1 and the high resolution partial image P2 separately.
  • the transmission signal generation circuit 18 generates image data included in the image signal SP based on the low resolution image P1 and the high resolution partial image P2.
  • the resolution of the peripheral image P12 is the same as the resolution of the entire image P11, but the present invention is not limited to this.
  • the resolution of the peripheral image P12 may be lower than the resolution of the entire image P11.
  • the image data amount is reduced by setting the resolution of the peripheral image P12 to 1/4 (2 ⁇ 2), 1/9 (3 ⁇ 3), and 1/16 (4 ⁇ 4). and the transmission bandwidth can be reduced.
  • the prediction processing circuit 29 generates the display image using the peripheral image P12 based on the detection result of the acceleration sensor 22.
  • both the left-eye image and the right-eye image may be used to generate the display image of the left-eye image and the display image of the right-eye image.
  • the prediction processing circuit 29 may use the right-eye image when generating the display image of the left-eye image, or use the left-eye image when generating the display image of the right-eye image. may This operation will be described in detail below.
  • FIG. 32 shows an operation example of the prediction processing circuit 29 according to this modified example.
  • the prediction processing circuit 29 performs processing based on the image data of the left-eye image PL and the right-eye image PR.
  • each of the left-eye image PL and right-eye image PR includes an image of box 100 .
  • the image of the right end of the box 100 is missing in the left eye image PL, and the image of the left end of the box 100 is missing in the right eye image PR.
  • the prediction processing circuit 29 detects the acceleration sensor 22 as shown in FIG. Based on the latest detection result of the left eye image PL, a left eye image PL1 is generated by performing geometric deformation processing on the left eye image PL, and a right eye image PL1 is generated by performing geometric deformation processing on the right eye image PR. Generate PR1. In the right-eye image PR, the image at the left end of the box 100 is missing, so even if the right-eye image PR undergoes geometric deformation processing, the prediction processing circuit 29 generates an image of this missing portion. Can not do it.
  • the prediction processing circuit 29 generates an image of this missing portion in the right-eye image PR1 based on the left-eye image PL. Specifically, the prediction processing circuit 29 first converts the left eye image PL for the left eye into the image PR11 for the right eye by performing geometric deformation processing. That is, since the left-eye image PL is an image observed with the left eye of the user 8, the prediction processing circuit 29 considers the positional difference between the left eye and the right eye and performs geometric deformation processing to obtain An image PR11 when viewed with the left eye of the user 8 is generated. Next, the prediction processing circuit 29 performs geometric deformation processing on the image PR11 based on the latest detection result of the acceleration sensor 22 to generate an image PR12.
  • the prediction processing circuit 29 synthesizes the image corresponding to the missing portion in the right-eye image PR1 in the image PR12 with the right-eye image PR1. In this manner, the prediction processing circuit 29 can correct the missing image portion at the left end of the box 100 in the right eye image PR1.
  • the image generation circuit 11 generates an image of the entire scenery corresponding to the direction of the head-mounted display 20 in the virtual space based on the detection result of the acceleration sensor 22 included in the data supplied from the reception circuit 13. Generate an image P11. Further, the image generation circuit 11 generates a peripheral image P12 outside the entire image P11. In addition, the image generation circuit 11 selects, based on the detection result of the eye tracking sensor 23 included in the data supplied from the reception circuit 13, the user's specifies the partial images P2 and P3 indicating the portion viewed by .
  • FIG. 33 shows an example of an image generated by the image generation circuit 11.
  • the image generation circuit 11 Based on the detection result of the eye tracking sensor 23 included in the data supplied from the receiving circuit 13, the image generation circuit 11 generates partial images P2 and P3 including the portion viewed by the user from the entire image P11. Identify.
  • the size of partial image P2 in the horizontal direction is half the size of image P1 in the horizontal direction
  • the size of partial image P2 in the vertical direction (vertical direction in FIG. 33) is half that of image P1.
  • the height is half the vertical dimension of image P1. That is, the area of the partial image P2 is 1 ⁇ 4 of the area of the image P1.
  • the horizontal size of the partial image P3 is half the horizontal size of the partial image P2, and the vertical size of the partial image P3 is half the vertical size of the partial image P2. be. That is, the area of the partial image P3 is 1 ⁇ 4 of the area of the partial image P2. In this example, the central position of partial image P3 is the same as the central position of partial image P2.
  • FIG. 34 shows an operation example of the display system 1 according to this modification, where (A) shows an image generated by the image generation circuit 11, and (B) shows image data included in the image signal SP. , and (C) shows the display driving operation in the head mounted display 20 according to this modification.
  • the transmission signal generation circuit 18 scans the image P1 generated by the image generation circuit 11 from left to right from top to bottom.
  • An image signal SP is generated by performing the steps one after the other.
  • the transmission signal generation circuit 18 converts the 16 pixel values arranged in 4 rows and 4 columns into one pixel value for the image P1, and for the portion of the image P1 that overlaps the partial image P2, Four pixel values arranged in two rows and two columns are converted into one pixel value, and one pixel value is output as it is for a portion of the image P1 that overlaps the partial image P3, thereby obtaining an image signal.
  • Generate image data in SP is
  • the transmission signal generation circuit 18 generates 16 pixel values arranged in 4 rows and 4 columns based on 128 pixel values included in the 1st to 4th rows of the image P1. By converting to one pixel value, eight pixel values relating to the peripheral image P12 are generated. Thereby, the transmission signal generation circuit 18 generates the image data of the first row in the image signal SP.
  • the transmission signal generation circuit 18 converts 16 pixel values arranged in 4 rows and 4 columns into one pixel value based on 128 pixel values included in the 5th to 8th rows of the image P1.
  • one pixel value for the peripheral image P12, six pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated.
  • the transmission signal generation circuit 18 generates the image data of the second row in the image signal SP.
  • the transmission signal generation circuit 18 is arranged in two rows and two columns based on 32 pixel values related to the partial image P2 among the 64 pixel values included in the fifth and sixth rows of the image P1. Eight pixel values of the partial image P2 are generated by converting the four pixel values into one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the third row in the image signal SP.
  • the transmission signal generation circuit 18 is arranged in two rows and two columns based on 32 pixel values related to the partial image P2 among the 64 pixel values included in the 7th and 8th rows of the image P1. Eight pixel values of the partial image P2 are generated by converting the four pixel values into one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the fourth row in the image signal SP.
  • the transmission signal generation circuit 18 converts 16 pixel values arranged in 4 rows and 4 columns into one pixel value based on 128 pixel values included in the 9th to 12th rows of the image P1.
  • one pixel value for the peripheral image P12, six pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated.
  • the transmission signal generation circuit 18 generates the image data of the fifth row in the image signal SP.
  • the transmission signal generation circuit 18 is arranged in two rows and two columns based on 32 pixel values related to the partial image P2 among the 64 pixel values included in the 9th and 10th rows of the image P1. Eight pixel values of the partial image P2 are generated by converting the four pixel values into one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the sixth row in the image signal SP.
  • the transmission signal generation circuit 18 is arranged in two rows and two columns based on 32 pixel values related to the partial image P2 among the 64 pixel values included in the 11th and 12th rows of the image P1. Eight pixel values of the partial image P2 are generated by converting the four pixel values into one pixel value. Thereby, the transmission signal generation circuit 18 generates the image data of the seventh row in the image signal SP.
  • the transmission signal generation circuit 18 directly outputs the eight pixel values related to the partial image P3 among the 32 pixel values included in the 9th row of the image P1, and outputs the 32 pixel values included in the 10th row of the image P1. 8 pixel values related to the partial image P3 are output as they are, and 8 pixel values related to the partial image P3 are output as they are among the 32 pixel values included in the 11th row of the image P1. 8 pixel values of the partial image P3 among the 32 pixel values included in the 12th row of the image P1 are output as they are. Thereby, the transmission signal generation circuit 18 generates the image data of the 8th to 11th rows in the image signal SP.
  • the transmission signal generation circuit 18 converts 16 pixel values arranged in 4 rows and 4 columns into one pixel value for the image P1.
  • the transmission signal generation circuit 18 converts four pixel values arranged in two rows and two columns into one pixel value for a portion of the image P1 that overlaps the partial image P2. Further, the transmission signal generation circuit 18 outputs the pixel values as they are for the portions of the image P1 that overlap with the partial image P3. Accordingly, in the image signal SP, the resolution of the image P1 is lower than the resolution of the partial image P2, and the resolution of the partial image P2 is lower than the resolution of the partial image P3.
  • the transmission signal generation circuit 18 generates image data including a plurality of pixel values as shown in FIG. 34(B) based on the image generated by the image generation circuit 11. Then, the transmission signal generation circuit 18 generates an image signal SP including this image data and image position data indicating the position (parameters POSX, POSY) of the partial image P2 in the image P1.
  • FIG. 35 shows transmission bands in the display system 1 according to this modified example.
  • the image data included in the image signal SP includes 24 rows of image data in this example.
  • data number N1 is given to 8 lines of image data for image P1 (whole image P11 and peripheral image P12)
  • data number N2 is given to 8 lines of image data for partial image P2.
  • the data number N3 is attached to the image data for eight lines related to the partial image P3.
  • FIG. 36 shows an example of a signal output from the display controller 26 according to this modification when the orientation of the head mounted display 20 does not change and the orientation of the user's eyes does not change.
  • the orientation of the head-mounted display 20 does not change and the orientation of the user's eyes does not change, so the prediction processing circuit 29 does not perform the geometric deformation processing shown in FIGS. Therefore, the data signal DATA_OUT includes image data relating to the entire image P11 and the partial images P2 and P3, and does not include image data relating to the peripheral image P12.
  • a pulse occurs in the vertical synchronization signal VS_OUT, and the vertical period V starts (FIG. 36(A)). Further, a pulse is generated in the horizontal synchronization signal HS_OUT each time the horizontal period H starts (FIG. 36(B)).
  • the vertical data enable signal VDE_OUT changes from low level to high level (FIG. 36(C)).
  • the display controller 26 outputs 22 pieces of image data as the data signal DATA_OUT over 22 horizontal periods H (FIG. 36(D)).
  • the display controller 26 outputs image data relating to the entire image P11 and images relating to the partial images P2 and P3. Data is output as data signal DATA_OUT.
  • the 22 pieces of image data included in the data signal DATA_OUT correspond to the 2nd to 23rd rows of image data included in the image signal SP shown in FIGS. 34(B) and 35, respectively.
  • FIG. 36 shows data numbers NSP, N1 to N3 for convenience of explanation.
  • the display controller 26 drives a plurality of pixels PIX in the display panel 27 in units of 16 pixels PIX arranged in 4 rows and 4 columns based on the image data relating to the entire image P11 included in the data signal DATA_OUT. control to Further, the display controller 26 drives a plurality of pixels PIX in the display panel 27 in units of four pixels PIX arranged in two rows and two columns, based on data relating to the partial image P2 included in the data signal DATA_OUT. control to Further, the display controller 26 controls the plurality of pixels PIX in the display panel 27 to be driven in units of one pixel PIX based on the data related to the partial image P3 included in the data signal DATA_OUT.
  • FIG. 37 shows an example of the data signal DATA_OUT at timings t22 to t32 in FIG. 36 and the display driving operation based on the data signal DATA_OUT.
  • the display panel 27 performs the display drive operation for the four pixel lines L indicated by W4 in FIG. 37 during the period from timing t22 to t23.
  • the display controller 26 outputs image data including six pixel values of the entire image P11 as the data signal DATA_OUT.
  • the data number NSP of this image data is "2"
  • the data number N1 is "2”.
  • the display controller 26 sets the 1st to 4th pixel values among the 6 pixel values to pixel values indicating black.
  • the display panel 27 controls not to write pixel signals to the pixels PIX corresponding to the first to fourth pixel values.
  • FIG. 38 shows an example of the display driving operation for the four pixel lines L indicated by symbol W4 in FIG.
  • (C) shows the operation at timings t24 to t25.
  • the pixel signal generation circuit 32 writes pixel signals corresponding to the fifth and sixth pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
  • the display controller 26 In the next period from timing t23 to t24, the display controller 26 outputs image data including eight pixel values of the partial image P2 as the data signal DATA_OUT, as shown in FIG.
  • the data number NSP of this image data is "3" and the data number N2 is "1".
  • the pixel signal generation circuit 32 writes pixel signals corresponding to eight pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
  • the operation during the period from timing t24 to t25 is the same as the operation during the period from timing t23 to t24.
  • the pixel signal generation circuit 32 writes pixel signals corresponding to eight pixel values to the pixels PIX corresponding to these pixel values.
  • the pixel signal generation circuit 32 as shown in FIG. A pixel signal related to the entire image P11 or a pixel signal related to the partial image P2 is written to the pixels PIX of the .
  • the display panel 27 performs the display driving operation for the four pixel lines L indicated by reference numeral W5 in FIG. 37 during the period from timing t25 to t32.
  • the display controller 26 outputs image data including six pixel values of the entire image P11 as the data signal DATA_OUT.
  • the data number NSP of this image data is "5" and the data number N1 is "3".
  • the display controller 26 sets the 1st to 4th pixel values among the 6 pixel values to pixel values indicating black.
  • the display panel 27 controls not to write pixel signals to the pixels PIX corresponding to the first to fourth pixel values.
  • FIG. 39 shows an example of the display driving operation for the four pixel lines L indicated by symbol W5 in FIG.
  • C shows the operation at timing t27-t28
  • D shows the operation at timing t28-t29
  • E shows the operation at timing t29-t30
  • F shows the operation at timing t30 to t31
  • G shows the operation at timings t31 to t32.
  • the pixel signal generation circuit 32 writes pixel signals corresponding to the fifth and sixth pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
  • the display controller 26 In the next period from timing t26 to t27, the display controller 26 outputs image data including eight pixel values of the partial image P2 as the data signal DATA_OUT, as shown in FIG.
  • the data number NSP of this image data is "6" and the data number N2 is "3".
  • the display controller 26 sets the third to sixth pixel values among the eight pixel values to pixel values indicating black.
  • the display panel 27 controls not to write pixel signals to the pixels PIX corresponding to the third to sixth pixel values.
  • the pixel signal generation circuit 32 At timings t26 to t27, the pixel signal generation circuit 32 generates pixel signals corresponding to the 1st, 2nd, 7th, and 8th pixel values for the pixels corresponding to these pixel values. Write to PIX. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
  • the operation during the period from timing t27 to t28 is the same as the operation during the period from timing t26 to t27.
  • the pixel signal generation circuit 32 generates pixel signals corresponding to the 1st, 2nd, 7th, and 8th pixel values. Write to the pixel PIX that
  • the display controller 26 outputs image data including eight pixel values of the partial image P3 as the data signal DATA_OUT, as shown in FIG.
  • the data number NSP of this image data is "8" and the data number N3 is "1".
  • the pixel signal generation circuit 32 writes pixel signals corresponding to eight pixel values to the pixels PIX corresponding to these pixel values. Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
  • the pixel signal generation circuit 32 generates eight pixel A pixel signal corresponding to the value is written to the pixel PIX corresponding to these pixel values.
  • the pixel signal generation circuit 32 as shown in FIG. A pixel signal related to the entire image P11, a pixel signal related to the partial image P2, or a pixel signal related to the partial image P3 is written to the pixels PIX of the .
  • the display controller 26 and the display panel 27 operate in the same manner after this. Then, at timing t33, the vertical data enable signal VDE_OUT changes from high level to low level (FIG. 36(C)). Then, at timing t34, this vertical period V ends and the next vertical period V starts.
  • Second Embodiment> a display system 2 according to a second embodiment will be described. This embodiment differs from the first embodiment in the configuration of image data in the image signal SP.
  • symbol is attached
  • FIG. 40 shows a configuration example of the display system 2 according to this embodiment.
  • the display system 2 includes an image generation device 40 and a head mounted display 50 .
  • the image generation device 40 has an image generation circuit 41 .
  • the image generation circuit 41 has a transmission signal generation circuit 48 .
  • the transmission signal generation circuit 48 is configured to generate an image signal SP to be transmitted based on the image generated by the image generation circuit 41 .
  • FIG. 41 shows an operation example of the display system 2
  • (A) shows an image generated by the image generation circuit 41
  • (B) shows image data included in the image signal SP
  • (C) indicates the display driving operation in the head mounted display 50.
  • the transmission signal generation circuit 48 sequentially scans the image P1 generated by the image generation circuit 41 from left to right and from top to bottom. generates an image signal SP.
  • the transmission signal generation circuit 48 converts four pixel values arranged in two rows and two columns into one pixel value for a portion of the image P1 that does not overlap with the partial image P2, and converts the portion of the image P1 into a single pixel value.
  • the image data in the image signal SP is generated by outputting one pixel value as it is.
  • the transmission signal generation circuit 48 converts four pixel values arranged in two rows and two columns to 1 based on 64 pixel values included in the first and second rows of the image P1. 16 pixel values related to the peripheral image P12 are generated by converting to one pixel value. Then, the transmission signal generation circuit 48 generates eight pixel values representing black. Thereby, the transmission signal generation circuit 48 generates the image data of the first row in the image signal SP.
  • the transmission signal generation circuit 48 converts four pixel values arranged in two rows and two columns into one pixel value based on the 64 pixel values included in the third and fourth rows of the image P1. , one pixel value for the peripheral image P12, 14 pixel values for the entire image P11, and one pixel value for the peripheral image P12 are generated. Then, the transmission signal generation circuit 48 generates eight pixel values representing black. Thereby, the transmission signal generation circuit 48 generates the image data of the second row in the image signal SP.
  • the transmission signal generation circuit 48 is arranged in two rows and two columns based on 8 pixel values belonging to the 1st to 4th columns among the 64 pixel values included in the 5th and 6th rows of the image P1. By converting the resulting four pixel values into one pixel value, one pixel value for the peripheral image P12 and one pixel value for the entire image P11 are generated.
  • the transmission signal generation circuit 48 directly outputs 16 pixel values related to the partial image P2 among the 32 pixel values included in the fifth row of the image P1.
  • the transmission signal generating circuit 48 is arranged in two rows and two columns based on 20 pixel values belonging to the 21st to 32nd columns among the 64 pixel values included in the 5th and 6th rows of the image P1. By converting the four pixel values into one pixel value, five pixel values for the entire image P11 and one pixel value for the peripheral image P12 are generated. Thereby, the transmission signal generation circuit 48 generates the image data of the third row in the image signal SP.
  • the transmission signal generation circuit 48 generates two pixel values indicating black.
  • the transmission signal generation circuit 48 directly outputs 16 pixel values related to the partial image P2 among the 32 pixel values included in the 6th row of the image P1. Then, the transmission signal generation circuit 48 generates six pixel values representing black. Thereby, the transmission signal generation circuit 48 generates the image data of the fourth row in the image signal SP.
  • the transmission signal generation circuit 48 converts four pixel values arranged in two rows and two columns into one pixel value for a portion of the image P1 that does not overlap the partial image P2. Therefore, the converted image P1 does not include an image corresponding to the partial image P2.
  • the transmission signal generation circuit 48 converts a portion of the image P1 that does not overlap with the partial image P2 into an image P1 with a lower resolution.
  • the resolution of partial image P2 does not change. As a result, the resolution of the converted image P1 is lower than the resolution of the partial image P2.
  • the transmission signal generation circuit 48 generates the image signal SP by sequentially scanning from left to right and from top to bottom. For example, in the image signal SP, one or more pixel values relating to the image P1 and one or more pixel values relating to the partial image P2 are arranged alternately.
  • the transmission signal generation circuit 48 generates image data including a plurality of pixel values as shown in FIG. 41(B) based on the image generated by the image generation circuit 41.
  • This image data includes pixel values representing black.
  • the transmission signal generation circuit 48 generates an image signal SP including this image data and image position data indicating the position (parameters POSX, POSY) of the partial image P2 in the image P1.
  • FIG. 42 shows the transmission band in the display system 2.
  • the unshaded portion indicates the entire image P11
  • the shaded portion indicates the peripheral image P12
  • the dotted portion indicates the partial image P2.
  • Pixel values shaded with dark shading indicate black pixel values.
  • the image data included in the image signal SP includes 24 rows of image data in this example. For convenience of explanation, the data number NSP is given to the image data for 24 lines.
  • the display system 2 can reduce the amount of image data compared to the case where the image P1 before conversion is transmitted as it is.
  • the head mounted display 50 (FIG. 40) has a display controller 56.
  • Display controller 56 is configured to control the operation of display panel 27 based on the image data and image position data provided by processor 24 .
  • the display controller 56 has prediction processing circuitry 59 .
  • the prediction processing circuit 59 generates display image data by performing geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Configured.
  • FIG. 43 shows an example of signals input to the display controller 56.
  • (A) shows the waveform of the vertical synchronizing signal VS_IN
  • (B) shows the waveform of the horizontal synchronizing signal HS_IN
  • (C) shows the waveform of the horizontal synchronizing signal HS_IN.
  • the waveform of the vertical data enable signal VDE_IN is shown
  • (D) shows the data signal DATA_IN.
  • a pulse occurs in the vertical synchronization signal VS_IN, and the vertical period V starts (FIG. 43(A)).
  • a pulse is generated in the horizontal synchronization signal HS_IN each time the horizontal period H starts (FIG. 43(B)).
  • the vertical data enable signal VDE_IN changes from low level to high level (FIG. 43(C)).
  • the data signal DATA_IN is supplied over 24 horizontal periods H.
  • FIG. The data signal DATA_IN includes 24 image data corresponding to 24 horizontal periods H.
  • FIG. 44 shows an example of the data signal DATA_IN.
  • the second row of image data included in the image signal SP corresponds to the second image data among the 24 pieces of image data included in the data signal DATA_IN.
  • This image data includes one pixel value of the peripheral image P12, 14 pixel values of the entire image P11, one pixel value of the peripheral image P12, and eight pixel values representing black.
  • the third row of image data included in the image signal SP corresponds to the third image data among the 24 pieces of image data included in the data signal DATA_IN.
  • This image data includes one pixel value related to the peripheral image P12, one pixel value related to the whole image P11, 16 pixel values related to the partial image P2, five pixel values related to the whole image P11, and one pixel value related to the peripheral image P12.
  • the image data in the fourth row included in the image signal SP corresponds to the fourth image data among the 24 pieces of image data included in the data signal DATA_IN.
  • This image data includes two pixel values representing black, 16 pixel values relating to the partial image P2, and six pixel values representing black.
  • the vertical data enable signal VDE_IN changes from high level to low level (FIG. 43(C)). Then, at timing t44, this vertical period V ends and the next vertical period V starts.
  • the prediction processing circuit 59 of the display controller 56 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Generate.
  • the display controller 56 then generates a vertical synchronizing signal VS_OUT, a horizontal synchronizing signal HS_OUT, a vertical data enable signal VDE_OUT, and a data signal DATA_OUT based on this display image data.
  • FIG. 45 shows an example of signals output from the display controller 56 when the orientation of the head mounted display 50 does not change and the orientation of the user's eyes does not change.
  • (B) shows the waveform of the horizontal synchronization signal HS_OUT
  • (C) shows the waveform of the vertical data enable signal VDE_OUT
  • (D) shows the waveform of the data signal DATA_OUT.
  • the non-shaded portion indicates the entire image P11
  • the dotted portion indicates the partial image P2. That is, in this example, the orientation of the head-mounted display 50 does not change and the orientation of the user's eyes does not change, so the prediction processing circuit 59 does not perform the geometric deformation processing shown in FIGS. Therefore, the data signal DATA_OUT includes image data relating to the entire image P11 and the partial image P2, and does not include image data relating to the peripheral image P12.
  • a pulse occurs in the vertical synchronization signal VS_OUT, and the vertical period V starts (FIG. 45(A)).
  • a pulse is generated in the horizontal synchronization signal HS_OUT each time the horizontal period H starts (FIG. 45(B)).
  • the vertical data enable signal VDE_OUT changes from low level to high level (FIG. 45(C)).
  • the display controller 56 outputs 22 pieces of image data as the data signal DATA_OUT over 22 horizontal periods H (FIG. 45(D)).
  • the display controller 56 converts the image data relating to the entire image P11 and the image data relating to the partial image P2 to , as a data signal DATA_OUT.
  • the 22 image data included in the data signal DATA_OUT correspond to the 22nd to 23rd image data included in the data signal DATA_IN (FIG. 43).
  • the 22 pieces of image data included in the data signal DATA_OUT correspond to the 2nd to 23rd rows of image data included in the image signal SP shown in FIGS.
  • FIG. 45 shows the data number NSP for convenience of explanation.
  • the display controller 56 drives the plurality of pixels PIX in the display panel 27 in units of four pixels PIX arranged in two rows and two columns, based on image data relating to the entire image P11 included in the data signal DATA_OUT. to control. Further, the display controller 56 controls the plurality of pixels PIX in the display panel 27 to be driven in units of one pixel PIX based on the data related to the partial image P2 included in the data signal DATA_OUT.
  • FIG. 46 shows an example of the data signal DATA_OUT at timings t52 to t55 in FIG. 45 and the display driving operation based on the data signal DATA_OUT.
  • the display panel 27 performs the display drive operation for the two pixel lines L indicated by reference numeral W6 in FIG. 46 during the period from timing t52 to t53.
  • the display controller 56 outputs image data including 14 pixel values of the entire image P11 and 8 pixel values representing black as data signals. Output as DATA_OUT.
  • the pixel signal generation circuit 32 writes pixel signals relating to the entire image P11 to the two pixel lines L indicated by reference numeral W6 in FIG.
  • the display panel 27 performs the display driving operation for the two pixel lines L indicated by W7 in FIG. 46 during the period from timing t53 to t55.
  • the display controller 56 As shown in FIG. and five pixel values of the entire image P11 from the 18th to 22nd pixel values are output as the data signal DATA_OUT.
  • the data number NSP of this image data is "3". That is, as shown in FIG. 44, the image data with the data number NSP of "3" included in the image signal SP has one pixel value associated with the peripheral image P12 and one pixel value associated with the entire image P11. , 16 pixel values of the partial image P2, 5 pixel values of the full image P11, and 1 pixel value of the peripheral image P12.
  • One pixel value of the image P11, 16 pixel values of the partial image P2, and 5 pixel values of the full image P11 are output as the data signal DATA_OUT.
  • FIG. 47 shows an example of the display driving operation for the two pixel lines L indicated by symbol W7 in FIG. shows the behavior in As shown in FIG. 47A, at timings t53 to t54, the pixel signal generation circuit 32 writes pixel signals corresponding to the 1st to 22nd pixel values to the pixels PIX corresponding to these pixel values.
  • the display controller 56 In the next period from timing t54 to t55, the display controller 56, as shown in FIG. and six pixel values representing black at the 19th to 24th pixel values are output as the data signal DATA_OUT.
  • the data number NSP of this image data is "4". That is, as shown in FIG. 44, the image data with the data number NSP of "4" included in the image signal SP has two pixel values representing black and 16 pixel values of the partial image P2. , and 6 pixel values indicating black, display controller 56 outputs these 2 pixel values indicating black, the 16 pixel values associated with partial image P2, and the 6 pixel values indicating black. are output as the data signal DATA_OUT.
  • the pixel signal generation circuit 32 At timings t54 to t55, the pixel signal generation circuit 32 generates pixel signals corresponding to 16 pixel values of the 3rd to 18th pixels to the pixel PIX corresponding to these pixel values. write to Also, the pixel signal generation circuit 32 does not write pixel values to pixels PIX other than these pixels PIX.
  • the pixel signal generation circuit 32 As shown in FIGS. 47(A) and 47(B), during the period of timings t53 to t55, the pixel signal generation circuit 32 generates all of the two pixel lines L indicated by the symbol W7 in FIG. A pixel signal related to the entire image P11 or a pixel signal related to the partial image P2 is written to the pixels PIX of the .
  • the display controller 56 and the display panel 27 operate in the same manner after this. Then, at timing t56, the vertical data enable signal VDE_OUT changes from high level to low level (FIG. 45(C)). Then, at timing t57, this vertical period V ends and the next vertical period V starts.
  • the receiving circuit 21 receives the first image data representing the whole image P11 with the first resolution and the second image data outside the whole image P11 with the first resolution or lower.
  • third image data representing a partial image P2 of a third resolution higher than the first resolution which is an image of an image range narrower than the overall image P11. received.
  • the acceleration sensor 22 detects changes in posture of the head mounted display 50 .
  • the display controller 56 performs geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor 22 to generate display image data. 1 image processing.
  • the pixel signal generation circuit 32 and the scanning circuit 33 drive the pixel array 31 capable of displaying an image within the same image range as that of the entire image P11. As a result, latency can be reduced in the head mounted display 50 as in the head mounted display 20 according to the first embodiment.
  • Modifications 1-1, 1-2, and 1-3 of the first embodiment may be applied to the display system 2 according to the embodiment.
  • FIG. 48 shows a configuration example of the display system 3 according to this embodiment.
  • the display system 3 includes an image generation device 60 and a head mounted display 70 .
  • the image generation device 60 has an image generation circuit 61 .
  • the image generation circuit 61 is configured to generate an image to be displayed on the head mounted display 70 by performing predetermined processing such as rendering processing.
  • the image generating circuit 61 generates an entire image P11 showing the scenery in the virtual space according to the direction of the head mounted display 70 based on the detection result of the acceleration sensor 22 included in the data supplied from the receiving circuit 13. .
  • the image generation circuit 61 also generates a peripheral image P12, which is an image outside the entire image P11.
  • the entire image P11 and the peripheral image P12 constitute the image P1.
  • the image generation circuit 61 selects, based on the detection results of the eye tracking sensor 23 included in the data supplied from the reception circuit 13, the user is designed to generate a partial image P2 showing the part viewed by.
  • FIG. 49 shows an example of the image P1 and the partial image P2 generated by the image generation circuit 61.
  • the image P1 is an image corresponding to the image P1 after conversion by the transmission signal generation circuit 18 in the first embodiment, and is an image with a low resolution.
  • the partial image P2 is an image with high resolution.
  • each pixel in image P1 corresponds to four pixels PIX on head-mounted display 70
  • each pixel in partial image P2 corresponds to one pixel PIX on head-mounted display 70.
  • the number of pixels in image P1 and the number of pixels in partial image P2 are made equal to each other.
  • the image generation circuit 61 generates an image signal SP to be transmitted based on such an image.
  • the transmission circuit 12 (FIG. 48) transmits the image signal SP supplied from the image generation circuit 61 to the head mounted display 70.
  • FIG. 48 transmits the image signal SP supplied from the image generation circuit 61 to the head mounted display 70.
  • the display system 3 can halve the amount of image data compared to the case where the pixel values of all the pixels PIX in the display panel 27 are transmitted as they are.
  • the head mounted display 70 (FIG. 48) has a display controller 76.
  • Display controller 76 is configured to control the operation of display panel 27 based on the image data and image position data provided by processor 24 .
  • the display controller 76 has prediction processing circuitry 79 .
  • the prediction processing circuit 79 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Configured.
  • the display controller 76 controls the operation of the display panel 27 based on this display image data.
  • FIG. 51 shows an operation example of the head-mounted display 70
  • (A) shows image data included in the image signal SP
  • (B) shows the display driving operation in the head-mounted display 70.
  • the prediction processing circuit 79 of the display controller 76 generates display image data by geometrically transforming the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Generate. Then, the display controller 76 drives the plurality of pixels PIX in the display panel 27 in units of four pixels PIX based on the display image data generated based on the image P1. Further, based on the display image data generated based on the partial image P2, the display controller 76 converts the plurality of pixels PIX at positions corresponding to the partial image P2 out of the plurality of pixels PIX on the display panel 27 to 1 One pixel PIX is driven as a unit.
  • FIG. 52 shows an operation example of the head-mounted display 70
  • (A) shows the waveform of the vertical synchronization signal VS_IN input to the display controller 76
  • (B) shows the data input to the display controller 76
  • (C) shows the operation of the display panel 27.
  • the frame rate of display panel 27 is 120 Hz.
  • a pulse occurs in the vertical synchronization signal VS_IN, and the vertical period V starts (FIG. 52(A)). Then, the image data of the image P1 is supplied to the display controller 76 during the period from timing t61 to t62, and the image data of the partial image P2 is supplied to the display controller 76 during the period from timing t62 to t65 (FIG. 52 (B )).
  • the display controller 76 generates display image data based on the image data of the entire image P11 and the image data of the partial image P2 in the supplied image P1. During the period from timing t63 to t67, the display controller 76 controls the operation of the display panel 27 based on the generated display image data.
  • the scanning circuit 33 of the display panel 27 scans from the bottom to the top of the pixel array 31 using one pixel line L or two pixel lines L as a scanning unit.
  • the scanning speed is fast during the period from timing t63 to t65 and the period from timing t66 to t67, and the scanning speed is slow during the period from timing t65 to t66. That is, during the period from timing t65 to t66, the scanning circuit 33 scans a plurality of pixel lines L corresponding to the position of the partial image P2. In this case, since the pixel signal generation circuit 32 scans one pixel line L as a scanning unit, the scanning speed is slow.
  • the pixel signal generation circuit 32 scans two pixel lines L as a scanning unit, so the scanning speed is high. In this way, in the display panel 27, scanning is performed with one pixel line L or two pixel lines L as the scanning unit. can be lowered, and power consumption can be reduced.
  • the pixel PIX to which the pixel signal is written emits light for a predetermined period after the pixel signal is written in this example.
  • the display panel 27 displays an image.
  • the prediction processing circuit 79 performs prediction processing based on the image data of the image P1 and the partial image P2 supplied to the display controller 76 to generate display image data.
  • the display controller 76 controls the operation of the display panel 27 based on the generated display image data.
  • the receiving circuit 21 receives the first image data representing the whole image P11 with the first resolution and the second image data outside the whole image P11 with the first resolution or lower.
  • Second image data representing a peripheral image P12 of resolution
  • third image data representing a partial image P2 of a third resolution higher than the first resolution, which is an image of an image range narrower than the overall image P11. received.
  • the acceleration sensor 22 is designed to detect changes in the orientation of the head mounted display 70 .
  • the display controller 76 performs geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor 22 to generate display image data. 1 image processing.
  • the pixel signal generation circuit 32 and the scanning circuit 33 drive the pixel array 31 capable of displaying an image within the same image range as that of the entire image P11. As a result, latency can be reduced in the head mounted display 70 as in the head mounted display 20 according to the first embodiment.
  • Modifications 1-2 and 1-3 of the first embodiment may be applied to the display system 3 according to the embodiment.
  • a display system 4 according to a fourth embodiment will be described. This embodiment differs from the first embodiment in the configuration of image data in the image signal SP.
  • symbol is attached
  • FIG. 53 shows a configuration example of the display system 4 according to this embodiment.
  • the display system 4 includes an image generation device 80 and a head mounted display 90 .
  • the image generation device 80 has an image generation circuit 81 .
  • the image generation circuit 81 is configured to generate an image to be displayed on the head mounted display 90 by performing predetermined processing such as rendering processing.
  • the image generation circuit 81 generates an entire image P11 showing the scenery in the virtual space according to the direction of the head mounted display 90 based on the detection result of the acceleration sensor 22 included in the data supplied from the reception circuit 13. .
  • the image generation circuit 81 also generates a peripheral image P12, which is an image outside the entire image P11.
  • the entire image P11 and the peripheral image P12 constitute the image P1.
  • the image generation circuit 81 selects, based on the detection result of the eye tracking sensor 23 included in the data supplied from the reception circuit 13, the user's is designed to generate a partial image P2 showing the part viewed by.
  • FIG. 54 shows an example of the image P1 and the partial image P2 generated by the image generation circuit 81.
  • the image P1 is an image corresponding to the image P1 after conversion by the transmission signal generation circuit 18 in the first embodiment, and is an image with a low resolution.
  • the partial image P2 is an image with high resolution.
  • the partial image P2 is an image with high resolution.
  • each pixel in image P1 corresponds to four pixels PIX on head-mounted display 90
  • each pixel in partial image P2 corresponds to one pixel PIX on head-mounted display 90.
  • the number of pixels in image P1 and the number of pixels in partial image P2 are made equal to each other.
  • the image generation circuit 81 generates an image signal SP to be transmitted based on such an image.
  • the transmission circuit 12 ( FIG. 53 ) transmits the image signal SP supplied from the image generation circuit 81 to the head mounted display 90 .
  • FIG. 55 schematically shows an example of the image signal SP.
  • the transmission circuit 12 transmits image data relating to the image P1 and image data relating to the partial image P2 in a time division manner. Specifically, the transmission circuit 12 alternately transmits the image data related to the image P1 and the image data related to the partial image P2.
  • the head mounted display 90 (FIG. 53) has a display controller 96.
  • Display controller 96 is configured to control the operation of display panel 27 based on the image data and image position data provided by processor 24 .
  • the display controller 96 has prediction processing circuitry 99 .
  • the prediction processing circuit 99 generates display image data by performing geometric deformation processing on the image data supplied from the processor 24 based on the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23. Configured.
  • the display controller 96 controls the operation of the display panel 27 based on this display image data.
  • FIG. 56 shows an example of the display operation of the head-mounted display 90.
  • FIG. Head-mounted display 90 alternately receives image data relating to image P1 and image data relating to partial image P2.
  • the display controller 96 controls the plurality of pixels PIX on the display panel 27 to drive four pixels PIX as a unit based on the image data related to the image P1. Thereby, the display panel 27 displays the display image P21 related to the low-resolution image P1.
  • the display controller 96 converts the plurality of pixels PIX arranged in the region corresponding to the partial image P2 out of the plurality of pixels PIX on the display panel 27 into one pixel. It is controlled to drive in units of PIX. Thereby, the display panel 27 displays the display image P22 related to the high-resolution partial image P2.
  • FIG. 57 shows an operation example of the head-mounted display 90
  • (A) shows the waveform of the vertical synchronization signal VS_IN input to the display controller 96
  • (B) shows the data input to the display controller 96
  • (C) shows the operation of the display panel 27.
  • a pair of image P1 and partial image P2 is supplied at period T1.
  • Each of the image P1 and the partial image P2 is supplied at a period T2.
  • a pulse occurs in the vertical synchronization signal VS_IN, and the vertical period V starts ((A) in FIG. 57). Then, the image data of the image P1 is supplied to the display controller 96 during the period from timing t71 to t72, and the image data of the partial image P2 is supplied to the display controller 96 during the period from timing t73 to t77 (FIG. 57 (B )).
  • the display controller 96 generates display image data based on the image data of the entire image P11 in the supplied image P1. During the period from timing t73 to t74, the display controller 96 controls the operation of the display panel 27 based on the generated display image data.
  • the scanning circuit 33 of the display panel 27 performs scanning from the bottom to the top of the pixel array 31 using two pixel lines L as scanning units.
  • the pixel PIX to which the pixel signal is written emits light for a predetermined period after the pixel signal is written in this example.
  • the display panel 27 displays an image.
  • the display controller 96 generates display image data based on the supplied image data of the partial image P2. During the period from timing t75 to t78, the display controller 96 controls the operation of the display panel 27 based on the generated display image data.
  • the scanning circuit 33 of the display panel 27 scans a plurality of pixels PIX at positions corresponding to the partial image P2 in the pixel array 31, using one pixel line L as a scanning unit.
  • the pixels PIX of the pixel line L to which the pixels PIX to which the pixel signals are written emit light for a predetermined period after the pixel signals are written in this example.
  • the pixels PIX in the pixel line L near the bottom to which the pixel signals were not written emit light in the same period as the pixels PIX to which the pixel signals were written first, and the pixels near the top to which the pixel signals were not written.
  • the pixels PIX on the line L emit light in the same period as the pixel PIX to which the pixel signal was lastly written.
  • the display panel 27 displays an image.
  • the prediction processing circuit 99 performs prediction processing based on the image P1 supplied to the display controller 96 to generate display image data.
  • the display controller 96 controls the operation of the display panel 27 based on the generated display image data.
  • the prediction processing circuit 99 performs prediction processing based on the partial image P2 supplied to the display controller 96 to generate display image data.
  • the display controller 96 controls the operation of the display panel 27 based on the generated display image data.
  • the receiving circuit 21 receives the first image data representing the whole image P11 with the first resolution and the second image data outside the whole image P11 with the first resolution or lower.
  • Second image data representing a peripheral image P12 of resolution
  • third image data representing a partial image P2 of a third resolution higher than the first resolution, which is an image of an image range narrower than the overall image P11.
  • the acceleration sensor 22 is designed to detect changes in the orientation of the head mounted display 90 .
  • the display controller 96 performs geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the acceleration sensor 22 to generate display image data. 1 image processing.
  • the pixel signal generation circuit 32 and the scanning circuit 33 drive the pixel array 31 capable of displaying an image within the same image range as that of the entire image P11. As a result, latency can be reduced in the head mounted display 90 as in the head mounted display 20 according to the first embodiment.
  • Modifications 1-2 and 1-3 of the first embodiment may be applied to the display system 4 according to the above embodiment.
  • FIG. 58 shows an example of the appearance of the head mounted display 110.
  • the head-mounted display 110 has, for example, ear hooks 112 on both sides of an eyeglass-shaped display 111 to be worn on the user's head.
  • the technology according to the above embodiments and the like can be applied to such a head mounted display 110 .
  • FIG. 59 shows an example of the appearance of another head mounted display 120.
  • the head-mounted display 120 is a transmissive head-mounted display having a body portion 121 , an arm portion 122 and a lens barrel portion 123 .
  • This head mounted display 120 is attached to glasses 128 .
  • the body section 121 has a control board and a display section for controlling the operation of the head mounted display 120 .
  • the display section emits image light for a display image.
  • the arm portion 122 connects the body portion 121 and the lens barrel portion 123 and supports the lens barrel portion 123 .
  • the lens barrel section 123 projects the image light supplied from the body section 121 via the arm section 122 toward the user's eyes via the lens 129 of the spectacles 128 .
  • the technology according to the above embodiments and the like can be applied to such a head mounted display 120 .
  • the head mounted display 120 is a so-called light guide plate type head mounted display, it is not limited to this, and may be, for example, a so-called bird bath type head mounted display.
  • This Birdbus-type head-mounted display includes, for example, a beam splitter and a partially transparent mirror. The beam splitter outputs light encoded with image information towards a mirror, which reflects the light towards the user's eye. Both the beam splitter and the partially transparent mirror are partially transparent. This allows light from the surrounding environment to reach the user's eyes.
  • 60A and 60B show an example of the appearance of the digital still camera 130, FIG. 60A showing a front view and FIG. 60B showing a rear view.
  • This digital still camera 130 is a lens-interchangeable single-lens reflex camera, and includes a camera body 131, a photographing lens unit 132, a grip 133, a monitor 134, and an electronic viewfinder 135. have.
  • the imaging lens unit 312 is an interchangeable lens unit, and is provided near the center of the front surface of the camera body 311 .
  • the grip portion 133 is provided on the front left side of the camera main body portion 311, and the photographer grips this grip portion 133. As shown in FIG.
  • the monitor 134 is provided on the left side of the center of the rear surface of the camera body 131 .
  • the electronic viewfinder 135 is provided above the monitor 14 on the back of the camera body 131 . By looking through the electronic viewfinder 135, the photographer can view the optical image of the subject guided from the photographing lens unit 132 and determine the composition.
  • the technology according to the above embodiments and the like can be applied to the electronic viewfinder 135 .
  • FIG. 61 shows an example of the appearance of the television device 140.
  • Television apparatus 140 has image display screen portion 141 including front panel 142 and filter glass 143 .
  • the technology according to the above embodiments and the like can be applied to the video display screen unit 141 .
  • FIG. 62 shows an example of the appearance of smartphone 150 .
  • the smartphone 150 has a display unit 151 that displays various types of information, and an operation unit 152 that includes buttons and the like for receiving operation input by the user.
  • the technology according to the above embodiments and the like can be applied to this display unit 151 .
  • FIG. 63A and 63B show a configuration example of a vehicle to which the technology of the present disclosure is applied.
  • FIG. 63A shows an example of the inside of the vehicle viewed from the rear of the vehicle 200.
  • 1 shows an example of the interior of a vehicle viewed from the left rear of the vehicle.
  • the vehicle of FIGS. 63A and 63B has a center display 201, a console display 202, a head-up display 203, a digital rear mirror 204, a steering wheel display 205, and a rear entertainment display 106.
  • the center display 201 is arranged on the dashboard 261 at a location facing the driver's seat 262 and the front passenger's seat 263 .
  • FIG. 63A shows an example of a horizontally elongated center display 201 extending from the driver's seat 262 side to the passenger's seat 263 side, but the screen size and placement location of the center display 201 are not limited to this.
  • Center display 201 can display information detected by various sensors. As a specific example, the center display 201 displays an image captured by an image sensor, an image of the distance to obstacles in front of and to the sides of the vehicle measured by a ToF sensor, and the body temperature of a passenger detected by an infrared sensor. can be displayed.
  • Center display 201 can be used, for example, to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information.
  • Safety-related information is information based on sensor detection results, such as dozing off detection, looking away detection, tampering detection by children in the car, seatbelt wearing status, and occupant abandonment detection.
  • the operation-related information is information of a gesture related to the operation of the occupant detected using a sensor. Gestures may include operations of various facilities in the vehicle, such as operations of an air conditioner, a navigation device, an AV (Audio Visual) device, a lighting device, and the like.
  • the lifelog includes lifelogs of all crew members. For example, the lifelog includes activity records of each passenger. By acquiring and storing the lifelog, it is possible to check what kind of condition the occupant was in when the accident occurred.
  • Health-related information includes occupant body temperature detected using a temperature sensor and occupant health information inferred based on the detected body temperature. Alternatively, information on the health condition of the occupant may be inferred based on the occupant's face imaged by an image sensor. Also, information on the health condition of the crew member may be estimated based on the content of the crew member's response obtained by having a conversation with the crew member using automatic voice.
  • the authentication/identification-related information includes information such as a keyless entry function that performs face authentication using a sensor, and a seat height and position automatic adjustment function for face identification.
  • the entertainment-related information includes operation information of the AV apparatus by the passenger detected by the sensor, content information to be displayed suitable for the passenger detected and recognized by the sensor, and the like.
  • the console display 202 can be used, for example, to display lifelog information.
  • Console display 202 is located near shift lever 265 on center console 264 between driver's seat 262 and passenger's seat 263 .
  • a console display 202 is also capable of displaying information sensed by various sensors. Also, the console display 202 may display an image of the surroundings of the vehicle captured by an image sensor, or may display an image of the distance to obstacles around the vehicle.
  • the head-up display 203 is virtually displayed behind the windshield 266 in front of the driver's seat 262 .
  • the heads-up display 203 can be used to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information, for example. Since the head-up display 203 is often placed virtually in front of the driver's seat 262, it displays information directly related to vehicle operation, such as vehicle speed, fuel level, and battery level. Suitable for
  • the digital rear mirror 204 can display not only the rear of the vehicle, but also the state of the passengers in the rear seats, so it can be used, for example, to display the lifelog information of the passengers in the rear seats.
  • the steering wheel display 205 is arranged near the center of the steering wheel 267 of the vehicle.
  • Steering wheel display 205 can be used, for example, to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information.
  • life log information such as the driver's body temperature and information regarding the operation of AV equipment and air conditioning equipment.
  • the rear entertainment display 206 is attached to the rear side of the driver's seat 262 and the front passenger's seat 263, and is for viewing by passengers in the rear seats.
  • Rear entertainment display 206 can be used, for example, to display at least one of safety-related information, operation-related information, lifelogs, health-related information, authentication/identification-related information, and entertainment-related information.
  • the rear entertainment display 206 may display, for example, information relating to the operation of AV equipment and air conditioning equipment, or the results of measuring the body temperature of passengers in the rear seats with the temperature sensor 5 .
  • center display 201 console display 202, head-up display 203, digital rear mirror 204, steering wheel display 205, and rear entertainment display 206.
  • the image generation device 10 generates the image signal SP, and the head-mounted display 20 displays an image based on this image signal SP.
  • the head mounted display 220 may generate an image signal SP and display an image based on this image signal SP.
  • This head mounted display 220 comprises a processor 224 and a receiving circuit 221 .
  • the processor 224 has an image generation circuit 211 and a transmission circuit 212 .
  • the image generation circuit 211 Based on the detection result of the acceleration sensor 22, the image generation circuit 211 generates an entire image P11 showing the scenery in the virtual space according to the orientation of the head mounted display 220.
  • the image generation circuit 211 also generates a peripheral image P12, which is an image outside the entire image P11. In addition, based on the detection result of the eye tracking sensor 23, the image generation circuit 211 identifies a partial image P2 representing the portion viewed by the user in the scenery corresponding to the orientation of the head-mounted display 220 in the virtual space. do.
  • the image generation circuit 211 has a transmission signal generation circuit 218 .
  • the transmission signal generation circuit 218 is configured to generate an image signal SP to be transmitted based on the image generated by the image generation circuit 211 .
  • the transmission circuit 212 is configured to transmit the image signal SP supplied from the image generation circuit 211 to the display controller 26 .
  • the processor 224 is also configured to send a detection signal SD including the detection result of the acceleration sensor 22 and the detection result of the eye tracking sensor 23 to the display controller 26 .
  • the receiving circuit 221 is configured to receive the image signal SP transmitted from the processor 224 .
  • This technology can be applied not only to the closed systems shown in the above embodiments and the like, but also to video see-through systems and mixed reality systems.
  • This technology can also be applied to various simulators such as flight simulators, gaming, and projection mapping.
  • the display panel 27 shown in FIG. 10 is used, but the present invention is not limited to this.
  • the display panel 27E according to this modification will be described in detail below.
  • FIG. 65 shows a configuration example of the display panel 27E.
  • the display panel 27E has a pixel array 31E, a pixel signal generation circuit 32, a scanning circuit 33, and a drive circuit 34E.
  • the pixel array 31E has multiple signal lines SGL, multiple control lines CTL, multiple control lines WSEN, and multiple pixels PIX.
  • the plurality of control lines WSEN extend in the vertical direction (the vertical direction in FIG. 65) and are arranged side by side in the horizontal direction (the horizontal direction in FIG. 65).
  • Each of the plurality of control lines WSEN supplies control signals generated by the drive circuit 34E to the pixels PIX.
  • the drive circuit 34E generates a control signal and applies the generated control signal to a plurality of control lines WSEN, thereby selecting a pixel PIX to which the pixel signal generated by the pixel signal generation circuit 32 is written, out of the plurality of pixels PIX. It is configured to control which pixels PIX are written to.
  • FIG. 66 shows a configuration example of the pixel PIX.
  • a pixel array having the pixels PIX has a control line WSL. Control lines CTL shown in FIG. 65 include this control line WSL.
  • the pixel PIX has transistors MN01 to MN03, a capacitor C01, and a light emitting element EL.
  • the transistors MN01 to MN03 are N-type MOSFETs (Metal Oxide Semiconductor Field Effect Transistors).
  • the transistor MN01 has a gate connected to the control line WSEN, a drain connected to the signal line SGL, and a source connected to the drain of the transistor MN02.
  • the transistor MN02 has a gate connected to the control line WSL, a drain connected to the source of the transistor MN01, and a source connected to the gate of the transistor MN03 and the capacitor C01.
  • One end of the capacitor C01 is connected to the source of the transistor MN02 and the gate of the transistor MN03, and the other end is connected to the source of the transistor MN03 and the anode of the light emitting element EL.
  • the transistor MN03 has a gate connected to the source of the transistor MN02 and one end of the capacitor C01, a drain connected to the power supply line VCCP, and a source connected to the other end of the capacitor C01 and the anode of the light emitting element EL.
  • the light emitting element EL is, for example, an organic EL light emitting element, and has an anode connected to the source of the transistor MN03 and the other end of the capacitor C01, and a cathode connected to the power supply line Vcath.
  • the voltage across the capacitor C01 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MN01 and MN02.
  • the transistor MN03 causes a current corresponding to the voltage across the capacitor C01 to flow through the light emitting element EL.
  • the light emitting element EL emits light based on the current supplied from the transistor MN03.
  • the pixel PIX emits light with luminance according to the pixel signal.
  • the display controller 26 displays a plurality of pixels PIX on the display panel 27E based on the image data of the entire image P1 during the period from timing t13 to t14, as shown in FIG. 17(A). Control is performed to drive four pixels PIX as a unit.
  • the scanning circuit 33 of the display panel 27E scans the plurality of pixels PIX with two pixel lines L as the scanning unit US.
  • the drive circuit 34E activates (high level) all the control lines WSEN.
  • the pixel signal generation circuit 32 applies the same pixel signal to two signal lines SGL adjacent to each other. As a result, the same pixel signal is written to the four pixels PIX in the two pixel lines L selected. In this manner, the display panel 27E drives a plurality of pixels PIX with four pixels PIX as a unit UD.
  • the display controller 26 controls the display panel 27E based on the image data of the partial image P2 and the data on the position of this partial image P2 during the period from timing t14 to t15.
  • the plurality of pixels PIX in are controlled to be driven in units of one pixel PIX.
  • the scanning circuit 33 of the display panel 27E scans the plurality of pixels PIX with one pixel line L as the scanning unit US.
  • the drive circuit 34E activates (high level) the plurality of control lines WSEN related to the area corresponding to the partial image P2, and deactivates (low level) the other plurality of control lines WSEN.
  • the pixel signal generation circuit 32 applies a plurality of pixel signals to a plurality of signal lines SGL related to a region corresponding to the partial image P2 among the plurality of signal lines SGL.
  • a plurality of pixel signals are written to a plurality of pixels PIX related to the area corresponding to the partial image P2.
  • pixel signals are not written to the plurality of pixels PIX related to areas other than the area corresponding to the partial image P2.
  • the display panel 27E drives a plurality of pixels PIX with one pixel PIX as a unit UD.
  • the display controller 26 controls the display panel 27E based on the image data of the partial image P2 and the data on the position of the partial image P2 during the period from timing t15 to t16.
  • the plurality of pixels PIX in the plurality of pixels PIX arranged in the region corresponding to the partial image P2 are controlled to be driven in units of one pixel PIX. This operation is the same as the operation during the period from timing t14 to t15 shown in FIG. 17(B).
  • the configuration of the pixel PIX is not limited to the example of FIG. Some examples are given below.
  • FIG. 67 shows another configuration example of the pixel PIX.
  • a pixel array having this pixel PIX has a control line WSL, a control line DSL, and a control line AZSL.
  • Control lines CTL shown in FIG. 65 include these control lines WSL, DSL and AZSL.
  • This pixel PIX has transistors MP11 and MP12, capacitors C11 and C12, transistors MP13 to MP15, and a light emitting element EL.
  • the transistors MP11 to MP15 are P-type MOSFETs.
  • the transistor MP11 has a gate connected to the control line WSEN, a source connected to the signal line SGL, and a drain connected to the source of the transistor MP12.
  • the transistor MP12 has a gate connected to the control line WSL, a source connected to the drain of the transistor MP11, and a drain connected to the gate of the transistor MP14 and the capacitor C12.
  • One end of the capacitor C11 is connected to the power supply line VCCP, and the other end is connected to the capacitor C12, the drain of the transistor MP13, and the source of the transistor MP14.
  • One end of capacitor C12 is connected to the other end of capacitor C11, the drain of transistor MP13, and the source of transistor MP14, and the other end is connected to the drain of transistor MP12 and the gate of transistor MP14.
  • the transistor MP13 has a gate connected to the control line DSL, a source connected to the power supply line VCCP, and a drain connected to the source of the transistor MP14, the other end of the capacitor C11, and one end of the capacitor C12.
  • the transistor MP14 has a gate connected to the drain of the transistor MP12 and the other end of the capacitor C12, a source connected to the drain of the transistor MP13, the other end of the capacitor C11 and one end of the capacitor C12, and a drain connected to the anode of the light emitting element EL and the transistor.
  • the transistor MP15 has a gate connected to the control line AZSL, a source connected to the drain of the transistor MP14 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
  • the voltage across the capacitor C12 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MP11 and MP12.
  • the transistor MP13 is turned on and off based on the signal on the control line DSL.
  • the transistor MP14 causes a current corresponding to the voltage across the capacitor C12 to flow through the light emitting element EL while the transistor MP13 is on.
  • the light emitting element EL emits light based on the current supplied from the transistor MP14.
  • the pixel PIX emits light with luminance according to the pixel signal.
  • the transistor MP15 is turned on and off based on the signal on the control line AZSL. While the transistor MP15 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
  • FIG. 68 shows another configuration example of the pixel PIX.
  • a pixel array having this pixel PIX has a control line WSL, a control line DSL, and a control line AZSL.
  • Control lines CTL shown in FIG. 65 include these control lines WSL, DSL and AZSL.
  • This pixel PIX has transistors MN21 and MN22, a capacitor C21, transistors MN23 to MN25, and a light emitting element EL.
  • the transistors MN21 to MN25 are N-type MOSFETs.
  • the transistor MN21 has a gate connected to the control line WSEN, a drain connected to the signal line SGL, and a source connected to the drain of the transistor MN22.
  • the transistor MN22 has a gate connected to the control line WSL, a drain connected to the source of the transistor MN21, and a source connected to the gate of the transistor MN24 and the capacitor C21.
  • One end of the capacitor C21 is connected to the source of the transistor MN22 and the gate of the transistor MN24, and the other end is connected to the source of the transistor MN24, the drain of the transistor MN25 and the anode of the light emitting element EL.
  • the transistor MN23 has a gate connected to the control line DSL, a drain connected to the power supply line VCCP, and a source connected to the drain of the transistor MN24.
  • the gate of transistor MN24 is connected to the source of transistor MN22 and one end of capacitor C21, the drain is connected to the source of transistor MN23, and the source is connected to the other end of capacitor C21, the drain of transistor MN25, and the anode of light emitting element EL.
  • the transistor MN25 has a gate connected to the control line AZSL, a drain connected to the source of the transistor MN24, the other end of the capacitor C21 and the anode of the light emitting element EL, and a source connected to the power supply line VSS.
  • the voltage across the capacitor C21 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MN21 and MN22.
  • the transistor MN23 is turned on and off based on the signal on the control line DSL.
  • the transistor MN24 causes a current corresponding to the voltage across the capacitor C21 to flow through the light emitting element EL while the transistor MN23 is on.
  • the light emitting element EL emits light based on the current supplied from the transistor MN24.
  • the pixel PIX emits light with luminance according to the pixel signal.
  • the transistor MN25 is turned on and off based on the signal on the control line AZSL. While the transistor MN25 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
  • FIG. 69 shows another configuration example of the pixel PIX.
  • a pixel array having this pixel PIX has a control line WSL, a control line DSL, and control lines AZSL1 and AZSL2.
  • Control lines CTL shown in FIG. 65 include these control lines WSL, DSL, AZSL1 and AZSL2.
  • This pixel PIX has transistors MP31 and MP32, a capacitor C31, transistors MP33 to MP36, and a light emitting element EL.
  • the transistors MP31 to MP36 are P-type MOSFETs.
  • the transistor MP31 has a gate connected to the control line WSEN, a source connected to the signal line SGL, and a drain connected to the source of the transistor MP32.
  • the transistor MP32 has a gate connected to the control line WSL, a source connected to the drain of the transistor MP31, and a drain connected to the gate of the transistor MP33, the source of the transistor MP34, and the capacitor C31.
  • One end of the capacitor C31 is connected to the power supply line VCCP, and the other end is connected to the drain of the transistor MP32, the gate of the transistor MP33, and the source of the transistor MP34.
  • Transistor MP34 has a gate connected to control line AZSL1, a source connected to the drain of transistor MP32, a gate of transistor MP33 and the other end of capacitor C31, and a drain connected to the drain of transistor MP33 and the source of transistor MP35.
  • the transistor MP35 has a gate connected to the control line DSL, a source connected to the drains of the transistors MP33 and MP34, and a drain connected to the source of the transistor MP36 and the anode of the light emitting element EL.
  • the transistor MP36 has a gate connected to the control line AZSL2, a source connected to the drain of the transistor MP35 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
  • the voltage across the capacitor C31 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MP31 and MP32.
  • the transistor MP35 is turned on and off based on the signal on the control line DSL.
  • the transistor MP33 causes a current corresponding to the voltage across the capacitor C31 to flow through the light emitting element EL while the transistor MP35 is on.
  • the light emitting element EL emits light based on the current supplied from the transistor MP33.
  • the pixel PIX emits light with luminance according to the pixel signal.
  • the transistor MP34 is turned on and off based on the signal on the control line AZSL1. While transistor MP34 is on, the drain and gate of transistor MP33 are connected to each other.
  • the transistor MP36 is turned on and off based on the signal on the control line AZSL2. During the period in which the transistor MP36 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
  • FIG. 70 shows another configuration example of the pixel PIX.
  • a pixel array having this pixel PIX has control lines WSL1 and WSL2, a control line DSL, control lines AZSL1 and AZSL2, signal lines SGL1 and SGL2, capacitors C48 and C49, and a transistor MP49.
  • the control lines CTL shown in FIG. 65 include control lines WSL1, WSL2, DSL, AZSL1 and AZSL2.
  • Signal lines SGL shown in FIG. 65 include signal lines SGL1 and SGL2.
  • One end of the capacitor C48 is connected to the signal line SGL1, and the other end is connected to the power supply line VSS.
  • One end of the capacitor C49 is connected to the signal line SGL1, and the other end is connected to the signal line SGL2.
  • the transistor MP49 is a P-type MOSFET, and has a gate connected to the control line WSL2, a source connected to the signal line SGL1, and a drain connected to the signal line SGL2.
  • the pixel PIX has transistors MP41 and MP42, a capacitor C41, transistors MP43 to MP46, and a light emitting element EL.
  • the transistors MP41 to MP46 are P-type MOSFETs.
  • the transistor MP41 has a gate connected to the control line WSEN, a source connected to the signal line SGL2, and a drain connected to the source of the transistor MP42.
  • the transistor MP42 has a gate connected to the control line WSL1, a source connected to the drain of the transistor MP41, and a drain connected to the gate of the transistor MP43 and the capacitor C41.
  • One end of the capacitor 41 is connected to the power supply line VCCP, and the other end is connected to the drain of the transistor MP42 and the gate of the transistor MP43.
  • the transistor MP43 has a gate connected to the drain of the transistor MP42 and the other end of the capacitor C41, a source connected to the power supply line VCCP, and a drain connected to the sources of the transistors MP44 and MP45.
  • the transistor MP44 has a gate connected to the control line AZSL1, a source connected to the drain of the transistor MP43 and a source of the transistor MP45, and a drain connected to the signal line SGL2.
  • the transistor MP45 has a gate connected to the control line DSL, a source connected to the drain of the transistor MP43 and the source of the transistor MP44, and a drain connected to the source of the transistor MP46 and the anode of the light emitting element EL.
  • the transistor MP46 has a gate connected to the control line AZSL2, a source connected to the drain of the transistor MP45 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
  • the voltage across the capacitor C41 is set based on the pixel signal supplied from the signal line SGL1 via the capacitor C49 by turning on the transistors MP41 and MP42.
  • the transistor MP45 is turned on and off based on the signal on the control line DSL.
  • the transistor MP43 causes a current corresponding to the voltage across the capacitor C41 to flow through the light emitting element EL while the transistor MP45 is on.
  • the light emitting element EL emits light based on the current supplied from the transistor MP43.
  • the pixel PIX emits light with luminance according to the pixel signal.
  • the transistor MP44 is turned on and off based on the signal on the control line AZSL1.
  • transistor MP44 While transistor MP44 is on, the drain of transistor MP43 and signal line SGL2 are connected to each other.
  • the transistor MP46 is turned on and off based on the signal on the control line AZSL2. While the transistor MP46 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
  • FIG. 71 shows another configuration example of the pixel PIX.
  • a pixel array having the pixels PIX has a control line WSL, a control line DSL, a control line AZSL, signal lines SGL1 and SGL2, and control units 70 and 80.
  • FIG. Control lines CTL shown in FIG. 56 include control lines WSL, DSL and AZSL.
  • Signal lines SGL shown in FIG. 56 include signal lines SGL1 and SGL2.
  • the control unit 70 has transistors MN71 and MP72, a capacitor C71, and a transistor MP73.
  • the transistor MN71 is an N-type MOSFET, and the transistors MP72 and MP73 are P-type MOSFETs.
  • a control signal is supplied to the gate of the transistor MN71, the drain is connected to the source of the transistor MP72 and the signal line SGL1, and the source is connected to the drain of the transistor MP72, the capacitor C71, and the drain of the transistor MP73.
  • a control signal is supplied to the gate of the transistor MP72, the source is connected to the drain of the transistor MN71 and the signal line SGL1, and the drain is connected to the source of the transistor MN71, the capacitor C71, and the drain of the transistor MP73.
  • Transistors MN71 and MP72 form a transmission gate.
  • One end of the capacitor C71 is connected to the source of the transistor MN71, the drain of the transistor MP72, and the drain of the transistor MP73, and the other end is connected to the signal line SGL2.
  • the transistor MP73 has a gate connected to the control line REFL, a source connected to the power supply line Vref, and a drain connected to the source of the transistor MN71, the drain of the transistor MP72, and the capacitor C71.
  • the control unit 80 has transistors MN81 and MP82, a capacitor C81, and transistors MP83, MN84, MP85 and MP86.
  • the transistors MN81 and MN84 are N-type MOSFETs
  • the transistors MP82, MP83, MP85 and MP86 are P-type MOSFETs.
  • the transistor MN81 has a gate supplied with a control signal, a drain connected to the source of the transistor MP82 and the signal line SGL1, and a source connected to the drain of the transistor MP82.
  • a control signal is supplied to the gate of the transistor MP82, the source is connected to the drain of the transistor MN81 and the signal line SGL1, and the drain is connected to the source of the transistor MN81.
  • Transistors MN81 and MP82 form a transmission gate.
  • a pixel signal generated by the pixel signal generation circuit 32 is supplied to the source of the transistor MN81 and the drain of the transistor MP82.
  • One end of the capacitor C81 is connected to the signal line SGL1, and the other end is connected to the power supply line VSS.
  • the transistor MP83 has a gate supplied with a control signal, a drain connected to the source of the transistor MN84 and the signal line SGL2, and a source connected to the drain of the transistor MN84 and the power supply line Vorst.
  • a control signal is supplied to the gate of the transistor MN84, the source is connected to the drain of the transistor MP83 and the signal line SGL2, and the drain is connected to the source of the transistor MP83 and the power supply line Vorst.
  • Transistors MP83 and MN84 form a transmission gate.
  • the transistor MP85 has a gate connected to the control line INIL, a drain connected to the signal line SGL2, and a source connected to the power supply line Vini.
  • the transistor MP86 has a gate connected to the control line ELL, a drain connected to the signal line SGL2, and a source connected to the power supply line Vel.
  • the pixel PIX has transistors MP91 and MP92, a capacitor C91, transistors MP93 to MP96, and a light emitting element EL.
  • the transistors MP91 to MP96 are P-type MOSFETs.
  • the transistor MP91 has a gate connected to the control line WSEN, a source connected to the signal line SGL2, and a drain connected to the source of the transistor MP92.
  • the transistor MP92 has a gate connected to the control line WSL, a source connected to the drain of the transistor MP91, and a drain connected to the gate of the transistor MP93 and the capacitor C91.
  • One end of the capacitor 91 is connected to the power supply line Vel, and the other end is connected to the drain of the transistor MP92 and the gate of the transistor MP93.
  • the transistor MP93 has a gate connected to the drain of the transistor MP92 and the other end of the capacitor C91, a source connected to the power supply line Vel, and a drain connected to the sources of the transistors MP94 and MP95.
  • the gate of transistor MP94 is connected to control line AZSL
  • the source is connected to the drain of transistor MP93 and the source of transistor MP95
  • the drain is connected to signal line SGL2.
  • the transistor MP95 has a gate connected to the control line DSL, a source connected to the drain of the transistor MP93 and the source of the transistor MP94, and a drain connected to the source of the transistor MP96 and the anode of the light emitting element EL.
  • the transistor MP96 has a gate connected to the control line AZSL, a source connected to the drain of the transistor MP95 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
  • the pixel PIX when the transistors MP91 and MP92 are turned on, the pixel signal supplied via the transistors MN81 and MP82, the signal line SGL1, the transistors MN71 and MP72, the capacitor C71, and the signal line SGL2 is changed. Based on this, the voltage across capacitor C91 is set.
  • the transistor MP95 is turned on and off based on the signal on the control line DSL.
  • the transistor MP93 causes a current corresponding to the voltage across the capacitor C91 to flow through the light emitting element EL while the transistor MP95 is on.
  • the light emitting element EL emits light based on the current supplied from the transistor MP93.
  • the pixel PIX emits light with luminance according to the pixel signal.
  • Transistors MP94 and MP96 are turned on and off based on the signal on control line AZSL. While transistor MP94 is on, the drain of transistor MP93 and the source of transistor MP95 are connected to signal line SGL2. While the transistor MP96 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line Vorst.
  • the transistor MP85 is turned on and off based on the signal on the control line INIL
  • the transistor MP86 is turned on and off based on the signal on the control line ELL
  • the transistor MP73 is turned on and off based on the signal on the control line REFL.
  • the transistor MP85 When the transistor MP85 is turned on, the voltage of the signal line SGL2 is set to the voltage of the power supply line Vini, and when the transistor MP86 is turned on, the voltage of the signal line SGL2 is set to the voltage of the power supply line Vel.
  • the transistor MP73 When the transistor MP73 is turned on, one end of the capacitor C71 is initialized by setting it to the voltage of the power supply line Vref.
  • FIG. 72 shows another configuration example of the pixel PIX.
  • a pixel array having this pixel PIX has a control line WSL, a control line DSL, and control lines AZSL1 and AZSL2.
  • Control lines CTL shown in FIG. 65 include these control lines WSL, DSL, AZSL1 and AZSL2.
  • This pixel PIX has transistors MP51 to MP54, a capacitor C51, transistors MP55 to MP60, and a light emitting element EL.
  • the transistors MP51-MP60 are P-type MOSFETs.
  • the transistor MP51 has a gate connected to the control line WSEN, a source connected to the signal line SGL, and a drain connected to the source of the transistor MP52.
  • the transistor MP52 has a gate connected to the control line WSL, a source connected to the drain of the transistor MP51, and a drain connected to the drain of the transistor MP53 and the source of the transistor MP54.
  • the transistor MP53 has a gate connected to the control line DSL, a source connected to the power supply line VCCP, and a drain connected to the drain of the transistor MP52 and the source of the transistor MP54.
  • the gate of transistor MP54 is connected to the source of transistor MP55, the drain of transistor MP57 and capacitor C51, the source is connected to the drains of transistors MP52 and MP53, and the drain is connected to the sources of transistors MP58 and MP59.
  • Capacitor C51 may include two capacitors connected in parallel with each other.
  • the transistor MP55 has a gate connected to the control line AZSL1, a source connected to the gate of the transistor MP54, a drain of the transistor MP57 and the other end of the capacitor C51, and a drain connected to the source of the transistor MP56.
  • the transistor MP56 has a gate connected to the control line AZSL1, a source connected to the drain of the transistor MP55, and a drain connected to the power supply line VSS.
  • the transistor MP57 has a gate connected to the control line WSL, a drain connected to the gate of the transistor MP54, a source of the transistor MP55 and the other end of the capacitor C51, and a source connected to the drain of the transistor MP58.
  • the transistor MP58 has a gate connected to the control line WSL, a drain connected to the drain of the transistor MP57, and a source connected to the drain of the transistor MP54 and the source of the transistor MP59.
  • the transistor 59 has a gate connected to the control line DSL, a source connected to the drain of the transistor MP54 and the source of the transistor MP58, and a drain connected to the source of the transistor MP60 and the anode of the light emitting element EL.
  • the transistor MP60 has a gate connected to the control line AZSL2, a source connected to the drain of the transistor MP59 and the anode of the light emitting element EL, and a drain connected to the power supply line VSS.
  • the voltage across the capacitor C51 is set based on the pixel signal supplied from the signal line SGL by turning on the transistors MP51, MP52, MP54, MP58, and MP57.
  • the transistors MP53 and MP59 are turned on and off based on the signal on the control line DSL.
  • the transistor MP54 causes a current corresponding to the voltage across the capacitor C51 to flow through the light emitting element EL while the transistors MP53 and MP59 are on.
  • the light emitting element EL emits light based on the current supplied from the transistor MP54.
  • the pixel PIX emits light with luminance according to the pixel signal.
  • the transistors MP55 and MP56 are turned on and off based on the signal on the control line AZSL1.
  • the voltage of the gate of the transistor MP54 is initialized by setting it to the voltage of the power supply line VSS.
  • the transistor MP60 is turned on and off based on the signal on the control line AZSL2. While the transistor MP60 is on, the voltage of the anode of the light emitting element EL is initialized by setting it to the voltage of the power supply line VSS.
  • FIG. 73 shows another configuration example of the pixel PIX.
  • a pixel array having the pixels PIX has control lines WSENN, WSENP, control lines WSNL, WSPL, control lines AZL, and control lines DSL.
  • Control line WSEN shown in FIG. 65 includes control lines WSENN and WSENP.
  • Control lines CTL shown in FIG. 65 include control lines WSNL, WSPL, AZL and DSL.
  • the signal on the control line WSENN and the signal on the control line WSENP are signals inverted from each other.
  • the signal on the control line WSNL and the signal on the control line WSPL are signals inverted from each other.
  • the pixel PIX has transistors MN61, MP62, MN63, MP64, capacitors C61, C62, transistors MN65 to MN67, and a light emitting element EL.
  • Transistors MN61, MN63, MN65 to MN67 are N-type MOSFETs, and transistors MP62 and MP64 are P-type MOSFETs.
  • the transistor MN61 has a gate connected to the control line WSENN, a drain connected to the signal line SGL and the source of the transistor MP62, and a source connected to the drains of the transistors MP62, MN63 and MP64.
  • the transistor MP62 has a gate connected to the control line WSENP, a source connected to the signal line SGL and the drain of the transistor MN61, and a drain connected to the sources of the transistors MN61, MN63, and MP64.
  • the gate of the transistor MN63 is connected to the control line WSNL, the drain is connected to the source of the transistor MN61, the drain of the transistor MP62, and the source of the transistor MP64, and the source is connected to the drain of the transistor MP64, the capacitors C61 and C62, and the gates of the transistor MN65.
  • the transistor MP64 has a gate connected to the control line WSPL, a source connected to the source of the transistor MN61, a drain of the transistor MP62 and a drain of the transistor MN63, and a drain connected to the source of the transistor MN63, the capacitors C61 and C62 and the gates of the transistor MN65.
  • connected to Capacitor C61 is configured using, for example, a MOM (Metal Oxide Metal) capacitor, and has one end connected to the source of transistor MN63, the drain of transistor MP64, capacitor C62, and the gate of transistor MN65, and the other end connected to power supply line VSS2. be done.
  • MOM Metal Oxide Metal
  • capacitor C61 may be configured using, for example, a MOS capacitor or an MIM (Metal Insulator Metal) capacitor.
  • Capacitor C62 is configured using a MOS capacitor, for example, and has one end connected to the source of transistor MN63, the drain of transistor MP64, one end of capacitor C61, and the gate of transistor MN65, and the other end connected to power supply line VSS2.
  • the capacitor C62 may be configured using, for example, an MOM capacitor or an MIM capacitor.
  • the gate of transistor MN65 is connected to the source of transistor MN63, the drain of transistor MP64, and one end of capacitors C61 and C62, the drain is connected to power supply line VCCP, and the source is connected to the drains of transistors MN66 and MN67.
  • the transistor MN66 has a gate connected to the control line AZL, a drain connected to the sources of the transistors MN65 and MN67, and a source connected to the power supply line VSS1.
  • the transistor MN67 has a gate connected to the control line DSL, a drain connected to the source of the transistor MN65 and a drain of the transistor MN66, and a source connected to the anode of the light emitting element EL.
  • the pixel PIX In the pixel PIX, at least one of the transistors MN61 and MP62 is turned on, and at least one of the transistors MN63 and MP64 is turned on. , the voltage across the capacitors C61 and C62 is set.
  • the transistor MN67 is turned on and off based on the signal on the control line DSL.
  • the transistor MN65 causes a current corresponding to the voltage across the capacitors C61 and C62 to flow through the light emitting element EL while the transistor MN67 is on.
  • the light emitting element EL emits light based on the current supplied from the transistor MP65.
  • the pixel PIX emits light with luminance according to the pixel signal.
  • the transistor MN66 may be turned on and off based on the signal on the control line AZL. Further, the transistor MN66 may function as a resistive element having a resistance value according to the signal on the control line AZL. In this case, transistors MN65 and MN66 form a so-called source follower circuit.
  • This technology can be configured as follows. According to the present technology having the following configuration, latency can be reduced.
  • first image data representing an entire image of a first resolution
  • second image data representing a peripheral image of a second resolution lower than or equal to the first resolution, which is an image outside the overall image
  • a receiving circuit capable of receiving third image data representing a first partial image having a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the entire image
  • a display unit having a plurality of pixels and capable of displaying an image of the same image range as the image range of the entire image
  • a first sensor capable of detecting a change in posture of the device; generating display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor; an image processing circuit capable of performing image processing of 1
  • a display device comprising: a display driving circuit capable of driving the display unit based on the display image data.
  • the display image data is first data based on the first image data and based on the second image data.
  • the display device according to (1) including second data and third data based on the third image data.
  • the display image data further includes fourth data indicating an outer image outside the image indicated by the second data.
  • the image processing circuit can generate the fourth data having a predetermined pixel value.
  • the image processing circuit can generate the fourth data based on the second data.
  • the display image data is one of the first data, the second data, and the third data.
  • the display device including the first data and the third data.
  • the image processing circuit is When the detection result of the second sensor indicates that the area observed by the user has changed, image processing is performed to increase the resolution based on the first image data, so that the user can is capable of generating fourth image data representing a second partial image at the third resolution of the region observed by In the first image processing, the display image data can be generated by performing the geometric deformation processing on the first image data, the second image data, and the fourth image data.
  • the display device according to any one of (1) to (6).
  • the image processing circuit is performing second image processing for generating the display image data based on the first image data and the third image data;
  • the display device according to any one of (1) to (7), wherein one of the first image processing and the second image processing can be selectively performed.
  • the receiving circuit is capable of receiving the first image data, the second image data, and the third image data in each of a plurality of repeatedly set reception periods, When the receiving circuit finishes receiving the first image data, the second image data, and the third image data in the first receiving period among the plurality of receiving periods, The image processing circuit performs the second image processing based on the first image data, the second image data, and the third image data received during the first reception period.
  • the receiving circuit receives the first image data, the second image data, and the third image in a second receiving period next to the first receiving period, among the plurality of receiving periods. If the data has not been completely received, the image processing circuit processes the first image data, the second image data, and the third image data that have been received in the first reception period.
  • the receiving circuit is capable of receiving the first image data, the second image data, and the third image data in each of a plurality of repeatedly set reception periods
  • the image processing circuit is capable of performing a plurality of the first image processes in each of the plurality of reception periods
  • the display drive circuit is capable of driving the display section based on each of the plurality of display image data generated by the plurality of first image processing in each of the plurality of reception periods.
  • the receiving circuit is capable of receiving the first image data, the second image data, and the third image data in each of a plurality of repeatedly set reception periods
  • the image processing circuit generates the display image data based on the first image processing and the first image data and the third image data in each of the plurality of reception periods.
  • the display drive circuit drives the display unit based on the display image data generated by the second image processing in each of the plurality of reception periods, and then displays the display image data generated by the first image processing.
  • the display device according to any one of (1) to (7), wherein the display section can be driven based on the display image data.
  • the display image data includes first data based on the first image data and third data based on the third image data;
  • the display drive circuit performs first driving for driving the display portion in units of a first number of pixels based on the first data, and driving the first number of pixels based on the third data.
  • the display device according to (1), wherein the second driving is performed by driving the display section in units of a second number of pixels, which is smaller.
  • the display image data further includes second data based on the second image data;
  • the display drive circuit is further capable of performing a third drive of driving the display section in units of a third number of pixels equal to or greater than the first number based on the second data.
  • first image data representing an entire image of a first resolution
  • second image data representing a peripheral image of a second resolution lower than or equal to the first resolution, which is an image outside the overall image
  • an image generation device capable of transmitting third image data representing a first partial image having a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the entire image
  • a display device and The display device a receiving circuit capable of receiving the first image data, the second image data, and the third image data; a display unit having a plurality of pixels and capable of displaying an image of the same image range as the image range of the entire image; a first sensor capable of detecting a change in posture of the device; generating display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor; an image processing circuit capable of performing image processing of 1;
  • a display system comprising: a display driving circuit capable of driving the display unit based on the display image data.
  • the display device has a transmission circuit capable of transmitting the detection result of the first sensor to the image generation device,
  • first image data representing an entire image of a first resolution
  • second image data representing a peripheral image of a second resolution lower than or equal to the first resolution, which is an image outside the overall image
  • receiving third image data representing a first partial image at a third resolution higher than the first resolution, which is an image of an image range narrower than the image range of the full image
  • detecting a change in orientation of the display device using the first sensor generating display image data by performing geometric deformation processing on the first image data, the second image data, and the third image data based on the detection result of the first sensor; performing the image processing of 1; and driving a display unit capable of displaying an image of the same image range as that of the entire image based on the display image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示の表示装置は、第１の解像度の全体画像を示す第１の画像データと、全体画像の外側の画像である、第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを受信可能な受信回路と、複数の画素を有し、全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、自装置の姿勢の変化を検出可能な第１のセンサと、第１のセンサの検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことが可能な画像処理回路と、表示画像データに基づいて、表示部を駆動することが可能な表示駆動回路とを備える。

Description

表示装置、表示システム、および表示方法
　本開示は、画像を表示する表示装置、表示システム、およびそのような表示装置および表示システムにおいて用いられる表示方法に関する。
　表示装置には、例えば、供給された画像データに基づいて、リプロジェクション処理を行うことにより表示画像を生成するものがある。例えば、特許文献１には、供給された画像データに基づいて、奥行き値の情報を用いてリプロジェクション処理を行うことにより表示画像を生成する技術が開示されている（例えば特許文献１）。
特開２０２１－１５３７２号公報
　ところで、拡張現実（ＡＲ：Augmented Reality）や、仮想現実（ＶＲ；Virtual Reality）の用途に用いられるヘッドマウントディスプレイでは、ヘッドマウントディスプレイの向きの変化に応じた画像をすぐに表示することができるよう、レイテンシが低減されることが望まれる。
　レイテンシを低減することができる表示装置、表示システム、および表示方法を提供することが望ましい。
　本開示の一実施の形態における表示装置は、受信回路と、表示部と、第１のセンサと、画像処理回路と、表示駆動回路とを備えている。受信回路は、第１の解像度の全体画像を示す第１の画像データと、全体画像の外側の画像である、第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを受信可能なものである。表示部は、複数の画素を有し、全体画像の画像範囲と同じ画像範囲の画像を表示可能なものである。第１のセンサは、自装置の姿勢の変化を検出可能なものである。画像処理回路は、第１のセンサの検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことが可能なものである。表示駆動回路は、表示画像データに基づいて、表示部を駆動することが可能なものである。
　本開示の一実施の形態における表示システムは、画像生成装置と、表示装置とを備えている。画像生成装置は、第１の解像度の全体画像を示す第１の画像データと、全体画像の外側の画像である、第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを送信可能なものである。表示装置は、受信回路と、表示部と、第１のセンサと、画像処理回路と、表示駆動回路とを備えている。受信回路は、第１の画像データ、第２の画像データ、および第３の画像データを受信可能なものである。表示部は、複数の画素を有し、全体画像の画像範囲と同じ画像範囲の画像を表示可能なものである。第１のセンサは、自装置の姿勢の変化を検出可能なものである。画像処理回路は、第１のセンサの検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことが可能なものである。表示駆動回路は、表示画像データに基づいて、表示部を駆動することが可能なものである。
　本開示の一実施の形態における表示方法は、第１の解像度の全体画像を示す第１の画像データと、全体画像の外側の画像である、第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを受信することと、第１のセンサを用いて、表示装置の姿勢の変化を検出することと、第１のセンサの検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことと、表示画像データに基づいて、全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部を駆動することとを含む。
　本開示の一実施の形態における表示装置、表示システム、および表示方法では、第１の解像度の全体画像を示す第１の画像データと、全体画像の外側の画像である、第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、全体画像の画像範囲よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとが受信される。また、第１のセンサにより、表示装置の姿勢の変化が検出される。第１のセンサの検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理が行われる。そして、生成された表示画像データに基づいて、全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部が駆動される。
本開示の第１の実施の形態に係る表示システムの一構成例を表すブロック図である。 図１に示した画像生成回路が生成する画像の一例を表す説明図である。 図１に示した表示システムの一動作例を表す説明図である。 図１に示した表示システムの伝送帯域を表す説明図である。 図１に示したヘッドマウントディスプレイの姿勢の変化を表す説明図である。 図１に示した予測処理回路における画像処理の一例を表す説明図である。 図１に示した予測処理回路における画像処理の他の一例を表す説明図である。 図１に示した予測処理回路における画像処理の他の一例を表す説明図である。 図１に示した予測処理回路における画像処理の他の一例を表す説明図である。 図１に示した表示パネルの一構成例を表すブロック図である。 図１に示したディスプレイコントローラの入力信号の一例を表すタイミング図である。 図１に示したディスプレイコントローラの入力信号の一例を表す他のタイミング図である。 図１に示したディスプレイコントローラの出力信号の一例を表すタイミング図である。 図１に示したディスプレイコントローラの出力信号の一例を表す他のタイミング図である。 画素駆動動作の一例を表す説明図である。 画素駆動動作の他の一例を表す説明図である。 図１に示したヘッドマウントディスプレイにおける画素駆動動作の一例を表す説明図である。 図１に示した予測処理回路の一動作例を表す説明図である。 図１に示した予測処理回路の一動作例を表す説明図である。 図１に示した予測処理回路の一動作例を表す説明図である。 図１に示した表示システムにおける表示動作の一例を表すタイミング図である。 図１に示した表示システムにおける表示動作の他の一例を表すタイミング図である。 図１に示した表示システムにおける画像信号の一例を表す説明図である。 図１に示した表示システムにおける画像信号の他の一例を表す説明図である。 図１に示した表示システムにおける画像信号の他の一例を表す説明図である。 図１に示した表示システムにおける画像信号の他の一例を表す説明図である。 図１に示した表示システムの一動作例を表すタイミング図である。 図１に示した表示システムの他の一動作例を表すタイミング図である。 図１に示した表示システムの他の一動作例を表すタイミング図である。 第１の実施の形態の変形例に係る周辺画像の一例を表す説明図である。 第１の実施の形態の変形例に係る周辺画像の一例を表す表である。 第１の実施の形態の他の変形例に係る予測処理回路の一動作例を表す説明図である。 第１の実施の形態の他の変形例に係る画像生成回路が生成する画像の一例を表す説明図である。 第１の実施の形態の他の変形例に係る表示システムの一動作例を表す表である。 第１の実施の形態の他の変形例に係る表示システムの伝送帯域を表す説明図である。 第１の実施の形態の他の変形例に係るディスプレイコントローラの出力信号の一例を表すタイミング図である。 第１の実施の形態の他の変形例に係るディスプレイコントローラの出力信号の一例を表す他のタイミング図である。 第１の実施の形態の他の変形例に係る画素駆動動作の一例を表す説明図である。 第１の実施の形態の他の変形例に係る画素駆動動作の他の一例を表す説明図である。 第２の実施の形態に係る表示システムの一構成例を表すブロック図である。 図４０に示した表示システムの一動作例を表す説明図である。 図４０に示した表示システムの伝送帯域を表す説明図である。 図４０に示したディスプレイコントローラの入力信号の一例を表すタイミング図である。 図４０に示したディスプレイコントローラの入力信号の一例を表す他のタイミング図である。 図４０に示したディスプレイコントローラの出力信号の一例を表すタイミング図である。 図４０に示したディスプレイコントローラの出力信号の一例を表す他のタイミング図である。 図４０に示したヘッドマウントディスプレイにおける画素駆動動作の一例を表す説明図である。 第３の実施の形態に係る表示システムの一構成例を表すブロック図である。 図４８に示した画像生成回路が生成する画像の一例を表す説明図である。 図４８に示した表示システムの伝送帯域を表す説明図である。 図４８に示したヘッドマウントディスプレイの一動作例を表す説明図である。 図４８に示した表示システムの一動作例を表すタイミング図である。 第４の実施の形態に係る表示システムの一構成例を表すブロック図である。 図５３に示した画像生成回路が生成する画像の一例を表す説明図である。 図５３に示した画像信号の一例を表す説明図である。 図５３に示したヘッドマウントディスプレイの一動作例を表す説明図である。 図５３に示した表示システムの一動作例を表すタイミング図である。 適用例に係るヘッドマウントディスプレイの外観構成を表す斜視図である。 適用例に係る他のヘッドマウントディスプレイの外観構成を表す斜視図である。 他の適用例に係るデジタルスチルカメラの外観構成を表す正面図である。 他の適用例に係るデジタルスチルカメラの外観構成を表す背面図である。 他の適用例に係るテレビジョン装置の外観構成を表す背面図である。 他の適用例に係るスマートフォンの外観構成を表す背面図である。 他の適用例に係る車両の一構成例を表す説明図である。 他の適用例に係る車両の一構成例を表す他の説明図である。 変形例に係るヘッドマウントディスプレイの一構成例を表すブロック図である。 他の変形例に係る表示パネルの一構成例を表すブロック図である。 図６５に示した画素の一構成例を表す回路図である。 図６５に示した画素の他の一構成例を表す回路図である。 図６５に示した画素の他の一構成例を表す回路図である。 図６５に示した画素の他の一構成例を表す回路図である。 図６５に示した画素の他の一構成例を表す回路図である。 図６５に示した画素の他の一構成例を表す回路図である。 図６５に示した画素の他の一構成例を表す回路図である。 図６５に示した画素の他の一構成例を表す回路図である。
　以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．適用例
＜１．第１の実施の形態＞
［構成例］
　図１は、一実施の形態に係る表示システム（表示システム１）の一構成例を表すものである。なお、本開示の実施の形態に係る表示装置および表示方法は、本実施の形態により具現化されるので、併せて説明する。
　表示システム１は、画像生成装置１０と、ヘッドマウントディスプレイ２０とを備えている。表示システム１は、拡張現実や、仮想現実の用途に用いられる。表示システム１は、画像を生成する際に、注視している領域は高解像度で、それ以外は低解像度で描画する中心窩レンダリング（Foveated Rendering）を行うように構成される。画像生成装置１０と、ヘッドマウントディスプレイ２０との間の通信は、この例では、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＭＩＰＩ（登録商標）（Mobile Industry Processor Interface）などのインタフェースを用いて行われる。なお、この例ではこの通信は有線通信により行われるようにしたが、これに限定されるものではなく、無線通信により行われるようにしてもよい。
　表示システム１では、画像生成装置１０から送信された画像信号ＳＰに基づいて、ヘッドマウントディスプレイ２０が画像を表示する。ヘッドマウントディスプレイ２０の加速度センサ２２（後述）は、ヘッドマウントディスプレイ２０の向きなどの動きを検出する。また、ヘッドマウントディスプレイ２０のアイトラッキングセンサ２３は、このヘッドマウントディスプレイ２０を装着しているユーザの目の向きを検出することにより、ユーザが表示画像のうちのどの部分を見ているかを検出する。ヘッドマウントディスプレイ２０は、これらの検出結果を含む検出信号ＳＤを、画像生成装置１０に供給する。画像生成装置１０は、加速度センサ２２の検出結果に基づいて、ヘッドマウントディスプレイ２０の向きに応じた画像（全体画像Ｐ１１）を生成する。また、画像生成装置１０は、この全体画像Ｐ１１の外側の画像（周辺画像Ｐ１２）を生成する。また、画像生成装置１０は、アイトラッキングセンサ２３の検出結果に基づいて、全体画像Ｐ１１のうちのユーザが見ている部分を含む画像（部分画像Ｐ２）を特定する。そして、画像生成装置１０は、全体画像Ｐ１１および周辺画像Ｐ１２を示す低解像度の画像データ、および部分画像Ｐ２を示す高解像度の画像データを含む画像信号ＳＰを生成し、生成した画像信号ＳＰをヘッドマウントディスプレイ２０に送信するようになっている。
（画像生成装置１０）
　画像生成装置１０は、ヘッドマウントディスプレイ２０において表示される画像を生成するように構成される。画像生成装置１０は、画像生成回路１１と、送信回路１２と、受信回路１３とを有している。
　画像生成回路１１は、例えばレンダリング処理などの所定の処理を行うことにより、ヘッドマウントディスプレイ２０において表示される画像を生成するように構成される。　画像生成回路１１は、送信信号生成回路１８を有している。送信信号生成回路１８は、画像生成回路１１が生成した画像に基づいて、送信すべき画像信号ＳＰを生成するように構成される。
　画像生成回路１１は、受信回路１３から供給されたデータに含まれる、加速度センサ２２の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ２０の向きに応じた風景を示す全体画像Ｐ１１を生成する。例えば、全体画像Ｐ１１の画像範囲は、ヘッドマウントディスプレイ２０の表示画像における画像範囲と同じである。また、画像生成回路１１は、この全体画像Ｐ１１の外側の画像である周辺画像Ｐ１２を生成する。全体画像Ｐ１１および周辺画像Ｐ１２は、画像Ｐ１を構成する。また、画像生成回路１１は、受信回路１３から供給されたデータに含まれる、アイトラッキングセンサ２３の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ２０の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像Ｐ２を特定する。この部分画像Ｐ２は、全体画像Ｐ１１のうちの一部である。
　図２は、画像生成回路１１が生成した画像の一例を表すものである。図２において、升目は、ヘッドマウントディスプレイ２０における複数の画素に対応している。この例では、説明の便宜上、横方向に３２個の画素が並設され、同様に縦方向に３２個の画素が並設される。全体画像Ｐ１１は、横方向において２８個の画素値を含み、縦方向において２８個の画素値を含む。周辺画像Ｐ１２は、この例では、全体画像Ｐ１１の外側における、２画素分の幅を有する、リング形状の画像領域における画像である。この例では、全体画像Ｐ１１は、人物９の画像を含んでいる。画像生成回路１１は、受信回路１３から供給されたデータに含まれる、アイトラッキングセンサ２３の検出結果に基づいて、全体画像Ｐ１１のうちの、ユーザが見ている部分を含む部分画像Ｐ２を特定する。この例では、部分画像Ｐ２は、この人物９の顔の画像を含む。この例では、部分画像Ｐ２の水平方向（図２における横方向）の大きさは、画像Ｐ１の水平方向の大きさの半分であり、部分画像Ｐ２の垂直方向（図２における縦方向）の大きさは、画像Ｐ１の垂直方向の大きさの半分である。すなわち、部分画像Ｐ２の面積は、画像Ｐ１の面積の１／４である。
　ヘッドマウントディスプレイ２０は、画像生成回路１１が生成したこのような画像に基づいて表示画像を生成する。ヘッドマウントディスプレイ２０は、例えば、ヘッドマウントディスプレイ２０の向きが変化しない場合に、全体画像Ｐ１１および部分画像Ｐ２に基づいて表示画像を生成する。また、ヘッドマウントディスプレイ２０は、例えば、ヘッドマウントディスプレイ２０の向きが変化する場合に、全体画像Ｐ１１、周辺画像Ｐ１２、および部分画像Ｐ２に基づいて表示画像を生成する。すなわち、ヘッドマウントディスプレイ２０の向きが変化した場合には、ヘッドマウントディスプレイ２０は、全体画像Ｐ１１よりも外側の画像である周辺画像Ｐ１２を考慮して表示画像を生成するようになっている。
　送信信号生成回路１８は、画像生成回路１１が生成したこのような画像に基づいて、送信すべき画像信号ＳＰを生成する。
　図３は、表示システム１の一動作例を表すものであり、（Ａ）は画像生成回路１１が生成した画像を示し、（Ｂ）は画像信号ＳＰに含まれる画像データを示し、（Ｃ）はヘッドマウントディスプレイ２０における表示駆動動作を示す。この図３において、斜線で網掛けされている部分は周辺画像Ｐ１２を示し、ドットで網掛けされている部分は部分画像Ｐ２を示す。図３（Ａ）において、画像Ｐ１における部分画像Ｐ２の左上の画素の位置は、この例では、左から５番目（ＰＯＳＸ＝５）であり、上から５番目（ＰＯＳＹ＝５）である。
　送信信号生成回路１８は、図３（Ａ），（Ｂ）に示したように、画像生成回路１１が生成した画像Ｐ１において、左から右に向かう走査を、上から下に向かって順次行うことにより、画像信号ＳＰを生成する。送信信号生成回路１８は、画像Ｐ１については、２行２列で配置された４つの画素値を１つの画素値に変換し、画像Ｐ１のうち、部分画像Ｐ２と重なっている部分については、１つの画素値をそのまま出力することにより、画像信号ＳＰにおける画像データを生成する。
　具体的には、この例では、送信信号生成回路１８は、画像Ｐ１の１，２行目に含まれる６４個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、周辺画像Ｐ１２に係る１６個の画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける１行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の３，４行目に含まれる６４個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、周辺画像Ｐ１２に係る１つの画素値、全体画像Ｐ１１に係る１４個の画素値、および周辺画像Ｐ１２に係る１つの画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける２行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の５，６行目に含まれる６４個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、周辺画像Ｐ１２に係る１つの画素値、全体画像Ｐ１１に係る１４個の画素値、および周辺画像Ｐ１２に係る１つの画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける３行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の５行目に含まれる３２個の画素値のうちの部分画像Ｐ２に係る１６個の画素値をそのまま出力し、画像Ｐ１の６行目に含まれる３２個の画素値のうちの部分画像Ｐ２に係る１６個の画素値をそのまま出力する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける４，５行目の画像データを生成する。
　このように、送信信号生成回路１８は、画像Ｐ１については、２行２列で配置された４つの画素値を１つの画素値に変換するとともに、画像Ｐ１のうち、部分画像Ｐ２と重なっている部分については、画素値をそのまま出力する。これにより、送信信号生成回路１８は、画像Ｐ１を、より解像度が低い画像Ｐ１に変換する。一方、部分画像Ｐ２の解像度は変化しない。その結果、変換後の画像Ｐ１の解像度は、部分画像Ｐ２の解像度よりも低くなる。送信信号生成回路１８は、画像Ｐ１の全画像に対して、２行２列で配置された４つの画素値を１つの画素値に変換するので、変換後の画像Ｐ１は、部分画像Ｐ２に対応する画像を含む。また、送信信号生成回路１８は、図３の例では、上から下に向かって処理を順次行うことにより画像信号ＳＰを生成するので、図３（Ｂ）に示したように、例えば、画像信号ＳＰには、画像Ｐ１に含まれる１つのライン画像の画素値と、部分画像Ｐ２に含まれる２つのライン画像の画素値とが、縦方向において交互に配置される部分が生じるようになっている。
　このようにして、送信信号生成回路１８は、画像生成回路１１が生成した画像に基づいて、図３（Ｂ）に示したような複数の画素値を含む画像データを生成する。そして、送信信号生成回路１８は、この画像データ、および画像Ｐ１における部分画像Ｐ２の位置（パラメータＰＯＳＸ，ＰＯＳＹ）を示す画像位置データを含む画像信号ＳＰを生成するようになっている。
　送信回路１２（図１）は、画像生成回路１１から供給された画像信号ＳＰをヘッドマウントディスプレイ２０に送信するように構成される。送信回路１２は、例えば、垂直期間Ｖにおける、画像データを送信しないブランキング期間において、画像位置データを、画像データのデータフォーマットを利用して送信することができる。また、送信回路１２は、例えば、ブランキング期間において、画像位置データを制御データとして送信してもよい。また、送信回路１２は、例えば、画像データを送信するインタフェースとは別の、Ｉ２ＣやＳＰＩ（Serial Peripheral Interface）などの汎用インタフェースを用いて、画像位置データを送信してもよい。
　図４は、表示システム１における伝送帯域を表すものである。この図４において、網掛けされていない部分は全体画像Ｐ１１を示し、斜線で網掛けされている部分は周辺画像Ｐ１２を示し、ドットで網掛けされている部分は部分画像Ｐ２を示す。画像信号ＳＰに含まれる画像データは、この例では３２行分の画像データを含む。説明の便宜上、この３２行分の画像データに、データ番号ＮＳＰを付している。各行の画像データは、画像Ｐ１（全体画像Ｐ１１およおび周辺画像Ｐ１２）に係る画像データ、および部分画像Ｐ２に係る画像データを含む。説明の便宜上、画像Ｐ１に係る１６行分の画像データにデータ番号Ｎ１を付しており、部分画像Ｐ２に係る１６行分の画像データにデータ番号Ｎ２を付している。
　画像信号ＳＰに含まれる画像データにおける画素値の数は、変換前の画像Ｐ１に含まれる画素値の数の半分である。このように、表示システム１は、変換前の画像Ｐ１をそのまま送信する場合に比べて、画像データ量を半分にすることができるようになっている。
　受信回路１３（図１）は、ヘッドマウントディスプレイ２０から送信された検出信号ＳＤを受信するように構成される。そして、受信回路１３は、この検出信号ＳＤに含まれる、加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果についてのデータを、画像生成回路１１に供給するようになっている。
（ヘッドマウントディスプレイ２０）
　ヘッドマウントディスプレイ２０は、受信回路２１と、加速度センサ２２と、アイトラッキングセンサ２３と、プロセッサ２４と、送信回路２５と、ディスプレイコントローラ２６と、表示パネル２７とを有している。
　受信回路２１は、画像生成装置１０から送信された画像信号ＳＰを受信するように構成される。そして、受信回路２１は、この画像信号ＳＰに含まれる画像データおよび画像位置データを、プロセッサ２４に供給するようになっている。
　加速度センサ２２は、ヘッドマウントディスプレイ２０の向きなどの動きを検出するように構成される。加速度センサ２２は、例えば６軸慣性センサを用いることができる。これにより、表示システム１では、仮想空間における、ヘッドマウントディスプレイ２０の向きに応じた画像Ｐ１を生成することができるようになっている。
　アイトラッキングセンサ２３は、ヘッドマウントディスプレイ２０を装着しているユーザの目の向きを検出するように構成される。これにより、表示システム１では、ユーザが表示画像のうちのどの部分を見ているかを検出することができ、全体画像Ｐ１１のうちのユーザが見ている部分を含む部分画像Ｐ２を特定することができるようになっている。
　プロセッサ２４は、ヘッドマウントディスプレイ２０の動作を制御するように構成され、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などを含んで構成される。プロセッサ２４は、例えば、受信回路２１から供給された画像データに基づいて所定の画像処理を行い、画像処理が施された画像データを、画像位置データ、加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果とともに、ディスプレイコントローラ２６に供給する。また、プロセッサ２４は、加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果を送信回路２５に供給し、送信回路２５に、これらの検出結果を送信させるようになっている。
　送信回路２５は、プロセッサ２４から供給された加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果を含む検出信号ＳＤを、画像生成装置１０に送信するように構成される。
　ディスプレイコントローラ２６は、プロセッサ２４から供給された画像データおよび画像位置データに基づいて、表示パネル２７の動作を制御するように構成される。ディスプレイコントローラ２６は、予測処理回路２９を有している。
　予測処理回路２９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成するように構成される。すなわち、表示システム１では、ヘッドマウントディスプレイ２０が、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果を画像生成装置１０に供給し、画像生成装置１０がこれらの検出結果に基づいて画像Ｐ１および部分画像Ｐ２を生成し、生成した画像をヘッドマウントディスプレイ２０に供給する。しかしながら、この場合には、表示システム１では、ユーザが、ヘッドマウントディスプレイ２０の向きの変化させてから、ヘッドマウントディスプレイ２０が、ヘッドマウントディスプレイ２０の向きに応じた画像を表示するまでに時間を要する場合があり得る。そこで、ヘッドマウントディスプレイ２０の予測処理回路２９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行う。すなわち、予測処理回路２９は、画像生成装置１０が画像を生成する前に、加速度センサ２２の最新の検出結果およびアイトラッキングセンサ２３の最新の検出結果に基づいて画像を生成する。このような予測処理により、表示システム１では、ヘッドマウントディスプレイ２０の向きの変化に応じた画像をすぐに表示することができ、レイテンシを低減することができるようになっている。
　図５は、ヘッドマウントディスプレイ２０の向きの変化を表すものである。図６，７は、予測処理回路２９における画像処理の一例を表すものである。図５の例では、ヘッドマウントディスプレイ２０を装着しているユーザ８は、首をやや左下に向かって振る。加速度センサ２２は、ヘッドマウントディスプレイ２０の向きの変化を検出する。予測処理回路２９は、図６，７に示したように、加速度センサ２２の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行う。幾何変形処理は、例えば、図６に示したような、射影幾何変形処理であってもよいし、図７に示したような、ベクトルを用いた幾何変形処理であってもよい。この例では、ヘッドマウントディスプレイ２０の向きがやや左下に変化したことに応じて、予測処理回路２９は、画像Ｐ１の左側が右側よりもやや遠方にあるように見えるよう、幾何変形処理を行う。
　予測処理回路２９は、このように画像Ｐ１に対して幾何変形処理を行う際、画像Ｐ１に含まれる部分画像Ｐ２に対しても幾何変形処理を行う。アイトラッキングセンサ２３が、ユーザ８の目の向きの変化を検出した場合には、予測処理回路２９は、アイトラッキングセンサ２３の検出結果に基づいて、画像Ｐ１における部分画像Ｐ２の位置を変更し、解像度を高める超解像処理を行いつつ、幾何変形処理を行う。
　図６，７に示したように、幾何変形処理により、画像Ｐ１が小さくなる場合には、予測処理回路２９は、例えば図８に示すように、この画像Ｐ１の外側の画素値を黒色の画素値に設定することができる。なお、これに限定されるものではなく、予測処理回路２９は、例えば図９に示すように、画像Ｐ１に含まれる周辺画像Ｐ１２や全体画像Ｐ１１の画像に基づいて、画像を引き延ばす画像処理を行うことにより、画像Ｐ１の外側の画素値を設定してもよい。
　予測処理回路２９は、このようにして、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。ディスプレイコントローラ２６は、この表示画像データに基づいて、表示パネル２７の動作を制御する。
　表示パネル２７（図１）は、ディスプレイコントローラ２６による制御に基づいて、画像を表示するように構成される。表示パネル２７は、全体画像Ｐ１１の画像範囲と同じ画像範囲の画像を表示するようになっている。表示パネル２７は、この例では、有機ＥＬ（Electro Luminescence）表示パネルである。なお、これに限定されるものではなく、表示パネル２７は、例えば、液晶表示パネルであってもよい。
　図１０は、表示パネル２７の一構成例を表すものである。表示パネル２７は、画素アレイ３１と、画素信号生成回路３２と、走査回路３３とを有している。
　画素アレイ３１は、複数の信号線ＳＧＬと、複数の制御線ＣＴＬと、複数の画素ＰＩＸとを有している。
　複数の信号線ＳＧＬは、垂直方向（図１０における縦方向）に延伸するとともに水平方向（図１０における横方向）に並設される。複数の信号線ＳＧＬのそれぞれは、画素信号生成回路３２が生成した画素信号を画素ＰＩＸに供給するようになっている。
　複数の制御線ＣＴＬは、水平方向（図１０における横方向）に延伸するとともに垂直方向（図１０における縦方向）に並設される。複数の制御線ＣＴＬのそれぞれは、走査回路３３が生成した制御信号を画素ＰＩＸに供給するようになっている。
　複数の画素ＰＩＸは、画素アレイ３１においてマトリックス状に配置される。複数の画素ＰＩＸのそれぞれは、制御線ＣＴＬを介して供給された制御信号に基づいて制御され、信号線ＳＧＬを介して供給された画素信号が書き込まれる。これにより、複数の画素ＰＩＸのそれぞれは、書き込まれた画素信号に応じた輝度で発光するように構成される。水平方向に並設された１行分の画素ＰＩＸは、画素ラインＬを構成する。
　画素信号生成回路３２は、表示すべき画像データに基づいて画素信号を生成し、生成した画素信号を複数の信号線ＳＧＬのそれぞれに印加するように構成される。
　走査回路３３は、制御信号を生成し、生成した制御信号を複数の制御線ＣＴＬのそれぞれに印加することにより、複数の画素ＰＩＸを、１または複数の画素ラインＬを走査単位として走査するようになっている。
　ここで、受信回路２１は、本開示における「受信回路」の一具体例に対応する。変換後の全体画像Ｐ１１は、本開示における「全体画像」の一具体例に対応する。変換後の周辺画像Ｐ１２は、本開示における「周辺画像」の一具体例に対応する。部分画像Ｐ２は、本開示における「第１の部分画像」の一具体例に対応する。画素アレイ３１は、本開示における「表示部」の一具体例に対応する。加速度センサ２２は、本開示における「第１のセンサ」の一具体例に対応する。アイトラッキングセンサ２３は、本開示における「第２のセンサ」の一具体例に対応する。ディスプレイコントローラ２６は、本開示における「画像処理回路」の一具体例に対応する。画素信号生成回路３２および走査回路３３は、本開示における「表示駆動回路」の一具体例に対応する。送信回路２５は、本開示における「送信回路」の一具体例に対応する。
［動作および作用］
　続いて、本実施の形態の表示システム１の動作および作用について説明する。
（全体動作概要）
　まず、図１を参照して、表示システム１の全体動作概要を説明する。画像生成装置１０の受信回路１３は、ヘッドマウントディスプレイ２０から送信された検出信号ＳＤを受信し、この検出信号ＳＤに含まれる、加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果についてのデータを、画像生成回路１１に供給する。画像生成回路１１は、受信回路１３から供給されたデータに含まれる、加速度センサ２２の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ２０の向きに応じた風景を示す全体画像Ｐ１１を生成する。また、画像生成回路１１は、この全体画像Ｐ１１の外側の画像である周辺画像Ｐ１２を生成する。全体画像Ｐ１１および周辺画像Ｐ１２は、画像Ｐ１を構成する。また、画像生成回路１１は、受信回路１３から供給されたデータに含まれる、アイトラッキングセンサ２３の検出結果に基づいて、全体画像Ｐ１１のうちの、ユーザが見ている部分を含む部分画像Ｐ２を特定する。送信信号生成回路１８は、画像生成回路１１が生成した画像に基づいて、送信すべき画像信号ＳＰを生成する。画像信号ＳＰは、画像データと、画像Ｐ１における部分画像Ｐ２の位置を示す画像位置データとを含む。送信回路１２は、この画像信号ＳＰをヘッドマウントディスプレイ２０に送信する。
　ヘッドマウントディスプレイ２０の受信回路２１は、画像生成装置１０から送信された画像信号ＳＰを受信し、この画像信号ＳＰに含まれる画像データおよび画像位置データを、プロセッサ２４に供給する。加速度センサ２２は、ヘッドマウントディスプレイ２０の向きなどの動きを検出する。アイトラッキングセンサ２３は、ヘッドマウントディスプレイ２０を装着しているユーザの目の向きを検出する。プロセッサ２４は、加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果を、送信回路２５に供給する。送信回路２５は、プロセッサ２４から供給された加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果を含む検出信号ＳＤを、画像生成装置１０に送信する。
　また、プロセッサ２４は、受信回路２１から供給された画像データに基づいて所定の画像処理を行い、画像処理が施された画像データを、画像位置データ、加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果とともに、ディスプレイコントローラ２６に供給する。ディスプレイコントローラ２６の予測処理回路２９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。ディスプレイコントローラ２６は、プロセッサ２４から供給された画像位置データ、および予測処理回路２９が生成した表示画像データに基づいて、表示パネル２７の動作を制御する。表示パネル２７は、ディスプレイコントローラ２６による制御に基づいて、画像を表示する。
（詳細動作）
　画像生成装置１０において、画像生成回路１１は、受信回路１３から供給されたデータに含まれる、加速度センサ２２の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ２０の向きに応じた風景を示す全体画像Ｐ１１を生成する。また、画像生成回路１１は、この全体画像Ｐ１１の外側の画像である周辺画像Ｐ１２を生成する。また、画像生成回路１１は、受信回路１３から供給されたデータに含まれる、アイトラッキングセンサ２３の検出結果に基づいて、全体画像Ｐ１１のうちの、ユーザが見ている部分を含む部分画像Ｐ２を特定する。
　送信信号生成回路１８は、画像生成回路１１が生成した画像に基づいて、送信すべき画像信号ＳＰを生成する。具体的には、送信信号生成回路１８は、画像Ｐ１（全体画像Ｐ１１および周辺画像Ｐ１２）については、２行２列で配置された４つの画素値を１つの画素値に変換する。また、送信信号生成回路１８は、画像Ｐ１のうち、部分画像Ｐ２と重なっている部分については、画素値をそのまま出力する。このようにして、送信信号生成回路１８は、画像生成回路１１が生成した画像に基づいて、図３（Ｂ）に示したような複数の画素値を含む画像データを生成する。そして、送信信号生成回路１８は、この画像データ、および画像Ｐ１における部分画像Ｐ２の位置（パラメータＰＯＳＸ，ＰＯＳＹ）を示す画像位置データを含む画像信号ＳＰを生成する。
　そして、送信回路１２は、画像生成回路１１から供給された画像信号ＳＰをヘッドマウントディスプレイ２０に送信する。
　ヘッドマウントディスプレイ２０において、受信回路２１は、画像生成装置１０から送信された画像信号ＳＰを受信し、この画像信号ＳＰに含まれる画像データおよび画像位置データを、プロセッサ２４に供給する。プロセッサ２４は、受信回路２１から供給された画像データに基づいて所定の画像処理を行い、画像処理が施された画像データを、画像位置データ、加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果とともに、ディスプレイコントローラ２６に供給する。
　図１１は、ディスプレイコントローラ２６に入力される信号の一例を表すものであり、（Ａ）は垂直同期信号ＶＳ＿ＩＮの波形を示し、（Ｂ）は水平同期信号ＨＳ＿ＩＮの波形を示し、（Ｃ）は垂直データイネーブル信号ＶＤＥ＿ＩＮの波形を示し、（Ｄ）はデータ信号ＤＡＴＡ＿ＩＮを示す。
　タイミングｔ１において、垂直同期信号ＶＳ＿ＩＮにパルスが生じ、垂直期間Ｖが開始する（図１１（Ａ））。また、水平同期信号ＨＳ＿ＩＮには、水平期間Ｈが開始する度にパルスが生じる（図１１（Ｂ））。
　そして、タイミングｔ２において、垂直データイネーブル信号ＶＤＥ＿ＩＮが低レベルから高レベルに変化する（図１１（Ｃ））。垂直データイネーブル信号ＶＤＥ＿ＩＮが高レベルである期間におけるデータ信号ＤＡＴＡ＿ＩＮは、画像データを示す（図１１（Ｄ））。この例では、３２個の水平期間Ｈにわたり、データ信号ＤＡＴＡ＿ＩＮが供給される。データ信号ＤＡＴＡ＿ＩＮは、３２個の水平期間Ｈに対応する３２個の画像データを含む。この３２個の画像データは、図４に示した、画像信号ＳＰに含まれる３２行分の画像データ（データ番号ＮＳＰ＝１～３２）にそれぞれ対応する。この図１１は、データ番号ＮＳＰに加え、データ番号Ｎ１，Ｎ２も示している。
　図１２は、データ信号ＤＡＴＡ＿ＩＮの一例を表すものである。例えば、画像信号ＳＰに含まれる１行目の画像データは、データ信号ＤＡＴＡ＿ＩＮに含まれる３２個の画像データのうちの、１番目の画像データに対応する。この画像データは、周辺画像Ｐ１２に係る１６個の画素値を含む。また、例えば、画像信号ＳＰに含まれる２行目の画像データは、データ信号ＤＡＴＡ＿ＩＮに含まれる３２個の画像データのうちの、２番目の画像データに対応する。この画像データは、周辺画像Ｐ１２に係る１つの画素値と、全体画像Ｐ１１に係る１４個の画素値と、周辺画像Ｐ１２に係る１つの画素値とを含む。また、例えば、画像信号ＳＰに含まれる４行目の画像データは、データ信号ＤＡＴＡ＿ＩＮに含まれる３２個の画像データのうちの、４番目の画像データに対応する。この画像データは、部分画像Ｐ２に係る１６個の画素値を含む。
　そして、タイミングｔ３において、垂直データイネーブル信号ＶＤＥ＿ＩＮが高レベルから低レベルに変化する（図１１（Ｃ））。そして、タイミングｔ４において、この垂直期間Ｖが終了するとともに、次の垂直期間Ｖが開始する。
　ディスプレイコントローラ２６の予測処理回路２９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。そして、ディスプレイコントローラ２６は、この表示画像データに基づいて、垂直同期信号ＶＳ＿ＯＵＴ、水平同期信号ＨＳ＿ＯＵＴ、垂直データイネーブル信号ＶＤＥ＿ＯＵＴ、およびデータ信号ＤＡＴＡ＿ＯＵＴを生成する。
　図１３は、ヘッドマウントディスプレイ２０の向きが変化せず、ユーザの目の向きが変化しない場合に、ディスプレイコントローラ２６から出力される信号の一例を表すものであり、（Ａ）は垂直同期信号ＶＳ＿ＯＵＴの波形を示し、（Ｂ）は水平同期信号ＨＳ＿ＯＵＴの波形を示し、（Ｃ）は垂直データイネーブル信号ＶＤＥ＿ＯＵＴの波形を示し、（Ｄ）はデータ信号ＤＡＴＡ＿ＯＵＴを示す。図１３（Ｄ）において、網掛けされていない部分は全体画像Ｐ１１を示し、ドットで網掛けされている部分は部分画像Ｐ２を示す。すなわち、この例では、ヘッドマウントディスプレイ２０の向きが変化せず、ユーザの目の向きが変化しないので、予測処理回路２９は、図６，７に示したような幾何変形処理は行われない。よって、データ信号ＤＡＴＡ＿ＯＵＴは、全体画像Ｐ１１および部分画像Ｐ２に係る画像データを含み、周辺画像Ｐ１２に係る画像データを含まない。
　図１１の場合と同様に、タイミングｔ１１において、垂直同期信号ＶＳ＿ＯＵＴにパルスが生じ、垂直期間Ｖが開始する（図１３（Ａ））。また、水平同期信号ＨＳ＿ＯＵＴには、水平期間Ｈが開始する度にパルスが生じる（図１３（Ｂ））。
　そして、タイミングｔ１２において、垂直データイネーブル信号ＶＤＥ＿ＯＵＴが低レベルから高レベルに変化する（図１３（Ｃ））。ディスプレイコントローラ２６は、この例では、３０個の水平期間Ｈにわたり、３０個の画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する（図１３（Ｄ））。この例のように、ヘッドマウントディスプレイ２０の向きが変化せず、ユーザの目の向きが変化しない場合には、ディスプレイコントローラ２６は、全体画像Ｐ１１に係る画像データおよび部分画像Ｐ２に係る画像データを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。データ信号ＤＡＴＡ＿ＯＵＴに含まれる３０個の画像データは、データ信号ＤＡＴＡ＿ＩＮ（図１１）に含まれる２～３１番目の３０個の画像データにそれぞれ対応する。言い換えれば、データ信号ＤＡＴＡ＿ＯＵＴに含まれる３０個の画像データは、図３（Ｂ），４に示した画像信号ＳＰに含まれる２～３１行目の画像データにそれぞれ対応している。図１３には、説明の便宜上、データ番号ＮＳＰ，Ｎ１，Ｎ２を記載している。なお、例えばヘッドマウントディスプレイ２０の向きが変化した場合には、予測処理回路２９は図６，７に示したように幾何変形処理を行うので、データ信号ＤＡＴＡ＿ＯＵＴに含まれる３０個の画像データは、データ信号ＤＡＴＡ＿ＩＮ（図１１）に含まれる２～３１番目の画像データに必ずしも対応しない。
　ディスプレイコントローラ２６は、データ信号ＤＡＴＡ＿ＯＵＴに含まれる、全体画像Ｐ１１に係る画像データに基づいて、表示パネル２７における複数の画素ＰＩＸを、２行２列で配置された４つの画素ＰＩＸを単位として駆動するように制御する。また、ディスプレイコントローラ２６は、データ信号ＤＡＴＡ＿ＯＵＴに含まれる、部分画像Ｐ２に係るデータに基づいて、表示パネル２７における複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動するように制御する。
　図１４は、図１３におけるタイミングｔ１２～ｔ１６におけるデータ信号ＤＡＴＡ＿ＯＵＴと、そのデータ信号ＤＡＴＡ＿ＯＵＴに基づく表示駆動動作の一例を表すものである。図１５，１６は、表示パネル２７の動作の一例を表すものである。
　表示パネル２７は、タイミングｔ１２～ｔ１３の期間では、図１４において符号Ｗ１で示した２つの画素ラインＬに対する表示駆動動作を行う。
　このタイミングｔ１２～ｔ１３の期間では、ディスプレイコントローラ２６は、図１４に示したように、全体画像Ｐ１１に係る１４個の画素値を含む画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“２”であり、データ番号Ｎ１は“２”である。すなわち、図１２に示したように、画像信号ＳＰに含まれる、データ番号ＮＳＰが“２”である画像データは、周辺画像Ｐ１２に係る１つの画素値と、全体画像Ｐ１１に係る１４個の画素値と、周辺画像Ｐ１２に係る１つの画素値とを含んでいるので、ディスプレイコントローラ２６は、このうちの全体画像Ｐ１１に係る１４個の画素値に対応する１４個の画素値を含む画像データを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。ディスプレイコントローラ２６は、この画像データに基づいて、データ番号Ｎ１＝２に対応する２つの画素ラインＬに対して、図１５に示したように４つの画素ＰＩＸを単位として駆動するように制御する。
　この場合、図１５に示したように、走査回路３３は、複数の画素ＰＩＸを、２つの画素ラインＬを走査単位ＵＳとして走査する。また、画素信号生成回路３２は、互いに隣り合う２つの信号線ＳＧＬに、同じ画素信号を印加する。これにより、選択された２つの画素ラインＬでは、４つの画素ＰＩＸに、同じ画素信号が書き込まれる。このようにして、表示パネル２７は、複数の画素ＰＩＸを、４つの画素ＰＩＸを単位ＵＤとして駆動する。
　このようにして、画素信号生成回路３２は、図１４において符号Ｗ１で示した２つの画素ラインＬに対して、全体画像Ｐ１１に係る画素信号を書き込む。
　次に、表示パネル２７は、タイミングｔ１３～ｔ１４の期間では、図１４において符号Ｗ２で示した２つの画素ラインＬに対する表示駆動動作を行う。
　まず、タイミングｔ１３～ｔ１４の期間では、ディスプレイコントローラ２６は、図１４に示したように、全体画像Ｐ１１に係る１４個の画素値を含む画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“３”であり、データ番号Ｎ１は“３”である。すなわち、図１２に示したように、画像信号ＳＰに含まれる、データ番号ＮＳＰが“３”である画像データは、周辺画像Ｐ１２に係る１つの画素値と、全体画像Ｐ１１に係る１４個の画素値と、周辺画像Ｐ１２に係る１つの画素値とを含んでいるので、ディスプレイコントローラ２６は、このうちの全体画像Ｐ１１に係る１４個の画素値に対応する１４個の画素値を含む画像データを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。ディスプレイコントローラ２６は、この画像データに基づいて、データ番号Ｎ１＝３に対応する２つの画素ラインＬに対して、図１５に示したように４つの画素ＰＩＸを単位として駆動するように制御する。
　この例では、ディスプレイコントローラ２６は、図１４に示したように、この１４個の画素値のうちの２～９番目の画素値を、黒色を示す画素値に設定する。表示パネル２７は、２～９番目の画素値に対応する画素ＰＩＸに、画素信号を書き込まないように制御する。なお、これに限定されるものではなく、ディスプレイコントローラ２６は、２～９番目の画素値に対応する画素ＰＩＸに、値が“０”の画素値に基づいて画素信号を書き込んでもよい。また、この例では、ディスプレイコントローラ２６は、この１４個の画素値のうちの２～９番目の画素値を、黒色を示す画素値に設定したが、これに限定されるものではなく、黒色を示す画素値に設定せず、元の画素値のままにしてもよい。
　図１７は、図１４において符号Ｗ２で示した２つの画素ラインＬに対する表示駆動動作の一例を表すものであり、（Ａ）はタイミングｔ１３～ｔ１４における動作を示し、（Ｂ）はタイミングｔ１４～ｔ１５における動作を示し、（Ｃ）はタイミングｔ１５～ｔ１６における動作を示す。図１７（Ａ）に示したように、タイミングｔ１３～ｔ１４では、画素信号生成回路３２は、１，１０～１４番目の画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。また、画素信号生成回路３２は、これらの画素ＰＩＸ以外の画素ＰＩＸに、画素値を書き込まない。
　次のタイミングｔ１４～ｔ１５の期間では、ディスプレイコントローラ２６は、図１４に示したように、部分画像Ｐ２に係る１６個の画素値を含む画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“４”であり、データ番号Ｎ２は“１”である。ディスプレイコントローラ２６は、画像位置データに基づいて、この画像データが、部分画像Ｐ２に係る画素値を含むことを把握する。そして、ディスプレイコントローラ２６は、この画像データに基づいて、データ番号Ｎ２＝１に対応する１つの画素ラインＬに対して、図１６に示したように１つの画素ＰＩＸを単位として駆動するように制御する。
　この場合、図１６に示したように、走査回路３３は、複数の画素ＰＩＸを、１つの画素ラインＬを走査単位ＵＳとして走査する。また、画素信号生成回路３２は、複数の信号線ＳＧＬに、複数の画素信号をそれぞれ印加する。これにより、選択された１つの画素ラインＬでは、１つの画素ＰＩＸに、１つの画素信号がそれぞれ書き込まれる。このようにして、表示パネル２７は、複数の画素ＰＩＸを、１つの画素ＰＩＸを単位ＵＤとして駆動する。
　図１７（Ｂ）に示したように、タイミングｔ１４～ｔ１５では、画素信号生成回路３２は、１６個の画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。また、画素信号生成回路３２は、これらの画素ＰＩＸ以外の画素ＰＩＸに、画素値を書き込まない。
　次のタイミングｔ１５～ｔ１６の期間では、ディスプレイコントローラ２６は、図１４に示したように、部分画像Ｐ２に係る１６個の画素値を含む画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“５”であり、データ番号Ｎ２は“２”である。ディスプレイコントローラ２６は、画像位置データに基づいて、この画像データが、部分画像Ｐ２に係る画素値を含むことを把握する。そして、ディスプレイコントローラ２６は、この画像データに基づいて、データ番号Ｎ２＝２に対応する１つの画素ラインＬに対して、図１６に示したように１つの画素ＰＩＸを単位として駆動するように制御する。
　図１７（Ｃ）に示したように、タイミングｔ１５～ｔ１６では、画素信号生成回路３２は、１６個の画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。また、画素信号生成回路３２は、これらの画素ＰＩＸ以外の画素ＰＩＸに、画素値を書き込まない。
　このようにして、画素信号生成回路３２は、図１７（Ａ）～（Ｃ）に示したように、タイミングｔ１３～ｔ１６の期間において、図１４において符号Ｗ２で示した２つの画素ラインＬにおける全ての画素ＰＩＸに対して、全体画像Ｐ１１に係る画素信号、または部分画像Ｐ２に係る画素信号を書き込む。
　図１３に示したように、これ以降も、ディスプレイコントローラ２６および表示パネル２７は同様に動作する。そして、タイミングｔ１７において、垂直データイネーブル信号ＶＤＥ＿ＯＵＴが高レベルから低レベルに変化する（図１３（Ｃ））。そして、タイミングｔ１８において、この垂直期間Ｖが終了するとともに、次の垂直期間Ｖが開始する。
　図１８～２０は、ディスプレイコントローラ２６の動作を模式的に表すものである。図１８～２０において、（Ａ）は、ディスプレイコントローラ２６に供給された画像データを示し、（Ｂ）はディスプレイコントローラ２６が出力する表示画像データを示す。
　図１３，１４では、ヘッドマウントディスプレイ２０の向きが変化せず、ユーザの目の向きが変化しない場合を例に挙げて説明した。この場合には、図１８に示すように、ディスプレイコントローラ２６が生成した表示画像データは、全体画像Ｐ１１に係る画像データおよび部分画像Ｐ２に係る画像データを含む。すなわち、この表示画像データは、周辺画像Ｐ１２に係る画像データを含まない。ディスプレイコントローラ２６は、この表示画像データに含まれる、部分画像Ｐ２に係る画像データに基づいて、複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動し、それ以外の画像データに基づいて、複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動する。
　例えば、ヘッドマウントディスプレイ２０の向きが変化し、ユーザの目の向きが変化しない場合には、加速度センサ２２は、ヘッドマウントディスプレイ２０の向きが変化したことを検出する。ディスプレイコントローラ２６の予測処理回路２９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、図１９に示すように幾何変形処理を行うことにより表示画像データを生成する。この表示画像データは、全体画像Ｐ１１に係る画像データおよび部分画像Ｐ２に係る画像データに加えて、周辺画像Ｐ１２に係る画像データを含む。なお、表示画像データは、周辺画像Ｐ１２に係る画像データに加えて、さらに、図８，９に示したように、さらに外側の画像の画像データを含んでもよい。この例では、幾何変形処理により、画像Ｐ１が小さくなるので、部分画像Ｐ２もまた小さくなる。ディスプレイコントローラ２６は、この表示画像データに含まれる、部分画像Ｐ２に係る画像データに基づいて、複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動し、それ以外の画像データに基づいて、複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動する。
　例えば、ヘッドマウントディスプレイ２０の向きが変化し、ユーザの目の向きも変化した場合には、加速度センサ２２は、ヘッドマウントディスプレイ２０の向きが変化したことを検出し、アイトラッキングセンサ２３は、ユーザの目の向きが変化したことを検出する。ディスプレイコントローラ２６の予測処理回路２９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、図２０に示すように幾何変形処理を行うことにより表示画像データを生成する。この表示画像データは、全体画像Ｐ１１に係る画像データおよび部分画像Ｐ２に係る画像データに加えて、周辺画像Ｐ１２に係る画像データを含む。なお、表示画像データは、周辺画像Ｐ１２に係る画像データに加えて、さらに、図８，９に示したように、さらに外側の画像の画像データを含んでもよい。この例では、ユーザの目の向きが変化しているので、予測処理回路２９は、アイトラッキングセンサ２３の検出結果に基づいて、画像Ｐ１における部分画像Ｐ２の位置を変更し、解像度を高める超解像処理を行うことにより、部分画像Ｐ２の画像データを生成する。ディスプレイコントローラ２６は、この表示画像データに含まれる、部分画像Ｐ２に係る画像データに基づいて、複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動し、それ以外の画像データに基づいて、複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動する。
　このようにして、ディスプレイコントローラ２６は、表示画像データを生成し、この表示画像データに基づいて、表示パネル２７の動作を制御する。
　図２１は、表示パネル２７の一動作例を表すものである。この例では、フレームレートは１２０Ｈｚである。この場合、表示パネル２７における表示動作の周期Ｔは８．３［msec.］（＝１／１２０［Ｈｚ］）である。
　走査回路３３は、この例では画素アレイ３１の最上部から最下部に向かって、１つの画素ラインＬまたは２つの画素ラインＬを走査単位として走査を行う。この例では、タイミングｔ２１～ｔ２２の期間およびタイミングｔ２４～ｔ２５の期間では、走査速度が速く、タイミングｔ２２～ｔ２４の期間では、走査速度が遅い。すなわち、タイミングｔ２２～ｔ２４の期間では、走査回路３３は、部分画像Ｐ２の位置に対応する複数の画素ラインＬを走査している。この場合、画素信号生成回路３２は、タイミングｔ１３～ｔ１６の期間の動作のように、３つの水平期間において、２つの画素ラインＬに係る複数の画素ＰＩＸに画素信号を書き込むので、走査速度が遅い。一方、タイミングｔ２１～ｔ２２の期間およびタイミングｔ２４～ｔ２５の期間では、画素信号生成回路３２は、タイミングｔ１２～ｔ１３の期間の動作のように、１つの水平期間において、２つの画素ラインＬに係る複数の画素ＰＩＸに画素信号を書き込むので、走査速度が速い。このように、表示パネル２７では、１つの画素ラインＬまたは２つの画素ラインＬを走査単位として走査を行うので、例えば、１つの画素ラインＬを走査単位として走査を行う場合に比べて、動作周波数を下げることができ、消費電力を低減することができる。
　そして、図２１において網掛けで示したように、画素信号が書き込まれた画素ＰＩＸは、この例では、画素信号が書き込まれてから所定の期間にわたり発光する。このようにして、表示パネル２７は、画像を表示する。
　このようにして、ヘッドマウントディスプレイ２０は、画像Ｐ１および部分画像Ｐ２に基づいて、画像を表示する。画像データの入力が開始されるタイミングｔ２１から、表示パネル２７の上下方向の中央の位置の画素ＰＩＸが発光し始めるまでの時間Δｔは、この例では、周期Ｔに対応する時間の半分程度である。具体的には、例えば、周期Ｔが８．３［msec.］である場合には、時間Δｔは４．１［msec.］程度にすることができる。
　図２２は、表示パネル２７の他の一動作例を表すものである。この例では、画素ＰＩＸの発光動作が、図２１の例とは異なる。すなわち、図２１の例では、表示パネル２７は、走査のタイミングに応じて発光したが、この例では、全領域の画素ＰＩＸが同じタイミングで発光する。時間Δｔは、この例では、周期Ｔに対応する時間と同程度である。具体的には、例えば、周期Ｔが８．３［msec.］である場合には、時間Δｔは８［msec.］程度にすることができる。
　表示システム１では、ヘッドマウントディスプレイ２０のアイトラッキングセンサ２３は、このヘッドマウントディスプレイ２０を装着しているユーザの目の向きを検出することにより、ユーザが表示画像のうちのどの部分を見ているかを検出する。画像生成装置１０は、このアイトラッキングセンサ２３の検出結果に基づいて、全体画像Ｐ１１のうちのユーザが見ている部分を含む画像（部分画像Ｐ２）を特定する。そして、画像生成装置１０は、画像Ｐ１（全体画像Ｐ１１および周辺画像Ｐ１２）を示す低解像度の画像データ、および部分画像Ｐ２を示す高解像度の画像データを含む画像信号ＳＰを生成する。よって、画像信号ＳＰに含まれる画像データでは、画像Ｐ１に係る画像データおよび部分画像Ｐ２に係る画像データの位置は、アイトラッキングセンサ２３の検出結果に応じて変化し得る。
　図２３～２６は、表示システム１の一動作例を表すものであり、図２３は、ユーザが表示パネル２７の表示画像における左上の部分を見ている場合を示し、図２４は、ユーザが表示パネル２７の表示画像における右上の部分を見ている場合を示し、図２５は、ユーザが表示パネル２７の表示画像における左下の部分を見ている場合を示し、図２６は、ユーザが表示パネル２７の表示画像における右下の部分を見ている場合を示す。
　例えば、ユーザが表示パネル２７の表示画像における左上や右上を見ている場合（図２３，２４）には、画像信号ＳＰにおける画像データにおいて、部分画像Ｐ２に係る画像データは、図２３（Ｂ），２４（Ｂ）に示したように、上方に位置する。一方、例えば、ユーザが表示パネル２７の表示画像における左下や右下を見ている場合（図２５，２６）には、画像信号ＳＰにおける画像データにおいて、部分画像Ｐ２に係る画像データは、図２５（Ｂ），２６（Ｂ）に示したように、下方に位置する。このように、画像信号ＳＰに含まれる画像データにおける、画像Ｐ１に係る画像データおよび部分画像Ｐ２に係る画像データの位置は、アイトラッキングセンサ２３の検出結果に応じて変化し得る。
　図２７は、表示システム１の動作の一例を表すものであり、（Ａ）は画像生成回路１１の動作を示し、（Ｂ）は送信回路１２の動作を示し、（Ｃ）はディスプレイコントローラ２６の動作を示し、（Ｄ）は表示パネル２７の動作を示す。この例では、表示パネル２７のフレームレートは１２０Ｈｚである。この場合、周期Ｔは８．３［msec.］（＝１／１２０［Ｈｚ］）である。また、画像生成回路１１におけるレンダリング処理の周期Ｔ０は１６．７［msec.］（＝１／６０［Ｈｚ］）である。表示システム１では、周期Ｔ０で画像データが生成され、周期Ｔでその画像データに基づく表示が行われる。
　タイミングｔ１０１～ｔ１０３の期間において、画像生成装置１０の画像生成回路１１は、レンダリング処理を行うことにより、加速度センサ２２の検出結果に基づいて、ヘッドマウントディスプレイ２０の向きに応じた全体画像Ｐ１１を生成するとともに、この全体画像Ｐ１１の外側の周辺画像Ｐ１２を生成する（図２７（Ａ））。そして、このタイミングｔ１０１～ｔ１０３のうちのタイミングｔ１０２～ｔ１０３の期間において、画像生成回路１１は、ディスプレイコントローラ２６の予測処理回路２９と同様に、加速度センサ２２の最新の検出結果に基づいて幾何変形処理を行うことにより、全体画像Ｐ１１および周辺画像Ｐ１２を更新する。また、画像生成回路１１は、アイトラッキングセンサ２３の検出結果に基づいて、全体画像Ｐ１１のうちのユーザが見ている部分を含む部分画像Ｐ２を特定する。
　次に、タイミングｔ１０３～ｔ１０７の期間において、画像生成装置１０の送信回路１２は、画像生成回路１１が生成したこのような画像に基づいて画像信号ＳＰを生成し、この画像信号ＳＰをヘッドマウントディスプレイ２０に対して送信する（図２７（Ｂ））。
　次に、タイミングｔ１０４～ｔ１０５の期間において、ディスプレイコントローラ２６の予測処理回路２９は、加速度センサ２２の最新の検出結果およびアイトラッキングセンサ２３の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する（図２７（Ｃ））。そして、タイミングｔ１０５～ｔ１０８の期間において、表示パネル２７は、予測処理回路２９により生成された表示画像データに基づいて、画像を表示する（図２７（Ｄ））。
　また、タイミングｔ１０６～ｔ１０８の期間において、ディスプレイコントローラ２６の予測処理回路２９は、加速度センサ２２の最新の検出結果およびアイトラッキングセンサ２３の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する（図２７（Ｃ））。そして、タイミングｔ１０８～ｔ１０９の期間において、表示パネル２７は、予測処理回路２９により生成された表示画像データに基づいて、画像を表示する（図２７（Ｄ））。
　図２７に示したように、ディスプレイコントローラ２６の予測処理回路２９は、加速度センサ２２の最新の検出結果およびアイトラッキングセンサ２３の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する。そして、表示パネル２７は、予測処理回路２９が生成した表示画像データに基づいて、画像を表示する。具体的には、例えば、タイミングｔ１０２～ｔ１０３における画像生成回路１１における予測処理に反映されなかった、加速度センサ２２の最新の検出結果およびアイトラッキングセンサ２３の最新の検出結果に基づいて、予測処理回路２９は、タイミングｔ１０４～ｔ１０５の期間において予測処理を行う。そして、表示パネル２７は、タイミングｔ１０５～ｔ１０８の期間において、予測処理回路２９が生成した表示画像データに基づいて、画像を表示する。表示システム１では、このような予測処理回路２９の予測処理により、例えば、ヘッドマウントディスプレイ２０の向きの変化に応じた画像をすぐに表示することができ、レイテンシを低減することができる。
　また、例えば、予測処理回路２９は、タイミングｔ１０６～ｔ１０８の期間において予測処理を行い、表示パネル２７は、タイミングｔ１０８～ｔ１０９の期間において、予測処理回路２９が生成した表示画像データに基づいて、画像を表示する。これにより、表示システム１では、画像信号ＳＰの伝送レートが低い場合でも、予測処理回路２９の予測処理により、例えば、ヘッドマウントディスプレイ２０の向きの変化に応じた画像をすぐに表示することができ、レイテンシを低減することができる。
　このような予測処理において、予測処理回路２８は、全体画像Ｐ１１の画像データおよび部分画像Ｐ２の画像データに加え、周辺画像Ｐ１２の画像データにも基づいて、幾何変形処理を行う。よって、表示システム１では、図１９，２０に示したように、幾何変形処理により画像Ｐ１が小さくなる場合において、この周辺画像Ｐ１２を有効に利用して幾何変形処理を行うことにより、表示画像を生成することができる。
　図２８，２９は、表示システム１の動作の他の一例を表すものである。この例では、画像生成回路１１におけるレンダリング処理の周期Ｔ０は、表示パネル２７における表示動作の周期Ｔと同じであり、８．３［msec.］（＝１／１２０［Ｈｚ］）である。
　タイミングｔ１１１～ｔ１１３の期間において、画像生成装置１０の画像生成回路１１は、レンダリング処理を行うことにより、加速度センサ２２の検出結果に基づいて、ヘッドマウントディスプレイ２０の向きに応じた全体画像Ｐ１１を生成するとともに、この全体画像Ｐ１１の外側の周辺画像Ｐ１２を生成する（図２８（Ａ））。そして、このタイミングｔ１１１～ｔ１１３のうちのタイミングｔ１１２～ｔ１１３の期間において、画像生成回路１１は、ディスプレイコントローラ２６の予測処理回路２９と同様に、加速度センサ２２の最新の検出結果に基づいて幾何変形処理を行うことにより、全体画像Ｐ１１および周辺画像Ｐ１２を更新する。また、画像生成回路１１は、アイトラッキングセンサ２３の検出結果に基づいて、全体画像Ｐ１１のうちのユーザが見ている部分を含む部分画像Ｐ２を特定する。そして、タイミングｔ１１３において、画像生成回路１１は、次のレンダリング処理を開始する。
　次に、タイミングｔ１１３～ｔ１１６の期間において、画像生成装置１０の送信回路１２は、画像生成回路１１が生成したこのような画像に基づいて画像信号ＳＰを生成し、この画像信号ＳＰをヘッドマウントディスプレイ２０に対して送信する（図２８（Ｂ））。そして、タイミングｔ１１４～ｔ１１７の期間において、表示パネル２７は、送信回路１２から送信された画像データに基づいてディスプレイコントローラ２６が生成した表示画像データに基づいて、画像を表示する（図２８（Ｄ））。
　次に、タイミングｔ１１５～ｔ１１７の期間において、ディスプレイコントローラ２６の予測処理回路２９は、加速度センサ２２の最新の検出結果およびアイトラッキングセンサ２３の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する（図２８（Ｃ））。
　図２８の例では、タイミングｔ１１３において画像生成回路１１が開始したレンダリング処理は、周期Ｔ０に対応する期間内に終了している（図２８（Ａ））。よって、タイミングｔ１１６～ｔ１１８の期間において、画像生成装置１０の送信回路１２は、画像生成回路１１が生成した画像に基づいて画像信号ＳＰを生成し、この画像信号ＳＰをヘッドマウントディスプレイ２０に対して送信する（図２８（Ｂ））。この場合には、タイミングｔ１１５～ｔ１１７の期間において予測処理回路２９が生成した表示画像データは破棄される。そして、表示パネル２７は、タイミングｔ１１７～ｔ１１９の期間において、送信回路１２から送信された画像データに基づいてディスプレイコントローラ２６が生成した表示画像データに基づいて、画像を表示する。
　一方、図２９の例では、タイミングｔ１１３において画像生成回路１１が開始したレンダリング処理は、周期Ｔ０に対応する期間内に終了できていない。この場合には、送信回路１２は、タイミングｔ１１６において画像信号ＳＰを送信し始めることができない。よって、表示パネル２７は、タイミングｔ１１７～ｔ１１９の期間において、予測処理回路２９がタイミングｔ１１５～ｔ１１７の期間において生成した表示画像データに基づいて、画像を表示する（図２９（Ｄ））。
　図２８，２９に示したように、ディスプレイコントローラ２６の予測処理回路２９は、加速度センサ２２の最新の検出結果およびアイトラッキングセンサ２３の最新の検出結果に基づいて幾何変形処理を行うことにより表示画像データを生成する。そして、表示パネル２７は、予測処理回路２９が生成した表示画像データに基づいて、画像を表示する。具体的には、例えば、図２９に示したように、タイミングｔ１１３において画像生成回路１１が開始したレンダリング処理が、周期Ｔ０に対応する期間内に終了しない場合には、表示パネル２７は、タイミングｔ１１７～ｔ１１８の期間において、予測処理回路２９がタイミングｔ１１５～ｔ１１７の期間において生成した表示画像データに基づいて、画像を表示する。これにより、表示システム１では、レンダリング処理が間に合わない場合でも、予測処理回路２９が生成した表示画像データに基づいて画像を表示することができるので、例えば、ヘッドマウントディスプレイ２０の向きの変化に応じた画像をすぐに表示することができる。
　このように、表示システム１では、受信回路２１は、第１の解像度の全体画像Ｐ１１を示す第１の画像データと、全体画像Ｐ１１の外側の画像である、第１の解像度以下の第２の解像度の周辺画像Ｐ１２を示す第２の画像データと、全体画像Ｐ１１よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の部分画像Ｐ２を示す第３の画像データとを受信するようにした。加速度センサ２２は、ヘッドマウントディスプレイ２０の姿勢の変化を検出するようにした。ディスプレイコントローラ２６は、加速度センサ２２の検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うようにした。そして、画素信号生成回路３２および走査回路３３は、この表示画像データに基づいて、全体画像Ｐ１１の画像範囲と同じ画像範囲の画像を表示可能な画素アレイ３１を駆動するようにした。これにより、ヘッドマウントディスプレイ２０では、予測処理回路２９が生成した表示画像データに基づいて画像を表示することができるので、例えば、ヘッドマウントディスプレイ２０の向きの変化に応じた画像をすぐに表示することができる。また、例えば、図２８，２９に示したように、伝送レートを低減した場合でも、ヘッドマウントディスプレイ２０の向きの変化に応じた画像をすぐに表示することができる。その結果、ヘッドマウントディスプレイ２０では、レイテンシを低減することができる。
［効果］
　以上のように本実施の形態では、第１の解像度の全体画像を示す第１の画像データと、全体画像の外側の画像である、第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、全体画像よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の部分画像を示す第３の画像データとを受信するようにした。加速度センサは、ヘッドマウントディスプレイの姿勢の変化を検出するようにした。予測処理回路は、加速度センサの検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うようにした。そして画素信号生成回路および走査回路は、この表示画像データに基づいて、全体画像の画像範囲と同じ画像範囲の画像を表示可能な画素アレイを駆動するようにした。これにより、レイテンシを低減することができる。
［変形例１－１］
　上記実施の形態では、画像生成回路１１は、画像Ｐ１（全体画像Ｐ１１および周辺画像Ｐ１２）を生成し、この全体画像Ｐ１１の一部を部分画像Ｐ２として特定し、画像Ｐ１において、２行２列で配置された４つの画素値を１つの画素値に変換することにより、高い解像度の画像Ｐ１を低い解像度の画像Ｐ１に変換したが、これに限定されるものではない。これに代えて、画像生成回路１１は、低い解像度の画像Ｐ１と、高い解像度の部分画像Ｐ２とを個別に生成してもよい。この場合、送信信号生成回路１８は、低い解像度の画像Ｐ１、および高い解像度の部分画像Ｐ２に基づいて、画像信号ＳＰに含まれる画像データを生成する。
［変形例１－２］
　上記実施の形態では、図１８（Ａ）などに示したように、周辺画像Ｐ１２の解像度を全体画像Ｐ１１の解像度と同じにしたが、これに限定されるものではなく、これに代えて、例えば、図３０に示すように、周辺画像Ｐ１２の解像度を全体画像Ｐ１１の解像度よりも低くしてもよい。図３１に示すように、周辺画像Ｐ１２の解像度を１／４（２×２）、１／９（３×３）、１／１６（４×４）にすることにより、画像データ量を小さくすることができ、伝送帯域を小さくすることができる。
［変形例１－３］
　上記実施の形態では、予測処理回路２９は、加速度センサ２２の検出結果に基づいて、周辺画像Ｐ１２を利用して表示画像を生成したが、表示システム１が左眼画像および右眼画像を含むステレオ画像を表示する場合には、左眼画像および右眼画像の両方を用いて、左眼画像の表示画像および右眼画像の表示画像を生成してもよい。具体的には、予測処理回路２９は、左眼画像の表示画像を生成する際に右眼画像を利用してもよいし、右眼画像の表示画像を生成する際に左眼画像を利用してもよい。以下に、この動作について詳細に説明する。
　図３２は、本変形例に係る予測処理回路２９の一動作例を表すものである。予測処理回路２９は、左眼画像ＰＬおよび右眼画像ＰＲの画像データに基づいて処理を行う。この例では、左眼画像ＰＬおよび右眼画像ＰＲのそれぞれは、箱１００の画像を含んでいる。この例では、左眼画像ＰＬでは、箱１００の右側端部の画像が欠落しており、右眼画像ＰＲでは、箱１００の左側端部の画像が欠落している。
　例えば、図５に示したように、ヘッドマウントディスプレイ２０を装着しているユーザ８は、首をやや左下に向かって振ると、図３２に示したように、予測処理回路２９は、加速度センサ２２の最新の検出結果に基づいて、左眼画像ＰＬに対して幾何変形処理を行うことにより、左眼画像ＰＬ１を生成し、右眼画像ＰＲに対して幾何変形処理を行うことにより、右眼画像ＰＲ１を生成する。右眼画像ＰＲでは、箱１００の左側端部の画像が欠落しているので、予測処理回路２９は、右眼画像ＰＲに対して幾何変形処理を行っても、この欠落した部分の画像を生成することができない。そこで、予測処理回路２９は、左眼画像ＰＬに基づいて、右眼画像ＰＲ１における、この欠落した部分の画像を生成する。具体的には、予測処理回路２９は、まず、左眼用の左眼画像ＰＬに対して幾何変形処理を行うことにより、右眼用の画像ＰＲ１１に変換する。すなわち、左眼画像ＰＬは、ユーザ８が左眼で観察した場合の画像であるので、予測処理回路２９は、左眼と右眼の位置の違いを考慮して幾何変形処理を行うことにより、ユーザ８が左眼で観察した場合の画像ＰＲ１１を生成する。次に、予測処理回路２９は、加速度センサ２２の最新の検出結果に基づいて、この画像ＰＲ１１に対して幾何変形処理を行うことにより、画像ＰＲ１２を生成する。そして、予測処理回路２９は、この画像ＰＲ１２のうちの、右眼画像ＰＲ１における欠落した部分に対応する画像を、右眼画像ＰＲ１に合成する。このようにして、予測処理回路２９は、右眼画像ＰＲ１において、箱１００の左側端部の欠落した画像部分を修正することができる。
［変形例１－４］
　上記実施の形態は、全体画像Ｐ１１および部分画像Ｐ２を用いたが、これに限定されるものではなく、これに代えて、例えば、解像度がさらに異なる画像を用いてもよい。以下に、３つの画像を用いた場合の例について、詳細に説明する。
　本変形例に係る画像生成回路１１は、受信回路１３から供給されたデータに含まれる、加速度センサ２２の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ２０の向きに応じた風景を示す全体画像Ｐ１１を生成する。また、画像生成回路１１は、この全体画像Ｐ１１の外側の周辺画像Ｐ１２を生成する。また、画像生成回路１１は、受信回路１３から供給されたデータに含まれる、アイトラッキングセンサ２３の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ２０の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像Ｐ２，Ｐ３を特定する。
　図３３は、画像生成回路１１が生成した画像の一例を表すものである。画像生成回路１１は、受信回路１３から供給されたデータに含まれる、アイトラッキングセンサ２３の検出結果に基づいて、全体画像Ｐ１１のうちの、ユーザが見ている部分を含む部分画像Ｐ２，Ｐ３を特定する。この例では、部分画像Ｐ２の水平方向（図３３における横方向）の大きさは、画像Ｐ１の水平方向の大きさの半分であり、部分画像Ｐ２の垂直方向（図３３における縦方向）の大きさは、画像Ｐ１の垂直方向の大きさの半分である。すなわち、部分画像Ｐ２の面積は、画像Ｐ１の面積の１／４である。また、部分画像Ｐ３の水平方向の大きさは、部分画像Ｐ２の水平方向の大きさの半分であり、部分画像Ｐ３の垂直方向の大きさは、部分画像Ｐ２の垂直方向の大きさの半分である。すなわち、部分画像Ｐ３の面積は、部分画像Ｐ２の面積の１／４である。この例では、部分画像Ｐ３の中心位置は、部分画像Ｐ２の中心位置と同じである。
　図３４は、本変形例に係る表示システム１の一動作例を表すものであり、（Ａ）は画像生成回路１１が生成した画像を示し、（Ｂ）は画像信号ＳＰに含まれる画像データを示し、（Ｃ）は本変形例に係るヘッドマウントディスプレイ２０における表示駆動動作を示す。
　本変形例に係る送信信号生成回路１８は、図３４（Ａ），（Ｂ）に示したように、画像生成回路１１が生成した画像Ｐ１において、左から右に向かう走査を、上から下に向かって順次行うことにより、画像信号ＳＰを生成する。送信信号生成回路１８は、画像Ｐ１については、４行４列で配置された１６個の画素値を１つの画素値に変換し、画像Ｐ１のうち、部分画像Ｐ２と重なっている部分については、２行２列で配置された４つの画素値を１つの画素値に変換し、画像Ｐ１のうち、部分画像Ｐ３と重なっている部分については、１つの画素値をそのまま出力することにより、画像信号ＳＰにおける画像データを生成する。
　具体的には、この例では、送信信号生成回路１８は、画像Ｐ１の１～４行目に含まれる１２８個の画素値に基づいて、４行４列で配置された１６個の画素値を１つの画素値に変換することにより、周辺画像Ｐ１２に係る８つの画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける１行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の５～８行目に含まれる１２８個の画素値に基づいて、４行４列で配置された１６個の画素値を１つの画素値に変換することにより、周辺画像Ｐ１２に係る１つの画素値、全体画像Ｐ１１に係る６つの画素値、および周辺画像Ｐ１２に係る１つの画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける２行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の５，６行目に含まれる６４個の画素値のうちの部分画像Ｐ２に係る３２個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、部分画像Ｐ２に係る８つの画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける３行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の７，８行目に含まれる６４個の画素値のうちの部分画像Ｐ２に係る３２個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、部分画像Ｐ２に係る８つの画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける４行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の９～１２行目に含まれる１２８個の画素値に基づいて、４行４列で配置された１６個の画素値を１つの画素値に変換することにより、周辺画像Ｐ１２に係る１つの画素値、全体画像Ｐ１１に係る６つの画素値、および周辺画像Ｐ１２に係る１つの画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける５行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の９，１０行目に含まれる６４個の画素値のうちの部分画像Ｐ２に係る３２個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、部分画像Ｐ２に係る８つの画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける６行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の１１，１２行目に含まれる６４個の画素値のうちの部分画像Ｐ２に係る３２個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、部分画像Ｐ２に係る８つの画素値を生成する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける７行目の画像データを生成する。
　また、送信信号生成回路１８は、画像Ｐ１の９行目に含まれる３２個の画素値のうちの部分画像Ｐ３に係る８つの画素値をそのまま出力し、画像Ｐ１の１０行目に含まれる３２個の画素値のうちの部分画像Ｐ３に係る８つの画素値をそのまま出力し、画像Ｐ１の１１行目に含まれる３２個の画素値のうちの部分画像Ｐ３に係る８つの画素値をそのまま出力し、画像Ｐ１の１２行目に含まれる３２個の画素値のうちの部分画像Ｐ３に係る８つの画素値をそのまま出力する。これにより、送信信号生成回路１８は、画像信号ＳＰにおける８～１１行目の画像データを生成する。
　このように、送信信号生成回路１８は、画像Ｐ１については、４行４列で配置された１６個の画素値を１つの画素値に変換する。送信信号生成回路１８は、画像Ｐ１のうち、部分画像Ｐ２と重なっている部分については、２行２列で配置された４つの画素値を１つの画素値に変換する。また、送信信号生成回路１８は、画像Ｐ１のうち、部分画像Ｐ３と重なっている部分については、画素値をそのまま出力する。これにより、画像信号ＳＰでは、画像Ｐ１の解像度は部分画像Ｐ２の解像度よりも低くなり、部分画像Ｐ２の解像度は部分画像Ｐ３の解像度よりも低くなる。
　このようにして、送信信号生成回路１８は、画像生成回路１１が生成した画像に基づいて、図３４（Ｂ）に示したような複数の画素値を含む画像データを生成する。そして、送信信号生成回路１８は、この画像データ、および画像Ｐ１における部分画像Ｐ２の位置（パラメータＰＯＳＸ，ＰＯＳＹ）を示す画像位置データを含む画像信号ＳＰを生成する。
　図３５は、本変形例に係る表示システム１における伝送帯域を表すものである。画像信号ＳＰに含まれる画像データは、この例では２４行分の画像データを含む。説明の便宜上、画像Ｐ１（全体画像Ｐ１１およおび周辺画像Ｐ１２）に係る８行分の画像データにデータ番号Ｎ１を付しており、部分画像Ｐ２に係る８行分の画像データにデータ番号Ｎ２を付しており、部分画像Ｐ３に係る８行分の画像データにデータ番号Ｎ３を付している。
　画像信号ＳＰに含まれる画像データにおける画素値の数は、画像Ｐ１に含まれる画素値の数の１８．７５％（＝０．７５×０．２５）である。このように、表示システム１は、変換前の画像Ｐ１をそのまま送信する場合に比べて、画像データ量を削減することができる。
　図３６は、ヘッドマウントディスプレイ２０の向きが変化せず、ユーザの目の向きが変化しない場合に、本変形例に係るディスプレイコントローラ２６から出力される信号の一例を表すものであり、（Ａ）は垂直同期信号ＶＳ＿ＯＵＴの波形を示し、（Ｂ）は水平同期信号ＨＳ＿ＯＵＴの波形を示し、（Ｃ）は垂直データイネーブル信号ＶＤＥ＿ＯＵＴの波形を示し、（Ｄ）はデータ信号ＤＡＴＡ＿ＯＵＴを示す。この例では、ヘッドマウントディスプレイ２０の向きが変化せず、ユーザの目の向きが変化しないので、予測処理回路２９は、図６，７に示したような幾何変形処理は行われない。よって、データ信号ＤＡＴＡ＿ＯＵＴは、全体画像Ｐ１１および部分画像Ｐ２，Ｐ３に係る画像データを含み、周辺画像Ｐ１２に係る画像データを含まない。
　タイミングｔ２１において、垂直同期信号ＶＳ＿ＯＵＴにパルスが生じ、垂直期間Ｖが開始する（図３６（Ａ））。また、水平同期信号ＨＳ＿ＯＵＴには、水平期間Ｈが開始する度にパルスが生じる（図３６（Ｂ））。
　そして、タイミングｔ２２において、垂直データイネーブル信号ＶＤＥ＿ＯＵＴが低レベルから高レベルに変化する（図３６（Ｃ））。ディスプレイコントローラ２６は、この例では、２２個の水平期間Ｈにわたり、２２個の画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する（図３６（Ｄ））。この例のように、ヘッドマウントディスプレイ２０の向きが変化せず、ユーザの目の向きが変化しない場合には、ディスプレイコントローラ２６は、全体画像Ｐ１１に係る画像データおよび部分画像Ｐ２，Ｐ３に係る画像データを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。データ信号ＤＡＴＡ＿ＯＵＴに含まれる２２個の画像データは、図３４（Ｂ），３５に示した画像信号ＳＰに含まれる２～２３行目の画像データにそれぞれ対応している。図３６には、説明の便宜上、データ番号ＮＳＰ，Ｎ１～Ｎ３を記載している。
　ディスプレイコントローラ２６は、データ信号ＤＡＴＡ＿ＯＵＴに含まれる、全体画像Ｐ１１に係る画像データに基づいて、表示パネル２７における複数の画素ＰＩＸを、４行４列で配置された１６個の画素ＰＩＸを単位として駆動するように制御する。また、ディスプレイコントローラ２６は、データ信号ＤＡＴＡ＿ＯＵＴに含まれる、部分画像Ｐ２に係るデータに基づいて、表示パネル２７における複数の画素ＰＩＸを、２行２列で配置された４つの画素ＰＩＸを単位として駆動するように制御する。また、ディスプレイコントローラ２６は、データ信号ＤＡＴＡ＿ＯＵＴに含まれる、部分画像Ｐ３に係るデータに基づいて、表示パネル２７における複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動するように制御する。
　図３７は、図３６におけるタイミングｔ２２～ｔ３２におけるデータ信号ＤＡＴＡ＿ＯＵＴと、そのデータ信号ＤＡＴＡ＿ＯＵＴに基づく表示駆動動作の一例を表すものである。
　表示パネル２７は、タイミングｔ２２～ｔ２３の期間では、図３７において符号Ｗ４で示した４つの画素ラインＬに対する表示駆動動作を行う。
　まず、タイミングｔ２２～ｔ２３の期間では、ディスプレイコントローラ２６は、図３７に示したように、全体画像Ｐ１１に係る６つの画素値を含む画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“２”であり、データ番号Ｎ１は“２”である。ディスプレイコントローラ２６は、この画像データに基づいて、データ番号Ｎ１＝２に対応する４つの画素ラインＬに対して、１６個の画素ＰＩＸを単位として駆動するように制御する。
　この例では、ディスプレイコントローラ２６は、図３７に示したように、この６つの画素値のうちの１～４番目の画素値を、黒色を示す画素値に設定する。表示パネル２７は、１～４番目の画素値に対応する画素ＰＩＸに、画素信号を書き込まないように制御する。
　図３８は、図３７において符号Ｗ４で示した４つの画素ラインＬに対する表示駆動動作の一例を表すものであり、（Ａ）はタイミングｔ２２～ｔ２３における動作を示し、（Ｂ）はタイミングｔ２３～ｔ２４における動作を示し、（Ｃ）はタイミングｔ２４～ｔ２５における動作を示す。図３８（Ａ）に示したように、タイミングｔ２２～ｔ２３では、画素信号生成回路３２は、５，６番目の画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。また、画素信号生成回路３２は、これらの画素ＰＩＸ以外の画素ＰＩＸに、画素値を書き込まない。
　次のタイミングｔ２３～ｔ２４の期間では、ディスプレイコントローラ２６は、図３７に示したように、部分画像Ｐ２に係る８つの画素値を含む画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“３”であり、データ番号Ｎ２は“１”である。ディスプレイコントローラ２６は、画像位置データに基づいて、この画像データが、部分画像Ｐ２に係る画素値を含むことを把握する。そして、ディスプレイコントローラ２６は、この画像データに基づいて、データ番号Ｎ１＝２に対応する２つの画素ラインＬに対して、４つの画素ＰＩＸを単位として駆動するように制御する。
　図３８（Ｂ）に示したように、タイミングｔ２３～ｔ２４では、画素信号生成回路３２は、８つの画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。また、画素信号生成回路３２は、これらの画素ＰＩＸ以外の画素ＰＩＸに、画素値を書き込まない。
　次のタイミングｔ２４～ｔ２５の期間の動作は、タイミングｔ２３～ｔ２４の期間の動作と同様である。図３８（Ｃ）に示したように、タイミングｔ２４～ｔ２５の期間では、画素信号生成回路３２は、８つの画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。
　このようにして、画素信号生成回路３２は、図３８（Ａ）～（Ｃ）に示したように、タイミングｔ２２～ｔ２５の期間において、図３７において符号Ｗ４で示した４つの画素ラインＬにおける全ての画素ＰＩＸに対して、全体画像Ｐ１１に係る画素信号、または部分画像Ｐ２に係る画素信号を書き込む。
　次に、表示パネル２７は、タイミングｔ２５～ｔ３２の期間では、図３７において符号Ｗ５で示した４つの画素ラインＬに対する表示駆動動作を行う。
　まず、タイミングｔ２５～ｔ２６の期間では、ディスプレイコントローラ２６は、図３７に示したように、全体画像Ｐ１１に係る６つの画素値を含む画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“５”であり、データ番号Ｎ１は“３”である。ディスプレイコントローラ２６は、この画像データに基づいて、データ番号Ｎ１＝３に対応する４つの画素ラインＬに対して、１６個の画素ＰＩＸを単位として駆動するように制御する。
　この例では、ディスプレイコントローラ２６は、図３７に示したように、この６つの画素値のうちの１～４番目の画素値を、黒色を示す画素値に設定する。表示パネル２７は、１～４番目の画素値に対応する画素ＰＩＸに、画素信号を書き込まないように制御する。
　図３９は、図３７において符号Ｗ５で示した４つの画素ラインＬに対する表示駆動動作の一例を表すものであり、（Ａ）はタイミングｔ２５～ｔ２６における動作を示し、（Ｂ）はタイミングｔ２６～ｔ２７における動作を示し、（Ｃ）はタイミングｔ２７～ｔ２８における動作を示し、（Ｄ）はタイミングｔ２８～ｔ２９における動作を示し、（Ｅ）はタイミングｔ２９～ｔ３０における動作を示し、（Ｆ）はタイミングｔ３０～ｔ３１における動作を示、（Ｇ）はタイミングｔ３１～ｔ３２における動作を示す。図３９（Ａ）に示したように、タイミングｔ２５～ｔ２６では、画素信号生成回路３２は、５，６番目の画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。また、画素信号生成回路３２は、これらの画素ＰＩＸ以外の画素ＰＩＸに、画素値を書き込まない。
　次のタイミングｔ２６～ｔ２７の期間では、ディスプレイコントローラ２６は、図３７に示したように、部分画像Ｐ２に係る８つの画素値を含む画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“６”であり、データ番号Ｎ２は“３”である。ディスプレイコントローラ２６は、画像位置データに基づいて、この画像データが、部分画像Ｐ２に係る画素値を含むことを把握する。そして、ディスプレイコントローラ２６は、この画像データに基づいて、データ番号Ｎ２＝３に対応する２つの画素ラインＬに対して、４つの画素ＰＩＸを単位として駆動するように制御する。
　この例では、ディスプレイコントローラ２６は、図３７に示したように、この８つの画素値のうちの３～６番目の画素値を、黒色を示す画素値に設定する。表示パネル２７は、３～６番目の画素値に対応する画素ＰＩＸに、画素信号を書き込まないように制御する。
　図３９（Ｂ）に示したように、タイミングｔ２６～ｔ２７では、画素信号生成回路３２は、１，２，７，８番目の画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。また、画素信号生成回路３２は、これらの画素ＰＩＸ以外の画素ＰＩＸに、画素値を書き込まない。
　次のタイミングｔ２７～ｔ２８の期間の動作は、タイミングｔ２６～ｔ２７の期間の動作と同様である。図３９（Ｃ）に示したように、タイミングｔ２７～ｔ２８の期間では、画素信号生成回路３２は、１，２，７，８番目の画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。
　タイミングｔ２８～ｔ２９の期間では、ディスプレイコントローラ２６は、図３７に示したように、部分画像Ｐ３に係る８つの画素値を含む画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“８”であり、データ番号Ｎ３は“１”である。ディスプレイコントローラ２６は、画像位置データに基づいて、この画像データが、部分画像Ｐ３に係る画素値を含むことを把握する。そして、ディスプレイコントローラ２６は、この画像データに基づいて、データ番号Ｎ３＝１に対応する１つの画素ラインＬに対して、１つの画素ＰＩＸを単位として駆動するように制御する。
　図３９（Ｄ）に示したように、タイミングｔ２８～ｔ２９では、画素信号生成回路３２は、８つの画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。また、画素信号生成回路３２は、これらの画素ＰＩＸ以外の画素ＰＩＸに、画素値を書き込まない。
　タイミングｔ２９～ｔ３０の期間、タイミングｔ３０～ｔ３１の期間、およびタイミングｔ３１～ｔ３２の期間の動作は、タイミングｔ２８～ｔ２９の期間の動作と同様である。図３９（Ｅ）～（Ｇ）に示したように、タイミングｔ２９～ｔ３０の期間、タイミングｔ３０～ｔ３１の期間、およびタイミングｔ３１～ｔ３２の期間のそれぞれでは、画素信号生成回路３２は、８つの画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。
　このようにして、画素信号生成回路３２は、図３９（Ａ）～（Ｇ）に示したように、タイミングｔ２５～ｔ３２の期間において、図３７において符号Ｗ５で示した４つの画素ラインＬにおける全ての画素ＰＩＸに対して、全体画像Ｐ１１に係る画素信号、部分画像Ｐ２に係る画素信号、あるいは部分画像Ｐ３に係る画素信号を書き込む。
　図３６に示したように、これ以降も、ディスプレイコントローラ２６および表示パネル２７は同様に動作する。そして、タイミングｔ３３において、垂直データイネーブル信号ＶＤＥ＿ＯＵＴが高レベルから低レベルに変化する（図３６（Ｃ））。そして、タイミングｔ３４において、この垂直期間Ｖが終了するとともに、次の垂直期間Ｖが開始する。
［その他の変形例］
　また、これらの変形例のうちの２以上を組み合わせてもよい。
＜２．第２の実施の形態＞
　次に、第２の実施の形態に係る表示システム２について説明する。本実施の形態は、画像信号ＳＰにおける画像データの構成が、上記第１の実施の形態と異なるものである。なお、上記第１の実施の形態に係る表示システム１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
　図４０は、本実施の形態に係る表示システム２の一構成例を表すものである。表示システム２は、画像生成装置４０と、ヘッドマウントディスプレイ５０とを備えている。
　画像生成装置４０は、画像生成回路４１を有している。画像生成回路４１は、送信信号生成回路４８を有している。送信信号生成回路４８は、画像生成回路４１が生成した画像に基づいて、送信すべき画像信号ＳＰを生成するように構成される。
　図４１は、表示システム２の一動作例を表すものであり、（Ａ）は画像生成回路４１が生成した画像を示し、（Ｂ）は画像信号ＳＰに含まれる画像データを示し、（Ｃ）はヘッドマウントディスプレイ５０における表示駆動動作を示す。
　送信信号生成回路４８は、図４１（Ａ），（Ｂ）に示したように、画像生成回路４１が生成した画像Ｐ１において、左から右に向かう走査を、上から下に向かって順次行うことにより、画像信号ＳＰを生成する。送信信号生成回路４８は、画像Ｐ１のうちの部分画像Ｐ２と重なっていない部分については、２行２列で配置された４つの画素値を１つの画素値に変換し、画像Ｐ１のうちの部分画像Ｐ２と重なっている部分については、１つの画素値をそのまま出力することにより、画像信号ＳＰにおける画像データを生成する。
　具体的には、この例では、送信信号生成回路４８は、画像Ｐ１の１，２行目に含まれる６４個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、周辺画像Ｐ１２に係る１６個の画素値を生成する。そして、送信信号生成回路４８は、黒色を示す８つの画素値を生成する。これにより、送信信号生成回路４８は、画像信号ＳＰにおける１行目の画像データを生成する。
　また、送信信号生成回路４８は、画像Ｐ１の３，４行目に含まれる６４個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、周辺画像Ｐ１２に係る１つの画素値、全体画像Ｐ１１に係る１４個の画素値、および周辺画像Ｐ１２に係る１つの画素値を生成する。そして、送信信号生成回路４８は、黒色を示す８つの画素値を生成する。これにより、送信信号生成回路４８は、画像信号ＳＰにおける２行目の画像データを生成する。
　また、送信信号生成回路４８は、画像Ｐ１の５，６行目に含まれる６４個の画素値のうちの、１～４列目に属する８つの画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、周辺画像Ｐ１２に係る１つの画素値、および全体画像Ｐ１１に係る１つの画素値を生成する。送信信号生成回路４８は、画像Ｐ１の５行目に含まれる３２個の画素値のうちの、部分画像Ｐ２に係る１６個の画素値をそのまま出力する。送信信号生成回路４８は、画像Ｐ１の５，６行目に含まれる６４個の画素値のうちの、２１～３２列目に属する２０個の画素値に基づいて、２行２列で配置された４つの画素値を１つの画素値に変換することにより、全体画像Ｐ１１に係る５つの画素値、および周辺画像Ｐ１２に係る１つの画素値を生成する。これにより、送信信号生成回路４８は、画像信号ＳＰにおける３行目の画像データを生成する。
　また、送信信号生成回路４８は、黒色を示す２つの画素値を生成する。送信信号生成回路４８は、画像Ｐ１の６行目に含まれる３２個の画素値のうちの、部分画像Ｐ２に係る１６個の画素値をそのまま出力する。そして、送信信号生成回路４８は、黒色を示す６つの画素値を生成する。これにより、送信信号生成回路４８は、画像信号ＳＰにおける４行目の画像データを生成する。
　この例では、送信信号生成回路４８は、画像Ｐ１のうちの部分画像Ｐ２と重なっていない部分について、２行２列で配置された４つの画素値を１つの画素値に変換する。よって、変換後の画像Ｐ１は、部分画像Ｐ２に対応する画像を含まない。送信信号生成回路４８は、画像Ｐ１のうちの部分画像Ｐ２と重なっていない部分を、より解像度が低い画像Ｐ１に変換する。一方、部分画像Ｐ２の解像度は変化しない。その結果、変換後の画像Ｐ１の解像度は、部分画像Ｐ２の解像度よりも低くなる。送信信号生成回路４８は、図４１の例では、左から右に向かう走査を、上から下に向かって順次行うことにより画像信号ＳＰを生成するので、図４１（Ｂ）に示したように、例えば、画像信号ＳＰには、画像Ｐ１に係る１または複数の画素値と、部分画像Ｐ２に係る１または複数の画素値とが、交互に配置されるようになっている。
　このようにして、送信信号生成回路４８は、画像生成回路４１が生成した画像に基づいて、図４１（Ｂ）に示したような複数の画素値を含む画像データを生成する。この画像データは、黒色を示す画素値を含む。そして、送信信号生成回路４８は、この画像データ、および画像Ｐ１における部分画像Ｐ２の位置（パラメータＰＯＳＸ，ＰＯＳＹ）を示す画像位置データを含む画像信号ＳＰを生成するようになっている。
　図４２は、表示システム２における伝送帯域を表すものである。この図４２において、網掛けされていない部分は全体画像Ｐ１１を示し、斜線で網掛けされている部分は周辺画像Ｐ１２を示し、ドットで網掛けされている部分は部分画像Ｐ２を示す。また、濃い網掛けが施されている画素値は、黒色の画素値を示す。画像信号ＳＰに含まれる画像データは、この例では２４行分の画像データを含む。説明の便宜上、この２４行分の画像データにデータ番号ＮＳＰを付している。
　画像信号ＳＰに含まれる画像データにおける画素値の数は、画像Ｐ１に含まれる画素値の数の５６．２５％（＝０．７５×０．７５）である。このように、表示システム２は、変換前の画像Ｐ１をそのまま送信する場合に比べて、画像データ量を削減することができるようになっている。
　ヘッドマウントディスプレイ５０（図４０）は、ディスプレイコントローラ５６を有している。ディスプレイコントローラ５６は、プロセッサ２４から供給された画像データおよび画像位置データに基づいて、表示パネル２７の動作を制御するように構成される。ディスプレイコントローラ５６は、予測処理回路５９を有している。予測処理回路５９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成するように構成される。
　図４３は、ディスプレイコントローラ５６に入力される信号の一例を表すものであり、（Ａ）は垂直同期信号ＶＳ＿ＩＮの波形を示し、（Ｂ）は水平同期信号ＨＳ＿ＩＮの波形を示し、（Ｃ）は垂直データイネーブル信号ＶＤＥ＿ＩＮの波形を示し、（Ｄ）はデータ信号ＤＡＴＡ＿ＩＮを示す。
　タイミングｔ４１において、垂直同期信号ＶＳ＿ＩＮにパルスが生じ、垂直期間Ｖが開始する（図４３（Ａ））。また、水平同期信号ＨＳ＿ＩＮには、水平期間Ｈが開始する度にパルスが生じる（図４３（Ｂ））。
　そして、タイミングｔ４２において、垂直データイネーブル信号ＶＤＥ＿ＩＮが低レベルから高レベルに変化する（図４３（Ｃ））。この例では、２４個の水平期間Ｈにわたり、データ信号ＤＡＴＡ＿ＩＮが供給される。データ信号ＤＡＴＡ＿ＩＮは、２４個の水平期間Ｈに対応する２４個の画像データを含む。この２４個の画像データは、図４２に示した、画像信号ＳＰに含まれる２４行分の画像データ（データ番号ＮＳＰ＝１～２４）にそれぞれ対応する。
　図４４は、データ信号ＤＡＴＡ＿ＩＮの一例を表すものである。例えば、画像信号ＳＰに含まれる２行目の画像データは、データ信号ＤＡＴＡ＿ＩＮに含まれる２４個の画像データのうちの、２番目の画像データに対応する。この画像データは、周辺画像Ｐ１２に係る１つの画素値と、全体画像Ｐ１１に係る１４個の画素値と、周辺画像Ｐ１２に係る１つの画素値と、黒色を示す８つの画素値とを含む。例えば、画像信号ＳＰに含まれる３行目の画像データは、データ信号ＤＡＴＡ＿ＩＮに含まれる２４個の画像データのうちの、３番目の画像データに対応する。この画像データは、周辺画像Ｐ１２に係る１つの画素値と、全体画像Ｐ１１に係る１つの画素値と、部分画像Ｐ２に係る１６個の画素値と、全体画像Ｐ１１に係る５つの画素値と、周辺画像Ｐ１２に係る１つの画素値とを含む。例えば、画像信号ＳＰに含まれる４行目の画像データは、データ信号ＤＡＴＡ＿ＩＮに含まれる２４個の画像データのうちの、４番目の画像データに対応する。この画像データは、黒色を示す２つの画素値と、部分画像Ｐ２に係る１６個の画素値と、黒色を示す６つの画素値とを含む。
　そして、タイミングｔ４３において、垂直データイネーブル信号ＶＤＥ＿ＩＮが高レベルから低レベルに変化する（図４３（Ｃ））。そして、タイミングｔ４４において、この垂直期間Ｖが終了するとともに、次の垂直期間Ｖが開始する。
　ディスプレイコントローラ５６の予測処理回路５９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。そして、ディスプレイコントローラ５６は、この表示画像データに基づいて、垂直同期信号ＶＳ＿ＯＵＴ、水平同期信号ＨＳ＿ＯＵＴ、垂直データイネーブル信号ＶＤＥ＿ＯＵＴ、およびデータ信号ＤＡＴＡ＿ＯＵＴを生成する。
　図４５は、ヘッドマウントディスプレイ５０の向きが変化せず、ユーザの目の向きが変化しない場合に、ディスプレイコントローラ５６から出力される信号の一例を表すものであり、（Ａ）は垂直同期信号ＶＳ＿ＯＵＴの波形を示し、（Ｂ）は水平同期信号ＨＳ＿ＯＵＴの波形を示し、（Ｃ）は垂直データイネーブル信号ＶＤＥ＿ＯＵＴの波形を示し、（Ｄ）はデータ信号ＤＡＴＡ＿ＯＵＴを示す。図４５（Ｄ）において、網掛けされていない部分は全体画像Ｐ１１を示し、ドットで網掛けされている部分は部分画像Ｐ２を示す。すなわち、この例では、ヘッドマウントディスプレイ５０の向きが変化せず、ユーザの目の向きが変化しないので、予測処理回路５９は、図６，７に示したような幾何変形処理は行われない。よって、データ信号ＤＡＴＡ＿ＯＵＴは、全体画像Ｐ１１および部分画像Ｐ２に係る画像データを含み、周辺画像Ｐ１２に係る画像データを含まない。
　図４４の場合と同様に、タイミングｔ５１において、垂直同期信号ＶＳ＿ＯＵＴにパルスが生じ、垂直期間Ｖが開始する（図４５（Ａ））。また、水平同期信号ＨＳ＿ＯＵＴには、水平期間Ｈが開始する度にパルスが生じる（図４５（Ｂ））。
　そして、タイミングｔ５２において、垂直データイネーブル信号ＶＤＥ＿ＯＵＴが低レベルから高レベルに変化する（図４５（Ｃ））。ディスプレイコントローラ５６は、この例では、２２個の水平期間Ｈにわたり、２２個の画像データをデータ信号ＤＡＴＡ＿ＯＵＴとして出力する（図４５（Ｄ））。この例のように、ヘッドマウントディスプレイ５０の向きが変化せず、ユーザの目の向きが変化しない場合には、ディスプレイコントローラ５６は、全体画像Ｐ１１に係る画像データおよび部分画像Ｐ２に係る画像データを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。データ信号ＤＡＴＡ＿ＯＵＴに含まれる２２個の画像データは、データ信号ＤＡＴＡ＿ＩＮ（図４３）に含まれる２～２３番目の２２個の画像データにそれぞれ対応する。言い換えれば、データ信号ＤＡＴＡ＿ＯＵＴに含まれる２２個の画像データは、図４１（Ｂ），４２に示した画像信号ＳＰに含まれる２～２３行目の画像データにそれぞれ対応している。図４５には、説明の便宜上、データ番号ＮＳＰを記載している。
　ディスプレイコントローラ５６は、データ信号ＤＡＴＡ＿ＯＵＴに含まれる、全体画像Ｐ１１に係る画像データに基づいて、表示パネル２７における複数の画素ＰＩＸを、２行２列で配置された４つの画素ＰＩＸを単位として駆動するように制御する。また、ディスプレイコントローラ５６は、データ信号ＤＡＴＡ＿ＯＵＴに含まれる、部分画像Ｐ２に係るデータに基づいて、表示パネル２７における複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動するように制御する。
　図４６は、図４５におけるタイミングｔ５２～ｔ５５におけるデータ信号ＤＡＴＡ＿ＯＵＴと、そのデータ信号ＤＡＴＡ＿ＯＵＴに基づく表示駆動動作の一例を表すものである。
　表示パネル２７は、タイミングｔ５２～ｔ５３の期間では、図４６において符号Ｗ６で示した２つの画素ラインＬに対する表示駆動動作を行う。
　このタイミングｔ５２～ｔ５３の期間では、ディスプレイコントローラ５６は、図４３に示したように、全体画像Ｐ１１に係る１４個の画素値と、黒色を示す８つの画素値とを含む画像データを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“２”である。すなわち、図４４に示したように、画像信号ＳＰに含まれる、データ番号ＮＳＰが“２”である画像データは、周辺画像Ｐ１２に係る１つの画素値と、全体画像Ｐ１１に係る１４個の画素値と、周辺画像Ｐ１２に係る１つの画素値と、黒色を示す８つの画素値とを含んでいるので、ディスプレイコントローラ５６は、このうちの全体画像Ｐ１１に係る１４個の画素値に対応する１４個の画素値と、黒色を示す８つの画素値とを含む画像データとを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。ディスプレイコントローラ５６は、この１４個の画素値に基づいて、データ番号ＮＳＰ＝２に対応する２つの画素ラインＬに対して、４つの画素ＰＩＸを単位として駆動するように制御する。
　このようにして、画素信号生成回路３２は、図４６において符号Ｗ６で示した２つの画素ラインＬに対して、全体画像Ｐ１１に係る画素信号を書き込む。
　次に、表示パネル２７は、タイミングｔ５３～ｔ５５の期間では、図４６において符号Ｗ７で示した２つの画素ラインＬに対する表示駆動動作を行う。
　まず、タイミングｔ５３～ｔ５４の期間では、ディスプレイコントローラ５６は、図４６に示したように、１番目における、全体画像Ｐ１１に係る１つの画素値と、２～１７番目における、部分画像Ｐ２に係る１６個の画素値と、１８～２２番目における、全体画像Ｐ１１に係る５つの画素値とを含む画像データを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“３”である。すなわち、図４４に示したように、画像信号ＳＰに含まれる、データ番号ＮＳＰが“３”である画像データは、周辺画像Ｐ１２に係る１つの画素値と、全体画像Ｐ１１に係る１つの画素値と、部分画像Ｐ２に係る１６個の画素値と、全体画像Ｐ１１に係る５つの画素値と、周辺画像Ｐ１２に係る１つの画素値とを含んでいるので、ディスプレイコントローラ５６は、このうちの全体画像Ｐ１１に係る１つの画素値と、部分画像Ｐ２に係る１６個の画素値と、全体画像Ｐ１１に係る５つの画素値とを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。ディスプレイコントローラ５６は、画像位置データに基づいて、この画像データが、部分画像Ｐ２に係る画素値を含むことを把握する。そして、ディスプレイコントローラ５６は、全体画像Ｐ１１に係るこれらの合計６つ（１つおよび５つ）の画素値に基づいて、データ番号ＮＳＰ＝３，４に対応する２つの画素ラインＬに対して、４つの画素ＰＩＸを単位として駆動するように制御する。また、ディスプレイコントローラ５６は、部分画像Ｐ２に係る１６個の画素値に基づいて、データ番号ＮＳＰ＝３，４に対応する２つの画素ラインＬに対して、２つの画素ＰＩＸを単位として駆動するように制御する。
　図４７は、図４６において符号Ｗ７で示した２つの画素ラインＬに対する表示駆動動作の一例を表すものであり、（Ａ）はタイミングｔ５３～ｔ５４における動作を示し、（Ｂ）はタイミングｔ５４～ｔ５５における動作を示す。図４７（Ａ）に示したように、タイミングｔ５３～ｔ５４では、画素信号生成回路３２は、１～２２番目の画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。
　次のタイミングｔ５４～ｔ５５の期間では、ディスプレイコントローラ５６は、図４６に示したように、１，２番目における、黒色を示す２つの画素値と、３～１８番目における、部分画像Ｐ２に係る１６個の画素値と、１９～２４番目における、黒色を示す６つの画素値とを含む画像データを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。この画像データのデータ番号ＮＳＰは“４”である。すなわち、図４４に示したように、画像信号ＳＰに含まれる、データ番号ＮＳＰが“４”である画像データは、黒色を示す２つの画素値と、部分画像Ｐ２に係る１６個の画素値と、黒色を示す６つの画素値とを含んでいるので、ディスプレイコントローラ５６は、これらの黒色を示す２つの画素値と、部分画像Ｐ２に係る１６個の画素値と、黒色を示す６つの画素値とを、データ信号ＤＡＴＡ＿ＯＵＴとして出力する。ディスプレイコントローラ５６は、画像位置データに基づいて、この画像データが、部分画像Ｐ２に係る画素値を含むことを把握する。そして、ディスプレイコントローラ５６は、部分画像Ｐ２に係る１６個の画素値に基づいて、データ番号ＮＳＰ＝４に対応する１つの画素ラインＬに対して、１つの画素ＰＩＸを単位として駆動するように制御する。
　図４７（Ｂ）に示したように、タイミングｔ５４～ｔ５５では、画素信号生成回路３２は、３～１８番目の１６個の画素値に応じた画素信号を、これらの画素値に対応する画素ＰＩＸに書き込む。また、画素信号生成回路３２は、これらの画素ＰＩＸ以外の画素ＰＩＸに、画素値を書き込まない。
　このようにして、画素信号生成回路３２は、図４７（Ａ），（Ｂ）に示したように、タイミングｔ５３～ｔ５５の期間において、図４６において符号Ｗ７で示した２つの画素ラインＬにおける全ての画素ＰＩＸに対して、全体画像Ｐ１１に係る画素信号、または部分画像Ｐ２に係る画素信号を書き込む。
　図４５に示したように、これ以降も、ディスプレイコントローラ５６および表示パネル２７は同様に動作する。そして、タイミングｔ５６において、垂直データイネーブル信号ＶＤＥ＿ＯＵＴが高レベルから低レベルに変化する（図４５（Ｃ））。そして、タイミングｔ５７において、この垂直期間Ｖが終了するとともに、次の垂直期間Ｖが開始する。
　このように、表示システム２では、受信回路２１は、第１の解像度の全体画像Ｐ１１を示す第１の画像データと、全体画像Ｐ１１の外側の画像である、第１の解像度以下の第２の解像度の周辺画像Ｐ１２を示す第２の画像データと、全体画像Ｐ１１よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の部分画像Ｐ２を示す第３の画像データとを受信するようにした。加速度センサ２２は、ヘッドマウントディスプレイ５０の姿勢の変化を検出するようにした。ディスプレイコントローラ５６は、加速度センサ２２の検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うようにした。そして、画素信号生成回路３２および走査回路３３は、この表示画像データに基づいて、全体画像Ｐ１１の画像範囲と同じ画像範囲の画像を表示可能な画素アレイ３１を駆動するようにした。これにより、ヘッドマウントディスプレイ５０では、第１の実施の形態に係るヘッドマウントディスプレイ２０と同様に、レイテンシを低減することができる。
［変形例２］
　上記実施の形態に係る表示システム２に、上記第１の実施の形態の変形例１－１，１－２，１－３を適用してもよい。
＜３．第３の実施の形態＞
　次に、第３の実施の形態に係る表示システム３について説明する。本実施の形態は、画像信号ＳＰにおける画像データの構成が、上記第１の実施の形態と異なるものである。なお、上記第１の実施の形態に係る表示システム１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
　図４８は、本実施の形態に係る表示システム３の一構成例を表すものである。表示システム３は、画像生成装置６０と、ヘッドマウントディスプレイ７０とを備えている。
　画像生成装置６０は、画像生成回路６１を有している。画像生成回路６１は、例えばレンダリング処理などの所定の処理を行うことにより、ヘッドマウントディスプレイ７０において表示される画像を生成するように構成される。画像生成回路６１は、受信回路１３から供給されたデータに含まれる、加速度センサ２２の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ７０の向きに応じた風景を示す全体画像Ｐ１１を生成する。また、画像生成回路６１は、この全体画像Ｐ１１の外側の画像である周辺画像Ｐ１２を生成する。全体画像Ｐ１１および周辺画像Ｐ１２は、画像Ｐ１を構成する。また、画像生成回路６１は、受信回路１３から供給されたデータに含まれる、アイトラッキングセンサ２３の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ７０の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像Ｐ２を生成するようになっている。
　図４９は、画像生成回路６１が生成した画像Ｐ１および部分画像Ｐ２の一例を表すものである。画像Ｐ１は、上記第１の実施の形態における、送信信号生成回路１８により変換された後の画像Ｐ１に対応する画像であり、解像度が低い画像である。部分画像Ｐ２は、解像度が高い画像である。この例では、画像Ｐ１における各画素は、ヘッドマウントディスプレイ７０における４つ分の画素ＰＩＸに対応しており、部分画像Ｐ２における各画素は、ヘッドマウントディスプレイ７０における１つ分の画素ＰＩＸに対応する。この例では、画像Ｐ１における画素の数および部分画像Ｐ２における画素の数を、互いに等しくしている。
　画像生成回路６１は、このような画像に基づいて、送信すべき画像信号ＳＰを生成する。そして、送信回路１２（図４８）は、画像生成回路６１から供給された画像信号ＳＰをヘッドマウントディスプレイ７０に送信するようになっている。
　図５０は、表示システム３における伝送帯域を表すものである。この図５０において、網掛けされていない部分は全体画像Ｐ１１を示し、斜線で網掛けされている部分は周辺画像Ｐ１２を示し、ドットで網掛けされている部分は部分画像Ｐ２を示す。このように、表示システム３は、表示パネル２７における全ての画素ＰＩＸの画素値をそのまま送信する場合に比べて、画像データ量を半分にすることができる。
　ヘッドマウントディスプレイ７０（図４８）は、ディスプレイコントローラ７６を有している。ディスプレイコントローラ７６は、プロセッサ２４から供給された画像データおよび画像位置データに基づいて、表示パネル２７の動作を制御するように構成される。ディスプレイコントローラ７６は、予測処理回路７９を有している。予測処理回路７９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成するように構成される。ディスプレイコントローラ７６は、この表示画像データに基づいて、表示パネル２７の動作を制御するようになっている。
　図５１は、ヘッドマウントディスプレイ７０の一動作例を表すものであり、（Ａ）は画像信号ＳＰに含まれる画像データを示し、（Ｂ）はヘッドマウントディスプレイ７０における表示駆動動作を示す。
　ディスプレイコントローラ７６の予測処理回路７９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成する。そして、ディスプレイコントローラ７６は、画像Ｐ１に基づいて生成された表示画像データに基づいて、表示パネル２７における複数の画素ＰＩＸを、４つの画素ＰＩＸを単位として駆動する。また、ディスプレイコントローラ７６は、部分画像Ｐ２に基づいて生成された表示画像データに基づいて、表示パネル２７における複数の画素ＰＩＸのうちの、部分画像Ｐ２に対応する位置の複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動する。
　図５２は、ヘッドマウントディスプレイ７０の一動作例を表すものであり、（Ａ）はディスプレイコントローラ７６に入力される垂直同期信号ＶＳ＿ＩＮの波形を示し、（Ｂ）はディスプレイコントローラ７６に入力されるデータ信号ＤＡＴＡ＿ＩＮを示し、（Ｃ）は表示パネル２７の動作を示す。この例では、表示パネル２７のフレームレートは１２０Ｈｚである。この場合、表示パネル２７における表示動作の周期Ｔは８．３［msec.］（＝１／１２０［Ｈｚ］）である。また、画像生成回路６１におけるレンダリング処理の周期Ｔ０は１６．７［msec.］（＝１／６０［Ｈｚ］）である。
　タイミングｔ６１において、垂直同期信号ＶＳ＿ＩＮにパルスが生じ、垂直期間Ｖが開始する（図５２（Ａ））。そして、タイミングｔ６１～ｔ６２の期間において、画像Ｐ１の画像データがディスプレイコントローラ７６に供給され、タイミングｔ６２～ｔ６５の期間において、部分画像Ｐ２の画像データがディスプレイコントローラ７６に供給される（図５２（Ｂ））。
　ディスプレイコントローラ７６は、供給された画像Ｐ１における全体画像Ｐ１１の画像データ、および部分画像Ｐ２の画像データに基づいて、表示画像データを生成する。そして、タイミングｔ６３～ｔ６７の期間において、ディスプレイコントローラ７６は、生成した表示画像データに基づいて表示パネル２７の動作を制御する。
　この例では、表示パネル２７の走査回路３３は、画素アレイ３１の最下部から最上部に向かって、１つの画素ラインＬまたは２つの画素ラインＬを走査単位として走査を行う。この例では、タイミングｔ６３～ｔ６５の期間およびタイミングｔ６６～ｔ６７の期間では、走査速度が速く、タイミングｔ６５～ｔ６６の期間では、走査速度が遅い。すなわち、タイミングｔ６５～ｔ６６の期間では、走査回路３３は、部分画像Ｐ２の位置に対応する複数の画素ラインＬを走査している。この場合、画素信号生成回路３２は、１つの画素ラインＬを走査単位として走査を行うので、走査速度が遅い。一方、タイミングｔ６３～ｔ６５の期間およびタイミングｔ６６～ｔ６７の期間では、画素信号生成回路３２は、２つの画素ラインＬを走査単位として走査を行うので、走査速度が速い。このように、表示パネル２７では、１つの画素ラインＬまたは２つの画素ラインＬを走査単位として走査を行うので、例えば、１つの画素ラインＬを走査単位として走査を行う場合に比べて、動作周波数を下げることができ、消費電力を低減することができる。
　そして、図５２において網掛けで示したように、画素信号が書き込まれた画素ＰＩＸは、この例では、画素信号が書き込まれてから所定の期間にわたり発光する。このようにして、表示パネル２７は、画像を表示する。
　また、タイミングｔ６４～ｔ６８の期間において、予測処理回路７９は、ディスプレイコントローラ７６に供給された画像Ｐ１および部分画像Ｐ２の画像データに基づいて、予測処理を行うことにより、表示画像データを生成する。そして、タイミングｔ６８～ｔ６９の期間において、ディスプレイコントローラ７６は、生成した表示画像データに基づいて表示パネル２７の動作を制御する。
　このように、表示システム３では、受信回路２１は、第１の解像度の全体画像Ｐ１１を示す第１の画像データと、全体画像Ｐ１１の外側の画像である、第１の解像度以下の第２の解像度の周辺画像Ｐ１２を示す第２の画像データと、全体画像Ｐ１１よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の部分画像Ｐ２を示す第３の画像データとを受信するようにした。加速度センサ２２は、ヘッドマウントディスプレイ７０の姿勢の変化を検出するようにした。ディスプレイコントローラ７６は、加速度センサ２２の検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うようにした。そして、画素信号生成回路３２および走査回路３３は、この表示画像データに基づいて、全体画像Ｐ１１の画像範囲と同じ画像範囲の画像を表示可能な画素アレイ３１を駆動するようにした。これにより、ヘッドマウントディスプレイ７０では、第１の実施の形態に係るヘッドマウントディスプレイ２０と同様に、レイテンシを低減することができる。
［変形例３］
　上記実施の形態に係る表示システム３に、上記第１の実施の形態の変形例１－２，１－３を適用してもよい。
＜４．第４の実施の形態＞
　次に、第４の実施の形態に係る表示システム４について説明する。本実施の形態は、画像信号ＳＰにおける画像データの構成が、上記第１の実施の形態と異なるものである。なお、上記第１の実施の形態に係る表示システム１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
　図５３は、本実施の形態に係る表示システム４の一構成例を表すものである。表示システム４は、画像生成装置８０と、ヘッドマウントディスプレイ９０とを備えている。
　画像生成装置８０は、画像生成回路８１を有している。画像生成回路８１は、例えばレンダリング処理などの所定の処理を行うことにより、ヘッドマウントディスプレイ９０において表示される画像を生成するように構成される。画像生成回路８１は、受信回路１３から供給されたデータに含まれる、加速度センサ２２の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ９０の向きに応じた風景を示す全体画像Ｐ１１を生成する。また、画像生成回路８１は、この全体画像Ｐ１１の外側の画像である周辺画像Ｐ１２を生成する。全体画像Ｐ１１および周辺画像Ｐ１２は、画像Ｐ１を構成する。また、画像生成回路８１は、受信回路１３から供給されたデータに含まれる、アイトラッキングセンサ２３の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ９０の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像Ｐ２を生成するようになっている。
　図５４は、画像生成回路８１が生成した画像Ｐ１および部分画像Ｐ２の一例を表すものである。画像Ｐ１は、上記第１の実施の形態における、送信信号生成回路１８により変換された後の画像Ｐ１に対応する画像であり、解像度が低い画像である。部分画像Ｐ２は、解像度が高い画像である。部分画像Ｐ２は、解像度が高い画像である。この例では、画像Ｐ１における各画素は、ヘッドマウントディスプレイ９０における４つ分の画素ＰＩＸに対応しており、部分画像Ｐ２における各画素は、ヘッドマウントディスプレイ９０における１つ分の画素ＰＩＸに対応する。この例では、画像Ｐ１における画素の数および部分画像Ｐ２における画素の数を、互いに等しくしている。
　画像生成回路８１は、このような画像に基づいて、送信すべき画像信号ＳＰを生成する。そして、送信回路１２（図５３）は、画像生成回路８１から供給された画像信号ＳＰをヘッドマウントディスプレイ９０に送信するようになっている。
　図５５は、画像信号ＳＰの一例を模式的に表すものである。送信回路１２は、画像Ｐ１に係る画像データおよび部分画像Ｐ２に係る画像データを時分割的に送信する。具体的には、送信回路１２は、画像Ｐ１に係る画像データおよび部分画像Ｐ２に係る画像データを交互に送信するようになっている。
　ヘッドマウントディスプレイ９０（図５３）は、ディスプレイコントローラ９６を有している。ディスプレイコントローラ９６は、プロセッサ２４から供給された画像データおよび画像位置データに基づいて、表示パネル２７の動作を制御するように構成される。ディスプレイコントローラ９６は、予測処理回路９９を有している。予測処理回路９９は、加速度センサ２２の検出結果およびアイトラッキングセンサ２３の検出結果に基づいて、プロセッサ２４から供給された画像データに対して幾何変形処理を行うことにより表示画像データを生成するように構成される。ディスプレイコントローラ９６は、この表示画像データに基づいて、表示パネル２７の動作を制御するようになっている。
　図５６は、ヘッドマウントディスプレイ９０における表示動作の一例を表すものである。ヘッドマウントディスプレイ９０は、画像Ｐ１に係る画像データおよび部分画像Ｐ２に係る画像データを交互に受信する。
　ディスプレイコントローラ９６は、画像Ｐ１に係る画像データに基づいて、表示パネル２７における複数の画素ＰＩＸを、４つの画素ＰＩＸを単位として駆動するように制御する。これにより、表示パネル２７は、低解像度の画像Ｐ１に係る表示画像Ｐ２１を表示する。
　また、ディスプレイコントローラ９６は、部分画像Ｐ２に係る画像データに基づいて、表示パネル２７における複数の画素ＰＩＸのうちの、部分画像Ｐ２に対応する領域に配置された複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動するように制御する。これにより、表示パネル２７は、高解像度の部分画像Ｐ２に係る表示画像Ｐ２２を表示する。
　図５７は、ヘッドマウントディスプレイ９０の一動作例を表すものであり、（Ａ）はディスプレイコントローラ９６に入力される垂直同期信号ＶＳ＿ＩＮの波形を示し、（Ｂ）はディスプレイコントローラ９６に入力されるデータ信号ＤＡＴＡ＿ＩＮを示し、（Ｃ）は表示パネル２７の動作を示す。
　画像Ｐ１および部分画像Ｐ２のペアは、周期Ｔ１で供給される。この例では、周期Ｔ１は、例えば、１６．７［msec.］（＝１／６０［Ｈｚ］）である。画像Ｐ１および部分画像Ｐ２のそれぞれは、周期Ｔ２で供給される。周期Ｔ２は、例えば、８．３［msec.］（＝１／１２０［Ｈｚ］）である。
　タイミングｔ７１において、垂直同期信号ＶＳ＿ＩＮにパルスが生じ、垂直期間Ｖが開始する（図５７（Ａ））。そして、タイミングｔ７１～ｔ７２の期間において、画像Ｐ１の画像データがディスプレイコントローラ９６に供給され、タイミングｔ７３～ｔ７７の期間において、部分画像Ｐ２の画像データがディスプレイコントローラ９６に供給される（図５７（Ｂ））。
　ディスプレイコントローラ９６は、供給された画像Ｐ１における全体画像Ｐ１１の画像データに基づいて表示画像データを生成する。そして、タイミングｔ７３～ｔ７４の期間において、ディスプレイコントローラ９６は、生成した表示画像データに基づいて表示パネル２７の動作を制御する。この例では、表示パネル２７の走査回路３３は、画素アレイ３１の最下部から最上部に向かって、２つの画素ラインＬを走査単位として走査を行う。
　そして、図５７において網掛けで示したように、画素信号が書き込まれた画素ＰＩＸは、この例では、画素信号が書き込まれてから所定の期間にわたり発光する。このようにして、表示パネル２７は、画像を表示する。
　また、ディスプレイコントローラ９６は、供給された部分画像Ｐ２の画像データに基づいて表示画像データを生成する。そして、タイミングｔ７５～ｔ７８の期間において、ディスプレイコントローラ９６は、生成した表示画像データに基づいて表示パネル２７の動作を制御する。この例では、表示パネル２７の走査回路３３は、画素アレイ３１における部分画像Ｐ２に対応する位置の複数の画素ＰＩＸに対して、１つの画素ラインＬを走査単位として走査を行う。
　そして、図５７において網掛けで示したように、画素信号が書き込まれた画素ＰＩＸが属する画素ラインＬの画素ＰＩＸは、この例では、画素信号が書き込まれてから所定の期間にわたり発光する。また、画素信号が書き込まれなかった最下部付近の画素ラインＬの画素ＰＩＸは、最初に画素信号が書き込まれた画素ＰＩＸと同じ期間において発光し、画素信号が書き込まれなかった最上部付近の画素ラインＬの画素ＰＩＸは、最後に画素信号が書き込まれた画素ＰＩＸと同じ期間において発光する。このようにして、表示パネル２７は、画像を表示する。
　また、タイミングｔ７５～ｔ７９の期間において、予測処理回路９９は、ディスプレイコントローラ９６に供給された画像Ｐ１に基づいて、予測処理を行うことにより、表示画像データを生成する。そして、タイミングｔ７９～ｔ８０の期間において、ディスプレイコントローラ９６は、生成した表示画像データに基づいて表示パネル２７の動作を制御する。
　また、タイミングｔ７５～ｔ７９の期間において、予測処理回路９９は、ディスプレイコントローラ９６に供給された部分画像Ｐ２に基づいて、予測処理を行うことにより、表示画像データを生成する。そして、タイミングｔ８１～ｔ８２の期間において、ディスプレイコントローラ９６は、生成した表示画像データに基づいて表示パネル２７の動作を制御する。
　このように、表示システム４では、受信回路２１は、第１の解像度の全体画像Ｐ１１を示す第１の画像データと、全体画像Ｐ１１の外側の画像である、第１の解像度以下の第２の解像度の周辺画像Ｐ１２を示す第２の画像データと、全体画像Ｐ１１よりも狭い画像範囲の画像である、第１の解像度よりも高い第３の解像度の部分画像Ｐ２を示す第３の画像データとを受信するようにした。加速度センサ２２は、ヘッドマウントディスプレイ９０の姿勢の変化を検出するようにした。ディスプレイコントローラ９６は、加速度センサ２２の検出結果に基づいて、第１の画像データ、第２の画像データ、および第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うようにした。そして、画素信号生成回路３２および走査回路３３は、この表示画像データに基づいて、全体画像Ｐ１１の画像範囲と同じ画像範囲の画像を表示可能な画素アレイ３１を駆動するようにした。これにより、ヘッドマウントディスプレイ９０では、第１の実施の形態に係るヘッドマウントディスプレイ２０と同様に、レイテンシを低減することができる。
［変形例４］
　上記実施の形態に係る表示システム４に、上記第１の実施の形態の変形例１－２，１－３を適用してもよい。
＜５．適用例＞
　次に、上記実施の形態および変形例で説明した表示システムの適用例について説明する。
（具体例１）
　図５８は、ヘッドマウントディスプレイ１１０の外観の一例を表すものである。ヘッドマウントディスプレイ１１０は、例えば、眼鏡形の表示部１１１の両側に、使用者の頭部に装着するための耳掛け部１１２を有する。このようなヘッドマウントディスプレイ１１０に、上記実施の形態等に係る技術を適用することができる。
（具体例２）
　図５９は、他のヘッドマウントディスプレイ１２０の外観の一例を表すものである。ヘッドマウントディスプレイ１２０は、本体部１２１と、アーム部１２２と、鏡筒部１２３とを有する、透過式のヘッドマウントディスプレイである。このヘッドマウントディスプレイ１２０は、眼鏡１２８に装着されている。本体部１２１は、ヘッドマウントディスプレイ１２０の動作を制御するための制御基板や表示部を有している。この表示部は、表示画像の画像光を射出する。アーム部１２２は、本体部１２１と鏡筒部１２３とを連結し、鏡筒部１２３を支持する。鏡筒部１２３は、本体部１２１からアーム部１２２を介して供給された画像光を、眼鏡１２８のレンズ１２９を介して、ユーザの目に向かって投射する。このようなヘッドマウントディスプレイ１２０に、上記実施の形態等に係る技術を適用することができる。
　なお、このヘッドマウントディスプレイ１２０は、いわゆる導光板方式のヘッドマウントディスプレイであるが、これに限定されるものではなく、例えば、いわゆるバードバス方式のヘッドマウントディスプレイであってもよい。このバードバス方式のヘッドマウントディスプレイは、例えば、ビームスプリッタと、部分的に透明なミラーとを備えている。ビームスプリッタは、画像情報でエンコードされた光をミラーに向けて出力し、ミラーは、光をユーザの目に向かって反射させる。ビームスプリッタおよび部分的に透明なミラーの両方は、部分的に透明である。これにより、周囲環境からの光がユーザの目に到達する。
（適用例３）
　図６０Ａ，６０Ｂは、デジタルスチルカメラ１３０の外観の一例を表すものであり、図６０Ａは正面図を示し、図６０Ｂは背面図を示す。このデジタルスチルカメラ１３０は、レンズ交換式一眼レフレックスタイプのカメラであり、カメラ本体部（カメラボディ）１３１と、撮影レンズユニット１３２と、グリップ部１３３と、モニタ１３４と、電子ビューファインダ１３５とを有する。撮像レンズユニット３１２は、交換式のレンズユニットであり、カメラ本体部３１１の正面のほぼ中央付近に設けられる。グリップ部１３３は、カメラ本体部３１１の正面の左側に設けられ、撮影者は、このグリップ部１３３を把持するようになっている。モニタ１３４は、カメラ本体部１３１の背面のほぼ中央よりも左側に設けられる。電子ビューファインダ１３５は、カメラ本体部１３１の背面において、モニタ１４の上部に設けられる。撮影者は、この電子ビューファインダ１３５を覗くことにより、撮影レンズユニット１３２から導かれた被写体の光像を視認し、構図を決定することができる。電子ビューファインダ１３５に、上記実施の形態等に係る技術を適用することができる。
（適用例４）
　図６１は、テレビジョン装置１４０の外観の一例を表すものである。テレビジョン装置１４０は、フロントパネル１４２およびフィルターガラス１４３を含む映像表示画面部１４１を有する。この映像表示画面部１４１に、上記実施の形態等に係る技術を適用することができる。
（適用例５）
　図６２は、スマートフォン１５０の外観の一例を表すものである。スマートフォン１５０は、各種情報を表示する表示部１５１と、ユーザによる操作入力を受け付けるボタンなどを含む操作部１５２とを有する。この表示部１５１に、上記実施の形態等に係る技術を適用することができる。
（適用例６）
　図６３Ａ，６３Ｂは、本開示の技術が適用された車両の一構成例を表すものであり、図６３Ａは、車両２００の後部から見た車両の内部の一例を示し、図６３Ｂは、車両２００の左後方からみた車両の内部の一例を示す。
　図６３Ａ，６３Ｂの車両は、センターディスプレイ２０１と、コンソールディスプレイ２０２と、ヘッドアップディスプレイ２０３と、デジタルリアミラー２０４と、ステアリングホイールディスプレイ２０５と、リアエンタテイメントディスプレイ１０６とを有する。
　センターディスプレイ２０１は、ダッシュボード２６１における、運転席２６２及び助手席２６３に対向する場所に配置されている。図６３Ａでは、運転席２６２側から助手席２６３側まで延びる横長形状のセンターディスプレイ２０１の例を示すが、センターディスプレイ２０１の画面サイズや配置場所はこれに限定されるものではない。センターディスプレイ２０１は、種々のセンサで検知された情報を表示可能である。具体的な一例として、センターディスプレイ２０１には、イメージセンサで撮影した撮影画像、ＴｏＦセンサで計測された、車両前方や側方の障害物までの距離画像、赤外線センサで検出された乗員の体温などを表示可能である。センターディスプレイ２０１は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。
　安全関連情報は、センサの検出結果に基づく、居眠り検知、よそ見検知、同乗している子供のいたずら検知、シートベルト装着有無、乗員の置き去り検知などの情報である。操作関連情報は、センサを用いて検出された、乗員の操作に関するジェスチャの情報である。ジェスチャは、車両内の種々の設備の操作を含んでいてもよく、例えば、空調設備、ナビゲーション装置、ＡＶ（Audio Visual）装置、照明装置等の操作を含む。ライフログは、乗員全員のライフログを含む。例えば、ライフログは、各乗員の行動記録を含む。ライフログを取得し保存することにより、事故が生じた際、乗員がどのような状態であったかを確認できる。健康関連情報は、温度センサを用いて検出された乗員の体温や、検出された体温に基づいて推測された乗員の健康状態の情報を含む。あるいは、乗員の健康状態の情報は、イメージセンサにより撮像された乗員の顔に基づいて推測されてもよい。また、乗員の健康状態の情報は、乗員と自動音声を用いて会話を行うことにより得られた乗員の回答内容に基づいて推測されてもよい。認証／識別関連情報は、センサを用いて顔認証を行うキーレスエントリ機能や、顔識別でシート高さや位置の自動調整機能などの情報を含む。エンタテイメント関連情報は、センサにより検出された乗員によるＡＶ装置の操作情報や、センサにより検出され認識された乗員に適した、表示すべきコンテンツの情報などを含む。
　コンソールディスプレイ２０２は、例えばライフログ情報の表示に用いることができる。コンソールディスプレイ２０２は、運転席２６２と助手席２６３の間のセンターコンソール２６４における、シフトレバー２６５の近くに配置されている。コンソールディスプレイ２０２も、種々のセンサで検知された情報を表示可能である。また、コンソールディスプレイ２０２は、イメージセンサで撮像された車両周辺の画像を表示してもよいし、車両周辺の障害物までの距離画像を表示してもよい。
　ヘッドアップディスプレイ２０３は、運転席２６２の前方のフロントガラス２６６の奥に仮想的に表示される。ヘッドアップディスプレイ２０３は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。ヘッドアップディスプレイ２０３は、運転席２６２の正面に仮想的に配置されることが多いため、車両の速度、燃料の残量、バッテリの残量などの車両の操作に直接関連する情報を表示するのに適している。
　デジタルリアミラー２０４は、車両の後方を表示できるだけでなく、後部座席の乗員の様子も表示できるため、例えば後部座席の乗員のライフログ情報の表示に用いることができる。
　ステアリングホイールディスプレイ２０５は、車両のステアリングホイール２６７の中心付近に配置されている。ステアリングホイールディスプレイ２０５は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、ステアリングホイールディスプレイ２０５は、運転者の手の近くにあるため、運転者の体温等のライフログ情報を表示したり、ＡＶ装置や空調設備等の操作に関する情報などを表示するのに適している。
　リアエンタテイメントディスプレイ２０６は、運転席２６２や助手席２６３の背面側に取り付けられており、後部座席の乗員が視聴するためのものである。リアエンタテイメントディスプレイ２０６は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、リアエンタテイメントディスプレイ２０６は、後部座席の乗員の目の前にあるため、後部座席の乗員に関連する情報が表示される。リアエンタテイメントディスプレイ２０６は、例えば、ＡＶ装置や空調設備の操作に関する情報を表示したり、後部座席の乗員の体温等を温度センサ５で計測した結果を表示してもよい。
　これらのセンターディスプレイ２０１、コンソールディスプレイ２０２、ヘッドアップディスプレイ２０３、デジタルリアミラー２０４、ステアリングホイールディスプレイ２０５、リアエンタテイメントディスプレイ２０６に、上記実施の形態等に係る技術を適用することができる。
　以上、いくつかの実施の形態および変形例、ならびに電子機器への適用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
　例えば、上記第１の実施の形態に係る表示システム１では、例えば画像生成装置１０が画像信号ＳＰを生成し、ヘッドマウントディスプレイ２０がこの画像信号ＳＰに基づいて画像を表示したが、これに限定されるものではない。これに代えて、例えば、図６４に示すヘッドマウントディスプレイ２２０のように、ヘッドマウントディスプレイ２２０が画像信号ＳＰを生成し、この画像信号ＳＰに基づいて画像を表示してもよい。このヘッドマウントディスプレイ２２０は、プロセッサ２２４と、受信回路２２１とを備えている。プロセッサ２２４は、画像生成回路２１１と、送信回路２１２とを有している。画像生成回路２１１は、加速度センサ２２の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ２２０の向きに応じた風景を示す全体画像Ｐ１１を生成する。また、画像生成回路２１１は、この全体画像Ｐ１１の外側の画像である周辺画像Ｐ１２を生成する。また、画像生成回路２１１は、アイトラッキングセンサ２３の検出結果に基づいて、仮想空間における、ヘッドマウントディスプレイ２２０の向きに応じた風景のうちの、ユーザが見ている部分を示す部分画像Ｐ２を特定する。画像生成回路２１１は、送信信号生成回路２１８を有している。送信信号生成回路２１８は、画像生成回路２１１が生成した画像に基づいて、送信すべき画像信号ＳＰを生成するように構成される。送信回路２１２は、画像生成回路２１１から供給された画像信号ＳＰをディスプレイコントローラ２６に送信するように構成される。また、プロセッサ２２４は、加速度センサ２２の検出結果、およびアイトラッキングセンサ２３の検出結果を含む検出信号ＳＤを、ディスプレイコントローラ２６に送信するように構成される。受信回路２２１は、プロセッサ２２４から送信された画像信号ＳＰを受信するように構成される。以上では、第１の実施の形態に係る表示システム１を例に挙げて説明したが、第２の実施の形態に係る表示システム２、第３の実施の形態に係る表示システム３、および第４の実施の形態に係る表示システム４についても同様である。
　本技術は、上記実施の形態等に示したクローズドなシステムだけでなく、ビデオシースルーのシステムや、ミックスドリアリティのシステムに適用することができる。
　また、本技術は、フライトシミュレータなどの各種シミュレータ、ゲーミング、プロジェクションマッピングなどの用途にも適用することができる。
　また、上記実施の形態では、図１０に示した表示パネル２７を用いたが、これに限定されるものではない。以下に、本変形例に係る表示パネル２７Ｅについて、詳細に説明する。
　図６５は、表示パネル２７Ｅの一構成例を表すものである。表示パネル２７Ｅは、画素アレイ３１Ｅと、画素信号生成回路３２と、走査回路３３と、駆動回路３４Ｅとを有している。
　画素アレイ３１Ｅは、複数の信号線ＳＧＬと、複数の制御線ＣＴＬと、複数の制御線ＷＳＥＮと、複数の画素ＰＩＸとを有している。複数の制御線ＷＳＥＮは、垂直方向（図６５における縦方向）に延伸するとともに水平方向（図６５における横方向）に並設される。複数の制御線ＷＳＥＮのそれぞれは、駆動回路３４Ｅが生成した制御信号を画素ＰＩＸに供給するようになっている。
　駆動回路３４Ｅは、制御信号を生成し、生成した制御信号を複数の制御線ＷＳＥＮに印加することにより、画素信号生成回路３２が生成した画素信号を書き込む画素ＰＩＸを、複数の画素ＰＩＸのうちのどの画素ＰＩＸに書き込むかを制御するよう構成される。
　図６６は、画素ＰＩＸの一構成例を表すものである。この画素ＰＩＸを有する画素アレイは、制御線ＷＳＬを有している。図６５に示した制御線ＣＴＬは、この制御線ＷＳＬを含む。画素ＰＩＸは、トランジスタＭＮ０１～ＭＮ０３と、キャパシタＣ０１と、発光素子ＥＬとを有している。トランジスタＭＮ０１～ＭＮ０３は、Ｎ型のＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）である。トランジスタＭＮ０１のゲートは制御線ＷＳＥＮに接続され、ドレインは信号線ＳＧＬに接続され、ソースはトランジスタＭＮ０２のドレインに接続される。トランジスタＭＮ０２のゲートは制御線ＷＳＬに接続され、ドレインはトランジスタＭＮ０１のソースに接続され、ソースはトランジスタＭＮ０３のゲートおよびキャパシタＣ０１に接続される。キャパシタＣ０１の一端はトランジスタＭＮ０２のソースおよびトランジスタＭＮ０３のゲートに接続され、他端はトランジスタＭＮ０３のソースおよび発光素子ＥＬのアノードに接続される。トランジスタＭＮ０３のゲートはトランジスタＭＮ０２のソースおよびキャパシタＣ０１の一端に接続され、ドレインは電源線ＶＣＣＰに接続され、ソースはキャパシタＣ０１の他端および発光素子ＥＬのアノードに接続される。発光素子ＥＬは例えば有機ＥＬ発光素子であり、アノードはトランジスタＭＮ０３のソースおよびキャパシタＣ０１の他端に接続され、カソードは電源線Ｖcathに接続される。
　この構成により、画素ＰＩＸでは、トランジスタＭＮ０１，ＭＮ０２がオン状態になることにより、信号線ＳＧＬから供給された画素信号に基づいてキャパシタＣ０１の両端間の電圧が設定される。トランジスタＭＮ０３は、キャパシタＣ０１の両端間の電圧に応じた電流を発光素子ＥＬに流す。発光素子ＥＬは、トランジスタＭＮ０３から供給された電流に基づいて発光する。このようにして、画素ＰＩＸは、画素信号に応じた輝度で発光する。
　図１７の例では、ディスプレイコントローラ２６は、図１７（Ａ）に示したように、タイミングｔ１３～ｔ１４の期間において、全体画像Ｐ１の画像データに基づいて、表示パネル２７Ｅにおける複数の画素ＰＩＸを、４つの画素ＰＩＸを単位として駆動するように制御する。図１５に示したように、このタイミングｔ１３～ｔ１４の期間において、表示パネル２７Ｅの走査回路３３は、複数の画素ＰＩＸを、２つの画素ラインＬを走査単位ＵＳとして走査する。駆動回路３４Ｅは、全ての制御線ＷＳＥＮをアクティブ（高レベル）にする。画素信号生成回路３２は、互いに隣り合う２つの信号線ＳＧＬに、同じ画素信号を印加する。これにより、選択された２つの画素ラインＬでは、４つの画素ＰＩＸに、同じ画素信号が書き込まれる。このようにして、表示パネル２７Ｅは、複数の画素ＰＩＸを、４つの画素ＰＩＸを単位ＵＤとして駆動する。
　また、ディスプレイコントローラ２６は、図１７（Ｂ）に示したように、タイミングｔ１４～ｔ１５の期間において、部分画像Ｐ２の画像データ、およびこの部分画像Ｐ２の位置についてのデータに基づいて、表示パネル２７Ｅにおける複数の画素ＰＩＸのうちの、部分画像Ｐ２に対応する領域に配置された複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動するように制御する。図１６に示したように、このタイミングｔ１４～ｔ１５において、表示パネル２７Ｅの走査回路３３は、複数の画素ＰＩＸを、１つの画素ラインＬを走査単位ＵＳとして走査する。駆動回路３４Ｅは、部分画像Ｐ２に対応する領域に係る複数の制御線ＷＳＥＮをアクティブ（高レベル）にし、それ以外の複数の制御線ＷＳＥＮを非アクティブ（低レベル）にする。画素信号生成回路３２は、複数の信号線ＳＧＬのうちの、部分画像Ｐ２に対応する領域に係る複数の信号線ＳＧＬに、複数の画素信号をそれぞれ印加する。これにより、選択された１つの画素ラインＬでは、部分画像Ｐ２に対応する領域に係る複数の画素ＰＩＸに、複数の画素信号がそれぞれ書き込まれる。一方、部分画像Ｐ２に対応する領域以外の領域に係る複数の画素ＰＩＸには、画素信号は書き込まれない。このようにして、表示パネル２７Ｅは、複数の画素ＰＩＸを、１つの画素ＰＩＸを単位ＵＤとして駆動する。
　また、ディスプレイコントローラ２６は、図１７（Ｃ）に示したように、タイミングｔ１５～ｔ１６の期間において、部分画像Ｐ２の画像データ、およびこの部分画像Ｐ２の位置についてのデータに基づいて、表示パネル２７Ｅにおける複数の画素ＰＩＸのうちの、部分画像Ｐ２に対応する領域に配置された複数の画素ＰＩＸを、１つの画素ＰＩＸを単位として駆動するように制御する。この動作は、図１７（Ｂ）に示したタイミングｔ１４～ｔ１５の期間における動作と同様である。
　画素ＰＩＸの構成は、図６６の例に限定されるものではない。以下に、いくつかの例を挙げて説明する。
　図６７は、画素ＰＩＸの他の一構成例を表すものである。この画素ＰＩＸを有する画素アレイは、制御線ＷＳＬと、制御線ＤＳＬと、制御線ＡＺＳＬとを有している。図６５に示した制御線ＣＴＬは、この制御線ＷＳＬ，ＤＳＬ，ＡＺＳＬを含む。この画素ＰＩＸは、トランジスタＭＰ１１，ＭＰ１２と、キャパシタＣ１１，Ｃ１２と、トランジスタＭＰ１３～ＭＰ１５と、発光素子ＥＬとを有している。トランジスタＭＰ１１～ＭＰ１５はＰ型のＭＯＳＦＥＴである。トランジスタＭＰ１１のゲートは制御線ＷＳＥＮに接続され、ソースは信号線ＳＧＬに接続され、ドレインはトランジスタＭＰ１２のソースに接続される。トランジスタＭＰ１２のゲートは制御線ＷＳＬに接続され、ソースはトランジスタＭＰ１１のドレインに接続され、ドレインはトランジスタＭＰ１４のゲートおよびキャパシタＣ１２に接続される。キャパシタＣ１１の一端は電源線ＶＣＣＰに接続され、他端はキャパシタＣ１２、トランジスタＭＰ１３のドレイン、およびトランジスタＭＰ１４のソースに接続される。キャパシタＣ１２の一端はキャパシタＣ１１の他端、トランジスタＭＰ１３のドレイン、およびトランジスタＭＰ１４のソースに接続され、他端はトランジスタＭＰ１２のドレインおよびトランジスタＭＰ１４のゲートに接続される。トランジスタＭＰ１３のゲートは制御線ＤＳＬに接続され、ソースは電源線ＶＣＣＰに接続され、ドレインはトランジスタＭＰ１４のソース、キャパシタＣ１１の他端、およびキャパシタＣ１２の一端に接続される。トランジスタＭＰ１４のゲートはトランジスタＭＰ１２のドレインおよびキャパシタＣ１２の他端に接続され、ソースはトランジスタＭＰ１３のドレイン、キャパシタＣ１１の他端、およびキャパシタＣ１２の一端に接続され、ドレインは発光素子ＥＬのアノードおよびトランジスタＭＰ１５のソースに接続される。トランジスタＭＰ１５のゲートは制御線ＡＺＳＬに接続され、ソースはトランジスタＭＰ１４のドレインおよび発光素子ＥＬのアノードに接続され、ドレインは電源線ＶＳＳに接続される。
　この構成により、画素ＰＩＸでは、トランジスタＭＰ１１，ＭＰ１２がオン状態になることにより、信号線ＳＧＬから供給された画素信号に基づいてキャパシタＣ１２の両端間の電圧が設定される。トランジスタＭＰ１３は、制御線ＤＳＬの信号に基づいてオンオフする。トランジスタＭＰ１４は、トランジスタＭＰ１３がオン状態である期間において、キャパシタＣ１２の両端間の電圧に応じた電流を発光素子ＥＬに流す。発光素子ＥＬは、トランジスタＭＰ１４から供給された電流に基づいて発光する。このようにして、画素ＰＩＸは、画素信号に応じた輝度で発光する。トランジスタＭＰ１５は、制御線ＡＺＳＬの信号に基づいてオンオフする。トランジスタＭＰ１５がオン状態である期間において、発光素子ＥＬのアノードの電圧は電源線ＶＳＳの電圧に設定されることにより初期化される。
　図６８は、画素ＰＩＸの他の一構成例を表すものである。この画素ＰＩＸを有する画素アレイは、制御線ＷＳＬと、制御線ＤＳＬと、制御線ＡＺＳＬとを有している。図６５に示した制御線ＣＴＬは、この制御線ＷＳＬ，ＤＳＬ，ＡＺＳＬを含む。この画素ＰＩＸは、トランジスタＭＮ２１，ＭＮ２２と、キャパシタＣ２１と、トランジスタＭＮ２３～ＭＮ２５と、発光素子ＥＬとを有している。トランジスタＭＮ２１～ＭＮ２５はＮ型のＭＯＳＦＥＴである。トランジスタＭＮ２１のゲートは制御線ＷＳＥＮに接続され、ドレインは信号線ＳＧＬに接続され、ソースはトランジスタＭＮ２２のドレインに接続される。トランジスタＭＮ２２のゲートは制御線ＷＳＬに接続され、ドレインはトランジスタＭＮ２１のソースに接続され、ソースはトランジスタＭＮ２４のゲートおよびキャパシタＣ２１に接続される。キャパシタＣ２１の一端はトランジスタＭＮ２２のソースおよびトランジスタＭＮ２４のゲートに接続され、他端はトランジスタＭＮ２４のソース、トランジスタＭＮ２５のドレイン、および発光素子ＥＬのアノードに接続される。トランジスタＭＮ２３のゲートは制御線ＤＳＬに接続され、ドレインは電源線ＶＣＣＰに接続され、ソースはトランジスタＭＮ２４のドレインに接続される。トランジスタＭＮ２４のゲートはトランジスタＭＮ２２のソースおよびキャパシタＣ２１の一端に接続され、ドレインはトランジスタＭＮ２３のソースに接続され、ソースはキャパシタＣ２１の他端、トランジスタＭＮ２５のドレイン、および発光素子ＥＬのアノードに接続される。トランジスタＭＮ２５のゲートは制御線ＡＺＳＬに接続され、ドレインはトランジスタＭＮ２４のソース、キャパシタＣ２１の他端、および発光素子ＥＬのアノードに接続され、ソースは電源線ＶＳＳに接続される。
　この構成により、画素ＰＩＸでは、トランジスタＭＮ２１，ＭＮ２２がオン状態になることにより、信号線ＳＧＬから供給された画素信号に基づいてキャパシタＣ２１の両端間の電圧が設定される。トランジスタＭＮ２３は、制御線ＤＳＬの信号に基づいてオンオフする。トランジスタＭＮ２４は、トランジスタＭＮ２３がオン状態である期間において、キャパシタＣ２１の両端間の電圧に応じた電流を発光素子ＥＬに流す。発光素子ＥＬは、トランジスタＭＮ２４から供給された電流に基づいて発光する。このようにして、画素ＰＩＸは、画素信号に応じた輝度で発光する。トランジスタＭＮ２５は、制御線ＡＺＳＬの信号に基づいてオンオフする。トランジスタＭＮ２５がオン状態である期間において、発光素子ＥＬのアノードの電圧は電源線ＶＳＳの電圧に設定されることにより初期化される。
　図６９は、画素ＰＩＸの他の一構成例を表すものである。この画素ＰＩＸを有する画素アレイは、制御線ＷＳＬと、制御線ＤＳＬと、制御線ＡＺＳＬ１，ＡＺＳＬ２とを有している。図６５に示した制御線ＣＴＬは、この制御線ＷＳＬ，ＤＳＬ，ＡＺＳＬ１，ＡＺＳＬ２を含む。この画素ＰＩＸは、トランジスタＭＰ３１，ＭＰ３２と、キャパシタＣ３１と、トランジスタＭＰ３３～ＭＰ３６と、発光素子ＥＬとを有している。トランジスタＭＰ３１～ＭＰ３６はＰ型のＭＯＳＦＥＴである。トランジスタＭＰ３１のゲートは制御線ＷＳＥＮに接続され、ソースは信号線ＳＧＬに接続され、ドレインはトランジスタＭＰ３２のソースに接続される。トランジスタＭＰ３２のゲートは制御線ＷＳＬに接続され、ソースはトランジスタＭＰ３１のドレインに接続され、ドレインはトランジスタＭＰ３３のゲート、トランジスタＭＰ３４のソース、およびキャパシタＣ３１に接続される。キャパシタＣ３１の一端は電源線ＶＣＣＰに接続され、他端はトランジスタＭＰ３２のドレイン、トランジスタＭＰ３３のゲート、およびトランジスタＭＰ３４のソースに接続される。トランジスタＭＰ３４のゲートは制御線ＡＺＳＬ１に接続され、ソースはトランジスタＭＰ３２のドレイン、トランジスタＭＰ３３のゲート、およびキャパシタＣ３１の他端に接続され、ドレインはトランジスタＭＰ３３のドレインおよびトランジスタＭＰ３５のソースに接続される。トランジスタＭＰ３５のゲートは制御線ＤＳＬに接続され、ソースはトランジスタＭＰ３３，ＭＰ３４のドレインに接続され、ドレインはトランジスタＭＰ３６のソースおよび発光素子ＥＬのアノードに接続される。トランジスタＭＰ３６のゲートは制御線ＡＺＳＬ２に接続され、ソースはトランジスタＭＰ３５のドレインおよび発光素子ＥＬのアノードに接続され、ドレインは電源線ＶＳＳに接続される。
　この構成により、画素ＰＩＸでは、トランジスタＭＰ３１，ＭＰ３２がオン状態になることにより、信号線ＳＧＬから供給された画素信号に基づいてキャパシタＣ３１の両端間の電圧が設定される。トランジスタＭＰ３５は、制御線ＤＳＬの信号に基づいてオンオフする。トランジスタＭＰ３３は、トランジスタＭＰ３５がオン状態である期間において、キャパシタＣ３１の両端間の電圧に応じた電流を、発光素子ＥＬに流す。発光素子ＥＬは、トランジスタＭＰ３３から供給された電流に基づいて発光する。このようにして、画素ＰＩＸは、画素信号に応じた輝度で発光する。トランジスタＭＰ３４は、制御線ＡＺＳＬ１の信号に基づいてオンオフする。トランジスタＭＰ３４がオン状態である期間において、トランジスタＭＰ３３のドレインおよびゲートが互いに接続される。トランジスタＭＰ３６は、制御線ＡＺＳＬ２の信号に基づいてオンオフする。トランジスタＭＰ３６がオン状態になる期間において、発光素子ＥＬのアノードの電圧は電源線ＶＳＳの電圧に設定されることにより初期化される。
　図７０は、画素ＰＩＸの他の一構成例を表すものである。この画素ＰＩＸを有する画素アレイは、制御線ＷＳＬ１，ＷＳＬ２と、制御線ＤＳＬと、制御線ＡＺＳＬ１，ＡＺＳＬ２と、信号線ＳＧＬ１，ＳＧＬ２と、キャパシタＣ４８，Ｃ４９と、トランジスタＭＰ４９とを有している。図６５に示した制御線ＣＴＬは、制御線ＷＳＬ１，ＷＳＬ２，ＤＳＬ，ＡＺＳＬ１，ＡＺＳＬ２を含む。図６５に示した信号線ＳＧＬは、信号線ＳＧＬ１，ＳＧＬ２を含む。キャパシタＣ４８の一端は信号線ＳＧＬ１に接続され、他端は電源線ＶＳＳに接続される。キャパシタＣ４９の一端は信号線ＳＧＬ１に接続され、他端は信号線ＳＧＬ２に接続される。トランジスタＭＰ４９はＰ型のＭＯＳＦＥＴであり、ゲートは制御線ＷＳＬ２に接続され、ソースは信号線ＳＧＬ１に接続され、ドレインは信号線ＳＧＬ２に接続される。
　画素ＰＩＸは、トランジスタＭＰ４１，ＭＰ４２と、キャパシタＣ４１と、トランジスタＭＰ４３～ＭＰ４６と、発光素子ＥＬとを有している。トランジスタＭＰ４１～ＭＰ４６は、Ｐ型のＭＯＳＦＥＴである。トランジスタＭＰ４１のゲートは制御線ＷＳＥＮに接続され、ソースは信号線ＳＧＬ２に接続され、ドレインはトランジスタＭＰ４２のソースに接続される。トランジスタＭＰ４２のゲートは制御線ＷＳＬ１に接続され、ソースはトランジスタＭＰ４１のドレインに接続され、ドレインはトランジスタＭＰ４３のゲートおよびキャパシタＣ４１に接続される。キャパシタ４１の一端は電源線ＶＣＣＰに接続され、他端はトランジスタＭＰ４２のドレインおよびトランジスタＭＰ４３のゲートに接続される。トランジスタＭＰ４３のゲートはトランジスタＭＰ４２のドレインおよびキャパシタＣ４１の他端に接続され、ソースは電源線ＶＣＣＰに接続され、ドレインはトランジスタＭＰ４４，ＭＰ４５のソースに接続される。トランジスタＭＰ４４のゲートは制御線ＡＺＳＬ１に接続され、ソースはトランジスタＭＰ４３のドレインおよびトランジスタＭＰ４５のソースに接続され、ドレインは信号線ＳＧＬ２に接続される。トランジスタＭＰ４５のゲートは制御線ＤＳＬに接続され、ソースはトランジスタＭＰ４３のドレインおよびトランジスタＭＰ４４のソースに接続され、ドレインはトランジスタＭＰ４６のソースおよび発光素子ＥＬのアノードに接続される。トランジスタＭＰ４６のゲートは制御線ＡＺＳＬ２に接続され、ソースはトランジスタＭＰ４５のドレインおよび発光素子ＥＬのアノードに接続され、ドレインは電源線ＶＳＳに接続される。
　この構成により、画素ＰＩＸでは、トランジスタＭＰ４１，ＭＰ４２がオン状態になることにより、信号線ＳＧＬ１からキャパシタＣ４９を介して供給された画素信号に基づいてキャパシタＣ４１の両端間の電圧が設定される。トランジスタＭＰ４５は、制御線ＤＳＬの信号に基づいてオンオフする。トランジスタＭＰ４３は、トランジスタＭＰ４５がオン状態である期間において、キャパシタＣ４１の両端間の電圧に応じた電流を発光素子ＥＬに流す。発光素子ＥＬは、トランジスタＭＰ４３から供給された電流に基づいて発光する。このようにして、画素ＰＩＸは、画素信号に応じた輝度で発光する。トランジスタＭＰ４４は、制御線ＡＺＳＬ１の信号に基づいてオンオフする。トランジスタＭＰ４４がオン状態である期間において、トランジスタＭＰ４３のドレインおよび信号線ＳＧＬ２が互いに接続される。トランジスタＭＰ４６は、制御線ＡＺＳＬ２の信号に基づいてオンオフする。トランジスタＭＰ４６がオン状態になる期間において、発光素子ＥＬのアノードの電圧は電源線ＶＳＳの電圧に設定されることにより初期化される。
　図７１は、画素ＰＩＸの他の一構成例を表すものである。この画素ＰＩＸを有する画素アレイは、制御線ＷＳＬと、制御線ＤＳＬと、制御線ＡＺＳＬと、信号線ＳＧＬ１，ＳＧＬ２と、制御部７０，８０とを有している。図５６に示した制御線ＣＴＬは、制御線ＷＳＬ，ＤＳＬ，ＡＺＳＬを含む。図５６に示した信号線ＳＧＬは、信号線ＳＧＬ１，ＳＧＬ２を含む。
　制御部７０は、トランジスタＭＮ７１，ＭＰ７２と、キャパシタＣ７１と、トランジスタＭＰ７３とを有している。トランジスタＭＮ７１はＮ型のＭＯＳＦＥＴであり、トランジスタＭＰ７２，ＭＰ７３はＰ型のＭＯＳＦＥＴである。トランジスタＭＮ７１のゲートには制御信号が供給され、ドレインはトランジスタＭＰ７２のソースおよび信号線ＳＧＬ１に接続され、ソースはトランジスタＭＰ７２のドレイン、キャパシタＣ７１、およびトランジスタＭＰ７３のドレインに接続される。トランジスタＭＰ７２のゲートには制御信号が供給され、ソースはトランジスタＭＮ７１のドレインおよび信号線ＳＧＬ１に接続され、ドレインはトランジスタＭＮ７１のソース、キャパシタＣ７１、トランジスタＭＰ７３のドレインに接続される。トランジススタＭＮ７１，ＭＰ７２は、トランスミッションゲートを構成する。キャパシタＣ７１の一端はトランジスタＭＮ７１のソース、トランジスタＭＰ７２のドレイン、およびトランジスタＭＰ７３のドレインに接続され、他端は信号線ＳＧＬ２に接続される。トランジスタＭＰ７３のゲートは制御線ＲＥＦＬに接続され、ソースは電源線Ｖｒｅｆに接続され、ドレインはトランジスタＭＮ７１のソース、トランジスタＭＰ７２のドレイン、およびキャパシタＣ７１に接続される。
　制御部８０は、トランジスタＭＮ８１，ＭＰ８２、キャパシタＣ８１、トランジスタＭＰ８３，ＭＮ８４，ＭＰ８５，ＭＰ８６を有している。トランジスタＭＮ８１，ＭＮ８４はＮ型のＭＯＳＦＥＴであり、トランジスタＭＰ８２，ＭＰ８３，ＭＰ８５，ＭＰ８６はＰ型のＭＯＳＦＥＴである。トランジスタＭＮ８１のゲートには制御信号が供給され、ドレインはトランジスタＭＰ８２のソースおよび信号線ＳＧＬ１に接続され、ソースはトランジスタＭＰ８２のドレインに接続される。トランジスタＭＰ８２のゲートには制御信号が供給され、ソースはトランジスタＭＮ８１のドレインおよび信号線ＳＧＬ１に接続され、ドレインはトランジスタＭＮ８１のソースに接続される。トランジススタＭＮ８１，ＭＰ８２は、トランスミッションゲートを構成する。トランジスタＭＮ８１のソースおよびトランジスタＭＰ８２のドレインには、画素信号生成回路３２が生成した画素信号が供給される。キャパシタＣ８１の一端は信号線ＳＧＬ１に接続され、他端は電源線ＶＳＳに接続される。トランジスタＭＰ８３のゲートには制御信号が供給され、ドレインはトランジスタＭＮ８４のソースおよび信号線ＳＧＬ２に接続され、ソースはトランジスタＭＮ８４のドレインおよび電源線Ｖｏｒｓｔに接続される。トランジスタＭＮ８４のゲートには制御信号が供給され、ソースはトランジスタＭＰ８３のドレインおよび信号線ＳＧＬ２に接続され、ドレインはトランジスタＭＰ８３のソースおよび電源線Ｖｏｒｓｔに接続される。トランジススタＭＰ８３，ＭＮ８４は、トランスミッションゲートを構成する。トランジスタＭＰ８５のゲートは制御線ＩＮＩＬに接続され、ドレインは信号線ＳＧＬ２に接続され、ソースは電源線Ｖｉｎｉに接続される。トランジスタＭＰ８６のゲートは制御線ＥＬＬに接続され、ドレインは信号線ＳＧＬ２に接続され、ソースは電源線Ｖｅｌに接続される。
　画素ＰＩＸは、トランジスタＭＰ９１，ＭＰ９２と、キャパシタＣ９１と、トランジスタＭＰ９３～ＭＰ９６と、発光素子ＥＬとを有している。トランジスタＭＰ９１～ＭＰ９６は、Ｐ型のＭＯＳＦＥＴである。トランジスタＭＰ９１のゲートは制御線ＷＳＥＮに接続され、ソースは信号線ＳＧＬ２に接続され、ドレインはトランジスタＭＰ９２のソースに接続される。トランジスタＭＰ９２のゲートは制御線ＷＳＬに接続され、ソースはトランジスタＭＰ９１のドレインに接続され、ドレインはトランジスタＭＰ９３のゲートおよびキャパシタＣ９１に接続される。キャパシタ９１の一端は電源線Ｖｅｌに接続され、他端はトランジスタＭＰ９２のドレインおよびトランジスタＭＰ９３のゲートに接続される。トランジスタＭＰ９３のゲートはトランジスタＭＰ９２のドレインおよびキャパシタＣ９１の他端に接続され、ソースは電源線Ｖｅｌに接続され、ドレインはトランジスタＭＰ９４，ＭＰ９５のソースに接続される。トランジスタＭＰ９４のゲートは制御線ＡＺＳＬに接続され、ソースはトランジスタＭＰ９３のドレインおよびトランジスタＭＰ９５のソースに接続され、ドレインは信号線ＳＧＬ２に接続される。トランジスタＭＰ９５のゲートは制御線ＤＳＬに接続され、ソースはトランジスタＭＰ９３のドレインおよびトランジスタＭＰ９４のソースに接続され、ドレインはトランジスタＭＰ９６のソースおよび発光素子ＥＬのアノードに接続される。トランジスタＭＰ９６のゲートは制御線ＡＺＳＬに接続され、ソースはトランジスタＭＰ９５のドレインおよび発光素子ＥＬのアノードに接続され、ドレインは電源線ＶＳＳに接続される。
　この構成により、画素ＰＩＸでは、トランジスタＭＰ９１，ＭＰ９２がオン状態になることにより、トランジスタＭＮ８１，ＭＰ８２、信号線ＳＧＬ１、トランジスタＭＮ７１，ＭＰ７２、キャパシタＣ７１、および信号線ＳＧＬ２を介して供給された画素信号に基づいて、キャパシタＣ９１の両端間の電圧が設定される。トランジスタＭＰ９５は、制御線ＤＳＬの信号に基づいてオンオフする。トランジスタＭＰ９３は、トランジスタＭＰ９５がオン状態である期間において、キャパシタＣ９１の両端間の電圧に応じた電流を発光素子ＥＬに流す。発光素子ＥＬは、トランジスタＭＰ９３から供給された電流に基づいて発光する。このようにして、画素ＰＩＸは、画素信号に応じた輝度で発光する。トランジスタＭＰ９４，９６は、制御線ＡＺＳＬの信号に基づいてオンオフする。トランジスタＭＰ９４がオン状態である期間において、トランジスタＭＰ９３のドレインおよびトランジスタＭＰ９５のソースが、信号線ＳＧＬ２に接続される。トランジスタＭＰ９６がオン状態である期間において、発光素子ＥＬのアノードの電圧は電源線Ｖｏｒｓｔの電圧に設定されることにより初期化される。また、トランジスタＭＰ８５は、制御線ＩＮＩＬの信号に基づいてオンオフし、トランジスタＭＰ８６は、制御線ＥＬＬの信号に基づいてオンオフし、トランジスタＭＰ７３は、制御線ＲＥＦＬの信号に基づいてオンオフする。トランジスタＭＰ８５がオン状態になると、信号線ＳＧＬ２の電圧は電源線Ｖｉｎｉの電圧に設定され、トランジスタＭＰ８６がオン状態になると、信号線ＳＧＬ２の電圧は電源線Ｖｅｌの電圧に設定される。トランジスタＭＰ７３がオン状態になると、キャパシタＣ７１の一端は電源線Ｖｒｅｆの電圧に設定されることにより初期化される。
　図７２は、画素ＰＩＸの他の一構成例を表すものである。この画素ＰＩＸを有する画素アレイは、制御線ＷＳＬと、制御線ＤＳＬと、制御線ＡＺＳＬ１，ＡＺＳＬ２とを有している。図６５に示した制御線ＣＴＬは、この制御線ＷＳＬ，ＤＳＬ，ＡＺＳＬ１，ＡＺＳＬ２を含む。この画素ＰＩＸは、トランジスタＭＰ５１～ＭＰ５４と、キャパシタＣ５１と、トランジスタＭＰ５５～ＭＰ６０と、発光素子ＥＬとを有している。トランジスタＭＰ５１～ＭＰ６０はＰ型のＭＯＳＦＥＴである。トランジスタＭＰ５１のゲートは制御線ＷＳＥＮに接続され、ソースは信号線ＳＧＬに接続され、ドレインはトランジスタＭＰ５２のソースに接続される。トランジスタＭＰ５２のゲートは制御線ＷＳＬに接続され、ソースはトランジスタＭＰ５１のドレインに接続され、ドレインはトランジスタＭＰ５３のドレインおよびトランジスタＭＰ５４のソースに接続される。トランジスタＭＰ５３のゲートは制御線ＤＳＬに接続され、ソースは電源線ＶＣＣＰに接続され、ドレインはトランジスタＭＰ５２のドレインおよびトランジスタＭＰ５４のソースに接続される。トランジスタＭＰ５４のゲートはトランジスタＭＰ５５のソース、トランジスタＭＰ５７のドレイン、およびキャパシタＣ５１に接続され、ソースはトランジスタＭＰ５２，ＭＰ５３のドレインに接続され、ドレインはトランジスタＭＰ５８，ＭＰ５９のソースに接続される。キャパシタＣ５１の一端は電源線ＶＣＣＰに接続され、他端はトランジスタＭＰ５４のゲート、トランジスタＭＰ５５のソース、およびトランジスタＭＰ５７のドレインに接続される。キャパシタＣ５１は、互いに並列に接続された２つのキャパシタを含んでいてもよい。トランジスタＭＰ５５のゲートは制御線ＡＺＳＬ１に接続され、ソースはトランジスタＭＰ５４のゲート、トランジスタＭＰ５７のドレイン、およびキャパシタＣ５１の他端に接続され、ドレインはトランジスタＭＰ５６のソースに接続される。トランジスタＭＰ５６のゲートは制御線ＡＺＳＬ１に接続され、ソースはトランジスタＭＰ５５のドレインに接続され、ドレインは電源線ＶＳＳに接続される。トランジスタＭＰ５７のゲートは制御線ＷＳＬに接続され、ドレインはトランジスタＭＰ５４のゲート、トランジスタＭＰ５５のソース、およびキャパシタＣ５１の他端に接続され、ソースはトランジスタＭＰ５８のドレインに接続される。トランジスタＭＰ５８のゲートは制御線ＷＳＬに接続され、ドレインはトランジスタＭＰ５７のドレインに接続され、ソースはトランジスタＭＰ５４のドレインおよびトランジスタＭＰ５９のソースに接続される。トランジスタ５９のゲートは制御線ＤＳＬに接続され、ソースはトランジスタＭＰ５４のドレインおよびトランジスタＭＰ５８のソースに接続され、ドレインはトランジスタＭＰ６０のソースおよび発光素子ＥＬのアノードに接続される。トランジスタＭＰ６０のゲートは制御線ＡＺＳＬ２に接続され、ソースはトランジスタＭＰ５９のドレインおよび発光素子ＥＬのアノードに接続され、ドレインは電源線ＶＳＳに接続される。
　この構成により、画素ＰＩＸでは、トランジスタＭＰ５１，ＭＰ５２，ＭＰ５４，ＭＰ５８，ＭＰ５７がオン状態になることにより、信号線ＳＧＬから供給された画素信号に基づいてキャパシタＣ５１の両端間の電圧が設定される。トランジスタＭＰ５３，ＭＰ５９は、制御線ＤＳＬの信号に基づいてオンオフする。トランジスタＭＰ５４は、トランジスタＭＰ５３，ＭＰ５９がオン状態である期間において、キャパシタＣ５１の両端間の電圧に応じた電流を、発光素子ＥＬに流す。発光素子ＥＬは、トランジスタＭＰ５４から供給された電流に基づいて発光する。このようにして、画素ＰＩＸは、画素信号に応じた輝度で発光する。トランジスタＭＰ５５，ＭＰ５６は、制御線ＡＺＳＬ１の信号に基づいてオンオフする。トランジスタＭＰ５５，ＭＰ５６がオン状態である期間において、トランジスタＭＰ５４のゲートの電圧は電源線ＶＳＳの電圧に設定されることにより初期化される。トランジスタＭＰ６０は、制御線ＡＺＳＬ２の信号に基づいてオンオフする。トランジスタＭＰ６０がオン状態である期間において、発光素子ＥＬのアノードの電圧は電源線ＶＳＳの電圧に設定されることにより初期化される。
　図７３は、画素ＰＩＸの他の一構成例を表すものである。この画素ＰＩＸを有する画素アレイは、制御線ＷＳＥＮＮ，ＷＳＥＮＰと、制御線ＷＳＮＬ，ＷＳＰＬと、制御線ＡＺＬと、制御線ＤＳＬとを有している。図６５に示した制御線ＷＳＥＮは、制御線ＷＳＥＮＮ，ＷＳＥＮＰを含む。図６５に示した制御線ＣＴＬは、制御線ＷＳＮＬ，ＷＳＰＬ，ＡＺＬ，ＤＳＬを含む。制御線ＷＳＥＮＮの信号および制御線ＷＳＥＮＰの信号は、互いに反転した信号である。制御線ＷＳＮＬの信号および制御線ＷＳＰＬの信号は、互いに反転した信号である。
　画素ＰＩＸは、トランジスタＭＮ６１，ＭＰ６２，ＭＮ６３，ＭＰ６４と、キャパシタＣ６１，Ｃ６２と、トランジスタＭＮ６５～ＭＮ６７と、発光素子ＥＬとを有している。トランジスタＭＮ６１，ＭＮ６３，ＭＮ６５～ＭＮ６７はＮ型のＭＯＳＦＥＴであり、トランジスタＭＰ６２，ＭＰ６４はＰ型のＭＯＳＦＥＴである。トランジスタＭＮ６１のゲートは制御線ＷＳＥＮＮに接続され、ドレインは信号線ＳＧＬおよびトランジスタＭＰ６２のソースに接続され、ソースはトランジスタＭＰ６２のドレイン、トランジスタＭＮ６３のドレイン、およびトランジスタＭＰ６４のソースに接続される。トランジスタＭＰ６２のゲートは制御線ＷＳＥＮＰに接続され、ソースは信号線ＳＧＬおよびトランジスタＭＮ６１のドレインに接続され、ドレインはトランジスタＭＮ６１のソース、トランジスタＭＮ６３のドレイン、およびトランジスタＭＰ６４のソースに接続される。トランジスタＭＮ６３のゲートは制御線ＷＳＮＬに接続され、ドレインはトランジスタＭＮ６１のソース、トランジスタＭＰ６２のドレイン、およびトランジスタＭＰ６４のソースに接続され、ソースはトランジスタＭＰ６４のドレイン、キャパシタＣ６１，Ｃ６２、およびトランジスタＭＮ６５のゲートに接続される。トランジスタＭＰ６４のゲートは制御線ＷＳＰＬに接続され、ソースはトランジスタＭＮ６１のソース、トランジスタＭＰ６２のドレイン、およびトランジスタＭＮ６３のドレインに接続され、ドレインはトランジスタＭＮ６３のソース、キャパシタＣ６１，Ｃ６２、およびトランジスタＭＮ６５のゲートに接続される。キャパシタＣ６１は、例えばＭＯＭ（Metal Oxide Metal）キャパシタを用いて構成され、一端はトランジスタＭＮ６３のソース、トランジスタＭＰ６４のドレイン、キャパシタＣ６２、およびトランジスタＭＮ６５のゲートに接続され、他端は電源線ＶＳＳ２に接続される。なお、キャパシタＣ６１は、例えばＭＯＳキャパシタやＭＩＭ（Metal Insulator Metal）キャパシタを用いて構成されてもよい。キャパシタＣ６２は、例えばＭＯＳキャパシタを用いて構成され、一端はトランジスタＭＮ６３のソース、トランジスタＭＰ６４のドレイン、キャパシタＣ６１の一端、およびトランジスタＭＮ６５のゲートに接続され、他端は電源線ＶＳＳ２に接続される。なお、キャパシタＣ６２は、例えば、ＭＯＭキャパシタやＭＩＭキャパシタを用いて構成されてもよい。トランジスタＭＮ６５のゲートはトランジスタＭＮ６３のソース、トランジスタＭＰ６４のドレイン、およびキャパシタＣ６１，Ｃ６２の一端に接続され、ドレインは電源線ＶＣＣＰに接続され、ソースはトランジスタＭＮ６６，ＭＮ６７のドレインに接続される。トランジスタＭＮ６６のゲートは制御線ＡＺＬに接続され、ドレインはトランジスタＭＮ６５のソースおよびトランジスタＭＮ６７のドレインに接続され、ソースは電源線ＶＳＳ１に接続される。トランジスタＭＮ６７のゲートは制御線ＤＳＬに接続され、ドレインはトランジスタＭＮ６５のソースおよびトランジスタＭＮ６６のドレインに接続され、ソースは発光素子ＥＬのアノードに接続される。
　この構成により、画素ＰＩＸでは、トランジスタＭＮ６１，ＭＰ６２のうちの少なくとも一方がオン状態になるとともに、トランジスタＭＮ６３，ＭＰ６４のうちの少なくとも一方がオン状態になることにより、信号線ＳＧＬから供給された画素信号に基づいてキャパシタＣ６１，Ｃ６２の両端間の電圧が設定される。トランジスタＭＮ６７は、制御線ＤＳＬの信号に基づいてオンオフする。トランジスタＭＮ６５は、トランジスタＭＮ６７がオン状態である期間において、キャパシタＣ６１，Ｃ６２の両端間の電圧に応じた電流を、発光素子ＥＬに流す。発光素子ＥＬは、トランジスタＭＰ６５から供給された電流に基づいて発光する。このようにして、画素ＰＩＸは、画素信号に応じた輝度で発光する。トランジスタＭＮ６６は、制御線ＡＺＬの信号に基づいてオンオフしてもよい。また、トランジスタＭＮ６６は、制御線ＡＺＬの信号に応じた抵抗値を有する抵抗素子として機能してもよい。この場合、トランジスタＭＮ６５およびトランジスタＭＮ６６はいわゆるソースフォロワ回路を構成する。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、レイテンシを低減することができる。
（１）
　第１の解像度の全体画像を示す第１の画像データと、前記全体画像の外側の画像である、前記第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを受信可能な受信回路と、
　複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
　自装置の姿勢の変化を検出可能な第１のセンサと、
　前記第１のセンサの検出結果に基づいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことが可能な画像処理回路と、
　前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
　を備えた表示装置。
（２）
　前記第１のセンサの検出結果が、前記姿勢が変化したことを示す場合には、前記表示画像データは、前記第１の画像データに基づく第１のデータと、前記第２の画像データに基づく第２のデータと、前記第３の画像データに基づく第３のデータとを含む
　前記（１）に記載の表示装置。
（３）
　前記表示画像データは、前記第２のデータが示す画像の外側の外側画像を示す第４のデータをさらに含む
　前記（２）に記載の表示装置。
（４）
　前記画像処理回路は、所定の画素値を有する前記第４のデータを生成可能である
　前記（３）に記載の表示装置。
（５）
　前記画像処理回路は、前記第２のデータに基づいて前記第４のデータを生成可能である
　前記（３）に記載の表示装置。
（６）
　前記第１のセンサの検出結果が、前記姿勢が変化しなかったことを示す場合には、前記表示画像データは、前記第１のデータ、前記第２のデータ、および前記第３のデータのうちの、前記第１のデータおよび前記第３のデータを含む
　前記（２）に記載の表示装置。
（７）
　ユーザが前記表示部の表示領域におけるどの領域を観察しているかを検出可能な第２のセンサをさらに備え、
　前記画像処理回路は、
　前記第２のセンサの検出結果が、前記ユーザが観察している領域が変化したことを示す場合には、前記第１の画像データに基づいて、解像度を高める画像処理を行うことにより、前記ユーザが観察している領域の、前記第３の解像度の第２の部分画像を示す第４の画像データを生成可能であり、
　前記第１の画像処理において、前記第１の画像データ、前記第２の画像データ、および前記第４の画像データに対して前記幾何変形処理を行うことにより前記表示画像データを生成可能である
　前記（１）から（６）のいずれかに記載の表示装置。
（８）
　前記画像処理回路は、
　前記第１の画像データおよび前記第３の画像データに基づいて前記表示画像データを生成する第２の画像処理を行うことが可能であり、
　前記第１の画像処理および前記第２の画像処理のうちの一方を選択的に行うことが可能である
　前記（１）から（７）のいずれかに記載の表示装置。
（９）
　前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信可能であり、
　前記受信回路が、前記複数の受信期間のうちの第１の受信期間において、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信し終えた場合には、前記画像処理回路は、前記第１の受信期間において受信し終えた前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに基づいて、前記第２の画像処理を行うことが可能であり、
　前記受信回路が、前記複数の受信期間のうちの、前記第１の受信期間の次の第２の受信期間において、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信し終えなかった場合には、前記画像処理回路は、前記第１の受信期間において受信し終えた前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに基づいて、前記第１の画像処理を行うことが可能である
　前記（８）に記載の表示装置。
（１０）
　前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信可能であり、
　前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、複数の前記第１の画像処理を行うことが可能であり、
　前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記複数の第１の画像処理により生成された複数の前記表示画像データのそれぞれに基づいて、前記表示部を駆動可能である
　前記（１）から（７）のいずれかに記載の表示装置。
（１１）
　前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信可能であり、
　前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、前記第１の画像処理と、前記第１の画像データおよび前記第３の画像データに基づいて前記表示画像データを生成する第２の画像処理とを行うことが可能であり、
　前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記第２の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動した後に、前記第１の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動可能である
　前記（１）から（７）のいずれかに記載の表示装置。
（１２）
　前記表示画像データは、前記第１の画像データに基づく第１のデータと、前記第３の画像データに基づく第３のデータとを含み、
　前記表示駆動回路は、前記第１のデータに基づいて、第１の数の画素を単位として前記表示部を駆動する第１の駆動と、前記第３のデータに基づいて、前記第１の数より少ない第２の数の画素を単位として前記表示部を駆動する第２の駆動とを行うことが可能である
　前記（１）に記載の表示装置。
（１３）
　前記第１のセンサの検出結果が、前記姿勢が変化したことを示す場合に、前記表示画像データは、前記第２の画像データに基づく第２のデータをさらに含み、
　前記表示駆動回路は、さらに、前記第２のデータに基づいて、前記第１の数以上の第３の数の画素を単位として前記表示部を駆動する第３の駆動を行うことが可能である
　前記（１２）に記載の表示装置。
（１４）
　第１の解像度の全体画像を示す第１の画像データと、前記全体画像の外側の画像である、前記第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを送信可能な画像生成装置と、
　表示装置と
　を備え、
　前記表示装置は、
　前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信可能な受信回路と、
　複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
　自装置の姿勢の変化を検出可能な第１のセンサと、
　前記第１のセンサの検出結果に基づいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことが可能な画像処理回路と、
　前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
　を有する
　表示システム。
（１５）
　前記表示装置は、前記第１のセンサの検出結果を前記画像生成装置に送信可能な送信回路を有し、
　前記画像生成装置は、前記送信回路から送信された前記第１のセンサの検出結果に基づいて、前記全体画像を示す前記第１の画像データを生成可能である
　前記（１４）に記載の表示システム。
（１６）
　第１の解像度の全体画像を示す第１の画像データと、前記全体画像の外側の画像である、前記第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを受信することと、
　第１のセンサを用いて、表示装置の姿勢の変化を検出することと、
　前記第１のセンサの検出結果に基づいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことと、
　前記表示画像データに基づいて、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部を駆動することと
　を含む表示方法。
　本出願は、日本国特許庁において２０２１年１２月１日に出願された日本特許出願番号２０２１－１９５４００号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (16)

  1. 　第１の解像度の全体画像を示す第１の画像データと、前記全体画像の外側の画像である、前記第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを受信可能な受信回路と、
    　複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
    　自装置の姿勢の変化を検出可能な第１のセンサと、
    　前記第１のセンサの検出結果に基づいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことが可能な画像処理回路と、
    　前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
    　を備えた表示装置。
  2. 　前記第１のセンサの検出結果が、前記姿勢が変化したことを示す場合には、前記表示画像データは、前記第１の画像データに基づく第１のデータと、前記第２の画像データに基づく第２のデータと、前記第３の画像データに基づく第３のデータとを含む
    　請求項１に記載の表示装置。
  3. 　前記表示画像データは、前記第２のデータが示す画像の外側の外側画像を示す第４のデータをさらに含む
    　請求項２に記載の表示装置。
  4. 　前記画像処理回路は、所定の画素値を有する前記第４のデータを生成可能である
    　請求項３に記載の表示装置。
  5. 　前記画像処理回路は、前記第２のデータに基づいて前記第４のデータを生成可能である
    　請求項３に記載の表示装置。
  6. 　前記第１のセンサの検出結果が、前記姿勢が変化しなかったことを示す場合には、前記表示画像データは、前記第１のデータ、前記第２のデータ、および前記第３のデータのうちの、前記第１のデータおよび前記第３のデータを含む
    　請求項２に記載の表示装置。
  7. 　ユーザが前記表示部の表示領域におけるどの領域を観察しているかを検出可能な第２のセンサをさらに備え、
    　前記画像処理回路は、
    　前記第２のセンサの検出結果が、前記ユーザが観察している領域が変化したことを示す場合には、前記第１の画像データに基づいて、解像度を高める画像処理を行うことにより、前記ユーザが観察している領域の、前記第３の解像度の第２の部分画像を示す第４の画像データを生成可能であり、
    　前記第１の画像処理において、前記第１の画像データ、前記第２の画像データ、および前記第４の画像データに対して前記幾何変形処理を行うことにより前記表示画像データを生成可能である
    　請求項１に記載の表示装置。
  8. 　前記画像処理回路は、
    　前記第１の画像データおよび前記第３の画像データに基づいて前記表示画像データを生成する第２の画像処理を行うことが可能であり、
    　前記第１の画像処理および前記第２の画像処理のうちの一方を選択的に行うことが可能である
    　請求項１に記載の表示装置。
  9. 　前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信可能であり、
    　前記受信回路が、前記複数の受信期間のうちの第１の受信期間において、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信し終えた場合には、前記画像処理回路は、前記第１の受信期間において受信し終えた前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに基づいて、前記第２の画像処理を行うことが可能であり、
    　前記受信回路が、前記複数の受信期間のうちの、前記第１の受信期間の次の第２の受信期間において、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信し終えなかった場合には、前記画像処理回路は、前記第１の受信期間において受信し終えた前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに基づいて、前記第１の画像処理を行うことが可能である
    　請求項８に記載の表示装置。
  10. 　前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信可能であり、
    　前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、複数の前記第１の画像処理を行うことが可能であり、
    　前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記複数の第１の画像処理により生成された複数の前記表示画像データのそれぞれに基づいて、前記表示部を駆動可能である
    　請求項１に記載の表示装置。
  11. 　前記受信回路は、繰り返し設定された複数の受信期間のそれぞれにおいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信可能であり、
    　前記画像処理回路は、前記複数の受信期間のそれぞれにおいて、前記第１の画像処理と、前記第１の画像データおよび前記第３の画像データに基づいて前記表示画像データを生成する第２の画像処理とを行うことが可能であり、
    　前記表示駆動回路は、前記複数の受信期間のそれぞれにおいて、前記第２の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動した後に、前記第１の画像処理により生成された前記表示画像データに基づいて前記表示部を駆動可能である
    　請求項１に記載の表示装置。
  12. 　前記表示画像データは、前記第１の画像データに基づく第１のデータと、前記第３の画像データに基づく第３のデータとを含み、
    　前記表示駆動回路は、前記第１のデータに基づいて、第１の数の画素を単位として前記表示部を駆動する第１の駆動と、前記第３のデータに基づいて、前記第１の数より少ない第２の数の画素を単位として前記表示部を駆動する第２の駆動とを行うことが可能である
    　請求項１に記載の表示装置。
  13. 　前記第１のセンサの検出結果が、前記姿勢が変化したことを示す場合に、前記表示画像データは、前記第２の画像データに基づく第２のデータをさらに含み、
    　前記表示駆動回路は、さらに、前記第２のデータに基づいて、前記第１の数以上の第３の数の画素を単位として前記表示部を駆動する第３の駆動を行うことが可能である
    　請求項１２に記載の表示装置。
  14. 　第１の解像度の全体画像を示す第１の画像データと、前記全体画像の外側の画像である、前記第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを送信可能な画像生成装置と、
    　表示装置と
    　を備え、
    　前記表示装置は、
    　前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを受信可能な受信回路と、
    　複数の画素を有し、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部と、
    　自装置の姿勢の変化を検出可能な第１のセンサと、
    　前記第１のセンサの検出結果に基づいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことが可能な画像処理回路と、
    　前記表示画像データに基づいて、前記表示部を駆動することが可能な表示駆動回路と
    　を有する
    　表示システム。
  15. 　前記表示装置は、前記第１のセンサの検出結果を前記画像生成装置に送信可能な送信回路を有し、
    　前記画像生成装置は、前記送信回路から送信された前記第１のセンサの検出結果に基づいて、前記全体画像を示す前記第１の画像データを生成可能である
    　請求項１４に記載の表示システム。
  16. 　第１の解像度の全体画像を示す第１の画像データと、前記全体画像の外側の画像である、前記第１の解像度以下の第２の解像度の周辺画像を示す第２の画像データと、前記全体画像の画像範囲よりも狭い画像範囲の画像である、前記第１の解像度よりも高い第３の解像度の第１の部分画像を示す第３の画像データとを受信することと、
    　第１のセンサを用いて、表示装置の姿勢の変化を検出することと、
    　前記第１のセンサの検出結果に基づいて、前記第１の画像データ、前記第２の画像データ、および前記第３の画像データに対して幾何変形処理を行うことにより表示画像データを生成する第１の画像処理を行うことと、
    　前記表示画像データに基づいて、前記全体画像の画像範囲と同じ画像範囲の画像を表示可能な表示部を駆動することと
    　を含む表示方法。
PCT/JP2022/037182 2021-12-01 2022-10-04 表示装置、表示システム、および表示方法 WO2023100468A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-195400 2021-12-01
JP2021195400 2021-12-01

Publications (1)

Publication Number Publication Date
WO2023100468A1 true WO2023100468A1 (ja) 2023-06-08

Family

ID=86611984

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037182 WO2023100468A1 (ja) 2021-12-01 2022-10-04 表示装置、表示システム、および表示方法

Country Status (1)

Country Link
WO (1) WO2023100468A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316607A1 (en) * 2016-04-28 2017-11-02 Verizon Patent And Licensing Inc. Methods and Systems for Minimizing Pixel Data Transmission in a Network-Based Virtual Reality Media Delivery Configuration
JP2017215875A (ja) * 2016-06-01 2017-12-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
JP2019012258A (ja) * 2017-06-30 2019-01-24 エルジー ディスプレイ カンパニー リミテッド 表示装置及びそのゲート駆動回路
US20200082498A1 (en) * 2017-09-28 2020-03-12 Apple Inc. Error concealment for a head-mountable device
JP2020106655A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2020524331A (ja) * 2017-06-09 2020-08-13 株式会社ソニー・インタラクティブエンタテインメント テンポラル・アンチエイリアシングの中心窩適合

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316607A1 (en) * 2016-04-28 2017-11-02 Verizon Patent And Licensing Inc. Methods and Systems for Minimizing Pixel Data Transmission in a Network-Based Virtual Reality Media Delivery Configuration
JP2017215875A (ja) * 2016-06-01 2017-12-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
JP2020524331A (ja) * 2017-06-09 2020-08-13 株式会社ソニー・インタラクティブエンタテインメント テンポラル・アンチエイリアシングの中心窩適合
JP2019012258A (ja) * 2017-06-30 2019-01-24 エルジー ディスプレイ カンパニー リミテッド 表示装置及びそのゲート駆動回路
US20200082498A1 (en) * 2017-09-28 2020-03-12 Apple Inc. Error concealment for a head-mountable device
JP2020106655A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
CN107797280B (zh) 个人沉浸式显示装置及其驱动方法
CN105359540B (zh) 头戴式显示设备及用于控制这样的设备的方法
US11303875B2 (en) Split rendering between a head-mounted display (HMD) and a host computer
CN108241213B (zh) 头戴式显示器及其控制方法
CN109427283B (zh) 图像产生方法和使用该方法的显示装置
JP2022517991A (ja) 眼追跡に基づく動的レンダリング時間ターゲット化
US20180131920A1 (en) Display apparatus and control method thereof
EP3862981A1 (en) Information processing device, information processing method, and recording medium
US20230290014A1 (en) Attention-driven rendering for computer-generated objects
US10341538B2 (en) Display system and display method
WO2023100468A1 (ja) 表示装置、表示システム、および表示方法
WO2023084950A1 (ja) 表示装置、表示システム、および表示駆動方法
WO2022255147A1 (ja) 表示装置、表示システム、および表示駆動方法
KR102422036B1 (ko) 낮은 레이턴시 가상 현실을 구동 및 보상하는 표시장치
WO2021117606A1 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
WO2023182097A1 (ja) 表示装置及びその駆動方法
WO2023243474A1 (ja) 表示装置
WO2023062976A1 (ja) 表示装置及び電子機器
WO2023176166A1 (ja) 表示装置及び電子機器
WO2024048268A1 (ja) 表示装置、電子機器及び表示装置の駆動方法
WO2024101213A1 (ja) 表示装置
WO2024048221A1 (ja) 表示装置
WO2022196492A1 (ja) 表示装置及び電子機器
WO2023007819A1 (ja) 表示装置
US20130016195A1 (en) Device and method for 3-d display control

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22900902

Country of ref document: EP

Kind code of ref document: A1