WO2016157677A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2016157677A1 WO2016157677A1 PCT/JP2016/000558 JP2016000558W WO2016157677A1 WO 2016157677 A1 WO2016157677 A1 WO 2016157677A1 JP 2016000558 W JP2016000558 W JP 2016000558W WO 2016157677 A1 WO2016157677 A1 WO 2016157677A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- user
- area
- quality
- image quality
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 135
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 26
- 238000003908 quality control method Methods 0.000 claims description 18
- 230000007613 environmental effect Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 description 55
- 230000009467 reduction Effects 0.000 description 44
- 238000012546 transfer Methods 0.000 description 32
- 230000006399 behavior Effects 0.000 description 27
- 230000004382 visual function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 206010052143 Ocular discomfort Diseases 0.000 description 13
- 239000002131 composite material Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000003542 behavioural effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000035900 sweating Effects 0.000 description 3
- 230000009194 climbing Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/0232—Special driving of display border areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
Definitions
- the present technology relates to an information processing apparatus, an information processing method, and a program for performing processing for displaying an image with high image quality in a partial area of a screen and displaying an image with low image quality in another area of the screen.
- a video presentation device that recognizes the visual field of a viewer who views a video, generates a video having different resolutions in the central region and the peripheral region of the visual field, and presents the video to the viewer via a display device is known. (For example, refer to claim 1 of Patent Document 1).
- Such a device is desired to be increasingly user-friendly due to the fact that it directly affects the user's vision.
- an object of the present technology is to provide a user-friendly information processing apparatus, information processing method, and program.
- An information processing apparatus includes a user information acquisition unit and a high image quality region control unit.
- the user information acquisition unit is configured to acquire user information excluding the line-of-sight information detected for the user.
- the high image quality area control unit is configured to determine, based on the user information, a high image quality area in which an image is displayed with higher image quality than other areas of the entire area of the screen visually recognized by the user.
- the high-quality area control unit may be configured to determine a size of the high-quality area based on the user information. If the size of the high-quality area is reduced, the overall drawing processing amount is reduced, and the drive time of the information processing apparatus is improved. By reducing the size of the high-quality area based on the user information, it is possible to avoid the user getting a visual discomfort.
- the user information may include at least one of user biological information, user behavior information, and environmental information around the user.
- Human visual function changes under the influence of biological load, behavioral load, and environmental load.
- the user's visual function is predicted based on at least one of the user's biological information, the user's behavior information, and the environment information around the user, and the user's visual function is increased according to the predicted visual function.
- the information processing apparatus may further include an image quality control unit configured to determine an image quality of a peripheral area excluding the high image quality area in the entire area based on the user information.
- the user since the image quality of the peripheral area is reduced according to the visual function predicted based on the user information, the user may get a visual discomfort even when the image quality of the peripheral area is reduced. can avoid.
- the information processing apparatus further includes: a gaze information acquisition unit configured to acquire user gaze information; and a gaze point calculation unit configured to calculate a gaze point on the screen based on the gaze information. You may have.
- the high-quality area control unit may be configured to calculate a position of the high-quality area based on the gazing point.
- the gaze point is always displayed with high image quality regardless of the position thereof, so that it is possible to avoid the user from having a visual discomfort.
- an image may be displayed at least one of a lower resolution, a lower frame rate, a lower bit color, and a lower speed than in the high-quality area.
- the overall drawing processing amount is further reduced by reducing the image quality using a plurality of algorithms.
- the information processing apparatus may further include a drawing unit configured to draw an image displayed in the high image quality area with high image quality and to draw an image displayed in the peripheral area with low image quality.
- the drawing unit draws an image displayed in the peripheral area with low image quality by changing at least one of resolution, frame rate, bit color, and speed according to the type of image to be drawn. It may be configured as follows.
- the overall drawing processing amount can be further reduced, and at the same time, the user can get a visual discomfort. can avoid.
- the high-quality area control unit calculates a position of a first high-quality area based on the gaze point, calculates a position of a second high-quality area based on the center point of the screen, and at least based on the user information
- the size of the first high quality area may be calculated, and an area including at least the first high quality area and the second high quality area may be calculated as the high quality area.
- the center point of the screen is always displayed with high image quality, when the user is gazing at a position different from the center point, even if the gazing point has just returned to the center point, the user Avoids getting a sense of visual discomfort.
- the high-quality area control unit calculates a position of a first high-quality area based on the gazing point, calculates a position of a second high-quality area based on a past gazing point, and based on at least the user information
- a size of the first high quality area may be calculated, and an area including at least the first high quality area and the second high quality area may be calculated as the high quality area.
- the past gazing point is displayed with high image quality, when the user is gazing at a position different from the past gazing point, immediately after the gazing point returns to the past gazing point, However, it can be avoided that the user gets a visual discomfort.
- An information processing method acquires user information excluding line-of-sight information detected for a user, and displays an image with higher image quality than other areas of the entire area of the screen visually recognized by the user.
- the high image quality area to be processed is determined based on the user information.
- a program causes a computer to function as a user information acquisition unit and a high image quality region control unit.
- the user information acquisition unit is configured to acquire user information excluding the line-of-sight information detected for the user.
- the high image quality area control unit is configured to determine, based on the user information, a high image quality area in which an image is displayed with higher image quality than other areas of the entire area of the screen visually recognized by the user.
- FIG. 1 is a perspective view illustrating at least a part of the information processing apparatus according to the first embodiment.
- the information processing apparatus 1 is, for example, a transmissive HMD (Head Mount Display).
- the information processing apparatus 1 includes a left-eye image output unit 11L and a right-eye image output unit 11R that are provided corresponding to the left and right eyes of a human.
- the information processing apparatus 1 can display images on the screens 111L and 111R of the image output units 11L and 11R, respectively.
- a user wearing the HMD (information processing apparatus 1) like glasses can see the images displayed on the screens 111L and 111R of the image output units 11L and 11R at the same time as seeing the surrounding environment transparently.
- the image output units 11L and 11R may be collectively referred to as the image output unit 11
- the screens 111L and 111R may be collectively referred to as the screen 111.
- FIG. 2 is a block diagram illustrating a hardware configuration of the information processing apparatus.
- a storage unit 14, an output unit 15, and an input unit 16 are connected to the calculation unit 12 via a bus 13.
- the hardware configuration of the information processing apparatus 1 may be provided in an electronic device (not shown) connected to the HMD by wire or wirelessly.
- the storage unit 14 includes a ROM (Read Only Memory), a RAM (Random Access Memory), and other semiconductor memories.
- the ROM fixedly stores programs and data executed by the calculation unit 12. A program stored in the ROM is loaded into the RAM.
- the calculation unit 12 includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like.
- the arithmetic unit 12 executes a program loaded in the RAM.
- the output unit 15 includes image output units 11L and 11R.
- the image output units 11L and 11R perform calculation processing based on the information received from the calculation unit 12, and display the generated image signals on the screens 111L and 111R (FIG. 1).
- the output unit 15 typically further includes an audio output unit (not shown).
- the input unit 16 includes a left-eye camera 16L and a right-eye camera 16R for photographing the left and right eyeballs of the user, and a detection unit group 16S (also shown in FIG. 1).
- the input unit 16 writes the line-of-sight information acquired by the cameras 16L and 16R (line-of-sight information acquisition unit) and the information detected by the detection unit group 16S in the storage unit 14 as a log.
- the positions of the cameras 16L and 16R and the detection unit group 16S are not limited to the example illustrated in FIG.
- the detection unit group 16S includes a plurality of detection units that detect user biometric information, information for acquiring user behavior information, and information for acquiring environment information around the user.
- the detection unit that detects the biological information of the user include a heart rate sensor, a sweat sensor, a temperature (body temperature) sensor, and an electroencephalogram sensor.
- Specific examples of a detection unit that detects information for acquiring user behavior information include an acceleration sensor, a gyro sensor, and a geomagnetic sensor (9 axes) for detecting a user's movement and posture (running, walking, stopping, etc.) Sensor).
- detection units for detecting information for obtaining environmental information around the user include GPS (Global Positioning System), Wi-fi (Wireless Fidelity, registered trademark), SLAM (Simultaneous Localization and Mapping), etc.
- Examples include a receiving device using technology, an environmental camera for photographing the user's field of view, a microphone for detecting sound (noise) around the user, and a luminance sensor for detecting the contrast of ambient light.
- FIG. 3 is a diagram for schematically explaining the functions of the information processing apparatus.
- the entire area C of the screen 111 for displaying an image includes a high image quality area A in which an image is displayed with higher image quality than other areas (peripheral areas B).
- the high image quality area A corresponds to the discrimination visual field of the user.
- the discrimination visual field is a very narrow range existing in the central part of the entire human visual field, and is a visual field range that is excellent in visual functions such as visual acuity and color discrimination and can receive highly accurate information.
- the size of the visual field for discrimination changes under the influence of human biological load, behavioral load, and environmental load.
- the discrimination visual field may be narrowed when the patient is in a tension state such as a high heart rate.
- a tension state such as a high heart rate.
- the visual field for discrimination becomes narrower in the order of stopping (or sitting), walking, and running.
- the influence of the environmental load there is a possibility that the discrimination field of view is narrower in a dark place than in a bright place.
- the information processing apparatus 1 predicts the width of the discrimination field based on at least one of the user's biological information, the user's behavior information, and the environment information around the user, and according to the predicted width of the discrimination field The size of the high image quality area A is dynamically changed.
- the information processing apparatus 1 has a user information acquisition unit 102 configured to acquire user information excluding the line-of-sight information detected for the user, and the other areas of the entire area of the screen visually recognized by the user.
- a high-quality area control unit 103 configured to determine a high-quality area in which an image is displayed with high quality based on the user information.
- the high-quality area control unit 103 is configured to determine the size of the high-quality area based on the user information.
- the information processing apparatus 1 is configured to draw an image displayed in the high-quality area with high image quality, and draw an image displayed in a peripheral area excluding the high-quality area in the entire area with low image quality.
- the drawing unit 105 is further provided.
- the information processing apparatus 1 includes a line-of-sight information acquisition unit (cameras 16L and 16R) configured to acquire user's line-of-sight information, and a note configured to calculate a gaze point on the screen based on the line-of-sight information. And a viewpoint calculation unit 101, and the high-quality area control unit 103 is configured to calculate the position of the high-quality area based on the gazing point.
- a line-of-sight information acquisition unit cameras 16L and 16R
- a note configured to calculate a gaze point on the screen based on the line-of-sight information.
- a viewpoint calculation unit 101, and the high-quality area control unit 103 is configured to calculate the position of the high-quality area based on the gazing point.
- “line-of-sight information” is information used to calculate a gaze point on the screen 111 that is visually recognized by the user. “User information” is detected for the user, but in the present disclosure, this “line-of-sight information” is excluded from “user information”.
- the user information includes at least one of user biological information, user behavior information, and environmental information around the user.
- the biological information are information related to heartbeat, sweating, body temperature, brain waves and the like.
- a specific example of the behavior information is information related to movement and posture (running, walking, stopping, climbing up and down stairs, driving a vehicle, talking, and the like).
- Specific examples of environmental information include a user's field of view (ie, display) in a relatively wide space (indoors, outdoors, in a train, etc.), a narrow environment around the user (number of people in the surroundings, during conversation, etc.), or a narrower environment. This is information relating to the background of the image (character, moving object, color, spatial frequency, brightness, etc.). These are merely examples, and are not limited to these specific examples.
- FIG. 4 is a block diagram illustrating a functional configuration of the information processing apparatus.
- the information processing apparatus 1 includes an input unit 16, a gaze point calculation unit 101, a user information acquisition unit 102, a high image quality region control unit 103, a drawing buffer creation unit 104, a drawing unit 105, a transfer unit 106, A storage unit 14 and an image output unit 11 are included.
- the cameras 16L and 16R function as a line-of-sight information acquisition unit configured to acquire user's line-of-sight information.
- the cameras 16 ⁇ / b> L and 16 ⁇ / b> R capture the left and right eyeballs of the user and write the line-of-sight information in the line-of-sight information log 141 of the storage unit 14.
- the line-of-sight information is information representing the user's line-of-sight direction (x, y, z)).
- the gaze point calculation unit 101 refers to the gaze information log 141 and determines the gaze point (x, y) on the screen 111 of the image output unit 11 based on the gaze information (user gaze direction (x, y, z)). calculate.
- the gazing point calculation unit 101 supplies gazing point information, which is the calculated position information of the gazing point, to the high-quality area control unit 103 and the transfer unit 106.
- the detection unit group 16S writes the detected information in the sensor log 142 of the storage unit 14.
- the user information acquisition unit 102 reads the information written in the sensor log 142 by the detection unit group 16S.
- the user information acquisition unit 102 uses the read information as it is as user information, or creates user information based on the read information.
- the user information acquisition unit 102 supplies the acquired user information (user biometric information, user behavior information, user environment information) to the high-quality area control unit 103.
- the high image quality area control unit 103 calculates the size of the high image quality area A based on the user information supplied from the user information acquisition unit 102. Specifically, the high image quality area control unit 103 reads the reduction rate table 143 stored in the storage unit 14. In the reduction rate table 143, different reduction rates are assigned to each piece of user information that can be acquired by the user information acquisition unit 102. The high image quality area control unit 103 reads the reduction rate assigned to the user information (behavior information) supplied from the user information acquisition unit 102 from the reduction rate table 143. The high image quality area control unit 103 calculates the actual size of the high image quality area A based on the reduction rate read from the reduction rate table 143.
- the high image quality area control unit 103 calculates the position of the high image quality area A based on the gazing point information supplied from the gazing point calculation unit 101. Specifically, the high image quality region control unit 103 calculates the position of the high image quality region A so that the position of the gazing point becomes equal to the center position of the high image quality region A. As described above, the high image quality area control unit 103 calculates the high image quality area A. The high image quality area control unit 103 notifies the drawing buffer creation unit 104 of the calculated high image quality area A.
- the drawing buffer creation unit 104 creates a high-quality drawing buffer a and a low-quality drawing buffer b.
- the high image quality drawing buffer a has the same size as the high image quality area A and high resolution (high image quality).
- the low image quality drawing buffer b is the same size as the entire area C and has a low resolution (low image quality).
- the drawing buffer creation unit 104 stores the created high-quality drawing buffer a and low-quality drawing buffer b in the storage unit 14.
- the drawing buffer creation unit 104 notifies the drawing unit 105 that the high-quality drawing buffer a and the low-quality drawing buffer b have been prepared.
- the drawing unit 105 reads the high-quality drawing buffer a from the storage unit 14.
- the drawing unit 105 writes information of an image (referred to as a partial image) displayed in the high image quality region A calculated by the high image quality region control unit 103 in the high image quality drawing buffer a.
- the drawing unit 105 reads the low image quality drawing buffer b from the storage unit 14.
- the drawing unit 105 writes information of an image (referred to as an entire image) displayed in the entire area C to the low image quality drawing buffer b at a predetermined reduction rate.
- the drawing unit 105 notifies the transfer unit 106 that the writing of the partial image information to the high-quality drawing buffer a and the writing of the entire image information to the low-quality drawing buffer b have been completed.
- the transfer unit 106 writes in the frame buffer c of the screen 111 stored in the storage unit 14 so that the information of the entire image written in the low image quality drawing buffer b is drawn in an enlarged manner.
- the transfer unit 106 stores the information of the partial image drawn in the high-quality drawing buffer a in the frame buffer c at the position where the center point of the image drawn in the high-quality drawing buffer a is the same as the gazing point P1. Write so that it is drawn at the same magnification. That is, the transfer unit 106 displays the image information obtained by superimposing (overlapping) the partial image displayed in the high image quality region A on the entire image displayed in the low image quality in the entire region C on the frame of the screen 111. Write to buffer c. The transfer unit 106 transfers the image information written in the frame buffer c to the image output unit 11.
- the image output unit 11 Based on the image information supplied from the transfer unit 106, the image output unit 11 displays the entire image with low image quality in the entire region C of the screen 111, and superimposes (overlaps) it on the high image quality region A. Display a partial image with high image quality.
- FIG. 5 is a flowchart showing the operation of the information processing apparatus. The operation of the information processing apparatus 1 having the above functional configuration will be described more specifically with reference to FIG.
- the cameras 16L and 16R capture the left and right eyeballs of the user, and write line-of-sight information for a predetermined period in the line-of-sight information log 141 of the storage unit 14.
- the line-of-sight information is information representing the user's line-of-sight direction (x, y, z).
- the gaze point calculation unit 101 refers to the gaze information log 141 and determines the gaze point (x, y) on the screen 111 of the image output unit 11 based on the gaze information (user gaze direction (x, y, z)). Calculate (step S1).
- the gazing point calculation unit 101 supplies gazing point information, which is the calculated position information of the gazing point, to the high-quality area control unit 103 and the transfer unit 106.
- the high image quality area control unit 103 calculates the high image quality area A (step S2). Specific processing of the method for calculating the high image quality area A will be described below.
- FIG. 6 is a flowchart showing a method for calculating a high-quality area.
- the step number may be described as “S2-1-1”.
- S means “(step number of main routine shown in FIG. 5) ⁇ (number of embodiment) ⁇ (step number of subroutine)”.
- the detection unit group 16S writes the detected information in the sensor log 142 of the storage unit 14.
- the detected information include user biological information (heart rate, sweating, body temperature, brain wave, etc.), data such as acceleration sensor, gyro sensor and geomagnetic sensor (9-axis sensor), GPS information, Wi-fi information, SLAM information, environmental camera shooting information, and microphone audio (noise) information.
- the user information acquisition unit 102 reads the information written in the sensor log 142 by the detection unit group 16S.
- the user information acquisition unit 102 uses the read information as it is as user information, or creates user information based on the read information.
- the user information acquisition unit 102 uses the read user biometric information (heartbeat, sweating, body temperature, brain wave, etc.) as it is.
- the user information acquisition unit 102 performs user actions (movement and posture (running, walking, stopping, etc.)) based on the read data such as an acceleration sensor, a gyro sensor, and a geomagnetic sensor (9-axis sensor).
- the action information of the user is acquired by determining.
- the user information acquisition unit 102 uses the read GPS information, Wi-fi information, SLAM information, shooting information of the environmental camera, microphone sound (noise) information, and ambient light luminance information as a user.
- the environment information around the user is acquired by determining the environment information around the user.
- the user information acquisition unit 102 supplies the acquired user information (user biometric information, user behavior information, user environment information) to the high-quality area control unit 103.
- the user information acquisition unit 102 acquires user behavior information by determining user behavior (running, walking, stopping) based on at least information from the acceleration sensor. This will be described below. For example, the user information acquisition unit 102 determines that the user is stopped (or sitting) when the moving speed of the user is 0 cm / second or more and less than 5 cm / second, and when the user moving speed is 5 cm / second or more and less than 20 cm / second, the user It determines with walking, and when it is 20 cm / sec or more, it determines with the user driving
- the high image quality area control unit 103 calculates the size of the high image quality area A based on the user information (behavior information) supplied from the user information acquisition unit 102. The specific method will be described. First, the high image quality area control unit 103 reads the reduction rate table 143 stored in the storage unit 14. In the reduction rate table 143, a different reduction rate is assigned to each action (running, walking, stopping) of the user determined by the user information acquisition unit 102.
- the “reduction ratio” is a coefficient used for calculating the size of the high image quality area A. That is, the normal value (maximum value) of the size of the high image quality area A is determined in advance, and a value obtained by multiplying the normal value by the reduction ratio is obtained as the actual size of the high image quality area A.
- FIG. 7 is a diagram illustrating a reduction ratio table.
- the high-quality area control unit 103 reads the reduction rate “1” assigned to “stop” from the reduction rate table 143.
- the high image quality area control unit 103 reads the reduction rate “1/2” when “walking” and the reduction rate “1/3” when “running” (step S2-1-2). Note that these reduction ratio values are merely examples.
- the high image quality region control unit 103 calculates the actual size of the high image quality region A by multiplying the normal value of the size of the high image quality region A by the reduction rate read from the reduction rate table 143. . Then, the high image quality region control unit 103 calculates the position of the high image quality region A based on the gazing point information supplied from the gazing point calculation unit 101. Specifically, the high image quality region control unit 103 calculates the position of the high image quality region A so that the position of the gazing point becomes equal to the center position of the high image quality region A. As described above, the high image quality area control unit 103 calculates the high image quality area A (step S2-1-3). The high image quality area control unit 103 notifies the drawing buffer creation unit 104 of the calculated high image quality area A.
- the drawing buffer creation unit 104 creates a high-quality drawing buffer a and a low-quality drawing buffer b.
- the high image quality drawing buffer a has the same size as the high image quality area A and high resolution (high image quality).
- the low image quality drawing buffer b is the same size as the entire area C and has a low resolution (low image quality). For example, as the resolution of the low image quality rendering buffer b, a reduction ratio of 1/2 of the size of the entire area C is set, but the present invention is not limited to this and may be other values such as 1/4.
- the drawing buffer creation unit 104 stores the created high-quality drawing buffer a and low-quality drawing buffer b in the storage unit 14 (step S3).
- the drawing buffer creation unit 104 notifies the drawing unit 105 that the high-quality drawing buffer a and the low-quality drawing buffer b have been prepared.
- FIG. 8 is a diagram for schematically explaining the operation of the information processing apparatus according to the subsequent steps. 5 and 8, upon receiving the notification, the drawing unit 105 reads the high-quality drawing buffer a from the storage unit 14.
- the drawing unit 105 writes information of an image (referred to as a partial image) displayed in the high image quality region A calculated by the high image quality region control unit 103 in the high image quality drawing buffer a (step S4).
- the position of the high image quality area A is a position calculated by the high image quality area control unit 103 in step S2-1-3 so that the gazing point (P1 in FIG. 8) is equal to the center position of the high image quality area A. is there.
- the drawing unit 105 reads the low image quality drawing buffer b from the storage unit 14.
- the drawing unit 105 writes the information of the image (referred to as the whole image) displayed in the entire area C to the low image quality drawing buffer b at the above-mentioned 1/2 reduction ratio (step S5).
- the drawing unit 105 notifies the transfer unit 106 that the writing of the partial image information to the high-quality drawing buffer a and the writing of the entire image information to the low-quality drawing buffer b have been completed.
- the transfer unit 106 Upon receiving the notification, the transfer unit 106 writes the information of the entire image written in the low image quality drawing buffer b into the frame buffer c of the screen 111 stored in the storage unit 14 so as to be enlarged and drawn. (Step S6).
- the transfer unit 106 stores information on the partial image drawn in the high-quality drawing buffer a in the frame buffer c at a position where the center point of the partial image drawn in the high-quality drawing buffer a is the same as the gazing point P1. Then, writing is performed so that the image is drawn at the same magnification (step S7).
- the transfer unit 106 superimposes (overlaps) a partial image displayed in the high image quality area A on the entire image displayed in the entire area C with low image quality (referred to as a composite image). Is written in the frame buffer c of the screen 111. The transfer unit 106 transfers the composite image information written in the frame buffer c to the image output unit 11.
- the image output unit 11 displays the entire image with low image quality in the entire area C of the screen 111 based on the information of the composite image supplied from the transfer unit 106, and superimposes (overlaps) the entire image.
- a partial image is displayed in the area A with high image quality.
- Wearable devices such as HMD and other portable devices have limited battery capacity due to the nature of being worn on or carried by a human body, and as a result, driving time is also limited. .
- driving time is also limited.
- only a part of the entire area of the screen is set as a high-quality area and the peripheral area is set as a low-quality image, so that the drawing quality of the discrimination visual field that can be recognized with high accuracy by the user is lowered.
- the drawing processing amount (drawing cost) is reduced. This improves the drive time of a device with limited battery capacity.
- the high-quality area is made to correspond to the user's discrimination visual field.
- the size of the human discrimination field changes under the influence of human biological load, behavioral load, and environmental load.
- the width of the discrimination field is predicted based on at least one of the user's biological information, the user's behavior information, and the environment information around the user, and the predicted width of the discrimination field is narrowed.
- the size of the high-quality area is dynamically changed. In other words, regardless of which user is in any situation, the discrimination visual field can be predicted in real time, and the size of the high image quality area can be dynamically changed in real time.
- the size of the high image quality region is set to the maximum value (normal value), and when the discrimination visual field is predicted to be relatively narrow, the high image quality region is determined. Reduce the size of.
- the parameter used to change the size of the high-quality area is only one type of user behavior (movement and posture (running, walking, stopping, etc.)), but a plurality of types of parameters are used. May be. By using a plurality of types of parameters, the size of the high-quality area can be dynamically changed more finely according to the needs of individual users.
- the image quality (resolution) of a region (peripheral region) other than the high image quality region corresponding to the user's discrimination visual field is dynamically changed.
- an effective visual field, a stable visual field, a guidance visual field, and an auxiliary visual field spread concentrically from the inside to the outside in this order around the discrimination visual field.
- visual functions such as visual acuity and color discrimination decrease in order from the inside to the outside.
- the size of the human discrimination visual field changes under the influence of human biological load, behavioral load, and environmental load.
- the size of each visual field outside the discrimination visual field also changes under the influence of biological load, behavioral load, and environmental load. For example, while driving (high behavioral load), the visual field of discrimination becomes smaller and the effective visual field becomes smaller compared to when stopping (low behavioral load), and on the contrary, the auxiliary visual field may increase accordingly. . When the effective visual field becomes smaller and the auxiliary visual field becomes larger by that amount, the visual function in the visual field outside the discrimination visual field is lowered as a whole.
- the level of visual function in a visual field outside the discrimination visual field is predicted based on at least one of the user's biological information, the user's behavior information, and the environment information around the user. Then, the image quality of the peripheral region is dynamically changed according to the level of visual function in the visual field outside the predicted visual field.
- the information processing apparatus further includes an image quality control unit (overall area image quality control unit 107) configured to determine the image quality of the peripheral area excluding the high image quality area of the entire area based on user information.
- an image quality control unit (overall area image quality control unit 107) configured to determine the image quality of the peripheral area excluding the high image quality area of the entire area based on user information.
- FIG. 9 is a block diagram illustrating a functional configuration of the information processing apparatus according to the second embodiment.
- the information processing apparatus 1A includes an entire area image quality control unit 107 in addition to the functional configuration of the information processing apparatus 1 of the first embodiment.
- the entire area image quality control unit 107 determines the image quality (resolution) of the entire area C based on the user information supplied from the user information acquisition unit 102. Specifically, the overall area image quality control unit 107 reads the image quality deterioration rate table 144 stored in the storage unit 14. In the image quality reduction rate table 144, different image quality reduction rates are assigned to each user information that can be acquired by the user information acquisition unit 102. The overall area image quality control unit 107 reads the image quality reduction rate assigned to the user information (behavior information) supplied from the user information acquisition unit 102 from the image quality reduction rate table 144.
- the overall area image quality control unit 107 calculates the actual image quality (resolution) of the entire area C based on the image quality reduction rate read from the image quality reduction rate table 144.
- the entire area image quality control unit 107 notifies the drawing buffer creation unit 104 of the calculated image quality (resolution) of the entire area C.
- FIG. 10 is a flowchart showing the operation of the information processing apparatus.
- the operation of the information processing apparatus 1A according to the second embodiment is the same as the operation of the first embodiment except for the operation related to step S3.
- the user information acquisition unit 102 supplies the acquired user behavior information (running, walking, stop) to the entire region image quality control unit 107 in addition to the high image quality region control unit 103 (step S3-2-1).
- the entire area image quality control unit 107 determines the image quality (resolution) of the entire area C based on the user information (behavior information) supplied from the user information acquisition unit 102. Specifically, the overall area image quality control unit 107 reads the image quality deterioration rate table 144 stored in the storage unit 14. In the image quality reduction rate table 144, different image quality reduction rates are assigned to the user actions (running, walking, and stopping) determined by the user information acquisition unit 102, respectively.
- the “image quality reduction rate” is a coefficient used for calculating the image quality (resolution) of the entire area C.
- the normal value (maximum value) of the image quality (resolution) of the entire area C is determined in advance, and a value obtained by multiplying the normal value by the image quality reduction rate is obtained as the actual image quality (resolution) of the entire area C. Note that the normal value of the image quality (resolution) of the entire area C is lower than the image quality (resolution) of the high image quality area A.
- the entire area image quality control unit 107 uses the image quality reduction rate “1” assigned to “stop” as the image quality reduction rate. Read from table 144 (same as in FIG. 7). Similarly, the overall area image quality control unit 107 reads out the image quality reduction rate “1/2” when “walking” and the image quality reduction rate “1/3” when “running” (step S3-2-2). Note that these values of the image quality reduction rate are merely examples.
- the entire area image quality control unit 107 notifies the drawing buffer creation unit 104 of the calculated image quality (resolution) of the entire area C.
- the drawing buffer creation unit 104 creates a high-quality drawing buffer a and a low-quality drawing buffer b ′.
- the resolution of the low image quality drawing buffer b ′ is the resolution calculated by the entire area image quality control unit 107.
- the drawing buffer creation unit 104 stores the created high-quality drawing buffer a and low-quality drawing buffer b ′ in the storage unit 14 (step S3-2-3).
- the level of the visual function in the visual field outside the discrimination visual field is predicted based on at least one of the user's biological information, the user's behavior information, and the environment information around the user. Then, the image quality of the entire area is dynamically changed according to the level of the visual function in the visual field outside the predicted visual field of discrimination, thereby dynamically changing the image quality of the peripheral area.
- the level of visual function in the visual field outside the discrimination visual field is predicted in real time, and the image quality of the entire area is dynamically changed to The image quality of the area can be changed in real time.
- the image quality of the entire area is set to the maximum value (normal value), and the visual function in the visual field outside the discrimination visual field is relatively When it is predicted to be low, the image quality of the entire area is lowered.
- the high-quality area control unit calculates the position of the first high-quality area based on the gazing point, calculates the position of the second high-quality area based on the center point of the screen, and based on user information, A size of one high-quality area is calculated, and an area including at least the first high-quality area and the second high-quality area is calculated as the high-quality area.
- FIG. 11 is a flowchart illustrating the operation of the information processing apparatus according to the third embodiment.
- FIG. 12 is a diagram for schematically explaining the operation of the information processing apparatus.
- the operation of the information processing apparatus according to the third embodiment is the same as the operation of the first embodiment except for the operation related to step S2-1-3.
- the functional configuration of the information processing apparatus according to the third embodiment is the same as the functional configuration of FIG.
- the high image quality area control unit 103 multiplies the normal value of the size of the first high image quality area A1 (corresponding to the high image quality area A of the first embodiment) by the reduction rate read from the reduction rate table 143. The actual size of the first high-quality area A1 is calculated. Then, the high image quality area control unit 103 calculates the position of the first high image quality area A1 based on the gaze point information supplied from the gaze point calculation unit 101. Specifically, the high image quality area control unit 103 calculates the position of the first high image quality area A1 so that the position of the gazing point P1 is equal to the center position of the first high image quality area A1. As described above, the high image quality area control unit 103 calculates the first high image quality area A1 (step S2-3-1).
- the high image quality area control unit 103 Based on the gazing point information supplied from the gazing point calculation unit 101, the high image quality area control unit 103 confirms that the gazing point has existed on the center point P2 of the entire area C during the past predetermined period (several seconds). It is determined whether or not there is (step S2-3-2). In the case of NO, the high image quality area control unit 103 sets the first high image quality area A1 as the final high image quality area A and proceeds to step S3.
- the high image quality region control unit 103 calculates a second high image quality region A2 centered on the position of the center point P2 of the entire region C (step S2-3-3). ).
- the size of the second high image quality area A2 is typically the same as the size of the first high image quality area A1.
- the first high-quality area A1 and the second high-quality area A2 may overlap, may be adjacent, or are separated from each other. There is also.
- the high image quality area control unit 103 calculates a composite high image quality area A3 including at least the calculated first high image quality area A1 and second high image quality area A2 (step S2-3-4). For example, it is assumed that the first high image quality area A1 and the second high image quality area A2 are each rectangular. In this case, the composite high-quality area A3 extends two sides of the first high-quality area A1 that is located away from the second high-quality area A2, and is located away from the first high-quality area A1. The two sides of the second high image quality area A2 may be extended, and a rectangle composed of the extended four sides may be used as the combined high image quality area A3.
- the high image quality region control unit 103 notifies the drawing buffer creation unit 104 of the calculated composite high image quality region A3.
- the high-quality drawing buffer a created by the drawing buffer creation unit 104 (step S3) is the same size as the combined high-quality region A3.
- the composite high image quality area A3 always includes the second high image quality area A2 with the center point P2 as a reference, the discrimination area always becomes the composite high image quality when the gazing point returns to the center point P2. It is included in the area A3 (specifically, the second high quality area A2). For this reason, it is avoided that the user gets a visual discomfort.
- the center point of the second high-quality area A2 is always set as the center point P2 of the entire area C on the assumption that the user spends a long time gazing at the center point P2 of the entire area C of the screen 111.
- the fourth embodiment is a modification of the third embodiment.
- FIG. 13 is a block diagram illustrating a functional configuration of the information processing apparatus according to the fourth embodiment.
- FIG. 14 is a flowchart illustrating the operation of the information processing apparatus.
- FIG. 15 is a diagram for schematically explaining the operation of the information processing apparatus.
- the operation of the information processing apparatus 1B according to the fourth embodiment is the same as the operation of the third embodiment except for the operations related to steps S3, S4, and S7.
- step S2-3-2 the same processing as steps S1 to S2-3-2 in the flowchart of FIG. 11 is performed.
- the high image quality area control unit 103 performs step S2-3.
- the first high-quality area A1 calculated in ⁇ 1 is set as the final high-quality area A, and the process proceeds to step S3.
- step S2-3-2 the high image quality area control unit 103 A second high image quality area A2 having the same size as the first high image quality area A1 is calculated with the position of the center point P2 as the center position (step S2-3-3).
- the high image quality area control unit 103 displays the first high image quality area A1 calculated in step S2-3-1 and the second high image quality area A2 calculated in step S2-3-3. Notify The center point of the first high-quality area A1 is the gazing point P1, and the center point of the second high-quality area A2 is the center point P2 of the entire area C.
- the drawing buffer creation unit 104 Upon receipt of the notification, the drawing buffer creation unit 104 creates a first high-quality drawing buffer a1, a second high-quality drawing buffer a2, and a low-quality drawing buffer b.
- the first high image quality drawing buffer a1 has the same size as the first high image quality area A1 and high resolution (high image quality).
- the second high image quality drawing buffer a2 has the same size as the second high image quality area A2 and high resolution (high image quality).
- the first high-quality drawing buffer a1 and the second high-quality drawing buffer a2 have the same resolution (image quality).
- the low image quality drawing buffer b is the same size as the entire area C and has a low resolution (low image quality).
- the drawing buffer creation unit 104 stores the created first high-quality drawing buffer a1, second high-quality drawing buffer a2, and low-quality drawing buffer b in the storage unit 14 (step S3-4-1). .
- the drawing buffer creation unit 104 notifies the drawing unit 105 that preparation of the first high-quality drawing buffer a1, the second high-quality drawing buffer a2, and the low-quality drawing buffer b has been completed.
- the drawing unit 105 Upon receiving the notification, the drawing unit 105 reads the first high-quality drawing buffer a1 from the storage unit 14. The drawing unit 105 writes information on an image (referred to as a first partial image) displayed in the first high-quality area A1 calculated by the high-quality area control unit 103 in the first high-quality drawing buffer a1. (Step S4-4-1). Furthermore, the drawing unit 105 reads the second high-quality drawing buffer a2 from the storage unit 14. The drawing unit 105 writes information of an image (referred to as a second partial image) displayed in the second high image quality area A2 calculated by the high image quality area control unit 103 in the second high image quality drawing buffer a2. (Step S4-4-2).
- the drawing unit 105 reads the low image quality drawing buffer b from the storage unit 14 and writes information of the entire image in the low image quality drawing buffer b (step S5).
- the drawing unit 105 notifies the transfer unit 106 that the writing of the image information to the first high-quality drawing buffer a1, the second high-quality drawing buffer a2, and the low-quality drawing buffer b has been completed.
- the transfer unit 106 Upon receiving the notification, the transfer unit 106 writes the information of the entire image written in the low image quality drawing buffer b into the frame buffer c of the screen 111 stored in the storage unit 14 so as to be enlarged and drawn. (Step S6).
- the transfer unit 106 places the first high-quality drawing buffer a1 in the position where the center point of the first partial image drawn in the first high-quality drawing buffer a1 is the same as the gazing point P1.
- the information of the first partial image drawn in (1) is written so as to be drawn at the same magnification (step S7-4-1).
- the transfer unit 106 places the second high image at the position where the center point of the second partial image drawn in the second high-quality drawing buffer a2 is the same as the center point P2 of the entire area C.
- the information of the second partial image drawn in the image quality drawing buffer a2 is written so as to be drawn at the same magnification (step S7-4-2).
- the transfer unit 106 applies the first partial image and the second high image quality area A2 displayed in the first high image quality area A1 on the entire image displayed in the entire area C with low image quality.
- Image information obtained by superimposing (overlapping) the second partial image displayed with high image quality is written in the frame buffer c of the screen 111.
- the transfer unit 106 transfers the image information written in the frame buffer c to the image output unit 11.
- the composite high image quality area A3 is not calculated, so that the amount of calculation can be reduced as compared with the third embodiment.
- the overall drawing processing amount is small. Reduced. Therefore, it is possible to realize an information processing apparatus that is more user-friendly while reducing the amount of drawing processing and improving the driving time while avoiding an unnecessary increase in the calculation amount.
- the image quality of the high-quality area A and the peripheral area B is made different by changing the resolution.
- the image quality of the high-quality area A and the peripheral area B is made different by changing not only the resolution but also the frame rate.
- FIG. 16 is a block diagram illustrating a functional configuration of an information processing apparatus according to the fifth embodiment.
- a variable “0” or “1” is registered as a drawing flag in the drawing flag storage unit 145 of the storage unit 14 of the information processing apparatus 1C.
- FIG. 17 is a flowchart illustrating the operation of the information processing apparatus.
- the operation of the information processing apparatus according to the fifth embodiment is the same as the operation of the first embodiment except for the operation related to step S5.
- the drawing unit 105 After writing the partial image in the high-quality drawing buffer a (step S4), the drawing unit 105 refers to the drawing flag storage unit 145 stored in the storage unit 14, and stores the variable “ It is determined whether or not “0” is registered (step S5-5-1).
- the drawing unit 105 reads the low image quality drawing buffer b from the storage unit.
- the drawing unit 105 writes the information of the entire image in the low image quality drawing buffer b at a predetermined reduction rate (step S5-5-3).
- the drawing unit 105 notifies the transfer unit 106 that the writing of the partial image information to the high-quality drawing buffer a and the writing of the entire image information to the low-quality drawing buffer b have been completed.
- the drawing unit 105 registers the variable “1” as the drawing flag in the drawing flag storage unit 145 (step S5-5-4).
- the transfer unit 106 Upon receiving the notification, the transfer unit 106 writes the information of the entire image written in the low image quality drawing buffer b into the frame buffer c (step S6), and the information of the partial image drawn in the high image quality drawing buffer a. Write (step S7).
- the drawing unit 105 registers “0” as an initial value (step S5-5-2). Alternatively, if “1” is registered in the drawing flag storage unit 145 (NO in step S5-5-1), the drawing unit 105 registers the variable “0” as the drawing flag (step S5-5-2). ). In these cases, the drawing unit 105 notifies the transfer unit 106 that the writing of image information only to the high-quality drawing buffer a has been completed.
- the transfer unit 106 Upon receiving the notification, the transfer unit 106 skips step S6 and writes only the information of the partial image drawn in the high-quality drawing buffer a into the frame buffer c (step S7).
- the frame rate for writing the entire image is 1 ⁇ 2 of the frame rate for writing the partial image. For example, if the frame rate for writing a partial image is 60 fps (frames per second), the frame rate for writing the entire image is 30 fps.
- the present embodiment not only the resolution of the entire area C is lowered but also the frame rate is lowered, so that the image quality of the high-quality area A and the peripheral area B is made different.
- the overall drawing processing amount is further reduced, and at the same time, the user is prevented from feeling uncomfortable visually. This realizes a user-friendly information processing apparatus while further reducing the drawing processing amount and further improving the driving time.
- the algorithm for changing the image quality of the high-quality area A and the entire area C is changed according to the type of image (content). Specifically, when displaying text content as an image, not only the resolution of the entire area C is lowered, but also the image quality of the entire area C is lowered by lowering the frame rate. When content other than text content is displayed as an image, the image quality of the entire area C is lowered by reducing only the resolution of the entire area C.
- FIG. 18 is a flowchart illustrating the operation of the information processing apparatus according to the sixth embodiment.
- the operation of the information processing apparatus according to the sixth embodiment is the same as that of the first embodiment and the fifth embodiment except for the operation related to step S4.
- the functional configuration of the information processing apparatus according to the sixth embodiment is the same as the functional configuration of FIG.
- the drawing unit 105 When the drawing unit 105 receives notification from the drawing buffer creation unit 104 that the high-quality drawing buffer a and the low-quality drawing buffer b are ready (step S3), the drawing unit 105 writes the partial image information into the high-quality drawing buffer a ( Step S4-6-1). Subsequently, the drawing unit 105 determines whether or not the image is text content (step S4-6-2). The determination as to whether or not the content is character content may be made, for example, by referring to meta information described in the content itself. If it is not character content (NO in step S4-6-2), the drawing unit 105 writes the information of the entire image into the low image quality drawing buffer b for each frame (step S5). Then, the transfer unit 106 writes the information of the entire image written in the low image quality rendering buffer b in the frame buffer c (Step S6).
- the drawing unit 105 transfers the entire image information at a low frame rate with a low frame rate (for example, half the frame rate for writing a partial image).
- a low frame rate for example, half the frame rate for writing a partial image.
- the transfer unit 106 writes the information of the entire image written in the low image quality drawing buffer b in the frame buffer c at a low frame rate (1/2 of the frame rate for writing the partial image) (step S6).
- the image displayed in the peripheral area D is an animation
- the user may get a visual discomfort by lowering the image quality by lowering the frame rate.
- the image displayed in the peripheral area D is a character
- it is predicted that no animation is used that is, a still image.
- the image quality does not deteriorate, and the possibility that the user gets a visual discomfort becomes extremely low.
- the present embodiment when displaying text content as an image, not only the resolution of the entire area C but also the frame rate is lowered, thereby reducing the image quality of the peripheral area B. As a result, the overall drawing processing amount is further reduced, and at the same time, the user is prevented from feeling uncomfortable visually. This realizes a user-friendly information processing apparatus while further reducing the drawing processing amount and further improving the driving time.
- the information processing apparatus predicts the width of the discrimination visual field based on the user action information (running, walking, stop), and dynamically adjusts the size of the high-quality area according to the predicted width of the discrimination visual field.
- Changed to Other specific examples of the parameter for dynamically changing the size of the high image quality area include the following examples.
- the user information acquisition unit 102 acquires movement information of the user's head based on the data of the gyro sensor and the acceleration sensor (head tracking). For example, when the user's head is moving violently (such as running), the high-quality area control unit 103 is expected to make it difficult for the user to visually recognize detailed information. To do.
- the user information acquisition unit 102 detects the moving speed (running, walking, stopping) of the user based on the amount of movement of GPS, the relative position of the self-position estimation of SLAM, the position estimation of Wi-fi, and the like. .
- the moving speed running, walking, stopping
- the relative position of the self-position estimation of SLAM the position estimation of Wi-fi, and the like.
- the user information acquisition unit 102 may have a learning function, accumulate the detection information of the detection unit group 16S, and predict a user's behavior (sitting, climbing stairs, driving a vehicle, talking, etc.). .
- the high image quality area control unit 103 determines that the user himself is in a stationary state and widens the high image quality area.
- the high image quality region control unit 103 determines that the user is concentrating on the person facing the person and narrows the high image quality region.
- the user information acquisition unit 102 determines that the user is in a tension state when the heart rate detected by the heart rate sensor is equal to or greater than a threshold value, or when the perspiration value detected by the sweat sensor is equal to or greater than the threshold value. To do.
- the high image quality area control unit 103 narrows the high image quality area because it is predicted that it is difficult for the user to visually recognize fine information when the user is in a tension state.
- the user information acquisition unit 102 performs object recognition based on shooting information of an environmental camera for shooting the user's field of view.
- the high image quality area control unit 103 sets the image quality area to a size that covers the object.
- the information processing apparatus is a transmissive HMD, but may be a shielded HMD. Alternatively, the information processing apparatus may not be an apparatus such as an HMD that has a display very close to both eyes of the user.
- the information processing apparatus is configured to acquire user information (at least one of the user's biological information, the user's behavior information, and the environment information around the user) and controls the display. Any electronic device may be used. Specific examples include desktop computers, notebook computers, tablet computers, and other personal computers, smartphones, mobile phones, television receivers, and the like.
- the information processing apparatus is an electronic device configured to acquire user information, and an electronic device configured to be able to communicate (typically wireless communication) with the electronic device and to control the display.
- the information processing apparatus includes a wearable device (such as a smart watch) configured to acquire user information, and an electronic device configured to be able to wirelessly communicate with the wearable device and to control a display.
- a wearable device such as a smart watch
- an electronic device configured to be able to wirelessly communicate with the wearable device and to control a display.
- a combination with typically a portable electronic device such as a smartphone
- the information processing device may be an electronic device (such as a personal computer) configured to control an external image display device (such as a stationary monitor or a projector).
- the information processing apparatus may be a combination of an electronic device configured to acquire user information and a server apparatus connectable via a network.
- the server apparatus receives and stores at least a part of the information stored in the storage unit from the electronic device, and performs processing performed by the HMD in each of the above-described embodiments (for example, high-quality area calculation processing, overall At least a part of the image and the partial image drawing process, and the like, and the processed data is transmitted to the electronic device.
- the cameras 16L and 16R capture the user's left and right eyeballs to obtain gaze information, and the gaze point calculation unit 101 calculates the gaze point (x, y) on the screen 111 based on the gaze information.
- the cameras 16L and 16R may acquire line-of-sight information by infrared reflection.
- an electromyograph (not shown) may acquire a user's electromyogram and acquire line-of-sight information based on the electromyogram.
- the image quality of the high-quality area and the peripheral area is changed by changing the resolution
- the resolution and the frame rate are changed.
- the image quality of the high-quality area and the peripheral area may be changed by changing only the frame rate.
- the image quality of the high-quality area and the peripheral area may be changed by changing the bit color.
- the image quality of the high image quality area and the peripheral area may be changed by rendering the high image quality area in a high bit color (for example, 32 bits) and the entire area in a low bit color (for example, 16 bits).
- the image quality of the high-quality area and the peripheral area may be changed by changing the speed of the animation.
- the image quality of the high-quality area and the peripheral area may be changed by rendering the high-quality area as a high-speed animation and the entire area as a low-speed animation (still image if it is the slowest).
- an image is displayed in the peripheral area at least one of lower resolution, lower frame rate, lower bit color and lower speed than the high quality area.
- the drawing unit changes at least one of resolution, frame rate, bit color, and speed according to the type of image to be drawn (whether it is character content). By doing so, an image displayed in the peripheral area is rendered with low image quality.
- an area including at least the first high image quality area A1 centered on the current gazing point and the second high image quality area A2 centered on the position of the center point P2 of the entire area C. is depicted with high image quality.
- an area including at least the first high-quality area A1 centering on the current gazing point and another high-quality area centering on the past gazing point may be drawn with high image quality.
- the center of the high image quality area A is set as a gazing point.
- the center point of the high-quality area A may always be the center point of the entire area C on the assumption that the user spends a long time gazing at the center point of the entire area C of the screen 111. According to this configuration, since it is not necessary to calculate the position of the center point of the high image quality area A (the position of the gazing point), the calculation amount can be reduced.
- the first to sixth embodiments are not limited to being executed individually, but may be executed in combination.
- a program that causes an information processing apparatus to function as each functional unit of each of the above embodiments and modifications may be stored in a non-transitory computer readable medium.
- this technique can also take the following structures.
- a user information acquisition unit configured to acquire user information excluding gaze information detected for a user;
- a high-quality area control unit configured to determine, based on the user information, a high-quality area in which an image is displayed with higher image quality than other areas in the entire area of the screen visually recognized by the user. Processing equipment.
- the information processing apparatus according to (1) above The information processing apparatus, wherein the high-quality area control unit is configured to determine a size of the high-quality area based on the user information.
- the user information includes at least one of user biological information, user behavior information, and environmental information around the user.
- An information processing apparatus further comprising: an image quality control unit configured to determine an image quality of a peripheral region excluding the high image quality region of the entire region based on the user information.
- a line-of-sight information acquisition unit configured to acquire the line-of-sight information of the user;
- a gazing point calculation unit configured to calculate a gazing point on the screen based on the line-of-sight information, and
- the information processing apparatus configured to calculate the position of the high-quality area based on the gazing point.
- the information processing apparatus displays an image in the peripheral area at least one of lower resolution, lower frame rate, lower bit color, and lower speed than the high-quality area.
- An information processing apparatus further comprising: a drawing unit configured to draw an image displayed in the high-quality area with high image quality and draw an image displayed in the peripheral area with low image quality.
- the drawing unit draws an image displayed in the peripheral area with low image quality by changing at least one of resolution, frame rate, bit color, and speed according to the type of image to be drawn.
- the information processing apparatus calculates the position of the first high-quality area based on the gazing point; Calculating the position of the second high-quality area based on the center point of the screen; Calculating at least the size of the first high-quality area based on the user information; An information processing apparatus configured to calculate an area including at least the first high-quality area and the second high-quality area as the high-quality area.
- the high-quality area control unit Calculating the position of the first high-quality area based on the gazing point; Calculate the position of the second high-quality area based on the past gazing point, Calculating at least the size of the first high-quality area based on the user information;
- An information processing apparatus configured to calculate an area including at least the first high-quality area and the second high-quality area as the high-quality area.
- (11) Obtain user information excluding the line-of-sight information detected for the user, An information processing method for determining, based on the user information, a high image quality area in which an image is displayed with higher image quality than other areas in the entire area of the screen visually recognized by the user.
- a user information acquisition unit configured to acquire user information excluding the line-of-sight information detected for the user
- a high-quality area control unit configured to determine, based on the user information, a high-quality area in which an image is displayed with higher image quality than other areas in the entire area of the screen visually recognized by the user
- a drawing unit configured to draw an image displayed in the high image quality region with high image quality, and to draw an image displayed in a peripheral region of the entire region excluding the high image quality region with low image quality
- An image display device comprising: an image output unit configured to output the rendered high-quality image and the rendered low-quality image to the screen.
- a user information acquisition unit configured to acquire user information excluding the line-of-sight information detected for the user; Causing the computer to function as a high-quality area control unit configured to determine, based on the user information, a high-quality area in which an image is displayed with higher image quality than other areas in the entire area of the screen visually recognized by the user program.
- a user information acquisition unit configured to acquire user information excluding the line-of-sight information detected for the user; Causing the computer to function as a high-quality area control unit configured to determine, based on the user information, a high-quality area in which an image is displayed with higher image quality than other areas in the entire area of the screen visually recognized by the user
- a non-transitory recording medium that stores a program.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
情報処理装置は、ユーザ情報取得部と、高画質領域制御部とを具備する。ユーザ情報取得部は、ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成される。高画質領域制御部は、前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成される。
Description
本技術は、画面の一部の領域に画像を高画質に表示し、画面の他の領域に画像を低画質に表示するための処理を行う情報処理装置、情報処理方法及びプログラムに関する。
映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示する映像提示装置が知られている(例えば、特許文献1の請求項1参照。)。
このような装置は、ユーザの視覚に直接作用するという性格上、益々ユーザフレンドリーであることが望まれる。
以上のような事情に鑑み、本技術の目的は、ユーザフレンドリーな情報処理装置、情報処理方法及びプログラムを提供することにある。
本技術の一実施形態に係る情報処理装置は、ユーザ情報取得部と、高画質領域制御部とを具備する。ユーザ情報取得部は、ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成される。高画質領域制御部は、前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成される。
本実施形態によれば、ユーザ情報に適した高画質領域を決定することができる。
前記高画質領域制御部は、前記ユーザ情報に基づき前記高画質領域の大きさを決定するように構成されてもよい。
高画質領域の大きさを縮小すれば、全体としての描画処理量が削減され、情報処理装置の駆動時間が向上される。ユーザ情報に基づき高画質領域の大きさを縮小することにより、ユーザが視覚的違和感を得ることが避けられる。
高画質領域の大きさを縮小すれば、全体としての描画処理量が削減され、情報処理装置の駆動時間が向上される。ユーザ情報に基づき高画質領域の大きさを縮小することにより、ユーザが視覚的違和感を得ることが避けられる。
前記ユーザ情報は、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つを含んでもよい。
人間の視機能は、生体的負荷、行動的負荷及び環境的負荷の影響を受けて変化する。本実施形態によれば、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つに基づいてユーザの視機能を予測し、予測された視機能に従って高画質領域の大きさを動的に変更することで、ユーザが視覚的違和感を得ることが避けられる。
前記情報処理装置は、前記全体領域のうち前記高画質領域を除く周辺領域の画質を前記ユーザ情報に基づき決定するように構成される画質制御部をさらに具備してもよい。
本実施形態によれば、ユーザ情報に基づいて予測される視機能に従って周辺領域の画質を低下させるため、周辺領域の画質を低下させた場合であっても、ユーザが視覚的違和感を得ることが避けられる。
前記情報処理装置は、ユーザの視線情報を取得するように構成された視線情報取得部と、前記視線情報に基づき前記画面上の注視点を算出するように構成された注視点算出部とをさらに具備してもよい。前記高画質領域制御部は、前記注視点に基づき前記高画質領域の位置を算出するように構成されてもよい。
本実施形態によれば、注視点はその位置に拘らず必ず高画質で表示されるため、ユーザが視覚的違和感を得ることが避けられる。
前記周辺領域には、前記高画質領域より、低解像度、低フレームレート、低ビットカラー及び低速の少なくとも何れか1つで画像が表示されてもよい。
本実施形態によれば、複数のアルゴリズムを用いて画質を低下することで、全体としての描画処理量が一層削減される。
前記情報処理装置は、前記高画質領域に表示される画像を高画質に描画し、前記周辺領域に表示される画像を低画質に描画するように構成された描画部をさらに具備してもよい。
前記描画部は、描画される画像の種類に応じて、解像度、フレームレート、ビットカラー及び速度の少なくともいずれか1つを変更することにより、前記周辺領域に表示される画像を低画質に描画するように構成されてもよい。
前記描画部は、描画される画像の種類に応じて、解像度、フレームレート、ビットカラー及び速度の少なくともいずれか1つを変更することにより、前記周辺領域に表示される画像を低画質に描画するように構成されてもよい。
本実施形態によれば、描画される画像の種類に応じて複数のアルゴリズムにより画質を低下することで、全体としての描画処理量が一層削減されると同時に、ユーザが視覚的違和感を得ることが避けられる。
前記高画質領域制御部は、前記注視点に基づき第1の高画質領域の位置を算出し、前記画面の中心点に基づき第2の高画質領域の位置を算出し、前記ユーザ情報に基づき少なくとも前記第1の高画質領域の大きさを算出し、前記第1の高画質領域及び前記第2の高画質領域を少なくとも含む領域を、前記高画質領域として算出するように構成されてもよい。
本実施形態によれば、画面の中心点が必ず高画質で表示されるため、ユーザが中心点と異なる位置を注視している場合、注視点が中心点に戻った直後であっても、ユーザが視覚的違和感を得ることが避けられる。
前記高画質領域制御部は、前記注視点に基づき第1の高画質領域の位置を算出し、過去の注視点に基づき第2の高画質領域の位置を算出し、前記ユーザ情報に基づき少なくとも前記第1の高画質領域の大きさを算出し、前記第1の高画質領域及び前記第2の高画質領域を少なくとも含む領域を、前記高画質領域として算出するように構成されてもよい。
本実施形態によれば、過去の注視点が高画質で表示されるため、ユーザが過去の注視点と異なる位置を注視している場合、注視点が過去の注視点に戻った直後であっても、ユーザが視覚的違和感を得ることが避けられる。
本技術の一実施形態に係る情報処理方法は、ユーザに関して検出された視線情報を除くユーザ情報を取得し、前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定する。
本技術の一実施形態に係るプログラムは、ユーザ情報取得部と、高画質領域制御部としてコンピュータを機能させる。ユーザ情報取得部は、ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成される。高画質領域制御部は、前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成される。
以上のように、本技術によれば、ユーザフレンドリーな情報処理装置、情報処理方法及びプログラムが提供される。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本技術に係る各実施形態を、図面を参照しながら説明する。
(1.第1の実施形態)
(1-1.情報処理装置の概要)
図1は、第1の実施形態に係る情報処理装置の少なくとも一部を示す斜視図である。
情報処理装置1は、例えば、透過型のHMD(Head Mount Display)である。情報処理装置1は、人間の左右の目に対応して設けられる左目用画像出力部11L及び右目用画像出力部11Rを有する。情報処理装置1は、画像出力部11L、11Rそれぞれの画面111L、111Rに画像を表示することが可能である。HMD(情報処理装置1)を眼鏡のように装着したユーザは、周辺環境を透過的に視認すると同時に、画像出力部11L、11Rそれぞれの画面111L、111Rに表示された画像を視認することが可能である。なお、以下、画像出力部11L、11Rをまとめて画像出力部11と記載し、画面111L、111Rをまとめて画面111と記載することがある。
(1-1.情報処理装置の概要)
図1は、第1の実施形態に係る情報処理装置の少なくとも一部を示す斜視図である。
情報処理装置1は、例えば、透過型のHMD(Head Mount Display)である。情報処理装置1は、人間の左右の目に対応して設けられる左目用画像出力部11L及び右目用画像出力部11Rを有する。情報処理装置1は、画像出力部11L、11Rそれぞれの画面111L、111Rに画像を表示することが可能である。HMD(情報処理装置1)を眼鏡のように装着したユーザは、周辺環境を透過的に視認すると同時に、画像出力部11L、11Rそれぞれの画面111L、111Rに表示された画像を視認することが可能である。なお、以下、画像出力部11L、11Rをまとめて画像出力部11と記載し、画面111L、111Rをまとめて画面111と記載することがある。
(1-2.情報処理装置のハードウェア構成)
図2は、情報処理装置のハードウェア構成を示すブロック図である。
情報処理装置1において、演算部12には、バス13を介して、記憶部14と、出力部15と、入力部16とが接続される。なお、情報処理装置1のハードウェア構成の少なくとも一部は、HMDと有線又は無線で接続される電子機器(図示せず)に設けてもよい。
図2は、情報処理装置のハードウェア構成を示すブロック図である。
情報処理装置1において、演算部12には、バス13を介して、記憶部14と、出力部15と、入力部16とが接続される。なお、情報処理装置1のハードウェア構成の少なくとも一部は、HMDと有線又は無線で接続される電子機器(図示せず)に設けてもよい。
記憶部14は、ROM(Read Only Memory)と、RAM(Random Access Memory)と、その他の半導体メモリとを含む。ROMは、演算部12が実行するプログラムやデータなどを固定的に格納する。RAMには、ROMに格納されたプログラムがロードされる。
演算部12は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等を含む。演算部12は、RAMにロードされたプログラムを実行する。
出力部15は、画像出力部11L、11Rを含む。画像出力部11L、11Rは、演算部12から受け取った情報に基づいて演算処理を行い、生成した画像信号を画面111L、111R(図1)に表示する。出力部15は、典型的には、音声出力部(図示せず)をさらに含む。
入力部16は、ユーザの左右の眼球を撮影するための左目用カメラ16L及び右目用カメラ16Rと、検出部群16Sとを含む(図1にも示す)。入力部16は、カメラ16L、16R(視線情報取得部)が取得した視線情報や、検出部群16Sが検出した情報を、ログとして記憶部14に書き込む。なお、カメラ16L、16R及び検出部群16Sの位置は、図1に示す一例に限られない。
検出部群16Sは、ユーザの生体情報と、ユーザの行動情報を取得するための情報と、ユーザの周囲の環境情報を取得するための情報とを検出する複数の検出部を含む。
ユーザの生体情報を検出する検出部の具体例としては、心拍センサ、発汗センサ、温度(体温)センサ、脳波センサ等が挙げられる。
ユーザの行動情報を取得するための情報を検出する検出部の具体例としては、ユーザの動きや姿勢(走行、歩行、停止等)を検出するための加速度センサ、ジャイロセンサ及び地磁気センサ(9軸センサ)等が挙げられる。
ユーザの周囲の環境情報を取得するための情報を検出する検出部の具体例としては、GPS(Global Positioning System)、Wi‐fi(Wireless Fidelity、登録商標)、SLAM(Simultaneous Localization and Mapping)等の技術を利用した受信装置、ユーザの視界を撮影するための環境用カメラ、ユーザの周囲の音声(ノイズ)を検出するためのマイクロフォン、環境光の明暗を検出するための輝度センサ等が挙げられる。
ユーザの生体情報を検出する検出部の具体例としては、心拍センサ、発汗センサ、温度(体温)センサ、脳波センサ等が挙げられる。
ユーザの行動情報を取得するための情報を検出する検出部の具体例としては、ユーザの動きや姿勢(走行、歩行、停止等)を検出するための加速度センサ、ジャイロセンサ及び地磁気センサ(9軸センサ)等が挙げられる。
ユーザの周囲の環境情報を取得するための情報を検出する検出部の具体例としては、GPS(Global Positioning System)、Wi‐fi(Wireless Fidelity、登録商標)、SLAM(Simultaneous Localization and Mapping)等の技術を利用した受信装置、ユーザの視界を撮影するための環境用カメラ、ユーザの周囲の音声(ノイズ)を検出するためのマイクロフォン、環境光の明暗を検出するための輝度センサ等が挙げられる。
(1-3.情報処理装置の機能)
図3は、情報処理装置の機能を模式的に説明するための図である。
画像を表示するための画面111の全体領域Cは、他の領域(周辺領域B)よりも高画質に画像が表示される高画質領域Aを含む。具体的には、高画質領域Aは、ユーザの弁別視野に相当する。弁別視野とは、人間の視野全体の中心部に存在するごく狭い範囲であり、視力や色弁別等の視機能に優れ、高精度な情報を受容可能な視野範囲である。弁別視野の大きさは人間の生体的負荷、行動的負荷及び環境的負荷の影響を受けて変化する。生体的負荷の影響の具体例としては、心拍が高いなど緊張状態にあるときは、弁別視野が狭くなる可能性がある。行動的負荷の影響の具体例としては、停止時(又は座位)、歩行時、走行時、の順に弁別視野が狭くなる可能性がある。環境的負荷の影響の具体例としては、明るい場所よりも暗い場所の方が弁別視野が狭くなる可能性がある。情報処理装置1は、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つに基づいて弁別視野の広狭を予測し、予測された弁別視野の広狭に従って高画質領域Aの大きさを動的に変更する。
なお、図としての理解しやすさのため、高画質領域Aと周辺領域Bとの境界を表す線(矩形)を描いている。しかし、この矩形は、あくまで仮想的なものであり、実際には画面111には表示されない。以下の他の図においても同様である。
図3は、情報処理装置の機能を模式的に説明するための図である。
画像を表示するための画面111の全体領域Cは、他の領域(周辺領域B)よりも高画質に画像が表示される高画質領域Aを含む。具体的には、高画質領域Aは、ユーザの弁別視野に相当する。弁別視野とは、人間の視野全体の中心部に存在するごく狭い範囲であり、視力や色弁別等の視機能に優れ、高精度な情報を受容可能な視野範囲である。弁別視野の大きさは人間の生体的負荷、行動的負荷及び環境的負荷の影響を受けて変化する。生体的負荷の影響の具体例としては、心拍が高いなど緊張状態にあるときは、弁別視野が狭くなる可能性がある。行動的負荷の影響の具体例としては、停止時(又は座位)、歩行時、走行時、の順に弁別視野が狭くなる可能性がある。環境的負荷の影響の具体例としては、明るい場所よりも暗い場所の方が弁別視野が狭くなる可能性がある。情報処理装置1は、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つに基づいて弁別視野の広狭を予測し、予測された弁別視野の広狭に従って高画質領域Aの大きさを動的に変更する。
なお、図としての理解しやすさのため、高画質領域Aと周辺領域Bとの境界を表す線(矩形)を描いている。しかし、この矩形は、あくまで仮想的なものであり、実際には画面111には表示されない。以下の他の図においても同様である。
要するに、情報処理装置1は、ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部102と、前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部103とを具備する。前記高画質領域制御部103は、前記ユーザ情報に基づき前記高画質領域の大きさを決定するように構成される。情報処理装置1は、前記高画質領域に表示される画像を高画質に描画し、前記全体領域のうち前記高画質領域を除く周辺領域に表示される画像を低画質に描画するように構成された描画部105をさらに具備する。情報処理装置1は、ユーザの視線情報を取得するように構成された視線情報取得部(カメラ16L、16R)と、前記視線情報に基づき前記画面上の注視点を算出するように構成された注視点算出部101とをさらに具備し、前記高画質領域制御部103は、前記注視点に基づき前記高画質領域の位置を算出するように構成される。
本開示において「視線情報」とは、ユーザが視認する画面111上の注視点を算出するために用いられる情報である。「ユーザ情報」とはユーザに関して検出されたであるが、本開示において、この「視線情報」は「ユーザ情報」から除かれる。
前記ユーザ情報は、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つを含む。生体情報の具体例は、心拍、発汗、体温、脳波等に関する情報である。行動情報の具体例は、動きや姿勢(走行、歩行、停止、階段昇降、車両運転、会話中等)等に関する情報である。環境情報の具体例は、比較的広い空間(室内、屋外、電車内等)や、ユーザの周囲の狭い環境(周囲の人数、会話中等)や、さらに狭い環境である、ユーザの視界(すなわち表示される画像の背景)(文字、動体、色、空間周波数、明るさ等)等に関する情報である。これらはあくまで例示にすぎず、この具体例に限定されるものではない。
以下に、上記機能を実現するための構成を含む情報処理装置1の具体的な構成及び動作について、より詳細に説明する。
(1-4.情報処理装置の機能的構成)
図4は、情報処理装置の機能的構成を示すブロック図である。
情報処理装置1は、入力部16と、注視点算出部101と、ユーザ情報取得部102と、高画質領域制御部103と、描画バッファ作成部104と、描画部105と、転送部106と、記憶部14と、画像出力部11とを有する。
図4は、情報処理装置の機能的構成を示すブロック図である。
情報処理装置1は、入力部16と、注視点算出部101と、ユーザ情報取得部102と、高画質領域制御部103と、描画バッファ作成部104と、描画部105と、転送部106と、記憶部14と、画像出力部11とを有する。
カメラ16L、16Rは、ユーザの視線情報を取得するように構成された視線情報取得部として機能する。具体的には、カメラ16L、16Rは、ユーザの左右の眼球を撮影し、視線情報を記憶部14の視線情報ログ141に書き込む。視線情報とは、ユーザの視線方向(x,y,z)を表す情報)である。
注視点算出部101は、視線情報ログ141を参照し、視線情報(ユーザの視線方向(x,y,z))に基づき、画像出力部11の画面111上の注視点(x,y)を算出する。注視点算出部101は、算出した注視点の位置情報である注視点情報を、高画質領域制御部103及び転送部106に供給する。
検出部群16Sは、検出した情報を、記憶部14のセンサログ142に書き込む。
ユーザ情報取得部102は、検出部群16Sがセンサログ142に書き込んだ情報を読み出す。ユーザ情報取得部102は、読み出した情報をそのままユーザ情報として利用したり、読み出した情報をもとにユーザ情報を作成したりする。ユーザ情報取得部102は、取得したユーザ情報(ユーザの生体情報、ユーザの行動情報、ユーザの周囲の環境情報)を、高画質領域制御部103に供給する。
高画質領域制御部103は、ユーザ情報取得部102から供給されたユーザ情報に基づき高画質領域Aの大きさを算出する。具体的には、高画質領域制御部103は、記憶部14に格納されている縮小率テーブル143を読み出す。縮小率テーブル143には、ユーザ情報取得部102により取得され得る各ユーザ情報に対して、それぞれ異なる縮小率が割り当てられている。高画質領域制御部103は、ユーザ情報取得部102から供給されたユーザ情報(行動情報)に割り当てられた縮小率を縮小率テーブル143から読み出す。高画質領域制御部103は、縮小率テーブル143から読み出した縮小率に基づき、実際の高画質領域Aの大きさを算出する。
高画質領域制御部103は、注視点算出部101から供給された注視点情報に基づき高画質領域Aの位置を算出する。具体的には、高画質領域制御部103は、注視点の位置が高画質領域Aの中心位置と等しくなるように、高画質領域Aの位置を算出する。
以上により、高画質領域制御部103は、高画質領域Aを算出する。高画質領域制御部103は、算出した高画質領域Aを、描画バッファ作成部104に通知する。
高画質領域制御部103は、注視点算出部101から供給された注視点情報に基づき高画質領域Aの位置を算出する。具体的には、高画質領域制御部103は、注視点の位置が高画質領域Aの中心位置と等しくなるように、高画質領域Aの位置を算出する。
以上により、高画質領域制御部103は、高画質領域Aを算出する。高画質領域制御部103は、算出した高画質領域Aを、描画バッファ作成部104に通知する。
描画バッファ作成部104は、高画質描画バッファa及び低画質描画バッファbを作成する。高画質描画バッファaは、高画質領域Aと同じ大きさで高解像度(高画質)である。低画質描画バッファbは、全体領域Cと同じ大きさで、低解像度(低画質)である。描画バッファ作成部104は、作成した高画質描画バッファa及び低画質描画バッファbを記憶部14に格納する。描画バッファ作成部104は、高画質描画バッファa及び低画質描画バッファbの用意が完了したことを、描画部105に通知する。
描画部105は、記憶部14から高画質描画バッファaを読み出す。描画部105は、高画質領域制御部103が算出した高画質領域Aに表示される画像(部分画像と呼ぶ。)の情報を、高画質描画バッファaに書き込む。
描画部105は、記憶部14から低画質描画バッファbを読み出す。描画部105は、全体領域Cに表示される画像(全体画像と呼ぶ。)の情報を、所定の縮小率で低画質描画バッファbに書き込む。描画部105は、高画質描画バッファaへの部分画像の情報の書き込みと、低画質描画バッファbへの全体画像の情報の書き込みとが完了したことを、転送部106に通知する。
描画部105は、記憶部14から低画質描画バッファbを読み出す。描画部105は、全体領域Cに表示される画像(全体画像と呼ぶ。)の情報を、所定の縮小率で低画質描画バッファbに書き込む。描画部105は、高画質描画バッファaへの部分画像の情報の書き込みと、低画質描画バッファbへの全体画像の情報の書き込みとが完了したことを、転送部106に通知する。
転送部106は、記憶部14に格納された画面111のフレームバッファcに、低画質描画バッファbに書き込まれた全体画像の情報を、拡大して描画されるように書き込みを行う。転送部106は、このフレームバッファcに、高画質描画バッファaに描画された画像の中心点が注視点P1と同じになる位置に、高画質描画バッファaに描画された部分画像の情報を、等倍に描画されるように書き込みを行う。すなわち、転送部106は、全体領域Cに低画質に表示される全体画像上に、高画質領域Aに高画質に表示される部分画像を重畳(オーバーラップ)した画像情報を、画面111のフレームバッファcに書き込む。転送部106は、フレームバッファcに書き込まれた画像情報を画像出力部11に転送する。
画像出力部11は、転送部106から供給された画像情報に基づき、画面111の全体領域Cに低画質に全体画像を表示し、これに重畳(オーバーラップ)されるように、高画質領域Aに高画質に部分画像を表示する。
(1-5.情報処理装置の動作)
図5は、情報処理装置の動作を示すフローチャートである。
同図を参照して、上記の機能的構成を有する情報処理装置1の動作をより具体的に説明する。
図5は、情報処理装置の動作を示すフローチャートである。
同図を参照して、上記の機能的構成を有する情報処理装置1の動作をより具体的に説明する。
カメラ16L、16Rは、ユーザの左右の眼球を撮影し、所定期間の視線情報を、記憶部14の視線情報ログ141に書き込む。視線情報とは、ユーザの視線方向(x,y,z)を表す情報である。
注視点算出部101は、視線情報ログ141を参照し、視線情報(ユーザの視線方向(x,y,z))に基づき、画像出力部11の画面111上の注視点(x,y)を算出する(ステップS1)。注視点算出部101は、算出した注視点の位置情報である注視点情報を、高画質領域制御部103及び転送部106に供給する。
高画質領域制御部103は、高画質領域Aを算出する(ステップS2)。高画質領域Aの算出方法の具体的な処理を、以下に説明する。
図6は、高画質領域の算出方法を示すフローチャートである。
以下のフローチャートにおいて、ステップ番号を「S2-1-1」のように記載することがある。「S」以下は、「(図5に示すメインルーチンのステップ番号)-(実施形態の番号)-(サブルーチンのステップ番号)」を意味する。
以下のフローチャートにおいて、ステップ番号を「S2-1-1」のように記載することがある。「S」以下は、「(図5に示すメインルーチンのステップ番号)-(実施形態の番号)-(サブルーチンのステップ番号)」を意味する。
検出部群16Sは、検出した情報を、記憶部14のセンサログ142に書き込む。検出した情報との具体例としては、ユーザの生体情報(心拍、発汗、体温、脳波等)、加速度センサ、ジャイロセンサ及び地磁気センサ(9軸センサ)等のデータ、GPS情報、Wi-fi情報、SLAM情報、環境用カメラの撮影情報、マイクロフォンの音声(ノイズ)情報が挙げられる。
ユーザ情報取得部102は、検出部群16Sがセンサログ142に書き込んだ情報を読み出す。ユーザ情報取得部102は、読み出した情報をそのままユーザ情報として利用したり、読み出した情報をもとにユーザ情報を作成したりする。例えば、ユーザ情報取得部102は、読み出したユーザの生体情報(心拍、発汗、体温、脳波等)をそのまま利用する。あるいは、例えば、ユーザ情報取得部102は、読み出した加速度センサ、ジャイロセンサ及び地磁気センサ(9軸センサ)等のデータをもとに、ユーザの行動(動きや姿勢(走行、歩行、停止等))を判定することで、ユーザの行動情報を取得する。あるいは、例えば、ユーザ情報取得部102は、読み出したGPS情報、Wi-fi情報、SLAM情報、環境用カメラの撮影情報、マイクロフォンの音声(ノイズ)情報、環境光の輝度情報をもとに、ユーザの周囲の環境情報を判定することで、ユーザの周囲の環境情報を取得する。ユーザ情報取得部102は、取得したユーザ情報(ユーザの生体情報、ユーザの行動情報、ユーザの周囲の環境情報)を、高画質領域制御部103に供給する。
本実施形態においては、具体的には、ユーザ情報取得部102は、少なくとも加速度センサの情報をもとに、ユーザの行動(走行、歩行、停止)を判定することで、ユーザの行動情報を取得するものとして、以下説明する。例えば、ユーザ情報取得部102は、ユーザの移動速度が0cm/秒以上5cm/秒未満のときユーザが停止している(又は座位)と判定し、5cm/秒以上20cm/秒未満のときユーザが歩行していると判定し、20cm/秒以上のときユーザが走行していると判定する。ユーザ情報取得部102は、取得したユーザの行動情報(走行、歩行、停止)を、高画質領域制御部103に供給する(ステップS2-1-1)。
高画質領域制御部103は、ユーザ情報取得部102から供給されたユーザ情報(行動情報)に基づき高画質領域Aの大きさを算出する。その具体的な方法を説明する。
まず、高画質領域制御部103は、記憶部14に格納されている縮小率テーブル143を読み出す。縮小率テーブル143には、ユーザ情報取得部102により判定されるユーザの各行動(走行、歩行、停止)に対して、それぞれ異なる縮小率が割り当てられている。「縮小率」とは、高画質領域Aの大きさを算出するために用いられる係数である。すなわち、高画質領域Aの大きさの通常値(最大値)は予め決まっており、その通常値に縮小率を乗算した値が、実際の高画質領域Aの大きさとして得られる。
まず、高画質領域制御部103は、記憶部14に格納されている縮小率テーブル143を読み出す。縮小率テーブル143には、ユーザ情報取得部102により判定されるユーザの各行動(走行、歩行、停止)に対して、それぞれ異なる縮小率が割り当てられている。「縮小率」とは、高画質領域Aの大きさを算出するために用いられる係数である。すなわち、高画質領域Aの大きさの通常値(最大値)は予め決まっており、その通常値に縮小率を乗算した値が、実際の高画質領域Aの大きさとして得られる。
図7は、縮小率テーブルを示す図である。
高画質領域制御部103は、ユーザ情報取得部102から供給されたユーザ情報(行動情報)が「停止」のとき、「停止」に割り当てられた縮小率「1」を縮小率テーブル143から読み出す。高画質領域制御部103は、同様に、「歩行」のとき縮小率「1/2」を、「走行」のとき縮小率「1/3」を読み出す(ステップS2-1-2)。なお、これら縮小率の値はあくまで例示である。
高画質領域制御部103は、ユーザ情報取得部102から供給されたユーザ情報(行動情報)が「停止」のとき、「停止」に割り当てられた縮小率「1」を縮小率テーブル143から読み出す。高画質領域制御部103は、同様に、「歩行」のとき縮小率「1/2」を、「走行」のとき縮小率「1/3」を読み出す(ステップS2-1-2)。なお、これら縮小率の値はあくまで例示である。
図6に戻り、高画質領域制御部103は、高画質領域Aの大きさの通常値に縮小率テーブル143から読み出した縮小率を乗算して、実際の高画質領域Aの大きさを算出する。そして、高画質領域制御部103は、注視点算出部101から供給された注視点情報に基づき高画質領域Aの位置を算出する。具体的には、高画質領域制御部103は、注視点の位置が高画質領域Aの中心位置と等しくなるように、高画質領域Aの位置を算出する。以上により、高画質領域制御部103は、高画質領域Aを算出する(ステップS2-1-3)。高画質領域制御部103は、算出した高画質領域Aを、描画バッファ作成部104に通知する。
図5に戻り、描画バッファ作成部104は、高画質描画バッファa及び低画質描画バッファbを作成する。高画質描画バッファaは、高画質領域Aと同じ大きさで高解像度(高画質)である。低画質描画バッファbは、全体領域Cと同じ大きさで、低解像度(低画質)である。例えば、低画質描画バッファbの解像度として、全体領域Cの大きさの1/2の縮小率が設定されるが、これに限定されず、1/4など他の値でもよい。描画バッファ作成部104は、作成した高画質描画バッファa及び低画質描画バッファbを記憶部14に格納する(ステップS3)。描画バッファ作成部104は、高画質描画バッファa及び低画質描画バッファbの用意が完了したことを、描画部105に通知する。
図8は、以降のステップに係る情報処理装置の動作を模式的に説明するための図である。
図5及び図8を参照し、通知を受けると、描画部105は、記憶部14から高画質描画バッファaを読み出す。描画部105は、高画質領域制御部103が算出した高画質領域Aに表示される画像(部分画像と呼ぶ。)の情報を、高画質描画バッファaに書き込む(ステップS4)。なお、高画質領域Aの位置は、高画質領域制御部103がステップS2-1-3で算出した、注視点(図8のP1)が高画質領域Aの中心位置と等しくなるような位置である。
図5及び図8を参照し、通知を受けると、描画部105は、記憶部14から高画質描画バッファaを読み出す。描画部105は、高画質領域制御部103が算出した高画質領域Aに表示される画像(部分画像と呼ぶ。)の情報を、高画質描画バッファaに書き込む(ステップS4)。なお、高画質領域Aの位置は、高画質領域制御部103がステップS2-1-3で算出した、注視点(図8のP1)が高画質領域Aの中心位置と等しくなるような位置である。
描画部105は、記憶部14から低画質描画バッファbを読み出す。描画部105は、全体領域Cに表示される画像(全体画像と呼ぶ。)の情報を、上記1/2の縮小率で低画質描画バッファbに書き込む(ステップS5)。描画部105は、高画質描画バッファaへの部分画像の情報の書き込みと、低画質描画バッファbへの全体画像の情報の書き込みとが完了したことを、転送部106に通知する。
上記通知を受けると、転送部106は、記憶部14に格納された画面111のフレームバッファcに、低画質描画バッファbに書き込まれた全体画像の情報を、拡大して描画されるように書き込みを行う(ステップS6)。転送部106は、このフレームバッファcに、高画質描画バッファaに描画された部分画像の中心点が注視点P1と同じになる位置に、高画質描画バッファaに描画された部分画像の情報を、等倍に描画されるように書き込みを行う(ステップS7)。すなわち、転送部106は、全体領域Cに低画質に表示される全体画像上に、高画質領域Aに高画質に表示される部分画像を重畳(オーバーラップ)した画像(合成画像と呼ぶ。)の情報を、画面111のフレームバッファcに書き込む。転送部106は、フレームバッファcに書き込まれた合成画像の情報を画像出力部11に転送する。
画像出力部11は、転送部106から供給された合成画像の情報に基づき、画面111の全体領域Cに低画質に全体画像を表示し、これに重畳(オーバーラップ)されるように、高画質領域Aに高画質に部分画像を表示する。結果的に、図3に示したように、画面111の高画質領域Aに高画質に部分画像が表示され、周辺領域Bに低画質に残りの画像(=全体画像-部分画像)が表示される。
(1-6.まとめ)
HMDのようなウェアラブルなデバイスやその他の携帯型デバイスは、人間の身体に装着したり人間が携帯したりする性質上、そのバッテリ容量には限界があり、その結果、駆動時間にも制限がある。しかし、本実施形態によれば、画面の全体領域中の一部のみを高画質領域とし、周辺領域を低画質とすることで、ユーザが高精度に認知可能である弁別視野の描画品質を低下することなく、描画処理量(描画コスト)が削減される。これにより、バッテリ容量に限界のあるデバイスであっても、その駆動時間が向上される。
HMDのようなウェアラブルなデバイスやその他の携帯型デバイスは、人間の身体に装着したり人間が携帯したりする性質上、そのバッテリ容量には限界があり、その結果、駆動時間にも制限がある。しかし、本実施形態によれば、画面の全体領域中の一部のみを高画質領域とし、周辺領域を低画質とすることで、ユーザが高精度に認知可能である弁別視野の描画品質を低下することなく、描画処理量(描画コスト)が削減される。これにより、バッテリ容量に限界のあるデバイスであっても、その駆動時間が向上される。
本実施形態によれば、高画質領域を、ユーザの弁別視野に対応させる。人間の弁別視野の大きさは、人間の生体的負荷、行動的負荷及び環境的負荷の影響を受けて変化する。本実施形態によれば、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つに基づいて弁別視野の広狭を予測し、予測された弁別視野の広狭に従って高画質領域の大きさを動的に変更する。言い換えれば、どのようなユーザがどのような状況にあるときであっても、弁別視野の広狭をリアルタイムに予測し、高画質領域の大きさをリアルタイムに動的に変更できる。具体的には、ユーザの弁別視野が相対的に広いと予測されるときには高画質領域の大きさを最大値(通常値)とし、弁別視野が相対的に狭いと予測されるときには、高画質領域の大きさを縮小する。
その結果、第1に、弁別視野が相対的に狭いと予測されるときには、高画質領域が縮小されるため、全体としての描画処理量がさらに削減される。これにより、駆動時間がさらに向上される。
第2に、予測される弁別視野の広狭に従って高画質領域が縮小されるため、高画質領域が縮小された場合であっても、ユーザが視覚的違和感を得ることが避けられる。
従って、描画処理量の削減及び駆動時間の向上を実現しつつ、ユーザフレンドリーな情報処理装置が実現される。
第2に、予測される弁別視野の広狭に従って高画質領域が縮小されるため、高画質領域が縮小された場合であっても、ユーザが視覚的違和感を得ることが避けられる。
従って、描画処理量の削減及び駆動時間の向上を実現しつつ、ユーザフレンドリーな情報処理装置が実現される。
本実施形態では、高画質領域の大きさを変更するのに用いられるパラメータをユーザの行動(動きや姿勢(走行、歩行、停止等))の1種類のみとしたが、複数種類のパラメータを用いてもよい。複数種類のパラメータを用いることで、個々のユーザのニーズに応じてよりきめ細かく高画質領域の大きさを動的に変更できる。
(2.第2の実施形態)
以下の説明において、既に説明した各実施形態に記載された構成、動作及び作用等と同様の構成、動作及び作用等は、説明を省略し、異なる点を主に説明する。また、既に説明した各実施形態に記載された構成及び動作の参照符号及びステップ番号は、同様の構成及び動作を示すものとして、以下の実施形態でも同様のものを使用する。
以下の説明において、既に説明した各実施形態に記載された構成、動作及び作用等と同様の構成、動作及び作用等は、説明を省略し、異なる点を主に説明する。また、既に説明した各実施形態に記載された構成及び動作の参照符号及びステップ番号は、同様の構成及び動作を示すものとして、以下の実施形態でも同様のものを使用する。
(2-1.情報処理装置の機能)
第2の実施形態によれば、ユーザの弁別視野に相当する高画質領域以外の領域(周辺領域)の画質(解像度)を動的に変化させる。人間の視野において、弁別視野の周囲には、有効視野、安定注視野、誘導視野及び補助視野が、この順に内側から外側へと同心状に広がっている。これら各視野は、内側から外側への順で、視力や色弁別等の視機能が低下する。上記のように、人間の弁別視野の大きさは、人間の生体的負荷、行動的負荷及び環境的負荷の影響を受けて変化する。これと同時に、弁別視野外の各視野の大きさも、生体的負荷、行動的負荷及び環境的負荷の影響を受けて変化する。例えば、走行中(行動的負荷大)は停止時(行動的負荷小)に比べて弁別視野が小さくなるとともに、有効視野等も小さくなり、反対に補助視野等がその分大きくなる可能性がある。有効視野等が小さくなり、補助視野等がその分大きくなると、弁別視野外の視野における視機能が全体として低下する。
第2の実施形態によれば、ユーザの弁別視野に相当する高画質領域以外の領域(周辺領域)の画質(解像度)を動的に変化させる。人間の視野において、弁別視野の周囲には、有効視野、安定注視野、誘導視野及び補助視野が、この順に内側から外側へと同心状に広がっている。これら各視野は、内側から外側への順で、視力や色弁別等の視機能が低下する。上記のように、人間の弁別視野の大きさは、人間の生体的負荷、行動的負荷及び環境的負荷の影響を受けて変化する。これと同時に、弁別視野外の各視野の大きさも、生体的負荷、行動的負荷及び環境的負荷の影響を受けて変化する。例えば、走行中(行動的負荷大)は停止時(行動的負荷小)に比べて弁別視野が小さくなるとともに、有効視野等も小さくなり、反対に補助視野等がその分大きくなる可能性がある。有効視野等が小さくなり、補助視野等がその分大きくなると、弁別視野外の視野における視機能が全体として低下する。
本実施形態によれば、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つに基づいて、弁別視野外の視野における視機能の高低を予測する。そして、予測された弁別視野外の視野における視機能の高低に従って、周辺領域の画質を動的に変更する。
要するに、情報処理装置は、前記全体領域のうち前記高画質領域を除く周辺領域の画質をユーザ情報に基づき決定するように構成される画質制御部(全体領域画質制御部107)をさらに具備する。
(2-2.情報処理装置の機能的構成)
図9は、第2の実施形態に係る情報処理装置の機能的構成を示すブロック図である。
情報処理装置1Aは、第1の実施形態の情報処理装置1の機能的構成に加えて、全体領域画質制御部107を有する。
図9は、第2の実施形態に係る情報処理装置の機能的構成を示すブロック図である。
情報処理装置1Aは、第1の実施形態の情報処理装置1の機能的構成に加えて、全体領域画質制御部107を有する。
全体領域画質制御部107は、ユーザ情報取得部102から供給されたユーザ情報に基づき、全体領域Cの画質(解像度)を決定する。具体的には、全体領域画質制御部107は、記憶部14に格納されている画質低下率テーブル144を読み出す。画質低下率テーブル144には、ユーザ情報取得部102により取得され得る各ユーザ情報に対して、それぞれ異なる画質低下率が割り当てられている。全体領域画質制御部107は、ユーザ情報取得部102から供給されたユーザ情報(行動情報)に割り当てられた画質低下率を画質低下率テーブル144から読み出す。全体領域画質制御部107は、画質低下率テーブル144から読み出した画質低下率に基づき、実際の全体領域Cの画質(解像度)を算出する。全体領域画質制御部107は、算出した全体領域Cの画質(解像度)を、描画バッファ作成部104に通知する。
(2-3.情報処理装置の動作)
図10は、情報処理装置の動作を示すフローチャートである。
第2の実施形態に係る情報処理装置1Aの動作は、ステップS3に関する動作を除いて、第1の実施形態の動作と同様である。
図10は、情報処理装置の動作を示すフローチャートである。
第2の実施形態に係る情報処理装置1Aの動作は、ステップS3に関する動作を除いて、第1の実施形態の動作と同様である。
ユーザ情報取得部102は、取得したユーザの行動情報(走行、歩行、停止)を、高画質領域制御部103に加えて全体領域画質制御部107にも供給する(ステップS3-2-1)。
全体領域画質制御部107は、ユーザ情報取得部102から供給されたユーザ情報(行動情報)に基づき、全体領域Cの画質(解像度)を決定する。具体的には、全体領域画質制御部107は、記憶部14に格納されている画質低下率テーブル144を読み出す。画質低下率テーブル144には、ユーザ情報取得部102により判定されるユーザの各行動(走行、歩行、停止)に対して、それぞれ異なる画質低下率が割り当てられている。「画質低下率」とは、全体領域Cの画質(解像度)を算出するために用いられる係数である。すなわち、全体領域Cの画質(解像度)の通常値(最大値)は予め決まっており、その通常値に画質低下率を乗算した値が、実際の全体領域Cの画質(解像度)として得られる。なお、全体領域Cの画質(解像度)の通常値は、高画質領域Aの画質(解像度)より低い。
画質低下率テーブル144には、例えば、縮小率テーブル143(図7)と同様の値が記録されている。この場合、全体領域画質制御部107は、ユーザ情報取得部102から供給されたユーザ情報(行動情報)が「停止」のとき、「停止」に割り当てられた画質低下率「1」を画質低下率テーブル144(図7と同じ)から読み出す。全体領域画質制御部107は、同様に、「歩行」のとき画質低下率「1/2」を、「走行」のとき画質低下率「1/3」を読み出す(ステップS3-2-2)。なお、これら画質低下率の値はあくまで例示である。全体領域画質制御部107は、算出した全体領域Cの画質(解像度)を、描画バッファ作成部104に通知する。
描画バッファ作成部104は、高画質描画バッファa及び低画質描画バッファb'を作成する。低画質描画バッファb'の解像度は、全体領域画質制御部107により算出された解像度である。描画バッファ作成部104は、作成した高画質描画バッファa及び低画質描画バッファb'を記憶部14に格納する(ステップS3-2-3)。
(2-4.まとめ)
本実施形態によれば、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つに基づいて、弁別視野外の視野における視機能の高低を予測する。そして、予測された弁別視野外の視野における視機能の高低に従って全体領域の画質を動的に変更することで、周辺領域の画質を動的に変更する。言い換えれば、どのようなユーザがどのような状況にあるときであっても、弁別視野外の視野における視機能の高低をリアルタイムに予測し、全体領域の画質を動的に変更することで、周辺領域の画質をリアルタイムに変更できる。具体的には、ユーザの弁別視野外の視野における視機能が相対的に高いと予測されるときには全体領域の画質を最大値(通常値)とし、弁別視野外の視野における視機能が相対的に低いと予測されるときには、全体領域の画質を低下させる。
本実施形態によれば、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つに基づいて、弁別視野外の視野における視機能の高低を予測する。そして、予測された弁別視野外の視野における視機能の高低に従って全体領域の画質を動的に変更することで、周辺領域の画質を動的に変更する。言い換えれば、どのようなユーザがどのような状況にあるときであっても、弁別視野外の視野における視機能の高低をリアルタイムに予測し、全体領域の画質を動的に変更することで、周辺領域の画質をリアルタイムに変更できる。具体的には、ユーザの弁別視野外の視野における視機能が相対的に高いと予測されるときには全体領域の画質を最大値(通常値)とし、弁別視野外の視野における視機能が相対的に低いと予測されるときには、全体領域の画質を低下させる。
その結果、第1に、弁別視野外の視野における視機能が相対的に低いと予測されるときには、全体領域の画質を低下させるため、全体としての描画処理量がさらに削減される。これにより、駆動時間がさらに向上される。
第2に、予測される弁別視野外の視野における視機能の高低に従って全体領域の画質を低下させることにより周辺領域の画質を低下させるため、周辺領域の画質を低下させた場合であっても、ユーザが視覚的違和感を得ることが避けられる。
従って、描画処理量の一層の削減及び駆動時間の一層の向上を実現しつつ、ユーザフレンドリーな情報処理装置が実現される。
第2に、予測される弁別視野外の視野における視機能の高低に従って全体領域の画質を低下させることにより周辺領域の画質を低下させるため、周辺領域の画質を低下させた場合であっても、ユーザが視覚的違和感を得ることが避けられる。
従って、描画処理量の一層の削減及び駆動時間の一層の向上を実現しつつ、ユーザフレンドリーな情報処理装置が実現される。
(3.第3の実施形態)
(3-1.情報処理装置の機能)
第3の実施形態によれば、ユーザの注視点が移動(すなわち弁別視野が移動)することを想定して、現在の弁別視野だけでなく、想定される移動後の弁別視野にも基づき、高画質領域を算出する。
(3-1.情報処理装置の機能)
第3の実施形態によれば、ユーザの注視点が移動(すなわち弁別視野が移動)することを想定して、現在の弁別視野だけでなく、想定される移動後の弁別視野にも基づき、高画質領域を算出する。
要するに、高画質領域制御部は、注視点に基づき第1の高画質領域の位置を算出し、画面の中心点に基づき第2の高画質領域の位置を算出し、ユーザ情報に基づき少なくとも前記第1の高画質領域の大きさを算出し、前記第1の高画質領域及び前記第2の高画質領域を少なくとも含む領域を、前記高画質領域として算出するように構成される。
(3-2.情報処理装置の動作)
図11は、第3の実施形態に係る情報処理装置の動作を示すフローチャートである。図12は、情報処理装置の動作を模式的に説明するための図である。
第3の実施形態に係る情報処理装置の動作は、ステップS2-1-3に関する動作を除いて、第1の実施形態の動作と同様である。第3の実施形態に係る情報処理装置の機能的構成は、図4の機能的構成と同様であるため、図示を省略する。
図11は、第3の実施形態に係る情報処理装置の動作を示すフローチャートである。図12は、情報処理装置の動作を模式的に説明するための図である。
第3の実施形態に係る情報処理装置の動作は、ステップS2-1-3に関する動作を除いて、第1の実施形態の動作と同様である。第3の実施形態に係る情報処理装置の機能的構成は、図4の機能的構成と同様であるため、図示を省略する。
高画質領域制御部103は、第1の高画質領域A1(第1の実施形態の高画質領域Aに相当する)の大きさの通常値に縮小率テーブル143から読み出した縮小率を乗算して、実際の第1の高画質領域A1の大きさを算出する。そして、高画質領域制御部103は、注視点算出部101から供給された注視点情報に基づき第1の高画質領域A1の位置を算出する。具体的には、高画質領域制御部103は、注視点P1の位置が第1の高画質領域A1の中心位置と等しくなるように、第1の高画質領域A1の位置を算出する。以上により、高画質領域制御部103は、第1の高画質領域A1を算出する(ステップS2-3-1)。
高画質領域制御部103は、注視点算出部101から供給される注視点情報に基づき、過去の所定期間(数秒間)の間に、注視点が全体領域Cの中心点P2上に存在したことがあるか否かを判定する(ステップS2-3-2)。NOの場合、高画質領域制御部103は、第1の高画質領域A1を最終的な高画質領域Aとして、ステップS3に進む。
ステップS2-3-2でYESの場合、高画質領域制御部103は、全体領域Cの中心点P2の位置を中心位置とする第2の高画質領域A2を算出する(ステップS2-3-3)。第2の高画質領域A2の大きさは、典型的には、第1の高画質領域A1の大きさと同じである。第1の高画質領域A1の位置及び大きさに応じて、第1の高画質領域A1と第2の高画質領域A2とは重なり合うこともあるし、隣接することもあるし、離れていることもある。
高画質領域制御部103は、算出した第1の高画質領域A1及び第2の高画質領域A2を少なくとも含む合成高画質領域A3を算出する(ステップS2-3-4)。例えば、第1の高画質領域A1及び第2の高画質領域A2がそれぞれ矩形であるとする。この場合、合成高画質領域A3は、第2の高画質領域A2から離れた位置にある第1の高画質領域A1の2辺を延長し、第1の高画質領域A1から離れた位置にある第2の高画質領域A2の2辺を延長し、延長した4辺をからなる矩形を合成高画質領域A3とすればよい。
高画質領域制御部103は、算出した合成高画質領域A3を、描画バッファ作成部104に通知する。描画バッファ作成部104が作成(ステップS3)する高画質描画バッファaは、合成高画質領域A3と同じ大きさである。
(3-3.まとめ)
特に眼鏡のような透過型のHMD(情報処理装置1)をユーザが装着している場合には、一般的には、ユーザが画面111の全体領域Cの中心点P2を注視する時間が長いことが想定される。このため、本実施形態によれば、注視点が全体領域Cの中心点P2にすぐに戻ることを前提として、現在の注視点P1(中心点P2と異なる)だけでなく、中心点P2にも基づき、高画質領域を算出する。
特に眼鏡のような透過型のHMD(情報処理装置1)をユーザが装着している場合には、一般的には、ユーザが画面111の全体領域Cの中心点P2を注視する時間が長いことが想定される。このため、本実施形態によれば、注視点が全体領域Cの中心点P2にすぐに戻ることを前提として、現在の注視点P1(中心点P2と異なる)だけでなく、中心点P2にも基づき、高画質領域を算出する。
その結果、第1に、合成高画質領域A3は必ず中心点P2を基準とした第2の高画質領域A2を含むので、注視点が中心点P2に戻ったときには必ず、弁別領域が合成高画質領域A3(具体的には、第2の高画質領域A2)に含まれる。このため、ユーザが視覚的違和感を得ることが避けられる。
第2に、ユーザが画面111の全体領域Cの中心点P2を注視する時間が長いことを前提として、第2の高画質領域A2の中心点を常に全体領域Cの中心点P2としている。このため、第2の高画質領域A2の中心点の位置を算出する必要が無く、演算量が無駄に増加するのを避けられる。
第3に、注視点が中心点P2から外れたときのみ合成高画質領域A3を算出しているため、注視点が中心点P2と等しいときには合成高画質領域A3を算出する必要が無く、全体としての描画処理量が削減される。
従って、描画処理量の削減及び駆動時間の向上を実現しつつ、演算量が無駄に増加するのを避けながら、益々ユーザフレンドリーな情報処理装置が実現される。
第2に、ユーザが画面111の全体領域Cの中心点P2を注視する時間が長いことを前提として、第2の高画質領域A2の中心点を常に全体領域Cの中心点P2としている。このため、第2の高画質領域A2の中心点の位置を算出する必要が無く、演算量が無駄に増加するのを避けられる。
第3に、注視点が中心点P2から外れたときのみ合成高画質領域A3を算出しているため、注視点が中心点P2と等しいときには合成高画質領域A3を算出する必要が無く、全体としての描画処理量が削減される。
従って、描画処理量の削減及び駆動時間の向上を実現しつつ、演算量が無駄に増加するのを避けながら、益々ユーザフレンドリーな情報処理装置が実現される。
(4.第4の実施形態)
第4の実施形態は、第3の実施形態の変形例である。
第4の実施形態は、第3の実施形態の変形例である。
(4-1.情報処理装置の動作)
図13は、第4の実施形態に係る情報処理装置の機能的構成を示すブロック図である。図14は、情報処理装置の動作を示すフローチャートである。図15は、情報処理装置の動作を模式的に説明するための図である。
第4の実施形態に係る情報処理装置1Bの動作は、ステップS3、S4、S7に関する動作を除いて、第3の実施形態の動作と同様である。
図13は、第4の実施形態に係る情報処理装置の機能的構成を示すブロック図である。図14は、情報処理装置の動作を示すフローチャートである。図15は、情報処理装置の動作を模式的に説明するための図である。
第4の実施形態に係る情報処理装置1Bの動作は、ステップS3、S4、S7に関する動作を除いて、第3の実施形態の動作と同様である。
まず、図11のフローチャートのステップS1~S2-3-2と同様の処理が行われる。ステップS2-3-2でNOの場合(過去の所定期間の間に、注視点が全体領域Cの中心点P2上に存在したことがない)、高画質領域制御部103は、ステップS2-3-1で算出した第1の高画質領域A1を最終的な高画質領域Aとして、ステップS3に進む。
ステップS2-3-2でYESの場合(過去の所定期間の間に、注視点が全体領域Cの中心点P2上に存在したことがある)、高画質領域制御部103は、全体領域Cの中心点P2の位置を中心位置とし、第1の高画質領域A1と同じ大きさである第2の高画質領域A2を算出する(ステップS2-3-3)。高画質領域制御部103は、ステップS2-3-1で算出した第1の高画質領域A1と、ステップS2-3-3で算出した第2の高画質領域A2とを、描画バッファ作成部104に通知する。なお、第1の高画質領域A1の中心点は注視点P1であり、第2の高画質領域A2の中心点は全体領域Cの中心点P2である。
通知を受けると、描画バッファ作成部104は、第1の高画質描画バッファa1と、第2の高画質描画バッファa2と、低画質描画バッファbとを作成する。第1の高画質描画バッファa1は、第1の高画質領域A1と同じ大きさで高解像度(高画質)である。第2の高画質描画バッファa2は、第2の高画質領域A2と同じ大きさで高解像度(高画質)である。第1の高画質描画バッファa1と第2の高画質描画バッファa2とは、同じ解像度(画質)である。低画質描画バッファbは、全体領域Cと同じ大きさで、低解像度(低画質)である。描画バッファ作成部104は、作成した第1の高画質描画バッファa1と、第2の高画質描画バッファa2と、低画質描画バッファbとを記憶部14に格納する(ステップS3-4-1)。描画バッファ作成部104は、第1の高画質描画バッファa1と、第2の高画質描画バッファa2と、低画質描画バッファbとの用意が完了したことを、描画部105に通知する。
通知を受けると、描画部105は、記憶部14から第1の高画質描画バッファa1を読み出す。描画部105は、高画質領域制御部103が算出した第1の高画質領域A1に表示される画像(第1の部分画像と呼ぶ。)の情報を、第1の高画質描画バッファa1に書き込む(ステップS4-4-1)。さらに、描画部105は、記憶部14から第2の高画質描画バッファa2を読み出す。描画部105は、高画質領域制御部103が算出した第2の高画質領域A2に表示される画像(第2の部分画像と呼ぶ。)の情報を、第2の高画質描画バッファa2に書き込む(ステップS4-4-2)。
描画部105は、記憶部14から低画質描画バッファbを読み出し、全体画像の情報を低画質描画バッファbに書き込む(ステップS5)。描画部105は、第1の高画質描画バッファa1、第2の高画質描画バッファa2及び低画質描画バッファbへの画像情報の書き込みが完了したことを、転送部106に通知する。
上記通知を受けると、転送部106は、記憶部14に格納された画面111のフレームバッファcに、低画質描画バッファbに書き込まれた全体画像の情報を、拡大して描画されるように書き込みを行う(ステップS6)。
転送部106は、このフレームバッファcに、第1の高画質描画バッファa1に描画された第1の部分画像の中心点が注視点P1と同じになる位置に、第1の高画質描画バッファa1に描画された第1の部分画像の情報を、等倍に描画されるように書き込みを行う(ステップS7-4-1)。
転送部106は、このフレームバッファcに、第2の高画質描画バッファa2に描画された第2の部分画像の中心点が全体領域Cの中心点P2と同じになる位置に、第2の高画質描画バッファa2に描画された第2の部分画像の情報を、等倍に描画されるように書き込みを行う(ステップS7-4-2)。
すなわち、転送部106は、全体領域Cに低画質に表示される全体画像上に、第1の高画質領域A1に高画質に表示される第1の部分画像及び第2の高画質領域A2に高画質に表示される第2の部分画像を重畳(オーバーラップ)した画像情報を、画面111のフレームバッファcに書き込む。転送部106は、フレームバッファcに書き込まれた画像情報を画像出力部11に転送する。
(4-2.まとめ)
本実施形態によれば、第3の実施形態とは異なり合成高画質領域A3を算出しないので、第3の実施形態に比べて演算量の削減を図れる。また、高画質領域としての第1の高画質領域A1及び第2の高画質領域A2の合計面積が、第3の実施形態の合成高画質領域A3よりも狭いため、全体としての描画処理量が削減される。従って、描画処理量の削減及び駆動時間の向上を実現しつつ、演算量が無駄に増加するのを避けながら、益々ユーザフレンドリーな情報処理装置が実現される。
本実施形態によれば、第3の実施形態とは異なり合成高画質領域A3を算出しないので、第3の実施形態に比べて演算量の削減を図れる。また、高画質領域としての第1の高画質領域A1及び第2の高画質領域A2の合計面積が、第3の実施形態の合成高画質領域A3よりも狭いため、全体としての描画処理量が削減される。従って、描画処理量の削減及び駆動時間の向上を実現しつつ、演算量が無駄に増加するのを避けながら、益々ユーザフレンドリーな情報処理装置が実現される。
(5.第5の実施形態)
第1の実施形態では、解像度を異ならせることで、高画質領域Aと周辺領域Bとの画質を異ならせた。これに対して、第5の実施形態では、解像度だけでなくフレームレートをも異ならせることで、高画質領域Aと周辺領域Bとの画質を異ならせる。
第1の実施形態では、解像度を異ならせることで、高画質領域Aと周辺領域Bとの画質を異ならせた。これに対して、第5の実施形態では、解像度だけでなくフレームレートをも異ならせることで、高画質領域Aと周辺領域Bとの画質を異ならせる。
図16は、第5の実施形態に係る情報処理装置の機能的構成を示すブロック図である。
情報処理装置1Cの記憶部14の描画フラグ格納部145には、描画フラグとして変数「0」又は「1」が登録される。
情報処理装置1Cの記憶部14の描画フラグ格納部145には、描画フラグとして変数「0」又は「1」が登録される。
図17は、情報処理装置の動作を示すフローチャートである。
第5の実施形態に係る情報処理装置の動作は、ステップS5に関する動作を除いて、第1の実施形態の動作と同様である。
第5の実施形態に係る情報処理装置の動作は、ステップS5に関する動作を除いて、第1の実施形態の動作と同様である。
部分画像を高画質描画バッファaに書き込んだ後(ステップS4)、描画部105は、記憶部14に格納されている描画フラグ格納部145を参照し、描画フラグ格納部145に描画フラグとして変数「0」が登録されているか否かを判定する(ステップS5-5-1)。
描画フラグ格納部145に「0」が登録されている場合(ステップS5-5-1でYES)、描画部105は、記憶部14から低画質描画バッファbを読み出す。描画部105は、全体画像の情報を、所定の縮小率で低画質描画バッファbに書き込む(ステップS5-5-3)。描画部105は、高画質描画バッファaへの部分画像の情報の書き込みと、低画質描画バッファbへの全体画像の情報の書き込みとが完了したことを、転送部106に通知する。描画部105は、描画フラグ格納部145に描画フラグとして変数「1」を登録する(ステップS5-5-4)。
上記通知を受けると、転送部106は、フレームバッファcに、低画質描画バッファbに書き込まれた全体画像の情報を書き込み(ステップS6)、高画質描画バッファaに描画された部分画像の情報を書き込む(ステップS7)。
一方、描画フラグ格納部145に変数が何も登録されていなければ(ステップS5-5-1でNO)、描画部105は、初期値として「0」を登録する(ステップS5-5-2)。あるいは、描画フラグ格納部145に「1」が登録されていれれば(ステップS5-5-1でNO)、描画部105は、描画フラグとして変数「0」を登録する(ステップS5-5-2)。これらの場合、描画部105は、高画質描画バッファaのみへの画像情報の書き込みが完了したことを、転送部106に通知する。
上記通知を受けると、転送部106は、ステップS6をスキップし、フレームバッファcに、高画質描画バッファaに描画された部分画像の情報だけを書き込む(ステップS7)。結果的に、全体画像を書き込むフレームレートが、部分画像を書き込むフレームレートの1/2になる。例えば、部分画像を書き込むフレームレートが60fps(frames per second)とすると、全体画像を書き込むフレームレートは30fpsとなる。
本実施形態によれば、全体領域Cの解像度を下げるだけでなく、フレームレートをも下げることで、高画質領域Aと周辺領域Bとの画質を異ならせる。これにより、全体としての描画処理量が一層削減されると同時に、ユーザが視覚的違和感を得ることが避けられる。これにより、描画処理量の一層の削減及び駆動時間の一層の向上を実現しつつ、ユーザフレンドリーな情報処理装置が実現される。
(6.第6の実施形態)
第6の実施形態によれば、画像(コンテンツ)の種類に応じて、高画質領域Aと全体領域Cの画質を変更するアルゴリズムを変更する。具体的には、文字コンテンツを画像として表示する場合、全体領域Cの解像度を下げるだけでなく、フレームレートをも下げることで、全体領域Cの画質を下げる。文字コンテンツ以外のコンテンツを画像として表示する場合、全体領域Cの解像度のみを下げることで、全体領域Cの画質を下げる。
第6の実施形態によれば、画像(コンテンツ)の種類に応じて、高画質領域Aと全体領域Cの画質を変更するアルゴリズムを変更する。具体的には、文字コンテンツを画像として表示する場合、全体領域Cの解像度を下げるだけでなく、フレームレートをも下げることで、全体領域Cの画質を下げる。文字コンテンツ以外のコンテンツを画像として表示する場合、全体領域Cの解像度のみを下げることで、全体領域Cの画質を下げる。
図18は、第6の実施形態に係る情報処理装置の動作を示すフローチャートである。
第6の実施形態に係る情報処理装置の動作は、ステップS4に関する動作を除いて、第1の実施形態及び第5の実施形態の動作と同様である。第6の実施形態に係る情報処理装置の機能的構成は、図16の機能的構成と同様であるため、図示を省略する。
第6の実施形態に係る情報処理装置の動作は、ステップS4に関する動作を除いて、第1の実施形態及び第5の実施形態の動作と同様である。第6の実施形態に係る情報処理装置の機能的構成は、図16の機能的構成と同様であるため、図示を省略する。
描画部105は、描画バッファ作成部104から、高画質描画バッファa及び低画質描画バッファbの用意完了(ステップS3)の通知を受けると、部分画像の情報を、高画質描画バッファaに書き込む(ステップS4-6-1)。続いて、描画部105は、画像が文字コンテンツか否かを判断する(ステップS4-6-2)。文字コンテンツか否かの判断は、例えば、コンテンツ自体に記述されているメタ情報を参照することで行えばよい。文字コンテンツでない場合(ステップS4-6-2でNO)、描画部105は、毎フレームごとに、全体画像の情報を低画質描画バッファbに書き込む(ステップS5)。そして、転送部106は、フレームバッファcに、低画質描画バッファbに書き込まれた全体画像の情報を書き込む(ステップS6)。
一方、文字コンテンツの場合(ステップS4-6-2でYES)、描画部105は、低フレームレート(例えば、部分画像を書き込むフレームレートの1/2)で、全体画像の情報を低画質描画バッファbに書き込む(ステップS5-5-1~S5-5-4)。そして、転送部106は、低フレームレート(部分画像を書き込むフレームレートの1/2)で、フレームバッファcに、低画質描画バッファbに書き込まれた全体画像の情報を書き込む(ステップS6)。
周辺領域Dに表示される画像がアニメーションの場合、フレームレートを下げることで画質を下げることで、ユーザが視覚的違和感を得る可能性がある。一方、周辺領域Dに表示される画像が文字の場合には、アニメーションが使われない(すなわち静止画である)と予測される。静止画の場合、フレームレートを下げたとしても、画質が低下せず、ユーザが視覚的違和感を得る可能性が極めて低くなる。
本実施形態によれば、文字コンテンツを画像として表示する場合、全体領域Cの解像度を下げるだけでなく、フレームレートをも下げることで、周辺領域Bとの画質を低下させる。これにより、全体としての描画処理量が一層削減されると同時に、ユーザが視覚的違和感を得ることが避けられる。これにより、描画処理量の一層の削減及び駆動時間の一層の向上を実現しつつ、ユーザフレンドリーな情報処理装置が実現される。
(7.高画質領域の大きさを動的に変更するためのパラメータの具体例)
上記各実施形態において、情報処理装置は、ユーザの行動情報(走行、歩行、停止)に基づいて弁別視野の広狭を予測し、予測された弁別視野の広狭に従って高画質領域の大きさを動的に変更した。高画質領域の大きさを動的に変更するためのパラメータの他の具体例としては、以下の例が挙げられる。
上記各実施形態において、情報処理装置は、ユーザの行動情報(走行、歩行、停止)に基づいて弁別視野の広狭を予測し、予測された弁別視野の広狭に従って高画質領域の大きさを動的に変更した。高画質領域の大きさを動的に変更するためのパラメータの他の具体例としては、以下の例が挙げられる。
一例として、ユーザ情報取得部102は、ジャイロセンサ及び加速度センサのデータを基に、ユーザの頭部の動き情報を取得する(ヘッドトラッキング)。高画質領域制御部103は、例えば、ユーザの頭部が激しく動いているとき(走行中等)は、ユーザは細かい情報を視覚的に認知することが難しいと予測されるので、高画質領域を狭くする。
別の例として、ユーザ情報取得部102は、GPSの移動量、SLAMの自己位置推定の相対位置、Wi-fiの位置推定などに基づき、ユーザの移動速度(走行、歩行、停止)を検出する。上記各実施形態と同様に、ユーザが高速に動いているとき(走行時)は、ユーザは細かい情報を視覚的に認知することが難しいと予測されるので、高画質領域を狭くする。
別の例として、ユーザ情報取得部102は、学習機能を有し、検出部群16Sの検出情報を蓄積してユーザの行動(座位、階段昇降、車両運転、会話中等)を予測してもよい。例えば、高画質領域制御部103は、ユーザの行動として車両運転が予測されるときには、ユーザ自身は静止状態にあると判断し、高画質領域を広くする。高画質領域制御部103は、ユーザの行動として会話中が予測されるときには、ユーザが対面の人物に視覚を集中していると判断し、高画質領域を狭くする。
別の例として、ユーザ情報取得部102は、心拍センサにより検出された心拍数が閾値以上のとき、又は、発汗センサにより検出された発汗値が閾値以上のとき、ユーザが緊張状態にあると判断する。高画質領域制御部103は、ユーザが緊張状態にあるときは、ユーザは細かい情報を視覚的に認知することが難しいと予測されるので、高画質領域を狭くする。
別の例として、ユーザ情報取得部102は、ユーザの視界を撮影するための環境用カメラの撮影情報を基に、物体認識を行う。高画質領域制御部103は、ユーザが物体を見つめているときは、高画質領域を、その物体を覆う大きさにする。
(8.その他の実施形態)
上記各実施形態では、情報処理装置は、透過型のHMDとしたが、遮蔽型のHMDでもよい。あるいは、情報処理装置は、HMDのようなユーザの両眼の極めて近くにディスプレイが存在するような装置でなくてもよい。情報処理装置は、ユーザ情報(ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つ)を取得するように構成され、且つ、ディスプレイを制御するように構成された電子機器であればよい。具体例としては、デスクトップ型、ノートブック型、タブレット型等各種パーソナルコンピュータ、スマートフォン、携帯電話、テレビジョン受像機等が挙げられる。
あるいは、情報処理装置は、ユーザ情報を取得するように構成された電子機器と、この電子機器と通信(典型的には無線通信)が可能であり、ディスプレイを制御するように構成された電子機器との組み合わせであってもよい。具体例として、情報処理装置は、ユーザ情報を取得するように構成されたウェアラブルデバイス(スマートウォッチ等)と、このウェアラブルデバイスと無線通信が可能であり、ディスプレイを制御するように構成された電子機器(典型的にはスマートフォン等の携帯型電子機器)との組み合わせでもよい。
情報処理装置は、外付けの画像表示装置(据え置き型モニタ、プロジェクタ等)を制御するように構成された電子機器(パーソナルコンピュータ等)であってもよい。
あるいは、情報処理装置は、ユーザ情報を取得するように構成された電子機器と、ネットワークを介して接続可能なサーバ装置との組み合わせであってもよい。この場合、サーバ装置は、記憶部に格納される情報のうち少なくとも一部を電子機器から受信して記憶し、上記各実施形態においてHMDが実行した処理(例えば、高画質領域の算出処理、全体画像及び部分画像の描画処理等)のうち少なくとも一部を実行し、処理済みのデータを電子機器へ送信する。
上記各実施形態では、情報処理装置は、透過型のHMDとしたが、遮蔽型のHMDでもよい。あるいは、情報処理装置は、HMDのようなユーザの両眼の極めて近くにディスプレイが存在するような装置でなくてもよい。情報処理装置は、ユーザ情報(ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つ)を取得するように構成され、且つ、ディスプレイを制御するように構成された電子機器であればよい。具体例としては、デスクトップ型、ノートブック型、タブレット型等各種パーソナルコンピュータ、スマートフォン、携帯電話、テレビジョン受像機等が挙げられる。
あるいは、情報処理装置は、ユーザ情報を取得するように構成された電子機器と、この電子機器と通信(典型的には無線通信)が可能であり、ディスプレイを制御するように構成された電子機器との組み合わせであってもよい。具体例として、情報処理装置は、ユーザ情報を取得するように構成されたウェアラブルデバイス(スマートウォッチ等)と、このウェアラブルデバイスと無線通信が可能であり、ディスプレイを制御するように構成された電子機器(典型的にはスマートフォン等の携帯型電子機器)との組み合わせでもよい。
情報処理装置は、外付けの画像表示装置(据え置き型モニタ、プロジェクタ等)を制御するように構成された電子機器(パーソナルコンピュータ等)であってもよい。
あるいは、情報処理装置は、ユーザ情報を取得するように構成された電子機器と、ネットワークを介して接続可能なサーバ装置との組み合わせであってもよい。この場合、サーバ装置は、記憶部に格納される情報のうち少なくとも一部を電子機器から受信して記憶し、上記各実施形態においてHMDが実行した処理(例えば、高画質領域の算出処理、全体画像及び部分画像の描画処理等)のうち少なくとも一部を実行し、処理済みのデータを電子機器へ送信する。
上記各実施形態では、カメラ16L、16Rはユーザの左右の眼球を撮影して視線情報を取得し、注視点算出部101は視線情報を基に画面111上の注視点(x,y)を算出した。これに代えて、カメラ16L、16Rは、赤外線反射により視線情報を取得してもよい。あるいは、カメラ16L、16Rに代えて、筋電計(図示せず)がユーザの筋電図を取得し、筋電図に基づき視線情報を取得してもよい。
第1~第4の実施形態では解像度を変更することで、第5~第6の実施形態では解像度及びフレームレートを変更することで、高画質領域と周辺領域の画質を変更した。これに代えて、フレームレートのみを変更することで、高画質領域と周辺領域の画質を変更してもよい。あるいは、ビットカラーを変更することで、高画質領域と周辺領域の画質を変更してもよい。例えば、高画質領域を高ビットカラー(例えば、32ビット)、全体領域を低ビットカラー(例えば、16ビット)で描画することで、高画質領域と周辺領域の画質を変更してもよい。あるいは、アニメーションの速度を変更することで、高画質領域と周辺領域の画質を変更してもよい。例えば、高画質領域を高速のアニメーション、全体領域を低速のアニメーション(最も低速とするならば、静止画)として描画することで、高画質領域と周辺領域の画質を変更してもよい。
これら画質を変更するためのアルゴリズムは、択一的なものではなく、周辺領域には、高画質領域より、低解像度、低フレームレート、低ビットカラー及び低速の少なくとも何れか1つで画像が表示される。また、第6の実施形態の変形例として、描画部は、描画される画像の種類(文字コンテンツか否か)に応じて、解像度、フレームレート、ビットカラー及び速度の少なくともいずれか1つを変更することにより、周辺領域に表示される画像を低画質に描画するように構成される。
第3~第4の実施形態では、現在の注視点を中心とした第1の高画質領域A1及び全体領域Cの中心点P2の位置を中心とした第2の高画質領域A2を少なくとも含む領域を、高画質に描写した。変更例として、現在の注視点を中心とした第1の高画質領域A1及び過去の注視点を中心とした別の高画質領域を少なくとも含む領域を、高画質に描写してもよい。
この構成によれば、過去の注視点が高画質で表示されるため、ユーザが過去の注視点と異なる位置を注視している場合、注視点が過去の注視点に戻った直後であっても、ユーザが視覚的違和感を得ることが避けられる。
この構成によれば、過去の注視点が高画質で表示されるため、ユーザが過去の注視点と異なる位置を注視している場合、注視点が過去の注視点に戻った直後であっても、ユーザが視覚的違和感を得ることが避けられる。
第1の実施形態では、高画質領域Aの中心を注視点とした。これに代えて、ユーザが画面111の全体領域Cの中心点を注視する時間が長いことを前提として、高画質領域Aの中心点を常に全体領域Cの中心点としてもよい。
この構成によれば、高画質領域Aの中心点の位置(注視点の位置)を算出する必要が無いため、演算量を削減することができる。
この構成によれば、高画質領域Aの中心点の位置(注視点の位置)を算出する必要が無いため、演算量を削減することができる。
第1~第6の実施形態は、それぞれ個別に実行するだけに限られず、それぞれを組み合わせて実行してもよい。
上記各実施形態及び変形例の各機能部として情報処理装置を機能させるプログラムは、非一過性の記録媒体(non-transitory computer readable medium)に格納されうる。
上記各実施形態及び変形例の各機能部として情報処理装置を機能させるプログラムは、非一過性の記録媒体(non-transitory computer readable medium)に格納されうる。
なお、本技術は以下のような構成もとることができる。
(1)ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部
とを具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
前記高画質領域制御部は、前記ユーザ情報に基づき前記高画質領域の大きさを決定するように構成される
情報処理装置。
(3)上記(1)又は(2)に記載の情報処理装置であって、
前記ユーザ情報は、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つを含む
情報処理装置。
(4)上記(1)~(3)の何れか1つに記載の情報処理装置であって、
前記全体領域のうち前記高画質領域を除く周辺領域の画質を前記ユーザ情報に基づき決定するように構成される画質制御部
をさらに具備する情報処理装置。
(5)上記(1)~(4)の何れか1つに記載の情報処理装置であって、
ユーザの視線情報を取得するように構成された視線情報取得部と、
前記視線情報に基づき前記画面上の注視点を算出するように構成された注視点算出部
とをさらに具備し、
前記高画質領域制御部は、前記注視点に基づき前記高画質領域の位置を算出するように構成される
情報処理装置。
(6)上記(1)~(5)の何れか1つに記載の情報処理装置であって、
前記周辺領域には、前記高画質領域より、低解像度、低フレームレート、低ビットカラー及び低速の少なくとも何れか1つで画像が表示される
情報処理装置。
(7)上記(1)~(6)の何れか1つに記載の情報処理装置であって、
前記高画質領域に表示される画像を高画質に描画し、前記周辺領域に表示される画像を低画質に描画するように構成された描画部
をさらに具備する情報処理装置。
(8)上記(1)~(7)の何れか1つに記載の情報処理装置であって、
前記描画部は、描画される画像の種類に応じて、解像度、フレームレート、ビットカラー及び速度の少なくともいずれか1つを変更することにより、前記周辺領域に表示される画像を低画質に描画するように構成される
情報処理装置。
(9)上記(1)~(8)の何れか1つに記載の情報処理装置であって、
前記高画質領域制御部は、
前記注視点に基づき第1の高画質領域の位置を算出し、
前記画面の中心点に基づき第2の高画質領域の位置を算出し、
前記ユーザ情報に基づき少なくとも前記第1の高画質領域の大きさを算出し、
前記第1の高画質領域及び前記第2の高画質領域を少なくとも含む領域を、前記高画質領域として算出するように構成される
情報処理装置。
(10)上記(1)~(9)の何れか1つに記載の情報処理装置であって、
前記高画質領域制御部は、
前記注視点に基づき第1の高画質領域の位置を算出し、
過去の注視点に基づき第2の高画質領域の位置を算出し、
前記ユーザ情報に基づき少なくとも前記第1の高画質領域の大きさを算出し、
前記第1の高画質領域及び前記第2の高画質領域を少なくとも含む領域を、前記高画質領域として算出するように構成される
情報処理装置。
(11)ユーザに関して検出された視線情報を除くユーザ情報を取得し、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定する
情報処理方法。
(12)ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部と、
前記高画質領域に表示される画像を高画質に描画し、前記全体領域のうち前記高画質領域を除く周辺領域に表示される画像を低画質に描画するように構成された描画部と、
前記描画された高画質な画像と、前記描画された低画質な画像とを前記画面に出力するように構成された画像出力部
とを具備する画像表示装置。
(13)ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部
としてコンピュータを機能させるプログラム。
(14)ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部
としてコンピュータを機能させるプログラムを格納した非一過性の記録媒体。
(1)ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部
とを具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
前記高画質領域制御部は、前記ユーザ情報に基づき前記高画質領域の大きさを決定するように構成される
情報処理装置。
(3)上記(1)又は(2)に記載の情報処理装置であって、
前記ユーザ情報は、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つを含む
情報処理装置。
(4)上記(1)~(3)の何れか1つに記載の情報処理装置であって、
前記全体領域のうち前記高画質領域を除く周辺領域の画質を前記ユーザ情報に基づき決定するように構成される画質制御部
をさらに具備する情報処理装置。
(5)上記(1)~(4)の何れか1つに記載の情報処理装置であって、
ユーザの視線情報を取得するように構成された視線情報取得部と、
前記視線情報に基づき前記画面上の注視点を算出するように構成された注視点算出部
とをさらに具備し、
前記高画質領域制御部は、前記注視点に基づき前記高画質領域の位置を算出するように構成される
情報処理装置。
(6)上記(1)~(5)の何れか1つに記載の情報処理装置であって、
前記周辺領域には、前記高画質領域より、低解像度、低フレームレート、低ビットカラー及び低速の少なくとも何れか1つで画像が表示される
情報処理装置。
(7)上記(1)~(6)の何れか1つに記載の情報処理装置であって、
前記高画質領域に表示される画像を高画質に描画し、前記周辺領域に表示される画像を低画質に描画するように構成された描画部
をさらに具備する情報処理装置。
(8)上記(1)~(7)の何れか1つに記載の情報処理装置であって、
前記描画部は、描画される画像の種類に応じて、解像度、フレームレート、ビットカラー及び速度の少なくともいずれか1つを変更することにより、前記周辺領域に表示される画像を低画質に描画するように構成される
情報処理装置。
(9)上記(1)~(8)の何れか1つに記載の情報処理装置であって、
前記高画質領域制御部は、
前記注視点に基づき第1の高画質領域の位置を算出し、
前記画面の中心点に基づき第2の高画質領域の位置を算出し、
前記ユーザ情報に基づき少なくとも前記第1の高画質領域の大きさを算出し、
前記第1の高画質領域及び前記第2の高画質領域を少なくとも含む領域を、前記高画質領域として算出するように構成される
情報処理装置。
(10)上記(1)~(9)の何れか1つに記載の情報処理装置であって、
前記高画質領域制御部は、
前記注視点に基づき第1の高画質領域の位置を算出し、
過去の注視点に基づき第2の高画質領域の位置を算出し、
前記ユーザ情報に基づき少なくとも前記第1の高画質領域の大きさを算出し、
前記第1の高画質領域及び前記第2の高画質領域を少なくとも含む領域を、前記高画質領域として算出するように構成される
情報処理装置。
(11)ユーザに関して検出された視線情報を除くユーザ情報を取得し、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定する
情報処理方法。
(12)ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部と、
前記高画質領域に表示される画像を高画質に描画し、前記全体領域のうち前記高画質領域を除く周辺領域に表示される画像を低画質に描画するように構成された描画部と、
前記描画された高画質な画像と、前記描画された低画質な画像とを前記画面に出力するように構成された画像出力部
とを具備する画像表示装置。
(13)ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部
としてコンピュータを機能させるプログラム。
(14)ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部
としてコンピュータを機能させるプログラムを格納した非一過性の記録媒体。
1,1A,1B,1C…情報処理装置
11…画像出力部
12…演算部
14…記憶部
16…入力部
101…注視点算出部
102…ユーザ情報取得部
103…高画質領域制御部
104…描画バッファ作成部
105…描画部
106…転送部
11…画像出力部
12…演算部
14…記憶部
16…入力部
101…注視点算出部
102…ユーザ情報取得部
103…高画質領域制御部
104…描画バッファ作成部
105…描画部
106…転送部
Claims (12)
- ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部
とを具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記高画質領域制御部は、前記ユーザ情報に基づき前記高画質領域の大きさを決定するように構成される
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記ユーザ情報は、ユーザの生体情報と、ユーザの行動情報と、ユーザの周囲の環境情報との少なくとも何れか1つを含む
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記全体領域のうち前記高画質領域を除く周辺領域の画質を前記ユーザ情報に基づき決定するように構成される画質制御部
をさらに具備する情報処理装置。 - 請求項4に記載の情報処理装置であって、
ユーザの視線情報を取得するように構成された視線情報取得部と、
前記視線情報に基づき前記画面上の注視点を算出するように構成された注視点算出部
とをさらに具備し、
前記高画質領域制御部は、前記注視点に基づき前記高画質領域の位置を算出するように構成される
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記周辺領域には、前記高画質領域より、低解像度、低フレームレート、低ビットカラー及び低速の少なくとも何れか1つで画像が表示される
情報処理装置。 - 請求項6に記載の情報処理装置であって、
前記高画質領域に表示される画像を高画質に描画し、前記周辺領域に表示される画像を低画質に描画するように構成された描画部
をさらに具備する情報処理装置。 - 請求項7に記載の情報処理装置であって、
前記描画部は、描画される画像の種類に応じて、解像度、フレームレート、ビットカラー及び速度の少なくともいずれか1つを変更することにより、前記周辺領域に表示される画像を低画質に描画するように構成される
情報処理装置。 - 請求項8に記載の情報処理装置であって、
前記高画質領域制御部は、
前記注視点に基づき第1の高画質領域の位置を算出し、
前記画面の中心点に基づき第2の高画質領域の位置を算出し、
前記ユーザ情報に基づき少なくとも前記第1の高画質領域の大きさを算出し、
前記第1の高画質領域及び前記第2の高画質領域を少なくとも含む領域を、前記高画質領域として算出するように構成される
情報処理装置。 - 請求項8に記載の情報処理装置であって、
前記高画質領域制御部は、
前記注視点に基づき第1の高画質領域の位置を算出し、
過去の注視点に基づき第2の高画質領域の位置を算出し、
前記ユーザ情報に基づき少なくとも前記第1の高画質領域の大きさを算出し、
前記第1の高画質領域及び前記第2の高画質領域を少なくとも含む領域を、前記高画質領域として算出するように構成される
情報処理装置。 - ユーザに関して検出された視線情報を除くユーザ情報を取得し、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定する
情報処理方法。 - ユーザに関して検出された視線情報を除くユーザ情報を取得するように構成されたユーザ情報取得部と、
前記ユーザが視認する画面の全体領域のうち他の領域よりも高画質に画像が表示される高画質領域を前記ユーザ情報に基づき決定するように構成された高画質領域制御部
としてコンピュータを機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/559,904 US10559065B2 (en) | 2015-03-31 | 2016-02-03 | Information processing apparatus and information processing method |
DE112016001524.0T DE112016001524T5 (de) | 2015-03-31 | 2016-02-03 | Informationsverarbeitungseinrichtung, Informationsverarbeitungsverfahren und Programm |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072187A JP2016191845A (ja) | 2015-03-31 | 2015-03-31 | 情報処理装置、情報処理方法及びプログラム |
JP2015-072187 | 2015-03-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016157677A1 true WO2016157677A1 (ja) | 2016-10-06 |
Family
ID=57005490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/000558 WO2016157677A1 (ja) | 2015-03-31 | 2016-02-03 | 情報処理装置、情報処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10559065B2 (ja) |
JP (1) | JP2016191845A (ja) |
DE (1) | DE112016001524T5 (ja) |
WO (1) | WO2016157677A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018211672A1 (ja) * | 2017-05-18 | 2018-11-22 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像表示システム、および画像生成方法 |
WO2018211673A1 (ja) * | 2017-05-18 | 2018-11-22 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像表示システム、および画像生成方法 |
WO2019092463A1 (en) * | 2017-11-08 | 2019-05-16 | Displaylink (Uk) Limited | Video image processing |
US11347052B2 (en) | 2017-10-23 | 2022-05-31 | Sony Corporation | Display control apparatus, head mounted display, and display control method |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016191845A (ja) * | 2015-03-31 | 2016-11-10 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016202716A (ja) * | 2015-04-24 | 2016-12-08 | 株式会社コーエーテクモゲームス | プログラム及び記録媒体 |
US10229540B2 (en) * | 2015-12-22 | 2019-03-12 | Google Llc | Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image |
JP2018004950A (ja) * | 2016-07-01 | 2018-01-11 | フォーブ インコーポレーテッド | 映像表示システム、映像表示方法、映像表示プログラム |
SG10201709801UA (en) * | 2016-12-01 | 2018-07-30 | Varjo Tech Oy | Display apparatus and method of displaying using context display and projectors |
US20180234674A1 (en) * | 2017-02-14 | 2018-08-16 | Axon Enterprise, Inc. | Systems and methods for determining a field of view |
EP3588444A4 (en) | 2017-02-24 | 2020-02-12 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
WO2018175625A1 (en) * | 2017-03-22 | 2018-09-27 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
KR102461253B1 (ko) | 2017-07-24 | 2022-10-31 | 삼성전자주식회사 | 시선 추적기를 구비하는 투사형 디스플레이 장치 |
KR20190013224A (ko) * | 2017-08-01 | 2019-02-11 | 엘지전자 주식회사 | 이동 단말기 |
JP2019074582A (ja) | 2017-10-13 | 2019-05-16 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10805653B2 (en) * | 2017-12-26 | 2020-10-13 | Facebook, Inc. | Accounting for locations of a gaze of a user within content to select content for presentation to the user |
US10313645B1 (en) * | 2018-01-19 | 2019-06-04 | Microsoft Technology Licensing, Llc | Variable emission period for scanned-beam display |
JP7342409B2 (ja) * | 2019-04-16 | 2023-09-12 | 凸版印刷株式会社 | 観察状態表示システム、観察状態表示方法及びプログラム |
JP6781445B1 (ja) * | 2019-05-13 | 2020-11-04 | Necプラットフォームズ株式会社 | 情報処理方法 |
CN111556305B (zh) | 2020-05-20 | 2022-04-15 | 京东方科技集团股份有限公司 | 图像处理方法、vr设备、终端、显示***和计算机可读存储介质 |
JP7288472B2 (ja) * | 2021-02-26 | 2023-06-07 | 矢崎総業株式会社 | 車両用表示装置 |
US11918287B2 (en) * | 2021-12-27 | 2024-03-05 | Novasight Ltd. | Method and device for treating / preventing refractive errors as well as for image processing and display |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007142542A (ja) * | 2005-11-15 | 2007-06-07 | Konica Minolta Photo Imaging Inc | 映像表示装置 |
WO2008047889A1 (en) * | 2006-10-16 | 2008-04-24 | Sony Corporation | Display device and display method |
JP2010211017A (ja) * | 2009-03-11 | 2010-09-24 | Panasonic Corp | 画像表示装置、画像表示方法及び画像表示プログラム |
JP2010271343A (ja) * | 2009-05-19 | 2010-12-02 | Renesas Electronics Corp | 表示駆動装置およびその動作方法 |
WO2013080444A1 (ja) * | 2011-11-29 | 2013-06-06 | パナソニック株式会社 | 表示制御装置、表示制御方法、および表示制御プログラム |
Family Cites Families (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7076118B1 (en) * | 1997-12-05 | 2006-07-11 | Sharp Laboratories Of America, Inc. | Document classification system |
US20060045381A1 (en) * | 2004-08-31 | 2006-03-02 | Sanyo Electric Co., Ltd. | Image processing apparatus, shooting apparatus and image display apparatus |
US7809197B2 (en) * | 2004-12-09 | 2010-10-05 | Eastman Kodak Company | Method for automatically determining the acceptability of a digital image |
JP5036177B2 (ja) * | 2005-12-12 | 2012-09-26 | オリンパス株式会社 | 情報表示装置 |
JP2008067219A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 撮像装置、撮像方法 |
US8218895B1 (en) * | 2006-09-27 | 2012-07-10 | Wisconsin Alumni Research Foundation | Systems and methods for generating and displaying a warped image using fish eye warping |
US7576755B2 (en) * | 2007-02-13 | 2009-08-18 | Microsoft Corporation | Picture collage systems and methods |
JP2008288767A (ja) * | 2007-05-16 | 2008-11-27 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US20090086024A1 (en) * | 2007-10-02 | 2009-04-02 | Sam Systems, Inc. | System and method for improving video compression efficiency |
US20090128644A1 (en) * | 2007-11-15 | 2009-05-21 | Camp Jr William O | System and method for generating a photograph |
US8447128B2 (en) * | 2008-04-07 | 2013-05-21 | Fujifilm Corporation | Image processing system |
US8687844B2 (en) * | 2008-06-13 | 2014-04-01 | Raytheon Company | Visual detection system for identifying objects within region of interest |
CN102077242B (zh) * | 2008-07-30 | 2013-08-07 | 松下电器产业株式会社 | 3d纹理的超分辨率的图像生成设备和方法 |
US8605795B2 (en) * | 2008-09-17 | 2013-12-10 | Intel Corporation | Video editing methods and systems |
US8724707B2 (en) * | 2009-05-07 | 2014-05-13 | Qualcomm Incorporated | Video decoding using temporally constrained spatial dependency |
JP5366855B2 (ja) * | 2010-02-16 | 2013-12-11 | 富士フイルム株式会社 | 画像処理方法及び装置並びにプログラム |
US8213708B2 (en) * | 2010-03-22 | 2012-07-03 | Eastman Kodak Company | Adjusting perspective for objects in stereoscopic images |
WO2011148562A1 (ja) * | 2010-05-26 | 2011-12-01 | パナソニック株式会社 | 画像情報処理装置 |
US8640021B2 (en) * | 2010-11-12 | 2014-01-28 | Microsoft Corporation | Audience-based presentation and customization of content |
WO2012105196A1 (ja) * | 2011-02-04 | 2012-08-09 | パナソニック株式会社 | 関心度推定装置および関心度推定方法 |
US20120324491A1 (en) * | 2011-06-17 | 2012-12-20 | Microsoft Corporation | Video highlight identification based on environmental sensing |
US8675966B2 (en) * | 2011-09-29 | 2014-03-18 | Hewlett-Packard Development Company, L.P. | System and method for saliency map generation |
AU2011254040B2 (en) * | 2011-12-14 | 2015-03-12 | Canon Kabushiki Kaisha | Method, apparatus and system for determining a saliency map for an input image |
JP5660067B2 (ja) * | 2012-03-21 | 2015-01-28 | カシオ計算機株式会社 | 画像検索システム、画像検索装置、画像検索方法、及びプログラム |
EP2834722A1 (en) * | 2012-04-02 | 2015-02-11 | Thomson Licensing | Method for calibration free gaze tracking using low cost camera |
CN103310411B (zh) * | 2012-09-25 | 2017-04-12 | 中兴通讯股份有限公司 | 一种图像局部增强方法和装置 |
JP6094190B2 (ja) * | 2012-12-10 | 2017-03-15 | ソニー株式会社 | 情報処理装置および記録媒体 |
EP2962251A1 (en) * | 2013-02-27 | 2016-01-06 | Thomson Licensing | Method and device for calibration-free gaze estimation |
US20140269910A1 (en) * | 2013-03-15 | 2014-09-18 | Sri International | Method and apparatus for user guided pre-filtering |
JP6155785B2 (ja) * | 2013-04-15 | 2017-07-05 | オムロン株式会社 | 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体 |
US9467750B2 (en) * | 2013-05-31 | 2016-10-11 | Adobe Systems Incorporated | Placing unobtrusive overlays in video content |
EP3013042A4 (en) * | 2013-06-19 | 2016-08-17 | Panasonic Ip Man Co Ltd | IMAGE DISPLAY DEVICE AND METHOD |
WO2015038749A1 (en) * | 2013-09-13 | 2015-03-19 | Arris Enterprises, Inc. | Content based video content segmentation |
JP6190236B2 (ja) * | 2013-10-10 | 2017-08-30 | キヤノン株式会社 | 画像表示装置、撮像装置、画像表示方法 |
WO2015066475A1 (en) * | 2013-10-31 | 2015-05-07 | The University of North Carlina at Chapel Hill | Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems |
JP6515813B2 (ja) * | 2014-02-17 | 2019-05-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2015124166A1 (en) * | 2014-02-18 | 2015-08-27 | Huawei Technologies Co., Ltd. | Method for obtaining a picture and multi-camera system |
US10097851B2 (en) * | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
WO2015139766A1 (en) * | 2014-03-21 | 2015-09-24 | Huawei Technologies Co., Ltd. | Imaging device and method for automatic focus in an imaging device as well as a corresponding computer program |
JPWO2015194075A1 (ja) * | 2014-06-18 | 2017-06-01 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2016027527A1 (ja) * | 2014-08-20 | 2016-02-25 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US8958662B1 (en) * | 2014-08-20 | 2015-02-17 | Interactive Memories, Inc. | Methods and systems for automating insertion of content into media-based projects |
US8990672B1 (en) * | 2014-08-25 | 2015-03-24 | Interactive Memories, Inc. | Flexible design architecture for designing media-based projects in a network-based platform |
US9077823B1 (en) * | 2014-10-31 | 2015-07-07 | Interactive Memories, Inc. | Systems and methods for automatically generating a photo-based project having a flush photo montage on the front cover |
US9507506B2 (en) * | 2014-11-13 | 2016-11-29 | Interactive Memories, Inc. | Automatic target box in methods and systems for editing content-rich layouts in media-based projects |
US10154194B2 (en) * | 2014-12-31 | 2018-12-11 | Logan Gilpin | Video capturing and formatting system |
JP2016151798A (ja) * | 2015-02-16 | 2016-08-22 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US10162412B2 (en) * | 2015-03-27 | 2018-12-25 | Seiko Epson Corporation | Display, control method of display, and program |
JP2016191791A (ja) * | 2015-03-31 | 2016-11-10 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016191845A (ja) * | 2015-03-31 | 2016-11-10 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9659218B1 (en) * | 2015-04-29 | 2017-05-23 | Google Inc. | Predicting video start times for maximizing user engagement |
EP3358445A4 (en) * | 2015-09-30 | 2019-09-11 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
JP2017068595A (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US11166027B2 (en) * | 2016-06-10 | 2021-11-02 | Apple Inc. | Content adaptation for streaming |
US10353950B2 (en) * | 2016-06-28 | 2019-07-16 | Google Llc | Visual recognition using user tap locations |
JP2018000308A (ja) * | 2016-06-28 | 2018-01-11 | フォーブ インコーポレーテッド | 映像表示装置システム、心拍特定方法、心拍特定プログラム |
US10163227B1 (en) * | 2016-12-28 | 2018-12-25 | Shutterstock, Inc. | Image file compression using dummy data for non-salient portions of images |
US11636572B2 (en) * | 2016-12-29 | 2023-04-25 | Nokia Technologies Oy | Method and apparatus for determining and varying the panning speed of an image based on saliency |
-
2015
- 2015-03-31 JP JP2015072187A patent/JP2016191845A/ja active Pending
-
2016
- 2016-02-03 US US15/559,904 patent/US10559065B2/en active Active
- 2016-02-03 DE DE112016001524.0T patent/DE112016001524T5/de active Pending
- 2016-02-03 WO PCT/JP2016/000558 patent/WO2016157677A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007142542A (ja) * | 2005-11-15 | 2007-06-07 | Konica Minolta Photo Imaging Inc | 映像表示装置 |
WO2008047889A1 (en) * | 2006-10-16 | 2008-04-24 | Sony Corporation | Display device and display method |
JP2010211017A (ja) * | 2009-03-11 | 2010-09-24 | Panasonic Corp | 画像表示装置、画像表示方法及び画像表示プログラム |
JP2010271343A (ja) * | 2009-05-19 | 2010-12-02 | Renesas Electronics Corp | 表示駆動装置およびその動作方法 |
WO2013080444A1 (ja) * | 2011-11-29 | 2013-06-06 | パナソニック株式会社 | 表示制御装置、表示制御方法、および表示制御プログラム |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11196975B2 (en) | 2017-05-18 | 2021-12-07 | Sony Interactive Entertainment Inc. | Image generating device, image display system, and image generating method |
WO2018211673A1 (ja) * | 2017-05-18 | 2018-11-22 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像表示システム、および画像生成方法 |
WO2018211672A1 (ja) * | 2017-05-18 | 2018-11-22 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像表示システム、および画像生成方法 |
JPWO2018211673A1 (ja) * | 2017-05-18 | 2019-11-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像表示システム、および画像生成方法 |
JPWO2018211672A1 (ja) * | 2017-05-18 | 2019-11-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像表示システム、および画像生成方法 |
US11216907B2 (en) | 2017-05-18 | 2022-01-04 | Sony Interactive Entertainment Inc. | Image generating apparatus, method, and program for displaying image resolution with motion in head-mounted display (HMD) |
US11971543B2 (en) | 2017-10-23 | 2024-04-30 | Sony Group Corporation | Display control apparatus, head mounted display, and display control method |
US11347052B2 (en) | 2017-10-23 | 2022-05-31 | Sony Corporation | Display control apparatus, head mounted display, and display control method |
WO2019092462A3 (en) * | 2017-11-08 | 2019-06-20 | Displaylink (Uk) Limited | Method and apparatus for colour imaging |
US11183104B2 (en) | 2017-11-08 | 2021-11-23 | Displaylink (Uk) Limited | Method and apparatus for colour imaging |
GB2579443B (en) * | 2017-11-08 | 2020-11-18 | Displaylink Uk Ltd | Method and apparatus for colour imaging |
GB2579443A (en) * | 2017-11-08 | 2020-06-24 | Displaylink Uk Ltd | Method and apparatus for colour imaging |
US11615734B2 (en) | 2017-11-08 | 2023-03-28 | Displaylink (Uk) Limited | Method and apparatus for colour imaging |
US11631360B2 (en) | 2017-11-08 | 2023-04-18 | Displaylink (Uk) Limited | System and method for presenting data at variable quality |
WO2019092463A1 (en) * | 2017-11-08 | 2019-05-16 | Displaylink (Uk) Limited | Video image processing |
Also Published As
Publication number | Publication date |
---|---|
US10559065B2 (en) | 2020-02-11 |
US20180096461A1 (en) | 2018-04-05 |
DE112016001524T5 (de) | 2017-12-14 |
JP2016191845A (ja) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016157677A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6844542B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US10534428B2 (en) | Image processing device and image processing method, display device and display method, and image display system | |
US10643307B2 (en) | Super-resolution based foveated rendering | |
US11061240B2 (en) | Head-mountable apparatus and methods | |
US11196975B2 (en) | Image generating device, image display system, and image generating method | |
US11487354B2 (en) | Information processing apparatus, information processing method, and program | |
US11244496B2 (en) | Information processing device and information processing method | |
KR20200051591A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
US10521013B2 (en) | High-speed staggered binocular eye tracking systems | |
US11507184B2 (en) | Gaze tracking apparatus and systems | |
JP6969577B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2018216402A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7400721B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7078568B2 (ja) | 表示装置、表示制御方法、及び表示システム | |
WO2017046956A1 (ja) | 映像システム | |
KR102360557B1 (ko) | 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 | |
WO2022004130A1 (ja) | 情報処理装置、情報処理方法、および記憶媒体 | |
KR102185519B1 (ko) | 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이 | |
KR20180045644A (ko) | 머리 착용형 디스플레이 장치 및 그의 제어 방법 | |
US20240112303A1 (en) | Context-Based Selection of Perspective Correction Operations | |
EP4381597A2 (en) | Motion blur compensation through eye tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16771574 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15559904 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 112016001524 Country of ref document: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16771574 Country of ref document: EP Kind code of ref document: A1 |