WO2022181156A1 - 投射システム - Google Patents

投射システム Download PDF

Info

Publication number
WO2022181156A1
WO2022181156A1 PCT/JP2022/002535 JP2022002535W WO2022181156A1 WO 2022181156 A1 WO2022181156 A1 WO 2022181156A1 JP 2022002535 W JP2022002535 W JP 2022002535W WO 2022181156 A1 WO2022181156 A1 WO 2022181156A1
Authority
WO
WIPO (PCT)
Prior art keywords
projector
image
projection
resolution
projection system
Prior art date
Application number
PCT/JP2022/002535
Other languages
English (en)
French (fr)
Inventor
翔吾 久保田
淳弘 千葉
麻里子 西山
龍 宮尾
哲男 池田
真秀 林
裕也 高山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280015694.9A priority Critical patent/CN116965010A/zh
Publication of WO2022181156A1 publication Critical patent/WO2022181156A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/28Reflectors in projection beam
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present disclosure relates to a projection system using multiple projectors.
  • a context image projector for rendering a context image a focus image projector for rendering a focus image
  • an image manipulation unit means for detecting a line-of-sight direction
  • an image manipulation unit means for detecting a line-of-sight direction
  • a display device comprising means for detecting viewing direction and a processing unit communicatively connected.
  • a display system with a very wide viewing angle such as a large screen display, a dome theater, a planetarium, or a so-called CAVE system that surrounds a space with multiple screens (hereinafter collectively referred to as a wide viewing angle display)
  • a wide viewing angle display a display system with a very wide viewing angle (field of view)
  • a large screen display such as a large screen display, a dome theater, a planetarium, or a so-called CAVE system that surrounds a space with multiple screens
  • a projection system includes a screen, a first projector that projects a first projection image on the entire area of the screen except one area, and projects a second projection image on the one area of the screen. and one or more mirrors, wherein the optical path of the projection light emitted from the second projector is adjusted by the one or more mirrors to project the second projection image onto one region.
  • an adjustment unit and a lookup table containing correction data for correcting distortion of the second projection image according to the aiming position determined from the line-of-sight information and angle data of one or more mirrors, based on the line-of-sight information, generating a first image signal that forms a first projection image, a second image signal that forms a second projection image, and a mirror angle control signal that controls the angles of one or more mirrors,
  • Each of them includes a first projector, a second projector, and a control section for supplying to the optical path adjusting section.
  • a first projector and a second projector are used to project a first projection image on the entire area of the screen except for one area from the first projector, and a second projector is used.
  • a second projection image corresponding to the one area is projected from the projector of the.
  • the projection system according to an embodiment of the present disclosure further includes an optical path having one or more mirrors for adjusting the optical path of projection light emitted from the second projector and projecting the second projection image onto one region.
  • an adjusting unit for controlling angles of a first image signal forming a first projection image, a second image signal forming a second projection image, and one or more mirrors based on line-of-sight information; a control unit that generates a mirror angle control signal and supplies it to the first projector, the second projector, and the optical path adjustment unit, respectively.
  • the control unit includes a lookup table including correction data for correcting distortion of the second projection image according to the aiming position determined from the line-of-sight information and angle data of one or more mirrors, and a second image The signal is corrected according to the aiming position determined from the line-of-sight information. As a result, a high-quality image is projected onto a desired area (one area).
  • FIG. 1 is a block diagram showing an example configuration of a projection system according to an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram showing an example of the configuration of a setup projector that includes the projection system shown in FIG. 1
  • FIG. 3 is a schematic diagram showing an example of the configuration of optical systems of two projectors that constitute the projector shown in FIG. 2
  • FIG. 3 is a diagram illustrating another example of a method of adjusting the optical path in the height direction of projection light emitted from a long-focus projector in the setup projector shown in FIG. 2
  • FIG. 3A and 3B are diagrams for explaining an example of a horizontal optical path adjustment method of projection light emitted from a long-focus projector in the setup projector shown in FIG. 2
  • FIG. 9 is a diagram for explaining a method of correcting distortion of the high-resolution image shown in FIG. 8; FIG.
  • FIG. 11 is a schematic diagram showing an example of a configuration of a setup projector viewed from above as Modification 1 of the present disclosure
  • FIG. 12 is a schematic diagram showing an example of the configuration of the setup projector shown in FIG. 11 when viewed from the side
  • FIG. 11 is a schematic diagram showing another example of the configuration of a setup projector as Modified Example 2 of the present disclosure
  • FIG. 11 is a block diagram showing an example of a configuration of a projection system according to modification 6 of the present disclosure
  • FIG. 14 is a block diagram showing an example of a configuration of a projection system according to modification 7 of the present disclosure
  • FIG. 11 is a schematic diagram showing an example of a configuration of a setup projector viewed from above as Modification 1 of the present disclosure
  • FIG. 12 is a schematic diagram showing an example of the configuration of the setup projector shown in FIG. 11 when viewed from the side
  • FIG. 11 is a schematic diagram showing another example of the configuration of a setup projector as Modified Example 2 of the present disclosure
  • FIG. 21 is a schematic diagram showing a configuration example of a setup projector as Modified Example 7 of the present disclosure
  • FIG. 10 is a diagram representing a heat map illustrating Method 1 as Modification 8 of the present disclosure
  • FIG. 11 is a diagram showing an example of an object in Method 2 as Modification 8 of the present disclosure
  • FIG. 21 is a diagram showing another example of the object in Method 2 as Modification 8 of the present disclosure
  • FIG. 21 is a diagram showing another example of the object in Method 2 as Modification 8 of the present disclosure;
  • Embodiment projection system for projecting a high-quality image to a desired position on the screen
  • Modification 2-1 Modification 1 (another example of the projection system) 2-2.
  • Modification 2 another example of projection system) 2-3.
  • Modification 3 another example of projection system
  • Modification 4 another example of projection system) 2-5.
  • Modification 5 another example of projection system
  • Modification 6 another example of projection system
  • Modification 7 another example of projection system
  • Modification 8 another example of projection system) 2-9.
  • Modification 9 another example of projection system
  • FIG. 1 is a block diagram showing an example configuration of a projection system (projection system 1) according to an embodiment of the present disclosure.
  • the projection system 1 includes projectors 10 and 20 , an optical path adjusting section 30 , a control section 40 and a screen 50 .
  • a predetermined area of the projection image projected from the projector 10 onto the entire screen 50 is masked, and a high-resolution projection image is projected from the projector 20 onto the masked area. It projects.
  • the projectors 10 and 20 project, for example, an enlarged projection image (projection light) created by a display device smaller than the size of the projected image (projection image) onto a projection surface such as a wall surface.
  • a projection surface such as a wall surface.
  • the projector 10 can project a projection image on the entire screen 50, for example.
  • the projector 10 corresponds to a specific example of the "first projector" of the present disclosure, and the projected image projected from the projector 10 corresponds to the "first projected image” of the present disclosure.
  • the projector 10 for example, a so-called ultra short focus projector can be used. By using an ultra-short-focus projector as the projector 10, it is possible to prevent the projected image from missing even when the viewer approaches the screen 50.
  • the projector 20 projects a projection image having a higher resolution than the projection image of the projector 10 onto a predetermined area of the screen 50 .
  • the projector 20 corresponds to a specific example of the "second projector" of the present disclosure, and the projected image projected from the projector 20 corresponds to the "second projected image” of the present disclosure.
  • the projector 20 has, for example, a larger projection ratio than the projector 10, and can use, for example, a so-called long focus projector.
  • Table 1 shows an example of the performance of the projector 10 and the projector 20. Although the number of pixels of projector 10 and projector 20 are both 4K, the projection area of projector 20 is 1/25 of the projection area of projector 10 . Therefore, the projector 20 projects an image having 25 times the resolution of the image projected from the projector 10 .
  • FIG. 2 shows an example configuration of a setup projector 100 that includes the projection system 1 shown in FIG.
  • Three projectors 10A, 10B, and 10C are used as the projector 10 in the setup projector 100 .
  • the projection ranges of the three projectors 10A, 10B, and 10C have overlapping ranges that are used for blending with adjacent projectors. In the following description, it is assumed that there is a 20% overlap range.
  • the projection area of the projector 20 is 1/25 of the projection area of the three projectors 10A, 10B, and 10C. Therefore, although the brightness of the projector 20 is 1/25 of the brightness of the projector 10, the image projected from the projector 10 and the image projected from the projector 20 have substantially the same brightness.
  • the projected image projected from the projector 20 is referred to as a "high-resolution image”.
  • FIG. 3 is a schematic diagram showing an example of the configuration of a reflective 3LCD type projector that modulates light using a reflective liquid crystal panel (LCD), as an example of the configuration of the optical system of the projectors 10 and 20 .
  • the projectors 10 and 20 have, for example, a light source section 110 (210), an illumination optical system 120 (220), an optical modulation section 150 (250), and a projection section 140 (240).
  • the light source unit 110 has one or more light sources.
  • a phosphor light source that absorbs light in a predetermined wavelength band as excitation light and emits fluorescence in a wavelength band different from the absorbed excitation light can be used.
  • the light source may be, for example, a solid-state light source that emits light in a predetermined wavelength band.
  • Solid-state light sources include, for example, semiconductor lasers (Laser Diodes: LDs).
  • a light emitting diode (LED) may be used.
  • the light source unit 110 includes, in addition to one or more light sources, for example, a light source driving unit, a light source driver that drives the light source, and a current that sets the current value when driving the light source. and a value setting unit.
  • the light source driver generates a current having a current value set by the current value setting section in synchronization with a signal input from the light source driving section based on power supplied from a power supply section (not shown), for example. The generated current is supplied to the light source.
  • the illumination optical system 120 includes, for example, a pair of fly-eye lenses, a condenser lens, a PS converter 121 (221), and It comprises dichroic mirrors 122 (222), 126 (226) and total reflection mirrors 123 (223), 124 (224), 125 (225).
  • the light modulation unit 150 (250) includes PBSs 151 (251), 152 (252), 153 (253), reflective liquid crystal panels 154R (254R), 154G (254G), 154B (254B), and and a cross prism 155 (255).
  • the projection section 140 (240) projects the synthesized light emitted from the cross prism 155 (255) toward the screen 50. As shown in FIG.
  • the PS converter 121 functions to polarize and transmit the white light Lw incident from the light source section 110 (210).
  • S-polarized light is transmitted as it is, and P-polarized light is converted into S-polarized light.
  • the dichroic mirror 122 (222) has the function of separating the white light Lw transmitted through the PS converter 121 (221) into blue light B and other color lights (red light R, green light G).
  • the total reflection mirror 123 (223) reflects the colored light (red light R, green light G) transmitted through the dichroic mirror 122 (222) toward the total reflection mirror 125 (225). , the reflected light (red light R, green light G) from the total reflection mirror 123 (223) is reflected toward the dichroic mirror 126 (226).
  • the dichroic mirror 126 (226) has a function of separating the color light (red light R, green light G) incident from the total reflection mirror 125 (225) into red light R and green light G.
  • the total reflection mirror 124 (224) reflects the blue light B separated by the dichroic mirror 122 (222) toward the PBS 153 (253).
  • PBSs 151 (251), 152 (252), and 153 (253) are arranged along the optical paths of red light R, green light G, and blue light B, respectively.
  • PBSs (251), 152 (252), and 153 (253) have polarization splitting surfaces 151A (251A), 152A (252A), and 153A (253A), respectively.
  • 252A) and 153A (253A) have the function of separating each incident color light into two mutually orthogonal polarized light components.
  • the polarization separation surfaces 151A (251A), 152A (252A), and 153A (253A) reflect one polarization component (for example, S polarization component) and transmit the other polarization component (for example, P polarization component).
  • Predetermined polarized light components for example, S-polarized component colored light (red light R, green light G and blue light B) is incident.
  • the reflective liquid crystal panels 154R (254R), 154G (254G), and 154B (254B) are driven according to drive voltages applied based on image signals, modulate incident light, and emit the modulated colored light (red light). It functions to reflect light R, green light G and blue light B) toward PBSs 151 (251), 152 (252) and 153 (253), respectively.
  • the cross prism 155 (255) receives predetermined polarized light components emitted from the reflective liquid crystal panels 154R (254R), 154G (254G), and 154B (254B) and transmitted through the PBSs 151 (251), 152 (252), and 153 (253).
  • Colored light (red light R, green light G, and blue light B) of (for example, P-polarized component) is synthesized and emitted toward the projection section 140 (240).
  • the projection unit 140 (240) includes, for example, a plurality of lenses, etc., and magnifies the synthesized light (projection light L1, L2) incident from the light modulation unit 150 (250) and projects the enlarged light onto the screen 50. be.
  • FIG. 2 shows an example of using a reflective liquid crystal panel (LCD) as the display device, but the projectors 10 and 20 are transmissive liquid crystal panels (LCD) that modulate light.
  • LCD liquid crystal panel
  • FIG. 2 shows an example of using a reflective liquid crystal panel (LCD) as the display device, but the projectors 10 and 20 are transmissive liquid crystal panels (LCD) that modulate light.
  • a 3LCD type projector may be used.
  • projectors 10, 20 may use a digital micromirror device (DMD) as a display device.
  • the projectors 10 and 20 may be, for example, laser scanning projectors using Micro Electro Mechanical System (MEMS) mirrors, and may have an optical system different from that shown in FIG.
  • MEMS Micro Electro Mechanical System
  • the optical path adjusting section 30 adjusts the optical path of the projection light L2 emitted from the projector 20 to adjust the projection position of the high-resolution image.
  • the optical path adjustment unit 30 is, for example, a mirror that divides the projection range X of the projector 20 from the center of the screen 50 into the horizontal direction (panning direction (eg, X-axis direction)) and the vertical direction (tilting direction (eg, Z-axis direction)). 31 and a mirror driver 310 .
  • the mirror 31 is composed of, for example, two uniaxial mirrors or one biaxial mirror.
  • uniaxial mirrors include galvanometer mirrors, polygon mirrors, and MEMS mirrors.
  • biaxial mirrors include MEMS mirrors and motorized gimbal mirror holders.
  • the mirror drive unit 310 adjusts the angles of the mirror 31 in the pan direction and the tilt direction.
  • 4 and 5 schematically show how the optical path of the projection light L2 is adjusted by the mirror 31 consisting of two mirrors 31A and 31B, for example.
  • 4 and 5 show an example using a galvanometer mirror as the mirror 31A and a polygon mirror as the mirror 31B.
  • the projection position of the high-resolution image projected from the projector 20 can be adjusted in the Z-axis direction by rotating the reflecting surface 41S of the mirror 31A in the direction of the arrow, as shown in FIG. 4, for example.
  • the projection position of the high-resolution image projected from the projector 20 can be adjusted in the X-axis direction by, for example, rotating a mirror 31B having a plurality of reflecting surfaces 41S1, 41S2, and 41S3 in the direction of the arrow, as shown in FIG. can be adjusted with
  • the control unit 40 has, for example, a high-resolution area determination unit 41, a signal processing unit 42, and a storage unit 43.
  • the line-of-sight information of the observer and the image signal sig0 of the input image are input from an external device.
  • the line-of-sight information is, for example, gazing point coordinates (xy coordinates or ⁇ coordinates) representing which position on the screen 50 the observer is gazing at, and is obtained by, for example, a general tracking technique.
  • the high-resolution area determination unit 41 determines the position of the projection range X (corresponding to "one area” in the present disclosure) of the projector 20 from the input line-of-sight information. Specifically, the projection range of the projector 10 is divided into a plurality of areas in a matrix, for example, and the high-resolution area determination unit 41 determines an area that includes the gaze point coordinates among the plurality of areas. A representative point within this area is defined as the "target position", and the representative point is defined as, for example, central coordinates within the area. The high-resolution area determination unit 41 matches this target position with the center material of the projection range X of the projector 20 . The high-resolution area determination section 41 supplies this aim position information to the signal processing section 42 and the storage section 43 .
  • the signal processing unit 42 performs various signal processing based on the image signal sig0 input from the external device and the target position information supplied from the high-resolution area determining unit 41.
  • the signal processor 42 has, for example, a first image signal generator 421 and a second image signal generator 422 .
  • the image signal sig0 is, for example, an image signal of one high-resolution image covering the entire area of the screen 50, or an image signal of two images with different resolutions as one set.
  • the first image signal generation unit 421 inputs from an external device based on the target position information supplied from the high resolution area determination unit 41.
  • the obtained image signal sig0 is down-converted, for example, and an image signal sig1 (FIG. 6B) is generated by masking (blacking out) the area including the target position into a rectangle or circle, and supplied to the image generation unit 130 of the projector 10. do.
  • This image signal sig1 corresponds to a specific example of the "first image signal" of the present disclosure.
  • the second image signal generation unit 422 generates an image signal sig2 (FIG. 6C) obtained by extracting area information corresponding to the target position information supplied from the high resolution area determination unit 41 from the image signal sig0 input from the external device. It is generated and supplied to the image generating section 230 of the projector 20 .
  • This image signal sig2 corresponds to a specific example of the "second image signal" of the present disclosure.
  • This image signal sig2 may be obtained by up-converting an image signal input from an external device, or by applying super-resolution processing.
  • the first image signal generation unit 421 and the second image signal generation unit 422 perform the following Such signal processing is performed.
  • the image signals having two images with different resolutions as one set are, for example, a low-resolution image signal sig01 (FIG. 7A) that covers the entire area of the screen 50 whose resolution has been reduced in advance by an external device, and a low-resolution image signal sig01 that covers the entire area of the screen 50 It consists of an image signal sig02 (FIG.
  • the first image signal generation unit 421 converts the image signal sig01 input from the external device based on the target position information supplied from the high-resolution area determination unit 41 to the same resolution as in FIG.
  • An image signal sig1 is generated by masking (blacking out) the area including the target position in a rectangle or circle, and is supplied to the image generation unit 130 of the projector 10 .
  • the second image signal generator 422 supplies the image signal sig02 input from the external device to the image generator 230 of the projector 20 as the image signal sig2 (similar to FIG. 6C). Note that the second image signal generation unit 422 may up-convert the image signal sig02 or perform super-resolution processing in the same manner as described above.
  • the image signal sig0 may not be input to the control unit 40 from an external device.
  • it corresponds to the generation of computer graphics (CG) for use in games and amusement.
  • the signal processing unit 42 covers the entire area of the screen 50, a low-resolution image in which a partial area is blackened, and a blackened partial area.
  • the high-resolution images are respectively rendered to generate an image signal sig1 (low-resolution image) and an image signal sig2 (high-resolution image). This reduces the computational load required for rendering.
  • the storage unit 43 includes, for example, a lookup table in which angle data of the pan direction and the tilt direction of the mirror 31 and correction data of the high-resolution image projected from the projector 20 are stored according to the target position information. there is The storage unit 43 reads corresponding angle data and correction data from the target position information supplied from the high-resolution area determination unit 41, and the angle data is sent to the mirror driving unit 310 of the optical path adjustment unit 30, for example, as correction data. are supplied to the image generation unit 230 of the projector 20, for example.
  • the control unit 40 further includes, for example, a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc. (none of which are shown).
  • the CPU reads the control program stored in the ROM, develops it in the RAM, and executes the steps of the program on the RAM.
  • the control unit 40 controls the overall operation of the setup projector 100 by executing the program by this CPU.
  • Correction of high-resolution images is performed, for example, as follows.
  • lookup table for example, as shown in Table 2, pan/tilt mirror angles and projection correction data (map f) are stored for each target position (gazing point coordinates).
  • the projection correction data (map f) is calculated, for example, from the following formula (1).
  • FIG. 9 shows a high-resolution image a of m ⁇ n pixels of the image signal sig2 supplied from the second image signal generation section 422 to the image generation section 230 of the projector 20 by a vertical vector.
  • FIG. 10 shows a high-resolution image b of m′ ⁇ n′ pixels of the image signal sig2′ supplied from the second image signal generator 422 to the image generator 230 of the projector 20 by vertical vectors.
  • the calculation of the following formula (1) is performed for each of R/G/B.
  • b Aa (1) (a: high-resolution image of image signal sig2, b: high-resolution image of image signal sig2′, A: matrix corresponding to mapping f)
  • correction may be performed using a known data format and algorithm in order to reduce the computational load.
  • the image generation unit 130 of the projector 10 performs blending and geometric correction when projecting a projection image over the entire screen 50 using a plurality of projectors 10 (10A, 10B, 10C). to generate an image that is actually projected.
  • the actually projected images are the images displayed on the reflective liquid crystal panels 154R, 154G and 154B of the projectors 10A, 10B and 10C, respectively.
  • a projection image low-resolution image
  • the image signal sig2 supplied from the second image signal generator 422 and the image signal sig2′ subjected to blending and geometric correction based on the correction data supplied from the storage unit 43 are used to generate the projection range X Generate a projection image (high-resolution image) to be projected on the Further, in the image generation unit 230, in order to finely adjust the superimposed position of the high-resolution image on the low-resolution image, an image to be displayed on the reflective liquid crystal panel (for example, the reflective liquid crystal panels 254R, 254G, and 254B) of the projector 20 is generated. You may make it shift up and down, right and left. The amount of adjustment is determined by camera feedback, for example.
  • Projection system 1 of the present embodiment includes projectors 10 and 20 having different projection ratios, an optical path adjustment section 30 that adjusts the optical path of projection light L2 emitted from projector 20, and control section 40.
  • FIG. 1 the projector 20 projects an image of an area including the gaze point coordinates based on line-of-sight information in the input image, and the projector 10 projects an input image of an area other than the area projected from the projector 20.
  • the control unit 40 has a storage unit 43 including a lookup table in which correction data corresponding to the target position is stored. corrected. Thereby, a high-quality image is projected onto a desired area. This will be explained below.
  • an image with a predetermined resolution is projected in areas other than the area of interest, and an image with a higher resolution is projected in the area of interest. I made it project.
  • the projector 10 and the projector 20 having a larger projection ratio than the projector 10 are used, and a projected image having a resolution lower than that of the input image (low-resolution image ), and a projection image (high-resolution image) having a resolution equal to or higher than that of the input image is projected from the projector 20 onto the predetermined area.
  • the high-resolution image projected from the projector 20 is corrected according to the aiming position determined from the line-of-sight information by using the correction data for correcting the distortion according to the aiming position from the lookup table included in the control unit 40.
  • the projection position of the high-resolution image projected from the projector 20 on the screen 50 is adjusted by the optical path adjusting section 30 .
  • the optical path adjusting section 30 has one or more mirrors 31 .
  • the lookup table stores angle data of one or more mirrors according to the target position together with distortion correction data of the high-resolution image according to the target position. ), the angle of the mirror 31 of the optical path adjustment unit 30 is adjusted. This makes it possible to project a high-quality image onto a desired area.
  • the projection system 1 of the present embodiment it is possible to superimpose the low-resolution image projected from the projector 10 and the high-resolution image projected from the projector 20 without distortion.
  • the high-resolution image is selectively projected onto a desired area of the screen 50, and the low-resolution image is projected onto other areas. It is possible to reduce the load of calculation and transmission compared to the case of projecting a high-resolution image on the .
  • FIG. 11 and 12 illustrate an example of a configuration of a setup projector 100A as Modification 1 of the present disclosure.
  • FIG. 11 is a schematic view of the space surrounded by the dome-shaped screen and the setup projector 100A viewed from above
  • FIG. 12 is a schematic view of the space surrounded by the dome-shaped screen shown in FIG. and a schematic view of the setup projector 100A viewed from behind the projector 20.
  • FIG. The projection system 1 of the present disclosure described above can also be applied to, for example, a dome-shaped screen 50 as shown in FIGS. 11 and 12 .
  • FIG. 13 illustrates an example configuration of a setup projector 100B as Modification 2 of the present disclosure.
  • the projection system 1 of the present disclosure described above can also be applied to a so-called CAVE system in which a space is surrounded by a plurality of screens (eg, three screens 50A, 50B, 50C) as shown in FIG.
  • a galvanometer mirror and a polygon mirror are used as the mirrors 31 constituting the optical path adjustment unit 30, so that one projector 20 can display three screens 50A. , 50B and 50C from the projector 20 can be projected at desired positions.
  • Table 3 represents another example of the performance of projector 10 and projector 20 .
  • a brighter projector 20 may be used.
  • a so-called high dynamic range (HDR) projector that raises the maximum brightness that can be expressed may be used.
  • the projector 10 can be made smaller, so power consumption can be reduced. In addition, it becomes possible to improve energy efficiency.
  • Table 4 represents another example of the performance of projector 10 and projector 20 .
  • a high frame rate (HFR) projector may be used.
  • the brightness of the projector 20 is preferably doubled or more.
  • the frame rate of the high-resolution area X can be selectively improved, and the amount of data transfer can be reduced compared to the case where the frame rate of the setup projector 100 as a whole is improved.
  • the frame rate of the setup projector 100 as a whole is improved.
  • Table 5 represents another example of the performance of projector 10 and projector 20 .
  • the light source unit 110 (210) of the projector 10 may use a phosphor light source, and the light source unit 210 of the projector 20 may use a laser light source corresponding to R/G/B.
  • the color gamut of projectors has a trade-off relationship with energy efficiency. Therefore, by using a phosphor light source for the light source unit 110 of the projector 10 and a laser light source for the light source unit 210 of the projector 20, energy efficiency can be improved compared to the case where the color gamut of the entire setup projector 100 is expanded. can be improved.
  • FIG. 14 is a block diagram showing an example of a configuration of a projection system (projection system 2) according to modification 6 of the present disclosure.
  • Projector 20 may further have a zoom mechanism.
  • the high-resolution area determination unit 41 determines the size of the projection range of the projector 20 (hereinafter referred to as the target size) in addition to the target position, and stores target position information and target size information in the signal processing unit 42. It is supplied to the section 43 .
  • the first image signal generation unit 421 generates an image signal sig1 based on the target position information and the target size information, and supplies the image signal sig1 to the image generation unit 130 of the projector 10 .
  • the second image signal generation unit 422 generates an image signal sig ⁇ b>2 by extracting the area information corresponding to the target position information, and supplies the image signal sig ⁇ b>2 to the image generation unit 230 of the projector 20 .
  • the storage unit 43 reads the corresponding angle data, correction data and zoom position data from the aim position information and the aim size information supplied from the high resolution area determination unit 41 .
  • the angle data is supplied to the mirror drive unit 310 of the optical path adjustment unit 30, the correction data is supplied to the image generation unit 230 of the projector 20, for example, and the zoom position data is supplied to the zoom mechanism control unit 260 of the projector 20, for example.
  • FIG. 15 is a block diagram showing an example of a configuration of a projection system (projection system 3) according to modification 7 of the present disclosure.
  • FIG. 16 illustrates an example configuration of a setup projector 100C as Modification 7 of the present disclosure.
  • the projection system 3 further includes a sensing unit 60 that determines the overlap between the optical path of the image light L2 projected from the projector 20 and the current position or future position of the obstructing object Y such as an observer or an obstacle. good too.
  • the sensing unit 60 acquires the three-dimensional position of the shielding object Y, and is composed of, for example, a camera, a TOF (Time Of Flight) sensor, an infrared sensor, or the like. Further, the sensing unit 60 may predict the future position of the shielding object Y from the current positional information of the shielding object Y and the past positional information accumulated during a certain period of time. When the sensing unit 60 determines that the optical path of the image light L2 projected from the projector 20 and the current position of the shielding object Y overlap, this information is supplied to the signal processing unit 42 .
  • TOF Time Of Flight
  • the first image signal generation unit 421 generates an image signal sig1 without blackout without using the target position information and the target size information, and supplies the image signal sig1 to the image generation unit 130 of the projector 10 .
  • the image signal sig0 may be down-converted in the first image signal generator 421 .
  • the signal processing unit 42 supplies the image generating unit 230 of the projector 20 with a signal for turning off the projector 20 , for example, a signal for setting the light source output of the projector 20 to zero and a signal including an all-black display signal.
  • the target position information and the target size in the first image signal generation unit 421 Interruption of generation of the image signal sig1 based on the information and turning off of the projector 20 may be performed gradually.
  • the sensing unit 60 may be configured by an invisible light (eg, infrared light) projection device coaxial with the projector 20 and an invisible light detection unit.
  • the invisible light detection unit for example, an imager capable of monitoring invisible light, specifically, a camera system capable of observing the entire area of the screen 50, a light receiver coaxial with the projector 20, or installed on the back of the screen 50 It can be configured with a When the light receiver is installed on the back surface of the screen 50, the screen 50 is formed with fine holes or the screen 50 is made of a material that transmits invisible light.
  • the invisible light is monitored at a frequency equal to or higher than the frame rate of the projected image, and when there is a change equal to or greater than the threshold, the optical path of the image light L2 projected from the projector 20 and the current of the shielding object Y are detected. It is determined that an overlap with the position has occurred.
  • a sensing unit 60 is added to determine the overlap between the optical path of the image light L2 projected from the projector 20 and the current position or future position of the obstructing object Y such as an observer or an obstacle. As a result, it is possible to prevent the image from being lost and the sense of immersion from being impaired when the observer approaches the screen 50 .
  • line-of-sight information for example, pseudo information generated from image information (image signal) input from an external device may be used. Pseudo line-of-sight information can be generated using, for example, the following method.
  • Method 1 Estimation of statistic information of gaze point
  • the pseudo line-of-sight information is input from an external device from a generator that has learned statistical information (heat map) of gaze points for an image using a machine learning method as teacher data.
  • a heat map for the image information is estimated, and the coordinate with the highest intensity is used as the line-of-sight information (X 0 ).
  • the intensity is represented by shading, and the position where the intensity is lower is shown brighter, and the position where the intensity is higher is shown darker.
  • heat map information may be supplied to the high-resolution area determination unit 41 along with the coordinates, and the target position and target size may be determined from the intensity distribution near the coordinates where the intensity of the heat map is the highest.
  • the pseudo line-of-sight information can be obtained by identifying a desired object (for example, soccer, baseball, etc.) from an image signal input from an external device by means of image recognition.
  • a ball (Fig. 18) is detected in a sports watching video, an artist (Fig. 19) in a concert video, and an explanatory plate (Fig. 20) of an exhibit in a museum, etc.), and the center of the object is used as line-of-sight information (X 0 ). use.
  • an object that is expected to be of high interest to the observer is detected from the image information input from an external device, and the shape of the object that is closed with the contour line or the shape that the object is filled with is detected.
  • the center of gravity or the center of a rectangle surrounding the object is used as line-of-sight information.
  • image information of the shape of the object along with the coordinates may be supplied to the high-resolution region determination unit 41, and the target position and target size may be determined from the shape.
  • the pseudo line-of-sight information is obtained by, for example, dividing an image of an image signal input from an external device into a plurality of regions, performing spatial frequency analysis, and using the central coordinates of the region with the largest high-frequency component as line-of-sight information.
  • two types of image signals having different resolutions may be input to the control unit 40 as input images.
  • the high-resolution image signal is generated by feeding back the line-of-sight information of the frame immediately before input to the transmission unit of the input image. This makes it possible to greatly reduce the load of transmitting the input image from the external device to the control unit 40 as compared with the case of inputting one type of input image.
  • the present disclosure can also be configured as follows. According to the present technology having the following configuration, the first projector and the second projector are used, the first projection image is projected on the entire area of the screen except for one region from the first projector, and the second projector to project a second projection image corresponding to the one area.
  • the projection system according to an embodiment of the present disclosure further includes an optical path having one or more mirrors for adjusting the optical path of projection light emitted from the second projector and projecting the second projection image onto one region.
  • an adjusting unit for controlling angles of a first image signal forming a first projection image, a second image signal forming a second projection image, and one or more mirrors based on line-of-sight information; a control unit that generates a mirror angle control signal and supplies it to the first projector, the second projector, and the optical path adjustment unit, respectively.
  • the control unit includes a lookup table including correction data for correcting distortion of the second projection image according to the aiming position determined from the line-of-sight information and angle data of one or more mirrors, and a second image The signal is corrected according to the aiming position determined from the line-of-sight information.
  • a screen a first projector that projects a first projection image on the entire area of the screen except for one area; a second projector that projects a second projection image onto the first area of the screen; an optical path adjustment unit that includes one or more mirrors and adjusts an optical path of projection light emitted from the second projector by the one or more mirrors to project the second projection image onto the first area; , a lookup table including correction data for correcting distortion of the second projected image according to an aim position determined from line-of-sight information and angle data of the one or more mirrors; generating a first image signal that forms a first projection image, a second image signal that forms the second projection image, and a mirror angle control signal that controls angles of the one or more mirrors; and a control section for supplying to the first projector, the second projector, and the optical path adjustment section, respectively.
  • the projection system according to (1) wherein the first projection image has the one region masked. (3) dividing the projection range of the first projector into a plurality of areas; The projection system according to (1) or (2), wherein the lookup table stores the correction data for each region and the angle data of the one or more mirrors.
  • the control unit has a high-resolution area determination unit, a signal processing unit, and a storage unit including the lookup table, The high-resolution area determination unit determines an area that includes gaze point coordinates among the plurality of areas in the projection range of the first projector, The projection system according to (3), wherein the signal processing section receives information on the region from the high resolution region determination section and generates the first image signal and the second image signal.
  • any one of (1) to (12) above wherein a heat map of gaze points for an input image input to the control unit is estimated in advance, and coordinates having the highest intensity are input to the control unit as the line-of-sight information.
  • the projection system of claim 1. (12) 12. The method according to any one of the above (1) to (12), wherein a predetermined target object is detected from an input image input in advance to the control unit, and central coordinates of the target object are used as the line-of-sight information. projection system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本開示の一実施形態の投射システムは、スクリーンと、スクリーンの一の領域を除く全域に第1の投影画像を投射する第1のプロジェクタと、第1のプロジェクタよりも投射比が大きく、スクリーンの一の領域に第2の投影画像を投射する第2のプロジェクタと、1または複数のミラーを含み、第2のプロジェクタから出射される投影光の光路を1または複数のミラーによって調整して第2の投影画像を一の領域に投射する光路調整部と、視線情報から決定される狙い位置に応じた第2の投影画像の歪みを補正する補正データおよび1または複数のミラーの角度データを含むルックアップテーブルを含み、視線情報に基づいて、第1の投影画像を構成する第1の画像信号と、第2の投影画像を構成する第2の画像信号と、1または複数のミラーの角度を制御するミラー角度制御信号とを生成して、それぞれ、第1のプロジェクタ、第2のプロジェクタおよび光路調整部へ供給する制御部とを備える。

Description

投射システム
 本開示は、複数のプロジェクタを用いた投射システムに関する。
 例えば、特許文献1では、コンテキスト画像をレンダリングするためのコンテキスト画像プロジェクタと、フォーカス画像をレンダリングするためのフォーカス画像プロジェクタと、画像操作部と、視線方向を検出するための手段と、画像操作部および視線方向を検出するための手段と通信するように接続される処理部とを備えた表示装置が開示されている。
特開2018-109746号公報
 ところで、大画面ディスプレイやドームシアター、プラネタリウム、複数のスクリーンで空間を囲む、所謂CAVEシステムといった視野角(Field Of View)が非常に広いディスプレイシステム(以下、広視野角ディスプレイと総称する)では、より没入感の高いディスプレイシステムの開発が求められている。
 没入感の高い投射システムを提供することが望ましい。
 本開示の一実施形態の投射システムは、スクリーンと、スクリーンの一の領域を除く全域に第1の投影画像を投射する第1のプロジェクタと、スクリーンの一の領域に第2の投影画像を投射する第2のプロジェクタと、1または複数のミラーを含み、第2のプロジェクタから出射される投影光の光路を1または複数のミラーによって調整して第2の投影画像を一の領域に投射する光路調整部と、視線情報から決定される狙い位置に応じた第2の投影画像の歪みを補正する補正データおよび1または複数のミラーの角度データを含むルックアップテーブルを含み、視線情報に基づいて、第1の投影画像を構成する第1の画像信号と、第2の投影画像を構成する第2の画像信号と、1または複数のミラーの角度を制御するミラー角度制御信号とを生成して、それぞれ、第1のプロジェクタ、第2のプロジェクタおよび光路調整部へ供給する制御部とを備えたものである。
 本開示の一実施形態の投射システムでは、第1のプロジェクタと、第2のプロジェクタとを用い、第1のプロジェクタからスクリーンの一の領域を除く全域に第1の投影画像を投射し、第2のプロジェクタから上記一の領域に対応する第2の投影画像を投射する。本開示の一実施形態の投射システムは、さらに、第2のプロジェクタから出射される投影光の光路を調整して第2の投影画像を一の領域に投射する、一または複数のミラーを有する光路調整部と、視線情報に基づいて、第1の投影画像を構成する第1の画像信号と、第2の投影画像を構成する第2の画像信号と、1または複数のミラーの角度を制御するミラー角度制御信号とを生成して、それぞれ、第1のプロジェクタ、第2のプロジェクタおよび光路調整部へ供給する制御部とを有する。制御部は、視線情報から決定される狙い位置に応じた第2の投影画像の歪みを補正する補正データおよび1または複数のミラーの角度データを含むルックアップテーブルを含んでおり、第2の画像信号は、視線情報から決定される狙い位置に応じた補正がなされる。これにより、所望の領域(一の領域)に高画質な映像を投射する。
本開示の一実施の形態に係る投射システムの構成の一例を表すブロック図である。 図1に示した投射システムを備えたセットアッププロジェクタの構成の一例を表す概略図である。 図2に示したプロジェクタを構成する2つのプロジェクタの光学系の構成の一例を表す概略図である。 図2に示したセットアッププロジェクタにおける長焦点プロジェクタから出射される投影光の高さ方向の光路調整方法の他の例を説明する図である。 図2に示したセットアッププロジェクタにおける長焦点プロジェクタから出射される投影光の横方向の光路調整方法の一例を説明する図である。 制御部における画像信号の生成方法の一例を説明する図である。 制御部における画像信号の生成方法の一例を説明する図である。 制御部における画像信号の生成方法の一例を説明する図である。 制御部における画像信号の生成方法の他の例を説明する図である。 制御部における画像信号の生成方法の他の例を説明する図である。 スクリーンへの照射位置による高解像度画像の歪みを説明する図である。 図8に示した高解像度画像の歪みの補正方法を説明する図である。 図8に示した高解像度画像の歪みの補正方法を説明する図である。 本開示の変形例1としてのセットアッププロジェクタを上方から見た際の構成の一例を表す概略図である。 図11に示したセットアッププロジェクタの側面方向から見た際の構成の一例を表す概略図である。 本開示の変形例2としてのセットアッププロジェクタの構成の他の例を表す概略図である。 本開示の変形例6に係る投射システムの構成の一例を表すブロック図である。 本開示の変形例7に係る投射システムの構成の一例を表すブロック図である。 本開示の変形例7としてのセットアッププロジェクタの構成例を表す概略図である。 本開示の変形例8としての方法1を説明するヒートマップを表す図である。 本開示の変形例8としての方法2における対象物の一例を表す図である。 本開示の変形例8としての方法2における対象物の他の例を表す図である。 本開示の変形例8としての方法2における対象物の他の例を表す図である。
 以下、本開示における実施の形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。また、本開示は、各図に示す各構成要素の配置や寸法、寸法比等についても、それらに限定されるものではない。なお、説明する順序は、下記の通りである。
 1.実施の形態(スクリーンの所望の位置に高画質な画像を投射する投射システム)
 2.変形例
  2-1.変形例1(投射システムの他の例)
  2-2.変形例2(投射システムの他の例)
  2-3.変形例3(投射システムの他の例)
  2-4.変形例4(投射システムの他の例)
  2-5.変形例5(投射システムの他の例)
  2-6.変形例6(投射システムの他の例)
  2-7.変形例7(投射システムの他の例)
  2-8.変形例8(投射システムの他の例)
  2-9.変形例9(投射システムの他の例)
<1.実施の形態>
 [投射システムの構成]
 図1は、本開示の一実施の形態に係る投射システム(投射システム1)の構成の一例を表したブロック図である。投射システム1は、プロジェクタ10,20と、光路調整部30と、制御部40と、スクリーン50とを備えている。本実施の形態の投射システム1は、例えば、プロジェクタ10からスクリーン50の全域に投射される投影画像のうち所定の領域をマスクし、そのマスクされた領域に、プロジェクタ20から高解像度な投影画像を投射するものである。
 プロジェクタ10,20は、例えば、投射される画(投影画像)のサイズよりも小さな表示デバイスにより作成された投影画像(投影光)を、壁面等の投射面に対して拡大して投射するものである。なお、ここで「画像」とは、静止画および動画を含むものである。
 プロジェクタ10は、例えば、スクリーン50の全域に投影画像を投射可能なものである。このプロジェクタ10が、本開示の「第1のプロジェクタ」の一具体例に相当するものであり、プロジェクタ10から投射される投影画像が、本開示の「第1の投影画像」に相当する。プロジェクタ10は、例えば、所謂超短焦点プロジェクタを用いることができる。プロジェクタ10として超短焦点プロジェクタを用いることにより、観察者がスクリーン50に近づいた場合でも、投影画像の欠けを防ぐことができる。
 プロジェクタ20は、スクリーン50の所定の領域に、プロジェクタ10の投影画像よりも高い解像度を有する投影画像を投射するものである。このプロジェクタ20が、本開示の「第2のプロジェクタ」の一具体例に相当するものであり、プロジェクタ20から投射される投影画像が、本開示の「第2の投影画像」に相当する。プロジェクタ20は、例えば、プロジェクタ10よりも大きな投射比を有するものであり、例えば、所謂長焦点プロジェクタを用いることができる。
 表1は、プロジェクタ10およびプロジェクタ20の性能の一例を表したものである。プロジェクタ10およびプロジェクタ20の画素数は共に4Kであるが、プロジェクタ20の投射面積は、プロジェクタ10の投射面積の1/25である。このため、プロジェクタ20からは、プロジェクタ10から投射される画像の25倍の解像度を有する画像が投射される。
Figure JPOXMLDOC01-appb-T000001
 
 図2は、図1に示した投射システム1を備えたセットアッププロジェクタ100の構成の一例を表したものである。セットアッププロジェクタ100では、プロジェクタ10として3台のプロジェクタ10A,10B,10Cが用いられている。3台のプロジェクタ10A,10B,10Cの投射範囲は、それぞれ隣り合うプロジェクタとのブレンディングに用いられるオーバーラップする範囲を有している。以下では、20%のオーバーラップする範囲を有するものとして説明する。3台のプロジェクタ10A,10B,10Cによる投射面積に対して、プロジェクタ20の投射面積は1/25となる。このため、プロジェクタ20の明るさは、プロジェクタ10の明るさの1/25であるが、プロジェクタ10から投射される画像と、プロジェクタ20から投射される画像は実質同じ輝度となる。
 以下では、プロジェクタ20から投射される投影画像を「高解像度画像」と記す。
[プロジェクタの構成]
 図3は、プロジェクタ10,20の光学系の構成の一例として、反射型の液晶パネル(LCD)により光変調を行う反射型3LCD方式のプロジェクタの構成の一例を表した概略図である。プロジェクタ10,20は、例えば、光源部110(210)と、照明光学系120(220)と、光変調部150(250)と、投射部140(240)とを有している。
 光源部110(210)は、1または複数の光源を有している。光源は、例えば、所定の波長帯域の光を励起光として吸収し、吸収した励起光とは異なる波長帯域の蛍光を出射する蛍光体光源を用いることができる。この他、光源は、例えば、所定の波長帯域の光を出射する固体光源を用いることができる。固体光源としては、例えば、半導体レーザ(Laser Diode:LD)が挙げられる。この他、発光ダイオード(Light Emitting Diode:LED)を用いてもよい。
 光源部110(210)は、図示していないが、1または複数の光源の他に、例えば、光源駆動部と、光源を駆動する光源ドライバと、光源を駆動する際の電流値を設定する電流値設定部とを有している。光源ドライバは、例えば、図示しない電源部から供給される電源に基づき、光源駆動部から入力される信号に同期して電流値設定部が設定した電流値を持つ電流を生成する。生成された電流は、光源に供給される。
 照明光学系120(220)は、光源部110(210)から出射された白色光Lwの光軸に沿って、例えば、一対のフライアイレンズと、コンデンサーレンズと、PSコンバータ121(221)と、ダイクロイックミラー122(222),126(226)と、全反射ミラー123(223),124(224),125(225)とを備えている。光変調部150(250)は、PBS151(251),152(252),153(253)と、反射型液晶パネル154R(254R),154G(254G),154B(254B)と、色合成手段としてのクロスプリズム155(255)とを備えている。投射部140(240)は、クロスプリズム155(255)から出射された合成光を、スクリーン50に向けて投射するものである。
 PSコンバータ121(221)は、光源部110(210)から入射した白色光Lwを偏光させて透過するように機能するものである。ここでは、S偏光をそのまま透過し、P偏光をS偏光に変換する。
 ダイクロイックミラー122(222)は、PSコンバータ121(221)を透過した白色光Lwを、青色光Bとそれ以外の色光(赤色光R、緑色光G)とに分離する機能を有している。全反射ミラー123(223)は、ダイクロイックミラー122(222)を透過した色光(赤色光R、緑色光G)を全反射ミラー125(225)に向けて反射し、全反射ミラー125(225)は、全反射ミラー123(223)からの反射光(赤色光R、緑色光G)をダイクロイックミラー126(226)に向けて反射するようになっている。ダイクロイックミラー126(226)は、全反射ミラー125(225)から入射した色光(赤色光R,緑色光G)を、赤色光Rと緑色光Gとに分離する機能を有している。全反射ミラー124(224)は、ダイクロイックミラー122(222)によって分離された青色光Bを、PBS153(253)へ向けて反射するようになっている。
 PBS151(251),152(252),153(253)は、それぞれ、赤色光R、緑色光Gおよび青色光Bの光路に沿って配設されている。PBS(251),152(252),153(253)は、それぞれ、偏光分離面151A(251A),152A(252A),153A(253A)を有し、この偏光分離面151A(251A),152A(252A),153A(253A)において、入射した各色光を互いに直交する2つの偏光成分に分離する機能を有している。偏光分離面151A(251A),152A(252A),153A(253A)は、一方の偏光成分(例えばS偏光成分)を反射し、他方の偏光成分(例えP偏光成分)を透過するようになっている。
 反射型液晶パネル154R(254R),154G(254G),154B(254B)には、それぞれ、偏光分離面151A(251A),152A(252A),153A(253A)において分離された所定の偏光成分(例えばS偏光成分)の色光(赤色光R、緑色光Gおよび青色光B)が入射されるようになっている。反射型液晶パネル154R(254R),154G(254G),154B(254B)は、画像信号に基づいて与えられた駆動電圧に応じて駆動され、入射光を変調すると共に、その変調された色光(赤色光R、緑色光Gおよび青色光B)を、それぞれ、PBS151(251),152(252),153(253)へ向けて反射するように機能するものである。
 クロスプリズム155(255)は、反射型液晶パネル154R(254R),154G(254G),154B(254B)から出射されPBS151(251),152(252),153(253)を透過した所定の偏光成分(例えばP偏光成分)の色光(赤色光R、緑色光Gおよび青色光B)を合成し、投射部140(240)に向けて出射するものである。
 投射部140(240)は、例えば、複数のレンズ等を含んで構成され、光変調部150(250)から入射した合成光(投影光L1,L2)を拡大してスクリーン50へ投射するものである。
 なお、上述したプロジェクタ10,20の光学系は一例であり、これに限定されるものではない。プロジェクタ10,20は、上述した全ての光学部材を有している必要はなく、また、他の光学部材を有していていもよい。例えば、図2では、表示デバイスとして、反射型の液晶パネル(LCD)を用いた例を示したが、例えば、プロジェクタ10,20は、透過型の液晶パネル(LCD)により光変調を行う透過型3LCD方式のプロジェクタでもよい。あるいは、プロジェクタ10,20は、表示デバイスとして、デジタル・マイクロミラー・デバイス(DMD)を用いてもよい。更に、プロジェクタ10,20は、例えばMicro Electro Mechanical System(MEMS)ミラーを用いたレーザスキャン方式のプロジェクタでもよく、図3とは異なる光学系を有していてもよい。
 光路調整部30は、プロジェクタ20から出射される投影光L2の光路を調整して高解像度画像の投射位置を調整するものである。光路調整部30は、例えば、プロジェクタ20の投射範囲Xをスクリーン50の中央から左右方向(パン方向(例えば、X軸方向))および上下方向(チルト方向(例えば、Z軸方向))に振り分けるミラー31と、ミラー駆動部310とを有している。
 ミラー31は、例えば、2つの1軸ミラーまたは1つの2軸ミラーによって構成されている。1軸ミラーとしては、例えば、ガルバノミラー、ポリゴンミラーおよびMEMSミラー等が挙げられる。2軸ミラーとしては、例えば、MEMSミラーおよび電動ジンバル式ミラーホルダ等が挙げられる。
 ミラー駆動部310は、ミラー31のパン方向およびチルト方向の角度を調整するものである。
 図4および図5は、例えば、2つのミラー31A,31Bからなるミラー31による投影光L2の光路調整の様子を模式的に表したものである。図4および図5では、ミラー31Aとしてガルバノミラーを、ミラー31Bとしてポリゴンミラーを用いて例を示している。プロジェクタ20から投射される高解像度画像の投射位置のZ軸方向の調整は、例えば図4に示したように、ミラー31Aの反射面41Sを矢印方向に回転させることで調整することができる。プロジェクタ20にから投射される高解像度画像の投射位置のX軸方向の調整は、例えば図5に示したように、複数の反射面41S1,41S2,41S3を有するミラー31Bを矢印方向に回転させることで調整することができる。
 制御部40は、例えば、高解像度領域決定部41と、信号処理部42と、記憶部43とを有している。制御部40には、例えば、外部機器から観察者の視線情報および入力画像の画像信号sig0が入力される。視線情報は、例えば、観察者がスクリーン50上のどの位置を注視しているかを表した注視点座標(xy座標またはθφ座標)であり、例えば一般的なトラッキング技術によって取得される。
 高解像度領域決定部41は、入力された視線情報から、プロジェクタ20の投射範囲X(本開示の「一の領域」に相当)の位置を決定する。具体的には、プロジェクタ10の投射範囲は、例えば行列状に複数のエリアに分割されており、高解像度領域決定部41では、上記複数のエリアのうち注視点座標を包含するエリアを決定する。このエリア内の代表点を「狙い位置」とし、代表点は、例えばエリア内の中心座標とする。高解像度領域決定部41では、この狙い位置とプロジェクタ20の投射範囲Xの中心材料とを一致させる。高解像度領域決定部41は、この狙い位置情報を信号処理部42および記憶部43へ供給する。
 信号処理部42は、外部機器から入力された画像信号sig0および高解像度領域決定部41から供給された狙い位置情報から各種信号処理を行うものである。信号処理部42は、例えば、第1画像信号生成部421と、第2画像信号生成部422とを有している。
 画像信号sig0は、例えば、例えば、スクリーン50の全領域をカバーする高解像度な画像1枚の画像信号、または、互いに異なる解像度の画像2枚を1セットとする画像信号である。
 例えば画像信号sig0が画像1枚分の画像信号(図6A)である場合、第1画像信号生成部421では、高解像度領域決定部41から供給された狙い位置情報に基づいて、外部機器から入力された画像信号sig0を、例えばダウンコンバートすると共に、狙い位置を包含するエリアを矩形または円形にマスク(黒抜き)した画像信号sig1(図6B)を生成し、プロジェクタ10の画像生成部130へ供給する。この画像信号sig1が、本開示の「第1の画像信号」の一具体例に相当する。
 第2画像信号生成部422では、外部機器から入力された画像信号sig0から、高解像度領域決定部41から供給された狙い位置情報に対応するエリアの情報を抽出した画像信号sig2(図6C)を生成し、プロジェクタ20の画像生成部230へ供給する。この画像信号sig2が、本開示の「第2の画像信号」の一具体例に相当する。この画像信号sig2は、外部機器から入力された画像信号をアップコンバートしたり、さらに、超解像処理を加えてもよい。
 例えば画像信号sig0が互いに異なる解像度の画像2枚を1セットとする画像信号(図7A,図7B)の場合には、第1画像信号生成部421および第2画像信号生成部422では、以下のような信号処理がなされる。異なる解像度の画像2枚を1セットとする画像信号は、例えば、外部機器において予め解像度が落とされたスクリーン50の全領域をカバーする低解像度な画像信号sig01(図7A)と、スクリーン50の全領域をカバー、または、例えば直前にフレームの視線情報を外部機器にフィードバックすることにより切り出された一部領域の画像信号sig02(図7B)とからなる。このように、外部機器から解像度の異なる画像2枚を1セットとする画像信号を用いることにより、画像1枚分の画像信号を用いる場合と比較して、伝送負荷が大幅に軽減される。
 この場合、第1画像信号生成部421では、高解像度領域決定部41から供給された狙い位置情報に基づいて、外部機器から入力された画像信号sig01を、解像度はそのままに、例えば図6Bと同様に狙い位置を包含するエリアを矩形または円形にマスク(黒抜き)した画像信号sig1を生成し、プロジェクタ10の画像生成部130へ供給する。第2画像信号生成部422では、外部機器から入力された画像信号sig02を画像信号sig2(図6Cと同様)としてプロジェクタ20の画像生成部230へ供給する。なお、第2画像信号生成部422では、上記と同様に、画像信号sig02をアップコンバートしたり、さらに、超解像処理を加えてもよい。
 なお、制御部40には、外部機器から画像信号sig0が入力されない場合もある。例えば、ゲームやアミューズメントの用途においてコンピュータ・グラフィックス(CG)を生成する場合が相当する。その場合、外部機器から画像信号sig0の入力はなく、信号処理部42において、例えば、スクリーン50の全領域をカバーし、一部領域を黒抜きした低解像度画像と、黒抜きされた一部領域の高解像度画像とをそれぞれレンダリングし、画像信号sig1(低解像度画像)および画像信号sig2(高解像度画像)を生成する。これにより、レンダリングに要する演算の負荷が軽減される。
 記憶部43は、例えば、狙い位置情報に応じた、ミラー31のパン方向およびチルト方向の角度データと、プロジェクタ20から投射される高解像度画像の補正データとが格納されたルックアップテーブルを含んでいる。記憶部43は、高解像度領域決定部41から供給された狙い位置情報から、対応する角度データおよび補正データが読み出され、角度データは、例えば光路調整部30のミラー駆動部310へ、補正データは、例えばプロジェクタ20の画像生成部230へそれぞれ供給される。
 制御部40は、さらに、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)等を有している(いずれも図示せず)。CPUは、ROMに記憶された制御プログラムを読み出してRAMに展開し、このRAM上のプログラムのステップを実行する。制御部40は、このCPUによるプログラム実行によって、セットアッププロジェクタ100全体の動作を制御する。
[高解像度画像の補正方法]
 例えば、スクリーン50において、プロジェクタ20から投射される高解像度画像が投射される投射範囲Xを高速に移動させる場合、プロジェクタ20を機械的に動かすよりもミラー31によって投射位置を変える方が好ましい。但し、プロジェクタ20から投射される高解像度画像は、例えば図8に示したように、スクリーン50の中心から外れるに従って歪みが生じる。なお、図8では歪みが生じた投射範囲Xを表す5行×5列の枠(点線)が互いに隙間を有しているように示したが、実際には、投射範囲Xは、実線で示した矩形状の枠を埋め尽くすように定義されている。
 高解像度画像の補正は、例えば、以下のようにして行われる。ルックアップテーブルには、例えば、表2に示したように、狙い位置(注視点座標)毎にパン・チルトミラー角度および投影補正データ(写像f)が格納されている。
Figure JPOXMLDOC01-appb-T000002
 
 投影補正データ(写像f)は、例えば、下記式(1)から算出される。図9は、m×n画素の、第2画像信号生成部422からプロジェクタ20の画像生成部230へ供給される画像信号sig2の高解像度画像aを縦ベクトルで表したものである。図10は、m’×n’画素の、第2画像信号生成部422からプロジェクタ20の画像生成部230へ供給される画像信号sig2’の高解像度画像bを縦ベクトルで表したものである。プロジェクタ20の画像生成部230では、下記式(1)の演算がR/G/B毎に行われる。
 
(数1)b=Aa・・・・・(1)
 
(a:画像信号sig2の高解像度画像、b:画像信号sig2’の高解像度画像、A:写像fに対応する行列)
 なお、実際には、計算負荷を軽減するために、公知のデータ形式とアルゴリズムとによって補正を行うようにしてもよい。
[低解像度画像と高解像度画像との重畳方法]
 プロジェクタ10の画像生成部130では、図2に示したように、複数のプロジェクタ10(10A,10B,10C)を用いてスクリーン50の全域に投影画像を投射する場合には、ブレンディングや幾何補正を行って実際に投射する画像を生成する。この実際に投射する画像とは、プロジェクタ10A,10B,10Cのそれぞれの反射型液晶パネル154R,154G,154Bに表示する画像のことである。この他、後述する変形例1や変形例2のように、スクリーン50が曲面や複数の平面で構成されている場合も同様に、ブレンディングや幾何補正を行って実際に投射する投影画像(低解像度画像)を生成する。
 プロジェクタ20の画像生成部230では、第2画像信号生成部422から供給された画像信号sig2および記憶部43から供給された補正データに基づくブレンディングや幾何補正を行った画像信号sig2’から投射範囲Xに投射する投影画像(高解像度画像)を生成する。また、画像生成部230では、低解像度画像に対する高解像度画像の重畳位置を微調整するために、プロジェクタ20の反射型液晶パネル(例えば、反射型液晶パネル254R,254G,254B)に表示する画像を上下左右にシフトするようにしてもよい。調整量は、例えばカメラフィードバックによって決定される。
[作用・効果]
 本実施の形態の投射システム1は、投射比が互いに異なるプロジェクタ10,20と、プロジェクタ20から出射される投影光L2の光路を調整する光路調整部30と、制御部40と備えている。投射システム1では、入力画像のうち、視線情報に基づいて注視点座標を含む領域の画像を、プロジェクタ20で投射し、プロジェクタ20から投射される領域以外の領域の入力画像をプロジェクタ10で投射する。制御部40は、狙い位置に応じた補正データが格納されたルックアップテーブルを含む記憶部43を有しており、プロジェクタ20から投射される投影画像は、上記補正データによって、投射位置による歪みが補正される。これにより、所望の領域に高画質な映像を投射する。以下、これについて説明する。
 広視野角ディスプレイでは、より没入感の高いディスプレイシステムの開発が求められている。しかしながら、一般的な広視野角ディスプレイでは、膨大な画素数やデータ量を要するため、角度当たりの画素密度(pixels-per-degree;PPD)を十分に高めることが難しかった。
 これに対して本実施の形態では、眼の分解能が中心窩のみ高いという特性を利用して、注目領域以外は所定の解像度の画像を投射し、注目領域は、それよりも高い解像度の画像を投射するようにした。具体的には、プロジェクタ10と、プロジェクタ10よりも投射比が大きなプロジェクタ20を用い、プロジェクタ10からスクリーン50の所定の領域を除く全域に、例えば入力画像よりも低解像度な投影画像(低解像度画像)を投射し、プロジェクタ20から上記所定の領域に入力画像と同等あるいはより高解像度な投影画像(高解像度画像)を投射するようにした。プロジェクタ20から投射される高解像度画像は、制御部40に含まれるルックアップテーブルから、狙い位置に応じた歪みを補正する補正データによって、視線情報から決定される狙い位置に応じた補正がなされている。スクリーン50に対するプロジェクタ20から投射される高解像度画像の投射位置は、光路調整部30によって調整される。光路調整部30は、1または複数のミラー31を有している。上記ルックアップテーブルには、狙い位置に応じた高解像度画像の歪みの補正データと共に、狙い位置に応じた1または複数のミラーの角度データが格納されており、高解像度画像の投射位置(狙い位置)に応じて光路調整部30のミラー31の角度が調整される。これにより、所望の領域に高画質な映像を投射することが可能となる。
 以上により、広い視野角を維持したまま観察者が注視する領域の画質を高めることができるため、没入感の高い投射システムを提供することが可能となる。
 また、本実施の形態の投射システム1では、プロジェクタ10から投射される低解像度画像と、プロジェクタ20から投射される高解像度画像とを歪みなく重畳することが可能となる。
 更に、本実施の形態の投射システム1では、高解像度画像をスクリーン50の所望の領域に選択的に投射し、それ以外の領域には、低解像度画像を投射するようにしたので、スクリーン50全域に高解像度画像を投射する場合と比較して、計算や伝送の負荷を軽減することが可能となる。
 次に、本開示の変形例1~9について説明する。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、適宜その説明を省略する。
<2.変形例>
(2-1.変形例1)
 図11および図12は、本開示の変形例1としてのセットアッププロジェクタ100Aの構成の一例を表したものである。具体的には、図11は、ドーム状のスクリーンに囲まれた空間およびセットアッププロジェクタ100Aを上方から見た概略図であり、図12は、図11に示したドーム状のスクリーンに囲まれた空間およびセットアッププロジェクタ100Aをプロジェクタ20の後方から見た概略図である。上述した本開示の投射システム1は、図11および図12に示したような、例えばドーム状のスクリーン50にも適用することができる。
(2-2.変形例2)
 図13は、本開示の変形例2としてのセットアッププロジェクタ100Bの構成の一例を表したものである。上述した本開示の投射システム1は、図10に示したような、複数のスクリーン(例えば3つのスクリーン50A,50B,50C)で空間を囲む、所謂CAVEシステムにも適用することができる。
 CAVEシステムでは、光路調整部30を構成するミラー31として、例えば、図4および図5に示したように、ガルバノミラーと、ポリゴンミラーとを用いることにより、1台のプロジェクタ20で3つのスクリーン50A,50B,50Cにプロジェクタ20からの高解像度画像を所望の位置に投射することができる。
(2-3.変形例3)
 表3は、プロジェクタ10およびプロジェクタ20の性能の他の例を表したものである。表3に示したように、より明るいプロジェクタ20を用いるようにしてもよい。
例えば、表現できる最大輝度を突き上げた所謂ハイダイナミックレンジ(HDR)プロジェクタを用いてもよい。
Figure JPOXMLDOC01-appb-T000003
 
 これにより、高解像度領域Xの輝度を選択的に向上させることができ、投射システム全体におけるダイナミックレンジを向上させることが可能となる。また、セットアッププロジェクタ100全体の輝度を向上させた場合と比較して、プロジェクタ10は小型なもので済むため、消費電力を低減させることが可能となる。加えて、エネルギー効率を改善することが可能となる。
(2-4.変形例4)
 表4は、プロジェクタ10およびプロジェクタ20の性能の他の例を表したものである。プロジェクタ20には、例えば、ハイフレームレート(HFR)プロジェクタを用いてもよい。その際には、プロジェクタ10では、プロジェクタ20の2フレーム分黒抜きするため、プロジェクタ20の輝度は2倍以上とすることが好ましい。
Figure JPOXMLDOC01-appb-T000004
 
 これにより、高解像度領域Xのフレームレートを選択的に向上させることができ、セットアッププロジェクタ100全体のフレームレートを向上させた場合と比較して、データ転送量を低減させることができる。加えて、プロジェクタ10を複数台で構成し、ブレンディング処理をする際の、計算負荷を軽減することができる。
(2-5.変形例5)
 表5は、プロジェクタ10およびプロジェクタ20の性能の他の例を表したものである。プロジェクタ10の光源部110(210)には蛍光体光源を、プロジェクタ20の光源部210にはR/G/Bに対応するレーザ光源を用いるようにしてもよい。
Figure JPOXMLDOC01-appb-T000005
 
 一般に、プロジェクタの色域はエネルギー効率とトレードオフの関係にある。このため、プロジェクタ10の光源部110には蛍光体光源を、プロジェクタ20の光源部210にはレーザ光源を用いることにより、セットアッププロジェクタ100全体の色域を拡大させる場合と比較して、エネルギー効率を改善することができる。
(2-6.変形例6)
 図14は、本開示の変形例6に係る投射システム(投射システム2)の構成の一例を表したブロック図である。プロジェクタ20は、さらにズーム機構を有していてもよい。その場合、高解像度領域決定部41では、狙い位置に加えて、プロジェクタ20の投射範囲のサイズ(以下、狙いサイズとする)を決定し、狙い位置情報および狙いサイズ情報を信号処理部42および記憶部43へ供給する。
 信号処理部42では、第1画像信号生成部421において、狙い位置情報および狙いサイズ情報に基づく画像信号sig1が生成され、プロジェクタ10の画像生成部130へ画像信号sig1を供給する。また、信号処理部42では、第2画像信号生成部422において、狙い位置情報に相当するエリアの情報を抽出した画像信号sig2が生成され、プロジェクタ20の画像生成部230へ供給する。
 記憶部43は、高解像度領域決定部41から供給された狙い位置情報および狙いサイズ情報から、対応する角度データ、補正データおよびズームポジションデータが読み出される。角度データは、例えば光路調整部30のミラー駆動部310へ、補正データは、例えばプロジェクタ20の画像生成部230へ、ズームポジションデータは、例えばプロジェクタ20のズーム機構制御部260へそれぞれ供給される。
 これにより、高解像度画像が投射される投射範囲Xを任意に拡大することができる。また、投射範囲Xを縮小することで、投射範囲Xの解像度をさらに高めることができる。
(2-7.変形例7)
 図15は、本開示の変形例7に係る投射システム(投射システム3)の構成の一例を表したブロック図である。図16は、本開示の変形例7としてのセットアッププロジェクタ100Cの構成の一例を表したものである。投射システム3は、さらに、プロジェクタ20から投射される映像光L2の光路と、観察者や障害物等の遮蔽物Yの現在位置または将来位置との重なりを判断するセンシング部60をさらに備えていてもよい。
 センシング部60は、遮蔽物Yの3次元的な位置を取得するものであり、例えば、カメラ、TOF(Time Of Flight)センサまたは赤外線センサ等により構成されている。また、センシング部60は、遮蔽物Yの現在の位置情報や、一定の期間に蓄積した過去の位置情報から、遮蔽物Yの将来の位置を予測してもよい。センシング部60では、プロジェクタ20から投射される映像光L2の光路と、遮蔽物Yの現在位置とが重なると判断された場合には、その情報を信号処理部42へ供給する。
 信号処理部42では、第1画像信号生成部421において、狙い位置情報および狙いサイズ情報を用いずに、黒抜きのない画像信号sig1が生成され、プロジェクタ10の画像生成部130へ供給される。その際、画像信号sig0は第1画像信号生成部421においてダウンコンバートされてもよい。また、信号処理部42からは、プロジェクタ20を消灯させる信号、例えば、プロジェクタ20の光源出力をゼロにする信号および全黒表示信号を含む信号がプロジェクタ20の画像生成部230へ供給される。
 また、センシング部60においてプロジェクタ20から投射される映像光L2の光路と、遮蔽物Yの未来位置とが重なると判断された場合には、第1画像信号生成部421における狙い位置情報および狙いサイズ情報に基づく画像信号sig1の生成の中断と、プロジェクタ20の消灯とを徐々に行うようにしてもよい。
 更に、センシング部60は、プロジェクタ20と同軸の非可視光(例えば、赤外光)投影装置と、非可視光検出部とから構成するようにしてもよい。非可視光検出部としては、例えば、非可視光をモニタリング可能なイメージャ、具体的には、スクリーン50の全域を観察可能なカメラシステムやプロジェクタ20と同軸の受光器や、スクリーン50の背面に設置された受光器で構成することができる。スクリーン50の背面に受光器を設置する場合には、スクリーン50に微細孔を形成したり、非可視光透過素材からなるスクリーン50を用いる。
 この方法では、非可視光を投影画像のフレームレートと同等以上の頻度でモニタリングし、閾値以上の変化があったときに、プロジェクタ20から投射される映像光L2の光路と、遮蔽物Yの現在位置との重なりが生じたと判断される。
 このように、本変形例では、プロジェクタ20から投射される映像光L2の光路と、観察者や障害物等の遮蔽物Yの現在位置または将来位置との重なりを判断するセンシング部60を追加するようにしたので、これにより、観察者がスクリーン50に近づくことによる映像の欠けを防ぐ、没入感が損なわれるのを防ぐことが可能となる。
(2-8.変形例8)
 視線情報としては、例えば、外部機器から入力される画像情報(画像信号)から生成した疑似的な情報を用いるようにしてもよい。疑似的な視線情報は、例えば以下の方法を用いて生成することができる。
[方法1:注視点の統計情報の推定]
 疑似的な視線情報は、例えば、図17に示したように、機械学習の手法で、画像に対する注視点の統計情報(ヒートマップ)を教師データとして学習させた生成器から、外部機器から入力される画像情報に対するヒートマップを推定し、最も強度の高い座標を視線情報(X)として用いる。なお、図17では、強度を濃淡で表しており、より強度の低い位置を明るく、より強度の高い位置を暗く示している。更に、視線情報として、座標と共にヒートマップ情報を高解像度領域決定部41に供給し、ヒートマップの最も強度が高かった座標近傍の強度分布から狙い位置および狙いサイズを決定するようにしてもよい。
 このように、疑似的な視線情報としてヒートマップを用いることにより、実際に観察者の視線を検出することなしに、確度の高い視線情報を得ることができる。よって、センシングデバイスが不要となり、投射システムシステムを簡素化することが可能となる。また、観察者が複数存在していても、注視点を高画質化することが可能となる。
[方法2:画像認識]
 疑似的な視線情報は、例えば、図18,図19,図20に示したように、画像認識の手法で、外部機器から入力される画像信号から所望の対象物(例えば、サッカーや野球等のスポーツ観戦映像ではボール(図18)、コンサート映像ではアーティスト(図19)、博物館等では展示物の説明用プレート(図20))を検出し、その対象物の中心を視線情報(X)として用いる。具体的には、外部機器から入力される画像情報から観察者の関心が高いと予想される対象物を検出し、その対象物の輪郭線で閉じられた形状、対象物が塗りつぶされた形状の重心、または対象物を囲む矩形の中心を視線情報として用いる。更に、視線情報として、座標と共に対象物の形状の画像情報を高解像度領域決定部41に供給し、その形状から狙い位置および狙いサイズを決定するようにしてもよい。
 このように、疑似的な視線情報として画像認識を用いることにより、実際に観察者の視線を検出することなしに、確度の高い視線情報を得ることができる。よって、センシングデバイスが不要となり、投射システムシステムを簡素化することが可能となる。また、観察者が多人数であっても、大部分の観察者にとっての関心領域を高画質化することが可能となる。
[方法3:空間周波数解析]
 疑似的な視線情報は、例えば、外部機器から入力される画像信号の映像を複数の領域に分割し、空間周波数解析を行い、最も高周波成分が大きな領域の中心座標を視線情報として用いる。
 このように、疑似的な視線情報として空間周波数解析を用いることにより、センシングデバイスが不要なり、システムを簡素化することが可能となる。
(2-9.変形例9)
 また、制御部40には、入力画像として解像度の異なる2種類の画像信号を入力するようにしてもよい。2種類の画像信号のうち、高解像度な画像信号は、入力直前のフレームの視線情報を前記入力画像の送信部にフィードバックすることで生成される。これにより、1種類の入力画像を入力する場合と比較して、外部機器から制御部40への入力画像の伝送の負荷を大幅に軽減することが可能となる。
 以上、実施の形態および変形例1~9を挙げて本技術を説明したが、本技術は上記実施の形態等に限定されるものではなく、種々変形が可能である。
 なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。
 なお、本開示は以下のような構成を取ることも可能である。以下の構成の本技術によれば、第1のプロジェクタと、第2のプロジェクタを用い、第1のプロジェクタからスクリーンの一の領域を除く全域に第1の投影画像を投射し、第2のプロジェクタから上記一の領域に対応する第2の投影画像を投射する。本開示の一実施形態の投射システムは、さらに、第2のプロジェクタから出射される投影光の光路を調整して第2の投影画像を一の領域に投射する、一または複数のミラーを有する光路調整部と、視線情報に基づいて、第1の投影画像を構成する第1の画像信号と、第2の投影画像を構成する第2の画像信号と、1または複数のミラーの角度を制御するミラー角度制御信号とを生成して、それぞれ、第1のプロジェクタ、第2のプロジェクタおよび光路調整部へ供給する制御部とを有する。制御部は、視線情報から決定される狙い位置に応じた第2の投影画像の歪みを補正する補正データおよび1または複数のミラーの角度データを含むルックアップテーブルを含んでおり、第2の画像信号は、視線情報から決定される狙い位置に応じた補正がなされる。これにより、所望の領域(一の領域)に高画質な映像を投影され、没入感を向上させることが可能となる。
(1)
 スクリーンと、
 前記スクリーンの一の領域を除く全域に第1の投影画像を投射する第1のプロジェクタと、
 前記スクリーンの前記一の領域に第2の投影画像を投射する第2のプロジェクタと、
 1または複数のミラーを含み、前記第2のプロジェクタから出射される投影光の光路を前記1または複数のミラーによって調整して前記第2の投影画像を前記一の領域に投射する光路調整部と、
 視線情報から決定される狙い位置に応じた前記第2の投影画像の歪みを補正する補正データおよび前記1または複数のミラーの角度データを含むルックアップテーブルを含み、前記視線情報に基づいて、前記第1の投影画像を構成する第1の画像信号と、前記第2の投影画像を構成する第2の画像信号と、前記1または複数のミラーの角度を制御するミラー角度制御信号とを生成して、それぞれ、前記第1のプロジェクタ、前記第2のプロジェクタおよび前記光路調整部へ供給する制御部と
 を備えた投射システム。
(2)
 前記第1の投影画像は前記一の領域がマスクされている、前記(1)に記載の投射システム。
(3)
 前記第1のプロジェクタの投射範囲を複数の領域に分割し、
 前記ルックアップテーブルには、該領域毎の前記補正データおよび前記1または複数のミラーの角度データが格納されている、前記(1)または(2)に記載の投射システム。
(4)
 前記制御部は、高解像度領域決定部と、信号処理部と、前記ルックアップテーブルを含む記憶部とを有し、
 前記高解像度領域決定部は、前記第1のプロジェクタの投射範囲の前記複数の領域のうち注視点座標を包含する領域を決定し、
 前記信号処理部は、前記高解像度領域決定部から前記領域の情報を受け取り、前記第1の画像信号および前記第2の画像信号を生成する、前記(3)に記載の投射システム。
(5)
 前記第2の投影画像は前記第1の投影画像よりも高い解像度を有している、前記(3)または(4)に記載の投射システム。
(6)
 前記第1の投影画像の解像度は、前記制御部に入力される入力画像の解像度よりも低い、前記(5)に記載の投射システム。
(7)
 前記第2の投影画像の解像度は、前記制御部に入力される入力画像の解像度と同じまたは前記入力画像の解像度よりも高い、前記(5)または(6)に記載の投射システム。
(8)
 前記第2のプロジェクタの最大輝度は、前記第1のプロジェクタの最大輝度よりも高い、前記(1)乃至(7)のうちのいずれか1つに記載の投射システム。
(9)
 前記第2のプロジェクタのフレームレートは、前記第1のプロジェクタのフレームレートよりも高い、前記(1)乃至(8)のうちのいずれか1つに記載の投射システム。
(10)
 前記第2のプロジェクタの色域は、前記第1のプロジェクタの色域よりも広い、前記(1)乃至(9)のうちのいずれか1つに記載の投射システム。
(11)
 前記第2のプロジェクタはズーム機構をさらに有する、前記(1)乃至(10)のうちのいずれか1つに記載の投射システム。
(12)
 前記第2のプロジェクタから出射される映像光の光路と遮蔽物との重なりを判断するセンシング部をさらに有し、
 前記映像光の光路と前記遮蔽物とが重なると判断された場合、前記第2のプロジェクタを消灯し、前記第1のプロジェクタから前記制御部に入力された前記一の領域を含む入力画像を投射する、前記(1)乃至(11)のうちのいずれか1つに記載の投射システム。
(13)
 予め前記制御部に入力される入力画像に対する注視点のヒートマップを推定し、最も強度の高い座標を前記視線情報として前記制御部に入力する、前記(1)乃至(12)のうちのいずれか1つに記載の投射システム。
(14)
 予め前記制御部に入力される入力画像から所定の対象物を検出し、前記対象物の中心座標を前記視線情報として用いる、前記(1)乃至(12)のうちのいずれか1つに記載の投射システム。
(15)
 前記入力画像の映像を複数の領域に分解し、空間周波数解析を行い、最も高周波成分が大きな領域の中心座標をとして前記制御部に入力する、前記(14)に記載の投射システム。
(16)
 前記制御部には、入力画像として、第1の解像度を有する第1の入力画像と、前記一の領域に対応する、第2の解像度を有する第2の入力画像が入力される、前記(1)乃至(15)のうちのいずれか1つに記載の投射システム。
(17)
 前記第2の解像度は前記第1の解像度よりも高い、前記(16)に記載の投射システム。
(18)
 前記第2の入力画像は、入力直前のフレームの視線情報を前記入力画像の送信部にフィードバックすることで生成される、前記(17)に記載の投射システム。
 本出願は、日本国特許庁において2021年2月26日に出願された日本特許出願番号2021-031153号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。
 当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (18)

  1.  スクリーンと、
     前記スクリーンの一の領域を除く全域に第1の投影画像を投射する第1のプロジェクタと、
     前記スクリーンの前記一の領域に第2の投影画像を投射する第2のプロジェクタと、
     1または複数のミラーを含み、前記第2のプロジェクタから出射される投影光の光路を前記1または複数のミラーによって調整して前記第2の投影画像を前記一の領域に投射する光路調整部と、
     視線情報から決定される狙い位置に応じた前記第2の投影画像の歪みを補正する補正データおよび前記1または複数のミラーの角度データを含むルックアップテーブルを含み、前記視線情報に基づいて、前記第1の投影画像を構成する第1の画像信号と、前記第2の投影画像を構成する第2の画像信号と、前記1または複数のミラーの角度を制御するミラー角度制御信号とを生成して、それぞれ、前記第1のプロジェクタ、前記第2のプロジェクタおよび前記光路調整部へ供給する制御部と
     を備えた投射システム。
  2.  前記第1の投影画像は前記一の領域がマスクされている、請求項1に記載の投射システム。
  3.  前記第1のプロジェクタの投射範囲を複数の領域に分割し、
     前記ルックアップテーブルには、該領域毎の前記補正データおよび前記1または複数のミラーの角度データが格納されている、請求項1に記載の投射システム。
  4.  前記制御部は、高解像度領域決定部と、信号処理部と、前記ルックアップテーブルを含む記憶部とを有し、
     前記高解像度領域決定部は、前記第1のプロジェクタの投射範囲の前記複数の領域のうち注視点座標を包含する領域を決定し、
     前記信号処理部は、前記高解像度領域決定部から前記領域の情報を受け取り、前記第1の画像信号および前記第2の画像信号を生成する、請求項3に記載の投射システム。
  5.  前記第2の投影画像は前記第1の投影画像よりも高い解像度を有している、請求項3に記載の投射システム。
  6.  前記第1の投影画像の解像度は、前記制御部に入力される入力画像の解像度よりも低い、請求項5に記載の投射システム。
  7.  前記第2の投影画像の解像度は、前記制御部に入力される入力画像の解像度と同じまたは前記入力画像の解像度よりも高い、請求項5に記載の投射システム。
  8.  前記第2のプロジェクタの最大輝度は、前記第1のプロジェクタの最大輝度よりも高い、請求項1に記載の投射システム。
  9.  前記第2のプロジェクタのフレームレートは、前記第1のプロジェクタのフレームレートよりも高い、請求項1に記載の投射システム。
  10.  前記第2のプロジェクタの色域は、前記第1のプロジェクタの色域よりも広い、請求項1に記載の投射システム。
  11.  前記第2のプロジェクタはズーム機構をさらに有する、請求項1に記載の投射システム。
  12.  前記第2のプロジェクタから出射される映像光の光路と遮蔽物との重なりを判断するセンシング部をさらに有し、
     前記映像光の光路と前記遮蔽物とが重なると判断された場合、前記第2のプロジェクタを消灯し、前記第1のプロジェクタから前記制御部に入力された前記一の領域を含む入力画像を投射する、請求項1に記載の投射システム。
  13.  予め前記制御部に入力される入力画像に対する注視点のヒートマップを推定し、最も強度の高い座標を前記視線情報として前記制御部に入力する、請求項1に記載の投射システム。
  14.  予め前記制御部に入力される入力画像から所定の対象物を検出し、前記対象物の中心座標を前記視線情報として用いる、請求項1に記載の投射システム。
  15.  前記入力画像の映像を複数の領域に分解し、空間周波数解析を行い、最も高周波成分が大きな領域の中心座標をとして前記制御部に入力する、請求項14に記載の投射システム。
  16.  前記制御部には、入力画像として、第1の解像度を有する第1の入力画像と、前記一の領域に対応する、第2の解像度を有する第2の入力画像が入力される、請求項1に記載の投射システム。
  17.  前記第2の解像度は前記第1の解像度よりも高い、請求項16に記載の投射システム。
  18.  前記第2の入力画像は、入力直前のフレームの視線情報を前記入力画像の送信部にフィードバックすることで生成される、請求項17に記載の投射システム。
PCT/JP2022/002535 2021-02-26 2022-01-25 投射システム WO2022181156A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280015694.9A CN116965010A (zh) 2021-02-26 2022-01-25 投射***

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021031153 2021-02-26
JP2021-031153 2021-02-26

Publications (1)

Publication Number Publication Date
WO2022181156A1 true WO2022181156A1 (ja) 2022-09-01

Family

ID=83049101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002535 WO2022181156A1 (ja) 2021-02-26 2022-01-25 投射システム

Country Status (2)

Country Link
CN (1) CN116965010A (ja)
WO (1) WO2022181156A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116565A (ja) * 2006-11-01 2008-05-22 Seiko Epson Corp 画像補正装置、プロジェクションシステム、画像補正方法、画像補正プログラム、および記録媒体
WO2016098600A1 (ja) * 2014-12-17 2016-06-23 ソニー株式会社 情報処理装置および方法
US9588408B1 (en) * 2014-05-15 2017-03-07 Autofuss Methods and systems for projecting a target portion of an image at a higher resolution
JP2019179390A (ja) * 2018-03-30 2019-10-17 株式会社Preferred Networks 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116565A (ja) * 2006-11-01 2008-05-22 Seiko Epson Corp 画像補正装置、プロジェクションシステム、画像補正方法、画像補正プログラム、および記録媒体
US9588408B1 (en) * 2014-05-15 2017-03-07 Autofuss Methods and systems for projecting a target portion of an image at a higher resolution
WO2016098600A1 (ja) * 2014-12-17 2016-06-23 ソニー株式会社 情報処理装置および方法
JP2019179390A (ja) * 2018-03-30 2019-10-17 株式会社Preferred Networks 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル

Also Published As

Publication number Publication date
CN116965010A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US9955149B2 (en) Method and device for projecting a 3-D viewable image
US8556431B2 (en) Apparatus and method for reducing speckle in display of images
US10672349B2 (en) Device for project an image
US9664376B2 (en) Projection-type image display apparatus
US9244275B1 (en) Visual display system using multiple image sources and heads-up-display system using the same
US7052142B2 (en) Enhanced resolution projector
JP5431312B2 (ja) プロジェクタ
US20100097393A1 (en) Display apparatus
KR20120023627A (ko) 고 동적 범위 투사 시스템
JP2008116565A (ja) 画像補正装置、プロジェクションシステム、画像補正方法、画像補正プログラム、および記録媒体
US10298920B2 (en) Projector and method of controlling a projector
RU2629889C1 (ru) Устройство отображения изображения и способ управления устройством отображения изображения
EP3064994A1 (en) System and method for increased spatial resolution
WO2019154942A1 (en) Projection array light field display
CN108848359B (zh) 影像显示***及影像显示方法
JP2012018214A (ja) 投写型映像表示装置
CN208903641U (zh) 投影装置
CN111751982B (zh) 一种扫描显示方法及装置
WO2022181156A1 (ja) 投射システム
CN114760451B (zh) 投影图像校正提示方法、装置、投影设备和存储介质
JP2006138895A (ja) 画像表示装置、液晶パネルの駆動方法
JP6931820B2 (ja) 照明装置
JP2016181865A (ja) 映像処理装置、表示装置、及び、映像処理方法
CN114257796B (zh) 投影装置
TWI654447B (zh) 影像顯示系統及影像顯示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759198

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280015694.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759198

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP