WO2024080234A1 - 投影装置、補正装置、投影システム、補正方法及びコンピュータプログラム - Google Patents

投影装置、補正装置、投影システム、補正方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2024080234A1
WO2024080234A1 PCT/JP2023/036495 JP2023036495W WO2024080234A1 WO 2024080234 A1 WO2024080234 A1 WO 2024080234A1 JP 2023036495 W JP2023036495 W JP 2023036495W WO 2024080234 A1 WO2024080234 A1 WO 2024080234A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
image
lens
projection surface
optical path
Prior art date
Application number
PCT/JP2023/036495
Other languages
English (en)
French (fr)
Inventor
将秀 重野
類 松本
賢悟 林
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2024080234A1 publication Critical patent/WO2024080234A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present disclosure relates to a projection device, a correction device, a projection system, a correction method, and a computer program that correct parameters when projecting an image by the projection device.
  • one method for correcting distortion in an image projected onto a screen by a projection device involves photographing the projected image and the screen, detecting the four corners of each, and making corrections (see, for example, patent documents).
  • the present disclosure provides a projection device, a correction device, a projection system, a correction method, and a computer program that realizes correction of various parameters of a projection device placed in a target space in which a screen is installed, without the need for actual projection by the projection device.
  • the projection device of the present disclosure projects an image onto a projection surface.
  • the projection device includes a light source that emits light used to project the image, a lens on an optical path from the light source to the projection surface, an image sensor used to capture an image of the projection surface, and an optical element that guides the light for projection from the light source to the lens and guides the light from the lens obtained by capturing the image to the image sensor.
  • a first partial optical path from the optical element to the projection surface coincides with a second partial optical path from the projection surface to the optical element of a second optical path from the projection surface to the image sensor.
  • the projection device, correction device, projection system, correction method, and computer program disclosed herein can correct parameters of a projection device without the need to actually perform projection using the projection device.
  • FIG. 1 is a conceptual diagram illustrating a projection system according to an embodiment.
  • 1 is an example showing an overlap between a projection area and a shooting area.
  • 13 is another example showing the overlap of the projection area and the shooting area.
  • 13 is another example showing the overlap of the projection area and the shooting area.
  • 1 is a block diagram showing a configuration of a projection device according to an embodiment.
  • 3 is a conceptual diagram showing projection and display by the projection device of FIG. 2.
  • 1 is a block diagram showing a configuration of a correction device according to an embodiment.
  • FIG. 2 is a schematic diagram showing an example of image projection by a projection device.
  • FIG. 2 is a schematic diagram illustrating an example of a projection of a corrected image.
  • FIG. 10A and 10B are schematic diagrams showing an example of the shape of an image projected before correction and markers placed on a projection surface.
  • FIG. 13 is a schematic diagram showing the shape of an image projected after correction. 13 is an example of the shape of a marker on a projection surface that specifies an image projection range. 13 is another example of the shape of the marker on the projection surface that specifies the image projection range. 13 is another example of the shape of the marker on the projection surface that specifies the image projection range. 13 is a captured image of a projection surface on which no markers are placed. 7B is an example in which a user places a marker on the projected image of FIG. 7A. 13 is an example of a marker on the projection surface that specifies a zoom range.
  • FIG. 8B is an example of a zoom-corrected projected image according to the markers of FIG. 8A.
  • 1 is an example of a marker on a projection plane that specifies the center of an image.
  • 9B is an example of a projection image shift-corrected according to the markers of FIG. 9A.
  • 10 is a flowchart illustrating an example of a process executed in the projection device.
  • 10 is a flowchart illustrating an example of a process executed in the imaging device.
  • 10 is a flowchart showing an example of a correction process of a projection range executed in the imaging device.
  • 10 is a flowchart illustrating an example of a zoom correction process executed in the imaging device.
  • 10 is a flowchart illustrating an example of a shift correction process executed in the imaging device.
  • the projection device, correction device, projection system, correction method, and computer program disclosed herein correct projection parameters even when an image is not being projected.
  • projection parameters refer to parameter values, etc., used for projection, such as parameter values for geometric correction, parameter values for zoom adjustment, or parameter values for shift adjustment.
  • “Shooting area” refers to the largest area that can be mechanically photographed using the projection device's shooting function.
  • Processing area refers to the maximum area that can be mechanically projected onto a projection surface by a projection device.
  • Processing range refers to the range in which the actual image is projected onto the projection surface after adjustment by the projection device.
  • Geometric correction refers to the correction of geometric distortions that occur when an image is displayed on a display device.
  • geometric correction is a correction that displays an image that has trapezoidal, barrel, or pincushion distortion as a rectangular image.
  • Trapezoidal distortion is a distortion in which an image that should be rectangular is projected onto the screen as a trapezoid.
  • Barrel distortion is a distortion in which the image is displayed as if it bulges in the center.
  • Pincushion distortion is a distortion in which the image is displayed as if it bulges in the center.
  • Geometric correction is achieved by adjusting the parameter values of the displayed image.
  • the projection system 1 is connected to a projection device 2 and a correction device 3.
  • the projection device 2 is a projector that projects an image onto a screen 4, which is a projection surface.
  • the correction device 3 corrects the parameters used by the projection device 2 in the projection.
  • the projection device 2 has a built-in mechanism for shooting in addition to a mechanism for projection.
  • the optical axis L1 for projection and the optical axis L2 for shooting coincide with each other.
  • the projection region R1 and the shooting region R2 at least partially overlap with each other.
  • the optical axis L1 for projection and the optical axis L2 for shooting coincide with each other, the relationship between the projection region R1 and the shooting region R2 is unchanged. In other words, when a certain point P1 is specified in the projection region R1, the position of the point P2 corresponding to the point P1 can be uniquely obtained in the shooting region R2.
  • Figure 1B is an example where the entire capture area R2 is included within the projection area R1.
  • Figure 1C is an example where the projection area R1 and the capture area R2 coincide.
  • Figure 1D is an example where the projection area R1 is included within the capture area R2. Which case applies depends on conditions such as the specifications of the light modulation element 22, the optical element 23, and the image sensor 25.
  • the projection device 2 has a light source 21, a light modulation element 22, an optical element 23, a lens 24, and an image sensor 25.
  • the light source 21 emits light used for projecting an image.
  • the light modulation element 22 modulates the red, green, and blue light emitted from the light source 21 based on the image to be projected.
  • the lens 24 is located on the optical path from the light source 21 to the projection surface, which is used for projecting and photographing the image.
  • the image sensor 25 is used for photographing the image on the projection surface.
  • the optical element 23 guides the light for projection modulated by the light modulation element 22 to the lens 24, and guides the light from the lens 24 obtained by photographing to the image sensor 25.
  • the optical element 23 may be, for example, a prism or a half mirror. Note that other optical elements such as lenses and prisms are arranged between the light source 21 and the lens 24 and between the lens 24 and the image sensor 25, but these are omitted from the illustration.
  • the light source 21, the light modulation element 22, the optical element 23, and the lens 24 are used as a projection mechanism.
  • the lens 24, the optical element 23, and the image sensor 25 are used as an image capturing mechanism.
  • the projection mechanism captures an image of the projection surface in order to adjust the projection parameters as a preprocessing step before projecting an image.
  • the first partial optical path from the optical element 23 to the screen 4 coincides with the second partial optical path from the screen 4 to the optical element 23 of the second optical path from the screen 4 to the image sensor 25.
  • Photographing process In the photographing process executed as a pre-processing, in the projection device 2, the light received by the lens 24 is guided to the image sensor 25 via the optical element 23. This allows the projection device 2 to photograph the screen 4.
  • the photographed image data obtained by the image sensor 25 is transmitted to the correction device 3 by a communication circuit (not shown).
  • the projection device 2 has an autofocus function (not shown) and can automatically adjust the focus.
  • the communication circuit transmits various parameters used in the photographing process of the image to the correction device 3 together with the photographed image data.
  • the parameter transmitted from the projection device 2 to the correction device 3 is, for example, a value indicating the focal length.
  • the projection device 2 may also perform shift processing and zoom processing as necessary, and transmit them as parameters used in the photographing process.
  • FIG. 3 is a schematic diagram showing how, in the projection device 2, a photographing mechanism acquires a photographed image Im of the screen 4, and a projection mechanism projects the image onto the screen 4.
  • the first partial optical path from the optical element 23 to the projection surface of the first optical path from the light source 21 to the projection surface coincides with the second partial optical path from the projection surface to the image sensor 23.
  • the projection device 2 since the projection area R1 and the photographing area R2 are the same, the projection device 2 does not need to perform coordinate conversion to match the coordinate system of the projection area R1 with the coordinate system of the photographing area R2, and therefore does not need to calibrate the projected image and the photographed image.
  • the lens 24 since the lens 24 is shared between shooting and projection, the lens 24 has already been focus-adjusted in the shooting process, which is a pre-processing, so that the focus is already adjusted at the time of the subsequent projection process. Specifically, the focus is adjusted and maintained in the adjusted state by changing the distance between the optical element 23, the lens 24, and one or more optical elements between the optical element 23 and the lens 24.
  • a contrast method is used for focus adjustment. Specifically, as described above, the positional relationship between the optical element 23, the lens 24, and one or more optical elements between the optical element 23 and the lens 24 is adjusted multiple times to capture an image, and the positional relationship with the highest contrast among the multiple images is selected to adjust the focus. This eliminates the need to adjust the focus after the light source 21 emits the projection light, and the light source 21 emits light to project a focused image immediately at the time of starting projection.
  • the projection device 2 in the projection process, in the projection device 2, the light emitted by the light source 21 is modulated by the light modulation element 22. Also, in the projection device 2, the light modulated by the light modulation element 22 is guided to the lens 24 via the optical element 23, and projected onto the screen 4 via the lens 24 as projection light.
  • the projection device 2 may correct the projection range of the image, such as geometric correction, the shift amount and zoom amount of the lens 24, and parameters of the lens 24 and other optical elements, under the control of the correction device 3. Also, since the focus is adjusted in the shooting process, there is no need to perform focus adjustment again during the projection process. Note that the shift amount and zoom amount of the lens 24 are corrected in the shooting process, which is the pre-processing described above, and may also be corrected in the preparation process performed prior to the shooting process.
  • FIG. 3 shows a schematic representation of a captured image Im.
  • This captured image Im may be stored, for example, in a storage device (not shown) built into the projection device 2, or may be transmitted to an external information processing device (for example, correction device 3) connected to the projection device.
  • the correction device 3 is an information processing device including an arithmetic circuit 30, an input device 31, an output device 32, a communication circuit 33, and a storage device 34.
  • the correction device 3 transmits a control signal for correcting shooting parameters.
  • the arithmetic circuit 30 is a controller that controls the entire correction device 3.
  • the arithmetic circuit 30 reads and executes a correction program P stored in the storage device 34 to realize various correction processes during projection in the projection device 2.
  • the arithmetic circuit 30 is not limited to a circuit that realizes a predetermined function through the cooperation of hardware and software, but may be a hardware circuit designed specifically to realize a predetermined function.
  • the arithmetic circuit 30 can be realized by various processors such as a CPU, MPU, GPU, FPGA, DSP, ASIC, etc.
  • the input device 31 is an input means such as an operation button, keyboard, mouse, touch panel, microphone, etc. that is used for operations and data input.
  • the output device 32 is an output means such as a display, speaker, etc. that is used for outputting processing results and data.
  • the communication circuit 33 is a communication means for enabling data communication with an external device (e.g., the projection device 2).
  • the above-mentioned data communication may be wired and/or wireless, and may be performed according to known communication standards.
  • wired data communication is performed by using a communication controller of a semiconductor integrated circuit that operates in accordance with the Ethernet (registered trademark) standard and/or the USB (registered trademark) standard as the communication circuit 33.
  • Wireless data communication is performed by using a communication controller of a semiconductor integrated circuit that operates in accordance with the IEEE 802.11 standard for LANs (Local Area Networks) and/or the fourth/fifth generation mobile communication systems, known as 4G/5G, for mobile communications, as the communication circuit 33.
  • the storage device 34 is a recording medium that records various information.
  • the storage device 34 is realized, for example, by a RAM, a ROM, a flash memory, an SSD (Solid State Drive), a hard disk drive, or other storage device, or an appropriate combination of these.
  • the storage device 34 stores the correction program P, which is a computer program executed by the arithmetic circuit 30, and various data such as the marker data D1 used to execute the correction.
  • Marker data D1 is data that includes a reference point indicating a specific position on the projection surface that is used for correction when projecting an image.
  • the projection position when projecting an image can be determined based on the reference point indicated by marker data D1.
  • the degree of zoom for zoom correction can be determined based on the reference point indicated by marker data D1.
  • the amount of shift for image shifting can be determined based on the reference point indicated by marker data D1.
  • correction of the projection range of an image such as geometric correction, zoom correction, which is a correction of parameters, and shift correction, which is a correction of parameters, etc.
  • the arithmetic circuit 30 When correcting the projection range such as geometric correction, the arithmetic circuit 30 obtains a captured image of a projection surface on which a predetermined marker is arranged from the projection device 2, and detects the predetermined marker from the captured image.
  • the predetermined marker corresponds to a reference point indicating the projection range of an ideal image.
  • the arithmetic circuit 30 sets the range indicated by the detected marker as the projection range.
  • the shape of the marker used here is stored, for example, as marker data D1 in the storage device 34, and the arithmetic circuit 30 can detect the predetermined marker from the captured image obtained from the projection device 2 by using the marker data D1 as a reference. An example of the shape of the marker will be described later with reference to FIGS. 6A to 6C.
  • FIG. 5A is a schematic diagram showing the projection area and shooting area when the projection surface is not perpendicular to the projection axis of the projection device 2 and is projected obliquely onto the projection surface, and shows the state of the projection surface being photographed from the front.
  • the original image is rectangular, but because the projection device 2 projects obliquely, the projection area and shooting area are a quadrangle formed by four points A to D, and are trapezoids.
  • FIG. 5A is a schematic diagram showing the projection area and shooting area when the projection surface is not perpendicular to the projection axis of the projection device 2 and is projected obliquely onto the projection surface, and shows the state of the projection surface being photographed from the front.
  • the original image is rectangular, but because the projection device 2 projects obliquely, the projection area and shooting area are a quadrangle formed by four points A to D, and are trapezoids.
  • 5A shows an example in which the four points A' to D' are markers indicating the projection range of the ideal image, and the quadrangle indicated by points A' to D' is set as the projection range.
  • the calculation circuit 30 detects the coordinates of the markers, and by performing coordinate conversion so that points A to D of the projected image are each within the projection range of points A' to D', it can be displayed within the desired projection range as shown in FIG. 5B.
  • coordinate transformation for example, homography transformation, which will be described later with reference to FIG. 5C and FIG. 5D, is used.
  • the arithmetic circuit 30 controls the projection device 2 to project only the light that projects the transformed image corresponding to the projection range, among the light corresponding to each pixel of the image of the light source 21, and not to project the light that corresponds to the outside of the projection range.
  • the arithmetic circuit 30 controls the projection device 2 to mask the part that corresponds to the outside of the projection range with black. This allows the correction device 3 to correct the projection image so that it is projected in the set projection range. By correcting the projection range in this way, the correction device 3 can correct the projection range by the projection device 2 to a desired shape. This allows the correction device 3 to perform geometric correction on the projection image of the projection device 2, for example.
  • FIG. 5C shows an example of an original image projected by the projection device 2 from the state of FIG. 5A.
  • points A to D indicate the four corners of the projection area and the capture area. Therefore, for example, the four corners of the projected image projected by the projection device 2 are points A to D. Also, points A to D correspond to points A' to D', which indicate the projection range, respectively. Note that each point in the projected image and the captured image is represented using X and Y coordinates, as shown in FIG. 5C.
  • the image projected from the projection device 2 in other words the four corners of the original image, are respectively represented by coordinates A (xa, ya), B (xb, yb), C (xc, yc), and D (xd, yd). Furthermore, the four corners of the projection range are respectively represented by the following coordinates: A' (xa', ya'), B' (xb', yb'), C' (xc', yc'), and D' (xd', yd'). In this way, the coordinates before transformation are represented by (xi, yi), and the coordinates after transformation are represented by (xi', yi').
  • the arithmetic circuit 30 calculates the homography matrix H using the coordinates of the corresponding points and the following equation (1). Furthermore, after calculating the homography matrix H, the arithmetic circuit 30 performs homography transformation on the entire pre-transformation image, i.e., on each pixel of the image, using the calculated homography matrix H to generate a projected image, which is the image after transformation. In this manner, by using the homography transformation, a projected image is obtained as shown in Fig. 5D.
  • FIG. 6A shows an example of a captured image in which four specific shapes are each designated as a marker M1, and a rectangle defined by each marker M1 is the projection range.
  • each marker M1 is mountain-shaped, and the projection range is a rectangular area connecting the centers of gravity of each marker.
  • the calculation circuit 30 detects four markers M1 from the captured image, it sets the rectangular area connecting the centers of gravity of each marker M1 as the projection range. Note that the calculation circuit 30 may set the projection range using a feature point other than the center of gravity.
  • FIG. 6B shows an example of a captured image in which four points are markers M2 and the projection range is a rectangle defined by the markers M2.
  • the arithmetic circuit 30 detects four points as markers M2 from the captured image, it sets the rectangular area connecting the markers M2 as the projection range.
  • FIG. 6C shows an example of a captured image in which the rectangular frame itself is the marker M3, and the frame indicated by the marker M3 is the projection range.
  • the arithmetic circuit 30 detects the rectangular frame as the marker M3 from the captured image, it sets the rectangular area indicated by the marker M3 as the projection range.
  • the shapes of the markers M1 to M3 shown in Figures 6A to 6C are examples, and the shape and arrangement of the markers are not limited as long as they are capable of identifying the projection range. Furthermore, these markers may be temporarily attached to the projection surface, or may utilize a configuration that is originally present on the projection surface.
  • the shape indicated by the markers can be determined according to the purpose of the projection. Furthermore, the shape indicated by the markers may be a shape intended for geometric correction.
  • the arithmetic circuit 30 may control the projection device 2 to perform geometric correction using a marker identified by something other than the captured image. For example, the arithmetic circuit 30 sets a predetermined range or a range specified via the input device 31 as the projection range, and controls the projection device 2 to adjust the light emitted from the light source 21 so that the image is projected into that projection range.
  • FIG. 7A shows an example of a captured image that does not include a marker.
  • a captured image does not include a marker
  • FIG. 7B shows four markers M4 specified by the user.
  • the markers M4 are cross-shaped, and a rectangular area connecting the intersections of each of the markers M4 is set as the projection range.
  • the calculation circuit 30 receives a zoom request, it detects a predetermined marker indicating the zoom range from the captured image of the projection surface acquired from the projection device 2. The calculation circuit 30 also sets the range indicated by the detected marker as the projection range. Next, the calculation circuit 30 generates a control signal so that the set projection range is displayed larger (occupies a larger proportion) in the shooting area, and controls the projection device 2. Specifically, the calculation circuit 30 generates a control signal that changes the distance between the multiple lenses included in the lens 24. This allows the correction device to control the projection area of the lens 24 as the projection range, so that the projection device 2 can zoom the image so as to increase the number of effective pixels for the projection range. In the following description, "zooming an image” means changing the projected image from the wide side to the telephoto side.
  • the calculation circuit 30 compares the size of the current projection area and shooting area with the size of the projection range calculated by the marker M11.
  • the calculation circuit 30 also generates a control signal to control the projection device 2 according to the calculated value. Specifically, the calculation circuit 30 generates a control signal to change the distance between the multiple lenses included in the lens 24. This allows the projection area and shooting area of the projection device 2 to be adjusted to the area specified by the marker M11, as shown in FIG.
  • the projection area and shooting area may be controlled to be zoomed as much as possible to match the area identified by the multiple markers M1. Note that when the projection device 20 captures an image from an oblique direction and projects the image onto the screen 4, the positions of the markers M11 are not captured in a relationship that draws a rectangle as shown in FIG. 8A, but rather, for example, in a relationship that draws a trapezoid.
  • the calculation circuit 30 When the calculation circuit 30 receives a request to change the image center position, it detects a predetermined marker indicating the center position of the image from the captured image of the projection surface. The calculation circuit 30 also sets the position specified by the detected marker as the center position of the shooting area. Next, the calculation circuit 30 adjusts the lens 24 along a plane perpendicular to the optical axis so that the shooting by the projection device 2 is centered on the set center position. This allows the correction device 3 to shift the projection range around the desired position during projection.
  • FIG. 9A shows a captured image including a marker M12 indicating a reference position when shifting an image.
  • the image includes four mountain-shaped markers M12, and the center of a rectangle connecting the vertices of each marker is set as the center C1 of the desired projection range.
  • the center C2 of the current projection area and shooting area is shifted from the center C1 of the desired projection range. Therefore, the calculation circuit 30 controls the projection device 2 so that the center C2 of the projection area and shooting area coincides with the center C1 of the desired projection range.
  • the calculation circuit 30 calculates the deviations of the center C2 of the current projection area and shooting area from the center C1 of the desired projection range obtained by the marker M12 on the x-axis and y-axis. In addition, the calculation circuit 30 calculates the amount of movement of the lens 24 on the x-axis and y-axis according to the obtained values, and controls the projection device 2. As a result, as shown in FIG. 9B, the center C2 of the projection area and shooting area by the projection device 2 can be matched with the center C1 specified by the marker M12. Even if no markers are included, for example, the point where the diagonals corresponding to the squares in the captured image intersect may be found as the center of the projection range, and the image may be shifted to match the found center.
  • the projection device 2 arranged facing the projection surface adjusts the shooting parameters (S101).
  • the projection device 2 adjusts the shooting parameters such as the focal length, shift correction, zoom, etc.
  • the projection device 2 captures an image of the projection surface (S102).
  • the projection device 2 transmits the shooting parameters adjusted in step S101 and the shooting image data obtained in step S102 to the correction device 3 (S103).
  • the projection device 2 receives the control signal generated by the correction device 3 for the shooting parameters and captured image data sent in step S103 (S104).
  • the projection device 2 adjusts the projection parameters according to the control signal received in step S104 (S105). At this time, the focus parameters may not be adjusted, and the parameters adjusted in step S101 may be used.
  • the projection device 2 turns on the light source 21 and projects an image onto the projection surface (S106).
  • focus adjustment is performed in the shooting process, which is a pre-processing step, so there is no need to adjust the focus in the projection process.
  • by adjusting the projection parameters using a control signal generated by the correction device according to the captured image obtained in the shooting process and the shooting parameters, and then projecting an image there is no need for adjustment after projection.
  • the correction device 3 receives the shooting parameters and the shot image data of the projection surface transmitted from the projection device 2 (S201).
  • the correction device 3 executes a correction process for the projection range and generates a control signal for correcting the projection range (S202).
  • the correction process for the projection range will be described later with reference to FIG. 12A.
  • the correction device 3 also executes a shift correction process to generate a control signal for the shift correction (S203).
  • the shift correction process will be described later with reference to FIG. 12B.
  • the correction device 3 then executes a zoom correction process and generates a zoom correction control signal (S204).
  • the zoom correction process will be described later with reference to FIG. 12C.
  • the correction device 3 transmits the control signal generated in steps S202 to S204 to the projection device 2 (S205).
  • the correction device 3 generates control signals for the projection range correction process, the zoom correction process, and the shift correction process using the shooting parameters and the shooting image data of the projection surface transmitted from the projection device 2. This allows the correction device 3 to correct the projection by the projection device 2.
  • ⁇ Projection range correction process>> 12A a description will be given of the processing of the projection range executed by the correction device 3.
  • the correction device 3 detects a marker indicating the projection range from the captured image data transmitted from the projection device 2 (S301).
  • the correction device 3 determines whether or not a marker was included in the captured image data (S302).
  • the correction device 3 sets the projection range of the image based on the marker (S303). On the other hand, when the captured image data does not include a marker, the correction device 3 receives the projection range from the user via the input device 31 (S304).
  • the correction device 3 performs coordinate transformation to project the image onto the projection range set in step S303 or S304 (S305).
  • the correction device 3 generates a control signal for the projection device 2 to correct the projection range based on the result of the coordinate conversion in step S305 (S306).
  • the correction device 3 detects a marker that identifies the center of the projection range when shifting from the captured image data transmitted from the projection device 2 (S402).
  • the correction device 3 sets the center of the projection range after the shift using the marker as a reference (S403).
  • the correction device 3 calculates the difference between the center of the shooting area of the captured image data used in step S402 and the center of the projection range set in step S403 (S404).
  • the correction device 3 uses the difference calculated in step S405 to calculate the movement distance of the lens 24 along the lens plane (S405).
  • the correction device 3 generates a control signal for the projection device 2 to correct the lens shift based on the movement distance calculated in step S405 (S406).
  • the correction device 3 detects a marker indicating the projection range after zooming from the captured image data transmitted from the projection device 2 (S502).
  • the correction device 3 sets the projection range of the zoomed image based on the marker (S503).
  • the correction device 3 calculates the ratio between the shooting area of the captured image data used in step S502 and the projection area set in step S503 (S504).
  • the correction device 3 uses the ratio calculated in step S504 to calculate the distance between the multiple lenses included in the lens 24 (S505).
  • the correction device 3 generates a control signal for the projection device 2 to correct the zoom based on the distance calculated in step S505 (S506).
  • the projection device is able to correct the projection parameters according to the shooting parameters when shooting an image. This allows the projection parameters to be corrected by simply shooting the projection surface without turning on the projection light source. Also, since there is no need to turn on the projection power source, the projection surface can be photographed and the projection parameters can be corrected even in bright places.
  • the projection system 1 is connected to a projection device 2 that projects an image and a correction device 3 that corrects parameters used in the projection of the image.
  • the form of the projection system 1 is not limited as long as the projection device 2 can capture an image before projection and correct parameters at the time of projection using the captured image and parameters at the time of capture.
  • the projection device 2 and the correction device 3 may be integrated.
  • the projection device of the present disclosure is a projection device that projects an image onto a projection surface, and includes a light source that emits light used to project the image, a lens on an optical path from the light source to the projection surface, an image sensor used to capture an image of the projection surface, and an optical element that guides the light for projection from the light source to the lens and guides the light from the lens obtained by capture to the image sensor, wherein a first partial optical path from the optical element to the projection surface of a first optical path from the light source to the projection surface coincides with a second partial optical path from the projection surface to the optical element of a second optical path from the projection surface to the image sensor.
  • the correction device of the present disclosure is a correction device that includes an arithmetic circuit and corrects projection parameters used by a projection device that projects an image onto a projection surface, the projection device including a light source that emits light used to project an image, a lens on an optical path from the light source to the projection surface, an image sensor used to capture an image of the projection surface, and an optical element that guides the light for projection from the light source to the lens and guides the light from the lens obtained by capturing the image to the image sensor, and a first partial optical path from the lens to the projection surface of a first optical path from the light source to the projection surface coincides with a second partial optical path from the projection surface to the image sensor of a second optical path from the projection surface to the image sensor, and the arithmetic circuit may acquire from the projection device a captured image including a reference point indicating the projection position by the projection device, acquired using the image sensor, and parameters for capturing when the captured image was captured, and generate a control signal for correcting the parameters for projection by the projection device according to
  • the projection system of the present disclosure is a projection system that includes an arithmetic circuit and projects an image onto a projection surface, the projection system including a light source that emits light used to project the image, a lens on an optical path from the light source to the projection surface, an image sensor used to capture an image of the projection surface, and an optical element that guides the light for projection from the light source to the lens and guides the light from the lens obtained by capturing the image to the image sensor, and a first partial optical path from the optical element to the projection surface of a first optical path from the light source to the projection surface coincides with a second partial optical path from the projection surface to the image sensor, and the arithmetic circuit acquires a captured image including a reference point indicating the projection position by the projection device, acquired using the image sensor, and parameters for capturing when the captured image was captured, and may generate a control signal for correcting the parameters for projection according to the position of the reference point included in the captured image and the parameters for capturing.
  • the arithmetic circuit may adjust the parameters of the optical system during shooting, and the lens may project an image during projection using the parameters of the optical system adjusted during shooting.
  • the parameter of the optical system during shooting may be the focus of the lens.
  • the calculation circuit may set the range indicated by the reference point as the projection range, perform coordinate transformation of the image so that the image is projected into the projection range, and generate a control signal that causes the light source to project an image of the coordinate-transformed shape.
  • the projected image can be corrected to a desired shape.
  • the projected image can be geometrically corrected.
  • control signal may be a signal that adjusts the light emitted from the light source so that the image is projected within the projection range and the image is not displayed outside the projection range.
  • the calculation circuit may set a range of the captured image specified by a user via an input device or a predetermined range as the projection range.
  • the shooting parameters include coordinates on a plane perpendicular to the optical axis of the lens, the reference point indicates the center position of the projected image, and when the calculation circuit receives a request to change the image center position, it may set the position indicated by the reference point in the captured image as the center position of the projection range, and generate a control signal for projecting the image centered on the center position using the difference between the center position of the captured image and the center position of the projected image and the shooting parameters.
  • the shooting parameters may include a position along the optical axis of the lens, the reference point may indicate the zoom range, and when the calculation circuit receives a zoom request, it may set the range indicated by the reference point from the captured image as the projection range, and may generate a control signal using the ratio between the range of the captured image and the projection range and the shooting parameters to adjust the distance to the projection surface of the lens so that the image is projected into the projection range.
  • the projection method disclosed herein is a correction method executed by a projection system that includes a calculation circuit and projects an image onto a projection surface, the projection system including a light source that emits light used to project the image, a lens on an optical path from the light source to the projection surface, an image sensor used to capture an image of the projection surface, and an optical element that guides the light for projection from the light source to the lens and the light from the lens obtained by capture to the image sensor, and a first partial optical path from the optical element to the projection surface of a first optical path from the light source to the projection surface coincides with a second partial optical path from the projection surface to the image sensor, and the calculation circuit acquires a captured image including a reference point indicating the projection position by the projection device, which is acquired using the image sensor, and parameters for capture when the captured image was acquired, and generates a control signal that corrects the parameters for projection according to the position of the reference point included in the captured image and the parameters for capture.
  • the optical axis of projection and the optical axis of photography coincide with each other, eliminating the need for coordinate conversion to match the coordinate systems of the projection area and the photography area, and also eliminating the need for calibration between the projected image and the photography image.
  • the computer program disclosed herein causes the calculation circuit of the projection system to execute the method of (11).
  • the optical axis of projection and the optical axis of photography coincide with each other, eliminating the need for coordinate conversion to match the coordinate systems of the projection area and the photography area, and also eliminating the need for calibration between the projected image and the photography image.
  • the projection device, correction device, projection system, and correction method described in all claims of the present disclosure are realized by cooperation with hardware resources, such as a processor, memory, and a computer program.
  • the projection device, correction device, projection system, correction method, and computer program disclosed herein are useful for making adjustments when projecting an image using a projection device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)

Abstract

投影装置は、画像を投影面へ投影する。投影装置は、画像の投影に用いられる光を放射する光源と、光源から投影面までの光路上のレンズと、投影面の撮影に用いられる撮像素子と、光源から投影用の光をレンズに導き、撮影で得られたレンズからの光を撮像素子に導く光学素子と、を備える。光源から投影面までの第１光路のうちの、光学素子から投影面までの第１部分光路と、投影面から撮像素子までの第２光路のうちの、投影面から光学素子までの第２部分光路とは一致する。

Description

投影装置、補正装置、投影システム、補正方法及びコンピュータプログラム
　本開示は、投影装置による画像の投影の際のパラメータを補正する投影装置、補正装置、投影システム、補正方法及びコンピュータプログラムに関する。
　投影装置でスクリーンに画像を投影する際、歪み補正や焦点調整等の様々な調整が必要となる。これらの調整は、投影装置と投影面の位置関係が変更する度に必要になり、投影装置によって画像を投影しながら補正する。
　従来、投影装置によりスクリーンに投影した映像の歪みを補正する方法として、投写画像とスクリーンを撮影し、それぞれの四隅を検出して補正する方法がある（例えば、特許文献）。
特開２００４－２６０７８５号公報
　しかしながら、従来の補正方法では、投影装置による映像の投影が前提であった。
　本開示は、現実に投影装置による投影を必要とすることなく、スクリーンが設置される対象の空間に配置した投影装置の各種パラメータの補正を実現する投影装置、補正装置、投影システム、補正方法及びコンピュータプログラムを提供する。
　本開示の投影装置は、画像を投影面へ投影する。投影装置は、画像の投影に用いられる光を放射する光源と、光源から投影面までの光路上のレンズと、投影面の画像の撮影に用いられる撮像素子と、光源から投影用の光をレンズに導き、撮影で得られたレンズからの光を撮像素子に導く光学素子と、を備える。光源から投影面までの第１光路のうちの、光学素子から投影面までの第１部分光路と、投影面から撮像素子までの第２光路のうちの、投影面から光学素子までの第２部分光路とは一致する。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示の投影装置、補正装置、投影システム、補正方法及びコンピュータプログラムは、投影装置による投影を実際に行う必要なく、投影装置のパラメータを補正することができる。
実施形態に係る投影システムを示す概念図である。 投影領域と撮影領域の重複を示す一例である。 投影領域と撮影領域の重複を示す他の例である。 投影領域と撮影領域の重複を示す他の例である。 実施形態に係る投影装置の構成を示すブロック図である。 図２の投影装置による投影及び表示を示す概念図である。 実施形態に係る補正装置の構成を示すブロック図である。 投影装置による画像の投影の一例を示す概略図である。 補正された画像の投影の一例を示す概略図である。 補正前に投影される画像の形状と投影面に配置されるマーカの一例を示す概略図である。 補正後に投影される画像の形状を示す概略図である。 画像投影範囲を指定する投影面上のマーカの形状の一例である。 画像投影範囲を指定する投影面上のマーカの形状の他の例である。 画像投影範囲を指定する投影面上のマーカの形状の他の例である。 マーカが配置されない投影面の撮影画像である。 図７Ａの投影画像にユーザがマーカを配置した一例である。 ズーム範囲を指定する投影面上のマーカの一例である。 図８Ａのマーカに従ってズーム補正された投影画像の一例である。 画像中心を指定する投影面上のマーカの一例である。 図９Ａのマーカに従ってシフト補正された投影画像の一例である。 投影装置において実行される処理の一例を示すフローチャートである。 撮影装置において実行される処理の一例を示すフローチャートである。 撮影装置において実行される投影範囲の補正処理の一例を示すフローチャートである。 撮影装置において実行されるズーム補正処理の一例を示すフローチャートである。 撮影装置において実行されるシフト補正処理の一例を示すフローチャートである。
［実施形態］
　以下に、図面を用いて本開示における実施形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。
　本開示に係る、投影装置、補正装置、投影システム、補正方法及びコンピュータプログラムは、画像が投影されていない状況においても投影のパラメータを補正する。
　以下では、本明細書において用いる種々の用語を定義する。
　本開示において、「投影のパラメータ」は、投影に利用されるパラメータ値等であり、幾何補正のパラメータ値、ズーム調整のパラメータ値、又は、シフト調整のパラメータ値等をいう。
　「撮影領域」は、投影装置の撮影機能で撮影される機械的に撮影可能な最大の領域をいう。
　「投影領域」は、投影装置で投影面に投影される機械的に投影可能な最大の領域をいう。
　「投影範囲」は、投影装置で調整後に投影面に実際の画像が投影される範囲をいう。
　「幾何補正」は、表示装置に表示される際の幾何的な歪みに関する補正をいう。例えば、幾何補正は、台形歪み、樽型歪み、糸巻き歪みが生じた画像を、四角形の画像として表示する補正である。台形歪みは、四角形であるはずの画像がスクリーン上に台形に投影される歪みである。樽型歪みは、中心部が膨らむように表示される歪みである。糸巻き歪みは、中心部が収縮するように表示される歪みである。なお、幾何補正は表示画像のパラメータ値を調整することで実現される。
〈投影システム〉
　図１Ａに示すように、本開示に係る投影システム１は、投影装置２と、補正装置３とが接続される。投影装置２は、プロジェクタであって、投影面であるスクリーン４に画像を投影する。このとき、補正装置３は、投影装置２が投影で利用するパラメータを補正する。ここで、投影装置２は、投影用の機構に加え、撮影用の機構が内蔵される。投影用の光軸Ｌ１と撮影用の光軸Ｌ２とは一致する。またこれにより、投影領域Ｒ１と撮影領域Ｒ２とは、少なくとも一部が重複する。加えて、投影用の光軸Ｌ１と撮影用の光軸Ｌ２とが一致するため、投影領域Ｒ１と、撮影領域Ｒ２との関係が不変である。換言すると、投影領域Ｒ１においてある点Ｐ１が指定された場合、撮影領域Ｒ２において、点Ｐ１に対応する点Ｐ２の位置は、一意に求めることができる。
　図１Ｂ乃至図１Ｄを用いて、投影領域Ｒ１と撮影領域Ｒ２の重複を説明する。図１Ｂは、投影領域Ｒ１内に撮影領域Ｒ２の全部が含まれる一例である。図１Ｃは、投影領域Ｒ１と撮影領域Ｒ２とが一致する一例である。図１Ｄは、投影領域Ｒ１が撮影領域Ｒ２内に含まれる一例である。いずれに該当するかは、光変調素子２２、光学素子２３及び撮像素子２５の仕様等の条件に応じて異なる。
〈投影装置〉
　図２に示すように、投影装置２は、光源２１と、光変調素子２２と、光学素子２３と、レンズ２４と、撮像素子２５とを有する。光源２１は、画像の投影に用いられる光を放射する。光変調素子２２は、光源２１から放射された、赤、緑、青の光を投影する画像に基づいて変調する。レンズ２４は、画像の投影及び撮影に用いられる、光源２１から投影面までの光路上に位置する。撮像素子２５は、投影面の画像の撮影に用いられる。光学素子２３は、光変調素子２２で変調された投影用の光をレンズ２４に導き、撮影で得られたレンズ２４からの光を撮像素子２５に導く。光学素子２３は、例えば、プリズムやハーフミラー等であり得る。なお、光源２１からレンズ２４の間と、レンズ２４から撮像素子２５の間には、他のレンズやプリズム等の光学素子が配置されるが、これらについては図示を省略する。
　図２に示す例では、光源２１、光変調素子２２、光学素子２３及びレンズ２４が投影用の機構として用いられる。また、レンズ２４、光学素子２３及び撮像素子２５が撮影用の機構として用いられる。投影装置２では、投影用の機構により、画像の投影を実行する前処理として、撮影用の機構により、投影のパラメータの調整のため、投影面を撮影する。
　また、具体的には、光源２１から投影面であるスクリーン４までの第１光路のうちの、光学素子２３からスクリーン４までの第１部分光路と、スクリーン４から撮像素子２５までの第２光路のうちの、スクリーン４から光学素子２３までの第２部分光路とは一致する。これにより、上述したように、投影領域Ｒ１と撮影領域Ｒ２との対応が不変となり、投影領域Ｒ１と撮影領域Ｒ２との複雑な座標変換が不要となり、キャリブレーション等の処理も不要となる。
・撮影処理
　前処理として実行される撮影処理においては、投影装置２では、レンズ２４で受光した光が、光学素子２３を介して撮像素子２５に導かれる。これにより、投影装置２は、スクリーン４を撮影することができる。なお、撮像素子２５によって得られた撮影画像データは、通信回路（図示せず）によって、補正装置３に送信される。撮影処理において、投影装置２は、オートフォーカス機能（図示せず）を備え、焦点を自動調整することができる。また、通信回路は、撮影画像データとともに、画像の撮影処理で利用された各種のパラメータを補正装置３に送信する。ここで、投影装置２から補正装置３に送信されるパラメータは、例えば、焦点距離を示す値である。また、投影装置２は、必要に応じて、焦点調整に加え、シフト処理とズーム処理を実行し、撮影処理で利用されたパラメータとして、送信してもよい。
　図３は、投影装置２において、撮影用の機構により、スクリーン４の撮影画像Ｉｍが取得され、投影用の機構により、スクリーン４上に画像が投影される模式図を示す。図２を用いて上述したように、投影装置２は、光源２１から投影面までの第１光路のうちの、光学素子２３から投影面までの第１部分光路と、投影面から撮像素子２３までの第２光路のうちの、投影面から光学素子２３の第２部分光路とは一致する。このように、投影領域Ｒ１と撮影領域Ｒ２とが同一であるため、投影装置２は、投影領域Ｒ１の座標系と撮影領域Ｒ２の座標系とを合わせる座標変換が不要となり、投影画像と撮影画像とのキャリブレーションが不要となる。
・投影処理
　また、投影装置２は、撮影と投影とでレンズ２４を共有することで、前処理である撮影処理においてレンズ２４について既に焦点調整がされているため、その後の投影処理の際には焦点調整済みの状態である。具体的には、光学素子２３と、レンズ２４と、光学素子２３及びレンズ２４の間の１以上の光学素子と、各距離を変化させることで焦点が調整され、調整された状態で保たれる。ここで、焦点の調整には、例えば、コントラスト法が利用される。具体的には、上述したように、光学素子２３、レンズ２４、光学素子２３とレンズ２４との間の１以上の光学素子の位置関係を複数回調整して画像を撮像し、複数の画像のうちコントラストが最も高く位置関係を選択して焦点を調整する。これにより、光源２１により投影光を発光後に焦点調整をする必要がなく、光源２１を発光することで投影を開始した時点で直ちに焦点の合った画像を投影することができる。
　具体的には、投影処理においては、投影装置２では、光源２１が発光した光が光変調素子２２で変調される。また、投影装置２では、光変調素子２２で変調された光が光学素子２３を介してレンズ２４に導かれ、レンズ２４を介して投影光としてスクリーン４に投影される。ここで、投影装置２は、投影処理の際、補正装置３の制御に従って、幾何補正等の画像の投影範囲の補正、レンズ２４のシフト量及びズーム量、レンズ２４や他の光学素子のパラメータ等を補正することがある。また、撮影処理において焦点が調整されているため、投影処理の際、改めて焦点調整を実行する必要はない。なお、レンズ２４のシフト量及びズーム量は、上述した前処理である撮影処理において補正される他、撮影処理に先立って行われる準備処理において補正されてもよい。
　なお、図３においては、第１の光路となる投影装置２のレンズ２４から投写面に出力される投影の光軸Ｌ１と、第２の光路となるスクリーンを反射して投影装置２のレンズ２４に入力される投影の光軸Ｌ２とを区別するため、ずらして図示しているが、実際には一致する。また、図３においては、撮影された撮影画像Ｉｍを模式的に示す。この撮影画像Ｉｍは、例えば、投影装置２に内蔵される記憶装置（図示せず）において記憶されてもよいし、投影装置と接続される外部の情報処理装置（例えば、補正装置３）に送信されてもよい。
〈補正装置〉
　図４に示すように、補正装置３は、演算回路３０、入力装置３１、出力装置３２、通信回路３３及び記憶装置３４等を備える情報処理装置である。この補正装置３は、投影装置２で画像を投影する際、撮影のパラメータの補正のための制御信号を送信する。
　演算回路３０は、補正装置３全体の制御を司るコントローラである。例えば、演算回路３０は、記憶装置３４に記憶される補正プログラムＰを読み出して実行することにより、投影装置２における投影の際の各種の補正処理を実現する。また、演算回路３０は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、演算回路３０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。
　入力装置３１は、操作やデータの入力に利用される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等の入力手段である。出力装置３２は、処理結果やデータの出力に利用されるディスプレイ、スピーカ等の出力手段である。
　通信回路３３は、外部の装置（例えば、投影装置２）とのデータ通信を可能とするための通信手段である。上述したデータ通信は、有線および／または無線によるデータ通信であり、公知の通信規格にしたがって行われ得る。例えば、有線によるデータ通信は、イーサネット（登録商標）規格、および／またはＵＳＢ（登録商標）規格等に準拠して動作する半導体集積回路の通信コントローラを通信回路３３として用いることによって行われる。また無線によるデータ通信は、ＬＡＮ（Local Area Network）に関するＩＥＥＥ８０２．１１規格、および／または移動体通信に関する、いわゆる４Ｇ／５Ｇと呼ばれる、第４世代／第５世代移動通信システム等に準拠して動作する半導体集積回路の通信コントローラを通信回路３３として用いることによって行われる。
　記憶装置３４は種々の情報を記録する記録媒体である。記憶装置３４は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶装置３４は、演算回路３０が実行するコンピュータプログラムである補正プログラムＰと、補正の実行のために使用するマーカデータＤ１等の種々のデータ等が格納される。
　マーカデータＤ１は、画像投影の際の補正に用いられる投影面上の所定の位置を示す基準点を含むデータである。例えば、マーカデータＤ１で示される基準点を基準として、画像投影の際の投影位置を求めることができる。また、マーカデータＤ１で示される基準点を基準として、ズーム補正のためのズームの程度を求めることができる。さらに、マーカデータＤ１で示される基準点を基準として、画像シフトのためのシフト量を求めることができる。
　以下に、幾何補正等の画像の投影範囲の補正、パラメータの補正であるズーム補正、及び、パラメータ等の補正であるシフト補正について具体的に説明する。
・投影範囲の補正（幾何補正）
　幾何補正等の投影範囲を補正する場合、演算回路３０は、投影装置２から所定のマーカが配置された投影面を撮影した撮影画像を取得すると、当該撮影画像から、前記所定のマーカを検出する。所定のマーカは、理想の画像の投影範囲を示す基準点と対応する。また、演算回路３０は、検出されたマーカで示される範囲を投影範囲として設定する。ここで利用するマーカの形状は、例えば、記憶装置３４においてマーカデータＤ１として記憶されており、演算回路３０は、マーカデータＤ１を基準とすることで、投影装置２から取得した撮影画像から、所定のマーカを検出することができる。なお、マーカの形状の一例については、図６Ａ～図６Ｃを用いて後述する。
　演算回路３０は、投影範囲を設定すると、設定された投影範囲に画像が投影されるように、画像の座標変換を行い、光源２１が座標変換された形状の画像を投影する制御信号を生成し、投影装置２での投影を補正する。図５Ａは、投影装置２の投影軸に対して投影面が垂直方向に存在せず、投影面に対して斜めから投影する場合の投影領域及び撮影領域を示す概略図であり、投写面を正面から写した状態を示す。この場合、元画像は、長方形であるが、投影装置２が斜めから投写したことにより、投影領域及び撮影領域は、点Ａ～点Ｄの４点によって形成される四角形であり、台形である。図５Ａは、点Ａ’～点Ｄ’の４点が、理想の画像の投影範囲を示すマーカであって、点Ａ’～点Ｄ’で示す四角形を投影範囲として設定する例である。演算回路３０においてマーカの座標を検出し、投影画像の点Ａ～点Ｄをそれぞれ投影範囲である点Ａ’～点Ｄ’に収まるように座標変換することで、図５Ｂに示すように、所望の投影範囲内に表示させることができる。この座標変換には、例えば、図５Ｃ及び図５Ｄを用いて後述する、ホモグラフィ変換を利用する。このとき、演算回路３０は、例えば、光源２１の画像の各画素に対応する光のうち、投影範囲に対応する変換後の画像を投影する光のみを投影し、投影範囲の外側に対応する光を投影しないように、投影装置２を制御する。換言すると、演算回路３０は、投影範囲の外側に対応する部分を、黒色でマスクするように、投影装置２を制御する。これにより、補正装置３は、設定された投影範囲に投影画像が投影されるように補正することができる。このように投影範囲を補正することで、補正装置３は、投影装置２による投影範囲を所望の形状に補正することができる。これにより、例えば、補正装置３は、投影装置２の投影画像を幾何補正することもできる。
　図５Ｃは、図５Ａの状態を、投影装置２で投影した元画像の一例を示す。図５Ｃにおいて、点Ａ～点Ｄは、投影領域及び撮影領域の四隅を示す。したがって、例えば、投影装置２に投影される投影画像の四隅は、点Ａ～点Ｄとなる。また、点Ａ～点Ｄは、それぞれ投影範囲を示す点Ａ’～点Ｄ’と対応する。なお、投影画像及び撮影画像の各点は、図５Ｃに示すようにＸ座標及びＹ座標を用いて表される。
　具体的には、投影装置２から投影される画像、換言すると、元画像の四隅が、それぞれ、Ａ（ｘa，ｙa）、Ｂ（ｘb，ｙb）、Ｃ（ｘc，ｙc）、Ｄ（ｘd，ｙd）座標で示されるとする。また、投影範囲の四隅が、それぞれ、Ａ’（ｘa’，ｙa’）、Ｂ’（ｘb’，ｙb’）、Ｃ’（ｘc’，ｙc’）、Ｄ’（ｘd’，ｙd’）以下の座標で示される。このように、変換前の座標を（ｘi，ｙi）により表し、変換後の座標を（ｘi’，ｙi’）により表す。
　演算回路３０は、対応する点の座標を用いて、以下の式（１）を用いて、ホモグラフィ行列Hを算出する。

Figure JPOXMLDOC01-appb-I000001
　また、演算回路３０は、ホモグラフィ行列Hを算出すると、算出したホモグラフィ行列Hを利用して、変換前の画像全体、すなわち、画像の各画素に対して、ホモグラフィ変換を施し、変換後の画像である投影画像を生成する。このように、ホモグラフィ変換を利用することで、図５Ｄに示すように、投影画像が得られる。
　図６Ａに、４つの特定の形状をそれぞれ所定のマーカＭ１とし、各マーカＭ１を用いて示される四角形を投影範囲とする場合の撮影画像の一例を示す。図６Ａに示す例では、各マーカＭ１の形状は山型であって、各マーカの重心を結ぶ四角形の領域が投影範囲となる。この場合、演算回路３０は、撮影画像から、４つのマーカＭ１を検出すると、各マーカＭ１の重心を結ぶ四角形の領域を投影範囲として設定する。なお、演算回路３０は、重心以外の特徴点を用いて投影範囲を設定してもよい。
　図６Ｂに、４つの点をマーカＭ２とし、各マーカＭ２を用いて示される四角形を投影範囲とする場合の撮影画像の一例を示す。この場合、演算回路３０は、撮影画像から、ある４つの点をマーカＭ２として検出すると、各マーカＭ２を結ぶ四角形の領域を投影範囲として設定する。
　図６Ｃに、四角形の枠自体をマーカＭ３とし、マーカＭ３で示される枠自体を投影範囲とする場合の撮影画像の一例を示す。この場合、演算回路３０は、撮影画像から四角形の枠をマーカＭ３として検出すると、マーカＭ３で示される四角形の領域を投影範囲として設定する。
　図６Ａ～図６Ｃに示すマーカＭ１～Ｍ３の形状は一例であり、投影範囲を特定することができる形状及び配置であれば、マーカの形状及び配置は限定されない。また、これらのマーカは、一時的に投影面に貼り付けされたものであってもよいし、投影面にもともと存在する構成を利用してもよい。マーカで示される形状は、投影の目的に応じて定めることができる。また、マーカで示される形状は、幾何補正を目的とした形状であってもよい。
　また、幾何補正等の投影画像の形状の補正が望まれるが、撮影画像にマーカが含まれない場合、演算回路３０は、撮影画像以外によって特定されるマーカを用いて幾何補正をするように投影装置２を制御してもよい。例えば、演算回路３０は、予め定められる所定の範囲、または、入力装置３１を介して指定された範囲を投影範囲として設定し、当該投影範囲に画像が投影されるように、光源２１から発光する光を調整するように、投影装置２を制御する。
　図７Ａに、マーカを含まない撮影画像の一例を示す。図７Ａに示すように、撮影画像がマーカを含まない場合、例えば、出力装置３２で表示される撮影画像上において、ユーザにより、入力装置３１を介した操作によって指定される。図７Ｂに、ユーザにより指定された４点のマーカＭ４を示す。図７Ｂに示す一例では、マーカＭ４は十字形状であって、それぞれのマーカＭ４の交差部分を結ぶ四角形の領域を投影範囲として設定する。演算回路３０は、このように設定された投影範囲に画像を投影することで、投影面にマーカが存在しない場合であっても幾何補正等の投影画像の形状の補正を実現することができる。
・ズーム
　演算回路３０は、ズームのリクエストを受け付けると、投影装置２から取得した投影面を撮影した撮影画像から、ズームの範囲を示す所定のマーカを検出する。また、演算回路３０は、検出されたマーカで示される範囲を投影範囲として設定する。続いて、演算回路３０は、設定された投影範囲が、撮影領域内で大きく表示される（占める割合が大きくなる）ように制御信号を生成し、投影装置２を制御する。具体的には、演算回路３０は、レンズ２４に含まれる複数のレンズ間の距離を変化させる制御信号を生成する。これにより、補正装置は、レンズ２４の投影領域を投写範囲と制御することができるため、投影装置２は、投影範囲に対する有効画素数を増やすように、画像をズームさせることができる。以下の説明において、「画像のズーム」は、投影画像をワイド側からテレ側へ変化させることを意味する。
　図８Ａに、画像をズームさせる範囲を示すマーカＭ１１を含む撮影画像を示す。図８Ａに示す例では、４つの山形形状のマーカＭ１１を含み、各マーカの頂点Ｔを結ぶ四角形の範囲が、画像をズームして投影する投影範囲となる。この場合、演算回路３０は、現在の投影領域及び撮影領域のサイズと、マーカＭ１１によって求められた投影範囲のサイズを比較する。また、演算回路３０は、求められた値に応じて制御するように、制御信号を生成し、投影装置２を制御する。具体的には、演算回路３０は、レンズ２４に含まれる複数のレンズ間の距離を変化させる制御信号を生成する。これにより、図８Ｂに示すように、投影装置２による投影領域及び撮影領域を、マーカＭ１１よって特定される領域に調整することができる。なお、投影領域及び撮影領域をマーカＭ１１で特定される領域に正確に合わせて補正することが好ましい。しかしながら、実際には、投影領域及び撮影領域の四隅を、図８Ｂに示すように、マーカＭ１１で特定される領域の四隅と一致させることは困難な場合もある。したがって、例えば、複数のマーカＭ１によって画像を特定される領域に合わせて、投影領域及び撮影領域を可能な限りズームさせるように制御してもよい。なお、スクリーン４に対して、投影装置２０が斜め方向から画像を撮影し、画像を投影する場合、各マーカＭ１１の位置は、図８Ａに示すような矩形を描く関係で撮影されず、例えば、台形を描く関係で撮影される。
・シフト
　演算回路３０は、画像中心位置の変更のリクエストを受け付けると、投影面を撮影した撮影画像から画像の中心位置を示す所定のマーカを検出する。また、演算回路３０は、検出されたマーカで特定される位置を撮影領域の中心位置として設定する。続いて、演算回路３０は、投影装置２による撮影が、設定された中心位置を中心となるようにレンズ２４を、光軸と垂直な面に沿って調整させる。これにより、補正装置３は、投影の際に、所望の位置を中心に投影範囲をシフトさせることができる。
　図９Ａに、画像をシフトさせる場合の基準位置を示すマーカＭ１２を含む撮影画像を示す。図９Ａに示す例では、４つの山形形状のマーカＭ１２を含み、各マーカの頂点を結ぶ四角形の中心を、所望の投影範囲の中心Ｃ１とすることを規定する。これに対し、現在の投影領域及び撮影領域の中心Ｃ２は、所望の投影範囲の中心Ｃ１からずれている。したがって、演算回路３０は、投影領域及び撮影領域の中心Ｃ２が、所望の投影範囲の中心Ｃ１と一致するように投影装置２を制御する。この場合、演算回路３０は、現在の投影領域及び撮影領域の中心Ｃ２と、マーカＭ１２によって求められた所望の投影範囲の中心Ｃ１とのｘ軸及びｙ軸のそれぞれのずれを求める。また、演算回路３０は、求められた値に応じて、レンズ２４のｘ軸及びｙ軸の移動量を算出し、投影装置２を制御する。これにより、図９Ｂに示すように、投影装置２による投影領域及び撮影領域の中心Ｃ２を、マーカＭ１２よって特定される中心Ｃ１と一致させることができる。なお、マーカが含まれない場合であっても、例えば、撮影画像の四角に応じた対角線が交わる点を投影範囲の中心として求め、求めた中心に合わせて画像をシフトするようにしてもよい。
〈投影装置における撮影処理及び投影処理〉
　図１０に示すフローチャートを用いて、投影装置２で実行される撮影処理及び投影処理について説明する。フローチャートの個々のステップの具体的な処理は上述したので、各ステップを簡略化して説明する。
　まず、投影面に面して配置された投影装置２は、撮影のパラメータを調整する（Ｓ１０１）。例えば、投影装置２は、撮影のパラメータである焦点距離、シフト補正、ズーム等を調整する。
　ステップＳ１０１で撮影のパラメータが調整されると、投影装置２は、投影面の画像を撮影する（Ｓ１０２）。
　投影装置２は、ステップＳ１０１で調整された撮影のパラメータ及びステップＳ１０２で得られた撮影画像データを補正装置３に送信する（Ｓ１０３）。
　その後、投影装置２は、ステップＳ１０３で送信した撮影のパラメータ及び撮影画像データに対して補正装置３で生成された制御信号を受信する（Ｓ１０４）。
　投影装置２は、ステップＳ１０４で受信した制御信号に従って、投影のパラメータを調整する（Ｓ１０５）。このとき、焦点のパラメータは調整されず、ステップＳ１０１で調整されたパラメータが使用されてもよい。
　ステップＳ１０５で投影のパラメータが調整されると、投影装置２は、光源２１を点灯して投影面に画像を投影する（Ｓ１０６）。
　このように、投影装置２では、前処理である撮影処理において、焦点調整がされているため、投影処理において焦点調整をする必要がない。また、撮影処理で得られた撮影画像及び撮影のパラメータに応じて補正装置で生成された制御信号で投影のパラメータを調整して画像を投影することで、投影後の調整が不要となる。
〈補正装置における処理〉
　図１１に示すフローチャートを用いて、補正装置３で実行される処理について説明する。はじめに、補正装置３は、投影装置２から送信された撮影のパラメータ及び投影面の撮影画像データを受信する（Ｓ２０１）。
　その後、補正装置３は、投影範囲の補正処理を実行し、投影範囲を補正する制御信号を生成する（Ｓ２０２）。当該投影範囲の補正処理については、図１２Ａを用いて後述する。
　また、補正装置３は、シフト補正処理を実行し、シフト補正の制御信号を生成する（Ｓ２０３）。当該シフト補正処理については、図１２Ｂを用いて後述する。
　
　さらに、補正装置３は、ズーム補正処理を実行し、ズーム補正の制御信号を生成する（Ｓ２０４）。当該ズーム補正処理については、図１２Ｃを用いて後述する。
　その後、補正装置３は、ステップＳ２０２～Ｓ２０４で生成された制御信号を、投影装置２に送信する（Ｓ２０５）。
　このように、補正装置３は、投影装置２から送信された撮影のパラメータ及び投影面の撮影画像データを用いて、投影範囲の補正処理、ズーム補正処理、及び、シフト補正処理のための制御信号を生成する。これにより、補正装置３は、投影装置２による投影を補正することができる。
《投影範囲の補正処理》
　図１２Ａに示すフローチャートを用いて、補正装置３で実行される投影範囲の処理について説明する。補正装置３は、投影装置２から送信された撮影画像データから投影範囲を示すマーカを検出する（Ｓ３０１）。
　その後、補正装置３は、撮影画像データにマーカが含まれていたか否かを判定する（Ｓ３０２）。
　撮影画像データにマーカが含まれていとき、補正装置３は、マーカを基準として画像の投影範囲を設定する（Ｓ３０３）。一方、撮影画像データにマーカが含まれていないとき、補正装置３は、入力装置３１を介してユーザから、投影範囲を受け付ける（Ｓ３０４）。
　その後、補正装置３は、ステップＳ３０３又はＳ３０４で設定された投影範囲に画像を投影するための座標変換を実行する（Ｓ３０５）。
　補正装置３は、ステップＳ３０５の座標変換の結果に基づき、投影装置２が投影範囲を補正する制御信号を生成する（Ｓ３０６）。
《シフト処理》
　図１２Ｂに示すフローチャートを用いて、補正装置３で実行されるシフト処理について説明する。このシフト処理は、シフト処理のリクエストがされ、必要がある場合のみ実行される。
　リクエストがされたことにより、シフト処理がある場合（Ｓ４０１）、補正装置３は、投影装置２から送信された撮影画像データからシフトする場合の投影範囲の中心を特定するマーカを検出する（Ｓ４０２）。
　続いて、補正装置３は、マーカを基準としてシフト後の投影範囲の中心を設定する（Ｓ４０３）。
　その後、補正装置３は、ステップＳ４０２で利用された撮影画像データの撮影領域の中心と、ステップＳ４０３で設定された投影範囲の中心との差を算出する（Ｓ４０４）。
　補正装置３は、ステップＳ４０５で算出された差を用いて、レンズ２４のレンズ平面に沿った移動距離を算出する（Ｓ４０５）。
　補正装置３は、ステップＳ４０５で算出された移動距離に基づき、投影装置２がレンズシフトを補正する制御信号を生成する（Ｓ４０６）。
《ズーム処理》
　図１２Ｃに示すフローチャートを用いて、補正装置３で実行されるズーム処理について説明する。このズーム処理は、ズーム処理のリクエストがされ、必要がある場合のみ実行される。
　リクエストがされたことにより、ズーム処理がある場合（Ｓ５０１）、補正装置３は、投影装置２から送信された撮影画像データからズーム後の投影範囲を示すマーカを検出する（Ｓ５０２）。
　続いて、補正装置３は、マーカを基準としてズーム後の画像の投影範囲を設定する（Ｓ５０３）。
　その後、補正装置３は、ステップＳ５０２で利用された撮影画像データの撮影領域と、ステップＳ５０３で設定された投影領域との比を算出する（Ｓ５０４）。
　補正装置３は、ステップＳ５０４で算出された比を用いて、レンズ２４に含まれる複数のレンズ間の距離を算出する（Ｓ５０５）。
　補正装置３は、ステップＳ５０５で算出された距離に基づき、投影装置２がズームを補正する制御信号を生成する（Ｓ５０６）。
　上述したように、補正装置３を利用することで、投影装置は、画像を撮影する際の撮影用のパラメータに応じて、投影用のパラメータを補正することが可能となる。これにより、投影用の光源を点灯させずに、投影面の撮影をするのみで投影用のパラメータを補正することができる。また、投影用の電源を点灯させる必要がないため、明るい場所においても、投影面を撮影し、投影用のパラメータを補正することができる。
〈その他〉
　なお、図１Ａを用いて上述した例では、投影システム１は、画像を投影する投影装置２と、画像の投影で利用するパラメータを補正する補正装置３とが接続される。しかしながら、投影システム１は、投影装置２が、投影前に画像を撮影し、撮影した画像と撮影時のパラメータを用いて、投影時のパラメータを補正することができれば、その形態は限定されない。例えば、投影システム１において、投影装置２と補正装置３とが一体であってもよい。
《実施形態の概要》
（１）本開示の投影装置は、画像を投影面へ投影する投影装置であって、画像の投影に用いられる光を放射する光源と、光源から投影面までの光路上のレンズと、投影面の画像の撮影に用いられる撮像素子と、光源から投影用の光をレンズに導き、撮影で得られたレンズからの光を撮像素子に導く光学素子と、を備え、光源から投影面までの第１光路のうちの、光学素子から投影面までの第１部分光路と、投影面から撮像素子までの第２光路のうちの、投影面から光学素子までの第２部分光路とは一致する。
　このように、投影の光軸と撮影の光軸とが一致するため、投影領域の座標系と撮影領域の座標系とを合わせる座標変換が不要となり、投影画像と撮影画像とのキャリブレーションも不要となる。
（２）本開示の補正装置は、演算回路を備え、画像を投影面へ投影する投影装置で利用する投影用のパラメータを補正する補正装置であって、投影装置は、画像の投影に用いられる光を放射する光源と、光源から投影面までの光路上のレンズと、投影面の画像の撮影に用いられる撮像素子と、光源から投影用の光をレンズに導き、撮影で得られたレンズからの光を撮像素子に導く光学素子と、を備え、光源から投影面までの第１光路のうちの、レンズから投影面までの第１部分光路と、投影面から撮像素子までの第２光路のうちの、投影面から前記光学素子までの第２部分光路とは一致し、演算回路は、投影装置から、撮像素子を用いて取得された、投影装置による投影位置を示す基準点を含む撮影画像と、撮影画像を取得した際の撮影用のパラメータを取得し、撮影画像に含まれる基準点の位置と、撮影用のパラメータに応じて、投影装置による投影用のパラメータを補正する制御信号を生成してもよい。
　このように、画像を撮影する際の撮影用のパラメータに応じて、投影用のパラメータを補正することにより、投影用の光源を点灯させずに、投影面の撮影をするのみで投影用のパラメータを補正することができる。また、投影用の電源を点灯させる必要がないため、明るい場所においても、投影面の撮影をすることで、投影用のパラメータを補正することができる。
（３）本開示の投影システムは、演算回路を備え、投影面へ画像を投影する投影システムであって、画像の投影に用いられる光を放射する光源と、光源から投影面までの光路上のレンズと、投影面の画像の撮影に用いられる撮像素子と記光源から投影用の光をレンズに導き、撮影で得られたレンズからの光を撮像素子に導く光学素子と、を備え、光源から投影面までの第１光路のうちの、光学素子から投影面までの第１部分光路と、投影面から撮像素子までの第２光路のうちの、投影面から光学素子までの第２部分光路とは一致し、演算回路は、撮像素子を用いて取得された、投影装置による投影位置を示す基準点を含む撮影画像と、撮影画像を取得した際の撮影用のパラメータを取得し、撮影画像に含まれる基準点の位置と、撮影用のパラメータに応じて、投影用のパラメータを補正する制御信号を生成してもよい。
　このように、画像を撮影する際の撮影用のパラメータに応じて、投影用のパラメータを補正することにより、投影用の光源を点灯させずに、投影面の撮影をするのみで投影用のパラメータを補正することができる。また、投影用の電源を点灯させる必要がないため、明るい場所においても、投影面の撮影をすることで、投影用のパラメータを補正することができる。
（４）（３）の投影システムにおいて、演算回路は、撮影時の光学系のパラメータを調整し、レンズは、投影時に、撮影時に調整された光学系のパラメータで画像を投影してもよい。
　このように、撮影時のパラメータを投影時のパラメータに用いることで、投影時にパラメータの調整が不要となる。またこれにより、投影用の光源の点灯も不要であるとともに、明るい環境下であっても調整が可能となる。
（５）（４）の投影システムにおいて、撮影時の光学系のパラメータは、レンズの焦点であってもよい。
　このように、撮影時のパラメータを投影時のパラメータに用いることで、投影時にパラメータの調整が不要となる。またこれにより、投影用の光源の点灯も不要であるとともに、明るい環境下であっても調整が可能となる。
（６）（３）～（５）の投影システムにおいて、演算回路は、基準点で示される範囲を投影範囲として設定し、投影範囲に画像が投影されるように、画像の座標変換を行い、光源が座標変換された形状の画像を投影させる制御信号を生成してもよい。
　これにより、投影画像を所望の形状に補正することができる。例えば、投影画像を幾何補正することができる。
（７）（３）～（６）の投影システムにおいて、制御信号は、投影範囲に画像が投影され、投影範囲外に画像が表示されないように、光源から発光する光を調整する信号であってもよい。
　これにより、所望の範囲で投影画像を投影するように補正することができる。
（８）（３）～（７）の投影システムにおいて、演算回路は、撮影画像から所定の基準点が検出されないとき、撮影画像に対して入力装置を介してユーザに指定された範囲、または、予め定められる所定の範囲を投影範囲として設定してもよい。
　これにより、投影面に基準点が設定されていない場合でも、幾何補正等の投影画像の形状を補正することができる。
　（９）（３）～（８）の投影システムにおいて、撮影用のパラメータは、レンズの光軸と垂直な面での座標を含み、基準点は、投影画像の中心位置を示し、演算回路は、画像中心位置の変更のリクエストを受け付けると、撮影画像から基準点によって示される位置を投影範囲の中心位置として設定し、撮影画像の中心位置と投影画像の中心位置との差と、撮影用のパラメータを利用して、中心位置を中心として画像が投影させる制御信号を生成してもよい。
　これにより、投影装置で画像を投影する前に、シフト補正をすることができる。
　（１０）（３）～（９）の投影システムにおいて、撮影用のパラメータは、レンズの光軸に沿った位置を含み、基準点は、ズームの範囲を示し、演算回路は、ズームのリクエストを受け付けると、撮影画像から基準点で示される範囲を投影範囲として設定し、撮影画像の範囲と投影範囲との比と、撮影用のパラメータを利用して、投影範囲に画像が投影されるようにレンズの投影面との距離を調整させる制御信号を生成してもよい。
　これにより、投影装置で画像を投影する前に、ズーム補正をすることができる。
　（１１）本開示の投影方法は、演算回路を備え、投影面へ画像を投影する投影システムで実行される補正方法あって、投影システムは、画像の投影に用いられる光を放射する光源と、光源から投影面までの光路上のレンズと、投影面の画像の撮影に用いられる撮像素子と、光源から投影用の光をレンズに導き、撮影で得られたレンズからの光を撮像素子に導く光学素子と、を備え、光源から投影面までの第１光路のうちの、光学素子から投影面までの第１部分光路と、投影面から撮像素子までの第２光路のうちの、投影面から光学素子までの第２部分光路とは一致し、演算回路において、撮像素子を用いて取得された、投影装置による投影位置を示す基準点を含む撮影画像と、撮影画像を取得した際の撮影用のパラメータを取得し、撮影画像に含まれる基準点の位置と、撮影用のパラメータに応じて、投影用のパラメータを補正する制御信号を生成する。
　これにより、投影の光軸と撮影の光軸とが一致するため、投影領域の座標系と撮影領域の座標系とを合わせる座標変換が不要となり、投影画像と撮影画像とのキャリブレーションも不要となる。
　（１１）本開示のコンピュータプログラムは、（１１）の方法を前記投影システムの演算回路に実行させる。
　これにより、投影の光軸と撮影の光軸とが一致するため、投影領域の座標系と撮影領域の座標系とを合わせる座標変換が不要となり、投影画像と撮影画像とのキャリブレーションも不要となる。
　本開示の全請求項に記載の投影装置、補正装置、投影システム及び補正方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びコンピュータプログラムとの協働などによって、実現される。
　本開示の投影装置、補正装置、投影システム、補正方法及びコンピュータプログラムは、投影装置を用いた画像投影の際の調整に有用である。
１　投影システム
２　投影装置
２１　光源
２２　光変調素子
２３　光学素子
２４　レンズ
２５　撮像素子
３　補正装置

Claims (12)

  1. 　画像を投影面へ投影する投影装置であって、
    　画像の投影に用いられる光を放射する光源と、
    　前記光源から前記投影面までの光路上のレンズと、
    　前記投影面の画像の撮影に用いられる撮像素子と、
    　前記光源から投影用の光を前記レンズに導き、撮影で得られた前記レンズからの光を前記撮像素子に導く光学素子と、
    　を備え、
    　前記光源から前記投影面までの第１光路のうちの、前記レンズから前記投影面までの第１部分光路と、前記投影面から前記撮像素子までの第２光路のうちの、前記投影面から前記光学素子までの第２部分光路とは一致する
    　投影装置。
  2. 　演算回路を備え、画像を投影面へ投影する投影装置で利用する投影用のパラメータを補正する補正装置であって、
    　前記投影装置は、
    　画像の投影に用いられる光を放射する光源と、
    　前記光源から前記投影面までの光路上のレンズと、
    　前記投影面の画像の撮影に用いられる撮像素子と、
    　前記光源から投影用の光を前記レンズに導き、撮影で得られた前記レンズからの光を前記撮像素子に導く光学素子と、
    　を備え、
    　前記光源から前記投影面までの第１光路のうちの、前記レンズから前記投影面までの第１部分光路と、前記投影面から前記撮像素子までの第２光路のうちの、前記投影面から前記光学素子までの第２部分光路とは一致し、
    　前記演算回路は、
    　前記投影装置から、前記撮像素子を用いて取得された、投影装置による投影位置を示す基準点を含む撮影画像と、前記撮影画像を取得した際の撮影用のパラメータを取得し、
    　前記撮影画像に含まれる前記基準点の位置と、前記撮影用のパラメータに応じて、前記投影装置による投影用のパラメータを補正する制御信号を生成する
    　補正装置。
  3. 　演算回路を備え、投影面へ画像を投影する投影システムであって、
    　画像の投影に用いられる光を放射する光源と、
    　前記光源から前記投影面までの光路上のレンズと、
    　前記投影面の画像の撮影に用いられる撮像素子と、
    　前記光源から投影用の光を前記レンズに導き、撮影で得られた前記レンズからの光を前記撮像素子に導く光学素子と、
    　を備え、
    　前記光源から前記投影面までの第１光路のうちの、前記レンズから前記投影面までの第１部分光路と、前記投影面から前記撮像素子までの第２光路のうちの、前記投影面から前記光学素子までの第２部分光路とは一致し、
    　前記演算回路は、
    　前記撮像素子を用いて取得された、投影装置による投影位置を示す基準点を含む撮影画像と、前記撮影画像を取得した際の撮影用のパラメータを取得し、
    　前記撮影画像に含まれる前記基準点の位置と、前記撮影用のパラメータに応じて、投影用のパラメータを補正する制御信号を生成する
    　投影システム。
  4. 　前記演算回路は、撮影時の光学系のパラメータを調整し、
    　前記レンズは、投影時に、撮影時に調整された光学系のパラメータで画像を投影する
    　請求項３に記載の投影システム。
  5. 　前記撮影時の光学系のパラメータは、前記レンズの焦点である
    　請求項４に記載の投影システム。
  6. 　前記演算回路は、
    　前記基準点で示される範囲を投影範囲として設定し、
    　前記投影範囲に画像が投影されるように、画像の座標変換を行い、
    　前記光源が座標変換された形状の画像を投影させる制御信号を生成する
    　請求項３に記載の投影システム。
  7. 　前記制御信号は、前記投影範囲に画像が投影され、前記投影範囲外に画像が表示されないように、前記光源から発光する光を調整する信号である
    　請求項６に記載の投影システム。
  8. 　前記演算回路は、
    　前記撮影画像から所定の基準点が検出されないとき、
    　前記撮影画像に対して入力装置を介してユーザに指定された範囲、または、予め定められる所定の範囲を投影範囲として設定する
    　請求項６に記載の投影システム。
  9. 　前記撮影用のパラメータは、前記レンズの光軸と垂直な面での座標を含み、
    　前記基準点は、投影画像の中心位置を示し、
    　前記演算回路は、
    　画像中心位置の変更のリクエストを受け付けると、前記撮影画像から前記基準点によって示される位置を投影範囲の中心位置として設定し、
    　前記撮影画像の中心位置と前記投影画像の中心位置との差と、前記撮影用のパラメータを利用して、前記中心位置を中心として画像が投影させる制御信号を生成する
    　請求項３に記載の投影システム。
  10. 　前記撮影用のパラメータは、前記レンズの光軸に沿った位置を含み、
    　前記基準点は、ズームの範囲を示し、
    　前記演算回路は、
    　ズームのリクエストを受け付けると、前記撮影画像から前記基準点で示される範囲を投影範囲として設定し、
    　前記撮影画像の範囲と前記投影範囲との比と、前記撮影用のパラメータを利用して、前記投影範囲に画像を投影させる制御信号を生成する
    　請求項３に記載の投影システム。
  11. 　演算回路を備え、投影面へ画像を投影する投影システムで実行される補正方法であって、
    　前記投影システムは、
    　画像の投影に用いられる光を放射する光源と、
    　前記光源から前記投影面までの光路上のレンズと、
    　前記投影面の画像の撮影に用いられる撮像素子と、
    　前記光源から投影用の光を前記レンズに導き、撮影で得られた前記レンズからの光を前記撮像素子に導く光学素子と、
    　を備え、
    　前記光源から前記投影面までの第１光路のうちの、前記レンズから前記投影面までの第１部分光路と、前記投影面から前記撮像素子までの第２光路のうちの、前記投影面から前記光学素子までの第２部分光路とは一致し、
    　前記演算回路において、
    　前記撮像素子を用いて取得された、投影装置による投影位置を示す基準点を含む撮影画像と、前記撮影画像を取得した際の撮影用のパラメータを取得し、
    　前記撮影画像に含まれる前記基準点の位置と、前記撮影用のパラメータに応じて、投影用のパラメータを補正する制御信号を生成する
    　補正方法。
  12. 　前記投影システムの演算回路に、請求項１１の方法を実行させるコンピュータプログラム。
PCT/JP2023/036495 2022-10-11 2023-10-06 投影装置、補正装置、投影システム、補正方法及びコンピュータプログラム WO2024080234A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022163451 2022-10-11
JP2022-163451 2022-10-11

Publications (1)

Publication Number Publication Date
WO2024080234A1 true WO2024080234A1 (ja) 2024-04-18

Family

ID=90669248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/036495 WO2024080234A1 (ja) 2022-10-11 2023-10-06 投影装置、補正装置、投影システム、補正方法及びコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2024080234A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08304751A (ja) * 1995-05-01 1996-11-22 Nec Corp 液晶プロジェクション装置
JP2000284363A (ja) * 1999-03-30 2000-10-13 Telecommunication Advancement Organization Of Japan 画像投影装置及び画像投影方法
JP2005318268A (ja) * 2004-04-28 2005-11-10 Fuji Electric Systems Co Ltd 投射表示装置および投射表示システム
JP2008287171A (ja) * 2007-05-21 2008-11-27 Funai Electric Co Ltd 投射型映像表示装置
JP2012151670A (ja) * 2011-01-19 2012-08-09 Renesas Electronics Corp 画像投影システム及び半導体集積回路
JP2015232583A (ja) * 2012-09-27 2015-12-24 三菱電機株式会社 画像投影システムおよび投影位置調整方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08304751A (ja) * 1995-05-01 1996-11-22 Nec Corp 液晶プロジェクション装置
JP2000284363A (ja) * 1999-03-30 2000-10-13 Telecommunication Advancement Organization Of Japan 画像投影装置及び画像投影方法
JP2005318268A (ja) * 2004-04-28 2005-11-10 Fuji Electric Systems Co Ltd 投射表示装置および投射表示システム
JP2008287171A (ja) * 2007-05-21 2008-11-27 Funai Electric Co Ltd 投射型映像表示装置
JP2012151670A (ja) * 2011-01-19 2012-08-09 Renesas Electronics Corp 画像投影システム及び半導体集積回路
JP2015232583A (ja) * 2012-09-27 2015-12-24 三菱電機株式会社 画像投影システムおよび投影位置調整方法

Similar Documents

Publication Publication Date Title
CN110677634B (zh) 投影仪的梯形校正方法、装置、***及可读存储介质
WO2022193559A1 (zh) 投影校正方法、装置、存储介质及电子设备
WO2022179108A1 (zh) 投影校正方法、装置、存储介质和电子设备
CN102404537B (zh) 投影仪以及投影仪的控制方法
KR20160118868A (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
JP2004274354A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2006189685A (ja) 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法
JP2006060447A (ja) スクリーンの一部の辺を用いたキーストーン補正
JP2007078821A (ja) 投影装置、投影方法及びプログラム
JP2010130225A (ja) 投写型表示装置および投写用調整方法
JP2009010782A (ja) 画像処理装置及び制御プログラム
WO2005002240A1 (ja) 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置
JP2015184383A (ja) プロジェクター、及び投写画像制御方法
US20110279738A1 (en) Control device and projection video display device
JP2011176629A (ja) 制御装置および投写型映像表示装置
JP2020088708A (ja) 制御装置、撮像装置およびプログラム
WO2017179111A1 (ja) 表示システムおよび情報処理方法
JP2003348500A (ja) 投射画像の調整方法、画像投射方法および投射装置
CN117097872A (zh) 一种投影设备自动梯形校正***及方法
WO2024080234A1 (ja) 投影装置、補正装置、投影システム、補正方法及びコンピュータプログラム
JP2018159838A (ja) 画像投影装置とその制御方法、プログラム及び記憶媒体
JP2009253575A (ja) プロジェクタ、プログラム及び記憶媒体
CN114339179B (zh) 投影校正方法、装置、存储介质以及投影设备
WO2020162051A1 (ja) 投射型映像表示システム
JP2017203804A (ja) 投影装置及び投影方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23877238

Country of ref document: EP

Kind code of ref document: A1