WO2019124070A1 - 画像処理装置、画像処理方法、プログラム、および投影システム - Google Patents

画像処理装置、画像処理方法、プログラム、および投影システム Download PDF

Info

Publication number
WO2019124070A1
WO2019124070A1 PCT/JP2018/044641 JP2018044641W WO2019124070A1 WO 2019124070 A1 WO2019124070 A1 WO 2019124070A1 JP 2018044641 W JP2018044641 W JP 2018044641W WO 2019124070 A1 WO2019124070 A1 WO 2019124070A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
equidistant cylindrical
front position
projected
Prior art date
Application number
PCT/JP2018/044641
Other languages
English (en)
French (fr)
Inventor
智也 石川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880080505.XA priority Critical patent/CN111480335B/zh
Priority to US16/772,642 priority patent/US11115632B2/en
Priority to EP18890127.6A priority patent/EP3706410B1/en
Publication of WO2019124070A1 publication Critical patent/WO2019124070A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present technology relates to an image processing apparatus, an image processing method, a program, and a projection system, and in particular, an image that can reduce processing when projecting an image based on an equidistant cylindrical image using a plurality of projectors.
  • the present invention relates to a processing device, an image processing method, a program, and a projection system.
  • processing is performed to measure the positional relationship between the projector, the screen, and the viewpoint, and to generate geometric correction information used to generate a projection image of each projector.
  • the geometric correction information is information that associates the pixels of the projected image of each projector with the pixels of the equidistant cylindrical image that is the source of the projection.
  • the high-resolution regular-ranging cylindrical image is divided into a plurality of rectangular areas, and an image of each rectangular area is prepared. There is a way.
  • the area allocated to the projector for projecting near the pole becomes very large due to the nature of the equidistant cylindrical image. Due to the difference in the size of the area allocated to each projector, the variation in throughput and data amount becomes large.
  • the present technology has been made in view of such a situation, and is intended to reduce processing when projecting an image based on a correct-distance cylindrical image using a plurality of projectors.
  • the image processing device is configured to generate a central pixel of each projection area of the plurality of projectors in the first equidistant cylindrical image as an image used to generate each projection image to be projected from the plurality of projectors.
  • the generation unit is configured to generate a second equidistant cylindrical image, which is a central pixel and is configured of pixels in an angle range including the projection area.
  • a projection system includes a screen having a curved projection surface, a plurality of projectors that project a projection image generated by an image processing apparatus onto the screen, and a plurality of projectors that project the projection image.
  • a central pixel of each of the projection areas of the plurality of projectors in the first equidistant cylindrical image is set as a central pixel, and the image is formed of pixels in an angular range including the projection area
  • the central pixel of each projection area of the plurality of projectors in the first equidistant cylindrical image is used as a central pixel
  • a second equidistant cylindrical image is generated that is comprised of pixels in an angular range that includes the area.
  • FIG. 1 is a diagram illustrating a configuration example of a multi-projection system according to an embodiment of the present technology.
  • the multi-projection system of FIG. 1 includes a dome screen 1, projectors 2-1 to 2-7, and an image processing device 3.
  • the projectors 2-1 to 2-7 are connected to the image processing apparatus 3 via wired or wireless communication.
  • the dome screen 1 has a dome-like (spherical) projection surface 1A of such a size as to cover the view of the viewer standing with the dome screen 1 in front.
  • the viewer stands at a position where the position P1 which is the center of the sphere when the projection surface 1A is the surface of the sphere is the viewpoint, and looks at the image projected on the projection surface 1A.
  • a position P2 on the projection surface 1A which is in the horizontal direction from the position P1 shown at the tip of the broken line arrow in FIG. 2 is the front position of the projection surface 1A.
  • an image having a wide angle of view such as an angle of view of 240 degrees in the horizontal direction and an angle of view of 110 degrees in the vertical direction is projected. Since the image covers almost the entire field of view, the viewer can get an impression of being surrounded by the image and get an immersive feeling for the content.
  • moving image contents such as games and movies are provided.
  • Still image content such as a picture of a landscape, may be provided.
  • the projectors 2-1 to 2-7 present one image to the viewer by projecting a projection image, which is an image for each projector, onto the dome screen 1.
  • the projection image of each projector is generated based on the high resolution image forming the moving image of the content so that one image can be viewed without distortion at the viewer's viewpoint.
  • the projectors 2-1 to 2-7 are installed near the ceiling of a room, and the projectors 2-6 and 2-7 are installed near the floor. There is.
  • the projection units of the projectors 2-1 to 2-7 are directed to a predetermined area of the projection surface 1A.
  • FIG. 1 Although seven projectors of the projectors 2-1 to 2-7 are shown in FIG. 1, the multi-projection system is provided with more projectors.
  • projectors 2-1 to 2-18 which are 18 projectors
  • Projectors 2-8 to 2-18 other than the projectors 2-1 to 2-7 shown in FIG. 1 are also installed at predetermined positions in front of the dome screen 1 with the projection unit directed to a predetermined area of the projection surface 1A.
  • Ru The number of projectors constituting the multi-projection system is arbitrary.
  • the image processing apparatus 3 generates a projection image of each projector based on each frame constituting a moving image of content.
  • the image processing device 3 outputs the projection image to each projector and causes it to project.
  • the image processing device 3 is, for example, a PC.
  • the image processing apparatus 3 may be configured by a plurality of PCs instead of one PC. Further, the image processing apparatus 3 may not be prepared near the dome screen 1 as shown in FIG. 1, but may be prepared in a room different from the room in which the dome screen 1 is installed.
  • FIG. 3 is a diagram showing an example of one frame constituting a moving image of content.
  • One frame constituting a moving image is an equidistant cylindrical image as shown in FIG.
  • the equidistant cylindrical image is an image used as a representation format of an omnidirectional image taken by an omnidirectional camera or the like.
  • the moving image acquired by the image processing device 3 is a moving image formed of an image having a wide angle of view, such as an omnidirectional image captured by an omnidirectional camera, for example.
  • the angle of view in the horizontal direction is 360 ° from ⁇ 180 ° to 180 °
  • the angle of view in the vertical direction is 180 ° from ⁇ 90 ° to 90 °.
  • the number of pixels in the horizontal direction of the regular distance cylindrical image is 21,600
  • the number of pixels in the vertical direction is 10,800.
  • the number of pixels per angle of view is 60 (60 ppd (pixel per degree)).
  • the equidistant cylindrical image is an image in which parallel lines and meridians intersect at right angles and at equal intervals.
  • the position of each pixel is expressed by latitude and longitude.
  • the distortion near latitude 0 ° becomes smaller, and as it gets away from latitude 0 °, the distortion in the lateral direction becomes larger.
  • the building in the foreground is shown in a state of being greatly extended to the left and right. The sea and sky are visible in front of the front.
  • the image processing apparatus 3 generates a projection image of each projector based on such a high resolution equidistant cylindrical image which is an equidistant cylindrical image having a wide angle of view and a high resolution.
  • the angle of view and the number of pixels of the high-resolution regular-ranging cylindrical image are not limited to the values shown in FIG.
  • the image projected onto the dome screen 1 is an image having a horizontal angle of view of 240 degrees and a vertical angle of view of 110 degrees.
  • a projected image of each projector is generated based on the image of a partial region of the high resolution regular cylinder image.
  • the area used for generating the projection image is set according to the projection front position.
  • the projection front position is a position on the high resolution equidistant cylinder image projected on the front position (position P2 in FIG. 2) of the projection surface 1A.
  • the projection front position so as to set the predetermined position of the high resolution equidistant cylinder image as the projection front position. Adjustment of the projection front position is performed, for example, by a manager of the multi-projection system. The projection front position may be switched according to the operation of the content viewer.
  • FIG. 4 is a diagram showing an example of setting of the projection front position.
  • the center of the high-resolution equidistant cylindrical image is set as the default projected front position. Adjustment of the projected front position is performed by changing the default projected front position from the center of the high resolution equidistant cylinder image to another position.
  • the range of the field F1 of 240 ° in the horizontal direction and 110 ° in the vertical direction with respect to the position P11 is the projection of the dome screen 1 Set as a range.
  • the position P11 is a position slightly below the center of the high resolution equidistant cylindrical image.
  • the projection image of each projector is generated using pixels in a rectangular area shown by a frame F1 and surrounding pixels.
  • FIG. 5 is a diagram showing an example of the projection area of each projector.
  • Regions A1 to A5 shown above the frame F1 are projection regions of the projectors 2-1 to 2-5, respectively.
  • Regions B1 to B5 shown near the latitude of 0 ° are projection regions of the projectors 2-6 to 2-10, respectively.
  • Regions C1 to C5 are projection regions of the projectors 2-11 to 2-15, respectively.
  • Regions D1 to D3 shown below the frame F1 are projection regions of the projectors 2-16 to 2-18, respectively.
  • the projection areas shown in FIG. 5 are assigned to the respective projectors of the projectors 2-1 to 2-18. Assuming that the positional relationship between the dome screen 1, the projectors 2-1 to 2-18, and the viewpoints is fixed, the projection front position is set, and when the entire projection area shown by the frame F1 is determined, it is assigned to each projector The projection area to be
  • projection images of the respective projectors are generated such that the images of the respective projection areas are projected from the projectors 2-1 to 2-18.
  • FIG. 6 is a view showing an example of a projection area on the dome screen 1 (projection surface 1A) of each projector.
  • the colored circles in FIG. 6 show the projection surface 1A as viewed from the back side of the dome screen 1.
  • the projection images of the projectors 2-1 to 2-5 are projected to areas located slightly above the front position of the projection plane 1A as shown as areas A1 to A5, respectively.
  • the projection image of the projector 2-8 is projected onto the area including the front position of the projection plane 1A as shown as the area B3.
  • FIG. 7 is a view showing a projection state.
  • the projection image is projected from each projector, whereby the image in the range of the frame F1 as shown in FIG. 7 is presented to the viewer.
  • the position P11 of the high-resolution equidistant cylinder image corresponds to the front position of the projection surface 1A.
  • the presentation of content by the multi-projection system is performed by projecting a wide angle of view image that covers almost the entire field of view of the user using a plurality of projectors.
  • the image processing apparatus 3 mainly has the following functions. (1) Function to adjust the projection front position to an arbitrary position (2) Function to finely adjust the projection front position without regenerating the projection image of each projector (3) Regeneration of projection image of each projector Function to correct projection shift without
  • the function (1) is a function capable of adjusting a position other than the center of the high resolution regular-ranging cylindrical image as the projection front position, as described above.
  • the default state where the projected front position is the center of the high-resolution equidistant cylindrical image (latitude 0 °, longitude 0 °) is the opposite position in the horizontal direction, where the latitude 0 °, longitude 180 ° is the projected front position.
  • Such adjustments can also be made.
  • the function (2) is a function that enables fine adjustment of the projection front position when it becomes necessary. Normally, when fine adjustment is performed on the changed projection front position, it is necessary to generate a projection image according to the projection front position after fine adjustment instead of the generated projection image of each projector. The image processing device 3 does not need this.
  • the function (3) is a function of correcting the positional relationship between the projector, the screen, and the viewpoint when a projection deviation occurs.
  • the change in the positional relationship between the projector, the screen and the viewpoint may occur with time or may be caused by a temperature change.
  • the positional relationship between the projector, the screen, and the viewpoint also changes when the position is shifted or the setting of the viewpoint position is changed due to maintenance or the like.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of the image processing apparatus 3.
  • a central processing unit (CPU) 101, a read only memory (ROM) 102, and a random access memory (RAM) 103 are mutually connected by a bus 104.
  • an input / output interface 105 is connected to the bus 104.
  • An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
  • the input unit 106 is configured of a keyboard, a mouse and the like.
  • the input unit 106 is operated by the user (administrator of the multi-projection system) to adjust the projection front position and the like.
  • the output unit 107 causes the monitor to display an adjustment screen used to adjust the projection front position. Further, the output unit 107 outputs the projection image to each projector.
  • the storage unit 108 is configured of a hard disk, a non-volatile memory, and the like.
  • the storage unit 108 stores various data such as a program executed by the CPU 101 in addition to the content.
  • the communication unit 109 is configured by a network interface or the like.
  • the communication unit 109 communicates with an external device via a network such as the Internet.
  • the content reproduced in the multi-projection system may be provided via a network.
  • the drive 110 is a drive of a removable medium 111 such as a USB memory incorporating a semiconductor memory.
  • the drive 110 writes data to the removable media 111 and reads data stored in the removable media 111.
  • FIG. 9 is a block diagram showing an example of the functional configuration of the image processing apparatus 3.
  • an image processing unit 151 is realized by the CPU 101 executing a predetermined program.
  • the image processing unit 151 includes a geometry correction unit 161, a resolution conversion unit 162, a wide-area projection front position adjustment unit 163, a projector center equidistant cylindrical image generation unit 164, a projector center equidistant cylindrical image storage unit 165, and a detailed projection front position adjustment unit And a projection deviation correction unit 167 and a projection control unit 168.
  • the measurement image for the geometric correction process is input to the geometric correction unit 161, and the high resolution equidistant cylindrical image forming the moving image of the content is input to the resolution conversion unit 162 and the projector center equidistant cylindrical image generation unit 164.
  • the geometry correction unit 161 acquires a measurement image obtained by measurement processing performed as pre-processing for projecting a moving image of content.
  • the measurement image is an image obtained by projecting a pattern image designed in advance from each projector and photographing the pattern image projected on the projection surface 1A with a camera. In the measurement image, a pattern projected from each projector is shown in a distorted state according to the position of the projection area.
  • the geometry correction unit 161 generates geometry correction information by correlating the coordinates of the pattern image with the coordinates of the measurement image and solving the geometrical problem (by obtaining parameters of the geometrical transformation).
  • the geometric correction information is information of a geometric correction vector that associates the pixels of the projected image of each projector with the pixels of the high resolution equidistant cylindrical image.
  • the geometric correction information is information according to the positional relationship between the projector, the screen, and the viewpoint, and is used to generate a projection image.
  • the geometric correction information generated by such automatic geometric correction processing is the global projection front position adjustment unit 163, the projector center equidistant cylindrical image generation unit 164, the detailed projection front position adjustment unit 166, the projection deviation correction unit 167, and the projection It is supplied to the control unit 168.
  • the resolution conversion unit 162 performs resolution conversion of the high-resolution equidistant cylindrical image to generate a low-resolution equidistant cylindrical image that is a low-resolution equidistant cylindrical image.
  • the 22K (21600 ⁇ 10800 pixels) high-resolution equidistant cylindrical image is converted to a 4K (4096 ⁇ 2160 pixels) low-resolution equidistant cylindrical image by performing resolution reduction processing such as thinning out pixels. Be done.
  • the low resolution regular cylinder image is used to adjust the projection front position.
  • the low resolution equidistant cylindrical image generated by the resolution conversion unit 162 is supplied to the wide area projection front position adjustment unit 163.
  • the global projection front position adjustment unit 163 roughly adjusts the projection front position based on the geometric correction information supplied from the geometry correction unit 161 and the low resolution equidistant cylindrical image supplied from the resolution conversion unit 162. Perform a certain global projection front position adjustment process.
  • the projection front position information generated by the wide area projection front position adjustment processing is supplied to the projector center equidistant cylinder image generation unit 164. Details of the global projection front position adjustment process will be described later.
  • the projector center equidistant cylindrical image generation unit 164 is a projector center used to generate a projection image of each projector based on the high resolution equidistant cylinder image and the projection front position information supplied from the wide area projection front position adjustment unit 163. Generate an equidistant cylindrical image.
  • the geometric correction information supplied from the geometric correction unit 161 is also used to generate the projector-centered equidistant cylindrical image.
  • the projector-centered equidistant cylindrical image is an image including the range of angles of the projection area, with the central pixel of the projection area of each projector as the central pixel. Since the projection is performed using 18 projectors, 18 projector-centered equidistant cylindrical images are generated from one high resolution equidistant cylindrical image.
  • the projector-centered equidistant cylindrical image generated by the projector-centered equidistant cylindrical image generation unit 164 is supplied to the projector-centered equidistant cylindrical image storage unit 165 together with image generation parameters and stored.
  • the image generation parameters are information used to generate a projected image based on the projector-centered equidistant cylindrical image.
  • the detailed projection front position adjustment unit 166 performs a detailed projection front position adjustment process, which is a process of finely adjusting the projection front position.
  • the detailed projection front position adjustment process is performed in a state in which a projection image is projected from each projector and a moving image is presented on the dome screen 1.
  • the projection front position information generated by the detailed projection front position adjustment process is supplied to the projection deviation correction unit 167. Details of the detailed projection front position adjustment process will be described later.
  • the projection deviation correction unit 167 corrects the projection deviation based on the geometric correction vector supplied from the detailed projection front position adjustment unit 166.
  • the correction of the projection deviation is a process of correcting an existing geometric correction vector according to the projection deviation.
  • the correction of the projection shift is referred to as regeometric correction vector generation processing as appropriate.
  • the regeometry correction vector generated by the regeometry correction vector generation process is a vector that associates the pixels of the projection image of each projector with the pixels of the projector-centered equidistant cylindrical image after fine adjustment of the projection front position. Details of the regeometry correction vector generation will be described later.
  • the regeometry correction vector generation process by the projection shift correction unit 167 is also performed at the timing when the automatic geometry correction process is performed again or the like because a shift occurs in the positional relationship between the projector, the screen, and the viewpoint.
  • geometric correction information including a geometric correction vector is supplied from the geometric correction unit 161 to the projection deviation correction unit 167.
  • the projection control unit 168 reads the projector-centered equidistant cylindrical image and the image generation parameters stored in the projector-centered equidistant cylindrical image storage unit 165, and generates a projected image of each projector.
  • the geometric correction information supplied from the geometric correction unit 161 or the re-geometric correction vector supplied from the projection deviation correction unit 167 is used to generate the projection image of each projector.
  • the regeometry correction vector is used to generate a projection image.
  • the projection control unit 168 outputs the projection image to each projector and causes the dome screen 1 to project.
  • FIG. 10 is a diagram showing the overall flow of image processing by the image processing unit 151. As shown in FIG. 10
  • the geometric correction unit 161 performs automatic geometric correction processing using a measurement image as input, and generates geometric correction information.
  • the automatic geometric correction process is performed using a plurality of measurement images (measurement image groups).
  • the subsequent processing branches depending on whether the current automatic geometric correction processing is the first processing or the second or subsequent processing.
  • the global projection front position adjustment unit 163 performs the global projection front position adjustment processing using the low resolution equidistant cylindrical image I do.
  • the global projection front position adjustment unit 163 also receives information representing the input content of the user who is adjusting the projection front position while looking at the image displayed based on the low resolution equidistant cylindrical image.
  • the projector center equidistant cylinder image generation unit 164 uses the projection front position information generated by the wide area projection front position adjustment process and the high resolution Performs equidistant cylindrical image generation processing.
  • the projector-centered equidistant cylindrical image generation processing generates projector-centered equidistant cylindrical images and image generation parameters of each projector.
  • the detailed projection front position adjustment unit 166 performs the detailed projection front position adjustment process.
  • information indicating the input content of the user who is finely adjusting the projection front position while looking at the image projected on the dome screen 1 based on the projector center equidistant cylindrical image It is input.
  • the projection deviation correction unit 167 performs regeometry correction vector generation processing.
  • the regeometry correction vector generation process is supplied from the geometry correction unit 161 based on the geometry correction vector supplied from the detailed projection front position adjustment unit 166 or by performing the automatic geometry correction process again. It is performed based on the geometric correction information.
  • the global projection front position adjustment processing and the projector center equidistant cylindrical image generation processing are omitted, and the detailed projection front position adjustment is performed. It is done from processing. It is also possible that a series of processes are performed from the re-geometry correction vector generation process.
  • the projection control unit 168 generates and projects a projection image of each projector based on the projector center equidistant cylindrical image and the image generation parameter.
  • ⁇ Projected front position adjustment process> The adjustment of the projection front position is performed in two steps of the wide-area projection front position adjustment processing using the low resolution equidistant cylindrical image and the detailed projection front position adjustment processing after the generation of the projector center equidistant cylindrical image.
  • FIG. 11 is a diagram showing the flow of the global projection front position adjustment process.
  • geometric correction information generated by the automatic geometric correction process is input to the global projection front position adjusting unit 163.
  • the geometric correction vector included in the geometric correction information is, as shown by an arrow A11, a pixel E (u, v) to be a reference destination on the high resolution equidistant cylindrical image of each pixel (u, v) of the projected image. Show.
  • the equidistant cylindrical image input to the wide area projection front position adjustment unit 163 is a low resolution equidistant cylindrical image obtained by resolution conversion, but each pixel of the low resolution equidistant cylindrical image has a high resolution before conversion It corresponds to the pixel of the equidistant cylindrical image.
  • the geometric correction vector is information that associates each pixel of the projected image with a pixel of the high resolution equidistant cylindrical image, and is also information that correlates each pixel of the projected image to a pixel of the low resolution equidistant cylindrical image.
  • the global projection front position adjustment unit 163 converts the geometric correction vector included in the geometric correction information into a 3D vector Q.
  • the position of the pixel of the low resolution equidistant cylindrical image corresponds to the latitude and longitude ( ⁇ , ⁇ ) as described above.
  • the 3D vector Q is a vector that indicates the direction of the pixels with respect to the center of the sphere.
  • the latitude and longitude ( ⁇ , ⁇ ) of the pixel of the low resolution regular-ranging cylindrical image corresponding to each pixel of the projected image are expressed by the following equations (1) and (2), respectively.
  • the equiWidth in equation (1) is the width of the low resolution regular cylinder image
  • the equiHeight in equation (2) is the height of the low resolution regular cylinder image.
  • the latitude and longitude ( ⁇ , ⁇ ) are converted from the following equation (3) into a 3D vector Q.
  • an adjustment screen used to adjust the projection front position is displayed on the monitor.
  • a low resolution regular distance cylindrical image itself is displayed, or an image generated based on the low resolution regular distance cylindrical image is displayed.
  • the user adjusts the projection front position using such a GUI (Graphical User Interface).
  • Information representing the adjusted projection front position is supplied to the global projection front position adjustment unit 163.
  • the global projection front position adjustment unit 163 performs coordinate conversion of the 3D vector Q in accordance with the user's input.
  • the transformation matrix U used for coordinate transformation is a matrix for changing the projection front position, and is represented as a rotation matrix of a 3D vector Q as indicated by an arrow A12.
  • the 3D vector Q ′ reflecting the user's input is expressed by the following equation (4).
  • the 3D vector Q ′ represents the latitude and longitude of the pixel of the low resolution equidistant cylindrical image after adjustment of the projection front position.
  • a conversion matrix U used to convert such a geometric correction vector representing the correspondence between the pixels of the projected image and the pixels of the equidistant cylindrical image is determined for each pixel of the projected image, and the projector center positive information is used as projected front position information. It is supplied to the distance cylinder image generation unit 164.
  • the global projection front position adjusting unit 163 converts the 3D vector Q 'into a geometric correction vector, and generates geometric correction information that is information of the converted geometric correction vector.
  • the conversion of the 3D vector Q 'into the geometric correction vector is performed by inverse conversion using the above equations (1) to (3).
  • the geometric correction vector after conversion is, as shown by arrow A13, on each pixel (u, v) of the projected image and the low resolution equidistant cylindrical image (high resolution equidistant cylindrical image) after adjustment of the projection front position. It becomes information correlating with the pixel E (u, v).
  • the detailed projection front position adjustment process is performed in a state in which a projection image is projected from each projector and a moving image is presented on the dome screen 1. The user looks at the moving image presented on the dome screen 1 and makes a fine adjustment of the projection front position.
  • the flow of the detailed projection front alignment process is basically the same as the flow of the global projection front alignment process.
  • geometric correction information generated by the automatic geometric correction process is input to the detailed projection front position adjusting unit 166.
  • the geometric correction vector included in the geometric correction information indicates a pixel E (u, v) as a reference destination on the high resolution equidistant cylindrical image of each pixel (u, v) of the projected image.
  • the high resolution equidistant cylindrical image consisting of the pixels E (u, v) is an image of the entire projection area (the area of the frame F1 in FIG. 4) generated based on the projector center equidistant cylindrical image of each projector It is.
  • the detailed projection front position adjusting unit 166 converts the geometric correction vector included in the geometric correction information into a 3D vector Q.
  • the detailed projection front position adjustment unit 166 performs coordinate conversion of the 3D vector Q in accordance with the input of the user viewing the moving image projected on the dome screen 1.
  • the range of the projection front position which can be adjusted by the user is the range of the margin area set in the projector center equidistant cylindrical image.
  • the margin area set for the projector center equidistant cylindrical image will be described later.
  • a margin area is set around the entire projection area indicated by a frame F1 in FIG. 4, and it is possible to finely adjust the projection front position in the range of the entire projection area including the margin area .
  • the detailed projection front position adjusting unit 166 converts the 3D vector Q ′ obtained by the coordinate conversion into a geometric correction vector, and generates geometric correction information which is information of the geometric correction vector after conversion.
  • the geometric correction information generated by the detailed projection front position adjustment processing and the conversion matrix U used for coordinate conversion of the 3D vector Q are supplied to the projection deviation correction unit 167 as projection front position information.
  • adjustment of the projection front position is performed as a two-step process.
  • the following advantages can be obtained.
  • the image processing apparatus 3 can accelerate the drawing response become. By drawing the state after adjustment in a responsive manner, the user can perform it quickly and easily even if the projected front position is greatly adjusted.
  • the image processing apparatus 3 finely adjusts the projection front position without regenerating the image for each projector (projector center equidistant cylindrical image) It can be carried out.
  • ⁇ Projector-centered equidistant cylindrical image generation processing> In order to realize the adjustment of the projection front position and the correction of the projection deviation, as a division method of the image for each projector, a method having the property as an equidistant cylindrical image and capable of coping with the change of the geometrical correction information is required. Be done.
  • the projector-centered equidistant cylindrical image is an image obtained by dividing the high-resolution equidistant cylindrical image for each projector with sufficient data efficiency while satisfying such requirements.
  • the process of dividing an equidistant cylindrical image is used in various applications.
  • FIG. 12 shows the projection area of each projector in the high resolution equidistant cylindrical image.
  • the projection area of each projector is the same as the area described with reference to FIG.
  • the area D1 which is the projection area of the projector 2-16 projecting near the poles, is compared with the projection area of the projector projecting near 0 ° latitude. Very wide.
  • the overall throughput may be reduced.
  • the increase in the size of data that needs to be held may reduce the stability of operation.
  • the coordinates on the equidistant cylindrical image corresponding to the center (position P21) of the projection area of each projector are set as latitude 0 ° longitude 0 °, as indicated by the tip of arrow A21 in FIG.
  • a projector-centered equidistant cylindrical image which is an image including a range of projection angles of each projector and a range of margin angles, is generated. That is, processing for preparing an image of each projector by cutting out a rectangular area as indicated by a frame F21 is not performed.
  • An area inside the rectangular frame F22 shown on the right side of FIG. 12 is an area corresponding to the range of the projection angle of the projector 2-16. Further, the area outside the frame F22 and inside the frame F23 is a margin area. Pixels in the margin area are used for fine adjustment of the projection front position and correction of the projection deviation.
  • the projector-centered equidistant cylindrical image is generated, for example, as an image having a number of pixels of 6K (6144 ⁇ 3072 pixels) or less.
  • the number of pixels of each projector-centered equidistant cylindrical image differs depending on the range of the projection angle.
  • a projector-centered equidistant cylindrical image composed of pixels in such a region is generated for each projector.
  • the image processing unit 151 has the property of an equidistant cylindrical image, can cope with a change in the geometric correction information, and can perform division into an image with high data efficiency per unit angle.
  • FIG. 13 is a diagram showing a flow of projector center equidistant cylindrical image generation processing.
  • the projector-centered equidistant cylindrical image generation process shown in FIG. 13 is performed by sequentially focusing on the respective projectors.
  • the projector-centered equidistant cylindrical image generation unit 164 generates a height corresponding to the central pixel of the projected image of the projector of interest based on the geometric correction information supplied from the geometric correction unit 161.
  • the latitude and longitude ( ⁇ , ⁇ ) on the resolution equidistant cylinder image are calculated.
  • the calculation of the latitude and longitude is performed based on the geometric correction vector of the central pixel of the projection image and the equations (1) and (2), which are included in the geometric correction information.
  • the geometric correction vector indicated by the arrow A31 is information representing the correspondence between the central pixel of the projected image of the projector and the pixel of the high resolution equidistant cylindrical image.
  • the projector-centered equidistant cylindrical image generation unit 164 calculates the range of the projection angle of the projector. Calculation of the range of projection angles, the four corners of the pixel of the projected image is converted into latitude and longitude as with the center pixel, it is carried out by calculating the angle range R phi angle range R theta and longitude latitude direction.
  • the projector center equidistant cylinder image generation unit 164 converts the projection image into the projector center equidistant cylinder image based on the 3D vector Q corresponding to the center pixel of the projection image Calculate the transformation matrix P for
  • the 3D vector Q corresponding to the center of the projection image of the projector is obtained by the above equations (1) to (3) based on the geometric correction vector of the central pixel of the projection image.
  • the transformation matrix U of Equation (5) is a matrix for adjusting the projection front position according to the input by the user, as described above.
  • the transformation matrix U is specified by the projection front position information supplied from the global projection front position adjustment unit 163.
  • the conversion matrix M is a matrix for converting the central pixel of the projection image into a pixel of latitude 0 ° longitude 0 ° on the projector center equidistant cylindrical image coordinates.
  • the conversion matrix M is obtained by the following equation (6) based on the latitude and longitude ( ⁇ , ⁇ ) on the high resolution equidistant cylindrical image corresponding to the central pixel of the projection image.
  • the adjustment of the projection front position is not considered in the latitude and longitude ( ⁇ , ⁇ ) on the high resolution equidistant cylindrical image used for the calculation of the transformation matrix M.
  • the transformation matrix P is obtained by multiplying the transformation matrix M by the transformation matrix U representing the contents of the adjustment of the projection front position.
  • the projector-centered equidistant cylindrical image generation unit 164 generates a 3D vector Q of each pixel of the high-resolution equidistant cylindrical image (entire projection area) based on the conversion matrix P, as indicated by an arrow A32, Convert to a 3D vector Q ′ ′ representing coordinates on the cylindrical image.
  • the transformation of the 3D vector Q is expressed by the following equation (7).
  • the projector center Equirectangular image generating unit 164 together with the addition of angular range Margin ⁇ as a margin latitudinal angular range R theta, margin longitude angle range R phi Add the angular range Margin ⁇ to be
  • the projector-centered equidistant cylindrical image generation unit 164 is configured of pixels in an angular range (R ⁇ + Margin ⁇ , R ⁇ + Margin ⁇ ) of the pixels of the high resolution equidistant cylindrical image represented by the 3D vector Q ′ ′. A projector-centered equidistant cylindrical image is generated.
  • the projector-centered equidistant-cylindrical-image generating unit 164 uses the projector-centered equidistant-cylindrical-image storage unit 165 as an image generation parameter, together with the projector-centered equidistant-cylindrical image, as well as information representing the angle range (R ⁇ , R ⁇ ) and the conversion matrix M.
  • the image generation parameters are used in generating a projection image based on the projector-centered equidistant cylindrical image.
  • the projector center equidistant cylindrical image storage unit 165 stores the projector center equidistant cylindrical image for each projector as a set with the image generation parameter.
  • FIG. 14 is a view showing an example of a high resolution equidistant cylindrical image and a projector center equidistant cylindrical image.
  • the projector-centered equidistant cylindrical image shown in B of FIG. 14 is a projector-centered equidistant cylindrical image of the projector 2-17 (projector to which a projection area near the area D2 in FIG. 5 is assigned) which is a projector that projects near the poles. is there.
  • the projector-centered equidistant cylindrical image shown in B of FIG. 14 is an image obtained by adding a margin area of 20 ° to the latitude / longitude direction of the angle range (R ⁇ , R ⁇ ) of the projection area of the projector 2-17. .
  • the user can finely adjust the projection front position within a 20 ° margin area.
  • the geometric correction vector included in the geometric correction information generated by the automatic geometric correction processing is information that associates the pixels of the projected image of the projector with the pixels of the high resolution equidistant cylindrical image including the full latitude and longitude range. In order to associate the pixels of the projected image of the projector with the pixels of the projector-centered equidistant cylindrical image, it is necessary to generate a re-geometric correction vector by converting the geometric correction vector.
  • FIG. 15 is a diagram showing a flow of regeometry correction vector generation processing.
  • the regeometry correction vector generation process shown in FIG. 15 is performed by focusing attention on the projector center equidistant cylindrical image of each projector in order.
  • the projection shift correction unit 167 is generated by performing again the geometric correction information updated by the adjustment of the projection front position or the automatic geometric correction process accompanying the projection shift. Geometric correction information is input.
  • the former geometric correction information is generated by the detailed projection front position adjustment process, and is supplied from the detailed projection front position adjustment unit 166 as projection front position information.
  • the geometric correction vector included in the geometric correction information updated by the adjustment of the projection front position is a vector that associates the pixels of the projection image of each projector with the pixels of the high resolution equidistant cylindrical image after fine adjustment of the projection front position. It is.
  • the latter geometric correction information is supplied from the geometric correction unit 161 when the positional relationship between the projector, the screen and the viewpoint is deviated and the automatic geometric correction process is performed again.
  • the geometric correction vector included in the geometric correction information supplied by performing the automatic geometric correction process again is a vector that associates the pixels of the projected image of each projector with the pixels of the high resolution equidistant cylindrical image.
  • the projection deviation correction unit 167 converts the geometric correction vector included in the geometric correction information into a 3D vector Q.
  • the 3D vector Q is obtained by the above equations (1) to (3).
  • the projection shift correction unit 167 converts the conversion matrix P ′ based on the conversion matrix M of the image generation parameters stored in the projector center equidistant cylindrical image storage unit 165 and the conversion matrix U obtained by adjusting the projection front position.
  • Ask for The transformation matrix P ′ is expressed by the following equation (8).
  • the projection deviation correction unit 167 converts the 3D vector Q into the 3D vector Q ′ ′ of the projector center equidistant cylindrical image coordinate system based on the conversion matrix P ′, as indicated by the tip of the white arrow # 33. Do.
  • the 3D vector Q ′ ′ is expressed by the following equation (9).
  • the projection deviation correction unit 167 outputs the 3D vector Q " obtained by the conversion to the projection control unit 168 and stores the 3D vector Q " as a re-geometry correction vector, as indicated by the tip of the white arrow # 34.
  • a series of processes as described above are sequentially performed focusing on the projector-centered equidistant cylindrical image of each projector.
  • the projection control unit 168 stores and manages the regeometry correction vector supplied from the projection shift correction unit 167.
  • the re-geometry correction vector is a vector that associates the pixels of the projected image of each projector with the pixels of the projector-centered equidistant cylindrical image after the projection shift correction.
  • projection control section 168 At the time of generation of a projection image, in projection control section 168, an image generated based on the projector center equidistant cylindrical image read out from projector center equidistant cylinder image storage section 165 and the image generation parameter is converted into a regeometry correction vector. Based on the conversion, a projection image is generated.
  • an image composed of pixels included in the angle range (R ⁇ , R ⁇ ) included in the image generation parameter is projected by being converted based on the regeometry correction vector An image is generated.
  • the re-geometry correction vector is a vector generated using the transformation matrix U obtained by the detailed projection front position adjustment process.
  • Generating a projection image using a re-geometry correction vector is a process including adjusting the detailed projection front position in addition to correcting the projection deviation.
  • step S1 the image processing unit 151 determines whether the projector-centered equidistant cylindrical image has been generated.
  • step S1 If it is determined in step S1 that the projector-centered equidistant cylindrical image has not been generated, the global projection front position adjustment unit 163 performs global projection front position adjustment processing in step S2. By performing the process described with reference to FIG. 11, adjustment of the projection front position is performed.
  • step S3 the projector center equidistant cylinder image generation unit 164 performs projector center equidistant cylinder image generation processing. By performing the processing described with reference to FIGS. 12 and 13, a projector-centered equidistant cylindrical image of each projector is generated.
  • step S4 the detailed projection front position adjustment unit 166 performs a detailed projection front position adjustment process. By performing the process described with reference to FIG. 11, fine adjustment of the projection front position is performed.
  • step S5 the projection deviation correction unit 167 performs regeometry correction vector generation processing. By performing the process described with reference to FIG. 15, the regeometry correction vector is generated.
  • step S6 the projection control unit 168 generates a projection image by converting the image generated based on the projector center equidistant cylindrical image and the image generation parameter based on the regeometry correction vector.
  • the projection control unit 168 outputs and projects a projection image to each projector.
  • a moving image consisting of an image of a predetermined range of the high resolution equidistant cylindrical image is projected on the dome screen 1 in a form as shown in FIG.
  • step S7 the image processing unit 151 determines whether or not to finely adjust the projection front position.
  • step S7 If it is determined in step S7 that the fine adjustment of the projection front position is performed, the process proceeds to step S4, and the detailed projection front position adjustment process is performed. After the detailed projection front position adjustment processing is performed, the regeometry correction vector generation processing is appropriately performed to generate a projection image.
  • step S7 when it is determined in step S7 that the fine adjustment of the projection front position is not performed, the process proceeds to step S8, and the image processing unit 151 determines whether to correct the projection shift.
  • step S8 If it is determined in step S8 that the projection shift correction is to be performed, the process proceeds to step S5, and the regeometry correction vector generation processing is performed. After the re-geometry correction vector generation processing is performed, generation of a projection image is performed.
  • step S8 when it is determined in step S8 that the correction of the projection shift is not performed, the process proceeds to step S6, and generation and projection of a projection image are performed.
  • the user can finely adjust the projection front position, and can also correct the projection deviation.
  • the pixels used to generate the projector-centered equidistant cylindrical image are only the pixels in the angle range obtained by adding the angle range of the margin to the angle range of the projection area, it is possible to improve data transmission efficiency and processing efficiency. It will be possible. For example, when preparing an image of each projector by cutting out a rectangular area from a high-resolution regular-distance cylindrical image, many unnecessary pixels are also included in the image of the projector to which the projection area near the pole is allocated. However, it will be possible to prevent such a thing.
  • the projection surface 1A of the dome screen 1 has a substantially hemispherical dome shape
  • curved surfaces of various curvatures and angles of view can be adopted as the shape of the projection surface 1A.
  • Head tracking may be performed by detecting the line of sight of the viewer or the like, and the projection range may be controlled according to the line of sight.
  • the functional units of the image processing unit 151 are implemented such that some functional units of the functional units of the image processing unit 151 shown in FIG. 9 are realized by a predetermined PC and the other functional units are realized by another PC. May be realized by a plurality of PCs.
  • the functional unit of the image processing unit 151 may be realized by a server on the Internet, and projection of a moving image may be performed based on data transmitted from the server.
  • the series of processes described above can be performed by hardware or software.
  • a program constituting the software is installed from a program recording medium in a computer incorporated in dedicated hardware, a general-purpose personal computer, or the like.
  • the program executed by the CPU 101 is provided, for example, via a wired or wireless transmission medium, such as a local area network, the Internet, or digital broadcasting, recorded in the removable medium 111, and installed in the storage unit 108.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • a system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can also be configured as follows.
  • (1) As an image used for generating each projection image made to project from a plurality of projectors, an angular range including a central pixel of each projection area of the plurality of projectors in the first equidistant cylindrical image as a central pixel and including the projection areas
  • An image processing apparatus comprising: a generation unit configured to generate a second equidistant cylindrical image composed of the pixels of (4).
  • a first projected front position adjustment unit that adjusts the projected front position.
  • the generation unit generates the second equidistant cylindrical image based on each of the projection areas in the first equidistant cylindrical image after adjustment of the projection front position.
  • the image processing apparatus further includes a resolution conversion unit that generates a low resolution equidistant cylindrical image by reducing the resolution of the first equidistant cylindrical image.
  • the first projected front position adjusting unit is configured to adjust a pixel of the projected image and a pixel of the first equidistant cylindrical image according to the projected front position adjusted using the display of the low resolution equidistant cylindrical image.
  • the image processing apparatus according to (2), wherein the first conversion information used to convert the geometric correction information representing the correspondence with the image is generated.
  • the generation unit generates the second equidistant cylindrical image including pixels in an angle range obtained by adding a predetermined angle range as a margin to an angle range of the projection area. .
  • the generation unit generates second conversion information for converting a central pixel of the projection image into a central pixel of the second equidistant cylindrical image, and information representing an angle range of the second equidistant cylindrical image.
  • the image processing apparatus according to (4), which generates an image generation parameter including: (6)
  • the image processing apparatus according to (6) further including: a projection control unit that generates the projection image based on the second equidistant cylindrical image and the image generation parameter and causes each of the plurality of projectors to project.
  • the image processing apparatus wherein the projection control unit projects the projection image on a screen having a curved projection surface.
  • a second projection front position adjustment unit configured to adjust the projection front position within the range of the margin based on an operation performed in a state where the projection image is projected;
  • the image processing apparatus according to claim 1.
  • the second projected front position adjusting unit is a geometry representing a correspondence between pixels of the projected image and pixels of the first equidistant cylindrical image according to the projected front position adjusted within the range of the margin.
  • the image processing apparatus which generates correction information.
  • the image processing device As an image used for generating each projection image made to project from a plurality of projectors, an angular range including a central pixel of each projection area of the plurality of projectors in the first equidistant cylindrical image as a central pixel and including the projection areas An image processing method for generating a second equidistant cylindrical image composed of the pixels of (14) On the computer As an image used for generating each projection image made to project from a plurality of projectors, an angular range including a central pixel of each projection area of the plurality of projectors in the first equidistant cylindrical image as a central pixel and including the projection areas A program for executing a process of generating a second equidistant cylindrical image composed of pixels of.
  • a screen having a curved projection surface A plurality of projectors for projecting a projection image generated by an image processing apparatus onto the screen; As an image used to generate each of the projected images to be projected from the plurality of projectors, a central pixel of each projection area of the plurality of projectors in the first equidistant cylindrical image is used as a central pixel, and the projection area is included.
  • a generation unit that generates a second equidistant cylindrical image composed of pixels in an angle range; Information on the second equidistant cylindrical image, conversion information for converting a central pixel of the projected image to a central pixel on the second equidistant cylindrical image, and information indicating an angular range of the second equidistant cylindrical image
  • a projection control unit that generates the projection image based on an image generation parameter including: and a projection control unit that causes each of the plurality of projectors to project the projection image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本技術は、正距円筒画像に基づく画像を複数のプロジェクタを用いて投影する場合の処理を軽減することができるようにする画像処理装置、画像処理方法、プログラム、および投影システムに関する。 本技術の一側面の画像処理装置は、複数のプロジェクタから投影させるそれぞれの投影画像の生成に用いられる画像として、第１の正距円筒画像における複数のプロジェクタのそれぞれの投影領域の中心画素を中心画素とし、投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する。本技術は、複数のプロジェクタから映像を投影させるコンピュータに適用することができる。

Description

画像処理装置、画像処理方法、プログラム、および投影システム
　本技術は、画像処理装置、画像処理方法、プログラム、および投影システムに関し、特に、正距円筒画像に基づく画像を複数のプロジェクタを用いて投影する場合の処理を軽減することができるようにした画像処理装置、画像処理方法、プログラム、および投影システムに関する。
　高解像度の正距円筒画像を入力として、正距円筒画像の一部の領域を複数のプロジェクタを連動させて投影するマルチ投影システムがある。
　マルチ投影システムにおいては、プロジェクタ・スクリーン・視点の位置関係を計測し、各プロジェクタの投影画像を生成するために用いられる幾何補正情報を生成する処理が行われる。幾何補正情報は、各プロジェクタの投影画像の画素と、投影の元になる正距円筒画像の画素とを対応付ける情報である。
特開２０１６－０１４７２０号公報
　下記の変化が生じた場合、通常、各プロジェクタの投影画像を再生成する必要がある。
　（１）正距円筒画像上の投影したい領域が変化した場合
　（２）プロジェクタ・スクリーン・視点の位置関係が変化した場合
　また、各プロジェクタ用の画像として、投影画像を用意しておくのではなく、高解像度の正距円筒画像を矩形状の複数の領域に分割し、矩形状の各領域の画像を用意しておく方法がある。この方法によって画像を用意しておく場合、正距円筒画像の性質上、極付近を投影するプロジェクタに割り当てられる領域が非常に大きくなる。各プロジェクタに割り当てられる領域の大きさの違いにより、スループットやデータ量のばらつきが大きくなる。
　本技術はこのような状況に鑑みてなされたものであり、正距円筒画像に基づく画像を複数のプロジェクタを用いて投影する場合の処理を軽減することができるようにするものである。
　本技術の一側面の画像処理装置は、複数のプロジェクタから投影させるそれぞれの投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する生成部を備える。
　本技術の他の側面の投影システムは、曲面状の投影面を有するスクリーンと、画像処理装置により生成された投影画像を前記スクリーンに投影する複数のプロジェクタと、複数の前記プロジェクタから投影させるそれぞれの前記投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する生成部と、前記第２の正距円筒画像と、前記投影画像の中心画素を前記第２の正距円筒画像の中心画素に変換するための変換情報と前記第２の正距円筒画像の角度範囲を表す情報とを含む画像生成パラメータに基づいて前記投影画像を生成し、複数の前記プロジェクタのそれぞれから投影させる投影制御部とを備える前記画像処理装置とを含むように構成される。
　本技術においては、複数のプロジェクタから投影させるそれぞれの投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像が生成される。
　本技術によれば、正距円筒画像に基づく画像を複数のプロジェクタを用いて投影する場合の処理を軽減することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係るマルチ投影システムの構成例を示す図である。 鑑賞者とドームスクリーンの位置関係の例を示す図である。 コンテンツの動画像を構成する１フレームの例を示す図である。 投影正面位置の設定の例を示す図である。 各プロジェクタの投影領域の例を示す図である。 ドームスクリーン上の投影領域の例を示す図である。 投影状態を示す図である。 画像処理装置のハードウェアの構成例を示すブロック図である。 画像処理装置の機能構成例を示すブロック図である。 画像処理の全体の流れを示す図である。 大域投影正面位置調整処理の流れを示す図である。 プロジェクタ中心正距円筒画像の例を示す図である。 プロジェクタ中心正距円筒画像生成処理の流れを示す図である。 高解像度正距円筒画像とプロジェクタ中心正距円筒画像の例を示す図である。 再幾何補正ベクトル生成処理の流れを示す図である。 一連の画像処理について説明するフローチャートである。 従来の処理の流れを示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．マルチ投影システムの構成
　２．正距円筒画像について
　３．画像処理装置の機能について
　４．画像処理装置の構成
　５．画像処理の全体の流れ
　６．投影正面位置調整処理
　７．プロジェクタ中心正距円筒画像生成処理
　８．再幾何補正ベクトル生成処理
　９．画像処理装置の動作
　１０．その他の例
＜マルチ投影システムの構成＞
　図１は、本技術の一実施形態に係るマルチ投影システムの構成例を示す図である。
　図１のマルチ投影システムは、ドームスクリーン１、プロジェクタ２－１乃至２－７、および画像処理装置３から構成される。プロジェクタ２－１乃至２－７は、有線または無線の通信を介して画像処理装置３に接続される。
　ドームスクリーン１は、ドームスクリーン１を前にして立つ鑑賞者の視野を覆い尽くすような大きさのドーム状（球面状）の投影面１Ａを有する。
　鑑賞者は、図２に示すように、投影面１Ａを球体表面としたときの球体の中心である位置Ｐ１が視点になるような位置に立って、投影面１Ａに投影される画像を見る。図２の破線矢印の先に示す、位置Ｐ１から水平方向にある投影面１Ａ上の位置Ｐ２が、投影面１Ａの正面位置である。
　投影面１Ａには、例えば、水平方向の画角が240度、垂直方向の画角が110度といったような広画角の画像が投影される。視野のほぼ全体を画像が覆うことになるため、鑑賞者は、あたかも画像に囲まれる印象を受け、コンテンツに対する没入感を得ることができる。
　例えば、ゲーム、映画などの、動画像のコンテンツが提供される。風景を撮影した写真などの、静止画像のコンテンツが提供されるようにしてもよい。
　プロジェクタ２－１乃至２－７は、それぞれのプロジェクタ用の画像である投影画像をドームスクリーン１に投影することによって、１つの画像を鑑賞者に提示する。各プロジェクタの投影画像は、鑑賞者の視点において歪み無く１つの画像を鑑賞できるように、コンテンツの動画像を構成する高解像度の画像に基づいて生成される。
　図１の例においては、プロジェクタ２－１乃至２－７のうち、プロジェクタ２－１乃至２－５が部屋の天井付近に設置され、プロジェクタ２－６，２－７が床付近に設置されている。プロジェクタ２－１乃至２－７の投影部は、投影面１Ａの所定の領域に向けられている。
　図１にはプロジェクタ２－１乃至２－７の７台のプロジェクタが示されているが、マルチ投影システムにはさらに多くのプロジェクタが設けられる。
　以下、１８台のプロジェクタであるプロジェクタ２－１乃至２－１８が設けられるものとする。図１に示すプロジェクタ２－１乃至２－７以外のプロジェクタ２－８乃至２－１８も、ドームスクリーン１の前方の所定の位置に、投影部を投影面１Ａの所定の領域に向けて設置される。マルチ投影システムを構成するプロジェクタの数は任意である。
　画像処理装置３は、コンテンツの動画像を構成する各フレームに基づいて、各プロジェクタの投影画像を生成する。画像処理装置３は、投影画像を各プロジェクタに出力し、投影させる。
　画像処理装置３は例えばPCである。１台のPCではなく、複数台のPCにより画像処理装置３が構成されるようにしてもよい。また、画像処理装置３が、図１に示すようにドームスクリーン１の近くに用意されるのではなく、ドームスクリーン１が設置された部屋と異なる部屋に用意されるようにしてもよい。
＜正距円筒画像について＞
　図３は、コンテンツの動画像を構成する１フレームの例を示す図である。
　動画像を構成する１フレームは、図３に示すような正距円筒画像である。正距円筒画像は、全天球カメラ等で撮影された全天球画像の表現形式として用いられる画像である。画像処理装置３により取得される動画像は、例えば全天球カメラで撮影された全天球画像といったように、画角が広い画像からなる動画像である。
　図３の例においては、水平方向の画角が-180°～180°の360°とされ、垂直方向の画角が-90°～90°の180°とされている。また、正距円筒画像の水平方向の画素数が21600画素とされ、垂直方向の画素数が10800画素とされている。画角１°当たりの画素数は60（60ppd(pixel per degree)）となる。
　正距円筒画像は、緯線と経線が直角かつ等間隔に交差する画像である。各画素の位置は緯度と経度で表される。緯度０°付近での歪みは小さくなり、緯度０°から離れるにつれて、左右方向の歪みが大きくなる。図３の正距円筒画像においては、手前にある建物が大きく左右に延びた状態で写っている。正面前方には海と空が写っている。
　画像処理装置３は、このような、画角が広く、解像度が高い正距円筒画像である高解像度正距円筒画像に基づいて、各プロジェクタの投影画像を生成することになる。高解像度正距円筒画像の画角と画素数は、図３に示す数値に限られるものではない。
　上述したように、ドームスクリーン１に投影される画像は、水平方向の画角が240度、垂直方向の画角が110度の画像である。高解像度正距円筒画像の一部の領域の画像に基づいて、各プロジェクタの投影画像が生成される。
　投影画像の生成に用いられる領域は投影正面位置に応じて設定される。投影正面位置は、投影面１Ａの正面位置（図２の位置Ｐ２）に投影される、高解像度正距円筒画像上の位置である。
　画像処理装置３においては、高解像度正距円筒画像の所定の位置を投影正面位置とするように、投影正面位置の調整を行うことが可能とされる。投影正面位置の調整は、例えばマルチ投影システムの管理者により行われる。コンテンツの鑑賞者による操作に応じて投影正面位置が切り替えられるようにしてもよい。
　図４は、投影正面位置の設定の例を示す図である。
　例えば、デフォルトの投影正面位置として高解像度正距円筒画像の中心が設定されている。投影正面位置の調整は、デフォルトの投影正面位置を、高解像度正距円筒画像の中心から他の位置に変更するようにして行われる。
　例えば図４の位置Ｐ１１が投影正面位置として設定された場合、位置Ｐ１１を基準として水平方向の画角が240度、垂直方向の画角が110度の枠Ｆ１の範囲が、ドームスクリーン１の投影範囲として設定される。位置Ｐ１１は、高解像度正距円筒画像の中心から若干下の位置である。
　各プロジェクタの投影画像は、枠Ｆ１で囲んで示す矩形状の領域内の画素と、その周りの画素を用いて生成される。
　図５は、各プロジェクタの投影領域の例を示す図である。
　枠Ｆ１の上方に示す領域Ａ１乃至Ａ５は、それぞれ、プロジェクタ２－１乃至２－５の投影領域である。緯度０°付近に示す領域Ｂ１乃至Ｂ５は、それぞれ、プロジェクタ２－６乃至２－１０の投影領域である。
　領域Ｃ１乃至Ｃ５は、それぞれ、プロジェクタ２－１１乃至２－１５の投影領域である。枠Ｆ１の下方に示す領域Ｄ１乃至Ｄ３は、それぞれ、プロジェクタ２－１６乃至２－１８の投影領域である。高解像度正距円筒画像上においては、各投影領域は、隣接する投影領域に一部重なる形で表される。
　プロジェクタ２－１乃至２－１８の各プロジェクタに対しては、図５に示す各投影領域が割り当てられる。ドームスクリーン１、プロジェクタ２－１乃至２－１８、および視点の位置関係が固定であるとすると、投影正面位置が設定され、枠Ｆ１で示す全体の投影領域が決まったときに、各プロジェクタに割り当てられる投影領域が決まることになる。
　画像処理装置３においては、各投影領域の画像がプロジェクタ２－１乃至２－１８から投影されるように、各プロジェクタの投影画像が生成される。
　図６は、各プロジェクタの、ドームスクリーン１（投影面１Ａ）上の投影領域の例を示す図である。
　図６の色付きの円は、投影面１Ａを、ドームスクリーン１の背面側から見た状態を示している。例えばプロジェクタ２－１乃至２－５の投影画像は、それぞれ、領域Ａ１乃至Ａ５として示すように投影面１Ａの正面位置から若干上の位置にある領域に投影される。また、プロジェクタ２－８の投影画像は、領域Ｂ３として示すように投影面１Ａの正面位置を含む領域に投影される。
　図７は、投影状態を示す図である。
　例えば図４の位置Ｐ１１が投影正面位置として設定された場合、各プロジェクタから投影画像が投影されることによって、図７に示すような枠Ｆ１の範囲の画像が鑑賞者に提示される。高解像度正距円筒画像の位置Ｐ１１は投影面１Ａの正面位置に対応する。
　このように、マルチ投影システムによるコンテンツの提示は、ユーザの視野のほぼ全体を覆うような広画角の画像を複数のプロジェクタを用いて投影することによって行われる。
＜画像処理装置の機能について＞
　画像処理装置３は、主に以下の機能を有する。
（１）投影正面位置を任意の位置に調整する機能
（２）各プロジェクタの投影画像の再生成を行うことなく、投影正面位置の微調整を行う機能
（３）各プロジェクタの投影画像の再生成を行うことなく、投影ずれを補正する機能
　上記（１）の機能は、上述したように、高解像度正距円筒画像の中心以外の位置を投影正面位置として調整することができる機能である。例えば、高解像度正距円筒画像の中心（緯度０°、経度０°）を投影正面位置とするデフォルトの状態を、水平方向に正反対の、緯度０°、経度180°の位置を投影正面位置とするような調整も可能となる。
　上記（２）の機能は、投影正面位置の微調整が必要になったときにそれを可能とする機能である。通常、変更後の投影正面位置についてさらに微調整が行われた場合、生成済みの各プロジェクタの投影画像に代えて、微調整後の投影正面位置に応じた投影画像を生成する必要があるが、画像処理装置３においてはそれが不要になる。
　上記（３）の機能は、プロジェクタ・スクリーン・視点の位置関係に変更が生じ、投影ずれが発生した場合に、その補正を行う機能である。プロジェクタ・スクリーン・視点の位置関係の変更は、経時的に生じることもあるし、温度変化によって生じることもある。また、メンテナンス等によって位置がずれたり、視点位置の設定が変更されたりすることによっても、プロジェクタ・スクリーン・視点の位置関係の変更が発生する。
　通常、投影ずれが生じた場合、生成済みの各プロジェクタの投影画像に代えて、投影ずれの補正後の位置関係に応じた投影画像を生成する必要があるが、画像処理装置３においてはそれが不要になる。
＜画像処理装置の構成＞
　図８は、画像処理装置３のハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、おおびドライブ１１０が接続される。
　入力部１０６は、キーボード、マウスなどにより構成される。入力部１０６は、投影正面位置の調整などにユーザ（マルチ投影システムの管理者）により操作される。
　出力部１０７は、投影正面位置の調整に用いられる調整画面をモニタに表示させる。また、出力部１０７は、投影画像を各プロジェクタに出力する。
　記憶部１０８は、ハードディスクや不揮発性のメモリなどにより構成される。記憶部１０８は、コンテンツの他に、CPU１０１が実行するプログラムなどの各種のデータを記憶する。
　通信部１０９は、ネットワークインタフェースなどにより構成される。通信部１０９は、インターネットなどのネットワークを介して外部の装置と通信を行う。マルチ投影システムにおいて再生されるコンテンツがネットワークを介して提供されるようにしてもよい。
　ドライブ１１０は、半導体メモリを内蔵したUSBメモリなどのリムーバブルメディア１１１のドライブである。ドライブ１１０は、リムーバブルメディア１１１に対するデータの書き込みと、リムーバブルメディア１１１に記憶されているデータの読み出しを行う。
　図９は、画像処理装置３の機能構成例を示すブロック図である。
　画像処理装置３においては、CPU１０１により所定のプログラムが実行されることによって画像処理部１５１が実現される。
　画像処理部１５１は、幾何補正部１６１、解像度変換部１６２、大域投影正面位置調整部１６３、プロジェクタ中心正距円筒画像生成部１６４、プロジェクタ中心正距円筒画像記憶部１６５、詳細投影正面位置調整部１６６、投影ずれ補正部１６７、および投影制御部１６８から構成される。幾何補正処理用の計測画像は幾何補正部１６１に入力され、コンテンツの動画像を構成する高解像度正距円筒画像は解像度変換部１６２とプロジェクタ中心正距円筒画像生成部１６４に入力される。
　幾何補正部１６１は、コンテンツの動画像を投影する前処理として行われた計測処理によって得られた計測画像を取得する。計測画像は、予め設計されたパターン画像を各プロジェクタから投影し、投影面１Ａ上に投影されたパターン画像をカメラで撮影して得られた画像である。計測画像には、各プロジェクタから投影されたパターンが、投影領域の位置に応じて歪んだ状態で写っている。
　幾何補正部１６１は、パターン画像の座標と計測画像の座標とを対応付け、幾何学的問題を解くことによって（幾何変換のパラメータを求めることによって）、幾何補正情報を生成する。幾何補正情報は、各プロジェクタの投影画像の画素と高解像度正距円筒画像の画素とを対応付ける幾何補正ベクトルの情報である。
　幾何補正情報は、プロジェクタ・スクリーン・視点の位置関係に応じた情報となり、投影画像の生成などに用いられる。このような自動幾何補正処理によって生成された幾何補正情報は、大域投影正面位置調整部１６３、プロジェクタ中心正距円筒画像生成部１６４、詳細投影正面位置調整部１６６、投影ずれ補正部１６７、および投影制御部１６８に供給される。
　解像度変換部１６２は、高解像度正距円筒画像の解像度変換を行うことによって、低解像度の正距円筒画像である低解像度正距円筒画像を生成する。例えば、画素を間引くなどの低解像度化の処理が行われることによって、22K（21600×10800画素）の高解像度正距円筒画像が、4K（4096×2160画素）の低解像度正距円筒画像に変換される。
　低解像度正距円筒画像は、投影正面位置の調整に用いられる。解像度変換部１６２により生成された低解像度正距円筒画像は大域投影正面位置調整部１６３に供給される。
　大域投影正面位置調整部１６３は、幾何補正部１６１から供給された幾何補正情報と、解像度変換部１６２から供給された低解像度正距円筒画像に基づいて、投影正面位置を大まかに調整する処理である大域投影正面位置調整処理を行う。大域投影正面位置調整処理によって生成された投影正面位置情報はプロジェクタ中心正距円筒画像生成部１６４に供給される。大域投影正面位置調整処理の詳細については後述する。
　プロジェクタ中心正距円筒画像生成部１６４は、高解像度正距円筒画像と、大域投影正面位置調整部１６３から供給された投影正面位置情報に基づいて、各プロジェクタの投影画像の生成に用いられるプロジェクタ中心正距円筒画像を生成する。プロジェクタ中心正距円筒画像の生成には、幾何補正部１６１から供給された幾何補正情報も用いられる。
　後に詳述するように、プロジェクタ中心正距円筒画像は、各プロジェクタの投影領域の中心画素を中心画素とし、投影領域の角度の範囲を含む画像である。１８台のプロジェクタを用いて投影が行われるから、１つの高解像度正距円筒画像から１８のプロジェクタ中心正距円筒画像が生成される。
　プロジェクタ中心正距円筒画像生成部１６４により生成されたプロジェクタ中心正距円筒画像は、画像生成パラメータとともにプロジェクタ中心正距円筒画像記憶部１６５に供給され、記憶される。画像生成パラメータは、プロジェクタ中心正距円筒画像に基づいて投影画像を生成するために用いられる情報である。
　詳細投影正面位置調整部１６６は、投影正面位置の微調整を行う処理である詳細投影正面位置調整処理を行う。詳細投影正面位置調整処理は、各プロジェクタから投影画像が投影され、ドームスクリーン１に動画像が提示されている状態で行われる。詳細投影正面位置調整処理によって生成された投影正面位置情報は投影ずれ補正部１６７に供給される。詳細投影正面位置調整処理の詳細については後述する。
　投影ずれ補正部１６７は、詳細投影正面位置調整部１６６から供給された幾何補正ベクトルに基づいて投影ずれの補正を行う。
　投影ずれの補正は、既にある幾何補正ベクトルを、投影ずれに応じて補正する処理となる。以下、適宜、投影ずれの補正を再幾何補正ベクトル生成処理という。
　再幾何補正ベクトル生成処理によって生成された再幾何補正ベクトルは、各プロジェクタの投影画像の画素と、投影正面位置の微調整後の、プロジェクタ中心正距円筒画像の画素とを対応付けるベクトルである。再幾何補正ベクトル生成の詳細については後述する。
　投影ずれ補正部１６７による再幾何補正ベクトル生成処理は、プロジェクタ・スクリーン・視点の位置関係にずれが生じ、自動幾何補正処理が再度行われたタイミングなどにおいても行われる。自動幾何補正処理が再度行われた場合、幾何補正部１６１からは、幾何補正ベクトルを含む幾何補正情報が投影ずれ補正部１６７に対して供給される。
　投影制御部１６８は、プロジェクタ中心正距円筒画像記憶部１６５に記憶されているプロジェクタ中心正距円筒画像と画像生成パラメータを読み出し、各プロジェクタの投影画像を生成する。各プロジェクタの投影画像の生成には、幾何補正部１６１から供給された幾何補正情報、または、投影ずれ補正部１６７から供給された再幾何補正ベクトルが用いられる。
　例えば、詳細投影正面位置調整処理のための投影時には、幾何補正部１６１から供給された幾何補正情報を用いて投影画像の生成が行われる。また、詳細投影正面位置調整処理と再幾何補正ベクトル生成処理が終わり、再幾何補正ベクトルが生成済みである場合には、再幾何補正ベクトルを用いて投影画像の生成が行われる。
　投影制御部１６８は、投影画像を各プロジェクタに出力し、ドームスクリーン１に投影させる。
＜画像処理の全体の流れ＞
　図１０は、画像処理部１５１による画像処理の全体の流れを示す図である。
　図１０の左上に示すように、幾何補正部１６１は、計測画像を入力とした自動幾何補正処理を行い、幾何補正情報を生成する。自動幾何補正処理は、複数の計測画像（計測画像群）を用いて行われる。今回の自動幾何補正処理が初回の処理であるか、２回目以降の処理であるかに応じて、以降の処理が分岐する。
　今回の自動幾何補正処理が初回の処理である場合、白抜き矢印＃１の先に示すように、大域投影正面位置調整部１６３は、低解像度正距円筒画像を用いて大域投影正面位置調整処理を行う。大域投影正面位置調整部１６３に対しては、低解像度正距円筒画像に基づいて表示される画像を見ながら投影正面位置の調整を行っているユーザの入力内容を表す情報も入力される。
　白抜き矢印＃２の先に示すように、プロジェクタ中心正距円筒画像生成部１６４は、大域投影正面位置調整処理によって生成された投影正面位置情報と高解像度正距円筒画像群を用いてプロジェクタ中心正距円筒画像生成処理を行う。プロジェクタ中心正距円筒画像生成処理により、各プロジェクタのプロジェクタ中心正距円筒画像と画像生成パラメータが生成される。
　白抜き矢印＃３の先に示すように、詳細投影正面位置調整部１６６は、詳細投影正面位置調整処理を行う。詳細投影正面位置調整部１６６に対しては、プロジェクタ中心正距円筒画像に基づいてドームスクリーン１に投影される画像を見ながら投影正面位置の微調整を行っているユーザの入力内容を表す情報も入力される。
　白抜き矢印＃４の先に示すように、投影ずれ補正部１６７は、再幾何補正ベクトル生成処理を行う。上述したように、再幾何補正ベクトル生成処理は、詳細投影正面位置調整部１６６から供給された幾何補正ベクトルに基づいて、または、自動幾何補正処理が再度行われることによって幾何補正部１６１から供給された幾何補正情報に基づいて行われる。
　２回目以降の自動幾何補正処理が行われた場合、白抜き矢印＃５の先に示すように、大域投影正面位置調整処理とプロジェクタ中心正距円筒画像生成処理を省略し、詳細投影正面位置調整処理から行われる。一連の処理が再幾何補正ベクトル生成処理から行われるようにすることも可能である。
　白抜き矢印＃６の先に示すように、投影制御部１６８は、プロジェクタ中心正距円筒画像と画像生成パラメータに基づいて各プロジェクタの投影画像を生成し、投影させる。
　以下、各処理について説明する。
＜投影正面位置調整処理＞
　投影正面位置の調整は、低解像度正距円筒画像を用いた大域投影正面位置調整処理と、プロジェクタ中心正距円筒画像の生成後の詳細投影正面位置調整処理との２段階で行われる。
・大域投影正面位置調整処理
　図１１は、大域投影正面位置調整処理の流れを示す図である。
　図１１の左端に示すように、大域投影正面位置調整部１６３に対しては、自動幾何補正処理により生成された幾何補正情報が入力される。幾何補正情報に含まれる幾何補正ベクトルは、矢印Ａ１１に示すように、投影画像の各画素(u，v)の、高解像度正距円筒画像上の参照先となる画素E(u，v)を示す。
　なお、大域投影正面位置調整部１６３に入力される正距円筒画像は解像度変換によって得られた低解像度正距円筒画像であるが、低解像度正距円筒画像の各画素は、変換前の高解像度正距円筒画像の画素に対応する。幾何補正ベクトルは、投影画像の各画素と高解像度正距円筒画像の画素を対応付ける情報であるとともに、投影画像の各画素と低解像度正距円筒画像の画素を対応付ける情報でもある。
　白抜き矢印＃１１の先に示すように、大域投影正面位置調整部１６３は、幾何補正情報に含まれる幾何補正ベクトルを3DベクトルQに変換する。
　正距円筒画像の性質上、低解像度正距円筒画像の画素の位置は上述したように緯度経度(θ,φ)に対応する。低解像度正距円筒画像の画素を球面上の画素として考えた場合、3DベクトルQは、球の中心を基準とした画素の方向を示すベクトルとなる。
　投影画像の各画素に対応する低解像度正距円筒画像の画素の緯度経度(θ,φ)は、それぞれ下式（１）、（２）により表される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　式（１）のequiWidthは低解像度正距円筒画像の幅であり、式（２）のequiHeightは低解像度正距円筒画像の高さである。
　緯度経度(θ,φ)は、下式（３）から3DベクトルQに変換される。
Figure JPOXMLDOC01-appb-M000003
　ここで、投影正面位置の調整に用いられる調整画面がモニタに表示される。調整画面には、低解像度正距円筒画像自体が表示されたり、低解像度正距円筒画像に基づいて生成された画像が表示されたりする。
　ユーザは、このようなGUI(Graphical User Interface)を用いて投影正面位置の調整を行う。調整後の投影正面位置を表す情報は大域投影正面位置調整部１６３に供給される。
　白抜き矢印＃１２の先に示すように、大域投影正面位置調整部１６３は、ユーザの入力に応じて、3DベクトルQの座標変換を行う。座標変換に用いられる変換行列Ｕは、投影正面位置を変更するための行列であり、矢印Ａ１２に示すように3DベクトルQの回転行列として表される。
　ユーザの入力を反映させた3DベクトルQ’は下式（４）により表される。3DベクトルQ’は、投影正面位置の調整後の、低解像度正距円筒画像の画素の緯度経度を表す。
Figure JPOXMLDOC01-appb-M000004
　このような、投影画像の画素と正距円筒画像の画素との対応を表す幾何補正ベクトルの変換に用いられる変換行列Ｕが、投影画像の各画素について求められ、投影正面位置情報としてプロジェクタ中心正距円筒画像生成部１６４に供給される。
　白抜き矢印＃１３の先に示すように、大域投影正面位置調整部１６３は、3DベクトルQ’を幾何補正ベクトルに変換し、変換後の幾何補正ベクトルの情報である幾何補正情報を生成する。3DベクトルQ’の幾何補正ベクトルへの変換は、上式（１）乃至（３）を用いた逆変換により行われる。
　変換後の幾何補正ベクトルは、矢印Ａ１３に示すように、投影画像の各画素(u，v)と、投影正面位置の調整後の低解像度正距円筒画像（高解像度正距円筒画像）上の画素E(u，v)とを対応付ける情報となる。
・詳細投影正面位置調整処理
　詳細投影正面位置調整処理は、各プロジェクタから投影画像が投影され、ドームスクリーン１に動画像が提示されている状態で行われる。ユーザは、ドームスクリーン１に提示されている動画像を見て、投影正面位置の微調整を行う。
　詳細投影正面位置調整処理の流れは、基本的に、大域投影正面位置調整処理の流れと同じである。
　すなわち、詳細投影正面位置調整部１６６に対しては、自動幾何補正処理により生成された幾何補正情報が入力される。幾何補正情報に含まれる幾何補正ベクトルは、投影画像の各画素(u，v)の、高解像度正距円筒画像上の参照先となる画素E(u，v)を示す。
　ここで、画素E(u，v)からなる高解像度正距円筒画像は、各プロジェクタのプロジェクタ中心正距円筒画像に基づいて生成される全体の投影領域（図４の枠Ｆ１の領域）の画像である。
　詳細投影正面位置調整部１６６は、幾何補正情報に含まれる幾何補正ベクトルを3DベクトルQに変換する。
　また、詳細投影正面位置調整部１６６は、ドームスクリーン１に投影されている動画像を見ているユーザの入力に応じて、3DベクトルQの座標変換を行う。ユーザが調整できる投影正面位置の範囲が、プロジェクタ中心正距円筒画像に設定されたマージン領域の範囲となる。プロジェクタ中心正距円筒画像に設定されるマージン領域については後述する。
　イメージとしては、図４の枠Ｆ１で示す全体の投影領域の周りにマージン領域が設定され、マージン領域を含む全体の投影領域の範囲で、投影正面位置の微調整を行うことが可能とされる。
　詳細投影正面位置調整部１６６は、座標変換によって得られた3DベクトルQ’を幾何補正ベクトルに変換し、変換後の幾何補正ベクトルの情報である幾何補正情報を生成する。詳細投影正面位置調整処理によって生成された幾何補正情報と、3DベクトルQの座標変換に用いられた変換行列Ｕは、投影正面位置情報として投影ずれ補正部１６７に供給される。
　以上のように、画像処理部１５１においては、投影正面位置の調整が２段階の処理として行われる。投影正面位置の調整が２段階で行われるようにすることにより、以下のメリットがある。
　（１）画像処理装置３の性能が低く、22Kなどの高解像度正距円筒画像をGPUが処理できない場合であっても、ユーザは、低解像度の画像に基づいて表示される、最終的な投影イメージに近い画像を見ながら投影正面位置を調整することができる。
　（２）大域投影正面位置調整処理時の調整画面に表示される画像が低解像度正距円筒画像に基づいて表示される画像であるため、画像処理装置３は、描画のレスポンスを速めることが可能になる。調整後の状態がレスポンスよく描画されることにより、ユーザは、投影正面位置を大幅に調整する場合であっても、それを迅速かつ容易に行うことができる。
　（３）事前に設定されたマージン領域の範囲であれば、画像処理装置３は、各プロジェクタ用の画像（プロジェクタ中心正距円筒画像）の再生成を行うことなく、投影正面位置の微調整を行うことができる。
＜プロジェクタ中心正距円筒画像生成処理＞
　投影正面位置の調整と投影ずれの補正を実現するためには、各プロジェクタ用の画像の分割方式として、正距円筒画像としての性質を有し、幾何補正情報の変化に対応可能な方式が要求される。プロジェクタ中心正距円筒画像は、このような要求を満たすとともに、データ効率よく、高解像度正距円筒画像を各プロジェクタ用に分割した画像である。
　従来、正距円筒画像を分割する処理は様々な用途で利用されている。例えば、正距円筒画像をタイル状に分割し、表示に必要な部分のみを伝送してユーザ側で表示させる方式を利用しているサービスがある。
　正距円筒画像をタイル状に分割する場合、極周辺を可視化するために必要となるデータ量が多く、データ伝送の効率や処理の効率が悪い。図１２の左側に、高解像度正距円筒画像における各プロジェクタの投影領域を示す。各プロジェクタの投影領域は図５を参照して説明した領域と同じである。
　図１２の左側の高解像度正距円筒画像上に太線で示すように、極付近に投影するプロジェクタ２－１６の投影領域である領域Ｄ１は、緯度０°付近に投影するプロジェクタの投影領域に比べて非常に広い。
　従って、仮に、枠Ｆ２１で囲んで示すタイル状の領域を切り出してプロジェクタ２－１６の画像として用意するとした場合、全体のスループットが低下する可能性がある。また、保持しておく必要があるデータのサイズの増加によって運用の安定性が低下する可能性がある。
　そこで、画像処理部１５１においては、図１２の矢印Ａ２１の先に示すように、各プロジェクタの投影領域の中心（位置Ｐ２１）に対応する正距円筒画像上の座標を緯度０°経度０°とし、各プロジェクタの投影角度の範囲とマージンの角度の範囲を含む画像であるプロジェクタ中心正距円筒画像が生成される。すなわち、枠Ｆ２１で示すような矩形領域を切り出すことによって各プロジェクタの画像を用意するような処理は行われない。
　図１２の右側に示す、矩形状の枠Ｆ２２の内側の領域が、プロジェクタ２－１６の投影角度の範囲に対応する領域である。また、枠Ｆ２２の外側であって枠Ｆ２３の内側の領域がマージン領域である。マージン領域の画素は、投影正面位置の微調整と投影ずれの補正に用いられる。
　プロジェクタ中心正距円筒画像は、例えば6K（6144×3072画素）以下の画素数の画像として生成される。各プロジェクタ中心正距円筒画像の画素数は、投影角度の範囲に応じて異なる。
　このような領域の画素から構成されるプロジェクタ中心正距円筒画像が、プロジェクタ毎に生成される。画像処理部１５１は、正距円筒画像としての性質を有し、幾何補正情報の変化に対応可能であるとともに、単位角度当りのデータ効率がよい画像への分割を行うことができる。
　図１３は、プロジェクタ中心正距円筒画像生成処理の流れを示す図である。
　例えば、図１３に示すプロジェクタ中心正距円筒画像生成処理は、それぞれのプロジェクタに順に注目して行われる。
　図１３の左端に示すように、プロジェクタ中心正距円筒画像生成部１６４は、幾何補正部１６１から供給された幾何補正情報に基づいて、注目しているプロジェクタの投影画像の中心画素に対応する高解像度正距円筒画像上の緯度経度(θ,φ)を計算する。緯度経度の計算は、幾何補正情報に含まれる、投影画像の中心画素の幾何補正ベクトルと上式(１)、(２)に基づいて行われる。矢印Ａ３１に示す幾何補正ベクトルは、プロジェクタの投影画像の中心画素と高解像度正距円筒画像の画素との対応を表す情報である。
　白抜き矢印＃２１の先に示すように、プロジェクタ中心正距円筒画像生成部１６４は、プロジェクタの投影角度の範囲を計算する。投影角度の範囲の計算は、投影画像の四隅の画素を、中心画素と同様に緯度経度に変換し、緯度方向の角度範囲Rθと経度方向の角度範囲Rφを計算することによって行われる。
　白抜き矢印＃２２の先に示すように、プロジェクタ中心正距円筒画像生成部１６４は、投影画像の中心画素に対応する3DベクトルQに基づいて、投影画像をプロジェクタ中心正距円筒画像に変換するための変換行列Ｐを計算する。
　プロジェクタの投影画像の中心に対応する3DベクトルQは、投影画像の中心画素の幾何補正ベクトルに基づいて上式（１）乃至（３）により求められる。
　また、変換行列Ｐは、下式(５)により求められる。
Figure JPOXMLDOC01-appb-M000005
　式（５）の変換行列Ｕは、上述したように、ユーザによる入力に応じて投影正面位置を調整するための行列である。変換行列Ｕは、大域投影正面位置調整部１６３から供給された投影正面位置情報により特定される。
　また、変換行列Ｍは、投影画像の中心画素をプロジェクタ中心正距円筒画像座標上の緯度０°経度０°の画素に変換するための行列である。変換行列Ｍは、投影画像の中心画素に対応する高解像度正距円筒画像上の緯度経度(θ,φ)に基づいて、下式（６）により求められる。
Figure JPOXMLDOC01-appb-M000006
　変換行列Ｍの計算に用いられる高解像度正距円筒画像上の緯度経度（θ，φ）には投影正面位置の調整が考慮されていない。変換行列Ｐは、変換行列Ｍと、投影正面位置の調整の内容を表す変換行列Ｕを掛け合わせることによって求められる。
　プロジェクタ中心正距円筒画像生成部１６４は、矢印Ａ３２に示すように、変換行列Ｐに基づいて、高解像度正距円筒画像（全体の投影領域）の各画素の3DベクトルQを、プロジェクタ中心正距円筒画像上の座標を表す3DベクトルQ’’に変換する。3DベクトルQの変換は下式（７）により表される。
Figure JPOXMLDOC01-appb-M000007
　白抜き矢印＃２３の先に示すように、プロジェクタ中心正距円筒画像生成部１６４は、緯度方向の角度範囲Rθにマージンとなる角度範囲Marginθを加えるとともに、経度方向の角度範囲Rφにマージンとなる角度範囲Marginφを加える。プロジェクタ中心正距円筒画像生成部１６４は、3DベクトルQ’’によって示される高解像度正距円筒画像の画素のうち、角度範囲（Rθ+Marginθ，Rφ+Marginφ）内の画素から構成されるプロジェクタ中心正距円筒画像を生成する。
　プロジェクタ中心正距円筒画像生成部１６４は、プロジェクタ中心正距円筒画像とともに、角度範囲（Rθ，Rφ）と変換行列Ｍを表す情報を画像生成パラメータとしてプロジェクタ中心正距円筒画像記憶部１６５に記憶させる。画像生成パラメータは、プロジェクタ中心正距円筒画像に基づいて投影画像を生成する際に利用される。
　以上のような一連の処理が、各プロジェクタに注目して順に行われる。プロジェクタ中心正距円筒画像記憶部１６５には、プロジェクタ毎のプロジェクタ中心正距円筒画像が、画像生成パラメータとセットになって記憶される。
　図１４は、高解像度正距円筒画像とプロジェクタ中心正距円筒画像の例を示す図である。
　図１４のＢに示すプロジェクタ中心正距円筒画像は、極付近に投影するプロジェクタであるプロジェクタ２－１７（図５の領域Ｄ２近傍の投影領域が割り当てられたプロジェクタ）のプロジェクタ中心正距円筒画像である。
　なお、図１４のＢに示すプロジェクタ中心正距円筒画像は、プロジェクタ２－１７の投影領域の角度範囲（Rθ，Rφ）の緯度経度方向にそれぞれ20°のマージン領域を加えた画像である。ユーザは、20°のマージン領域の範囲内で投影正面位置の微調整を行うことが可能となる。
＜再幾何補正ベクトル生成処理＞
　自動幾何補正処理で生成された幾何補正情報に含まれる幾何補正ベクトルは、プロジェクタの投影画像の画素と、全緯度経度範囲を含む高解像度正距円筒画像の画素とを対応付ける情報である。プロジェクタの投影画像の画素と、プロジェクタ中心正距円筒画像の画素とを対応付けるためには、幾何補正ベクトルを変換することによって再幾何補正ベクトルを生成する必要がある。
　図１５は、再幾何補正ベクトル生成処理の流れを示す図である。
　例えば、図１５に示す再幾何補正ベクトル生成処理は、各プロジェクタのプロジェクタ中心正距円筒画像に順に注目して行われる。
　図１５の左端に示すように、投影ずれ補正部１６７に対しては、投影正面位置の調整によって更新された幾何補正情報、または、投影ずれに伴う自動幾何補正処理を再度行うことによって生成された幾何補正情報が入力される。
　前者の幾何補正情報は、詳細投影正面位置調整処理によって生成され、投影正面位置情報として詳細投影正面位置調整部１６６から供給される。投影正面位置の調整によって更新された幾何補正情報に含まれる幾何補正ベクトルは、各プロジェクタの投影画像の画素と、投影正面位置の微調整後の、高解像度正距円筒画像の画素とを対応付けるベクトルである。
　後者の幾何補正情報は、プロジェクタ・スクリーン・視点の位置関係にずれが生じ、自動幾何補正処理が再度行われたときに幾何補正部１６１から供給される。自動幾何補正処理が再度行われることによって供給された幾何補正情報に含まれる幾何補正ベクトルは、各プロジェクタの投影画像の画素と、高解像度正距円筒画像の画素とを対応付けるベクトルである。
　白抜き矢印＃３１，＃３２の先に示すように、投影ずれ補正部１６７は、幾何補正情報に含まれる幾何補正ベクトルを3DベクトルQに変換する。3DベクトルQは上式（１）乃至（３）により求められる。
　投影ずれ補正部１６７は、プロジェクタ中心正距円筒画像記憶部１６５に記憶させておいた画像生成パラメータの変換行列Ｍと、投影正面位置の調整によって得られた変換行列Ｕに基づいて変換行列Ｐ’を求める。変換行列Ｐ’は下式(８)により表される。
Figure JPOXMLDOC01-appb-M000008
　また、投影ずれ補正部１６７は、白抜き矢印＃３３の先に示すように、変換行列Ｐ’に基づいて、3DベクトルQを、プロジェクタ中心正距円筒画像座標系の3DベクトルQ’’に変換する。3DベクトルQ’’は下式(９)により表される。
Figure JPOXMLDOC01-appb-M000009
　投影ずれ補正部１６７は、白抜き矢印＃３４の先に示すように、変換によって得られた3DベクトルQ’’を投影制御部１６８に出力し、再幾何補正ベクトルとして記憶させる。
　以上のような一連の処理が、各プロジェクタのプロジェクタ中心正距円筒画像に注目して順に行われる。
　投影制御部１６８においては、投影ずれ補正部１６７から供給された再幾何補正ベクトルが記憶され、管理される。再幾何補正ベクトルは、各プロジェクタの投影画像の画素と、投影ずれ補正後の、プロジェクタ中心正距円筒画像の画素とを対応付けるベクトルである。
　投影画像の生成時、投影制御部１６８においては、プロジェクタ中心正距円筒画像記憶部１６５から読み出されたプロジェクタ中心正距円筒画像と画像生成パラメータに基づいて生成された画像が再幾何補正ベクトルに基づいて変換され、投影画像が生成される。
　例えば、プロジェクタ中心正距円筒画像の画素のうち、画像生成パラメータに含まれる角度範囲（Rθ，Rφ）に含まれる画素からなる画像が、再幾何補正ベクトルに基づいて変換されることによって投影画像が生成される。
　再幾何補正ベクトルを用いて投影画像の生成が行われるようにすることにより、詳細投影正面位置調整と投影ずれ補正の両方に対応することが可能になる。上述したように、再幾何補正ベクトルは、詳細投影正面位置調整処理によって得られた変換行列Ｕを用いて生成されるベクトルである。再幾何補正ベクトルを用いて投影画像を生成することは、投影ずれを補正することに加えて、詳細投影正面位置を調整することをも含む処理となる。
＜画像処理装置の動作＞
　図１６のフローチャートを参照して、以上のような処理からなる一連の画像処理について説明する。
　ステップＳ１において、画像処理部１５１は、プロジェクタ中心正距円筒画像を生成済みであるか否かを判定する。
　プロジェクタ中心正距円筒画像を生成済みではないとステップＳ１において判定された場合、ステップＳ２において、大域投影正面位置調整部１６３は大域投影正面位置調整処理を行う。図１１を参照して説明した処理が行われることにより、投影正面位置の調整が行われる。
　ステップＳ３において、プロジェクタ中心正距円筒画像生成部１６４はプロジェクタ中心正距円筒画像生成処理を行う。図１２、図１３を参照して説明した処理が行われることにより、各プロジェクタのプロジェクタ中心正距円筒画像が生成される。
　ステップＳ４において、詳細投影正面位置調整部１６６は詳細投影正面位置調整処理を行う。図１１を参照して説明した処理が行われることにより、投影正面位置の微調整が行われる。
　ステップＳ５において、投影ずれ補正部１６７は再幾何補正ベクトル生成処理を行う。図１５を参照して説明した処理が行われることにより、再幾何補正ベクトルが生成される。
　ステップＳ６において、投影制御部１６８は、プロジェクタ中心正距円筒画像と画像生成パラメータに基づいて生成した画像を再幾何補正ベクトルに基づいて変換することによって投影画像を生成する。投影制御部１６８は、各プロジェクタに投影画像を出力し、投影させる。
　これにより、ドームスクリーン１には、高解像度正距円筒画像の所定の範囲の画像からなる動画像が図７に示すような形で投影される。
　一方、プロジェクタ中心正距円筒画像を生成済みであるとステップＳ１において判定した場合、ステップＳ７において、画像処理部１５１は、投影正面位置の微調整を行うか否かを判定する。
　投影正面位置の微調整を行うとステップＳ７において判定された場合、ステップＳ４に進み、詳細投影正面位置調整処理が行われる。詳細投影正面位置調整処理が行われた後、再幾何補正ベクトル生成処理が適宜行われ、投影画像の生成が行われる。
　一方、投影正面位置の微調整を行わないとステップＳ７において判定した場合、ステップＳ８に進み、画像処理部１５１は、投影ずれの補正を行うか否かを判定する。
　投影ずれの補正を行うとステップＳ８において判定された場合、ステップＳ５に進み、再幾何補正ベクトル生成処理が行われる。再幾何補正ベクトル生成処理が行われた後、投影画像の生成が行われる。
　一方、投影ずれの補正を行わないとステップＳ８において判定された場合、ステップＳ６に進み、投影画像の生成と投影が行われる。
　このように、プロジェクタ中心正距円筒画像の生成後、ユーザは、投影正面位置の微調整を行うことができるし、投影ずれの補正を行うこともできる。
　すなわち、従来の処理の流れとして図１７に示すように、各プロジェクタの投影画像を高解像度正距円筒画像から直接生成するとした場合、投影正面位置の調整や投影ずれの補正を投影画像の生成後に行ったときには、投影画像の再生成が必要になる。
　マージンを含むプロジェクタ中心正距円筒画像を、各プロジェクタの投影画像の生成の元になるいわば中間的な画像として生成しておくことにより、投影正面位置の調整や投影ずれの補正を、そのような画像の再生成なしに行うことが可能となる。
　また、プロジェクタ中心正距円筒画像の生成に用いられる画素は、投影領域の角度範囲にマージンの角度範囲を加えた角度範囲の画素だけであるから、データの伝送効率や処理の効率を高めることが可能になる。例えば、各プロジェクタの画像を、高解像度正距円筒画像から矩形領域を切り出すことによって用意するとした場合、特に極付近の投影領域が割り当てられたプロジェクタの画像には不要な画素も多く含まれてしまうが、そのようなことを防ぐことが可能になる。
＜その他の例＞
　プロジェクタ中心正距円筒画像を用いた処理が、マルチ投影システムにおいて動画像を投影するための処理として行われるものとしたが、正距円筒画像を分割して伝送するシステムにもプロジェクタ中心正距円筒画像を用いた処理は適用可能である。
　ドームスクリーン１の投影面１Ａが略半球のドーム状であるものとしたが、投影面１Ａの形状として、様々な曲率、画角の曲面を採用することが可能である。
　鑑賞者の視線を検出するなどしてヘッドトラッキングを行い、視線に応じて投影範囲が制御されるようにしてもよい。
　図９に示す画像処理部１５１の機能部のうちの一部の機能部が所定のPCで実現され、他の機能部が他のPCで実現されるといったように、画像処理部１５１の機能部が複数台のPCによって実現されるようにしてもよい。
　画像処理部１５１の機能部がインターネット上のサーバで実現され、サーバから送信されてきたデータに基づいて、動画像の投影が行われるようにしてもよい。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　本技術は、以下のような構成をとることもできる。
（１）
　複数のプロジェクタから投影させるそれぞれの投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する生成部を備える
　画像処理装置。
（２）
　投影正面位置を調整する第１の投影正面位置調整部をさらに備え、
　前記生成部は、前記投影正面位置の調整後の前記第１の正距円筒画像におけるそれぞれの前記投影領域に基づいて前記第２の正距円筒画像を生成する
　前記（１）に記載の画像処理装置。
（３）
　前記第１の正距円筒画像の解像度を低解像度化することによって低解像度正距円筒画像を生成する解像度変換部をさらに備え、
　前記第１の投影正面位置調整部は、前記低解像度正距円筒画像の表示を用いて調整された前記投影正面位置に応じて、前記投影画像の画素と前記第１の正距円筒画像の画素との対応を表す幾何補正情報の変換に用いられる第１の変換情報を生成する
　前記（２）に記載の画像処理装置。
（４）
　前記生成部は、前記投影領域の角度範囲に、マージンとなる所定の角度範囲を加えた角度範囲の画素からなる前記第２の正距円筒画像を生成する
　前記（３）に記載の画像処理装置。
（５）
　前記生成部は、前記投影画像の中心画素を前記第２の正距円筒画像の中心画素に変換するための第２の変換情報と、前記第２の正距円筒画像の角度範囲を表す情報とを含む画像生成パラメータを生成する
　前記（４）に記載の画像処理装置。
（６）
　複数の前記プロジェクタのそれぞれの前記第２の正距円筒画像を、前記画像生成パラメータとともに記憶する記憶部をさらに備える
　前記（５）に記載の画像処理装置。
（７）
　前記第２の正距円筒画像と前記画像生成パラメータに基づいて前記投影画像を生成し、複数の前記プロジェクタのそれぞれから投影させる投影制御部をさらに備える
　前記（６）に記載の画像処理装置。
（８）
　前記投影制御部は、曲面状の投影面を有するスクリーンに対して前記投影画像を投影させる
　前記（７）に記載の画像処理装置。
（９）
　前記投影画像が投影された状態で行われる操作に基づいて、前記マージンの範囲内で、前記投影正面位置の調整を行う第２の投影正面位置調整部をさらに備える
　前記（７）または（８）に記載の画像処理装置。
（１０）
　前記第２の投影正面位置調整部は、前記マージンの範囲内で調整された前記投影正面位置に応じて、前記投影画像の画素と前記第１の正距円筒画像の画素との対応を表す幾何補正情報を生成する
　前記（９）に記載の画像処理装置。
（１１）
　前記第２の投影正面位置調整部により生成された前記幾何補正情報に基づいて、前記投影画像の画素と前記第２の正距円筒画像の画素との対応を表す再幾何補正情報を生成する補正部をさらに備える
　前記（１０）に記載の画像処理装置。
（１２）
　前記補正部は、前記第１の変換情報と前記第２の変換情報に基づいて前記再幾何補正情報を生成する
　前記（１１）に記載の画像処理装置。
（１３）
　画像処理装置が、
　複数のプロジェクタから投影させるそれぞれの投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する
　画像処理方法。
（１４）
　コンピュータに、
　複数のプロジェクタから投影させるそれぞれの投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する
　処理を実行させるためのプログラム。
（１５）
　曲面状の投影面を有するスクリーンと、
　画像処理装置により生成された投影画像を前記スクリーンに投影する複数のプロジェクタと、
　　複数の前記プロジェクタから投影させるそれぞれの前記投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する生成部と、
　　前記第２の正距円筒画像と、前記投影画像の中心画素を前記第２の正距円筒画像の中心画素に変換するための変換情報と前記第２の正距円筒画像の角度範囲を表す情報とを含む画像生成パラメータに基づいて前記投影画像を生成し、複数の前記プロジェクタのそれぞれから投影させる投影制御部と
　を備える前記画像処理装置と
　を含む投影システム。
　１　ドームスクリーン，　２－１乃至２－７　プロジェクタ，　３　画像処理装置，　１５１　画像処理部，　１６１　幾何補正部，　１６２　解像度変換部，　１６３　大域投影正面位置調整部，　１６４　プロジェクタ中心正距円筒画像生成部，　１６５　プロジェクタ中心正距円筒画像記憶部，　１６６　詳細投影正面位置調整部，　１６７　投影ずれ補正部，　１６８　投影制御部

Claims (15)

  1. 　複数のプロジェクタから投影させるそれぞれの投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する生成部を備える
    　画像処理装置。
  2. 　投影正面位置を調整する第１の投影正面位置調整部をさらに備え、
    　前記生成部は、前記投影正面位置の調整後の前記第１の正距円筒画像におけるそれぞれの前記投影領域に基づいて前記第２の正距円筒画像を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記第１の正距円筒画像の解像度を低解像度化することによって低解像度正距円筒画像を生成する解像度変換部をさらに備え、
    　前記第１の投影正面位置調整部は、前記低解像度正距円筒画像の表示を用いて調整された前記投影正面位置に応じて、前記投影画像の画素と前記第１の正距円筒画像の画素との対応を表す幾何補正情報の変換に用いられる第１の変換情報を生成する
    　請求項２に記載の画像処理装置。
  4. 　前記生成部は、前記投影領域の角度範囲に、マージンとなる所定の角度範囲を加えた角度範囲の画素からなる前記第２の正距円筒画像を生成する
    　請求項３に記載の画像処理装置。
  5. 　前記生成部は、前記投影画像の中心画素を前記第２の正距円筒画像の中心画素に変換するための第２の変換情報と、前記第２の正距円筒画像の角度範囲を表す情報とを含む画像生成パラメータを生成する
    　請求項４に記載の画像処理装置。
  6. 　複数の前記プロジェクタのそれぞれの前記第２の正距円筒画像を、前記画像生成パラメータとともに記憶する記憶部をさらに備える
    　請求項５に記載の画像処理装置。
  7. 　前記第２の正距円筒画像と前記画像生成パラメータに基づいて前記投影画像を生成し、複数の前記プロジェクタのそれぞれから投影させる投影制御部をさらに備える
    　請求項６に記載の画像処理装置。
  8. 　前記投影制御部は、曲面状の投影面を有するスクリーンに対して前記投影画像を投影させる
    　請求項７に記載の画像処理装置。
  9. 　前記投影画像が投影された状態で行われる操作に基づいて、前記マージンの範囲内で、前記投影正面位置の調整を行う第２の投影正面位置調整部をさらに備える
    　請求項７に記載の画像処理装置。
  10. 　前記第２の投影正面位置調整部は、前記マージンの範囲内で調整された前記投影正面位置に応じて、前記投影画像の画素と前記第１の正距円筒画像の画素との対応を表す幾何補正情報を生成する
    　請求項９に記載の画像処理装置。
  11. 　前記第２の投影正面位置調整部により生成された前記幾何補正情報に基づいて、前記投影画像の画素と前記第２の正距円筒画像の画素との対応を表す再幾何補正情報を生成する補正部をさらに備える
    　請求項１０に記載の画像処理装置。
  12. 　前記補正部は、前記第１の変換情報と前記第２の変換情報に基づいて前記再幾何補正情報を生成する
    　請求項１１に記載の画像処理装置。
  13. 　画像処理装置が、
    　複数のプロジェクタから投影させるそれぞれの投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する
    　画像処理方法。
  14. 　コンピュータに、
    　複数のプロジェクタから投影させるそれぞれの投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する
    　処理を実行させるためのプログラム。
  15. 　曲面状の投影面を有するスクリーンと、
    　画像処理装置により生成された投影画像を前記スクリーンに投影する複数のプロジェクタと、
    　　複数の前記プロジェクタから投影させるそれぞれの前記投影画像の生成に用いられる画像として、第１の正距円筒画像における複数の前記プロジェクタのそれぞれの投影領域の中心画素を中心画素とし、前記投影領域を含む角度範囲の画素から構成される第２の正距円筒画像を生成する生成部と、
    　　前記第２の正距円筒画像と、前記投影画像の中心画素を前記第２の正距円筒画像の中心画素に変換するための変換情報と前記第２の正距円筒画像の角度範囲を表す情報とを含む画像生成パラメータに基づいて前記投影画像を生成し、複数の前記プロジェクタのそれぞれから投影させる投影制御部と
    　を備える前記画像処理装置と
    　を含む投影システム。
PCT/JP2018/044641 2017-12-19 2018-12-05 画像処理装置、画像処理方法、プログラム、および投影システム WO2019124070A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880080505.XA CN111480335B (zh) 2017-12-19 2018-12-05 图像处理装置、图像处理方法、程序以及投影***
US16/772,642 US11115632B2 (en) 2017-12-19 2018-12-05 Image processing device, image processing method, program, and projection system
EP18890127.6A EP3706410B1 (en) 2017-12-19 2018-12-05 Image processing device, image processing method, program, and projection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017242675 2017-12-19
JP2017-242675 2017-12-19

Publications (1)

Publication Number Publication Date
WO2019124070A1 true WO2019124070A1 (ja) 2019-06-27

Family

ID=66993256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044641 WO2019124070A1 (ja) 2017-12-19 2018-12-05 画像処理装置、画像処理方法、プログラム、および投影システム

Country Status (4)

Country Link
US (1) US11115632B2 (ja)
EP (1) EP3706410B1 (ja)
CN (1) CN111480335B (ja)
WO (1) WO2019124070A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347813A (ja) * 2004-05-31 2005-12-15 Olympus Corp 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム
JP2016014720A (ja) 2014-07-01 2016-01-28 ソニー株式会社 情報処理装置および方法
JP2017138472A (ja) * 2016-02-03 2017-08-10 株式会社リコー 画像供給装置、プログラム、投影システムおよび画像供給方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100652156B1 (ko) 2003-03-26 2006-11-30 마츠시다 덴코 가부시키가이샤 밝기 조절 필터 생성 방법 및 가상 공간 생성 시스템
JP4637845B2 (ja) * 2004-09-01 2011-02-23 オリンパス株式会社 マルチプロジェクションシステムにおける幾何補正方法
JP4751084B2 (ja) * 2005-01-11 2011-08-17 三菱プレシジョン株式会社 マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置
US11388378B2 (en) * 2018-01-25 2022-07-12 Sony Corporation Image processing apparatus, image processing method and projection system
US10863154B2 (en) * 2018-02-20 2020-12-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347813A (ja) * 2004-05-31 2005-12-15 Olympus Corp 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム
JP2016014720A (ja) 2014-07-01 2016-01-28 ソニー株式会社 情報処理装置および方法
JP2017138472A (ja) * 2016-02-03 2017-08-10 株式会社リコー 画像供給装置、プログラム、投影システムおよび画像供給方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3706410A4

Also Published As

Publication number Publication date
CN111480335A (zh) 2020-07-31
EP3706410A1 (en) 2020-09-09
US20210084268A1 (en) 2021-03-18
CN111480335B (zh) 2023-04-18
EP3706410B1 (en) 2022-08-03
US11115632B2 (en) 2021-09-07
EP3706410A4 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
US20170363949A1 (en) Multi-tier camera rig for stereoscopic image capture
US9706135B2 (en) Method and apparatus for generating an image cut-out
JP6672315B2 (ja) 画像生成装置、及び画像表示制御装置
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2005339313A (ja) 画像提示方法及び装置
WO2011121741A1 (ja) 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
JP5061227B2 (ja) 映像信号処理装置及び仮想現実感生成システム
JP2007251914A (ja) 映像信号処理装置、仮想現実感生成システム
TWI786157B (zh) 用於產生場景之舖磚式三維影像表示之設備及方法
JP2001083949A (ja) 映像投影装置
US20140300645A1 (en) Method and apparatus for controlling a virtual camera
JP2018110295A (ja) 画像処理装置および画像処理方法
WO2018123646A1 (ja) 生成装置、識別情報生成方法、再生装置および画像生成方法
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
CN111226264A (zh) 回放装置和方法以及生成装置和方法
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备
US10559060B2 (en) Method and apparatus for real time image distortion compensation in immersive theater system
US10699372B2 (en) Image generation apparatus and image display control apparatus
JP2020068514A (ja) 画像処理装置、画像処理方法、及びプログラム
US11218662B2 (en) Image processing device, image processing method, and projection system
JP5249733B2 (ja) 映像信号処理装置
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
WO2019124070A1 (ja) 画像処理装置、画像処理方法、プログラム、および投影システム
JP2017069920A (ja) 自由視点画像データ生成装置および自由視点画像データ再生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18890127

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2018890127

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP