WO2019155904A1 - 画像処理装置、画像処理方法、プログラム、および投影システム - Google Patents

画像処理装置、画像処理方法、プログラム、および投影システム Download PDF

Info

Publication number
WO2019155904A1
WO2019155904A1 PCT/JP2019/002390 JP2019002390W WO2019155904A1 WO 2019155904 A1 WO2019155904 A1 WO 2019155904A1 JP 2019002390 W JP2019002390 W JP 2019002390W WO 2019155904 A1 WO2019155904 A1 WO 2019155904A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
projector
pattern
screen
Prior art date
Application number
PCT/JP2019/002390
Other languages
English (en)
French (fr)
Inventor
清登 染谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980011189.5A priority Critical patent/CN111684793A/zh
Priority to US16/964,850 priority patent/US11218662B2/en
Publication of WO2019155904A1 publication Critical patent/WO2019155904A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Definitions

  • the present technology relates to an image processing device, an image processing method, a program, and a projection system, and in particular, an image processing device, an image processing method, a program, and a projection that can easily adjust the position and tilt of a camera. About the system.
  • the image When projecting an image on a screen using a projector, the image may appear distorted depending on the shape of the screen and the orientation of the projector.
  • the correction for matching the images in the superimposed region is called warping (geometric correction), and the correction for making the brightness uniform is called blending (optical correction).
  • the screen when projecting an image on a dome-shaped screen, the screen is not flat, and geometric correction is required to project a correct image.
  • a method of preparing the parameters for geometric correction there is a method of installing a measurement camera at a predetermined position and analyzing an image obtained by photographing.
  • the present technology has been made in view of such a situation, and makes it possible to easily adjust the position and tilt of the camera.
  • An image processing apparatus captures an image captured by a camera installed in a state having a predetermined inclination, which captures a projection surface of a screen on which a pattern image, which is an image of a predetermined pattern, is projected from a projector.
  • An estimation unit that estimates the tilt of the camera based on an image
  • a display control unit that displays the photographed image rotated according to the tilt of the camera.
  • a pattern image which is an image of a predetermined pattern, captures a projection surface of a screen on which a projector is projected, and is based on a captured image captured by a camera installed with a predetermined inclination. Then, the tilt of the camera is estimated, and the captured image rotated according to the tilt of the camera is displayed.
  • the position and tilt of the camera can be easily adjusted.
  • FIG. 1 is a diagram illustrating a configuration example of a multi-projection system according to an embodiment of the present technology.
  • dome screen 11 having a dome-shaped (hemispherical) projection surface 11A having a diameter of about 2 m to an installation base 12.
  • the dome screen 11 is attached to a height of about 1 m with the opening obliquely downward.
  • a chair is prepared in front of the dome screen 11.
  • the user views the content projected on the projection surface 11A while sitting on the chair.
  • the multi-projection system 1 includes projectors 13L and 13R, a surround speaker 14, a woofer 15, cameras 16L and 16R, and an image processing device 21.
  • the projectors 13L and 13R, the surround speaker 14, the woofer 15, and the cameras 16L and 16R are connected to the image processing device 21 via wired or wireless communication.
  • the projectors 13L and 13R are attached to the left and right sides of the dome screen 11 with the projection portions facing the dome screen 11.
  • the projectors 13L and 13R are fixed to the installation table 12 by metal members.
  • the cameras 16L and 16R are also attached to the left and right of the dome screen 11 with the lens facing the dome screen 11.
  • the cameras 16L and 16R are attached to the edge of the dome screen 11 through a predetermined member in a state where the position and inclination can be adjusted.
  • the administrator of the multi-projection system 1 can adjust the shooting range by moving the housings of the cameras 16L and 16R by hand.
  • the cameras 16L and 16R may be attached to the installation table 12 using a predetermined member.
  • FIG. 2 is a diagram showing an example of the positional relationship between the projector and the camera as viewed from above.
  • the projector 13 ⁇ / b> L is attached to a position where an image can be projected onto the substantially right half area of the dome screen 11.
  • the projector 13 ⁇ / b> R is attached at a position where an image can be projected on the substantially left half area of the dome screen 11.
  • a wide-angle lens such as a fisheye lens is provided in the projection portions of the projectors 13L and 13R.
  • the range indicated by the broken line represents the projection range of the projector 13L
  • the range indicated by the alternate long and short dash line represents the projection range of the projector 13R. Details of the projection range will be described later.
  • the projectors 13L and 13R project the images assigned to the projectors 13L and 13R to display the content image on the entire projection surface 11A and present it to the user.
  • the image of each projector is generated based on the content image so that one image can be viewed without distortion from the viewpoint of the user.
  • images assigned to the projectors 13L and 13R are supplied from the image processing device 21.
  • the camera 16 ⁇ / b> L is provided near the projection part of the projector 13 ⁇ / b> L and near the edge part of the dome screen 11.
  • the camera 16R is provided near the projection part of the projector 13R and near the edge of the dome screen 11.
  • the camera 16L is used for photographing the projection surface 11A on which images are projected from the projector 13L and the projector 13R.
  • a preview image is generated in the image processing device 21 and displayed on a display connected to the image processing device 21.
  • the preview image is an image representing the state of the projection surface 11A displayed when adjusting the position and tilt of the camera 16L.
  • the camera 16R is used for photographing the projection surface 11A on which images are projected from the projector 13L and the projector 13R.
  • a preview image is generated in the image processing device 21 and displayed on a display connected to the image processing device 21.
  • the preview image is an image representing the state of the projection surface 11A displayed when adjusting the position and tilt of the camera 16R.
  • Adjustment of the position and tilt of the cameras 16L and 16R is performed at a predetermined timing such as when the multi-projection system 1 is installed while viewing the preview image.
  • the image shot by the adjusted camera 16L that has been adjusted in position and tilt is used, for example, for generating parameters for use in geometric correction of the image projected from the projector 13L. Further, the image captured by the adjusted camera 16R is used to generate parameters for use in geometric correction of an image projected from the projector 13R, for example.
  • the projector 13L and the projector 13R when it is not necessary to distinguish the projector 13L and the projector 13R from time to time, they are collectively referred to as the projector 13.
  • the camera 16L and the camera 16R When there is no need to distinguish between the camera 16L and the camera 16R, they are collectively referred to as the camera 16.
  • the surround speaker 14 and the woofer 15 provided below the dome screen 11 output audio of content reproduced by the image processing device 21.
  • the image processing device 21 reproduces the content and generates a projection image to be projected from each projector 13 based on each frame constituting the moving image of the content.
  • the image processing device 21 outputs the projection image to the projector 13 and projects it toward the projection surface 11A.
  • the image processing device 21 outputs audio data obtained by reproducing the content to the surround speaker 14 and the woofer 15, and outputs the audio of the content.
  • the image processing device 21 is a PC, for example.
  • the image processing apparatus 21 may be configured by a plurality of PCs instead of a single PC. Further, the image processing device 21 may be provided not in the vicinity of the dome screen 11 as shown in FIG. 1 but in a room different from the room in which the dome screen 11 is installed.
  • two projectors are provided, but one projector may be provided, or three or more projectors may be provided.
  • the number of projectors provided in the multi-projection system 1 is arbitrary.
  • FIG. 3 is a diagram showing an example of the viewpoint position.
  • a user sitting on a chair placed in front of the dome screen 11 looks up slightly as indicated by a dashed arrow with the position P1 near the center of the sphere when the projection surface 11A is the sphere surface as the viewpoint position Then, the image projected on the projection surface 11A is viewed.
  • the position of the deepest part of the projection surface 11A (the zenith of the dome) shown at the tip of the broken line arrow in FIG. 3 is the center position of the projection surface 11A.
  • FIG. 4 is a diagram showing a projection state.
  • the user's field of view is almost covered by the image projected on the projection surface 11A. Since the image covers almost the entire field of view, the user can get an impression of being surrounded by the image, and can get a sense of realism and immersion in the content.
  • moving image content consisting of omnidirectional images is provided.
  • Other moving image content such as a movie, television program, or game, or still image content such as a photograph of a landscape may be provided.
  • the projector 13L and the projector 13R are projectors that can project a 4K image such as 3840 ⁇ 2160 pixels, for example.
  • FIG. 5 is a diagram illustrating an installation example of the projector 13L and the camera 16L.
  • the dome screen 11 is attached with a predetermined angle downward, but in FIG. 5, for convenience of explanation, it is shown in a state of being oriented in the horizontal direction.
  • An axis a connecting the center (position P1) of the sphere when the projection surface 11A is the sphere surface and the zenith of the projection surface 11A is shown as a horizontal axis. The same applies to FIG.
  • the projector 13L When viewed from the left side of the multi-projection system 1, as shown in FIG. 5, the projector 13L is in a state where the upper surface 13L-1 faces the user and the rear surface 13L-2 can be seen (facing the paper).
  • the projector 13L has a substantially flat box-shaped housing.
  • the projector 13 ⁇ / b> L is attached in a vertical direction of 90 ° with respect to the direction of the axis a.
  • the projector 13L has an aspect ratio of, for example, 16: 9 in a normal direction (upper side is the upper side and lower side is the lower side) when the upper surface 13L-1 is facing upward. It is a projector capable of projecting an image.
  • the horizontal direction of the image projected from the projector 13L corresponds to the vertical direction of FIG.
  • the projection part of the projector 13L is provided on the front side of the casing on the opposite side of the back surface 13L-2, as indicated by a broken-line circle.
  • the bottom surface, the left side surface, and the right side surface of the housing face the direction of the dome screen 11, the downward direction, and the upward direction in FIG.
  • the camera 16L When viewed from the left side of the multi-projection system 1, the camera 16L is also in a state where the upper surface 16L-1 faces the user and the rear surface 16L-2 is visible.
  • the shape of the back surface 16L-2 of the camera 16L is a vertically long substantially rounded rectangular shape.
  • FIG. 7 is a diagram showing an installation example of the projector 13R and the camera 16R.
  • FIG. 7 schematically shows the positional relationship between the dome screen 11, the projector 13R, and the camera 16R when the multi-projection system 1 is viewed from the right side.
  • the projector 13R When viewed from the right side of the multi-projection system 1, as shown in FIG. 7, the projector 13R is in a state where the upper surface 13R-1 faces the user and the rear surface 13R-2 is visible.
  • the projector 13R also has a substantially flat box-shaped housing.
  • the projector 13 ⁇ / b> R is attached vertically by 90 ° when the direction of the axis a is used as a reference.
  • the projector 13R is a projector capable of projecting an image having an aspect ratio of, for example, 16: 9 in a normal direction when the upper surface 13R-1 is facing upward as shown on the left side of FIG.
  • the horizontal direction of the image projected from the projector 13R corresponds to the vertical direction of FIG.
  • the projection unit of the projector 13R is provided on the front surface of the housing on the opposite side of the rear surface 13L-2, as indicated by a broken-line circle.
  • the bottom surface, the left side surface, and the right side surface of the housing face the direction of the dome screen 11, the upward direction, and the downward direction, respectively, in FIG.
  • the camera 16R When viewed from the right side of the multi-projection system 1, the camera 16R is also in a state where the upper surface 16R-1 faces the user and the rear surface 16R-2 is visible.
  • the shape of the back surface 16L-2 of the camera 16R is a vertically long, substantially rounded rectangular shape.
  • the projector 13L and the projector 13R are attached in a vertically oriented state rotated by 90 °.
  • the angle of view (resolution) of a video display device such as a projector or TV is higher in the horizontal resolution than in the vertical direction.
  • a high resolution image is projected on the entire projection surface 11A. Is possible.
  • the camera 16L and the camera 16R are attached to a place that does not interfere with the user when viewing the content and can be always installed.
  • the camera 16L and the camera 16R are used for photographing the projection surface 11A and measuring the situation of the image projected on the projection surface 11A. From the viewpoint of measurement accuracy, the camera 16L and the camera 16R are preferably installed as close to the dome screen 11 as possible. It can be said that the positions of the camera 16L and the camera 16R satisfy such conditions.
  • the projector 13L when viewed from the rear side, the projector 13L is mounted in a vertically oriented state rotated 90 ° in the right direction (clockwise direction). Similarly, 16L is attached in a state rotated 90 ° to the right.
  • the projector 13R when viewed from the rear side, the projector 13R is mounted in a vertically oriented state rotated 90 ° in the left direction (counterclockwise direction). Therefore, the camera 16R is similarly attached in a state of being rotated 90 ° in the left direction.
  • the angle of view of the cameras 16L and 16R is also higher in the horizontal resolution than in the vertical resolution.
  • FIG. 9 is a diagram illustrating an example of a shooting angle of view of the camera 16L.
  • a dotted small circle shown at a position near the top surface 16L-1 on the back surface 16L-2 represents a lens provided in front of the camera 16L.
  • FIG. 10 when the camera 16 is installed in a horizontal state rotated 90 ° to the right, a vertically long rectangular range surrounded by a frame F1 ′ of the entire subject. Is filmed.
  • a preview image is displayed on the adjustment screen in such a direction that the right direction in FIG. 9 appears upward and the left direction in FIG. 9 appears downward.
  • the adjustment screen is a screen used for adjusting the position and tilt of the camera 16.
  • the position and tilt of the camera 16L are adjusted while looking at the preview image. However, if the preview image with the orientation shown in FIG. 10 is displayed, the direction of the preview image and the direction of the subject in real space are determined. Will be different.
  • FIG. 11 is a diagram illustrating an example of a shooting angle of view of the camera 16R.
  • a broken-line small circle shown at a position near the top surface 16R-1 on the back surface 16R-2 represents a lens provided in front of the camera 16R.
  • the position and tilt of the camera 16R are adjusted while looking at the preview image. However, if the preview image with the orientation shown in FIG. 12 is displayed, the direction of the preview image and the direction of the subject in the real space are determined. Will be different.
  • the image processing device 21 in order to make the direction of the preview image coincide with the direction in the real space, a process of rotating the captured image according to the inclination of the cameras 16L and 16R is performed.
  • FIG. 13 is a diagram illustrating an example of rotation of an image photographed by the camera 16L.
  • the image shown on the left side of FIG. 13 is an image taken when the camera 16L is installed in the horizontal state as described with reference to FIG.
  • the image processing device 21 performs a process of rotating 90 ° rightward as indicated by the outline arrow, and displays the rotated image as a preview image. Is done.
  • the tilt of the camera 16L is estimated based on, for example, a captured image.
  • the display range of the preview image on the right side of FIG. 13 is switched to the right range when the camera 16L installed in the horizontal direction is moved to the right in the real space as shown in the lower part of FIG. Switch to the left range. Even when the camera 16L is installed sideways, the movement direction of the camera 16L in the real space and the switching direction of the display range coincide with each other, and the position and inclination of the camera 16L can be changed while viewing the preview image. It can be adjusted intuitively.
  • FIG. 14 is a diagram illustrating an example of rotation of an image photographed by the camera 16R.
  • the image shown on the left side of FIG. 14 is an image taken when the camera 16R is installed in the horizontal state as described with reference to FIG.
  • the image processing device 21 performs a process of rotating 90 ° leftward as indicated by the outline arrow, and displays the rotated image as a preview image. Is done.
  • the tilt of the camera 16R is estimated based on, for example, a captured image.
  • the display range of the preview image on the right side of FIG. 14 is switched to the right range when the camera 16R installed sideways is moved rightward in the real space as shown in the lower part of FIG. Switch to the left range. Even when the camera 16R is installed sideways, the movement direction of the camera 16R in the real space and the switching direction of the display range coincide with each other, and the position and inclination of the camera 16R can be changed while viewing the preview image. It can be adjusted intuitively.
  • an image in which the movement direction of the cameras 16L and 16R and the direction of switching the display range coincide is displayed as a preview image.
  • the adjustment of the administrator of the multi-projection system 1 that matches the direction of the camera 16 with the direction of the projector 13 is referred to as global adjustment.
  • the process of the image processing device 21 that rotates an image according to the tilt of the cameras 16L and 16R and displays it as a preview image is referred to as a global adjustment process.
  • the adjustment of the cameras 16L and 16R includes global adjustment and detailed adjustment described later.
  • FIG. 15 is a diagram illustrating an example of a projection range of the projector 13.
  • the display shown in FIG. 15 indicates a state in which the projection surface 11A is viewed from the front.
  • the display shown in FIG. 15 is realized by projecting an image having no pattern or pattern and having a constant luminance as a whole from each of the projector 13L and the projector 13R. Since the multi-projection system 1 is in a dark environment, the outside of the edge portion 11B corresponding to the end of the projection surface 11A is shown in black.
  • the projection range of the projector 13L is a range indicated by hatching in FIG. As indicated by the broken line, a part of the image projected from the projector 13L is projected outside the arc connecting the position p1 and the position p2 on the edge 11B of the dome screen 11.
  • a region to be projected outside the projection surface 11A is a black region (black light is projected outside the projection surface 11A).
  • the projection range of the projector 13R is a range indicated by hatching in FIG. As indicated by the broken line, a part of the image projected from the projector 13R is projected outside the arc connecting the position p11 and the position p12 on the edge 11B of the dome screen 11.
  • the region projected outside the projection surface 11A is also a black region.
  • the images are respectively projected by the projector 13L and the projector 13R onto such an area on the projection surface 11A.
  • the range in which the range indicated by the hatched line in FIG. 16A and the range indicated by the hatched line in FIG. 16B overlap each other is an overlapping region in which the image of the projector 13L and the image of the projector 13R overlap.
  • the process of combining the image of the projector 13L and the image of the projector 13R is geometric correction.
  • the luminance of the superposed region is higher than the surrounding luminance.
  • the process for correcting the luminance of the superimposed area is optical correction.
  • a method for displaying a preview image used for global adjustment which is an adjustment for adjusting the orientation of the camera 16 to the orientation of the projector 13, for example, there are the following methods. (1) A method in which the user manually rotates the preview image by 90 ° (2) A method in which the preview image is rotated according to the inclination detected by a sensor such as an IMU built in the camera (3) A pattern image from the projector To rotate based on the captured image obtained by projecting and projecting it with the camera
  • FIG. 17 is a diagram illustrating an example of a pattern image.
  • a pattern image projected from the projector 13L is referred to as a pattern image L.
  • the upper left corner, upper right corner, lower right corner, and lower left corner of the pattern image L are represented as point A, point B, point C, and point D, respectively, as appropriate.
  • the pattern image L is an image in which a portion excluding the lower left corner and the lower right corner is displayed in gray with a certain luminance.
  • the lower left corner of the pattern image L is disposed mark M Y consisting of the yellow pixel, the lower right corner is arranged mark M B consisting of blue pixels.
  • Mark M Y and the mark M B is constructed of a predetermined number of pixels.
  • the image representing a composed pattern by arranging the mark M B in the lower right corner is pattern image L.
  • the pattern image L is subjected to geometric correction (for example, geometric correction using default parameters) and projected from the projector 13L.
  • the image shown on the right side of FIG. 17 is a pattern image projected from the projector 13R at the time of global adjustment.
  • a pattern image projected from the projector 13R is referred to as a pattern image R.
  • the upper left corner, upper right corner, lower right corner, and lower left corner of the pattern image R are respectively represented as point AA, point BB, point CC, and point DD as appropriate.
  • the pattern image R is an image in which a portion excluding the lower left corner and the lower right corner is displayed in gray with a certain luminance.
  • the lower left corner of the pattern image R are arranged mark M G consisting of green pixels, the mark M R consisting of red pixels is disposed on the lower right corner.
  • Mark M G and the mark M R is constructed of a predetermined number of pixels.
  • the image representing a composed pattern by arranging the mark M R in the lower right corner is pattern image R.
  • the pattern image R is subjected to geometric correction and projected from the projector 13R.
  • FIG. 18 is a diagram illustrating an example of a captured image.
  • the image shown on the left side of FIG. 18 is a photographed image obtained by photographing the pattern image L from the projector 13L and photographing the pattern image R from the projector 13R with the camera 16L.
  • a captured image obtained by capturing the pattern image L and the pattern image R with the camera 16L is referred to as a captured image L.
  • the pattern image L and the pattern image R projected on the projection surface 11A are shown in a distorted state.
  • a region A1 that is reflected in a state in which the luminance is higher than the surroundings is a superimposed region.
  • the boundary line L11 shown as a gentle curve below the captured image L corresponds to the lower side connecting the points C and D of the pattern image L.
  • a boundary line L12 shown as a gentle curve on the left side of the photographed image L corresponds to a part of the left side connecting the point A and the point D of the pattern image L, and appears as a gentle curve on the right side of the photographed image L.
  • the boundary line L13 corresponds to a part of the right side connecting the points B and C of the pattern image L.
  • a mark MY is shown at the junction between the boundary line L11 and the boundary line L12. Also, it is reflected mark M B is the junction of the boundary line L11 and the boundary line L13.
  • the arc-shaped boundary line L21 in the vicinity of the center of the captured image L corresponds to the lower side connecting the point CC and the point DD of the pattern image R.
  • a boundary line L22 shown as a gentle curve in the upper left of the photographed image L corresponds to a part of the right side connecting the point BB and the point CC of the pattern image R, and a parabolic boundary shown in the upper right of the photographed image L
  • the line L23 corresponds to a part of the left side connecting the point AA and the point DD of the pattern image R.
  • Is reflected mark M R is the junction of the boundary line L21 and the boundary line L22. Also, is reflected mark M G is the junction of the boundary line L21 and the boundary line L23.
  • the image shown on the right side of FIG. 18 is a photographed image obtained by photographing the pattern image L from the projector 13L and photographing the pattern image R from the projector 13R with the camera 16R.
  • a captured image obtained by capturing the pattern image L and the pattern image R with the camera 16R is referred to as a captured image R.
  • the pattern image L and the pattern image R projected on the projection surface 11A are shown in a distorted state.
  • a region A2 that is reflected in a state where the luminance is higher than the surroundings is a superimposed region.
  • the substantially linear boundary line L31 shown below the photographed image R corresponds to the lower side connecting the point CC and the point DD of the pattern image R.
  • a boundary line L32 shown as a gentle curve on the left side of the photographed image R corresponds to a part of the left side connecting the point AA and the point DD of the pattern image R, and appears as a gentle curve on the right side of the photographed image R.
  • the boundary line L33 corresponds to a part of the right side connecting the point BB and the point CC of the pattern image R.
  • Is reflected mark M G is the junction of the boundary line L31 and the boundary line L32. Also, is reflected mark M R is the junction of the boundary line L31 and the boundary line L33.
  • the arc-shaped boundary line L41 in the vicinity of the center of the photographed image R corresponds to the lower side connecting the points C and D of the pattern image L.
  • a parabolic boundary L42 shown in the upper left of the photographed image R corresponds to a part of the right side connecting the point B and the point C of the pattern image L, and is shown as a gentle curve on the upper right of the photographed image R.
  • the line L43 corresponds to a part of the left side connecting the point A and the point D of the pattern image L.
  • Is reflected mark M B is the junction of the boundary line L41 and the boundary line L42. Also, is reflected mark M Y is the junction of the boundary line L41 and the boundary line L43.
  • the marks M Y , M B , M G , and M R are detected by analyzing the captured image L.
  • the mark M Y, M B, M G the inclination of the camera 16L based on the respective positions of the M R is estimated, the captured image L rotated in accordance with the estimated slope, as a preview image Is displayed.
  • the mark M G by analyzing the captured image R, M R, M Y, the M B is detected.
  • the mark M G, M R, M Y, the inclination of the camera 16R based on the respective position estimation of M B, estimated captured image R is rotated in response to the slope, as a preview image Is displayed.
  • FIG. 19 is a diagram showing an example of a preview image.
  • an image obtained by rotating the captured image L of FIG. 18 by 90 ° in the right direction is displayed as a preview image of the captured image L.
  • an image obtained by rotating the captured image R of FIG. 18 by 90 ° to the left is displayed as a preview image of the captured image R.
  • Each preview image is displayed at a predetermined position on the adjustment screen displayed on the display connected to the image processing device 21.
  • the administrator of the multi-projection system 1 matches the direction of the camera 16 with the direction of the projector 13 while viewing the preview image shown in FIG. For example, the administrator can determine that the orientation of the camera 16 matches the orientation of the projector 13 by the four marks appearing in the respective preview images in the arrangement shown in FIG.
  • FIG. 20 is a front view showing a state in which a pattern image is projected.
  • the vertical direction in FIG. 20 corresponds to the vertical direction of the dome screen 11
  • the horizontal direction in FIG. 20 corresponds to the horizontal direction of the dome screen 11.
  • an arc-shaped boundary line L61 that appears on the left side from the center of the projection surface 11A corresponds to a boundary line L11 that appears on the photographed image L and a boundary line L41 that appears on the photographed image R in FIG.
  • the arc-shaped boundary line L62 shown on the right side from the center corresponds to the boundary line L21 shown on the photographed image L and the boundary line L31 shown on the photographed image R in FIG.
  • the vicinity of the upper left corner and the upper right corner of the pattern image L and the vicinity of the upper left corner and the upper right corner of the pattern image R are projected outside the projection surface 11A as described with reference to FIG.
  • the light of each mark irradiates a predetermined position on the projection surface 11A, and the light at the upper left corner and the upper right corner irradiates a position outside the projection surface 11A.
  • FIG. 21 is another front view showing a state in which a pattern image is projected.
  • the marks arranged in the pattern image are not projected onto the projection surface 11A as shown in FIG. (Projected outside the projection surface 11A).
  • the orientation of the camera 16 is adjusted in accordance with the orientation of the projector 13 so that the upper surfaces of both faces the user.
  • the positions and inclinations of the cameras 16L and 16 need to be adjusted to positions and inclinations at which the entire overlapping area can be photographed.
  • the positions and inclinations of the cameras 16L and 16 depend on the edge of the dome screen 11. The position and inclination must be adjusted so that the entire 11B can be photographed.
  • the area projected outside the projection surface 11A in the image projected from the projector 13 is set as a black area.
  • FIG. 22 is a diagram illustrating an example of a preview image.
  • a preview image is schematically shown.
  • the camera 16L Can be said to have been adjusted to an appropriate position and inclination.
  • the arc indicated by the thick line L101 corresponds to the arc connecting the position p1 and the position p2 described with reference to FIG.
  • a superimposition area A12 indicated by hatching and an edge 11B included in the projection range of the projector 13R indicated by a thick line L102 are shown in the preview image of the camera 16R, It can be said that the camera 16R is adjusted to an appropriate position and inclination.
  • the arc indicated by the thick line L102 corresponds to the arc connecting the position p11 and the position p12 described with reference to FIG.
  • An edge portion 11B corresponding to the arc connecting position p1 and position p2 in FIG. 16A is shown in the preview image of the camera 16L, and an edge portion 11B corresponding to the arc connecting position p11 and position p12 in FIG. If it is reflected in the preview image, the entire edge portion 11B can be photographed.
  • Whether or not the overlapping region is captured and whether or not the entire edge portion 11B of the dome screen 11 is captured is an index for determining whether or not the cameras 16L and 16R are adjusted to appropriate positions and inclinations. .
  • information for guiding the moving direction of the cameras 16L and 16R is displayed superimposed on the preview image.
  • the administrator of the multi-projection system 1 can adjust the positions and inclinations of the cameras 16L and 16R by moving according to the displayed information.
  • FIG. 23 is a diagram showing an example of a preview image.
  • the edge portion 11B is cut off.
  • the image processing device 21 determines that the position and tilt of the camera 16L are not in an appropriate state.
  • information for guiding the moving direction of the camera 16L as shown on the left side of FIG. 24 is displayed.
  • an arrow image is displayed as information for guiding the moving direction.
  • the administrator of the multi-projection system 1 can adjust the position and tilt of the camera 16L to an appropriate state by moving the camera 16L in the right direction according to such a guide.
  • the image processing apparatus 21 determines that the position and tilt of the camera 16R are not in an appropriate state.
  • information for guiding the moving direction of the camera 16R as shown on the right side of FIG. 24 is displayed.
  • the administrator of the multi-projection system 1 can adjust the position and tilt of the camera 16R to an appropriate state by moving the camera 16R downward according to such a guide.
  • the moving direction of the cameras 16L and 16R is detected based on, for example, the position of the mark in the pattern image.
  • FIG. 25 is a diagram showing an example of guide information.
  • the guide information is displayed, it is possible to adjust the cameras 16L and 16R to appropriate positions and inclinations even when the administrator of the multi-projection system 1 is not familiar with the adjustment. Even a person who does not know the conditions that serve as the indices as described above can adjust the cameras 16L and 16R, so that the operability of the multi-projection system 1 can be improved.
  • the administrator of the multi-projection system 1 can intuitively adjust the position and tilt of the cameras 16L and 16. Become.
  • FIG. 26 is a block diagram illustrating a hardware configuration example of the image processing apparatus 21.
  • a CPU Central Processing Unit 101
  • a ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output expansion bus 105 is connected to the bus 104.
  • a GPU Graphics Processing Unit
  • UI User Interface
  • I / F 109 a communication I / F 112
  • I / F 113 a recording I / F 113.
  • the GPU 106 uses the VRAM 107 to render a projection image projected from the projectors 13L and 13R. For example, the GPU 106 generates a projection image to be projected from each of the projector 13L and the projector 13R, and outputs the projection image to the display I / F 108.
  • the display I / F 108 is an interface for outputting a projection image.
  • the display I / F 108 is configured as an interface of a predetermined standard such as HDMI (High-Definition Multimedia Interface).
  • the display I / F 108 outputs the projection image supplied from the GPU 106 to the projector 13L and the projector 13R for projection.
  • the display I / F 108 is connected to a display such as an LCD or an organic EL display.
  • the display I / F 108 displays an adjustment screen including a preview image on the display.
  • the UI I / F 109 is an operation detection interface.
  • the UI I / F 109 detects an operation performed using the keyboard 110 or the mouse 111 and outputs information representing the content of the operation to the CPU 101.
  • An operation using the keyboard 110 and the mouse 111 is performed by an administrator of the multi-projection system 1, for example.
  • the communication I / F 112 is an interface for communication with an external device.
  • the communication I / F 112 includes a network interface such as a wireless LAN or a wired LAN.
  • the communication I / F 112 communicates with an external device via a network such as the Internet, and transmits and receives various data.
  • the content played back in the multi-projection system 1 may be provided from a server via a network.
  • the communication I / F 112 appropriately transmits content audio data to the surround speaker 14 and the woofer 15, or receives image data captured by the cameras 16L and 16R and transmitted from the cameras 16L and 16R. .
  • the communication I / F 112 also receives sensor data transmitted from the sensor.
  • the recording I / F 113 is an interface for a recording medium. Recording media such as the HDD 114 and the removable media 115 are mounted on the recording I / F 113.
  • the recording I / F 113 reads data recorded on the mounted recording medium and writes data to the recording medium.
  • the HDD 114 records various data such as pattern image data and programs executed by the CPU 101.
  • FIG. 27 is a block diagram illustrating a functional configuration example of the image processing apparatus 21.
  • an information processing unit 131 is realized in the image processing apparatus 21.
  • the information processing unit 131 includes a pattern image generation unit 151, a projection control unit 152, a pattern detection unit 153, a screen edge detection unit 154, and a display control unit 155.
  • 27 is realized by executing a predetermined program by the CPU 101 in FIG.
  • the captured image captured by the camera 16 is supplied to the pattern detection unit 153 and the display control unit 155 at the time of global adjustment, and is supplied to the pattern detection unit 153, the screen edge detection unit 154, and the display control unit 155 at the time of detailed adjustment.
  • the captured image supplied to each unit includes a pattern image projected on the projection surface 11A.
  • the pattern image generation unit 151 generates a pattern image at the time of global adjustment. Generation of the pattern image by the pattern image generation unit 151 is also performed at the time of detailed adjustment. The pattern image generated by the pattern image generation unit 151 is supplied to the projection control unit 152.
  • the projection control unit 152 performs geometric correction on the pattern image generated by the pattern image generation unit 151 using, for example, default parameters, and generates a projection image for the projector 13L and a projection image for the projector 13R. Generate.
  • the parameter used for the geometric correction is information that associates each pixel of the pattern image with each pixel on the projection surface 11A.
  • the projection control unit 152 controls the display I / F 108 to output and project each projection image to the projector 13. The projection of the pattern image is also performed during detailed adjustment.
  • the pattern detection unit 153 analyzes the captured image at the time of global adjustment, and detects marks arranged at the lower left corner and the lower right corner of the pattern image.
  • the pattern detection unit 153 estimates the tilt of the camera 16 based on the position of each mark in the captured image and outputs information representing the estimated tilt to the display control unit 155.
  • the pattern detection unit 153 functions as an estimation unit that estimates the tilt of the camera 16 based on the position of each mark in the captured image.
  • the pattern detection unit 153 analyzes the captured image at the detailed timing, and detects marks arranged at the lower left corner and the lower right corner of the pattern image.
  • the pattern detection unit 153 outputs information indicating the position of each mark in the captured image to the screen edge detection unit 154.
  • the screen edge detection unit 154 detects an overlapped area by performing edge detection based on the luminance of each pixel constituting the captured image during detailed adjustment. Edge detection is performed, for example, using the position of the mark detected by the pattern detection unit 153 as a starting point.
  • the screen edge detection unit 154 detects the edge 11B of the dome screen 11 by performing edge detection based on the luminance of each pixel during the detailed adjustment. As described above, the region outside the edge portion 11B appears in the captured image as a dark region. For example, the position where the brightness decreases sharply is detected as the position of the edge 11B. When the overlapping area is detected, the edge 11B is detected from the boundary line of the overlapping area as a starting point.
  • the screen edge detection unit 154 outputs information indicating that to the display control unit 155 when the overlap region and the entire edge portion 11B are reflected in the captured image. Further, the screen edge detection unit 154 outputs information indicating the moving direction of the camera 16 to the display control unit 155 when either the superimposed region or the entire edge portion 11B is not captured in the captured image.
  • the display control unit 155 controls the display of the adjustment screen displayed on the display 161. At the time of global adjustment, the display control unit 155 rotates the captured image supplied from the camera 16 according to the inclination of the camera 16 estimated by the pattern detection unit 153, and displays the rotated captured image as a preview image on the adjustment screen. Display.
  • the display control unit 155 rotates the captured image supplied from the camera 16 at the time of detailed adjustment in the same manner as at the time of global adjustment, and displays the rotated captured image on the display 161 as a preview image.
  • the display control unit 155 is in a state where the position and tilt of the camera 16 are suitable when the screen edge detection unit 154 detects that the entire overlap area and the edge 11B are reflected in the captured image during detailed adjustment. Information indicating that it is on the adjustment screen. In addition, when the screen edge detection unit 154 detects that either the superimposition region or the entire edge portion 11B is not reflected in the captured image during the detailed adjustment, the display control unit 155 starts from the screen edge detection unit 154. Based on the supplied information, information for guiding the moving direction of the camera 16 is displayed on the adjustment screen.
  • step S1 the information processing unit 131 performs global adjustment processing.
  • the administrator of the multi-projection system 1 looks at the preview image displayed by performing the global adjustment process, and matches the tilt of the camera 16 with the tilt of the projector 13. Details of the global adjustment processing will be described later with reference to the flowchart of FIG.
  • step S2 the information processing unit 131 performs detailed adjustment processing.
  • the administrator of the multi-projection system 1 looks at the preview image displayed by performing the detailed adjustment process, and adjusts the position and tilt of the camera 16 so as to be in an appropriate state. Details of the detailed adjustment process will be described later with reference to the flowchart of FIG.
  • step S1 of FIG. 28 Next, the global adjustment process performed in step S1 of FIG. 28 will be described with reference to the flowchart of FIG.
  • step S11 the pattern image generation unit 151 generates a pattern image.
  • step S12 the projection control unit 152 generates a projection image for the projector 13L and a projection image for the projector 13R based on the pattern image generated by the pattern image generation unit 151, and projects from each of the projector 13L and the projector 13R.
  • step S13 the camera 16 photographs the projection surface 11A on which the pattern images are projected from the projector 13L and the projector 13R.
  • step S14 the pattern detection unit 153 analyzes the captured image to detect marks placed at the lower left corner and the lower right corner of the pattern image, and estimates the tilt of the camera 16.
  • step S15 the display control unit 155 rotates the captured image according to the tilt of the camera 16 estimated by the pattern detection unit 153, and displays the rotated captured image on the adjustment screen as a preview image.
  • the rotation of the captured image is appropriately performed as necessary.
  • step S1 in FIG. 28 After the preview image is displayed, the process returns to step S1 in FIG. 28, and the subsequent processing is performed.
  • step S2 of FIG. 28 will be described with reference to the flowchart of FIG.
  • step S21 the pattern image generation unit 151 generates a pattern image.
  • step S22 the projection control unit 152 generates a projection image for the projector 13L and a projection image for the projector 13R based on the pattern image generated by the pattern image generation unit 151, and projects from each of the projector 13L and the projector 13R.
  • step S23 the camera 16 photographs the projection surface 11A on which the pattern images are projected from the projector 13L and the projector 13R.
  • step S24 the pattern detection unit 153 detects marks arranged in the lower left corner and the lower right corner of the pattern image by analyzing the captured image.
  • step S25 the screen edge detection unit 154 detects the edge of the captured image, detects the overlapping area, and detects the edge 11B of the dome screen 11 which is the screen edge.
  • a process of estimating the tilt of the camera 16 based on the position of the mark and appropriately rotating the captured image according to the tilt of the camera 16 is performed.
  • the preview image continues to be displayed on the adjustment screen.
  • step S26 the screen edge detection unit 154 determines whether or not the overlapping region and the edge 11B of the dome screen 11 have been detected.
  • step S26 When it is determined in step S26 that both the overlapping region and the edge 11B of the dome screen 11 cannot be detected, the display control unit 155, based on the information supplied from the screen edge detection unit 154, in step S27. Information for guiding the moving direction of the camera 16 is displayed on the adjustment screen. Then, it returns to step S23 and the above process is repeated.
  • step S26 determines whether the overlapping region and the edge 11B of the dome screen 11 have been detected. If it is determined in step S26 that both the overlapping region and the edge 11B of the dome screen 11 have been detected, the process proceeds to step S28.
  • step S28 the display control unit 155 displays information indicating that the position and tilt of the camera 16 are in a suitable state on the adjustment screen. Thereafter, the process returns to step S2 in FIG. 28, and the subsequent processing is performed.
  • the calculation of such parameters is performed periodically every predetermined period. Further, the parameter is calculated at a predetermined timing such as when the position of the projector 13 is moved.
  • the administrator of the multi-projection system 1 can easily adjust the camera.
  • a pattern image using a mark of a predetermined color is used as a pattern image, but a pattern image using a predetermined pattern such as a circle mark, a square mark, a triangle mark, or a cross mark is used. Also good.
  • the above-described processing may be performed based on an image obtained by setting a marker on the projection surface 11A and photographing it.
  • the administrator manually adjusts the camera.
  • the position and tilt of the camera 16 are automatically adjusted so that a suitable position and a suitable tilt detected based on the pattern image are obtained. It may be adjusted.
  • a drive unit for adjusting the position and tilt of the camera 16L and a drive unit for adjusting the position and tilt of the camera 16R are provided.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed from a program recording medium into the computer of FIG.
  • the program executed by the CPU 101 is recorded in, for example, the removable medium 115 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and is installed in the HDD 114.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or may be processed in parallel or at a necessary timing such as when a call is made. It may be a program to be performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • This technology can also take the following composition.
  • (1) Estimating the tilt of the camera based on a photographed image taken by a camera installed in a state having a predetermined inclination, which captures a projection surface of a screen on which a pattern image, which is an image of a predetermined pattern, is projected from a projector
  • An estimator to An image processing apparatus comprising: a display control unit configured to display the photographed image rotated according to the tilt of the camera.
  • the said display control part rotates the said picked-up image so that the moving direction in real space when moving the said camera and the switching direction of the display range of the said picked-up image may correspond.
  • Image processing device (3) The image processing apparatus according to (1) or (2), wherein the screen is a dome-shaped screen.
  • the light of the mark illuminates a position on the projection surface, and the light at the upper left corner and the upper right corner illuminate a position outside the projection surface.
  • the image processing apparatus according to any one of (7).
  • a detection unit configured to detect an overlapping region of the pattern image projected on the projection plane from the two projectors and an edge portion of the screen based on the photographed images photographed by the two cameras;
  • the image processing apparatus according to any one of (6) to (8).
  • the display control unit displays information indicating that the position and inclination of the camera are suitable when the overlapping area and the edge portion are reflected in the captured images captured by the two cameras.
  • the image processing apparatus according to (9) or (10).
  • (12) The image processing device Estimating the tilt of the camera based on a photographed image taken by a camera installed in a state having a predetermined inclination, which captures a projection surface of a screen on which a pattern image, which is an image of a predetermined pattern, is projected from a projector And An image processing method for displaying the photographed image rotated according to the tilt of the camera.
  • a dome-shaped screen A projector which is installed in a state having a predetermined inclination and projects a pattern image which is an image of a predetermined pattern onto the screen;
  • a camera installed with the projector in a state having a predetermined inclination;
  • An estimation unit that estimates the tilt of the camera based on a captured image obtained by capturing the projection surface of the screen on which the pattern image is projected from the projector with the camera;
  • An image processing apparatus comprising: a display control unit configured to display the photographed image rotated according to the tilt of the camera.
  • 1 multi-projection system 11 dome screen, 11A projection surface, 13L, 13R projector, 14 surround speakers, 15 woofer, 16L, 16R camera, 21 image processing device, 131 information processing unit, 151 pattern image generation unit, 152 projection control unit , 153 pattern detection unit, 154 screen edge detection unit, 155 display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本技術は、カメラの位置と傾きの調整を容易に行うことができるようにする画像処理装置、画像処理方法、プログラム、および投影システムに関する。 本技術の一側面の画像処理装置は、所定のパターンの画像であるパターン画像がプロジェクタから投影されたスクリーンの投影面を撮影する、所定の傾きを有する状態で設置されたカメラにより撮影された撮影画像に基づいて、カメラの傾きを推定し、カメラの傾きに応じて回転させた撮影画像を表示させる。本技術は、複数のプロジェクタから映像を投影させるコンピュータに適用することができる。

Description

画像処理装置、画像処理方法、プログラム、および投影システム
　本技術は、画像処理装置、画像処理方法、プログラム、および投影システムに関し、特に、カメラの位置と傾きの調整を容易に行うことができるようにした画像処理装置、画像処理方法、プログラム、および投影システムに関する。
　プロジェクタを使ってスクリーンに画像を投影すると、スクリーンの形状やプロジェクタの向きによっては、画像が歪んで見えてしまう。
　代表的な歪みとして、スクリーンに対して仰角あるいは俯角を持ってプロジェクタが設置されていると、投影された画像が台形に歪むといったことがある。台形に歪んだ画像が正しく見えるようにするためには、キーストーン補正（台形補正）が必要になる。
特開２０１４－２３８６０１号公報
　複数のプロジェクタを使って画像を投影する場合、様々な設置の条件がある。
　例えば、複数のプロジェクタの投影光が重なる重畳領域の画像を合わせたり、重畳領域の明るさを周りの明るさに揃えたりする必要がある。重畳領域の画像を合わせるための補正はワーピング（幾何補正）と呼ばれ、明るさを均一にするための補正はブレンディング（光学補正）と呼ばれる。
　また、ドーム形状のスクリーンに画像を投影する場合、スクリーンが平面でないために、正しい画像を投影するためには幾何補正が必要となる。幾何補正のパラメータを用意する方法として、所定の位置に計測用のカメラを設置し、撮影して得られた画像を解析する方法がある。
　本技術はこのような状況に鑑みてなされたものであり、カメラの位置と傾きの調整を容易に行うことができるようにするものである。
　本技術の一側面の画像処理装置は、所定のパターンの画像であるパターン画像がプロジェクタから投影されたスクリーンの投影面を撮影する、所定の傾きを有する状態で設置されたカメラにより撮影された撮影画像に基づいて、前記カメラの傾きを推定する推定部と、前記カメラの傾きに応じて回転させた前記撮影画像を表示させる表示制御部とを備える。
　本技術の一側面においては、所定のパターンの画像であるパターン画像がプロジェクタから投影されたスクリーンの投影面を撮影する、所定の傾きを有する状態で設置されたカメラにより撮影された撮影画像に基づいて、前記カメラの傾きが推定され、前記カメラの傾きに応じて回転させた前記撮影画像が表示される。
　本技術によれば、カメラの位置と傾きの調整を容易に行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
マルチ投影システムの構成例を示す図である。 プロジェクタとカメラの位置関係を上方から見た例を示す図である。 視点位置の例を示す図である。 投影状態を示す図である。 プロジェクタとカメラの設置例を示す図である。 プロジェクタの傾きの例を示す図である。 プロジェクタとカメラの他の設置例を示す図である。 プロジェクタの傾きの他の例を示す図である。 カメラの撮影画角の例を示す図である。 プレビュー画像の例を示す図である。 カメラの撮影画角の他の例を示す図である。 プレビュー画像の他の例を示す図である。 カメラにより撮影された画像の回転の例を示す図である。 カメラにより撮影された画像の回転の他の例を示す図である。 プロジェクタの投影範囲の例を示す図である。 プロジェクタの投影範囲の例を示す図である。 パターン画像の例を示す図である。 撮影画像の例を示す図である。 プレビュー画像の例を示す図である。 パターン画像を投影した状態を示す正面図である。 パターン画像を投影した状態を示す他の正面図である。 プレビュー画像の例を示す図である。 プレビュー画像の例を示す図である。 ガイド情報の表示例を示す図である。 ガイド情報の他の表示例を示す図である。 画像処理装置のハードウェアの構成例を示すブロック図である。 画像処理装置の機能構成例を示すブロック図である。 画像処理装置の調整処理について説明するフローチャートである。 図２８のステップＳ１において行われる大域調整処理について説明するフローチャートである。 図２８のステップＳ２において行われる詳細調整処理について説明するフローチャートである。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．マルチ投影システムの構成
　２．プロジェクタとカメラの配置例
　３．カメラの画角の例
　４．投影画像の例
　５．大域調整
　６．詳細調整
　７．画像処理装置の構成
　８．画像処理装置の動作
　９．変形例
＜マルチ投影システムの構成＞
　図１は、本技術の一実施形態に係るマルチ投影システムの構成例を示す図である。
　図１のマルチ投影システム１は、直径２ｍ程度のドーム状（半球面状）の投影面１１Ａを有するドームスクリーン１１が設置台１２に取り付けられることによって構成される。ドームスクリーン１１は、略１ｍ程度の高さに、開口を斜め下方に向けて取り付けられる。
　図１に示すように、ドームスクリーン１１の前方には椅子が用意される。ユーザは、椅子に座った状態で、投影面１１Ａに投影されるコンテンツを視聴することになる。
　また、マルチ投影システム１には、プロジェクタ１３Ｌ，１３Ｒ、サラウンドスピーカ１４、ウーファー１５、カメラ１６Ｌ，１６Ｒ、および画像処理装置２１が設けられる。プロジェクタ１３Ｌ，１３Ｒ、サラウンドスピーカ１４、ウーファー１５、カメラ１６Ｌ，１６Ｒは、有線または無線の通信を介して画像処理装置２１に接続される。
　プロジェクタ１３Ｌ，１３Ｒは、ドームスクリーン１１の左右に、投影部をドームスクリーン１１に向けて取り付けられる。例えば、プロジェクタ１３Ｌ，１３Ｒは、金属製の部材によって設置台１２に固定される。
　カメラ１６Ｌ，１６Ｒも、ドームスクリーン１１の左右に、レンズをドームスクリーン１１に向けて取り付けられる。例えば、カメラ１６Ｌ，１６Ｒは、所定の部材を介して、位置や傾きを調整可能な状態でドームスクリーン１１の縁に取り付けられる。マルチ投影システム１の管理者は、カメラ１６Ｌ，１６Ｒの筐体を手で動かして撮影範囲を調整することが可能とされる。ドームスクリーン１１の縁に取り付けられるのではなく、カメラ１６Ｌ，１６Ｒが、所定の部材を用いて設置台１２に取り付けられるようにしてもよい。
　図２は、プロジェクタとカメラの位置関係を上方から見た例を示す図である。
　図２に示すように、プロジェクタ１３Ｌは、ドームスクリーン１１の略右半分の領域に画像を投影可能な位置に取り付けられる。プロジェクタ１３Ｒは、ドームスクリーン１１の略左半分の領域に画像を投影可能な位置に取り付けられる。プロジェクタ１３Ｌ，１３Ｒの投影部には、魚眼レンズなどの広角のレンズが設けられている。
　図２において、破線で示す範囲はプロジェクタ１３Ｌの投影範囲を表し、一点鎖線で示す範囲はプロジェクタ１３Ｒの投影範囲を表す。投影範囲の詳細については後述する。
　プロジェクタ１３Ｌ，１３Ｒは、それぞれに割り当てられた画像を投影することによって、コンテンツの画像を投影面１１Ａ全体に表示させ、ユーザに提示する。各プロジェクタの画像は、ユーザの視点において歪み無く１つの画像を鑑賞できるように、コンテンツの画像に基づいて生成される。コンテンツの再生時、プロジェクタ１３Ｌ，１３Ｒのそれぞれに割り当てられた画像が画像処理装置２１から供給されてくる。
　図２に示すように、カメラ１６Ｌは、プロジェクタ１３Ｌの投影部の近くであって、かつ、ドームスクリーン１１の縁部の近くに設けられる。また、カメラ１６Ｒは、プロジェクタ１３Ｒの投影部の近くであって、かつ、ドームスクリーン１１の縁部の近くに設けられる。
　カメラ１６Ｌは、プロジェクタ１３Ｌとプロジェクタ１３Ｒから画像が投影された投影面１１Ａを撮影することに用いられる。
　カメラ１６Ｌにより撮影された画像に基づいて、例えば画像処理装置２１においてプレビュー画像が生成され、画像処理装置２１に接続されたディスプレイに表示される。プレビュー画像は、カメラ１６Ｌの位置と傾きの調整時に表示される、投影面１１Ａの状態を表す画像である。
　カメラ１６Ｒは、プロジェクタ１３Ｌとプロジェクタ１３Ｒから画像が投影された投影面１１Ａを撮影することに用いられる。
　カメラ１６Ｒにより撮影された画像に基づいて、例えば画像処理装置２１においてプレビュー画像が生成され、画像処理装置２１に接続されたディスプレイに表示される。プレビュー画像は、カメラ１６Ｒの位置と傾きの調整時に表示される、投影面１１Ａの状態を表す画像である。
　カメラ１６Ｌ，１６Ｒの位置と傾きの調整は、プレビュー画像を見ながら、マルチ投影システム１の設置時などの所定のタイミングで行われる。
　位置と傾きの調整が行われた調整済みのカメラ１６Ｌにより撮影された画像は、例えば、プロジェクタ１３Ｌから投影する画像の幾何補正に用いるためのパラメータの生成に用いられる。また、調整済みのカメラ１６Ｒにより撮影された画像は、例えば、プロジェクタ１３Ｒから投影する画像の幾何補正に用いるためのパラメータの生成に用いられる。
　以下、適宜、プロジェクタ１３Ｌとプロジェクタ１３Ｒを区別する必要がない場合、まとめて、プロジェクタ１３という。また、カメラ１６Ｌとカメラ１６Ｒを区別する必要がない場合、まとめて、カメラ１６という。
　図１の説明に戻り、ドームスクリーン１１の下に設けられたサラウンドスピーカ１４とウーファー１５は、画像処理装置２１により再生されたコンテンツの音声を出力する。
　画像処理装置２１は、コンテンツを再生し、コンテンツの動画像を構成する各フレームに基づいて、各プロジェクタ１３から投影させる投影画像を生成する。画像処理装置２１は、投影画像をプロジェクタ１３に出力し、投影面１１Ａに向けて投影させる。
　また、画像処理装置２１は、コンテンツを再生することによって得られた音声データをサラウンドスピーカ１４とウーファー１５に出力し、コンテンツの音声を出力させる。
　画像処理装置２１は例えばPCである。１台のPCではなく、複数台のPCにより画像処理装置２１が構成されるようにしてもよい。また、画像処理装置２１が、図１に示すようにドームスクリーン１１の近くに設けられるのではなく、ドームスクリーン１１が設置された部屋と異なる部屋に設けられるようにしてもよい。
　なお、図１の例においては２台のプロジェクタが設けられているが、１台のプロジェクタが設けられるようにしてもよいし、３台以上のプロジェクタが設けられるようにしてもよい。マルチ投影システム１に設けられるプロジェクタの数は任意である。
　図３は、視点位置の例を示す図である。
　ドームスクリーン１１の前方に置かれた椅子に座ったユーザは、投影面１１Ａを球体表面としたときの球体の中心近傍の位置Ｐ１を視点位置として、破線矢印で示すように、若干見上げるような状態で、投影面１１Ａに投影された画像を見る。図３の破線矢印の先に示す、投影面１１Ａの最奥部（ドームの天頂）の位置が、投影面１１Ａの中心位置である。
　図４は、投影状態を示す図である。
　図４に示すように、位置Ｐ１を視点位置として見上げるような状態で投影画像を見ることにより、ユーザの視野は、投影面１１Ａに投影された画像によってほぼ覆われることになる。視野のほぼ全体を画像が覆うことになるため、ユーザは、あたかも画像に囲まれる印象を受け、コンテンツに対する臨場感や没入感を得ることができる。
　例えば、全天球画像からなる動画像のコンテンツが提供される。映画、テレビジョン番組、ゲームなどの他の動画像のコンテンツや、風景を撮影した写真などの静止画像のコンテンツが提供されるようにしてもよい。
＜プロジェクタとカメラの配置例＞
　このように、マルチ投影システム１においては、複数のプロジェクタを用い、かつ、それぞれの投影部のレンズとして魚眼レンズを用いることにより、解像感のある、広視野角の画像を投影することが可能とされている。プロジェクタ１３Ｌとプロジェクタ１３Ｒは、例えば、3840×2160画素などの4Kの画像を投影可能なプロジェクタである。
　図５は、プロジェクタ１３Ｌとカメラ１６Ｌの設置例を示す図である。
　図５の例においては、マルチ投影システム１を左側から見たときのドームスクリーン１１、プロジェクタ１３Ｌ、およびカメラ１６Ｌの位置関係が模式的に示されている。
　上述したように、ドームスクリーン１１は所定の角度だけ下向きで取り付けられるが、図５においては、説明の便宜上、水平方向を向いた状態で示されている。投影面１１Ａを球体表面としたときの球体の中心（位置Ｐ１）と投影面１１Ａの天頂を結ぶ軸ａは、水平方向の軸として示される。図７においても同様である。
　マルチ投影システム１の左側から見た場合、図５に示すように、プロジェクタ１３Ｌは、上面１３Ｌ－１がユーザの方を向き、背面１３Ｌ－２が見える（紙面方向を向く）状態になる。プロジェクタ１３Ｌは、略扁平箱状の筐体を有している。
　すなわち、図６に示すように、プロジェクタ１３Ｌは、軸ａの方向を基準とした場合、９０°縦向きで取り付けられることになる。プロジェクタ１３Ｌは、図６の左側に示すように上面１３Ｌ－１が上を向く状態にあるときに、通常の向き（上辺が上、下辺が下にある向き）の例えば16:9のアスペクト比の画像を投影可能なプロジェクタである。
　９０°縦向きで取り付けられることにより、プロジェクタ１３Ｌから投影する画像の水平方向は、図５の垂直方向に対応する。
　プロジェクタ１３Ｌの投影部は、破線の円で示すように、背面１３Ｌ－２の反対側の、筐体正面に設けられる。筐体の底面、左側面、右側面は、それぞれ、図５においてドームスクリーン１１の方向、下方向、上方向を向くことになる。
　マルチ投影システム１の左側から見た場合、カメラ１６Ｌも同様に、上面１６Ｌ－１がユーザの方を向き、背面１６Ｌ－２が見える状態になる。図５の例においては、カメラ１６Ｌの背面１６Ｌ－２の形状は、縦長の略角丸長方形状とされている。
　プロジェクタ１３Ｌと同様に上面がユーザの方を向くように取り付けられたカメラ１６Ｌにより撮影される画像の水平方向は、図５の垂直方向に対応する。
　図７は、プロジェクタ１３Ｒとカメラ１６Ｒの設置例を示す図である。
　図７の例においては、マルチ投影システム１を右側から見たときのドームスクリーン１１、プロジェクタ１３Ｒ、およびカメラ１６Ｒの位置関係が模式的に示されている。
　マルチ投影システム１の右側から見た場合、図７に示すように、プロジェクタ１３Ｒは、上面１３Ｒ－１がユーザの方を向き、背面１３Ｒ－２が見える状態になる。プロジェクタ１３Ｒも、略扁平箱状の筐体を有している。
　すなわち、図８に示すように、プロジェクタ１３Ｒは、軸ａの方向を基準とした場合、９０°縦向きで取り付けられることになる。プロジェクタ１３Ｒは、図８の左側に示すように上面１３Ｒ－１が上を向く状態にあるときに、通常の向きの例えば16:9のアスペクト比の画像を投影可能なプロジェクタである。
　９０°縦向きで取り付けられることにより、プロジェクタ１３Ｒから投影する画像の水平方向は、図７の垂直方向に対応する。
　プロジェクタ１３Ｒの投影部は、破線の円で示すように、背面１３Ｌ－２の反対側の、筐体正面に設けられる。筐体の底面、左側面、右側面は、それぞれ、図７においてドームスクリーン１１の方向、上方向、下方向を向くことになる。
　マルチ投影システム１の右側から見た場合、カメラ１６Ｒも同様に、上面１６Ｒ－１がユーザの方を向き、背面１６Ｒ－２が見える状態になる。図７の例においては、カメラ１６Ｒの背面１６Ｌ－２の形状は、縦長の略角丸長方形状とされている。
　プロジェクタ１３Ｒと同様に上面がユーザの方を向くように取り付けられたカメラ１６Ｒにより撮影される画像の水平方向は、図７の垂直方向に対応する。
　このように、プロジェクタ１３Ｌとプロジェクタ１３Ｒは、９０°回転させた縦向きの状態で取り付けられる。
　一般的に、プロジェクタやTVなどの映像表示機器の画角（解像度）は、垂直方向の解像度よりも、水平方向の解像度の方が高い。解像度の高い方向、すなわち水平方向が、ドームスクリーン１１の垂直方向に対応するように２台のプロジェクタをドームスクリーン１１の左右に設置することにより、高解像度の画像を投影面１１Ａ全体に投影することが可能となる。
　また、カメラ１６Ｌとカメラ１６Ｒは、コンテンツの視聴時にユーザの邪魔にならない場所であって、常時設置が可能な場所に取り付けられる。
　上述したように、カメラ１６Ｌとカメラ１６Ｒは、投影面１１Ａを撮影し、投影面１１Ａに投影されている画像の状況を計測するために用いられる。計測精度の観点からは、カメラ１６Ｌとカメラ１６Ｒは、可能な限り、ドームスクリーン１１の近くに設置した方が好ましい。カメラ１６Ｌとカメラ１６Ｒの位置は、そのような条件を満たす場所ともいえる。
　図５、図６を参照して説明したように、例えば背面側から見た場合、プロジェクタ１３Ｌが右方向（時計回り方向）に９０°回転させた縦向きの状態で取り付けられているため、カメラ１６Ｌも同様に、右方向に９０°回転させた状態で取り付けられる。
　また、図７、図８を参照して説明したように、例えば背面側から見た場合、プロジェクタ１３Ｒが左方向（反時計回り方向）に９０°回転させた縦向きの状態で取り付けられているため、カメラ１６Ｒも同様に、左方向に９０°回転させた状態で取り付けられる。
　カメラ１６Ｌ，１６Ｒの画角も、垂直方向の解像度よりも、水平方向の解像度の方が高い。カメラ１６Ｌの傾きをプロジェクタ１３Ｌの傾きに合わせ、カメラ１６Ｒの傾きをプロジェクタ１３Ｒの傾きに合わせることにより、プロジェクタ１３Ｌ，１３Ｒから投影した画像を含む、広い範囲を画角に収めて撮影することが可能となる。
＜カメラの画角の例＞
　図９は、カメラ１６Ｌの撮影画角の例を示す図である。
　ここでは、ある風景を撮影した場合の撮影画角について説明するが、実際には、投影面１１を含む範囲がカメラ１６Ｌにより撮影される。図１１においても同様である。
　図９の上段に示すように、ある風景を前にしてカメラ１６Ｌが通常の向きで設置されている場合（上面１６Ｌ－１が上方を向き、正面が被写体側を向いている場合）、被写体全体のうち、枠Ｆ１で囲んで示す、横長長方形の範囲が撮影される。
　図９において、背面１６Ｌ－２の、上面１６Ｌ－１寄りの位置に示す破線の小円は、カメラ１６Ｌの正面に設けられるレンズを表す。
　一方、図９の下段に示すように、カメラ１６が、右方向に９０°回転させた横向きの状態で設置されている場合、被写体全体のうち、枠Ｆ１’で囲んで示す、縦長長方形の範囲が撮影される。この場合、調整画面には、図１０に示すような、図９の右方向が上方向に写り、図９の左方向が下方向に写るような向きのプレビュー画像が表示される。調整画面は、カメラ１６の位置と傾きの調整に用いられる画面である。
　カメラ１６Ｌの位置と傾きの調整はプレビュー画像を見ながら行われるが、仮に、図１０に示す向きのプレビュー画像が表示されるとした場合、プレビュー画像の方向と、実空間上の被写体の方向が異なることになる。
　図１１は、カメラ１６Ｒの撮影画角の例を示す図である。
　図１１の上段に示すように、ある風景を前にしてカメラ１６Ｒが通常の向きで設置されている場合（上面１６Ｒ－１が上方を向き、正面が被写体側を向いている場合）、被写体全体のうち、枠Ｆ１で囲んで示す、横長長方形の範囲が撮影される。
　図１１において、背面１６Ｒ－２の、上面１６Ｒ－１寄りの位置に示す破線の小円は、カメラ１６Ｒの正面に設けられるレンズを表す。
　一方、図１１の下段に示すように、カメラ１６が、左方向に９０°回転させた横向きの状態で設置されている場合、被写体全体のうち、枠Ｆ１’で囲んで示す、縦長長方形の範囲が撮影される。この場合、調整画面には、図１２に示すような、図１１の左方向が上方向に写り、図１１の右方向が下方向に写るような向きのプレビュー画像が表示される。
　カメラ１６Ｒの位置と傾きの調整はプレビュー画像を見ながら行われるが、仮に、図１２に示す向きのプレビュー画像が表示されるとした場合、プレビュー画像の方向と、実空間上の被写体の方向が異なることになる。
　画像処理装置２１においては、プレビュー画像の方向と実空間上の方向を一致させるため、撮影画像を、カメラ１６Ｌ，１６Ｒの傾きに応じて回転させる処理が行われる。
　図１３は、カメラ１６Ｌにより撮影された画像の回転の例を示す図である。
　図１３の左側に示す画像は、図１０を参照して説明したように横向きの状態でカメラ１６Ｌが設置されている場合に撮影される画像である。このような画像がカメラ１６Ｌにより撮影された場合、画像処理装置２１においては、白抜き矢印の先に示すように右方向に９０°回転させる処理が施され、回転後の画像がプレビュー画像として表示される。カメラ１６Ｌの傾きは、例えば、撮影された画像に基づいて推定される。
　図１３の右側のプレビュー画像の表示範囲は、図９の下段に示すように横向きで設置されているカメラ１６Ｌを実空間上で右方向に動かしたときには右方向の範囲に切り替わり、左方向に動かしたときには左方向の範囲に切り替わる。カメラ１６Ｌが横向きに設置されている場合であっても、カメラ１６Ｌの実空間における移動方向と表示範囲の切り替わりの方向が一致することになり、プレビュー画像を見ながら、カメラ１６Ｌの位置と傾きを直感的に調整することができる。
　図１４は、カメラ１６Ｒにより撮影された画像の回転の例を示す図である。
　図１４の左側に示す画像は、図１２を参照して説明したように横向きの状態でカメラ１６Ｒが設置されている場合に撮影される画像である。このような画像がカメラ１６Ｒにより撮影された場合、画像処理装置２１においては、白抜き矢印の先に示すように左方向に９０°回転させる処理が施され、回転後の画像がプレビュー画像として表示される。カメラ１６Ｒの傾きは、例えば、撮影された画像に基づいて推定される。
　図１４の右側のプレビュー画像の表示範囲は、図１１の下段に示すように横向きで設置されているカメラ１６Ｒを実空間上で右方向に動かしたときには右方向の範囲に切り替わり、左方向に動かしたときには左方向の範囲に切り替わる。カメラ１６Ｒが横向きに設置されている場合であっても、カメラ１６Ｒの実空間における移動方向と表示範囲の切り替わりの方向が一致することになり、プレビュー画像を見ながら、カメラ１６Ｒの位置と傾きを直感的に調整することができる。
　このように、カメラ１６Ｌ，１６Ｒの調整時、プレビュー画像として、カメラ１６Ｌ，１６Ｒの移動方向と表示範囲の切り替わりの方向が一致する画像が表示される。
　横向きに設置された状態で撮影された画像がそのままプレビュー画像として表示されるとした場合、カメラ１６Ｌ，１６Ｒの移動方向とプレビュー画像の表示範囲の切り替わりの方向が一致しないため、調整に手間がかかってしまうが、そのようなことを防ぐことが可能となる。
　以下、カメラ１６の向きをプロジェクタ１３の向きに合わせるマルチ投影システム１の管理者の調整を、大域調整という。カメラ１６Ｌ，１６Ｒの傾きに応じて画像を回転させ、プレビュー画像として表示させる画像処理装置２１の処理を、大域調整処理という。
　カメラ１６Ｌ，１６Ｒの調整には、大域調整と、後述する詳細調整がある。
＜投影画像の例＞
　図１５は、プロジェクタ１３の投影範囲の例を示す図である。
　図１５に示す円は、投影面１１Ａを正面から見た状態を示している。図１５に示す表示は、柄や模様がなく、全体が一定の輝度の画像をプロジェクタ１３Ｌとプロジェクタ１３Ｒのそれぞれから投影することによって実現される。マルチ投影システム１が暗い環境にあることから、投影面１１Ａの端に相当する縁部１１Ｂの外側は黒色で示されている。
　プロジェクタ１３Ｌの投影範囲は、図１６のＡにおいて斜線を付して示す範囲となる。破線で示すように、プロジェクタ１３Ｌから投影される画像の一部は、ドームスクリーン１１の縁部１１Ｂ上の、位置ｐ１と位置ｐ２を結ぶ円弧の外側に投影される。
　プロジェクタ１３Ｌから投影される画像のうち、投影面１１Ａの外側に投影されることになる領域は、黒色の領域とされる（投影面１１Ａの外側に黒色の光が投射される）。
　一方、プロジェクタ１３Ｒの投影範囲は、図１６のＢにおいて斜線を付して示す範囲となる。破線で示すように、プロジェクタ１３Ｒから投影される画像の一部は、ドームスクリーン１１の縁部１１Ｂ上の、位置ｐ１１と位置ｐ１２を結ぶ円弧の外側に投影される。
　プロジェクタ１３Ｒから投影される画像のうち、投影面１１Ａの外側に投影されることになる領域も、黒色の領域とされる。
　このような投影面１１Ａ上の領域に対して、プロジェクタ１３Ｌとプロジェクタ１３Ｒにより画像がそれぞれ投影される。図１６のＡの斜線を付して示す範囲と図１６のＢの斜線を付して示す範囲が重畳する範囲が、プロジェクタ１３Ｌの画像とプロジェクタ１３Ｒの画像が重畳する重畳領域となる。
　重畳領域の画像がぼけないようにするために（解像度が低下しないようにするために）、プロジェクタ１３Ｌの画像とプロジェクタ１３Ｒの画像を合わせる処理が、幾何補正となる。
　また、図１５の中央付近に示すように、重畳領域の輝度は、周りの輝度より高くなる。重畳領域の輝度を補正する処理が、光学補正となる。
＜大域調整＞
　カメラ１６の向きをプロジェクタ１３の向きに合わせるための調整である大域調整に用いられるプレビュー画像の表示の方法には例えば以下の方法がある。
　（１）プレビュー画像をユーザが手動で９０°ずつ回転させる方法
　（２）カメラに内蔵されているIMUなどのセンサにより検出された傾きに応じてプレビュー画像を回転させる方法
　（３）プロジェクタからパターン画像を投影し、それをカメラで撮影することによって得られた撮影画像に基づいて回転する方法
　上記（３）のパターン画像を用いた大域調整について説明する。
　図１７は、パターン画像の例を示す図である。
　図１７の左側に示す画像は、大域調整時に、プロジェクタ１３Ｌから投影させるパターン画像である。プロジェクタ１３Ｌから投影させるパターン画像をパターン画像Ｌという。パターン画像Ｌの左上角、右上角、右下角、左下角を、それぞれ、適宜、点Ａ、点Ｂ、点Ｃ、点Ｄとして表す。
　パターン画像Ｌは、左下隅と右下隅を除く部分を一定の輝度の灰色で表示する画像である。パターン画像Ｌの左下隅には黄色の画素からなるマークＭYが配置され、右下隅には青色の画素からなるマークＭBが配置される。マークＭYとマークＭBは、所定の数の画素を用いて構成される。
　左下隅にマークＭYを配置し、右下隅にマークＭBを配置して構成されるパターンを表す画像がパターン画像Ｌとなる。パターン画像Ｌに対して幾何補正（例えばデフォルトのパラメータを用いた幾何補正）が施され、プロジェクタ１３Ｌから投影される。
　一方、図１７の右側に示す画像は、大域調整時に、プロジェクタ１３Ｒから投影させるパターン画像である。プロジェクタ１３Ｒから投影させるパターン画像をパターン画像Ｒという。パターン画像Ｒの左上角、右上角、右下角、左下角を、それぞれ、適宜、点ＡＡ、点ＢＢ、点ＣＣ、点ＤＤとして表す。
　パターン画像Ｒは、左下隅と右下隅を除く部分を一定の輝度の灰色で表示する画像である。パターン画像Ｒの左下隅には緑色の画素からなるマークＭGが配置され、右下隅には赤色の画素からなるマークＭRが配置される。マークＭGとマークＭRは、所定の数の画素を用いて構成される。
　左下隅にマークＭGを配置し、右下隅にマークＭRを配置して構成されるパターンを表す画像がパターン画像Ｒとなる。パターン画像Ｒに対して幾何補正が施され、プロジェクタ１３Ｒから投影される。
　図１８は、撮影画像の例を示す図である。
　図１８の左側に示す画像は、パターン画像Ｌをプロジェクタ１３Ｌから投影させるとともに、パターン画像Ｒをプロジェクタ１３Ｒから投影させた状態をカメラ１６Ｌにより撮影して得られた撮影画像である。パターン画像Ｌとパターン画像Ｒをカメラ１６Ｌにより撮影して得られた撮影画像を撮影画像Ｌという。
　撮影画像Ｌには、投影面１１Ａに投影されたパターン画像Ｌとパターン画像Ｒが歪んだ状態で写っている。周りより輝度が高い状態で写っている領域Ａ１が重畳領域である。
　撮影画像Ｌの下方に緩やかな曲線として写っている境界線Ｌ１１が、パターン画像Ｌの点Ｃと点Ｄを結ぶ下辺に相当する。撮影画像Ｌの左側に緩やかな曲線として写っている境界線Ｌ１２が、パターン画像Ｌの点Ａと点Ｄを結ぶ左辺の一部に相当し、撮影画像Ｌの右側に緩やかな曲線として写っている境界線Ｌ１３が、パターン画像Ｌの点Ｂと点Ｃを結ぶ右辺の一部に相当する。
　境界線Ｌ１１と境界線Ｌ１２の接合点にはマークＭYが写っている。また、境界線Ｌ１１と境界線Ｌ１３の接合点にはマークＭBが写っている。
　撮影画像Ｌの中央近傍に写っている円弧状の境界線Ｌ２１が、パターン画像Ｒの点ＣＣと点ＤＤを結ぶ下辺に相当する。撮影画像Ｌの左上に緩やかな曲線として写っている境界線Ｌ２２が、パターン画像Ｒの点ＢＢと点ＣＣを結ぶ右辺の一部に相当し、撮影画像Ｌの右上に写っている放物線状の境界線Ｌ２３が、パターン画像Ｒの点ＡＡと点ＤＤを結ぶ左辺の一部に相当する。
　境界線Ｌ２１と境界線Ｌ２２の接合点にはマークＭRが写っている。また、境界線Ｌ２１と境界線Ｌ２３の接合点にはマークＭGが写っている。
　一方、図１８の右側に示す画像は、パターン画像Ｌをプロジェクタ１３Ｌから投影させるとともに、パターン画像Ｒをプロジェクタ１３Ｒから投影させた状態をカメラ１６Ｒにより撮影して得られた撮影画像である。パターン画像Ｌとパターン画像Ｒをカメラ１６Ｒにより撮影して得られた撮影画像を撮影画像Ｒという。
　撮影画像Ｒには、投影面１１Ａに投影されたパターン画像Ｌとパターン画像Ｒが歪んだ状態で写っている。周りより輝度が高い状態で写っている領域Ａ２が重畳領域である。
　撮影画像Ｒの下方に写っている略直線状の境界線Ｌ３１が、パターン画像Ｒの点ＣＣと点ＤＤを結ぶ下辺に相当する。撮影画像Ｒの左側に緩やかな曲線として写っている境界線Ｌ３２が、パターン画像Ｒの点ＡＡと点ＤＤを結ぶ左辺の一部に相当し、撮影画像Ｒの右側に緩やかな曲線として写っている境界線Ｌ３３が、パターン画像Ｒの点ＢＢと点ＣＣを結ぶ右辺の一部に相当する。
　境界線Ｌ３１と境界線Ｌ３２の接合点にはマークＭGが写っている。また、境界線Ｌ３１と境界線Ｌ３３の接合点にはマークＭRが写っている。
　撮影画像Ｒの中央近傍に写っている円弧状の境界線Ｌ４１が、パターン画像Ｌの点Ｃと点Ｄを結ぶ下辺に相当する。撮影画像Ｒの左上に写っている放物線状の境界線Ｌ４２が、パターン画像Ｌの点Ｂと点Ｃを結ぶ右辺の一部に相当し、撮影画像Ｒの右上に緩やかな曲線として写っている境界線Ｌ４３が、パターン画像Ｌの点Ａと点Ｄを結ぶ左辺の一部に相当する。
　境界線Ｌ４１と境界線Ｌ４２の接合点にはマークＭBが写っている。また、境界線Ｌ４１と境界線Ｌ４３の接合点にはマークＭYが写っている。
　画像処理装置２１においては、撮影画像Ｌを解析することによってマークＭY，ＭB，ＭG，ＭRが検出される。撮影画像Ｌにおける、マークＭY，ＭB，ＭG，ＭRのそれぞれの位置に基づいてカメラ１６Ｌの傾きが推定され、推定された傾きに応じて回転させた撮影画像Ｌが、プレビュー画像として表示される。
　また、撮影画像Ｒを解析することによってマークＭG，ＭR，ＭY，ＭBが検出される。撮影画像Ｒにおける、マークＭG，ＭR，ＭY，ＭBのそれぞれの位置に基づいてカメラ１６Ｒの傾きが推定され、推定された傾きに応じて回転させた撮影画像Ｒが、プレビュー画像として表示される。
　図１９は、プレビュー画像の例を示す図である。
　図１９の左側に示すように、図１８の撮影画像Ｌを右方向に９０°回転させた画像が、撮影画像Ｌのプレビュー画像として表示される。
　また、図１９の右側に示すように、図１８の撮影画像Ｒを左方向に９０°回転させた画像が、撮影画像Ｒのプレビュー画像として表示される。
　それぞれのプレビュー画像が、画像処理装置２１に接続されたディスプレイに表示された調整画面の所定の位置に表示される。
　マルチ投影システム１の管理者は、図１９に示すプレビュー画像を見ながら、カメラ１６の向きをプロジェクタ１３の向きに合わせることになる。管理者は、例えば、４つのマークが図１９に示す配置でそれぞれのプレビュー画像に写っていることにより、カメラ１６の向きがプロジェクタ１３の向きに合っていると判断することができる。
　図２０は、パターン画像を投影した状態を示す正面図である。
　パターン画像Ｌをプロジェクタ１３Ｌから投影させるとともに、パターン画像Ｒをプロジェクタ１３Ｒから投影させた投影面１１Ａの状態を、投影面１１Ａの正面から撮影した場合、図２０の左側に示すような画像が得られる。図２０の垂直方向がドームスクリーン１１の垂直方向に対応し、図２０の水平方向がドームスクリーン１１の水平方向に対応する。
　例えば、投影面１１Ａの中央より左側に写る円弧状の境界線Ｌ６１が、図１８の撮影画像Ｌ上に写る境界線Ｌ１１と、撮影画像Ｒ上に写る境界線Ｌ４１に相当する。また、中央より右側に写る円弧状の境界線Ｌ６２が、図１８の撮影画像Ｌ上に写る境界線Ｌ２１と、撮影画像Ｒ上に写る境界線Ｌ３１に相当する。
　枠Ｆ１１の範囲を拡大して示すと図２０の右側に示すようになる。マークＭYは左上に写り、マークＭBは左下に写る。マークＭGは右下に写り、マークＭRは右上に写る。
　なお、パターン画像Ｌの左上角と右上角の近傍と、パターン画像Ｒの左上角と右上角の近傍は、図１６を参照して説明したように、投影面１１Ａの外側に投影される。パターン画像の光のうち、各マークの光は、投影面１１Ａ上の所定の位置を照射し、左上角と右上角の光は、投影面１１Ａ外の位置を照射することになる。
　図２１は、パターン画像を投影した状態を示す他の正面図である。
　例えば、プロジェクタ１３Ｌ，１３Ｒの上面と底面を反対に取り付けた状態でパターン画像の投影が行われた場合、図２１に示すように、パターン画像に配置されているマークは投影面１１Ａ上に投影されない（投影面１１Ａの外側に投影される）。
　カメラ１６Ｌとカメラ１６Ｒにより撮影された画像にマークが写っていないことが検出された場合、そのことは、プロジェクタ１３Ｌ，１３Ｒの上面と底面が反対に取り付けられていることを表す。
　カメラ１６により撮影された画像にマークが写っていない場合、プロジェクタ１３の上面と底面が反対に取り付けられていることを表す情報が表示され、管理者に通知されるようにしてもよい。
　このような大域調整により、両者の上面がユーザの方を向くように、プロジェクタ１３の向きに合わせてカメラ１６の向きが調整される。
＜詳細調整＞
　重畳領域の画像がぼけないようにするためには、プロジェクタ１３Ｌの画像とプロジェクタ１３Ｒの画像を合わせる幾何補正が必要となる。
　幾何補正を精度よく行うためには、カメラ１６Ｌ，１６の位置と傾きが、重畳領域全体を撮影できる位置と傾きに調整されている必要がある。
　また、縁部１１Ｂを検出し、ドームスクリーン１１外に漏れる光（投影面１１Ａの外側に投射される光）を抑えるためには、カメラ１６Ｌ，１６の位置と傾きが、ドームスクリーン１１の縁部１１Ｂ全体を撮影できる位置と傾きに調整されている必要がある。
　上述したように、画像処理装置２１においては、プロジェクタ１３から投影する画像のうち、投影面１１Ａの外側に投影される領域については、黒色の領域として設定される。縁部１１Ｂの全体を正しく検出し、投影面１１Ａの外側に投影される領域を正しく設定することにより、ドームスクリーン１１外に漏れる光を抑えることが可能になる。
　図２２は、プレビュー画像の例を示す図である。
　図２２の例においては、プレビュー画像が模式的に示されている。図２２の左側に示すように、斜線を付して示す重畳領域Ａ１１と、太線Ｌ１０１で示す、プロジェクタ１３Ｌの投影範囲に含まれる縁部１１Ｂがカメラ１６Ｌのプレビュー画像に写っていれば、カメラ１６Ｌが適切な位置と傾きに調整されているといえる。太線Ｌ１０１で示す円弧は、図１６のＡを参照して説明した、位置ｐ１と位置ｐ２を結ぶ円弧に相当する。
　また、図２２の右側に示すように、斜線を付して示す重畳領域Ａ１２と、太線Ｌ１０２で示す、プロジェクタ１３Ｒの投影範囲に含まれる縁部１１Ｂがカメラ１６Ｒのプレビュー画像に写っていれば、カメラ１６Ｒが適切な位置と傾きに調整されているといえる。太線Ｌ１０２で示す円弧は、図１６のＢを参照して説明した、位置ｐ１１と位置ｐ１２を結ぶ円弧に相当する。
　図１６のＡの位置ｐ１と位置ｐ２を結ぶ円弧に相当する縁部１１Ｂがカメラ１６Ｌのプレビュー画像に写り、図１６のＢの位置ｐ１１と位置ｐ１２を結ぶ円弧に相当する縁部１１Ｂがカメラ１６Ｒのプレビュー画像に写っていれば、縁部１１Ｂ全体を撮影できていることになる。
　重畳領域が写っているか否かと、ドームスクリーン１１の縁部１１Ｂ全体が写っているか否かが、カメラ１６Ｌ，１６Ｒが適切な位置と傾きに調整されているか否かを判定するための指標となる。
　このように、プレビュー画像を見ながら、カメラ１６Ｌ，１６Ｒの位置と傾きをマルチ投影システム１の管理者が調整することを、詳細調整という。カメラ１６Ｌ，１６Ｒにより撮影された画像を解析し、適切な位置と傾きに調整されているか否かを判定する画像処理装置２１の処理を、詳細調整処理という。
　適切な位置と傾きに調整されていない場合、例えば、カメラ１６Ｌ，１６Ｒの移動方向を案内する情報がプレビュー画像に重ねて表示される。マルチ投影システム１の管理者は、表示される情報に従って動かすことで、カメラ１６Ｌ，１６Ｒのそれぞれの位置と傾きを調整することができる。
　図２３は、プレビュー画像の例を示す図である。
　図２３の左側に示すカメラ１６Ｌのプレビュー画像においては、縁部１１Ｂが切れた状態で写っている。図２３の左側に示すプレビュー画像が表示されている場合、画像処理装置２１においては、カメラ１６Ｌの位置と傾きが、適した状態になっていないと判定される。
　この場合、図２４の左側に示すような、カメラ１６Ｌの移動方向をガイドするための情報が表示される。図２４の例においては、矢印の画像が、移動方向をガイドするための情報として表示されている。
　マルチ投影システム１の管理者は、このようなガイドに従ってカメラ１６Ｌを右方向に動かすことにより、カメラ１６Ｌの位置と傾きを適した状態に調整することができる。
　また、図２３の右側に示すカメラ１６Ｒのプレビュー画像においては、重畳領域が切れた状態で写っている。図２３の右側に示すプレビュー画像が表示されている場合、画像処理装置２１においては、カメラ１６Ｒの位置と傾きが、適した状態になっていないと判定される。
　この場合、図２４の右側に示すような、カメラ１６Ｒの移動方向をガイドするための情報が表示される。マルチ投影システム１の管理者は、このようなガイドに従ってカメラ１６Ｒを下方向に動かすことにより、カメラ１６Ｒの位置と傾きを適した状態に調整することができる。
　カメラ１６Ｌ，１６Ｒの移動方向は、例えば、パターン画像のマークの位置に基づいて検出される。
　図２５は、ガイド情報の例を示す図である。
　カメラ１６Ｌ，１６Ｒが適切な位置と傾きに調整されたことが判定された場合、図２５に示すように、カメラ１６Ｌ，１６Ｒの位置と傾きが適切であることを通知するための情報が表示される。図２５の例においては、カメラ１６Ｌ，１６Ｒの位置と傾きが適切であることを通知するための情報として、「ＯＫ」の文字がプレビュー画像の左上に表示されている。
　ガイド情報が表示されるため、マルチ投影システム１の管理者が調整に慣れていない場合であっても、カメラ１６Ｌ，１６Ｒを適切な位置と傾きに調整することが可能となる。上述したような指標となる条件を知らない人であってもカメラ１６Ｌ，１６Ｒを調整することが可能となるため、マルチ投影システム１の運用性を向上させることが可能となる。
　カメラ１６の移動方向と、プレビュー画像の表示範囲の切り替えの方向が一致しているため、マルチ投影システム１の管理者は、カメラ１６Ｌ，１６の位置と傾きを直感的に調整することが可能となる。
＜画像処理装置の構成＞
　図２６は、画像処理装置２１のハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力拡張バス１０５が接続されている。入出力拡張バス１０５には、GPU(Graphics Processing Unit)１０６、UI(User Interface)用I/F１０９、通信用I/F１１２、および記録用I/F１１３が接続される。
　GPU１０６は、プロジェクタ１３Ｌ，１３Ｒから投影させる投影画像のレンダリングをVRAM１０７を用いて行う。例えば、GPU１０６は、プロジェクタ１３Ｌとプロジェクタ１３Ｒのそれぞれから投影させる投影画像を生成し、表示用I/F１０８に出力する。
　表示用I/F１０８は、投影画像の出力用のインタフェースである。表示用I/F１０８は、例えば、HDMI（登録商標）(High-Definition Multimedia Interface)などの所定の規格のインタフェースとして構成される。表示用I/F１０８は、GPU１０６から供給された投影画像をプロジェクタ１３Ｌとプロジェクタ１３Ｒに出力し、投影させる。
　表示用I/F１０８には、LCD、有機ELディスプレイなどのディスプレイも接続される。表示用I/F１０８は、プレビュー画像を含む調整画面をディスプレイに表示させる。
　UI用I/F１０９は、操作の検出用のインタフェースである。UI用I/F１０９は、キーボード１１０やマウス１１１を用いて行われる操作を検出し、操作の内容を表す情報をCPU１０１に出力する。キーボード１１０やマウス１１１を用いた操作は、例えばマルチ投影システム１の管理者により行われる。
　通信用I/F１１２は、外部の装置との通信用のインタフェースである。通信用I/F１１２は、無線LAN、有線LANなどのネットワークインタフェースにより構成される。通信用I/F１１２は、インターネットなどのネットワークを介して外部の装置と通信を行い、各種のデータの送受信を行う。マルチ投影システム１において再生されるコンテンツが、サーバからネットワークを介して提供されるようにしてもよい。
　通信用I/F１１２は、適宜、サラウンドスピーカ１４とウーファー１５にコンテンツの音声のデータを送信したり、カメラ１６Ｌ，１６Ｒにより撮影され、カメラ１６Ｌ，１６Ｒから送信されてきた画像データを受信したりする。ユーザの動きを検出するセンサなどが椅子に設けられている場合、通信用I/F１１２においては、センサから送信されてきたセンサデータも受信される。
　記録用I/F１１３は、記録媒体用のインタフェースである。記録用I/F１１３には、HDD１１４、リムーバブルメディア１１５などの記録媒体が装着される。記録用I/F１１３は、装着された記録媒体に記録されているデータの読み出し、記録媒体に対するデータの書き込みを行う。HDD１１４には、コンテンツの他に、パターン画像のデータ、CPU１０１が実行するプログラムなどの各種のデータが記録される。
　図２７は、画像処理装置２１の機能構成例を示すブロック図である。
　図２７に示すように、画像処理装置２１においては情報処理部１３１が実現される。情報処理部１３１は、パターン画像生成部１５１、投影制御部１５２、パターン検出部１５３、スクリーン端検出部１５４、および表示制御部１５５から構成される。図２７に示す機能部のうちの少なくとも一部は、図２６のCPU１０１により所定のプログラムが実行されることによって実現される。
　カメラ１６により撮影された撮影画像は、大域調整時、パターン検出部１５３と表示制御部１５５に供給され、詳細調整時、パターン検出部１５３、スクリーン端検出部１５４、および表示制御部１５５に供給される。各部に供給される撮影画像には、投影面１１Ａに投影されたパターン画像が写っている。
　パターン画像生成部１５１は、大域調整時、パターン画像を生成する。パターン画像生成部１５１によるパターン画像の生成は、詳細調整時にも行われる。パターン画像生成部１５１により生成されたパターン画像は投影制御部１５２に供給される。
　投影制御部１５２は、大域調整時、パターン画像生成部１５１により生成されたパターン画像に対して例えばデフォルトのパラメータを用いて幾何補正を行い、プロジェクタ１３Ｌ用の投影画像とプロジェクタ１３Ｒ用の投影画像を生成する。幾何補正に用いられるパラメータは、パターン画像の各画素と、投影面１１Ａ上の各画素とを対応付ける情報である。
　投影制御部１５２は、表示用I/F１０８を制御することによってそれぞれの投影画像をプロジェクタ１３に出力し、投影させる。パターン画像の投影は詳細調整時にも行われる。
　パターン検出部１５３は、大域調整時、撮影画像を解析し、パターン画像の左下隅と右下隅に配置されたマークを検出する。パターン検出部１５３は、撮影画像における各マークの位置に基づいて、カメラ１６の傾きを推定し、推定した傾きを表す情報を表示制御部１５５に出力する。パターン検出部１５３は、撮影画像における各マークの位置に基づいて、カメラ１６の傾きを推定する推定部として機能する。
　また、パターン検出部１５３は、詳細整時、撮影画像を解析し、パターン画像の左下隅と右下隅に配置されたマークを検出する。パターン検出部１５３は、撮影画像における各マークの位置を表す情報をスクリーン端検出部１５４に出力する。
　スクリーン端検出部１５４は、詳細調整時、撮影画像を構成する各画素の輝度に基づいてエッジ検出を行い、重畳領域を検出する。エッジ検出は、例えば、パターン検出部１５３により検出されたマークの位置を起点として行われる。
　また、スクリーン端検出部１５４は、詳細調整時、各画素の輝度に基づいてエッジ検出を行い、ドームスクリーン１１の縁部１１Ｂを検出する。縁部１１Ｂの外側の領域は上述したように暗い領域として撮影画像に写っている。例えば、輝度が急激に下がる位置が、縁部１１Ｂの位置として検出される。重畳領域が検出されている場合、重畳領域の境界線を起点として縁部１１Ｂの検出が行われる。
　スクリーン端検出部１５４は、重畳領域と縁部１１Ｂの全体が撮影画像に写っている場合、そのことを表す情報を表示制御部１５５に出力する。また、スクリーン端検出部１５４は、重畳領域と縁部１１Ｂ全体のうちのいずれかが撮影画像に写っていない場合、カメラ１６の移動方向を表す情報を表示制御部１５５に出力する。
　表示制御部１５５は、ディスプレイ１６１に表示させた調整画面の表示を制御する。表示制御部１５５は、大域調整時、カメラ１６から供給された撮影画像を、パターン検出部１５３により推定されたカメラ１６の傾きに応じて回転させ、回転後の撮影画像をプレビュー画像として調整画面に表示させる。
　また、表示制御部１５５は、詳細調整時、カメラ１６から供給された撮影画像を大域調整時と同様に回転させ、回転後の撮影画像をプレビュー画像としてディスプレイ１６１に表示させる。
　表示制御部１５５は、詳細調整時、重畳領域と縁部１１Ｂの全体が撮影画像に写っていることがスクリーン端検出部１５４により検出された場合、カメラ１６の位置と傾きが適した状態になっていることを表す情報を調整画面に表示させる。また、表示制御部１５５は、詳細調整時、重畳領域と縁部１１Ｂ全体のうちのいずれかが撮影画像に写っていないことがスクリーン端検出部１５４により検出された場合、スクリーン端検出部１５４から供給された情報に基づいて、カメラ１６の移動方向をガイドする情報を調整画面に表示させる。
＜画像処理装置の動作＞
　ここで、図２８のフローチャートを参照して、以上のような構成を有する画像処理装置２１の調整処理について説明する。
　ステップＳ１において、情報処理部１３１は、大域調整処理を行う。マルチ投影システム１の管理者は、大域調整処理が行われることによって表示されたプレビュー画像を見て、カメラ１６の傾きをプロジェクタ１３の傾きに合わせる。大域調整処理の詳細については図２９のフローチャートを参照して後述する。
　ステップＳ２において、情報処理部１３１は、詳細調整処理を行う。マルチ投影システム１の管理者は、詳細調整処理が行われることによって表示されたプレビュー画像を見て、カメラ１６の位置と傾きを、適した状態になるように調整する。詳細調整処理の詳細については図３０のフローチャートを参照して後述する。
　次に、図２９のフローチャートを参照して、図２８のステップＳ１において行われる大域調整処理について説明する。
　ステップＳ１１において、パターン画像生成部１５１は、パターン画像を生成する。
　ステップＳ１２において、投影制御部１５２は、パターン画像生成部１５１により生成されたパターン画像に基づいてプロジェクタ１３Ｌ用の投影画像とプロジェクタ１３Ｒ用の投影画像を生成し、プロジェクタ１３Ｌとプロジェクタ１３Ｒのそれぞれから投影させる。
　ステップＳ１３において、カメラ１６は、プロジェクタ１３Ｌとプロジェクタ１３Ｒからパターン画像が投影された投影面１１Ａを撮影する。
　ステップＳ１４において、パターン検出部１５３は、撮影画像を解析することによってパターン画像の左下隅と右下隅に配置されたマークを検出し、カメラ１６の傾きを推定する。
　ステップＳ１５において、表示制御部１５５は、パターン検出部１５３により推定されたカメラ１６の傾きに応じて撮影画像を回転させ、回転後の撮影画像をプレビュー画像として調整画面に表示させる。撮影画像の回転は、必要に応じて適宜行われる。
　プレビュー画像が表示された後、図２８のステップＳ１に戻り、それ以降の処理が行われる。
　次に、図３０のフローチャートを参照して、図２８のステップＳ２において行われる詳細調整処理について説明する。
　ステップＳ２１において、パターン画像生成部１５１は、パターン画像を生成する。
　ステップＳ２２において、投影制御部１５２は、パターン画像生成部１５１により生成されたパターン画像に基づいてプロジェクタ１３Ｌ用の投影画像とプロジェクタ１３Ｒ用の投影画像を生成し、プロジェクタ１３Ｌとプロジェクタ１３Ｒのそれぞれから投影させる。
　ステップＳ２３において、カメラ１６は、プロジェクタ１３Ｌとプロジェクタ１３Ｒからパターン画像が投影された投影面１１Ａを撮影する。
　ステップＳ２４において、パターン検出部１５３は、撮影画像を解析することによってパターン画像の左下隅と右下隅に配置されたマークを検出する。
　ステップＳ２５において、スクリーン端検出部１５４は、撮影画像のエッジ検出を行い、重畳領域を検出するとともに、スクリーン端である、ドームスクリーン１１の縁部１１Ｂを検出する。
　ここで、大域調整時と同様に、マークの位置に基づいてカメラ１６の傾きを推定し、カメラ１６の傾きに応じて撮影画像を適宜回転する処理が行われる。調整画面には、プレビュー画像が表示され続けている。
　ステップＳ２６において、スクリーン端検出部１５４は、重畳領域とドームスクリーン１１の縁部１１Ｂを検出できたか否かを判定する。
　重畳領域とドームスクリーン１１の縁部１１Ｂの両方を検出できていないとステップＳ２６において判定された場合、ステップＳ２７において、表示制御部１５５は、スクリーン端検出部１５４から供給された情報に基づいて、カメラ１６の移動方向をガイドする情報を調整画面に表示させる。その後、ステップＳ２３に戻り、以上の処理が繰り返される。
　一方、ステップＳ２６において、重畳領域とドームスクリーン１１の縁部１１Ｂの両方を検出できたと判定された場合、処理はステップＳ２８に進む。
　ステップＳ２８において、表示制御部１５５は、カメラ１６の位置と傾きが適した状態になっていることを表す情報を調整画面に表示させる。その後、図２８のステップＳ２に戻り、それ以降の処理が行われる。
　カメラ１６の位置と傾きの調整後、所定の画像がプロジェクタ１３から投影され、プロジェクタ１３から画像が投影された投影面１１Ａの状態がカメラ１６により撮影される。カメラ１６により撮影された画像に基づいて、コンテンツの画像を投影する際の幾何補正に用いられるパラメータが算出される。
　このようなパラメータの算出は、所定の期間毎に周期的に行われる。また、パラメータの算出は、プロジェクタ１３の位置が動いたときなどの所定のタイミングで行われる。
　以上のように、ユーザの視聴位置とは異なる位置、すなわちユーザに邪魔にならない位置に、複数のカメラを常時設置することが可能となる。また、常時設置されたカメラにより撮影された画像に基づいて幾何補正用のパラメータを算出することを、カメラをその都度調整することなく、任意のタイミングで行うことが可能となる。
　カメラの傾きに応じて回転された撮影画像がプレビュー画像として表示されるため、マルチ投影システム１の管理者は、カメラの調整を容易に行うことができる。
　また、カメラの移動方向をガイドする情報が表示されるため、カメラの調整に慣れていない人であっても、カメラの調整を行うことが可能となる。外乱によりカメラが動いてしまった場合であっても、その都度、カメラの調整についてのノウハウを持っている人が出向いて調整を行う必要がないため、運用性を向上させることが可能となる。
＜変形例＞
　所定の色のマークを用いたパターンの画像がパターン画像として用いられるものとしたが、丸印、四角印、三角印、バツ印などの所定の模様を用いたパターンの画像が用いられるようにしてもよい。
　プロジェクタ１３からパターン画像を投影するものとしたが、投影面１１Ａ上に、マーカーを設定し、それを撮影して得られた画像に基づいて、上述した処理が行われるようにしてもよい。
　詳細調整時、カメラの調整を管理者が手動で行うものとしたが、パターン画像に基づいて検出された、適した位置、適した傾きになるように、カメラ１６の位置と傾きが自動的に調整されるようにしてもよい。この場合、カメラ１６Ｌの位置と傾きを調整する駆動部とカメラ１６Ｒの位置と傾きを調整する駆動部がそれぞれ設けられる。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、画像処理装置２１を構成する図２６のコンピュータなどに、プログラム記録媒体からインストールされる。
　CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１５に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、HDD１１４にインストールされる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　本技術は、以下のような構成をとることもできる。
（１）
　所定のパターンの画像であるパターン画像がプロジェクタから投影されたスクリーンの投影面を撮影する、所定の傾きを有する状態で設置されたカメラにより撮影された撮影画像に基づいて、前記カメラの傾きを推定する推定部と、
　前記カメラの傾きに応じて回転させた前記撮影画像を表示させる表示制御部と
　を備える画像処理装置。
（２）
　前記表示制御部は、前記カメラを移動させたときの実空間における移動方向と、前記撮影画像の表示範囲の切り替わりの方向が一致するように、前記撮影画像を回転させる
　前記（１）に記載の画像処理装置。
（３）
　前記スクリーンは、ドーム型のスクリーンである
　前記（１）または（２）に記載の画像処理装置。
（４）
　前記カメラは、前記スクリーンの左右にそれぞれ設置される
　前記（３）に記載の画像処理装置。
（５）
　左下隅と右下隅に所定のマークが配置された前記パターン画像を生成する生成部と、
　前記パターン画像を、複数の前記プロジェクタのそれぞれから投影させる投影制御部と
　をさらに備える前記（４）に記載の画像処理装置。
（６）
　２台の前記プロジェクタは、前記スクリーンの左右に、所定の傾きを有する状態で設置される
　前記（５）に記載の画像処理装置。
（７）
　２台の前記プロジェクタは、それぞれ、前記パターン画像の水平方向の辺が、前記投影面上において円弧状に投影されるように設置される
　前記（６）に記載の画像処理装置。
（８）
　前記プロジェクタから投影された前記パターン画像の光のうち、前記マークの光は、前記投影面上の位置を照射し、左上隅と右上隅の光は、前記投影面の外の位置を照射する
　前記（５）乃至（７）のいずれかに記載の画像処理装置。
（９）
　２台の前記カメラにより撮影された前記撮影画像に基づいて、２台の前記プロジェクタから前記投影面上に投影された前記パターン画像の重畳領域と、前記スクリーンの縁部とを検出する検出部をさらに備える
　前記（６）乃至（８）のいずれかに記載の画像処理装置。
（１０）
　前記表示制御部は、前記撮影画像における前記重畳領域と前記縁部との位置に基づいて、前記カメラの移動方向を案内する情報を前記撮影画像とともに表示させる
　前記（９）に記載の画像処理装置。
（１１）
　前記表示制御部は、前記重畳領域と前記縁部が２台の前記カメラにより撮影されたそれぞれの前記撮影画像に写っている場合、前記カメラの位置と傾きが適していることを表す情報を表示させる
　前記（９）または（１０）に記載の画像処理装置。
（１２）
　画像処理装置が、
　所定のパターンの画像であるパターン画像がプロジェクタから投影されたスクリーンの投影面を撮影する、所定の傾きを有する状態で設置されたカメラにより撮影された撮影画像に基づいて、前記カメラの傾きを推定し、
　前記カメラの傾きに応じて回転させた前記撮影画像を表示させる
　画像処理方法。
（１３）
　コンピュータに、
　所定のパターンの画像であるパターン画像がプロジェクタから投影されたスクリーンの投影面を撮影する、所定の傾きを有する状態で設置されたカメラにより撮影された撮影画像に基づいて、前記カメラの傾きを推定し、
　前記カメラの傾きに応じて回転させた前記撮影画像を表示させる
　処理を実行させるためのプログラム。
（１４）
　ドーム型のスクリーンと、
　所定の傾きを有する状態で設置され、所定のパターンの画像であるパターン画像を前記スクリーンに投影するプロジェクタと、
　前記プロジェクタとともに所定の傾きを有する状態で設置されたカメラと、
　　前記プロジェクタから前記パターン画像が投影された前記スクリーンの投影面を前記カメラにより撮影して得られた撮影画像に基づいて、前記カメラの傾きを推定する推定部と、
　　前記カメラの傾きに応じて回転させた前記撮影画像を表示させる表示制御部と
　を備える画像処理装置と
　を含む投影システム。
　１　マルチ投影システム，　１１　ドームスクリーン，　１１Ａ　投影面，　１３Ｌ，１３Ｒ　プロジェクタ，　１４　サラウンドスピーカ，　１５　ウーファー，　１６Ｌ，１６Ｒ　カメラ，　２１　画像処理装置，　１３１　情報処理部，　１５１　パターン画像生成部，　１５２　投影制御部，　１５３　パターン検出部，　１５４　スクリーン端検出部，　１５５　表示制御部

Claims (14)

  1. 　所定のパターンの画像であるパターン画像がプロジェクタから投影されたスクリーンの投影面を撮影する、所定の傾きを有する状態で設置されたカメラにより撮影された撮影画像に基づいて、前記カメラの傾きを推定する推定部と、
    　前記カメラの傾きに応じて回転させた前記撮影画像を表示させる表示制御部と
    　を備える画像処理装置。
  2. 　前記表示制御部は、前記カメラを移動させたときの実空間における移動方向と、前記撮影画像の表示範囲の切り替わりの方向が一致するように、前記撮影画像を回転させる
    　請求項１に記載の画像処理装置。
  3. 　前記スクリーンは、ドーム型のスクリーンである
    　請求項１に記載の画像処理装置。
  4. 　前記カメラは、前記スクリーンの左右にそれぞれ設置される
    　請求項３に記載の画像処理装置。
  5. 　左下隅と右下隅に所定のマークが配置された前記パターン画像を生成する生成部と、
    　前記パターン画像を、複数の前記プロジェクタのそれぞれから投影させる投影制御部と
    　をさらに備える請求項４に記載の画像処理装置。
  6. 　２台の前記プロジェクタは、前記スクリーンの左右に、所定の傾きを有する状態で設置される
    　請求項５に記載の画像処理装置。
  7. 　２台の前記プロジェクタは、それぞれ、前記パターン画像の水平方向の辺が、前記投影面上において円弧状に投影されるように設置される
    　請求項６に記載の画像処理装置。
  8. 　前記プロジェクタから投影された前記パターン画像の光のうち、前記マークの光は、前記投影面上の位置を照射し、左上隅と右上隅の光は、前記投影面の外の位置を照射する
    　請求項５に記載の画像処理装置。
  9. 　２台の前記カメラにより撮影された前記撮影画像に基づいて、２台の前記プロジェクタから前記投影面上に投影された前記パターン画像の重畳領域と、前記スクリーンの縁部とを検出する検出部をさらに備える
    　請求項６に記載の画像処理装置。
  10. 　前記表示制御部は、前記撮影画像における前記重畳領域と前記縁部との位置に基づいて、前記カメラの移動方向を案内する情報を前記撮影画像とともに表示させる
    　請求項９に記載の画像処理装置。
  11. 　前記表示制御部は、前記重畳領域と前記縁部が２台の前記カメラにより撮影されたそれぞれの前記撮影画像に写っている場合、前記カメラの位置と傾きが適していることを表す情報を表示させる
    　請求項９に記載の画像処理装置。
  12. 　画像処理装置が、
    　所定のパターンの画像であるパターン画像がプロジェクタから投影されたスクリーンの投影面を撮影する、所定の傾きを有する状態で設置されたカメラにより撮影された撮影画像に基づいて、前記カメラの傾きを推定し、
    　前記カメラの傾きに応じて回転させた前記撮影画像を表示させる
    　画像処理方法。
  13. 　コンピュータに、
    　所定のパターンの画像であるパターン画像がプロジェクタから投影されたスクリーンの投影面を撮影する、所定の傾きを有する状態で設置されたカメラにより撮影された撮影画像に基づいて、前記カメラの傾きを推定し、
    　前記カメラの傾きに応じて回転させた前記撮影画像を表示させる
    　処理を実行させるためのプログラム。
  14. 　ドーム型のスクリーンと、
    　所定の傾きを有する状態で設置され、所定のパターンの画像であるパターン画像を前記スクリーンに投影するプロジェクタと、
    　前記プロジェクタとともに所定の傾きを有する状態で設置されたカメラと、
    　　前記プロジェクタから前記パターン画像が投影された前記スクリーンの投影面を前記カメラにより撮影して得られた撮影画像に基づいて、前記カメラの傾きを推定する推定部と、
    　　前記カメラの傾きに応じて回転させた前記撮影画像を表示させる表示制御部と
    　を備える画像処理装置と
    　を含む投影システム。
PCT/JP2019/002390 2018-02-08 2019-01-25 画像処理装置、画像処理方法、プログラム、および投影システム WO2019155904A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980011189.5A CN111684793A (zh) 2018-02-08 2019-01-25 图像处理装置、图像处理方法、程序以及投影***
US16/964,850 US11218662B2 (en) 2018-02-08 2019-01-25 Image processing device, image processing method, and projection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018020696 2018-02-08
JP2018-020696 2018-09-24

Publications (1)

Publication Number Publication Date
WO2019155904A1 true WO2019155904A1 (ja) 2019-08-15

Family

ID=67547928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002390 WO2019155904A1 (ja) 2018-02-08 2019-01-25 画像処理装置、画像処理方法、プログラム、および投影システム

Country Status (3)

Country Link
US (1) US11218662B2 (ja)
CN (1) CN111684793A (ja)
WO (1) WO2019155904A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464795B (zh) * 2020-05-22 2022-07-26 联想(北京)有限公司 监控设备配置的实现方法、装置及电子设备
US20240069424A1 (en) * 2022-08-23 2024-02-29 Applied Physics, Inc. Light sphere dome

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244835A (ja) * 2004-02-27 2005-09-08 Olympus Corp マルチプロジェクションシステム
JP2012249009A (ja) * 2011-05-26 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> 光学投影制御装置、光学投影制御方法、及びプログラム
JP2014003586A (ja) * 2012-05-22 2014-01-09 Ricoh Co Ltd 画像処理システム、画像処理方法およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JP3735158B2 (ja) * 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
US6333826B1 (en) * 1997-04-16 2001-12-25 Jeffrey R. Charles Omniramic optical system having central coverage means which is associated with a camera, projector, or similar article
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
JP2003219324A (ja) * 2002-01-17 2003-07-31 Olympus Optical Co Ltd 画像補正データ算出方法、画像補正データ算出装置及びマルチプロジェクションシステム
US20100073468A1 (en) * 2002-02-12 2010-03-25 Ben Kutner Simulation of attendance at a live event
JP4945578B2 (ja) * 2007-01-04 2012-06-06 肇 鳴川 情報処理方法
US8994757B2 (en) 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
FR2919934B1 (fr) * 2007-08-09 2010-09-17 Univ Clermont Auvergne Dispositif de projection panoramique, et procede mis en oeuvre dans ce dispositif
US8013904B2 (en) * 2008-12-09 2011-09-06 Seiko Epson Corporation View projection matrix based high performance low latency display pipeline
WO2010072065A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
JP2012177676A (ja) * 2011-01-31 2012-09-13 Sony Corp 画像処理装置および方法、並びにプログラム
US9497447B2 (en) * 2011-06-15 2016-11-15 Scalable Display Technologies, Inc. System and method for color and intensity calibrating of a display system for practical usage
US20130070094A1 (en) * 2011-09-20 2013-03-21 The Regents Of The University Of California, A California Corporation Automatic registration of multi-projector dome images
US9128366B2 (en) * 2012-05-22 2015-09-08 Ricoh Company, Ltd. Image processing system, image processing method, and computer program product
GB2512621A (en) * 2013-04-04 2014-10-08 Sony Corp A method and apparatus
JPWO2017159063A1 (ja) * 2016-03-14 2019-01-17 ソニー株式会社 表示装置並びに情報処理端末装置
WO2018100800A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244835A (ja) * 2004-02-27 2005-09-08 Olympus Corp マルチプロジェクションシステム
JP2012249009A (ja) * 2011-05-26 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> 光学投影制御装置、光学投影制御方法、及びプログラム
JP2014003586A (ja) * 2012-05-22 2014-01-09 Ricoh Co Ltd 画像処理システム、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US11218662B2 (en) 2022-01-04
US20210067732A1 (en) 2021-03-04
CN111684793A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
KR101201107B1 (ko) 파노라마식 이미지에서의 데드 존의 최소화
TWI242381B (en) Image processing system, projector, information storage medium, and picture processing method
TWI242374B (en) Image processing system, projector, program, information storing medium, and image processing method
WO2022206527A1 (zh) 投影图像的校正方法及激光投影设备
JP2008288714A (ja) 映像投影システム
JP2006060447A (ja) スクリーンの一部の辺を用いたキーストーン補正
US8870385B2 (en) Display system
JP2007295559A (ja) ビデオ処理および表示
JP2008099184A (ja) ネットワークカメラシステム
JP2013076667A (ja) キャリブレーション方法および映像表示装置
WO2019155904A1 (ja) 画像処理装置、画像処理方法、プログラム、および投影システム
CN116055696A (zh) 一种投影设备及投影方法
JP3130127U (ja) ドーム用ビデオプロジェクターアダプター
JP2003348500A (ja) 投射画像の調整方法、画像投射方法および投射装置
US10057492B2 (en) Photographing apparatus and photographing control method to generate a low-pass filter effect
JP2002049367A (ja) 映像投影装置および映像システム
JP2014176053A (ja) 画像信号処理装置
JP6115732B2 (ja) 撮像システム
JP2000224459A (ja) 実物大画像入出力装置、画像記録方法及びその方法の記録媒体
JP2006254126A (ja) 画像提示システムおよび画像提示方法
JP2013145949A (ja) 投影システム、および重畳画像の画合わせの調整方法
CN111630848B (zh) 图像处理装置、图像处理方法、程序和投影***
WO2019244667A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101049115B1 (ko) 다중 화면 투사 장치
JP2005176226A (ja) カメラ、プロジェクタシステム及びその投影方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19750387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19750387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP