WO2019111704A1 - 画像処理装置および方法、並びに、画像処理システム - Google Patents

画像処理装置および方法、並びに、画像処理システム Download PDF

Info

Publication number
WO2019111704A1
WO2019111704A1 PCT/JP2018/042924 JP2018042924W WO2019111704A1 WO 2019111704 A1 WO2019111704 A1 WO 2019111704A1 JP 2018042924 W JP2018042924 W JP 2018042924W WO 2019111704 A1 WO2019111704 A1 WO 2019111704A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
projection
pattern
unit
Prior art date
Application number
PCT/JP2018/042924
Other languages
English (en)
French (fr)
Inventor
益義 黒川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019111704A1 publication Critical patent/WO2019111704A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present disclosure relates to an image processing apparatus and method, and an image processing system, and more particularly, to an image processing apparatus and method and an image processing system capable of realizing grasping of a state of a projection image at a lower cost.
  • a projected image is captured by a camera, and the captured image is used to estimate the position, attitude, projection surface shape, etc. of the projector, and There is a method of performing geometric correction of the projected image. For example, if the screen does not face the projector, the camera takes a projection image projected on the screen by the camera, and if the projection image is deformed into a trapezoidal shape, it is projected to be correctly projected on the screen There has been processing such as correcting the image into an inverted trapezoidal shape.
  • ISL Interceptible Structured Light
  • a pattern image which is an image of a predetermined pattern, is embedded in the image of the content and projected so as not to be perceived by humans using the integration effect. Then, detection of corresponding points is performed using the pattern image.
  • the present disclosure has been made in view of such a situation, and makes it possible to realize the grasp of the state of a projection image at a lower cost.
  • the image processing apparatus is configured to use the captured image based on a change in luminance in a detection result of a predetermined pattern included in the projected image obtained using the captured image of the projected image projected on a projection plane.
  • the image processing apparatus is provided with a control unit that controls the start timing of imaging for obtaining.
  • the pickup image Is an image processing method of controlling the start timing of imaging for obtaining.
  • An image processing system captures a projection image projected on a projection plane by a projection device that has a projection unit that continuously projects images including positive and negative reverse patterns. Based on an imaging apparatus having an imaging unit and a change in luminance in the detection result of the pattern included in the projection image obtained using the imaging image obtained by the imaging unit, the imaging image by the imaging unit is obtained And a control device having a control unit that controls the start timing of the imaging.
  • the image processing apparatus and method based on a change in luminance in a detection result of a predetermined pattern included in a projection image obtained using a captured image of the projection image projected on a projection plane.
  • the start timing of imaging for obtaining a captured image is controlled.
  • an image processing system in a projection device, an image including a pattern whose positive and negative are reverse to each other is continuously projected, and in an imaging device, a projected image projected on a projection plane is captured and controlled
  • the start timing of imaging for obtaining a captured image is controlled based on the change in luminance in the detection result of the pattern included in the projected image obtained using the captured image.
  • an image can be processed.
  • grasping of the state of the projection image can be realized more inexpensively.
  • FIG. 1 shows an example of display (image projection) and imaging timing control.
  • a display period 11 indicates a period in which the image of frame A is displayed (projected).
  • the display period 12 indicates a period in which the image of the frame B is displayed (projected).
  • the time advances from left to right, and the vertical direction of these display periods indicates the vertical direction of the displayed (projected) image.
  • the display period is a parallelogram as shown in FIG. 1 because display (image projection) is performed by a sequential scanning method in which the projector projects in order from the upper row to the lower row of the image.
  • the imaging period 21 indicates a period for imaging the projection image of the frame A (image projected onto the projection plane).
  • the imaging period 22 indicates a period for imaging the projection image of the frame B.
  • the time advances from left to right in the drawing, and the vertical direction of the imaging period indicates the vertical direction of the captured image. Since imaging is performed by a rolling shutter method in which the camera reads out signals in order from the upper row to the lower row of the pixel area, the imaging period has a parallelogram as shown in FIG.
  • One of the present disclosure is to perform the start timing of the imaging period based on the pattern detection result obtained from the captured image. That is, based on the luminance change in the detection result of the predetermined pattern included in the projection image obtained using the pickup image of the projection image projected on the projection plane, the control of the start timing of imaging for obtaining the pickup image To do.
  • an imaging start timing 31 (a time at which an imaging trigger is set) indicated by an arrow in FIG. 1 is a timing (time) at which the imaging period 21 is started.
  • the time to be the imaging start timing 31 (the time to generate the imaging trigger) is set (controlled) based on the pattern detection result as shown by the double arrow 41.
  • the imaging start timing 32 (the time at which the imaging trigger is set) is the timing (time) at which the imaging period 22 starts, and the time used as the imaging start timing 32 (the time at which the imaging trigger is set)
  • the setting (control) is performed based on the pattern detection result.
  • the imaging period can be made appropriate timing with respect to the display period, and pattern detection can be performed more accurately. That is, a more accurate pattern detection can be performed by a rolling shutter type camera cheaper than a global shutter type camera, and corresponding points between the camera and the projector can be determined more accurately. That is, grasping of the state of the projection image can be realized at lower cost. Additionally, more appropriate geometric correction of the projected image can be realized cheaper.
  • FIG. 2 is a block diagram showing a main configuration example of a control device which is an embodiment of an image processing device to which the present technology is applied.
  • the control device 100 illustrated in FIG. 2 is a device that controls the start timing (time at which an imaging trigger is generated) of imaging of a projection image projected on a projection plane by the imaging unit.
  • the control device 100 includes an imaging timing setting unit 101.
  • the imaging timing setting unit 101 receives, as an input, a detection result of a predetermined pattern included in the projection image obtained using the pickup image of the projection image projected on the projection plane.
  • the imaging timing setting unit 101 controls (sets) an imaging start timing for obtaining a captured image of a projection image based on a change in luminance in the detection result of the pattern.
  • the imaging timing setting unit 101 outputs the setting (imaging timing setting) to the outside of the control device 100.
  • the imaging timing setting unit 101 supplies the imaging timing setting to an imaging unit (or an imaging control unit that controls the imaging unit) and the like, and starts imaging at the set timing.
  • Step S101 the imaging timing setting unit 101 of the control device 100 sets (controls) the imaging start timing based on the change in luminance of the supplied pattern detection result in step S101, and sets the setting. Output.
  • step S101 ends, the control process ends.
  • the imaging period can be set to an appropriate timing with respect to the display period, so that a more accurate pattern detection can be performed by a rolling shutter camera cheaper than a global shutter camera. Can. That is, grasping of the state of the projection image can be realized at lower cost.
  • Geometric correction of projected image The details will be described below.
  • the projected image also called a projection image
  • the distortion of the projected image can be reduced and the image can be easily viewed by applying geometric correction such as distortion correction to the image projected by the projector.
  • geometric correction includes not only image processing but also control of an optical system such as shift and zoom, control of the attitude of a projection unit, and the like. Further, in the present specification, not only the “orientation” (the direction of projection or imaging) but also the “position” (the position of performing projection or imaging) of the “posture” such as a projection unit or an imaging unit Shall be included.
  • Such geometric correction can also be performed manually by an operator or the like who operates the projector, but there is a risk of requiring complicated work. Then, the method of imaging the projection image which the projector projected using a camera, and setting the geometric correction using the captured image was considered. In this case, the attitude of the camera or the projector, the screen shape, and the like are estimated from the projection image included in the captured image, and the appropriate geometric correction is set according to them.
  • the setting of such geometric correction may be required not only before the projection of the content (moving image) but also during the projection of the content. For example, if the attitude of the projector changes during the projection of content, distortion occurs in the projected image. In such a case, in order to set the geometric correction to an appropriate setting, it is necessary to re-estimate the attitude of the projector. However, interrupting the projection of the content for that purpose is not preferable to the user who is viewing the content, because it prevents the viewing of the content. Then, the method (on-line sensing) which detected a corresponding point, continuing projection of the content was considered.
  • an on-line sensing technology for example, a method using invisible light such as Infrared, a method using an image feature such as SIFT, an ISL (Imperceptible Structured Light) method, etc. have been considered.
  • a system using invisible light such as Infrared
  • an image feature amount such as SIFT
  • the detection accuracy and density of corresponding points depend on the image content to be projected, so it has been difficult to perform corresponding point detection with stable accuracy.
  • a pattern image which is an image of a predetermined pattern, is embedded in the image of the content and projected so as not to be perceived by humans using the integration effect. Then, detection of corresponding points is performed using the pattern image. More specifically, a positive image and a negative image of a predetermined pattern image (Structured Light) are superimposed on an input image (image of content) to form a positive frame (Pos Frame) and a negative frame (Neg Frame). And two frames are generated.
  • a positive image and a negative image of a predetermined pattern image Structured Light
  • the pattern combining unit may convert the pattern image 122-1 as shown in B of FIG. 4 into the frame image 121 which is a frame image of the content to be projected as shown in A of FIG.
  • the pattern images 122-2 are respectively superimposed to generate two superimposed images.
  • the pattern image 122-1 is an image including a pattern 123-1 that can be used to detect corresponding points of pixels between the projector (projector) and the camera (imager).
  • the pattern 123-1 is shown to be configured by a circular pattern, but this pattern 123-1 may be any pattern as long as the corresponding points can be detected. It may be configured by the pattern of The luminance value of the pattern 123-1 changes in the positive direction more than the portions other than the surrounding patterns. That is, the pattern image 122-1 is a positive pattern image.
  • the pattern image 122-2 is an image including a pattern 123-2 that can be used to detect corresponding points of pixels between the projector and the camera.
  • the pattern 123-2 is formed by the pattern of the same pattern as the pattern 123-1, and the luminance value thereof changes in a more negative direction than the portions other than the surrounding pattern. That is, the pattern 123-2 has the same pattern as the pattern 123-1, and is formed of a pattern in which the change in luminance value is in the opposite direction. That is, the pattern image 122-2 is a negative pattern image.
  • the pattern image 122-1 and the pattern image 122-2 will be referred to as a pattern image 122 if they do not need to be distinguished from each other. Further, when the pattern 123-1 and the pattern 123-2 need not be distinguished from each other, they are referred to as a pattern 123.
  • FIG. 5 is a diagram showing an example of display timing, and is a view from the same perspective as FIG. 1.
  • the superimposed image 131 is projected as a frame A image
  • the superimposed image 132 is projected as a frame B image. That is, the superimposed image 131 and the superimposed image 132 are projected continuously (sequentially).
  • the superimposed image 131 is a composite image in which the frame image 121 and the pattern image 122-1 are superimposed.
  • the superimposed image 132 is a composite image in which the frame image 121 and the pattern image 122-2 are superimposed.
  • the display period 11 of the superimposed image 131 (frame A) has a parallelogram shape. That is, the lower the image, the later the display start timing is. Further, the display period 12 of the superimposed image 132 (frame B) also has a parallelogram shape.
  • the positive image (also referred to as a positive pattern image) and the negative image (also referred to as a negative pattern image) of the pattern image are opposite to each other (for example, white and black). If two frames are projected consecutively, it becomes difficult for the user to perceive this pattern image (positive image and negative image) due to the integration effect.
  • the image of the content is ideally erased and the pattern image (the difference between the positive image and the negative image, ie Times) is extracted.
  • the corresponding points of the pixels of the projector and the camera can be detected using this pattern image. That is, the corresponding points can be detected (and the geometric correction of the moving image can be performed) without disturbing the viewing of the content.
  • FIG. 6 An example of imaging timing when using a rolling shutter type camera as a camera of such a system is shown in FIG.
  • the imaging period 21 for imaging the projection image of the frame A has a parallelogram shape. That is, the lower the image, the later the start timing of imaging.
  • the imaging period 22 for imaging the projection image of the frame B also has a parallelogram shape.
  • the image pickup period 21 is taken.
  • the captured image including only the projected image (for example, the superimposed image 131) projected in the display period 11 is obtained.
  • the imaging period 22 only the projected image (for example, the superimposed image 132) projected in the display period 12 A captured image including the image can be obtained. Therefore, the pattern can be accurately detected by obtaining the difference between the two captured images.
  • the imaging angle of view of the camera is set wider than the projection angle of view so that the position of the projected image is included in the captured image as much as possible even if the position is shifted or distorted.
  • the exposure period of imaging (the length in the horizontal direction of the imaging period) is made shorter than the display period.
  • the captured image obtained in the imaging period 21 includes only the projected image of the frame A (for example, the superimposed image 131) projected in the display period 11 (includes the projected images of other frames) Not mean that).
  • the captured image obtained in the imaging period 22 includes only the projection image (for example, the superimposed image 132) of the frame B projected in the display period 12 (meaning that the projection images of other frames are not included) You can do so.
  • the imaging angle of view is made wider than the projection angle of view, the lengths in the vertical direction are different between the projection image and the imaging image.
  • the frame rates (the lengths of Vsync) are identical to each other, as shown in FIG. 7, the inclination angles of display period 11 and display period 12 are different from the inclination angles of imaging period 21 and imaging period 22. . Therefore, in this case, setting of the imaging start timing 31 and the imaging start timing 32 becomes difficult.
  • the imaging period overlaps with a plurality of display periods.
  • the imaging period 22 is superimposed on the display period 11 and the display period 12. That is, the captured image obtained in the imaging period 22 includes both the projected image of the frame A and the projected image of the frame B.
  • the imaging timing setting unit 101 of the control device 100 causes the display period and the imaging period to have a relationship as illustrated in FIG. 7 based on the pattern detection result (that is, the imaging period is The start timing of imaging is controlled (set) so as to be superimposed on a single display period. At this time, the imaging timing setting unit 101 sets the imaging start timing in this way based on the change in luminance of the pattern detection result.
  • the imaging timing setting unit 101 may obtain the luminance change of the pattern detection result in any manner. For example, the imaging timing setting unit 101 sets the ratio or difference of the luminance value of the actual pattern detection result (the luminance value of the pattern actually detected) to a predetermined reference value (for example, the ideal value of the luminance of the pattern detection result). It may be determined as a change in luminance.
  • the imaging timing setting unit 101 may obtain a ratio or difference in the vertical direction of the luminance value of the pattern detection result (the luminance value of the pattern actually detected) as the luminance change.
  • the imaging timing setting unit 101 obtains a ratio or a difference between the luminance value of the top pattern of the pattern image and the luminance value of the bottom pattern of the pattern image in the pattern detection result as the luminance change.
  • the imaging timing setting unit 101 may sequentially search for candidates for the imaging start timing to determine the timing at which the change in luminance is minimized. By doing this, it is possible to set an optimal start timing.
  • the imaging timing setting unit 101 sequentially searches for candidates for the imaging start timing and ends the search when a candidate whose luminance change is equal to or less than a predetermined threshold is found, and selects the candidate as the imaging start timing. You may do so.
  • the threshold appropriately, even with this method, it is possible to set a sufficiently appropriate start timing. In the case of this method, the start timing can be set at higher speed than the method of obtaining the minimum value of the luminance change described above.
  • the accuracy of the search may be raised step by step.
  • the imaging timing setting unit 101 may first search roughly with a high degree of accuracy, and search for the vicinity of the timing at which the change in luminance is the smallest with a high degree of accuracy. By setting the start timing faster than when searching for all the candidates sequentially and finding the timing at which the luminance change becomes minimum by repeating the search so as to raise the search accuracy in stages in this manner. Can.
  • the imaging timing setting unit 101 may estimate the direction or position where the minimum value can be obtained, based on the change in luminance of the pattern detection result. For example, as shown in FIG. 1, the inclination of the imaging period is steeper than the inclination of the display period, so if the imaging start timing is too early, the luminance change of the lower pattern becomes large (the luminance is more When the start timing of imaging is too late, the change in luminance of the upper pattern becomes large (the luminance is further reduced). Based on such characteristics, the imaging timing setting unit 101 may estimate the direction or position where the minimum value can be obtained, based on which portion of the pattern has a large change in luminance.
  • the imaging timing setting unit 101 selects the pattern located at the top of the projection image (the pattern located at the top among the patterns included in the projection image) and the pattern (projection image) located at the bottom of the projection image
  • the start timing of imaging may be controlled based on the change in luminance of at least one of the lowermost patterns among the patterns included in.
  • the change in luminance of the lower pattern is larger than the change in luminance of the upper pattern, it is estimated that the change in luminance can be minimized by delaying the start timing of imaging. Conversely, if the change in luminance of the upper pattern is larger than the change in luminance of the lower pattern, it is estimated that the change in luminance can be minimized by advancing the start timing of imaging.
  • the imaging timing setting unit 101 makes the start timing of imaging start earlier. It may be controlled to Conversely, when the change in luminance of the pattern located at the bottom of the projected image is larger than the change in luminance of the pattern located at the top of the projected image, the imaging timing setting unit 101 delays the start timing of imaging. Control may be performed.
  • the degree of the luminance change is larger, it is necessary to change the imaging start timing more largely (that is, the difference between the currently set timing and the timing at which the luminance change becomes minimum is larger) It is estimated.
  • the degree of luminance change the smaller the start timing of imaging needs to be changed (that is, the smaller the difference between the currently set timing and the timing at which the luminance change is minimum). Presumed.
  • FIG. 8 is a block diagram illustrating a main configuration example of a projection imaging system which is an embodiment of a system to which the present technology is applied.
  • a projection imaging system 200 is a system capable of projecting an image, capturing a projected image, or performing corresponding point detection by the ISL method by a method to which the present technology is applied.
  • the projection imaging system 200 includes a control device 201, a projection device 202, and an imaging device 203.
  • the projection device 202 and the imaging device 203 are communicably connected to the control device 201, respectively.
  • connection may be made via a dedicated cable, or via a cable of a predetermined standard such as HDMI (High-Definition Multimedia Interface) or USB (Universal Serial Bus).
  • a predetermined network such as a LAN (Local Area Network) or the Internet.
  • it is connected by any wireless communication such as Bluetooth (registered trademark) communication, near field communication such as NFC (Near Field Communication), infrared communication, wireless LAN of IEEE (Institute of Electrical and Electronic Engineers) 802.11, etc. You may do so.
  • connection may be made via a plurality of types of communication media, such as a wireless LAN and the Internet.
  • the control device 201 is an embodiment of an image processing device or control unit to which the present technology is applied, and controls operations of the projection device 202 and the imaging device 203. Further, the control device 201 performs processing relating to the correction of the image to be projected by the projection device 202 and the like using the captured image obtained by the imaging device 203.
  • the projection device 202 is an embodiment of an image processing device or a projection unit to which the present technology is applied, and is configured by, for example, a projector or the like.
  • the projection device 202 projects the image supplied from the control device 201 onto the screen 210, which is a projection plane, in a sequential scanning manner. As shown in FIG. 8, the projection device 202 projects an image within the range of PL to PR of the screen 210.
  • the imaging device 203 is an embodiment of an image processing device or an imaging unit to which the present technology is applied, and is configured of, for example, a camera or the like.
  • the imaging device 203 captures an image of the screen 210 on which the projection image is projected.
  • the imaging device 203 images the range of CL to CR of the screen 210. That is, the imaging device 203 captures an image of the screen 210 in an imaging range that includes the entire projection image.
  • FIG. 8 shows the horizontal direction of the projection image, the same applies to the vertical direction.
  • the imaging device 203 is driven by a rolling shutter method.
  • the imaging device 203 supplies the captured image of the obtained projected image to the control device 201.
  • the projection device 202 continuously projects images including patterns whose positive and negative are reverse to each other, and the imaging device 203 projects the projected image projected onto the projection plane by the projection device 202.
  • the control device 201 starts imaging of the imaging device 203 based on a change in luminance in a detection result of a predetermined pattern included in a projected image obtained using the captured image obtained by the imaging device 203. Control the timing.
  • the projection imaging system 200 has a projection device 202 having a projection unit that continuously projects images including patterns whose positive and negative sides are opposite to each other, and a projection image projected on a projection plane by the projection unit (projection device 202)
  • the image pickup apparatus 203 having an image pickup unit for picking up an image and the luminance change in the detection result of the predetermined pattern included in the projection image obtained using the pickup image obtained by the image pickup unit (image pickup apparatus 203)
  • a control device 201 having a control unit that controls start timing of imaging of the imaging unit (imaging device 203).
  • the projection imaging system 200 can realize on-line sensing of the ISL system using a camera driven by an inexpensive rolling shutter system, grasping of the state of a projection image can be realized at low cost.
  • FIG. 9 is a block diagram showing a main configuration example of a control device 201 which is an embodiment of an image processing device to which the present technology is applied.
  • the control device 201 includes an image input unit 251, a pattern image storage unit 252, a pattern combination unit 253, an image correction unit 254, a projection control unit 255, a communication unit 256, an imaging control unit 257, and pattern detection.
  • a unit 258, an imaging timing setting unit 259, and a corresponding point detection unit 260 are included.
  • the image input unit 251 performs processing regarding acquisition of an image. For example, the image input unit 251 acquires each frame image of content (moving image) supplied from the outside of the control device 201 (arrow 271).
  • the image input unit 251 includes an arbitrary storage medium (for example, a semiconductor memory, a magnetic recording medium, etc.), and stores (holds) the acquired image in the storage medium.
  • the image input unit 251 supplies the held image to the pattern combining unit 253 (arrow 272) at a predetermined timing or in response to a request from another party (for example, a request from the pattern combining unit 253). At that time, the image input unit 251 may appropriately perform arbitrary image processing such as noise removal and color correction on the held image.
  • the pattern image storage unit 252 includes an arbitrary storage medium (for example, a semiconductor memory, a magnetic recording medium, etc.), and stores the pattern image to be superimposed on the image of the content in the storage medium.
  • the pattern image is an image including a predetermined pattern (pattern etc.) used for corresponding point detection and imaging timing setting (control). This pattern (pattern etc.) may be anything.
  • the pattern image storage unit 252 supplies the stored pattern image to the pattern combining unit 253 (arrow 273) at a predetermined timing or in response to a request from another (for example, a request from the pattern combining unit 253). .
  • the pattern combining unit 253 performs processing relating to combining an image of content and a pattern image. For example, the pattern combining unit 253 acquires an image of content from the image input unit 251 (arrow 272). The pattern combining unit 253 also obtains a pattern image from the pattern image storage unit 252 (arrow 273). Then, the pattern combining unit 253 superimposes a positive image and a negative image of the pattern image on the image of the content and combines them. That is, the pattern combining unit 253 generates a superimposed image (composite image) of the image of the content and the positive image of the pattern image, and a superimposed image (composite image) of the image of the content and the negative image of the pattern image. Then, the pattern combining unit 253 supplies the generated superimposed images to the image correction unit 254 (arrow 274).
  • the image correction unit 254 performs processing regarding geometric correction of the superimposed image. For example, the image correction unit 254 acquires a superimposed image from the pattern combination unit 253 (arrow 274). Further, the image correction unit 254 acquires the detection result of the corresponding points of the pixels of the projection device 202 and the imaging device 203 from the corresponding point detection unit 260 (arrow 275). Then, based on the detection result of the corresponding point, the image correction unit 254 appropriately performs geometric correction for correcting the position and distortion of the projection image on the superimposed image. Then, the image correction unit 254 supplies the geometrically corrected superimposed image (or the superimposed image from which the geometrical correction is omitted) to the projection control unit 255 (arrow 276).
  • the projection control unit 255 performs processing related to control of the projection device 202. For example, the projection control unit 255 acquires a superimposed image from the image correction unit 254 (arrow 276). Also, the projection control unit 255 supplies the superimposed image to the projection device 202 via the communication unit 256, and causes the screen 210 to project the image (arrow 277, arrow 278).
  • the projection control unit 255 supplies commands and data (settings and the like) to the projection device 202 via the communication unit 256, and controls the image projection (for example, the start and end thereof and the like) by the projection device 202. It is also good.
  • the projection control unit 255 supplies commands and data (setting and the like) to the projection device 202 via the communication unit 256, and the optical system of the projection device 202 (for example, focal length, size of angle of view, direction of projection And inclination) may be controlled.
  • the communication unit 256 performs processing related to communication with the projection device 202 and the imaging device 203. This communication method is optional. For example, the communication unit 256 acquires a superimposed image, an instruction, data, and the like supplied from the projection control unit 255 (arrow 277), and supplies it to the projection device 202 (arrow 278). In addition, the communication unit 256 acquires a captured image transmitted from the imaging device 203 (arrow 281), and supplies it to the imaging control unit 257 (arrow 282). Further, the communication unit 256 supplies the imaging device 203 with an instruction, data, and the like supplied from the imaging control unit 257.
  • the imaging control unit 257 performs processing related to control of the imaging device 203. For example, the imaging control unit 257 acquires settings relating to the imaging start timing from the imaging timing setting unit 259 (arrow 285). In addition, the imaging control unit 257 supplies commands and data (settings and the like) to the imaging device 203 via the communication unit 256, and imaging of the screen 210 (projected image) by the imaging device 203 (for example, start and end thereof Control). For example, the imaging control unit 257 controls the imaging device 203 to start imaging at timing according to the setting supplied from the imaging timing setting unit 259.
  • the imaging control unit 257 acquires a captured image obtained by imaging the screen 210 (projected image) supplied from the imaging device 203 via the communication unit 256 (arrow 281, arrow 282).
  • the imaging control unit 257 supplies the acquired captured image to the pattern detection unit 258 (arrow 283).
  • the imaging control unit 257 supplies commands and data (settings and the like) to the imaging device 203 via the communication unit 256, and the optical system of the imaging device 203 (for example, aperture, focal length, imaging direction and tilt, etc.) May be controlled.
  • the pattern detection unit 258 performs processing related to pattern detection. For example, the pattern detection unit 258 acquires a captured image supplied from the imaging control unit 257 (arrow 283). Further, the pattern detection unit 258 has a buffer, and stores (holds) the acquired captured image in the buffer. When the pattern detection unit 258 acquires a superimposed image in which a positive image of a pattern image is superimposed on an image of content and a superimposed image in which a negative image of a pattern image is superimposed on an image of the content, the difference between them is obtained. Detects a pattern. The pattern detection unit 258 supplies the pattern detection result to the imaging timing setting unit 259 (arrow 284). The pattern detection unit 258 also supplies the pattern detection result to the corresponding point detection unit 260 (arrow 286).
  • the imaging timing setting unit 259 is a processing unit similar to the imaging timing setting unit 101 (FIG. 2), and performs processing regarding setting of the imaging start timing. For example, the imaging timing setting unit 259 acquires a pattern detection result from the pattern detection unit 258 (arrow 284). Further, the imaging timing setting unit 259 obtains a change in luminance of the pattern detection result, and sets (controls) the start timing of imaging based on the change in luminance. This setting method is the same as that of the imaging timing setting unit 101 described above. Then, the imaging timing setting unit 259 supplies the setting related to the determined imaging start timing to the imaging control unit 257 (arrow 285).
  • the corresponding point detection unit 260 performs processing regarding detection of corresponding points of pixels between the projection device 202 and the imaging device 203. For example, the corresponding point detection unit 260 acquires the pattern detection result from the pattern detection unit 258 (arrow 286). In addition, the corresponding point detection unit 260 detects a corresponding point of pixels between the projection device 202 and the imaging device 203 based on the pattern detection result (based on the detected pattern). The corresponding point detection unit 260 supplies the obtained detection result of the corresponding point to the image correction unit 254 (arrow 275).
  • the imaging timing setting unit 259 of the control device 201 initializes the imaging start timing (set to an initial value) in step S201.
  • This initial value may be any value (timing).
  • step S202 the image input unit 251 acquires an image to be projected.
  • step S203 the pattern combining unit 253 obtains a pattern image from the pattern image storage unit 252, superimposes the pattern image on the image obtained by the process of step S202, and generates a superimposed image.
  • step S204 the projection control unit 255 controls the projection device 202 via the communication unit 256 to project the superimposed image obtained by the process of step S203.
  • the projector 202 projects the superimposed image on the screen 210 according to the control.
  • step S205 the imaging control unit 257 controls the imaging apparatus 203 via the communication unit 256, and starts imaging of the screen 210 (projected image projected on the screen 210) at the set start timing.
  • the imaging device 203 captures an image of the screen 210 according to the control and obtains a captured image.
  • the imaging device 203 repeats imaging at a frame rate similar to that of the projection image so that each frame image (each superimposed image) can be ideally imaged.
  • step S206 the pattern detection unit 258 detects a pattern by obtaining a difference between two captured images captured continuously.
  • the two captured images taken consecutively include a projected image including a pattern whose positive and negative are opposite to each other, the image of the content is canceled by obtaining the difference between them. And the difference between the positive and negative images of the pattern is obtained, and the pattern is detected.
  • step S207 the imaging timing setting unit 259 obtains the change in luminance of the pattern for the detection result of the pattern obtained in the process of step S206, and based on the luminance change of the pattern, starts the imaging start timing by the imaging device 203. Set (control).
  • step S208 the imaging control unit 257 determines whether or not the imaging start timing is changed by the process of step S207 (control of the imaging start timing). If the imaging start timing is changed, the process returns to step S202.
  • the fact that the imaging start timing is changed indicates that the start timing is not yet set to the optimal timing (during the search for the optimal timing). Therefore, the processes of steps S202 to S208 are performed at the changed new start timing.
  • steps S202 to S208 is repeated while updating the start timing (while continuing the search) until the optimal start timing is determined (until the search is ended).
  • step S208 when it is determined in step S208 that the imaging start timing is not changed (that is, the search is ended), the process proceeds to step S209.
  • step S209 the corresponding point detection unit 260 detects corresponding points of pixels of the projection device 202 and the imaging device 203 based on the detection result of the pattern obtained by the process of step S206.
  • step S210 the image correction unit 254 performs geometric correction for correcting the position and distortion of the projected image on the superimposed image to be projected, based on the corresponding points detected in the process of step S209.
  • step S210 ends, the control process ends.
  • the imaging period can be set to an appropriate timing with respect to the display period, so that a more accurate pattern detection can be performed by a rolling shutter camera cheaper than a global shutter camera. Can. That is, grasping of the state of the projection image can be realized at lower cost.
  • Pattern image to be superimposed on the image of the content will be described. Basically, any pattern (shape, size, position, etc.) included in the pattern image may be used. For example, detection of corresponding points and control of start timing of imaging may be performed based on the same pattern, or may be performed based on patterns different from each other.
  • the pattern located at the top of the projection image and the pattern located at the bottom of the projection image may be used as a pattern for controlling the start timing of imaging.
  • the pattern located at the top of the projection image and the pattern located at the bottom of the projection image for controlling the start timing of the imaging are each in the horizontal direction as in the pattern image 310 of FIG. It may be a linear pattern having a longitudinal direction.
  • a linear pattern 311 whose longitudinal direction is the horizontal direction is provided, and at the lower end, a similar linear pattern 312 is provided.
  • a superimposed image 321 in FIG. 11 is an example of a composite image in which a positive image of the pattern image 310 is superimposed on an image of content.
  • the superimposed image 322 in FIG. 11 is an example of a composite image in which the negative image of the pattern image 310 is superimposed on the image of the content.
  • a reduction in luminance occurs in the lower part of the pattern detection result, so that a pattern detection result 332 as shown in B of FIG. 12 is obtained.
  • the pattern detection result 332 the pattern 311 is detected with the correct brightness, but the brightness of the pattern 312 is reduced (or not detected).
  • the pattern detection result 333 as shown in C of FIG. 12 is obtained.
  • the pattern detection result 333 although the pattern 312 is detected with the correct luminance, the luminance of the pattern 311 is reduced (or not detected).
  • the pattern 311 and the pattern 312 can be identified by making it possible to identify the pattern for controlling the start timing of imaging as a shape different from the pattern for detecting the corresponding points or the like. It can be easily grasped that a change in luminance has occurred in a pattern for controlling the start timing. In particular, by using a linear pattern as described above, it can be easily grasped that the pattern is the pattern of the upper end or the lower end.
  • the shape of the pattern for controlling the start timing of this imaging is arbitrary, and is not limited to the above-mentioned example.
  • the pattern located at the top of the projection image and the pattern located at the bottom of the projection image are each composed of a plurality of patterns arranged in the horizontal direction. You may do so.
  • circular patterns 341-1 to 341-7 are formed.
  • circular patterns 342-1 to 342-7 are formed at the lower end of the pattern image.
  • the patterns 341-1 to 341-7 need not be distinguished from one another, they will be referred to as patterns 341.
  • the patterns 342-1 to 342-7 do not need to be distinguished from one another, they are referred to as a pattern 342.
  • a pattern for controlling the start timing of imaging formed at the upper end or the lower end of the pattern image may be configured by a plurality of patterns (as a pattern group).
  • the pattern image 340 by counting the number of detected patterns, it is possible to easily grasp in what range of the upper end or the lower end of the pattern detection result the luminance change occurs. .
  • the number of patterns 341 and 342 is arbitrary.
  • the pattern 341 and the pattern 342 may not be the same number.
  • the shape of each of the patterns constituting the pattern 341 and the pattern 342 is arbitrary, and may be other than the circular shape described above. For example, it may be any polygon such as a triangle, a quadrangle, a pentagon, a hexagon, a star, an arrow or the like, or may be a letter, a number, a symbol or the like.
  • the patterns constituting the pattern 341 (or the pattern 342) may not have the same shape.
  • patterns for controlling the start timing of imaging may be provided at the four corners of the pattern image (projected image). In that case, it is desirable that the pattern has a shape that can identify that it is a pattern provided at four corners.
  • FIG. 14 is a diagram illustrating an example of display and imaging timings when the projection device 202 repeatedly displays the same image twice.
  • the projection device 202 displays the image of frame A (superimposed image 131) twice in the display period 11-1 and the display period 11-2, and the display period 12-1 and the display period In 12-2, the image of frame B (superimposed image 132) is displayed twice. That is, the projection device 202 repeats each superimposed image twice and displays it at double speed.
  • a display period of a single superimposed image for example, the display period 11-1 and the display period 11- It is possible not to distinguish 2). That is, by this double-speed processing, the same situation and effect as in the case of reducing the exposure time of the above-described imaging (FIG. 7) can be obtained. Therefore, for example, a pattern image 310 as shown in FIG. 11 can also be used.
  • the projection device 202 represents luminance by PWM (Pulse Width Modulation) driving, which is a display method in which a light emitting element blinks and expresses pixel luminance in the lighting time
  • PWM Pulse Width Modulation
  • the imaging device 203 corresponds to one frame. If the exposure is not performed, the brightness can not be correctly imaged.
  • the imaging device 203 can correctly capture the brightness of the projected image, and as in the other examples described above, the pattern is correctly captured. Detection can be performed. That is, the projection device 202 may be driven by the Pulse Width Modulation method, and may project an image including patterns whose positive and negative are mutually opposite by two frames.
  • the projection image projected on the screen 210 by the projection device 202 may be tilted with respect to the captured image captured by the imaging device 203.
  • the projection start timing of the projected image 382 is the imaging start timing of the captured image 381. It is assumed that it is located near the center in the vertical direction.
  • the projection start timing of the projected image 382 is different from that of FIG. Move to the upper side in the vertical direction of the start timing. Therefore, at the same imaging start timing as in the case of FIG. 15, as shown in FIG. 16, the imaging period overlaps a plurality of display periods on the lower side of the captured image, and pattern detection may not be performed correctly.
  • the projection start timing of the projected image 382 is the imaging start timing of the captured image 381 compared to the case of FIG. 15. Move downward in the vertical direction of the Therefore, at the same imaging start timing as in the case of FIG. 15, the imaging period overlaps a plurality of display periods on the upper side of the captured image, and pattern detection may not be performed correctly.
  • the control device 201 controls the start timing of imaging based on the pattern detection result. In other words, the control device 201 controls the start timing of imaging so that the pattern is correctly detected. Therefore, it is possible to control the start timing of imaging so as to appropriately cope with such inclination of the projection image.
  • the pattern detection result 391 shown in FIG. 18 is obtained by projecting the superimposed image 321 and the superimposed image 322 shown in FIG. 11 and detecting a pattern from a captured image of the projected image.
  • the pattern detection result 391 although the pattern 311 at the upper end of the pattern image is detected, only a part of the pattern 312 at the lower end is detected. That is, the luminance change occurs in part of the pattern 312.
  • the direction and degree of inclination of the projected image with respect to the captured image can be estimated by the occurrence position and range of the luminance change. For example, it is possible to estimate which side is inclined to the left or right depending on whether a luminance change occurs in a part of the upper end pattern 311 or a luminance change occurs in a part of the lower end pattern 312. In addition, it is possible to estimate how much it tilts in accordance with the size of the generation range of the luminance change.
  • the control device 201 (imaging timing setting unit 259) may search the start timing of imaging more efficiently based on such estimation. By doing this, the appropriate start timing can be determined faster.
  • the superimposed image to be projected may be geometrically corrected and projected so as to reduce the inclination and distortion of the projected image.
  • FIG. 19 is a block diagram showing a main configuration example of the control device 201 in that case.
  • the image correction unit 254 when the change in luminance can not be made sufficiently small by control of the imaging start timing by the imaging timing setting unit 259, the image correction unit 254 performs geometric correction on the projected image.
  • the imaging timing setting unit 259 searches for the imaging start timing and supplies a request for geometric correction to the image correction unit 254 (arrow 411) when an appropriate start timing can not be obtained.
  • the image correction unit 254 receives the request, the image correction unit 254 performs geometric correction on the superimposed image.
  • the imaging timing setting unit 259 may supply information useful for geometric correction to the image correction unit 254, and the image correction unit 254 may perform geometric correction using the information.
  • the imaging timing setting unit 259 may provide the image correction unit 254 with information indicating whether or not the projection image is inclined with respect to the imaged image, and information indicating the direction and degree of the inclination. By performing geometric correction using such information, the image correction unit 254 can perform geometric correction in a method according to the change in luminance. Therefore, the image correction unit 254 can perform more appropriate geometric correction with respect to control of the imaging start timing.
  • step S208 the imaging timing setting unit 259 determines whether or not geometric correction is necessary. If it is determined that the geometric correction is necessary, the process proceeds to step S309. In step S309, the image correction unit 254 performs geometric correction on the superimposed image. When the process of step S309 ends, the process returns to step S301, and the subsequent processes are executed again.
  • step S308 If it is determined in step S308 that geometric correction is not necessary, the process proceeds to step S310.
  • the imaging control unit 257 determines whether or not the imaging start timing is changed by the process of step S307 (control of imaging start timing). If the imaging start timing is changed, the process returns to step S302, and the processes of steps S302 to S310 are performed at the changed new start timing.
  • steps S302 to S310 is repeated while updating the start timing (while continuing the search) until the optimum start timing is determined (until the search ends). Then, when it is determined in step S310 that the imaging start timing is not changed (that is, the search is ended), the process proceeds to step S311.
  • step S311 and step S312 are performed similarly to each process of step S209 and step S210 of FIG.
  • the control process ends.
  • the imaging period can be made appropriate timing with respect to the display period in more various situations, so that the rolling shutter camera, which is cheaper than the global shutter camera, is more accurate. It is possible to detect patterns. That is, grasping of the state of the projection image can be realized at lower cost.
  • the exposure time of imaging may be controlled. More specifically, for example, when an appropriate start timing of imaging can not be obtained, the exposure time may be shortened. At this time, the minimum exposure time may be provided so that the exposure time is not shorter than that. In addition, when an appropriate start timing can be obtained, the exposure time may be made as long as possible.
  • the change in brightness due to the control of the length of the exposure time is the brightness change due to the start timing of imaging described above (the imaging period overlaps with a plurality of display periods).
  • the judgment standard for example, the threshold value
  • the threshold value is controlled (that is, the threshold value is changed) according to the length of the exposure time. It is also good.
  • Control device> The configuration of the control device 201 in this case is basically the same as that described with reference to the block diagram of FIG. However, in this case, the imaging timing setting unit 259 controls not only the imaging start timing but also the imaging exposure time as described above based on the pattern detection result.
  • step S407 the imaging timing setting unit 259 obtains a change in luminance of the pattern from the detection result of the pattern obtained in the process of step S206, and based on the luminance change of the pattern, starts the imaging by the imaging device 203 and Set (control) the exposure time.
  • steps S408 to S410 are performed in the same manner as the processes of steps S208 to S210 of FIG.
  • step S410 ends, the control process ends.
  • the imaging period can be set to an appropriate timing with respect to the display period, so that a more accurate pattern detection can be performed by a rolling shutter camera cheaper than a global shutter camera. Can. That is, grasping of the state of the projection image can be realized at lower cost.
  • the configuration of the projection imaging system 200 is arbitrary, and is not limited to the example described above.
  • the control device 201 and the imaging device 203 may be integrated.
  • the projection imaging system 200 is configured by the projection device 202 and the imaging device 603.
  • the projection device 202 and the imaging device 603 are communicably connected to each other according to an arbitrary configuration.
  • the imaging device 603 incorporates a control unit 601 having the same function as the control device 201 described above, and has the functions of the control device 201 and the imaging device 203 described above.
  • the imaging device 603 captures the projection image projected on the projection plane to generate a captured image, and the control unit 601 generates a captured image based on the change in luminance in the detection result of the pattern obtained using the captured image. , Control the start timing of imaging.
  • the imaging device 603 captures an image of a subject by a rolling shutter method. Therefore, also in this case, it is possible to realize grasping of the state of the projection image more inexpensively.
  • the control device 201 and the projection device 202 may be integrated.
  • the projection imaging system 200 is configured of the projection device 612 and the imaging device 203.
  • the projection device 612 and the imaging device 203 are communicably connected to each other in an arbitrary configuration.
  • the projection device 612 incorporates a control unit 611 having the same function as the control device 201 described above, and has the functions of the control device 201 and the projection device 202 described above.
  • the projection device 612 continuously projects images including patterns whose positive and negative sides are opposite to each other, and the imaging device 203 captures a projected image projected on the projection plane to generate a captured image. Controls the start timing of imaging based on the change in luminance in the detection result of the pattern obtained using the captured image. Further, the projection device 612 projects an image by a sequential scanning method. Therefore, also in this case, it is possible to realize grasping of the state of the projection image more inexpensively.
  • the projection imaging system 200 may be realized as an apparatus.
  • the projection imaging apparatus 620 has the same function as the projection imaging system 200. That is, the projection imaging apparatus 620 includes the control unit 621, the projection unit 622, and the imaging unit 623.
  • the control unit 621 has the same function as the control device 201 described above
  • the projection unit 622 has the same function as the projection device 202 described above
  • the imaging unit 623 has the same function as the imaging device 203 described above. Therefore, also in this case, it is possible to realize grasping of the state of the projection image more inexpensively.
  • the projection device 202 and the imaging device 203 may be integrated. That is, the projection imaging system 200 may be configured by the control device 201 and the projection imaging device having the functions of both the projection device 202 and the imaging device 203.
  • the projection imaging system 200 may have a plurality of these various devices.
  • a plurality of projection devices and a plurality of imaging devices may be provided.
  • the number of devices may not be uniform.
  • the number of projection devices and the number of imaging devices may be different from each other.
  • each device may have functions other than those described above.
  • the projection imaging system 200 may include devices other than these devices.
  • the display period is described to be a parallelogram in the above (in particular, although it is illustrated in FIG. 1, FIG. 5 to FIG. 7, FIG. 14 to FIG. 17 etc.), this is only an example.
  • the shape of is arbitrary.
  • the shape of the display period depends on the scanning method (the projection order of each pixel) of the projector (for example, the projection device 202) or the like. That is, the scanning method is arbitrary, and is not limited to the above-described example (the sequential scanning method of projecting in order from the upper row to the lower row of the image).
  • a sequential scanning method may be used in which projection is performed in the order from the lower row to the upper row of the image, an interlace scanning method, or any other method.
  • the imaging period is described as a parallelogram (in particular, although illustrated in FIGS. 1, 6, 7 and 14 to 17), this is an example, and this imaging period is an example.
  • the shape of is arbitrary.
  • the shape of the imaging period depends on the scanning method (the signal readout order of each pixel) of the camera (for example, the imaging device 203) or the like. That is, the scanning method is arbitrary, and is not limited to the above-described example (rolling shutter method of reading signals in order from the upper row to the lower row of the pixel area).
  • a rolling shutter method may be used in which signals are read in order from the lower row to the upper row of the pixel area, or a method may be used in which signals are read out for each column. It may be a method of reading a signal, or may be another method.
  • one of the present disclosure controls imaging start timing (time to set an imaging trigger) based on luminance change in pattern detection result, but the shapes of the display period and the imaging period are not limited. . That is, scanning methods for projection and imaging are arbitrary.
  • the start timing (which time the appropriate timing is) for overlapping the multiple display periods in which the imaging periods are different from each other is the shape of each of the display period and the imaging period (that is, the projection And the scanning method of imaging), the present disclosure can be applied to any shape.
  • the following 2 as an example of estimating the direction or position where the minimum value can be obtained (appropriate timing can be obtained)
  • the first example is an example in which it is estimated that the luminance change is minimized by delaying the start timing of imaging when the luminance change of the lower pattern is larger than the luminance change of the upper pattern.
  • the second is an example in which it is estimated that the luminance change is minimized by advancing the start timing of imaging when the luminance change of the upper pattern is larger than the luminance change of the lower pattern.
  • the shapes of the display period and the imaging period are arbitrary.
  • the method of estimating the direction or position from which the appropriate timing is obtained also depends on the shapes of the display period and the imaging period. Therefore, the method of estimating the direction or position from which the appropriate timing can be obtained is arbitrary, and is not limited to the above-described example.
  • the control process described above it may not be possible to obtain an appropriate imaging start timing by the control process described above.
  • error processing such as displaying a warning may be performed, or the best time (for example, the ratio in which the imaging period overlaps the single display period becomes the largest (ratio overlapping in the other display periods) May be selected as the imaging start timing.
  • the series of processes described above can be performed by hardware or software. In addition, some processes may be executed by hardware and other processes may be executed by software.
  • a program that configures the software is installed on a computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 23 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 901, a read only memory (ROM) 902, and a random access memory (RAM) 903 are mutually connected via a bus 904.
  • An input / output interface 910 Also connected to the bus 904 is an input / output interface 910.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, and an output terminal.
  • the storage unit 913 is formed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives removable media 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the program. Processing is performed.
  • the RAM 903 also stores data necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by attaching the removable media 921 to the drive 915.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in the ROM 902 or the storage unit 913.
  • the present technology can be applied to any configuration installed in an apparatus or an apparatus, for example, a processor (eg, a video processor) as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, etc. (eg, video It can also be implemented as a module), a unit using a plurality of modules (e.g., a video unit), a set (e.g., a video set) in which other functions are added to the unit, etc. (i.e. part of the apparatus).
  • a processor eg, a video processor
  • LSI Large Scale Integration
  • the present technology can also be applied to a network system configured by a plurality of devices.
  • the present invention may also be applied to cloud services that provide services related to images (moving images) to arbitrary terminals such as computers, AV (Audio Visual) devices, portable information processing terminals, and IoT (Internet of Things) devices. it can.
  • systems, devices, processing units, etc. to which the present technology is applied may be used in, for example, transportation, medical, crime prevention, agriculture, animal husbandry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. Can. Moreover, the use is also arbitrary.
  • the present technology can be applied to systems and devices provided for provision of ornamental content and the like.
  • the present technology can be applied to systems and devices provided for traffic, such as traffic condition supervision and automatic operation control.
  • the present technology can be applied to systems and devices provided for security.
  • the present technology can be applied to a system or device provided for automatic control of a machine or the like.
  • the present technology can be applied to systems and devices provided for use in agriculture and livestock.
  • the present technology can also be applied to systems and devices that monitor natural conditions such as, for example, volcanoes, forests, and oceans, and wildlife.
  • the present technology can be applied to systems and devices provided for sports.
  • the present technology relates to any configuration that configures an apparatus or system, for example, a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, a unit using a plurality of modules, etc. It can also be implemented as a set or the like with additional functions (ie, part of the configuration of the device).
  • a processor as a system LSI (Large Scale Integration) or the like
  • a module using a plurality of processors a unit using a plurality of modules, etc.
  • additional functions ie, part of the configuration of the device.
  • the system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network and one device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described as a plurality of devices (or processing units) in the above may be collectively configured as one device (or processing unit).
  • configurations other than those described above may be added to the configuration of each device (or each processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) if the configuration or operation of the entire system is substantially the same. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • the program described above can be executed on any device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processes described as a plurality of steps can be collectively performed as one step.
  • the process of the step of writing the program may be executed in chronological order according to the order described in the present specification, or the call is performed in parallel or It may be individually executed at necessary timing such as time. That is, as long as no contradiction arises, the processing of each step may be performed in an order different from the order described above. Furthermore, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
  • the present technology can also have the following configurations.
  • Start timing of imaging for obtaining the pickup image based on a change in luminance in a detection result of a predetermined pattern included in the projection image obtained using the pickup image of the projection image projected on the projection plane An image processing apparatus comprising: a control unit that controls (2) The image processing apparatus according to (1), wherein the control unit controls the start timing of the imaging so that the change in luminance is equal to or less than a predetermined threshold. (3) The image processing apparatus according to (1) or (2), wherein the control unit controls the start timing of the imaging so as to minimize the change in luminance.
  • the control unit is configured to start timing of the imaging based on a change in luminance of at least one of the pattern located at the top of the projected image and the pattern located at the bottom of the projected image.
  • the image processing apparatus according to any one of (1) to (3).
  • the control unit causes the start timing of the imaging to be earlier if the change in luminance of the pattern located at the top of the projected image is larger than the change in luminance of the pattern located at the bottom of the projected image.
  • the control unit delays the start timing of the imaging when the luminance change of the pattern located at the lowermost position of the projection image is larger than the luminance change of the pattern located at the uppermost position of the projected image.
  • the image processing apparatus according to (4) or (5).
  • the pattern located at the top of the projection image and the pattern located at the bottom of the projection image are linear patterns whose longitudinal direction is the horizontal direction. (4) to (6) The image processing apparatus according to any one of the above. (8) The pattern positioned at the top of the projected image and the pattern positioned at the bottom of the projected image are each configured of a plurality of patterns arranged in the horizontal direction. (4) to (7) The image processing apparatus described in. (9) The image processing apparatus according to any one of (1) to (8), wherein the control unit further controls an exposure time of the imaging.
  • the pattern detection unit further includes a pattern detection unit that detects the pattern using differences between captured images of two continuously projected projection images that include patterns whose positive and negative are reverse to each other,
  • the image processing apparatus according to any one of (1) to (9), wherein the control unit controls the start timing of the imaging based on a change in luminance in a detection result of the pattern by the pattern detection unit.
  • a corresponding point detection unit that detects a corresponding point between the projected image and the captured image based on the detection result of the pattern.
  • the image processing apparatus according to any one of (1) to (10), further comprising: a geometric correction unit that performs geometric correction on the projected image based on the detection result of the corresponding point by the corresponding point detection unit .
  • the geometric correction unit performs geometric correction on a projected image when the change in luminance can not be made sufficiently small by the control of the start timing of the imaging by the control unit.
  • Image processing device (13) The image processing apparatus according to (12), wherein the geometric correction unit performs the geometric correction by a method according to the change in luminance.
  • the image capturing apparatus further includes an imaging unit that captures the projection image to obtain the captured image.
  • the control unit controls the start timing of the imaging based on a change in luminance in a detection result of the pattern obtained using the captured image obtained by the imaging unit.
  • the projector further includes a projection unit that continuously projects images including patterns whose positive and negative sides are opposite to each other,
  • the control unit controls the start timing of the imaging based on a change in luminance in the detection result of the pattern obtained using the captured image of the projection image projected on the projection plane by the projection unit.
  • the image processing apparatus according to any one of 1) to (15).
  • the projection unit is driven by a pulse width modulation method and projects an image including positive and negative opposite patterns by two frames.
  • a projection apparatus having a projection unit that continuously projects images including patterns whose positive and negative are reverse to each other,
  • An imaging device including an imaging unit configured to capture a projected image projected on a projection plane by the projection unit; The start timing of imaging for obtaining the captured image by the imaging unit is controlled based on the change in luminance in the detection result of the pattern included in the projection image obtained using the captured image obtained by the imaging unit.
  • An image processing system comprising: a control device having a control unit;
  • DESCRIPTION OF SYMBOLS 100 control device, 101 imaging timing setting unit, 200 projection imaging system, 201 control device, 202 projection device, 203 imaging device, 251 image input unit, 252 pattern image storage unit, 253 pattern combining unit, 254 image correction unit, 255 projection Control unit, 256 communication unit, 257 imaging control unit, 258 pattern detection unit, 259 imaging timing setting unit, 260 corresponding point detection unit, 601 control unit, 603 imaging device, 611 control unit, 612 projection device, 620 projection imaging device, 621 control unit, 622 projection unit, 623 imaging unit, 900 computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示は、投影画像の状態の把握をより安価に実現することができるようにする画像処理装置および方法、並びに、画像処理システムに関する。 投影面に投影された投影画像の撮像画像を用いて得られたその投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、撮像画像を得るための撮像の開始タイミングを制御する。本開示は、例えば、画像処理装置、画像投影装置、制御装置、情報処理装置、画像投影システム、画像処理システム、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法、並びに、画像処理システム
　本開示は、画像処理装置および方法、並びに、画像処理システムに関し、特に、投影画像の状態の把握をより安価に実現することができるようにした画像処理装置および方法、並びに、画像処理システムに関する。
　従来、プロジェクタにより投影された投影画像の歪みの低減等のために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等を推定し、それらに応じた投影画像の幾何補正を行う方法があった。例えば、スクリーンが、プロジェクタに正対してない場合、カメラでスクリーンに投影された投影画像を撮影し、投影画像が台形状などに変形していれば、スクリーン上に正しく投影されるよう、投影する画像を逆台形状に補正する等の処理があった。
　このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があり、この対応点を求める方法として、コンテンツの視聴中にセンシングを行うISL（Imperceptible Structured Light）が提案された（例えば、非特許文献１参照）。ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。
Imperceptible Structured Light Ramesh Raskar, SIGGRAPH 98
　しかしながら、この方法を安価なローリングシャッタ方式のカメラを用いて行うと、撮像画像1フレームに複数フレームの投影画像が映り込むため、撮像画像からパタン画像を抽出することが困難であった。そのため、投影画像の状態を把握するために、高価なグローバルシャッタ方式のカメラを用いなければならず、コストが増大するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、投影画像の状態の把握をより安価に実現することができるようにするものである。
　本技術の一側面の画像処理装置は、投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する制御部を備える画像処理装置である。
　本技術の一側面の画像処理方法は、投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する画像処理方法である。
　本技術の他の側面の画像処理システムは、正負が互いに逆のパタンを含む画像を連続して投影する投影部を有する投影装置と、前記投影部により投影面に投影された投影画像を撮像する撮像部を有する撮像装置と、前記撮像部により得られた撮像画像を用いて得られた前記投影画像に含まれる前記パタンの検出結果における輝度変化に基づいて、前記撮像部による前記撮像画像を得るための撮像の開始タイミングを制御する制御部を有する制御装置とを備える画像処理システムである。
　本技術の一側面の画像処理装置および方法においては、投影面に投影された投影画像の撮像画像を用いて得られたその投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、撮像画像を得るための撮像の開始タイミングが制御される。
　本技術の他の側面の画像処理システムにおいては、投影装置において、正負が互いに逆のパタンを含む画像が連続して投影され、撮像装置において、投影面に投影された投影画像が撮像され、制御装置において、その撮像画像を用いて得られた投影画像に含まれるそのパタンの検出結果における輝度変化に基づいて、撮像画像を得るための撮像の開始タイミングが制御される。
　本開示によれば、画像を処理することができる。特に、投影画像の状態の把握をより安価に実現することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
撮像タイミング制御の様子の例を説明するための図である。 制御装置の主な構成例を示すブロック図である。 制御処理の流れの例を説明するフローチャートである。 投影する画像とパタン画像の例を示す図である。 表示画像と表示タイミングの例を説明するための図である。 表示と撮像のタイミングの例を示す図である。 表示と撮像のタイミングの例を示す図である。 投影撮像システムの主な構成例を示す図である。 制御装置の主な構成例を示すブロック図である。 制御処理の流れの例を説明するフローチャートである。 パタンの例を示す図である。 パタン検出結果の例を示す図である。 パタンの例を示す図である。 表示と撮像のタイミングの例を示す図である。 表示画像の傾きについて説明する図である。 表示画像の傾きについて説明する図である。 表示画像の傾きについて説明する図である。 表示画像の傾きについて説明する図である。 制御装置の他の構成例を示すブロック図である。 制御処理の流れの例を説明するフローチャートである。 制御処理の流れの例を説明するフローチャートである。 投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（制御装置）
　２．第２の実施の形態（画像投影システム）
　　２－１．投影撮像システム
　　２－２．パタン
　　２－３．PWM
　　２－４．投影画像の傾き
　３．第３の実施の形態（幾何補正）
　４．第４の実施の形態（露光時間制御）
　５．第５の実施の形態（画像投影システム・他の構成例）
　６．付記
　＜１．第１の実施の形態＞
　　＜撮像の開始タイミングの制御＞
　図１は、表示（画像投影）と撮像タイミング制御の様子の例を示している。図１において、表示期間１１は、フレームＡの画像が表示される（投影される）期間を示している。表示期間１２は、フレームＢの画像が表示される（投影される）期間を示している。図中、左から右に向かって時刻が進み、これらの表示期間の上下方向は、表示される（投影される）画像の上下方向を示す。プロジェクタが画像の上の行から下の行に向かう順に投影する順次走査方式で表示（画像投影）を行うため、表示期間は図１のように平行四辺形状となる。
　撮像期間２１は、フレームＡの投影画像（投影面に投影された画像）を撮像する期間を示している。撮像期間２２は、フレームＢの投影画像を撮像する期間を示している。表示期間の場合と同様、図中、左から右に向かって時刻が進み、撮像期間の上下方向は、撮像画像の上下方向を示す。カメラが画素領域の上の行から下の行に向かう順に信号を読み出すローリングシャッタ方式で撮像を行うため、撮像期間は図１のように平行四辺形状となる。
　本開示の１つは、この撮像期間の開始タイミングを、撮像画像から得られるパタン検出結果に基づいて行うことである。すなわち、投影面に投影された投影画像の撮像画像を用いて得られたその投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、撮像画像を得るための撮像の開始タイミングを制御するようにする。
　例えば、図１において矢印で示される撮像開始タイミング３１（撮像トリガを立てる時刻）は、撮像期間２１が開始されるタイミング（時刻）である。この撮像開始タイミング３１とする時刻（撮像トリガを立てる時刻）を、両矢印４１に示されるように、パタン検出結果に基づいて設定する（制御する）。同様に、撮像開始タイミング３２（撮像トリガを立てる時刻）は、撮像期間２２が開始されるタイミング（時刻）であり、この撮像開始タイミング３２とする時刻（撮像トリガを立てる時刻）を、両矢印４２に示されるように、パタン検出結果に基づいて設定する（制御する）。
　このようにすることにより、撮像期間を表示期間に対して適切なタイミングとすることができ、より正確にパタンの検出を行うことができるようになる。つまり、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができ、カメラとプロジェクタの対応点をより正確に求めることができるようになる。すなわち、投影画像の状態の把握をより安価に実現することができる。付言するに、投影する画像のより適切な幾何補正をより安価に実現することができる。
　　＜制御装置＞
　図２は、本技術を適用した画像処理装置の一実施の形態である制御装置の主な構成例を示すブロック図である。図２に示される制御装置１００は、撮像部による投影面に投影された投影画像の撮像の開始タイミング（撮像トリガを立てる時刻）を制御する装置である。図２に示されるように、制御装置１００は、撮像タイミング設定部１０１を有する。
　撮像タイミング設定部１０１は、投影面に投影された投影画像の撮像画像を用いて得られた、その投影画像に含まれる所定のパタンの検出結果を入力とする。撮像タイミング設定部１０１は、そのパタンの検出結果における輝度変化に基づいて、投影画像の撮像画像を得るための撮像の開始タイミングを制御（設定）する。撮像タイミング設定部１０１は、その設定（撮像タイミング設定）を制御装置１００の外部に出力する。例えば、撮像タイミング設定部１０１は、その撮像タイミング設定を、撮像部（または撮像部を制御する撮像制御部）等に供給し、その設定したタイミングで撮像を開始させる。
　　＜制御処理の流れ＞
　この制御装置１００により実行される制御処理の流れの例を、図３のフローチャートを参照して説明する。制御処理が開始されると、制御装置１００の撮像タイミング設定部１０１は、ステップＳ１０１において、供給されたパタン検出結果の輝度変化に基づいて、撮像の開始タイミングを設定（制御）し、その設定を出力する。ステップＳ１０１の処理が終了すると、制御処理が終了する。
　このようにすることにより、撮像期間を表示期間に対して適切なタイミングとすることができるので、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
　　＜投影画像の幾何補正＞
　以下により具体的に説明する。プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、投影画像の歪みを低減し、見やすくすることができる。
　本明細書においては、投影画像の変形、移動、拡大、縮小等、投影画像の各画素の投影面における位置が変化する補正を幾何補正と称する。つまり、「幾何補正」には、画像処理によるものだけでなく、シフトやズーム等の光学系の制御によるものや、投影部の姿勢等の制御によるもの等も含まれるものとする。また、本明細書において、投影部や撮像部等の「姿勢」には、それらの「向き」（投影や撮像の向き）だけでなく、それらの「位置」（投影や撮像を行う位置）も含まれるものとする。
　このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正の設定を行う方法が考えられた。この場合、撮像画像に含まれる投影画像から、カメラやプロジェクタの姿勢や、スクリーン形状等が推定され、それらに応じて適切な幾何補正が設定される。
　　＜オンラインセンシング＞
　このような幾何補正の設定は、コンテンツ（動画像）の投影前だけでなく、コンテンツの投影中に必要になる場合もある。例えば、コンテンツの投影中にプロジェクタの姿勢が変化すると、投影画像に歪みが生じてしまう。このような場合、幾何補正を適切な設定にするためには、このプロジェクタの姿勢を推定し直す必要がある。しかしながら、そのためにコンテンツの投影を中断するのは、コンテンツを視聴しているユーザにとって、そのコンテンツの視聴を妨げることになり、好ましくない。そこで、コンテンツの投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。
　オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL（Imperceptible Structured Light）方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ（例えばInfraredプロジェクタ）がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。
　これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
　　＜ISL方式＞
　ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。より具体的に説明すると、入力画像（コンテンツの画像）に対して、所定のパタン画像（Structured Light）のポジ画像とネガ画像とがそれぞれ重畳され、ポジフレーム（Pos Frame）とネガフレーム（Neg Frame）との２フレームが生成される。
　例えば、投影する前に、パタン合成部が、図４のＡに示されるような、投影するコンテンツのフレーム画像であるフレーム画像１２１に、図４のＢに示されるようなパタン画像１２２－１とパタン画像１２２－２をそれぞれ重畳し、２枚の重畳画像を生成する。
　パタン画像１２２－１は、プロジェクタ（投影部）とカメラ（撮像部）との間の画素の対応点の検出に利用可能なパタン１２３－１を含む画像である。図４のＢにおいては、パタン１２３－１が円形のパタンにより構成されるように示されているが、このパタン１２３－１は、対応点の検出が可能なものであれば、どのような絵柄のパタンにより構成されるようにしてもよい。なお、パタン１２３－１の輝度値は、周囲のパタン以外の部分よりも正の方向に変化している。つまり、パタン画像１２２－１は、正のパタン画像である。
　パタン画像１２２－２は、パタン画像１２２－１と同様に、プロジェクタとカメラとの間の画素の対応点の検出に利用可能なパタン１２３－２を含む画像である。このパタン１２３－２は、パタン１２３－１と同一の絵柄のパタンにより構成され、かつ、その輝度値は、周囲のパタン以外の部分よりも負の方向に変化している。つまり、パタン１２３－２は、パタン１２３－１と同一の絵柄で、かつ、輝度値変化が逆向きのパタンにより構成される。つまり、パタン画像１２２－２は、負のパタン画像である。
　以下において、パタン画像１２２－１とパタン画像１２２－２とを互いに区別して説明する必要が無い場合、パタン画像１２２と称する。また、パタン１２３－１とパタン１２３－２とを互いに区別して説明する必要が無い場合、パタン１２３と称する。
　　＜表示と撮像のタイミングによるパタン検出への影響＞
　この２フレーム（重畳画像）を、順次走査方式で駆動するプロジェクタにより順次投影させる。図５は、表示タイミングの様子の例を示す図であり、図１と同様の見方をする図である。図５に示されるように、重畳画像１３１がフレームＡの画像として投影され、重畳画像１３２がフレームＢの画像として投影される。つまり、重畳画像１３１と重畳画像１３２とが連続して（順次）投影される。
　重畳画像１３１は、フレーム画像１２１とパタン画像１２２－１とを重畳した合成画像である。重畳画像１３２は、フレーム画像１２１とパタン画像１２２－２とを重畳した合成画像である。
　プロジェクタが順次走査方式で画像を投影するため、図５に示されるように、重畳画像１３１（フレームＡ）の表示期間１１は平行四辺形状となる。つまり、画像の下側程、表示の開始タイミングが遅れる。また、重畳画像１３２（フレームＢ）の表示期間１２も同様に平行四辺形状となる。
　パタン画像のポジ画像（正のパタン画像とも称する）とネガ画像（負のパタン画像とも称する）は、パタンの輝度値変化方向が互いに逆向き（例えば白と黒）であるので、プロジェクタからこれらの２フレームが連続して投影されると、ユーザには、積分効果によりこのパタン画像（ポジ画像とネガ画像）を知覚することが困難になる。
　ただし、各フレームの投影画像をカメラで撮像し、その撮像画像の差分を求めると、理想的には、コンテンツの画像が消去され、パタン画像（ポジ画像とネガ画像の差分、すなわちポジ画像の２倍）が抽出される。このパタン画像を用いてプロジェクタとカメラの画素の対応点を検出することができる。つまり、コンテンツの視聴を妨げずに、対応点を検出する（さらには動画像の幾何補正を行う）ことができる。
　このようなシステムのカメラとして、ローリングシャッタ方式のカメラを用いる場合の、撮像タイミングの例を図６に示す。図６に示されるように、この場合、フレームＡの投影画像を撮像する撮像期間２１は平行四辺形状となる。つまり、画像の下側程、撮像の開始タイミングが遅れる。また、フレームＢの投影画像を撮像する撮像期間２２も同様に平行四辺形状となる。
　仮に、図６のように、プロジェクタの投影画角とカメラの撮像画角とを完全に一致させ、かつ、表示（投影）と撮像を互いに完全に同一のタイミングで行うようにすると、撮像期間２１においては、表示期間１１に投影された投影画像（例えば重畳画像１３１）のみを含む撮像画像が得られ、撮像期間２２においては、表示期間１２に投影された投影画像（例えば重畳画像１３２）のみを含む撮像画像が得られる。したがって、両撮像画像の差分を求めることにより、正確にパタンを検出することができる。
　しかしながら、実際には、プロジェクタの投影画角を正確に把握することができない（不明であるからこそ、対応点検出や幾何補正が必要になる）。そのため、投影画像の位置がずれたり、歪んだりしてもできる限り撮像画像に含まれるように、カメラの撮像画角は、投影画角よりも広く設定される。また、高精度に撮像と投影の同期をとることは、現実的には容易ではなく、コストが増大するおそれがある。したがって、表示期間と撮像期間とを図６のように完全に一致させることは現実的には困難である。
　そこで、図７に示される例のように、撮像の露光期間（撮像期間の水平方向の長さ）を表示期間よりも短くする。このようにすることにより、撮像期間２１において得られる撮像画像には、表示期間１１に投影されたフレームＡの投影画像（例えば重畳画像１３１）のみが含まれる（その他のフレームの投影画像が含まれないという意味）ようにすることができる。同様に、撮像期間２２において得られる撮像画像には、表示期間１２に投影されたフレームＢの投影画像（例えば重畳画像１３２）のみが含まれる（その他のフレームの投影画像が含まれないという意味）ようにすることができる。
　しかしながらこの場合、上述したように、撮像画角を投影画角より広くしているため、投影画像と撮像画像とでは垂直方向の長さが互いに異なる。ただし、フレームレート（Vsyncの長さ）は互いに同一であるため、図７に示されるように、表示期間１１および表示期間１２の傾斜角と撮像期間２１および撮像期間２２の傾斜角とが互いに異なる。したがって、この場合、撮像開始タイミング３１や撮像開始タイミング３２の設定が難しくなる。
　例えば、図１のように、この撮像開始タイミング３１や撮像開始タイミング３２を、表示の開始タイミング（各表示期間の開始タイミング）に揃えるまたは近似させると、撮像期間が複数の表示期間に重なってしまう。例えば、図１の例において、撮像期間２２は、表示期間１１と表示期間１２とに重畳している。つまり、撮像期間２２において得られる撮像画像には、フレームＡの投影画像とフレームＢの投影画像の両方が含まれる。
　このように連続する２フレームの投影画像が撮像画像に含まれると、正負が互いに逆のパタンが含まれることになり、積分効果によりパタンが相殺されてしまう（ポジ画像とネガ画像とが加算されパタンの輝度が低減してしまう）おそれがあった。つまり、パタン検出の精度が低減し、投影画像の状態の把握を高精度に行うことができなくなるおそれがあった。
　すなわち、この状態では、安価なローリングシャッタ方式のカメラを用いてISL方式のオンラインセンシングを実現することが困難であった。換言するに、ISL方式のオンラインセンシングを実現するためには、高価なグローバルシャッタ方式のカメラを用いなければならず、コストが増大するおそれがあった。
　　＜撮像の開始タイミングの制御＞
　そこで、制御装置１００の撮像タイミング設定部１０１は、上述したように、パタン検出結果に基づいて、表示期間と撮像期間とが図７の例のような関係となるように（つまり、撮像期間が単一の表示期間に重畳するように）、撮像の開始タイミングを制御（設定）する。その際、撮像タイミング設定部１０１は、パタン検出結果の輝度変化に基づいて、このように撮像の開始タイミングを設定する。
　このようにすることにより、投影画像の状態の把握を高精度に行うことができるので、安価なローリングシャッタ方式で駆動するカメラを用いてISL方式のオンラインセンシングを実現することができる。つまり、投影画像の状態の把握をより安価に実現することができる。
　　＜輝度変化の求め方＞
　ここで、撮像タイミング設定部１０１は、パタン検出結果の輝度変化を、どのように求めてもよい。例えば、撮像タイミング設定部１０１は、所定の基準値（例えば、パタン検出結果の輝度の理想値）に対する実際のパタン検出結果の輝度値（実際に検出されたパタンの輝度値）の比または差分を輝度変化として求めるようにしてもよい。
　また、例えば、撮像タイミング設定部１０１は、パタン検出結果の輝度値（実際に検出されたパタンの輝度値）の上下方向の比または差分を輝度変化として求めるようにしてもよい。例えば、撮像タイミング設定部１０１は、パタン検出結果における、パタン画像の一番上のパタンの輝度値と、パタン画像の一番下のパタンの輝度値との比または差分を、輝度変化として求めるようにしてもよい。
　　＜輝度変化に基づく開始タイミングの設定方法＞
　また、その輝度変化に対応する撮像の開始タイミングの求め方は任意である。上述したように、図１の例のように撮像期間が複数の投影期間に重なるとパタン検出結果の輝度が低減するのであるから、そのような輝度変化が抑制される、すなわち、輝度の低減が抑制されるようにタイミングを設定することができればよい。
　例えば、撮像タイミング設定部１０１が、撮像の開始タイミングの候補を順次探索し、輝度変化が最小となるタイミングを求めるようにしてもよい。このようにすることにより、最適な開始タイミングを設定することができる。
　また、撮像タイミング設定部１０１が、撮像の開始タイミングの候補を順次探索し、輝度変化が所定の閾値以下となる候補が見つかった時点で探索を終了し、その候補を撮像の開始タイミングとして選択するようにしてもよい。閾値を適切に設定することにより、この方法でも十分に適切な開始タイミングを設定することができる。この方法の場合、上述した輝度変化の最小値を求める方法よりも、開始タイミングの設定をより高速に行うことができる。
　また、探索の精度を段階的に上げるようにしてもよい。例えば、撮像タイミング設定部１０１が、最初に大まかな精度で探索し、その中で輝度変化が最小となるタイミングの付近を細かな精度で探索するようにしてもよい。このように段階的に探索の精度を上げるように探索を繰り返すことにより、全ての候補を順次探索して輝度変化が最小となるタイミングを求める場合よりも、開始タイミングの設定をより高速に行うことができる。
　さらに、撮像タイミング設定部１０１が、パタン検出結果の輝度変化に基づいて、最小値が得られる方向や位置を推定するようにしてもよい。例えば図１に示されるように、撮像期間の傾斜の方が表示期間の傾斜よりも急になるため、撮像の開始タイミングが早すぎると、下側のパタンの輝度変化が大きくなり（輝度がより低減し）、撮像の開始タイミングが遅すぎると、上側のパタンの輝度変化が大きくなる（輝度がより低減する）。このような特性を踏まえ、撮像タイミング設定部１０１が、どの部分のパタンの輝度変化が大きいかに基づいて、最小値が得られる方向や位置を推定するようにしてもよい。
　つまり、撮像タイミング設定部１０１が、投影画像の最も上に位置するパタン（投影画像に含まれるパタンの内、最も上に位置するパタン）、および、投影画像の最も下に位置するパタン（投影画像に含まれるパタンの内、最も下に位置するパタン）の内、少なくともいずれか一方の輝度変化に基づいて、撮像の開始タイミングを制御するようにしてもよい。
　例えば、下側のパタンの輝度変化の方が、上側のパタンの輝度変化よりも大きい場合、撮像の開始タイミングを遅らせることにより、輝度変化を最小とすることができることが推定される。逆に、上側のパタンの輝度変化の方が、下側のパタンの輝度変化よりも大きい場合、撮像の開始タイミングを早めることにより、輝度変化を最小とすることができることが推定される。
　そこで、撮像タイミング設定部１０１が、投影画像の最も上に位置するパタンの輝度変化の方が、投影画像の最も下に位置するパタンの輝度変化よりも大きい場合、撮像の開始タイミングを早くするように制御するようにしてもよい。逆に、撮像タイミング設定部１０１が、投影画像の最も下に位置するパタンの輝度変化の方が、投影画像の最も上に位置するパタンの輝度変化よりも大きい場合、撮像の開始タイミングを遅くするように制御するようにしてもよい。
　また、例えば、その輝度変化の度合いが大きい程、撮像の開始タイミングをより大きく変化させる必要がある（すなわち、現在設定されているタイミングと、輝度変化が最小となるタイミングとの差がより大きい）ことが推定される。逆に、輝度変化の度合いが小さい程、撮像の開始タイミングをより小さく変化させる必要がある（すなわち、現在設定されているタイミングと、輝度変化が最小となるタイミングとの差がより小さい）ことが推定される。
　このように、求める撮像の開始タイミングを推定することにより、全ての候補を順次探索して輝度変化が最小となるタイミングを求める場合よりも、開始タイミングの設定をより高速に行うことができる。
　＜２．第２の実施の形態＞
　　＜２－１．投影撮像システム＞
　　　＜システム構成＞
　次に、上述したような画像投影や撮像を行うシステムに本技術を適用する例について説明する。図８は、本技術を適用したシステムの一実施の形態である投影撮像システムの主な構成例を示すブロック図である。図８において、投影撮像システム２００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。
　図８に示されるように、投影撮像システム２００は、制御装置２０１、投影装置２０２、および撮像装置２０３を有する。投影装置２０２および撮像装置２０３は、それぞれ制御装置２０１と通信可能に接続される。
　この接続を実現する通信およびその通信媒体は任意である。例えば、専用のケーブルを介して接続されるようにしてもよいし、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（登録商標）（Universal Serial Bus）等の所定の規格のケーブルを介して接続されるようにしてもよいし、LAN（Local Area Network）やインターネット等の所定のネットワーク（通信網）を介して接続されるようにしてもよい。また、例えば、Bluetooth（登録商標）通信、NFC（Near Field Communication）等の近距離無線通信、赤外線通信、IEEE（Institute of Electrical and Electronic Engineers）802.11の無線LAN等といった任意の無線通信により接続されるようにしてもよい。また、例えば、無線LANとインターネット等のように、複数種類の通信媒体を介して接続されるようにしてもよい。
　制御装置２０１は、本技術を適用した画像処理装置または制御部の一実施の形態であり、投影装置２０２や撮像装置２０３の動作を制御する。また、制御装置２０１は、撮像装置２０３により得られた撮像画像を用いて、投影装置２０２により投影させる画像の補正等に関する処理を行う。
　投影装置２０２は、本技術を適用した画像処理装置または投影部の一実施の形態であり、例えばプロジェクタ等により構成される。投影装置２０２は、制御装置２０１から供給される画像を、順次走査方式で、投影面であるスクリーン２１０に投影する。図８に示されるように、投影装置２０２は、スクリーン２１０のPL乃至PRの範囲内に画像を投影する。
　撮像装置２０３は、本技術を適用した画像処理装置または撮像部の一実施の形態であり、例えばカメラ等により構成される。撮像装置２０３は、その投影画像が投影されたスクリーン２１０を撮像する。撮像装置２０３は、スクリーン２１０のCL乃至CRの範囲を撮像する。つまり、撮像装置２０３は、投影画像全体を含むような撮像範囲でスクリーン２１０を撮像する。図８においては、投影画像の横方向について示されているが、縦方向も同様である。なお、撮像装置２０３は、ローリングシャッタ方式で駆動する。撮像装置２０３は、得られた投影画像の撮像画像を制御装置２０１に供給する。
　このような構成の投影撮像システム２００において、投影装置２０２は、正負が互いに逆のパタンを含む画像を連続して投影し、撮像装置２０３は、その投影装置２０２により投影面に投影された投影画像を撮像し、制御装置２０１は、その撮像装置２０３により得られた撮像画像を用いて得られた投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、撮像装置２０３の撮像の開始タイミングを制御する。
　つまり、投影撮像システム２００は、正負が互いに逆のパタンを含む画像を連続して投影する投影部を有する投影装置２０２と、その投影部（投影装置２０２）により投影面に投影された投影画像を撮像する撮像部を有する撮像装置２０３と、その撮像部（撮像装置２０３）により得られた撮像画像を用いて得られた投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、その撮像部（撮像装置２０３）の撮像の開始タイミングを制御する制御部を有する制御装置２０１とを備える。
　したがって、投影撮像システム２００は、安価なローリングシャッタ方式で駆動するカメラを用いてISL方式のオンラインセンシングを実現することができるので、投影画像の状態の把握をより安価に実現することができる。
　　　＜制御装置＞
　図９は、本技術を適用した画像処理装置の一実施の形態である制御装置２０１の主な構成例を示すブロック図である。図９に示されるように、制御装置２０１は、画像入力部２５１、パタン画像記憶部２５２、パタン合成部２５３、画像補正部２５４、投影制御部２５５、通信部２５６、撮像制御部２５７、パタン検出部２５８、撮像タイミング設定部２５９、および対応点検出部２６０を有する。
　画像入力部２５１は、画像の取得に関する処理を行う。例えば、画像入力部２５１は、制御装置２０１の外部から供給されるコンテンツ（動画像）の各フレーム画像を取得する（矢印２７１）。画像入力部２５１は、任意の記憶媒体（例えば半導体メモリや磁気記録媒体等）を有しており、その取得した画像をその記憶媒体に記憶する（保持する）。画像入力部２５１は、所定のタイミングにおいて、または、他からの要求（例えばパタン合成部２５３からの要求）に応じて、保持している画像をパタン合成部２５３に供給する（矢印２７２）。その際、画像入力部２５１は、保持している画像に対して、例えばノイズ除去や色補正等の任意の画像処理を適宜行うようにしてもよい。
　パタン画像記憶部２５２は、任意の記憶媒体（例えば半導体メモリや磁気記録媒体等）を有しており、コンテンツの画像に重畳するパタン画像をその記憶媒体に記憶している。このパタン画像は、対応点検出や撮像タイミング設定（制御）のために用いられる所定のパタン（絵柄等）を含む画像である。このパタン（絵柄等）はどのようなものであってもよい。パタン画像記憶部２５２は、所定のタイミングにおいて、または、他からの要求（例えばパタン合成部２５３からの要求）に応じて、記憶しているパタン画像をパタン合成部２５３に供給する（矢印２７３）。
　パタン合成部２５３は、コンテンツの画像とパタン画像との合成に関する処理を行う。例えば、パタン合成部２５３は、画像入力部２５１からコンテンツの画像を取得する（矢印２７２）。また、パタン合成部２５３は、パタン画像記憶部２５２からパタン画像を取得する（矢印２７３）。そして、パタン合成部２５３は、そのコンテンツの画像に対して、パタン画像のポジ画像およびネガ画像をそれぞれ重畳させて合成する。つまり、パタン合成部２５３は、コンテンツの画像とパタン画像のポジ画像との重畳画像（合成画像）と、コンテンツの画像とパタン画像のネガ画像との重畳画像（合成画像）とを生成する。そして、パタン合成部２５３は、生成した各重畳画像を画像補正部２５４に供給する（矢印２７４）。
　画像補正部２５４は、重畳画像の幾何補正に関する処理を行う。例えば、画像補正部２５４は、パタン合成部２５３から重畳画像を取得する（矢印２７４）。また、画像補正部２５４は、対応点検出部２６０から、投影装置２０２および撮像装置２０３の画素の対応点の検出結果を取得する（矢印２７５）。そして、画像補正部２５４は、その対応点の検出結果に基づいて、重畳画像に対して、投影画像の位置や歪みを補正するための幾何補正を適宜行う。そして、画像補正部２５４は、幾何補正した重畳画像（または幾何補正を省略した重畳画像）を投影制御部２５５に供給する（矢印２７６）。
　投影制御部２５５は、投影装置２０２の制御に関する処理を行う。例えば、投影制御部２５５は、画像補正部２５４から重畳画像を取得する（矢印２７６）。また、投影制御部２５５は、通信部２５６を介して、その重畳画像を投影装置２０２に供給し、スクリーン２１０に投影させる（矢印２７７、矢印２７８）。
　なお、投影制御部２５５が、通信部２５６を介して投影装置２０２に命令やデータ（設定等）を供給し、投影装置２０２による画像投影（例えば、その開始や終了等）を制御するようにしてもよい。また、投影制御部２５５が、通信部２５６を介して投影装置２０２に命令やデータ（設定等）を供給し、投影装置２０２の光学系（例えば、焦点距離、画角の大きさ、投影の向きや傾き等）を制御するようにしてもよい。
　通信部２５６は、投影装置２０２や撮像装置２０３との通信に関する処理を行う。この通信方式は任意である。例えば、通信部２５６は、投影制御部２５５から供給される重畳画像、命令、データ等を取得し（矢印２７７）、それを投影装置２０２に供給する（矢印２７８）。また、通信部２５６は、撮像装置２０３から送信された撮像画像を取得し（矢印２８１）、それを撮像制御部２５７に供給する（矢印２８２）。さらに、通信部２５６は、撮像制御部２５７から供給される命令やデータ等を撮像装置２０３に供給する。
　撮像制御部２５７は、撮像装置２０３の制御に関する処理を行う。例えば、撮像制御部２５７は、撮像タイミング設定部２５９から撮像の開始タイミングに関する設定を取得する（矢印２８５）。また、撮像制御部２５７は、通信部２５６を介して、撮像装置２０３に命令やデータ（設定等）を供給し、撮像装置２０３によるスクリーン２１０（投影画像）の撮像（例えば、その開始や終了等）を制御する。例えば、撮像制御部２５７は、撮像装置２０３を制御し、撮像タイミング設定部２５９から供給された設定に応じたタイミングで撮像を開始させる。
　また、撮像制御部２５７は、撮像装置２０３から供給される、撮像装置２０３がスクリーン２１０（投影画像）を撮像して得られた撮像画像を、通信部２５６を介して取得する（矢印２８１、矢印２８２）。撮像制御部２５７は、取得した撮像画像をパタン検出部２５８に供給する（矢印２８３）。
　なお、撮像制御部２５７が、通信部２５６を介して撮像装置２０３に命令やデータ（設定等）を供給し、撮像装置２０３の光学系（例えば、絞り、焦点距離、撮像の向きや傾き等）を制御するようにしてもよい。
　パタン検出部２５８は、パタンの検出に関する処理を行う。例えば、パタン検出部２５８は、撮像制御部２５７から供給される撮像画像を取得する（矢印２８３）。また、パタン検出部２５８は、バッファを有しており、取得した撮像画像をそのバッファに格納する（保持する）。パタン検出部２５８は、コンテンツの画像にパタン画像のポジ画像が重畳された重畳画像と、そのコンテンツの画像にパタン画像のネガ画像が重畳された重畳画像とを取得すると、それらの差分を求めることにより、パタンを検出する。パタン検出部２５８は、そのパタン検出結果を撮像タイミング設定部２５９に供給する（矢印２８４）。また、パタン検出部２５８は、そのパタン検出結果を対応点検出部２６０にも供給する（矢印２８６）。
　撮像タイミング設定部２５９は、撮像タイミング設定部１０１（図２）と同様の処理部であり、撮像の開始タイミングの設定に関する処理を行う。例えば、撮像タイミング設定部２５９は、パタン検出結果をパタン検出部２５８から取得する（矢印２８４）。また、撮像タイミング設定部２５９は、そのパタン検出結果の輝度変化を求め、その輝度変化に基づいて、撮像の開始タイミングを設定（制御）する。この設定方法は、上述した撮像タイミング設定部１０１の場合と同様である。そして、撮像タイミング設定部２５９は、求めた撮像の開始タイミングに関する設定を撮像制御部２５７に供給する（矢印２８５）。
　対応点検出部２６０は、投影装置２０２と撮像装置２０３との間の画素の対応点の検出に関する処理を行う。例えば、対応点検出部２６０は、パタン検出部２５８からパタン検出結果を取得する（矢印２８６）。また、対応点検出部２６０は、そのパタン検出結果に基づいて（検出されたパタンに基づいて）、投影装置２０２と撮像装置２０３との間の画素の対応点の検出を行う。対応点検出部２６０は、求めた対応点の検出結果を画像補正部２５４に供給する（矢印２７５）。
　　　＜制御処理の流れ＞
　この投影撮像システム２００により実行される制御処理の流れの例を、図１０のフローチャートを参照して説明する。制御処理が開始されると、制御装置２０１の撮像タイミング設定部２５９は、ステップＳ２０１において、撮像の開始タイミングを初期化する（初期値に設定する）。この初期値はどのような値（タイミング）であってもよい。
　ステップＳ２０２において、画像入力部２５１は、投影する画像を取得する。
　ステップＳ２０３において、パタン合成部２５３は、パタン画像記憶部２５２からパタン画像を取得し、それをステップＳ２０２の処理により取得された画像に重畳し、重畳画像を生成する。
　ステップＳ２０４において、投影制御部２５５は、通信部２５６を介して投影装置２０２を制御し、ステップＳ２０３の処理により得られた重畳画像を投影させる。投影装置２０２は、その制御に従って、その重畳画像をスクリーン２１０に投影する。
　ステップＳ２０５において、撮像制御部２５７は、通信部２５６を介して撮像装置２０３を制御し、設定された開始タイミングで、スクリーン２１０（スクリーン２１０に投影された投影画像）の撮像を開始させる。撮像装置２０３は、その制御に従って、スクリーン２１０を撮像し、撮像画像を得る。撮像装置２０３は、理想的には各フレーム画像（各重畳画像）を撮像することができるように、投影画像のフレームレートと同様のフレームレートで撮像を繰り返す。
　ステップＳ２０６において、パタン検出部２５８は、連続して撮像された２枚の撮像画像の差分を求めることにより、パタンの検出を行う。上述したように、連続して撮像された２枚の撮像画像には、正負が互いに逆のパタンを含む投影画像が含まれているので、これらの差分を求めることにより、コンテンツの画像が相殺されるとともに、パタンのポジ画像とネガ画像との差分が得られ、パタンが検出される。
　ステップＳ２０７において、撮像タイミング設定部２５９は、ステップＳ２０６の処理により得られたパタンの検出結果について、パタンの輝度変化を求め、そのパタンの輝度変化に基づいて、撮像装置２０３による撮像の開始タイミングを設定（制御）する。
　ステップＳ２０８において、撮像制御部２５７は、ステップＳ２０７の処理（撮像の開始タイミングの制御）により、撮像の開始タイミングが変更されるか否かを判定する。撮像の開始タイミングが変更される場合、処理はステップＳ２０２に戻る。
　撮像の開始タイミングが変更されるということは、まだ、開始タイミングが最適なタイミングに設定されていない（最適なタイミングの探索中である）ことを示す。したがって、その変更された新たな開始タイミングで、ステップＳ２０２乃至ステップＳ２０８の処理が行われる。
　このように、最適な開始タイミングが決まるまで（探索が終了するまで）、開始タイミングを更新しながら（探索を続けながら）、ステップＳ２０２乃至ステップＳ２０８の処理が繰り返される。
　そして、ステップＳ２０８において、撮像の開始タイミングを変更しない（つまり、探索が終了した）と判定された場合、処理はステップＳ２０９に進む。
　ステップＳ２０９において、対応点検出部２６０は、ステップＳ２０６の処理により得られたパタンの検出結果に基づいて、投影装置２０２と撮像装置２０３との画素の対応点を検出する。
　ステップＳ２１０において、画像補正部２５４は、ステップＳ２０９の処理により検出された対応点に基づいて、投影する重畳画像に対して、投影画像の位置や歪みを補正するための幾何補正を行う。
　ステップＳ２１０の処理が終了すると制御処理が終了する。
　このようにすることにより、撮像期間を表示期間に対して適切なタイミングとすることができるので、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
　　＜２－２．パタン＞
　次にコンテンツの画像に重畳するパタン画像について説明する。基本的にパタン画像に含まれるパタン（形状、大きさ、位置等）はどのようなものであってもよい。例えば、対応点の検出と、撮像の開始タイミングの制御とを、同一のパタンに基づいて行うようにしてもよいし、互いに異なるパタンに基づいて行うようにしてもよい。
　例えば、上述したように、パタン検出結果の輝度変化は、上側または下側において発生しやすい。そこで、パタン画像において、投影画像の最も上に位置するパタン、および、投影画像の最も下に位置するパタンを、撮像の開始タイミングを制御するためのパタンとしてもよい。
　例えば、その撮像の開始タイミングの制御のための、投影画像の最も上に位置するパタン、および、投影画像の最も下に位置するパタンが、図１１のパタン画像３１０のように、それぞれ、水平方向を長手方向とする線状のパタンであるようにしてもよい。パタン画像３１０は、その上端に、水平方向を長手方向とする線状のパタン３１１が設けられ、その下端に、同様の線状のパタン３１２が設けられている。
　図１１の重畳画像３２１は、コンテンツの画像に、パタン画像３１０のポジ画像を重畳した合成画像の例である。また、図１１の重畳画像３２２は、コンテンツの画像に、パタン画像３１０のネガ画像を重畳した合成画像の例である。
　このような重畳画像を投影し、その投影画像を撮像し、上述したように、連続する２枚の撮像画像を用いてパタンの検出を行うとする。撮像の開始タイミングの設定が正しいタイミングの場合、すなわち、撮像期間が単一の表示期間に重畳する場合、図１２のＡに示されるようなパタン検出結果３３１が得られる。このパタン検出結果３３１では、パタン３１１とパタン３１２の両方が正しい輝度で検出される（輝度変化が十分に小さい）。
　これに対して、例えば、撮像の開始タイミングが早すぎる場合、パタン検出結果の下部において輝度の低減が発生するので、図１２のＢに示されるようなパタン検出結果３３２が得られる。このパタン検出結果３３２では、パタン３１１が正しい輝度で検出されるが、パタン３１２は輝度が低減している（または検出されない）。
　逆に、撮像の開始タイミングが遅すぎる場合、パタン検出結果の上部において輝度の低減が発生する。したがって、図１２のＣに示されるようなパタン検出結果３３３が得られる。このパタン検出結果３３３では、パタン３１２が正しい輝度で検出されるが、パタン３１１は輝度が低減している（または検出されない）。
　このように、パタン画像（投影画像）の上端と下端に、撮像の開始タイミングを制御するためのパタンを設けることにより、撮像の開始タイミングが適切であるか否かをより容易に把握することができる。また、パタン画像３１０のように、撮像の開始タイミングを制御するためのパタンを、対応点検出等のためのパタンと異なる形状として識別可能とすることにより、パタン３１１およびパタン３１２、すなわち、撮像の開始タイミングを制御するためのパタンに輝度変化が発生したことを容易に把握することができる。特に、上述のように線状のパタンとすることにより、そのパタンが、上端または下端のパタンであることを容易に把握することができる。
　なお、この撮像の開始タイミングを制御するためのパタンの形状は任意であり、上述の例に限定されない。例えば、図１３に示されるパタン画像３４０のように、投影画像の最も上に位置するパタン、および、投影画像の最も下に位置するパタンは、それぞれ、水平方向に並ぶ複数の絵柄により構成されるようにしてもよい。
　このパタン画像３４０の上端には、円状のパタン３４１－１乃至パタン３４１－７が形成されている。また、パタン画像の下端には、円状のパタン３４２－１乃至パタン３４２－７が形成されている。以下において、パタン３４１－１乃至パタン３４１－７を互いに区別して説明する必要が無い場合、パタン３４１と称する。また、パタン３４２－１乃至パタン３４２－７を互いに区別して説明する必要が無い場合、パタン３４２と称する。
　このように、パタン画像の上端または下端に形成される撮像の開始タイミングを制御するためのパタンが複数のパタンにより（パタン群として）構成されるようにしてもよい。
　詳細については後述するが、例えば投影画像が変形したり、撮像画像に対して傾いたりする等して、パタン検出結果の上端または下端の一部において輝度変化が発生する（パタンを検出できない）場合がある。そのような場合、どの程度の範囲で輝度変化が発生したかを把握することにより、投影画像の変形度合いや傾き度合いを推定することができる可能性がある。そのような推定を行う場合、パタン画像３１０のパタン３１１やパタン３１２のように、線状パタンの場合、検出結果から、検出できなかった部分（または検出できた部分）の大きさ（面積）を求める必要がある。
　これに対して、パタン画像３４０の場合、検出されたパタンの数をカウントすることによって、パタン検出結果の上端または下端のどの程度の範囲において輝度変化が発生したかを容易に把握することができる。
　なお、パタン３４１やパタン３４２の数は任意である。パタン３４１とパタン３４２とが同数でなくてもよい。また、パタン３４１やパタン３４２を構成する各パタンの形状は任意であり、上述した円状以外であってもよい。例えば、三角形、四角形、五角形、六角形、星型、矢印等のような、任意の多角形であってもよいし、文字、数字、記号等であってもよい。また、パタン３４１（またはパタン３４２）を構成する各パタンが互いに同一の形状でなくてもよい。
　また、例えば、撮像の開始タイミングを制御するためのパタンを、パタン画像（投影画像）の四隅に設けるようにしてもよい。その場合、そのパタンが、四隅に設けられたパタンであることを識別可能な形状であることが望ましい。
　　＜２－３．PWM＞
　図１４は、投影装置２０２が同一映像を２度繰り返して表示する場合の、表示と撮像のタイミングの例を示す図である。図１４に示されるようにこの場合、投影装置２０２は、表示期間１１－１および表示期間１１－２においてフレームＡの画像（重畳画像１３１）を２度表示し、表示期間１２－１および表示期間１２－２においてフレームＢの画像（重畳画像１３２）を２度表示している。つまり、投影装置２０２は、各重畳画像を２度ずつ繰り返し、倍速で表示している。
　この場合、撮像期間２１や撮像期間２２の露光期間は、図７等の例のように低減しなくても、単一の重畳画像の表示期間（例えば、表示期間１１－１および表示期間１１－２は区別しない）に重なるようにすることが可能である。つまり、この倍速処理により、上述した撮像の露光時間を削減する場合（図７）と同様の状況、効果を得ることができる。したがって、例えば、図１１に示されるようなパタン画像３１０を用いることもできる。
　例えば、投影装置２０２が、発光素子が点滅し、その点灯時間で画素輝度を表現する表示方法であるPWM（Pulse Width Modulation）駆動で輝度を表現している場合、撮像装置２０３は、１フレーム分の露光をしなければ、輝度を正しく撮像することができない。このような場合に図１４に示されるような方法を適用することで、撮像装置２０３は、投影画像の輝度を正しく撮像することができ、上述の他の例の場合と同様に、正しくパタンの検出を行うことができる。つまり、投影装置２０２が、Pulse Width Modulation方式で駆動し、正負が互いに逆のパタンを含む画像を、２フレームずつ投影するようにしてもよい。
　　＜２－４．投影画像の傾き＞
　以上のような投影撮像システム２００の場合、投影装置２０２がスクリーン２１０に投影した投影画像が、撮像装置２０３が撮像した撮像画像に対して傾く場合がある。例えば、図１５に示されるように、撮像画像３８１に対して、投影画像３８２が傾いていない場合（角度を持たない場合）、投影画像３８２の投影開始タイミングが、撮像画像３８１の撮像開始タイミングの上下方向の中央付近に位置するとする。
　これに対して、図１６に示されるように、投影画像３８２が撮像画像３８１に対して右に傾くと、投影画像３８２の投影開始タイミングが、図１５の場合に比べて、撮像画像３８１の撮像開始タイミングの上下方向の上側に移動する。したがって、図１５の場合と同じ撮像開始タイミングでは、図１６に示されるように、撮像画像の下側において撮像期間が複数の表示期間に重なり、パタン検出を正しく行えなくなるおそれがある。
　逆に、図１７に示されるように、投影画像３８２が撮像画像３８１に対して左に傾くと、投影画像３８２の投影開始タイミングが、図１５の場合に比べて、撮像画像３８１の撮像開始タイミングの上下方向の下側に移動する。したがって、図１５の場合と同じ撮像開始タイミングでは、撮像画像の上側において撮像期間が複数の表示期間に重なり、パタン検出を正しく行えなくなるおそれがある。
　つまり、このように、正しくパタン検出を行うためには、撮像画像に対する投影画像の傾きに応じて、撮像の開始タイミングを制御する必要がある。上述した投影撮像システム２００の場合、制御装置２０１は、パタン検出結果に基づいて撮像の開始タイミングを制御する。換言するに、制御装置２０１は、正しくパタンが検出されるように、撮像の開始タイミングを制御する。したがって、このような投影画像の傾きに対しても適切に対応するように、撮像の開始タイミングを制御することができる。
　なお、図１６や図１７の例のように撮像画像に対して投影画像が傾き、撮像期間が複数の表示期間に重なると、例えば図１８のように、パタンの一部において輝度変化が発生する（パタンが検出できなくなる）場合がある。図１８に示されるパタン検出結果３９１は、図１１の重畳画像３２１および重畳画像３２２を投影し、その投影画像の撮像画像からパタンを検出したものである。このパタン検出結果３９１の場合、パタン画像の上端のパタン３１１は検出されているが、下端のパタン３１２は、その一部のみ検出されている。つまり、パタン３１２の一部において輝度変化が発生している。
　この輝度変化の発生位置や範囲によって、撮像画像に対する投影画像の傾きの方向や度合いを推定することができる。例えば、上端のパタン３１１の一部において輝度変化が発生しているか、下端のパタン３１２の一部において輝度変化が発生しているかによって、左右どちらに傾いているかを推定することができる。また、その輝度変化の発生範囲の広さに応じて、どの程度傾いているかを推定することができる。
　制御装置２０１（撮像タイミング設定部２５９）が、このような推定の基に、撮像の開始タイミングの探索をより効率よく行うようにしてもよい。このようにすることにより、適切な開始タイミングをより高速に求めることができる。
　＜３．第３の実施の形態＞
　　＜幾何補正＞
　また、以上のように、パタン検出結果に基づいて撮像の開始タイミングを探索しても、適切な開始タイミングが得られない場合、すなわち、撮像期間を単一の表示期間に重なるようにすることができない場合、さらに、投影する画像（重畳画像）に対して幾何補正を行うようにしてもよい。
　例えば、撮像画像に対して投影画像が大きく傾いていたり、スクリーン２１０に投影された投影画像が大きく歪んでいたりすることにより、適切な撮像の開始タイミングが得られない場合があり得る。そのような場合、その投影画像の傾きや歪みを低減させるように、投影する重畳画像を幾何補正して投影するようにしてもよい。
　　＜制御装置＞
　図１９は、その場合の制御装置２０１の主な構成例を示すブロック図である。図１９において、撮像タイミング設定部２５９による撮像の開始タイミングの制御では輝度変化を十分に小さくすることができない場合、画像補正部２５４は、投影される画像に対して幾何補正を行う。例えば、撮像タイミング設定部２５９は、撮像の開始タイミングの探索を行って、適切な開始タイミングが得られない場合、幾何補正の要求を画像補正部２５４に供給する（矢印４１１）。画像補正部２５４は、その要求を受け取ると、重畳画像に対して幾何補正を行う。
　このようにすることにより、投影画像が傾いたり歪んだりする等の、より多様な状況においても、撮像の適切な開始タイミングを求めることができる。
　なお、撮像タイミング設定部２５９が、幾何補正に有用な情報を画像補正部２５４に供給し、画像補正部２５４がその情報を用いて幾何補正を行うようにしてもよい。例えば、撮像タイミング設定部２５９が、投影画像が撮像画像に対して傾いているか否かの情報や、傾きの方向や度合いを示す情報等を、画像補正部２５４に提供するようにしてもよい。このような情報を用いて幾何補正を行うことにより、画像補正部２５４は、輝度変化に応じた方法で幾何補正を行うことができる。したがって、画像補正部２５４は、撮像の開始タイミングの制御に対してより適切な幾何補正を行うことができる。
　　＜制御処理の流れ＞
　この場合の制御処理の流れの例を、図２０のフローチャートを参照して説明する。制御処理が開始されると、ステップＳ３０１乃至ステップＳ３０７の各処理が、図１０のステップＳ２０１乃至ステップＳ２０７の各処理と同様に実行される。
　ステップＳ２０８において、撮像タイミング設定部２５９は、幾何補正が必要であるか否かを判定する。幾何補正が必要であると判定された場合、処理はステップＳ３０９に進む。ステップＳ３０９において、画像補正部２５４は、重畳画像に対して幾何補正を行う。ステップＳ３０９の処理が終了すると、処理はステップＳ３０１に戻り、それ以降の処理が再度実行される。
　ステップＳ３０８において、幾何補正が必要でないと判定された場合、処理はステップＳ３１０に進む。ステップＳ３１０において、撮像制御部２５７は、ステップＳ３０７の処理（撮像の開始タイミングの制御）により、撮像の開始タイミングが変更されるか否かを判定する。撮像の開始タイミングが変更される場合、処理はステップＳ３０２に戻り、その変更された新たな開始タイミングで、ステップＳ３０２乃至ステップＳ３１０の処理が行われる。
　このように、最適な開始タイミングが決まるまで（探索が終了するまで）、開始タイミングを更新しながら（探索を続けながら）、ステップＳ３０２乃至ステップＳ３１０の処理が繰り返される。そして、ステップＳ３１０において、撮像の開始タイミングを変更しない（つまり、探索が終了した）と判定された場合、処理はステップＳ３１１に進む。
　ステップＳ３１１およびステップＳ３１２の各処理は、図１０のステップＳ２０９およびステップＳ２１０の各処理と同様に実行される。ステップＳ３１２の処理が終了すると制御処理が終了する。
　このようにすることにより、より多様な状況において、撮像期間を表示期間に対して適切なタイミングとすることができるので、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
　＜４．第４の実施の形態＞
　　＜露光時間制御＞
　以上においては、撮像の開始タイミングを制御するように説明したが、さらに、撮像の露光時間の長さを制御するようにしてもよい。図６と図７の撮像期間を比較して明らかなように、撮像期間（すなわち露光時間）が短い程、撮像期間が単一の表示期間に重なるようにしやすくなる（撮像の適切な開始タイミングを設定しやすくなる）。ただし、露光時間が短い程、輝度差が得にくくパタン検出が難しくなる。そこで、撮像の適切な開始タイミングを得るために、撮像の露光時間も制御するようにしてもよい。より具体的には、例えば撮像の適切な開始タイミングが得られない場合、露光時間を短くするようにしてもよい。その際、最低露光時間を設け、露光時間がそれよりも短くならないようにしてもよい。また、適切な開始タイミングが得られる場合、露光時間をできるだけ長くするようにしてもよい。
　なお、露光時間の長さによってパタン検出結果の輝度が変化するので、露光時間の長さ制御による輝度変化が、上述の撮像の開始タイミングによる輝度変化（撮像期間が複数の表示期間に重なることによる輝度変化）に影響を及ぼすことを抑制するために、露光時間の長さに応じて、輝度変化の発生の判定基準（例えば閾値等）を制御する（つまり閾値の大きさを変える）ようにしてもよい。
　　＜制御装置＞
　この場合の制御装置２０１の構成は、図９のブロック図を参照して説明した場合と基本的に同様である。ただし、この場合、撮像タイミング設定部２５９は、パタン検出結果に基づいて、撮像の開始タイミングだけでなく、さらに、撮像の露光時間も上述のように制御する。
　　＜制御処理の流れ＞
　この場合の制御処理の流れの例を、図２１のフローチャートを参照して説明する。制御処理が開始されると、ステップＳ４０１乃至ステップＳ４０６の各処理が、図１０のステップＳ２０１乃至ステップＳ２０６の各処理と同様に実行される。
　ステップＳ４０７において、撮像タイミング設定部２５９は、ステップＳ２０６の処理により得られたパタンの検出結果について、パタンの輝度変化を求め、そのパタンの輝度変化に基づいて、撮像装置２０３による撮像の開始タイミングと露光時間を設定（制御）する。
　ステップＳ４０８乃至ステップＳ４１０の各処理は、図１０のステップＳ２０８乃至ステップＳ２１０の各処理と同様に実行される。
　ステップＳ４１０の処理が終了すると制御処理が終了する。
　このようにすることにより、撮像期間を表示期間に対して適切なタイミングとすることができるので、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
　＜５．第５の実施の形態＞
　　＜他の構成例＞
　なお、投影撮像システム２００の構成は任意であり、上述した例に限定されない。例えば図２２のＡに示されるように、制御装置２０１と撮像装置２０３とを一体化するようにしてもよい。図２２のＡの例の場合、投影撮像システム２００は、投影装置２０２と撮像装置６０３とにより構成される。投影装置２０２と撮像装置６０３は、任意の構成により、互いに通信可能に接続されている。また、撮像装置６０３は、上述した制御装置２０１と同様の機能を有する制御部６０１を内蔵しており、上述した制御装置２０１および撮像装置２０３の機能を有する。
　つまり、撮像装置６０３は、投影面に投影された投影画像を撮像して撮像画像を生成し、その制御部６０１は、その撮像画像を用いて得られたパタンの検出結果における輝度変化に基づいて、撮像の開始タイミングを制御する。また、撮像装置６０３は、ローリングシャッタ方式で被写体を撮像する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。
　また、例えば、図２２のＢに示されるように、制御装置２０１と投影装置２０２とを一体化するようにしてもよい。図２２のＢの例の場合、投影撮像システム２００は、投影装置６１２と撮像装置２０３とにより構成される。投影装置６１２と撮像装置２０３は、任意の構成により、互いに通信可能に接続されている。また、投影装置６１２は、上述した制御装置２０１と同様の機能を有する制御部６１１を内蔵しており、上述した制御装置２０１および投影装置２０２の機能を有する。
　つまり、投影装置６１２は、正負が互いに逆のパタンを含む画像を連続して投影し、撮像装置２０３が、その投影面に投影された投影画像を撮像して撮像画像を生成し、制御部６１１は、その撮像画像を用いて得られたパタンの検出結果における輝度変化に基づいて、撮像の開始タイミングを制御する。また、投影装置６１２は、順次走査方式で画像を投影する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。
　なお、例えば、図２２のＣに示されるように、投影撮像システム２００を装置として実現するようにしてもよい。図２２のＣの例の場合、投影撮像装置６２０は、投影撮像システム２００と同様の機能を有する。つまり、投影撮像装置６２０は、制御部６２１、投影部６２２、および撮像部６２３を有する。制御部６２１は上述した制御装置２０１と同様の機能を有し、投影部６２２は上述した投影装置２０２と同様の機能を有し、撮像部６２３は上述した撮像装置２０３と同様の機能を有する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。
　なお、図示は省略するが、投影装置２０２と撮像装置２０３とを一体化するようにしてもよい。つまり、投影撮像システム２００が、制御装置２０１と、投影装置２０２と撮像装置２０３の両方の機能を有する投影撮像装置とにより構成されるようにしてもよい。
　また、以上においては、制御装置、投影装置、撮像装置、投影撮像装置等の各種装置を１台ずつ示したが、これらの各種装置の数は任意である。例えば、投影撮像システム２００が、これらの各種装置を複数台有するようにしてもよい。例えば、投影装置と撮像装置とがそれぞれ複数台設けられるようにしてもよい。また、各装置の台数が統一されていなくてもよい。例えば、投影装置の台数と撮像装置の台数とが互いに異なるようにしてもよい。また、各装置が、上述した以外の機能を有するようにしてもよい。さらに、投影撮像システム２００が、これらの装置以外の装置を有するようにしてもよい。
　＜６．付記＞
　　＜フレームレート＞
　なお、入力画像、各投影部または投影装置より出力される出力画像、および、スクリーンに投影された投影画像のフレームレートはそれぞれ任意であり、上述した例に限定されない。例えば、入力画像と投影画像とでフレームレートが互いに異なっていてもよい。
　　＜投影方式と撮像方式＞
　なお、以上においては表示期間が平行四辺形であるように説明したが（特に図１、図５乃至図７、図１４乃至図１７等において図示したが）、これは一例であり、この表示期間の形状は任意である。そしてこの表示期間の形状は、プロジェクタ（例えば投影装置２０２）の走査方式（各画素の投影順）等に依存する。つまり、その走査方式は任意であり、上述した例（画像の上の行から下の行に向かう順に投影する順次走査方式）に限定されない。例えば、画像の下の行から上の行に向かう順に投影する順次走査方式であってもよいし、飛び越し走査方式であってもよいし、その他の方式であってもよい。
　また、以上においては撮像期間が平行四辺形であるように説明したが（特に図１、図６、図７、図１４乃至図１７等において図示したが）、これは一例であり、この撮像期間の形状は任意である。そしてこの撮像期間の形状は、カメラ（例えば撮像装置２０３）の走査方式（各画素の信号読み出し順）等に依存する。つまり、その走査方式は任意であり、上述した例（画素領域の上の行から下の行に向かう順に信号を読み出すローリングシャッタ方式）に限定されない。例えば、画素領域の下の行から上の行に向かう順に信号を読み出すローリングシャッタ方式であってもよいし、列毎に信号を読み出す方式であってもよいし、エリア毎（部分領域毎）に信号を読み出す方式であってもよいし、その他の方式であってもよい。
　つまり、本開示の１つは、パタン検出結果における輝度変化に基づいて撮像の開始タイミング（撮像トリガを立てる時刻）を制御するものであるが、表示期間と撮像期間とのそれぞれの形状は限定されない。つまり、投影と撮像の走査方式はそれぞれ任意である。もちろん、撮像期間が互いに異なるパタン画像を投影する複数の表示期間に重ならないようにする開始タイミング（適切なタイミングがどの時刻になるか）は、表示期間と撮像期間のそれぞれの形状（すなわち、投影と撮像の走査方式）にも依存するが、どのような形状であっても本開示を適用することは可能である。
　ところで、以上においては、パタン検出結果において、どの部分のパタンの輝度変化が大きいかに基づいて、最小値が得られる（適切なタイミングが得られる）方向や位置を推定する例として、以下の２つを説明した。１つ目は、下側のパタンの輝度変化の方が上側のパタンの輝度変化よりも大きい場合に、撮像の開始タイミングを遅らせることにより輝度変化が最小となると推定される例である。２つ目は、上側のパタンの輝度変化の方が下側のパタンの輝度変化よりも大きい場合に、撮像の開始タイミングを早めることにより輝度変化が最小となると推定される例である。しかしながら、上述したように、表示期間と撮像期間のそれぞれの形状は任意である。そして、この適切なタイミングが得られる方向や位置の推定方法は表示期間と撮像期間のそれぞれの形状にも依存する。したがって、この適切なタイミングが得られる方向や位置の推定方法は任意であり、上述した例に限定されない。
　なお、上述した制御処理により、どうしても適切な撮像の開始タイミングを求めることができない場合もあり得る。そのような場合、警告を表示する等のエラー処理を行うようにしてもよいし、最善の時刻（例えば撮像期間が単一の表示期間に重なる割合が最も大きくなる（他の表示期間に重なる割合が最も小さくなる）時刻）を撮像の開始タイミングとして選択するようにしてもよい。
　　＜ソフトウエア＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２３に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
　さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
　なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
　（１）　投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する制御部
　を備える画像処理装置。
　（２）　前記制御部は、前記輝度変化が所定の閾値以下となるように、前記撮像の開始タイミングを制御する
　（１）に記載の画像処理装置。
　（３）　前記制御部は、前記輝度変化が最小となるように、前記撮像の開始タイミングを制御する
　（１）または（２）に記載の画像処理装置。
　（４）　前記制御部は、前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンの内、少なくともいずれか一方の輝度変化に基づいて、前記撮像の開始タイミングを制御する
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記制御部は、前記投影画像の最も上に位置するパタンの輝度変化の方が、前記投影画像の最も下に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを早くするように制御する
　（４）に記載の画像処理装置。
　（６）　前記制御部は、前記投影画像の最も下に位置するパタンの輝度変化の方が、前記投影画像の最も上に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを遅くするように制御する
　（４）または（５）に記載の画像処理装置。
　（７）　前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向を長手方向とする線状のパタンである
　（４）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向に並ぶ複数の絵柄により構成される
　（４）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記制御部は、さらに、前記撮像の露光時間も制御する
　（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　正負が互いに逆のパタンを含む、連続して投影された２つの投影画像のそれぞれの撮像画像の差分を用いて前記パタンを検出するパタン検出部をさらに備え、
　前記制御部は、前記パタン検出部による前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
　（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記パタンの検出結果に基づいて、前記投影画像と撮像画像との対応点を検出する対応点検出部と、
　前記対応点検出部による前記対応点の検出結果に基づいて、投影される画像に対して幾何補正を行う幾何補正部と
　をさらに備える（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記幾何補正部は、前記制御部による前記撮像の開始タイミングの制御では前記輝度変化を十分に小さくすることができない場合、投影される画像に対して幾何補正を行う
　（１１）に記載の画像処理装置。
　（１３）　前記幾何補正部は、前記輝度変化に応じた方法で前記幾何補正を行う
　（１２）に記載の画像処理装置。
　（１４）　前記投影画像を撮像して前記撮像画像を得る撮像部をさらに備え、
　前記制御部は、前記撮像部により得られた撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
　（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記撮像部は、ローリングシャッタ方式で被写体を撮像する
　（１４）に記載の画像処理装置。
　（１６）　正負が互いに逆のパタンを含む画像を連続して投影する投影部をさらに備え、
　前記制御部は、前記投影部により前記投影面に投影された前記投影画像の前記撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
　（１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記投影部は、順次走査方式で画像を投影する
　（１６）に記載の画像処理装置。
　（１８）　前記投影部は、Pulse Width Modulation方式で駆動し、正負が互いに逆のパタンを含む画像を、２フレームずつ投影する
　（１６）または（１７）に記載の画像処理装置。
　（１９）　投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する
　画像処理方法。
　（２０）　　　正負が互いに逆のパタンを含む画像を連続して投影する投影部
　　を有する投影装置と、
　　　前記投影部により投影面に投影された投影画像を撮像する撮像部
　　を有する撮像装置と、
　　　前記撮像部により得られた撮像画像を用いて得られた前記投影画像に含まれる前記パタンの検出結果における輝度変化に基づいて、前記撮像部による前記撮像画像を得るための撮像の開始タイミングを制御する制御部
　　を有する制御装置と
　を備える画像処理システム。
　１００　制御装置，　１０１　撮像タイミング設定部，　２００　投影撮像システム，　２０１　制御装置，　２０２　投影装置，　２０３　撮像装置，　２５１　画像入力部，　２５２　パタン画像記憶部，　２５３　パタン合成部，　２５４　画像補正部，　２５５　投影制御部，　２５６　通信部，　２５７　撮像制御部，　２５８　パタン検出部，　２５９　撮像タイミング設定部，　２６０　対応点検出部，　６０１　制御部，　６０３　撮像装置，　６１１　制御部，　６１２　投影装置，　６２０　投影撮像装置，　６２１　制御部，　６２２　投影部，　６２３　撮像部，　９００　コンピュータ

Claims (20)

  1. 　投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する制御部
    　を備える画像処理装置。
  2. 　前記制御部は、前記輝度変化が所定の閾値以下となるように、前記撮像の開始タイミングを制御する
    　請求項１に記載の画像処理装置。
  3. 　前記制御部は、前記輝度変化が最小となるように、前記撮像の開始タイミングを制御する
    　請求項１に記載の画像処理装置。
  4. 　前記制御部は、前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンの内、少なくともいずれか一方の輝度変化に基づいて、前記撮像の開始タイミングを制御する
    　請求項１に記載の画像処理装置。
  5. 　前記制御部は、前記投影画像の最も上に位置するパタンの輝度変化の方が、前記投影画像の最も下に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを早くするように制御する
    　請求項４に記載の画像処理装置。
  6. 　前記制御部は、前記投影画像の最も下に位置するパタンの輝度変化の方が、前記投影画像の最も上に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを遅くするように制御する
    　請求項４に記載の画像処理装置。
  7. 　前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向を長手方向とする線状のパタンである
    　請求項４に記載の画像処理装置。
  8. 　前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向に並ぶ複数の絵柄により構成される
    　請求項４に記載の画像処理装置。
  9. 　前記制御部は、さらに、前記撮像の露光時間も制御する
    　請求項１に記載の画像処理装置。
  10. 　正負が互いに逆のパタンを含む、連続して投影された２つの投影画像のそれぞれの撮像画像の差分を用いて前記パタンを検出するパタン検出部をさらに備え、
    　前記制御部は、前記パタン検出部による前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
    　請求項１に記載の画像処理装置。
  11. 　前記パタンの検出結果に基づいて、前記投影画像と撮像画像との対応点を検出する対応点検出部と、
    　前記対応点検出部による前記対応点の検出結果に基づいて、投影される画像に対して幾何補正を行う幾何補正部と
    　をさらに備える請求項１に記載の画像処理装置。
  12. 　前記幾何補正部は、前記制御部による前記撮像の開始タイミングの制御では前記輝度変化を十分に小さくすることができない場合、投影される画像に対して幾何補正を行う
    　請求項１１に記載の画像処理装置。
  13. 　前記幾何補正部は、前記輝度変化に応じた方法で前記幾何補正を行う
    　請求項１２に記載の画像処理装置。
  14. 　前記投影画像を撮像して前記撮像画像を得る撮像部をさらに備え、
    　前記制御部は、前記撮像部により得られた撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
    　請求項１に記載の画像処理装置。
  15. 　前記撮像部は、ローリングシャッタ方式で被写体を撮像する
    　請求項１４に記載の画像処理装置。
  16. 　正負が互いに逆のパタンを含む画像を連続して投影する投影部をさらに備え、
    　前記制御部は、前記投影部により前記投影面に投影された前記投影画像の前記撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
    　請求項１に記載の画像処理装置。
  17. 　前記投影部は、順次走査方式で画像を投影する
    　請求項１６に記載の画像処理装置。
  18. 　前記投影部は、Pulse Width Modulation方式で駆動し、正負が互いに逆のパタンを含む画像を、２フレームずつ投影する
    　請求項１６に記載の画像処理装置。
  19. 　投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する
    　画像処理方法。
  20. 　　　正負が互いに逆のパタンを含む画像を連続して投影する投影部
    　　を有する投影装置と、
    　　　前記投影部により投影面に投影された投影画像を撮像する撮像部
    　　を有する撮像装置と、
    　　　前記撮像部により得られた撮像画像を用いて得られた前記投影画像に含まれる前記パタンの検出結果における輝度変化に基づいて、前記撮像部による前記撮像画像を得るための撮像の開始タイミングを制御する制御部
    　　を有する制御装置と
    　を備える画像処理システム。
PCT/JP2018/042924 2017-12-05 2018-11-21 画像処理装置および方法、並びに、画像処理システム WO2019111704A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017233097 2017-12-05
JP2017-233097 2017-12-05

Publications (1)

Publication Number Publication Date
WO2019111704A1 true WO2019111704A1 (ja) 2019-06-13

Family

ID=66750946

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042924 WO2019111704A1 (ja) 2017-12-05 2018-11-21 画像処理装置および方法、並びに、画像処理システム

Country Status (1)

Country Link
WO (1) WO2019111704A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994662A (zh) * 2019-06-20 2022-01-28 索尼集团公司 信息处理设备、信息处理方法、程序、投影设备和信息处理***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269026A (ja) * 1993-03-16 1994-09-22 Nec Corp 投写型ディスプレイのコンバーゼンス誤差検出装置
JPH08317432A (ja) * 1995-05-16 1996-11-29 Mitsubishi Electric Corp 画像撮像装置
JP2006135381A (ja) * 2004-11-02 2006-05-25 Olympus Corp キャリブレーション方法およびキャリブレーション装置
JP2012220674A (ja) * 2011-04-07 2012-11-12 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2016051157A (ja) * 2014-09-02 2016-04-11 国立大学法人 奈良先端科学技術大学院大学 情報取得装置及び情報伝達システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269026A (ja) * 1993-03-16 1994-09-22 Nec Corp 投写型ディスプレイのコンバーゼンス誤差検出装置
JPH08317432A (ja) * 1995-05-16 1996-11-29 Mitsubishi Electric Corp 画像撮像装置
JP2006135381A (ja) * 2004-11-02 2006-05-25 Olympus Corp キャリブレーション方法およびキャリブレーション装置
JP2012220674A (ja) * 2011-04-07 2012-11-12 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2016051157A (ja) * 2014-09-02 2016-04-11 国立大学法人 奈良先端科学技術大学院大学 情報取得装置及び情報伝達システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994662A (zh) * 2019-06-20 2022-01-28 索尼集团公司 信息处理设备、信息处理方法、程序、投影设备和信息处理***
CN113994662B (zh) * 2019-06-20 2024-04-16 索尼集团公司 信息处理设备及对应方法、***、介质和投影设备

Similar Documents

Publication Publication Date Title
US8810692B2 (en) Rolling shutter distortion correction
US9432590B2 (en) DCT based flicker detection
US10991340B2 (en) Image processing apparatus and image processing method
US10115178B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US7627237B2 (en) Image processing apparatus and method and program
JP6784130B2 (ja) フリッカ検出装置及び方法
US20130033618A1 (en) Image processing apparatus detecting quadrilateral region from picked-up image
US10126632B2 (en) Imaging apparatus, flicker detection method, and flicker detection program
US20160125616A1 (en) Apparatus and method of detecting motion mask
US20190028685A1 (en) Image processing apparatus and method
US9258485B2 (en) Image sensor cropping images in response to cropping coordinate feedback
US20170366730A1 (en) Imaging apparatus, flicker detection method, and flicker detection program
US20170142315A1 (en) Imaging apparatus equipped with a flicker detection function
JP2013165483A (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
JP2016154285A5 (ja)
CN109690611A (zh) 一种图像校正方法及装置
WO2016067529A1 (ja) 画像処理装置、画像表示システム及びそれを備える車両並びに画像処理方法及びそれを実行させるプログラム
US20160042519A1 (en) Method and image processing device for efficient image depth map generation
WO2019111704A1 (ja) 画像処理装置および方法、並びに、画像処理システム
EP3293960A1 (en) Information processing device, information processing method, and program
WO2019021412A1 (ja) 位置推定装置、位置推定方法及びプログラム記録媒体
US20200134840A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP5812808B2 (ja) 画像処理装置及び画像処理方法
TWI469089B (zh) 影像判斷方法以及物件座標計算裝置
JP2015087450A (ja) 撮像装置および撮像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18886752

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18886752

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP