WO2019111704A1 - 画像処理装置および方法、並びに、画像処理システム - Google Patents
画像処理装置および方法、並びに、画像処理システム Download PDFInfo
- Publication number
- WO2019111704A1 WO2019111704A1 PCT/JP2018/042924 JP2018042924W WO2019111704A1 WO 2019111704 A1 WO2019111704 A1 WO 2019111704A1 JP 2018042924 W JP2018042924 W JP 2018042924W WO 2019111704 A1 WO2019111704 A1 WO 2019111704A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- imaging
- projection
- pattern
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Definitions
- the present disclosure relates to an image processing apparatus and method, and an image processing system, and more particularly, to an image processing apparatus and method and an image processing system capable of realizing grasping of a state of a projection image at a lower cost.
- a projected image is captured by a camera, and the captured image is used to estimate the position, attitude, projection surface shape, etc. of the projector, and There is a method of performing geometric correction of the projected image. For example, if the screen does not face the projector, the camera takes a projection image projected on the screen by the camera, and if the projection image is deformed into a trapezoidal shape, it is projected to be correctly projected on the screen There has been processing such as correcting the image into an inverted trapezoidal shape.
- ISL Interceptible Structured Light
- a pattern image which is an image of a predetermined pattern, is embedded in the image of the content and projected so as not to be perceived by humans using the integration effect. Then, detection of corresponding points is performed using the pattern image.
- the present disclosure has been made in view of such a situation, and makes it possible to realize the grasp of the state of a projection image at a lower cost.
- the image processing apparatus is configured to use the captured image based on a change in luminance in a detection result of a predetermined pattern included in the projected image obtained using the captured image of the projected image projected on a projection plane.
- the image processing apparatus is provided with a control unit that controls the start timing of imaging for obtaining.
- the pickup image Is an image processing method of controlling the start timing of imaging for obtaining.
- An image processing system captures a projection image projected on a projection plane by a projection device that has a projection unit that continuously projects images including positive and negative reverse patterns. Based on an imaging apparatus having an imaging unit and a change in luminance in the detection result of the pattern included in the projection image obtained using the imaging image obtained by the imaging unit, the imaging image by the imaging unit is obtained And a control device having a control unit that controls the start timing of the imaging.
- the image processing apparatus and method based on a change in luminance in a detection result of a predetermined pattern included in a projection image obtained using a captured image of the projection image projected on a projection plane.
- the start timing of imaging for obtaining a captured image is controlled.
- an image processing system in a projection device, an image including a pattern whose positive and negative are reverse to each other is continuously projected, and in an imaging device, a projected image projected on a projection plane is captured and controlled
- the start timing of imaging for obtaining a captured image is controlled based on the change in luminance in the detection result of the pattern included in the projected image obtained using the captured image.
- an image can be processed.
- grasping of the state of the projection image can be realized more inexpensively.
- FIG. 1 shows an example of display (image projection) and imaging timing control.
- a display period 11 indicates a period in which the image of frame A is displayed (projected).
- the display period 12 indicates a period in which the image of the frame B is displayed (projected).
- the time advances from left to right, and the vertical direction of these display periods indicates the vertical direction of the displayed (projected) image.
- the display period is a parallelogram as shown in FIG. 1 because display (image projection) is performed by a sequential scanning method in which the projector projects in order from the upper row to the lower row of the image.
- the imaging period 21 indicates a period for imaging the projection image of the frame A (image projected onto the projection plane).
- the imaging period 22 indicates a period for imaging the projection image of the frame B.
- the time advances from left to right in the drawing, and the vertical direction of the imaging period indicates the vertical direction of the captured image. Since imaging is performed by a rolling shutter method in which the camera reads out signals in order from the upper row to the lower row of the pixel area, the imaging period has a parallelogram as shown in FIG.
- One of the present disclosure is to perform the start timing of the imaging period based on the pattern detection result obtained from the captured image. That is, based on the luminance change in the detection result of the predetermined pattern included in the projection image obtained using the pickup image of the projection image projected on the projection plane, the control of the start timing of imaging for obtaining the pickup image To do.
- an imaging start timing 31 (a time at which an imaging trigger is set) indicated by an arrow in FIG. 1 is a timing (time) at which the imaging period 21 is started.
- the time to be the imaging start timing 31 (the time to generate the imaging trigger) is set (controlled) based on the pattern detection result as shown by the double arrow 41.
- the imaging start timing 32 (the time at which the imaging trigger is set) is the timing (time) at which the imaging period 22 starts, and the time used as the imaging start timing 32 (the time at which the imaging trigger is set)
- the setting (control) is performed based on the pattern detection result.
- the imaging period can be made appropriate timing with respect to the display period, and pattern detection can be performed more accurately. That is, a more accurate pattern detection can be performed by a rolling shutter type camera cheaper than a global shutter type camera, and corresponding points between the camera and the projector can be determined more accurately. That is, grasping of the state of the projection image can be realized at lower cost. Additionally, more appropriate geometric correction of the projected image can be realized cheaper.
- FIG. 2 is a block diagram showing a main configuration example of a control device which is an embodiment of an image processing device to which the present technology is applied.
- the control device 100 illustrated in FIG. 2 is a device that controls the start timing (time at which an imaging trigger is generated) of imaging of a projection image projected on a projection plane by the imaging unit.
- the control device 100 includes an imaging timing setting unit 101.
- the imaging timing setting unit 101 receives, as an input, a detection result of a predetermined pattern included in the projection image obtained using the pickup image of the projection image projected on the projection plane.
- the imaging timing setting unit 101 controls (sets) an imaging start timing for obtaining a captured image of a projection image based on a change in luminance in the detection result of the pattern.
- the imaging timing setting unit 101 outputs the setting (imaging timing setting) to the outside of the control device 100.
- the imaging timing setting unit 101 supplies the imaging timing setting to an imaging unit (or an imaging control unit that controls the imaging unit) and the like, and starts imaging at the set timing.
- Step S101 the imaging timing setting unit 101 of the control device 100 sets (controls) the imaging start timing based on the change in luminance of the supplied pattern detection result in step S101, and sets the setting. Output.
- step S101 ends, the control process ends.
- the imaging period can be set to an appropriate timing with respect to the display period, so that a more accurate pattern detection can be performed by a rolling shutter camera cheaper than a global shutter camera. Can. That is, grasping of the state of the projection image can be realized at lower cost.
- Geometric correction of projected image The details will be described below.
- the projected image also called a projection image
- the distortion of the projected image can be reduced and the image can be easily viewed by applying geometric correction such as distortion correction to the image projected by the projector.
- geometric correction includes not only image processing but also control of an optical system such as shift and zoom, control of the attitude of a projection unit, and the like. Further, in the present specification, not only the “orientation” (the direction of projection or imaging) but also the “position” (the position of performing projection or imaging) of the “posture” such as a projection unit or an imaging unit Shall be included.
- Such geometric correction can also be performed manually by an operator or the like who operates the projector, but there is a risk of requiring complicated work. Then, the method of imaging the projection image which the projector projected using a camera, and setting the geometric correction using the captured image was considered. In this case, the attitude of the camera or the projector, the screen shape, and the like are estimated from the projection image included in the captured image, and the appropriate geometric correction is set according to them.
- the setting of such geometric correction may be required not only before the projection of the content (moving image) but also during the projection of the content. For example, if the attitude of the projector changes during the projection of content, distortion occurs in the projected image. In such a case, in order to set the geometric correction to an appropriate setting, it is necessary to re-estimate the attitude of the projector. However, interrupting the projection of the content for that purpose is not preferable to the user who is viewing the content, because it prevents the viewing of the content. Then, the method (on-line sensing) which detected a corresponding point, continuing projection of the content was considered.
- an on-line sensing technology for example, a method using invisible light such as Infrared, a method using an image feature such as SIFT, an ISL (Imperceptible Structured Light) method, etc. have been considered.
- a system using invisible light such as Infrared
- an image feature amount such as SIFT
- the detection accuracy and density of corresponding points depend on the image content to be projected, so it has been difficult to perform corresponding point detection with stable accuracy.
- a pattern image which is an image of a predetermined pattern, is embedded in the image of the content and projected so as not to be perceived by humans using the integration effect. Then, detection of corresponding points is performed using the pattern image. More specifically, a positive image and a negative image of a predetermined pattern image (Structured Light) are superimposed on an input image (image of content) to form a positive frame (Pos Frame) and a negative frame (Neg Frame). And two frames are generated.
- a positive image and a negative image of a predetermined pattern image Structured Light
- the pattern combining unit may convert the pattern image 122-1 as shown in B of FIG. 4 into the frame image 121 which is a frame image of the content to be projected as shown in A of FIG.
- the pattern images 122-2 are respectively superimposed to generate two superimposed images.
- the pattern image 122-1 is an image including a pattern 123-1 that can be used to detect corresponding points of pixels between the projector (projector) and the camera (imager).
- the pattern 123-1 is shown to be configured by a circular pattern, but this pattern 123-1 may be any pattern as long as the corresponding points can be detected. It may be configured by the pattern of The luminance value of the pattern 123-1 changes in the positive direction more than the portions other than the surrounding patterns. That is, the pattern image 122-1 is a positive pattern image.
- the pattern image 122-2 is an image including a pattern 123-2 that can be used to detect corresponding points of pixels between the projector and the camera.
- the pattern 123-2 is formed by the pattern of the same pattern as the pattern 123-1, and the luminance value thereof changes in a more negative direction than the portions other than the surrounding pattern. That is, the pattern 123-2 has the same pattern as the pattern 123-1, and is formed of a pattern in which the change in luminance value is in the opposite direction. That is, the pattern image 122-2 is a negative pattern image.
- the pattern image 122-1 and the pattern image 122-2 will be referred to as a pattern image 122 if they do not need to be distinguished from each other. Further, when the pattern 123-1 and the pattern 123-2 need not be distinguished from each other, they are referred to as a pattern 123.
- FIG. 5 is a diagram showing an example of display timing, and is a view from the same perspective as FIG. 1.
- the superimposed image 131 is projected as a frame A image
- the superimposed image 132 is projected as a frame B image. That is, the superimposed image 131 and the superimposed image 132 are projected continuously (sequentially).
- the superimposed image 131 is a composite image in which the frame image 121 and the pattern image 122-1 are superimposed.
- the superimposed image 132 is a composite image in which the frame image 121 and the pattern image 122-2 are superimposed.
- the display period 11 of the superimposed image 131 (frame A) has a parallelogram shape. That is, the lower the image, the later the display start timing is. Further, the display period 12 of the superimposed image 132 (frame B) also has a parallelogram shape.
- the positive image (also referred to as a positive pattern image) and the negative image (also referred to as a negative pattern image) of the pattern image are opposite to each other (for example, white and black). If two frames are projected consecutively, it becomes difficult for the user to perceive this pattern image (positive image and negative image) due to the integration effect.
- the image of the content is ideally erased and the pattern image (the difference between the positive image and the negative image, ie Times) is extracted.
- the corresponding points of the pixels of the projector and the camera can be detected using this pattern image. That is, the corresponding points can be detected (and the geometric correction of the moving image can be performed) without disturbing the viewing of the content.
- FIG. 6 An example of imaging timing when using a rolling shutter type camera as a camera of such a system is shown in FIG.
- the imaging period 21 for imaging the projection image of the frame A has a parallelogram shape. That is, the lower the image, the later the start timing of imaging.
- the imaging period 22 for imaging the projection image of the frame B also has a parallelogram shape.
- the image pickup period 21 is taken.
- the captured image including only the projected image (for example, the superimposed image 131) projected in the display period 11 is obtained.
- the imaging period 22 only the projected image (for example, the superimposed image 132) projected in the display period 12 A captured image including the image can be obtained. Therefore, the pattern can be accurately detected by obtaining the difference between the two captured images.
- the imaging angle of view of the camera is set wider than the projection angle of view so that the position of the projected image is included in the captured image as much as possible even if the position is shifted or distorted.
- the exposure period of imaging (the length in the horizontal direction of the imaging period) is made shorter than the display period.
- the captured image obtained in the imaging period 21 includes only the projected image of the frame A (for example, the superimposed image 131) projected in the display period 11 (includes the projected images of other frames) Not mean that).
- the captured image obtained in the imaging period 22 includes only the projection image (for example, the superimposed image 132) of the frame B projected in the display period 12 (meaning that the projection images of other frames are not included) You can do so.
- the imaging angle of view is made wider than the projection angle of view, the lengths in the vertical direction are different between the projection image and the imaging image.
- the frame rates (the lengths of Vsync) are identical to each other, as shown in FIG. 7, the inclination angles of display period 11 and display period 12 are different from the inclination angles of imaging period 21 and imaging period 22. . Therefore, in this case, setting of the imaging start timing 31 and the imaging start timing 32 becomes difficult.
- the imaging period overlaps with a plurality of display periods.
- the imaging period 22 is superimposed on the display period 11 and the display period 12. That is, the captured image obtained in the imaging period 22 includes both the projected image of the frame A and the projected image of the frame B.
- the imaging timing setting unit 101 of the control device 100 causes the display period and the imaging period to have a relationship as illustrated in FIG. 7 based on the pattern detection result (that is, the imaging period is The start timing of imaging is controlled (set) so as to be superimposed on a single display period. At this time, the imaging timing setting unit 101 sets the imaging start timing in this way based on the change in luminance of the pattern detection result.
- the imaging timing setting unit 101 may obtain the luminance change of the pattern detection result in any manner. For example, the imaging timing setting unit 101 sets the ratio or difference of the luminance value of the actual pattern detection result (the luminance value of the pattern actually detected) to a predetermined reference value (for example, the ideal value of the luminance of the pattern detection result). It may be determined as a change in luminance.
- the imaging timing setting unit 101 may obtain a ratio or difference in the vertical direction of the luminance value of the pattern detection result (the luminance value of the pattern actually detected) as the luminance change.
- the imaging timing setting unit 101 obtains a ratio or a difference between the luminance value of the top pattern of the pattern image and the luminance value of the bottom pattern of the pattern image in the pattern detection result as the luminance change.
- the imaging timing setting unit 101 may sequentially search for candidates for the imaging start timing to determine the timing at which the change in luminance is minimized. By doing this, it is possible to set an optimal start timing.
- the imaging timing setting unit 101 sequentially searches for candidates for the imaging start timing and ends the search when a candidate whose luminance change is equal to or less than a predetermined threshold is found, and selects the candidate as the imaging start timing. You may do so.
- the threshold appropriately, even with this method, it is possible to set a sufficiently appropriate start timing. In the case of this method, the start timing can be set at higher speed than the method of obtaining the minimum value of the luminance change described above.
- the accuracy of the search may be raised step by step.
- the imaging timing setting unit 101 may first search roughly with a high degree of accuracy, and search for the vicinity of the timing at which the change in luminance is the smallest with a high degree of accuracy. By setting the start timing faster than when searching for all the candidates sequentially and finding the timing at which the luminance change becomes minimum by repeating the search so as to raise the search accuracy in stages in this manner. Can.
- the imaging timing setting unit 101 may estimate the direction or position where the minimum value can be obtained, based on the change in luminance of the pattern detection result. For example, as shown in FIG. 1, the inclination of the imaging period is steeper than the inclination of the display period, so if the imaging start timing is too early, the luminance change of the lower pattern becomes large (the luminance is more When the start timing of imaging is too late, the change in luminance of the upper pattern becomes large (the luminance is further reduced). Based on such characteristics, the imaging timing setting unit 101 may estimate the direction or position where the minimum value can be obtained, based on which portion of the pattern has a large change in luminance.
- the imaging timing setting unit 101 selects the pattern located at the top of the projection image (the pattern located at the top among the patterns included in the projection image) and the pattern (projection image) located at the bottom of the projection image
- the start timing of imaging may be controlled based on the change in luminance of at least one of the lowermost patterns among the patterns included in.
- the change in luminance of the lower pattern is larger than the change in luminance of the upper pattern, it is estimated that the change in luminance can be minimized by delaying the start timing of imaging. Conversely, if the change in luminance of the upper pattern is larger than the change in luminance of the lower pattern, it is estimated that the change in luminance can be minimized by advancing the start timing of imaging.
- the imaging timing setting unit 101 makes the start timing of imaging start earlier. It may be controlled to Conversely, when the change in luminance of the pattern located at the bottom of the projected image is larger than the change in luminance of the pattern located at the top of the projected image, the imaging timing setting unit 101 delays the start timing of imaging. Control may be performed.
- the degree of the luminance change is larger, it is necessary to change the imaging start timing more largely (that is, the difference between the currently set timing and the timing at which the luminance change becomes minimum is larger) It is estimated.
- the degree of luminance change the smaller the start timing of imaging needs to be changed (that is, the smaller the difference between the currently set timing and the timing at which the luminance change is minimum). Presumed.
- FIG. 8 is a block diagram illustrating a main configuration example of a projection imaging system which is an embodiment of a system to which the present technology is applied.
- a projection imaging system 200 is a system capable of projecting an image, capturing a projected image, or performing corresponding point detection by the ISL method by a method to which the present technology is applied.
- the projection imaging system 200 includes a control device 201, a projection device 202, and an imaging device 203.
- the projection device 202 and the imaging device 203 are communicably connected to the control device 201, respectively.
- connection may be made via a dedicated cable, or via a cable of a predetermined standard such as HDMI (High-Definition Multimedia Interface) or USB (Universal Serial Bus).
- a predetermined network such as a LAN (Local Area Network) or the Internet.
- it is connected by any wireless communication such as Bluetooth (registered trademark) communication, near field communication such as NFC (Near Field Communication), infrared communication, wireless LAN of IEEE (Institute of Electrical and Electronic Engineers) 802.11, etc. You may do so.
- connection may be made via a plurality of types of communication media, such as a wireless LAN and the Internet.
- the control device 201 is an embodiment of an image processing device or control unit to which the present technology is applied, and controls operations of the projection device 202 and the imaging device 203. Further, the control device 201 performs processing relating to the correction of the image to be projected by the projection device 202 and the like using the captured image obtained by the imaging device 203.
- the projection device 202 is an embodiment of an image processing device or a projection unit to which the present technology is applied, and is configured by, for example, a projector or the like.
- the projection device 202 projects the image supplied from the control device 201 onto the screen 210, which is a projection plane, in a sequential scanning manner. As shown in FIG. 8, the projection device 202 projects an image within the range of PL to PR of the screen 210.
- the imaging device 203 is an embodiment of an image processing device or an imaging unit to which the present technology is applied, and is configured of, for example, a camera or the like.
- the imaging device 203 captures an image of the screen 210 on which the projection image is projected.
- the imaging device 203 images the range of CL to CR of the screen 210. That is, the imaging device 203 captures an image of the screen 210 in an imaging range that includes the entire projection image.
- FIG. 8 shows the horizontal direction of the projection image, the same applies to the vertical direction.
- the imaging device 203 is driven by a rolling shutter method.
- the imaging device 203 supplies the captured image of the obtained projected image to the control device 201.
- the projection device 202 continuously projects images including patterns whose positive and negative are reverse to each other, and the imaging device 203 projects the projected image projected onto the projection plane by the projection device 202.
- the control device 201 starts imaging of the imaging device 203 based on a change in luminance in a detection result of a predetermined pattern included in a projected image obtained using the captured image obtained by the imaging device 203. Control the timing.
- the projection imaging system 200 has a projection device 202 having a projection unit that continuously projects images including patterns whose positive and negative sides are opposite to each other, and a projection image projected on a projection plane by the projection unit (projection device 202)
- the image pickup apparatus 203 having an image pickup unit for picking up an image and the luminance change in the detection result of the predetermined pattern included in the projection image obtained using the pickup image obtained by the image pickup unit (image pickup apparatus 203)
- a control device 201 having a control unit that controls start timing of imaging of the imaging unit (imaging device 203).
- the projection imaging system 200 can realize on-line sensing of the ISL system using a camera driven by an inexpensive rolling shutter system, grasping of the state of a projection image can be realized at low cost.
- FIG. 9 is a block diagram showing a main configuration example of a control device 201 which is an embodiment of an image processing device to which the present technology is applied.
- the control device 201 includes an image input unit 251, a pattern image storage unit 252, a pattern combination unit 253, an image correction unit 254, a projection control unit 255, a communication unit 256, an imaging control unit 257, and pattern detection.
- a unit 258, an imaging timing setting unit 259, and a corresponding point detection unit 260 are included.
- the image input unit 251 performs processing regarding acquisition of an image. For example, the image input unit 251 acquires each frame image of content (moving image) supplied from the outside of the control device 201 (arrow 271).
- the image input unit 251 includes an arbitrary storage medium (for example, a semiconductor memory, a magnetic recording medium, etc.), and stores (holds) the acquired image in the storage medium.
- the image input unit 251 supplies the held image to the pattern combining unit 253 (arrow 272) at a predetermined timing or in response to a request from another party (for example, a request from the pattern combining unit 253). At that time, the image input unit 251 may appropriately perform arbitrary image processing such as noise removal and color correction on the held image.
- the pattern image storage unit 252 includes an arbitrary storage medium (for example, a semiconductor memory, a magnetic recording medium, etc.), and stores the pattern image to be superimposed on the image of the content in the storage medium.
- the pattern image is an image including a predetermined pattern (pattern etc.) used for corresponding point detection and imaging timing setting (control). This pattern (pattern etc.) may be anything.
- the pattern image storage unit 252 supplies the stored pattern image to the pattern combining unit 253 (arrow 273) at a predetermined timing or in response to a request from another (for example, a request from the pattern combining unit 253). .
- the pattern combining unit 253 performs processing relating to combining an image of content and a pattern image. For example, the pattern combining unit 253 acquires an image of content from the image input unit 251 (arrow 272). The pattern combining unit 253 also obtains a pattern image from the pattern image storage unit 252 (arrow 273). Then, the pattern combining unit 253 superimposes a positive image and a negative image of the pattern image on the image of the content and combines them. That is, the pattern combining unit 253 generates a superimposed image (composite image) of the image of the content and the positive image of the pattern image, and a superimposed image (composite image) of the image of the content and the negative image of the pattern image. Then, the pattern combining unit 253 supplies the generated superimposed images to the image correction unit 254 (arrow 274).
- the image correction unit 254 performs processing regarding geometric correction of the superimposed image. For example, the image correction unit 254 acquires a superimposed image from the pattern combination unit 253 (arrow 274). Further, the image correction unit 254 acquires the detection result of the corresponding points of the pixels of the projection device 202 and the imaging device 203 from the corresponding point detection unit 260 (arrow 275). Then, based on the detection result of the corresponding point, the image correction unit 254 appropriately performs geometric correction for correcting the position and distortion of the projection image on the superimposed image. Then, the image correction unit 254 supplies the geometrically corrected superimposed image (or the superimposed image from which the geometrical correction is omitted) to the projection control unit 255 (arrow 276).
- the projection control unit 255 performs processing related to control of the projection device 202. For example, the projection control unit 255 acquires a superimposed image from the image correction unit 254 (arrow 276). Also, the projection control unit 255 supplies the superimposed image to the projection device 202 via the communication unit 256, and causes the screen 210 to project the image (arrow 277, arrow 278).
- the projection control unit 255 supplies commands and data (settings and the like) to the projection device 202 via the communication unit 256, and controls the image projection (for example, the start and end thereof and the like) by the projection device 202. It is also good.
- the projection control unit 255 supplies commands and data (setting and the like) to the projection device 202 via the communication unit 256, and the optical system of the projection device 202 (for example, focal length, size of angle of view, direction of projection And inclination) may be controlled.
- the communication unit 256 performs processing related to communication with the projection device 202 and the imaging device 203. This communication method is optional. For example, the communication unit 256 acquires a superimposed image, an instruction, data, and the like supplied from the projection control unit 255 (arrow 277), and supplies it to the projection device 202 (arrow 278). In addition, the communication unit 256 acquires a captured image transmitted from the imaging device 203 (arrow 281), and supplies it to the imaging control unit 257 (arrow 282). Further, the communication unit 256 supplies the imaging device 203 with an instruction, data, and the like supplied from the imaging control unit 257.
- the imaging control unit 257 performs processing related to control of the imaging device 203. For example, the imaging control unit 257 acquires settings relating to the imaging start timing from the imaging timing setting unit 259 (arrow 285). In addition, the imaging control unit 257 supplies commands and data (settings and the like) to the imaging device 203 via the communication unit 256, and imaging of the screen 210 (projected image) by the imaging device 203 (for example, start and end thereof Control). For example, the imaging control unit 257 controls the imaging device 203 to start imaging at timing according to the setting supplied from the imaging timing setting unit 259.
- the imaging control unit 257 acquires a captured image obtained by imaging the screen 210 (projected image) supplied from the imaging device 203 via the communication unit 256 (arrow 281, arrow 282).
- the imaging control unit 257 supplies the acquired captured image to the pattern detection unit 258 (arrow 283).
- the imaging control unit 257 supplies commands and data (settings and the like) to the imaging device 203 via the communication unit 256, and the optical system of the imaging device 203 (for example, aperture, focal length, imaging direction and tilt, etc.) May be controlled.
- the pattern detection unit 258 performs processing related to pattern detection. For example, the pattern detection unit 258 acquires a captured image supplied from the imaging control unit 257 (arrow 283). Further, the pattern detection unit 258 has a buffer, and stores (holds) the acquired captured image in the buffer. When the pattern detection unit 258 acquires a superimposed image in which a positive image of a pattern image is superimposed on an image of content and a superimposed image in which a negative image of a pattern image is superimposed on an image of the content, the difference between them is obtained. Detects a pattern. The pattern detection unit 258 supplies the pattern detection result to the imaging timing setting unit 259 (arrow 284). The pattern detection unit 258 also supplies the pattern detection result to the corresponding point detection unit 260 (arrow 286).
- the imaging timing setting unit 259 is a processing unit similar to the imaging timing setting unit 101 (FIG. 2), and performs processing regarding setting of the imaging start timing. For example, the imaging timing setting unit 259 acquires a pattern detection result from the pattern detection unit 258 (arrow 284). Further, the imaging timing setting unit 259 obtains a change in luminance of the pattern detection result, and sets (controls) the start timing of imaging based on the change in luminance. This setting method is the same as that of the imaging timing setting unit 101 described above. Then, the imaging timing setting unit 259 supplies the setting related to the determined imaging start timing to the imaging control unit 257 (arrow 285).
- the corresponding point detection unit 260 performs processing regarding detection of corresponding points of pixels between the projection device 202 and the imaging device 203. For example, the corresponding point detection unit 260 acquires the pattern detection result from the pattern detection unit 258 (arrow 286). In addition, the corresponding point detection unit 260 detects a corresponding point of pixels between the projection device 202 and the imaging device 203 based on the pattern detection result (based on the detected pattern). The corresponding point detection unit 260 supplies the obtained detection result of the corresponding point to the image correction unit 254 (arrow 275).
- the imaging timing setting unit 259 of the control device 201 initializes the imaging start timing (set to an initial value) in step S201.
- This initial value may be any value (timing).
- step S202 the image input unit 251 acquires an image to be projected.
- step S203 the pattern combining unit 253 obtains a pattern image from the pattern image storage unit 252, superimposes the pattern image on the image obtained by the process of step S202, and generates a superimposed image.
- step S204 the projection control unit 255 controls the projection device 202 via the communication unit 256 to project the superimposed image obtained by the process of step S203.
- the projector 202 projects the superimposed image on the screen 210 according to the control.
- step S205 the imaging control unit 257 controls the imaging apparatus 203 via the communication unit 256, and starts imaging of the screen 210 (projected image projected on the screen 210) at the set start timing.
- the imaging device 203 captures an image of the screen 210 according to the control and obtains a captured image.
- the imaging device 203 repeats imaging at a frame rate similar to that of the projection image so that each frame image (each superimposed image) can be ideally imaged.
- step S206 the pattern detection unit 258 detects a pattern by obtaining a difference between two captured images captured continuously.
- the two captured images taken consecutively include a projected image including a pattern whose positive and negative are opposite to each other, the image of the content is canceled by obtaining the difference between them. And the difference between the positive and negative images of the pattern is obtained, and the pattern is detected.
- step S207 the imaging timing setting unit 259 obtains the change in luminance of the pattern for the detection result of the pattern obtained in the process of step S206, and based on the luminance change of the pattern, starts the imaging start timing by the imaging device 203. Set (control).
- step S208 the imaging control unit 257 determines whether or not the imaging start timing is changed by the process of step S207 (control of the imaging start timing). If the imaging start timing is changed, the process returns to step S202.
- the fact that the imaging start timing is changed indicates that the start timing is not yet set to the optimal timing (during the search for the optimal timing). Therefore, the processes of steps S202 to S208 are performed at the changed new start timing.
- steps S202 to S208 is repeated while updating the start timing (while continuing the search) until the optimal start timing is determined (until the search is ended).
- step S208 when it is determined in step S208 that the imaging start timing is not changed (that is, the search is ended), the process proceeds to step S209.
- step S209 the corresponding point detection unit 260 detects corresponding points of pixels of the projection device 202 and the imaging device 203 based on the detection result of the pattern obtained by the process of step S206.
- step S210 the image correction unit 254 performs geometric correction for correcting the position and distortion of the projected image on the superimposed image to be projected, based on the corresponding points detected in the process of step S209.
- step S210 ends, the control process ends.
- the imaging period can be set to an appropriate timing with respect to the display period, so that a more accurate pattern detection can be performed by a rolling shutter camera cheaper than a global shutter camera. Can. That is, grasping of the state of the projection image can be realized at lower cost.
- Pattern image to be superimposed on the image of the content will be described. Basically, any pattern (shape, size, position, etc.) included in the pattern image may be used. For example, detection of corresponding points and control of start timing of imaging may be performed based on the same pattern, or may be performed based on patterns different from each other.
- the pattern located at the top of the projection image and the pattern located at the bottom of the projection image may be used as a pattern for controlling the start timing of imaging.
- the pattern located at the top of the projection image and the pattern located at the bottom of the projection image for controlling the start timing of the imaging are each in the horizontal direction as in the pattern image 310 of FIG. It may be a linear pattern having a longitudinal direction.
- a linear pattern 311 whose longitudinal direction is the horizontal direction is provided, and at the lower end, a similar linear pattern 312 is provided.
- a superimposed image 321 in FIG. 11 is an example of a composite image in which a positive image of the pattern image 310 is superimposed on an image of content.
- the superimposed image 322 in FIG. 11 is an example of a composite image in which the negative image of the pattern image 310 is superimposed on the image of the content.
- a reduction in luminance occurs in the lower part of the pattern detection result, so that a pattern detection result 332 as shown in B of FIG. 12 is obtained.
- the pattern detection result 332 the pattern 311 is detected with the correct brightness, but the brightness of the pattern 312 is reduced (or not detected).
- the pattern detection result 333 as shown in C of FIG. 12 is obtained.
- the pattern detection result 333 although the pattern 312 is detected with the correct luminance, the luminance of the pattern 311 is reduced (or not detected).
- the pattern 311 and the pattern 312 can be identified by making it possible to identify the pattern for controlling the start timing of imaging as a shape different from the pattern for detecting the corresponding points or the like. It can be easily grasped that a change in luminance has occurred in a pattern for controlling the start timing. In particular, by using a linear pattern as described above, it can be easily grasped that the pattern is the pattern of the upper end or the lower end.
- the shape of the pattern for controlling the start timing of this imaging is arbitrary, and is not limited to the above-mentioned example.
- the pattern located at the top of the projection image and the pattern located at the bottom of the projection image are each composed of a plurality of patterns arranged in the horizontal direction. You may do so.
- circular patterns 341-1 to 341-7 are formed.
- circular patterns 342-1 to 342-7 are formed at the lower end of the pattern image.
- the patterns 341-1 to 341-7 need not be distinguished from one another, they will be referred to as patterns 341.
- the patterns 342-1 to 342-7 do not need to be distinguished from one another, they are referred to as a pattern 342.
- a pattern for controlling the start timing of imaging formed at the upper end or the lower end of the pattern image may be configured by a plurality of patterns (as a pattern group).
- the pattern image 340 by counting the number of detected patterns, it is possible to easily grasp in what range of the upper end or the lower end of the pattern detection result the luminance change occurs. .
- the number of patterns 341 and 342 is arbitrary.
- the pattern 341 and the pattern 342 may not be the same number.
- the shape of each of the patterns constituting the pattern 341 and the pattern 342 is arbitrary, and may be other than the circular shape described above. For example, it may be any polygon such as a triangle, a quadrangle, a pentagon, a hexagon, a star, an arrow or the like, or may be a letter, a number, a symbol or the like.
- the patterns constituting the pattern 341 (or the pattern 342) may not have the same shape.
- patterns for controlling the start timing of imaging may be provided at the four corners of the pattern image (projected image). In that case, it is desirable that the pattern has a shape that can identify that it is a pattern provided at four corners.
- FIG. 14 is a diagram illustrating an example of display and imaging timings when the projection device 202 repeatedly displays the same image twice.
- the projection device 202 displays the image of frame A (superimposed image 131) twice in the display period 11-1 and the display period 11-2, and the display period 12-1 and the display period In 12-2, the image of frame B (superimposed image 132) is displayed twice. That is, the projection device 202 repeats each superimposed image twice and displays it at double speed.
- a display period of a single superimposed image for example, the display period 11-1 and the display period 11- It is possible not to distinguish 2). That is, by this double-speed processing, the same situation and effect as in the case of reducing the exposure time of the above-described imaging (FIG. 7) can be obtained. Therefore, for example, a pattern image 310 as shown in FIG. 11 can also be used.
- the projection device 202 represents luminance by PWM (Pulse Width Modulation) driving, which is a display method in which a light emitting element blinks and expresses pixel luminance in the lighting time
- PWM Pulse Width Modulation
- the imaging device 203 corresponds to one frame. If the exposure is not performed, the brightness can not be correctly imaged.
- the imaging device 203 can correctly capture the brightness of the projected image, and as in the other examples described above, the pattern is correctly captured. Detection can be performed. That is, the projection device 202 may be driven by the Pulse Width Modulation method, and may project an image including patterns whose positive and negative are mutually opposite by two frames.
- the projection image projected on the screen 210 by the projection device 202 may be tilted with respect to the captured image captured by the imaging device 203.
- the projection start timing of the projected image 382 is the imaging start timing of the captured image 381. It is assumed that it is located near the center in the vertical direction.
- the projection start timing of the projected image 382 is different from that of FIG. Move to the upper side in the vertical direction of the start timing. Therefore, at the same imaging start timing as in the case of FIG. 15, as shown in FIG. 16, the imaging period overlaps a plurality of display periods on the lower side of the captured image, and pattern detection may not be performed correctly.
- the projection start timing of the projected image 382 is the imaging start timing of the captured image 381 compared to the case of FIG. 15. Move downward in the vertical direction of the Therefore, at the same imaging start timing as in the case of FIG. 15, the imaging period overlaps a plurality of display periods on the upper side of the captured image, and pattern detection may not be performed correctly.
- the control device 201 controls the start timing of imaging based on the pattern detection result. In other words, the control device 201 controls the start timing of imaging so that the pattern is correctly detected. Therefore, it is possible to control the start timing of imaging so as to appropriately cope with such inclination of the projection image.
- the pattern detection result 391 shown in FIG. 18 is obtained by projecting the superimposed image 321 and the superimposed image 322 shown in FIG. 11 and detecting a pattern from a captured image of the projected image.
- the pattern detection result 391 although the pattern 311 at the upper end of the pattern image is detected, only a part of the pattern 312 at the lower end is detected. That is, the luminance change occurs in part of the pattern 312.
- the direction and degree of inclination of the projected image with respect to the captured image can be estimated by the occurrence position and range of the luminance change. For example, it is possible to estimate which side is inclined to the left or right depending on whether a luminance change occurs in a part of the upper end pattern 311 or a luminance change occurs in a part of the lower end pattern 312. In addition, it is possible to estimate how much it tilts in accordance with the size of the generation range of the luminance change.
- the control device 201 (imaging timing setting unit 259) may search the start timing of imaging more efficiently based on such estimation. By doing this, the appropriate start timing can be determined faster.
- the superimposed image to be projected may be geometrically corrected and projected so as to reduce the inclination and distortion of the projected image.
- FIG. 19 is a block diagram showing a main configuration example of the control device 201 in that case.
- the image correction unit 254 when the change in luminance can not be made sufficiently small by control of the imaging start timing by the imaging timing setting unit 259, the image correction unit 254 performs geometric correction on the projected image.
- the imaging timing setting unit 259 searches for the imaging start timing and supplies a request for geometric correction to the image correction unit 254 (arrow 411) when an appropriate start timing can not be obtained.
- the image correction unit 254 receives the request, the image correction unit 254 performs geometric correction on the superimposed image.
- the imaging timing setting unit 259 may supply information useful for geometric correction to the image correction unit 254, and the image correction unit 254 may perform geometric correction using the information.
- the imaging timing setting unit 259 may provide the image correction unit 254 with information indicating whether or not the projection image is inclined with respect to the imaged image, and information indicating the direction and degree of the inclination. By performing geometric correction using such information, the image correction unit 254 can perform geometric correction in a method according to the change in luminance. Therefore, the image correction unit 254 can perform more appropriate geometric correction with respect to control of the imaging start timing.
- step S208 the imaging timing setting unit 259 determines whether or not geometric correction is necessary. If it is determined that the geometric correction is necessary, the process proceeds to step S309. In step S309, the image correction unit 254 performs geometric correction on the superimposed image. When the process of step S309 ends, the process returns to step S301, and the subsequent processes are executed again.
- step S308 If it is determined in step S308 that geometric correction is not necessary, the process proceeds to step S310.
- the imaging control unit 257 determines whether or not the imaging start timing is changed by the process of step S307 (control of imaging start timing). If the imaging start timing is changed, the process returns to step S302, and the processes of steps S302 to S310 are performed at the changed new start timing.
- steps S302 to S310 is repeated while updating the start timing (while continuing the search) until the optimum start timing is determined (until the search ends). Then, when it is determined in step S310 that the imaging start timing is not changed (that is, the search is ended), the process proceeds to step S311.
- step S311 and step S312 are performed similarly to each process of step S209 and step S210 of FIG.
- the control process ends.
- the imaging period can be made appropriate timing with respect to the display period in more various situations, so that the rolling shutter camera, which is cheaper than the global shutter camera, is more accurate. It is possible to detect patterns. That is, grasping of the state of the projection image can be realized at lower cost.
- the exposure time of imaging may be controlled. More specifically, for example, when an appropriate start timing of imaging can not be obtained, the exposure time may be shortened. At this time, the minimum exposure time may be provided so that the exposure time is not shorter than that. In addition, when an appropriate start timing can be obtained, the exposure time may be made as long as possible.
- the change in brightness due to the control of the length of the exposure time is the brightness change due to the start timing of imaging described above (the imaging period overlaps with a plurality of display periods).
- the judgment standard for example, the threshold value
- the threshold value is controlled (that is, the threshold value is changed) according to the length of the exposure time. It is also good.
- Control device> The configuration of the control device 201 in this case is basically the same as that described with reference to the block diagram of FIG. However, in this case, the imaging timing setting unit 259 controls not only the imaging start timing but also the imaging exposure time as described above based on the pattern detection result.
- step S407 the imaging timing setting unit 259 obtains a change in luminance of the pattern from the detection result of the pattern obtained in the process of step S206, and based on the luminance change of the pattern, starts the imaging by the imaging device 203 and Set (control) the exposure time.
- steps S408 to S410 are performed in the same manner as the processes of steps S208 to S210 of FIG.
- step S410 ends, the control process ends.
- the imaging period can be set to an appropriate timing with respect to the display period, so that a more accurate pattern detection can be performed by a rolling shutter camera cheaper than a global shutter camera. Can. That is, grasping of the state of the projection image can be realized at lower cost.
- the configuration of the projection imaging system 200 is arbitrary, and is not limited to the example described above.
- the control device 201 and the imaging device 203 may be integrated.
- the projection imaging system 200 is configured by the projection device 202 and the imaging device 603.
- the projection device 202 and the imaging device 603 are communicably connected to each other according to an arbitrary configuration.
- the imaging device 603 incorporates a control unit 601 having the same function as the control device 201 described above, and has the functions of the control device 201 and the imaging device 203 described above.
- the imaging device 603 captures the projection image projected on the projection plane to generate a captured image, and the control unit 601 generates a captured image based on the change in luminance in the detection result of the pattern obtained using the captured image. , Control the start timing of imaging.
- the imaging device 603 captures an image of a subject by a rolling shutter method. Therefore, also in this case, it is possible to realize grasping of the state of the projection image more inexpensively.
- the control device 201 and the projection device 202 may be integrated.
- the projection imaging system 200 is configured of the projection device 612 and the imaging device 203.
- the projection device 612 and the imaging device 203 are communicably connected to each other in an arbitrary configuration.
- the projection device 612 incorporates a control unit 611 having the same function as the control device 201 described above, and has the functions of the control device 201 and the projection device 202 described above.
- the projection device 612 continuously projects images including patterns whose positive and negative sides are opposite to each other, and the imaging device 203 captures a projected image projected on the projection plane to generate a captured image. Controls the start timing of imaging based on the change in luminance in the detection result of the pattern obtained using the captured image. Further, the projection device 612 projects an image by a sequential scanning method. Therefore, also in this case, it is possible to realize grasping of the state of the projection image more inexpensively.
- the projection imaging system 200 may be realized as an apparatus.
- the projection imaging apparatus 620 has the same function as the projection imaging system 200. That is, the projection imaging apparatus 620 includes the control unit 621, the projection unit 622, and the imaging unit 623.
- the control unit 621 has the same function as the control device 201 described above
- the projection unit 622 has the same function as the projection device 202 described above
- the imaging unit 623 has the same function as the imaging device 203 described above. Therefore, also in this case, it is possible to realize grasping of the state of the projection image more inexpensively.
- the projection device 202 and the imaging device 203 may be integrated. That is, the projection imaging system 200 may be configured by the control device 201 and the projection imaging device having the functions of both the projection device 202 and the imaging device 203.
- the projection imaging system 200 may have a plurality of these various devices.
- a plurality of projection devices and a plurality of imaging devices may be provided.
- the number of devices may not be uniform.
- the number of projection devices and the number of imaging devices may be different from each other.
- each device may have functions other than those described above.
- the projection imaging system 200 may include devices other than these devices.
- the display period is described to be a parallelogram in the above (in particular, although it is illustrated in FIG. 1, FIG. 5 to FIG. 7, FIG. 14 to FIG. 17 etc.), this is only an example.
- the shape of is arbitrary.
- the shape of the display period depends on the scanning method (the projection order of each pixel) of the projector (for example, the projection device 202) or the like. That is, the scanning method is arbitrary, and is not limited to the above-described example (the sequential scanning method of projecting in order from the upper row to the lower row of the image).
- a sequential scanning method may be used in which projection is performed in the order from the lower row to the upper row of the image, an interlace scanning method, or any other method.
- the imaging period is described as a parallelogram (in particular, although illustrated in FIGS. 1, 6, 7 and 14 to 17), this is an example, and this imaging period is an example.
- the shape of is arbitrary.
- the shape of the imaging period depends on the scanning method (the signal readout order of each pixel) of the camera (for example, the imaging device 203) or the like. That is, the scanning method is arbitrary, and is not limited to the above-described example (rolling shutter method of reading signals in order from the upper row to the lower row of the pixel area).
- a rolling shutter method may be used in which signals are read in order from the lower row to the upper row of the pixel area, or a method may be used in which signals are read out for each column. It may be a method of reading a signal, or may be another method.
- one of the present disclosure controls imaging start timing (time to set an imaging trigger) based on luminance change in pattern detection result, but the shapes of the display period and the imaging period are not limited. . That is, scanning methods for projection and imaging are arbitrary.
- the start timing (which time the appropriate timing is) for overlapping the multiple display periods in which the imaging periods are different from each other is the shape of each of the display period and the imaging period (that is, the projection And the scanning method of imaging), the present disclosure can be applied to any shape.
- the following 2 as an example of estimating the direction or position where the minimum value can be obtained (appropriate timing can be obtained)
- the first example is an example in which it is estimated that the luminance change is minimized by delaying the start timing of imaging when the luminance change of the lower pattern is larger than the luminance change of the upper pattern.
- the second is an example in which it is estimated that the luminance change is minimized by advancing the start timing of imaging when the luminance change of the upper pattern is larger than the luminance change of the lower pattern.
- the shapes of the display period and the imaging period are arbitrary.
- the method of estimating the direction or position from which the appropriate timing is obtained also depends on the shapes of the display period and the imaging period. Therefore, the method of estimating the direction or position from which the appropriate timing can be obtained is arbitrary, and is not limited to the above-described example.
- the control process described above it may not be possible to obtain an appropriate imaging start timing by the control process described above.
- error processing such as displaying a warning may be performed, or the best time (for example, the ratio in which the imaging period overlaps the single display period becomes the largest (ratio overlapping in the other display periods) May be selected as the imaging start timing.
- the series of processes described above can be performed by hardware or software. In addition, some processes may be executed by hardware and other processes may be executed by software.
- a program that configures the software is installed on a computer.
- the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
- FIG. 23 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
- a central processing unit (CPU) 901, a read only memory (ROM) 902, and a random access memory (RAM) 903 are mutually connected via a bus 904.
- An input / output interface 910 Also connected to the bus 904 is an input / output interface 910.
- An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
- the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
- the output unit 912 includes, for example, a display, a speaker, and an output terminal.
- the storage unit 913 is formed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
- the communication unit 914 includes, for example, a network interface.
- the drive 915 drives removable media 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the program. Processing is performed.
- the RAM 903 also stores data necessary for the CPU 901 to execute various processes.
- the program executed by the computer can be recorded and applied to, for example, a removable medium 921 as a package medium or the like.
- the program can be installed in the storage unit 913 via the input / output interface 910 by attaching the removable media 921 to the drive 915.
- the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be received by the communication unit 914 and installed in the storage unit 913.
- this program can be installed in advance in the ROM 902 or the storage unit 913.
- the present technology can be applied to any configuration installed in an apparatus or an apparatus, for example, a processor (eg, a video processor) as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, etc. (eg, video It can also be implemented as a module), a unit using a plurality of modules (e.g., a video unit), a set (e.g., a video set) in which other functions are added to the unit, etc. (i.e. part of the apparatus).
- a processor eg, a video processor
- LSI Large Scale Integration
- the present technology can also be applied to a network system configured by a plurality of devices.
- the present invention may also be applied to cloud services that provide services related to images (moving images) to arbitrary terminals such as computers, AV (Audio Visual) devices, portable information processing terminals, and IoT (Internet of Things) devices. it can.
- systems, devices, processing units, etc. to which the present technology is applied may be used in, for example, transportation, medical, crime prevention, agriculture, animal husbandry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. Can. Moreover, the use is also arbitrary.
- the present technology can be applied to systems and devices provided for provision of ornamental content and the like.
- the present technology can be applied to systems and devices provided for traffic, such as traffic condition supervision and automatic operation control.
- the present technology can be applied to systems and devices provided for security.
- the present technology can be applied to a system or device provided for automatic control of a machine or the like.
- the present technology can be applied to systems and devices provided for use in agriculture and livestock.
- the present technology can also be applied to systems and devices that monitor natural conditions such as, for example, volcanoes, forests, and oceans, and wildlife.
- the present technology can be applied to systems and devices provided for sports.
- the present technology relates to any configuration that configures an apparatus or system, for example, a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, a unit using a plurality of modules, etc. It can also be implemented as a set or the like with additional functions (ie, part of the configuration of the device).
- a processor as a system LSI (Large Scale Integration) or the like
- a module using a plurality of processors a unit using a plurality of modules, etc.
- additional functions ie, part of the configuration of the device.
- the system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network and one device housing a plurality of modules in one housing are all systems. .
- the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
- the configuration described as a plurality of devices (or processing units) in the above may be collectively configured as one device (or processing unit).
- configurations other than those described above may be added to the configuration of each device (or each processing unit).
- part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) if the configuration or operation of the entire system is substantially the same. .
- the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
- the program described above can be executed on any device.
- the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
- each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
- the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
- a plurality of processes included in one step can be executed as a process of a plurality of steps.
- the processes described as a plurality of steps can be collectively performed as one step.
- the process of the step of writing the program may be executed in chronological order according to the order described in the present specification, or the call is performed in parallel or It may be individually executed at necessary timing such as time. That is, as long as no contradiction arises, the processing of each step may be performed in an order different from the order described above. Furthermore, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
- the present technology can also have the following configurations.
- Start timing of imaging for obtaining the pickup image based on a change in luminance in a detection result of a predetermined pattern included in the projection image obtained using the pickup image of the projection image projected on the projection plane An image processing apparatus comprising: a control unit that controls (2) The image processing apparatus according to (1), wherein the control unit controls the start timing of the imaging so that the change in luminance is equal to or less than a predetermined threshold. (3) The image processing apparatus according to (1) or (2), wherein the control unit controls the start timing of the imaging so as to minimize the change in luminance.
- the control unit is configured to start timing of the imaging based on a change in luminance of at least one of the pattern located at the top of the projected image and the pattern located at the bottom of the projected image.
- the image processing apparatus according to any one of (1) to (3).
- the control unit causes the start timing of the imaging to be earlier if the change in luminance of the pattern located at the top of the projected image is larger than the change in luminance of the pattern located at the bottom of the projected image.
- the control unit delays the start timing of the imaging when the luminance change of the pattern located at the lowermost position of the projection image is larger than the luminance change of the pattern located at the uppermost position of the projected image.
- the image processing apparatus according to (4) or (5).
- the pattern located at the top of the projection image and the pattern located at the bottom of the projection image are linear patterns whose longitudinal direction is the horizontal direction. (4) to (6) The image processing apparatus according to any one of the above. (8) The pattern positioned at the top of the projected image and the pattern positioned at the bottom of the projected image are each configured of a plurality of patterns arranged in the horizontal direction. (4) to (7) The image processing apparatus described in. (9) The image processing apparatus according to any one of (1) to (8), wherein the control unit further controls an exposure time of the imaging.
- the pattern detection unit further includes a pattern detection unit that detects the pattern using differences between captured images of two continuously projected projection images that include patterns whose positive and negative are reverse to each other,
- the image processing apparatus according to any one of (1) to (9), wherein the control unit controls the start timing of the imaging based on a change in luminance in a detection result of the pattern by the pattern detection unit.
- a corresponding point detection unit that detects a corresponding point between the projected image and the captured image based on the detection result of the pattern.
- the image processing apparatus according to any one of (1) to (10), further comprising: a geometric correction unit that performs geometric correction on the projected image based on the detection result of the corresponding point by the corresponding point detection unit .
- the geometric correction unit performs geometric correction on a projected image when the change in luminance can not be made sufficiently small by the control of the start timing of the imaging by the control unit.
- Image processing device (13) The image processing apparatus according to (12), wherein the geometric correction unit performs the geometric correction by a method according to the change in luminance.
- the image capturing apparatus further includes an imaging unit that captures the projection image to obtain the captured image.
- the control unit controls the start timing of the imaging based on a change in luminance in a detection result of the pattern obtained using the captured image obtained by the imaging unit.
- the projector further includes a projection unit that continuously projects images including patterns whose positive and negative sides are opposite to each other,
- the control unit controls the start timing of the imaging based on a change in luminance in the detection result of the pattern obtained using the captured image of the projection image projected on the projection plane by the projection unit.
- the image processing apparatus according to any one of 1) to (15).
- the projection unit is driven by a pulse width modulation method and projects an image including positive and negative opposite patterns by two frames.
- a projection apparatus having a projection unit that continuously projects images including patterns whose positive and negative are reverse to each other,
- An imaging device including an imaging unit configured to capture a projected image projected on a projection plane by the projection unit; The start timing of imaging for obtaining the captured image by the imaging unit is controlled based on the change in luminance in the detection result of the pattern included in the projection image obtained using the captured image obtained by the imaging unit.
- An image processing system comprising: a control device having a control unit;
- DESCRIPTION OF SYMBOLS 100 control device, 101 imaging timing setting unit, 200 projection imaging system, 201 control device, 202 projection device, 203 imaging device, 251 image input unit, 252 pattern image storage unit, 253 pattern combining unit, 254 image correction unit, 255 projection Control unit, 256 communication unit, 257 imaging control unit, 258 pattern detection unit, 259 imaging timing setting unit, 260 corresponding point detection unit, 601 control unit, 603 imaging device, 611 control unit, 612 projection device, 620 projection imaging device, 621 control unit, 622 projection unit, 623 imaging unit, 900 computer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本開示は、投影画像の状態の把握をより安価に実現することができるようにする画像処理装置および方法、並びに、画像処理システムに関する。 投影面に投影された投影画像の撮像画像を用いて得られたその投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、撮像画像を得るための撮像の開始タイミングを制御する。本開示は、例えば、画像処理装置、画像投影装置、制御装置、情報処理装置、画像投影システム、画像処理システム、画像処理方法、またはプログラム等に適用することができる。
Description
本開示は、画像処理装置および方法、並びに、画像処理システムに関し、特に、投影画像の状態の把握をより安価に実現することができるようにした画像処理装置および方法、並びに、画像処理システムに関する。
従来、プロジェクタにより投影された投影画像の歪みの低減等のために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等を推定し、それらに応じた投影画像の幾何補正を行う方法があった。例えば、スクリーンが、プロジェクタに正対してない場合、カメラでスクリーンに投影された投影画像を撮影し、投影画像が台形状などに変形していれば、スクリーン上に正しく投影されるよう、投影する画像を逆台形状に補正する等の処理があった。
このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があり、この対応点を求める方法として、コンテンツの視聴中にセンシングを行うISL(Imperceptible Structured Light)が提案された(例えば、非特許文献1参照)。ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。
Imperceptible Structured Light Ramesh Raskar, SIGGRAPH 98
しかしながら、この方法を安価なローリングシャッタ方式のカメラを用いて行うと、撮像画像1フレームに複数フレームの投影画像が映り込むため、撮像画像からパタン画像を抽出することが困難であった。そのため、投影画像の状態を把握するために、高価なグローバルシャッタ方式のカメラを用いなければならず、コストが増大するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、投影画像の状態の把握をより安価に実現することができるようにするものである。
本技術の一側面の画像処理装置は、投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する制御部を備える画像処理装置である。
本技術の一側面の画像処理方法は、投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する画像処理方法である。
本技術の他の側面の画像処理システムは、正負が互いに逆のパタンを含む画像を連続して投影する投影部を有する投影装置と、前記投影部により投影面に投影された投影画像を撮像する撮像部を有する撮像装置と、前記撮像部により得られた撮像画像を用いて得られた前記投影画像に含まれる前記パタンの検出結果における輝度変化に基づいて、前記撮像部による前記撮像画像を得るための撮像の開始タイミングを制御する制御部を有する制御装置とを備える画像処理システムである。
本技術の一側面の画像処理装置および方法においては、投影面に投影された投影画像の撮像画像を用いて得られたその投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、撮像画像を得るための撮像の開始タイミングが制御される。
本技術の他の側面の画像処理システムにおいては、投影装置において、正負が互いに逆のパタンを含む画像が連続して投影され、撮像装置において、投影面に投影された投影画像が撮像され、制御装置において、その撮像画像を用いて得られた投影画像に含まれるそのパタンの検出結果における輝度変化に基づいて、撮像画像を得るための撮像の開始タイミングが制御される。
本開示によれば、画像を処理することができる。特に、投影画像の状態の把握をより安価に実現することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(制御装置)
2.第2の実施の形態(画像投影システム)
2-1.投影撮像システム
2-2.パタン
2-3.PWM
2-4.投影画像の傾き
3.第3の実施の形態(幾何補正)
4.第4の実施の形態(露光時間制御)
5.第5の実施の形態(画像投影システム・他の構成例)
6.付記
1.第1の実施の形態(制御装置)
2.第2の実施の形態(画像投影システム)
2-1.投影撮像システム
2-2.パタン
2-3.PWM
2-4.投影画像の傾き
3.第3の実施の形態(幾何補正)
4.第4の実施の形態(露光時間制御)
5.第5の実施の形態(画像投影システム・他の構成例)
6.付記
<1.第1の実施の形態>
<撮像の開始タイミングの制御>
図1は、表示(画像投影)と撮像タイミング制御の様子の例を示している。図1において、表示期間11は、フレームAの画像が表示される(投影される)期間を示している。表示期間12は、フレームBの画像が表示される(投影される)期間を示している。図中、左から右に向かって時刻が進み、これらの表示期間の上下方向は、表示される(投影される)画像の上下方向を示す。プロジェクタが画像の上の行から下の行に向かう順に投影する順次走査方式で表示(画像投影)を行うため、表示期間は図1のように平行四辺形状となる。
<撮像の開始タイミングの制御>
図1は、表示(画像投影)と撮像タイミング制御の様子の例を示している。図1において、表示期間11は、フレームAの画像が表示される(投影される)期間を示している。表示期間12は、フレームBの画像が表示される(投影される)期間を示している。図中、左から右に向かって時刻が進み、これらの表示期間の上下方向は、表示される(投影される)画像の上下方向を示す。プロジェクタが画像の上の行から下の行に向かう順に投影する順次走査方式で表示(画像投影)を行うため、表示期間は図1のように平行四辺形状となる。
撮像期間21は、フレームAの投影画像(投影面に投影された画像)を撮像する期間を示している。撮像期間22は、フレームBの投影画像を撮像する期間を示している。表示期間の場合と同様、図中、左から右に向かって時刻が進み、撮像期間の上下方向は、撮像画像の上下方向を示す。カメラが画素領域の上の行から下の行に向かう順に信号を読み出すローリングシャッタ方式で撮像を行うため、撮像期間は図1のように平行四辺形状となる。
本開示の1つは、この撮像期間の開始タイミングを、撮像画像から得られるパタン検出結果に基づいて行うことである。すなわち、投影面に投影された投影画像の撮像画像を用いて得られたその投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、撮像画像を得るための撮像の開始タイミングを制御するようにする。
例えば、図1において矢印で示される撮像開始タイミング31(撮像トリガを立てる時刻)は、撮像期間21が開始されるタイミング(時刻)である。この撮像開始タイミング31とする時刻(撮像トリガを立てる時刻)を、両矢印41に示されるように、パタン検出結果に基づいて設定する(制御する)。同様に、撮像開始タイミング32(撮像トリガを立てる時刻)は、撮像期間22が開始されるタイミング(時刻)であり、この撮像開始タイミング32とする時刻(撮像トリガを立てる時刻)を、両矢印42に示されるように、パタン検出結果に基づいて設定する(制御する)。
このようにすることにより、撮像期間を表示期間に対して適切なタイミングとすることができ、より正確にパタンの検出を行うことができるようになる。つまり、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができ、カメラとプロジェクタの対応点をより正確に求めることができるようになる。すなわち、投影画像の状態の把握をより安価に実現することができる。付言するに、投影する画像のより適切な幾何補正をより安価に実現することができる。
<制御装置>
図2は、本技術を適用した画像処理装置の一実施の形態である制御装置の主な構成例を示すブロック図である。図2に示される制御装置100は、撮像部による投影面に投影された投影画像の撮像の開始タイミング(撮像トリガを立てる時刻)を制御する装置である。図2に示されるように、制御装置100は、撮像タイミング設定部101を有する。
図2は、本技術を適用した画像処理装置の一実施の形態である制御装置の主な構成例を示すブロック図である。図2に示される制御装置100は、撮像部による投影面に投影された投影画像の撮像の開始タイミング(撮像トリガを立てる時刻)を制御する装置である。図2に示されるように、制御装置100は、撮像タイミング設定部101を有する。
撮像タイミング設定部101は、投影面に投影された投影画像の撮像画像を用いて得られた、その投影画像に含まれる所定のパタンの検出結果を入力とする。撮像タイミング設定部101は、そのパタンの検出結果における輝度変化に基づいて、投影画像の撮像画像を得るための撮像の開始タイミングを制御(設定)する。撮像タイミング設定部101は、その設定(撮像タイミング設定)を制御装置100の外部に出力する。例えば、撮像タイミング設定部101は、その撮像タイミング設定を、撮像部(または撮像部を制御する撮像制御部)等に供給し、その設定したタイミングで撮像を開始させる。
<制御処理の流れ>
この制御装置100により実行される制御処理の流れの例を、図3のフローチャートを参照して説明する。制御処理が開始されると、制御装置100の撮像タイミング設定部101は、ステップS101において、供給されたパタン検出結果の輝度変化に基づいて、撮像の開始タイミングを設定(制御)し、その設定を出力する。ステップS101の処理が終了すると、制御処理が終了する。
この制御装置100により実行される制御処理の流れの例を、図3のフローチャートを参照して説明する。制御処理が開始されると、制御装置100の撮像タイミング設定部101は、ステップS101において、供給されたパタン検出結果の輝度変化に基づいて、撮像の開始タイミングを設定(制御)し、その設定を出力する。ステップS101の処理が終了すると、制御処理が終了する。
このようにすることにより、撮像期間を表示期間に対して適切なタイミングとすることができるので、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
<投影画像の幾何補正>
以下により具体的に説明する。プロジェクタの投影面(スクリーンや壁等)に対する姿勢(位置や向き等)や投影面の形状等によって、投影された画像(投影画像とも称する)が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、投影画像の歪みを低減し、見やすくすることができる。
以下により具体的に説明する。プロジェクタの投影面(スクリーンや壁等)に対する姿勢(位置や向き等)や投影面の形状等によって、投影された画像(投影画像とも称する)が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、投影画像の歪みを低減し、見やすくすることができる。
本明細書においては、投影画像の変形、移動、拡大、縮小等、投影画像の各画素の投影面における位置が変化する補正を幾何補正と称する。つまり、「幾何補正」には、画像処理によるものだけでなく、シフトやズーム等の光学系の制御によるものや、投影部の姿勢等の制御によるもの等も含まれるものとする。また、本明細書において、投影部や撮像部等の「姿勢」には、それらの「向き」(投影や撮像の向き)だけでなく、それらの「位置」(投影や撮像を行う位置)も含まれるものとする。
このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正の設定を行う方法が考えられた。この場合、撮像画像に含まれる投影画像から、カメラやプロジェクタの姿勢や、スクリーン形状等が推定され、それらに応じて適切な幾何補正が設定される。
<オンラインセンシング>
このような幾何補正の設定は、コンテンツ(動画像)の投影前だけでなく、コンテンツの投影中に必要になる場合もある。例えば、コンテンツの投影中にプロジェクタの姿勢が変化すると、投影画像に歪みが生じてしまう。このような場合、幾何補正を適切な設定にするためには、このプロジェクタの姿勢を推定し直す必要がある。しかしながら、そのためにコンテンツの投影を中断するのは、コンテンツを視聴しているユーザにとって、そのコンテンツの視聴を妨げることになり、好ましくない。そこで、コンテンツの投影を継続したまま対応点を検出する方法(オンラインセンシング)が考えられた。
このような幾何補正の設定は、コンテンツ(動画像)の投影前だけでなく、コンテンツの投影中に必要になる場合もある。例えば、コンテンツの投影中にプロジェクタの姿勢が変化すると、投影画像に歪みが生じてしまう。このような場合、幾何補正を適切な設定にするためには、このプロジェクタの姿勢を推定し直す必要がある。しかしながら、そのためにコンテンツの投影を中断するのは、コンテンツを視聴しているユーザにとって、そのコンテンツの視聴を妨げることになり、好ましくない。そこで、コンテンツの投影を継続したまま対応点を検出する方法(オンラインセンシング)が考えられた。
オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL(Imperceptible Structured Light)方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ(例えばInfraredプロジェクタ)がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。
これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大(すなわちコストの増大)を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
<ISL方式>
ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。より具体的に説明すると、入力画像(コンテンツの画像)に対して、所定のパタン画像(Structured Light)のポジ画像とネガ画像とがそれぞれ重畳され、ポジフレーム(Pos Frame)とネガフレーム(Neg Frame)との2フレームが生成される。
ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。より具体的に説明すると、入力画像(コンテンツの画像)に対して、所定のパタン画像(Structured Light)のポジ画像とネガ画像とがそれぞれ重畳され、ポジフレーム(Pos Frame)とネガフレーム(Neg Frame)との2フレームが生成される。
例えば、投影する前に、パタン合成部が、図4のAに示されるような、投影するコンテンツのフレーム画像であるフレーム画像121に、図4のBに示されるようなパタン画像122-1とパタン画像122-2をそれぞれ重畳し、2枚の重畳画像を生成する。
パタン画像122-1は、プロジェクタ(投影部)とカメラ(撮像部)との間の画素の対応点の検出に利用可能なパタン123-1を含む画像である。図4のBにおいては、パタン123-1が円形のパタンにより構成されるように示されているが、このパタン123-1は、対応点の検出が可能なものであれば、どのような絵柄のパタンにより構成されるようにしてもよい。なお、パタン123-1の輝度値は、周囲のパタン以外の部分よりも正の方向に変化している。つまり、パタン画像122-1は、正のパタン画像である。
パタン画像122-2は、パタン画像122-1と同様に、プロジェクタとカメラとの間の画素の対応点の検出に利用可能なパタン123-2を含む画像である。このパタン123-2は、パタン123-1と同一の絵柄のパタンにより構成され、かつ、その輝度値は、周囲のパタン以外の部分よりも負の方向に変化している。つまり、パタン123-2は、パタン123-1と同一の絵柄で、かつ、輝度値変化が逆向きのパタンにより構成される。つまり、パタン画像122-2は、負のパタン画像である。
以下において、パタン画像122-1とパタン画像122-2とを互いに区別して説明する必要が無い場合、パタン画像122と称する。また、パタン123-1とパタン123-2とを互いに区別して説明する必要が無い場合、パタン123と称する。
<表示と撮像のタイミングによるパタン検出への影響>
この2フレーム(重畳画像)を、順次走査方式で駆動するプロジェクタにより順次投影させる。図5は、表示タイミングの様子の例を示す図であり、図1と同様の見方をする図である。図5に示されるように、重畳画像131がフレームAの画像として投影され、重畳画像132がフレームBの画像として投影される。つまり、重畳画像131と重畳画像132とが連続して(順次)投影される。
この2フレーム(重畳画像)を、順次走査方式で駆動するプロジェクタにより順次投影させる。図5は、表示タイミングの様子の例を示す図であり、図1と同様の見方をする図である。図5に示されるように、重畳画像131がフレームAの画像として投影され、重畳画像132がフレームBの画像として投影される。つまり、重畳画像131と重畳画像132とが連続して(順次)投影される。
重畳画像131は、フレーム画像121とパタン画像122-1とを重畳した合成画像である。重畳画像132は、フレーム画像121とパタン画像122-2とを重畳した合成画像である。
プロジェクタが順次走査方式で画像を投影するため、図5に示されるように、重畳画像131(フレームA)の表示期間11は平行四辺形状となる。つまり、画像の下側程、表示の開始タイミングが遅れる。また、重畳画像132(フレームB)の表示期間12も同様に平行四辺形状となる。
パタン画像のポジ画像(正のパタン画像とも称する)とネガ画像(負のパタン画像とも称する)は、パタンの輝度値変化方向が互いに逆向き(例えば白と黒)であるので、プロジェクタからこれらの2フレームが連続して投影されると、ユーザには、積分効果によりこのパタン画像(ポジ画像とネガ画像)を知覚することが困難になる。
ただし、各フレームの投影画像をカメラで撮像し、その撮像画像の差分を求めると、理想的には、コンテンツの画像が消去され、パタン画像(ポジ画像とネガ画像の差分、すなわちポジ画像の2倍)が抽出される。このパタン画像を用いてプロジェクタとカメラの画素の対応点を検出することができる。つまり、コンテンツの視聴を妨げずに、対応点を検出する(さらには動画像の幾何補正を行う)ことができる。
このようなシステムのカメラとして、ローリングシャッタ方式のカメラを用いる場合の、撮像タイミングの例を図6に示す。図6に示されるように、この場合、フレームAの投影画像を撮像する撮像期間21は平行四辺形状となる。つまり、画像の下側程、撮像の開始タイミングが遅れる。また、フレームBの投影画像を撮像する撮像期間22も同様に平行四辺形状となる。
仮に、図6のように、プロジェクタの投影画角とカメラの撮像画角とを完全に一致させ、かつ、表示(投影)と撮像を互いに完全に同一のタイミングで行うようにすると、撮像期間21においては、表示期間11に投影された投影画像(例えば重畳画像131)のみを含む撮像画像が得られ、撮像期間22においては、表示期間12に投影された投影画像(例えば重畳画像132)のみを含む撮像画像が得られる。したがって、両撮像画像の差分を求めることにより、正確にパタンを検出することができる。
しかしながら、実際には、プロジェクタの投影画角を正確に把握することができない(不明であるからこそ、対応点検出や幾何補正が必要になる)。そのため、投影画像の位置がずれたり、歪んだりしてもできる限り撮像画像に含まれるように、カメラの撮像画角は、投影画角よりも広く設定される。また、高精度に撮像と投影の同期をとることは、現実的には容易ではなく、コストが増大するおそれがある。したがって、表示期間と撮像期間とを図6のように完全に一致させることは現実的には困難である。
そこで、図7に示される例のように、撮像の露光期間(撮像期間の水平方向の長さ)を表示期間よりも短くする。このようにすることにより、撮像期間21において得られる撮像画像には、表示期間11に投影されたフレームAの投影画像(例えば重畳画像131)のみが含まれる(その他のフレームの投影画像が含まれないという意味)ようにすることができる。同様に、撮像期間22において得られる撮像画像には、表示期間12に投影されたフレームBの投影画像(例えば重畳画像132)のみが含まれる(その他のフレームの投影画像が含まれないという意味)ようにすることができる。
しかしながらこの場合、上述したように、撮像画角を投影画角より広くしているため、投影画像と撮像画像とでは垂直方向の長さが互いに異なる。ただし、フレームレート(Vsyncの長さ)は互いに同一であるため、図7に示されるように、表示期間11および表示期間12の傾斜角と撮像期間21および撮像期間22の傾斜角とが互いに異なる。したがって、この場合、撮像開始タイミング31や撮像開始タイミング32の設定が難しくなる。
例えば、図1のように、この撮像開始タイミング31や撮像開始タイミング32を、表示の開始タイミング(各表示期間の開始タイミング)に揃えるまたは近似させると、撮像期間が複数の表示期間に重なってしまう。例えば、図1の例において、撮像期間22は、表示期間11と表示期間12とに重畳している。つまり、撮像期間22において得られる撮像画像には、フレームAの投影画像とフレームBの投影画像の両方が含まれる。
このように連続する2フレームの投影画像が撮像画像に含まれると、正負が互いに逆のパタンが含まれることになり、積分効果によりパタンが相殺されてしまう(ポジ画像とネガ画像とが加算されパタンの輝度が低減してしまう)おそれがあった。つまり、パタン検出の精度が低減し、投影画像の状態の把握を高精度に行うことができなくなるおそれがあった。
すなわち、この状態では、安価なローリングシャッタ方式のカメラを用いてISL方式のオンラインセンシングを実現することが困難であった。換言するに、ISL方式のオンラインセンシングを実現するためには、高価なグローバルシャッタ方式のカメラを用いなければならず、コストが増大するおそれがあった。
<撮像の開始タイミングの制御>
そこで、制御装置100の撮像タイミング設定部101は、上述したように、パタン検出結果に基づいて、表示期間と撮像期間とが図7の例のような関係となるように(つまり、撮像期間が単一の表示期間に重畳するように)、撮像の開始タイミングを制御(設定)する。その際、撮像タイミング設定部101は、パタン検出結果の輝度変化に基づいて、このように撮像の開始タイミングを設定する。
そこで、制御装置100の撮像タイミング設定部101は、上述したように、パタン検出結果に基づいて、表示期間と撮像期間とが図7の例のような関係となるように(つまり、撮像期間が単一の表示期間に重畳するように)、撮像の開始タイミングを制御(設定)する。その際、撮像タイミング設定部101は、パタン検出結果の輝度変化に基づいて、このように撮像の開始タイミングを設定する。
このようにすることにより、投影画像の状態の把握を高精度に行うことができるので、安価なローリングシャッタ方式で駆動するカメラを用いてISL方式のオンラインセンシングを実現することができる。つまり、投影画像の状態の把握をより安価に実現することができる。
<輝度変化の求め方>
ここで、撮像タイミング設定部101は、パタン検出結果の輝度変化を、どのように求めてもよい。例えば、撮像タイミング設定部101は、所定の基準値(例えば、パタン検出結果の輝度の理想値)に対する実際のパタン検出結果の輝度値(実際に検出されたパタンの輝度値)の比または差分を輝度変化として求めるようにしてもよい。
ここで、撮像タイミング設定部101は、パタン検出結果の輝度変化を、どのように求めてもよい。例えば、撮像タイミング設定部101は、所定の基準値(例えば、パタン検出結果の輝度の理想値)に対する実際のパタン検出結果の輝度値(実際に検出されたパタンの輝度値)の比または差分を輝度変化として求めるようにしてもよい。
また、例えば、撮像タイミング設定部101は、パタン検出結果の輝度値(実際に検出されたパタンの輝度値)の上下方向の比または差分を輝度変化として求めるようにしてもよい。例えば、撮像タイミング設定部101は、パタン検出結果における、パタン画像の一番上のパタンの輝度値と、パタン画像の一番下のパタンの輝度値との比または差分を、輝度変化として求めるようにしてもよい。
<輝度変化に基づく開始タイミングの設定方法>
また、その輝度変化に対応する撮像の開始タイミングの求め方は任意である。上述したように、図1の例のように撮像期間が複数の投影期間に重なるとパタン検出結果の輝度が低減するのであるから、そのような輝度変化が抑制される、すなわち、輝度の低減が抑制されるようにタイミングを設定することができればよい。
また、その輝度変化に対応する撮像の開始タイミングの求め方は任意である。上述したように、図1の例のように撮像期間が複数の投影期間に重なるとパタン検出結果の輝度が低減するのであるから、そのような輝度変化が抑制される、すなわち、輝度の低減が抑制されるようにタイミングを設定することができればよい。
例えば、撮像タイミング設定部101が、撮像の開始タイミングの候補を順次探索し、輝度変化が最小となるタイミングを求めるようにしてもよい。このようにすることにより、最適な開始タイミングを設定することができる。
また、撮像タイミング設定部101が、撮像の開始タイミングの候補を順次探索し、輝度変化が所定の閾値以下となる候補が見つかった時点で探索を終了し、その候補を撮像の開始タイミングとして選択するようにしてもよい。閾値を適切に設定することにより、この方法でも十分に適切な開始タイミングを設定することができる。この方法の場合、上述した輝度変化の最小値を求める方法よりも、開始タイミングの設定をより高速に行うことができる。
また、探索の精度を段階的に上げるようにしてもよい。例えば、撮像タイミング設定部101が、最初に大まかな精度で探索し、その中で輝度変化が最小となるタイミングの付近を細かな精度で探索するようにしてもよい。このように段階的に探索の精度を上げるように探索を繰り返すことにより、全ての候補を順次探索して輝度変化が最小となるタイミングを求める場合よりも、開始タイミングの設定をより高速に行うことができる。
さらに、撮像タイミング設定部101が、パタン検出結果の輝度変化に基づいて、最小値が得られる方向や位置を推定するようにしてもよい。例えば図1に示されるように、撮像期間の傾斜の方が表示期間の傾斜よりも急になるため、撮像の開始タイミングが早すぎると、下側のパタンの輝度変化が大きくなり(輝度がより低減し)、撮像の開始タイミングが遅すぎると、上側のパタンの輝度変化が大きくなる(輝度がより低減する)。このような特性を踏まえ、撮像タイミング設定部101が、どの部分のパタンの輝度変化が大きいかに基づいて、最小値が得られる方向や位置を推定するようにしてもよい。
つまり、撮像タイミング設定部101が、投影画像の最も上に位置するパタン(投影画像に含まれるパタンの内、最も上に位置するパタン)、および、投影画像の最も下に位置するパタン(投影画像に含まれるパタンの内、最も下に位置するパタン)の内、少なくともいずれか一方の輝度変化に基づいて、撮像の開始タイミングを制御するようにしてもよい。
例えば、下側のパタンの輝度変化の方が、上側のパタンの輝度変化よりも大きい場合、撮像の開始タイミングを遅らせることにより、輝度変化を最小とすることができることが推定される。逆に、上側のパタンの輝度変化の方が、下側のパタンの輝度変化よりも大きい場合、撮像の開始タイミングを早めることにより、輝度変化を最小とすることができることが推定される。
そこで、撮像タイミング設定部101が、投影画像の最も上に位置するパタンの輝度変化の方が、投影画像の最も下に位置するパタンの輝度変化よりも大きい場合、撮像の開始タイミングを早くするように制御するようにしてもよい。逆に、撮像タイミング設定部101が、投影画像の最も下に位置するパタンの輝度変化の方が、投影画像の最も上に位置するパタンの輝度変化よりも大きい場合、撮像の開始タイミングを遅くするように制御するようにしてもよい。
また、例えば、その輝度変化の度合いが大きい程、撮像の開始タイミングをより大きく変化させる必要がある(すなわち、現在設定されているタイミングと、輝度変化が最小となるタイミングとの差がより大きい)ことが推定される。逆に、輝度変化の度合いが小さい程、撮像の開始タイミングをより小さく変化させる必要がある(すなわち、現在設定されているタイミングと、輝度変化が最小となるタイミングとの差がより小さい)ことが推定される。
このように、求める撮像の開始タイミングを推定することにより、全ての候補を順次探索して輝度変化が最小となるタイミングを求める場合よりも、開始タイミングの設定をより高速に行うことができる。
<2.第2の実施の形態>
<2-1.投影撮像システム>
<システム構成>
次に、上述したような画像投影や撮像を行うシステムに本技術を適用する例について説明する。図8は、本技術を適用したシステムの一実施の形態である投影撮像システムの主な構成例を示すブロック図である。図8において、投影撮像システム200は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。
<2-1.投影撮像システム>
<システム構成>
次に、上述したような画像投影や撮像を行うシステムに本技術を適用する例について説明する。図8は、本技術を適用したシステムの一実施の形態である投影撮像システムの主な構成例を示すブロック図である。図8において、投影撮像システム200は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。
図8に示されるように、投影撮像システム200は、制御装置201、投影装置202、および撮像装置203を有する。投影装置202および撮像装置203は、それぞれ制御装置201と通信可能に接続される。
この接続を実現する通信およびその通信媒体は任意である。例えば、専用のケーブルを介して接続されるようにしてもよいし、HDMI(登録商標)(High-Definition Multimedia Interface)やUSB(登録商標)(Universal Serial Bus)等の所定の規格のケーブルを介して接続されるようにしてもよいし、LAN(Local Area Network)やインターネット等の所定のネットワーク(通信網)を介して接続されるようにしてもよい。また、例えば、Bluetooth(登録商標)通信、NFC(Near Field Communication)等の近距離無線通信、赤外線通信、IEEE(Institute of Electrical and Electronic Engineers)802.11の無線LAN等といった任意の無線通信により接続されるようにしてもよい。また、例えば、無線LANとインターネット等のように、複数種類の通信媒体を介して接続されるようにしてもよい。
制御装置201は、本技術を適用した画像処理装置または制御部の一実施の形態であり、投影装置202や撮像装置203の動作を制御する。また、制御装置201は、撮像装置203により得られた撮像画像を用いて、投影装置202により投影させる画像の補正等に関する処理を行う。
投影装置202は、本技術を適用した画像処理装置または投影部の一実施の形態であり、例えばプロジェクタ等により構成される。投影装置202は、制御装置201から供給される画像を、順次走査方式で、投影面であるスクリーン210に投影する。図8に示されるように、投影装置202は、スクリーン210のPL乃至PRの範囲内に画像を投影する。
撮像装置203は、本技術を適用した画像処理装置または撮像部の一実施の形態であり、例えばカメラ等により構成される。撮像装置203は、その投影画像が投影されたスクリーン210を撮像する。撮像装置203は、スクリーン210のCL乃至CRの範囲を撮像する。つまり、撮像装置203は、投影画像全体を含むような撮像範囲でスクリーン210を撮像する。図8においては、投影画像の横方向について示されているが、縦方向も同様である。なお、撮像装置203は、ローリングシャッタ方式で駆動する。撮像装置203は、得られた投影画像の撮像画像を制御装置201に供給する。
このような構成の投影撮像システム200において、投影装置202は、正負が互いに逆のパタンを含む画像を連続して投影し、撮像装置203は、その投影装置202により投影面に投影された投影画像を撮像し、制御装置201は、その撮像装置203により得られた撮像画像を用いて得られた投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、撮像装置203の撮像の開始タイミングを制御する。
つまり、投影撮像システム200は、正負が互いに逆のパタンを含む画像を連続して投影する投影部を有する投影装置202と、その投影部(投影装置202)により投影面に投影された投影画像を撮像する撮像部を有する撮像装置203と、その撮像部(撮像装置203)により得られた撮像画像を用いて得られた投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、その撮像部(撮像装置203)の撮像の開始タイミングを制御する制御部を有する制御装置201とを備える。
したがって、投影撮像システム200は、安価なローリングシャッタ方式で駆動するカメラを用いてISL方式のオンラインセンシングを実現することができるので、投影画像の状態の把握をより安価に実現することができる。
<制御装置>
図9は、本技術を適用した画像処理装置の一実施の形態である制御装置201の主な構成例を示すブロック図である。図9に示されるように、制御装置201は、画像入力部251、パタン画像記憶部252、パタン合成部253、画像補正部254、投影制御部255、通信部256、撮像制御部257、パタン検出部258、撮像タイミング設定部259、および対応点検出部260を有する。
図9は、本技術を適用した画像処理装置の一実施の形態である制御装置201の主な構成例を示すブロック図である。図9に示されるように、制御装置201は、画像入力部251、パタン画像記憶部252、パタン合成部253、画像補正部254、投影制御部255、通信部256、撮像制御部257、パタン検出部258、撮像タイミング設定部259、および対応点検出部260を有する。
画像入力部251は、画像の取得に関する処理を行う。例えば、画像入力部251は、制御装置201の外部から供給されるコンテンツ(動画像)の各フレーム画像を取得する(矢印271)。画像入力部251は、任意の記憶媒体(例えば半導体メモリや磁気記録媒体等)を有しており、その取得した画像をその記憶媒体に記憶する(保持する)。画像入力部251は、所定のタイミングにおいて、または、他からの要求(例えばパタン合成部253からの要求)に応じて、保持している画像をパタン合成部253に供給する(矢印272)。その際、画像入力部251は、保持している画像に対して、例えばノイズ除去や色補正等の任意の画像処理を適宜行うようにしてもよい。
パタン画像記憶部252は、任意の記憶媒体(例えば半導体メモリや磁気記録媒体等)を有しており、コンテンツの画像に重畳するパタン画像をその記憶媒体に記憶している。このパタン画像は、対応点検出や撮像タイミング設定(制御)のために用いられる所定のパタン(絵柄等)を含む画像である。このパタン(絵柄等)はどのようなものであってもよい。パタン画像記憶部252は、所定のタイミングにおいて、または、他からの要求(例えばパタン合成部253からの要求)に応じて、記憶しているパタン画像をパタン合成部253に供給する(矢印273)。
パタン合成部253は、コンテンツの画像とパタン画像との合成に関する処理を行う。例えば、パタン合成部253は、画像入力部251からコンテンツの画像を取得する(矢印272)。また、パタン合成部253は、パタン画像記憶部252からパタン画像を取得する(矢印273)。そして、パタン合成部253は、そのコンテンツの画像に対して、パタン画像のポジ画像およびネガ画像をそれぞれ重畳させて合成する。つまり、パタン合成部253は、コンテンツの画像とパタン画像のポジ画像との重畳画像(合成画像)と、コンテンツの画像とパタン画像のネガ画像との重畳画像(合成画像)とを生成する。そして、パタン合成部253は、生成した各重畳画像を画像補正部254に供給する(矢印274)。
画像補正部254は、重畳画像の幾何補正に関する処理を行う。例えば、画像補正部254は、パタン合成部253から重畳画像を取得する(矢印274)。また、画像補正部254は、対応点検出部260から、投影装置202および撮像装置203の画素の対応点の検出結果を取得する(矢印275)。そして、画像補正部254は、その対応点の検出結果に基づいて、重畳画像に対して、投影画像の位置や歪みを補正するための幾何補正を適宜行う。そして、画像補正部254は、幾何補正した重畳画像(または幾何補正を省略した重畳画像)を投影制御部255に供給する(矢印276)。
投影制御部255は、投影装置202の制御に関する処理を行う。例えば、投影制御部255は、画像補正部254から重畳画像を取得する(矢印276)。また、投影制御部255は、通信部256を介して、その重畳画像を投影装置202に供給し、スクリーン210に投影させる(矢印277、矢印278)。
なお、投影制御部255が、通信部256を介して投影装置202に命令やデータ(設定等)を供給し、投影装置202による画像投影(例えば、その開始や終了等)を制御するようにしてもよい。また、投影制御部255が、通信部256を介して投影装置202に命令やデータ(設定等)を供給し、投影装置202の光学系(例えば、焦点距離、画角の大きさ、投影の向きや傾き等)を制御するようにしてもよい。
通信部256は、投影装置202や撮像装置203との通信に関する処理を行う。この通信方式は任意である。例えば、通信部256は、投影制御部255から供給される重畳画像、命令、データ等を取得し(矢印277)、それを投影装置202に供給する(矢印278)。また、通信部256は、撮像装置203から送信された撮像画像を取得し(矢印281)、それを撮像制御部257に供給する(矢印282)。さらに、通信部256は、撮像制御部257から供給される命令やデータ等を撮像装置203に供給する。
撮像制御部257は、撮像装置203の制御に関する処理を行う。例えば、撮像制御部257は、撮像タイミング設定部259から撮像の開始タイミングに関する設定を取得する(矢印285)。また、撮像制御部257は、通信部256を介して、撮像装置203に命令やデータ(設定等)を供給し、撮像装置203によるスクリーン210(投影画像)の撮像(例えば、その開始や終了等)を制御する。例えば、撮像制御部257は、撮像装置203を制御し、撮像タイミング設定部259から供給された設定に応じたタイミングで撮像を開始させる。
また、撮像制御部257は、撮像装置203から供給される、撮像装置203がスクリーン210(投影画像)を撮像して得られた撮像画像を、通信部256を介して取得する(矢印281、矢印282)。撮像制御部257は、取得した撮像画像をパタン検出部258に供給する(矢印283)。
なお、撮像制御部257が、通信部256を介して撮像装置203に命令やデータ(設定等)を供給し、撮像装置203の光学系(例えば、絞り、焦点距離、撮像の向きや傾き等)を制御するようにしてもよい。
パタン検出部258は、パタンの検出に関する処理を行う。例えば、パタン検出部258は、撮像制御部257から供給される撮像画像を取得する(矢印283)。また、パタン検出部258は、バッファを有しており、取得した撮像画像をそのバッファに格納する(保持する)。パタン検出部258は、コンテンツの画像にパタン画像のポジ画像が重畳された重畳画像と、そのコンテンツの画像にパタン画像のネガ画像が重畳された重畳画像とを取得すると、それらの差分を求めることにより、パタンを検出する。パタン検出部258は、そのパタン検出結果を撮像タイミング設定部259に供給する(矢印284)。また、パタン検出部258は、そのパタン検出結果を対応点検出部260にも供給する(矢印286)。
撮像タイミング設定部259は、撮像タイミング設定部101(図2)と同様の処理部であり、撮像の開始タイミングの設定に関する処理を行う。例えば、撮像タイミング設定部259は、パタン検出結果をパタン検出部258から取得する(矢印284)。また、撮像タイミング設定部259は、そのパタン検出結果の輝度変化を求め、その輝度変化に基づいて、撮像の開始タイミングを設定(制御)する。この設定方法は、上述した撮像タイミング設定部101の場合と同様である。そして、撮像タイミング設定部259は、求めた撮像の開始タイミングに関する設定を撮像制御部257に供給する(矢印285)。
対応点検出部260は、投影装置202と撮像装置203との間の画素の対応点の検出に関する処理を行う。例えば、対応点検出部260は、パタン検出部258からパタン検出結果を取得する(矢印286)。また、対応点検出部260は、そのパタン検出結果に基づいて(検出されたパタンに基づいて)、投影装置202と撮像装置203との間の画素の対応点の検出を行う。対応点検出部260は、求めた対応点の検出結果を画像補正部254に供給する(矢印275)。
<制御処理の流れ>
この投影撮像システム200により実行される制御処理の流れの例を、図10のフローチャートを参照して説明する。制御処理が開始されると、制御装置201の撮像タイミング設定部259は、ステップS201において、撮像の開始タイミングを初期化する(初期値に設定する)。この初期値はどのような値(タイミング)であってもよい。
この投影撮像システム200により実行される制御処理の流れの例を、図10のフローチャートを参照して説明する。制御処理が開始されると、制御装置201の撮像タイミング設定部259は、ステップS201において、撮像の開始タイミングを初期化する(初期値に設定する)。この初期値はどのような値(タイミング)であってもよい。
ステップS202において、画像入力部251は、投影する画像を取得する。
ステップS203において、パタン合成部253は、パタン画像記憶部252からパタン画像を取得し、それをステップS202の処理により取得された画像に重畳し、重畳画像を生成する。
ステップS204において、投影制御部255は、通信部256を介して投影装置202を制御し、ステップS203の処理により得られた重畳画像を投影させる。投影装置202は、その制御に従って、その重畳画像をスクリーン210に投影する。
ステップS205において、撮像制御部257は、通信部256を介して撮像装置203を制御し、設定された開始タイミングで、スクリーン210(スクリーン210に投影された投影画像)の撮像を開始させる。撮像装置203は、その制御に従って、スクリーン210を撮像し、撮像画像を得る。撮像装置203は、理想的には各フレーム画像(各重畳画像)を撮像することができるように、投影画像のフレームレートと同様のフレームレートで撮像を繰り返す。
ステップS206において、パタン検出部258は、連続して撮像された2枚の撮像画像の差分を求めることにより、パタンの検出を行う。上述したように、連続して撮像された2枚の撮像画像には、正負が互いに逆のパタンを含む投影画像が含まれているので、これらの差分を求めることにより、コンテンツの画像が相殺されるとともに、パタンのポジ画像とネガ画像との差分が得られ、パタンが検出される。
ステップS207において、撮像タイミング設定部259は、ステップS206の処理により得られたパタンの検出結果について、パタンの輝度変化を求め、そのパタンの輝度変化に基づいて、撮像装置203による撮像の開始タイミングを設定(制御)する。
ステップS208において、撮像制御部257は、ステップS207の処理(撮像の開始タイミングの制御)により、撮像の開始タイミングが変更されるか否かを判定する。撮像の開始タイミングが変更される場合、処理はステップS202に戻る。
撮像の開始タイミングが変更されるということは、まだ、開始タイミングが最適なタイミングに設定されていない(最適なタイミングの探索中である)ことを示す。したがって、その変更された新たな開始タイミングで、ステップS202乃至ステップS208の処理が行われる。
このように、最適な開始タイミングが決まるまで(探索が終了するまで)、開始タイミングを更新しながら(探索を続けながら)、ステップS202乃至ステップS208の処理が繰り返される。
そして、ステップS208において、撮像の開始タイミングを変更しない(つまり、探索が終了した)と判定された場合、処理はステップS209に進む。
ステップS209において、対応点検出部260は、ステップS206の処理により得られたパタンの検出結果に基づいて、投影装置202と撮像装置203との画素の対応点を検出する。
ステップS210において、画像補正部254は、ステップS209の処理により検出された対応点に基づいて、投影する重畳画像に対して、投影画像の位置や歪みを補正するための幾何補正を行う。
ステップS210の処理が終了すると制御処理が終了する。
このようにすることにより、撮像期間を表示期間に対して適切なタイミングとすることができるので、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
<2-2.パタン>
次にコンテンツの画像に重畳するパタン画像について説明する。基本的にパタン画像に含まれるパタン(形状、大きさ、位置等)はどのようなものであってもよい。例えば、対応点の検出と、撮像の開始タイミングの制御とを、同一のパタンに基づいて行うようにしてもよいし、互いに異なるパタンに基づいて行うようにしてもよい。
次にコンテンツの画像に重畳するパタン画像について説明する。基本的にパタン画像に含まれるパタン(形状、大きさ、位置等)はどのようなものであってもよい。例えば、対応点の検出と、撮像の開始タイミングの制御とを、同一のパタンに基づいて行うようにしてもよいし、互いに異なるパタンに基づいて行うようにしてもよい。
例えば、上述したように、パタン検出結果の輝度変化は、上側または下側において発生しやすい。そこで、パタン画像において、投影画像の最も上に位置するパタン、および、投影画像の最も下に位置するパタンを、撮像の開始タイミングを制御するためのパタンとしてもよい。
例えば、その撮像の開始タイミングの制御のための、投影画像の最も上に位置するパタン、および、投影画像の最も下に位置するパタンが、図11のパタン画像310のように、それぞれ、水平方向を長手方向とする線状のパタンであるようにしてもよい。パタン画像310は、その上端に、水平方向を長手方向とする線状のパタン311が設けられ、その下端に、同様の線状のパタン312が設けられている。
図11の重畳画像321は、コンテンツの画像に、パタン画像310のポジ画像を重畳した合成画像の例である。また、図11の重畳画像322は、コンテンツの画像に、パタン画像310のネガ画像を重畳した合成画像の例である。
このような重畳画像を投影し、その投影画像を撮像し、上述したように、連続する2枚の撮像画像を用いてパタンの検出を行うとする。撮像の開始タイミングの設定が正しいタイミングの場合、すなわち、撮像期間が単一の表示期間に重畳する場合、図12のAに示されるようなパタン検出結果331が得られる。このパタン検出結果331では、パタン311とパタン312の両方が正しい輝度で検出される(輝度変化が十分に小さい)。
これに対して、例えば、撮像の開始タイミングが早すぎる場合、パタン検出結果の下部において輝度の低減が発生するので、図12のBに示されるようなパタン検出結果332が得られる。このパタン検出結果332では、パタン311が正しい輝度で検出されるが、パタン312は輝度が低減している(または検出されない)。
逆に、撮像の開始タイミングが遅すぎる場合、パタン検出結果の上部において輝度の低減が発生する。したがって、図12のCに示されるようなパタン検出結果333が得られる。このパタン検出結果333では、パタン312が正しい輝度で検出されるが、パタン311は輝度が低減している(または検出されない)。
このように、パタン画像(投影画像)の上端と下端に、撮像の開始タイミングを制御するためのパタンを設けることにより、撮像の開始タイミングが適切であるか否かをより容易に把握することができる。また、パタン画像310のように、撮像の開始タイミングを制御するためのパタンを、対応点検出等のためのパタンと異なる形状として識別可能とすることにより、パタン311およびパタン312、すなわち、撮像の開始タイミングを制御するためのパタンに輝度変化が発生したことを容易に把握することができる。特に、上述のように線状のパタンとすることにより、そのパタンが、上端または下端のパタンであることを容易に把握することができる。
なお、この撮像の開始タイミングを制御するためのパタンの形状は任意であり、上述の例に限定されない。例えば、図13に示されるパタン画像340のように、投影画像の最も上に位置するパタン、および、投影画像の最も下に位置するパタンは、それぞれ、水平方向に並ぶ複数の絵柄により構成されるようにしてもよい。
このパタン画像340の上端には、円状のパタン341-1乃至パタン341-7が形成されている。また、パタン画像の下端には、円状のパタン342-1乃至パタン342-7が形成されている。以下において、パタン341-1乃至パタン341-7を互いに区別して説明する必要が無い場合、パタン341と称する。また、パタン342-1乃至パタン342-7を互いに区別して説明する必要が無い場合、パタン342と称する。
このように、パタン画像の上端または下端に形成される撮像の開始タイミングを制御するためのパタンが複数のパタンにより(パタン群として)構成されるようにしてもよい。
詳細については後述するが、例えば投影画像が変形したり、撮像画像に対して傾いたりする等して、パタン検出結果の上端または下端の一部において輝度変化が発生する(パタンを検出できない)場合がある。そのような場合、どの程度の範囲で輝度変化が発生したかを把握することにより、投影画像の変形度合いや傾き度合いを推定することができる可能性がある。そのような推定を行う場合、パタン画像310のパタン311やパタン312のように、線状パタンの場合、検出結果から、検出できなかった部分(または検出できた部分)の大きさ(面積)を求める必要がある。
これに対して、パタン画像340の場合、検出されたパタンの数をカウントすることによって、パタン検出結果の上端または下端のどの程度の範囲において輝度変化が発生したかを容易に把握することができる。
なお、パタン341やパタン342の数は任意である。パタン341とパタン342とが同数でなくてもよい。また、パタン341やパタン342を構成する各パタンの形状は任意であり、上述した円状以外であってもよい。例えば、三角形、四角形、五角形、六角形、星型、矢印等のような、任意の多角形であってもよいし、文字、数字、記号等であってもよい。また、パタン341(またはパタン342)を構成する各パタンが互いに同一の形状でなくてもよい。
また、例えば、撮像の開始タイミングを制御するためのパタンを、パタン画像(投影画像)の四隅に設けるようにしてもよい。その場合、そのパタンが、四隅に設けられたパタンであることを識別可能な形状であることが望ましい。
<2-3.PWM>
図14は、投影装置202が同一映像を2度繰り返して表示する場合の、表示と撮像のタイミングの例を示す図である。図14に示されるようにこの場合、投影装置202は、表示期間11-1および表示期間11-2においてフレームAの画像(重畳画像131)を2度表示し、表示期間12-1および表示期間12-2においてフレームBの画像(重畳画像132)を2度表示している。つまり、投影装置202は、各重畳画像を2度ずつ繰り返し、倍速で表示している。
図14は、投影装置202が同一映像を2度繰り返して表示する場合の、表示と撮像のタイミングの例を示す図である。図14に示されるようにこの場合、投影装置202は、表示期間11-1および表示期間11-2においてフレームAの画像(重畳画像131)を2度表示し、表示期間12-1および表示期間12-2においてフレームBの画像(重畳画像132)を2度表示している。つまり、投影装置202は、各重畳画像を2度ずつ繰り返し、倍速で表示している。
この場合、撮像期間21や撮像期間22の露光期間は、図7等の例のように低減しなくても、単一の重畳画像の表示期間(例えば、表示期間11-1および表示期間11-2は区別しない)に重なるようにすることが可能である。つまり、この倍速処理により、上述した撮像の露光時間を削減する場合(図7)と同様の状況、効果を得ることができる。したがって、例えば、図11に示されるようなパタン画像310を用いることもできる。
例えば、投影装置202が、発光素子が点滅し、その点灯時間で画素輝度を表現する表示方法であるPWM(Pulse Width Modulation)駆動で輝度を表現している場合、撮像装置203は、1フレーム分の露光をしなければ、輝度を正しく撮像することができない。このような場合に図14に示されるような方法を適用することで、撮像装置203は、投影画像の輝度を正しく撮像することができ、上述の他の例の場合と同様に、正しくパタンの検出を行うことができる。つまり、投影装置202が、Pulse Width Modulation方式で駆動し、正負が互いに逆のパタンを含む画像を、2フレームずつ投影するようにしてもよい。
<2-4.投影画像の傾き>
以上のような投影撮像システム200の場合、投影装置202がスクリーン210に投影した投影画像が、撮像装置203が撮像した撮像画像に対して傾く場合がある。例えば、図15に示されるように、撮像画像381に対して、投影画像382が傾いていない場合(角度を持たない場合)、投影画像382の投影開始タイミングが、撮像画像381の撮像開始タイミングの上下方向の中央付近に位置するとする。
以上のような投影撮像システム200の場合、投影装置202がスクリーン210に投影した投影画像が、撮像装置203が撮像した撮像画像に対して傾く場合がある。例えば、図15に示されるように、撮像画像381に対して、投影画像382が傾いていない場合(角度を持たない場合)、投影画像382の投影開始タイミングが、撮像画像381の撮像開始タイミングの上下方向の中央付近に位置するとする。
これに対して、図16に示されるように、投影画像382が撮像画像381に対して右に傾くと、投影画像382の投影開始タイミングが、図15の場合に比べて、撮像画像381の撮像開始タイミングの上下方向の上側に移動する。したがって、図15の場合と同じ撮像開始タイミングでは、図16に示されるように、撮像画像の下側において撮像期間が複数の表示期間に重なり、パタン検出を正しく行えなくなるおそれがある。
逆に、図17に示されるように、投影画像382が撮像画像381に対して左に傾くと、投影画像382の投影開始タイミングが、図15の場合に比べて、撮像画像381の撮像開始タイミングの上下方向の下側に移動する。したがって、図15の場合と同じ撮像開始タイミングでは、撮像画像の上側において撮像期間が複数の表示期間に重なり、パタン検出を正しく行えなくなるおそれがある。
つまり、このように、正しくパタン検出を行うためには、撮像画像に対する投影画像の傾きに応じて、撮像の開始タイミングを制御する必要がある。上述した投影撮像システム200の場合、制御装置201は、パタン検出結果に基づいて撮像の開始タイミングを制御する。換言するに、制御装置201は、正しくパタンが検出されるように、撮像の開始タイミングを制御する。したがって、このような投影画像の傾きに対しても適切に対応するように、撮像の開始タイミングを制御することができる。
なお、図16や図17の例のように撮像画像に対して投影画像が傾き、撮像期間が複数の表示期間に重なると、例えば図18のように、パタンの一部において輝度変化が発生する(パタンが検出できなくなる)場合がある。図18に示されるパタン検出結果391は、図11の重畳画像321および重畳画像322を投影し、その投影画像の撮像画像からパタンを検出したものである。このパタン検出結果391の場合、パタン画像の上端のパタン311は検出されているが、下端のパタン312は、その一部のみ検出されている。つまり、パタン312の一部において輝度変化が発生している。
この輝度変化の発生位置や範囲によって、撮像画像に対する投影画像の傾きの方向や度合いを推定することができる。例えば、上端のパタン311の一部において輝度変化が発生しているか、下端のパタン312の一部において輝度変化が発生しているかによって、左右どちらに傾いているかを推定することができる。また、その輝度変化の発生範囲の広さに応じて、どの程度傾いているかを推定することができる。
制御装置201(撮像タイミング設定部259)が、このような推定の基に、撮像の開始タイミングの探索をより効率よく行うようにしてもよい。このようにすることにより、適切な開始タイミングをより高速に求めることができる。
<3.第3の実施の形態>
<幾何補正>
また、以上のように、パタン検出結果に基づいて撮像の開始タイミングを探索しても、適切な開始タイミングが得られない場合、すなわち、撮像期間を単一の表示期間に重なるようにすることができない場合、さらに、投影する画像(重畳画像)に対して幾何補正を行うようにしてもよい。
<幾何補正>
また、以上のように、パタン検出結果に基づいて撮像の開始タイミングを探索しても、適切な開始タイミングが得られない場合、すなわち、撮像期間を単一の表示期間に重なるようにすることができない場合、さらに、投影する画像(重畳画像)に対して幾何補正を行うようにしてもよい。
例えば、撮像画像に対して投影画像が大きく傾いていたり、スクリーン210に投影された投影画像が大きく歪んでいたりすることにより、適切な撮像の開始タイミングが得られない場合があり得る。そのような場合、その投影画像の傾きや歪みを低減させるように、投影する重畳画像を幾何補正して投影するようにしてもよい。
<制御装置>
図19は、その場合の制御装置201の主な構成例を示すブロック図である。図19において、撮像タイミング設定部259による撮像の開始タイミングの制御では輝度変化を十分に小さくすることができない場合、画像補正部254は、投影される画像に対して幾何補正を行う。例えば、撮像タイミング設定部259は、撮像の開始タイミングの探索を行って、適切な開始タイミングが得られない場合、幾何補正の要求を画像補正部254に供給する(矢印411)。画像補正部254は、その要求を受け取ると、重畳画像に対して幾何補正を行う。
図19は、その場合の制御装置201の主な構成例を示すブロック図である。図19において、撮像タイミング設定部259による撮像の開始タイミングの制御では輝度変化を十分に小さくすることができない場合、画像補正部254は、投影される画像に対して幾何補正を行う。例えば、撮像タイミング設定部259は、撮像の開始タイミングの探索を行って、適切な開始タイミングが得られない場合、幾何補正の要求を画像補正部254に供給する(矢印411)。画像補正部254は、その要求を受け取ると、重畳画像に対して幾何補正を行う。
このようにすることにより、投影画像が傾いたり歪んだりする等の、より多様な状況においても、撮像の適切な開始タイミングを求めることができる。
なお、撮像タイミング設定部259が、幾何補正に有用な情報を画像補正部254に供給し、画像補正部254がその情報を用いて幾何補正を行うようにしてもよい。例えば、撮像タイミング設定部259が、投影画像が撮像画像に対して傾いているか否かの情報や、傾きの方向や度合いを示す情報等を、画像補正部254に提供するようにしてもよい。このような情報を用いて幾何補正を行うことにより、画像補正部254は、輝度変化に応じた方法で幾何補正を行うことができる。したがって、画像補正部254は、撮像の開始タイミングの制御に対してより適切な幾何補正を行うことができる。
<制御処理の流れ>
この場合の制御処理の流れの例を、図20のフローチャートを参照して説明する。制御処理が開始されると、ステップS301乃至ステップS307の各処理が、図10のステップS201乃至ステップS207の各処理と同様に実行される。
この場合の制御処理の流れの例を、図20のフローチャートを参照して説明する。制御処理が開始されると、ステップS301乃至ステップS307の各処理が、図10のステップS201乃至ステップS207の各処理と同様に実行される。
ステップS208において、撮像タイミング設定部259は、幾何補正が必要であるか否かを判定する。幾何補正が必要であると判定された場合、処理はステップS309に進む。ステップS309において、画像補正部254は、重畳画像に対して幾何補正を行う。ステップS309の処理が終了すると、処理はステップS301に戻り、それ以降の処理が再度実行される。
ステップS308において、幾何補正が必要でないと判定された場合、処理はステップS310に進む。ステップS310において、撮像制御部257は、ステップS307の処理(撮像の開始タイミングの制御)により、撮像の開始タイミングが変更されるか否かを判定する。撮像の開始タイミングが変更される場合、処理はステップS302に戻り、その変更された新たな開始タイミングで、ステップS302乃至ステップS310の処理が行われる。
このように、最適な開始タイミングが決まるまで(探索が終了するまで)、開始タイミングを更新しながら(探索を続けながら)、ステップS302乃至ステップS310の処理が繰り返される。そして、ステップS310において、撮像の開始タイミングを変更しない(つまり、探索が終了した)と判定された場合、処理はステップS311に進む。
ステップS311およびステップS312の各処理は、図10のステップS209およびステップS210の各処理と同様に実行される。ステップS312の処理が終了すると制御処理が終了する。
このようにすることにより、より多様な状況において、撮像期間を表示期間に対して適切なタイミングとすることができるので、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
<4.第4の実施の形態>
<露光時間制御>
以上においては、撮像の開始タイミングを制御するように説明したが、さらに、撮像の露光時間の長さを制御するようにしてもよい。図6と図7の撮像期間を比較して明らかなように、撮像期間(すなわち露光時間)が短い程、撮像期間が単一の表示期間に重なるようにしやすくなる(撮像の適切な開始タイミングを設定しやすくなる)。ただし、露光時間が短い程、輝度差が得にくくパタン検出が難しくなる。そこで、撮像の適切な開始タイミングを得るために、撮像の露光時間も制御するようにしてもよい。より具体的には、例えば撮像の適切な開始タイミングが得られない場合、露光時間を短くするようにしてもよい。その際、最低露光時間を設け、露光時間がそれよりも短くならないようにしてもよい。また、適切な開始タイミングが得られる場合、露光時間をできるだけ長くするようにしてもよい。
<露光時間制御>
以上においては、撮像の開始タイミングを制御するように説明したが、さらに、撮像の露光時間の長さを制御するようにしてもよい。図6と図7の撮像期間を比較して明らかなように、撮像期間(すなわち露光時間)が短い程、撮像期間が単一の表示期間に重なるようにしやすくなる(撮像の適切な開始タイミングを設定しやすくなる)。ただし、露光時間が短い程、輝度差が得にくくパタン検出が難しくなる。そこで、撮像の適切な開始タイミングを得るために、撮像の露光時間も制御するようにしてもよい。より具体的には、例えば撮像の適切な開始タイミングが得られない場合、露光時間を短くするようにしてもよい。その際、最低露光時間を設け、露光時間がそれよりも短くならないようにしてもよい。また、適切な開始タイミングが得られる場合、露光時間をできるだけ長くするようにしてもよい。
なお、露光時間の長さによってパタン検出結果の輝度が変化するので、露光時間の長さ制御による輝度変化が、上述の撮像の開始タイミングによる輝度変化(撮像期間が複数の表示期間に重なることによる輝度変化)に影響を及ぼすことを抑制するために、露光時間の長さに応じて、輝度変化の発生の判定基準(例えば閾値等)を制御する(つまり閾値の大きさを変える)ようにしてもよい。
<制御装置>
この場合の制御装置201の構成は、図9のブロック図を参照して説明した場合と基本的に同様である。ただし、この場合、撮像タイミング設定部259は、パタン検出結果に基づいて、撮像の開始タイミングだけでなく、さらに、撮像の露光時間も上述のように制御する。
この場合の制御装置201の構成は、図9のブロック図を参照して説明した場合と基本的に同様である。ただし、この場合、撮像タイミング設定部259は、パタン検出結果に基づいて、撮像の開始タイミングだけでなく、さらに、撮像の露光時間も上述のように制御する。
<制御処理の流れ>
この場合の制御処理の流れの例を、図21のフローチャートを参照して説明する。制御処理が開始されると、ステップS401乃至ステップS406の各処理が、図10のステップS201乃至ステップS206の各処理と同様に実行される。
この場合の制御処理の流れの例を、図21のフローチャートを参照して説明する。制御処理が開始されると、ステップS401乃至ステップS406の各処理が、図10のステップS201乃至ステップS206の各処理と同様に実行される。
ステップS407において、撮像タイミング設定部259は、ステップS206の処理により得られたパタンの検出結果について、パタンの輝度変化を求め、そのパタンの輝度変化に基づいて、撮像装置203による撮像の開始タイミングと露光時間を設定(制御)する。
ステップS408乃至ステップS410の各処理は、図10のステップS208乃至ステップS210の各処理と同様に実行される。
ステップS410の処理が終了すると制御処理が終了する。
このようにすることにより、撮像期間を表示期間に対して適切なタイミングとすることができるので、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラにより、より正確なパタンの検出を行うことができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
<5.第5の実施の形態>
<他の構成例>
なお、投影撮像システム200の構成は任意であり、上述した例に限定されない。例えば図22のAに示されるように、制御装置201と撮像装置203とを一体化するようにしてもよい。図22のAの例の場合、投影撮像システム200は、投影装置202と撮像装置603とにより構成される。投影装置202と撮像装置603は、任意の構成により、互いに通信可能に接続されている。また、撮像装置603は、上述した制御装置201と同様の機能を有する制御部601を内蔵しており、上述した制御装置201および撮像装置203の機能を有する。
<他の構成例>
なお、投影撮像システム200の構成は任意であり、上述した例に限定されない。例えば図22のAに示されるように、制御装置201と撮像装置203とを一体化するようにしてもよい。図22のAの例の場合、投影撮像システム200は、投影装置202と撮像装置603とにより構成される。投影装置202と撮像装置603は、任意の構成により、互いに通信可能に接続されている。また、撮像装置603は、上述した制御装置201と同様の機能を有する制御部601を内蔵しており、上述した制御装置201および撮像装置203の機能を有する。
つまり、撮像装置603は、投影面に投影された投影画像を撮像して撮像画像を生成し、その制御部601は、その撮像画像を用いて得られたパタンの検出結果における輝度変化に基づいて、撮像の開始タイミングを制御する。また、撮像装置603は、ローリングシャッタ方式で被写体を撮像する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。
また、例えば、図22のBに示されるように、制御装置201と投影装置202とを一体化するようにしてもよい。図22のBの例の場合、投影撮像システム200は、投影装置612と撮像装置203とにより構成される。投影装置612と撮像装置203は、任意の構成により、互いに通信可能に接続されている。また、投影装置612は、上述した制御装置201と同様の機能を有する制御部611を内蔵しており、上述した制御装置201および投影装置202の機能を有する。
つまり、投影装置612は、正負が互いに逆のパタンを含む画像を連続して投影し、撮像装置203が、その投影面に投影された投影画像を撮像して撮像画像を生成し、制御部611は、その撮像画像を用いて得られたパタンの検出結果における輝度変化に基づいて、撮像の開始タイミングを制御する。また、投影装置612は、順次走査方式で画像を投影する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。
なお、例えば、図22のCに示されるように、投影撮像システム200を装置として実現するようにしてもよい。図22のCの例の場合、投影撮像装置620は、投影撮像システム200と同様の機能を有する。つまり、投影撮像装置620は、制御部621、投影部622、および撮像部623を有する。制御部621は上述した制御装置201と同様の機能を有し、投影部622は上述した投影装置202と同様の機能を有し、撮像部623は上述した撮像装置203と同様の機能を有する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。
なお、図示は省略するが、投影装置202と撮像装置203とを一体化するようにしてもよい。つまり、投影撮像システム200が、制御装置201と、投影装置202と撮像装置203の両方の機能を有する投影撮像装置とにより構成されるようにしてもよい。
また、以上においては、制御装置、投影装置、撮像装置、投影撮像装置等の各種装置を1台ずつ示したが、これらの各種装置の数は任意である。例えば、投影撮像システム200が、これらの各種装置を複数台有するようにしてもよい。例えば、投影装置と撮像装置とがそれぞれ複数台設けられるようにしてもよい。また、各装置の台数が統一されていなくてもよい。例えば、投影装置の台数と撮像装置の台数とが互いに異なるようにしてもよい。また、各装置が、上述した以外の機能を有するようにしてもよい。さらに、投影撮像システム200が、これらの装置以外の装置を有するようにしてもよい。
<6.付記>
<フレームレート>
なお、入力画像、各投影部または投影装置より出力される出力画像、および、スクリーンに投影された投影画像のフレームレートはそれぞれ任意であり、上述した例に限定されない。例えば、入力画像と投影画像とでフレームレートが互いに異なっていてもよい。
<フレームレート>
なお、入力画像、各投影部または投影装置より出力される出力画像、および、スクリーンに投影された投影画像のフレームレートはそれぞれ任意であり、上述した例に限定されない。例えば、入力画像と投影画像とでフレームレートが互いに異なっていてもよい。
<投影方式と撮像方式>
なお、以上においては表示期間が平行四辺形であるように説明したが(特に図1、図5乃至図7、図14乃至図17等において図示したが)、これは一例であり、この表示期間の形状は任意である。そしてこの表示期間の形状は、プロジェクタ(例えば投影装置202)の走査方式(各画素の投影順)等に依存する。つまり、その走査方式は任意であり、上述した例(画像の上の行から下の行に向かう順に投影する順次走査方式)に限定されない。例えば、画像の下の行から上の行に向かう順に投影する順次走査方式であってもよいし、飛び越し走査方式であってもよいし、その他の方式であってもよい。
なお、以上においては表示期間が平行四辺形であるように説明したが(特に図1、図5乃至図7、図14乃至図17等において図示したが)、これは一例であり、この表示期間の形状は任意である。そしてこの表示期間の形状は、プロジェクタ(例えば投影装置202)の走査方式(各画素の投影順)等に依存する。つまり、その走査方式は任意であり、上述した例(画像の上の行から下の行に向かう順に投影する順次走査方式)に限定されない。例えば、画像の下の行から上の行に向かう順に投影する順次走査方式であってもよいし、飛び越し走査方式であってもよいし、その他の方式であってもよい。
また、以上においては撮像期間が平行四辺形であるように説明したが(特に図1、図6、図7、図14乃至図17等において図示したが)、これは一例であり、この撮像期間の形状は任意である。そしてこの撮像期間の形状は、カメラ(例えば撮像装置203)の走査方式(各画素の信号読み出し順)等に依存する。つまり、その走査方式は任意であり、上述した例(画素領域の上の行から下の行に向かう順に信号を読み出すローリングシャッタ方式)に限定されない。例えば、画素領域の下の行から上の行に向かう順に信号を読み出すローリングシャッタ方式であってもよいし、列毎に信号を読み出す方式であってもよいし、エリア毎(部分領域毎)に信号を読み出す方式であってもよいし、その他の方式であってもよい。
つまり、本開示の1つは、パタン検出結果における輝度変化に基づいて撮像の開始タイミング(撮像トリガを立てる時刻)を制御するものであるが、表示期間と撮像期間とのそれぞれの形状は限定されない。つまり、投影と撮像の走査方式はそれぞれ任意である。もちろん、撮像期間が互いに異なるパタン画像を投影する複数の表示期間に重ならないようにする開始タイミング(適切なタイミングがどの時刻になるか)は、表示期間と撮像期間のそれぞれの形状(すなわち、投影と撮像の走査方式)にも依存するが、どのような形状であっても本開示を適用することは可能である。
ところで、以上においては、パタン検出結果において、どの部分のパタンの輝度変化が大きいかに基づいて、最小値が得られる(適切なタイミングが得られる)方向や位置を推定する例として、以下の2つを説明した。1つ目は、下側のパタンの輝度変化の方が上側のパタンの輝度変化よりも大きい場合に、撮像の開始タイミングを遅らせることにより輝度変化が最小となると推定される例である。2つ目は、上側のパタンの輝度変化の方が下側のパタンの輝度変化よりも大きい場合に、撮像の開始タイミングを早めることにより輝度変化が最小となると推定される例である。しかしながら、上述したように、表示期間と撮像期間のそれぞれの形状は任意である。そして、この適切なタイミングが得られる方向や位置の推定方法は表示期間と撮像期間のそれぞれの形状にも依存する。したがって、この適切なタイミングが得られる方向や位置の推定方法は任意であり、上述した例に限定されない。
なお、上述した制御処理により、どうしても適切な撮像の開始タイミングを求めることができない場合もあり得る。そのような場合、警告を表示する等のエラー処理を行うようにしてもよいし、最善の時刻(例えば撮像期間が単一の表示期間に重なる割合が最も大きくなる(他の表示期間に重なる割合が最も小さくなる)時刻)を撮像の開始タイミングとして選択するようにしてもよい。
<ソフトウエア>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図23は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図23に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
<本技術の適用対象>
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等(すなわち、装置の一部の構成)として実施することもできる。
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等(すなわち、装置の一部の構成)として実施することもできる。
さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスに適用することもできる。
なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
<その他>
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1) 投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する制御部
を備える画像処理装置。
(2) 前記制御部は、前記輝度変化が所定の閾値以下となるように、前記撮像の開始タイミングを制御する
(1)に記載の画像処理装置。
(3) 前記制御部は、前記輝度変化が最小となるように、前記撮像の開始タイミングを制御する
(1)または(2)に記載の画像処理装置。
(4) 前記制御部は、前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンの内、少なくともいずれか一方の輝度変化に基づいて、前記撮像の開始タイミングを制御する
(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 前記制御部は、前記投影画像の最も上に位置するパタンの輝度変化の方が、前記投影画像の最も下に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを早くするように制御する
(4)に記載の画像処理装置。
(6) 前記制御部は、前記投影画像の最も下に位置するパタンの輝度変化の方が、前記投影画像の最も上に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを遅くするように制御する
(4)または(5)に記載の画像処理装置。
(7) 前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向を長手方向とする線状のパタンである
(4)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向に並ぶ複数の絵柄により構成される
(4)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記制御部は、さらに、前記撮像の露光時間も制御する
(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 正負が互いに逆のパタンを含む、連続して投影された2つの投影画像のそれぞれの撮像画像の差分を用いて前記パタンを検出するパタン検出部をさらに備え、
前記制御部は、前記パタン検出部による前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
(1)乃至(9)のいずれかに記載の画像処理装置。
(11) 前記パタンの検出結果に基づいて、前記投影画像と撮像画像との対応点を検出する対応点検出部と、
前記対応点検出部による前記対応点の検出結果に基づいて、投影される画像に対して幾何補正を行う幾何補正部と
をさらに備える(1)乃至(10)のいずれかに記載の画像処理装置。
(12) 前記幾何補正部は、前記制御部による前記撮像の開始タイミングの制御では前記輝度変化を十分に小さくすることができない場合、投影される画像に対して幾何補正を行う
(11)に記載の画像処理装置。
(13) 前記幾何補正部は、前記輝度変化に応じた方法で前記幾何補正を行う
(12)に記載の画像処理装置。
(14) 前記投影画像を撮像して前記撮像画像を得る撮像部をさらに備え、
前記制御部は、前記撮像部により得られた撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
(1)乃至(13)のいずれかに記載の画像処理装置。
(15) 前記撮像部は、ローリングシャッタ方式で被写体を撮像する
(14)に記載の画像処理装置。
(16) 正負が互いに逆のパタンを含む画像を連続して投影する投影部をさらに備え、
前記制御部は、前記投影部により前記投影面に投影された前記投影画像の前記撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
(1)乃至(15)のいずれかに記載の画像処理装置。
(17) 前記投影部は、順次走査方式で画像を投影する
(16)に記載の画像処理装置。
(18) 前記投影部は、Pulse Width Modulation方式で駆動し、正負が互いに逆のパタンを含む画像を、2フレームずつ投影する
(16)または(17)に記載の画像処理装置。
(19) 投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する
画像処理方法。
(20) 正負が互いに逆のパタンを含む画像を連続して投影する投影部
を有する投影装置と、
前記投影部により投影面に投影された投影画像を撮像する撮像部
を有する撮像装置と、
前記撮像部により得られた撮像画像を用いて得られた前記投影画像に含まれる前記パタンの検出結果における輝度変化に基づいて、前記撮像部による前記撮像画像を得るための撮像の開始タイミングを制御する制御部
を有する制御装置と
を備える画像処理システム。
(1) 投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する制御部
を備える画像処理装置。
(2) 前記制御部は、前記輝度変化が所定の閾値以下となるように、前記撮像の開始タイミングを制御する
(1)に記載の画像処理装置。
(3) 前記制御部は、前記輝度変化が最小となるように、前記撮像の開始タイミングを制御する
(1)または(2)に記載の画像処理装置。
(4) 前記制御部は、前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンの内、少なくともいずれか一方の輝度変化に基づいて、前記撮像の開始タイミングを制御する
(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 前記制御部は、前記投影画像の最も上に位置するパタンの輝度変化の方が、前記投影画像の最も下に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを早くするように制御する
(4)に記載の画像処理装置。
(6) 前記制御部は、前記投影画像の最も下に位置するパタンの輝度変化の方が、前記投影画像の最も上に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを遅くするように制御する
(4)または(5)に記載の画像処理装置。
(7) 前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向を長手方向とする線状のパタンである
(4)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向に並ぶ複数の絵柄により構成される
(4)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記制御部は、さらに、前記撮像の露光時間も制御する
(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 正負が互いに逆のパタンを含む、連続して投影された2つの投影画像のそれぞれの撮像画像の差分を用いて前記パタンを検出するパタン検出部をさらに備え、
前記制御部は、前記パタン検出部による前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
(1)乃至(9)のいずれかに記載の画像処理装置。
(11) 前記パタンの検出結果に基づいて、前記投影画像と撮像画像との対応点を検出する対応点検出部と、
前記対応点検出部による前記対応点の検出結果に基づいて、投影される画像に対して幾何補正を行う幾何補正部と
をさらに備える(1)乃至(10)のいずれかに記載の画像処理装置。
(12) 前記幾何補正部は、前記制御部による前記撮像の開始タイミングの制御では前記輝度変化を十分に小さくすることができない場合、投影される画像に対して幾何補正を行う
(11)に記載の画像処理装置。
(13) 前記幾何補正部は、前記輝度変化に応じた方法で前記幾何補正を行う
(12)に記載の画像処理装置。
(14) 前記投影画像を撮像して前記撮像画像を得る撮像部をさらに備え、
前記制御部は、前記撮像部により得られた撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
(1)乃至(13)のいずれかに記載の画像処理装置。
(15) 前記撮像部は、ローリングシャッタ方式で被写体を撮像する
(14)に記載の画像処理装置。
(16) 正負が互いに逆のパタンを含む画像を連続して投影する投影部をさらに備え、
前記制御部は、前記投影部により前記投影面に投影された前記投影画像の前記撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
(1)乃至(15)のいずれかに記載の画像処理装置。
(17) 前記投影部は、順次走査方式で画像を投影する
(16)に記載の画像処理装置。
(18) 前記投影部は、Pulse Width Modulation方式で駆動し、正負が互いに逆のパタンを含む画像を、2フレームずつ投影する
(16)または(17)に記載の画像処理装置。
(19) 投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する
画像処理方法。
(20) 正負が互いに逆のパタンを含む画像を連続して投影する投影部
を有する投影装置と、
前記投影部により投影面に投影された投影画像を撮像する撮像部
を有する撮像装置と、
前記撮像部により得られた撮像画像を用いて得られた前記投影画像に含まれる前記パタンの検出結果における輝度変化に基づいて、前記撮像部による前記撮像画像を得るための撮像の開始タイミングを制御する制御部
を有する制御装置と
を備える画像処理システム。
100 制御装置, 101 撮像タイミング設定部, 200 投影撮像システム, 201 制御装置, 202 投影装置, 203 撮像装置, 251 画像入力部, 252 パタン画像記憶部, 253 パタン合成部, 254 画像補正部, 255 投影制御部, 256 通信部, 257 撮像制御部, 258 パタン検出部, 259 撮像タイミング設定部, 260 対応点検出部, 601 制御部, 603 撮像装置, 611 制御部, 612 投影装置, 620 投影撮像装置, 621 制御部, 622 投影部, 623 撮像部, 900 コンピュータ
Claims (20)
- 投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する制御部
を備える画像処理装置。 - 前記制御部は、前記輝度変化が所定の閾値以下となるように、前記撮像の開始タイミングを制御する
請求項1に記載の画像処理装置。 - 前記制御部は、前記輝度変化が最小となるように、前記撮像の開始タイミングを制御する
請求項1に記載の画像処理装置。 - 前記制御部は、前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンの内、少なくともいずれか一方の輝度変化に基づいて、前記撮像の開始タイミングを制御する
請求項1に記載の画像処理装置。 - 前記制御部は、前記投影画像の最も上に位置するパタンの輝度変化の方が、前記投影画像の最も下に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを早くするように制御する
請求項4に記載の画像処理装置。 - 前記制御部は、前記投影画像の最も下に位置するパタンの輝度変化の方が、前記投影画像の最も上に位置するパタンの輝度変化よりも大きい場合、前記撮像の開始タイミングを遅くするように制御する
請求項4に記載の画像処理装置。 - 前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向を長手方向とする線状のパタンである
請求項4に記載の画像処理装置。 - 前記投影画像の最も上に位置するパタン、および、前記投影画像の最も下に位置するパタンは、それぞれ、水平方向に並ぶ複数の絵柄により構成される
請求項4に記載の画像処理装置。 - 前記制御部は、さらに、前記撮像の露光時間も制御する
請求項1に記載の画像処理装置。 - 正負が互いに逆のパタンを含む、連続して投影された2つの投影画像のそれぞれの撮像画像の差分を用いて前記パタンを検出するパタン検出部をさらに備え、
前記制御部は、前記パタン検出部による前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
請求項1に記載の画像処理装置。 - 前記パタンの検出結果に基づいて、前記投影画像と撮像画像との対応点を検出する対応点検出部と、
前記対応点検出部による前記対応点の検出結果に基づいて、投影される画像に対して幾何補正を行う幾何補正部と
をさらに備える請求項1に記載の画像処理装置。 - 前記幾何補正部は、前記制御部による前記撮像の開始タイミングの制御では前記輝度変化を十分に小さくすることができない場合、投影される画像に対して幾何補正を行う
請求項11に記載の画像処理装置。 - 前記幾何補正部は、前記輝度変化に応じた方法で前記幾何補正を行う
請求項12に記載の画像処理装置。 - 前記投影画像を撮像して前記撮像画像を得る撮像部をさらに備え、
前記制御部は、前記撮像部により得られた撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
請求項1に記載の画像処理装置。 - 前記撮像部は、ローリングシャッタ方式で被写体を撮像する
請求項14に記載の画像処理装置。 - 正負が互いに逆のパタンを含む画像を連続して投影する投影部をさらに備え、
前記制御部は、前記投影部により前記投影面に投影された前記投影画像の前記撮像画像を用いて得られた前記パタンの検出結果における輝度変化に基づいて、前記撮像の開始タイミングを制御する
請求項1に記載の画像処理装置。 - 前記投影部は、順次走査方式で画像を投影する
請求項16に記載の画像処理装置。 - 前記投影部は、Pulse Width Modulation方式で駆動し、正負が互いに逆のパタンを含む画像を、2フレームずつ投影する
請求項16に記載の画像処理装置。 - 投影面に投影された投影画像の撮像画像を用いて得られた前記投影画像に含まれる所定のパタンの検出結果における輝度変化に基づいて、前記撮像画像を得るための撮像の開始タイミングを制御する
画像処理方法。 - 正負が互いに逆のパタンを含む画像を連続して投影する投影部
を有する投影装置と、
前記投影部により投影面に投影された投影画像を撮像する撮像部
を有する撮像装置と、
前記撮像部により得られた撮像画像を用いて得られた前記投影画像に含まれる前記パタンの検出結果における輝度変化に基づいて、前記撮像部による前記撮像画像を得るための撮像の開始タイミングを制御する制御部
を有する制御装置と
を備える画像処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017233097 | 2017-12-05 | ||
JP2017-233097 | 2017-12-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019111704A1 true WO2019111704A1 (ja) | 2019-06-13 |
Family
ID=66750946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/042924 WO2019111704A1 (ja) | 2017-12-05 | 2018-11-21 | 画像処理装置および方法、並びに、画像処理システム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2019111704A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113994662A (zh) * | 2019-06-20 | 2022-01-28 | 索尼集团公司 | 信息处理设备、信息处理方法、程序、投影设备和信息处理*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06269026A (ja) * | 1993-03-16 | 1994-09-22 | Nec Corp | 投写型ディスプレイのコンバーゼンス誤差検出装置 |
JPH08317432A (ja) * | 1995-05-16 | 1996-11-29 | Mitsubishi Electric Corp | 画像撮像装置 |
JP2006135381A (ja) * | 2004-11-02 | 2006-05-25 | Olympus Corp | キャリブレーション方法およびキャリブレーション装置 |
JP2012220674A (ja) * | 2011-04-07 | 2012-11-12 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2016051157A (ja) * | 2014-09-02 | 2016-04-11 | 国立大学法人 奈良先端科学技術大学院大学 | 情報取得装置及び情報伝達システム |
-
2018
- 2018-11-21 WO PCT/JP2018/042924 patent/WO2019111704A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06269026A (ja) * | 1993-03-16 | 1994-09-22 | Nec Corp | 投写型ディスプレイのコンバーゼンス誤差検出装置 |
JPH08317432A (ja) * | 1995-05-16 | 1996-11-29 | Mitsubishi Electric Corp | 画像撮像装置 |
JP2006135381A (ja) * | 2004-11-02 | 2006-05-25 | Olympus Corp | キャリブレーション方法およびキャリブレーション装置 |
JP2012220674A (ja) * | 2011-04-07 | 2012-11-12 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2016051157A (ja) * | 2014-09-02 | 2016-04-11 | 国立大学法人 奈良先端科学技術大学院大学 | 情報取得装置及び情報伝達システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113994662A (zh) * | 2019-06-20 | 2022-01-28 | 索尼集团公司 | 信息处理设备、信息处理方法、程序、投影设备和信息处理*** |
CN113994662B (zh) * | 2019-06-20 | 2024-04-16 | 索尼集团公司 | 信息处理设备及对应方法、***、介质和投影设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8810692B2 (en) | Rolling shutter distortion correction | |
US9432590B2 (en) | DCT based flicker detection | |
US10991340B2 (en) | Image processing apparatus and image processing method | |
US10115178B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US7627237B2 (en) | Image processing apparatus and method and program | |
JP6784130B2 (ja) | フリッカ検出装置及び方法 | |
US20130033618A1 (en) | Image processing apparatus detecting quadrilateral region from picked-up image | |
US10126632B2 (en) | Imaging apparatus, flicker detection method, and flicker detection program | |
US20160125616A1 (en) | Apparatus and method of detecting motion mask | |
US20190028685A1 (en) | Image processing apparatus and method | |
US9258485B2 (en) | Image sensor cropping images in response to cropping coordinate feedback | |
US20170366730A1 (en) | Imaging apparatus, flicker detection method, and flicker detection program | |
US20170142315A1 (en) | Imaging apparatus equipped with a flicker detection function | |
JP2013165483A (ja) | 画像処理装置、撮像装置、およびコンピュータブログラム | |
JP2016154285A5 (ja) | ||
CN109690611A (zh) | 一种图像校正方法及装置 | |
WO2016067529A1 (ja) | 画像処理装置、画像表示システム及びそれを備える車両並びに画像処理方法及びそれを実行させるプログラム | |
US20160042519A1 (en) | Method and image processing device for efficient image depth map generation | |
WO2019111704A1 (ja) | 画像処理装置および方法、並びに、画像処理システム | |
EP3293960A1 (en) | Information processing device, information processing method, and program | |
WO2019021412A1 (ja) | 位置推定装置、位置推定方法及びプログラム記録媒体 | |
US20200134840A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP5812808B2 (ja) | 画像処理装置及び画像処理方法 | |
TWI469089B (zh) | 影像判斷方法以及物件座標計算裝置 | |
JP2015087450A (ja) | 撮像装置および撮像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18886752 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18886752 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |