WO2018173797A1 - プロジェクタ、投影方法、画像処理システム、および方法 - Google Patents

プロジェクタ、投影方法、画像処理システム、および方法 Download PDF

Info

Publication number
WO2018173797A1
WO2018173797A1 PCT/JP2018/009154 JP2018009154W WO2018173797A1 WO 2018173797 A1 WO2018173797 A1 WO 2018173797A1 JP 2018009154 W JP2018009154 W JP 2018009154W WO 2018173797 A1 WO2018173797 A1 WO 2018173797A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
projector
image
correction
delay
Prior art date
Application number
PCT/JP2018/009154
Other languages
English (en)
French (fr)
Inventor
清登 染谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/487,288 priority Critical patent/US20200021787A1/en
Publication of WO2018173797A1 publication Critical patent/WO2018173797A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G02B27/648—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake for automatically maintaining a reference alignment, e.g. in self-levelling surveying instruments
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur

Definitions

  • the present disclosure relates to a projector, a projection method, an image processing system, and a method, and more particularly, to a projector, a projection method, an image processing system, and a method that can realize camera shake correction.
  • the present disclosure has been made in view of such a situation, and can achieve camera shake correction.
  • a projector includes an inertial measurement unit, a correction unit that corrects a deviation in posture based on a measurement value obtained by measuring the geometrically corrected correction image by the inertial measurement unit, and the correction unit that A projection unit that projects an image in which the displacement of the posture is corrected.
  • the delay related to any one of the geometric correction, corresponding point detection, and posture estimation is a transmission delay or a processing delay.
  • the correction unit can perform correction that shifts in a direction to cancel out the deviation of the posture.
  • the correction unit can correct a deviation in posture due to an exposure delay of an imaging unit that captures a projection image projected by the projection unit.
  • the correction unit can correct a deviation in posture due to a delay generated in the projector.
  • the projection method corrects a posture deviation based on a measurement value measured by the inertial measurement unit of the corrected image subjected to geometric correction, and projects an image in which the posture deviation is corrected.
  • An image processing system corrects an input image based on attitude estimation information of a projector, generates a corrected image, and a correction image generated by the correction unit is projected from the projector.
  • a corresponding point detection unit that detects a corresponding point by associating the captured image generated by capturing the projected image, which is a generated image, with the corrected image, and the corresponding point detected by the corresponding point detection unit Based on the measured values of the image processing apparatus, the inertia measuring unit, and the inertia measuring unit, which performs posture estimation of the projector and generates the posture estimation information
  • a delay compensation unit that corrects a deviation in posture due to a delay related to any one of the posture estimation unit and the correction unit.
  • the delay related to any of the corresponding point detection unit, the posture estimation unit, and the correction unit is a transmission delay or a processing delay.
  • the delay compensator can perform a correction that shifts in a direction that cancels the deviation of the posture.
  • the delay compensation unit can compensate for an exposure delay of an imaging unit that captures the projection image.
  • the delay compensation unit can compensate for a delay generated in the projector.
  • the correction unit of the image processing device corrects the input image based on the attitude estimation information of the projector to generate a correction image
  • the corresponding point detection unit includes the correction unit.
  • the corrected image generated by the above-mentioned correction image is obtained by capturing a projected image, which is an image projected from the projector, and the corrected image is correlated, and a corresponding point is detected.
  • the attitude of the projector is estimated to generate the attitude estimation information
  • the delay compensation unit of the projector is based on the measurement value of the inertia measuring unit of the projector. Then, the deviation of the posture due to the delay related to any one of the corresponding point detection unit, the posture estimation unit, and the correction unit is corrected.
  • a posture deviation is corrected based on a measured value measured by the inertial measurement unit of the geometrically corrected image, and an image in which the posture deviation is corrected is projected.
  • the correction unit corrects the input image based on the attitude estimation information of the projector to generate a correction image
  • the corresponding point detection unit projects the generated correction image from the projector.
  • the captured image generated by capturing the projected image, which is an image, is associated with the corrected image, the corresponding point is detected, and the posture estimation unit based on the detected corresponding point, Posture estimation of the projector is performed, and the posture estimation information is generated. Then, based on the measurement value of the inertial measurement unit of the projector, the deviation of the posture due to the delay related to any of the corresponding point detection unit, the posture estimation unit, or the correction unit is corrected.
  • VR virtual reality
  • the VR sickness is reduced by performing a simple correction on the position that would be originally rendered immediately before the display timing.
  • the above method corrects the delay (head misalignment) caused by 3D graphics rendering in accordance with the timing of the external output (HDMI (registered trademark) or DP) of the GPU built in a personal computer, etc. It is assumed that there is (almost) no delay on the device side.
  • HDMI registered trademark
  • DP external output
  • the display device When the display device is a projector, it depends on the projector built-in functions (high image quality processing such as high frame rate), color display methods (single plate type, three plate type), light emission methods (DLP, LCD, LCoS), etc. After storing the external input signal in the internal frame memory, there is a high possibility of actually projecting an image. For this reason, even a corrected image that is compensated for delay on the external output side (for example, a GPU built in a PC) may not be able to project a correct image due to the delay on the display device side.
  • high image quality processing such as high frame rate
  • color display methods single plate type, three plate type
  • DLP, LCD, LCoS light emission methods
  • an inertial measurement device (IMU) is built in the projector, which is a display device, and delay compensation is executed on the projector side.
  • FIG. 1 is a block diagram illustrating a configuration example of a projection imaging apparatus to which the present technology is applied.
  • the projection imaging apparatus 101 is configured to include a geometric correction unit 111, a corresponding point detection unit 112, an attitude estimation unit 113, a screen reconstruction unit 114, a projector 115, and a camera 116.
  • the input video is input to the geometric correction unit 111.
  • the geometric correction unit 111 corrects the input video, corrects the input video so that the input video looks correct from the attitude information of the projector and the screen information, generates a corrected image, and sends the generated corrected image to the projector 115. Output.
  • the projector 115 projects the corrected image on the screen.
  • the projector 115 includes an IMU (Inertial Measurement Device) 121 and a delay compensation circuit 122.
  • the IMU 121 instantaneously measures a change in the attitude of the projector 115.
  • the delay compensation circuit 122 compensates for posture deviation due to various delays that occur in each unit of the projection imaging apparatus 101.
  • the delay compensation circuit 122 shifts and corrects the video in a direction to cancel the video shift and blur due to camera shake based on the measured value of the IMU 121, for example.
  • shake is also included.
  • the camera 116 captures a projection image projected on the screen from the projector 115, generates a captured image, and supplies it to the corresponding point detection unit 112.
  • the camera 116 may be a depth sensor.
  • each camera 116 may be provided for the projector 115, one camera 116 may be provided for the plurality of projectors 115, or the projector 115 may be provided for the plurality of cameras 116. May be one.
  • Corresponding point detection unit 112 performs corresponding point detection processing (depth sensing) with projector 115 and camera 116.
  • the posture estimation unit 113 estimates the relative posture between the projector 115 and the camera 116 from the detected corresponding points, and supplies the estimated posture information of the projector to the screen reconstruction unit 114 and the geometric correction unit 111.
  • the screen reconstruction unit 114 refers to the posture information, performs screen shape estimation and alignment with the flat screen, and supplies the result to the geometric correction unit 111 as screen information.
  • the corresponding point detection unit 112 detects images corresponding to the projection between the projector 115 and the camera 116 (pattern images such as GrayCode, Dot, and Checker).
  • the corresponding points are detected by using the captured image 213 obtained by capturing the projected image 212 projected on the screen 201 with the camera 116.
  • This corresponding point detection process is generally called structured light (SL).
  • a method of detecting corresponding points during video projection and estimating the attitudes of the projector 115 and the camera 116 is referred to as online sensing.
  • Corresponding point detection in online sensing involves Imperceptible Structured Light (ISL) (Fig. 3) that detects corresponding points by superimposing a pattern that is not perceived by the human eye in the moving image, or detecting feature points in the moving image.
  • ISL Imperceptible Structured Light
  • FIG. 4 a method of associating feature points with each other
  • a method of projecting a pattern image onto light outside visible light such as an IR light source is referred to as an IR light source.
  • the ISL method is a technique for projecting a structured light pattern, which is an image of a predetermined pattern, into a projected image by inverting it positively or negatively and not perceiving it by humans.
  • the projector generates a frame image by combining a positive image of the structured light pattern with the input image by adding a predetermined structured light pattern to a frame of the input image.
  • a frame image is generated by combining the negative image of the structured light pattern with the input image.
  • the projector continuously projects those frames. Two frames of positive and negative that are switched at high speed are added and perceived by the human eye due to the integration effect. As a result, it becomes difficult for the user viewing the projected image to recognize the structured light pattern embedded in the input image.
  • the camera captures the projected images of those frames and obtains the difference between the captured images of both frames, thereby extracting only the structured light pattern included in the captured images.
  • Corresponding point detection is performed using the extracted structured light pattern.
  • the structured pattern can be easily extracted simply by obtaining the difference between the captured images, so that the corresponding points can be detected with stable accuracy without depending on the image to be projected.
  • the projector (projection unit) 115 and the camera (imaging unit) 116 of the projection imaging apparatus 101 are in the posture RT_t1.
  • the projector 115 projects the projection image 212_t1 on the screen 201, and the camera 116 captures the projection image 212_t1 and generates a captured image 213_t1.
  • the corresponding point information is passed to the posture estimation unit 113, and the postures of the projector 115 and the camera 116 are estimated.
  • the screen reconstruction when the projection target is the screen 201 or a wall, the shape estimation of the projection target and the alignment between the projector 115 and the projection target are performed.
  • geometric correction trapezoidal distortion correction and wall correction is performed so that the image is correctly displayed on the screen 201. And the like are corrected.
  • the projection target is the 3D model 231
  • alignment is performed with the 3D model 231 as shown in the lower registration of FIG. 2C, and the lower rendering (geometric / optical) of FIG. 2D is performed.
  • the texture 232 is corrected (so-called projection mapping) so that the texture of the 3D model 231 exactly matches the projection target.
  • the depth may be directly measured as in a TOF (Time-of-Flight) camera as well as the depth sensing by Structured Light.
  • Online sensing can detect corresponding points while projecting video content, so even if the projector changes posture during video projection, it can correct the video so that it can be viewed correctly after a while. It is.
  • the attitude of the projector always changes due to camera shake. Therefore, there is a problem that the presentation position of the image continues to fluctuate if there is no highly responsive sensing that can follow the camera shake.
  • each part of the projection imaging apparatus 101 is shown on the left side of FIG. 5, and delay elements are shown on the right side thereof.
  • the image data is transmitted to the corresponding point detection unit 112 (for example, a computing unit such as a personal computer).
  • the point detection unit 112 for example, a computing unit such as a personal computer.
  • the transmission delay is also used here. Will occur.
  • HDMI registered trademark
  • DP DP
  • a function (not shown) built in the projector 115 (high image quality processing such as high frame rate) is used to project the image after storing the external input signal in the internal frame memory and performing various processes. But there is a delay.
  • an inertial measurement device (IMU) 121 is built in the projector 115 and a delay compensation circuit 122 for compensating for the above-described misalignment due to various delays is inserted so that the attitude change due to the camera shake of the projector 115 can be followed.
  • the delay compensation circuit 122 may be corrected by shifting the image in a direction to cancel the image shift / blurring due to camera shake.
  • the IMU 121 which is a point, can instantaneously measure the change in the attitude of the projector 115 (high responsiveness), but cannot measure the shape of the projection target and the positional relationship with the projector 115.
  • Depth sensing using the camera 116 or the like can measure the shape of the projection target and the positional relationship with the projector 115, but is not responsive enough to follow changes in the attitude of the projector 115 due to camera shake. Therefore, by combining the depth sensing and the IMU 121, it is possible to realize video viewing in which video shift and shake due to camera shake are corrected.
  • the IMU 121 in the projector 115, it is possible to compensate for the delay generated on the projector device side.
  • an externally input video signal is held once in a frame buffer and video is projected at the next V synchronization timing. That is, various image quality enhancement processes are performed before the next V synchronization timing.
  • high frame rate processing is generally delayed in order to produce intermediate video from past and current video.
  • the frame rate is doubled (60Hz-> 120Hz)
  • processing such as creating intermediate video is also included.
  • the projectors 115 there are some small DLP projectors that do not have a dot-by-dot display relationship in which the pixel shape is rotated 45 degrees from the square in the DMD panel specification. Since the pixel position of the video signal deviates from the pixel position of the panel, the video signal needs to be interpolated so as to be correct at the pixel position of the panel.
  • the color display method is a single-panel type and R, G, B colors are projected in a time-sharing manner, there is a delay in principle.
  • the green and blue signals are delayed.
  • the projector 115 with the built-in IMU 121 is capable of compensating for the principle delay generated on the projector device side as described above.
  • step S101 the geometric correction unit 111 corrects the input video, corrects the input video so that the input video looks correct from the attitude information of the projector and the screen information, and generates a corrected image.
  • the geometric correction unit 111 outputs the generated corrected image to the projector 115.
  • step S102 the delay compensation circuit 122 of the projector 115 performs delay compensation processing by the IMU 121. That is, the delay required from steps S103 to S108 is compensated in S102.
  • the delay compensation circuit 122 uses the measurement value from the IMU 121 to shift and correct the correction image from the geometric correction unit 111 in a direction that cancels image shift / blurring due to camera shake.
  • the projector 115 projects the corrected image on the screen 201 in step S103.
  • step S104 the camera 116 captures a projection image projected on the screen 201 from the projector 115, generates a captured image, and supplies the captured image to the corresponding point detection unit 112.
  • Corresponding point detection unit 112 detects corresponding points of the input image from the captured image captured by camera 116 in step S105.
  • the corresponding point detection unit 112 supplies information on the detected corresponding points to the posture estimation unit 113 and the screen reconstruction unit 114.
  • step S106 the posture estimation unit 113 performs posture estimation using the corresponding points.
  • the posture estimation unit 113 estimates the estimated relative posture of the projector 115 and the camera 116, and supplies the estimated projector posture information to the screen reconstruction unit 114 and the geometric correction unit 111.
  • step S107 the screen reconstruction unit 114 performs alignment with the screen. That is, the screen reconstruction unit 114 refers to the corresponding points and the posture information of the projector 115 and the camera 116, performs shape estimation of the screen 201, and alignment with the screen 201, and uses the result as the screen information. This is supplied to the correction unit 111.
  • step S108 the geometric correction unit 111 generates a corrected image. That is, the geometric correction unit 111 corrects the input video so that the input video looks correct from the attitude information of the projector 115 and the camera 116 and the information on the screen 201, generates a corrected image 221, and generates the corrected image 221. And output to the projector 115. Thereafter, the processing returns to step S102, and the subsequent processing is repeated. That is, in step S102, delay compensation processing by the IMU 121 is performed.
  • the projector 115 with the built-in IMU 121 can compensate for the fundamental delay that occurs on the projector device side.
  • the signal of each sub-frame obtained by time-dividing the light emission time of one frame is interpolated in accordance with the motion of the video to increase the frame rate, or the projected pixel is shifted at a high speed with a 1/2 pixel width (lens Technology to increase the spatial resolution by shifting the optical axis by 1/2 pixel width).
  • This technology realizes an improvement in visual resolution by appropriately changing the video signal given to each sub-frame on the premise of moving the moving image and physically shifting the panel pixels with respect to the lens. ing.
  • the motion of the hand shake in each subframe of the hand-held projector 115 is regarded as a slight change in the video motion or the projected pixel position, the video signal applied to each subframe can be changed appropriately. Is similar to the above-described technique, and leads to improved visibility. This is an idea of high image quality unique to the IMU 121 that can measure minute movements due to camera shake in each subframe.
  • the IMU in the projector, it is possible to compensate for the delay that occurs on the projector side. In addition, it is possible to improve visibility using minute movements caused by hand shake of a hand-held projector.
  • the camera shake correction is performed by incorporating the IMU in the projector.
  • the present invention is not limited to the IMU, and other devices that can measure movement may be incorporated.
  • ⁇ Personal computer> The series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, the camera 116 of FIG.
  • the output unit 507 includes a display, a speaker, the projector 115 in FIG.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the computer 500 may constitute the projector 115 itself of FIG.
  • the CPU 501 loads, for example, a program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program. Thereby, the series of processes described above are performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded on the removable medium 511.
  • the removable medium 511 is a package made of, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Disc Only), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor memory.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in a necessary stage such as in parallel or when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • Inertia measurement unit A correction unit that corrects a deviation in posture based on a measurement value measured by the inertial measurement unit from the geometrically corrected correction image; A projector that projects an image in which the deviation of the posture is corrected by the correction unit.
  • the correction unit has a transmission delay or a processing delay as to a delay related to any one of geometric correction, corresponding point detection, and posture estimation.
  • a correction unit that corrects the input image based on the attitude estimation information of the projector and generates a corrected image
  • Corresponding point detection for detecting a corresponding point by associating a captured image generated by capturing a projection image in which the corrected image generated by the correcting unit is an image projected from the projector with the corrected image
  • An image processing apparatus comprising: an attitude estimation unit configured to perform attitude estimation of the projector based on the corresponding points detected by the corresponding point detection unit and generate the attitude estimation information;
  • An inertial measurement unit An image having: the projector comprising: a delay compensation unit that corrects a deviation in posture due to a delay related to any of the corresponding point detection unit, the posture estimation unit, or the correction unit based on a measurement value of the inertia measurement unit.
  • a delay related to any of the corresponding point detection unit, the posture estimation unit, and the correction unit is a transmission delay or a processing delay.
  • the delay compensation unit performs correction that shifts in a direction that cancels out a deviation in posture.
  • the delay compensation unit compensates for an exposure delay of an imaging unit that captures the projection image.
  • the delay compensation unit compensates for a delay generated in the projector.
  • the correction unit of the image processing device corrects the input image based on the attitude estimation information of the projector to generate a corrected image
  • the corresponding point detection unit associates the captured image generated by capturing the projection image, in which the correction image generated by the correction unit is an image projected from the projector, with the correction image, and Detect A posture estimation unit that performs posture estimation of the projector based on the corresponding points detected by the corresponding point detection unit, and generates the posture estimation information;
  • An image processing method in which a delay compensation unit of the projector corrects a deviation in posture due to a delay related to the corresponding point detection unit, the posture estimation unit, and the correction unit based on a measurement value of an inertial measurement unit of the projector.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本開示は、手振れ補正を実現することができるようにするプロジェクタ、投影方法、画像処理システム、および方法に関する。 投影撮像装置は、幾何補正部、対応点検出部、姿勢推定部、スクリーン再構成部、プロジェクタ、およびカメラを含むように構成されている。入力映像は、幾何補正部に入力される。プロジェクタは、IMU（慣性計測装置）および遅延補償回路を内蔵している。本開示は、例えば、プロジェクタで画像を投影し、プロジェクタにより投影された画像を撮像して、補正を行う投影撮像装置に適用することができる。

Description

プロジェクタ、投影方法、画像処理システム、および方法
　本開示は、プロジェクタ、投影方法、画像処理システム、および方法に関し、特に、手振れ補正を実現することができるようにしたプロジェクタ、投影方法、画像処理システム、および方法に関する。
　プロジェクタと投影対象（例えば、スクリーンや立体物など）との３次元空間上の関係が未知の場合、デプスセンシングを行って、３次元空間上のプロジェクタと投影対象の位置姿勢を推定し、投影対象に正しく投影されるように映像を補正して投影する（特許文献１参照）。
特開２００９－１３５９２１号公報
　手持ちプロジェクタで映像を投影しながらデプスセンシングする場合、デプスセンシングから映像補正までには様々な遅延があり、補正された映像は、デプスセンシングした時点のプロジェクタと投影対象の位置姿勢で正しく見えるように補正されているが、上述した遅延により手持ちプロジェクタの場合、手振れなどの影響ですでにプロジェクタの姿勢が変わってしまい、正しい映像の投影が困難であることがあった。
　本開示は、このような状況に鑑みてなされたものであり、手振れ補正を実現することができるものである。
　本技術の一側面のプロジェクタは、慣性測定部と、幾何補正された補正画像を前記慣性測定部により測定された測定値に基づいて、姿勢のずれを補正する補正部と、前記補正部により前記姿勢のずれが補正された画像を投影する投影部とを備える。
　前記補正部は、幾何補正、対応点検出、または姿勢推定のいずれかに関する遅延は、伝送遅延または処理遅延である。
　前記補正部は、姿勢のずれを打ち消す方向にシフトさせる補正を行うことができる。
　前記補正部は、前記投影部により投影された投影画像を撮像する撮像部の露光遅延による姿勢のずれを補正することができる。
　前記補正部は、前記プロジェクタ内で発生する遅延による姿勢のずれを補正することができる。
　本技術の一側面の投影方法は、幾何補正された補正画像を慣性測定部により測定された測定値に基づいて、姿勢のずれを補正し、前記姿勢のずれが補正された画像を投影する。
　本技術の他の側面の画像処理システムは、プロジェクタの姿勢推定情報に基づいて入力画像を補正して、補正画像を生成する補正部と、前記補正部により生成された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像と、前記補正画像との対応付けを行い、対応点を検出する対応点検出部と、前記対応点検出部により検出された対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成する姿勢推定部とを備える画像処理装置と、慣性計測部と、前記慣性計測部の計測値に基づいて、前記対応点検出部、前記姿勢推定部、または前記補正部のいずれかに関する遅延による姿勢のずれを補正する遅延補償部とを備える前記プロジェクタとを有する。
　前記対応点検出部、前記姿勢推定部、または前記補正部のいずれかに関する遅延は、伝送遅延または処理遅延である。
　前記遅延補償部は、姿勢のずれを打ち消す方向にシフトさせる補正を行うことができる。
　前記遅延補償部は、前記投影画像を撮像する撮像部の露光遅延を補償することができる。
　前記遅延補償部は、前記プロジェクタ内で発生する遅延を補償することができる。
　本技術の他の側面の画像処理方法は、画像処理装置の補正部が、プロジェクタの姿勢推定情報に基づいて入力画像を補正して、補正画像を生成し、対応点検出部が、前記補正部により生成された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像と、前記補正画像との対応付けを行い、対応点を検出し、姿勢推定部が、前記対応点検出部により検出された対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成し、前記プロジェクタの遅延補償部が、前記プロジェクタの慣性計測部の計測値に基づいて、前記対応点検出部、前記姿勢推定部、または前記補正部のいずれかに関する遅延による姿勢のずれを補正する。
　本技術の一側面においては、幾何補正された補正画像を慣性測定部により測定された測定値に基づいて、姿勢のずれが補正され、前記姿勢のずれが補正された画像が投影される。
　本技術の他の側面においては、補正部により、プロジェクタの姿勢推定情報に基づいて入力画像が補正されて、補正画像が生成され、対応点検出部により、生成された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像と、前記補正画像との対応付けが行われて、対応点が検出され、姿勢推定部により、検出された対応点に基づいて、前記プロジェクタの姿勢推定が行われ、前記姿勢推定情報が生成される。そして、プロジェクタの慣性計測部の計測値に基づいて、前記対応点検出部、前記姿勢推定部、または前記補正部のいずれかに関する遅延による姿勢のずれが補正される。
　本技術によれば、手振れ補正を実現することができる。
　なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
本技術を適用した投影撮像装置の構成例を示すブロック図である。 投影撮像処理について説明する工程図である。 ISLの例を説明する図である。 動画像の中での特徴点同士の対応付けを行う方法を説明する図である。 投影撮像処理における遅延を説明する図である。 発光方式の例を説明する図である。 投影撮像処理について説明するフローチャートである。 本技術を適用したコンピュータのハードウエア構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
　＜概要＞
　プロジェクタと投影対象（例えば、スクリーンや立体物など）との３次元空間上の関係が未知の場合、デプスセンシングを行って、３次元空間上のプロジェクタと投影対象の位置姿勢を推定し、投影対象に正しく投影されるように映像を補正して投影する。
　手持ちプロジェクタで映像を投影しながらデプスセンシングする場合、デプスセンシングから映像補正までには様々な遅延があり、補正された映像は、デプスセンシングした時点のプロジェクタと投影対象の位置姿勢で正しく見えるように補正されているが、上述した遅延により手持ちプロジェクタの場合、手振れなどの影響ですでにプロジェクタの姿勢が変わってしまい、正しい映像の投影が困難であることがあった。
　似たような状態は、ヘッドマウントを使ったVR（バーチャルリアリティ）映像の視聴時にも見られることがある。VR視聴はユーザの頭の動きにあわせてゴーグル内に表示される映像を描画(3Dグラッフィクスのレンダリング)する必要があるが、3Dグラッフィクスのレンダリングには一定の時間(すなわち、遅延)がかかるため、VR酔いの原因となる。
　そこで、レンダリングした時点の頭の位置と表示タイミングの頭の位置にずれがある場合、表示タイミング直前に本来描画されるであろう位置に簡易的な補正を行ってVR酔いを低減させている。
　上述の手法はパーソナルコンピュータなどに内蔵されたGPUの外部出力(HDMI(登録商標)やDP)のタイミングに合わせて、3Dグラッフィクスのレンダリングによる遅延(頭のずれ)を補正しているため、表示デバイス側の遅延は(ほぼ)無い事が前提となる。
　表示デバイスがプロジェクタの場合、プロジェクタ内蔵の機能(ハイフレームレート化などの高画質化処理)やカラー表示方式(単版式、3版式)の違い、発光方式(DLP、LCD、LCoS)などにより、一度外部入力信号を内部のフレームメモリに蓄えた後に、実際に映像を投影する可能性が高い。そのため、外部出力側(たとえばPC内蔵のGPUなど)で遅延補償された補正映像であっても、表示デバイス側の遅延により正しい映像を投影できない恐れがある。
　そこで、本技術においては、表示デバイスであるプロジェクタ側に慣性計測装置(IMU)を内蔵し、プロジェクタ側で遅延補償が実行される。
　＜投影撮像装置の構成例＞
　図１は、本技術を適用した投影撮像装置の構成例を示すブロック図である。
　図１の例において、投影撮像装置１０１は、幾何補正部１１１、対応点検出部１１２、姿勢推定部１１３、スクリーン再構成部１１４、プロジェクタ１１５、およびカメラ１１６を含むように構成されている。入力映像は、幾何補正部１１１に入力される。
　幾何補正部１１１は、入力映像を補正し、プロジェクタの姿勢情報とスクリーン情報から、入力映像が正しく見えるように入力映像を補正して、補正画像を生成し、生成した補正画像を、プロジェクタ１１５に出力する。
　プロジェクタ１１５は、補正画像を、スクリーンに投影する。プロジェクタ１１５は、IMU（慣性計測装置）１２１および遅延補償回路１２２を内蔵している。IMU１２１は、プロジェクタ１１５の姿勢の変化を瞬時に計測する。遅延補償回路１２２は、投影撮像装置１０１の各部に生じる様々な遅延による姿勢のずれを補償する。遅延補償回路１２２は、例えば、IMU１２１の計測値に基づいて、手振れによる映像ずれ、ぶれを打ち消す方向に、映像をシフトさせて補正する。なお、手振れと記載するが、手振れ以外のぶれも含まれる。
　カメラ１１６は、プロジェクタ１１５からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、対応点検出部１１２に供給する。カメラ１１６はデプスセンサであってもよい。
　なお、プロジェクタ１１５も、カメラ１１６も複数台であってもよい。また、プロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のプロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のカメラ１１６に対して、プロジェクタ１１５が１台であってもよい。
　対応点検出部１１２は、プロジェクタ１１５およびカメラ１１６との対応点検出処理（デプスセンシング）を行う。
　姿勢推定部１１３は、検出された対応点から、プロジェクタ１１５とカメラ１１６の相対姿勢を推定し、推定したプロジェクタの姿勢情報を、スクリーン再構成部１１４および幾何補正部１１１に供給する。
　スクリーン再構成部１１４は、姿勢情報を参照して、スクリーン形状推定と、平面スクリーンとの位置合わせを行い、その結果をスクリーン情報として、幾何補正部１１１に供給する。
　＜対応点検出から幾何補正までの詳細＞
　次に、図２を参照して、対応点検出から幾何補正までについて説明する。対応点検出部１１２は、図２のＡに示されるように、プロジェクタ１１５とカメラ１１６間の対応点を検出するために、プロジェクタ１１５から投影しようとしている画像（GrayCodeやDotおよびCheckerなどのパタン画像や、入力画像など）２１１と、それをスクリーン２０１に投影した投影画像２１２をカメラ１１６で撮像した撮像画像２１３を用いて、対応点を検出する。この対応点検出処理は、一般的にStructured Light（SL:構造化光）と呼ばれる。
　ここで、動画像投影中に対応点を検出して、プロジェクタ１１５とカメラ１１６の姿勢を推定する方法をオンラインセンシングと呼ぶことにする。オンラインセンシングでの対応点検出には、動画像内に人間の目では知覚されないパタンを重畳して対応点検出を行うImperceptible Structured Light(ISL)(図３)や動画像内の特徴点を検出して特徴点同士の対応付けを行う方法（図４）およびIR光源などの可視光外の光にパタン画像を投影する方法などが挙げられる。
　ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。
　図３に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。
　これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮像画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。
　このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
　また、図４を参照して、動画像の中の特徴点を検出し、特徴点同士の対応付けを行う方法について説明する。時刻t1において、投影撮像装置１０１のプロジェクタ（投影部）１１５とカメラ（撮像部）１１６は、姿勢RT_t1である。このとき、プロジェクタ１１５は、スクリーン２０１に投影画像２１２_t1を投影し、カメラ１１６は、投影画像２１２_t1を撮像し、撮像画像２１３_t1を生成する。
　その後、時刻t2において、投影撮像装置１０１のプロジェクタ（投影部）１１５とカメラ（撮像部）１１６の姿勢変化があり、投影撮像装置１０１のプロジェクタ（投影部）１１５とカメラ（撮像部）１１６は、姿勢RT_t2である。このとき、プロジェクタ１１５は、スクリーン２０１に投影画像２１２_t2を投影し、カメラ１１６は、投影画像２１２_t2を撮像し、撮像画像２１３_t2を生成する。
　このように、入力映像を投影している最中に、生成された時刻t1での撮像画像２１３_t1と、時刻t2での撮像画像２１３_t2において対応点が検出されるので、外乱によってプロジェクタの姿勢が変化しても自動的に正しい映像提示位置に更新できる利点がある。(前述のパタン画像を投影する必要はない)
　次に、図２のＢに示されるように、対応点の情報は、姿勢推定部１１３へ渡され、プロジェクタ１１５およびカメラ１１６の姿勢が推定される。次に、図２のＣの上段に示されるように、スクリーン再構成として、投影対象がスクリーン２０１や壁の場合は、投影対象の形状推定とプロジェクタ１１５と投影対象との位置合わせが行われる。そして、図２のＤの上段に示されるように、プロジェクタ１１５の姿勢情報およびスクリーン２０１の形状情報をもとに、映像が正しくスクリーン２０１に表示されるように、幾何補正（台形歪補正や壁の凹凸補正など）が行われる。
　一方、投影対象が３Ｄモデル２３１の場合、図２のＣの下段のレジストレーションに示されるように、３Ｄモデル２３１と位置合わせが行われ、図２のＤの下段のレンダリング（幾何・光学）に示されるように、３Ｄモデル２３１のテクスチャがぴったり投影対象に合うようにテクスチャ２３２が補正（いわゆる、プロジェクションマッピング）される。なお、Structured Lightによるデプスセンシングだけでなく、TOF（Time-of-Flight）カメラのように直接的にデプスが計測されてもよい。
　オンラインセンシングは、映像コンテンツを投影している最中に対応点検出ができるので、映像投影中にプロジェクタの姿勢が変わっても、暫くすれば正しく見ることができるように映像を補正することが可能である。しかしながら、手持ちプロジェクタで映像を投影する場合は、常に手振れによりプロジェクタの姿勢が変わるため、手振れに追従できるような応答性の高いセンシングが無いと、映像の呈示位置が常にぶれ続けるといった問題が起こる。
　図２を参照して上述した一連の処理においては、図５に示されるように、様々な遅延が発生する。図５の左側に投影撮像装置１０１の各部が示されており、その右側に遅延要素がそれぞれ示されている。まず原理的にプロジェクタから投影されたパタンをカメラ１１６で撮影するため、パタンが発光されてから消えるまでの期間を露光する必要があり、露光時間が長ければ長いほど遅延につながる。露光が終わり次第、撮影データを、対応点検出部１１２（例えば、パーソナルコンピュータなどの演算器）に伝送するのだが、USBやIPネットワークなどの汎用のインタフェースを使って伝送する場合、ここでも伝送遅延が発生する。
　次に伝送された撮影画像を用いた、対応点検出部１１２や姿勢推定部１１３、スクリーン再構成部１１４、および幾何補正部１１１の処理遅延が発生する。補正された映像をプロジェクタ１１５に伝送する時も、HDMI(登録商標)やDPなどの汎用インタフェースを使って伝送する場合、ここでも伝送遅延が発生する。
　最後にプロジェクタ１１５に内蔵の図示せぬ機能(ハイフレームレート化などの高画質化処理)は一度外部入力信号を内部のフレームメモリに蓄えて様々な処理をした後に、映像を投影するため、ここでも遅延が発生する。
　そこで、プロジェクタ１１５の手振れによる姿勢変化に追従できるように、プロジェクタ１１５に慣性計測装置(IMU)１２１を内蔵して、上述した様々な遅延による姿勢のずれを補償する遅延補償回路１２２を入れる。遅延補償回路１２２は、手振れによる映像ずれ・ぶれを打ち消す方向に、映像をシフトさせて補正するなどが考えられる。
　以上が本技術の概要である。ポイントであるIMU１２１はプロジェクタ１１５の姿勢の変化を瞬時に計測できる(応答性が高い)が、投影対象の形状およびプロジェクタ１１５との位置関係は計測できない。カメラ１１６などを使ったデプスセンシングは、投影対象の形状およびプロジェクタ１１５との位置関係は計測できるが、手振れによるプロジェクタ１１５の姿勢変化に追従できるほどの応答性はない。そこで、デプスセンシングとIMU１２１を組み合わせる事で、手振れによる映像ずれ、ぶれを補正した映像視聴を実現できる。
　＜本技術の利点＞
　次に、IMU１２１をプロジェクタ１１５に内蔵することで得られる利点について説明する。
　本技術においては、IMU１２１をプロジェクタ１１５に内蔵することにより、プロジェクタデバイス側で発生する遅延を補償する事が可能となる。たとえば内蔵の高画質化機能を動かすためには一般的に外部入力の映像信号を１度フレームバッファに保持し、次のV同期のタイミングで映像を投影する。つまり、次のV同期のタイミングまでに様々な高画質化処理が行われる。たとえば、ハイフレームレート処理は一般的に過去と現在の映像から中間の映像を作り出すため、原理的に遅延する。またフレームレートが２倍になる(60Hz->120Hz)ので、動きボケを除去してクリアで滑らかな映像にした後に、中間の映像を作りだすなどの処理も入る。
　さらに、プロジェクタ１１５のうち、小型DLPプロジェクタの中にはDMDパネルの仕様で画素形状が正方形を45度回転させたような形でドットバイドット表示の関係にはならないものもある。映像信号の画素位置とパネルの画素位置がずれるため、映像信号を一度パネルの画素位置で正しくなるように補間する必要があるので、原理的に遅延する。
　他に、カラー表示方式が単版式パネルでR,G,B各色を時分割で投影する場合も、原理的に遅延する。たとえば、図６のような発光方式の場合、１フレーム間で、赤(R)、緑(G)、青(B)の順に投影されるので、緑と青の信号は遅延する。
　以上のようなプロジェクタデバイス側で発生する原理的な遅延をIMU１２１内蔵のプロジェクタ１１５であれば、遅延補償することができる。
　＜投影撮像装置の動作＞
　次に、図７のフローチャートを参照して、投影撮像装置１０１の投影撮像処理について説明する。
　ステップＳ１０１において、幾何補正部１１１は、入力映像を補正し、プロジェクタの姿勢情報とスクリーン情報から、入力映像が正しく見えるように入力映像を補正して、補正画像を生成する。幾何補正部１１１は、生成した補正画像を、プロジェクタ１１５に出力する。
　ステップＳ１０２において、プロジェクタ１１５の遅延補償回路１２２は、IMU１２１による遅延補償処理を行う。すなわち、ステップＳ１０３乃至Ｓ１０８までに要する遅延が、Ｓ１０２において補償される。例えば、遅延補償回路１２２は、IMU１２１からの測定値を用いて、手振れによる映像ずれ・ぶれを打ち消す方向に、幾何補正部１１１からの補正画像をシフトさせて補正する。
　幾何補正部１１１は、生成した補正画像を、プロジェクタ１１５に出力するので、ステップＳ１０３において、プロジェクタ１１５は、補正画像を、スクリーン２０１に投影する。
　ステップＳ１０４において、カメラ１１６は、プロジェクタ１１５からスクリーン２０１に投影されている投影画像を撮像し、撮像画像を生成して、対応点検出部１１２に供給する。
　対応点検出部１１２は、ステップＳ１０５において、カメラ１１６により撮像された撮像画像から入力画像の対応点を検出する。対応点検出部１１２は、検出した対応点の情報を、姿勢推定部１１３およびスクリーン再構成部１１４に供給する。
　ステップＳ１０６において、姿勢推定部１１３は、対応点を用いて、姿勢推定を行う。姿勢推定部１１３は、推定されたプロジェクタ１１５とカメラ１１６の相対姿勢を推定し、推定したプロジェクタの姿勢情報を、スクリーン再構成部１１４および幾何補正部１１１に供給する。
　ステップＳ１０７において、スクリーン再構成部１１４は、スクリーンとの位置合わせを行う。すなわち、スクリーン再構成部１１４は、対応点と、プロジェクタ１１５とカメラ１１６の姿勢情報を参照して、スクリーン２０１の形状推定と、スクリーン２０１との位置合わせを行い、その結果をスクリーン情報として、幾何補正部１１１に供給する。
　ステップＳ１０８において、幾何補正部１１１は、補正画像を生成する。すなわち、幾何補正部１１１はプロジェクタ１１５とカメラ１１６の姿勢情報とスクリーン２０１の情報とから、入力映像が正しく見えるように入力映像を補正して、補正画像２２１を生成し、生成した補正画像２２１を、プロジェクタ１１５に出力する。その後、処理は、ステップＳ１０２に戻り、それ以降の処理が繰り返される。すなわち、ステップＳ１０２において、IMU１２１による遅延補償処理が行われる。
　以上、IMU１２１内蔵のプロジェクタ１１５であれば、プロジェクタデバイス側で発生する原理的な遅延を補償することができる。
　次に、IMU１２１を利用した高画質化につながる例について説明する。プロジェクタ１１５の中には１フレームの発光時間を時分割した各サブフレームの信号を映像の動きに合わせて補間してハイフレームレート化したり、投影画素を1/2画素幅で高速にずらす(レンズの光軸を1/2画素幅でシフトする)事で空間解像度を上げる技術などがある。
　この技術は、動画像の動きや、パネルの画素をレンズに対して物理的にずらす事を前提に、各サブフレームに与える映像信号を適切に変えてやる事で、視認解像度の向上を実現している。ここで手持ちプロジェクタ１１５の各サブフレームでの手振れの動きを、映像の動きもしくは投影画素位置が微小に変化したと捉えて、各サブフレームに与える映像信号を適切に変えてやれば、原理的には上述の技術に類似したものとなるので、視認性改善につながる。各サブフレームでの手振れによる微小な動きを計測できるIMU１２１ならではの高画質化のアイデアである。
　以上のように、本技術においては、デプスセンシングおよびIMUどちらか単体では実現困難な用途に対して、両者を組み合わせることにより、手持ちプロジェクタで手振れ補正をしながら、映像を投影できる。
　また、IMUをプロジェクタに内蔵する事で、プロジェクタ側で発生する遅延も補償する事ができる。さらに、手持ちプロジェクタの手振れによる微小な動きを利用した視認性改善を行うこともできる。なお、以上の説明においては、IMUをプロジェクタに内蔵することで手振れ補正を行うようにしたが、IMUに限らず、動きを計測することができるような他のものを内蔵してもよい。
　＜パーソナルコンピュータ＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
　図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　例えば、コンピュータ５００が、図１の投影撮像装置１０１の場合、入力部５０６は、キーボード、マウス、マイクロホン、図１のカメラ１１６などよりなる。出力部５０７は、ディスプレイ、スピーカ、図１のプロジェクタ１１５などよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　また、コンピュータ５００が、図１のプロジェクタ１１５自身を構成することもあり得る。
　以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ５００において、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　慣性測定部と、
　幾何補正された補正画像を前記慣性測定部により測定された測定値に基づいて、姿勢のずれを補正する補正部と、
　前記補正部により前記姿勢のずれが補正された画像を投影する投影部と
　を備えるプロジェクタ。
　（２）　前記補正部は、幾何補正、対応点検出、または姿勢推定のいずれかに関する遅延による姿勢のずれを補正する
　前記（１）に記載のプロジェクタ。
　（３）　前記補正部は、幾何補正、対応点検出、または姿勢推定のいずれかに関する遅延は、伝送遅延または処理遅延である
　前記（２）に記載のプロジェクタ。
　（４）　前記補正部は、姿勢のずれを打ち消す方向にシフトさせる補正を行う
　前記（１）乃至（３）のいずれかに記載のプロジェクタ。
　（５）　前記補正部は、前記投影部により投影された投影画像を撮像する撮像部の露光遅延による姿勢のずれを補正する
　前記（１）乃至（４）のいずれかに記載のプロジェクタ。
　（６）　前記補正部は、前記プロジェクタ内で発生する遅延による姿勢のずれを補正する
　前記（１）乃至（５）のいずれかに記載のプロジェクタ。
　（７）　幾何補正された補正画像を慣性測定部により測定された測定値に基づいて、姿勢のずれを補正し、
　前記姿勢のずれが補正された画像を投影する
　投影方法。
　（８）　プロジェクタの姿勢推定情報に基づいて入力画像を補正して、補正画像を生成する補正部と、
　前記補正部により生成された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像と、前記補正画像との対応付けを行い、対応点を検出する対応点検出部と、
　前記対応点検出部により検出された対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成する姿勢推定部と
　を備える画像処理装置と、
　慣性計測部と、
　前記慣性計測部の計測値に基づいて、前記対応点検出部、前記姿勢推定部、または前記補正部のいずれかに関する遅延による姿勢のずれを補正する遅延補償部と
　を備える前記プロジェクタと
　を有する画像処理システム。
　（９）　前記対応点検出部、前記姿勢推定部、または前記補正部のいずれかに関する遅延は、伝送遅延または処理遅延である
　前記（８）に記載の画像処理システム。
　（１０）　前記遅延補償部は、姿勢のずれを打ち消す方向にシフトさせる補正を行う
　前記（８）または（９）に記載の画像処理システム。
　（１１）　前記遅延補償部は、前記投影画像を撮像する撮像部の露光遅延を補償する
　前記（８）乃至（１０）に記載の画像処理システム。
　（１２）　前記遅延補償部は、前記プロジェクタ内で発生する遅延を補償する
　前記（８）乃至（１１）のいずれかに記載の画像処理システム。
　（１３）　画像処理装置の
　補正部が、プロジェクタの姿勢推定情報に基づいて入力画像を補正して、補正画像を生成し、
　対応点検出部が、前記補正部により生成された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像と、前記補正画像との対応付けを行い、対応点を検出し、
　姿勢推定部が、前記対応点検出部により検出された対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成し、
　前記プロジェクタの遅延補償部が、前記プロジェクタの慣性計測部の計測値に基づいて、前記対応点検出部、前記姿勢推定部、および前記補正部に関する遅延による姿勢のずれを補正する
　画像処理方法。
　１０１　投影撮像装置，　１１１　幾何補正部，　１１２　対応点検出部，　１１３　姿勢推定部，　１１４　スクリーン再構成部，　１１５　プロジェクタ，　１１６　カメラ，　１２１　慣性計測装置，　１２２　遅延補償回路

Claims (13)

  1. 　慣性測定部と、
    　幾何補正された補正画像を前記慣性測定部により測定された測定値に基づいて、姿勢のずれを補正する補正部と、
    　前記補正部により前記姿勢のずれが補正された画像を投影する投影部と
    　を備えるプロジェクタ。
  2. 　前記補正部は、幾何補正、対応点検出、または姿勢推定のいずれかに関する遅延による姿勢のずれを補正する
    　請求項１に記載のプロジェクタ。
  3. 　前記補正部は、幾何補正、対応点検出、または姿勢推定のいずれかに関する遅延は、伝送遅延または処理遅延である
    　請求項１に記載のプロジェクタ。
  4. 　前記補正部は、姿勢のずれを打ち消す方向にシフトさせる補正を行う
    　請求項１に記載のプロジェクタ。
  5. 　前記補正部は、前記投影部により投影された投影画像を撮像する撮像部の露光遅延による姿勢のずれを補正する
    　請求項１に記載のプロジェクタ。
  6. 　前記補正部は、前記プロジェクタ内で発生する遅延による姿勢のずれを補正する
    　請求項１に記載のプロジェクタ。
  7. 　幾何補正された補正画像を慣性測定部により測定された測定値に基づいて、姿勢のずれを補正し、
    　前記姿勢のずれが補正された画像を投影する
    　投影方法。
  8. 　プロジェクタの姿勢推定情報に基づいて入力画像を補正して、補正画像を生成する補正部と、
    　前記補正部により生成された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像と、前記補正画像との対応付けを行い、対応点を検出する対応点検出部と、
    　前記対応点検出部により検出された対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成する姿勢推定部と
    　を備える画像処理装置と、
    　慣性計測部と、
    　前記慣性計測部の計測値に基づいて、前記対応点検出部、前記姿勢推定部、または前記補正部のいずれかに関する遅延による姿勢のずれを補正する遅延補償部と
    　を備える前記プロジェクタと
    　を有する画像処理システム。
  9. 　前記対応点検出部、前記姿勢推定部、または前記補正部のいずれかに関する遅延は、伝送遅延または処理遅延である
    　請求項８に記載の画像処理システム。
  10. 　前記遅延補償部は、姿勢のずれを打ち消す方向にシフトさせる補正を行う
    　請求項８に記載の画像処理システム。
  11. 　前記遅延補償部は、前記投影画像を撮像する撮像部の露光遅延を補償する
    　請求項８に記載の画像処理システム。
  12. 　前記遅延補償部は、前記プロジェクタ内で発生する遅延を補償する
    　請求項８に記載の画像処理システム。
  13. 　画像処理装置の
    　補正部が、プロジェクタの姿勢推定情報に基づいて入力画像を補正して、補正画像を生成し、
    　対応点検出部が、前記補正部により生成された補正画像が前記プロジェクタから投影された画像である投影画像を撮像して生成された撮像画像と、前記補正画像との対応付けを行い、対応点を検出し、
    　姿勢推定部が、前記対応点検出部により検出された対応点に基づいて、前記プロジェクタの姿勢推定を行い、前記姿勢推定情報を生成し、
    　前記プロジェクタの遅延補償部が、前記プロジェクタの慣性計測部の計測値に基づいて、前記対応点検出部、前記姿勢推定部、または前記補正部のいずれかに関する遅延による姿勢のずれを補正する
    　画像処理方法。
PCT/JP2018/009154 2017-03-23 2018-03-09 プロジェクタ、投影方法、画像処理システム、および方法 WO2018173797A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/487,288 US20200021787A1 (en) 2017-03-23 2018-03-09 Projector, projection method, image processing system, and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-056999 2017-03-23
JP2017056999 2017-03-23

Publications (1)

Publication Number Publication Date
WO2018173797A1 true WO2018173797A1 (ja) 2018-09-27

Family

ID=63585295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009154 WO2018173797A1 (ja) 2017-03-23 2018-03-09 プロジェクタ、投影方法、画像処理システム、および方法

Country Status (2)

Country Link
US (1) US20200021787A1 (ja)
WO (1) WO2018173797A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824942A (zh) * 2021-10-25 2021-12-21 河南中光学集团有限公司 梯形校正方法、装置、投影仪及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520899B (zh) * 2020-11-19 2023-09-01 成都极米科技股份有限公司 一种投影补偿方法、装置、存储介质及投影设备
CN112598728B (zh) * 2020-12-23 2024-02-13 极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088169A (ja) * 2002-08-22 2004-03-18 Nisca Corp 画像表示装置
JP2010010926A (ja) * 2008-06-25 2010-01-14 Toshiba Corp 映像投射装置および映像投射装置の制御方法
JP2011154073A (ja) * 2010-01-26 2011-08-11 Seiko Epson Corp 投写装置および投写装置の画像ブレ防止制御方法
JP2014003586A (ja) * 2012-05-22 2014-01-09 Ricoh Co Ltd 画像処理システム、画像処理方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011242455A (ja) * 2010-05-14 2011-12-01 Sanyo Electric Co Ltd 制御装置および投写型映像表示装置
US9128366B2 (en) * 2012-05-22 2015-09-08 Ricoh Company, Ltd. Image processing system, image processing method, and computer program product
US10872434B2 (en) * 2016-03-24 2020-12-22 Sony Corporation Image processing apparatus and method
US10536677B2 (en) * 2016-03-28 2020-01-14 Sony Corporation Image processing apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088169A (ja) * 2002-08-22 2004-03-18 Nisca Corp 画像表示装置
JP2010010926A (ja) * 2008-06-25 2010-01-14 Toshiba Corp 映像投射装置および映像投射装置の制御方法
JP2011154073A (ja) * 2010-01-26 2011-08-11 Seiko Epson Corp 投写装置および投写装置の画像ブレ防止制御方法
JP2014003586A (ja) * 2012-05-22 2014-01-09 Ricoh Co Ltd 画像処理システム、画像処理方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824942A (zh) * 2021-10-25 2021-12-21 河南中光学集团有限公司 梯形校正方法、装置、投影仪及计算机可读存储介质
CN113824942B (zh) * 2021-10-25 2023-08-29 河南中光学集团有限公司 梯形校正方法、装置、投影仪及计算机可读存储介质

Also Published As

Publication number Publication date
US20200021787A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
US11024082B2 (en) Pass-through display of captured imagery
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
JP5503750B2 (ja) ３ｄディスプレイにおいてクロストークを補償する方法
WO2018173797A1 (ja) プロジェクタ、投影方法、画像処理システム、および方法
US10627962B2 (en) Projector
US20210124174A1 (en) Head mounted display, control method for head mounted display, information processor, display device, and program
KR101225063B1 (ko) 투사되는 영상을 은닉적으로 보정하는 방법 및 이를 위한장치
US11546570B2 (en) Apparatus, apparatus control method, and recording medium, for synchronizing a plurality of imaging devices
JP2004228824A (ja) スタックプロジェクション装置及びその調整方法
EP2706408B1 (en) Image stabilization system for handheld devices equipped with pico-projector
JP2006285789A (ja) 画像処理方法、画像処理装置
JP6515512B2 (ja) 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム
JP4168024B2 (ja) スタックプロジェクション装置及びその調整方法
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
WO2018084051A1 (ja) 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
WO2020184173A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015154213A (ja) プロジェクタ装置、および投影方法
JP6439412B2 (ja) 画像処理装置および画像処理方法
JP5950197B2 (ja) 映像信号処理装置
US10778893B2 (en) Detection device, display device and detection method
US20140078471A1 (en) Image stabilization system for handheld devices equipped with pico-projector
JP2017079378A (ja) 画像処理装置およびその方法、並びに、撮像装置
JP6364944B2 (ja) 画像処理装置、投影および撮影の方法、ならびにコンピュータプログラム
JP2024069001A (ja) 画像処理装置およびその制御方法及びプログラム
JP2015222864A (ja) 撮像装置、画像処理装置及び撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18770689

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18770689

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP