WO2018154634A1 - 投写型表示装置、投写型表示装置の制御方法、及びプログラム - Google Patents
投写型表示装置、投写型表示装置の制御方法、及びプログラム Download PDFInfo
- Publication number
- WO2018154634A1 WO2018154634A1 PCT/JP2017/006408 JP2017006408W WO2018154634A1 WO 2018154634 A1 WO2018154634 A1 WO 2018154634A1 JP 2017006408 W JP2017006408 W JP 2017006408W WO 2018154634 A1 WO2018154634 A1 WO 2018154634A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- projection
- coordinates
- image
- plane
- coordinate system
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Definitions
- the present invention relates to a projection display device, a control method for a projection display device, and a program.
- a projection display device (hereinafter also referred to as a projector), an image output from a personal computer (hereinafter also referred to as a PC) to the projector is projected onto a screen or the like.
- a projection object when an image is projected onto a screen or a projection object that is not a flat surface facing the projector (hereinafter collectively referred to as a projection object), the projection lens of the projector and each area of the projection object
- a technique for acquiring a three-dimensional shape of a projection target is known in order to electrically eliminate a focal blur caused by a difference in projection distance between the two.
- Some projectors use an electronic pen on the projection target.
- an electronic pen on the projection target in order to acquire touch start information and end information of the electronic pen used on the projection target and coordinate information of the electronic pen on the projection target, infrared rays emitted from the tip of the electronic pen are generated.
- a technique for acquiring a three-dimensional shape of a projection object is used to acquire the position of the electronic pen on a projection object that is photographed with a camera but is not a flat surface.
- the following methods exist as a method for acquiring the three-dimensional shape of the projection target.
- a TOF (Time of Flight) method in which a three-dimensional measurement is performed by measuring a distance from a time until light projected from a projection lens is reflected by a projection object and returns to the projection lens again.
- the projection object is photographed simultaneously by two cameras arranged at different positions, and three-dimensional measurement is performed using the principle of triangulation based on the difference in position on the captured image of the projection object obtained by each camera.
- a passive triangulation method also called a stereo camera method.
- the method of acquiring these three-dimensional shapes means acquiring the coordinates of the target multipoint.
- Patent Document 2 describes a technique for outputting image information corrected in accordance with the curve distortion of a projection target after the distance information to the projection target is input.
- Patent Document 1 since the principle of triangulation is used to detect the three-dimensional position of a certain target point in a captured image, in addition to the problem that the cost of the projector increases, the projector can be reduced in size and weight. The problem of aiming is not solved.
- Patent Document 2 since the principle of the optical pulse flight method, which is an example of the TOF method, is used to acquire the distance information to the object, in addition to the problem that the cost of the projector increases, the projector is reduced in size and weight. The problem of trying to solve is not solved.
- An object of the present invention is to provide a projection display device, a control method for the projection display device, and a program that can solve the above-described problems.
- the projection display device of the present invention includes a projection unit that projects projection light onto a projection plane, a storage unit that stores distortion correction data for correcting projection light by the projection unit, and a distance to a point on the projection plane.
- Three-dimensional shape calculating means for calculating a three-dimensional shape of the projection plane from distortion correction data stored in the means.
- control method of the projection display apparatus of the present invention includes a projection unit that projects projection light onto a projection plane, a storage unit that stores distortion correction data for correcting projection light by the projection unit, and a projection on the projection plane.
- a control method for a projection display device comprising: a distance detection unit that detects a distance to one point; and a coordinate detection unit that detects a coordinate of the one point in the coordinate system of the projection light. Calculating the three-dimensional shape of the projection plane from the coordinates of the one point in the coordinate system of the projection light obtained in this way and the distortion correction data stored in the storage means.
- a program for causing the projection display apparatus of the present invention to execute includes a projection unit that projects projection light onto a projection surface, a storage unit that stores distortion correction data for correcting projection light by the projection unit, and the projection A computer for a projection display device, comprising: a distance detection unit that detects a distance to a point on the surface; and a coordinate detection unit that detects a coordinate of the one point in the coordinate system of the projection light. The process of calculating the three-dimensional shape of the projection plane from the coordinates of the one point in the coordinate system of the projection light obtained in this way and the distortion correction data stored in the storage means is executed.
- the projector can be reduced in size and weight, and the cost of the projector can be reduced.
- FIG. 1 shows an example of the block diagram which shows schematic structure of the projector by 1st Embodiment of this invention. It is a figure which shows an example of the functional block diagram which shows the whole structure of the projector of 1st Embodiment. It is a figure which shows the relationship between the projection direction and projection area of a projector carrying a distance sensor. It is a figure which shows the relationship between the projection direction of the projector carrying a distance sensor, a projection target object, and a viewpoint. It is a figure explaining the principle of the three-dimensional shape detection of a projector. It is a schematic diagram (perspective view) for explaining the relationship between the angle of view, the projection optical axis, and the projection center point with launch.
- FIG. 1 shows an example of the block diagram which shows schematic structure of the projector by 1st Embodiment of this invention. It is a figure which shows an example of the functional block diagram which shows the whole structure of the projector of 1st Embodiment. It is a figure which shows the relationship
- FIG. 6B is a cross-sectional view taken along line AA of FIG. 6A for explaining the relationship between the angle of view, the projection optical axis, and the projection center point when there is no launch.
- FIG. 6B is a cross-sectional view taken along line AA of FIG. 6A for explaining the relationship between the angle of view, the projection optical axis, and the projection center point when the angle of view is enlarged.
- FIG. 6B is a cross-sectional view taken along line AA of FIG. 6A for explaining the relationship among the angle of view, the projection center axis, and the projection center point when the lens is shifted upward.
- FIG. 1 is an example of a block diagram illustrating a schematic configuration of a projector according to the first embodiment.
- the projector 101 according to the present embodiment includes a projection unit 2, a projection video input terminal 1, a storage unit 31, an operation unit 32, an information processing unit 30, and a distance sensor 106.
- the projection unit 2 has a function of projecting an image input from the projection video input terminal 1 onto a projection target 104 using a screen as an example.
- the storage unit 31 stores a program for controlling the overall operation of the projector 101. Further, the storage unit 31 has a function of temporarily storing the projection position of the projection unit 2, the output of the light source, the image input to the projection video input terminal 1, and the like.
- the operation unit 32 includes switches, buttons, and the like, and is operated by the user to cause the projector 101 to perform a predetermined operation.
- the information processing unit 30 loads a program stored in the storage unit 31 and controls the overall operation of the projector 101.
- the distance sensor 106 measures the distance from the projector 101 to one point (distance measurement point 107 (FIG.
- the projection target 104 may have any structure as long as it can project an image.
- a structure such as a wall can be used as the projection object 104.
- the projection method of the projector 101 may be any method such as a short focus method.
- FIG. 2 is an example of a functional block diagram illustrating the overall configuration of the projector according to the first embodiment.
- the projector 101 includes a projection video input terminal 1, a projection unit 2, a three-dimensional shape detection unit 3, and a focus control unit 4.
- the projection video input terminal 1 is a terminal through which an image projected from the projector 101 onto the projection surface of the projection target 104 is input.
- the projection unit 2 projects the image input from the projection image input terminal 1 onto the projection object 104 (FIG. 4).
- the three-dimensional shape detection unit 3 detects the three-dimensional shape of the projection surface of the projection object 104.
- the three-dimensional shape of the projection surface is stored in the coordinates of one point of the projection object 104 on which the distance measurement converted into the coordinates of the projector coordinate system is performed, and in the distortion correction data storage unit 6.
- 3D is a three-dimensional shape of the projection surface of the projection object 104 detected from the obtained distortion correction data.
- the focus control unit 4 controls the focus position and focus blur correction of the projection unit 2 based on the three-dimensional shape of the projection surface of the projection target 104 detected by the three-dimensional shape detection unit 3.
- the projection unit 2 includes a projection video input terminal 1, a video processing unit 5, a distortion correction data storage unit 6, a distortion correction unit 7, a focus blur correction unit 8, and a projection lens unit unit 9. Yes.
- the projection unit 2 is realized by the projection unit 2, the information processing unit 30, and the storage unit 31 in FIG.
- the projection video input terminal 1 is a terminal through which an image projected from the projector 101 onto the projection surface of the projection target 104 is input.
- the video processing unit 5 performs resolution conversion to the resolution of the display device of the projector 101, image quality adjustment, and the like for the video input from the projection video input terminal 1.
- the distortion correction data storage unit 6 stores distortion correction data.
- the distortion correction unit 7 is visually recognized at the position of the user's viewpoint when the image processed by the image processing unit 5 is projected onto a flat projection object 104 that is not directly facing the projector 101 or a non-planar projection object 104.
- the distortion to be corrected is corrected according to the distortion correction data stored in the distortion correction data storage unit 6.
- the projector 101 projects an image output from the PC or the like to the projector 101 on a screen.
- the projector 101 is disposed obliquely with respect to the screen, and the optical axis of the projection lens mounted on the projector and the screen plane do not face each other, the projected image projected on the screen is viewed. It becomes a trapezoidally distorted shape.
- This projection image having a shape distorted into a trapezoid is referred to as a distorted image.
- the projected image becomes a distorted shape and needs to be similarly corrected.
- the projector 101, the projection target 104, and the viewpoint 108 are respectively placed at predetermined positions. For example, in an exhibition hall or a museum, the positions of the projector 101, the projection target 104, and the viewpoint 108 are determined to some extent.
- the image projected from the projector 101 onto the projection target 104 is projected onto the projection target 104 with distortion corrected in advance.
- the distortion correction data at this time is stored in advance in the distortion correction data storage unit 6.
- the defocusing correction unit 8 performs defocusing caused by the difference in the projection distance on the surface of the projection target 104 according to the defocusing parameter calculated by the focus control unit 4 with respect to the image corrected by the distortion correction unit 7. Is electrically corrected.
- the out-of-focus blur refers to the projection target 104 caused by a difference in the projection distance from the projection lens to the projection target 104 when the projection target surface 104 has a complicated shape or moves the projection target 104.
- the image displayed on the screen is blurred.
- the projection lens unit section 9 has a focus function that adjusts the focus of the image projected on the projection object 104, a zoom function that adjusts the size of the image projected on the projection object 104, and a projection onto the projection object 104.
- a lens shift function capable of adjusting the position of the image to be moved up, down, left and right, and projecting the image corrected by the defocus correction unit 8.
- the configuration of the three-dimensional shape detection unit 3 will be described.
- the three-dimensional shape detection unit 3 includes a distortion correction corresponding region extraction unit 10, a projector projection design data storage unit 11, a projection viewpoint image physical coordinate calculation unit 12, a region corresponding plane normal vector calculation unit 13, and a distance sensor.
- the unit 14 includes a distance sensor calibration data storage unit 15, a three-dimensional data projector coordinate conversion unit 16, a distance detection position plane specifying unit 17, and a plane four-corner point three-dimensional position calculation unit 18.
- the three-dimensional shape detection unit 3 is realized by the information processing unit 30, the storage unit 31, and the distance sensor 106 in FIG.
- an image projected from the projector 101 onto the projection surface of the projection object 104 is divided into a plurality of rectangular areas, and the projection area of the projection object 104 is determined as follows. , And a set of planes passing through the four corner points of the divided rectangular area. Then, the surface shape of the projection object 104 is defined as a planar assembly 122.
- the distortion correction corresponding area extraction unit 10 determines between the image before distortion correction and the image after distortion correction that the user viewed from a certain gaze direction 109. The correspondence between the quadrangular areas and the coordinates of the four corner points forming the quadrangular areas in the images before and after correction are extracted.
- the projector projection design data storage unit 11 stores design data related to the projection of the projector 101.
- the projection viewpoint image physical coordinate calculation unit 12 is based on the zoom position and lens shift position obtained from the projection lens unit unit 9 and the design data related to the projection of the projector 101 stored in the projector projection design data storage unit 11. Then, the following value is calculated.
- the first value is that each of the squares constituting the image after distortion correction extracted by the distortion correction corresponding region extraction unit 10 when the image after distortion correction is projected onto the projection target 104 as a projection image of the projector 101.
- the coordinates of the four corner points of the region are calculated as physical coordinates of a coordinate system (hereinafter also referred to as a projector coordinate system) whose origin is a projection center 102 described later.
- the second value is that when the user views the pre-distortion image from a certain viewpoint 108, the four corner points of each quadrangular area constituting the pre-distortion image extracted by the distortion correction corresponding region extraction unit 10 are extracted.
- the coordinates are calculated as temporary physical coordinates of a viewpoint coordinate system (hereinafter also simply referred to as a viewpoint coordinate system) having the viewpoint 108 as the origin.
- FIG. 6A schematically shows the relationship between the angle of view, the projection optical axis, and the projection center when launching is performed.
- FIG. 6B schematically shows the relationship between the angle of view, the projection optical axis, and the projection center when there is no launch.
- FIG. 6C schematically shows the relationship between the angle of view, the projection optical axis, and the projection center when the angle of view is enlarged.
- FIG. 6D schematically shows the relationship between the angle of view, the projection optical axis, and the projection center when the lens shift is performed upward.
- 6A is a perspective view
- FIGS. 6B, 6C, and 6D are AA cross-sectional views of FIG. 6A.
- the projection optical axis is an axis passing through the center of the image forming surface and perpendicular to the image forming surface.
- the origin of the projector coordinate system be the projection center 102.
- the projector coordinate system is also referred to as a projection coordinate system.
- the launch and lens shift will be briefly described.
- launching is performed to project an image above the projection optical axis so that the image is projected above the height of the table when placed on the table.
- the lens shift refers to projecting an image by moving it to the vertical and horizontal positions with respect to the projection optical axis, and the launch is a part of the lens shift.
- the projection center 102 has four points at the four corners of the projection area 103 and four points at the four corners of the image forming area of the display device 100 that forms an image based on the video signal from the projection lens unit 9. Are points where the corresponding points connect each other in a straight line.
- the projection area 103 is obtained by inverting the image of the image forming area of the display device 100 vertically and horizontally. Actually, since refraction is caused by the lens, lines connecting the four corners of the projection area 103 and the four corners of the image forming area of the display device 100 are not straight lines.
- the projection center 102 needs to be determined in consideration of the lens configuration of the projection lens.
- the four corner points of the image forming area of the display device 100 are A point, B point, C point, and D point, respectively, and the four corner points of the projection area 103 are respectively a point, b point, c point, and d point.
- Points a, b, c, and d correspond to points A, B, C, and D, respectively, and the arrangement of points a, b, c, and d is points A, B, and C.
- the positional relationship is reversed up, down, left and right with respect to the arrangement of point D.
- the projection center 102 emits from the point A and reaches the point a via the lens, emits from the point B and reaches the point b via the lens, and exits from the point C.
- the principal ray that reaches the point c via the lens and the principal ray that exits from the point D and reaches the point d via the lens are shown as crossing each other.
- the projection optical axis 105 passes through the center of the lower end of the projection area 103, and the projection center 102 is located above the projection optical axis 105. In this case, the projection center axis does not coincide with the projection optical axis 105.
- the projection optical axis 105 passes through the center of the projection area 103, and the projection center point 102 is located on the projection optical axis 105.
- the projection center axis coincides with the projection optical axis 105.
- FIG. 6C is an example in which the angle of view is enlarged as compared with the example of FIG. 6B. 6B, the projection optical axis 105 passes through the center of the projection area 103, and the projection center 102 is located on the projection optical axis 105. However, the projection center point 102 is closer to the display device 100 than in the example of FIG. 6B. Arranged on the side. Also in this case, the projection central axis coincides with the projection optical axis 105.
- FIG. 6D is an example in which the lens shift is performed so that the projection area 103 is shifted upward as compared to the example of FIG. 6B.
- the projection optical axis 105 passes through the center of the lower end of the projection area 103, and the projection center 102 is located above the projection optical axis 105. In this case, the projection center axis does not coincide with the projection optical axis 105.
- the angle varies depending on the angle of view, the projection center axis and the projection center point, the zoom position, and the lens shift position. In other words, the angle of view, the projection center axis, and the projection center need to be determined according to the zoom position and the lens shift position.
- the normal vector calculation unit 13 of the region corresponding plane includes the four corner points in the projector coordinate system as the projection image of the distortion-corrected image of each rectangular region calculated by the projection viewpoint image physical coordinate calculation unit 12. Based on the physical coordinates and the temporary physical coordinates of the four corner points in the viewpoint coordinate system as the viewpoint image of the image before distortion correction, it is assumed that each quadrangular area projected on the projection target 104 is a plane.
- the normal vector 123 (FIG. 8) for the plane is calculated.
- the distance sensor unit 14 measures the distance to one point (distance measurement point 107 (FIG. 4)) on the surface of the projection object 104.
- the distance sensor calibration data storage unit 15 stores the following values.
- the first value is obtained by performing calibration for measuring the positional relationship between the coordinate system of the distance sensor 106 (FIG. 3) and the coordinate system of the projector 101, and the calculated coordinate system of the distance sensor 106 is used as the coordinate of the projector. Stores the rotation amount and translation amount, which are parameters for conversion into a system.
- the second value is the zoom position and lens shift position when calibration is performed to measure the positional relationship between the coordinate system of the distance sensor 106 and the coordinate system of the projector 101, and the reference zoom position and the reference lens shift position. Store as.
- the three-dimensional data projector coordinate conversion unit 16 rotates the three-dimensional coordinates (0, 0, Z ′′) at the distance measurement point 107 detected by the distance sensor 106 and stored in the distance sensor calibration data storage unit 15. Amount, translation amount, reference zoom position, reference lens shift position, zoom position obtained from the projection lens unit unit 9, lens shift position, and design related to the projection of the projector 101 stored in the projector projection design data storage unit 11. The data is converted into a projector coordinate system having the projection center 102 as the origin.
- the distance detection position plane specifying unit 17 specifies a plane including the three-dimensional coordinates of the distance measurement point 107 converted into the projector coordinate system by the three-dimensional data projector coordinate conversion unit 16, and determines the three-dimensional coordinates of the four corner points on the plane.
- This calculation is performed by calculating the physical coordinates of the four corner points in the projector coordinate system as the projection image of the distortion-corrected image of each rectangular area calculated by the projection viewpoint image physical coordinate calculating section 12 and the normal vector calculating section 13 of the area corresponding plane. This is performed based on the normal vector of the plane with respect to each quadrangular area projected on the projection object 104 calculated in step (1).
- the plane four-corner point three-dimensional position calculation unit 18 includes a region corresponding to a plane including the three-dimensional coordinates of the distance measurement point 107 specified by the distance detection position plane specification unit 17, parameters of the equation of the plane, From the three-dimensional coordinates of the four corner points, the three-dimensional coordinates of the four corner points of the plane corresponding to the remaining area are calculated. This calculation is performed by calculating the physical coordinates of the four corner points in the projector coordinate system as the projected image of the distortion corrected image of each rectangular area calculated by the projection viewpoint image physical coordinate calculating section 12 and the normal vector calculating section of the area corresponding plane. This is performed on the basis of the normal vector 123 of the plane with respect to each quadrangular area projected on the projection object 104 calculated in step 13.
- the focus control unit 4 includes a focus position table storage unit 19, a focus blur parameter table storage unit 20, and a focus position / focus blur parameter calculation unit 21.
- the focus control unit 4 is realized by the information processing unit 30 and the storage unit 31 in FIG.
- the focus position table storage unit 19 stores a focus position in the projection lens unit 9 that is in focus with respect to the zoom position and the projection distance.
- the defocus parameter table storage unit 20 stores defocus parameters for the focus position and the projection distance.
- the focus position / focus blur parameter calculation unit 21 calculates the focus position and the focus blur parameter so that the focus on the projection target 104 is optimized. This calculation is based on the result of three-dimensional position detection by the three-dimensional shape detection unit 3, the focus position table stored in the focus position table storage unit 19 from the zoom position obtained from the projection lens unit 9, and the focus blur parameter table storage. This is performed with reference to the out-of-focus parameter table stored in the unit 20.
- the direction of the distance sensor 106 is set so that one point in the projection area 103 of the projector 101 on the surface of the projection target 104 can be measured without fail.
- the projection image is enlarged by the zoom function of the projector 101 or the position of the projection image is moved up, down, left, or right by the lens shift function, one point in the projection area 103 on the surface of the projection object 104 must be set. It can be measured. This point will be described with reference to FIG.
- FIG. 4 shows the relationship between the projection direction of the projector 101 equipped with the distance sensor 106, the projection target 104, and the viewpoint 108.
- the projector 101 projects a distortion-corrected image with respect to the projection object 104, and the projected image is viewed from the line-of-sight direction 109 at the viewpoint 108 without distortion. It is in the state.
- the three-dimensional coordinates (0, 0, Z ′′) of the distance measurement point 107 are calculated from the distance to the distance measurement point 107 which is one point on the projected image, and the projection target is calculated using the data for distortion correction.
- the three-dimensional shape of the object 104 is calculated.
- the focus position adjustment and the focus blur correction are performed so that the focus on the projection target 104 is optimized using the three-dimensional shape.
- distortion correction data is created in advance so that distortion is not visually recognized at the position of the viewpoint 108 (the line-of-sight direction 109).
- a method for creating distortion correction data for example, the following method can be cited.
- a first method there is a method in which a camera is installed at the position of the viewpoint 108, an image projected on the projection target 104 is captured, and distortion correction data is created from the degree of distortion.
- the user standing at the position of the viewpoint 108 adjusts so as to eliminate the distortion by using the user interface while viewing the distorted image projected on the projection object 104, and generates distortion correction data. There is a way.
- the projector 101 includes a projection unit 2, a three-dimensional shape detection unit 3, and a focus control unit 4.
- the projection unit 2 the resolution of the video input to the projection video input terminal 1 is converted into the resolution of the display device of the projector 101, and image quality adjustment is performed. Distortion correction is performed so that distortion is not generated in the image viewed at the position of the viewpoint when projected onto the projection target 104, and the focal blur caused by the difference in the projection distance on the surface of the projection target 104 is corrected. Project by adjusting focus, zoom, and lens shift with the projection lens.
- the three-dimensional shape detection unit 3 detects the three-dimensional shape of the projection target 104 using the distance sensor 106 while referring to the distortion correction data, the zoom position of the projection lens, and the lens shift position.
- the focus control unit 4 calculates parameters for correcting the focus position and the focus blur from the zoom position of the projection lens in the projection unit 2 and the three-dimensional shape of the projection object 104 detected by the three-dimensional shape detection unit 3. By setting in the unit 2, the defocusing of the image projected on the projection target 104 is reduced.
- the operation of the projector 101 of this embodiment will be described in detail with reference to FIG. First, the operation of the projection unit 2 will be described.
- the image processing unit 5 converts the image into the resolution of the display device of the projector 101, and performs image quality adjustment and the like.
- the distortion correction unit 7 an image is projected onto a projection object 104 that is not in front of the projector 101 or a projection object 104 that is not flat according to the distortion correction data stored in the distortion correction data storage unit 6 in advance. At this time, distortion correction is performed so that distortion does not occur in the image viewed from the line-of-sight direction 109 at the position of the viewpoint 108 in FIG.
- focus blur correction unit 8 focus blur caused by a difference in projection distance on the surface of the projection target 104 is corrected.
- the projection lens unit unit 9 focus adjustment for adjusting the focus of the image projected on the projection target 104, zoom adjustment for adjusting the size of the image projected on the projection target 104, and projection on the projection target 104.
- Lens shift adjustment is performed to adjust the position of the image to be moved up, down, left, and right, and the image is projected onto the projection object 104.
- a parameter for focus blur correction in the focus blur correction unit 8 and a focus adjustment position for focus adjustment of a projection image in the projection lens unit unit 9 are set by a focus control unit 4 described later.
- FIG. 5 shows an image projected from the projector 101 with distortion correction and projected onto a non-planar projection object 104.
- the image is an image without distortion from the line-of-sight direction 109 at the position of the viewpoint 108 in FIG.
- a state in which the user is viewing and a state in which the distance to one point (distance measurement point 107) on the projection target 104 is measured using the distance sensor 106 are shown.
- An image projected from the projector 101 is divided into a plurality of quadrangular areas, and the projection object 104 is set as a set of planes passing through the four corner points of each projected quadrangular area, and the surface shape thereof is a set of planes 122.
- the other is the coordinates of the four corner points in the viewpoint image system of the quadrilateral area constituting the pre-distortion image 120 as the viewpoint image that is the image without distortion viewed from the line-of-sight direction 109 at the corresponding viewpoint 108 position. It is. By the correspondence between the two, the normal vector of each plane in the projection object 104 with respect to this quadrangular region can be obtained.
- the three-dimensional coordinates (0, 0, Z ′′) of the distance measurement point 107 on the projection target 104 by the distance sensor 106 change from the distance sensor coordinate system with the origin of the distance measurement start point of the distance sensor 106 to the projector coordinate system.
- a plane including the distance measurement point 107 is known. From the condition of a plane having a normal vector of this plane and passing through the distance measurement point 107, the parameters of the equation of the plane are known. Then, the three-dimensional coordinates of the four corner points of the quadrangular area on which the image is projected on the plane are known.
- the parameters of the equation of that plane can be known. That is, since the three-dimensional coordinates of the four corner points of the quadrangular area on which the image is projected on the plane are known, the four corner points of the quadrangular areas projected onto the respective planes one after another in the same manner, such as these adjacent planes. The three-dimensional coordinates of will be understood. As a result, since the three-dimensional coordinates on the projection target object 104 at the four corner points of each rectangular area are known, the three-dimensional shape of the projection target object 104 is known.
- the distortion correction corresponding area extraction unit 10 corresponds to the rectangular areas of the distortion-precorrected image 120 and the distortion-corrected image 118 as viewpoint images as shown in FIG. 5 from the distortion correction data stored in the distortion correction data storage unit 6. And the coordinates of the four corner points in the image before and after the correction are extracted. Specifically, as shown in FIG. 7, in the pre-distortion image 120 as the viewpoint image, the image is divided into quadrangular areas, and the four corners of the post-distortion-corrected image 118 with respect to the coordinates of the four corner points of each divided quadrangular area.
- the coordinates of the points are calculated using the distortion correction data stored in the distortion correction data storage unit 6. As a result, the correspondence between the coordinates of each rectangular area and the four corner points between the image 118 after distortion correction and the image 120 before distortion correction as the viewpoint image is extracted.
- the data stored in the distortion correction data storage unit 6 may be, for example, a correspondence table of points between the image before distortion correction and the image after distortion correction, or from the image before distortion correction to the image after distortion correction. It may be a parameter of a conversion formula. That is, the coordinates of the four corner points corresponding to both of the above-described data can be obtained as long as the data is used to create the image after distortion correction from the image before distortion correction regardless of the format.
- the provisional physical coordinates 121 before distortion correction are calculated by setting a provisional scale.
- the zoom position and lens shift position obtained from the projection lens unit 9 and the angle of view of the projector stored in the projector projection design data storage unit 11, zoom characteristics, lens shift characteristics, etc. Design data related to projection is used.
- the normal vector vector calculation unit 13 of the area corresponding plane calculates the normal vector 123 when each square area projected on the projection target 104 is a plane. This calculation is calculated based on the following two coordinates.
- One is the physical properties of the four corner points on the physical coordinates 119 of the image after distortion correction in the projector coordinate system as the projection image of each square area on the image 118 after distortion correction calculated by the projection viewpoint image physical coordinate calculation unit 12.
- the other is provisional physics at the four corner points on the provisional physical coordinates 121 before distortion correction in the viewpoint coordinate system in the viewpoint coordinate system as the viewpoint image of each rectangular area corresponding to the image 120 before distortion correction as the viewpoint image. Coordinates.
- the homogeneous coordinates x p (x p , y p , 1) T of the physical coordinates 119 of the image after distortion correction in the projector coordinate system (X, Y, Z) and the viewpoint coordinate system (X ′, Y ′).
- the normal vector 123 (p, q, ⁇ 1) can be obtained by solving the equations (1) and (2).
- the distance sensor 106 measures the distance to one point (distance measurement point 107) of the projection object 104, detects its three-dimensional coordinates (0, 0, Z ′′), and detects the three-dimensional distance measurement point 107. Position. At this time, as described above, the distance measurement point 107 on the surface of the projection object 104 is always located within the projection area 103.
- the method for measuring the distance using the distance sensor 106 is not particularly limited. As a method of measuring the distance using the distance sensor 106, (A) the TOF method in which the projected light is reflected by the object and the distance is measured from the time it takes to return, and (B) the projected light is reflected by the object.
- the three-dimensional data projector coordinate conversion unit 16 uses the three-dimensional coordinates (0, 0, Z ′′) of the distance measurement point 107 measured in the distance sensor coordinate system with the distance measurement start point of the distance sensor 106 as the origin. Then, it is converted into a projector coordinate system with the projection center 102 as the origin. In this conversion, the following three are used.
- the second is a reference zoom position and a reference lens shift position when this calibration is performed.
- the third is a zoom position and a lens shift position obtained from the projection lens unit unit 9.
- the distance sensor 106 is provided at a position different from the projection center 102 of the projector 101, the distance measurement origin (distance measurement start point) does not coincide with the projection center 102, and the direction thereof is also the projection direction of the projector 101. Does not match. Therefore, the three-dimensional coordinates (0, 0, Z ′′) of the distance measurement point 107 measured by the distance sensor 106 are different from the projector coordinate system. For this reason, it is necessary to convert the three-dimensional coordinates (0, 0, Z ′′) of the projection target 104 at the distance measurement point 107 measured by the distance sensor 106 into the projector coordinate system.
- This conversion can be defined by a rotation amount with respect to the three coordinate axes and a translation amount representing movement with respect to the three coordinate axes. Obtaining this rotation amount and translation amount is called calibration.
- the position of the projection center 102 which is the origin of the projector coordinate system (X, Y, Z) is not always the same, and moves by zooming or lens shifting.
- the distance sensor calibration data storage unit 15 stores the zoom position and lens shift position when calibration is performed together with the rotation amount and the translation amount as a reference zoom position and a reference lens shift position, respectively. Yes.
- the three-dimensional position data projector coordinate conversion unit 16 performs the following processes (a) to (e).
- (C) A translation amount for conversion from the coordinates of the reference projection center point obtained in (a) to the coordinates of the current projection center point obtained in (b) is obtained.
- the three-dimensional coordinates (0, 0, Z ′′) of the distance measurement point 107 measured by the distance sensor 106 are coordinate-converted based on the rotation amount and the translation amount stored in the distance sensor calibration data storage unit 15. .
- the coordinates are moved by the amount of translation from the coordinates of the reference projection center point to the coordinates of the current projection center point.
- the three-dimensional coordinates (0, 0, Z ′′) in the distance sensor coordinate system (X ′′, Y ′′, Z ′′) from the distance sensor 106 are converted into the current projection center 102. Is converted into a projector coordinate system (X, Y, Z) with the origin as.
- the physical coordinates of the four corner points on the physical coordinates 119 of the image after distortion correction in the projector coordinate system as the projection image of each square area on the image 118 after distortion correction, and the quadrangle of each square projected on the projection object 104 were obtained. From here, the equation of the plane for each quadrangular region is calculated, and the three-dimensional coordinates of the four corner points in each plane are determined.
- the distance detection position plane specifying unit 17 specifies a plane including the three-dimensional coordinates of the distance measurement point 107 converted into the projector coordinate system by the three-dimensional position data projector coordinate conversion unit 16. This is calculated by the physical coordinates of the four corner points on the physical coordinates 119 of the image after distortion correction in the projector coordinate system calculated by the projection viewpoint image physical coordinate calculation unit 12 and the normal vector calculation unit 13 of the area corresponding plane. Based on the normal vector 123 of the plane for each square area. The distance detection position plane specifying unit 17 acquires the parameters of the specified plane equation and the three-dimensional coordinates of the four corner points.
- the corresponding plane has its respective normal vector 123 and parameters of the equation of the plane passing through the three-dimensional coordinates of the distance measurement point 107 detected by the distance sensor unit 14.
- the three-dimensional coordinates of the four corner points in the projector coordinate system projected on the plane are determined by using the plane, the physical coordinates of the four corner points on the physical coordinates 119 of the image after distortion correction, and the origin (projection center 102) of the projector coordinate system. It is obtained as an intersection with a straight line connecting.
- the only plane in which the three-dimensional coordinates of the distance measurement point 107 detected by the distance sensor unit 14 in the plane are inside the four corner points is specified as the distance detection position plane.
- the plane four-corner point three-dimensional position calculation unit 18 uses the three-dimensional coordinates of the four corner points in the distance detection position plane specified by the distance detection position plane specification unit 17 to determine the plane corresponding to the remaining quadrangular region.
- the three-dimensional positions of the four corner points are calculated. This calculation is performed by calculating the physical coordinates of the four corner points on the physical coordinates 119 of the image after distortion correction calculated by the projection viewpoint image physical coordinate calculating unit 12 and each rectangular area calculated by the normal vector calculating unit 13 of the area corresponding plane. And the normal vector 123 of the plane with respect to.
- the parameters of the equation of the adjacent plane are calculated using the normal vector 123 from the four corner points on the plane specified by the distance detection position plane specifying unit 17.
- the three-dimensional coordinates of the four corner points in the projector coordinate system of the corresponding area projected onto the plane are represented by the plane, the physical coordinates of the four corner points on the physical coordinates 119 of the image after distortion correction, and the origin of the projector coordinate system. It is obtained as an intersection with a straight line connecting (projection center 102). If the parameters of the adjacent planes and the three-dimensional coordinates of the four corner points are obtained, the three-dimensional coordinates of the four corner points on the plane with respect to each quadrangular region are successively obtained.
- the focus control unit 4 includes a focus position table storage unit 19, a focus blur parameter table storage unit 20, and a focus position / focus blur parameter calculation unit 21.
- the focus control unit 4 is realized by the information processing unit 30 and the storage unit 31 in FIG.
- the focus position / focus blur parameter calculation unit 21 uses the focus position stored in the focus blur parameter table storage unit 20 and the table of the focus blur parameter for the projection distance to blur at the four corner points on the plane corresponding to each rectangular area. Find the projection distance that minimizes the condition. At this time, the Z coordinate of the three-dimensional coordinates of the four corner points of the plane on the projection target 104 corresponding to each quadrangular area calculated by the plane four corner point three-dimensional position calculation unit 18 is set as the projection distance. In the focus position / focus blur parameter calculation unit 21, the zoom position obtained from the projection lens unit 9, the zoom position stored in the focus position table storage unit 19, and the focus position where the projection distance is in focus.
- the focus position with respect to the projection distance is acquired from the table, and the focus of the projection lens unit 9 is adjusted to that position. Furthermore, the focus position / focus blur parameter calculation unit 21 uses the focus position stored in the focus blur parameter table storage unit 20 and a table of focus blur parameters for the projection distance based on the projection distance, and each rectangular area. The focal blur parameter for the four corner points in the plane corresponding to is acquired. Then, the focal blur parameter for each point in the four corner points is obtained by interpolation, and output to the focal blur correction unit 8 to correct the focal blur.
- the defocus is expressed by, for example, the point spread function of the following formula (3), and ⁇ is the only parameter.
- the focus blur parameter table storage unit 20 stores ⁇ with respect to the focus position and the projection distance.
- out-of-focus blur is not always expressed by the formula (3), and actually, the formula and the number of parameters thereof may differ depending on the projector 101.
- FIG. 10 is a flowchart showing the operation of the projection display apparatus according to the first embodiment.
- the distortion correction unit 7 performs distortion correction so that distortion does not occur when the image projected on the projection target 104 is viewed from the line-of-sight direction 109 at the viewpoint position of the viewpoint 108.
- the distortion correction data stored in the data storage unit 6 it is assumed that processing for correcting the pre-distortion image 120 viewed from the line-of-sight direction 109 into the post-distortion correction image 118 is performed.
- the projection area of the projection object 104 of the projection image is composed of a set of quadrangular areas divided into a plurality of quadrangles.
- the distortion correction corresponding area extraction unit 10 uses the distortion correction data stored in the distortion correction data storage unit 6 to calculate the rectangular areas of the pre-distortion image 120 and the post-distortion correction image 118 as viewpoint images. The correspondence and the coordinates of the four corner points in the images before and after the correction are extracted.
- the projection viewpoint image physical coordinate calculation unit 12 calculates the physical coordinates 119 of the image 118 after distortion correction in the projector coordinate system from the coordinates of the four corner points of each rectangular area on the image 118 after distortion correction.
- temporary physical coordinates 121 before distortion correction in the viewpoint coordinate system are calculated from the coordinates of the four corner points of each rectangular area on the image 120 before distortion correction as the viewpoint image.
- the normal vector calculation unit 13 of the area corresponding plane calculates the normal vector 123 when each rectangular area projected on the projection target 104 is a plane.
- step S904 the distance sensor 106 measures the distance to one point (distance measurement point 107) of the projection object 104, detects its three-dimensional coordinates (0, 0, Z ′′), and measures the distance measurement point. 107 is a three-dimensional position.
- the three-dimensional coordinates (0, 0, Z ′′ of the distance measurement point 107 measured by the three-dimensional projector coordinate conversion unit 16 in the distance sensor coordinate system with the distance measurement start point of the distance sensor 106 as the origin. ) Is converted into a projector coordinate system with the projection center 102 as the origin.
- the distance detection position plane specifying unit 17 uses the physical coordinates of the four corner points on the physical coordinates 119 of the image after distortion correction in the projector coordinate system, and the normal vector 123 of the plane for each rectangular area. Then, a plane including the three-dimensional coordinates of the distance measuring point 107 converted into the projector coordinate system is specified.
- FIG. 11 is an example of a block diagram illustrating a schematic configuration of a projector according to the second embodiment.
- the projector according to the second embodiment basically has the configuration shown in FIG. 1, but as shown in FIG. 11, a camera 33 and an electronic pen 34 are provided in addition to the configuration shown in FIG. This is different from the first embodiment. This difference will be described below.
- the tip of the electronic pen 34 is provided with a switch and a light emitting unit that emits infrared light when the switch is pressed.
- the switch is pressed and infrared light is output from the light emitting unit.
- the camera 33 captures infrared rays emitted from the tip of the electronic pen 34.
- the projector 101 converts the coordinate system of the imaging screen of the camera 33 into the coordinate system of the projection screen of the projection unit 2.
- the projector according to the second embodiment basically has the configuration shown in FIG. 2, but as shown in FIG. 12, an electronic pen position detection unit 22 is provided instead of the focus control unit 4.
- the projector projection design data storage unit 11 is independent from the three-dimensional shape detection unit 3, and the distortion correction data storage unit 6 is connected to the on-image coordinate calculation unit 27 of the electronic pen.
- the electronic pen position detection unit 22 infrared rays emitted from the pen tip of the electronic pen 34 on the surface of the projection target 104 are imaged by the infrared camera unit 23, and a three-dimensional position on the surface of the projection target 104 is calculated. Then, the coordinates of the pen tip of the electronic pen 34 on the display image displayed on the projection object 104 are calculated.
- the three-dimensional shape detection unit 3 detects the three-dimensional position of the projection object 104.
- the infrared camera unit 23 captures infrared light emitted from the pen tip of the electronic pen on the surface of the projection object 104, and projects from the imaging position in the captured image with the origin in the infrared camera coordinate system as the starting point.
- a direction vector to the electronic pen facing the direction of the pen tip of the electronic pen on the surface of the object 104 is calculated.
- the electronic pen direction projector coordinate conversion unit 25 converts the direction vector to the electronic pen calculated by the infrared camera unit 23 into a projector coordinate system with the projection center point as the origin.
- the following four are used.
- calibration is performed to measure the positional relationship between the infrared camera coordinate system and the projector coordinate system, which is stored in advance in the infrared camera calibration data storage unit 24, and the infrared camera coordinate system is used as the projector coordinate system.
- the second is a reference zoom position and a reference lens shift position when calibration is performed.
- the third is the zoom position and lens shift position obtained from the projection lens unit 9.
- the fourth is design data related to the projection of the projector stored in the projector projection design data storage unit 11.
- the content of the specific process is the same as the process performed in the three-dimensional data projector coordinate transformation part 16 in 1st Embodiment, detailed description is abbreviate
- the electronic pen three-dimensional position calculation unit 26 a direction vector to the electronic pen obtained from the electronic pen direction projector coordinate conversion unit 25 and a surface represented by the three-dimensional position data obtained from the three-dimensional shape detection unit 3 And the three-dimensional position of the pen tip of the electronic pen is calculated.
- the on-image coordinate calculation unit 27 of the electronic pen calculates the physical coordinates in the video input from the projected video input terminal 1 of the pen tip of the electronic pen in the projector coordinate system (the physical coordinates 119 of the image after distortion correction in FIG. 5). Corresponding.) Further, the on-image coordinate calculation unit 27 of the electronic pen calculates the coordinates in the image after distortion correction (corresponding to the image 118 after distortion correction in FIG. 5), and inputs the projection image with reference to the distortion correction data storage unit 6.
- the coordinates in the video input from the terminal 1 are calculated and output from the electronic pen position output terminal 28. These calculations are performed in the zoom position and lens shift position obtained from the projection lens unit 9, the design data relating to the projection of the projector stored in the projector projection design data storage unit 11, and the distortion correction data storage unit 6. This is done using stored distortion correction data.
- the coordinates of the pen tip of the electronic pen in the image input from the projection image input 1 output from the electronic pen position output terminal 28 are input to an information processing apparatus such as a PC that outputs the projection image.
- an information processing apparatus such as a PC that outputs the projection image.
- FIG. 13 is an example of a block diagram illustrating a schematic configuration of a projector according to the third embodiment.
- the projector 101 includes a projection unit 2, a storage unit 31, a distance detection unit 53, a coordinate detection unit 51, and a three-dimensional shape calculation unit 54.
- the projection unit 2 projects the projection light onto the projection surface of the projection object 104.
- the storage unit 31 stores distortion correction data for correcting light projected by the projection unit 2.
- the distance detection unit 53 detects the distance to one point on the projection surface.
- the coordinate detector 51 detects the coordinates of one point in the coordinate system of the projection light.
- the three-dimensional shape calculation unit 54 calculates the three-dimensional shape of the projection surface from the coordinates of one point in the coordinate system of the projection light obtained by the coordinate detection unit 51 and the distortion correction data stored in the storage unit 31.
- the storage unit 31 is realized by the distortion correction data storage unit 6, the projector projection design data storage unit 11, and the distance sensor calibration data storage unit 15 in the first and second embodiments.
- the distance detection unit 53 is realized by the distance sensor unit 14.
- the coordinate detection unit 51 is realized by the three-dimensional data projector coordinate conversion unit 16.
- the three-dimensional shape calculation unit 54 includes a distortion correction corresponding region extraction unit 10, a projected viewpoint image physical coordinate calculation unit 12, a region-corresponding plane normal vector calculation unit 13, a distance detection position plane specifying unit 17, and plane four corner points 3. This is realized by the dimension position calculation unit 18.
- [Appendix 1] Projection means for projecting projection light onto the projection surface; Storage means for storing distortion correction data for correcting light projected by the projection means; Distance detecting means for detecting a distance to one point on the projection surface; Coordinate detection means for detecting the coordinates of the one point in the coordinate system of the projection light; Three-dimensional shape calculation means for calculating the three-dimensional shape of the projection plane from the coordinates of the one point in the coordinate system of the projection light obtained by the coordinate detection means and distortion correction data stored in the storage means;
- a projection display device comprising: [Appendix 2] The coordinate conversion means detects the coordinates of the one point in the coordinate system of the projection light from the coordinates obtained from the distance to one point on the projection plane in the coordinate system with the distance measurement start point of the distance detection means as the origin.
- the projection display device according to appendix 1.
- the projection area on the projection plane is divided into a plurality of quadrangles,
- the three-dimensional shape calculating means includes Among the plurality of quadrangles constituting the projection area, correspondence between the quadrangular areas in the projection area between the pre-distortion image and the post-distortion image based on the distortion correction data, and the pre-distortion image and the post-distortion image
- the projection type display device according to appendix 1 or 2, further comprising distortion correction corresponding region extraction means for extracting coordinates of four corner points forming the rectangular region between the two.
- the three-dimensional shape calculating means includes When the image after distortion correction is projected onto the projection plane, the coordinates of the four corner points of the quadrangular area constituting the projection area on which the image after distortion correction extracted by the distortion correction corresponding area extraction unit is projected, Calculated as coordinates in the coordinate system with the projection center of the projection means as the origin, and when the image before distortion correction is viewed from a certain viewpoint, the image before distortion correction extracted by the distortion correction corresponding area extraction means is projected.
- the projection display device according to appendix 3, further comprising: projection viewpoint image physical coordinate calculation means for calculating the coordinates of the four corner points of the rectangular area constituting the projection area as coordinates of a coordinate system having the viewpoint as the origin.
- the three-dimensional shape calculating means includes Based on the coordinates of the coordinate system with the projection center of the projection means as the origin and the coordinates of the coordinate system with the viewpoint as the origin, the rectangular area projected on the projection surface is assumed to be a plane,
- the projection display device according to appendix 4, further comprising: a normal vector calculation unit for a region-corresponding plane that calculates a normal vector for the plane.
- the three-dimensional shape calculating means includes Based on the coordinates of the coordinate system with the projection center of the projection means as the origin and the normal vector with respect to the plane when the rectangular area projected on the projection plane is a plane, the coordinate detection means
- the three-dimensional shape calculating means includes Based on the coordinates of the coordinate system with the projection center of the projection means as the origin, the area corresponding to the plane including the coordinates of the one point based on the normal vector, the parameters of the equation of the plane, and the four corners on the plane Plane four-corner point three-dimensional position calculating means for calculating three-dimensional coordinates of the four corner points of the plane corresponding to the remaining area among the plurality of rectangular areas configured in the projection area from the three-dimensional coordinates of the points;
- the projection display device according to appendix 6.
- the focus control means for controlling the focus correction of the projection light projected on the projection plane based on the three-dimensional shape of the projection plane calculated by the plane four-corner point three-dimensional position coordinate calculation means.
- Projection display device [Appendix 9] Infrared light emitted when the pen tip of the electronic pen is touched on the projection surface is imaged, and the electron from the origin in the coordinate system of the imaged area is determined based on the position of the electronic pen in the imaged area.
- An infrared imaging means for calculating a direction vector of the pen toward the pen tip
- Electronic pen direction projector coordinate conversion means for converting the direction vector into a coordinate system having the projection center of the projection means as an origin; Based on the direction vector converted into the coordinate system having the projection center of the projection means as the origin, and the three-dimensional coordinates of the four corner points of the plane corresponding to the remaining area calculated by the planar four-corner point three-dimensional position calculation means.
- Electronic pen position calculating means for calculating the position of the pen tip of the electronic pen;
- the electronic pen image on-image coordinate calculating means for calculating the coordinates in the pre-distortion image from the coordinates in the post-image and the distortion correction data stored in the storage means, and outputting the electronic pen position.
- Projection means for projecting projection light onto a projection surface storage means for storing distortion correction data for correcting projection light by the projection means, distance detection means for detecting a distance to one point on the projection surface, and the projection
- a method of controlling a projection display device comprising: coordinate detection means for detecting the coordinates of the one point in a light coordinate system;
- a projection type display comprising a step of calculating a three-dimensional shape of the projection plane from the coordinates of the one point in the coordinate system of the projection light obtained by the coordinate detection means and the distortion correction data stored in the storage means; Device control method.
- Projection means for projecting projection light onto a projection surface, storage means for storing distortion correction data for correcting projection light by the projection means, distance detection means for detecting a distance to one point on the projection surface, and the projection
- a coordinate detection means for detecting the coordinates of the one point in the coordinate system of light
- a computer of a projection display device comprising: A program for executing a process of calculating the three-dimensional shape of the projection plane from the coordinates of the one point in the coordinate system of the projection light obtained by the coordinate detection means and the distortion correction data stored in the storage means .
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
プロジェクタの小型軽量化と低コスト化を図る。投写光を投写面に投写する投写部(2)と、投写部(2)による投写光を補正する歪み補正データを格納する記憶部(31)と、投写面上の一点までの距離を検出する距離検出部(53)と、投写光の座標系における一点の座標を検出する座標検出部(51)と、座標検出部(51)にて求められた投写光の座標系における一点の座標と、記憶部(31)に格納された歪み補正データから投写面の3次元形状を算出する3次元形状算出部(54)と、を備える。
Description
本発明は、投写型表示装置、投写型表示装置の制御方法、及びプログラムに関する。
投写型表示装置(以下、プロジェクタともいう。)では、パーソナルコンピュータ(以下、PCともいう。)などからプロジェクタへ出力された画像をスクリーンなどに投写する。このとき、プロジェクタと正対していないスクリーンや平面でない投写対象物(以下、これらをまとめて投写対象物という。)に対して画像を投写した場合、プロジェクタの投写レンズと投写対象物の各領域との間の投写距離の差によって生じる焦点ボケを電気的に解消するため、例えば、投写対象物の3次元形状を取得する技術が知られている。
プロジェクタには、投写対象物上で電子ペンを使用する形態のものがある。このようなプロジェクタでは、投写対象物上で使用される電子ペンのタッチ開始情報及び終了情報、投写対象物上での電子ペンの座標情報を取得するため、電子ペンの先端部から発せられる赤外線をカメラで撮影するが、平面でない投写対象物上における電子ペンの位置を取得する際には、投写対象物の3次元形状を取得する技術が用いられている。
投写対象物の3次元形状を取得する方法として次のような方法が存在する。例えば、投写レンズから投写した光が投写対象物で反射し、再び投写レンズに戻ってくるまでの時間から距離を計測することにより、3次元計測を行うTOF(Time of Flight)方式がある。また、異なる位置に配した2つのカメラで同時に投写対象物を撮影し、各カメラで得られる投写対象物の撮像画像上での位置の違いにより、三角測量の原理を用いて3次元計測を行うパッシブ三角測量方式(ステレオカメラ方式ともいう。)がある。これらの3次元形状を取得する方法は、対象となる多地点の座標を取得することを意味する。
特許文献1には、投写対象物までの距離を取得し、投写対象物の外形を検出した後、平均距離にフォーカスを合わせる技術が記載されている。
特許文献2には、投写対象物までの距離情報が入力された後、投写対象物の曲線歪みに対応して補正した画像情報を出力する技術が記載されている。
特許文献2には、投写対象物までの距離情報が入力された後、投写対象物の曲線歪みに対応して補正した画像情報を出力する技術が記載されている。
しかしながら、TOF方式やパッシブ三角測量方式(ステレオカメラ方式)など、対象となる多地点の座標を取得する方法を採用すると、プロジェクタのコストが上昇するという問題に加え、プロジェクタの小型軽量化を図ることができなくなるという問題がある。
特許文献1では、撮像画像中のある同一の対象点の3次元位置を検出するために三角測量の原理を用いているため、プロジェクタのコストが上昇するという問題に加え、プロジェクタの小型軽量化を図るという問題は解決されない。
特許文献2では、対象物までの距離情報を取得するためにTOF方式の一例である光パルス飛行法の原理を用いているため、プロジェクタのコストが上昇するという問題に加え、プロジェクタの小型軽量化を図るという問題は解決されない。
特許文献2では、対象物までの距離情報を取得するためにTOF方式の一例である光パルス飛行法の原理を用いているため、プロジェクタのコストが上昇するという問題に加え、プロジェクタの小型軽量化を図るという問題は解決されない。
本発明の目的は、上記課題を解決可能な投写型表示装置、投写型表示装置の制御方法、及びプログラムを提供することである。
本発明の投写型表示装置は、投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する3次元形状算出手段と、を備える。
また、本発明の投写型表示装置の制御方法は、投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する工程を備える。
さらに、本発明の投写型表示装置に実行させるためのプログラムは、投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する処理を実行させる。
本発明によれば、プロジェクタの小型軽量化を図ることができることに加え、プロジェクタの低コスト化を図ることができる。
以下、本発明の実施形態について図面を参照して説明する。
(第1実施形態)
初めに、本発明の第1実施形態によるプロジェクタの概略構成を説明する。
図1は、第1実施形態によるプロジェクタの概略構成を示すブロック図の一例である。図1に示すように、本実施形態によるプロジェクタ101は、投写部2と、投写映像入力端子1と、記憶部31と、操作部32と、情報処理部30と、距離センサ106とを含む。
(第1実施形態)
初めに、本発明の第1実施形態によるプロジェクタの概略構成を説明する。
図1は、第1実施形態によるプロジェクタの概略構成を示すブロック図の一例である。図1に示すように、本実施形態によるプロジェクタ101は、投写部2と、投写映像入力端子1と、記憶部31と、操作部32と、情報処理部30と、距離センサ106とを含む。
投写部2は、投写映像入力端子1から入力された画像を、スクリーンを一例とする投写対象物104に投写する機能を有する。
記憶部31は、プロジェクタ101の動作全体を制御するためのプログラムを格納している。また、記憶部31は、投写部2の投写位置や光源の出力、投写映像入力端子1に入力された画像を一時的に記憶する機能などを有する。
操作部32は、スイッチやボタンなどで構成され、プロジェクタ101に所定の動作を行わせるためにユーザが操作するものである。
情報処理部30は、記憶部31に格納されているプログラムをロードし、プロジェクタ101の動作全体を制御する。
距離センサ106は、後述するように、プロジェクタ101から投写対象物104上の一点(距離計測点107(図4))までの距離を計測する。
投写対象物104は画像を投写することができるものであれば、どのような構造のものであってもよい。例えば、投写対象物104として、壁などの構造体を用いることができる。
なお、本実施形態では、プロジェクタ101の投写方式は、例えば、短焦点方式など、どのような方式のものであってもよい。
記憶部31は、プロジェクタ101の動作全体を制御するためのプログラムを格納している。また、記憶部31は、投写部2の投写位置や光源の出力、投写映像入力端子1に入力された画像を一時的に記憶する機能などを有する。
操作部32は、スイッチやボタンなどで構成され、プロジェクタ101に所定の動作を行わせるためにユーザが操作するものである。
情報処理部30は、記憶部31に格納されているプログラムをロードし、プロジェクタ101の動作全体を制御する。
距離センサ106は、後述するように、プロジェクタ101から投写対象物104上の一点(距離計測点107(図4))までの距離を計測する。
投写対象物104は画像を投写することができるものであれば、どのような構造のものであってもよい。例えば、投写対象物104として、壁などの構造体を用いることができる。
なお、本実施形態では、プロジェクタ101の投写方式は、例えば、短焦点方式など、どのような方式のものであってもよい。
次に、第1実施形態によるプロジェクタの全体構成を説明する。
図2は、第1実施形態のプロジェクタの全体構成を示す機能ブロック図の一例である。
図2を参照すると、プロジェクタ101は、投写映像入力端子1と、投写部2と、3次元形状検出部3と、フォーカス制御部4と、から構成される。
投写映像入力端子1は、プロジェクタ101から投写対象物104の投写面に投写される映像が入力される端子である。
投写部2は、投写映像入力端子1から入力された映像を投写対象物104(図4)に投写するものである。3次元形状検出部3は、投写対象物104の投写面の3次元形状を検出するものである。ここで、投写面の3次元形状とは、後述するように、プロジェクタ座標系の座標に変換された距離計測が行われた投写対象物104の一点の座標と、歪み補正データ格納部6に格納された歪み補正データから検出される投写対象物104の投写面の3次元形状である。
フォーカス制御部4は、3次元形状検出部3で検出された投写対象物104の投写面の3次元形状に基づいて、投写部2のフォーカス位置と焦点ボケ補正とを制御するものである。
図2は、第1実施形態のプロジェクタの全体構成を示す機能ブロック図の一例である。
図2を参照すると、プロジェクタ101は、投写映像入力端子1と、投写部2と、3次元形状検出部3と、フォーカス制御部4と、から構成される。
投写映像入力端子1は、プロジェクタ101から投写対象物104の投写面に投写される映像が入力される端子である。
投写部2は、投写映像入力端子1から入力された映像を投写対象物104(図4)に投写するものである。3次元形状検出部3は、投写対象物104の投写面の3次元形状を検出するものである。ここで、投写面の3次元形状とは、後述するように、プロジェクタ座標系の座標に変換された距離計測が行われた投写対象物104の一点の座標と、歪み補正データ格納部6に格納された歪み補正データから検出される投写対象物104の投写面の3次元形状である。
フォーカス制御部4は、3次元形状検出部3で検出された投写対象物104の投写面の3次元形状に基づいて、投写部2のフォーカス位置と焦点ボケ補正とを制御するものである。
投写部2の構成について説明する。投写部2は、投写映像入力端子1と、映像処理部5と、歪み補正データ格納部6と、歪み補正部7と、焦点ボケ補正部8と、投写レンズユニット部9と、から構成されている。
なお、投写部2は、図1の投写部2と、情報処理部30と、記憶部31とによって実現される。
投写映像入力端子1は、プロジェクタ101から投写対象物104の投写面に投写される映像が入力される端子である。映像処理部5は、投写映像入力端子1から入力された映像に対して、プロジェクタ101の表示デバイスの解像度への解像度変換、画質調整などを行う。
歪み補正データ格納部6は、歪み補正データを格納するものである。歪み補正部7は、映像処理部5で処理された映像が、プロジェクタ101と正対していない平面の投写対象物104や平面でない投写対象物104に投写されたとき、ユーザの視点の位置で視認される歪みを、歪み補正データ格納部6に格納されている歪み補正データにしたがって補正する。
なお、投写部2は、図1の投写部2と、情報処理部30と、記憶部31とによって実現される。
投写映像入力端子1は、プロジェクタ101から投写対象物104の投写面に投写される映像が入力される端子である。映像処理部5は、投写映像入力端子1から入力された映像に対して、プロジェクタ101の表示デバイスの解像度への解像度変換、画質調整などを行う。
歪み補正データ格納部6は、歪み補正データを格納するものである。歪み補正部7は、映像処理部5で処理された映像が、プロジェクタ101と正対していない平面の投写対象物104や平面でない投写対象物104に投写されたとき、ユーザの視点の位置で視認される歪みを、歪み補正データ格納部6に格納されている歪み補正データにしたがって補正する。
ここで、歪みについて簡単に説明する。プロジェクタ101は、PCなどからプロジェクタ101へ出力された映像をスクリーンに投写する。このとき、プロジェクタ101がスクリーンに対して斜めに配置されており、プロジェクタに搭載されている投写レンズの光軸とスクリーン平面とが正対していない場合、スクリーン上に投写された投写映像を見ると台形に歪んだ形状となる。この台形に歪んだ形状の投写映像を歪み映像といい、スクリーンに投写された映像をより快適に視聴するためには、この台形に歪んだ形状の映像を補正する必要がある。また、平面でない面に投写された場合も投写された投写映像を見ると歪んだ形状となり、同様に補正する必要がある。
本実施形態では、プロジェクタ101と、投写対象物104と、視点108(図4)とが、それぞれ所定の位置に載置されていることを想定している。例えば、展示会の会場や美術館などでは、プロジェクタ101、投写対象物104、及び視点108の位置はある程度決まっている。ユーザが視点108から投写対象物104に投写された映像を見る場合、プロジェクタ101から投写対象物104に投写される映像は、予め歪みが補正された状態で投写対象物104に投写されている。そして、このときの歪み補正データは、歪み補正データ格納部6に予め格納されている。
本実施形態では、プロジェクタ101と、投写対象物104と、視点108(図4)とが、それぞれ所定の位置に載置されていることを想定している。例えば、展示会の会場や美術館などでは、プロジェクタ101、投写対象物104、及び視点108の位置はある程度決まっている。ユーザが視点108から投写対象物104に投写された映像を見る場合、プロジェクタ101から投写対象物104に投写される映像は、予め歪みが補正された状態で投写対象物104に投写されている。そして、このときの歪み補正データは、歪み補正データ格納部6に予め格納されている。
焦点ボケ補正部8は、歪み補正部7で補正された映像に対し、フォーカス制御部4で算出された焦点ボケのパラメータにしたがって、投写対象物104の表面上の投写距離の差によって生じる焦点ボケを電気的に補正するものである。ここで、焦点ボケとは、投写対象物表面104が複雑な形状を有する場合や投写対象物104を移動する場合に、投写レンズから投写対象物104までの投写距離の差により生じる投写対象物104に表示される映像がぼやけることをいう。
投写レンズユニット部9は、投写対象物104に投写される映像の焦点を調整するフォーカス機能、投写対象物104に投写される映像の大きさを調整するズーム機能、及び、投写対象物104に投写される映像の位置を上下左右に調整できるレンズシフト機能を有し、焦点ボケ補正部8で補正された映像を投写する。
投写レンズユニット部9は、投写対象物104に投写される映像の焦点を調整するフォーカス機能、投写対象物104に投写される映像の大きさを調整するズーム機能、及び、投写対象物104に投写される映像の位置を上下左右に調整できるレンズシフト機能を有し、焦点ボケ補正部8で補正された映像を投写する。
3次元形状検出部3の構成について説明する。3次元形状検出部3は、歪み補正対応領域抽出部10と、プロジェクタ投写設計データ格納部11と、投写視点画像物理座標算出部12と、領域対応平面の法線ベクトル算出部13と、距離センサ部14と、距離センサキャリブレーションデータ格納部15と、3次元データプロジェクタ座標変換部16と、距離検出位置平面特定部17と、平面四隅点3次元位置算出部18と、から構成されている。
なお、3次元形状検出部3は、図1の情報処理部30と、記憶部31と、距離センサ106とによって実現される。
なお、3次元形状検出部3は、図1の情報処理部30と、記憶部31と、距離センサ106とによって実現される。
本実施形態では、後述する図4、図5で説明するように、プロジェクタ101から投写対象物104の投写面に投写される画像を複数の四角形領域に分割し、投写対象物104の投写領域は、分割された四角形領域の四隅点を通る平面の集合からなることとしている。そして、投写対象物104の表面形状を平面の集合体122として定義している。
歪み補正対応領域抽出部10は、歪み補正データ格納部6に格納されている歪み補正データから、ユーザが或る視線方向109から見た歪み補正前の画像と歪み補正後の画像との間の四角形領域の対応と、補正前後の画像における当該四角形領域を形成する四隅点の座標を抽出するものである。
プロジェクタ投写設計データ格納部11は、プロジェクタ101の投写に関わる設計データを格納するものである。投写視点画像物理座標算出部12は、投写レンズユニット部9から得られるズーム位置及びレンズシフト位置と、プロジェクタ投写設計データ格納部11に格納されているプロジェクタ101の投写に関わる設計データと、に基づいて、次の値を算出するものである。
1つ目の値は、歪み補正後画像がプロジェクタ101の投写画像として投写対象物104に投写された場合、歪み補正対応領域抽出部10で抽出された、当該歪み補正後画像を構成する各四角形領域の四隅点の座標を、後述する投写中心102を原点とする座標系(以下、プロジェクタ座標系ともいう。)の物理座標として算出する。
2つ目の値は、歪み補正前画像をユーザが或る視点108から見た場合、歪み補正対応領域抽出部10で抽出された、当該歪み補正前画像を構成する各四角形領域の四隅点の座標を、視点108を原点とする視点座標系(以下、単に視点座標系ともいう。)の仮の物理座標として算出する。
歪み補正対応領域抽出部10は、歪み補正データ格納部6に格納されている歪み補正データから、ユーザが或る視線方向109から見た歪み補正前の画像と歪み補正後の画像との間の四角形領域の対応と、補正前後の画像における当該四角形領域を形成する四隅点の座標を抽出するものである。
プロジェクタ投写設計データ格納部11は、プロジェクタ101の投写に関わる設計データを格納するものである。投写視点画像物理座標算出部12は、投写レンズユニット部9から得られるズーム位置及びレンズシフト位置と、プロジェクタ投写設計データ格納部11に格納されているプロジェクタ101の投写に関わる設計データと、に基づいて、次の値を算出するものである。
1つ目の値は、歪み補正後画像がプロジェクタ101の投写画像として投写対象物104に投写された場合、歪み補正対応領域抽出部10で抽出された、当該歪み補正後画像を構成する各四角形領域の四隅点の座標を、後述する投写中心102を原点とする座標系(以下、プロジェクタ座標系ともいう。)の物理座標として算出する。
2つ目の値は、歪み補正前画像をユーザが或る視点108から見た場合、歪み補正対応領域抽出部10で抽出された、当該歪み補正前画像を構成する各四角形領域の四隅点の座標を、視点108を原点とする視点座標系(以下、単に視点座標系ともいう。)の仮の物理座標として算出する。
ここで、プロジェクタ座標系について簡単に説明する。
図6Aに打ち上げ有りの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図6Bに打ち上げ無しの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図6Cに画角を拡大した場合の画角、投写光軸及び投写中心の関係を模式的に示す。図6Dに上方へレンズシフトを行った場合の画角、投写光軸及び投写中心の関係を模式的に示す。なお、図6Aは斜視図であり、図6B、図6C、及び図6Dは、図6AのA-A断面図である。ここで、投写光軸は、画像形成面の中心を通り、かつ、画像形成面に垂直に交わる軸である。プロジェクタ座標系の原点を投写中心102とする。以下、プロジェクタ座標系を投写座標系ともいう。
図6Aに打ち上げ有りの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図6Bに打ち上げ無しの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図6Cに画角を拡大した場合の画角、投写光軸及び投写中心の関係を模式的に示す。図6Dに上方へレンズシフトを行った場合の画角、投写光軸及び投写中心の関係を模式的に示す。なお、図6Aは斜視図であり、図6B、図6C、及び図6Dは、図6AのA-A断面図である。ここで、投写光軸は、画像形成面の中心を通り、かつ、画像形成面に垂直に交わる軸である。プロジェクタ座標系の原点を投写中心102とする。以下、プロジェクタ座標系を投写座標系ともいう。
打ち上げとレンズシフトについて簡単に説明する。通常のプロジェクタでは、テーブル上に置いたときにテーブルの高さよりも上に映像が投写されるように映像を投写光軸より上に投写する打ち上げが行われる。このことを、打ち上げという。また、レンズシフトとは、映像を投写光軸に対して上下左右の位置に移動して投写することをいい、打ち上げは、レンズシフトの一部である。
例えば、図6Aに示すように、投写中心102は、投写エリア103の四隅の各点と投写レンズユニット部9からの映像信号に基づく画像を形成する表示デバイス100の画像形成領域の四隅の各点とを、それぞれ対応する点同士で直線的に結んだ線が交わる点である。ここで、投写エリア103は、表示デバイス100の画像形成領域の画像を上下左右で反転させたものである。なお、実際は、レンズでの屈折を伴うため、投写エリア103の四隅の各点と表示デバイス100の画像形成領域の四隅の各点とを結ぶ線は直線とはならない。投写中心102は、投写レンズのレンズ構成を考慮して決定する必要がある。
例えば、図6Aに示すように、投写中心102は、投写エリア103の四隅の各点と投写レンズユニット部9からの映像信号に基づく画像を形成する表示デバイス100の画像形成領域の四隅の各点とを、それぞれ対応する点同士で直線的に結んだ線が交わる点である。ここで、投写エリア103は、表示デバイス100の画像形成領域の画像を上下左右で反転させたものである。なお、実際は、レンズでの屈折を伴うため、投写エリア103の四隅の各点と表示デバイス100の画像形成領域の四隅の各点とを結ぶ線は直線とはならない。投写中心102は、投写レンズのレンズ構成を考慮して決定する必要がある。
例えば、表示デバイス100の画像形成領域の四隅の点をそれぞれA点、B点、C点、D点とし、投写エリア103の四隅の点をそれぞれa点、b点、c点、d点とする。a点、b点、c点、d点はそれぞれA点、B点、C点、D点に対応し、a点、b点、c点、d点の配置はA点、B点、C点、D点の配置に対して上下左右が反転した位置関係になる。この場合、投写中心102は、A点から射出してレンズを介してa点に到達する主光線と、B点から射出してレンズを介してb点に到達する主光線と、C点から射出してレンズを介してc点に到達する主光線と、D点から射出してレンズを介してd点に到達する主光線とが互いに交わる点を示す。
図6Aに示した打ち上げ有りの例では、投写光軸105は投写エリア103の下端の中心部を通り、投写中心102は、投写光軸105よりも上側に位置している。この場合、投写中心軸は、投写光軸105と一致しない。
図6Aに示した打ち上げ有りの例では、投写光軸105は投写エリア103の下端の中心部を通り、投写中心102は、投写光軸105よりも上側に位置している。この場合、投写中心軸は、投写光軸105と一致しない。
図6Bに示した打ち上げ無しの例では、投写光軸105は投写エリア103の中心部を通り、投写中心点102は、投写光軸105上に位置している。この場合、投写中心軸は、投写光軸105と一致する。
図6Cは、図6Bの例と比較して、画角を拡大した例である。図6Bと同様、投写光軸105は投写エリア103の中心部を通り、投写中心102は投写光軸105上に位置しているが、図6Bの例よりも、投写中心点102は表示デバイス100側に配置されている。この場合も、投写中心軸は、投写光軸105と一致する。
図6Cは、図6Bの例と比較して、画角を拡大した例である。図6Bと同様、投写光軸105は投写エリア103の中心部を通り、投写中心102は投写光軸105上に位置しているが、図6Bの例よりも、投写中心点102は表示デバイス100側に配置されている。この場合も、投写中心軸は、投写光軸105と一致する。
図6Dは、図6Bの例と比較して、投写エリア103が上方へシフトするようにレンズシフトを行った例である。図6Aの例と同様、投写光軸105は投写エリア103の下端の中心部を通り、投写中心102は、投写光軸105よりも上側に位置している。この場合、投写中心軸は、投写光軸105と一致しない。
図6Aから図6Dの例から分かるように、画角、投写中心軸及び投写中心点、ズーム位置やレンズシフト位置に応じて変化する。換言すると、画角、投写中心軸及び投写中心は、ズーム位置やレンズシフト位置に応じて決定する必要がある。
図6Aから図6Dの例から分かるように、画角、投写中心軸及び投写中心点、ズーム位置やレンズシフト位置に応じて変化する。換言すると、画角、投写中心軸及び投写中心は、ズーム位置やレンズシフト位置に応じて決定する必要がある。
図2に戻り、領域対応平面の法線ベクトル算出部13は、投写視点画像物理座標算出部12で算出された各四角形領域の、歪み補正後画像の投写画像としてのプロジェクタ座標系における四隅点の物理座標と、歪み補正前画像の視点画像としての視点座標系における四隅点の仮の物理座標と、に基づいて、投写対象物104に投写された各四角形領域が平面であると仮定したときの、その平面に対する法線ベクトル123(図8)を算出するものである。
距離センサ部14は、投写対象物104の表面の一点(距離測定点107(図4))までの距離を計測するものである。
距離センサキャリブレーションデータ格納部15は、次の値を格納するものである。1つ目の値は、距離センサ106(図3)の座標系とプロジェクタ101の座標系との位置関係を計測するキャリブレーションを行った結果、計算された距離センサ106の座標系をプロジェクタの座標系に変換するためのパラメータである回転量と並進量を格納する。2つ目の値は、距離センサ106の座標系とプロジェクタ101の座標系との位置関係を計測するキャリブレーションを行ったときのズーム位置とレンズシフト位置とを、基準ズーム位置と基準レンズシフト位置として格納する。
距離センサ部14は、投写対象物104の表面の一点(距離測定点107(図4))までの距離を計測するものである。
距離センサキャリブレーションデータ格納部15は、次の値を格納するものである。1つ目の値は、距離センサ106(図3)の座標系とプロジェクタ101の座標系との位置関係を計測するキャリブレーションを行った結果、計算された距離センサ106の座標系をプロジェクタの座標系に変換するためのパラメータである回転量と並進量を格納する。2つ目の値は、距離センサ106の座標系とプロジェクタ101の座標系との位置関係を計測するキャリブレーションを行ったときのズーム位置とレンズシフト位置とを、基準ズーム位置と基準レンズシフト位置として格納する。
3次元データプロジェクタ座標変換部16は、距離センサ106で検出された距離測定点107における3次元座標(0、0、Z´´)を、距離センサキャリブレーションデータ格納部15に格納されている回転量、並進量、基準ズーム位置、基準レンズシフト位置、投写レンズユニット部9から得られるズーム位置、レンズシフト位置、及び、プロジェクタ投写設計データ格納部11に格納されているプロジェクタ101の投写に関わる設計データから、投写中心102を原点とするプロジェクタ座標系に変換する。
距離検出位置平面特定部17は、3次元データプロジェクタ座標変換部16でプロジェクタ座標系に変換された距離測定点107の3次元座標を含む平面を特定し、その平面における四隅点の3次元座標を計算するものである。この計算は、投写視点画像物理座標算出部12において算出された各四角形領域の歪み補正後画像の投写画像としてのプロジェクタ座標系における四隅点の物理座標と、領域対応平面の法線ベクトル算出部13で算出された投写対象物104に投写された各四角形の領域に対する平面の法線ベクトルと、に基づいて行われる。
距離検出位置平面特定部17は、3次元データプロジェクタ座標変換部16でプロジェクタ座標系に変換された距離測定点107の3次元座標を含む平面を特定し、その平面における四隅点の3次元座標を計算するものである。この計算は、投写視点画像物理座標算出部12において算出された各四角形領域の歪み補正後画像の投写画像としてのプロジェクタ座標系における四隅点の物理座標と、領域対応平面の法線ベクトル算出部13で算出された投写対象物104に投写された各四角形の領域に対する平面の法線ベクトルと、に基づいて行われる。
平面四隅点3次元位置算出部18は、距離検出位置平面特定部17で特定された距離測定点107の3次元座標を含む平面に対応する領域と、その平面の方程式のパラメータと、平面上の四隅点の3次元座標と、から、残りの領域に対応する平面の四隅点の3次元座標を算出するものである。この計算は、投写視点画像物理座標算出部12で算出された各四角形領域の、歪み補正後画像の投写画像としてのプロジェクタ座標系における四隅点の物理座標と、領域対応平面の法線ベクトル算出部13で算出された、投写対象物104に投写された各四角形の領域に対する平面の法線ベクトル123と、に基づいて行われる。
フォーカス制御部4の構成について説明する。フォーカス制御部4は、フォーカス位置テーブル格納部19と、焦点ボケパラメータテーブル格納部20と、フォーカス位置・焦点ボケパラメータ算出部21と、から構成されている。
なお、フォーカス制御部4は、図1の情報処理部30と記憶部31とによって実現される。
なお、フォーカス制御部4は、図1の情報処理部30と記憶部31とによって実現される。
フォーカス位置テーブル格納部19は、ズーム位置と投写距離に対して焦点が合う投写レンズユニット部9におけるフォーカスの位置を格納するものである。焦点ボケパラメータテーブル格納部20は、フォーカス位置と投写距離に対する焦点ボケパラメータを格納するものである。フォーカス位置・焦点ボケパラメータ算出部21は、投写対象物104におけるフォーカスが最適になるようにフォーカス位置と焦点ボケパラメータを算出するものである。この計算は、3次元形状検出部3による3次元位置検出結果と、投写レンズユニット部9から得られるズーム位置からフォーカス位置テーブル格納部19に格納されているフォーカス位置テーブルと、焦点ボケパラメータテーブル格納部20に格納されている焦点ボケパラメータテーブルと、を参照して行われる。
距離センサを搭載したプロジェクタ101の投写方向と投写エリアとの関係を、図3を参照して説明する。本実施形態のプロジェクタ101では、必ず投射対象物104の表面上におけるプロジェクタ101の投射エリア内103の1点を計測できるように、距離センサ106の方向が設定されている。すなわち、プロジェクタ101のズーム機能により投写映像が拡大されたり、レンズシフト機能により投写映像の位置が上下左右に移動されたりしても、投写対象物104の表面上における投写エリア103内の一点を必ず計測できるようになっている。この点について図4を用いて説明する。
図4は、距離センサ106を搭載したプロジェクタ101の投写方向と、投写対象物104と、視点108との関係を示したものである。図4に示すように、プロジェクタ101から投写対象物104に対して歪み補正を施された映像が投写され、視点108の位置において、投写された映像を歪みのない状態で視線方向109から視認している状態となっている。この場合、投写映像上の一点である距離測定点107までの距離から距離測定点107の3次元座標(0、0、Z´´)を算出し、歪み補正のためのデータを使って投射対象物104の3次元形状を算出するようになっている。さらに、その3次元形状を使用して投写対象物104におけるフォーカスが最適になるよう、フォーカス位置の調整と焦点ボケ補正を行うようにしている。このように、本実施形態では、視点108の位置(視線方向109)において歪みが視認されないように歪み補正データが事前に作成されている。
歪み補正データの作成方法としては、例えば、次のような方法が挙げられる。第1の方法として、視点108の位置にカメラを設置し、投写対象物104に投写された画像を撮像し、その歪み具合から歪み補正データを作成する方法がある。第2の方法として、視点108の位置に立ったユーザが、投写対象物104に投写され歪んだ画像を見ながらユーザインタフェースを使用して歪みが解消するように調整し、歪み補正データを作成する方法がある。
本実施形態のプロジェクタ101の動作を、図2を参照しつつ簡単に説明する。
本実施形態のプロジェクタ101は、投射部2、3次元形状検出部3、フォーカス制御部4で構成されている。
投射部2において、投射映像入力端子1へ入力された映像の解像度を、プロジェクタ101の表示デバイスの解像度へ解像度を変換し、画質調整などを行う。投射対象物104に投射されたときの視点の位置で視認される画像に歪みが生じないように歪み補正を行い、投射対象物104の表面上の投射距離の差により生じる焦点ボケを補正し、投写レンズによりフォーカス、ズーム、レンズシフト調整を行って投写する。
3次元形状検出部3において、歪み補正のためのデータと、投写レンズのズーム位置、レンズシフト位置を参照しながら距離センサ106を使って投射対象物104の3次元形状を検出する。
フォーカス制御部4において、投射部2における投写レンズのズーム位置と3次元形状検出部3で検出した投射対象物104の3次元形状から、フォーカス位置と焦点ボケ補正のためのパラメータを算出し、投写部2に設定することにより、投射対象物104に投写された映像の焦点ボケを低減する構成となっている。
本実施形態のプロジェクタ101は、投射部2、3次元形状検出部3、フォーカス制御部4で構成されている。
投射部2において、投射映像入力端子1へ入力された映像の解像度を、プロジェクタ101の表示デバイスの解像度へ解像度を変換し、画質調整などを行う。投射対象物104に投射されたときの視点の位置で視認される画像に歪みが生じないように歪み補正を行い、投射対象物104の表面上の投射距離の差により生じる焦点ボケを補正し、投写レンズによりフォーカス、ズーム、レンズシフト調整を行って投写する。
3次元形状検出部3において、歪み補正のためのデータと、投写レンズのズーム位置、レンズシフト位置を参照しながら距離センサ106を使って投射対象物104の3次元形状を検出する。
フォーカス制御部4において、投射部2における投写レンズのズーム位置と3次元形状検出部3で検出した投射対象物104の3次元形状から、フォーカス位置と焦点ボケ補正のためのパラメータを算出し、投写部2に設定することにより、投射対象物104に投写された映像の焦点ボケを低減する構成となっている。
本実施形態のプロジェクタ101の動作を、図2を参照しつつ詳細に説明する。
まず、投写部2の動作について説明する。投写部2に対して投写映像入力端子1から映像が入力されると、映像処理部5において、プロジェクタ101の表示デバイスの解像度に変換され、画質調整などが行われる。
歪み補正部7では、予め歪み補正データ格納部6に格納されている歪み補正データにしたがって、プロジェクタ101と正対していない平面の投写対象物104や平面でない投写対象物104に映像が投写されたとき、図4の視点108の位置において視線方向109から視認される映像に歪みが生じないよう歪み補正が行われる。
焦点ボケ補正部8では、投写対象物104の表面上の投写距離の差により生じる焦点ボケが補正される。投写レンズユニット部9では、投写対象物104に投写される映像の焦点を調整するフォーカス調整、投写対象物104に投写される映像の大きさを調整するズーム調整、及び、投写対象物104に投写される映像の位置を上下左右に調整するレンズシフト調整が行われ、投写対象物104に投写される。焦点ボケ補正部8における焦点ボケ補正のためのパラメータと、投写レンズユニット部9における投写映像の焦点調整のためのフォーカス調整の位置は、後述するフォーカス制御部4によって設定される。
まず、投写部2の動作について説明する。投写部2に対して投写映像入力端子1から映像が入力されると、映像処理部5において、プロジェクタ101の表示デバイスの解像度に変換され、画質調整などが行われる。
歪み補正部7では、予め歪み補正データ格納部6に格納されている歪み補正データにしたがって、プロジェクタ101と正対していない平面の投写対象物104や平面でない投写対象物104に映像が投写されたとき、図4の視点108の位置において視線方向109から視認される映像に歪みが生じないよう歪み補正が行われる。
焦点ボケ補正部8では、投写対象物104の表面上の投写距離の差により生じる焦点ボケが補正される。投写レンズユニット部9では、投写対象物104に投写される映像の焦点を調整するフォーカス調整、投写対象物104に投写される映像の大きさを調整するズーム調整、及び、投写対象物104に投写される映像の位置を上下左右に調整するレンズシフト調整が行われ、投写対象物104に投写される。焦点ボケ補正部8における焦点ボケ補正のためのパラメータと、投写レンズユニット部9における投写映像の焦点調整のためのフォーカス調整の位置は、後述するフォーカス制御部4によって設定される。
3次元形状検出部3の動作について説明する前に3次元形状検出の原理について図5を参照して説明する。
図5は、プロジェクタ101から歪み補正を施されて投写された映像が、平面でない投写対象物104に投写され、その映像を、図4の視点108の位置で視線方向109から歪みのない映像を視認している状態、及び、距離センサ106を使用して投写対象物104上の一点(距離測定点107)までの距離を計測している状態を示している。
図5は、プロジェクタ101から歪み補正を施されて投写された映像が、平面でない投写対象物104に投写され、その映像を、図4の視点108の位置で視線方向109から歪みのない映像を視認している状態、及び、距離センサ106を使用して投写対象物104上の一点(距離測定点107)までの距離を計測している状態を示している。
プロジェクタ101から投写された画像を複数の四角形領域に分け、投写対象物104を、投写されたそれぞれの四角形の領域の四隅点を通る平面の集合とし、その表面形状を平面の集合体122のように定義する。1つは、プロジェクタ101の投写画像として投写対象物104に投写される歪み補正を施された歪み補正後画像118を構成する各四角形領域のプロジェクタ座標系における四隅点の座標である。もう1つは、これらに対応した視点108の位置で視線方向109から視認される歪みのない画像である視点画像としての歪み補正前画像120を構成する四角形領域の視点画像系における四隅点の座標である。両者の対応により、この四角形領域に対する投写対象物104におけるそれぞれの平面の法線ベクトルを求めることができる。
距離センサ106による投写対象物104上の距離測定点107の3次元座標(0、0、Z´´)が、距離センサ106の距離測定開始点を原点とする距離センサ座標系からプロジェクタ座標系に変換されると、距離測定点107が含まれる平面が分かる。この平面の法線ベクトルを有し距離測定点107を通る平面という条件から、その平面の方程式のパラメータが分かる。そして、その平面に映像が投写された四角形領域の四隅点の3次元座標が分かり、その平面に投写された四角形領域の四隅点の3次元座標を元にして、隣接する平面のそれぞれについて、その法線ベクトルを有し、この四隅点のいくつかを通る平面という条件から、その平面の方程式のパラメータが分かる。すなわち、その平面に画像が投写された四角形領域の四隅点の3次元座標が分かるため、これらのさらに隣接する平面といった具合に同様の方法で次々とそれぞれの平面に投写された四角形領域の四隅点の3次元座標が分かることになる。
結果的に、各四角形領域の四隅点の投写対象物104上での3次元座標が分かることになるので、投写対象物104の3次元形状が分かることになる。
結果的に、各四角形領域の四隅点の投写対象物104上での3次元座標が分かることになるので、投写対象物104の3次元形状が分かることになる。
3次元形状検出部3の各部の動作について図2に戻り説明する。歪み補正対応領域抽出部10は、歪み補正データ格納部6に格納されている歪み補正データから図5に示すような視点画像としての歪み補正前画像120と歪み補正後画像118の四角形領域の対応とその補正前後の画像における四隅点の座標を抽出する。
具体的には、図7に示すように、視点画像としての歪み補正前画像120において、画像を四角形領域に分割し、分割したそれぞれの四角形領域の四隅点の座標に対する歪み補正後画像118の四隅点の座標を、歪み補正データ格納部6に格納されている歪み補正データを使って計算する。この結果、歪み補正後画像118と視点画像としての歪み補正前画像120との間における各四角形領域と四隅点の座標の対応が抽出される。
具体的には、図7に示すように、視点画像としての歪み補正前画像120において、画像を四角形領域に分割し、分割したそれぞれの四角形領域の四隅点の座標に対する歪み補正後画像118の四隅点の座標を、歪み補正データ格納部6に格納されている歪み補正データを使って計算する。この結果、歪み補正後画像118と視点画像としての歪み補正前画像120との間における各四角形領域と四隅点の座標の対応が抽出される。
なお、歪み補正データ格納部6に格納されているデータは、例えば、歪み補正前画像と歪み補正後画像の点の対応テーブルであってもよいし、歪み補正前画像から歪み補正後画像への変換式のパラメータであってもよい。すなわち、どのような形式で格納されていたとしても、歪み補正前画像から歪み補正後画像を作成するためのデータであれば、上述した両者に対応する四隅点の座標を求めることができる。
次に、投写視点画像物理座標算出部12では、図5で説明した歪み補正後画像118について、プロジェクタの投射画像として歪み補正対応領域抽出部10で抽出した歪み補正後画像118上の各四角形の領域の四隅点の座標から、プロジェクタ座標系における歪み補正後画像118の物理座標119を算出する。
また、視点画像としての歪み補正前画像120について、視点位置における画像として歪み補正対応領域抽出部10で抽出した視点画像としての歪み補正前画像120上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標121を算出する。このとき、視点座標系における画像の絶対的な座標値は未知であるため、歪み補正前の仮の物理座標121は仮のスケールを設定して算出する。
そして、この算出の際には、投写レンズユニット部9から得られるズーム位置、レンズシフト位置と、プロジェクタ投写設計データ格納部11に格納されているプロジェクタの画角、ズーム特性、レンズシフト特性などの投写に関わる設計データと、が使用される。
また、視点画像としての歪み補正前画像120について、視点位置における画像として歪み補正対応領域抽出部10で抽出した視点画像としての歪み補正前画像120上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標121を算出する。このとき、視点座標系における画像の絶対的な座標値は未知であるため、歪み補正前の仮の物理座標121は仮のスケールを設定して算出する。
そして、この算出の際には、投写レンズユニット部9から得られるズーム位置、レンズシフト位置と、プロジェクタ投写設計データ格納部11に格納されているプロジェクタの画角、ズーム特性、レンズシフト特性などの投写に関わる設計データと、が使用される。
ここで、図5で説明を行ったプロジェクタ座標系(X、Y、Z)における歪み補正後画像の物理座標119は同次座標
xp=(xp、yp、1)Tの形で求められ、
視点座標系(X´、Y´、Z´)における歪み補正前画像の仮の物理座標121は同次座標
xν=(xν、yν、1)Tの形で求められる。
xp=(xp、yp、1)Tの形で求められ、
視点座標系(X´、Y´、Z´)における歪み補正前画像の仮の物理座標121は同次座標
xν=(xν、yν、1)Tの形で求められる。
次に、領域対応平面の法線ベクトル算出部13では、投写対象物104に投写された各四角形領域が平面であるとしたときのその法線ベクトル123を算出する。この計算は、次の2つの座標に基づいて算出される。1つは、投射視点画像物理座標算出部12で算出された歪み補正後画像118上の各四角形の領域の投射画像としてのプロジェクタ座標系における歪み補正後画像の物理座標119上の四隅点の物理座標である。もう1つは、視点画像としての歪み補正前の画像120上のそれに対応する各四角形の領域の視点画像としての視点座標系における歪み補正前の仮の物理座標121上の四隅点の仮の物理座標である。
ここで、プロジェクタ座標系(X、Y、Z)における歪み補正後画像の物理座標119の同次座標xp=(xp、yp、1)Tと、視点座標系(X´、Y´、Z´)における歪み補正前画像の仮の物理座標121の同次座標xν=(xν、yν、1)Tは、3×3の行列であるTを使って次の数式(1)で表すことができる。
xν∝Txp (1)
ここで、Tは、プロジェクタ座標系から視点座標系への回転R、並進X0、平面の方程式Z=pX+qY+rのパラメータp、q、rを用いて次の数式(2)で表され、
xν∝Txp (1)
ここで、Tは、プロジェクタ座標系から視点座標系への回転R、並進X0、平面の方程式Z=pX+qY+rのパラメータp、q、rを用いて次の数式(2)で表され、
すなわち、図8に示すように、歪み補正後画像118上の各四角形の領域の投射画像としてのプロジェクタ座標系における歪み補正後画像の物理座標119上の四隅点の物理座標と、視点画像としての歪み補正前画像120上のそれに対応する各四角形の領域の視点画像としての視点座標系における視点画像としての歪み補正前画像の仮の物理座標121上の四隅点の仮の物理座標から、各四角形の領域に対応する投写対象物104上の平面の法線ベクトル123を求めることができる。
図8は、視点座標系における視点画像としての歪み補正前画像の仮の物理座標上の四隅点の物理座標と、歪み補正後画像の物理座標の四隅点の物理座標とから、四角形領域に対応する投写対象物上の平面の法線ベクトルを求めることを説明する図である。
図8は、視点座標系における視点画像としての歪み補正前画像の仮の物理座標上の四隅点の物理座標と、歪み補正後画像の物理座標の四隅点の物理座標とから、四角形領域に対応する投写対象物上の平面の法線ベクトルを求めることを説明する図である。
一方、距離センサ106では、投写対象物104の一点(距離測定点107)までの距離を計測し、その3次元座標(0、0、Z´´)を検出し、距離測定点107の3次元位置とする。このとき、上記したように、投写対象物104の表面における距離測定点107は、必ず投写エリア103内に位置する。
なお、距離センサ106を用いて距離を計測する方法としては様々な方式が存在し、本実施形態では距離センサ106を用いて距離を計測する方法を特に限定しない。距離センサ106を用いて距離を計測する方法としては、(A)投写した光が対象物で反射し、戻ってくるまでの時間から距離を計測するTOF方式、(B)投写し対象物で反射した光を検出し、その検出位置から三角測量の原理を用いて距離を計測する三角測量方式、などがある。何れにしろ、一点の距離のみを取得する距離センサで足りるので、簡易な距離センサで構成することが可能であり、プロジェクタの小型化と低コスト化を図ることが可能である。
なお、距離センサ106を用いて距離を計測する方法としては様々な方式が存在し、本実施形態では距離センサ106を用いて距離を計測する方法を特に限定しない。距離センサ106を用いて距離を計測する方法としては、(A)投写した光が対象物で反射し、戻ってくるまでの時間から距離を計測するTOF方式、(B)投写し対象物で反射した光を検出し、その検出位置から三角測量の原理を用いて距離を計測する三角測量方式、などがある。何れにしろ、一点の距離のみを取得する距離センサで足りるので、簡易な距離センサで構成することが可能であり、プロジェクタの小型化と低コスト化を図ることが可能である。
次に、3次元データプロジェクタ座標変換部16では、距離センサ106の距離測定開始点を原点とする距離センサ座標系で計測した距離測定点107の3次元座標(0、0、Z´´)を、投写中心102を原点としたプロジェクタ座標系に変換する。この変換では、次の3つのものが使用される。
1つ目は、距離センサ座標系とプロジェクタ座標系の位置関係を計測するキャリブレーションを行って距離センサキャリブレーションデータ格納部15に予め格納されている距離センサ座標系をプロジェクタ座標系に変換するためのパラメータである回転量と並進量である。2つ目は、このキャリブレーションを行ったときの基準ズーム位置と基準レンズシフト位置である。3つ目は、投写レンズユニット部9から得られるズーム位置とレンズシフト位置である。
1つ目は、距離センサ座標系とプロジェクタ座標系の位置関係を計測するキャリブレーションを行って距離センサキャリブレーションデータ格納部15に予め格納されている距離センサ座標系をプロジェクタ座標系に変換するためのパラメータである回転量と並進量である。2つ目は、このキャリブレーションを行ったときの基準ズーム位置と基準レンズシフト位置である。3つ目は、投写レンズユニット部9から得られるズーム位置とレンズシフト位置である。
この点について図4を用いて説明する。距離センサ106は、プロジェクタ101の投写中心102と異なる位置に備えられており、距離測定の原点(距離測定開始点)は投写中心102と一致せず、また、その方向もプロジェクタ101の投写方向と一致していない。したがって、距離センサ106で計測した距離測定点107の3次元座標(0、0、Z´´)は、プロジェクタ座標系と異なっている。このため、距離センサ106で計測した距離測定点107における投写対象物104の3次元座標(0、0、Z´´)を、プロジェクタ座標系に変換する必要がある。そして、この変換は、3つの座標軸に対する回転量と、3つの座標軸に対する移動を表す並進量と、によって定義することができる。この回転量と並進量とを求めることをキャリブレーションという。
プロジェクタ101においては、プロジェクタ座標系(X、Y、Z)の原点となる投写中心102の位置がいつも同じではなく、ズームやレンズシフトにより移動する。このため、距離センサキャリブレーションデータ格納部15には、上記回転量と並進量と共に、キャリブレーションを行ったときのズーム位置、レンズシフト位置が、それぞれ基準ズーム位置、基準レンズシフト位置として格納されている。
プロジェクタ101においては、プロジェクタ座標系(X、Y、Z)の原点となる投写中心102の位置がいつも同じではなく、ズームやレンズシフトにより移動する。このため、距離センサキャリブレーションデータ格納部15には、上記回転量と並進量と共に、キャリブレーションを行ったときのズーム位置、レンズシフト位置が、それぞれ基準ズーム位置、基準レンズシフト位置として格納されている。
3次元位置データプロジェクタ座標変換部16では、具体的に、次の(a)から(e)の処理を行う。
(a)プロジェクタ投写設計データ格納部11に格納されている投写に関わる設計データと、基準ズーム位置、基準レンズシフト位置に基づいて、キャリブレーションを行ったときの基準投写中心点の座標を求める。
(b)投写レンズユニット9から得られる現在のズーム位置、レンズシフト位置から、同様に現在の投写中心点の座標を求める。
(c)(a)で求めた基準投写中心点の座標から、(b)で求めた現在の投写中心点の座標への変換するための並進量を求める。
(d)距離センサ106で計測した距離測定点107の3次元座標(0、0、Z´´)を、距離センサキャリブレーションデータ格納部15に格納されている回転量と並進量により座標変換する。
(e)現在のズーム位置とレンズシフト位置に合わせて、基準投写中心点の座標から現在の投写中心点の座標への並進量分だけ座標を移動する。
これらの処理を行うことにより、距離センサ106からの距離センサ座標系(X´´、Y´´、Z´´)における3次元座標(0、0、Z´´)を、現在の投写中心102を原点とするプロジェクタ座標系(X、Y、Z)に変換する。
(a)プロジェクタ投写設計データ格納部11に格納されている投写に関わる設計データと、基準ズーム位置、基準レンズシフト位置に基づいて、キャリブレーションを行ったときの基準投写中心点の座標を求める。
(b)投写レンズユニット9から得られる現在のズーム位置、レンズシフト位置から、同様に現在の投写中心点の座標を求める。
(c)(a)で求めた基準投写中心点の座標から、(b)で求めた現在の投写中心点の座標への変換するための並進量を求める。
(d)距離センサ106で計測した距離測定点107の3次元座標(0、0、Z´´)を、距離センサキャリブレーションデータ格納部15に格納されている回転量と並進量により座標変換する。
(e)現在のズーム位置とレンズシフト位置に合わせて、基準投写中心点の座標から現在の投写中心点の座標への並進量分だけ座標を移動する。
これらの処理を行うことにより、距離センサ106からの距離センサ座標系(X´´、Y´´、Z´´)における3次元座標(0、0、Z´´)を、現在の投写中心102を原点とするプロジェクタ座標系(X、Y、Z)に変換する。
以上により、歪み補正後画像118上の各四角形の領域の投写画像としてのプロジェクタ座標系における歪み補正後画像の物理座標119上の四隅点の物理座標、投写対象物104に投写された各四角形の領域に対する平面の法線ベクトル123、プロジェクタ座標系(X、Y、Z)に変換された距離測定点107の3次元座標が求められた。そして、ここからは、各四角形の領域に対する平面の方程式を算出し、それぞれの平面における四隅点の3次元座標を求めていく。
まず、距離検出位置平面特定部17では、3次元位置データプロジェクタ座標変換部16でプロジェクタ座標系に変換された距離測定点107の3次元座標を含む平面を特定する。これは、投写視点画像物理座標算出部12で算出されたプロジェクタ座標系における歪み補正後画像の物理座標119上の四隅点の物理座標と、領域対応平面の法線ベクトル算出部13で算出された各四角形の領域に対する平面の法線ベクトル123と、に基づいて特定される。距離検出位置平面特定部17では、特定された平面の方程式のパラメータと四隅点の3次元座標とを取得する。
この点に関し図9を用いて説明する。具体的には、各四角形の領域について、その対応する平面について、それぞれの法線ベクトル123を有し、距離センサ部14で検出された距離測定点107の3次元座標を通る平面の方程式のパラメータを求める。次に、平面に投写されたプロジェクタ座標系における四隅点の3次元座標を、この平面と、歪み補正後画像の物理座標119上の四隅点の物理座標とプロジェクタ座標系の原点(投写中心102)を結ぶ直線との交点として求める。そして、平面における距離センサ部14で検出された距離測定点107の3次元座標が四隅点の内側にある唯一の平面を距離検出位置平面として特定する。
次に、平面四隅点3次元位置算出部18では、距離検出位置平面特定部17で特定された距離検出位置平面における四隅点の3次元座標を使用して、残りの四角形領域に対応する平面の四隅点の3次元位置を算出する。この計算は、投写視点画像物理座標算出部12で算出された歪み補正後画像の物理座標119上の四隅点の物理座標と、領域対応平面の法線ベクトル算出部13で算出された各四角形領域に対する平面の法線ベクトル123と、に基づいて行われる。
具体的には、距離検出位置平面特定部17で特定された平面上の四隅点から、隣接する平面の方程式のパラメータを、その法線ベクトル123を使用して算出する。次に、平面に投写された、その対応する領域のプロジェクタ座標系における四隅点の3次元座標を、平面と、歪み補正後画像の物理座標119上の四隅点の物理座標とプロジェクタ座標系の原点(投写中心102)を結ぶ直線との交点として求める。隣接する平面のパラメータ及び四隅点の3次元座標が求まれば、そのさらに隣接する平面といった具合に次々に各四角形の領域に対する平面上の四隅点の3次元座標が求まる。
次に、フォーカス制御部4の動作について説明する。フォーカス制御部4は、フォーカス位置テーブル格納部19と、焦点ボケパラメータテーブル格納部20と、フォーカス位置・焦点ボケパラメータ算出部21と、から構成される。
なお、フォーカス制御部4は、図1の情報処理部30と記憶部31とによって実現される。
なお、フォーカス制御部4は、図1の情報処理部30と記憶部31とによって実現される。
フォーカス位置・焦点ボケパラメータ算出部21では、焦点ボケパラメータテーブル格納部20に格納されているフォーカス位置と投写距離に対する焦点ボケパラメータのテーブルとから、各四角形の領域に対応する平面における四隅点におけるボケ具合が最も小さくなる投写距離を求める。このとき、平面四隅点3次元位置算出部18で算出された各四角形領域に対応する投写対象物104上の平面の四隅点の3次元座標のZ座標を投写距離とする。
また、フォーカス位置・焦点ボケパラメータ算出部21では、投射レンズユニット部9から得られるズーム位置と、フォーカス位置テーブル格納部19に格納されているズーム位置と投射距離に対して焦点が合うフォーカスの位置のテーブルから、その投射距離に対するフォーカスの位置を取得し、投射レンズユニット部9のフォーカスをその位置に調整する。
さらに、フォーカス位置・焦点ボケパラメータ算出部21では、その投写距離から、焦点ボケパラメータテーブル格納部20に格納されているフォーカス位置と投写距離に対する焦点ボケパラメータのテーブルとを使って、各四角形の領域に対応する平面における四隅点に対する焦点ボケパラメータを取得する。そして、四隅点内の各点に対する焦点ボケパラメータを補間によって求め、焦点ボケ補正部8へ出力し焦点ボケを補正する。
また、フォーカス位置・焦点ボケパラメータ算出部21では、投射レンズユニット部9から得られるズーム位置と、フォーカス位置テーブル格納部19に格納されているズーム位置と投射距離に対して焦点が合うフォーカスの位置のテーブルから、その投射距離に対するフォーカスの位置を取得し、投射レンズユニット部9のフォーカスをその位置に調整する。
さらに、フォーカス位置・焦点ボケパラメータ算出部21では、その投写距離から、焦点ボケパラメータテーブル格納部20に格納されているフォーカス位置と投写距離に対する焦点ボケパラメータのテーブルとを使って、各四角形の領域に対応する平面における四隅点に対する焦点ボケパラメータを取得する。そして、四隅点内の各点に対する焦点ボケパラメータを補間によって求め、焦点ボケ補正部8へ出力し焦点ボケを補正する。
ここで、焦点ボケは、例えば、次の数式(3)の点広がり関数で表現され、σが唯一のパラメータである。この場合、焦点ボケパラメータテーブル格納部20には、フォーカス位置と投写距離に対するσが格納されることになる。
このとき、投写画像をf(x、y)、ボケ画像をg(x、y)とすると、ボケ画像は、次の数式(4)に示すような投写画像f(x、y)と、点広がり関数h(x、y)との畳み込みで表される。
g(x、y)=f(x、y)*h(x、y) (4)
したがって、焦点ボケ補正部8では、焦点ボケを補正するため、次の数式(5)に示すように、歪み補正部7からの映像に対して、点広がり関数との逆畳み込みを行い、投写対象物上でボケが解消するように逆補正を行う。
図10は、第1実施形態による投写型表示装置の動作を示すフローチャートである。
図10を参照すると、まず、前提として、投写対象物104に投写される画像が視点108の視点位置における視線方向109から視認されたときに歪みが生じないよう、歪み補正部7において、歪み補正データ格納部6に格納されている歪み補正データに基づいて、視線方向109から視認される歪み補正前画像120を歪み補正後画像118に補正する処理が行われているものとする。また、投写画像の投写対象物104における投写領域は複数の四角形に分割された四角形領域の集合から構成されているものとする。
図10を参照すると、まず、前提として、投写対象物104に投写される画像が視点108の視点位置における視線方向109から視認されたときに歪みが生じないよう、歪み補正部7において、歪み補正データ格納部6に格納されている歪み補正データに基づいて、視線方向109から視認される歪み補正前画像120を歪み補正後画像118に補正する処理が行われているものとする。また、投写画像の投写対象物104における投写領域は複数の四角形に分割された四角形領域の集合から構成されているものとする。
ステップS901の処理で、歪み補正対応領域抽出部10により、歪み補正データ格納部6に格納されている歪み補正データから、視点画像としての歪み補正前画像120と歪み補正後画像118の四角形領域の対応とその補正前後の画像における四隅点の座標とが抽出される。
ステップS902の処理で、投写視点画像物理座標算出部12により、歪み補正後画像118上の各四角形の領域の四隅点の座標から、プロジェクタ座標系における歪み補正後画像118の物理座標119が算出される。また、視点画像としての歪み補正前画像120上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標121が算出される。
ステップS903の処理で、領域対応平面の法線ベクトル算出部13により、投写対象物104に投写された各四角形領域が平面であるとしたときのその法線ベクトル123が算出される。
ステップS902の処理で、投写視点画像物理座標算出部12により、歪み補正後画像118上の各四角形の領域の四隅点の座標から、プロジェクタ座標系における歪み補正後画像118の物理座標119が算出される。また、視点画像としての歪み補正前画像120上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標121が算出される。
ステップS903の処理で、領域対応平面の法線ベクトル算出部13により、投写対象物104に投写された各四角形領域が平面であるとしたときのその法線ベクトル123が算出される。
ステップS904の処理で、距離センサ106により、投写対象物104の一点(距離測定点107)までの距離が計測され、その3次元座標(0、0、Z´´)が検出され、距離測定点107の3次元位置とされる。
ステップS905の処理で、3次元プロジェクタ座標変換部16により、距離センサ106の距離測定開始点を原点とする距離センサ座標系で計測した距離測定点107の3次元座標(0、0、Z´´)が、投写中心102を原点としたプロジェクタ座標系に変換される。
ステップS906の処理で、距離検出位置平面特定部17により、プロジェクタ座標系における歪み補正後画像の物理座標119上の四隅点の物理座標と、各四角形の領域に対する平面の法線ベクトル123に基づいて、プロジェクタ座標系に変換された距離測定点107の3次元座標を含む平面が特定される。
ステップS905の処理で、3次元プロジェクタ座標変換部16により、距離センサ106の距離測定開始点を原点とする距離センサ座標系で計測した距離測定点107の3次元座標(0、0、Z´´)が、投写中心102を原点としたプロジェクタ座標系に変換される。
ステップS906の処理で、距離検出位置平面特定部17により、プロジェクタ座標系における歪み補正後画像の物理座標119上の四隅点の物理座標と、各四角形の領域に対する平面の法線ベクトル123に基づいて、プロジェクタ座標系に変換された距離測定点107の3次元座標を含む平面が特定される。
(第2実施形態)
次に、本発明の第2実施形態によるプロジェクタの概略構成を説明する。
図11は、第2実施形態によるプロジェクタの概略構成を示すブロック図の一例である。第2実施形態のプロジェクタは、基本的には図1に示した構成を有するものであるが、図11に示すように、図1の構成に加え、カメラ33と電子ペン34とが設けられている点が第1実施形態と異なる。この異なる点について以下説明する。
次に、本発明の第2実施形態によるプロジェクタの概略構成を説明する。
図11は、第2実施形態によるプロジェクタの概略構成を示すブロック図の一例である。第2実施形態のプロジェクタは、基本的には図1に示した構成を有するものであるが、図11に示すように、図1の構成に加え、カメラ33と電子ペン34とが設けられている点が第1実施形態と異なる。この異なる点について以下説明する。
電子ペン34の先端部には、スイッチと、スイッチが押下された状態で赤外線を発する発光部とが設けられている。使用者が、電子ペン34の先端部を投写対象物104の表面に押し当てると、スイッチが押下され、発光部から赤外線が出力される。
カメラ33は、電子ペン34の先端部から発せられる赤外線を撮影する。カメラ33が赤外線を撮影することにより、プロジェクタ101は、カメラ33の撮像画面の座標系を投写部2の投写画面の座標系に変換する。
カメラ33は、電子ペン34の先端部から発せられる赤外線を撮影する。カメラ33が赤外線を撮影することにより、プロジェクタ101は、カメラ33の撮像画面の座標系を投写部2の投写画面の座標系に変換する。
次に、第2実施形態によるプロジェクタの全体構成を説明する。
第2実施形態のプロジェクタは、基本的には図2に示した構成を有するものであるが、図12に示すように、フォーカス制御部4に代えて、電子ペン位置検出部22が設けられている点、プロジェクタ投写設計データ格納部11が、3次元形状検出部3から独立している点、及び歪み補正データ格納部6が電子ペンの画像上座標算出部27に接続されている点が第1実施形態と異なる。
電子ペン位置検出部22では、投写対象物104の表面上の電子ペン34のペン先から発光される赤外線を赤外線カメラ部23で撮像し、その投写対象物104の表面上における3次元位置を算出し、投写対象物104に表示されている表示画像上における電子ペン34のペン先の座標を算出する。
第2実施形態のプロジェクタは、基本的には図2に示した構成を有するものであるが、図12に示すように、フォーカス制御部4に代えて、電子ペン位置検出部22が設けられている点、プロジェクタ投写設計データ格納部11が、3次元形状検出部3から独立している点、及び歪み補正データ格納部6が電子ペンの画像上座標算出部27に接続されている点が第1実施形態と異なる。
電子ペン位置検出部22では、投写対象物104の表面上の電子ペン34のペン先から発光される赤外線を赤外線カメラ部23で撮像し、その投写対象物104の表面上における3次元位置を算出し、投写対象物104に表示されている表示画像上における電子ペン34のペン先の座標を算出する。
最初の状態として、図4で説明したように、プロジェクタ101から投写対象物104に歪み補正を施された映像が投写され、視点108の位置において、投写された映像を歪みのない状態で視線方向109から視認している状態となっている。
この状態で、第1実施形態と同様に、3次元形状検出部3において、投写対象物104の3次元位置が検出される。
そして、赤外線カメラ部23では、投写対象物104の表面上の電子ペンのペン先から発光される赤外線を撮像し、その撮像画像内の撮像位置から、赤外線カメラ座標系における原点を始点として、投写対象物104の表面上の電子ペンのペン先の方向を向いた電子ペンへの方向ベクトルを算出する。
この状態で、第1実施形態と同様に、3次元形状検出部3において、投写対象物104の3次元位置が検出される。
そして、赤外線カメラ部23では、投写対象物104の表面上の電子ペンのペン先から発光される赤外線を撮像し、その撮像画像内の撮像位置から、赤外線カメラ座標系における原点を始点として、投写対象物104の表面上の電子ペンのペン先の方向を向いた電子ペンへの方向ベクトルを算出する。
次に、電子ペン方向プロジェクタ座標変換部25では、赤外線カメラ部23で算出された電子ペンへの方向ベクトルを、投写中心点を原点としたプロジェクタ座標系に変換する。このとき使用されるのは、次の4つである。1つ目は、赤外線カメラキャリブレーションデータ格納部24に予め格納されている、赤外線カメラの座標系とプロジェクタ座標系との位置関係を計測するキャリブレーションを行い、赤外線カメラの座標系をプロジェクタ座標系に変換するためのパラメータである回転量と並進量である。2つ目は、キャリブレーションを行ったときの基準ズーム位置と基準レンズシフト位置である。3つ目は、投写レンズユニット9から得られるズーム位置とレンズシフト位置である。4つ目は、プロジェクタ投写設計データ格納部11に格納されているプロジェクタの投写に関わる設計データである。
なお、具体的な処理の内容は、第1実施形態における3次元データプロジェクタ座標変換部16において行われる処理と同様であるので、詳細な説明は省略する。
なお、具体的な処理の内容は、第1実施形態における3次元データプロジェクタ座標変換部16において行われる処理と同様であるので、詳細な説明は省略する。
電子ペン3次元位置算出部26では、電子ペン方向プロジェクタ座標変換部25から得られた電子ペンへの方向ベクトルと、3次元形状検出部3から得られた3次元位置データで表される面との交点を求め、電子ペンのペン先の3次元位置を算出する。
電子ペンの画像上座標算出部27では、プロジェクタ座標系における電子ペンのペン先の投写映像入力端子1から入力された映像における物理座標を算出する(図5における歪み補正後画像の物理座標119に対応する。)。
また、電子ペンの画像上座標算出部27では、歪み補正後画像における座標(図5における歪み補正後画像118に対応する。)を算出し、歪み補正データ格納部6を参照して投写映像入力端子1から入力された映像における座標(図5における歪み補正前画像120に対応する。)を算出し、電子ペン位置出力端子28から出力する。
そして、これらの計算は、投写レンズユニット部9から得られるズーム位置とレンズシフト位置、プロジェクタ投写設計データ格納部11に格納されているプロジェクタの投写に関わる設計データ、及び歪み補正データ格納部6に格納されている歪み補正データを使用して行われる。
電子ペンの画像上座標算出部27では、プロジェクタ座標系における電子ペンのペン先の投写映像入力端子1から入力された映像における物理座標を算出する(図5における歪み補正後画像の物理座標119に対応する。)。
また、電子ペンの画像上座標算出部27では、歪み補正後画像における座標(図5における歪み補正後画像118に対応する。)を算出し、歪み補正データ格納部6を参照して投写映像入力端子1から入力された映像における座標(図5における歪み補正前画像120に対応する。)を算出し、電子ペン位置出力端子28から出力する。
そして、これらの計算は、投写レンズユニット部9から得られるズーム位置とレンズシフト位置、プロジェクタ投写設計データ格納部11に格納されているプロジェクタの投写に関わる設計データ、及び歪み補正データ格納部6に格納されている歪み補正データを使用して行われる。
以上により、この電子ペン位置出力端子28から出力された投写映像入力1から入力された映像における電子ペンのペン先の座標は、投写映像を出力するPCなどの情報処理装置に入力される。これにより、投写対象物104上で電子ペンが示した投写映像の位置に対応するPC上の表示画面上の位置に対する文字や図形の書き込みを行うことができる。よって、電子ペンのユーザは、投写対象物104上の投写映像に、あたかも直接描いているかのように文字や図形を描くことができる。
(第3実施形態)
次に、第3実施形態によるプロジェクタの概略構成を説明する。
図13は、第3実施形態のプロジェクタの概略構成を示すブロック図の一例である。
図13を参照すると、プロジェクタ101は、投写部2と、記憶部31と、距離検出部53と、座標検出部51と、3次元形状算出部54とから構成される。
投写部2は、投写光を投写対象物104の投写面に投写する。記憶部31は、投写部2による投写光を補正する歪み補正データを格納する。距離検出部53は、投写面上の一点までの距離を検出する。座標検出部51は、投写光の座標系における一点の座標を検出する。3次元形状算出部54は、座標検出部51にて求められた投写光の座標系における一点の座標と、記憶部31に格納された歪み補正データから投写面の3次元形状を算出する。
次に、第3実施形態によるプロジェクタの概略構成を説明する。
図13は、第3実施形態のプロジェクタの概略構成を示すブロック図の一例である。
図13を参照すると、プロジェクタ101は、投写部2と、記憶部31と、距離検出部53と、座標検出部51と、3次元形状算出部54とから構成される。
投写部2は、投写光を投写対象物104の投写面に投写する。記憶部31は、投写部2による投写光を補正する歪み補正データを格納する。距離検出部53は、投写面上の一点までの距離を検出する。座標検出部51は、投写光の座標系における一点の座標を検出する。3次元形状算出部54は、座標検出部51にて求められた投写光の座標系における一点の座標と、記憶部31に格納された歪み補正データから投写面の3次元形状を算出する。
そして、記憶部31は、第1及び第2実施形態における歪み補正データ格納部6、プロジェクタ投写設計データ格納部11、距離センサキャリブレーションデータ格納部15で実現される。また、距離検出部53は、距離センサ部14で実現される。さらに、座標検出部51は、3次元データプロジェクタ座標変換部16で実現される。そして、3次元形状算出部54は、歪み補正対応領域抽出部10、投写視点画像物理座標算出部12、領域対応平面の法線ベクトル算出部13、距離検出位置平面特定部17、平面四隅点3次元位置算出部18で実現される。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
[付記1]
投写光を投写面に投写する投写手段と、
前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、
前記投写面上の一点までの距離を検出する距離検出手段と、
前記投写光の座標系における前記一点の座標を検出する座標検出手段と、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する3次元形状算出手段と、
を備える投写型表示装置。
[付記2]
座標変換手段は、前記距離検出手段の距離測定開始点を原点とする座標系における前記投写面上の一点までの距離から求められた座標から、前記投写光の座標系における前記一点の座標を検出する、付記1に記載の投写型表示装置。
[付記3]
前記投写面上の投写領域は複数の四角形に分割されて構成されており、
前記3次元形状算出手段は、
前記投写領域を構成する複数の四角形のうち、前記歪み補正データによる歪み補正前画像と歪み補正後画像との間における前記投写領域における四角形領域の対応と、前記歪み補正前画像と歪み補正後画像との間における前記四角形領域を形成する四隅点の座標を抽出する歪み補正対応領域抽出手段、を備える付記1又は2に記載の投射型表示装置。
[付記4]
前記3次元形状算出手段は、
前記歪み補正後画像が前記投写面に投写されたとき、前記歪み補正対応領域抽出手段で抽出された前記歪み補正後画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記投写手段の投写中心を原点とする座標系の座標として算出し、前記歪み補正前画像が或る視点から視認されたとき、歪み補正対応領域抽出手段で抽出された前記歪み補正前画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記視点を原点とする座標系の座標として算出する投写視点画像物理座標算出手段、を備える付記3に記載の投写型表示装置。
[付記5]
前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記視点を原点とする座標系の座標に基づいて、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルを算出する領域対応平面の法線ベクトル算出手段、を備える付記4に記載の投写型表示装置。
[付記6]
前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルに基づいて、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標を含む平面を特定し、前記平面における四隅点の3次元座標を計算する距離検出位置平面特定手段、を備える付記5に記載の投写型表示装置、
[付記7]
前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記法線ベクトルに基づいて、前記一点の座標を含む平面に対応する領域と、前記平面の方程式のパラメータと、前記平面上の四隅点の3次元座標から、前記投写領域に構成された複数の四角形領域のうち、残りの領域に対応する平面の四隅点の3次元座標を算出する平面四隅点3次元位置算出手段をさらに備える、付記6に記載の投射型表示装置。
[付記8]
前記平面四隅点3次元位置座標算出手段で算出された前記投写面の3次元形状に基づいて、前記投写面に投写される投写光の焦点補正を制御するフォーカス制御手段を備える、付記7に記載の投写型表示装置。
[付記9]
前記投写面に電子ペンのペン先がタッチされることにより発光する赤外線を撮像し、前記撮像された領域における前記電子ペンの位置に基づいて、前記撮像された領域の座標系における原点から前記電子ペンのペン先方向へ向けた方向ベクトルを算出する赤外線撮像手段と、
前記方向ベクトルを、前記投写手段の投写中心を原点とする座標系に変換する電子ペン方向プロジェクタ座標変換手段と、
前記投写手段の投写中心を原点とする座標系に変換された方向ベクトルと、前記平面四隅点3次元位置算出手段により算出された前記残りの領域に対応する平面の四隅点の3次元座標に基づいて、前記電子ペンのペン先の位置を算出する電子ペン位置算出手段と、
前記投写手段の投写中心を原点とする座標系における前記電子ペンのペン先の座標の前記投写面上における座標、前記歪み補正後画像の前記投写手段の投写中心を原点とする座標、前記歪み補正後画像における座標、前記記憶手段に格納された歪み補正データから歪み補正前画像における座標を算出し、電子ペン位置を出力する電子ペンの画像上座標算出手段と、を備える、付記7に記載の投写型表示装置。
[付記10]
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する工程を備える、投射型表示装置の制御方法。
[付記11]
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する処理を実行させるためのプログラム。
[付記1]
投写光を投写面に投写する投写手段と、
前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、
前記投写面上の一点までの距離を検出する距離検出手段と、
前記投写光の座標系における前記一点の座標を検出する座標検出手段と、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する3次元形状算出手段と、
を備える投写型表示装置。
[付記2]
座標変換手段は、前記距離検出手段の距離測定開始点を原点とする座標系における前記投写面上の一点までの距離から求められた座標から、前記投写光の座標系における前記一点の座標を検出する、付記1に記載の投写型表示装置。
[付記3]
前記投写面上の投写領域は複数の四角形に分割されて構成されており、
前記3次元形状算出手段は、
前記投写領域を構成する複数の四角形のうち、前記歪み補正データによる歪み補正前画像と歪み補正後画像との間における前記投写領域における四角形領域の対応と、前記歪み補正前画像と歪み補正後画像との間における前記四角形領域を形成する四隅点の座標を抽出する歪み補正対応領域抽出手段、を備える付記1又は2に記載の投射型表示装置。
[付記4]
前記3次元形状算出手段は、
前記歪み補正後画像が前記投写面に投写されたとき、前記歪み補正対応領域抽出手段で抽出された前記歪み補正後画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記投写手段の投写中心を原点とする座標系の座標として算出し、前記歪み補正前画像が或る視点から視認されたとき、歪み補正対応領域抽出手段で抽出された前記歪み補正前画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記視点を原点とする座標系の座標として算出する投写視点画像物理座標算出手段、を備える付記3に記載の投写型表示装置。
[付記5]
前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記視点を原点とする座標系の座標に基づいて、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルを算出する領域対応平面の法線ベクトル算出手段、を備える付記4に記載の投写型表示装置。
[付記6]
前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルに基づいて、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標を含む平面を特定し、前記平面における四隅点の3次元座標を計算する距離検出位置平面特定手段、を備える付記5に記載の投写型表示装置、
[付記7]
前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記法線ベクトルに基づいて、前記一点の座標を含む平面に対応する領域と、前記平面の方程式のパラメータと、前記平面上の四隅点の3次元座標から、前記投写領域に構成された複数の四角形領域のうち、残りの領域に対応する平面の四隅点の3次元座標を算出する平面四隅点3次元位置算出手段をさらに備える、付記6に記載の投射型表示装置。
[付記8]
前記平面四隅点3次元位置座標算出手段で算出された前記投写面の3次元形状に基づいて、前記投写面に投写される投写光の焦点補正を制御するフォーカス制御手段を備える、付記7に記載の投写型表示装置。
[付記9]
前記投写面に電子ペンのペン先がタッチされることにより発光する赤外線を撮像し、前記撮像された領域における前記電子ペンの位置に基づいて、前記撮像された領域の座標系における原点から前記電子ペンのペン先方向へ向けた方向ベクトルを算出する赤外線撮像手段と、
前記方向ベクトルを、前記投写手段の投写中心を原点とする座標系に変換する電子ペン方向プロジェクタ座標変換手段と、
前記投写手段の投写中心を原点とする座標系に変換された方向ベクトルと、前記平面四隅点3次元位置算出手段により算出された前記残りの領域に対応する平面の四隅点の3次元座標に基づいて、前記電子ペンのペン先の位置を算出する電子ペン位置算出手段と、
前記投写手段の投写中心を原点とする座標系における前記電子ペンのペン先の座標の前記投写面上における座標、前記歪み補正後画像の前記投写手段の投写中心を原点とする座標、前記歪み補正後画像における座標、前記記憶手段に格納された歪み補正データから歪み補正前画像における座標を算出し、電子ペン位置を出力する電子ペンの画像上座標算出手段と、を備える、付記7に記載の投写型表示装置。
[付記10]
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する工程を備える、投射型表示装置の制御方法。
[付記11]
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する処理を実行させるためのプログラム。
1 投写映像入力端子
2 投写部
3 3次元形状検出部
4 フォーカス制御部
5 映像処理部
6 歪み補正データ格納部
7 歪み補正部
8 焦点ボケ補正部
9 投写レンズユニット部
10 歪み補正対応領域抽出部
11 プロジェクタ投写設計データ格納部
12 投写視点画像物理座標算出部
13 領域対応平面の法線ベクトル算出部
14 距離センサ部
15 距離センサキャリブレーションデータ格納部
16 3次元データプロジェクタ座標変換部
17 距離検出位置平面特定部
18 平面四隅点3次元位置算出部
19 フォーカス位置テーブル格納部
20 焦点ボケパラメータテーブル格納部
21 フォーカス位置・焦点ボケパラメータ算出部
22 電子ペン位置検出部
23 赤外線カメラ部
24 赤外線カメラキャリブレーションデータ格納部
25 電子ペン方向プロジェクタ座標変換部
26 電子ペン3次元位置算出部
27 電子ペンの画面上座標産出部
28 電子ペン位置出力端子
30 情報処理部
31 記憶部
32 操作部
33 カメラ
34 電子ペン
51 座標検出部
53 距離検出部
54 3次元形状算出部
100 表示デバイス
101 プロジェクタ
102 投写中心
103 投写エリア
104 投写対象物
105 投写光軸
106 距離センサ
107 距離測定点
108 視点
109 視線方向
110 レンズシフト右上/ズーム最小時の投写エリア
111 レンズシフト右上/ズーム最大時の投写エリア
112 レンズシフト左上/ズーム最小時の投写エリア
113 レンズシフト左上/ズーム最大時の投写エリア
114 レンズシフト右下/ズーム最小時の投写エリア
115 レンズシフト右下/ズーム最大時の投写エリア
116 レンズシフト左下/ズーム最小時の投写エリア
117 レンズシフト左下/ズーム最大時の投写エリア
118 歪み補正後画像
119 歪み補正後画像の物理座標
120 視点画像としての歪み補正前画像
121 視点画像としての歪み補正前画像の仮の物理画像
122 平面の集合体
123 法線ベクトル
2 投写部
3 3次元形状検出部
4 フォーカス制御部
5 映像処理部
6 歪み補正データ格納部
7 歪み補正部
8 焦点ボケ補正部
9 投写レンズユニット部
10 歪み補正対応領域抽出部
11 プロジェクタ投写設計データ格納部
12 投写視点画像物理座標算出部
13 領域対応平面の法線ベクトル算出部
14 距離センサ部
15 距離センサキャリブレーションデータ格納部
16 3次元データプロジェクタ座標変換部
17 距離検出位置平面特定部
18 平面四隅点3次元位置算出部
19 フォーカス位置テーブル格納部
20 焦点ボケパラメータテーブル格納部
21 フォーカス位置・焦点ボケパラメータ算出部
22 電子ペン位置検出部
23 赤外線カメラ部
24 赤外線カメラキャリブレーションデータ格納部
25 電子ペン方向プロジェクタ座標変換部
26 電子ペン3次元位置算出部
27 電子ペンの画面上座標産出部
28 電子ペン位置出力端子
30 情報処理部
31 記憶部
32 操作部
33 カメラ
34 電子ペン
51 座標検出部
53 距離検出部
54 3次元形状算出部
100 表示デバイス
101 プロジェクタ
102 投写中心
103 投写エリア
104 投写対象物
105 投写光軸
106 距離センサ
107 距離測定点
108 視点
109 視線方向
110 レンズシフト右上/ズーム最小時の投写エリア
111 レンズシフト右上/ズーム最大時の投写エリア
112 レンズシフト左上/ズーム最小時の投写エリア
113 レンズシフト左上/ズーム最大時の投写エリア
114 レンズシフト右下/ズーム最小時の投写エリア
115 レンズシフト右下/ズーム最大時の投写エリア
116 レンズシフト左下/ズーム最小時の投写エリア
117 レンズシフト左下/ズーム最大時の投写エリア
118 歪み補正後画像
119 歪み補正後画像の物理座標
120 視点画像としての歪み補正前画像
121 視点画像としての歪み補正前画像の仮の物理画像
122 平面の集合体
123 法線ベクトル
Claims (11)
- 投写光を投写面に投写する投写手段と、
前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、
前記投写面上の一点までの距離を検出する距離検出手段と、
前記投写光の座標系における前記一点の座標を検出する座標検出手段と、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する3次元形状算出手段と、
を備える投写型表示装置。 - 座標変換手段は、前記距離検出手段の距離測定開始点を原点とする座標系における前記投写面上の一点までの距離から、前記投写光の座標系における前記一点の座標を検出する、請求項1に記載の投写型表示装置。
- 前記投写面上の投写領域は複数の四角形に分割されて構成されており、
前記3次元形状算出手段は、
前記投写領域を構成する複数の四角形のうち、前記歪み補正データによる歪み補正前画像と歪み補正後画像との間における前記投写領域における四角形領域の対応と、前記歪み補正前画像と歪み補正後画像との間における前記四角形領域を形成する四隅点の座標を抽出する歪み補正対応領域抽出手段、を備える請求項1又は2に記載の投射型表示装置。 - 前記3次元形状算出手段は、
前記歪み補正後画像が前記投写面に投写されたとき、前記歪み補正対応領域抽出手段で抽出された前記歪み補正後画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記投写手段の投写中心を原点とする座標系の座標として算出し、前記歪み補正前画像が或る視点から視認されたとき、歪み補正対応領域抽出手段で抽出された前記歪み補正前画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記視点を原点とする座標系の座標として算出する投写視点画像物理座標算出手段、を備える請求項3に記載の投写型表示装置。 - 前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記視点を原点とする座標系の座標に基づいて、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルを算出する領域対応平面の法線ベクトル算出手段、を備える請求項4に記載の投写型表示装置。 - 前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルに基づいて、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標を含む平面を特定し、前記平面における四隅点の3次元座標を計算する距離検出位置平面特定手段、を備える請求項5に記載の投写型表示装置、 - 前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記法線ベクトルに基づいて、前記一点の座標を含む平面に対応する領域と、前記平面の方程式のパラメータと、前記平面上の四隅点の3次元座標から、前記投写領域に構成された複数の四角形領域のうち、残りの領域に対応する平面の四隅点の3次元座標を算出する平面四隅点3次元位置算出手段をさらに備える、請求項6に記載の投射型表示装置。 - 前記平面四隅点3次元位置算出手段で算出された前記投写面の3次元形状に基づいて、前記投写面に投写される投写光の焦点補正を制御するフォーカス制御手段を備える、請求項7に記載の投写型表示装置。
- 前記投写面に電子ペンのペン先がタッチされることにより発光する赤外線を撮像し、前記撮像された領域における前記電子ペンの位置に基づいて、前記撮像された領域の座標系における原点から前記電子ペンのペン先方向へ向けた方向ベクトルを算出する赤外線撮像手段と、
前記方向ベクトルを、前記投写手段の投写中心を原点とする座標系に変換する電子ペン方向プロジェクタ座標変換手段と、
前記投写手段の投写中心を原点とする座標系に変換された方向ベクトルと、前記平面四隅点3次元位置算出手段により算出された前記残りの領域に対応する平面の四隅点の3次元座標に基づいて、前記電子ペンのペン先の位置を算出する電子ペン位置算出手段と、
前記投写手段の投写中心を原点とする座標系における前記電子ペンのペン先の座標の前記投写面上における座標、前記歪み補正後画像の前記投写手段の投写中心を原点とする座標、前記歪み補正後画像における座標、前記記憶手段に格納された歪み補正データから歪み補正前画像における座標を算出し、電子ペン位置を出力する電子ペンの画像上座標算出手段と、を備える、請求項7に記載の投写型表示装置。 - 投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する工程を備える、投射型表示装置の制御方法。 - 投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する処理を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019501790A JP6804056B2 (ja) | 2017-02-21 | 2017-02-21 | 投写型表示装置、投写型表示装置の制御方法、及びプログラム |
PCT/JP2017/006408 WO2018154634A1 (ja) | 2017-02-21 | 2017-02-21 | 投写型表示装置、投写型表示装置の制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/006408 WO2018154634A1 (ja) | 2017-02-21 | 2017-02-21 | 投写型表示装置、投写型表示装置の制御方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018154634A1 true WO2018154634A1 (ja) | 2018-08-30 |
Family
ID=63253207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/006408 WO2018154634A1 (ja) | 2017-02-21 | 2017-02-21 | 投写型表示装置、投写型表示装置の制御方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6804056B2 (ja) |
WO (1) | WO2018154634A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020166242A1 (ja) * | 2019-02-14 | 2020-08-20 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
JP2020201365A (ja) * | 2019-06-10 | 2020-12-17 | パナソニックIpマネジメント株式会社 | プロジェクタのオートフォーカス制御システム |
CN113163186A (zh) * | 2020-12-03 | 2021-07-23 | 深圳市当智科技有限公司 | 基于距离传感器水平校正的投影方法、***及存储介质 |
CN115150599A (zh) * | 2021-03-31 | 2022-10-04 | 成都极米科技股份有限公司 | 确定目标坐标的方法及装置 |
WO2023029458A1 (zh) * | 2021-08-31 | 2023-03-09 | 成都极米科技股份有限公司 | 一种校正方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061121A (ja) * | 1999-08-23 | 2001-03-06 | Nec Corp | プロジェクタ装置 |
JP3951984B2 (ja) * | 2003-08-22 | 2007-08-01 | 日本電気株式会社 | 画像投影方法、及び画像投影装置 |
-
2017
- 2017-02-21 JP JP2019501790A patent/JP6804056B2/ja active Active
- 2017-02-21 WO PCT/JP2017/006408 patent/WO2018154634A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001061121A (ja) * | 1999-08-23 | 2001-03-06 | Nec Corp | プロジェクタ装置 |
JP3951984B2 (ja) * | 2003-08-22 | 2007-08-01 | 日本電気株式会社 | 画像投影方法、及び画像投影装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020166242A1 (ja) * | 2019-02-14 | 2020-08-20 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
US11614835B2 (en) | 2019-02-14 | 2023-03-28 | Sony Group Corporation | Information processing device that projects drawing information according to ratio of distances, information processing method, and recording medium |
JP2020201365A (ja) * | 2019-06-10 | 2020-12-17 | パナソニックIpマネジメント株式会社 | プロジェクタのオートフォーカス制御システム |
JP7352768B2 (ja) | 2019-06-10 | 2023-09-29 | パナソニックIpマネジメント株式会社 | プロジェクタのオートフォーカス制御システム |
CN113163186A (zh) * | 2020-12-03 | 2021-07-23 | 深圳市当智科技有限公司 | 基于距离传感器水平校正的投影方法、***及存储介质 |
CN113163186B (zh) * | 2020-12-03 | 2022-06-10 | 深圳市当智科技有限公司 | 基于距离传感器水平校正的投影方法、***及存储介质 |
CN115150599A (zh) * | 2021-03-31 | 2022-10-04 | 成都极米科技股份有限公司 | 确定目标坐标的方法及装置 |
CN115150599B (zh) * | 2021-03-31 | 2023-11-28 | 成都极米科技股份有限公司 | 确定目标坐标的方法及装置 |
WO2023029458A1 (zh) * | 2021-08-31 | 2023-03-09 | 成都极米科技股份有限公司 | 一种校正方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018154634A1 (ja) | 2020-01-23 |
JP6804056B2 (ja) | 2020-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6804056B2 (ja) | 投写型表示装置、投写型表示装置の制御方法、及びプログラム | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
US20130222776A1 (en) | Image projector, method of image projection, and computer-readable storage medium storing program for causing computer to execute image projection | |
US9832362B2 (en) | Image-capturing apparatus | |
JP5401940B2 (ja) | 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ | |
KR20150120066A (ko) | 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
US20100328200A1 (en) | Device and related method for converting display screen into touch panel screen | |
JP7145432B2 (ja) | 投影システム、画像処理装置および投影方法 | |
US8441518B2 (en) | Imaging apparatus, imaging control method, and recording medium | |
JP2005347790A (ja) | 台形歪み補正装置を備えたプロジェクタ | |
JP2008165800A (ja) | カーソル制御方法及び装置 | |
WO2014084181A1 (ja) | 画像計測装置 | |
JP2016085380A (ja) | 制御装置、制御方法、及び、プログラム | |
JP6990694B2 (ja) | プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム | |
US9924066B2 (en) | Image processing apparatus, information processing method, and program | |
US10073614B2 (en) | Information processing device, image projection apparatus, and information processing method | |
WO2015159835A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5996233B2 (ja) | 画像撮像装置 | |
KR100917615B1 (ko) | 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치 | |
JP2013190281A (ja) | 設置状態検出システム、設置状態検出装置、及び設置状態検出方法 | |
JP2017040542A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5955003B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
US20140043233A1 (en) | Interactive system and remote device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17897394 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019501790 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17897394 Country of ref document: EP Kind code of ref document: A1 |