WO2014016994A1 - インターフェース装置、プログラム、及び制御方法 - Google Patents

インターフェース装置、プログラム、及び制御方法 Download PDF

Info

Publication number
WO2014016994A1
WO2014016994A1 PCT/JP2013/002358 JP2013002358W WO2014016994A1 WO 2014016994 A1 WO2014016994 A1 WO 2014016994A1 JP 2013002358 W JP2013002358 W JP 2013002358W WO 2014016994 A1 WO2014016994 A1 WO 2014016994A1
Authority
WO
WIPO (PCT)
Prior art keywords
laser beam
image
measurement
unit
laser light
Prior art date
Application number
PCT/JP2013/002358
Other languages
English (en)
French (fr)
Inventor
藤男 奥村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2014016994A1 publication Critical patent/WO2014016994A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Definitions

  • the present invention relates to an interface device, a program, and a control method.
  • Non-Patent Documents 1 to 3 shown below have a gesture recognition function that receives and recognizes a user's gesture as an input and an image projection function that outputs a response as an image, and performs interactive input / output. Each of them has an imaging device and a small projector.
  • the interface device disclosed in Non-Patent Document 1 is an interface device that combines a small projector and a camera.
  • the user performs a gesture by wearing a colored sack on the finger.
  • the interface device captures the position of the colored sac by the camera and recognizes the operation of the colored sac.
  • the interface device recognizes the user's gesture by recognizing the operation of the colored sack.
  • the interface device disclosed in Non-Patent Document 2 has a small projector and the interface device described in Patent Document 1, and is an interface device that is used on a person's shoulder.
  • the interface device projects an image on a user's palm or the like by the small projector.
  • the user performs a gesture such as touching the projected image.
  • the said interface apparatus recognizes the gesture which the user performed with respect to the said projected image using the said interface apparatus.
  • the interface device disclosed in Non-Patent Document 3 is a desk lamp type interface device having a robotic arm.
  • a small projector and a camera are provided in the light part of the desk lamp, and the arm part is movable.
  • the interface device projects an image on a desk or the like with the small projector.
  • the user performs a gesture on the image, and the interface device recognizes the user's gesture based on the image captured by the camera.
  • the interface device controls the movable arm based on a user instruction, and projects an image on a location designated by the user.
  • the gesture recognition function described above has a three-dimensional object measurement function that measures the distance between each point (such as each part of the user's body) on the three-dimensional object that gives input and the three-dimensional coordinates of each point. .
  • the gesture function repeatedly performs three-dimensional object measurement, and recognizes a user's gesture based on a change in the distance to each point on the three-dimensional object and a three-dimensional coordinate of each point.
  • Patent documents 1 and 2 below disclose inventions related to an interface apparatus that performs three-dimensional object measurement.
  • the device described in Patent Document 1 is a rangefinder that calculates the distance to the measurement target, and calculates the distance to the measurement target by the following method.
  • the apparatus separates laser light into a plurality of laser lights.
  • the above apparatus converges each laser beam so that each laser beam converges only on one axis that is different in a plane perpendicular to the traveling direction of the laser beam, and the focal length of each laser beam is different. Change the focal length of the light.
  • the apparatus captures the reflected light that is reflected when all the dispersed laser light hits the object, and calculates the distance from the object based on the cross-sectional shape of the reflected light.
  • Patent Document 2 is an image projection apparatus that measures the distance to a screen on which an image is projected and changes the focal length of laser light that projects the image according to the distance.
  • the space operation type interface device In order to be able to mount the space operation type interface device on a small device such as a portable terminal, the space operation type interface device needs to be small. Secondly, when the space operation type interface device is used in a portable terminal or the like, the space operation type interface device needs to be able to recognize a gesture of a user located near itself. For example, when the user operates the portable terminal with a finger, the user's finger is located very close to the portable terminal. Thirdly, cost reduction of the space operation type interface device is demanded.
  • An object of the present invention is to provide an interface device that is small in size, can recognize the motion of an object located at a short distance, and is low in cost, and a program and a control method for controlling the interface device.
  • the interface apparatus includes a measurement laser beam irradiation unit that irradiates a laser beam, a focal length of the laser beam on a first axis perpendicular to an irradiation direction of the laser beam, and the laser beam
  • a focal length changing means for independently changing a focal length of the laser beam on a second axis different from the first axis and perpendicular to the irradiation direction; and changing the irradiation direction of the laser beam
  • Scanning means for imaging, imaging means for imaging the reflected light reflected by the measurement point on the object to generate a measurement image, and distance calculation means for calculating a distance to the measurement point based on the measurement image
  • input information generating means for generating input information based on the scanning direction of the laser light by the scanning means and the distance to the measurement point.
  • An interface apparatus includes a measurement laser light irradiation unit that emits laser light, a focal length changing unit that changes a focal length of the laser light, and an optical element that changes the irradiation direction of the laser light.
  • a scanning unit ; an imaging unit configured to generate a measurement image by imaging reflected light reflected from the measurement point on the object; and a plurality of laser beams having different focal lengths irradiated on the same measurement point.
  • a distance calculation unit that calculates a distance to the measurement point by processing a plurality of measurement images obtained by imaging reflected light, a direction in which the scanning unit scans the laser beam, and a distance to the measurement point
  • Input information generating means for generating input information.
  • the program provided by the present invention causes a computer to have a function of controlling the interface device.
  • the interface device includes a measurement laser beam irradiation unit that irradiates a laser beam, a focal length of the laser beam on a first axis perpendicular to the irradiation direction of the laser beam, and an irradiation direction of the laser beam.
  • a focal length changing unit that independently changes a focal length of the laser beam on a second axis that is perpendicular to the first axis and a scanning unit that changes an irradiation direction of the laser beam;
  • imaging means for imaging the reflected light reflected by the measurement point on the object to generate a measurement image.
  • the program then causes the computer to calculate a distance to the measurement point based on the measurement image, a direction in which the scanning unit scans the laser light, and a distance to the measurement point.
  • a function for generating input information is provided.
  • the control method provided by the present invention is a control method for controlling the interface device.
  • the interface device includes a measurement laser beam irradiation unit that irradiates a laser beam, a focal length of the laser beam on a first axis perpendicular to the irradiation direction of the laser beam, and an irradiation direction of the laser beam.
  • a focal length changing unit that independently changes a focal length of the laser beam on a second axis that is perpendicular to the first axis and a scanning unit that changes an irradiation direction of the laser beam; Imaging means for imaging the reflected light reflected by the measurement point on the object to generate a measurement image, distance calculation means for calculating the distance to the measurement point based on the measurement image, and the scanning There is provided input information generation means for generating input information based on the direction in which the means scans the laser beam and the distance to the measurement point.
  • the measurement laser beam irradiating unit irradiates the laser beam
  • the focal length changing unit includes the focal length of the laser beam on the first axis and the second axis.
  • the scanning means changing the irradiation direction of the laser light, the imaging means generating the measurement image, and the distance calculating means, A step of calculating a distance to the measurement point; and a step of generating the input information by the input information generating means.
  • an interface device that is small in size, can recognize the motion of an object located at a short distance, and can be realized at low cost, and a program and a control method for controlling the interface device.
  • FIG. 1 It is a block diagram which shows the interface apparatus which concerns on Embodiment 1 with the object of recognition object. It is a figure which illustrates the space which an interface apparatus recognizes input. It is a figure showing the relationship between the spot which can be made on a measurement point with the laser beam and the laser beam. It is a figure showing the relationship between the distance to a measurement point, and a spot diameter. It is a figure showing the relationship between the distance to a measurement point, and the angle which anticipates a spot. It is a figure which shows a mode that a camera images the spot of a different magnitude
  • FIG. 1 It is a block diagram which shows the interface apparatus which concerns on Embodiment 1 with the object of recognition object. It is a figure which illustrates the space which an interface apparatus recognizes input. It is a figure showing the relationship between the spot which can be made on a measurement
  • FIG. 3 is a diagram illustrating a configuration example of a focal length changing unit according to the first embodiment.
  • FIG. It is a figure showing the example of a structure of a scanning part. It is a block diagram showing the interface apparatus using a polarization beam splitter.
  • 6 is a flowchart illustrating a flow of processing in which the interface apparatus according to the first embodiment generates input information. It is a figure showing a mode that the some spot which overlaps in a horizontal direction is imaged, and the image data of the imaging result.
  • 6 is a diagram illustrating a first configuration example of a focal length changing unit according to Embodiment 2.
  • FIG. 10 is a diagram illustrating a second configuration example of a focal length changing unit according to the second embodiment.
  • FIG. 10 is a diagram illustrating a third configuration example of a focal length changing unit according to the second embodiment.
  • 6 is a flowchart illustrating a flow of processing in which the interface apparatus according to the first embodiment generates input information. It is a block diagram which shows the interface apparatus which concerns on Embodiment 3 with the object of recognition object. It is a block diagram which shows the interface apparatus which concerns on Embodiment 4 with the object of recognition object. It is a figure which shows the specific structural example of the interface apparatus image projection part which concerns on Embodiment 4. FIG. It is a block diagram which shows the interface apparatus which concerns on Embodiment 5 with the object of measurement object.
  • FIG. 10 is a diagram illustrating a specific configuration example of an image projection unit according to a fifth embodiment.
  • FIG. 10 is a diagram illustrating a state transition of a vertical direction scanning unit according to the fifth embodiment. It is a figure which shows the 1st specific structure of the interface apparatus which concerns on Embodiment 6. FIG. It is a figure which shows the 2nd specific structure of the interface apparatus which concerns on Embodiment 6. FIG. It is a figure which shows the structural example of the scanning part which has a focal distance change part as a part of structure.
  • each component of each device indicates a functional unit block, not a hardware unit configuration.
  • Each component of each device includes a CPU, a memory of a computer, a program that realizes the components of this figure loaded in the memory, a storage medium such as a hard disk that stores the program, and a network connection interface. It is realized by any combination of software and software. There are various modifications of the implementation method and apparatus.
  • FIG. 1 is a block diagram showing an interface device 2000 according to the first embodiment together with an object 3000.
  • solid arrows in FIG. 1 represent the flow of light
  • dotted arrows represent the flow of information.
  • the interface device 2000 includes a laser beam irradiation unit 2020, a focal length changing unit 2040, an imaging unit 2060, and a scanning unit 2120.
  • the laser light irradiation unit 2020 emits laser light.
  • the focal length changing unit 2040 changes the focal length of the laser light irradiated by the laser light irradiation unit 2020. Specifically, the focal length of the laser light on a first axis perpendicular to the irradiation direction of the laser light and the first axis that is perpendicular to the irradiation direction of the laser light and different from the first axis. The focal length of the laser beam on the two axes is changed.
  • the scanning unit 2120 changes the irradiation direction of the laser light and irradiates the measurement point on the object 3000.
  • the imaging unit 2060 captures the reflected light reflected by the laser beam at the measurement point, and generates a measurement image.
  • the reflected light recorded in the measurement image is a cross section of the laser light at the measurement point on the object 3000.
  • the cross section of the laser beam is referred to as a spot.
  • the interface device 2000 further includes a distance calculation unit 2100 and an input information generation unit 2080.
  • the distance calculation unit 2100 processes the measurement image and calculates the distance to the measurement point.
  • the input information generation unit 2080 generates input information based on the direction in which the scanning unit 2120 radiates the laser light and the calculated distance to the measurement point.
  • the interface apparatus 2000 recognizes the movement of an object (eg, a user's hand) in a space such as the space 6000 by irradiating the laser beam while scanning it in the vertical direction and the horizontal direction as shown in FIG. To do.
  • an object eg, a user's hand
  • the interface device 2000 is small in size, can recognize the operation of the object 3000 located at a short distance, and can be realized at low cost.
  • the interface device 2000 does not require a distance between the laser light irradiation unit 2020 and the imaging unit 2060. Therefore, the interface device 2000 can be a small device.
  • the spot can be imaged even at a short distance, the movement of the object 3000 located near the interface device 2000 can also be recognized.
  • the cross-sectional shape of the spot may be a simple shape such as an ellipse
  • the distance calculation unit 2100 can calculate the distance to the object 3000 even if it is a measurement image generated by a low-resolution camera. Therefore, the interface device 2000 can be manufactured at low cost.
  • the interface apparatus 2000 irradiates a measurement point on the object 3000 with laser light, images a spot at the measurement point, and processes a measurement image that is an imaging result to calculate a distance to the measurement point. Below, the principle of the calculation method is demonstrated.
  • FIG. 3A shows changes due to the position of the spot diameter of the laser beam.
  • a laser beam 5010 is a collimated laser beam.
  • a spot 5020 is a cross section of the laser beam 5010 before passing through the lens 5040, and D is the diameter of the spot 5020.
  • the lens 5040 is a lens that changes the focal length of the laser light 5010.
  • f is the focal length of the laser beam 5010 after passing through the lens 5040
  • d is the spot diameter at the focal position of the laser beam 5010.
  • the spot 5030 is a spot at a distance Z from the focal point, and ⁇ (z) indicates the radius of the spot 5030.
  • the laser beam 5010 having a diameter D incident on the lens 5040 has a minimum diameter d at the focal position. This part is called a beam waist. Assuming an ideal Gaussian beam, d is given by Equation 1 below. Here, ⁇ is the wavelength of the laser beam.
  • ⁇ (z) is given by the following equation. From FIG. 3 and Formula 2, it can be seen that the laser beam 5010 beyond the beam waist expands.
  • an angle ⁇ at which the spot 5030 is viewed from the center position of the lens 5040 is defined (see FIG. 3B).
  • FIG. 4 shows the distance dependency of the spot diameter of the spot 5030 when the diameter D of the spot 5020 is 1.5 mm. As described in FIG. 3, the spot diameter of the spot 5030 decreases to the beam waist and increases after the beam waist.
  • FIG. 5 shows the distance dependency of the angle ⁇ in which the spot 5030 is expected.
  • increases near the lens 5040 and is minimized at the beam waist.
  • the value of ⁇ after the beam waist increases, but the degree of increase gradually decreases.
  • the interface apparatus 2000 changes the focal length of the laser beam 5010 so that the size of the spot 5030 expands after being reduced to the focal point. By doing so, the angle ⁇ changes with distance as shown in FIG.
  • the angle ⁇ at which the spot 5030 is expected can be calculated by processing two-dimensional image data.
  • the angle ⁇ can be calculated from the angle of view of the imaging means and the spot diameter on the image data.
  • the actual spot diameter on the measurement point cannot be directly calculated from the two-dimensional image data.
  • the image data of the spot 310 captured by the camera in FIG. 6 is compared with the image data of the spot 320, both spots in the image data have the same size.
  • the actual spot diameter cannot be determined only by the size in the image data.
  • the interface device 2000 calculates an angle ⁇ in which the spot 5030 at the measurement point on the object 3000 is expected from the interface device 2000, and calculates the distance to the measurement point by using the calculated angle ⁇ . Specifically, for example, the interface apparatus 2000 calculates the distance from the angle ⁇ to the measurement point on the object 3000 with reference to the relationship between the angle ⁇ and the distance to the spot 5030 as shown in FIG.
  • FIG. 5 the distance to the measurement point is 3.1 cm or 12 cm.
  • the interface apparatus 2000 of the present embodiment obtains two pairs of “focal length, angle ⁇ ” from one measurement image obtained by imaging a spot generated at a measurement point, and calculates the distance to the measurement point based on them. .
  • the method will be described below.
  • the interface device 2000 of the present embodiment changes the focal length of the laser light on the first axis and the second axis to different values. By doing so, the spot diameter on the first axis and the spot diameter on the second axis of the spot appearing on the measurement point become different values. This is because if the focal lengths are different for the two axes, the laser light converges and diffuses to different degrees for the two axes. This will be described with reference to FIG. FIG. FIG. 7 illustrates the states of convergence / diffusion on each of the first axis and the second axis of the laser light irradiated by the interface apparatus 2000 according to the present embodiment, and spots at various positions. In FIG.
  • the solid line represents the state of convergence / diffusion of the laser beam as viewed about the first axis
  • the dotted line represents the state of convergence / diffusion of the laser beam as viewed from the second axis.
  • the focal length on the first axis is shorter than the focal length on the second axis.
  • the first axis is a vertical axis
  • the second axis is a horizontal axis.
  • the position of the spot 210 is a position closer to the focal point for both the first axis and the second axis.
  • the position of the spot 220 is the focal point in the first axis.
  • the position of the spot 230 is a position farther from the focal point of the first axis and closer to the focal point of the second axis.
  • the position of the spot 240 is the focal point of the second axis.
  • the spot 250 is far from the focal point of both axes.
  • the spot diameter of each spot is different for the two axes. This is because the focal lengths of the two axes are different, so that the spot diameter changes with different degrees for the two axes.
  • the spot diameter on the first axis is the smallest at the spot 220 and increases with increasing distance from the position of the spot 220.
  • the spot diameter on the second axis decreases to the position of the spot 240 and increases thereafter.
  • the spot diameter of the spot at each position is different between the first axis and the second axis. Therefore, two spot diameters can be acquired from the result of imaging one spot.
  • each spot diameter corresponds to a different focal length.
  • the angle ⁇ can be obtained from the spot diameter in the measurement image. Therefore, two “focal length, angle ⁇ ” pairs can be obtained from the result of imaging one spot generated by the laser beam in which the focal lengths in the first axis and the second axis are changed to different values. it can.
  • the interface apparatus 2000 generates a measurement image obtained by imaging one spot on a measurement point by a laser beam in which the focal lengths of the first axis and the second axis are changed to different values. Based on this, the distance to the measurement point is calculated.
  • the interface apparatus 2000 records spots at a plurality of measurement points in one measurement image. By doing so, the number of image data to be generated is reduced, so that it is possible to reduce the amount of necessary calculation resources. For example, when recognizing an object in the space 6000 shown in FIG. 2, the interface apparatus 2000 collectively collects all the laser light spots irradiated toward the space 6000 into one measurement image.
  • the distance calculation unit 2100 performs processing according to the above-described measurement principle independently for each spot stored in the measurement image, and calculates the distance to each measurement point.
  • the laser beam irradiation unit 2020 irradiates the laser beam intermittently so that the spots do not overlap each other. In this case, the imaging unit 2060 needs to capture a plurality of spots as one image. This method will be described later.
  • the laser beam irradiated by the laser beam irradiation unit 2020 is preferably a laser beam that is invisible to human eyes.
  • An example is an infrared beam.
  • the laser beam irradiated by the laser beam irradiation unit 2020 is not limited to a specific type of laser beam. Invisible laser light other than infrared light or visible light may be used.
  • the laser beam irradiation unit 2020 only needs to be able to irradiate at least one of the various laser beams.
  • the laser beam irradiation unit 2020 may continue to irradiate the laser beam, or may intermittently irradiate the laser beam.
  • intermittently irradiating laser light for example, there is a method of irradiating laser light repeatedly at a predetermined timing, or irradiating laser light at a timing when receiving a notification from another functional component.
  • the laser beam is irradiated intermittently so that the spots do not overlap each other.
  • FIG. 8 shows a configuration example of the focal length changing unit 2040.
  • the focal length changing unit 2040 in FIG. 8 is a first focal length changing unit 2140 that changes the focal length of the laser beam on the first axis, and a second focal length changing unit that changes the focal length of the laser beam on the second axis. 2160.
  • the first focal length changing unit 2140 and the second focal length changing unit 2160 are configured with, for example, a cylindrical lens.
  • FIG. 9 shows a configuration example of the scanning unit 2120.
  • the scanning unit 2120 in FIG. 9 includes a horizontal scanning unit 2121 that changes the irradiation direction of the laser light in the horizontal direction, and a vertical scanning unit 2122 that changes the laser light irradiation direction in the vertical direction.
  • the horizontal direction scanning unit 2121 and the vertical direction scanning unit 2122 are, for example, mirrors that reflect laser light.
  • the rotation axis of the horizontal scanning unit 2121 and the rotation axis of the vertical scanning unit 2122 are orthogonal to each other.
  • the scanning unit 2120 reflects the laser beam by the horizontal scanning unit 2121 to change the irradiation direction of the laser beam to a desired direction in the horizontal direction.
  • the scanning unit 2120 reflects the laser beam by the vertical scanning unit 2122, thereby changing the irradiation direction of the laser beam to a desired direction with respect to the vertical direction. In this way, the scanning unit 2120 irradiates a desired position on the object 3000 with laser light. Note that the order in which the laser light is reflected by the horizontal scanning unit 2121 and the vertical scanning unit 2122 may be reversed.
  • Another configuration of the scanning unit 2120 is, for example, a configuration having one mirror that can rotate in the vertical direction and the horizontal direction about one point (not shown).
  • the irradiation position of the laser beam may be slightly deviated from the measurement point.
  • the scanning unit 2120 determines the irradiation direction of the laser light. For example, when the interface device 2000 irradiates laser light toward the space 6000 shown in FIG. 2, the minimum value and the maximum value of the deflection angle are given to each of the horizontal direction scanning unit 2121 and the vertical direction scanning unit 2122. For example, a storage area that can be read from the scanning unit 2120 is provided in the interface device 2000, and the minimum and maximum deflection angles of the horizontal scanning unit 2121 and the vertical scanning unit 2122 are stored in the data storage region. .
  • the imaging unit 2060 images a spot on the measurement point of the object 3000. In other words, the reflected light reflected by the laser beam irradiated by the laser beam irradiation unit 2020 hitting a measurement point on the object 3000 is photographed.
  • a specific example of the imaging unit 2060 is a camera having a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like.
  • the image capturing unit 2060 may directly capture the reflected light reflected by the laser beam on the object 3000.
  • the imaging unit 2060 may capture the reflected light that is guided in the direction of the imaging unit 2060 by the optical element 2070.
  • FIG. 10 shows a state in which the reflected light hitting the measurement point on the object 3000 is guided to the imaging unit 2060 by the optical element 2070.
  • the solid arrow represents the laser light emitted from the laser light irradiation unit 2020
  • the dotted arrow represents the reflected light reflected when the laser light hits the object 3000.
  • the optical element 2070 is, for example, a polarization beam splitter.
  • the optical element 2070 allows the laser light emitted from the laser light irradiation unit 2020 to pass therethrough, and the reflected light hitting the object 3000 is reflected in the direction of the imaging unit 2060, thereby guiding the reflected light to the imaging unit 2060.
  • the imaging unit 2060 When the imaging unit 2060 records a plurality of spots in one measurement image, the imaging unit 2060 has a function of maintaining the imaging state, for example. For example, consider a case where the imaging unit 2060 is a camera that receives light by a CCD image sensor and records the light received by the CCD image sensor as an image. In this case, the imaging unit 2060 can record the plurality of spots in one image by keeping the CCD image sensor in the light receiving state while imaging the plurality of spots.
  • the distance calculation unit 2100 calculates the distance to the measurement point on the object 3000 by processing the measurement image. Specifically, by processing the measurement image, an angle ⁇ for viewing the spot on the first axis and an angle ⁇ for viewing the spot on the second axis are calculated, and a pair of “focal length and angle ⁇ ” is calculated. Two are calculated. Then, the distance to the measurement point on the object 3000 is calculated by comparing the two pairs of “focal length, angle ⁇ ”. When obtaining the distances to a plurality of measurement points, two pairs of “focal length, angle ⁇ ” are calculated for each spot, and the distances to the respective measurement points are calculated.
  • the distance calculation unit 2100 acquires the focal length of the laser beam on the first axis and the focal length of the laser beam on the second axis. There are various methods. For example, the distance calculation unit 2100 performs data communication with the focal length change unit 2040 and acquires the focal length. Further, when the focal length on the first axis and the focal length on the second axis are fixed, the distance calculation unit 2100 may hold the values in advance.
  • the distance calculation unit 2100 acquires the measurement image generated by the imaging unit 2060.
  • the imaging unit 2060 records the generated measurement image in the storage area, and the distance calculation unit 2100 acquires the measurement image from the storage area.
  • the distance calculation unit 2100 may start the process of calculating the distance to the measurement point on the object 3000 by processing the measurement image.
  • the calculation process may be started upon receiving a notification from the control unit 2080 that has acquired the measurement image necessary for the measurement, or the calculation process may be started by monitoring the presence or absence of the measurement image periodically.
  • the input information generation unit 2080 generates input information based on the direction in which the scanning unit 2120 radiates the laser light and the distance to the measurement point in the above direction obtained by the distance calculation unit 2100.
  • the input information generated by the input information generation unit 2080 is various.
  • the input information is, for example, the three-dimensional coordinates of the measurement point in the space where the laser beam is irradiated, which is obtained from the direction and the distance. Further, by repeatedly measuring the distance to the same measurement point, a change in the three-dimensional coordinates of the measurement point may be calculated, and the change may be used as input information.
  • the three-dimensional coordinates of the space irradiated with laser light may be associated with a specific value, and the associated value may be used as input information.
  • the space to which the measurement laser beam is irradiated is divided into three equal parts in the vertical direction and the horizontal direction, and the space is divided into nine spaces, and numbers are assigned. It can be considered that the space number is linked to the measurement point.
  • the input information generation unit 2080 acquires from the scanning unit 2120 the irradiation direction when the scanning unit 2120 irradiates each measurement point with laser light. There are various methods by which the input information generation unit 2080 obtains the irradiation direction. For example, the input information generation unit 2080 receives a notification of the irradiation direction from the scanning unit 2120. For example, when the irradiation direction of the scanning unit 2120 is stored in the storage area as described above, the input information generation unit 2080 reads the irradiation direction of the laser light from the storage area.
  • the input information generation unit 2080 may start generating input information.
  • the input information generation unit 2080 may receive a notification from the distance calculation unit 2100 that calculates the distance to the measurement point, and may be triggered by the notification. Further, the input information generation unit 2080 may detect that the distance calculation unit 2100 has calculated the distance to the measurement point by monitoring the state of the distance calculation unit 2100, and may start generating input information.
  • FIG. 11 is a flowchart showing a flow of processing in which the interface apparatus 2000 recognizes the operation of the object 3000 and generates input information.
  • the interface apparatus 2000 calculates the distance to a plurality of measurement points on the object 3000 and generates input information.
  • step S102 the laser light irradiation unit 2020 irradiates laser light.
  • step S104 the focal length changing unit 2040 changes the focal length of the laser beam on the first axis and the focal length on the second axis to different focal lengths.
  • step S106 the imaging unit 2060 enters an imaging continuous state.
  • step S108 the measurement point number j is initialized to 1.
  • Steps S110 to S114 are loop processes for irradiating each measurement point with laser light.
  • step S110 it is checked whether the measurement point number j is equal to or less than the total number of measurement points. If j is equal to or less than the total number of measurement points, the process proceeds to step S112. If j is larger than the total number of measurement points, the process proceeds to step S116.
  • the scanning unit 2120 sets the irradiation position of the laser beam as the measurement point j.
  • the correspondence between the measurement point number j and the measurement point j is given in advance.
  • the measurement point j is determined in the direction in which the scanning unit 2120 irradiates laser light.
  • the scanning unit 2120 includes the horizontal scanning unit 2121 and the vertical scanning unit 2122, the measurement point j is determined by, for example, “the deflection angle of the horizontal scanning unit 2121 and the deflection angle of the vertical scanning unit 2122”.
  • Step S114 is the end of the loop processing.
  • the measurement point number j is incremented by 1, and the process returns to step S110.
  • step S116 the imaging unit 2060 ends the imaging continuous state and generates a measurement image.
  • step S118 the distance calculation unit 2100 calculates the distance to each measurement point j on the object 3000 based on the generated measurement image.
  • step S120 the input information generation unit 2080 generates input information based on the distance to each measurement point j and the irradiation direction when the scanning unit 2120 irradiates each measurement point j with the laser light.
  • the interface device 2000 irradiates the laser beam by the laser beam irradiation unit 2020.
  • the interface device 2000 uses the focal length changing unit 2040 to be perpendicular to the focal length of the laser beam on the first axis perpendicular to the irradiation direction of the laser beam and to the irradiation direction of the laser beam.
  • the focal length of the laser beam on a second axis different from the axis is changed to a different size.
  • the interface device 2000 irradiates the measurement point on the object 3000 with the laser light whose focal length has been changed by the scanning unit 2120, and generates an image for measurement in which the spot on the measurement point is imaged by the imaging unit 2060.
  • the distance calculation unit 2100 processes the measurement image to calculate the distance to the measurement point
  • the input information generation unit 2080 causes the distance to the measurement point and the scanning unit 2120 to perform laser scanning.
  • Input information is generated based on the direction of light irradiation.
  • the interface device 2000 is small in size, can measure an object 3000 located at a short distance, and can be realized at low cost.
  • the interface device 2000 in the present embodiment irradiates each of a plurality of laser beams changed to different focal lengths on the same measurement point on the object 3000, and images the reflected light. Then, the interface apparatus 2000 calculates a distance to the measurement point by processing a plurality of measurement images that are imaging results.
  • the focal length changing unit 2040 changes the focal length of the laser beam irradiated by the laser beam irradiation unit 2020 to a different focal length at different timings. By doing so, the object 3000 is irradiated with a plurality of laser beams having different focal lengths.
  • the scanning unit 2120 irradiates the same measurement point on the object 3000 with the plurality of laser beams.
  • the imaging unit 2060 captures each spot generated at the same measurement point on the object 3000 by the plurality of laser beams having different focal lengths, and generates a plurality of measurement images.
  • the distance calculation unit 2100 processes the plurality of measurement images and calculates the distance to the measurement point.
  • the interface device 2000 in the present embodiment has the following operations and effects.
  • the laser light in the present embodiment does not need to be changed to different focal lengths for two different axes, and for example, the focal length is changed equally for all the axes. Accordingly, for example, if the spot shape of the laser light irradiated by the laser light irradiation unit 2020 is a perfect circle, the spot shape of the laser light after the focal length changing unit 2040 changes the focal length also becomes a perfect circle. Therefore, the shape of the spot imaged in the present embodiment is simpler than the shape of the spot imaged in the first embodiment.
  • the interface apparatus 2000 according to the present embodiment can calculate the distances to the respective measurement points even when spots at a plurality of measurement points partially overlap for the reasons described later.
  • the interface apparatus 2000 irradiates a plurality of laser beams with different focal lengths on the same measurement point on the object 3000, and generates a measurement image for each spot generated by each laser beam. Then, the distance calculation unit 2100 calculates an angle ⁇ at which the spot is expected from each measurement image, and calculates the distance to the measurement point.
  • each measurement image captures a spot of a laser beam having a different focal length, one “focal length, angle ⁇ ” pair is obtained from one measurement image. Further, as described in the first embodiment, if two pairs of “focal length, angle ⁇ ” are obtained, the distance to the measurement point can be calculated.
  • the interface apparatus 2000 calculates the angle ⁇ in which each spot is expected from a plurality of measurement images obtained by imaging spots with a plurality of laser beams with different focal lengths irradiated on the same measurement point. The distance to the measurement point is calculated.
  • the interface apparatus 2000 can calculate the distance to each measurement point even if some of the spots at a plurality of measurement points overlap each other in the measurement image.
  • a method of calculating the angle ⁇ at which each spot is expected when the spots overlap will be described.
  • FIG. 12 shows a state of measurement and an imaging result when a plurality of measurement points on the object 3000 are continuous in the horizontal direction.
  • the interface device 2000 is located at a place where the shortest distance from the cylindrical object 3000 is 10 cm. Then, the laser beam is continuously irradiated in the horizontal direction toward the object 3000 to image the spot.
  • the image data 110 is image data acquired when the focal length is 10 cm
  • the image data 120 is an image result acquired when the focal length is 20 cm.
  • a region indicated by hatching is reflected light of the laser beam.
  • the spots at each measurement point overlap in the horizontal direction, the spots do not become circular.
  • the calculation of the angle ⁇ at which the spot is expected does not require the entire spot. This is because the angle ⁇ at which the spot is viewed corresponds to the diameter portion of the spot as shown in FIG. Therefore, even if the spots overlap each other, if the diameter portion of each spot is known, the angle ⁇ that anticipates each spot can be calculated. For example, in the case of FIG.
  • the angle ⁇ can be calculated by using the vertical diameter portion of each spot. Since the interface apparatus 2000 in this embodiment has only to calculate the angle ⁇ at which each spot is expected for each spot in one measurement image, even if the spots overlap each other as described above, The distance to the measurement point can be calculated.
  • the angle ⁇ can be calculated by performing a process of restoring the original spot shape from the imaged spot fragment.
  • the interface device 2000 can measure the distance to each measurement point even if a plurality of spots partially overlap each other. Therefore, even when images of spots at a plurality of adjacent measurement points are simultaneously imaged, the laser beam irradiation unit 2020 may continuously irradiate laser beams.
  • the focal length changing unit 2040 in FIG. 13 is an example of a configuration having a position fixing optical element 2041 whose position is fixed and a position variable optical element 2042 whose position is variable.
  • the focal length of the laser light passing through the focal length changing unit 2040 is determined by the position of the position variable optical element 2042. Therefore, the position of the position variable optical element 2042 is changed based on the value of the focal length set for the passing laser beam.
  • the position fixing optical element 2041 is, for example, a lens.
  • the position variable optical element 2042 is configured, for example, by combining a lens and a movable mechanism using a piezoelectric element or the like.
  • the focal length changing unit 2040 includes two position variable optical elements 2042, but the number of position variable optical elements 2042 is not limited to two.
  • the number of position variable optical elements 2042 included in the focal length changing unit 2040 may be one, or may be three or more.
  • the focal length changing unit 2040 in FIG. 14 is an example of a configuration having a plurality of optical elements having different focal lengths.
  • a plurality of optical elements 2043 having different focal lengths are arranged in a disk shape.
  • the focal length of the laser beam can be changed by changing the optical element 2043 that passes the laser beam by rotating the disk.
  • FIG. 15 shows another configuration example of the focal length changing unit 2040 having a plurality of optical elements having different focal lengths.
  • optical elements 2044 having different focal lengths are arranged in a stripe shape.
  • the focal length of the laser light is changed by moving the optical elements 2044 arranged in a stripe shape up and down and changing the optical elements 2044 through which the laser light passes. it can.
  • an optical element that can change the focal length.
  • an optical element there is a lens whose shape can be changed, such as a dynamorph lens.
  • the focal length changing unit 2040 may be configured as a part of the scanning unit 2120 (see FIG. 26).
  • FIG. 16 is a flowchart showing a flow of processing in which the interface apparatus 2000 recognizes the operation of the object 3000 and generates input information.
  • steps S102, S106 to S116, and step S120 are the same as the processes with the same reference numerals in the drawing described in the first embodiment, and thus description thereof will be omitted as appropriate.
  • step S102 the laser light irradiation unit 2020 emits laser light.
  • step S202 the focal length number i is initialized to 1.
  • Steps S204 to S208 are loop processing A in which the loop processing B is repeated while changing the focal length of the laser beam.
  • the loop process B is a loop process executed in steps S110 to S114, and is a process for imaging a spot at each measurement point as described in the first embodiment. By performing the loop process A, a spot at each measurement point is imaged for each laser beam to be changed to a different focal length.
  • step S204 it is checked whether the focal length number i is equal to or smaller than the total number of focal lengths to be set. If the focal length number i is equal to or less than the total number of focal lengths to be set, the process proceeds to step S206. If the focal length number i is larger than the total number of focal lengths to be set, the process proceeds to step S210.
  • step S206 the laser beam irradiation unit 2020 sets the focal length of the focal length changing unit 2040 to the focal length i.
  • the correspondence between the focal length number i and the focal length is set in advance.
  • Steps S106 to S116 are processes for capturing a spot at each measurement point j as one measurement image, as described in the first embodiment.
  • Step S208 is the end of loop processing A. i is incremented by 1, and the process returns to step S204.
  • step S210 the distance calculation unit 2100 calculates the distance to each measurement point j by processing the measurement images acquired for the laser beams having different focal lengths. For example, the acquired image data is divided into groups for each measurement point j, and the distance to each measurement point j is calculated by applying the measurement principle described above to each group.
  • step S120 input information is generated by the same method as in the first embodiment.
  • the interface apparatus 2000 irradiates the same measurement point on the object 3000 with each of a plurality of laser beams changed to different focal lengths by the focal length changing unit 2040.
  • the imaging unit 2060 images the spot on the measurement point for each of the plurality of laser beams having different focal lengths.
  • the distance calculation unit 2100 calculates a distance to the measurement point by processing a plurality of measurement images generated for different focal lengths.
  • the interface device 2000 according to the present embodiment has the following operations and effects. First, since the spot shape to be imaged is a simple shape, the value of the imaging resolution required for the imaging unit 2060 is reduced, and the imaging unit 2060 can be realized with an inexpensive and small device.
  • the interface device 2000 becomes smaller. Furthermore, since the distance to the measurement point can be calculated from the result of imaging a part of the spot, the interface device 2000 calculates the distance to each measurement point even when the spots at a plurality of measurement points partially overlap each other. be able to.
  • FIG. 17 is a diagram illustrating the interface apparatus 2000 according to the third embodiment together with the recognition target object 3000.
  • those having functional blocks with the same reference numerals in FIG. 1 have the same functions as the functional blocks with the same reference numerals in FIG.
  • the meaning of the arrow is the same as in FIG.
  • the interface device 2000 of this embodiment includes an image projection unit 2180.
  • the image projection unit 2180 projects an image in the space where the laser beam irradiation unit 2020 irradiates the laser beam.
  • the image projection unit 2180 is a small projector, for example.
  • the image projected by the image projection unit 2180 is, for example, an image that assists user input.
  • the image projection unit 2180 projects a keyboard image used for input by the user. In this case, the user performs an operation of touching a desired key on the projected keyboard.
  • the interface device 2000 recognizes movements of the user's fingers and arms, thereby generating input information representing keys touched by the user.
  • the image projecting unit 2180 projects a plurality of images representing options presented to the user side by side. The user touches an image to be selected from among the displayed images.
  • the interface device 2000 recognizes the movement of the user's finger or arm at that time, thereby generating input information indicating which image has been selected.
  • Another example of the image projected by the image projection unit 2180 is an image representing a result of processing the input information by a mobile terminal or the like that acquires the input information from the interface device 2000. For example, when the user performs a key operation, it is conceivable to output an image in which input characters are displayed. By doing so, the interface device 2000 can easily convey to the user the result of processing of the user's input by the mobile terminal or the like connected to the interface device 2000.
  • the generation of input information using laser light may be performed by the method described in the first embodiment or may be performed by the method described in the second embodiment.
  • the space irradiated with the measurement laser light is preferably wider than the space where the image projection unit 2180 projects an image. By doing so, even when the user is outside the space where the image is irradiated, the user's operation can be recognized. For example, this makes it possible to recognize the user's operation before entering the space to irradiate the image and change the image to be irradiated based on the operation.
  • the size relationship between the irradiation space of the measurement laser beam and the space for projecting the image is not limited to the above.
  • the sizes of the two spaces may be the same, or conversely, the space for projecting the image may be larger.
  • the imaging unit 2060 does not capture the light projected on the output image. Therefore, for example, it is desirable that the laser light irradiation unit 2020 emits an infrared beam, and the imaging unit 2060 images infrared rays through an infrared filter or the like.
  • the interface apparatus 2000 projects an output image by the image projection unit 2180. Accordingly, the interface apparatus 2000 can provide a more interactive interface to the user. Specifically, for example, the user's input can be assisted by using the output image. In addition, for example, by displaying an output image based on the user's input, it is possible to inform the user of the result of processing the user's input by the mobile terminal connected to the interface device.
  • FIG. 18 is a diagram illustrating the interface device 2000 according to the fourth embodiment together with the recognition target object 3000.
  • those having functional blocks with the same reference numerals in FIG. 17 have the same functions as the functional blocks with the same reference numerals in FIG.
  • the meaning of the arrow is the same as in FIG.
  • the image projection unit 2180 in this embodiment irradiates the output image with laser light.
  • the scanning unit 2120 in this embodiment includes a first optical element 2200 that changes the irradiation direction of the laser light emitted by the laser light irradiation unit 2020, and a second optical that changes the irradiation direction of the laser light emitted by the image projection unit 2180.
  • An element 2220 is included.
  • the scanning unit 2120 in this embodiment scans the laser light emitted from the laser light irradiation unit 2020 and the laser light emitted from the image projection unit 2180 using different optical elements.
  • the laser beam irradiated by the laser beam irradiation unit 2020 will be referred to as measurement laser beam
  • the laser beam irradiated by the image projection unit 2180 will be referred to as image laser beam.
  • the first optical element 2200 and the second optical element 2220 have, for example, a combination of a horizontal direction scanning unit 2121 and a vertical direction scanning unit 2122 shown in FIG.
  • the scanning unit 2120 scans the image laser light by a method similar to the measurement laser light scanning method described with reference to FIG. By doing so, the interface apparatus 2000 projects the output image toward the same space as the space irradiated with the measurement laser light.
  • the specific configuration of the image projection unit 2180 in the present embodiment is, for example, the configuration shown in FIG.
  • the image projection unit 2180 in FIG. 19 includes three laser light sources 2181, collimating lenses 2182, and dichroic mirrors 2183, and further includes an image control unit 2184.
  • the three laser light sources 2181 are a red laser light source, a green laser light source, and a blue laser light source, respectively.
  • the collimating lens 2182 collimates the laser light emitted from the laser light source 2181.
  • the dichroic mirror 2183 changes the irradiation direction of the collimated laser light so as to overlap with the laser light emitted by the other laser light source 2181.
  • the image control unit 2184 controls the output of each laser light source 2181 so that the laser light with which the laser light emitted from each laser light source overlaps has a desired color. In this way, the image projection unit 2180 outputs a single laser beam having a desired color by superimposing the output red laser light, green laser light, and blue laser light.
  • the second optical element 2220 scans the laser beam having the desired color.
  • the interface apparatus 2000 projects an output image with laser light.
  • the interface device 2000 of the present embodiment can be made smaller than the interface device 2000 of the third embodiment.
  • FIG. 20 is a diagram illustrating the interface apparatus 2000 according to the fifth embodiment together with the object 3000 to be recognized.
  • those having functional blocks with the same reference numerals in FIG. 18 have the same functions as the functional blocks with the same reference numerals in FIG.
  • description is abbreviate
  • the scanning unit 2120 in this embodiment scans both the measurement laser beam and the image laser beam with the first optical element 2200.
  • the interface device 2000 when simultaneously irradiating the measurement laser beam and the image laser beam, the interface device 2000 according to the present embodiment irradiates one laser beam obtained by superimposing these two laser beams.
  • the first optical element 2200 scans the laser beam obtained by superimposing the image laser beam and the measurement laser beam.
  • the interface device 2000 irradiates measurement laser light and image laser light simultaneously, for example, with the configuration shown in FIG.
  • the configuration shown in FIG. 21 is a configuration in which a laser beam irradiation unit 2020 and a focal length change unit 2040 are added to the image projection unit 2180 shown in FIG. .
  • the laser beam irradiated by the laser beam irradiation unit 2020 is collimated by the collimator lens 2182 and then the focal length is changed by the focal length changing unit 2040.
  • the irradiation direction is changed by the dichroic mirror 2183, and the laser light is irradiated in the same direction as the laser light irradiated by the laser light source 2181.
  • the interface device 2000 in the present embodiment has fewer optical elements in the scanning unit 2120 than the interface device 2000 in the fourth embodiment. Therefore, the interface device 2000 becomes smaller.
  • the interface device 2000 may irradiate the image laser beam and the measurement laser beam asynchronously or may irradiate the two laser beams at the same time. Further, the two laser beams may be irradiated at different timings in synchronization. When the image laser beam and the measurement laser beam are not synchronized, the image laser beam irradiation and the measurement laser beam irradiation are performed independently.
  • the above two cases in the case where the image laser beam and the measurement laser beam are synchronized will be described.
  • the scanning unit 2120 includes a horizontal direction scanning unit 2121 and a vertical direction scanning unit 2122 and scans the image laser beam and the measurement laser beam as shown in FIG.
  • the image laser light in the case of the scanning method shown in FIG. 2 moves several times in the horizontal direction and only in one direction in the vertical direction while projecting one image.
  • the horizontal scanning unit 2121 performs a rotation operation at a plurality of times at high speed, while the vertical scanning unit 2122 rotates only in one direction at a low speed.
  • the vertical scanning unit 2122 then rotates in the reverse direction and returns to the initial position after the image projection is completed.
  • FIG. 22 is a diagram illustrating a change over time in the deflection angle ⁇ of the vertical scanning unit 2122 and the intensity of each laser beam.
  • FIG. 23 is a diagram illustrating a change in the state of the vertical direction scanning unit 2122 from time t0 to time t5 in FIG.
  • image projection is started.
  • time t2 the projection of the image ends.
  • time t3 the return of the vertical scanning unit 2122 to the initial position starts.
  • time t5 the return of the vertical scanning unit 2122 to the initial position is completed. Thereafter, the vertical scanning unit 2122 projects an image while repeating the same operation from time t0 to time t5.
  • the rotation speed when the vertical scanning unit 2122 returns to the initial position is generally faster than the rotation speed during image projection. Therefore, in FIG. 22, the time interval from time t3 to t5 is shorter than the time interval from time t0 to t2.
  • the time change of the deflection angle ⁇ of the vertical direction scanning unit 2122 is, for example, as shown in FIG. As described above, image projection is performed from time t0 to t2, and the vertical scanning unit 2122 is returned to the initial position from time t3 to t5.
  • FIG. 22B shows a change over time of the intensity of the image laser light emitted by the image projection unit 2180. Since the image is projected from time t0 to t2, the image laser light emitted by the image projection unit 2180 becomes strong. On the other hand, from time t3 to t5, since the operation of returning the vertical scanning unit 2122 to the initial position is performed, the laser beam emitted by the image projection unit 2180 becomes weak.
  • FIG. 22 (c) shows the change over time of the intensity of the laser beam irradiated by the laser beam irradiation unit 2020 when the measurement laser beam is irradiated simultaneously with the image laser beam. Since the laser beam irradiation unit 2020 is irradiated while the image laser beam is being irradiated, the same change as in FIG.
  • FIG. 23 (d) shows the change over time of the intensity of the laser beam irradiated by the laser beam irradiation unit 2020 when the measurement laser beam is irradiated at a timing different from that of the image laser beam.
  • the measurement laser beam becomes strong while the vertical scanning unit 2122 is rotated to return to the initial position (for example, between time t3 and t5), and becomes weak at other times. By doing so, the measurement laser beam is irradiated at a timing different from that of the image laser beam.
  • the time taken to return the vertical scanning unit 2122 to the initial position is shorter than the time taken to project the image. Therefore, if the measurement laser light is irradiated intermittently when the measurement laser light is irradiated at a timing different from that of the image laser light, the density of the measurement laser light irradiation may be reduced.
  • the laser light needs to be irradiated with a certain interval in order to prevent the spots at the measurement points from overlapping. is there. Therefore, the density at which the measurement laser light is irradiated may be smaller than the density at which the image laser light is irradiated. Further, when distance measurement is performed by the method described in Embodiment 2, there is no problem that the irradiation density of the measurement laser light is reduced if laser light is continuously irradiated.
  • the method of irradiating the measurement laser beam and the image laser beam at different timings has the following advantages. First, it is possible to reduce noise generated due to interference between the measurement laser beam and the image laser beam. Depending on the type of measurement laser beam, for example, when infrared rays are used as the measurement laser beam, the infrared rays of the measurement laser beam and the red component of the image laser beam may interfere with each other. By irradiating the measurement laser beam and the image laser beam at different timings, it is possible to prevent such mutual interference between the measurement laser beam and the image laser beam.
  • the peak value of power supplied to the interface device 2000 can be reduced.
  • the measurement laser beam and the image laser beam for example, in the above example, it is necessary to supply power to four laser light sources at a time.
  • the measurement laser beam and the image laser beam are irradiated at different timings, in the above example, power may be supplied to a maximum of three laser light sources at a time. Therefore, the peak power of the interface device 2000 can be reduced. Thereby, for example, there is an effect that the power supply can be reduced in size by reducing the power supply capability required for the power supply.
  • the laser beam irradiation unit 2020 and the image projection unit 2180 are synchronized based on the operation of the vertical direction scanning unit 2122.
  • the image projection unit 2180 is projecting an image while the deflection angle ⁇ of the vertical direction scanning unit 2122 is increasing, and an image while the deflection angle ⁇ is not changing or decreasing. Is not projected.
  • the laser beam irradiation unit 2020 has a function of monitoring the operation of the vertical direction scanning unit 2122 to determine whether to irradiate the measurement laser beam, so that the measurement laser beam is the same as the image laser beam. Synchronize.
  • the measurement laser beam and the image laser beam are synchronized by exchanging a signal indicating whether or not the laser beam is irradiated with each other between the measurement laser beam and the image laser beam. .
  • the interface device 2000 with a control unit that controls the operation of the laser beam irradiation unit 2020 or the image projection unit 2180, or both, the measurement laser beam and the image laser beam may be synchronized.
  • the laser light source of the laser light irradiation unit 2020 and the image projection unit 2180 may always continue to emit laser light.
  • the laser light irradiation unit 2020 and the image projection unit 2180 have a filter that blocks the laser light emitted from the laser light source, and controls the output of the laser light by opening and closing the filter.
  • the interface apparatus 2000 scans both the measurement laser beam and the image laser beam with the first optical element 2200 and irradiates them in the same direction. Therefore, when the measurement laser beam and the image laser beam are irradiated at the same time, they overlap and become one laser beam.
  • the interface device 2000 of the present embodiment has fewer optical elements in the scanning unit 2120 than the interface device 2000 of the fourth embodiment. Therefore, the interface device 2000 becomes smaller. Further, when the measurement laser beam and the image laser beam are irradiated at different timings, 1) interference between the measurement laser beam and the image laser beam can be prevented, and 2) the peak power of the interface device 2000 is small. As a result, since the power supply of the interface device 2000 can be reduced in size, the interface device 2000 can be further reduced in size.
  • FIG. 24 shows a specific configuration example of the interface apparatus 2000 in the present embodiment.
  • components having the same reference numerals in FIG. 21 have the same functions, and description thereof will be omitted as appropriate.
  • solid line arrows indicate the flow of light for projecting the output image
  • alternate long and short dash lines indicate the flow of measurement laser light
  • dotted lines indicate the flow of information.
  • the image projection unit 2180 in this embodiment includes an image light source 2185, a spatial light modulator 2187, an image control unit 2184, a deflection beam splitter 2186, and a projection lens 2188.
  • This is a general configuration of a single-plate LCOS (Liquid Crystal On Silicon) type projector.
  • the image projection unit 2180 projects an image by modulating light emitted from the image light source 2185 (hereinafter referred to as image irradiation light) by the spatial light modulator 2187.
  • the image control unit 2184 controls the spatial light modulator 2187 based on the output image, and causes the spatial light modulator 2187 to modulate the image irradiation light into light representing the target image.
  • the image control unit 2184 adjusts the spatial light so that the image irradiation light irradiated on each area of the spatial light modulator 2187 is modulated into the color light of each dot of the output image corresponding to each area.
  • Each area of the modulator 2187 is controlled.
  • the output image is projected in the following flow, for example.
  • the image control unit 2184 controls the spatial light modulator 2187 based on the image to be projected.
  • the image light source 2185 emits image irradiation light.
  • the deflecting beam splitter 2186 reflects the image irradiation light and irradiates the spatial light modulator 2187.
  • the spatial light modulator 2187 modulates the image irradiation light into light representing the target image and reflects it.
  • the deflecting beam splitter 2186 allows the image irradiation light reflected by the spatial light modulator 2187 to pass therethrough.
  • the projection lens 2188 irradiates the image irradiation light onto the space.
  • the deflection beam splitter 2186 and the projection lens 2188 included in the image projection unit 2180 further irradiate the measurement laser light on the space.
  • the measurement laser light whose irradiation direction has been changed by the scanning unit 2120 is further changed in irradiation direction by the deflecting beam splitter 2186 and is irradiated onto the space by the projection lens 2188.
  • the spatial light modulator 2187 is, for example, a single plate type LCOS spatial modulator.
  • the specific configuration of the image projection unit 2180 may be the configuration shown in FIG.
  • the deflecting beam splitter 2186 and the projection lens 2188 collect the reflected light of the measurement laser light imaged by the imaging unit 2060 and guide it to the imaging unit 2060.
  • the reflected light reflected on the measurement point is collected through the projection lens 2188 and irradiated on the deflection beam splitter 2186.
  • the deflection beam splitter 2186 changes the irradiation direction of the reflected light and guides it to the imaging unit 2060.
  • the image projection unit 2180 reflects the image irradiation light irradiated by the image light source 2185 by the deflection beam splitter 2186 and irradiates the spatial light modulator 2187.
  • the spatial light modulator 2187 modulates the image irradiation light into light representing the target image and reflects it.
  • the projection lens 2188 irradiates the image irradiation light onto the space. Further, the deflecting beam splitter 2186 and the projection lens 2188 irradiate the measurement laser beam on the space.
  • the deflecting beam splitter 2186 and the projection lens 2188 collect the reflected light of the measurement laser light imaged by the imaging unit 2060 and guide it to the imaging unit 2060.
  • the interface device 2000 of the present embodiment has the following operations and effects.
  • the interface apparatus 2000 in the present embodiment can project an output image with higher brightness than the interface apparatus 2000 in the fourth and fifth embodiments.
  • the interface apparatus 2000 also uses a part of the configuration of the image projection unit 2180 to irradiate the measurement laser light or to collect the reflected light reflected by the measurement laser light at the measurement point. Therefore, the interface device 2000 in the present embodiment can be reduced in size as compared with the interface device 2000 in the third embodiment.
  • a laser beam irradiation means for measuring to irradiate the laser beam;
  • Focal length changing means for changing the focal length of the laser beam independently of each other
  • Scanning means for changing the irradiation direction of the laser beam
  • Imaging means for imaging the reflected light reflected by the measurement point on the object and generating a measurement image
  • Distance calculating means for calculating a distance to the measurement point based on the measurement image
  • An interface apparatus comprising input information generating means for generating input information based on a direction in which the scanning means scans the laser light and a distance to the measurement point.
  • a laser beam irradiation means for measuring to irradiate the laser beam;
  • a focal length changing means for changing a focal length of the laser beam;
  • Scanning means comprising an optical element for changing the irradiation direction of the laser beam;
  • Imaging means for imaging the reflected light reflected by the measurement point on the object and generating a measurement image;
  • Distance calculating means for processing the plurality of measurement images obtained by imaging the reflected lights of the plurality of laser beams with different focal lengths irradiated on the same measurement point, and calculating the distance to the measurement point;
  • An interface apparatus having input information generation means for generating input information based on a direction in which the scanning means irradiates the laser light and a calculated distance to the measurement point.
  • Image projection means for projecting an output image in a space in the same direction as the space irradiated with the laser light. Or 2. The interface device according to 1. 4).
  • the image projection means irradiates the output image with laser light
  • the scanning means includes A first optical element that scans in the horizontal and vertical directions the laser beam emitted by the measurement laser beam irradiation unit; 2. a second optical element that scans in the horizontal and vertical directions the laser beam emitted by the image projection unit; The interface device according to 1. 5.
  • the image projection means irradiates the output image with laser light, 2.
  • the interface device according to 1. 6).
  • a laser beam superimposing unit that superimposes the laser beam irradiated by the image projection unit and the laser beam irradiated by the measurement laser beam irradiation unit;
  • the scanning unit includes an optical element that scans the laser beam output from the laser beam superimposing unit in a horizontal direction and a vertical direction.
  • the interface device according to 1. 7). 2. Irradiate the laser beam emitted from the image projection unit and the laser beam emitted from the measurement laser beam irradiation unit at different timings; To 6.
  • the interface device according to any one of the above.
  • the image projection means projects the output image using a spatial light modulation element, 2.
  • the light for projecting the output image by the image projection means passes through the same irradiation port as either or both of the measurement laser light and the reflected light imaged by the imaging means.
  • the interface device according to 1. 9.
  • a program for giving a computer a function of controlling an interface device The interface device A laser beam irradiation means for measuring to irradiate the laser beam; The focal length of the laser light on a first axis perpendicular to the irradiation direction of the laser light and the second axis that is perpendicular to the irradiation direction of the laser light and different from the first axis Focal length changing means for changing the focal length of the laser beam independently of each other; Scanning means for changing the irradiation direction of the laser beam; Imaging means for imaging the reflected light reflected by the measurement point on the object and generating a measurement image; The program is stored in the computer.
  • the program is stored in the computer.
  • a control method for controlling an interface device comprising: The interface device A laser beam irradiation means for measuring to irradiate the laser beam; The focal length of the laser light on a first axis perpendicular to the irradiation direction of the laser light and the second axis that is perpendicular to the irradiation direction of the laser light and different from the first axis
  • Focal length changing means for changing the focal length of the laser beam independently of each other;
  • Scanning means for changing the irradiation direction of the laser beam; Imaging means for imaging the reflected light reflected by the measurement point on the object and generating a measurement image; Distance calculating means for calculating a distance to the measurement point based on the measurement image;
  • An input information generating unit configured to generate input information based on a direction in which the scanning unit scans the laser beam and a distance to the measurement point;
  • the control method is The measuring laser light irradiation means irradiating the laser light;
  • a control method for controlling an interface device comprising: The interface device A laser beam irradiation means for measuring to irradiate the laser beam; A focal length changing means for changing a focal length of the laser beam; Scanning means comprising an optical element for changing the irradiation direction of the laser beam; Imaging means for imaging the reflected light reflected by the measurement point on the object and generating a measurement image;
  • the control method is The measuring laser light irradiation means irradiating the laser light;
  • the focal length changing means changing the focal length of the laser beam;
  • the scanning unit changes the irradiation direction of the plurality of laser beams having different focal lengths and irradiates the same measurement point;
  • the imaging means generating the measurement image; The step of calculating the distance to the measurement point based on a plurality of the measurement images generated for each of the plurality of laser beams having different focal lengths irradiated to the same measurement point;
  • a control method comprising the step of the input information generating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

 インターフェース装置(2000)は、レーザ光を照射するレーザ光照射部(2020)、レーザ光の焦点距離をレーザ光に垂直な第1の軸と、第1の軸と異なる第2の軸とにおいて、異なる値に変更する焦点距離変更部(2040)、レーザ光の照射方向を変更する走査部(2120)、及び物体(3000)の計測点上で反射したレーザ光を撮像して計測用画像を生成する撮像部(2060)を有する。インターフェース装置(2000)は、計測用画像を処理して計測点までの距離を算出する距離算出部(2100)、及び計測点までの距離と走査部(2120)がレーザ光を照射した方向に基づき、入力情報を生成する入力情報生成部(2080)を有する。

Description

インターフェース装置、プログラム、及び制御方法
 本発明は、インターフェース装置、プログラム、及び制御方法に関する。
 近年、ジェスチャーを利用して入力を行う空間操作型インターフェース装置が開発されている。その例として、下記に示す非特許文献1から3のものがあげられる。これらはユーザのジェスチャーを入力として受け取って認識するジェスチャー認識機能と、応答を画像として出力する画像投射機能を併せ持ち、インタラクティブな入出力を行う。またこれらはいずれも、撮像装置と小型プロジェクタを有する。
 非特許文献1が開示するインターフェース装置は、小型プロジェクタとカメラとを組み合わせたインターフェース装置である。ユーザは指に色付きサックを装着してジェスチャーを行う。上記インターフェース装置は、上記カメラによって色付きサックの位置を撮像し、色付きサックの動作を認識する。上記インターフェース装置は、色付きサックの動作を認識することで、ユーザのジェスチャーを認識する。
 非特許文献2が開示するインターフェース装置は、小型プロジェクタと特許文献1記載のインターフェース装置を有し、人の肩の上に乗せて使用するインターフェース装置である。上記インターフェース装置は、上記小型プロジェクタによって、ユーザの掌などに画像を投影する。ユーザは、上記投影された画像に対し、触る等のジェスチャーを行う。そして上記インターフェース装置は、上記インターフェース装置を利用し、上記投影した画像に対してユーザが行ったジェスチャーを認識する。
 非特許文献3が開示するインターフェース装置は、ロボティックアームを有する電気スタンド型のインターフェース装置である。電気スタンドにおけるライト部分に小型プロジェクタとカメラが設けられており、アーム部分が可動式となっている。上記インターフェース装置は、上記小型プロジェクタで、机の上などに画像を投影する。ユーザは、その画像に対してジェスチャーをおこない、上記インターフェース装置は、上記カメラが撮像する画像によってユーザのジェスチャーを認識する。上記インターフェース装置は、ユーザの指示に基づいて上記可動式のアームを制御し、ユーザの指示した場所に画像を投影する。
 上述したジェスチャー認識機能は、入力を与える三次元物体上の各点(ユーザの体の各部分など)と自身の間の距離や上記各点の三次元座標を計測する三次元物体計測機能を有する。上記ジェスチャー機能は、三次元物体計測を繰り返し行い、上記三次元物体上の各点までの距離や各点の三次元座標の変化によってユーザのジェスチャーを認識する。三次元物体計測を行うインターフェース装置に関連する発明を開示する特許文献として、以下の特許文献1と2がある。
 特許文献1記載の装置は、計測対象までの距離を算出する測距計であり、以下の方法で計測対象までの距離を算出する。まず上記装置は、レーザ光を複数のレーザ光に分光する。次に上記装置は、分光した各レーザ光について、レーザ光の進行方向に対して垂直な平面において相違する一つの軸についてのみ収束し、かつそれぞれのレーザ光の焦点距離が異なるように、各レーザ光の焦点距離を変更する。そして上記装置は、分光した全てのレーザ光が物体に当たって反射した反射光を撮像し、反射光の断面形状に基づいて上記物体との距離を算出する。
 特許文献2記載の装置は、画像を投影するスクリーンまでの距離を計測し、その距離に従って画像を投影するレーザ光の焦点距離を変更する画像投影装置である。
特開2008-32707号公報 特開2009-193008号公報
Pranav Mistry、「SixthSense」、MIT Media Lab、[平成23年12月16日検索]、インターネット<URL:http://www.pranavmistry.com/projects/sixthsense> Chris Harrison、Hrvoje Benko and Andrew D. Wilson、「Omnitouch: Wearable Multitouch Interaction Everywhere」、the 24th Symposium on User Interface Software and Technology(UIST'11)、Advanced Computing Machinery(ACM)、2011年10月16日 Natan Linder and Pattie Maes、「LuminAR: Portable Robotic Augmented Reality Interface Design and Prototype」、the 23th Symposium on User Interface Software and Technology(UIST'10)、Advanced Computing Machinery(ACM)、2010年10月3日
 第1に、空間操作型インターフェース装置を携帯端末等の小型機器に搭載可能にするために、空間操作型インターフェース装置は小型である必要がある。第2に、空間操作型インターフェース装置を携帯端末等で利用する場合、空間操作型インターフェース装置は自身の近くに位置するユーザのジェスチャーを認識できる必要がある。例えばユーザが指で携帯端末を操作する場合、ユーザの指は携帯端末のごく近くに位置するためである。第3に、空間操作型インターフェース装置の低コスト化が求められている。
 しかしながら、従来の技術では、上記3つの課題を同時に解決することが難しい。
 本発明の目的は、小型であり、近距離に位置する物体の動作を認識可能であり、低コストであるインターフェース装置と、そのインターフェース装置を制御するプログラム及び制御方法を提供することである。
 本発明が提供するインターフェース装置は、レーザ光を照射する計測用レーザ光照射手段と、前記レーザ光の照射方向に対して垂直な第1の軸における前記レーザ光の焦点距離と、前記レーザ光の照射方向に対して垂直であり、かつ第1の軸とは異なる第2の軸における前記レーザ光の焦点距離とを互いに独立して変更する焦点距離変更手段と、前記レーザ光の照射方向を変更する走査手段と、前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段と、該計測画像に基づいて前記計測点までの距離を算出する距離算出手段と、前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する入力情報生成手段を有する。
 本発明が提供するインターフェース装置は、レーザ光を照射する計測用レーザ光照射手段と、前記レーザ光の焦点距離を変更する焦点距離変更手段と、前記レーザ光の照射方向を変更する光学素子を備える走査手段と、前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段と、同一の前記計測点上に照射した焦点距離の異なる複数の前記レーザ光の反射光をそれぞれ撮像した複数の前記計測画像を処理して前記計測点までの距離を算出する距離算出手段と、前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて入力情報を生成する入力情報生成手段を有する。
 本発明が提供するプログラムは、コンピュータに、インターフェース装置を制御する機能を持たせる。前記インターフェース装置は、レーザ光を照射する計測用レーザ光照射手段と、前記レーザ光の照射方向に対して垂直な第1の軸における前記レーザ光の焦点距離と、前記レーザ光の照射方向に対して垂直であり、かつ第1の軸とは異なる第2の軸における前記レーザ光の焦点距離とを互いに独立して変更する焦点距離変更手段と、前記レーザ光の照射方向を変更する走査手段と、前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段を有する。そして、当該プログラムは、前記コンピュータに、該計測画像に基づいて前記計測点までの距離を算出する機能と、前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する機能を持たせる。
 本発明が提供する制御方法は、インターフェース装置を制御する制御方法である。前記インターフェース装置は、レーザ光を照射する計測用レーザ光照射手段と、前記レーザ光の照射方向に対して垂直な第1の軸における前記レーザ光の焦点距離と、前記レーザ光の照射方向に対して垂直であり、かつ第1の軸とは異なる第2の軸における前記レーザ光の焦点距離とを互いに独立して変更する焦点距離変更手段と、前記レーザ光の照射方向を変更する走査手段と、前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段と、該計測画像に基づいて前記計測点までの距離を算出する距離算出手段と、前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する入力情報生成手段を有する。そして、当該制御方法は、前記計測用レーザ光照射手段が、前記レーザ光を照射するステップと、前記焦点距離変更手段が、前記レーザ光の前記第1の軸における焦点距離と前記第2の軸における焦点距離を互いに異なる値に変更するステップと、前記走査手段が、前記レーザ光の照射方向を変更するステップと、前記撮像手段が、前記計測画像を生成するステップと、前記距離算出手段が、前記計測点までの距離を算出するステップと、前記入力情報生成手段が、前記入力情報を生成するステップを有する。
 本発明によれば、小型であり、近距離に位置する物体の動作を認識可能であり、低コストで実現できるインターフェース装置、及びそのインターフェース装置を制御するプログラムと制御方法を提供できる。
 上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態1に係るインターフェース装置を認識対象の物体と共に示すブロック図である。 インターフェース装置が入力を認識する空間を例示する図である。 レーザ光とそのレーザ光によって計測点上にできるスポットの関係を表す図である。 計測点までの距離とスポット径の関係を表す図である。 計測点までの距離とスポットを見込む角度の関係を表す図である。 カメラが異なる大きさのスポットを同じ大きさの物体として撮像する様子を示す図である。 実施形態1に係るインターフェース装置におけるスポットの形状の変化を表す図である。 実施形態1に係る焦点距離変更部の構成例を表す図である。 走査部の構成例を表す図である。 偏光ビームスプリッタを利用したインターフェース装置を表すブロック図である。 実施形態1に係るインターフェース装置が入力情報を生成する処理の流れを表すフローチャートである。 水平方向に重なり合う複数のスポットを撮像する様子とその撮像結果の画像データを表す図である。 実施形態2に係る焦点距離変更部の第1の構成例を表す図である。 実施形態2に係る焦点距離変更部の第2の構成例を表す図である。 実施形態2に係る焦点距離変更部の第3の構成例を表す図である。 実施形態1に係るインターフェース装置が入力情報を生成する処理の流れを表すフローチャートである。 実施形態3に係るインターフェース装置を認識対象の物体と共に示すブロック図である。 実施形態4に係るインターフェース装置を認識対象の物体と共に示すブロック図である。 実施形態4に係るインターフェース装置画像投影部の具体的構成例を示す図である。 実施形態5に係るインターフェース装置を計測対象の物体と共に示すブロック図である。 実施形態5に係る画像投影部の具体的構成例を示す図である。 垂直方向走査部の偏向角の時間変化と各レーザ光の照射タイミングを表す図である。 実施形態5に係る垂直方向走査部の状態遷移を表す図である。 実施形態6に係るインターフェース装置の第1の具体的構成を示す図である。 実施形態6に係るインターフェース装置の第2の具体的構成を示す図である。 焦点距離変更部を構成の一部として有する走査部の構成例を示す図である。
 以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
 なお、以下に示す説明において、各装置の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。各装置の各構成要素は、任意のコンピュータのCPU、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶メディア、ネットワーク接続用インターフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
[実施形態1]
<概要>
 図1は、実施形態1に係るインターフェース装置2000を、物体3000と共に示すブロック図である。ここで、図1における実線の矢印は光の流れを表し、点線の矢印は情報の流れを表す。
 インターフェース装置2000は、レーザ光照射部2020、焦点距離変更部2040、撮像部2060、及び走査部2120を有する。レーザ光照射部2020は、レーザ光を照射する。焦点距離変更部2040は、レーザ光照射部2020が照射したレーザ光の焦点距離を変更する。具体的には、上記レーザ光の照射方向に垂直な第1の軸における上記レーザ光の焦点距離と、上記レーザ光の照射方向に垂直であり、かつ上記第1の軸と異なる軸である第2の軸における上記レーザ光の焦点距離を変更する。走査部2120は、上記レーザ光の照射方向を変更し、物体3000上の計測点に照射する。撮像部2060は、上記レーザ光が、上記計測点で反射した反射光を撮像し、計測用画像を生成する。ここで、計測用画像に記録される反射光は、物体3000上の計測点におけるレーザ光の断面となる。以下、レーザ光の断面のことをスポットと呼ぶ。
 インターフェース装置2000はさらに、距離算出部2100及び入力情報生成部2080を有する。距離算出部2100は、上記計測用画像を処理し、上記計測点までの距離を算出する。入力情報生成部2080は、走査部2120が上記レーザ光を照射した方向と、算出した計測点までの距離に基づいて、入力情報を生成する。
 インターフェース装置2000は、例えば図2に示すように、レーザ光を垂直方向及び水平方向に走査しながら照射することで、空間6000のような空間内における物体(例:ユーザの手)の動きを認識する。
 以上の構成によりインターフェース装置2000は、小型であり、近距離に位置する物体3000の動作を認識可能であり、低コストで実現できる。まず、インターフェース装置2000は、三角計量を行う装置とは異なり、レーザ光照射部2020と撮像部2060の間に距離を空ける必要がない。そのため、インターフェース装置2000は小型な装置にすることができる。また、スポットは近距離でも撮像可能であるため、インターフェース装置2000から近い位置にある物体3000の動作も認識することができる。さらに、スポットの断面形状は楕円形等の単純な形状でよいため、距離算出部2100は、低解像度なカメラで生成した計測用画像であっても、物体3000までの距離を算出できる。したがって、インターフェース装置2000は低コストで作製することができる。
 以下、本実施形態の詳細を述べる。
<計測点におけるスポットを利用した距離算出の原理>
 インターフェース装置2000は、物体3000上の計測点にレーザ光を照射し、上記計測点におけるスポットを撮像し、その撮像結果である計測用画像を処理して上記計測点までの距離を算出する。以下では、その算出方法の原理を説明する。
 まず、レーザ光の光学的性質について図3を用いて説明する。図3(a)はレーザ光のスポット径の位置による変化を示している。レーザ光5010はコリメートされたレーザ光である。スポット5020は、レンズ5040を通過する前のレーザ光5010の断面であり、Dはそのスポット5020の直径である。レンズ5040はレーザ光5010の焦点距離を変更するレンズである。fはレンズ5040通過後のレーザ光5010の焦点距離、dはレーザ光5010の焦点位置におけるスポット径である。スポット5030は、焦点から距離Zの位置におけるスポットであり、ω(z)はスポット5030の半径を示す。
 レンズ5040に入射する直径Dのレーザ光5010は、焦点位置で最小の径dとなる。この部分をビームウエストと呼ぶ。理想的なガウシアンビームを仮定した場合dは以下の数式1で与えられる。ここでλはレーザ光の波長である。
Figure JPOXMLDOC01-appb-M000001
 ビームウエスト半径をω0(ω0=d/2)とすると、ω(z)は以下の式で与えられる。図3と数式2から、ビームウエストより先のレーザ光5010は拡がっていくことが分かる。
Figure JPOXMLDOC01-appb-M000002
 ここで、ビームウエストより先のレーザ光5010の拡がり度合いを示す値として、レンズ5040の中心位置からスポット5030を見込んだ角度θを定義する(図3(b)参照)。
 図4は、スポット5020の径Dが1.5mmであった場合におけるスポット5030のスポット径の距離依存性を示す。図3でも説明したように、スポット5030のスポット径は、ビームウエストまで減少し、ビームウエスト後に拡大している。
 図5は、スポット5030を見込んだ角度θの距離依存性を示す。θは、レンズ5040の近くで大きくなり、ビームウエストで最小になる。そしてビームウエスト後のθの値は、増加しつつも、その増加度合いは徐々に小さくなっていく。ここで、例えばスポットを撮像する場所から単調に拡大するスポットの場合、スポットを見込んだ角度θは、距離によらず一定となる。そのためこの場合は、角度θに基づいてスポットの位置を算出することができない。そこでインターフェース装置2000は、スポット5030の大きさが、焦点まで縮小した後に拡がっていくように、レーザ光5010の焦点距離を変更する。こうすることで角度θは、図5に示す様に距離によって変化する。
 スポット5030を見込んだ角度θは、二次元の画像データを処理することで算出できる。例えば角度θは、撮像手段の画角と画像データ上のスポット径から算出することができる。
 一方、計測点上における実際のスポット径は、二次元の画像データから直接算出することはできない。例えば図6におけるカメラがスポット310を撮像した画像データとスポット320を撮像した画像データを比較すると、画像データ内における両スポットの大きさは同じになる。このように、画像データ内における大きさだけでは、実際のスポットの径を決定することができない。
 そこでインターフェース装置2000は、インターフェース装置2000から物体3000上の計測点におけるスポット5030を見込んだ角度θを算出し、算出した角度θを用いることで、計測点までの距離を算出する。具体的には例えば、インターフェース装置2000は、図5に示す様な角度θとスポット5030までの距離の関係を参照して、角度θから物体3000上の計測点までの距離を算出する。
 ただし、角度θを1つ算出しただけでは、スポット5030までの距離を算出できない場合がある。これは、ビームウエスト前のスポット5030を見込んだ角度θと、ビームウエスト後のスポット5030を見込んだ角度θが等しくなる場合があるためである。例えば図5において、焦点距離fが5cmの場合、3.1cmと12cmのところでθ=10°となっている。このようにレーザ光5010の焦点距離を1通りに変更してスポットを撮像した画像データのみでは、撮像したスポットが、ビームウエスト前にあるものなのか、ビームウエスト後にあるものなのかを判別することができない。
 計測点までの距離は、「焦点距離,角度θ」のペアを2つ以上用いることで算出できる。例えば、焦点距離f=5cmに変更したレーザ光5010と、焦点距離f=10cmに変更したレーザ光5010をそれぞれ照射した場合を考える。まず、焦点距離f=5cmにしたレーザ光5010を計測点に照射して観測を行う。その結果、角度θ=10°であったとする。この場合、図5より、計測点までの距離は3.1cm又は12cmとなる。次に、焦点距離f=10cmに変更したレーザ光5010を計測点に照射して観測を行う。ここで図5より、物体3000に焦点距離f=10cmに変更したレーザ光5010を照射した場合、計測点までの距離が3.1cmであれば角度θ=20°であり、距離が12cmであれば、角度θ=1.5°である。したがって、焦点距離f=10cmに変更したレーザ光5010を照射した場合の角度θを算出し、上記1.5°と20°のどちらであるかを決定することで、物体3000上の計測点までの距離を決定することができる。
 本実施形態のインターフェース装置2000は、計測点に生じるスポットを撮像した1つの計測用画像から、「焦点距離,角度θ」のペアを2つ求め、それらに基づいて計測点までの距離を算出する。以下、その方法を説明する。
 本実施形態のインターフェース装置2000は、第1の軸と第2の軸におけるレーザ光の焦点距離をそれぞれ異なる値に変更する。こうすることで、計測点上に現れるスポットの第1の軸におけるスポット径と第2の軸におけるスポット径は、異なる値になる。これは、上記2つの各軸について焦点距離が異なると、上記レーザ光は、上記2つの軸について異なる度合いで収束・拡散するためである。この様子を、図7を用いて説明する。図7は、本実施形態におけるインターフェース装置2000が照射したレーザ光の第1の軸及び第2の軸それぞれにおける収束・拡散の様子と、様々な位置におけるスポットを図示したものである。図7において、実線は、第1の軸について見たレーザ光の収束・拡散の様子を、点線は、第2の軸について見たレーザ光の収束・拡散の様子をそれぞれ表している。第1の軸における焦点距離の方が、第2の軸における焦点距離より短い。ここで図7では、第1の軸は垂直方向の軸、第2の軸は水平方向の軸としている。
 スポット210の位置は、第1の軸及び第2の軸の両方について焦点より近い位置である。スポット220の位置は、第1の軸における焦点である。スポット230の位置は、第1の軸の焦点より遠く、第2の軸の焦点より近い位置である。スポット240の位置は、第2の軸の焦点である。スポット250は、双方の軸の焦点より遠い位置である。
 図7に示すように、各スポットのスポット径は、2つの軸について異なる大きさになる。2つの軸について焦点距離が異なるため、スポット径が、2つの軸について異なる度合いで変化するためである。まず第1の軸についてはスポット220の位置が焦点位置となっているため、第1の軸におけるスポット径は、スポット220が最小であり、スポット220の位置から遠くなるにつれて大きくなっていく。一方第2の軸についてはスポット240の位置が焦点位置となっているため、第2の軸におけるスポット径は、スポット240の位置までは小さくなっていき、それ以降は大きくなっていく。
 以上のように、レーザ光の焦点距離を第1の軸と第2の軸で異なる大きさに変更すると、各位置におけるスポットのスポット径が、第1の軸と第2の軸について異なる。したがって、1つのスポットを撮像した結果から2つのスポット径を取得することができる。ここで、それぞれのスポット径は、異なる焦点距離と対応している。さらに前述したように、計測用画像におけるスポット径から、角度θを求めることができる。したがって、第1の軸と第2の軸における焦点距離を互いに異なる値に変更したレーザ光によって生じる1つのスポットを撮像した結果から、「焦点距離,角度θ」のペアを2つ取得することができる。
 本実施形態のインターフェース装置2000は、以上の原理に従い、第1の軸と第2の軸における焦点距離を互いに異なる値に変更したレーザ光による計測点上のスポットを1つ撮像した計測用画像に基づいて、計測点までの距離を算出する。
 インターフェース装置2000は、複数の計測点におけるスポットを1つの計測用画像に記録することが望ましい。こうすることで、生成される画像データの数が減るため、必要な計算資源量を減らすことができる。例えばインターフェース装置2000は、図2に示す空間6000内の物体を認識する場合、空間6000に向けて照射した全てのレーザ光によるスポットをまとめて1つの計測用画像に撮像する。距離算出部2100は、計測用画像に記憶されている各スポットに対し、独立して上述の計測原理に従った処理を行い、各計測点までの距離を算出する。ただし、複数の計測点が近接している場合、レーザ光照射部2020は、スポット同士が重ならないように断続的にレーザ光を照射する。またこの場合、撮像部2060は、複数のスポットを1つの画像として撮像する必要がある。この方法に関しては、後述する。
<レーザ光照射部2020の詳細>
 レーザ光照射部2020が照射するレーザ光は、人の目に見えないレーザ光が好ましい。その例として、赤外線ビームがある。しかしレーザ光照射部2020が照射するレーザ光は、特定の種類のレーザ光に限定されない。赤外線以外の不可視なレーザ光でも良いし、可視光線でも構わない。レーザ光照射部2020は、上記種々のレーザ光を少なくとも1種類以上照射できればよい。
 またレーザ光照射部2020は、レーザ光を照射し続けていてもよいし、断続的にレーザ光を照射してもよい。断続的にレーザ光を照射する場合例えば、予め定めたタイミングで繰り返しレーザ光を照射する、他の機能構成部からの通知を受けたタイミングでレーザ光を照射するという方法がある。ただし、上述した理由により、複数の計測点が近接している場合は、スポット同士が重ならないように断続的にレーザ光を照射する。
<焦点距離変更部2040の詳細>
 図8は、焦点距離変更部2040の構成例を示す。図8における焦点距離変更部2040は、第1の軸におけるレーザ光の焦点距離を変更する第1焦点距離変更部2140及び第2の軸におけるレーザ光の焦点距離を変更する第2焦点距離変更部2160を有する。第1焦点距離変更部2140及び第2焦点距離変更部2160は、例えば円筒面レンズで構成される。
<走査部2120の詳細>
 図9は、走査部2120の構成例を示す。図9における走査部2120は、レーザ光の照射方向を水平方向に変更する水平方向走査部2121と、垂直方向に変更する垂直方向走査部2122を有する。水平方向走査部2121及び垂直方向走査部2122は、例えばレーザ光を反射するミラーである。図9において、水平方向走査部2121の回転軸と垂直方向走査部2122の回転軸は互いに直交している。まず走査部2120は、レーザ光を水平方向走査部2121によって反射することで、レーザ光の照射方向を、水平方向について所望の方向に変更する。次に走査部2120は、垂直方向走査部2122によってレーザ光を反射することで、レーザ光の照射方向を、垂直方向について所望の方向に変更する。このようにすることで、走査部2120は、レーザ光を物体3000上の所望の位置に照射する。なお、水平方向走査部2121と垂直方向走査部2122にレーザ光を反射させる順番は、逆であっても構わない。走査部2120の別の構成は、例えば、1点を軸として垂直方向及び水平方向に回転可能なミラーを1枚有する構成である(図示せず)。
 ここで厳密に考えると、走査部2120を高速に動作させた場合、レーザ光の照射位置は、計測点に対して多少ぶれることがある。距離算出部2100における距離計算は、このぶれを考慮に入れて計測点までの距離を計算することが望ましい。
 走査部2120がレーザ光の照射方向を決定する方法は様々である。例えば、インターフェース装置2000が図2に示す空間6000に向けてレーザ光を照射する場合は、水平方向走査部2121及び垂直方向走査部2122のそれぞれについて、偏向角の最小値と最大値を与える。例えば、インターフェース装置2000に走査部2120から読み出すことができる記憶領域を設け、そのデータ保存領域に上記水平方向走査部2121及び垂直方向走査部2122の偏向角の最小値及び最大値を保存しておく。それ以外にも例えば、上記データ保存領域に、「水平方向走査部2121の偏向角,垂直方向走査部2122の偏向角」のペアで定まる照射方向を複数保存しておく方法がある。
<撮像部2060の詳細>
 撮像部2060は、物体3000の計測点上のスポットを撮像する。言い換えれば、レーザ光照射部2020が照射したレーザ光が、物体3000上の計測点に当たって反射した反射光を撮影する。撮像部2060の具体例は、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどを有するカメラなどである。
 撮像部2060は、レーザ光が物体3000上で反射した反射光を直接撮像してもよい。またインターフェース装置2000が上記反射光を撮像部2060の方向へ導く光学素子2070を有する場合、撮像部2060は、光学素子2070によって撮像部2060の方向へ導かれた反射光を撮像してもよい。図10は、物体3000上の計測点に当たった反射光が、光学素子2070によって撮像部2060へ導かれる様子を表している。ここで図10では、実線の矢印はレーザ光照射部2020から照射されたレーザ光を、点線の矢印は上記レーザ光が物体3000に当たって反射した反射光を表す。光学素子2070は、例えば偏光ビームスプリッタである。光学素子2070は例えば、レーザ光照射部2020から照射されたレーザ光は通過させ、物体3000に当たった反射光は撮像部2060の方向へ反射することで、撮像部2060へ上記反射光を導く。
 撮像部2060が複数のスポットを1つの計測用画像に記録する場合、撮像部2060は、例えば撮像状態を持続する機能を有する。例えば撮像部2060が、CCDイメージセンサによって光を受光し、CCDイメージセンサが受光した光を画像として記録するカメラである場合を考える。この場合撮像部2060は、複数のスポットを撮像する間、CCDイメージセンサを受光状態に保ち続けることで、複数のスポットを1枚の画像に記録することができる。
<距離算出部2100の詳細>
 距離算出部2100は、計測用画像を処理することで、物体3000上の計測点までの距離を算出する。具体的には、上記計測用画像を処理することで、スポットを第1の軸において見込む角度θ、スポットを第2の軸において見込む角度θをそれぞれ算出し、「焦点距離,角度θ」のペアを2つ算出する。そして、2つの「焦点距離,角度θ」の各ペアを比較することで、物体3000上の計測点までの距離を算出する。複数の計測点までの距離を求める場合は、スポットごとに「焦点距離,角度θ」のペアを2つずつ算出して、各計測点までの距離を算出する。
 距離算出部2100は、第1の軸におけるレーザ光の焦点距離及び第2の軸におけるレーザ光の焦点距離を取得する。その方法は様々である。例えば、距離算出部2100は、焦点距離変更部2040との間でデータ通信を行い、焦点距離を取得する。また、第1の軸における焦点距離及び第2の軸における焦点距離が固定である場合、距離算出部2100は予めその値を保持していてもよい。
 距離算出部2100が撮像部2060によって生成された計測用画像を取得する方法は様々である。例えば、インターフェース装置2000に、距離算出部2100と撮像部2060で共有する記憶領域を設ける方法がある。この場合、撮像部2060は上記記憶領域に生成した計測用画像を記録し、距離算出部2100は上記記憶領域から計測用画像を取得する。
 距離算出部2100が上記計測用画像を処理して物体3000上の計測点までの距離の算出処理を始める契機は様々である。例えば、計測に必要な計測用画像を取得した制御部2080から通知を受けて算出処理を始めてもよいし、定期的に計測用画像の有無を監視することで自ら算出処理を開始してもよい。
<入力情報生成部2080の詳細>
 入力情報生成部2080は、走査部2120がレーザ光を照射した方向と、距離算出部2100が求めた上記方向にある計測点までの距離に基づいて、入力情報を生成する。入力情報生成部2080が生成する入力情報は様々である。入力情報は例えば、上記方向及び上記距離から求まる、レーザ光を照射する空間内における計測点の三次元座標である。また、同一計測点までの距離の計測を繰り返し行うことで、計測点の三次元座標の変化を算出し、その変化を入力情報としてもよい。さらに、レーザ光を照射する空間の三次元座標を特定の値に紐づけておき、その紐づけられた値を入力情報としてもよい。三次元座標に特定の値を紐づける例としては、計測用レーザ光を照射する空間を垂直方向及び水平方向にそれぞれ3等分して上記空間を9つの空間に分割して番号を割り振り、各計測点に対して上記空間番号を紐づけるといったことが考えられる。
 入力情報生成部2080は、走査部2120から、走査部2120が各計測点にレーザ光を照射した際の照射方向を取得する。入力情報生成部2080が上記照射方向を取得する方法は様々である。例えば、入力情報生成部2080は、走査部2120から照射方向の通知を受け付ける。また例えば、上述したように走査部2120の照射方向が記憶領域に保存されている場合、入力情報生成部2080はその記憶領域からレーザ光の照射方向を読み出す。
 入力情報生成部2080が入力情報の生成を開始する契機は様々である。例えば、入力情報生成部2080は、計測点までの距離を算出した距離算出部2100から通知を受けるようにし、その通知を契機にしてもよい。また入力情報生成部2080は、距離算出部2100の状態を監視することで距離算出部2100が計測点までの距離を算出したことを検知し、入力情報の生成を開始してもよい。
<入力情報生成処理の流れ>
 図11は、インターフェース装置2000が物体3000の動作を認識して入力情報を生成する処理の流れを示すフローチャートである。この例においては、インターフェース装置2000は、物体3000上の複数の計測点までの距離を算出して入力情報を生成する。
 まず、ステップS102において、レーザ光照射部2020は、レーザ光を照射する。
 ステップS104において、焦点距離変更部2040は、上記レーザ光の第1の軸における焦点距離、及び第2の軸における焦点距離をそれぞれ異なる焦点距離に変更する。
 ステップS106において、撮像部2060は、撮像持続状態になる。
 ステップS108において、計測点番号jを1に初期化する。
 ステップS110~ステップS114は、各計測点へレーザ光を照射するループ処理である。まずステップS110において、計測点番号jが、計測点の総数以下であるかをチェックする。jが計測点の総数以下であれば、ステップS112に進む。jが計測点の総数より大きければ、ステップS116に進む。
 ステップS112において、走査部2120は、レーザ光の照射位置を計測点jに設定する。ここで、計測点番号jと計測点jの対応は予め与えておく。また計測点jは、走査部2120がレーザ光を照射する方向で定まる。走査部2120が水平方向走査部2121及び垂直方向走査部2122を有する場合、計測点jは例えば、「水平方向走査部2121の偏向角,垂直方向走査部2122の偏向角」で定まる。
 ステップS114は、ループ処理の終端である。計測点番号jを1増加させ、ステップS110に戻る。
 ステップS116において、撮像部2060は、撮像持続状態を終了して計測用画像を生成する。
 ステップS118において、距離算出部2100は、生成された計測用画像に基づいて、物体3000上の各計測点jまでの距離を算出する。
 ステップS120において、入力情報生成部2080は、各計測点jまでの距離及び走査部2120がレーザ光を各計測点jへ照射した際の照射方向に基づいて、入力情報を生成する。
<作用・効果>
 以上の構成により、本実施形態によれば、インターフェース装置2000は、レーザ光照射部2020によってレーザ光を照射する。次にインターフェース装置2000は、焦点距離変更部2040によって、上記レーザ光の照射方向に垂直な第1の軸における上記レーザ光の焦点距離、及び上記レーザ光の照射方向に垂直であり、第1の軸と異なる第2の軸における上記レーザ光の焦点距離をそれぞれ異なる大きさに変更する。さらにインターフェース装置2000は、走査部2120によって上記焦点距離を変更したレーザ光を物体3000上の計測点に照射し、撮像部2060によって計測点上のスポットを撮像した計測用画像を生成する。そして、インターフェース装置2000は、距離算出部2100によって、上記計測用画像を処理して上記計測点までの距離を算出し、入力情報生成部2080によって、上記計測点までの距離及び走査部2120がレーザ光を照射した方向に基づき、入力情報を生成する。この構成により、インターフェース装置2000は、小型であり、近距離に位置する物体3000の計測が可能であり、低コストで実現できる。
[実施形態2]
 実施形態2に係るインターフェース装置2000の構成は、例えば図1に示す実施形態1の構成と同様である。以下で説明する機能ブロックを除き、各機能ブロックが有する機能は実施形態1と同様であるとする。
 本実施形態におけるインターフェース装置2000は、互いに異なる焦点距離に変更した複数のレーザ光のそれぞれを、物体3000上の同一計測点上に照射し、その反射光をそれぞれ撮像する。そしてインターフェース装置2000は、撮像結果である複数の計測用画像を処理することで、上記計測点までの距離を算出する。
 焦点距離変更部2040は、レーザ光照射部2020が照射したレーザ光の焦点距離を、異なるタイミングで異なる焦点距離に変更する。こうすることで、物体3000に対し、焦点距離を異ならせた複数のレーザ光を照射する。
 走査部2120は、上記複数のレーザ光線を物体3000上の同一計測点に照射する。
 撮像部2060は、上記焦点距離が異なる複数のレーザ光によって物体3000上の同一計測点に生じるスポットをそれぞれ撮像し、複数の計測用画像を生成する。
 距離算出部2100は、上記複数の計測用画像を処理して、上記計測点までの距離を算出する。
 以上の構成により、本実施形態におけるインターフェース装置2000は、次のような作用・効果を奏する。まず、本実施形態におけるレーザ光は、実施形態1におけるレーザ光と異なり、2つの異なる軸について異なる焦点距離に変更する必要はなく、例えば全ての軸について均等に焦点距離を変更する。これにより例えば、レーザ光照射部2020が照射するレーザ光のスポット形状が正円であれば、焦点距離変更部2040が焦点距離を変更した後のレーザ光のスポット形状も正円になる。したがって、本実施形態で撮像するスポットの形状は、実施形態1において撮像するスポットの形状より単純な形となる。そのため、撮像部2060に要求される撮像解像度の値が小さくなり、安価かつ小型な装置で撮像部2060を実現できる。さらに本実施形態におけるインターフェース装置2000は、後述する理由により、複数の計測点におけるスポット同士が一部重なった場合でも、各計測点までの距離をそれぞれ算出することができる。
 以下、本実施形態の詳細を説明する。
<距離算出の方法>
 本実施形態におけるインターフェース装置2000は、焦点距離を異ならせた複数のレーザ光をそれぞれ物体3000上の同一計測点に照射し、それぞれのレーザ光によって生じるスポットごとに計測用画像を生成する。そして距離算出部2100は、それぞれの計測用画像から、スポットを見込んだ角度θを算出して、計測点までの距離を算出する。ここで、計測用画像はそれぞれ異なる焦点距離のレーザ光によるスポットを撮像しているため、1つの計測用画像から「焦点距離,角度θ」のペアが1つ求まる。また、実施形態1において説明したように、「焦点距離,角度θ」のペアを2つ求めれば、計測点までの距離を算出できる。したがって本実施形態におけるインターフェース装置2000は、同一計測点上に照射した焦点距離の異なる複数のレーザ光によるスポットを撮像した複数の計測用画像から、それぞれのスポットを見込んだ角度θを算出することで、計測点までの距離を算出する。
<重なり合うスポットから各計測点までの距離を算出する方法>
 本実施形態におけるインターフェース装置2000は、計測用画像において、複数の計測点におけるスポットの一部同士が重なり合っていても、各計測点までの距離を算出できる。以下、スポット同士が重なっている場合に、各スポットを見込んだ角度θをそれぞれ算出する方法を説明する。
 例えば図12は、物体3000上の複数の計測点が、水平方向に連続している場合における計測の様子と撮像結果を示している。インターフェース装置2000は、円柱状の物体3000から最短距離が10cmの場所に位置している。そして、物体3000に向け、水平方向に連続してレーザ光を照射してスポットを撮像する。
 画像データ110は、焦点距離10cmの場合に取得する画像データ、画像データ120は、焦点距離20cmの場合に取得する画像結果である。斜線で示された領域は、レーザ光の反射光である。この場合、各計測点におけるスポットが水平方向に重なり合っているため、スポットは円形にならない。しかし、スポットを見込む角度θの算出は、スポット全体を必要としない。図3に示したように、スポットを見込む角度θは、スポットの直径部分と対応するためである。したがって、スポット同士が重なっていても、各スポットの直径部分が分かれば、各スポットを見込んだ角度θを算出できる。例えば図12の場合、画像データ110及び画像データ120における各スポットは、垂直方向には重なりあっていないため、各スポットの垂直方向の直径部分を用いることで角度θを算出できる。本実施形態におけるインターフェース装置2000は、1つの計測用画像における各スポットについて、各スポットを見込んだ角度θを1つずつ算出すればよいため、上記のようにスポット同士が重なっている場合でも、各計測点までの距離を算出できる。
 またスポット同士が大きく重なり合っていてスポット径を直接得ることができない場合は、例えば撮像されているスポットの断片から元のスポット形状を復元する処理を行うことで、角度θを算出できる。
 以上のように、本実施形態におけるインターフェース装置2000は、複数のスポット同士が一部重なり合っていても、各計測点までの距離を測定できる。そのため、近接する複数の計測点におけるスポットを同時に撮像する場合でも、レーザ光照射部2020はレーザ光を連続的に照射してよい。
<構成詳細>
 焦点距離変更部2040の構成方法は様々である。例えば図13、図14、及び図15に示す構成がある。図13における焦点距離変更部2040は、位置が固定である位置固定光学素子2041と位置が可変である位置可変光学素子2042を有する構成の一例である。焦点距離変更部2040を通過するレーザ光の焦点距離は、位置可変光学素子2042の位置によって定まる。したがって、位置可変光学素子2042の位置は、通過するレーザ光に設定する焦点距離の値に基づいて変更される。
 位置固定光学素子2041は、例えばレンズである。位置可変光学素子2042は例えば、レンズと、圧電素子などを用いた可動機構とを組み合わせることで構成される。ここで図13において、焦点距離変更部2040は、位置可変光学素子2042を2つ備えているものの、位置可変光学素子2042の数は2つに限定されない。焦点距離変更部2040が備える位置可変光学素子2042の数は1つであってもよいし、3つ以上であってもよい。
 図14における焦点距離変更部2040は、焦点距離が異なる光学素子を複数有する構成の一例である。図14では、焦点距離が異なる複数の光学素子2043が円盤状に配置されている。図14の焦点距離変更部2040において、レーザ光の焦点距離の変更は、この円盤を回転させてレーザ光を通過させる光学素子2043を変更することで行うことができる。
 焦点距離が異なる光学素子を複数有する焦点距離変更部2040の別の構成例として、図15に示す構成がある。図15では、焦点距離が異なる光学素子2044がストライプ状に配置されている。図15の焦点距離変更部2040において、レーザ光の焦点距離の変更は、ストライプ状に配置された光学素子2044を上下に移動させ、レーザ光を通過させる光学素子2044を変更することで行うことができる。
 さらに焦点距離変更部2040の別の構成方法として、焦点距離を変更可能な光学素子を利用して構成する方法がある。そのような光学素子の例として、ダイナモルフレンズなど、形状を変更することができるレンズがある。
 また、焦点距離変更部2040は、走査部2120の一部として構成されていてもよい(図26参照)。
<入力情報生成の流れ>
 図16は、インターフェース装置2000が物体3000の動作を認識して入力情報を生成する処理の流れを示すフローチャートである。ここで、ステップS102、S106~ステップS116、及びステップS120における処理は、実施形態1において説明した図内の同符号の処理と同様であるため、適宜説明を省略する。
 まず、ステップS102でレーザ光照射部2020がレーザ光を照射する。そして、ステップS202で焦点距離番号iを1に初期化する。
 ステップS204~ステップS208は、レーザ光の焦点距離を変更しながらループ処理Bを繰り返し行うループ処理Aである。ループ処理Bは、ステップS110~ステップS114で実行されるループ処理であり、実施形態1で説明した通り、各計測点におけるスポットを撮像する処理である。ループ処理Aを行うことで、異なる焦点距離に変更するレーザ光それぞれについて、各計測点におけるスポットを撮像する。
 まずステップS204において、焦点距離番号iが、設定する焦点距離の総数以下であるかをチェックする。焦点距離番号iが、設定する焦点距離の総数以下であれば、ステップS206に進む。焦点距離番号iが、設定する焦点距離の総数より大きければ、ステップS210に進む。
 ステップS206において、レーザ光照射部2020は、焦点距離変更部2040の焦点距離を、焦点距離iに設定する。焦点距離番号iと焦点距離の対応付けは予め設定しておく。
 ステップS106~ステップS116は、実施形態1で説明した通り、各計測点jにおけるスポットを1つの計測用画像として撮像する処理である。
 ステップS208は、ループ処理Aの終端である。iを1増加し、ステップS204に戻る。
 ループ処理Aを終了すると、ステップS210に進む。ステップS210において、距離算出部2100は、焦点距離の異なるレーザ光それぞれについて取得した計測用画像を処理することで、各計測点jまでの距離を算出する。例えば、取得した画像データを計測点jごとのグループに分け、各グループについて、前述した計測原理を適用することで、各計測点jまでの距離を算出する。
 ステップS120において、実施形態1と同様の方法で、入力情報を生成する。
<作用・効果>
 以上の構成により、本実施形態に係るインターフェース装置2000は、焦点距離変更部2040によって互いに異なる焦点距離に変更した複数のレーザ光のそれぞれを、物体3000上の同一計測点上に照射する。撮像部2060は、上記焦点距離が異なる複数のレーザ光のそれぞれについて、計測点上のスポットを撮像する。距離算出部2100は、異なる焦点距離ごとに生成された複数の計測用画像を処理することで、上記計測点までの距離を算出する。上記構成により、本実施形態に係るインターフェース装置2000は、以下の作用・効果を奏する。まず、撮像するスポットの形状が単純な形状となるために撮像部2060に要求される撮像解像度の値が小さくなり、撮像部2060は安価かつ小型な装置で実現できる。そのため、インターフェース装置2000はより小型になる。さらに、スポットの一部分を撮像した結果から計測点までの距離を算出できるため、インターフェース装置2000は、複数の計測点におけるスポット同士が一部重なった場合でも、各計測点までの距離をそれぞれ算出することができる。
[実施形態3]
 図17は、実施形態3に係るインターフェース装置2000を、認識対象の物体3000と共に示す図である。ここで図17における機能ブロックの内、図1に同符号の機能ブロックがあるものは、特に説明しない限り図1における同符号の機能ブロックと同じ機能を有するとし、説明を省略する。また、矢印の意味は、図1と同様である。
 本実施形態のインターフェース装置2000は、画像投影部2180を有する。画像投影部2180は、レーザ光照射部2020がレーザ光を照射する空間内に、画像を投影する。画像投影部2180は、例えば小型のプロジェクタである。
 画像投影部2180が投影する画像は、例えばユーザの入力を補助する画像である。例えば、画像投影部2180は、ユーザが入力に利用するキーボードの画像を投影する。この場合、ユーザは投影されたキーボードの所望のキーを触る動作を行う。インターフェース装置2000は、ユーザの指や腕の動きを認識することで、ユーザが触ったキーを表す入力情報を生成する。その他の例として、画像投影部2180は、ユーザに提示する選択肢を表す複数の画像を並べて投影する。ユーザは、表示された複数の画像の内、選択したい画像を触る。そしてインターフェース装置2000は、その際のユーザの指や腕の動きを認識することで、どの画像が選択されたかを表す入力情報を生成する。
 画像投影部2180が投影する画像のその他の例は、インターフェース装置2000から入力情報を取得する携帯端末等が、入力情報を処理した結果を表す画像である。例えばユーザがキー操作を行った場合は、入力した文字が表示されている画像を出力することが考えられる。こうすることでインターフェース装置2000は、インターフェース装置2000と接続されている携帯端末等がユーザの入力を処理した結果を、ユーザに分かりやすく伝えることができる。
 レーザ光を用いた入力情報の生成は、実施形態1において説明した方法で行ってもよいし、実施形態2において説明した方法で行ってもよい。
 計測用レーザ光が照射される空間は、画像投影部2180が画像を投影する空間よりも広い方が好ましい。こうすることで、画像を照射する空間の外にユーザいる場合でも、そのユーザの動作を認識できる。例えばこれにより、画像を照射する空間に入る前のユーザの動作を認識し、その動作に基づいて照射する画像を変更するといったことが可能となる。
 ただし、計測用レーザ光の照射空間と画像を投影する空間の大小関係は、上記に限定されない。2つの空間の大きさは同じであってもよいし、上記とは逆に、画像を投影する空間の方が大きくてもよい。
 撮像部2060は、出力画像を投影した光を撮像しない方が望ましい。そのため例えば、レーザ光照射部2020は赤外線ビームを照射し、撮像部2060は赤外線フィルタ等を通じて赤外線を撮像するという構成が望ましい。
<作用・効果>
 以上の構成により、本実施形態に係るインターフェース装置2000は、画像投影部2180によって出力画像を投影する。これによってインターフェース装置2000は、ユーザに対し、よりインタラクティブなインターフェースを提供することができる。具体的には例えば、出力画像を利用することでユーザの入力を補助することができる。その他にも例えば、ユーザの入力に基づいた出力画像を表示することで、インターフェース装置と接続されている携帯端末等がユーザの入力を処理した結果をユーザに伝えることができる。
[実施形態4]
 図18は、実施形態4に係るインターフェース装置2000を、認識対象の物体3000と共に示す図である。ここで図18における機能ブロックの内、図17に同符号の機能ブロックがあるものは、特に説明しない限り図17における同符号の機能ブロックと同じ機能を有するとし、説明を省略する。また、矢印の意味は、図1と同様である。
 本実施形態における画像投影部2180は、レーザ光によって出力画像を照射する。
 本実施形態における走査部2120は、レーザ光照射部2020が照射するレーザ光の照射方向を変更する第1光学素子2200、及び画像投影部2180が照射するレーザ光の照射方向を変更する第2光学素子2220を有する。このように本実施形態における走査部2120は、レーザ光照射部2020が照射するレーザ光と画像投影部2180が照射するレーザ光を異なる光学素子で走査する。以下、上記2つのレーザ光を区別するため、レーザ光照射部2020が照射するレーザ光を計測用レーザ光と呼び、画像投影部2180が照射するレーザ光を画像用レーザ光と呼ぶ。
 第1光学素子2200及び第2光学素子2220は例えば、それぞれ図9に示す水平方向走査部2121及び垂直方向走査部2122の組み合わせを有する。
 走査部2120は例えば、実施形態1において図2を用いて説明した計測用レーザ光の走査方法と同様の方法で画像用レーザ光を走査する。こうすることでインターフェース装置2000は、計測用レーザ光を照射する空間と同じ空間に向けて出力画像を投影する。
 本実施形態における画像投影部2180の具体構成は、例えば図19に示す構成である。図19における画像投影部2180は、レーザ光源2181、コリメートレンズ2182、及びダイクロックミラー2183を3つずつ有し、さらに画像制御部2184を有する。3つのレーザ光源2181は、それぞれ赤色レーザ光源、緑色レーザ光源、青色レーザ光源である。コリメートレンズ2182は、レーザ光源2181が照射したレーザ光をコリメートする。ダイクロックミラー2183は、コリメートされたレーザ光の照射方向を、他のレーザ光源2181が照射するレーザ光と重なる方向へ変更する。画像制御部2184は、各レーザ光源2181の出力を制御し、各レーザ光源が照射したレーザ光が重なり合ったレーザ光の色を所望の色にする。このようにすることで画像投影部2180は、出力が制御された赤色のレーザ光、緑色のレーザ光、及び青色のレーザ光を重ね合わせて所望の色にした一本のレーザ光を出力する。そして第2光学素子2220は、この所望の色となったレーザ光を走査する。
<作用・効果>
 以上の構成により、本実施形態によれば、インターフェース装置2000は、レーザ光によって出力画像を投影する。これにより、本実施形態のインターフェース装置2000は、実施形態3のインターフェース装置2000よりも小型化することができる。
[実施形態5]
 図20は、実施形態5に係るインターフェース装置2000を、認識対象の物体3000と共に示す図である。ここで図20における機能ブロックの内、図18に同符号の機能ブロックがあるものは、特に説明しない限り図18における同符号の機能ブロックと同じ機能を有するとし、説明を省略する。また、矢印の意味は、図18と同様であるため、説明を省略する。
 本実施形態における走査部2120は、計測用レーザ光と画像用レーザ光の双方を第1光学素子2200で走査する。
 また、本実施形態におけるインターフェース装置2000は、計測用レーザ光と画像用レーザ光を同時に照射する場合、これら2つのレーザ光を重ね合わせた一本のレーザ光を照射する。この場合、第1光学素子2200は、画像用レーザ光と計測用レーザ光を重ね合わせたレーザ光を走査する。
 インターフェース装置2000は例えば、図21に示す構成によって、計測用レーザ光と画像用レーザ光を同時に照射する。図21に示す構成は、図19に示す画像投影部2180に、レーザ光照射部2020と焦点距離変更部2040を追加し、さらにコリメートレンズ2182及びダイクロックミラー2183を1つずつ追加した構成である。レーザ光照射部2020が照射したレーザ光は、コリメートレンズ2182でコリメートされた後、焦点距離変更部2040で焦点距離を変更される。そして、画像投影部2180の各レーザ光源2181が照射するレーザ光と同様に、ダイクロックミラー2183で照射方向を変更され、レーザ光源2181が照射したレーザ光と同じ方向に照射される。
 以上の構成により、本実施形態におけるインターフェース装置2000は、実施形態4のインターフェース装置2000と比べ、走査部2120が有する光学素子が少なくなる。そのため、インターフェース装置2000はより小型になる。
 以下、本実施形態の詳細を説明する。
<画像用レーザ光と計測用レーザ光を照射するタイミング>
 インターフェース装置2000は、画像用レーザ光と計測用レーザ光を非同期に照射してもよいし、2つのレーザ光を同期させて同時に照射してもよい。また、2つのレーザ光を同期させて異なるタイミングで照射してもよい。画像用レーザ光と計測用レーザ光で同期を取らない場合は、画像用レーザ光の照射と計測用レーザ光の照射は独立して行われる。以下に、画像用レーザ光と計測用レーザ光で同期を取る場合の上記2つのケースについて説明する。
 例として、走査部2120が水平方向走査部2121及び垂直方向走査部2122を有し、図2に示すように画像用レーザ光及び計測用レーザ光を走査する場合を考える。図2に示す走査方法の場合の画像用レーザ光は、1つの画像を投影する間に、水平方向に関しては複数回動き、垂直方向に関しては一方向のみに動く。したがって、走査部2120において、水平方向走査部2121は高速に複数回回転動作を行う一方で、垂直方向走査部2122は低速に一方向にのみ回転する。そして垂直方向走査部2122は、画像の投影が終わった後、逆方向に回転して初期位置に復帰する。
 図22は、垂直方向走査部2122の偏向角αと、各レーザ光の強さの時間変化を表す図である。また図23は、図22の時間t0からt5のそれぞれにおける垂直方向走査部2122の状態変化を表す図である。まず時間t0において、画像の投影が開始される。そして、時間t2において、画像の投影が終了する。時間t3において、垂直方向走査部2122の初期位置への復帰が開始する。そして、時間t5において、垂直方向走査部2122の初期位置への復帰が終了する。以降、垂直方向走査部2122は、時間t0からt5までと同様の動作を繰り返しながら、画像を投影する。ここで、上述した走査方法で画像を投影する場合、垂直方向走査部2122が初期位置に復帰する際の回転速度は、画像投影中の回転速度より速いことが一般的である。そのため図22において、時間t0からt2までの時間間隔より、時間t3からt5までの時間間隔の方が短い。
 垂直方向走査部2122の偏向角αの時間変化は、例えば図22(a)のようになる。上述したように、時間t0からt2までは画像投影を行っており、時間t3からt5までは垂直方向走査部2122を初期位置へ復帰している。
 図22(b)は、画像投影部2180が照射する画像用レーザ光の強さの時間変化を表している。時間t0からt2までは画像を投影しているため、画像投影部2180が照射する画像用レーザ光は強くなる。一方、時間t3からt5までは、垂直方向走査部2122を初期位置に復帰させる動作をしているため、画像投影部2180が照射するレーザ光は弱くなる。
 図22(c)は、計測用レーザ光を画像用レーザ光と同時に照射する場合における、レーザ光照射部2020が照射するレーザ光の強さの時間変化を示している。レーザ光照射部2020は、画像用レーザ光が照射されている間に照射されるため、図22(b)と同様の変化を示す。
 一方図23(d)は、計測用レーザ光を画像用レーザ光と異なるタイミングで照射する場合における、レーザ光照射部2020が照射するレーザ光の強さの時間変化を示している。計測用レーザ光は、垂直方向走査部2122が初期位置に復帰するために回転している間(例:時間t3からt5の間)に強くなり、それ以外の時間は弱くなる。こうすることで、計測用レーザ光は、画像用レーザ光と異なるタイミングで照射される。
 ここで図22(a)に示すように、垂直方向走査部2122を初期位置に復帰するためにかかる時間は、画像投影にかかる時間より短い。そのため計測用レーザ光を画像用レーザ光と異なるタイミングで照射する場合に計測用レーザ光を断続的に照射すると、計測用レーザ光を照射する密度が小さくなることが考えられる。しかし前述したように、距離計測の方法として実施形態1において説明した方法を用いる場合は、計測点におけるスポットが重ならないようにするために、レーザ光はある程度の間隔を空けて照射される必要がある。そのため、計測用レーザ光を照射する密度は、画像用レーザ光を照射する密度と比べて小さくなっても構わない。また実施形態2で説明した方法で距離計測を行う場合、連続的にレーザ光を照射すれば、計測用レーザ光の照射密度が小さくなるという問題は起こらない。
 計測用レーザ光と画像用レーザ光を異なるタイミングで照射する方法には、以下の利点がある。第一に、計測用レーザ光と画像用レーザ光とが干渉することで発生する雑音を低減することができる。計測用レーザ光の種類にもよるが、例えば計測用レーザ光に赤外線を利用した場合、計測用レーザ光の赤外線と画像用レーザ光の赤色成分とが互いに干渉する可能性がある。計測用レーザ光と画像用レーザ光を異なるタイミングで照射すれば、このような計測用レーザ光と画像用レーザ光の相互干渉が発生することを防ぐことができる。
 第二に、インターフェース装置2000に供給する電力のピーク値を小さくすることができる。計測用レーザ光と画像用レーザ光を同時に照射する場合、例えば上記の例だと、一度に4つのレーザ光源に電力を供給する必要がある。一方、計測用レーザ光と画像用レーザ光を異なるタイミングで照射すれば、上記の例でいうと、一度に最大3つのレーザ光源に電力を供給すればよい。そのため、インターフェース装置2000のピーク電力を小さくすることができる。これにより、例えば電源に要求される電力供給能力が小さくなることで、電源を小型化できるという効果がある。
 なお、画像用レーザ光を断続的に照射する場合、毎回同じタイミングで照射するよりも、フレームごとに照射位置をずらして照射する、いわゆるインターレース方式の照射方法を採用することが望ましい。こうすることで、画像解像度を高くすることができる。
<計測用レーザ光と画像用レーザ光を同期する方法>
 計測用レーザ光と画像用レーザ光を同期する方法は様々である。例えば、レーザ光照射部2020と画像投影部2180は、垂直方向走査部2122の動作に基づいて同期する。図22の例において、画像投影部2180は、垂直方向走査部2122の偏向角αが増加している間は画像投影中であり、偏向角αが変化していない又は減少している間は画像を投影していない。そこで例えば、レーザ光照射部2020が、垂直方向走査部2122の動作を監視して計測用レーザ光を照射するか否かを判断する機能を有することで、計測用レーザ光は画像用レーザ光と同期する。その他にも例えば、計測用レーザ光と画像用レーザ光の間で、各自がレーザ光を照射しているか否かを表す信号をやりとりすることで、計測用レーザ光と画像用レーザ光は同期する。また、レーザ光照射部2020又は画像投影部2180、又は双方の動作を制御する制御部をインターフェース装置2000に設けることで、計測用レーザ光と画像用レーザ光を同期させてもよい。
 レーザ光照射部2020や画像投影部2180のレーザ光源は、常にレーザ光を照射し続けてもよい。この場合例えば、レーザ光照射部2020や画像投影部2180は、レーザ光源から照射されるレーザ光を遮断するフィルタを有し、フィルタの開閉によってレーザ光の出力を制御する。
<作用・効果>
 以上の構成により、本実施形態によれば、インターフェース装置2000は、計測用レーザ光と画像用レーザ光の双方を第1光学素子2200によって走査し、同じ方向に照射する。したがって計測用レーザ光と画像用レーザ光は、同時に照射される場合は、重なり合って一本のレーザ光となる。この構成により本実施形態のインターフェース装置2000は、実施形態4のインターフェース装置2000と比べ、走査部2120が有する光学素子が少なくなる。そのため、インターフェース装置2000はより小型になる。また、計測用レーザ光と画像用レーザ光を異なるタイミングで照射する場合はさらに、1)計測用レーザ光と画像用レーザ光の干渉を防ぐことができる、2)インターフェース装置2000のピーク電力が小さくなる結果、インターフェース装置2000の電源を小型化できるため、インターフェース装置2000をより小型化できるという効果がある。
[実施形態6]
 本実施形態に係るインターフェース装置2000の構成は、例えば図17に示す構成と同様である。そのため、特に説明しない限り、各機能ブロックの説明は省略する。
 図24は、本実施形態におけるインターフェース装置2000の具体的構成例を示している。ここで、図24に示す構成要素の内、図21に同符号の構成要素があるものは、同じ機能を有するとし、適宜説明を省略する。また図24において、実線の矢印は出力画像を投影する光の流れを示し、一点鎖線は計測用レーザ光の流れを示し、点線は情報の流れを示す。
 本実施形態における画像投影部2180は、画像用光源2185、空間光変調器2187、画像制御部2184、偏向ビームスプリッタ2186、投射レンズ2188を有する。これは、単板LCOS(Liquid Crystal On Silicon)型プロジェクタの一般的な構成である。画像投影部2180は、画像用光源2185から照射した光(以下、画像用照射光と呼ぶ)を、空間光変調器2187で変調することで、画像を投影する。画像制御部2184は、出力画像に基づいて空間光変調器2187を制御し、空間光変調器2187によって画像用照射光が目的の画像を表す光に変調されるようにする。具体例として、空間光変調器2187が碁盤の目状に区切られた領域を持ち、その各領域が出力画像の各ドットに対応する場合を考える。この場合、画像制御部2184は、空間光変調器2187の各領域に照射された画像用照射光が、各領域に対応する出力画像の各ドットの色の光に変調されるように、空間光変調器2187の各領域を制御する。
 出力画像は、例えば以下の流れで投影される。まず画像制御部2184は、投影する画像に基づいて、空間光変調器2187を制御する。次に画像用光源2185は、画像用照射光を照射する。そして偏向ビームスプリッタ2186は、画像用照射光を反射して、空間光変調器2187に照射する。そして空間光変調器2187は、画像用照射光を、目的の画像を表す光に変調して反射する。偏向ビームスプリッタ2186は、空間光変調器2187によって反射された画像用照射光を通過させる。そして、投射レンズ2188は、画像用照射光を空間上に照射する。
 本実施形態において、画像投影部2180が有する偏向ビームスプリッタ2186及び投射レンズ2188はさらに、計測用レーザ光を空間上に照射する。走査部2120によって照射方向を変更された計測用レーザ光は、偏向ビームスプリッタ2186によって照射方向をさらに変更され、投射レンズ2188によって空間上に照射される。
 空間光変調器2187は例えば、単板型LCOS空間変調器である。
 画像投影部2180の具体的構成は、図25に示す構成でもよい。この構成の場合、偏向ビームスプリッタ2186及び投射レンズ2188は、撮像部2060が撮像する計測用レーザ光の反射光を集光し、撮像部2060に導く。具体的には、計測点上で反射した反射光は、投射レンズ2188を通じて集光され、偏向ビームスプリッタ2186に照射される。偏向ビームスプリッタ2186は、上記反射光の照射方向を変更し、撮像部2060へ導く。
<作用・効果>
 以上の構成により、本実施形態によれば、画像投影部2180は、画像用光源2185が照射した画像用照射光を偏向ビームスプリッタ2186によって反射し、空間光変調器2187に照射する。そして空間光変調器2187は、画像用照射光を、目的の画像を表す光に変調し、反射する。投射レンズ2188は、画像用照射光を空間上に照射する。さらに偏向ビームスプリッタ2186及び投射レンズ2188は、計測用レーザ光を空間上に照射する。または偏向ビームスプリッタ2186及び投射レンズ2188は、撮像部2060が撮像する計測用レーザ光の反射光を集光し、撮像部2060に導く。本実施形態のインターフェース装置2000は、以下のような作用・効果を奏する。まず、本実施形態におけるインターフェース装置2000は、実施形態4及び5におけるインターフェース装置2000よりも高い輝度で出力画像を投影できる。実施形態4及び5に係るインターフェース装置2000は、レーザ光の法規制により、出力画像を高い輝度で投影することが難しい。本実施形態にかかるインターフェース装置2000は、出力画像の投影にレーザ光を用いないため、高い輝度で出力画像を投影できる。さらに、本実施形態におけるインターフェース装置2000は、画像投影部2180の構成の一部を計測用レーザ光の照射又は計測用レーザ光が計測点で反射した反射光の集光にも利用する。そのため、本実施形態におけるインターフェース装置2000は、実施形態3のインターフェース装置2000と比較し、小型化することが出来る。
 以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
 以下、参考形態の例を付記する。
1. レーザ光を照射する計測用レーザ光照射手段と、
 前記レーザ光の照射方向に対して垂直な第1の軸における前記レーザ光の焦点距離と、前記レーザ光の照射方向に対して垂直であり、かつ第1の軸とは異なる第2の軸における前記レーザ光の焦点距離とを互いに独立して変更する焦点距離変更手段と、
 前記レーザ光の照射方向を変更する走査手段と、
 前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段と、
 該計測画像に基づいて前記計測点までの距離を算出する距離算出手段と、
 前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する入力情報生成手段を有するインターフェース装置。
2. レーザ光を照射する計測用レーザ光照射手段と、
 前記レーザ光の焦点距離を変更する焦点距離変更手段と、
 前記レーザ光の照射方向を変更する光学素子を備える走査手段と、
 前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段と、
 同一の前記計測点上に照射した焦点距離の異なる複数の前記レーザ光の反射光をそれぞれ撮像した複数の前記計測画像を処理して前記計測点までの距離を算出する距離算出手段と、
 前記走査手段が前記レーザ光を照射した方向と、算出した前記計測点までの距離に基づいて入力情報を生成する入力情報生成手段を有するインターフェース装置。
3. 前記レーザ光が照射される空間と同方向にある空間に出力画像を投影する画像投影手段を有する1.又は2.に記載のインターフェース装置。
4. 前記画像投影手段は、前記出力画像をレーザ光によって照射し、
 前記走査手段は、
  前記計測用レーザ光照射手段が照射するレーザ光を水平方向及び垂直方向に走査する第1光学素子と、
  前記画像投影手段が照射するレーザ光を水平方向及び垂直方向に走査する第2光学素子を有する3.に記載のインターフェース装置。
5. 前記画像投影手段は、前記出力画像をレーザ光によって照射し、
 前記計測用レーザ光照射手段が照射するレーザ光及び前記画像投影手段が照射するレーザ光を、水平方向及び垂直方向に走査する光学素子を有する3.に記載のインターフェース装置。
6. 前記画像投影手段が照射するレーザ光と前記計測用レーザ光照射手段が照射するレーザ光を重ね合わせるレーザ光重ね合わせ手段を有し、
 前記走査手段は、前記レーザ光重ね合わせ手段が出力するレーザ光を水平方向及び垂直方向に走査する光学素子を有する3.に記載のインターフェース装置。
7. 前記画像投影手段が照射するレーザ光と前記計測用レーザ光照射手段が照射するレーザ光を異なるタイミングで照射する3.乃至6.いずれか一つに記載のインターフェース装置。
8. 前記画像投影手段は、空間光変調素子を利用して前記出力画像を投影し、
 前記画像投影手段が出力画像を投影する光は、前記計測用レーザ光及び前記撮像手段が撮像する前記反射光のどちらか又は双方と同じ照射口を通過する3.に記載のインターフェース装置。
9. コンピュータに、インターフェース装置を制御する機能を持たせるプログラムであって、
 前記インターフェース装置は、
  レーザ光を照射する計測用レーザ光照射手段と、
  前記レーザ光の照射方向に対して垂直な第1の軸における前記レーザ光の焦点距離と、前記レーザ光の照射方向に対して垂直であり、かつ第1の軸とは異なる第2の軸における前記レーザ光の焦点距離とを互いに独立して変更する焦点距離変更手段と、
  前記レーザ光の照射方向を変更する走査手段と、
  前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段を有し、
 当該プログラムは、前記コンピュータに、
  該計測画像に基づいて前記計測点までの距離を算出する機能と、
  前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する機能を持たせるプログラム。
10. コンピュータに、インターフェース装置を制御する機能を持たせるプログラムであって、
 前記インターフェース装置は、
  レーザ光を照射する計測用レーザ光照射手段と、
  前記レーザ光の焦点距離を変更する焦点距離変更手段と、
  前記レーザ光の照射方向を変更する光学素子を備える走査手段と、
  前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段を有し、
 当該プログラムは、前記コンピュータに、
  同一計測点上に照射された焦点距離の異なる複数のレーザ光のそれぞれについて取得された複数の前記計測画像に基づいて、前記計測点までの距離を算出する機能と、
  前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する機能を持たせるプログラム。
11. インターフェース装置を制御する制御方法であって、
 前記インターフェース装置は、
  レーザ光を照射する計測用レーザ光照射手段と、
  前記レーザ光の照射方向に対して垂直な第1の軸における前記レーザ光の焦点距離と、前記レーザ光の照射方向に対して垂直であり、かつ第1の軸とは異なる第2の軸における前記レーザ光の焦点距離とを互いに独立して変更する焦点距離変更手段と、
  前記レーザ光の照射方向を変更する走査手段と、
  前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段と、
  該計測画像に基づいて前記計測点までの距離を算出する距離算出手段と、
  前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する入力情報生成手段を有し、
 当該制御方法は、
  前記計測用レーザ光照射手段が、前記レーザ光を照射するステップと、
  前記焦点距離変更手段が、前記レーザ光の前記第1の軸における焦点距離と前記第2の軸における焦点距離を互いに異なる値に変更するステップと、
  前記走査手段が、前記レーザ光の照射方向を変更するステップと、
  前記撮像手段が、前記計測画像を生成するステップと、
  前記距離算出手段が、前記計測点までの距離を算出するステップと、
  前記入力情報生成手段が、前記入力情報を生成するステップを有する制御方法。
12. インターフェース装置を制御する制御方法であって、
 前記インターフェース装置は、
  レーザ光を照射する計測用レーザ光照射手段と、
  前記レーザ光の焦点距離を変更する焦点距離変更手段と、
  前記レーザ光の照射方向を変更する光学素子を備える走査手段と、
  前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段を有し、
 当該制御方法は、
  前記計測用レーザ光照射手段が、前記レーザ光を照射するステップと、
  前記焦点距離変更手段が、前記レーザ光の焦点距離を変更するステップと、
  前記走査手段が、焦点距離の異なる複数の前記レーザ光の照射方向を変更し、同一計測点に照射するステップと、
  前記撮像手段が、前記計測画像を生成するステップと、
  前記距離算出手段が、同一計測点に照射された焦点距離の異なる複数の前記レーザ光それぞれについて生成された複数の前記計測用画像に基づいて、前記計測点までの距離を算出するステップと、
  前記入力情報生成手段が、前記入力情報を生成するステップを有する制御方法。
 この出願は、2012年7月26日に出願された日本出願特願2012-165942号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

  1.  レーザ光を照射する計測用レーザ光照射手段と、
     前記レーザ光の照射方向に対して垂直な第1の軸における前記レーザ光の焦点距離と、前記レーザ光の照射方向に対して垂直であり、かつ第1の軸とは異なる第2の軸における前記レーザ光の焦点距離とを互いに独立して変更する焦点距離変更手段と、
     前記レーザ光の照射方向を変更する走査手段と、
     前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段と、
     該計測画像に基づいて前記計測点までの距離を算出する距離算出手段と、
     前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する入力情報生成手段を有するインターフェース装置。
  2.  レーザ光を照射する計測用レーザ光照射手段と、
     前記レーザ光の焦点距離を変更する焦点距離変更手段と、
     前記レーザ光の照射方向を変更する光学素子を備える走査手段と、
     前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段と、
     同一の前記計測点上に照射した焦点距離の異なる複数の前記レーザ光の反射光をそれぞれ撮像した複数の前記計測画像を処理して前記計測点までの距離を算出する距離算出手段と、
     前記走査手段が前記レーザ光を走査した方向と、前記距離算出手段が算出した前記計測点までの距離に基づいて入力情報を生成する入力情報生成手段を有するインターフェース装置。
  3.  前記レーザ光が照射される空間と同方向にある空間に出力画像を投影する画像投影手段を有する請求項1又は2に記載のインターフェース装置。
  4.  前記画像投影手段は、前記出力画像をレーザ光によって照射し、
     前記走査手段は、
      前記計測用レーザ光照射手段が照射するレーザ光を水平方向及び垂直方向に走査する第1光学素子と、
      前記画像投影手段が照射するレーザ光を水平方向及び垂直方向に走査する第2光学素子を有する請求項3に記載のインターフェース装置。
  5.  前記画像投影手段は、前記出力画像をレーザ光によって照射し、
     前記計測用レーザ光照射手段が照射するレーザ光及び前記画像投影手段が照射するレーザ光を、水平方向及び垂直方向に走査する光学素子を有する請求項3に記載のインターフェース装置。
  6.  前記画像投影手段が照射するレーザ光と前記計測用レーザ光照射手段が照射するレーザ光を重ね合わせるレーザ光重ね合わせ手段を有し、
     前記走査手段は、前記レーザ光重ね合わせ手段が出力するレーザ光を水平方向及び垂直方向に走査する光学素子を有する請求項3に記載のインターフェース装置。
  7.  前記画像投影手段が照射するレーザ光と前記計測用レーザ光照射手段が照射するレーザ光を異なるタイミングで照射する請求項3乃至6いずれか一項に記載のインターフェース装置。
  8.  前記画像投影手段は、空間光変調素子を利用して前記出力画像を投影し、
     前記画像投影手段が出力画像を投影する光は、前記計測用レーザ光及び前記撮像手段が撮像する前記反射光のどちらか又は双方と同じ照射口を通過する請求項3に記載のインターフェース装置。
  9.  コンピュータに、インターフェース装置を制御する機能を持たせるプログラムであって、
     前記インターフェース装置は、
      レーザ光を照射する計測用レーザ光照射手段と、
      前記レーザ光の照射方向に対して垂直な第1の軸における前記レーザ光の焦点距離と、前記レーザ光の照射方向に対して垂直であり、かつ第1の軸とは異なる第2の軸における前記レーザ光の焦点距離とを互いに独立して変更する焦点距離変更手段と、
      前記レーザ光の照射方向を変更する走査手段と、
      前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段を有し、
     当該プログラムは、前記コンピュータに、
      該計測画像に基づいて前記計測点までの距離を算出する機能と、
      前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する機能を持たせるプログラム。
  10.  インターフェース装置を制御する制御方法であって、
     前記インターフェース装置は、
      レーザ光を照射する計測用レーザ光照射手段と、
      前記レーザ光の照射方向に対して垂直な第1の軸における前記レーザ光の焦点距離と、前記レーザ光の照射方向に対して垂直であり、かつ第1の軸とは異なる第2の軸における前記レーザ光の焦点距離とを互いに独立して変更する焦点距離変更手段と、
      前記レーザ光の照射方向を変更する走査手段と、
      前記レーザ光が物体上の計測点で反射した反射光を撮像して計測画像を生成する撮像手段と、
      該計測画像に基づいて前記計測点までの距離を算出する距離算出手段と、
      前記走査手段が前記レーザ光を走査した方向と、前記計測点までの距離に基づいて、入力情報を生成する入力情報生成手段を有し、
     前記制御方法は、
      前記計測用レーザ光照射手段が、前記レーザ光を照射するステップと、
      前記焦点距離変更手段が、前記レーザ光の前記第1の軸における焦点距離と前記第2の軸における焦点距離とを互いに異なる値に変更するステップと、
      前記走査手段が、前記レーザ光の照射方向を変更するステップと、
      前記撮像手段が、前記計測画像を生成するステップと、
      前記距離算出手段が、前記計測点までの距離を算出するステップと、
      前記入力情報生成手段が、前記入力情報を生成するステップを有する制御方法。
PCT/JP2013/002358 2012-07-26 2013-04-05 インターフェース装置、プログラム、及び制御方法 WO2014016994A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012165942 2012-07-26
JP2012-165942 2012-07-26

Publications (1)

Publication Number Publication Date
WO2014016994A1 true WO2014016994A1 (ja) 2014-01-30

Family

ID=49996822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/002358 WO2014016994A1 (ja) 2012-07-26 2013-04-05 インターフェース装置、プログラム、及び制御方法

Country Status (1)

Country Link
WO (1) WO2014016994A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016188841A (ja) * 2015-03-30 2016-11-04 株式会社東京精密 非接触形状測定装置及び走査レンズ収差補正方法
JP2017524911A (ja) * 2014-06-11 2017-08-31 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 車両ライダシステム
CN115655214A (zh) * 2022-12-26 2023-01-31 山东省国土空间生态修复中心 一种勘察用地面沉降测量装置及使用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334299A (ja) * 1994-04-13 1995-12-22 Toshiba Corp 情報入力装置
JPH08320921A (ja) * 1995-05-25 1996-12-03 Oki Electric Ind Co Ltd ポインティングシステム
JPH11201718A (ja) * 1997-11-13 1999-07-30 Omron Corp センサ装置及び距離測定装置
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2008256497A (ja) * 2007-04-04 2008-10-23 Nikon Corp 計測装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334299A (ja) * 1994-04-13 1995-12-22 Toshiba Corp 情報入力装置
JPH08320921A (ja) * 1995-05-25 1996-12-03 Oki Electric Ind Co Ltd ポインティングシステム
JPH11201718A (ja) * 1997-11-13 1999-07-30 Omron Corp センサ装置及び距離測定装置
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2008256497A (ja) * 2007-04-04 2008-10-23 Nikon Corp 計測装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017524911A (ja) * 2014-06-11 2017-08-31 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 車両ライダシステム
JP2016188841A (ja) * 2015-03-30 2016-11-04 株式会社東京精密 非接触形状測定装置及び走査レンズ収差補正方法
CN115655214A (zh) * 2022-12-26 2023-01-31 山东省国土空间生态修复中心 一种勘察用地面沉降测量装置及使用方法
CN115655214B (zh) * 2022-12-26 2023-05-23 山东省国土空间生态修复中心 一种勘察用地面沉降测量装置及使用方法

Similar Documents

Publication Publication Date Title
JP7329444B2 (ja) 機械知覚のためのシステム及び方法
US8570372B2 (en) Three-dimensional imager and projection device
US10656721B2 (en) Interactive three-dimensional display apparatus and method
KR102082702B1 (ko) 레이저 영상표시장치
US11054944B2 (en) Projection display unit and function control method
US8760499B2 (en) Three-dimensional imager and projection device
JP2013513179A (ja) 距離に基づく検知
JP2009531655A (ja) スペックルパターンを用いた三次元検出
JP2010122879A (ja) 端末装置、表示制御方法および表示制御プログラム
KR20160109681A (ko) 홍채를 촬영하기 위하여 이용되는 광을 조사하는 방법 및 디바이스
US10481739B2 (en) Optical steering of component wavelengths of a multi-wavelength beam to enable interactivity
KR20230043191A (ko) 노이즈 완화를 위한 광학 시스템
JP6102751B2 (ja) インターフェース装置およびインターフェース装置の駆動方法
WO2014016994A1 (ja) インターフェース装置、プログラム、及び制御方法
US20200264729A1 (en) Display method, display device, and interactive projector
US9552074B2 (en) Method and system for generating user feedback of a gesture capturing device
JP2009020564A (ja) プロジェクタ
US9329679B1 (en) Projection system with multi-surface projection screen
WO2017212601A1 (ja) 光測距装置、及びこれを備えた映像投写装置
WO2014016995A1 (ja) 三次元物体計測装置、三次元物体計測装置制御プログラム、三次元物体計測装置制御方法
US20150185321A1 (en) Image Display Device
TWI454653B (zh) 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法
JP2016164701A (ja) 情報処理装置及び情報処理装置の制御方法
JP2006350452A (ja) 撮影表示装置およびそのキャリブレーションデータ算出方法
JP6740614B2 (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13823744

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13823744

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP