WO2020235348A1 - 光パターン照射制御装置及び光パターン照射制御方法 - Google Patents

光パターン照射制御装置及び光パターン照射制御方法 Download PDF

Info

Publication number
WO2020235348A1
WO2020235348A1 PCT/JP2020/018591 JP2020018591W WO2020235348A1 WO 2020235348 A1 WO2020235348 A1 WO 2020235348A1 JP 2020018591 W JP2020018591 W JP 2020018591W WO 2020235348 A1 WO2020235348 A1 WO 2020235348A1
Authority
WO
WIPO (PCT)
Prior art keywords
irradiation
light pattern
control device
unit
image
Prior art date
Application number
PCT/JP2020/018591
Other languages
English (en)
French (fr)
Inventor
貴志 島津
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2021520697A priority Critical patent/JP7399160B2/ja
Publication of WO2020235348A1 publication Critical patent/WO2020235348A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present invention relates to a light pattern irradiation control device and a light pattern irradiation control method.
  • the technology to generate depth data from the image taken by the shooting unit is known.
  • the depth data indicates, for example, the position of each position in the real space appearing in the captured image in the direction intersecting the projection plane of the image.
  • a high-power projector synchronizes with the exposure timing of the camera and gives a given light pattern such as a random pattern or a pattern of a figure having a predetermined shape.
  • a technology to irradiate There is a technology to irradiate.
  • wasteful power consumption is generated because the light pattern is irradiated over a wide range.
  • the present invention has been made in view of the above circumstances, and one of the purposes thereof is an optical pattern irradiation control device and light that can reduce power consumption related to irradiation of a given optical pattern for generating depth data.
  • the purpose is to provide a pattern irradiation control method.
  • the light pattern irradiation control device is an irradiation that specifies an irradiation region to be irradiated with a given light pattern that occupies a part of the captured image based on the captured image. Based on an image taken of a region specifying unit, an irradiation control unit that controls the irradiation unit so as to irradiate the light pattern to a place in the real space appearing in the irradiation area, and a place where the light pattern is irradiated.
  • the depth data generation unit that generates the depth data of each position in the real space appearing in the image is included.
  • the irradiation area specifying unit specifies the irradiation area based on the reliability of the execution result of the stereo matching process.
  • the irradiation region specifying portion specifies the irradiation region based on the number of feature points extracted for each of the plurality of regions in the captured image.
  • the irradiation control unit controls at least one of the position and orientation of the irradiation unit.
  • the irradiation control unit controls at least one of the positions and orientations of the reflective member that reflects the light pattern included in the irradiation unit.
  • the irradiation unit includes a plurality of light emitting modules that emit the light pattern, and the irradiation control unit is in the real space appearing in the irradiation region from among the plurality of light emitting modules.
  • the light emitting module associated with the location is selected, and the selected light emitting module is controlled to emit the light pattern.
  • the irradiation unit includes a scanning projector that irradiates a place including a part in the real space appearing in the irradiation area, and the irradiation control unit applies the light pattern to the irradiation area.
  • the scanning projector is controlled to irradiate a place in the appearing real space.
  • the irradiation unit is mounted on the robot, and the irradiation control unit controls at least one of the position and orientation of the robot.
  • the light pattern irradiation control method includes a step of specifying an irradiation region to be irradiated with a given light pattern, which occupies a part of the captured image, and the light pattern.
  • a step of specifying an irradiation region to be irradiated with a given light pattern, which occupies a part of the captured image, and the light pattern. In the real space appearing in the image based on the step of controlling the irradiation unit so as to irradiate the place in the real space appearing in the irradiation area and the image taken of the place where the light pattern was irradiated. Includes a step to generate depth data for each position in.
  • FIG. 1 is a diagram showing an example of the configuration of the light pattern irradiation control device 1 according to the embodiment of the present invention.
  • the light pattern irradiation control device 1 includes a photographing unit 10, a depth engine 12, a feature extraction engine 14, a CPU (Central Processing Unit) 16, a driver 18, and an irradiation unit 20. included.
  • the photographing unit 10 is, for example, a stereo camera, and the photographing unit 10 includes a camera 22a, a camera 22b, an ISP (Image Signal Processor) 24a, and an ISP 24b.
  • ISP Image Signal Processor
  • the photographing unit 10 photographs an image at a predetermined frame rate (for example, 120 fps or 60 fps).
  • a predetermined frame rate for example, 120 fps or 60 fps.
  • the image shooting timing by the camera 22a and the image shooting timing by the camera 22b are synchronized, and a pair of images is generated at a predetermined frame rate.
  • the camera 22a and the camera 22b are cameras capable of capturing both visible light and infrared light.
  • the camera 22a and the camera 22b may be, for example, a monochrome camera from which the filter for cutting infrared light has been removed.
  • the camera 22a and the camera 22b may be, for example, a color camera from which the filter for cutting infrared light has been removed.
  • the camera 22a and the camera 22b are equipped with pixels not only for visible light but also for infrared light, and are generated by separating visible light data and infrared light data. May be good.
  • the image taken by the photographing unit 10 is input to the depth engine 12 and the feature extraction engine 14.
  • the image taken by the camera 22a is input to the depth engine 12 and the feature extraction engine 14 after the image processing by the ISP 24a is executed.
  • the image taken by the camera 22b is input to the depth engine 12 and the feature extraction engine 14 after the image processing by the ISP 24b is executed.
  • the depth engine 12 constitutes, for example, a device that generates depth data and reliability data based on an image taken by the photographing unit 10 as a depth data generating unit.
  • the depth engine 12 executes stereo matching processing on, for example, an image captured by the photographing unit 10.
  • the stereo matching process includes a process of associating regions similar to each other in a pair of images photographed by the photographing unit 10 by template matching.
  • a process of associating a region in an image captured by the camera 22a and subjected to image processing by the ISP 24a with an region in the image captured by the camera 22b and executed by the ISP 24b is executed.
  • the above-mentioned area association may be executed in units of a predetermined size area (for example, a 20 pixel square area).
  • a predetermined size area for example, a 20 pixel square area.
  • the area will be referred to as a unit area.
  • the depth engine 12 generates depth data and reliability data based on the execution result of the stereo matching process.
  • the depth data is data indicating the positions of each position in the real space appearing in the captured image in the direction intersecting the projection plane of the image.
  • the reliability data is data indicating the reliability of the execution result of the stereo matching process (for example, the reliability of the depth data associated with the reliability data). In the following description, it is assumed that the higher the reliability indicated by the reliability data, the larger the value is set in the reliability data.
  • the depth data may be, for example, a depth image including a plurality of pixels.
  • each pixel in the depth image is associated with a unit area.
  • Each pixel in the depth image is also associated with a position in real space that appears in the corresponding unit area.
  • a pixel value corresponding to a position in the corresponding real space in a direction intersecting the projection plane of the image photographed by the photographing unit 10 is set.
  • the reliability data associated with each pixel in the depth image may be generated.
  • the region with low reliability indicated by the reliability data corresponds to, for example, an region having no feature points or being unable to be associated because there are few feature points, or a region having a plurality of similar regions.
  • the reliability indicated by the reliability data becomes low due to the occurrence of noise and occlusion.
  • the unit area may be associated with the brightness value of each pixel.
  • monochrome pixel data may be used for generating depth data.
  • the feature extraction engine 14 is, for example, a device that executes a process of extracting feature points from an image captured by the photographing unit 10.
  • the feature extraction engine 14 may not be included in the light pattern irradiation control device 1 according to the present embodiment.
  • the CPU 16 is, for example, a processor that operates according to a program.
  • the CPU 16 according to the present embodiment executes a process of specifying an irradiation area to be irradiated with an optical pattern, which occupies a part of the image, based on the captured image, as an irradiation area specifying unit.
  • an irradiation area specifying unit For example, one or more of the above-mentioned unit regions may be specified as irradiation regions.
  • the driver 18 constitutes, for example, a device that controls the irradiation unit 20 based on a control signal received from the CPU 16 as an irradiation control unit.
  • the irradiation unit 20 is a device that irradiates an object with light such as infrared rays.
  • the irradiation unit 20 may be, for example, a VCSEL (Vertical Cavity Surface Emitting LASER) module or a scanning projector such as a MEMS (Micro Electro Mechanical Systems) projector.
  • VCSEL Vertical Cavity Surface Emitting LASER
  • MEMS Micro Electro Mechanical Systems
  • the driver 18 controls the irradiation unit 20 so as to irradiate a given light pattern to a place in the real space appearing in the irradiation region specified by the CPU 16.
  • the light pattern may be, for example, a random pattern or a pattern of a figure having a predetermined shape.
  • the above functions may be implemented by the light pattern irradiation control device 1 executing a program including commands corresponding to the above functions. Then, the program is supplied to the optical pattern irradiation control device 1 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like. You may.
  • the photographing unit 10 photographs a pair of images (S101).
  • the depth engine 12 executes a stereo matching process for the pair of images taken by the process shown in S101 (S102).
  • a stereo matching process for example, depth data associated with each of the plurality of unit areas and reliability data indicating the reliability of the execution result of the stereo matching process for the unit area are generated.
  • the CPU 16 confirms whether or not the reliability value indicated by the reliability data generated in the process shown in S102 is equal to or higher than a predetermined value (S103).
  • a predetermined value for example, it may be confirmed whether or not the average value of the reliability values indicated by the reliability data associated with each of the plurality of unit areas is equal to or higher than a predetermined value.
  • the CPU 16 specifies the irradiation area (S104).
  • the CPU 16 specifies the irradiation area based on the reliability of the execution result of the stereo matching process.
  • the unit region corresponding to the reliability data indicating the reliability lower than the predetermined reliability may be specified as the irradiation region.
  • a plurality of irradiation regions may be specified.
  • the unit region corresponding to the reliability data showing the lowest reliability may be specified as an irradiation region.
  • the driver 18 executes the irradiation setting by the irradiation unit 20 (S105).
  • the driver 18 may execute the irradiation setting according to the control signal transmitted from the CPU 16 to the driver 18. Further, in the process shown in S105, the driver 18 may turn on the power of the irradiation unit 20.
  • the driver 18 controls the irradiation unit 20 so as to irradiate the given light pattern to a place in the real space appearing in the irradiation region specified by the process shown in S104, and the photographing unit 10 is paired.
  • An image is taken (S106).
  • the driver 18 may execute irradiation according to the control signal transmitted from the CPU 16 to the driver 18.
  • the irradiation of the given light pattern by the irradiation unit 20 is performed during a part of the period during which the camera 22a and the camera 22b are exposed.
  • the irradiation unit 20 may include a light emitting module 26 that emits a given light pattern and a reflecting member 28 that reflects the light pattern.
  • the driver 18 may control at least one of the position and orientation of the reflective member 28.
  • a given light pattern may be applied to a place in the real space appearing in the irradiation area.
  • the driver 18 may control at least one of the position and orientation of the irradiation unit 20 itself. Then, in the process shown in S106, a given light pattern may be irradiated to a place in the real space appearing in the irradiation region.
  • the driver 18 may be an actuator that controls the position and orientation of the irradiation unit 20.
  • the irradiation unit 20 may include a plurality of light emitting modules 26 that emit a given light pattern. Each of the plurality of light emitting modules 26 is associated with a different location in the real space.
  • the driver 18 may select the light emitting module 26 associated with the location in the real space appearing in the irradiation region from the plurality of light emitting modules 26. Then, in the process shown in S106, the driver 18 may control the selected light emitting module 26 to emit a given light pattern.
  • the driver 18 may be a switch for switching the light emitting module 26 that emits a given light pattern.
  • the irradiation unit 20 may include a scanning projector that irradiates a place including a part in the real space appearing in the irradiation area. Then, in the process shown in S105 and 106, the driver 18 may control the scanning projector so as to irradiate a given light pattern to a place in the real space appearing in the irradiation region.
  • the position and orientation of the photographing unit 10 may be measured, and the position and orientation of the irradiation unit 20 may be measured. Then, based on the result of the measurement, the above-mentioned irradiation control (irradiation setting and irradiation) may be performed.
  • the irradiation unit 20 may be mounted on the robot, and the relative position and orientation of the irradiation unit 20 with respect to the robot may be fixed. Then, by moving the robot, a given light pattern may be applied to a place in the real space appearing in the irradiation area.
  • the driver 18 may control at least one of the positions and orientations of the robot on which the irradiation unit 20 is mounted.
  • the irradiation unit 20 may be mounted on the head of the robot, and the relative position and orientation of the irradiation unit 20 with respect to the robot head may be fixed. Then, by moving the head of the robot, a given light pattern may be irradiated to a place in the real space appearing in the irradiation area.
  • the driver 18 may control at least one of the positions and orientations of the head of the robot on which the irradiation unit 20 is mounted.
  • the depth engine 12 executes a stereo matching process for the pair of images captured by the process shown in S106 (S107).
  • the process shown in S109 may be executed without fail.
  • the frame in which the light emitting module 26 emits light and the frame in which the light emitting module 26 does not emit light arrive alternately.
  • the light emitting module 26 emits light in a part of the period during which the camera 22a and the camera 22b are exposed.
  • the depth engine 12 executes the stereo matching process based on the image taken in the situation where the given light pattern is not irradiated. Then, based on the result of the stereo matching process executed in the frame in which the light emitting module 26 does not emit light, the setting of the irradiation area in the next frame is executed.
  • the photographing unit 10 photographs the place where the given light pattern is irradiated.
  • the depth engine 12 will generate depth data of each position in the real space appearing in the image based on the image of the place irradiated with the given light pattern.
  • an irradiation region to which a given light pattern is irradiated is set at time T2 based on the result of stereo matching processing based on the image taken at time T1. Then, at the time T3 including the time T2 as a part, the image of the irradiated place is taken. Similarly, an irradiation region to which a given light pattern is irradiated is set at time T5 based on the result of stereo matching processing based on the image taken at time T4. Then, at the time T6 including the time T5 as a part, the image of the irradiated place is taken.
  • FIG. 7 is a diagram schematically showing an example of an image taken when a given light pattern is not irradiated.
  • FIG. 8 is a diagram schematically showing an example of an image taken when the light pattern is irradiated.
  • the region R is specified as the irradiation region.
  • the region R on the table which has no feature points or few feature points, is set as the irradiation region.
  • the region R is irradiated with a given light pattern, and the image shown in FIG. 8 is taken at time T3.
  • the CPU 16 may monitor the time after the execution of the process shown in S104 to S107 is started. Then, when the monitored time exceeds a predetermined time, the CPU 16 may determine that the turn-off time is satisfied, and the driver 18 may execute the process shown in S109.
  • the CPU 16 may monitor the number of times the processes shown in S104 to S107 are continuously executed without executing the processes shown in S101 to S103. Then, when the number of times monitored exceeds a predetermined number of times, the CPU 16 may determine that the turn-off time is satisfied, and the driver 18 may execute the process shown in S109.
  • the CPU 16 may specify the difference between the image taken in the immediately preceding frame and the image taken in the frame. Then, when the difference is larger than the predetermined difference, the CPU 16 may determine that the extinguishing time is satisfied, and the driver 18 may execute the process shown in S109. Alternatively, when the specified difference is smaller than the predetermined difference for a predetermined time or more, the CPU 16 may determine that the extinguishing time is satisfied, and the driver 18 may execute the process shown in S109.
  • the light pattern irradiation control device 1 may include a motion sensor. Then, when the value representing the magnitude of the movement, which is the measurement result of the motion sensor in the frame, is larger than the predetermined value, the CPU 16 determines that the extinguishing time is satisfied, and the driver 18 executes the process shown in S109. You may. Alternatively, when the value representing the magnitude of the above-mentioned movement is smaller than the predetermined value for a predetermined time or more, the CPU 16 may determine that the extinguishing time is satisfied, and the driver 18 may execute the process shown in S109.
  • the frame in which the light emitting module 26 emits light and the frame in which the position and orientation of the light emitting module 26 are changed may arrive alternately. Further, the position and orientation of the light emitting module 26 may be changed between the time when the light emitting module 26 emits light and the time when the light emitting module emits light in the next frame.
  • the CPU 16 may calculate the number of feature points extracted by the feature extraction engine 14 from the image for each of the plurality of regions in the image captured by the photographing unit 10.
  • the region may be the same region as the unit region described above, or may be a different region.
  • the CPU 16 may specify the irradiation region based on the calculated number of feature points. For example, a region in the captured image in which the calculated feature points are less than a predetermined number may be specified as an irradiation region. Alternatively, for example, the region having the fewest calculated feature points in the captured image may be specified as the irradiation region.
  • the reason why the reliability indicated by the reliability data generated by the depth engine 12 is low may not be due to the absence of feature points or the lack of feature points. In such a case, it may be effective to specify the irradiation region based on the feature points extracted by the feature extraction engine 14.
  • the irradiation region may be specified based on the reliability data and the calculated number of feature points. For example, in the process shown in S104, when a plurality of regions corresponding to reliability data indicating a reliability lower than a predetermined reliability are specified, the calculated feature points are the smallest among the plurality of regions. The region may be identified as an irradiation region.
  • the CPU 16 or the feature extraction engine 14 may execute the object recognition process for the image captured by the photographing unit 10. Then, for example, the area where a predetermined object such as a floor, a wall, or a table is recognized may be specified as an irradiation area.
  • the light pattern irradiation control device 1 may include an acceleration sensor. Then, the measurement result (for example, information in the direction of gravity) of the acceleration sensor may be used in the above-mentioned object recognition process.
  • any irradiation region may be specified based on another criterion (for example, given importance). Then, a given light pattern may be applied to a place in the real space that appears in the specified irradiation area.
  • a given light pattern may be sequentially irradiated to a place in the real space appearing in each irradiation region.
  • the irradiation unit 20 even if the irradiation unit 20 irradiates the light pattern, if the reliability indicated by the reliability data does not become higher than the predetermined reliability, the irradiation unit 20 does not irradiate the light pattern. You may do so. For example, when it is continuously confirmed that the average reliability value is not equal to or higher than the predetermined value in the process shown in S103 over a predetermined number of frames, the light pattern irradiation control device 1 does not execute the process shown in S104 and S105. You may return to the process shown in S101. For example, when the cause of the low reliability is occlusion or noise, the reliability indicated by the reliability data may not be higher than the predetermined reliability even if the light pattern is irradiated.
  • the light pattern irradiation control device 1 may include a motion sensor. When the amount of movement from the immediately preceding frame is smaller than the predetermined amount of movement, the irradiation unit 20 may not irradiate the light pattern.
  • the irradiation region to be irradiated with the light pattern which occupies a part of the image, is specified based on the image taken by the photographing unit 10. Then, the irradiation unit 20 is controlled so as to irradiate a given light pattern to a place in the real space appearing in the irradiation region. Therefore, according to the present embodiment, the power consumption can be reduced as compared with the case where a given light pattern is irradiated over a wide range.
  • the irradiation output is proportional to the square of the irradiation radius. Therefore, if the irradiation radius is halved, the irradiation output becomes 1/4.
  • the present invention is not limited to the above-described embodiment.
  • the photographing unit 10 and the irradiation unit 20 may be provided on different devices.
  • a photographing unit that captures an image used for generating depth data (hereinafter referred to as a first photographing unit) and a photographing unit that captures an image used for specifying an irradiation area (hereinafter referred to as a second photographing unit). It may be a separate body from (called a part).
  • irradiation control may be executed based on the image captured by the second imaging unit.
  • the first photographing unit may photograph an object irradiated with a given light pattern by the irradiation control.
  • depth data may be generated based on the image taken by the first photographing unit.
  • the second photographing unit and the irradiation unit 20 may be provided in an integrated device, and the first photographing unit may be provided in a device different from the device.
  • the feature extraction engine 14 may extract feature points from one image. Then, the irradiation region in the image may be specified based on the result of the extraction.
  • the present invention can also be applied to the generation of depth data by a method other than the stereo matching method.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

デプスデータを生成するための所与の光パターンの照射に係る消費電力を低減できる光パターン照射制御装置及び光パターン照射制御方法を提供する。ＣＰＵ（１６）は、撮影された画像に基づいて、当該画像内における、所与の光パターンを照射すべき照射領域を特定する。ドライバ（１８）は、所与の光パターンを、照射領域に表れている実空間内の場所に照射するよう照射部（２０）を制御する。デプスエンジン（１２）は、所与の光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成する。

Description

光パターン照射制御装置及び光パターン照射制御方法
　本発明は、光パターン照射制御装置及び光パターン照射制御方法に関する。
　撮影部により撮影される画像からデプスデータを生成する技術が知られている。デプスデータは、例えば、撮影される画像に表れている実空間内の各位置の、当該画像の投影面と交差する方向における位置を示す。
　床、壁、テーブルなどといった平面状の物体については、特徴点がない、あるいは、特徴点が少ないため、デプスデータの生成が一般的に困難である。このような場所でも精度の高いデプスデータが生成されるようにするため、ハイパワーのプロジェクターが、カメラの露光タイミングに同期させて、ランダムパターンや所定形状の図形のパターン等の所与の光パターンを照射する技術が存在する。
　しかし、上記技術では、広い範囲に光パターンが照射されるため無駄な消費電力が発生していた。
　本発明は上記実情に鑑みてなされたものであって、その目的の一つは、デプスデータを生成するための所与の光パターンの照射に係る消費電力を低減できる光パターン照射制御装置及び光パターン照射制御方法を提供することにある。
　上記課題を解決するために、本発明に係る光パターン照射制御装置は、撮影された画像に基づいて、当該画像の一部を占める、所与の光パターンを照射すべき照射領域を特定する照射領域特定部と、前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう照射部を制御する照射制御部と、前記光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成するデプスデータ生成部と、を含む。
　本発明の一態様では、前記照射領域特定部は、ステレオマッチング処理の実行結果の信頼度に基づいて、前記照射領域を特定する。
　また、発明の一態様では、前記照射領域特定部は、撮影された画像内の複数の領域のそれぞれについて抽出される特徴点の数に基づいて、前記照射領域を特定する。
　また、本発明の一態様では、前記照射制御部は、前記照射部の位置及び向きのうちの少なくとも一方を制御する。
　あるいは、前記照射制御部は、前記照射部に含まれる、前記光パターンを反射する反射部材の位置及び向きのうちの少なくとも一方を制御する。
　あるいは、前記照射部には、前記光パターンを出射する複数の発光モジュールが含まれており、前記照射制御部は、前記複数の発光モジュールのうちから、前記照射領域に表れている実空間内の場所に対応付けられる前記発光モジュールを選択し、選択される前記発光モジュールが前記光パターンを出射するよう制御する。
　あるいは、前記照射部は、前記照射領域に表れている実空間内の場所を一部に含む場所に対する照射を行う走査式プロジェクターを含み、前記照射制御部は、前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう前記走査式プロジェクターを制御する。
　あるいは、前記照射部は、ロボットに搭載されており、前記照射制御部は、前記ロボットの位置及び向きのうちの少なくとも一方を制御する。
　また、本発明に係る光パターン照射制御方法は、撮影された画像に基づいて、当該画像の一部を占める、所与の光パターンを照射すべき照射領域を特定するステップと、前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう照射部を制御するステップと、前記光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成するステップと、を含む。
本発明の一実施形態に係る光パターン照射制御装置の構成の一例を示す図である。 本発明の一実施形態に係る光パターン照射制御装置で実行される処理の一例を示すフロー図である。 照射制御の一例を模式的に示す図である。 照射制御の一例を模式的に示す図である。 照射制御の一例を模式的に示す図である。 露光タイミングと発光タイミングとの関係の一例を示す図である。 光パターンの照射が行われていない際に撮影された画像の一例を模式的に示す図である。 光パターンの照射が行われた際に撮影された画像の一例を模式的に示す図である。
　以下、本発明の一実施形態について、図面を参照しながら説明する。
　図１は、本発明の一実施形態に係る光パターン照射制御装置１の構成の一例を示す図である。
　図１に示すように、本実施形態に係る光パターン照射制御装置１には、撮影部１０、デプスエンジン１２、特徴抽出エンジン１４、ＣＰＵ（Central Processing Unit）１６、ドライバ１８、照射部２０、が含まれる。撮影部１０は、例えば、ステレオカメラであり、撮影部１０には、カメラ２２ａ、カメラ２２ｂ、ＩＳＰ（Image Signal Processor）２４ａ、及び、ＩＳＰ２４ｂが含まれる。
　本実施形態に係る撮影部１０は、所定のフレームレート（例えば１２０ｆｐｓあるいは６０ｆｐｓ）で、画像を撮影する。本実施形態では、カメラ２２ａによる画像の撮影タイミングとカメラ２２ｂによる画像の撮影タイミングとは同期がとられており、所定のフレームレートで一対の画像が生成される。
　本実施形態に係るカメラ２２ａ、及び、カメラ２２ｂは、可視光と赤外光の両方を撮影可能なカメラである。ここでカメラ２２ａ、及び、カメラ２２ｂは、例えば、赤外光をカットするためのフィルタが外されたモノクロカメラであってもよい。あるいは、カメラ２２ａ、及び、カメラ２２ｂは、例えば、赤外光をカットするためのフィルタが外されたカラーカメラであってもよい。また、カメラ２２ａ、及び、カメラ２２ｂは、可視光用だけでなく赤外光用の画素も実装されており、可視光のデータと赤外光のデータとを分離して生成するものであってもよい。
　撮影部１０により撮影された画像は、デプスエンジン１２、及び、特徴抽出エンジン１４に入力される。本実施形態では、カメラ２２ａにより撮影された画像は、ＩＳＰ２４ａによる画像処理が実行された上で、デプスエンジン１２、及び、特徴抽出エンジン１４に入力される。また、カメラ２２ｂにより撮影された画像は、ＩＳＰ２４ｂによる画像処理が実行された上で、デプスエンジン１２、及び、特徴抽出エンジン１４に入力される。
　デプスエンジン１２は、本実施形態では例えば、デプスデータ生成部として、撮影部１０により撮影された画像に基づいて、デプスデータ、及び、信頼度データを生成するデバイスを構成している。デプスエンジン１２は、例えば、撮影部１０により撮影された画像に対してステレオマッチング処理を実行する。ステレオマッチング処理には、撮影部１０により撮影された一対の画像内の互いに類似する領域をテンプレートマッチングにより対応付ける処理が含まれる。ここでは例えば、カメラ２２ａが撮影し、ＩＳＰ２４ａが画像処理を実行した画像内の領域と、カメラ２２ｂが撮影し、ＩＳＰ２４ｂが画像処理を実行した画像内の領域とを対応付ける処理が実行される。例えば、所定の大きさの領域（例えば２０ピクセル四方の領域）を単位として、上述の領域の対応付けが実行されてもよい。以下、当該領域を単位領域と呼ぶこととする。そしてデプスエンジン１２は、ステレオマッチング処理の実行結果に基づいて、デプスデータ、及び、信頼度データを生成する。
　ここでデプスデータとは、撮影される画像に表れている実空間内の各位置の、当該画像の投影面と交差する方向における位置を示すデータである。また、信頼度データとは、ステレオマッチング処理の実行結果の信頼度（例えば、当該信頼度データに対応付けられるデプスデータの信頼度）を示すデータである。以下の説明では、信頼度データが示す信頼度が高いほど、当該信頼度データには大きな値が設定されることとする。
　デプスデータは、例えば、複数の画素を含むデプス画像であってもよい。この場合、デプス画像内の各画素は、単位領域に対応付けられる。また、デプス画像内の各画素は、対応する単位領域に表れている実空間内の位置にも対応付けられる。デプス画像内の各画素には、例えば、対応する実空間内の位置の、撮影部１０により撮影された画像の投影面と交差する方向における位置に対応する画素値が設定される。
　そしてこの場合に、デプス画像内の各画素についての、当該画素に対応付けられる信頼度データが生成されてもよい。ここで信頼度データが示す信頼度が低い領域は、例えば、特徴点がない、あるいは、特徴点が少ないため対応付けができない領域や、類似する領域が複数存在する領域などが該当する。またノイズやオクルージョンの発生によっても、信頼度データが示す信頼度は低くなる。
　カラーカメラが用いられる場合は、ステレオマッチング処理において、例えば、各画素の輝度値による単位領域の対応付けが行われてもよい。また、可視光用だけでなく赤外光用の画素も実装されているカメラが用いられる場合は、デプスデータの生成には、モノクロ画素のデータが用いられるようにしてもよい。
　特徴抽出エンジン１４は、本実施形態では例えば、撮影部１０により撮影された画像から特徴点を抽出する処理を実行するデバイスである。なお、本実施形態に係る光パターン照射制御装置１に特徴抽出エンジン１４が含まれていなくてもよい。
　ＣＰＵ１６は、本実施形態では例えば、プログラムに従って動作するプロセッサである。本実施形態に係るＣＰＵ１６は、照射領域特定部として、撮影された画像に基づいて、当該画像の一部を占める、光パターンを照射すべき照射領域を特定する処理を実行する。ここで例えば、１又は複数の上述の単位領域が、照射領域として特定されてもよい。
　ドライバ１８は、本実施形態では例えば、照射制御部として、ＣＰＵ１６から受け付ける制御信号に基づいて照射部２０を制御するデバイスを構成している。
　照射部２０は、本実施形態では例えば、赤外線などの光を物体に照射するデバイスである。照射部２０は、例えば、ＶＣＳＥＬ（Vertical Cavity Surface Emitting LASER）モジュールであってもよいし、ＭＥＭＳ（Micro Electro Mechanical Systems）プロジェクターなどの走査式プロジェクターであってもよい。
　本実施形態では、ドライバ１８は、所与の光パターンを、ＣＰＵ１６により特定される照射領域に表れている実空間内の場所に照射するよう照射部２０を制御する。ここで当該光パターンは、例えば、ランダムパターンであってもよいし、所定形状の図形のパターンであってもよい。
　なお、以上の機能は、以上の機能に対応する指令を含むプログラムを光パターン照射制御装置１が実行することにより実装されていてもよい。そして当該プログラムが、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して光パターン照射制御装置１に供給されてもよい。
　ここで、本実施形態に係る光パターン照射制御装置１において行われる処理の流れの一例を、図２に例示するフロー図を参照しながら説明する。本処理例では、図２に示すＳ１０１又はＳ１０６に示す処理が所定のフレームレートで実行されるよう、図２に示すＳ１０１～Ｓ１０９に示す処理が繰り返し実行される。
　まず、撮影部１０が一対の画像を撮影する（Ｓ１０１）。
　そして、デプスエンジン１２が、Ｓ１０１に示す処理で撮影された一対の画像に対するステレオマッチング処理を実行する（Ｓ１０２）。当該ステレオマッチング処理が実行されることにより、例えば、複数の単位領域のそれぞれに対応付けられるデプスデータ、及び、当該単位領域についてのステレオマッチング処理の実行結果の信頼度を示す信頼度データが生成される。
　そして、ＣＰＵ１６が、Ｓ１０２に示す処理で生成された信頼度データが示す信頼度の値が、所定値以上であるか否かを確認する（Ｓ１０３）。ここで例えば、複数の単位領域のそれぞれに対応付けられる信頼度データが示す信頼度の値の平均値が、所定値以上であるか否かが確認されてもよい。
　Ｓ１０３に示す処理で、信頼度の値が所定値以上であることが確認された場合は（Ｓ１０３：Ｙ）、Ｓ１０１に示す処理に戻る。
　Ｓ１０３に示す処理で、信頼度の値が所定値以上でないことが確認された場合は（Ｓ１０３：Ｎ）、ＣＰＵ１６が、照射領域を特定する（Ｓ１０４）。Ｓ１０４に示す処理では例えば、ＣＰＵ１６は、ステレオマッチング処理の実行結果の信頼度に基づいて、照射領域を特定する。ここで所定の信頼度よりも低い信頼度を示す信頼度データに対応する単位領域が、照射領域と特定されてもよい。この場合、複数の照射領域が特定されてもよい。あるいは、最も低い信頼度を示す信頼度データに対応する単位領域が、照射領域と特定されてもよい。
　そしてドライバ１８が、照射部２０による照射の設定を実行する（Ｓ１０５）。Ｓ１０５に示す処理では、ＣＰＵ１６からドライバ１８に送信される制御信号に応じた照射の設定をドライバ１８が実行してもよい。また、Ｓ１０５に示す処理において、ドライバ１８は、照射部２０の電源をオンにしてもよい。
　そして、ドライバ１８が、所与の光パターンを、Ｓ１０４に示す処理で特定された照射領域に表れている実空間内の場所に照射するよう照射部２０を制御するとともに、撮影部１０が一対の画像を撮影する（Ｓ１０６）。Ｓ１０６に示す処理では、ＣＰＵ１６からドライバ１８に送信される制御信号に応じた照射をドライバ１８が実行してもよい。Ｓ１０６に示す処理では、照射部２０による所与の光パターンの照射は、カメラ２２ａ及びカメラ２２ｂが露光している期間の一部に行われる。
　図３に示すように、照射部２０に、所与の光パターンを出射する発光モジュール２６と、当該光パターンを反射する反射部材２８とが含まれていてもよい。この場合に、Ｓ１０５に示す処理で、ドライバ１８が、反射部材２８の位置及び向きのうちの少なくとも一方を制御してもよい。そしてＳ１０６に示す処理で、所与の光パターンが照射領域に表れている実空間内の場所に照射されるようにしてもよい。
　また、図４に示すように、Ｓ１０５に示す処理で、ドライバ１８が、照射部２０自体の位置及び向きのうちの少なくとも一方を制御してもよい。そして、Ｓ１０６に示す処理で、所与の光パターンが照射領域に表れている実空間内の場所に照射されるようにしてもよい。
　以上の場合のように、ドライバ１８は、照射部２０の位置や向きを制御するアクチュエータであってもよい。
　また、図５に示すように、照射部２０に、所与の光パターンを出射する発光モジュール２６が複数含まれていてもよい。複数の発光モジュール２６のそれぞれは、それぞれ実空間内の互いに異なる場所に対応付けられる。この場合に、Ｓ１０５に示す処理で、ドライバ１８が、当該複数の発光モジュール２６のうちから、照射領域に表れている実空間内の場所に対応付けられる発光モジュール２６を選択してもよい。そして、Ｓ１０６に示す処理で、ドライバ１８が、選択される発光モジュール２６が所与の光パターンを出射するよう制御してもよい。
　この場合のように、ドライバ１８は、所与の光パターンを出射させる発光モジュール２６を切り替えるスイッチであってもよい。
　また、照射部２０に、照射領域に表れている実空間内の場所を一部に含む場所に対する照射を行う走査式プロジェクターが含まれていてもよい。そして、Ｓ１０５及び１０６に示す処理で、ドライバ１８が、所与の光パターンを、照射領域に表れている実空間内の場所に照射するよう当該走査式プロジェクターを制御してもよい。
　なお本実施形態において、例えば撮影部１０の位置及び向きの計測や、照射部２０の位置及び向きの計測が行われるようにしてもよい。そして当該計測の結果に基づいて、上述の照射制御（照射の設定、及び、照射）が行われるようにしてもよい。
　また、撮影部１０の位置及び向きに対する照射部２０の相対的な位置及び向きが固定されている場合については、撮影部１０の位置及び向きと照射部２０の位置及び向きとの対応は所与である。そのためこの場合は、当該所与の対応を表す数式等を用いることにより、上述の照射制御を行うことは可能である。
　また、例えば照射部２０が、ロボットに搭載されており、照射部２０のロボットに対する相対的な位置や向きが固定されていてもよい。そして、ロボットを動かすことにより、所与の光パターンが照射領域に表れている実空間内の場所に照射されるようにしてもよい。この場合、ドライバ１８が、照射部２０が搭載されているロボットの位置及び向きのうちの少なくとも一方を制御してもよい。
　例えば、照射部２０が、ロボットの頭部に実装されており、照射部２０のロボットの頭部に対する相対的な位置や向きが固定されていてもよい。そして、ロボットの頭部を動かすことにより、所与の光パターンが照射領域に表れている実空間内の場所に照射されるようにしてもよい。この場合、ドライバ１８が、照射部２０が搭載されているロボットの頭部の位置及び向きのうちの少なくとも一方を制御してもよい。
　Ｓ１０６に示す処理が終了すると、デプスエンジン１２が、Ｓ１０６に示す処理で撮影された一対の画像に対するステレオマッチング処理を実行する（Ｓ１０７）。
　そして、ＣＰＵ１６が、所定の消灯条件を満足するか否かを確認する（Ｓ１０８）。ここで、消灯条件を満足することが確認された場合は（Ｓ１０８：Ｙ）、ドライバ１８が、照射部２０の電源をオフにして、照射部２０を消灯して（Ｓ１０９）、Ｓ１０１に示す処理に戻る。
　一方、消灯条件を満足しないことが確認された場合は（Ｓ１０８：Ｙ）、Ｓ１０４に示す処理に戻る。
　ここでＳ１０８に示す処理が実行されず、Ｓ１０７に示す処理が実行された後は、必ずＳ１０９に示す処理が実行されてもよい。
　この場合は、図６に示すように、発光モジュール２６による発光が行われるフレームと、発光モジュール２６による発光が行われないフレームと、が交互に到来する。
　図６に示すように、本実施形態では例えば、発光モジュール２６による発光が行われるフレームについては、発光モジュール２６による発光が、カメラ２２ａ及びカメラ２２ｂが露光している期間の一部に行われる。
　一方で、発光モジュール２６による発光が行われないフレームについては、デプスエンジン１２は、所与の光パターンが照射されていない状況で撮影した画像に基づいて、ステレオマッチング処理を実行する。そして発光モジュール２６による発光が行われないフレームに実行されたステレオマッチング処理の結果に基づいて、その次のフレームにおける照射領域の設定が実行される。
　そして当該次のフレームについては、撮影部１０は、所与の光パターンが照射された場所を撮影する。そして、デプスエンジン１２は、所与の光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成することとなる。
　図６の例では、時間Ｔ１において撮影された画像に基づくステレオマッチング処理の結果に基づいて、時間Ｔ２において所与の光パターンが照射される照射領域が設定される。そして、時間Ｔ２を一部に含む時間Ｔ３に、当該照射がされた場所の撮影が行われる。同様に、時間Ｔ４において撮影された画像に基づくステレオマッチング処理の結果に基づいて、時間Ｔ５において所与の光パターンが照射される照射領域が設定される。そして、時間Ｔ５を一部に含む時間Ｔ６に、当該照射がされた場所の撮影が行われる。
　図７は、所与の光パターンの照射が行われていない際に撮影された画像の一例を模式的に示す図である。図８は、光パターンの照射が行われた際に撮影された画像の一例を模式的に示す図である。例えば、図７に示す画像が時間Ｔ１において撮影された際に、領域Ｒが照射領域として特定される。ここでは、特徴点がない、あるいは、特徴点が少ない、テーブルの上の領域Ｒが照射領域に設定されている。この場合、その次のフレームにおいて領域Ｒに所与の光パターンが照射され、時間Ｔ３に図８に示す画像が撮影される。
　また、Ｓ１０８に示す処理において、ＣＰＵ１６が、Ｓ１０４～Ｓ１０７に示す処理の実行が開始されてからの時間を監視してもよい。そして、監視された時間が所定の時間を超えた場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。あるいは、Ｓ１０８に示す処理において、ＣＰＵ１６が、Ｓ１０１～Ｓ１０３に示す処理が実行されることなくＳ１０４～Ｓ１０７に示す処理が連続して実行された回数を監視してもよい。そして、監視された回数が所定の回数を超えた場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。
　また、Ｓ１０８に示す処理で、ＣＰＵ１６が、直前のフレームで撮影された画像と当該フレームで撮影された画像の差分を特定してもよい。そして、当該差分が所定の差分より大きい場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。あるいは、所定時間以上、特定される差分が所定の差分より小さい場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。
　また、光パターン照射制御装置１にモーションセンサが含まれていてもよい。そして、当該フレームにおけるモーションセンサの計測結果である動きの大きさを表す値が、所定値よりも大きい場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。あるいは、所定時間以上、上述の動きの大きさを表す値が所定値より小さい場合に、ＣＰＵ１６が、消灯時間を満足すると判定し、ドライバ１８が、Ｓ１０９に示す処理を実行してもよい。
　なお、本実施形態において、発光モジュール２６による発光が行われるフレームと、発光モジュール２６の位置や向きの変更が行われるフレームと、が交互に到来するようにしてもよい。また、発光モジュール２６による発光が行われてから次のフレームにおける発光タイミングまでの間に、発光モジュール２６の位置や向きが変更されてもよい。
　また本実施形態において、ＣＰＵ１６が、撮影部１０により撮影された画像内の複数の領域のそれぞれについて、当該画像から特徴抽出エンジン１４によって抽出された特徴点の数を算出してもよい。当該領域は上述の単位領域と同じ領域であってもよいし異なる領域であってもよい。そして、ＣＰＵ１６が、算出された特徴点の数に基づいて、照射領域を特定してもよい。例えば、撮影された画像内における、算出された特徴点が所定数より少ない領域が、照射領域と特定されてもよい。あるいは、例えば、撮影された画像内における、算出された特徴点が最も少ない領域が、照射領域と特定されてもよい。
　デプスエンジン１２により生成される信頼度データが示す信頼度が低い原因が、特徴点がないこと、あるいは、特徴点が少ないことによるものではないことがある。このような場合には、特徴抽出エンジン１４により抽出される特徴点に基づいて照射領域を特定することが有効なことがある。
　また例えば、信頼度データ及び算出される特徴点の数に基づいて、照射領域が特定されてもよい。例えば、Ｓ１０４に示す処理で、所定の信頼度よりも低い信頼度を示す信頼度データに対応する領域が複数特定される場合に、当該複数の領域のうちの、算出された特徴点が最も少ない領域が、照射領域と特定されてもよい。
　また、ＣＰＵ１６、又は、特徴抽出エンジン１４が、撮影部１０が撮影した画像に対する物体認識処理を実行してもよい。そして例えば、床、壁、テーブルなどといった所定の物体が認識された領域が、照射領域と特定されてもよい。
　ここで光パターン照射制御装置１に加速度センサが含まれていてもよい。そして上述の物体認識処理において当該加速度センサの計測結果（例えば重力方向の情報）が用いられてもよい。
　また、照射領域が複数特定される場合に、別の基準（例えば所与の重要度）に基づいていずれかの照射領域が特定されてもよい。そして所与の光パターンが、特定された照射領域に表れている実空間内の場所に照射されるようにしてもよい。
　また、照射領域が複数特定される場合に、所与の光パターンが、それぞれの照射領域に表れている実空間内の場所に、順次、照射されるようにしてもよい。
　また本実施形態において、照射部２０による光パターンの照射を行っても、信頼度データが示す信頼度が所定の信頼度よりも高くならない場合は、照射部２０による光パターンの照射が行われないようにしてもよい。例えばＳ１０３に示す処理で平均信頼度の値が所定値以上でないことが所定数のフレームにわたって連続して確認された場合は、光パターン照射制御装置１は、Ｓ１０４及びＳ１０５に示す処理を実行せずに、Ｓ１０１に示す処理に戻ってもよい。例えば、信頼度が低い原因がオクルージョンやノイズである場合には、光パターンの照射を行っても、信頼度データが示す信頼度が所定の信頼度よりも高くならない可能性がある。
　また本実施形態において、光パターン照射制御装置１にモーションセンサが含まれていてもよい。そして直前のフレームからの移動量が所定の移動量よりも小さい場合は、照射部２０による光パターンの照射が行われないようにしてもよい。
　本実施形態では以上で説明したように、撮影部１０により撮影された画像に基づいて、当該画像の一部を占める、光パターンを照射すべき照射領域が特定される。そして、所与の光パターンを、照射領域に表れている実空間内の場所に照射するよう照射部２０が制御される。そのため本実施形態によれば、広い範囲に所与の光パターンが照射される場合よりも、消費電力を低減できることとなる。例えば撮影部１０からの距離が所定の距離である場所に光パターンの照射を行う場合、ＦＯＶ（Field of View）が大きいと、照射出力は照射半径の二乗に比例する。そのため、照射半径が半分となれば照射出力は１／４となる。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えば、撮影部１０と照射部２０とは、互いに異なるデバイスに設けられていてもよい。
　また例えば、デプスデータの生成に用いられる画像を撮影する撮影部（以下、第１の撮影部と呼ぶ。）と、照射領域の特定に用いられる画像を撮影する撮影部（以下、第２の撮影部と呼ぶ。）とは、別体であってもよい。この場合、第２の撮影部により撮影される画像に基づいて、照射制御が実行されてもよい。そして第１の撮影部が、当該照射制御により所与の光パターンが照射された物体を撮影してもよい。そして、第１の撮影部が撮影した画像に基づいて、デプスデータが生成されてもよい。ここで例えば、第２の撮影部と照射部２０とは一体のデバイスに設けられており、第１の撮影部が当該デバイスとは別のデバイスに設けられていてもよい。
　また本実施形態において、一対の画像に基づいて、照射領域が特定される必要はない。例えば、特徴抽出エンジン１４が１つの画像から特徴点を抽出してもよい。そして、当該抽出の結果に基づいて、当該画像内における照射領域が特定されてもよい。
　また、本発明は、ステレオマッチング方式以外の方式によるデプスデータの生成においても適用可能である。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (9)

  1. 　撮影された画像に基づいて、当該画像の一部を占める、所与の光パターンを照射すべき照射領域を特定する照射領域特定部と、
    　前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう照射部を制御する照射制御部と、
    　前記光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成するデプスデータ生成部と、
    　を含むことを特徴とする光パターン照射制御装置。
  2. 　前記照射領域特定部は、ステレオマッチング処理の実行結果の信頼度に基づいて、前記照射領域を特定する、
    　ことを特徴とする請求項１に記載の光パターン照射制御装置。
  3. 　前記照射領域特定部は、撮影された画像内の複数の領域のそれぞれについて抽出される特徴点の数に基づいて、前記照射領域を特定する、
    　ことを特徴とする請求項１又は２に記載の光パターン照射制御装置。
  4. 　前記照射制御部は、前記照射部の位置及び向きのうちの少なくとも一方を制御する、
    　ことを特徴とする請求項１から３のいずれか一項に記載の光パターン照射制御装置。
  5. 　前記照射制御部は、前記照射部に含まれる、前記光パターンを反射する反射部材の位置及び向きのうちの少なくとも一方を制御する、
    　ことを特徴とする請求項１から３のいずれか一項に記載の光パターン照射制御装置。
  6. 　前記照射部には、前記光パターンを出射する複数の発光モジュールが含まれており、
    　前記照射制御部は、前記複数の発光モジュールのうちから、前記照射領域に表れている実空間内の場所に対応付けられる前記発光モジュールを選択し、選択される前記発光モジュールが前記光パターンを出射するよう制御する、
    　ことを特徴とする請求項１から３のいずれか一項に記載の光パターン照射制御装置。
  7. 　前記照射部は、前記照射領域に表れている実空間内の場所を一部に含む場所に対する照射を行う走査式プロジェクターを含み、
    　前記照射制御部は、前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう前記走査式プロジェクターを制御する、
    　ことを特徴とする請求項１から３のいずれか一項に記載の光パターン照射制御装置。
  8. 　前記照射部は、ロボットに搭載されており、
    　前記照射制御部は、前記ロボットの位置及び向きのうちの少なくとも一方を制御する、
    　ことを特徴とする請求項１から３のいずれか一項に記載の光パターン照射制御装置。
  9. 　撮影された画像に基づいて、当該画像の一部を占める、所与の光パターンを照射すべき照射領域を特定するステップと、
    　前記光パターンを、前記照射領域に表れている実空間内の場所に照射するよう照射部を制御するステップと、
    　前記光パターンが照射された場所を撮影した画像に基づいて、当該画像に表れている実空間内の各位置のデプスデータを生成するステップと、
    　を含むことを特徴とする光パターン照射制御方法。
PCT/JP2020/018591 2019-05-17 2020-05-07 光パターン照射制御装置及び光パターン照射制御方法 WO2020235348A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021520697A JP7399160B2 (ja) 2019-05-17 2020-05-07 光パターン照射制御装置及び光パターン照射制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019093819 2019-05-17
JP2019-093819 2019-05-17

Publications (1)

Publication Number Publication Date
WO2020235348A1 true WO2020235348A1 (ja) 2020-11-26

Family

ID=73458515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018591 WO2020235348A1 (ja) 2019-05-17 2020-05-07 光パターン照射制御装置及び光パターン照射制御方法

Country Status (2)

Country Link
JP (1) JP7399160B2 (ja)
WO (1) WO2020235348A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7388601B1 (ja) 2022-05-09 2023-11-29 三菱電機株式会社 構造物計測装置、データ処理装置、及び構造物計測方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017355A (ja) * 2005-07-08 2007-01-25 Omron Corp ステレオ対応づけのための投光パターンの生成装置及び生成方法
JP2008232776A (ja) * 2007-03-20 2008-10-02 Fujifilm Corp ３次元形状計測装置および方法並びにプログラム
JP2010091492A (ja) * 2008-10-10 2010-04-22 Fujifilm Corp ３次元形状計測用撮影装置および方法並びにプログラム
JP2011209019A (ja) * 2010-03-29 2011-10-20 Sony Corp ロボット装置及びロボット装置の制御方法
JP2012098087A (ja) * 2010-10-29 2012-05-24 Canon Inc 測定装置及び測定方法
JP2017530352A (ja) * 2014-09-11 2017-10-12 サイバーオプティクス コーポレーション 三次元表面形状計測における多数のカメラ及び光源からの点群統合
US20180330520A1 (en) * 2017-05-11 2018-11-15 Dantec Dynamics A/S Method and system for calibrating a velocimetry system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017355A (ja) * 2005-07-08 2007-01-25 Omron Corp ステレオ対応づけのための投光パターンの生成装置及び生成方法
JP2008232776A (ja) * 2007-03-20 2008-10-02 Fujifilm Corp ３次元形状計測装置および方法並びにプログラム
JP2010091492A (ja) * 2008-10-10 2010-04-22 Fujifilm Corp ３次元形状計測用撮影装置および方法並びにプログラム
JP2011209019A (ja) * 2010-03-29 2011-10-20 Sony Corp ロボット装置及びロボット装置の制御方法
JP2012098087A (ja) * 2010-10-29 2012-05-24 Canon Inc 測定装置及び測定方法
JP2017530352A (ja) * 2014-09-11 2017-10-12 サイバーオプティクス コーポレーション 三次元表面形状計測における多数のカメラ及び光源からの点群統合
US20180330520A1 (en) * 2017-05-11 2018-11-15 Dantec Dynamics A/S Method and system for calibrating a velocimetry system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7388601B1 (ja) 2022-05-09 2023-11-29 三菱電機株式会社 構造物計測装置、データ処理装置、及び構造物計測方法

Also Published As

Publication number Publication date
JP7399160B2 (ja) 2023-12-15
JPWO2020235348A1 (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
JP7354133B2 (ja) 三次元深度検知及び二次元撮像のためのカメラ露出調節
US20150116460A1 (en) Method and apparatus for generating depth map of a scene
CN115174877A (zh) 投影设备及投影设备的调焦方法
US20140267427A1 (en) Projector, method of controlling projector, and program thereof
WO2015001770A1 (ja) 複数の光源を有するモーションセンサ装置
JP2011169701A (ja) 物体検出装置および情報取得装置
JP6970376B2 (ja) 画像処理システム、及び画像処理方法
WO2019184184A1 (zh) 目标图像获取***与方法
CN110308458B (zh) 调节方法、调节装置、终端及计算机可读存储介质
JP2011134221A (ja) 撮像装置、３ｄモデリングデータ生成方法、および、プログラム
WO2020238569A1 (zh) 终端的控制方法及控制装置、终端及计算机可读存储介质
WO2019184183A1 (zh) 目标图像获取***与方法
CN109299662A (zh) 深度数据计算设备与方法及人脸识别设备
WO2020235348A1 (ja) 光パターン照射制御装置及び光パターン照射制御方法
CN111355893A (zh) 飞拍控制方法及***
CN114866751A (zh) 一种投影设备及触发校正方法
CN110225247B (zh) 一种图像处理方法及电子设备
JP6681141B2 (ja) 口腔内を三次元測定する方法および装置
JP6212984B2 (ja) 投影装置、投影方法及びプログラム
EP3163369B1 (en) Auto-focus control in a camera to prevent oscillation
JP2006098255A (ja) 撮影方法、撮影システム、複合装置、３次元形状復元方法、プログラム及び情報記録媒体
US11501408B2 (en) Information processing apparatus, information processing method, and program
CN111912784A (zh) 一种红外反射杂光的检测方法及***
JPWO2020116232A1 (ja) 制御装置、制御方法、およびプログラム
KR20160073488A (ko) 3d 스캐너

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20809822

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021520697

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20809822

Country of ref document: EP

Kind code of ref document: A1