JP2002013918A - Three-dimensional image forming device and three- dimensional image forming method - Google Patents
Three-dimensional image forming device and three- dimensional image forming methodInfo
- Publication number
- JP2002013918A JP2002013918A JP2000196050A JP2000196050A JP2002013918A JP 2002013918 A JP2002013918 A JP 2002013918A JP 2000196050 A JP2000196050 A JP 2000196050A JP 2000196050 A JP2000196050 A JP 2000196050A JP 2002013918 A JP2002013918 A JP 2002013918A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- image
- light
- projection pattern
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は測定対象に対してパ
ターン光を照射することによって得られるパターン投影
像を、複数の撮像手段で異なる方向から撮像し、パター
ンの変化に基づいて距離情報を得る三角測量法に基づく
３次元画像生成装置および３次元画像生成方法に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method in which a pattern projection image obtained by irradiating pattern light onto a measurement object is imaged from different directions by a plurality of imaging means, and distance information is obtained based on a change in the pattern. The present invention relates to a three-dimensional image generation device and a three-dimensional image generation method based on triangulation.
【０００２】[0002]
【従来の技術】３次元形状を取得する手法には、アクテ
ィブ手法（Active vision）とパッシブ手法（Passive v
ision）がある。アクティブ手法は、（1）レーザ光や超
音波等を発して、対象物からの反射光量や到達時間を計
測し、奥行き情報を抽出するレーザー手法や、（2）ス
リット光などの特殊なパターン光源を用いて、対象表面
パターンの幾何学的変形等の画像情報より対象形状を推
定するパターン投影方法や、(3)光学的処理によってモ
アレ縞により等高線を形成させて、３次元情報を得る方
法などがある。一方、パッシブ手法は、対象物の見え
方、光源、照明、影情報等に関する知識を利用して、一
枚の画像から３次元情報を推定する単眼立体視、三角測
量原理で各画素の奥行き情報を推定する二眼立体視等が
ある。2. Description of the Related Art A technique for acquiring a three-dimensional shape includes an active technique (Active vision) and a passive technique (Passive v).
ision). The active method is (1) a laser method that emits laser light or ultrasonic waves to measure the amount of light reflected from an object and the arrival time, and extracts depth information. (2) A special pattern light source such as a slit light A pattern projection method that estimates the target shape from image information such as the geometric deformation of the target surface pattern, and (3) a method in which contour lines are formed by moire fringes by optical processing to obtain three-dimensional information. There is. On the other hand, the passive method is based on monocular stereoscopic vision, which estimates three-dimensional information from a single image by using knowledge about how to see an object, light source, illumination, shadow information, etc., and the depth information of each pixel based on the principle of triangulation. Is estimated.
【０００３】一般的にアクティブ手法のほうが計測精度
は高いが、投光手段の限界などにより、測定できるレン
ジが小さい場合が多い。一方、パッシブ手法は汎用的で
あり、対象に対する制約が少ない。本発明は、このアク
ティブ手法の3次元計測装置であるパターン投影法に関
するものである。In general, the active method has higher measurement accuracy, but in many cases, the measurable range is small due to limitations of light emitting means. On the other hand, the passive method is versatile and has few restrictions on objects. The present invention relates to a pattern projection method, which is a three-dimensional measuring device of the active method.
【０００４】パターン投影法では、対象とする物体に基
準となるパターン光を投影し、基準となるパターン光が
投影された方向とは異なる方向から撮影を行う。撮影さ
れたパターンは、物体の形状によって変形を受けたもの
となる。観測された変形パターンと投影したパターンと
の対応づけを行うことで、物体の3次元計測を行える。
パターン投影法では、変形パターンと投影したパターン
の対応づけにおいていかに誤対応を少なくし、かつ簡便
に行うかが課題となる。そこで、様々なパターン投影の
手法(空間パターンコード化、モアレ、色符号化)が提案
されている。In the pattern projection method, reference pattern light is projected onto a target object, and photographing is performed from a direction different from the direction in which the reference pattern light is projected. The captured pattern is deformed by the shape of the object. By associating the observed deformation pattern with the projected pattern, three-dimensional measurement of the object can be performed.
In the pattern projection method, the problem is how to reduce the erroneous correspondence and easily perform the correspondence between the deformed pattern and the projected pattern. Therefore, various pattern projection techniques (spatial pattern coding, moiré, color coding) have been proposed.
【０００５】代表的な空間コード化の一例として特開平
５−３３２７３７５号公報に開示されている実施例につ
いて説明する。この例では、レーザ光源とレーザ光をス
リット形に整形するレンズ系と、整形されたレーザ光を
対象物に走査して照射するスキャンニング装置と対象物
からの反射光を検出するカメラとこれらを制御する装置
からなる。An embodiment disclosed in Japanese Patent Laid-Open Publication No. Hei 5-3327375 will be described as an example of typical spatial coding. In this example, a laser light source and a lens system for shaping the laser light into a slit shape, a scanning device for scanning and irradiating the shaped laser light onto the object, a camera for detecting reflected light from the object, and a It consists of a controlling device.
【０００６】スキャンニング装置から走査されるレーザ
光によって対象物上に、レーザ光が照射された部分と照
射されていない部分とで縞模様が形成される。レーザ光
の照射を異なる複数のパターンによって行うことで対象
物上はＮ個の識別可能な部分に分割される。対象物を異
なる位置からカメラで撮影した画像上の各画素が分割さ
れたどの部分に含まれるかを判別することで対象物の形
状を算出できる。[0006] A stripe pattern is formed on a target object by a laser beam scanned from a scanning device at a portion irradiated with the laser beam and a portion not irradiated with the laser beam. By irradiating the laser beam with a plurality of different patterns, the object is divided into N identifiable portions. The shape of the target object can be calculated by determining which of the divided portions each pixel on the image of the target object is captured by the camera from a different position.
【０００７】解像度を高くする為には複数回のレーザに
よるスキャンを行い、複数回のカメラによる撮影が必要
となる。例えば、画面を２５６の領域に分割する為には
8回の撮影が必要となる。そのため動きの早い物体の撮
影は困難となり、更にスキャンを行う間は撮影系を確実
に固定しておく必要があるので装置自体は簡便となって
も手軽に撮影を行う事は難しい。In order to increase the resolution, it is necessary to perform scanning with a laser a plurality of times and perform photographing with a camera a plurality of times. For example, to divide the screen into 256 areas
Eight shootings are required. For this reason, it is difficult to photograph a fast-moving object, and furthermore, it is necessary to securely fix the photographing system during scanning, so that it is difficult to photograph easily even if the apparatus itself is simple.
【０００８】パターンの投光回数を減らす手段として特
開平３−１９２４７４号公報に開示されている色符号化
がある。色符号化においては、q、kを2以上の所定の自
然数とした時、q色以上の色を用いて、隣接する2本のス
リット光が同色にならず、隣接するk本のスリット光に
よる色の並びが1度しか現れないように符号化されたパ
ターンを投影し、観測された画像からスリットの色を検
出し、該当スリットの色並びからスリット番号を取得す
る。スリット番号から、スリットの照射方向を算出し空
間コード化の例と同様に距離を算出することができる。As a means for reducing the number of times of projecting a pattern, there is color coding disclosed in Japanese Patent Application Laid-Open No. 3-192474. In the color coding, when q and k are set to a predetermined natural number of 2 or more, two adjacent slit lights are not the same color by using the q or more colors, and the k slit lights are adjacent to each other. The encoded pattern is projected so that the color arrangement appears only once, the slit color is detected from the observed image, and the slit number is acquired from the color arrangement of the corresponding slit. The irradiation direction of the slit is calculated from the slit number, and the distance can be calculated in the same manner as in the case of the spatial coding.
【０００９】しかしながら、色符号化ではコード列の並
びからコードを復元する為に、コードの復元の計算量が
大きいという問題点がある。更に、Ｒ，Ｇ，Ｂの３色を
用いて２５６の領域に分割したい場合には、コードを知
りたいスリットの周囲８本のスリット光の並びを知る必
要があり、連続してスリットが長く観測できるような形
状の物体の計測にしか適さない。However, in color coding, since the code is restored from the arrangement of the code strings, there is a problem that the amount of calculation for restoring the code is large. Further, when it is desired to divide the image into 256 regions using three colors of R, G, and B, it is necessary to know the arrangement of eight slit lights around the slit for which the code is to be obtained. It is only suitable for measuring objects of a shape that can be made.
【００１０】スリットの復元を容易に行い、更に1回で
コード化されたパターンを投影する手段として特許第２
５６５８８５号で公開されている空間パターンコード化
法がある。この特許では、３値以上の濃淡、又は３色以
上の色、又は濃淡と色の組み合わせによって３種類以上
の階調領域を有し、該階調領域の境界線の交点において
少なくとも３種類の階調領域が互いに接しているように
配置した多値格子板パターンを具備し、該パターンを被
測定対象物に投影して生じる投影像の交点に該交点で接
する階調の種類と順序に応じた主コードを付与し、該主
コードを、または交点の主コードとその周囲交点の主コ
ードとを組み合わせた組み合わせコードを、交点の識別
用の特徴コードとして付与したことを特徴とする。しか
し、この方式では撮影対象によってはコード化が崩れて
しまい正しくコードの対応づけができなくなる場合があ
る。撮影対象の構造によってはカメラで撮影されるパタ
ーン列が欠落して認識されたり、反転したパターン列が
得られる場合がある。また、対象物の形状や反射率など
によっても投光したパターンと撮影されたパターン列の
変化により対応づけは困難となる。[0010] Patent Document 2 discloses means for easily restoring a slit and projecting a coded pattern at a time.
There is a spatial pattern coding method disclosed in 565885. In this patent, there are three or more types of gradation areas by three or more shades, three or more colors, or a combination of shades and colors, and at least three kinds of gradations at the intersection of the boundary lines of the gradation areas. A multi-valued grid plate pattern arranged so that the tone areas are in contact with each other, and according to the type and order of the gradations that are in contact with the intersections of the projected images generated by projecting the pattern on the object to be measured. A main code is provided, and the main code or a combination code obtained by combining a main code at an intersection with a main code at an intersection around the intersection is provided as a characteristic code for identifying an intersection. However, in this method, the coding may be lost depending on the shooting target, and the code may not be correctly associated. Depending on the structure of the object to be photographed, a pattern sequence photographed by the camera may be recognized as being missing or an inverted pattern sequence may be obtained. In addition, it is difficult to associate the projected pattern with a change in the photographed pattern sequence depending on the shape and reflectance of the object.
【００１１】色符号化においては、復号化時にスリット
のグループ化を行う際、スリットの欠落、反転の可能性
があるパターンについては復号を行わない手法を用いて
この問題を回避している。空間パターンコード化法では
2次元パターンを用いることで、前述の誤りの可能性を
低減してはいるが、原理的には対象物によっては同じ誤
りが生じる。従って、前述の方式では、実験室内の特殊
な状況や対象物体を限定した状況での撮影では優れた精
度が得られるものの、対象を限定しない一般的な撮影状
況では精度の劣化は否めない。また、光源を用いた投光
を行う手法では、広いレンジを有するものを対象とした
時に、投光が届かない部位については3次元形状が得ら
れない。また、投光されたパターンを対象物が遮ること
で生じる影の領域も、距離の計測ができないため、実際
に見えているのに距離が得られない領域が存在してしま
う。In color coding, when slits are grouped at the time of decoding, this problem is avoided by using a method that does not decode patterns that may have missing or inverted slits. In the spatial pattern coding method
The use of a two-dimensional pattern reduces the possibility of the aforementioned error, but in principle, the same error occurs depending on the object. Therefore, in the above-described method, excellent accuracy can be obtained in a special situation in a laboratory or in a situation where a target object is limited, but in a general shooting situation where the target is not limited, the accuracy cannot be degraded. Further, in a method of performing light projection using a light source, when a target having a wide range is targeted, a three-dimensional shape cannot be obtained for a part where the light cannot reach. In addition, since the distance cannot be measured in a shadow area generated when an object blocks the projected pattern, there is an area in which the distance is not obtained although it is actually visible.
【００１２】そこで、本出願と同一出願人に係る特願平
１０−１９１０６３号、(特開２０００−９４４２)、特
願平１０−２４７７９６(特開２０００−６５５４２)で
は投光されたパターンをフィードバックし新たなコード
を生成することで対象物に依存しない3次元画像撮影装
置を提案した。For this reason, in Japanese Patent Application No. 10-191063, Japanese Patent Application No. 2000-9442, and Japanese Patent Application No. 10-247796 (Japanese Patent Application No. 2000-65542), which are the same applicant as the present application, the projected pattern is fed back. Then, we proposed a 3D image capturing device that does not depend on the object by generating a new code.
【００１３】[0013]
【発明が解決しようとする課題】上記の特願平１０−１
９１０６３号、(特開２０００−９４４２)、特願平１０
−２４７７９６(特開２０００−６５５４２)における３
次元画像撮影装置は、投光パターンを複数の強度や複数
の波長によって符号化されたものを投影して実現する。
その際に、投光パターンが被写体の輝度情報、素材など
の影響によって変化し、３次元形状を算出する際に、エ
ラーとなって適切な３次元形状が計測できない。そのた
めに、上記３次元撮像装置は、投光素子と同光軸に配置
をし、被写体情報による投光パターンの変化分をモニタ
し、再符号化を実施し、３次元形状を計測している。SUMMARY OF THE INVENTION The above-mentioned Japanese Patent Application No. Hei 10-1
No. 91063, (JP-A-2000-9442), Japanese Patent Application No. Hei 10
-247796 (JP-A-2000-65542).
The two-dimensional image photographing apparatus realizes a light projection pattern by projecting a light projection pattern encoded by a plurality of intensities and a plurality of wavelengths.
At this time, the light projection pattern changes due to the influence of the luminance information of the subject, the material, and the like, and when calculating the three-dimensional shape, an error occurs and an appropriate three-dimensional shape cannot be measured. For this purpose, the three-dimensional imaging device is arranged on the same optical axis as the light projecting element, monitors a change in the light projecting pattern due to subject information, performs re-encoding, and measures the three-dimensional shape. .
【００１４】しかしながら、上記構成において、距離算
出をスリットのエッジから行っているので、形状計測を
実施しようとする被写体はスリットのエッジ上でしか計
測が不可能である。例えば、スリット間に極端に形状変
化が発生していたり、物体のエッジの部分が存在してい
る場合は、物体の輪郭や形状がぼやけてしまう場合があ
る。また、上記構成においては、形状測定のために、投
光パターンを投影しているが、投光パターンは、計測条
件（明るさなど）や計測距離などによって、被写体に必
ずしも照射出来るとは限らない。However, in the above configuration, since the distance is calculated from the edge of the slit, the object whose shape is to be measured can be measured only on the edge of the slit. For example, when the shape changes extremely between the slits or when the edge portion of the object exists, the contour or shape of the object may be blurred. Further, in the above configuration, the light projection pattern is projected for shape measurement, but the light projection pattern cannot always be irradiated to the subject depending on the measurement conditions (brightness, etc.) and the measurement distance. .
【００１５】一方、ステレオ画像法（三次元画像計測、
著者：井口征二、佐藤宏介、株式会社昭晃堂、ISBN4-78
56-9063-4、p14-16）は、一般的な距離測定方法として
知られている。対象物を異なる位置から目測し、各々の
視線方向が定まれば、三角測量の原理から容易に対象ま
での距離が計算できる。最低限、二つの撮像素子を並べ
て、人間の両眼のようにあるがままの世界をそのまま観
測する受動的な計測方法である。本方法は、前記方法の
ような能動的な測定方法ではないために、輝度差のない
ような対象物に対しては計測が出来ないと言う欠点を持
っているが、対象物に輝度差やエッジが存在すれば、信
頼性の高い計測方法でもある。しかしながら、ステレオ
画像法は、片方の撮像素子の画像の中に見えている点
が、もう片方の撮像素子の画像の中のどこに対応するか
といった、対応点決定（マッチング）作業が必要であ
る。ステレオ画像法で距離を算出するときは、撮像素子
で撮像している画像全てにおいて、対応点決定を行わな
ければならず、あいまいさや巨大な計算コストがかかる
といった問題点を抱えている。On the other hand, a stereo image method (three-dimensional image measurement,
Author: Seiji Iguchi, Kosuke Sato, Shokodo Co., Ltd., ISBN4-78
56-9063-4, p14-16) is known as a general distance measuring method. If the target is measured from different positions and the direction of each line of sight is determined, the distance to the target can be easily calculated from the principle of triangulation. This is a passive measurement method in which at least two image sensors are arranged side by side and the world as it is is observed as it is with both eyes of a human. Although this method is not an active measurement method as in the above method, it has a drawback that measurement cannot be performed on an object having no luminance difference. If there is an edge, it is also a highly reliable measurement method. However, the stereo image method requires a corresponding point determination (matching) operation such as determining where a point visible in an image of one image sensor corresponds to an image of the other image sensor. When the distance is calculated by the stereo image method, corresponding points must be determined for all images captured by the image sensor, and there is a problem that ambiguity and a huge calculation cost are required.
【００１６】本発明は、距離算出における上述の問題点
に鑑みてなされたものであり、スリットパターンを投影
した測定対象の画像を投光手段と光学的に同光軸に配置
した撮像手段で撮像し、その撮像結果に基づいて再符号
化（再コード化）を実施し、他の方向から測定対象を撮
影する撮像手段の撮影したパターン画像に基づいて距離
情報算出する構成とするとともに、パターンの投影さ
れ、パターンの識別される画像領域について、パターン
に基づくウィンドウ区分を実行して、ウィンドウ内を探
索領域とするステレオマッチング処理を併用することに
より、高精度な距離情報を取得することを可能とした３
次元画像生成装置および３次元画像生成方法を提供する
ことを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems in distance calculation, and an image of a measurement target on which a slit pattern has been projected is captured by an imaging unit optically arranged on the same optical axis as the light projecting unit. Then, re-encoding (re-encoding) is performed based on the imaging result, and distance information is calculated based on a pattern image captured by an imaging unit that captures an object to be measured from another direction. By performing a window division based on a pattern for an image area where a projected and pattern is identified, and using a stereo matching process in which a search area is set within the window, it is possible to acquire highly accurate distance information. 3
It is an object to provide a three-dimensional image generation device and a three-dimensional image generation method.
【００１７】さらに、パターンの識別される画像領域
と、パターンの識別されない画像領域とを識別して、パ
ターン識別領域については再符号化（再コード化）によ
る距離情報を算出し、パターン非識別領域の限られた範
囲内でステレオ画像法を実施し、距離情報を算出するこ
とにより効率的かつ高精度な距離算出を可能とした３次
元画像生成装置および３次元画像生成方法を提供するこ
とを目的とする。Further, an image area in which a pattern is identified and an image area in which a pattern is not identified are identified, and for the pattern identification area, distance information is calculated by re-encoding (re-encoding). The object of the present invention is to provide a three-dimensional image generating apparatus and a three-dimensional image generating method which enable efficient and highly accurate distance calculation by calculating a distance information by performing a stereo image method within a limited range of And
【００１８】[0018]
【課題を解決するための手段】本発明は、上述の目的を
実現するものであり、その第１の側面は、パターンを測
定対象に投影する投光手段と、前記投光手段の光軸方向
から投影パターンを撮影する第１の撮像手段と、前記投
光手段の光軸方向と異なる方向から前記投影パターンを
撮影する第２の撮像手段とを備え、前記投影パターンに
対する第１の撮像手段による撮影パターンの変化量が所
定値以上の領域について、該第１の撮像手段による撮影
パターンに対応する新規コードを割り付け、前記新規コ
ードに基づいて第２の撮像手段による撮影パターンから
前記第１の距離情報を生成するとともに、前記第１およ
び第２の撮像手段の撮影した投影パターン入り画像のパ
ターン境界に基づいて、前記第１および第２の撮像手段
の撮影した投影パターン無し画像のウィンドウ区分を実
行し、該ウィンドウを探索領域としたステレオマッチン
グ処理を実行して第２の距離情報を生成する構成を有す
ることを特徴とする３次元画像生成装置にある。SUMMARY OF THE INVENTION The first aspect of the present invention realizes the above-mentioned object. The first aspect is a light projecting means for projecting a pattern onto an object to be measured, and an optical axis direction of the light projecting means. A first imaging unit for photographing the projection pattern from the camera, and a second imaging unit for photographing the projection pattern from a direction different from the optical axis direction of the light projecting unit. A new code corresponding to the shooting pattern by the first imaging unit is allocated to an area where the amount of change in the shooting pattern is equal to or greater than a predetermined value, and the first distance from the shooting pattern by the second imaging unit is determined based on the new code. Information on the projection pattern captured by the first and second imaging means, based on the pattern boundary of the image with the projection pattern captured by the first and second imaging means. Run the window section of the over emissions without image, in the three-dimensional image generation apparatus characterized by having a configuration for generating the second distance information by performing the stereo matching processing said windows and the search area.
【００１９】さらに、本発明の３次元画像生成装置の一
実施態様において、前記投光手段は不可視領域の光を発
生する光源を有し、不可視領域の光によるパターンを前
記測定対象に投影する構成であり、前記第１および第２
の撮像手段は不可視領域の光を透過するフィルターおよ
び不可視領域の光を遮断するフィルターを有し、投影パ
ターン入り画像および投影パターン無し画像の両画像を
並列に撮り込む構成であることを特徴とする。Further, in one embodiment of the three-dimensional image generating apparatus of the present invention, the light projecting means has a light source for generating light in an invisible area, and projects a pattern by the light in the invisible area onto the object to be measured. And the first and second
Is characterized in that it has a configuration that has a filter that transmits light in the invisible region and a filter that blocks light in the invisible region, and captures both an image with a projection pattern and an image without a projection pattern in parallel. .
【００２０】さらに、本発明の３次元画像生成装置の一
実施態様において、前記投光手段の出射光と、前記第１
の撮像手段の入射光とは、ビームスプリッタによって分
離される構成であり、前記投光手段と前記第１の撮像手
段とは、それぞれが光学的に同軸となるように配置され
た構成であることを特徴とする。Further, in one embodiment of the three-dimensional image generating apparatus of the present invention, the light emitted from the light projecting means and the first
The light incident on the imaging means is separated by a beam splitter, and the light projecting means and the first imaging means are arranged so as to be optically coaxial with each other. It is characterized by.
【００２１】さらに、本発明の３次元画像生成装置の一
実施態様において、前記投光手段による投影パターンに
対する第１の撮像手段による撮影パターンの変化量が所
定値未満の領域について、第１の撮像手段および第２の
撮像手段より得られた各輝度情報の対応づけにより第２
の距離情報を生成し、前記第１の距離情報、第２の距離
情報を用いて３次元画像を生成する構成を有することを
特徴とする。Further, in one embodiment of the three-dimensional image generating apparatus according to the present invention, the first image pickup means is configured to perform a first image pickup operation for an area in which a change amount of a photographing pattern by the first image pickup means with respect to a projection pattern by the light projecting means is smaller than a predetermined value. Means and a second image pickup means.
And generating a three-dimensional image using the first distance information and the second distance information.
【００２２】さらに、本発明の３次元画像生成装置の一
実施態様において、前記第２の撮像手段は、前記測定対
象を異なる角度で撮像する複数の撮像手段によって構成
され、該複数の第２の撮像手段の各々の撮影した投影パ
ターンに基づいて求められる距離情報を合成して３次元
画像を生成する構成を有することを特徴とする。Further, in one embodiment of the three-dimensional image generating apparatus of the present invention, the second imaging means is constituted by a plurality of imaging means for imaging the object to be measured at different angles, and the plurality of second imaging means is provided. It is characterized in that it has a configuration for generating a three-dimensional image by synthesizing distance information obtained based on each projected projection pattern of the imaging means.
【００２３】さらに、本発明の第２の側面は、パターン
を測定対象に投影する投光手段と、前記投光手段の光軸
方向から投影パターンを撮影する第１の撮像手段と、前
記投光手段の光軸方向と異なる方向から前記投影パター
ンを撮影する第２の撮像手段とを備え、前記第１の撮像
手段または第２の撮像手段の撮影した投影パターン入り
画像から投影パターン識別可能領域と、投影パターン識
別不可能領域とを区別し、前記投影パターン識別可能領
域については、前記投影パターンに対する第１の撮像手
段による撮影パターンの変化量が所定値以上の領域につ
いて、該第１の撮像手段による撮影パターンに対応する
新規コードを割り付け、前記新規コードに基づいて第２
の撮像手段による撮影パターンから前記第１の距離情報
を生成するとともに、前記投影パターン識別不可能領域
については、ステレオマッチング処理を実行して第２の
距離情報を生成する構成を有することを特徴とする３次
元画像生成装置にある。Further, a second aspect of the present invention is a light projecting means for projecting a pattern on a measurement object, a first image pickup means for photographing a projected pattern from an optical axis direction of the light projecting means, and the light projecting means. Second imaging means for photographing the projection pattern from a direction different from the optical axis direction of the means, and a projection pattern identifiable area from a projection pattern-containing image photographed by the first imaging means or the second imaging means. , A projection pattern non-identifiable area is distinguished from the projection pattern identifiable area. A new code corresponding to the photographing pattern according to
Wherein the first distance information is generated from a photographing pattern by the imaging means, and the second pattern information is generated by executing a stereo matching process for the projection pattern indistinguishable region. In the three-dimensional image generating apparatus.
【００２４】さらに、本発明の３次元画像生成装置の一
実施態様において、前記第１の距離情報の生成におい
て、前記第１および第２の撮像手段の撮影した投影パタ
ーン入り画像のパターン境界に基づいて、前記第１およ
び第２の撮像手段の撮影した投影パターン無し画像のウ
ィンドウ区分を実行し、該ウィンドウを探索領域とした
ステレオマッチング処理を実行して第１の距離情報の補
完情報を生成する構成を有することを特徴とする。Further, in one embodiment of the three-dimensional image generating apparatus according to the present invention, in the generation of the first distance information, the first distance information is generated based on a pattern boundary of a projection pattern-containing image photographed by the first and second imaging means. Then, a window division is performed on the images without the projection pattern photographed by the first and second imaging means, and a stereo matching process is performed using the window as a search area to generate complementary information of the first distance information. It is characterized by having a configuration.
【００２５】さらに、本発明の３次元画像生成装置の一
実施態様において、前記投光手段は不可視領域の光を発
生する光源を有し、不可視領域の光によるパターンを前
記測定対象に投影する構成であり、前記第１および第２
の撮像手段は不可視領域の光を透過するフィルターおよ
び不可視領域の光を遮断するフィルターを有し、投影パ
ターン入り画像および投影パターン無し画像の両画像を
並列に撮り込む構成であることを特徴とする。Further, in one embodiment of the three-dimensional image generating apparatus according to the present invention, the light projecting means has a light source for generating light in an invisible region, and projects a pattern by the light in the invisible region onto the object to be measured. And the first and second
Is characterized in that it has a configuration that has a filter that transmits light in the invisible region and a filter that blocks light in the invisible region, and captures both an image with a projection pattern and an image without a projection pattern in parallel. .
【００２６】さらに、本発明の３次元画像生成装置の一
実施態様において、前記投光手段の出射光と、前記第１
の撮像手段の入射光とは、ビームスプリッタによって分
離される構成であり、前記投光手段と前記第１の撮像手
段とは、それぞれが光学的に同軸となるように配置され
た構成であることを特徴とする。Further, in one embodiment of the three-dimensional image generating apparatus according to the present invention, the light emitted from the light emitting means and the first light
The light incident on the imaging means is separated by a beam splitter, and the light projecting means and the first imaging means are arranged so as to be optically coaxial with each other. It is characterized by.
【００２７】さらに、本発明の３次元画像生成装置の一
実施態様において、前記第２の撮像手段は、前記測定対
象を異なる角度で撮像する複数の撮像手段によって構成
され、該複数の第２の撮像手段の各々の撮影した投影パ
ターンに基づいて求められる距離情報を合成して３次元
画像を生成する構成を有することを特徴とする。Further, in one embodiment of the three-dimensional image generating apparatus of the present invention, the second imaging means is constituted by a plurality of imaging means for imaging the object to be measured at different angles. It is characterized in that it has a configuration for generating a three-dimensional image by synthesizing distance information obtained based on each projected projection pattern of the imaging means.
【００２８】さらに、本発明の第３の側面は、３次元画
像生成方法において、投光手段によりパターンを測定対
象に投影し、前記投光手段の光軸方向から投影パターン
を撮影する第１の撮像手段と、前記投光手段光軸方向と
異なる方向から前記投影パターンを撮影する第２の撮像
手段とにより撮影を実行するステップと、前記投影パタ
ーンに対する第１の撮像手段による撮影パターンの変化
量が所定値以上の領域について、該第１の撮像手段によ
る撮影パターンに対応する新規コードを割り付け、前記
新規コードに基づいて第２の撮像手段による撮影パター
ンから前記第１の距離情報を生成するステップと、前記
第１および第２の撮像手段の撮影した投影パターン入り
画像のパターン境界に基づいて、前記第１および第２の
撮像手段の撮影した投影パターン無し画像のウィンドウ
区分を実行し、該ウィンドウを探索領域としたステレオ
マッチング処理を実行して第２の距離情報を生成するス
テップと、を有することを特徴とする３次元画像生成方
法にある。According to a third aspect of the present invention, there is provided a three-dimensional image generating method, wherein a pattern is projected onto a measurement object by a light projecting means, and a projected pattern is photographed from the optical axis direction of the light projecting means. Executing an image capturing operation by an image capturing unit and a second image capturing unit that captures the projection pattern from a direction different from the optical axis direction of the light projecting unit; and an amount of change of the image capturing pattern by the first image capturing unit with respect to the projection pattern Assigning a new code corresponding to a pattern captured by the first image capturing means to an area where is equal to or larger than a predetermined value, and generating the first distance information from a pattern captured by the second image capturing means based on the new code. And capturing images of the first and second imaging units based on pattern boundaries of the images with projection patterns captured by the first and second imaging units. Executing a window division of the image without the projection pattern and executing a stereo matching process using the window as a search area to generate second distance information. .
【００２９】さらに、本発明の３次元画像生成方法の一
実施態様において、前記投光手段は不可視領域の光を発
生する光源を有し、不可視領域の光によるパターンを前
記測定対象に投影し、前記第１および第２の撮像手段は
不可視領域の光を透過するフィルターおよび不可視領域
の光を遮断するフィルターを有し、投影パターン入り画
像および投影パターン無し画像の両画像を並列に撮り込
むことを特徴とする。Further, in one embodiment of the three-dimensional image generating method according to the present invention, the light projecting means has a light source for generating light in an invisible region, and projects a pattern by the light in the invisible region onto the object to be measured. The first and second imaging units have a filter that transmits light in an invisible region and a filter that blocks light in an invisible region, and take both images including a projection pattern image and an image without a projection pattern in parallel. Features.
【００３０】さらに、本発明の第４の側面は、３次元画
像生成方法において、投光手段によりパターンを測定対
象に投影し、前記投光手段の光軸方向から投影パターン
を撮影する第１の撮像手段と、前記投光手段光軸方向と
異なる方向から前記投影パターンを撮影する第２の撮像
手段とにより撮影を実行するステップと、前記第１の撮
像手段または第２の撮像手段の撮影した投影パターン入
り画像から投影パターン識別可能領域と、投影パターン
識別不可能領域とを区別するステップと、前記投影パタ
ーン識別可能領域については、前記投影パターンに対す
る第１の撮像手段による撮影パターンの変化量が所定値
以上の領域について、該第１の撮像手段による撮影パタ
ーンに対応する新規コードを割り付け、前記新規コード
に基づいて第２の撮像手段による撮影パターンから前記
第１の距離情報を生成するステップと、前記投影パター
ン識別不可能領域については、ステレオマッチング処理
を実行して第２の距離情報を生成するステップと、を有
することを特徴とする３次元画像生成方法にある。Further, according to a fourth aspect of the present invention, there is provided a three-dimensional image generating method, wherein a pattern is projected onto a measurement object by a light projecting means, and a projected pattern is photographed from an optical axis direction of the light projecting means. A step of performing image capturing by an image capturing unit and a second image capturing unit that captures the projection pattern from a direction different from the optical axis direction of the light projecting unit; and an image captured by the first image capturing unit or the second image capturing unit. Discriminating a projection pattern identifiable area and a projection pattern non-identifiable area from the image with the projection pattern; and for the projection pattern identifiable area, the amount of change of the photographing pattern by the first imaging unit with respect to the projection pattern A new code corresponding to a pattern captured by the first imaging means is assigned to an area equal to or larger than a predetermined value, and a second code is assigned based on the new code. Generating the first distance information from a pattern captured by an imaging unit; and performing a stereo matching process on the area where the projection pattern cannot be identified to generate second distance information. The feature lies in a three-dimensional image generation method.
【００３１】さらに、本発明の３次元画像生成方法の一
実施態様において、前記第１の距離情報を生成するステ
ップは、さらに、前記第１および第２の撮像手段の撮影
した投影パターン入り画像のパターン境界に基づいて、
前記第１および第２の撮像手段の撮影した投影パターン
無し画像のウィンドウ区分を実行し、該ウィンドウを探
索領域としたステレオマッチング処理を実行して第１の
距離情報の補完情報を生成するステップを含むことを特
徴とする。Further, in one embodiment of the three-dimensional image generation method of the present invention, the step of generating the first distance information further includes the step of generating the first and second distance information of the projection pattern-containing images photographed by the first and second imaging means. Based on pattern boundaries,
Generating a complementary information of the first distance information by executing a window division of the image without the projection pattern photographed by the first and second imaging means, and executing a stereo matching process using the window as a search area. It is characterized by including.
【００３２】さらに、本発明の３次元画像生成方法の一
実施態様において、前記投光手段は不可視領域の光を発
生する光源を有し、不可視領域の光によるパターンを前
記測定対象に投影し、前記第１および第２の撮像手段は
不可視領域の光を透過するフィルターおよび不可視領域
の光を遮断するフィルターを有し、投影パターン入り画
像および投影パターン無し画像の両画像を並列に撮り込
むことを特徴とする。Further, in one embodiment of the three-dimensional image generating method according to the present invention, the light projecting means has a light source for generating light in an invisible region, and projects a pattern by the light in the invisible region onto the object to be measured. The first and second imaging units have a filter that transmits light in an invisible region and a filter that blocks light in an invisible region, and take both images including a projection pattern image and an image without a projection pattern in parallel. Features.
【００３３】[0033]
【発明の実施の形態】以下、図を用いて本発明の３次元
画像撮像装置および３次元画像撮像方法の実施の形態を
詳しく説明する。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing a three-dimensional image pickup apparatus and a three-dimensional image pickup method according to an embodiment of the present invention.
【００３４】まず、再コード化処理を用いた距離データ
の取得原理について説明する。再コード化処理を用いた
距離データの取得を実行する３次元画像撮像装置の構成
を表すブロック図を図１に示す。図２に光源と撮像素子
の位置関係を示す。First, the principle of acquiring distance data using the re-coding process will be described. FIG. 1 is a block diagram illustrating a configuration of a three-dimensional image capturing apparatus that performs acquisition of distance data using recoding processing. FIG. 2 shows the positional relationship between the light source and the image sensor.
【００３５】図２に示すように、３次元形状測定装置
は、３台のカメラ１０１〜１０３および投光器１０４を
備える。各カメラの距離関係が揃うように、図示の距離
Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３
と投光器１０４は、ビームスプリッタとしてのハーフミ
ラー１０５を用いて光軸が一致するように配置される。
カメラ１，１０１、カメラ２，１０２は、カメラ３，１
０３と投光器１０４の両側に、それらと光軸が異なるよ
うに配置される。中央の光軸と両側の光軸との距離が基
線長Ｌである。As shown in FIG. 2, the three-dimensional shape measuring apparatus includes three cameras 101 to 103 and a projector 104. The illustrated distances I1, I2, and I3 are made equal so that the distance relationship between the cameras is uniform. Camera 3,103
And the light projector 104 are arranged so that their optical axes coincide with each other using a half mirror 105 as a beam splitter.
The cameras 1 and 101 and the cameras 2 and 102 are the cameras 3 and 1
03 and the projector 104 are arranged on both sides of the projector so that their optical axes are different. The distance between the central optical axis and the optical axes on both sides is the base length L.
【００３６】投光器１０４は、光源１０６と、マスクパ
ターン１０７と、強度パターン１０８と、プリズム１０
９とを有する。ここで光源１０６は、赤外もしくは紫外
光を用いた不可視領域の光源を用いることができる。こ
の場合、各カメラは図３に示すように構成される。すな
わち、入射してきた光３１０は、プリズム３０１で２方
向に分割され、一方は不可視領域（赤外あるいは紫外）
透過フィルター３０２を通って撮像装置（例えばＣＣＤ
カメラ）３０３に入射し、他方は不可視領域（赤外と紫
外）遮断フィルター３０４を通って撮像装置３０５に入
射する。The light projector 104 includes a light source 106, a mask pattern 107, an intensity pattern 108, and a prism 10.
9 is provided. Here, as the light source 106, a light source in an invisible region using infrared light or ultraviolet light can be used. In this case, each camera is configured as shown in FIG. That is, the incoming light 310 is split in two directions by the prism 301, one of which is in the invisible region (infrared or ultraviolet).
An imaging device (for example, a CCD) through the transmission filter 302
Camera 303, and the other light passes through an invisible region (infrared and ultraviolet) cutoff filter 304 and enters an imaging device 305.
【００３７】また図２に示す光源１０６は、可視領域あ
るいは不可視領域に限定せず、撮像可能な波長帯の光源
を用いてもよい。この場合、カメラ３，１０３において
は、プログレッシブスキャンタイプのＣＣＤカメラを用
い、カメラ１，１０１、カメラ２，１０２に関しては、
特に構成はこだわらない。ただし、カメラ３，１０３と
の対応を考慮すれば、同じ構成のＣＣＤカメラが望まし
い。光源１０６からパターンが投影され、３台のカメラ
１〜３（１０１〜１０３）が同時に撮影を行う。そして
各カメラは、フィルター３０４，３０５（図３参照）を
通過した光を撮像装置３０３，３０５で得ることによ
り、画像の一括取得を行う。The light source 106 shown in FIG. 2 is not limited to the visible region or the invisible region, but may be a light source having a wavelength band capable of capturing an image. In this case, a progressive scan type CCD camera is used for the cameras 3 and 103, and the cameras 1 and 101 and the cameras 2 and 102 are
The configuration is not particular. However, considering the correspondence with the cameras 3 and 103, CCD cameras having the same configuration are desirable. The pattern is projected from the light source 106, and the three cameras 1 to 3 (101 to 103) shoot simultaneously. Each camera obtains light passing through the filters 304 and 305 (see FIG. 3) by the imaging devices 303 and 305 to collectively acquire images.
【００３８】図１を用いて３次元形状測定装置の構成を
説明する。図示のように、カメラ１，１０１は、撮影し
て得た輝度情報を輝度値メモリ１２１に記憶し、撮影パ
ターンをパターン画像メモリ１２２に記憶する。カメラ
２，１０２は、同様に、輝度情報を輝度値メモリ１２３
に記憶し、撮影パターンをパターン画像メモリ１２４に
記憶する。カメラ３，１０３は、輝度情報を輝度値メモ
リ１２５に記憶し、撮影パターンをパターン画像メモリ
１２６に記憶する。投光器１０４は、事前に作成したコ
ード化されたパターンを後に参照する為に、各スリット
を正方格子上のセルに分割してフレームメモリ１２７に
格納している。The configuration of the three-dimensional shape measuring device will be described with reference to FIG. As illustrated, the cameras 1 and 101 store luminance information obtained by photographing in a luminance value memory 121 and store a photographing pattern in a pattern image memory 122. Similarly, the cameras 2 and 102 store the luminance information in the luminance value memory 123.
And the photographing pattern is stored in the pattern image memory 124. The cameras 3 and 103 store the luminance information in the luminance value memory 125 and the photographing pattern in the pattern image memory 126. The projector 104 divides each slit into cells on a square lattice and stores them in the frame memory 127 in order to refer to the coded pattern created in advance later.
【００３９】この記憶保持された撮影パターンおよび輝
度情報を用いて、次のようにして３次元画像を得る。以
下の操作は、カメラ１，１０１とカメラ３，１０３の組
み合わせ、カメラ２，１０２とカメラ３，１０３の組み
合わせの双方に共通なので、ここではカメラ１，１０１
とカメラ３，１０３の組み合わせを例にとって説明す
る。Using the stored photographing pattern and luminance information, a three-dimensional image is obtained as follows. The following operation is common to both the combination of the cameras 1 and 101 and the cameras 3 and 103 and the combination of the cameras 2 and 102 and the cameras 3 and 103.
The description will be made by taking a combination of the camera 3 and the camera 103 as an example.
【００４０】図１において、領域分割部１２８は、カメ
ラ３，１０３で撮影された撮影パターンの領域分割を行
う。そして、隣り合うスリットパターン間の強度差が閾
値以下である領域については投光器からの光が届いてな
い領域１として抽出し、スリットパターン間の強度差が
閾値以上である領域については領域２として抽出する。
再コード化部１２９は、抽出された領域２について、パ
ターン画像メモリ１２６に記憶された撮影パターンとフ
レームメモリ１２７に格納された投影パターンを用いて
再コード化を行う。In FIG. 1, an area dividing section 128 divides an area of a photographing pattern photographed by the cameras 3 and 103. Then, an area where the intensity difference between adjacent slit patterns is equal to or less than the threshold is extracted as an area 1 where light from the projector does not reach, and an area where the intensity difference between the slit patterns is equal to or more than the threshold is extracted as an area 2. I do.
The re-coding unit 129 re-codes the extracted area 2 using the photographing pattern stored in the pattern image memory 126 and the projection pattern stored in the frame memory 127.
【００４１】図４は、再コード化を行う際のフローチャ
ートである。まず、各スリットパターンをスリット幅毎
に縦方向に分割し（ステップ１００１）、正方形のセル
を生成する。生成された各セルについて強度の平均値を
とり、平均値を各セルの強度とする（ステップ１００
２）。画像の中心から順に、投影パターン及び撮影パタ
ーンの対応する各セル間の強度を比較し、対象物の反射
率、対象物までの距離などの要因によってパターンが変
化したためにセル間の強度が閾値以上異なるかどうかを
判断する（ステップ１００３）。閾値以上異ならない場
合は、撮影されたすべてのセルについて再コード化を終
了する（ステップ１００７）。FIG. 4 is a flowchart when recoding is performed. First, each slit pattern is vertically divided for each slit width (step 1001) to generate a square cell. An average value of the intensity is obtained for each of the generated cells, and the average value is set as the intensity of each cell (step 100).
2). In order from the center of the image, the intensity between each corresponding cell of the projection pattern and the photographing pattern is compared, and the intensity between the cells is equal to or greater than the threshold because the pattern has changed due to factors such as the reflectance of the object and the distance to the object. It is determined whether they are different (step 1003). If they do not differ by more than the threshold value, the re-encoding ends for all the photographed cells (step 1007).
【００４２】閾値以上異なる場合は、新たな強度のセル
かどうか判断する（ステップ１００４）。そして、新た
な強度のセルのときは、新たなコードの生成、割り付け
を行う（ステップ１００５）。また、新たな強度のセル
でないときは、他に出現している部位と識別可能とする
スリットパターンの並びを用いてコード化する（ステッ
プ１００６）。これで、再コード化を終了する（ステッ
プ１００７）。If the difference is not less than the threshold value, it is determined whether or not the cell has a new strength (step 1004). When the cell has a new strength, a new code is generated and assigned (step 1005). If the cell does not have a new strength, the cell is coded using a sequence of slit patterns that can be distinguished from other appearing parts (step 1006). This ends the recoding (step 1007).
【００４３】図５はスリットパターンのコード化の例を
示すもので、同図（ａ）はスリットの並びによってコー
ド化された投影パターンであり、強度としてそれぞれ３
（強）、２（中）、１（弱）が割り当てられている。同
図（ｂ）においては、左から３つめのセルで強度が変化
して新たなコードが出現したので、新たに０というコー
ドを割り当てている。同図（ｃ）においては、左から３
つめ上から２つめのセルに既存のコードが出現している
ので、セルの並びから新たなコードとして、縦の並びを
［２３２］、横の並びを［１３１］という具合に再コー
ド化する。この再コード化は、対象の形状が変化に富む
部位には２次元パターンなどの複雑なパターンを投光
し、変化の少ない部位には簡単なパターンを投光してい
るのに等しい。この過程を繰り返し、全てのセルに対し
て一意なコードを割り付けることで再コード化を行う。FIG. 5 shows an example of coding of the slit pattern. FIG. 5A shows a projection pattern coded by the arrangement of the slits.
(Strong), 2 (medium), and 1 (weak) are assigned. In FIG. 6B, a code 0 is newly assigned because the intensity has changed in the third cell from the left and a new code has appeared. In the same figure (c), 3 from the left
Since an existing code appears in the second cell from the top, the code is recoded as a new code from the cell arrangement, such as [232] in the vertical arrangement and [131] in the horizontal arrangement. This recoding is equivalent to projecting a complicated pattern such as a two-dimensional pattern onto a portion where the shape of the object is rich in change, and projecting a simple pattern onto a portion where the shape changes little. This process is repeated, and re-encoding is performed by assigning a unique code to all cells.
【００４４】図６は、カメラ６０１〜６０３および投光
器６０４を用いて、壁６０５の前に配置された板６０６
にコード化されたパターンを投光する例を示す。ここで
コード化されたパターンは、図７に示すスリットパター
ンである。このとき、カメラ６０１、カメラ６０２で得
られる画像は、図８及び図９に示すように、それぞれ板
６０６の影となる領域８０１、９０１が生ずる。本例で
は、板６０６の表面には新たにコード化されたパターン
として、図１０に示すようなスリットパターンが得られ
る。FIG. 6 shows a plate 606 disposed in front of a wall 605 by using cameras 601 to 603 and a projector 604.
Shows an example of projecting a coded pattern. The coded pattern is the slit pattern shown in FIG. At this time, in the images obtained by the cameras 601 and 602, as shown in FIGS. 8 and 9, regions 801 and 901 which are shadows of the plate 606 are generated. In this example, a slit pattern as shown in FIG. 10 is obtained as a newly coded pattern on the surface of the plate 606.
【００４５】次に図１に戻って説明する。カメラ１，１
０１側のコード復号部１３０は、パターン画像メモリ１
２２から投影パターンを抽出し、上述と同様にしてセル
に分割する。そして、先に再コード化部１２９で再コー
ド化されたコードを用いて各セルのコードを検出し、こ
の検出したコードに基づいて光源からのスリット角θを
算出する。図１１は空間コード化における距離の算出方
法を示す図であり、各画素の属するセルのスリット角θ
とカメラ１で撮影された画像上のｘ座標とカメラパラメ
ータである焦点距離Ｆと基線長Ｌとから、次の（数１）
によって距離Ｚを算出する。Next, description will be made returning to FIG. Camera 1, 1
The code decoding unit 130 on the 01 side stores the pattern image memory 1
The projection pattern is extracted from 22 and divided into cells in the same manner as described above. Then, the code of each cell is detected using the code re-coded by the re-coding unit 129 first, and the slit angle θ from the light source is calculated based on the detected code. FIG. 11 is a diagram showing a method of calculating a distance in spatial coding, and shows a slit angle θ of a cell to which each pixel belongs.
From the x coordinate on the image captured by the camera 1 and the focal length F and the base line length L, which are camera parameters, the following (Equation 1)
To calculate the distance Z.
【００４６】[0046]
【数１】 Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （数１）Z = (F × L) / (x + F × tan θ) (Equation 1)
【００４７】この距離Ｚの算出は、カメラ２，１０２側
のコード復号部１３１においても、同様に行われる。ま
た、上述の領域１については次のようにして距離を算出
する。領域１では、投光されたパターンによるパターン
検出は行うことができないので、対応点探索部１３２に
おいて、カメラ１〜３の輝度値メモリ１２１、１２３、
１２５から読み出された輝度情報を用いて視差を検出
し、これに基づいて距離を算出する。領域１を除く領域
に対しては、前述の操作により距離が算出されているの
で、領域１の距離の最小値が得られ、また対応づけ可能
な画素も限定される。これらの制限を用いて、画素間の
対応づけを行い視差ｄを検出し、カメラパラメータであ
る画素サイズλを用いて、次の（数２）によって距離Ｚ
を算出する。The calculation of the distance Z is similarly performed in the code decoding unit 131 of the camera 2 or 102. Further, for the above-mentioned region 1, the distance is calculated as follows. In the area 1, pattern detection based on the projected pattern cannot be performed, so the corresponding point search unit 132 uses the brightness value memories 121, 123,
The parallax is detected by using the luminance information read from 125, and the distance is calculated based on the parallax. Since the distance has been calculated by the above-described operation for the region other than the region 1, the minimum value of the distance of the region 1 is obtained, and the pixels that can be associated are also limited. Using these restrictions, correspondence between pixels is detected to detect parallax d, and the distance Z is calculated by the following (Equation 2) using the pixel size λ as a camera parameter.
Is calculated.
【００４８】[0048]
【数２】Ｚ＝（Ｌ×Ｆ）／（λ×ｄ） （数２）Z = (L × F) / (λ × d) (Equation 2)
【００４９】前述の手法でカメラ３，１０３とカメラ
１，１０１の組み合わせによって得られた距離情報で
は、図８に示す板の影となる領域８０１の距離情報が検
出できない。一方、カメラ３，１０３とカメラ２，１０
２の組み合わせによって得られた距離情報では、図９に
示す板の影となる領域９０１の距離情報が検出できな
い。しかし、図８に示す板の影となる領域８０１の距離
情報が算出可能である。従って、図１の距離情報統合部
１３３において、カメラ３，１０３とカメラ１，１０１
の組で算出された距離情報およびカメラ３，１０３とカ
メラ２，１０２で算出された距離情報から、カメラ３の
画像（図１２）のすべての画素に対する距離情報を取得
する。以上の操作によって得られた距離情報を、例えば
カメラ３の輝度画像に対応づけて３次元画像メモリに記
憶することで３次元画像生成を行う。In the distance information obtained by the combination of the cameras 3 and 103 and the cameras 1 and 101 by the above-described method, the distance information of the shadow area 801 of the plate shown in FIG. 8 cannot be detected. On the other hand, cameras 3 and 103 and cameras 2 and 10
With the distance information obtained by the combination of the two, the distance information of the shadow area 901 of the plate shown in FIG. 9 cannot be detected. However, it is possible to calculate the distance information of the shadow area 801 of the plate shown in FIG. Therefore, in the distance information integration unit 133 in FIG.
The distance information for all the pixels of the image of the camera 3 (FIG. 12) is obtained from the distance information calculated by the combination of and the distance information calculated by the cameras 3 and 103 and the cameras 2 and 102. The distance information obtained by the above operation is stored in a three-dimensional image memory in association with, for example, a luminance image of the camera 3 to generate a three-dimensional image.
【００５０】上述したような構成により、距離データを
取得して３次元画像の生成を実行することができる。本
発明の３次元画像生成装置における特徴であるスリット
パターンを投影した測定対象の画像を投光手段と光学的
に同光軸に配置した撮像手段で撮像し、その撮像結果に
基づいて再符号化（再コード化）を実施し、他の方向か
ら測定対象を撮影する撮像手段の撮影したパターン画像
に基づいて距離情報算出する構成とするとともに、パタ
ーンの投影を実行して撮影される画像から、パターンの
識別される画像領域と、パターンの識別されない画像領
域とを識別して、限られた範囲内でステレオ画像法を実
施し、距離情報を算出することにより効率的かつ高精度
な距離算出を可能とする構成について以下説明する。With the configuration described above, it is possible to obtain distance data and generate a three-dimensional image. An image of a measurement target on which a slit pattern, which is a feature of the three-dimensional image generation apparatus of the present invention, is projected by an imaging unit optically arranged on the same optical axis as the light projecting unit, and re-encoding is performed based on the imaging result. (Re-encoding), the distance information is calculated based on the pattern image captured by the imaging unit that captures the measurement target from another direction, and from the image captured by executing the projection of the pattern, By identifying the image area where the pattern is identified and the image area where the pattern is not identified, the stereo image method is performed within a limited range, and the distance information is calculated so that an efficient and highly accurate distance calculation is performed. The possible configuration will be described below.
【００５１】図１３に測定対象１３０１に対してパター
ン光を照射するプロジェクタ１３０２、パターン光を投
影した測定対象の撮影を実行する２つの撮像手段１３０
３、１３０４の構成からなる３次元画像撮像処理システ
ム構成を示す。撮像手段１３０３は、投光プロジェクタ
１３０２と同軸方向の像を撮影するために、ビームスプ
リッタとしてのハーフミラー１３０５を介した像を撮影
する構成となっている。撮像手段１３０３、１３０４の
撮影パターンに基づいて前述の手法により測定対象の距
離データ。すなわち３次元形状を求める構成である。FIG. 13 shows a projector 1302 for irradiating a pattern light to a measuring object 1301 and two image pickup means 130 for photographing the measuring object by projecting the pattern light.
3 shows a configuration of a three-dimensional image pickup processing system having a configuration of 1304. The imaging unit 1303 is configured to capture an image via a half mirror 1305 as a beam splitter in order to capture an image coaxial with the light projector 1302. The distance data of the measurement target by the above-described method based on the photographing pattern of the imaging units 1303 and 1304. That is, this is a configuration for obtaining a three-dimensional shape.
【００５２】投光プロジェクタ１３０２によって測定対
象に投影されるパターンは、例えば図１４（ａ）に示す
パターンであり、測定対象が図１４（ｂ）のような形状
である場合、測定対象に照射されるパターン像、および
２つの撮像手段によって撮影されるパターンは、図１５
に示すようなものとなる。図１５（ａ）が測定対象に投
影されるパターン像であり、図１５（ｂ）が撮像手段１
５０１により撮影されるパターン像であり、図１５
（ｃ）が撮像手段１５０２により撮影されるパターン像
である。The pattern projected on the measurement target by the light projector 1302 is, for example, the pattern shown in FIG. 14A. When the measurement target has a shape as shown in FIG. The pattern image and the pattern photographed by the two imaging units are shown in FIG.
It is as shown in FIG. 15A shows a pattern image projected on a measurement target, and FIG.
FIG. 15 shows a pattern image captured by the image forming apparatus 501.
(C) is a pattern image captured by the imaging unit 1502.
【００５３】図１６に撮像手段の構成を示す。図１６に
示すように、可視領域のみの波長を透過するフィルター
と不可視領域のみの波長を透過するフィルター（不可視
領域は、赤外、紫外に分かれるが通常は赤外）を、各々
の撮像手段に取り付けかつビームスプリッタやハーフミ
ラーなどで同じ画像を取得できるようにする。FIG. 16 shows the structure of the image pickup means. As shown in FIG. 16, a filter that transmits only the wavelength in the visible region and a filter that transmits only the wavelength in the invisible region (the invisible region is divided into infrared light and ultraviolet light, but usually infrared light) are provided to each imaging means. Attach and be able to acquire the same image with a beam splitter or half mirror.
【００５４】図１３に示す撮像手段１３０３，１３０４
を双方とも図１６の様な撮像手段として構成する。その
際、投光手段（図１３においては投光プロジェクタ１３
０２）は、不可視領域のみの波長を透過するフィルター
に対応する波長のスリットパターンを投光する。Imaging means 1303 and 1304 shown in FIG.
Are configured as imaging means as shown in FIG. At this time, the light emitting means (in FIG.
02) projects a slit pattern having a wavelength corresponding to a filter that transmits only a wavelength in the invisible region.
【００５５】図１７（ａ）に示すような形状を持つ測定
対象物体に、図１７（ｂ）の様な不可視領域スリット投
光パターンを照射すると、投光プロジェクタ１３０２と
光学的に同軸に配置された撮像手段１３０３には、図１
８（ａ）の様なパターン画像が、不可視領域のみの波長
を透過するフィルターに対応した撮像手段に撮像され、
さらに、図１８（ｂ）の様な画像、すなわちパターンを
取り除いた画像が、可視領域のみの波長を透過するフィ
ルターに対応した撮像手段に撮像される。When the object to be measured having the shape as shown in FIG. 17A is irradiated with the invisible area slit light projecting pattern as shown in FIG. 17B, it is arranged optically coaxially with the light projecting projector 1302. FIG.
A pattern image as shown in FIG. 8A is captured by an imaging unit corresponding to a filter that transmits a wavelength only in the invisible region,
Further, an image as shown in FIG. 18B, that is, an image from which the pattern has been removed, is captured by an imaging unit corresponding to a filter that transmits only a wavelength in the visible region.
【００５６】一方、異なる方向から測定対象１３０１を
撮影している撮像手段１３０４には同様に、図１８
（ｃ）の様なパターン画像が、不可視領域のみの波長を
透過するフィルターに対応した撮像手段に撮像され、さ
らに、図１８（ｄ）の様な画像、すなわちパターンを取
り除いた画像が、可視領域のみの波長を透過するフィル
ターに対応した撮像手段に撮像される。On the other hand, the image pickup means 1304 for photographing the object 1301 to be measured from different directions is likewise shown in FIG.
A pattern image as shown in FIG. 18C is captured by an imaging unit corresponding to a filter that transmits only the wavelength in the invisible region, and an image as shown in FIG. An image is picked up by an image pickup means corresponding to a filter that transmits only the wavelength.
【００５７】図１８の画像中の図１８（ａ）、および図
１８（ｃ）のパターン画像から、符号化された9本のス
リット情報が得られる。不可視領域、可視領域の画像
は、ビームスプリッタやハーフミラーなどで調整され同
じ画像を取得するようになっているので、図１９のよう
に、可視領域画像（図１８（ｂ）および図１８（ｄ）の
画像）をＡ〜Ｊの領域（エリア）にウインドウ分けする
ことが出来る。図１９の（ａ）は、パターン投光手段お
よび撮像手段構成を示し、測定対象オブジェクトに投影
されたパターンを示している。図１９（ｂ）は、投光プ
ロジェクタ１３０２と光学的に同軸に配置された撮像手
段１３０３の可視領域のみの波長を透過するフィルター
に対応した撮像手段に撮像される可視領域画像をＡ〜Ｊ
の領域（エリア）にウインドウ分けした画像を示してい
る。図１９（ｃ）は、撮像手段１３０３と異なる方向か
ら測定対象１３０１を撮影している撮像手段１３０４の
可視領域のみの波長を透過するフィルターに対応した撮
像手段に撮像される可視領域画像をＡ〜Ｊの領域（エリ
ア）にウインドウ分けした画像を示している。From the pattern images shown in FIGS. 18A and 18C in the image shown in FIG. 18, nine pieces of encoded slit information can be obtained. Since the images in the invisible region and the visible region are adjusted by a beam splitter, a half mirror, and the like to obtain the same image, as shown in FIG. 19, the visible region images (FIG. 18B and FIG. ) Can be windowed into A to J areas. FIG. 19A shows the configuration of the pattern light projecting means and the imaging means, and shows a pattern projected on the measurement target object. FIG. 19B shows A to J of visible region images captured by an imaging unit corresponding to a filter that transmits only a wavelength in the visible region of an imaging unit 1303 that is optically coaxial with the light projecting projector 1302.
The image divided into windows is shown in the area (area) of FIG. FIG. 19C illustrates visible region images A to A captured by an imaging unit corresponding to a filter that transmits only a wavelength in the visible region of the imaging unit 1304 that captures the measurement target 1301 from a direction different from that of the imaging unit 1303. An image divided into windows is shown in an area J.
【００５８】ステレオ画像法において、２つの撮像手段
で撮影した２つの画像間の対応点探索処理は広い範囲で
実施する場合、演算時間がかかる。しかし、例えば、図
１９（ｂ），（ｃ）に示すような9個のウインドウに分
けて、区分けされたウィンドウ内を探索範囲として設定
して探索を行うことによって効率的な探索が可能とな
る。これは、画像全体を探索領域として設定する場合に
比較して単純に１／９の演算時間の短縮が実現すること
になる。In the stereo image method, when a corresponding point search process between two images taken by two image pickup means is performed in a wide range, it takes a long calculation time. However, for example, by dividing the window into nine windows as shown in FIGS. 19B and 19C and setting the inside of the divided window as a search range and performing a search, an efficient search becomes possible. . This means that the calculation time can be simply shortened by 1/9 as compared with the case where the entire image is set as the search area.
【００５９】具体的な例として、図２０、２１を用いて
説明する。図２０において、図２０（ａ）が測定対象と
なる被写体であり、図２０（ｂ）が測定対象に投影する
スリットパターンである。図２０（ｃ）がスリットパタ
ーンを被写体に投影した画像である。A specific example will be described with reference to FIGS. In FIG. 20, FIG. 20A shows a subject to be measured, and FIG. 20B shows a slit pattern projected on the measurement target. FIG. 20C shows an image obtained by projecting the slit pattern on the subject.
【００６０】このような測定対象について、２つの異な
る方向から２つの撮像手段により画像撮影を行なう。撮
像手段の各々は、先に説明した図１６の構成を有する。
すなわち、パターン画像を不可視領域のみの波長を透過
するフィルターに対応した撮像手段によって撮像し、パ
ターンを取り除いた画像を、可視領域のみの波長を透過
するフィルターに対応した撮像手段によって撮像する。Images of such a measurement object are taken from two different directions by two image pickup means. Each of the imaging means has the configuration of FIG. 16 described above.
That is, a pattern image is captured by an imaging unit corresponding to a filter that transmits only the wavelength in the invisible region, and an image from which the pattern is removed is captured by an imaging unit corresponding to a filter that transmits only the wavelength in the visible region.
【００６１】パターン投光手段と光学的に同軸に配置さ
れた撮像手段の可視領域のみの波長を透過するフィルタ
ーに対応した撮像手段には、図２１（ａ）に示すような
画像（パターンを取り除いた画像）が撮り込まれる。上
述したように、この撮影画像を、パターン画像のスリッ
トのエッジに従って区分（ウィンドウ分け）を実行す
る。この結果、図２１（ｂ）に示すように画像は、複数
のウインドウに区分される。The image pickup means corresponding to the filter transmitting only the wavelength in the visible region of the image pickup means which is optically coaxial with the pattern light projecting means is provided with an image (pattern removed) as shown in FIG. Image) is captured. As described above, this photographed image is divided (divided into windows) according to the slit edges of the pattern image. As a result, the image is divided into a plurality of windows as shown in FIG.
【００６２】パターン投光手段と光学的に同軸に配置さ
れた撮像手段と異なる方向から撮影した画像についても
同様に段も同様にウィンドウ分けを実行する。Similarly, for an image taken from a direction different from that of the image pickup means arranged optically coaxially with the pattern light projecting means, the steps are similarly divided into windows.
【００６３】これら２つのウィンドウ分けを行なった画
像に基づいてステレオ法に従った画像の対応付けを行な
う。この場合の画像の対応付け処理、すなわちステレオ
マッチング処理を実行する画像の探索領域は、異なる方
向から撮影された双方の画像における区分けされたウィ
ンドウ内に設定して行なうこととする。その結果、対応
付け探索処理は効率的に実行される。その対応付け処理
結果に基づいてステレオ法に従って測定対象の距離算出
が実行される。Based on these two windowed images, the images are associated with each other in accordance with the stereo method. In this case, the image associating process, that is, the search region of the image to be subjected to the stereo matching process is set and performed in the divided windows of both images photographed from different directions. As a result, the association search process is executed efficiently. Based on the result of the association process, the distance of the measurement target is calculated according to the stereo method.
【００６４】上記処理のフローチャートを図２２に示
す。ステップＳ２２０１においてコード化されたスリッ
トパターンを測定対象に投影し、異なる方向からの画像
をそれぞれ撮像手段で撮影する。それぞれの撮像手段
は、先に図１６で説明したと同様の構成を持ち、パター
ン投影画像と、パターンを取り除いたパターン無し画像
を並列に撮り込む。FIG. 22 shows a flowchart of the above processing. In step S2201, the coded slit pattern is projected onto the measurement target, and images from different directions are respectively captured by the imaging unit. Each imaging means has a configuration similar to that described above with reference to FIG. 16, and captures a pattern projection image and an image without a pattern from which a pattern has been removed in parallel.
【００６５】ステップＳ２２０２では、パターン投影画
像に規定されたパターン境界線に対応させてパターン無
し画像を分割して、部分領域、すなわちウィンドウを規
定する。ステップＳ２２０３では、規定されたウィンド
ウを探索領域としたステレオマッチング処理により距離
算出を実行する。In step S2202, the non-patterned image is divided in accordance with the pattern boundary defined in the pattern projection image, and a partial area, that is, a window is defined. In step S2203, distance calculation is performed by stereo matching processing using a specified window as a search area.
【００６６】一方、ステップＳ２２０２，Ｓ２２０３の
処理と並行してステップＳ２２０４では、前述の図４の
フローで説明した再符号化（再コード化）処理を実行し
て、距離測定を実行する。On the other hand, in step S2204, in parallel with the processing in steps S2202 and S2203, the re-encoding (re-encoding) processing described in the flow of FIG. 4 is executed, and the distance is measured.
【００６７】ステップＳ２２０５では、ステップＳ２２
０２，Ｓ２２０３のステレオマッチングによる処理で得
た距離情報と、ステップＳ２２０４の再符号化処理で得
た距離情報の両者を用いて距離画像を生成する。この合
成処理は、例えばいずれか一方の距離情報を主として用
い、他方の距離情報を補完情報として用いる処理として
実行される。例えば、第１の撮像手段による撮影パター
ンの変化量が所定値未満の領域について、第１の撮像手
段および第２の撮像手段より得られた各輝度情報の対応
づけ、すなわちステレオマッチングを実行することによ
り第２の距離情報を生成し、第１の距離情報と第２の距
離情報を合成して精度の高い距離情報を取得する。In step S2205, step S22
02, a distance image is generated using both the distance information obtained by the stereo matching processing and the distance information obtained by the re-encoding processing in step S2204. This combining process is performed as a process that mainly uses one of the distance information and uses the other distance information as complementary information. For example, for an area in which the amount of change in the shooting pattern by the first imaging unit is less than a predetermined value, performing correspondence between respective pieces of luminance information obtained from the first imaging unit and the second imaging unit, that is, executing stereo matching. , The second distance information is generated, and the first distance information and the second distance information are combined to obtain highly accurate distance information.
【００６８】なお、上述した実施例は、撮像手段として
図１６で説明したような波長選択構成を持つものを適用
した例を説明したが、必ずしも、図１６のような構成は
必要ではなく、例えば、まず、スリットパターンを投影
して、その画像を撮像し、さらに、スリットパターンを
消灯し、同じく画像を撮像するという２回の撮像を順次
実行して、上記と同様の処理を実行する構成としてもよ
い。In the above-described embodiment, an example has been described in which the imaging means having the wavelength selection configuration as described with reference to FIG. 16 is applied. However, the configuration as shown in FIG. 16 is not necessarily required. First, the slit pattern is projected, the image is captured, the slit pattern is turned off, and the same image is captured. Is also good.
【００６９】また、図２３に示すように、撮影されたパ
ータン投影画像の輝度分析を細かく実行し、投射したス
リットパターン情報の変化点を分析することにより、ウ
インドウを、更に狭く分けることが可能になる。図２３
に示すように、Ａ〜Ｅは、撮影された被写体情報によっ
て、上下ウインドウに分けることが可能である。（Ａ
１，Ａ２、Ｂ１，Ｂ２…）また、ウィンドウＦのよう
に、被写体のエッジ部分がスリット内に存在する場合
も、Ｆ１，Ｆ２のように小領域ウインドウに分けてステ
レオマッチングを実施することが可能である。Further, as shown in FIG. 23, the luminance can be finely analyzed for the photographed pattern projection image and the change point of the projected slit pattern information can be analyzed, so that the window can be further narrowed. Become. FIG.
As shown in FIG. 7, A to E can be divided into upper and lower windows according to the information of the photographed subject. (A
1, A2, B1, B2...) In addition, when the edge portion of the subject exists in the slit as in the window F, the stereo matching can be performed by dividing the window into small area windows as in F1 and F2. It is.
【００７０】続いて、投光パターンの識別可能領域と、
識別不可能領域とを区分して、それぞれの領域におい
て、領域に応じた距離情報生成処理を実行する実施例に
ついて説明する。Subsequently, an identifiable area of the light emitting pattern,
An embodiment will be described in which an indistinguishable area is divided and a distance information generation process is performed in each area according to the area.
【００７１】図２４を用いて本実施例の処理に関して説
明する。一般的に投光スリットパターンは、投光できる
距離が、限られる。図２４（ａ）に示すような被写体に
対して、スリットパターンを投光すると、図２４（ｂ）
のように、近い被写体、すなわち車にはスリットパター
ンを投影でき、遠い被写体、例えば樹木，建物にはスリ
ットパターンが投影できない。The processing of this embodiment will be described with reference to FIG. In general, a light projecting slit pattern has a limited distance over which light can be projected. When a slit pattern is projected on a subject as shown in FIG.
As described above, a slit pattern can be projected on a near subject, that is, a car, and a slit pattern cannot be projected on a distant subject, for example, a tree or a building.
【００７２】撮像手段による撮影画像には、パターンが
識別可能な領域と、識別不可能な領域が混在することに
なる。そこで、投影するスリットパターンと撮像した画
像を比較し、スリットパターンが投影されている画像、
すなわちパターンが識別可能な領域画像を図２４（ｃ）
の様に抽出し、パターンに基づく再符号化処理（図４参
照）を適用して距離の算出を実行する。この際、前記実
施例と同様に、図２４（ｄ）に示す抽出輝度画像を、ウ
インドウで分けてステレオ法による距離算出を行っても
よい。その結果得られる距離情報に基づいてパターン識
別可能部分の３次元画像を生成する。In the image captured by the imaging means, an area where the pattern can be identified and an area where the pattern cannot be identified are mixed. Therefore, the slit pattern to be projected is compared with the captured image, and the image on which the slit pattern is projected,
That is, an area image in which a pattern can be identified is shown in FIG.
And the distance is calculated by applying the re-encoding process based on the pattern (see FIG. 4). At this time, similarly to the above-described embodiment, the extracted luminance image shown in FIG. 24D may be divided into windows to calculate the distance by the stereo method. A three-dimensional image of the pattern identifiable portion is generated based on the distance information obtained as a result.
【００７３】一方、図２４（ｅ）のように、スリットパ
ターンが投影されない画像、すなわちパターン識別不可
能領域画像を抽出し、その領域画像についてのみ、ステ
レオ画像法によって、距離情報を得る。On the other hand, as shown in FIG. 24 (e), an image on which no slit pattern is projected, that is, an image of a region where a pattern cannot be identified, is extracted, and distance information is obtained for only that region image by the stereo image method.
【００７４】これら、パターン識別による距離情報と、
ステレオ画像法による距離情報の両者を合成することに
よって、パターン識別領域および非識別領域双方の距離
情報が取得され、撮影画像全体の３次元画像が生成され
る。These distance information by pattern identification,
By combining both of the distance information by the stereo image method, the distance information of both the pattern identification area and the non-identification area is obtained, and a three-dimensional image of the entire captured image is generated.
【００７５】図２５に本実施例のフローチャートを示
す。ステップＳ２５０１においてコード化されたスリッ
トパターンを測定対象に投影し、異なる方向からの画像
をそれぞれ撮像手段で撮影する。それぞれの撮像手段
は、先に図１６で説明したと同様の構成を持ち、パター
ン投影画像と、パターンを取り除いたパターン無し画像
を並列に撮り込む。FIG. 25 shows a flowchart of the present embodiment. In step S2501, the coded slit pattern is projected onto the measurement target, and images from different directions are respectively captured by the imaging unit. Each imaging means has a configuration similar to that described above with reference to FIG. 16, and captures a pattern projection image and an image without a pattern from which a pattern has been removed in parallel.
【００７６】ステップＳ２５０２では、撮影されたパタ
ーン投影画像から、パターン識別領域および非識別領域
を分離する。In step S2502, a pattern identification area and a non-identification area are separated from the captured pattern projection image.
【００７７】ステップＳ２５０３〜ステップＳ２５０７
の処理は、パターン識別領域に関する処理であり、前述
の図２２の処理フローと同様の処理であり、パターンに
より規定されたウィンドウを探索領域としたステレオマ
ッチング処理と、パターンを用いた再符号化（再コード
化）処理を実行して、距離測定を実行し、両者を合成し
て距離画像を生成する。Steps S2503 to S2507
Is a process related to the pattern identification region, and is the same process as the process flow of FIG. 22 described above. The stereo matching process using the window defined by the pattern as the search region, and the re-encoding using the pattern ( (Re-encoding) processing, distance measurement is performed, and the two are combined to generate a distance image.
【００７８】一方、ステップＳ２５０８，Ｓ２５０９
は、パターン非識別領域に関する処理であり、スリット
パターンを適用せずにステレオマッチング処理を実行し
て距離画像を取得する。On the other hand, steps S2508 and S2509
Is a process relating to a pattern non-identification area, and performs a stereo matching process without applying a slit pattern to acquire a distance image.
【００７９】ステップＳ２５１０では、ステップＳ２５
０３〜Ｓ２５０７の処理で得られたパターン識別領域に
関する距離画像と、ステップＳ２５０８，Ｓ２５０９で
得られたパターン非識別領域に関する距離画像との両者
を合成する。このような処理により、パターン識別領域
および非識別領域双方の距離情報が取得され、撮影画像
全体の３次元画像が生成される。In step S2510, step S25
Both the distance image related to the pattern identification area obtained in the processing of 03 to S2507 and the distance image related to the pattern non-identification area obtained in steps S2508 and S2509 are synthesized. By such processing, distance information of both the pattern identification area and the non-identification area is obtained, and a three-dimensional image of the entire captured image is generated.
【００８０】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。The present invention has been described in detail with reference to the specific embodiments. However, it is obvious that those skilled in the art can modify or substitute the embodiment without departing from the scope of the present invention. That is, the present invention has been disclosed by way of example, and should not be construed as limiting. In order to determine the gist of the present invention, the claims described at the beginning should be considered.
【００８１】[0081]
【発明の効果】以上述べたように、本発明の３次元画像
生成装置および３次元画像生成方法においては、投光手
段により所定のスリットパターンを投影した測定対象の
画像を投光手段と光学的に同光軸に配置した撮像手段で
撮像し、その撮像結果に基づいて再符号化（再コード
化）を実施し、他の方向から測定対象を撮影する撮像手
段の撮影したパターン画像に基づいて距離情報算出する
構成とするとともに、パターンの投影され、パターンの
識別される画像領域について、パターンに基づくウィン
ドウ区分を実行して、ウィンドウ内を探索領域とするス
テレオマッチング処理を併用することにより、高精度な
距離情報を取得することを可能とした。As described above, in the three-dimensional image generating apparatus and the three-dimensional image generating method according to the present invention, the image of the measurement object, which is obtained by projecting a predetermined slit pattern by the light projecting means, is optically connected to the light projecting means. An image is picked up by an image pickup device arranged on the same optical axis, re-encoding (re-encoding) is performed based on the image pickup result, and a pattern image picked up by an image pickup unit that picks up an object to be measured from another direction is obtained. With the configuration for calculating the distance information, the image area where the pattern is projected and the pattern is identified is divided into windows based on the pattern, and the stereo matching process in which the search area is set in the window is used in combination with the high matching. Accurate distance information can be obtained.
【００８２】さらに、本発明の３次元画像生成装置およ
び３次元画像生成方法においては、パターンの識別され
るパターン識別可能画像領域と、パターンの識別されな
いパターン識別不可能画像領域とを識別して、パターン
識別領域については再符号化（再コード化）による距離
情報を算出し、パターン非識別領域の限られた範囲内で
ステレオ画像法を実施し、距離情報を算出することによ
り効率的かつ高精度な距離算出を可能とした。Further, in the three-dimensional image generating apparatus and the three-dimensional image generating method of the present invention, a pattern identifiable image area in which a pattern is identified and a pattern unidentifiable image area in which a pattern is not identified are identified. For the pattern identification area, the distance information is calculated by re-encoding (re-encoding), the stereo image method is performed within a limited range of the pattern non-identification area, and the distance information is calculated for efficient and high accuracy. Distance calculation is possible.
【図１】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の構成例を示すブロック図であ
る。FIG. 1 is a block diagram illustrating a configuration example of a three-dimensional shape measurement device used in a three-dimensional image generation device of the present invention.
【図２】本発明の３次元画像生成装置において使用され
る３次元形状計測装置のカメラ構成例を示すブロック図
である。FIG. 2 is a block diagram showing a camera configuration example of a three-dimensional shape measuring device used in the three-dimensional image generating device of the present invention.
【図３】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の撮像構成を説明する図である。FIG. 3 is a diagram illustrating an imaging configuration of a three-dimensional shape measurement device used in the three-dimensional image generation device of the present invention.
【図４】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の処理フローを示す図である。FIG. 4 is a diagram showing a processing flow of a three-dimensional shape measurement device used in the three-dimensional image generation device of the present invention.
【図５】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の投影パターンのコード化の例を
示す図である。FIG. 5 is a diagram illustrating an example of coding of a projection pattern of a three-dimensional shape measurement device used in the three-dimensional image generation device of the present invention.
【図６】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の撮影構成例を示す図である。FIG. 6 is a diagram showing an example of a photographing configuration of a three-dimensional shape measuring device used in the three-dimensional image generating device of the present invention.
【図７】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の投影パターン例を示す図であ
る。FIG. 7 is a diagram showing an example of a projection pattern of a three-dimensional shape measurement device used in the three-dimensional image generation device of the present invention.
【図８】本発明の３次元画像生成装置において使用され
る３次元形状計測装置のカメラ１で撮影されるスリット
パターンの例を示す図である。FIG. 8 is a diagram showing an example of a slit pattern photographed by the camera 1 of the three-dimensional shape measuring device used in the three-dimensional image generating device of the present invention.
【図９】本発明の３次元画像生成装置において使用され
る３次元形状計測装置のカメラ２で撮影されるスリット
パターンの例を示す図である。FIG. 9 is a diagram showing an example of a slit pattern photographed by the camera 2 of the three-dimensional shape measuring device used in the three-dimensional image generating device of the present invention.
【図１０】本発明の３次元画像生成装置において使用さ
れる３次元形状計測装置において新たにコード化された
スリットパターンの例を示す図である。FIG. 10 is a diagram showing an example of a newly coded slit pattern in the three-dimensional shape measuring device used in the three-dimensional image generating device of the present invention.
【図１１】本発明の３次元画像生成装置において使用さ
れる３次元形状計測装置の空間コード化法による距離算
出法を示す図である。FIG. 11 is a diagram showing a distance calculation method by a spatial coding method of a three-dimensional shape measurement device used in the three-dimensional image generation device of the present invention.
【図１２】本発明の３次元画像生成装置において使用さ
れる３次元形状計測装置のカメラ３で撮影されるスリッ
トパターンの例を示す図である。FIG. 12 is a diagram showing an example of a slit pattern photographed by a camera 3 of the three-dimensional shape measuring device used in the three-dimensional image generating device of the present invention.
【図１３】本発明の３次元画像生成装置における２台の
撮像手段を用いたパターン画像撮影構成を示す図であ
る。FIG. 13 is a diagram illustrating a pattern image capturing configuration using two image capturing units in the three-dimensional image generating apparatus of the present invention.
【図１４】本発明の３次元画像生成装置におけるパター
ンおよび測定対象物の具体例を説明する図である。FIG. 14 is a diagram illustrating a specific example of a pattern and a measurement target in the three-dimensional image generation device of the present invention.
【図１５】本発明の３次元画像生成装置における投光パ
ターン像、撮像パターン像の具体例を示す図である。FIG. 15 is a diagram showing a specific example of a light projection pattern image and an imaging pattern image in the three-dimensional image generation device of the present invention.
【図１６】本発明の３次元画像生成装置における撮像手
段構成の具体例を示す図である。FIG. 16 is a diagram illustrating a specific example of a configuration of an imaging unit in the three-dimensional image generation device of the present invention.
【図１７】本発明の３次元画像生成装置における投光パ
ターン、測定対象物の具体例を示す図である。FIG. 17 is a diagram showing a specific example of a light projection pattern and a measurement target in the three-dimensional image generation device of the present invention.
【図１８】図１７で示す投光パターン、測定対象物を適
用した場合の図１６に示す撮像手段で撮影される画像の
例を示す図である。18 is a diagram illustrating an example of an image captured by the imaging unit illustrated in FIG. 16 when the light projection pattern illustrated in FIG. 17 and the measurement target are applied.
【図１９】本発明の３次元画像生成装置における撮影画
像のウィンドウ区分処理例を示す図である。FIG. 19 is a diagram illustrating an example of window division processing of a captured image in the three-dimensional image generation device of the present invention.
【図２０】本発明の３次元画像生成装置における撮影画
像のウィンドウ区分処理による３次元画像生成処理の具
体例を示す図である。FIG. 20 is a diagram illustrating a specific example of a three-dimensional image generation process by a window division process of a captured image in the three-dimensional image generation device of the present invention.
【図２１】本発明の３次元画像生成装置における撮影画
像のウィンドウ区分処理の具体例を示す図である。FIG. 21 is a diagram showing a specific example of window division processing of a captured image in the three-dimensional image generation device of the present invention.
【図２２】本発明の３次元画像生成装置における撮影画
像のウィンドウ区分処理による３次元画像生成処理の処
理フローを示す図である。FIG. 22 is a diagram showing a processing flow of a three-dimensional image generation process by a window division process of a captured image in the three-dimensional image generation device of the present invention.
【図２３】本発明の３次元画像生成装置における撮影画
像のウィンドウ区分の処理例を示す図である。FIG. 23 is a diagram illustrating a processing example of a window division of a captured image in the three-dimensional image generation device of the present invention.
【図２４】本発明の３次元画像生成装置における撮影画
像のパターン識別領域と非識別領域に対応した処理を実
行する処理例を説明する図である。FIG. 24 is a diagram illustrating an example of processing for executing processing corresponding to a pattern identification area and a non-identification area of a captured image in the three-dimensional image generation device of the present invention.
【図２５】本発明の３次元画像生成装置における撮影画
像のパターン識別領域と非識別領域に対応した処理を実
行する処理フローを示す図である。FIG. 25 is a diagram showing a processing flow for executing processing corresponding to a pattern identification area and a non-identification area of a captured image in the three-dimensional image generation device of the present invention.
１０１ カメラ１ １０２ カメラ２ １０３ カメラ３ １０４ 投光器 １０５ ハーフミラー １０６ 光源 １０７ マスクパターン １０８ 強度パターン １０９ プリズム １２１，１２３，１２５ 輝度値メモリ １２２，１２４，１２６ パターン画像メモリ １２７ フレームメモリ １２８ 領域分割部 １２９ 再コード化部 １３０，１３１ コード復号部 １３３ 距離情報の統合部 １３４ ３次元メモリ ３０１ プリズム ３０２，３０４ 透過フィルタ ３０３，３０５ 撮像装置 ６０１，６０２，６０３ カメラ ６０４ 投光器 ６０５ 壁 ６０６ 板 ８０１，９０１ 影領域 １３０１ 測定対象 １３０２ プロジェクタ １３０３，１３０４ 撮像手段 １５０１，１５０２ 撮像手段 101 Camera 1 102 Camera 2 103 Camera 3 104 Projector 105 Half mirror 106 Light source 107 Mask pattern 108 Intensity pattern 109 Prism 121, 123, 125 Brightness value memory 122, 124, 126 Pattern image memory 127 Frame memory 128 Area division unit 129 Recode Transformation units 130, 131 Code decoding unit 133 Distance information integration unit 134 Three-dimensional memory 301 Prism 302, 304 Transmission filter 303, 305 Imaging device 601, 602, 603 Camera 604 Projector 605 Wall 606 Plate 801, 901 Shadow area 1301 Measurement target 1302 Projector 1303, 1304 Imager 1501, 1502 Imager
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA53 BB05 DD03 FF04 FF09 GG21 HH07 JJ22 JJ26 LL22 LL46 LL62 QQ24 QQ25 QQ31 QQ38 QQ42 2F112 AC06 BA06 CA08 DA02 DA32 FA03 FA21 FA36 FA38 FA45 GA10 5B057 BA15 CE20 DA07 DB03 DC02 DC32 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 2F065 AA53 BB05 DD03 FF04 FF09 GG21 HH07 JJ22 JJ26 LL22 LL46 LL62 QQ24 QQ25 QQ31 QQ38 QQ42 2F112 AC06 BA06 CA08 DA02 DA32 FA03 FA21 FA36 FA38 FA45 GA10 DC20DB02
Claims (15)
と、前記投光手段の光軸方向から投影パターンを撮影す
る第１の撮像手段と、前記投光手段の光軸方向と異なる
方向から前記投影パターンを撮影する第２の撮像手段と
を備え、 前記投影パターンに対する第１の撮像手段による撮影パ
ターンの変化量が所定値以上の領域について、該第１の
撮像手段による撮影パターンに対応する新規コードを割
り付け、前記新規コードに基づいて第２の撮像手段によ
る撮影パターンから前記第１の距離情報を生成するとと
もに、前記第１および第２の撮像手段の撮影した投影パ
ターン入り画像のパターン境界に基づいて、前記第１お
よび第２の撮像手段の撮影した投影パターン無し画像の
ウィンドウ区分を実行し、該ウィンドウを探索領域とし
たステレオマッチング処理を実行して第２の距離情報を
生成する構成を有することを特徴とする３次元画像生成
装置。1. A light projecting means for projecting a pattern onto a measurement object, a first imaging means for photographing a projection pattern from an optical axis direction of the light projecting means, and a light projecting means from a direction different from the optical axis direction of the light projecting means. A second imaging means for photographing the projection pattern, wherein an area in which a change amount of the photography pattern by the first imaging means with respect to the projection pattern is equal to or more than a predetermined value corresponds to the photography pattern by the first imaging means. A new code is allocated, the first distance information is generated from a photographing pattern by the second image pickup means based on the new code, and a pattern boundary of the projection pattern-containing image photographed by the first and second image pickup means. Is performed, the window of the projection pattern-less image photographed by the first and second image pickup means is divided, and the window is set as a search area. A three-dimensional image generation apparatus having a configuration for executing matching processing to generate second distance information.
光源を有し、不可視領域の光によるパターンを前記測定
対象に投影する構成であり、 前記第１および第２の撮像手段は不可視領域の光を透過
するフィルターおよび不可視領域の光を遮断するフィル
ターを有し、投影パターン入り画像および投影パターン
無し画像の両画像を並列に撮り込む構成であることを特
徴とする請求項１に記載の３次元画像生成装置。2. The light projecting means includes a light source for generating light in an invisible area, and projects a pattern formed by light in an invisible area onto the object to be measured. The first and second imaging means are invisible. The image processing apparatus according to claim 1, further comprising a filter that transmits light in an area and a filter that blocks light in an invisible area, and that captures both an image with a projection pattern and an image without a projection pattern in parallel. 3D image generating apparatus.
手段の入射光とは、ビームスプリッタによって分離され
る構成であり、前記投光手段と前記第１の撮像手段と
は、それぞれが光学的に同軸となるように配置された構
成であることを特徴とする請求項１に記載の３次元画像
生成装置。3. An emission light from said light emitting means and a light incident on said first imaging means are separated by a beam splitter, and said light emitting means and said first imaging means are separated by a beam splitter. The three-dimensional image generating apparatus according to claim 1, wherein each of the three-dimensional image generating apparatuses is arranged so as to be optically coaxial.
第１の撮像手段による撮影パターンの変化量が所定値未
満の領域について、第１の撮像手段および第２の撮像手
段より得られた各輝度情報の対応づけにより第２の距離
情報を生成し、前記第１の距離情報、第２の距離情報を
用いて３次元画像を生成する構成を有することを特徴と
する請求項１に記載の３次元画像生成装置。4. A luminance information obtained by the first and second image pickup means for an area in which the amount of change of the image pickup pattern by the first image pickup means with respect to the projection pattern by the light projection means is less than a predetermined value. 2. The three-dimensional image processing apparatus according to claim 1, further comprising: generating second distance information by associating the first distance information and generating a three-dimensional image using the first distance information and the second distance information. 3. Image generation device.
なる角度で撮像する複数の撮像手段によって構成され、
該複数の第２の撮像手段の各々の撮影した投影パターン
に基づいて求められる距離情報を合成して３次元画像を
生成する構成を有することを特徴とする請求項１に記載
の３次元画像生成装置。5. The second imaging means is constituted by a plurality of imaging means for imaging the object to be measured at different angles,
3. The three-dimensional image generation apparatus according to claim 1, further comprising a configuration for generating a three-dimensional image by synthesizing distance information obtained based on a projection pattern captured by each of the plurality of second imaging units. apparatus.
と、前記投光手段の光軸方向から投影パターンを撮影す
る第１の撮像手段と、前記投光手段の光軸方向と異なる
方向から前記投影パターンを撮影する第２の撮像手段と
を備え、 前記第１の撮像手段または第２の撮像手段の撮影した投
影パターン入り画像から投影パターン識別可能領域と、
投影パターン識別不可能領域とを区別し、 前記投影パターン識別可能領域については、前記投影パ
ターンに対する第１の撮像手段による撮影パターンの変
化量が所定値以上の領域について、該第１の撮像手段に
よる撮影パターンに対応する新規コードを割り付け、前
記新規コードに基づいて第２の撮像手段による撮影パタ
ーンから前記第１の距離情報を生成するとともに、 前記投影パターン識別不可能領域については、ステレオ
マッチング処理を実行して第２の距離情報を生成する構
成を有することを特徴とする３次元画像生成装置。6. A light projecting means for projecting a pattern onto an object to be measured, a first imaging means for photographing a projection pattern from an optical axis direction of the light projecting means, and a light projecting means for projecting a pattern from a direction different from the optical axis direction of the light projecting means. A second imaging unit that captures the projection pattern, a projection pattern identifiable area from a projection pattern-containing image captured by the first imaging unit or the second imaging unit,
The projection pattern non-identifiable area is distinguished from the projection pattern identifiable area. For the area where the amount of change of the photographic pattern by the first imaging means with respect to the projection pattern is equal to or more than a predetermined value, the first imaging means A new code corresponding to a shooting pattern is allocated, the first distance information is generated from a shooting pattern by a second imaging unit based on the new code, and a stereo matching process is performed on the projection pattern indistinguishable area. A three-dimensional image generation apparatus having a configuration for executing the second distance information.
入り画像のパターン境界に基づいて、前記第１および第
２の撮像手段の撮影した投影パターン無し画像のウィン
ドウ区分を実行し、該ウィンドウを探索領域としたステ
レオマッチング処理を実行して第１の距離情報の補完情
報を生成する構成を有することを特徴とする請求項６に
記載の３次元画像生成装置。7. The method according to claim 7, wherein in generating the first distance information, the first and second imaging units capture images based on pattern boundaries of the projection pattern-containing images captured by the first and second imaging units. 7. The method according to claim 6, further comprising: executing a window division of an image without a projection pattern, performing a stereo matching process using the window as a search area, and generating complementary information of the first distance information. Three-dimensional image generation device.
光源を有し、不可視領域の光によるパターンを前記測定
対象に投影する構成であり、 前記第１および第２の撮像手段は不可視領域の光を透過
するフィルターおよび不可視領域の光を遮断するフィル
ターを有し、投影パターン入り画像および投影パターン
無し画像の両画像を並列に撮り込む構成であることを特
徴とする請求項６に記載の３次元画像生成装置。8. The light projecting means has a light source for generating light in an invisible area, and projects a pattern of light in the invisible area onto the object to be measured. The first and second imaging means are invisible. 7. The image processing apparatus according to claim 6, further comprising a filter that transmits light in an area and a filter that blocks light in an invisible area, and captures both an image with a projection pattern and an image without a projection pattern in parallel. 3D image generating apparatus.
手段の入射光とは、ビームスプリッタによって分離され
る構成であり、前記投光手段と前記第１の撮像手段と
は、それぞれが光学的に同軸となるように配置された構
成であることを特徴とする請求項６に記載の３次元画像
生成装置。9. The light emitting device and the first imaging device are configured so that light emitted from the light projecting device and light incident on the first imaging device are separated by a beam splitter. The three-dimensional image generating apparatus according to claim 6, wherein each of the three-dimensional image generating apparatuses is configured to be optically coaxial.
異なる角度で撮像する複数の撮像手段によって構成さ
れ、該複数の第２の撮像手段の各々の撮影した投影パタ
ーンに基づいて求められる距離情報を合成して３次元画
像を生成する構成を有することを特徴とする請求項６に
記載の３次元画像生成装置。10. The second image pickup means comprises a plurality of image pickup means for picking up an image of the object to be measured at different angles, and is obtained based on a projection pattern of each of the plurality of second image pickup means. The three-dimensional image generating apparatus according to claim 6, further comprising a configuration for generating a three-dimensional image by combining distance information.
手段の光軸方向から投影パターンを撮影する第１の撮像
手段と、前記投光手段光軸方向と異なる方向から前記投
影パターンを撮影する第２の撮像手段とにより撮影を実
行するステップと、 前記投影パターンに対する第１の撮像手段による撮影パ
ターンの変化量が所定値以上の領域について、該第１の
撮像手段による撮影パターンに対応する新規コードを割
り付け、前記新規コードに基づいて第２の撮像手段によ
る撮影パターンから前記第１の距離情報を生成するステ
ップと、 前記第１および第２の撮像手段の撮影した投影パターン
入り画像のパターン境界に基づいて、前記第１および第
２の撮像手段の撮影した投影パターン無し画像のウィン
ドウ区分を実行し、該ウィンドウを探索領域としたステ
レオマッチング処理を実行して第２の距離情報を生成す
るステップと、 を有することを特徴とする３次元画像生成方法。11. A three-dimensional image generating method, comprising: a first imaging means for projecting a pattern onto a measurement object by a light projecting means and photographing a projected pattern from an optical axis direction of the light projecting means; Executing a shooting by a second imaging unit that shoots the projection pattern from a direction different from the axial direction; and, for an area in which a change amount of the shooting pattern by the first imaging unit with respect to the projection pattern is equal to or more than a predetermined value, Allocating a new code corresponding to a shooting pattern by the first imaging means, and generating the first distance information from a shooting pattern by the second imaging means based on the new code; Based on the pattern boundary of the image with the projection pattern photographed by the imaging means, the image of the projection pattern-less image photographed by the first and second imaging means is obtained. Run the window division, three-dimensional image generation method characterized by comprising the steps of: generating a second distance information by performing the stereo matching process the window and the search area.
る光源を有し、不可視領域の光によるパターンを前記測
定対象に投影し、 前記第１および第２の撮像手段は不可視領域の光を透過
するフィルターおよび不可視領域の光を遮断するフィル
ターを有し、投影パターン入り画像および投影パターン
無し画像の両画像を並列に撮り込むことを特徴とする請
求項１１に記載の３次元画像生成方法。12. The light projecting means has a light source for generating light in an invisible area, projects a pattern of light in the invisible area onto the object to be measured, and the first and second imaging means emit light in an invisible area. 12. The three-dimensional image generation method according to claim 11, further comprising a filter that transmits light through a projection pattern and a filter that blocks light in an invisible region, and captures both an image with a projection pattern and an image without a projection pattern in parallel. .
手段の光軸方向から投影パターンを撮影する第１の撮像
手段と、前記投光手段光軸方向と異なる方向から前記投
影パターンを撮影する第２の撮像手段とにより撮影を実
行するステップと、 前記第１の撮像手段または第２の撮像手段の撮影した投
影パターン入り画像から投影パターン識別可能領域と、
投影パターン識別不可能領域とを区別するステップと、 前記投影パターン識別可能領域については、前記投影パ
ターンに対する第１の撮像手段による撮影パターンの変
化量が所定値以上の領域について、該第１の撮像手段に
よる撮影パターンに対応する新規コードを割り付け、前
記新規コードに基づいて第２の撮像手段による撮影パタ
ーンから前記第１の距離情報を生成するステップと、 前記投影パターン識別不可能領域については、ステレオ
マッチング処理を実行して第２の距離情報を生成するス
テップと、 を有することを特徴とする３次元画像生成方法。13. A three-dimensional image generating method, comprising: a first image pickup means for projecting a pattern onto a measurement object by a light projecting means and photographing a projected pattern from an optical axis direction of the light projecting means; A step of performing photographing by a second imaging unit that photographs the projection pattern from a direction different from the axial direction; and a projection pattern can be identified from an image including the projection pattern photographed by the first imaging unit or the second imaging unit. Area and
Discriminating a projection pattern non-identifiable area; and, for the projection pattern identifiable area, the first image capturing is performed for an area in which the amount of change of a photographic pattern with respect to the projection pattern by a first imaging unit is a predetermined value or more. Allocating a new code corresponding to the photographing pattern by the means, generating the first distance information from the photographing pattern by the second imaging means based on the new code; Performing a matching process to generate second distance information; and a three-dimensional image generating method.
は、さらに、 前記第１および第２の撮像手段の撮影した投影パターン
入り画像のパターン境界に基づいて、前記第１および第
２の撮像手段の撮影した投影パターン無し画像のウィン
ドウ区分を実行し、該ウィンドウを探索領域としたステ
レオマッチング処理を実行して第１の距離情報の補完情
報を生成するステップを含むことを特徴とする請求項１
３に記載の３次元画像生成方法。14. The method according to claim 1, wherein the step of generating the first distance information further includes the step of generating the first and second image information based on a pattern boundary of the projection pattern-containing image captured by the first and second image capturing means. A step of executing a window division of the image without the projection pattern photographed by the means and executing a stereo matching process using the window as a search area to generate complementary information of the first distance information. 1
3. The method for generating a three-dimensional image according to item 3.
る光源を有し、不可視領域の光によるパターンを前記測
定対象に投影し、 前記第１および第２の撮像手段は不可視領域の光を透過
するフィルターおよび不可視領域の光を遮断するフィル
ターを有し、投影パターン入り画像および投影パターン
無し画像の両画像を並列に撮り込むことを特徴とする請
求項１３に記載の３次元画像生成方法。15. The light projecting means has a light source for generating light in an invisible region, projects a pattern of light in the invisible region onto the object to be measured, and the first and second imaging means emit light in an invisible region. The three-dimensional image generation method according to claim 13, further comprising: a filter that transmits light through an image and a filter that blocks light in an invisible region, and captures both an image with a projection pattern and an image without a projection pattern in parallel. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000196050A JP2002013918A (en) | 2000-06-29 | 2000-06-29 | Three-dimensional image forming device and three- dimensional image forming method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000196050A JP2002013918A (en) | 2000-06-29 | 2000-06-29 | Three-dimensional image forming device and three- dimensional image forming method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002013918A true JP2002013918A (en) | 2002-01-18 |
Family
ID=18694612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000196050A Pending JP2002013918A (en) | 2000-06-29 | 2000-06-29 | Three-dimensional image forming device and three- dimensional image forming method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002013918A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009264852A (en) * | 2008-04-23 | 2009-11-12 | Wakayama Univ | Phase analysis method of grid image and displacement measurement method of object using the same, and shape measurement method of object |
| JP2013507601A (en) * | 2009-10-07 | 2013-03-04 | エイ．トロンスリーディー ゲゼルシャフト ミット ベシュレンクテル ハフツング | Method for taking 3D images |
| JP2013544449A (en) * | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | Depth camera based on structured light and stereoscopic vision |
| CN113748313A (en) * | 2019-05-22 | 2021-12-03 | 欧姆龙株式会社 | Three-dimensional measurement system and three-dimensional measurement method |
-
2000
- 2000-06-29 JP JP2000196050A patent/JP2002013918A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009264852A (en) * | 2008-04-23 | 2009-11-12 | Wakayama Univ | Phase analysis method of grid image and displacement measurement method of object using the same, and shape measurement method of object |
| JP2013507601A (en) * | 2009-10-07 | 2013-03-04 | エイ．トロンスリーディー ゲゼルシャフト ミット ベシュレンクテル ハフツング | Method for taking 3D images |
| US9050158B2 (en) | 2009-10-07 | 2015-06-09 | A. Tron3D Gmbh | Method for acquiring three-dimensional images |
| JP2013544449A (en) * | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | Depth camera based on structured light and stereoscopic vision |
| CN113748313A (en) * | 2019-05-22 | 2021-12-03 | 欧姆龙株式会社 | Three-dimensional measurement system and three-dimensional measurement method |
| CN113748313B (en) * | 2019-05-22 | 2023-11-21 | 欧姆龙株式会社 | Three-dimensional measurement system and three-dimensional measurement method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
| JP3714063B2 (en) | 3D shape measuring device | |
| EP3650807B1 (en) | Handheld large-scale three-dimensional measurement scanner system simultaneously having photography measurement and three-dimensional scanning functions | |
| JP3482990B2 (en) | 3D image capturing device | |
| TW385360B (en) | 3D imaging system | |
| US7075625B2 (en) | Range finder and method | |
| US20150256813A1 (en) | System and method for 3d reconstruction using multiple multi-channel cameras | |
| JP2002213931A (en) | Instrument and method for measuring three-dimensional shape | |
| JP2012504771A (en) | Method and system for providing three-dimensional and distance inter-surface estimation | |
| JP2001264033A (en) | Three-dimensional shape-measuring apparatus and its method, three-dimensional modeling device and its method, and program providing medium | |
| KR20110084029A (en) | Apparatus and method for obtaining 3d image | |
| JP3818028B2 (en) | 3D image capturing apparatus and 3D image capturing method | |
| JP3384329B2 (en) | 3D image capturing device | |
| JP2004110804A (en) | Three-dimensional image photographing equipment and method | |
| JP3965894B2 (en) | Image processing apparatus and image processing method | |
| JP2002013918A (en) | Three-dimensional image forming device and three- dimensional image forming method | |
| JP3852285B2 (en) | 3D shape measuring apparatus and 3D shape measuring method | |
| JP3932776B2 (en) | 3D image generation apparatus and 3D image generation method | |
| US11195290B2 (en) | Apparatus and method for encoding in structured depth camera system | |
| JP2006058092A (en) | Three-dimensional shape measuring device and method | |
| JP2002107129A (en) | Apparatus and method for imaging three-dimensional image | |
| JP2003014422A (en) | Real time range finder | |
| JP2024055569A (en) | Three-dimensional measurement device, three-dimensional measurement method, program, system, and article manufacturing method | |
| JP2006065608A (en) | Device and method for generating three-dimensional model | |
| JP2001083639A (en) | Pattern mask for projector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060627 |