JP2013190249A - Three-dimensional measuring system, three-dimensional measuring method and three-dimensional measuring program - Google Patents
Three-dimensional measuring system, three-dimensional measuring method and three-dimensional measuring program Download PDFInfo
- Publication number
- JP2013190249A JP2013190249A JP2012055337A JP2012055337A JP2013190249A JP 2013190249 A JP2013190249 A JP 2013190249A JP 2012055337 A JP2012055337 A JP 2012055337A JP 2012055337 A JP2012055337 A JP 2012055337A JP 2013190249 A JP2013190249 A JP 2013190249A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- dimensional shape
- cross
- shape data
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、三次元計測システム及び三次元計測方法及び三次元計測プログラム、特に人体等の測定対象物を非接触でステレオ撮影し、形状を計測する三次元計測システム及び三次元計測方法及び三次元計測プログラムに関するものである。 The present invention relates to a three-dimensional measurement system, a three-dimensional measurement method, and a three-dimensional measurement program, in particular, a three-dimensional measurement system, a three-dimensional measurement method, and a three-dimensional measurement method that measure a shape of a measurement object such as a human body in a non-contact manner. It relates to measurement programs.
人体等の測定対象物の三次元形状を計測する場合には、２台のカメラによるステレオ撮影により三次元計測が行われる。ステレオ撮影による三次元計測を行うことで、非接触で且つ迅速に測定対象物の三次元形状を計測することができる。 When measuring the three-dimensional shape of a measurement object such as a human body, the three-dimensional measurement is performed by stereo imaging with two cameras. By performing the three-dimensional measurement by stereo imaging, the three-dimensional shape of the measurement object can be quickly measured without contact.
又、近年では、衣服の購買者の体型に合致する衣服のサイズを非接触且つ迅速に計測する為に、ステレオ撮影による人体の三次元形状の計測を実現することが求められている。 In recent years, it has been demanded to realize measurement of a three-dimensional shape of a human body by stereo photography in order to quickly and non-contactly measure the size of a garment that matches the body shape of a garment purchaser.
上記の様な非接触の三次元計測装置の場合、ノイズ光やカメラの性能等により、計測した測定対象物の三次元データ中にノイズが混入することがあり、ノイズの混入により正確な計測を行うことができず、測定対象物の正確な数値を求めることが困難であった。 In the case of the non-contact 3D measurement device as described above, noise may be mixed in the 3D data of the measured object due to noise light, camera performance, etc. This could not be done, and it was difficult to obtain an accurate numerical value of the measurement object.
尚、特徴投影部により測定対象物に投影された特徴点を用いてステレオ撮影を行い、更に重複画像に於ける誤対応点を自動判定し、取除いた上で前記測定対象物の三次元形状を測定する形状測定装置及びプログラムとして、特許文献１に示されるものがある。 In addition, the stereo image is taken using the feature points projected onto the measurement object by the feature projection unit, and the miscorresponding points in the duplicate image are automatically determined and removed, and then the three-dimensional shape of the measurement object is removed. As a shape measuring apparatus and a program for measuring the above, there is one disclosed in Patent Document 1.
本発明は斯かる実情に鑑み、ステレオ撮影した画像中からノイズの削除が可能な非接触の三次元計測システム及び三次元計測方法及び三次元計測プログラムを提供するものである。 In view of such circumstances, the present invention provides a non-contact three-dimensional measurement system, a three-dimensional measurement method, and a three-dimensional measurement program capable of removing noise from a stereo image.
本発明は、測定対象物を複数方向からステレオ撮影を行い複数の画像を取得する複数の撮像ユニットと、該複数の撮像ユニットにより得られた複数の画像上で共通する特徴点を対応点として三次元計測し、前記測定対象物の三次元形状を計測する演算制御装置とを有する三次元計測システムであって、該演算制御装置は前記特徴点を基にステレオ撮影された画像に基づいて前記測定対象物の三次元形状データを作成するマッチング処理部と、前記三次元形状データのシルエットに基づきノイズを削除する第１ノイズ削除処理部と、前記三次元形状データ中の前記測定対象物のパーツを認識するパーツ認識処理部と、該パーツ認識処理部により検出されたパーツ情報に基づきノイズを削除する第２ノイズ削除処理部と、前記三次元形状データの断面線を作成する断面線作成部と、前記断面線に基づきノイズを削除する第３ノイズ削除処理部とを有する三次元計測システムに係るものである。 The present invention relates to a plurality of imaging units that acquire a plurality of images by performing stereo imaging of a measurement object from a plurality of directions, and feature points common to the plurality of images obtained by the plurality of imaging units as a corresponding point. A three-dimensional measurement system having an original measurement and a calculation control device for measuring a three-dimensional shape of the measurement object, wherein the calculation control device is configured to perform the measurement based on an image captured in stereo based on the feature points. A matching processing unit that creates three-dimensional shape data of an object, a first noise deletion processing unit that deletes noise based on a silhouette of the three-dimensional shape data, and parts of the measurement target in the three-dimensional shape data A recognizing part recognition unit, a second noise removal processing part for removing noise based on the part information detected by the part recognition processing part, and the three-dimensional shape data A section line creating unit that creates a surface line, in which according to the three-dimensional measurement system and a third noise deletion unit for deleting the noise based on the section line.
又本発明は、前記第１ノイズ削除処理部は、前記三次元形状データを所定間隔のグリッドシート上に配置し、グリッド内に三角形の頂点が存在するグリッドを白グリッド、グリッド内に三角形の頂点が存在しないグリッドを黒グリッドとして前記三次元形状データをシルエット化する第１二値画像を作成し、該第１二値画像に膨張処理及び収縮処理をそれぞれ所定回数実行し、前記黒グリッド内に存在する三角形の頂点をノイズとして削除する三次元計測システムに係るものである。 According to the present invention, the first noise removal processing unit arranges the three-dimensional shape data on a grid sheet having a predetermined interval, a grid having a triangular vertex in the grid is a white grid, and a triangular vertex is in the grid. A first binary image that silhouettes the three-dimensional shape data is created using a grid that does not exist as a black grid, and expansion processing and contraction processing are performed a predetermined number of times on the first binary image, The present invention relates to a three-dimensional measurement system that deletes vertices of existing triangles as noise.
又本発明は、前記第１ノイズ削除処理部は、前記三次元形状データを正面方向、背面方向、側面方向、斜め面方向から前記グリッドシート上に配置して８枚の前記第１二値画像を作成する三次元計測システムに係るものである。 According to the present invention, the first noise removal processing unit arranges the three-dimensional shape data on the grid sheet from the front direction, the back direction, the side surface direction, and the oblique surface direction, and the eight first binary images. This relates to a three-dimensional measurement system that creates
又本発明は、前記パーツ認識処理部は、前記三次元形状データを所定間隔のグリッドシート上に配置し、グリッド内に三角形の頂点が存在するグリッドを黒グリッド、グリッド内に三角形の頂点が存在しないグリッドを白グリッドとする第２二値画像を作成し、前記黒グリッド内に存在する三角形の頂点間の距離が閾値以内であれば１カウントとしてカウントし、該カウント数の多い前記黒グリッドを境界として検出し、該境界を基に前記第２二値画像のグループ化を行う三次元計測システムに係るものである。 According to the present invention, the part recognition processing unit arranges the three-dimensional shape data on a grid sheet at a predetermined interval, a grid having a triangular vertex in the grid is a black grid, and a triangular vertex is present in the grid. A second binary image having a white grid as a non-moving grid is created, and if the distance between the vertices of the triangles existing in the black grid is within a threshold, it is counted as one count, and the black grid having a large number of counts is counted. The present invention relates to a three-dimensional measurement system that detects a boundary and groups the second binary images based on the boundary.
又本発明は、前記パーツ認識処理部は、上下方向所定範囲内に於いて前記三次元形状データを分割線により分割すると共に正面側のデータのみを抽出し、前記分割線と各三角形の頂点間の距離差に基づき前記第２二値画像中の分岐位置を検出し、該分岐位置を基に前記第２二値画像のグループ化を行う三次元計測システムに係るものである。 Further, in the present invention, the part recognition processing unit divides the three-dimensional shape data by dividing lines within a predetermined range in the vertical direction and extracts only the front side data, and between the dividing lines and the vertices of each triangle. The three-dimensional measurement system detects a branch position in the second binary image based on the distance difference and groups the second binary image based on the branch position.
又本発明は、前記パーツ認識処理部は、横方向に連続する黒グリッド群の横方向中心と、該黒グリッド群の上下に隣接し横方向に連続する黒グリッド群の横方向中心との偏差を演算し、演算した偏差に基づき２行の黒グリッド群の結合、分離を行う三次元計測システムに係るものである。 According to the present invention, the part recognition processing unit is configured such that a deviation between a horizontal center of a black grid group continuous in the horizontal direction and a horizontal center of a black grid group adjacent to the top and bottom of the black grid group and continuous in the horizontal direction. And a three-dimensional measurement system that combines and separates two black grid groups based on the calculated deviation.
又本発明は、前記パーツ認識処理部は、前記境界及び分岐位置に基づき自動的に前記第２二値画像をパーツ毎に認識する三次元計測システムに係るものである。 The present invention also relates to a three-dimensional measurement system in which the part recognition processing unit automatically recognizes the second binary image for each part based on the boundary and the branch position.
又本発明は、前記第２ノイズ削除処理部は、頂点が複数のパーツに属する三角形をノイズとして削除すると共に、検出したパーツ以外の箇所に存在する三角形をノイズとして削除する三次元計測システムに係るものである。 Further, the present invention relates to a three-dimensional measurement system in which the second noise deletion processing unit deletes a triangle whose vertex belongs to a plurality of parts as noise, and deletes a triangle existing in a place other than the detected part as noise. Is.
又本発明は、前記第３ノイズ削除処理部は、前記断面線を円柱座標系に変換し、前記断面線を構成する複数の部分断面線の端側から所定数の断面点での接線の傾き角を演算し、該傾き角が閾値以上であれば断面点に対応する三角形をノイズとして削除すると共に、前記部分断面線の重複範囲が所定の範囲を超える位置に存在する断面点に対応する三角形をノイズとして削除する三次元計測システムに係るものである。 According to the present invention, the third noise removal processing unit converts the section line into a cylindrical coordinate system, and inclines tangents at a predetermined number of section points from the end sides of the plurality of partial section lines constituting the section line. If the angle is calculated and the inclination angle is equal to or greater than the threshold value, the triangle corresponding to the cross-section point is deleted as noise, and the triangle corresponding to the cross-section point existing at a position where the overlapping range of the partial cross-section lines exceeds a predetermined range This relates to a three-dimensional measurement system that deletes noise as noise.
又本発明は、前記断面線の欠損部を補間する断面線補間部と、前記三次元形状データの欠損部を補間し欠損部のない三次元形状データを作成する三次元形状補間部とを更に具備する三次元計測システムに係るものである。 The present invention further includes a cross-sectional line interpolation unit that interpolates the missing part of the cross-sectional line, and a three-dimensional shape interpolation unit that interpolates the missing part of the three-dimensional shape data and creates three-dimensional shape data without the missing part. The present invention relates to a three-dimensional measurement system provided.
又本発明は、複数の撮像ユニットにより測定対象物を複数方向からステレオ撮影する工程と、マッチング処理部が前記複数の撮像ユニットにより得られた複数の画像中の特徴点を基に前記測定対象物の三次元形状データを作成する工程と、前記第１ノイズ削除処理部により前記三次元形状データのシルエットを基にノイズを削除する工程と、パーツ認識処理部が前記三次元形状データ中の前記測定対象物のパーツを認識する工程と、第２ノイズ削除処理部が前記パーツ認識処理部により検出されたパーツ情報に基づきノイズを削除する工程と、断面線作成部が前記三次元形状データの断面線を作成する工程と、第３ノイズ削除処理部が前記断面線に基づきノイズを削除する工程とを有する三次元計測方法に係るものである。 The present invention also includes a step of taking a measurement object in a plurality of directions by a plurality of imaging units and a matching processing unit based on feature points in a plurality of images obtained by the plurality of imaging units. The step of creating the three-dimensional shape data, the step of deleting noise based on the silhouette of the three-dimensional shape data by the first noise deletion processing unit, and the part recognition processing unit measuring the measurement in the three-dimensional shape data A step of recognizing parts of the object, a step of removing noise based on the part information detected by the part recognition processing unit by the second noise deletion processing unit, and a cross-sectional line of the three-dimensional shape data by the cross-sectional line creation unit And a third noise deletion processing unit according to a three-dimensional measurement method including a step of deleting noise based on the cross-sectional line.
又本発明は、断面線補間部が前記断面線の欠損部を補間する工程と、三次元形状補間部が前記三次元形状データの欠損部を補間する工程とを更に有する三次元計測方法に係るものである。 The present invention also relates to a three-dimensional measurement method further comprising: a step of interpolating a missing portion of the cross-sectional line by a cross-sectional line interpolation unit; and a step of interpolating a defective portion of the three-dimensional shape data by a three-dimensional shape interpolation unit. Is.
又本発明は、複数の撮像ユニットと、該撮像ユニットを制御する演算制御装置を有する三次元計測システムに於いて、前記演算制御装置に複数の撮像ユニットに測定対象物を複数方向からステレオ撮影させ、前記複数の撮像ユニットにより得られた複数の画像中の特徴点を基に前記測定対象物の三次元形状データを作成させ、前記三次元形状データのシルエットを基にノイズを削除させ、前記三次元形状データ中の前記測定対象物のパーツを認識させ、前記パーツ認識処理部により検出されたパーツ情報に基づきノイズを削除させ、前記三次元形状データの断面線を作成させ、前記断面線に基づきノイズを削除させる三次元計測プログラムに係るものである。 According to the present invention, in a three-dimensional measurement system having a plurality of imaging units and a calculation control device that controls the imaging units, the calculation control device causes the plurality of imaging units to photograph a measurement object in a plurality of directions. Generating three-dimensional shape data of the measurement object based on feature points in a plurality of images obtained by the plurality of imaging units, deleting noise based on the silhouette of the three-dimensional shape data, and the third order Recognize the part of the measurement object in the original shape data, delete the noise based on the part information detected by the part recognition processing unit, create a cross-sectional line of the three-dimensional shape data, and based on the cross-sectional line The present invention relates to a three-dimensional measurement program for removing noise.
更に又本発明は、前記演算制御装置に更に断面線補間部に前記断面線の欠損部を補間させ、三次元形状補間部に前記三次元形状データの欠損部を補間させる三次元計測プログラムに係るものである。 Furthermore, the present invention relates to a three-dimensional measurement program for causing the arithmetic control device to further interpolate the missing portion of the cross-sectional line in the cross-sectional line interpolating unit and interpolating the missing portion of the three-dimensional shape data in the three-dimensional shape interpolating unit. Is.
本発明によれば、測定対象物を複数方向からステレオ撮影を行い複数の画像を取得する複数の撮像ユニットと、該複数の撮像ユニットにより得られた複数の画像上で共通する特徴点を対応点として三次元計測し、前記測定対象物の三次元形状を計測する演算制御装置とを有する三次元計測システムであって、該演算制御装置は前記特徴点を基にステレオ撮影された画像に基づいて前記測定対象物の三次元形状データを作成するマッチング処理部と、前記三次元形状データのシルエットに基づきノイズを削除する第１ノイズ削除処理部と、前記三次元形状データ中の前記測定対象物のパーツを認識するパーツ認識処理部と、該パーツ認識処理部により検出されたパーツ情報に基づきノイズを削除する第２ノイズ削除処理部と、前記三次元形状データの断面線を作成する断面線作成部と、前記断面線に基づきノイズを削除する第３ノイズ削除処理部とを有するので、非接触で容易且つ迅速に前記測定対象物のノイズのない三次元形状を計測することができる。 According to the present invention, a plurality of imaging units that acquire a plurality of images by performing stereo imaging of a measurement object from a plurality of directions, and feature points that are common on the plurality of images obtained by the plurality of imaging units are corresponding points. A three-dimensional measurement system having a three-dimensional measurement and a calculation control device for measuring a three-dimensional shape of the measurement object, the calculation control device based on a stereo image based on the feature points A matching processing unit that creates three-dimensional shape data of the measurement object, a first noise deletion processing unit that deletes noise based on the silhouette of the three-dimensional shape data, and the measurement target object in the three-dimensional shape data A part recognition processing unit for recognizing a part, a second noise deletion processing unit for deleting noise based on the part information detected by the part recognition processing unit, and the three-dimensional shape data A cross-sectional line creating unit that creates a cross-sectional line of the data, and a third noise removal processing unit that removes noise based on the cross-sectional line, so that the three-dimensional without noise of the measurement object can be easily and quickly performed without contact. The shape can be measured.
又本発明によれば、前記第１ノイズ削除処理部は、前記三次元形状データを所定間隔のグリッドシート上に配置し、グリッド内に三角形の頂点が存在するグリッドを白グリッド、グリッド内に三角形の頂点が存在しないグリッドを黒グリッドとして前記三次元形状データをシルエット化する第１二値画像を作成し、該第１二値画像に膨張処理及び収縮処理をそれぞれ所定回数実行し、前記黒グリッド内に存在する三角形の頂点をノイズとして削除するので、前記第１二値画像から離れた位置で孤立して存在している小さなノイズを削除することができる。 According to the present invention, the first noise removal processing unit arranges the three-dimensional shape data on a grid sheet having a predetermined interval, a grid having a triangular vertex in the grid is a white grid, and a triangle is in the grid. A first binary image that silhouettes the three-dimensional shape data is created using a grid that does not have a vertex as a black grid, and expansion processing and contraction processing are respectively performed a predetermined number of times on the first binary image. Since the vertices of the triangle existing inside are deleted as noise, it is possible to delete small noise that exists in isolation from the first binary image.
又本発明によれば、前記第１ノイズ削除処理部は、前記三次元形状データを正面方向、背面方向、側面方向、斜め面方向から前記グリッドシート上に配置して８枚の前記第１二値画像を作成するので、別の方向から計８回前記第１ノイズ削除処理部によるノイズ削除処理が行われることとなり、より確実に前記第１二値画像から離れた位置で孤立して存在している小さなノイズを削除することができる。 Further, according to the present invention, the first noise removal processing unit arranges the three-dimensional shape data on the grid sheet from the front direction, the back direction, the side surface direction, and the oblique surface direction, and the eight first second data are arranged. Since the value image is created, the noise removal processing by the first noise removal processing unit is performed a total of eight times from another direction, so that it exists more reliably in a position away from the first binary image. You can remove small noises.
又本発明によれば、前記パーツ認識処理部は、前記三次元形状データを所定間隔のグリッドシート上に配置し、グリッド内に三角形の頂点が存在するグリッドを黒グリッド、グリッド内に三角形の頂点が存在しないグリッドを白グリッドとする第２二値画像を作成し、前記黒グリッド内に存在する三角形の頂点間の距離が閾値以内であれば１カウントとしてカウントし、該カウント数の多い前記黒グリッドを境界として検出し、該境界を基に前記第２二値画像のグループ化を行うので、両脚の境界や腕と胴体の境界等検出し難い箇所の誤検出を防止することができる。 According to the invention, the part recognition processing unit arranges the three-dimensional shape data on a grid sheet having a predetermined interval, a grid having a triangular vertex in the grid is a black grid, and a triangular vertex is in the grid. A second binary image having a white grid as a white grid, and counting as one count if the distance between the vertices of the triangles existing in the black grid is within a threshold, and the black having a large count Since the grid is detected as a boundary and the second binary image is grouped based on the boundary, it is possible to prevent erroneous detection of a difficult-to-detect location such as the boundary between both legs or the boundary between the arm and the torso.
又本発明によれば、前記パーツ認識処理部は、上下方向所定範囲内に於いて前記三次元形状データを分割線により分割すると共に正面側のデータのみを抽出し、前記分割線と各三角形の頂点間の距離差に基づき前記第２二値画像中の分岐位置を検出し、該分岐位置を基に前記第２二値画像のグループ化を行うので、特に検出し難い股下位置等の測定対象物の分岐位置を確実に検出でき、計測精度を向上させることができる。 According to the present invention, the parts recognition processing unit divides the three-dimensional shape data by dividing lines within a predetermined range in the vertical direction and extracts only the front side data. Since a branch position in the second binary image is detected based on the distance difference between the vertices, and the second binary image is grouped based on the branch position, a measurement object such as a crotch position that is particularly difficult to detect The branching position of the object can be reliably detected, and the measurement accuracy can be improved.
又本発明によれば、前記パーツ認識処理部は、横方向に連続する黒グリッド群の横方向中心と、該黒グリッド群の上下に隣接し横方向に連続する黒グリッド群の横方向中心との偏差を演算し、演算した偏差に基づき２行の黒グリッド群の結合、分離を行うので、境界検出や股下位置検出で検出され分離された同一パーツの黒グリッドを再結合させることができると共に、各パーツ間の境界を明確にすることができる。 According to the present invention, the parts recognition processing unit includes a horizontal center of a black grid group that is continuous in the horizontal direction, and a horizontal center of a black grid group that is adjacent to the top and bottom of the black grid group and that is continuous in the horizontal direction. The two grids of black grids are combined and separated based on the calculated deviation, so that the black grids of the same parts detected and separated by boundary detection and crotch position detection can be recombined. , The boundary between each part can be clarified.
又本発明によれば、前記パーツ認識処理部は、前記境界及び分岐位置に基づき自動的に前記第２二値画像をパーツ毎に認識するので、どのグループがどのパーツであるかを容易に把握することができる。 According to the present invention, the part recognition processing unit automatically recognizes the second binary image for each part based on the boundary and the branch position, so that it is easy to know which group is which part. can do.
又本発明によれば、前記第２ノイズ削除処理部は、頂点が複数のパーツに属する三角形をノイズとして削除すると共に、検出したパーツ以外の箇所に存在する三角形をノイズとして削除するので、パーツ単位で前記三次元形状データを保存する際に別パーツのデータが混入するのを防止できると共に、前記三次元形状データから離れた位置に存在するノイズを削除することができる。 Further, according to the present invention, the second noise deletion processing unit deletes a triangle whose vertex belongs to a plurality of parts as noise and also deletes a triangle existing in a place other than the detected part as noise. Thus, when storing the three-dimensional shape data, it is possible to prevent the data of another part from being mixed, and it is possible to delete noise existing at a position away from the three-dimensional shape data.
又本発明によれば、前記第３ノイズ削除処理部は、前記断面線を円柱座標系に変換し、前記断面線を構成する複数の部分断面線の端側から所定数の断面点での接線の傾き角を演算し、該傾き角が閾値以上であれば断面点に対応する三角形をノイズとして削除すると共に、前記部分断面線の重複範囲が所定の範囲を超える位置に存在する断面点に対応する三角形をノイズとして削除するので、前記断面線に存在する僅かなノイズも削除することができる。 According to the present invention, the third noise removal processing unit converts the section line into a cylindrical coordinate system, and tangents at a predetermined number of section points from the end sides of the plurality of partial section lines constituting the section line. If the tilt angle is greater than or equal to the threshold value, the triangle corresponding to the cross-sectional point is deleted as noise, and the cross-sectional point where the overlapping range of the partial cross-sectional line exceeds the predetermined range Since the triangle to be deleted is deleted as noise, a slight noise existing in the cross-sectional line can also be deleted.
又本発明によれば、前記断面線の欠損部を補間する断面線補間部と、前記三次元形状データの欠損部を補間し欠損部のない三次元形状データを作成する三次元形状補間部とを更に具備するので、欠損部のない前記測定対象物の三次元形状を計測することができる。 According to the invention, a cross-sectional line interpolation unit that interpolates the missing part of the cross-sectional line, a three-dimensional shape interpolation unit that interpolates the missing part of the three-dimensional shape data and creates three-dimensional shape data without the missing part, Therefore, it is possible to measure the three-dimensional shape of the measurement object having no missing part.
又本発明によれば、複数の撮像ユニットにより測定対象物を複数方向からステレオ撮影する工程と、マッチング処理部が前記複数の撮像ユニットにより得られた複数の画像中の特徴点を基に前記測定対象物の三次元形状データを作成する工程と、前記第１ノイズ削除処理部により前記三次元形状データのシルエットを基にノイズを削除する工程と、パーツ認識処理部が前記三次元形状データ中の前記測定対象物のパーツを認識する工程と、第２ノイズ削除処理部が前記パーツ認識処理部により検出されたパーツ情報に基づきノイズを削除する工程と、断面線作成部が前記三次元形状データの断面線を作成する工程と、第３ノイズ削除処理部が前記断面線に基づきノイズを削除する工程とを有するので、非接触で容易且つ迅速に前記測定対象物のノイズのない三次元形状を計測することができる。 Further, according to the present invention, the measurement object is stereo-photographed from a plurality of directions with a plurality of imaging units, and the matching processing unit performs the measurement based on feature points in a plurality of images obtained by the plurality of imaging units. A step of creating three-dimensional shape data of an object, a step of deleting noise based on a silhouette of the three-dimensional shape data by the first noise deletion processing unit, and a part recognition processing unit in the three-dimensional shape data A step of recognizing parts of the measurement object, a step of removing noise based on part information detected by the part recognition processing unit by a second noise deletion processing unit, and a section line creation unit of the three-dimensional shape data Since there is a step of creating a cross-sectional line and a step of removing noise based on the cross-sectional line by the third noise deletion processing unit, the measurement object can be easily and quickly non-contacted Noiseless three-dimensional shape can be measured.
又本発明によれば、断面線補間部が前記断面線の欠損部を補間する工程と、三次元形状補間部が前記三次元形状データの欠損部を補間する工程とを更に有するので、欠損部のない前記測定対象物の三次元形状を計測することができる。 According to the invention, the cross-sectional line interpolation unit further includes a step of interpolating the missing part of the cross-sectional line, and a three-dimensional shape interpolation unit interpolating the missing part of the three-dimensional shape data. It is possible to measure the three-dimensional shape of the object to be measured.
又本発明によれば、複数の撮像ユニットと、該撮像ユニットを制御する演算制御装置を有する三次元計測システムに於いて、前記演算制御装置に複数の撮像ユニットに測定対象物を複数方向からステレオ撮影させ、前記複数の撮像ユニットにより得られた複数の画像中の特徴点を基に前記測定対象物の三次元形状データを作成させ、前記三次元形状データのシルエットを基にノイズを削除させ、前記三次元形状データ中の前記測定対象物のパーツを認識させ、前記パーツ認識処理部により検出されたパーツ情報に基づきノイズを削除させ、前記三次元形状データの断面線を作成させ、前記断面線に基づきノイズを削除させるので、非接触で容易且つ迅速に前記測定対象物のノイズのない三次元形状を計測することができる。 According to the present invention, in a three-dimensional measurement system having a plurality of imaging units and an arithmetic control device for controlling the imaging units, the arithmetic control device includes a plurality of imaging units and a measurement object is stereo-viewed from a plurality of directions. The three-dimensional shape data of the measurement object is created based on feature points in a plurality of images obtained by the plurality of imaging units, noise is deleted based on the silhouette of the three-dimensional shape data, Recognize the part of the measurement object in the three-dimensional shape data, delete noise based on the part information detected by the part recognition processing unit, create a cross-sectional line of the three-dimensional shape data, and the cross-sectional line Since the noise is deleted based on the above, it is possible to easily and quickly measure the three-dimensional shape without noise of the measurement object without contact.
更に又本発明によれば、前記演算制御装置に更に断面線補間部に前記断面線の欠損部を補間させ、三次元形状補間部に前記三次元形状データの欠損部を補間させるので、欠損部のない前記測定対象物の三次元形状を計測することができるという優れた効果を発揮する。 Furthermore, according to the present invention, the arithmetic control device further causes the cross-sectional line interpolation unit to interpolate the cross-sectional line defect part, and the three-dimensional shape interpolation part interpolates the three-dimensional shape data defect part. It exhibits an excellent effect of being able to measure the three-dimensional shape of the object to be measured.
以下、図面を参照しつつ本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
先ず、図１に於いて、本発明の実施例に係る三次元計測システム１について説明する。 First, referring to FIG. 1, a three-dimensional measurement system 1 according to an embodiment of the present invention will be described.
図１中、２は人体等の測定対象物を示し、３〜１０は多数の画素の集合体であるＣＣＤ、ＣＭＯＳセンサ等の撮像素子を有する撮像部であるカメラを示しており、１２〜１５はプロジェクタ等の特徴点マーク照射部を示している。 In FIG. 1, reference numeral 2 denotes a measurement object such as a human body, and reference numerals 3 to 10 denote cameras that are image pickup units having an image pickup element such as a CCD or CMOS sensor, which is an aggregate of a large number of pixels. Indicates a feature point mark irradiation unit such as a projector.
前記カメラ３〜１０は、前記測定対象物２を囲む様、該測定対象物２の四方に前記カメラ３，４、前記カメラ５，６、前記カメラ７，８、前記カメラ９，１０が２つずつ所定の間隔で並んで同一水平面内に配設され、又前記カメラ３，４、前記カメラ５，６、前記カメラ７，８、前記カメラ９，１０は円周方向に等角度間隔で配置されている。 The cameras 3 to 10 have two cameras 3 and 4, cameras 5 and 6, cameras 7 and 8, and cameras 9 and 10 on four sides of the measurement object 2 so as to surround the measurement object 2. The cameras 3 and 4, the cameras 5 and 6, the cameras 7 and 8, and the cameras 9 and 10 are arranged at equiangular intervals in the circumferential direction. ing.
又、前記カメラ３，４の光軸間の距離、前記カメラ５，６の光軸間の距離、前記カメラ７，８の光軸間の距離、前記９，１０の光軸間の距離はそれぞれ等しく、且つ既知の値となっている。 The distance between the optical axes of the cameras 3 and 4, the distance between the optical axes of the cameras 5 and 6, the distance between the optical axes of the cameras 7 and 8, and the distance between the optical axes of the 9 and 10 are respectively Equal and known values.
又、前記特徴点マーク照射部１２〜１５は、それぞれ前記カメラ３，４間、前記カメラ５，６間、前記カメラ７，８間、前記カメラ９，１０間に配置され、前記特徴点マーク照射部１２の光軸は前記カメラ３，４の光軸間の中心、前記特徴点マーク照射部１３の光軸は前記カメラ５，６の光軸間の中心、前記特徴点マーク照射部１４の光軸は前記カメラ７，８の光軸間の中心、前記特徴点マーク照射部１５の光軸は前記カメラ９，１０の光軸間の中心となる様に設定されている。 The feature point mark irradiators 12 to 15 are disposed between the cameras 3 and 4, the cameras 5 and 6, the cameras 7 and 8, and the cameras 9 and 10, respectively. The optical axis of the unit 12 is the center between the optical axes of the cameras 3 and 4, the optical axis of the feature point mark irradiation unit 13 is the center between the optical axes of the cameras 5 and 6, and the light of the feature point mark irradiation unit 14. The axis is set to be the center between the optical axes of the cameras 7 and 8, and the optical axis of the feature point mark irradiation unit 15 is set to be the center between the optical axes of the cameras 9 and 10.
更に、前記カメラ３，４及び前記特徴点マーク照射部１２、前記カメラ５，６及び前記特徴点マーク照射部１３、前記カメラ７，８及び前記特徴点マーク照射部１４、前記カメラ９，１０及び前記特徴点マーク照射部１５は、それぞれ光軸が平行となる様に設定されており、前記カメラ３，４、前記カメラ５，６、前記カメラ７，８、前記カメラ９，１０により四方から前記測定対象物２をステレオ撮影できる様になっている。尚、光軸は平行でなく、内側に向けてもよい。この場合は、前記カメラ３，４間、前記カメラ５，６間、前記カメラ７，８間、前記カメラ９，１０間の光軸の角度も既知である。 Further, the cameras 3 and 4 and the feature point mark irradiation unit 12, the cameras 5 and 6 and the feature point mark irradiation unit 13, the cameras 7 and 8 and the feature point mark irradiation unit 14, the cameras 9 and 10 and The feature point mark irradiating section 15 is set so that the optical axes are parallel to each other, and the camera 3 and 4, the cameras 5 and 6, the cameras 7 and 8, and the cameras 9 and 10 are used to The measurement object 2 can be photographed in stereo. The optical axis is not parallel and may be directed inward. In this case, the angles of the optical axes between the cameras 3 and 4, between the cameras 5 and 6, between the cameras 7 and 8, and between the cameras 9 and 10 are also known.
前記特徴点マーク照射部１２〜１５は、前記測定対象物２に対して白色光やパターン光を照射し、照射された白色光、パターン光によって前記測定対象物２上に特徴点を形成する。 The feature point mark irradiation units 12 to 15 irradiate the measurement object 2 with white light or pattern light, and form feature points on the measurement object 2 by the irradiated white light or pattern light.
２つ並んで配置された前記カメラ３〜１０及び該カメラ３〜１０間に配置された前記特徴点マーク照射部１２〜１５により撮像ユニットが構成される様になっており、前記カメラ３，４及び前記特徴点マーク照射部１２により第１撮像ユニット１６が構成され、前記カメラ５，６及び前記特徴点マーク照射部１３により第２撮像ユニット１７が構成され、前記カメラ７，８及び前記特徴点マーク照射部１４により第３撮像ユニット１８が構成され、前記カメラ９，１０及び前記特徴点マーク照射部１５により第４撮像ユニット１９が構成される。尚、図１中では、各撮像ユニット１６〜１９のカメラは水平方向に並べられているが、鉛直方向に並べてもよいのは言う迄もない。 An imaging unit is configured by the cameras 3 to 10 arranged side by side and the feature point mark irradiation units 12 to 15 arranged between the cameras 3 to 10, and the cameras 3 and 4. The feature point mark irradiating unit 12 constitutes a first imaging unit 16, and the cameras 5, 6 and the feature point mark irradiating unit 13 constitute a second imaging unit 17, and the cameras 7, 8 and the feature points are configured. A third imaging unit 18 is configured by the mark irradiation unit 14, and a fourth imaging unit 19 is configured by the cameras 9 and 10 and the feature point mark irradiation unit 15. In FIG. 1, the cameras of the imaging units 16 to 19 are arranged in the horizontal direction, but needless to say, they may be arranged in the vertical direction.
前記カメラ３〜１０は、ＬＡＮ等の通信手段によりスイッチングハブ等の入出力制御部２１に接続され、前記撮像ユニット１６〜１９により撮像された画像は、撮像したカメラと関連付けられた状態で前記入出力制御部２１を介してＰＣ等の演算制御装置２２に入力される。 The cameras 3 to 10 are connected to an input / output control unit 21 such as a switching hub by communication means such as a LAN, and the images captured by the imaging units 16 to 19 are linked to the captured camera in the input state. The data is input to the arithmetic control device 22 such as a PC via the output control unit 21.
該演算制御装置２２はキーボードやマウス等の操作部２３と、モニタ等の表示部２４に電気的に接続されている。前記操作部２３に所望の指令が入力されることで、前記演算制御装置２２に入力された画像に所定の処理がなされ、撮像された画像或は処理後の画像が前記表示部２４に表示される様になっている。尚、該表示部２４をタッチパネルとすることで、該表示部２４と前記操作部２３を兼用させてもよい。 The arithmetic and control unit 22 is electrically connected to an operation unit 23 such as a keyboard and a mouse and a display unit 24 such as a monitor. When a desired command is input to the operation unit 23, a predetermined process is performed on the image input to the arithmetic and control unit 22, and the captured image or the processed image is displayed on the display unit 24. It has become like that. Note that the display unit 24 may be used as the operation unit 23 by using the display unit 24 as a touch panel.
次に、図２に於いて、前記演算制御装置２２について説明する。尚、以下の説明に於いては、前記測定対象物２が人体である場合について説明する。 Next, the arithmetic control unit 22 will be described with reference to FIG. In the following description, the case where the measurement object 2 is a human body will be described.
該演算制御装置２２は、ＣＰＵ等の演算制御部２５と、マッチング処理部２６と、第１ノイズ削除処理部２７と、パーツ認識処理部２８と、第２ノイズ削除処理部２９と、断面線作成部３１と、第３ノイズ削除処理部３２と、断面線補間部３３と、三次元形状補間部３４と、メモリやＨＤＤ等の記憶部３５とを有している。 The arithmetic control device 22 includes an arithmetic control unit 25 such as a CPU, a matching processing unit 26, a first noise deletion processing unit 27, a parts recognition processing unit 28, a second noise deletion processing unit 29, and a section line creation. Unit 31, third noise deletion processing unit 32, cross-sectional line interpolation unit 33, three-dimensional shape interpolation unit 34, and storage unit 35 such as a memory or HDD.
前記演算制御部２５は、後述するプログラムを起動、展開し、プログラムに基づき所定の処理を実行する。 The arithmetic control unit 25 activates and develops a program to be described later, and executes predetermined processing based on the program.
前記マッチング処理部２６は、前記撮像ユニット１６〜１９により取得された各２枚の画像を基に各点が座標（Ｘｉ，Ｙｉ，Ｚｉ）を持った三次元点群データを作成し、作成した三次元点群データを線でつなぎ、大きさの異なる三角形の集合により前記測定対象物２の三次元形状を表現するＴＩＮ（Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ）を作成する。これにより、該ＴＩＮで表現される三次元形状データが作成される。 The matching processing unit 26 creates and creates three-dimensional point cloud data in which each point has coordinates (Xi, Yi, Zi) based on each of the two images acquired by the imaging units 16 to 19. The three-dimensional point cloud data is connected by a line, and a TIN (Triangulated Irregular Network) that represents the three-dimensional shape of the measurement object 2 by a set of triangles having different sizes is created. Thereby, three-dimensional shape data expressed by the TIN is created.
前記第１ノイズ削除処理部２７は、作成されたＴＩＮを基に、正面方向、背面方向、両側面方向、斜め面方向の計８方向に於いて、前記測定対象物２の三次元形状データのシルエット画像である計８枚の第１二値画像を作成し、該第１二値画像に対して膨張・収縮処理等所定の処理を行い、前記ＴＩＮからノイズの削除を行う。尚、本実施例では８方向としたが、６方向や１０方向等、方向の数を変えてもよい。 Based on the created TIN, the first noise removal processing unit 27 performs the measurement of the three-dimensional shape data of the measurement object 2 in a total of eight directions including a front direction, a back direction, both side directions, and an oblique direction. A total of eight first binary images, which are silhouette images, are created, predetermined processing such as expansion / contraction processing is performed on the first binary image, and noise is deleted from the TIN. In this embodiment, the number of directions is eight, but the number of directions may be changed such as six directions and ten directions.
前記パーツ認識処理部２８は、前記第１ノイズ削除処理部２７によりノイズが削除された前記ＴＩＮに対し、正面方向を基準とした第２二値画像を作成し、該第２二値画像に於いて前記ＴＩＮで表現される三次元形状データ中の両脚、両腕、胴体の計５つのパーツを認識し、前記ＴＩＮを構成する点のグループ分けを行う機能を有している。 The parts recognition processing unit 28 creates a second binary image based on the front direction for the TIN from which the noise has been deleted by the first noise deletion processing unit 27, and the second binary image And has a function of recognizing a total of five parts of the legs, arms, and trunk in the three-dimensional shape data expressed by the TIN and grouping the points constituting the TIN.
前記第２ノイズ削除処理部２９は、前記パーツ認識処理部２８により認識されたパーツ情報に基づき、前記ＴＩＮからノイズの削除を行う。 The second noise deletion processing unit 29 deletes noise from the TIN based on the part information recognized by the parts recognition processing unit 28.
前記断面線作成部３１は、前記第２ノイズ削除処理部２９にてノイズが削除された前記ＴＩＮに対し、該ＴＩＮで表現される三次元形状データに対して、所定の間隔で等高線を引く。該等高線が前記ＴＩＮを構成する三角形を交差する点を求め、前記ＴＩＮの平断面の外形線である断面線の取得を行う。 The section line creation unit 31 draws contour lines at predetermined intervals with respect to the TIN from which the noise has been deleted by the second noise deletion processing unit 29, with respect to the three-dimensional shape data represented by the TIN. A point where the contour line intersects a triangle constituting the TIN is obtained, and a cross-sectional line which is an outline of a flat cross section of the TIN is obtained.
前記第３ノイズ削除処理部３２は、取得した断面線に対して断面線を円柱座標系に変換する断面線解析を行い、変換された円柱座標系の断面線情報を基に、前記ＴＩＮからノイズの削除を行う。 The third noise deletion processing unit 32 performs a cross-sectional line analysis for converting the cross-sectional line into a cylindrical coordinate system on the acquired cross-sectional line, and generates noise from the TIN based on the cross-sectional line information of the converted cylindrical coordinate system. Delete.
前記断面線補間部３３は、円柱座標系に変換された断面線を通常の座標系に再度変換すると共に、前記第１ノイズ削除処理部２７、前記第２ノイズ削除処理部２９、前記第３ノイズ削除処理部３２でのノイズ削除処理により、欠損部が生じた断面線に対して線形補間処理を行うことで、欠損部に仮想の補間点を創出し、断面線の補間を行う。 The cross-sectional line interpolation unit 33 converts the cross-sectional line converted into the cylindrical coordinate system again into a normal coordinate system, and also includes the first noise deletion processing unit 27, the second noise deletion processing unit 29, and the third noise. By performing a linear interpolation process on the cross-sectional line in which the defective part is generated by the noise deletion process in the deletion processing unit 32, a virtual interpolation point is created in the defective part, and the cross-sectional line is interpolated.
前記三次元形状補間部３４は、前記断面線補間部３３により創出された補間点、及び断面線により、前記ＴＩＮに生じた欠損部を埋める三角形を作成し、欠損部のない前記ＴＩＮ及び該ＴＩＮで表現される三次元形状データを作成する機能を有している。 The three-dimensional shape interpolation unit 34 creates a triangle that fills the missing portion generated in the TIN by using the interpolation point and the section line created by the section line interpolation unit 33, and the TIN having no missing portion and the TIN. It has a function to create three-dimensional shape data expressed by
又、前記記憶部３５には、前記撮像ユニット１６〜１９を駆動制御させるプログラム、前記撮像ユニット１６〜１９により撮像された画像を基にマッチングや前記ＴＩＮ及び該ＴＩＮで表現される三次元形状データを作成する為のプログラム、前記第１二値画像を基に前記ＴＩＮからノイズを削除する為のプログラム、前記第２二値画像を基に前記測定対象物２の各種パーツを認識し、パーツ情報を基に前記ＴＩＮをグループ分けする為のプログラム、パーツ情報を基に前記ＴＩＮからノイズを削除する為のプログラム、前記ＴＩＮを構成する三角形を横切る等高線を引き前記ＴＩＮの断面線を取得する為のプログラム、取得した該断面線を基に前記ＴＩＮのノイズを削除する為のプログラム、各種ノイズ削除により生じた断面線の空白部分に仮想の補間点を創出する為のプログラム、補間点及び断面線を基に三角形を作成し空白のない前記ＴＩＮ及び該ＴＩＮで表現される三次元形状データを作成する為のプログラムや、各プログラムを統括制御する三次元計測プログラム等の各種プログラムが格納される。又、前記記憶部３５には、撮像画像データ、画像処理済の画像データ、及び各種処理を行うにあたっての設定値や閾値、及び各種処理により作成されたデータが格納される様になっている。 The storage unit 35 includes a program for driving and controlling the imaging units 16 to 19, matching based on the images captured by the imaging units 16 to 19, and the three-dimensional shape data represented by the TIN and the TIN. , A program for deleting noise from the TIN based on the first binary image, various parts of the measurement object 2 are recognized based on the second binary image, and part information A program for grouping the TIN based on the above, a program for removing noise from the TIN based on the part information, and a contour line across the triangle constituting the TIN are drawn to obtain the cross section line of the TIN. Program, program for deleting the noise of the TIN based on the acquired cross-sectional line, and a blank portion of the cross-sectional line generated by deleting various noises A program for creating virtual interpolation points, a program for creating triangles based on the interpolation points and cross-section lines, creating the TIN with no blanks, and 3D shape data represented by the TIN, and each program Various programs such as a three-dimensional measurement program for overall control are stored. The storage unit 35 stores captured image data, image data that has undergone image processing, setting values and threshold values for performing various types of processing, and data created by various types of processing.
尚、前記マッチング処理部２６はマッチングや前記ＴＩＮ及び該ＴＩＮで表現される三次元形状データを作成する為のプログラムと前記演算制御部２５とにより構成される。又、前記第１ノイズ削除処理部２７は前記第１二値画像を基に前記ＴＩＮからノイズを削除する為のプログラムと前記演算制御部２５とにより構成される。又、前記パーツ認識処理部２８は前記第２二値画像を基に前記測定対象物２の各種パーツを認識し、パーツ情報を基に前記ＴＩＮをグループ分けする為のプログラムと前記演算制御部２５とにより構成される。又、前記第２ノイズ削除処理部２９はパーツ情報を基に前記ＴＩＮからノイズを削除する為のプログラムと前記演算制御部２５とにより構成される。又、前記断面線作成部３１は前記ＴＩＮを構成する三角形を横切る等高線を引き前記ＴＩＮの断面線を取得する為のプログラムと前記演算制御部２５とにより構成される。又、前記第３ノイズ削除処理部３２は取得した断面線を基に前記ＴＩＮのノイズを削除する為のプログラムと前記演算制御部２５とにより構成される。又、前記断面線補間部３３は各種ノイズ削除により生じた断面線の空白部分に仮想の補間点を創出する為のプログラムと前記演算制御部２５とにより構成される。又、前記三次元形状補間部３４は補間点及び断面線を基に三角形を作成し空白のない前記ＴＩＮ及び該ＴＩＮで表現される三次元形状データを作成する為のプログラムと前記演算制御部２５とにより構成される。 The matching processing unit 26 includes a program for creating matching, the TIN, and three-dimensional shape data expressed by the TIN, and the arithmetic control unit 25. The first noise deletion processing unit 27 includes a program for deleting noise from the TIN based on the first binary image and the arithmetic control unit 25. The parts recognition processing unit 28 recognizes various parts of the measurement object 2 based on the second binary image, and groups the TIN based on the part information and the arithmetic control unit 25. It consists of. The second noise deletion processing unit 29 includes a program for deleting noise from the TIN based on part information and the arithmetic control unit 25. The section line creation unit 31 includes a program for obtaining a section line of the TIN by drawing contour lines crossing the triangles forming the TIN and the arithmetic control unit 25. The third noise deletion processing unit 32 includes a program for deleting the TIN noise based on the acquired cross-sectional line and the arithmetic control unit 25. The cross-sectional line interpolation unit 33 includes a program for creating a virtual interpolation point in a blank portion of a cross-sectional line generated by deleting various noises and the arithmetic control unit 25. The three-dimensional shape interpolating unit 34 creates a triangle based on the interpolation points and cross-sectional lines, creates the TIN having no space, and the three-dimensional shape data expressed by the TIN and the arithmetic control unit 25. It consists of.
次に、前記三次元計測システム１を用いた計測処理について説明する。 Next, measurement processing using the three-dimensional measurement system 1 will be described.
先ず、前記第１撮像ユニット１６の前記特徴点マーク照射部１２は、白色光及びパターン光の２種類の光を照射可能となっており、前記第１撮像ユニット１６は前記測定対象物２に白色光が照射された状態と、該測定対象物２にパターン光が照射された状態の２種類の画像が２枚ずつ取得される様になっている。前記第１撮像ユニット１６により撮像された画像は、前記入出力制御部２１を介して前記演算制御装置２２に入力される。 First, the feature point mark irradiation unit 12 of the first imaging unit 16 can irradiate two types of light, white light and pattern light, and the first imaging unit 16 applies white light to the measurement object 2. Two types of images, that is, a state in which light is irradiated and a state in which pattern light is irradiated on the measurement object 2 are acquired two by two. An image captured by the first imaging unit 16 is input to the arithmetic control device 22 via the input / output control unit 21.
撮像された画像が該演算制御装置２２に入力されると、先ず前記マッチング処理部２６により、パターン光が照射された画像からエッジ検出等により特徴点が抽出され、特徴点の少なくとも３点が選択され、選択された特徴点同士を対応付けることで２枚の画像のマッチングを行い、画像上の点の三次元座標を算出する。 When the captured image is input to the arithmetic and control unit 22, the matching processing unit 26 first extracts feature points from the image irradiated with the pattern light by edge detection or the like, and selects at least three feature points. Then, the two feature images are matched by associating the selected feature points with each other, and the three-dimensional coordinates of the points on the image are calculated.
尚、画像のマッチングについては、ＳＳＤＡ法（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、正規化相互相関法、最小２乗マッチング法等が用いられる。 For image matching, an SSDA method (Sequential Similarity Detection Algorithm), a normalized cross-correlation method, a least square matching method, or the like is used.
これにより、既知である前記第１撮像ユニット１６の位置を基準として、２つの画像に基づき写真測量により特徴点の三次元座標を求めると共に、特徴点を三角形の頂点として、隣接する特徴点同士を線で結んでＴＩＮを作成することで、前記測定対象物２のＴＩＮで表現される三次元形状データを作成する。そして、前記ＴＩＮに白色光が照射された画像を貼付ける（テクスチャマッピング）。 Thus, the three-dimensional coordinates of the feature points are obtained by photogrammetry based on the two images based on the position of the first imaging unit 16 that is already known, and adjacent feature points are defined with the feature points as the vertices of a triangle. By creating a TIN by connecting with a line, three-dimensional shape data represented by the TIN of the measurement object 2 is created. Then, an image irradiated with white light is pasted on the TIN (texture mapping).
尚、前記第２撮像ユニット１７、前記第３撮像ユニット１８、前記第４撮像ユニット１９についても前記第１撮像ユニット１６と同様にＴＩＮを作成し、略全方向を網羅したＴＩＮで表現される三次元形状データを作成することができる。 The second imaging unit 17, the third imaging unit 18, and the fourth imaging unit 19 also create a TIN in the same manner as the first imaging unit 16, and a tertiary expressed in TIN covering almost all directions. Original shape data can be created.
前記マッチング処理部２６により前記ＴＩＮが作成されると、次に前記第１ノイズ削除処理部２７による第１ノイズ削除処理が行われる。該第１ノイズ削除処理部２７は、先ず正面方向を基準とした前記ＴＩＮで表現される三次元形状データを、所定の大きさ、例えば実寸で５ｍｍ×５ｍｍの正方グリッドを１グリッドとして、多数のグリッドがマトリックス状に配列されたグリッドシート上に配置し、各グリッド内に三角形の頂点が１点でも存在する場合はそのグリッドを白とし、グリッド内に三角形の頂点が１点も存在しない場合はそのグリッドを黒として、前記ＴＩＮで表現される三次元形状データのシルエット画像が白く表示された前記第１二値画像を作成する。 When the TIN is created by the matching processing unit 26, a first noise deletion process is then performed by the first noise deletion processing unit 27. First, the first noise removal processing unit 27 uses a three-dimensional shape data expressed by the TIN with reference to the front direction as a grid having a predetermined size, for example, a square grid of 5 mm × 5 mm in actual size. When grids are arranged on a grid sheet arranged in a matrix and there are at least one triangle vertex in each grid, the grid is white, and when there are no triangle vertices in the grid Using the grid as black, the first binary image in which the silhouette image of the three-dimensional shape data expressed by the TIN is displayed in white is created.
該第１二値画像の作成後、前記第１ノイズ削除処理部２７は前記第１二値画像に対して収縮処理を行い、次いで膨張処理を３度繰返す。収縮処理が行われることで、前記第１二値画像中の前記シルエット画像から離れた位置にある孤立したノイズを削除することができ、又膨張処理を３度繰返すことで、本来必要なデータの欠落を防止できる。 After the creation of the first binary image, the first noise deletion processing unit 27 performs a contraction process on the first binary image, and then repeats the expansion process three times. By performing the contraction process, it is possible to delete the isolated noise at a position away from the silhouette image in the first binary image, and by repeating the expansion process three times, Missing can be prevented.
尚、本実施例に於いては、三角形の頂点の密度が一定ではないことから、１回の収縮処理に対して３回の膨張処理を前記第１二値画像に行っているが、収縮処理及び膨張処理の回数は、１グリッドの大きさ等各種条件により適宜選択されるものであるのは言う迄もない。 In this embodiment, since the density of the vertices of the triangle is not constant, the first binary image is subjected to three expansion processes for one contraction process. It goes without saying that the number of expansion processes is appropriately selected according to various conditions such as the size of one grid.
収縮・膨張処理後、前記第１ノイズ削除処理部２７は黒グリッド内に存在する三角形の頂点をノイズとして削除する。 After the contraction / expansion processing, the first noise deletion processing unit 27 deletes the vertices of the triangles existing in the black grid as noise.
上記では正面方向を基準とした前記ＴＩＮで表現される三次元形状データを基に前記第１二値画像を作成しているが、前記三次元形状データの背面方向、両側面方向、斜め面方向の計７方向についても前記第１二値画像が作成され、上記と同様にノイズの削除が行われる。 In the above, the first binary image is created based on the three-dimensional shape data expressed by the TIN with respect to the front direction. However, the back direction, both side directions, and the oblique direction of the three-dimensional shape data. The first binary image is also created for the seven directions, and noise is deleted in the same manner as described above.
従って、正面方向、背面方向、両側面方向、斜め面方向の計８方向を基準とした前記ＴＩＮで表現される三次元形状データの前記第１二値画像に於いて、一部の第１二値画像では白グリッド内に存在する三角形の頂点であっても、該三角形の頂点が黒グリッド内に存在する他の第１二値画像がある場合には、その三角形の頂点はノイズとして削除される。尚、６方向、１０方向等異なる方向の数も同様である。 Therefore, in the first binary image of the three-dimensional shape data expressed by the TIN with reference to a total of eight directions including the front direction, the back direction, the both side directions, and the oblique direction, a part of the first and second images are displayed. In the value image, even if it is a vertex of a triangle existing in the white grid, if there is another first binary image in which the vertex of the triangle exists in the black grid, the vertex of the triangle is deleted as noise. The The same applies to the number of different directions such as 6 directions and 10 directions.
前記第１ノイズ削除処理部２７により前記ＴＩＮのノイズが削除されると、次に前記パーツ認識処理部２８によるパーツ認識処理が行われる。 When the noise of the TIN is deleted by the first noise deletion processing unit 27, the parts recognition processing by the parts recognition processing unit 28 is performed next.
該パーツ認識処理部２８は、先ず正面方向を基準とした前記ＴＩＮで表現される三次元形状データを、例えば２０ｍｍ×２０ｍｍの正方グリッドを１グリッドとして多数のグリッドがマトリックス状に配列されたグリッドシート上に配置し、図３に示される様な、各グリッド内に三角形の頂点が１点でも存在する場合はそのグリッドを黒グリッドとし、グリッド中に三角形の頂点が存在しない場合にはそのグリッドを白グリッドとする第２二値画像３６を作成する。 The part recognition processing unit 28 first converts the three-dimensional shape data expressed by the TIN relative to the front direction into a grid sheet in which a large number of grids are arranged in a matrix, for example, a square grid of 20 mm × 20 mm. If there is even one triangle vertex in each grid as shown in Fig. 3, the grid is black, and if there is no triangle vertex in the grid, the grid is A second binary image 36 is created as a white grid.
尚、図３、及び後述する図４〜図８中では、便宜上異なるグループを異なる色（図示では色の相違を明度の相違で表している）にて表示している。 In FIG. 3 and FIGS. 4 to 8 to be described later, different groups are displayed in different colors (in the drawing, the difference in color is represented by a difference in brightness) for convenience.
続いて、前記パーツ認識処理部２８は、前記第２二値画像３６中の横ラインのグリッド群を１行ずつ順に左から検索していき、黒グリッドが連続している部分を１つのグループとしてグループ分けをする第１グルーピング処理が行われる。例えば、図４に示される様に、左から検索して最初に黒が検出されたグリッドから、右隣りに白が検出されたグリッド迄を第１グループ３７とし、該第１グループ３７より右側であり黒が検出されたグリッドから、右隣りに白が検出されたグリッド迄を第２グループ３８とし、該第２グループ３８よりも右側であり黒が検出されたグリッドから、右隣りに白が検出されたグリッド迄を第３グループ３９としてグループ分けを行う。 Subsequently, the parts recognition processing unit 28 searches the grid group of the horizontal lines in the second binary image 36 one by one in order from the left, and sets the portions where the black grids are continuous as one group. A first grouping process for grouping is performed. For example, as shown in FIG. 4, the first group 37 is defined from the grid in which black is first detected from the left to the grid in which white is detected on the right side. From the grid in which black is detected to the grid in which white is detected on the right side is defined as the second group 38, and on the right side of the second group 38, white is detected on the right side from the grid in which black is detected. Grouping is performed as a third group 39 up to the grid.
図９に於いて、第１グルーピング処理後、前記第２二値画像３６の横ラインのグリッド群（図９（Ａ）参照）の内、１グリッド内に存在する三角形の頂点間の距離がそれぞれ演算され、演算した距離が予め設定した閾値以内であれば１カウントとしてカウントされ、図９（Ｃ）に示される様にカウント数がグラフ化される。又、カウント数が最も多かった、即ち１グリッド内に存在する三角形の頂点の数が最も多いグリッドが前記測定対象物２の境界４１として検出される。尚、図９中、４２は図４の前記第２二値画像３６中より抜出した１行の横ラインのグリッド群を示し、図９（Ｂ）の４３ａ，４３ｂは前記測定対象物２の平断面であり、例えば人体の脚部を示し、例えば図８中の前記第１グループ３７、前記第２グループ３８に該当する。 In FIG. 9, after the first grouping process, the distance between the vertices of the triangles existing in one grid of the horizontal line grid group (see FIG. 9A) of the second binary image 36 is respectively shown. If the calculated distance is within a preset threshold, it is counted as one count, and the count is graphed as shown in FIG. 9C. Further, the grid having the largest count number, that is, the largest number of triangle vertices existing in one grid is detected as the boundary 41 of the measurement object 2. In FIG. 9, reference numeral 42 denotes a grid group of one horizontal line extracted from the second binary image 36 in FIG. 4, and 43a and 43b in FIG. It is a cross section, for example, shows a leg part of a human body, and corresponds to, for example, the first group 37 and the second group 38 in FIG.
前記境界４１の検出後、検出された該境界４１を基に、グループ化された前記第１〜第３グループ３７〜３９が、例えば図５に示される様に前記境界４１が検出されたグリッドで分離される第１分離処理が行われ、股や腋等の位置が認識される。 After the detection of the boundary 41, the first to third groups 37 to 39 grouped based on the detected boundary 41 are grids in which the boundary 41 is detected as shown in FIG. A first separation process to be separated is performed, and positions such as crotch and heel are recognized.
然し乍ら、上記した前記境界４１の検出だけでは、身につけた衣服等の為、正確な股下位置の検出には不十分である為、前記パーツ認識処理部２８により、次いで股下位置（分岐位置）の検出が行われる。 However, since only the detection of the boundary 41 described above is insufficient for accurate detection of the crotch position because of the clothes worn, etc., the part recognition processing unit 28 then determines the crotch position (branch position). Detection is performed.
股下位置を検出する際には、先ず前記第２二値画像３６中の縦ラインの内、予め足から胴体に係る位置であると設定された範囲、例えば前記ＴＩＮの下端から２５％〜６５％の範囲内に於いて、例えば図１０に示される様に、前記平断面４３ａ，４３ｂを、該平断面４３ａ，４３ｂの図形中心を通る分割線４０により正面側と背面側の２つに等分すると共に、分割した正面側（図１０（Ｂ）中下側）の前記ＴＩＮで表現される三次元形状データのデータのみを抽出する。 When detecting the crotch position, first, of the vertical lines in the second binary image 36, a range set in advance as the position related to the torso, for example, 25% to 65% from the lower end of the TIN. For example, as shown in FIG. 10, the flat cross-sections 43a and 43b are equally divided into a front side and a back side by a dividing line 40 passing through the graphic center of the flat cross-sections 43a and 43b. At the same time, only the data of the three-dimensional shape data expressed by the TIN on the divided front side (lower side in FIG. 10B) is extracted.
正面側の該三次元形状データのデータの抽出後、前記平断面４３ａ，４３ｂの正面に存在する三角形の頂点から前記分割線４０迄の最短距離、即ち垂線の長さが演算され、演算された距離がグラフ化される（図１０（Ｃ）参照）。作成されたグラフの前記平断面４３ａ，４３ｂ部分は前記分割線４０と三角形の頂点間の距離が長くなることで山部４５ａ，４５ｂが形成され、該平断面４３ａ，４３ｂ間は前記分割線４０と三角形の頂点間の距離が短くなることで谷部４６が形成される様になっている。前記横ラインのグリッド群４２を予め設定した下端、即ち前記ＴＩＮの下端から２５％の前記横ラインのグリッド群４２から上方に向って１行ずつ順次検索していき、図１１に示される様に前記山部４５と前記谷部４６とが検出されなくなった前記横ラインのグリッド群４２を股下位置として検出する。 After extracting the data of the three-dimensional shape data on the front side, the shortest distance from the apex of the triangle existing in front of the flat cross-sections 43a and 43b to the dividing line 40, that is, the length of the perpendicular is calculated. The distance is graphed (see FIG. 10C). The flat cross-sections 43a and 43b of the created graph have peaks 45a and 45b formed by increasing the distance between the dividing line 40 and the apex of the triangle, and the dividing line 40 is formed between the flat cross-sections 43a and 43b. The trough 46 is formed by shortening the distance between the vertices of the triangle. As shown in FIG. 11, the horizontal line grid group 42 is sequentially searched one line upward from the preset lower end, that is, 25% of the horizontal line grid group 42 from the lower end of the TIN. The grid group 42 of the horizontal line in which the peak 45 and the valley 46 are no longer detected is detected as the crotch position.
尚、上記した股下位置検出処理では、正確な股下位置を検出する為には、前記測定対象物２、即ち被計測者が正確な計測位置に立っていることが必要であるが、被計測者を常に正確な計測位置に立たせることは困難である。従って本実施例では、前記パーツ認識処理部２８により計測位置に対する補正処理を行う様になっている。 In the above-described inseam position detection process, in order to detect an accurate inseam position, the measurement object 2, that is, the person to be measured needs to be standing at an accurate measurement position. It is difficult to always stand at an accurate measurement position. Therefore, in this embodiment, the part recognition processing unit 28 performs correction processing on the measurement position.
具体的には、前記平断面４３ａ，４３ｂに接する共通接線の傾き角を検出することで、正確な計測位置に対するズレを検出でき、Ｘ軸及びＹ軸を共通接線の傾き角分だけ回転させることで、計測位置に対する補正を行うことができる。 Specifically, by detecting the inclination angle of the common tangent line that touches the flat cross-sections 43a and 43b, it is possible to detect a deviation from the accurate measurement position, and to rotate the X axis and the Y axis by the inclination angle of the common tangent line. Thus, the measurement position can be corrected.
尚、上記ではグラフ中の前記山部４５ａ，４５ｂと前記谷部４６とを検出することで、股下位置の検出を図っていたが、図１２に示される様に、所定の距離、例えば前記山部４５の頂点迄の距離に対して８５％の距離の部分に着目し、前記平断面４３ａ，４３ｂに形成される平坦な台地部４７ａ，４７ｂが、グラフ中に２つ存在するかどうかで股下位置を検出してもよい。又、該台地部４７ａ，４７ｂを検出する為の距離は、必ずしも前記山部４５の頂点迄の距離に対して８５％の距離である必要はなく、条件に応じて適宜選択される。 In the above description, the crotch position is detected by detecting the peak portions 45a and 45b and the valley portion 46 in the graph. However, as shown in FIG. Paying attention to the distance of 85% with respect to the distance to the apex of the portion 45, the inseam depends on whether there are two flat plateau portions 47a and 47b formed in the flat cross sections 43a and 43b in the graph. The position may be detected. In addition, the distance for detecting the plateau portions 47a and 47b is not necessarily 85% of the distance to the apex of the peak portion 45, and is appropriately selected according to conditions.
前記第２二値画像３６中の股下位置が検出されると、検出された股下位置、即ち両脚の境界を基に、例えば図６に示される様に、前記第２二値画像３６のグループを更に分離する第２分離処理が行われる。第２分離処理を行うことで、前記第１グループ３７と前記第２グループ３８との境界が更に明確になっている。 When the crotch position in the second binary image 36 is detected, based on the detected crotch position, that is, the boundary between both legs, a group of the second binary images 36 is obtained as shown in FIG. Further, a second separation process for separation is performed. By performing the second separation process, the boundary between the first group 37 and the second group 38 is further clarified.
次に、前記パーツ認識処理部２８により、第２分離処理によりグループ分けされた前記第２二値画像３６に基づき、第２グルーピング処理が行われる。 Next, a second grouping process is performed by the parts recognition processing unit 28 based on the second binary image 36 grouped by the second separation process.
第２グルーピング処理では、図７に示される様に、上下に隣接した横ラインの黒グリッド群同士が連結され、又は分離され、前記第１グループ３７、前記第２グループ３８、前記第３グループ３９、第４グループ４４、第５グループ４８、第６グループ４９、第７グループ５０の７つのグループにグループ分けされる。 In the second grouping process, as shown in FIG. 7, black grid groups of horizontal lines adjacent in the vertical direction are connected or separated, and the first group 37, the second group 38, the third group 39 are connected. , A fourth group 44, a fifth group 48, a sixth group 49, and a seventh group 50.
具体的には、横ラインの黒グリッド群の横方向の中心と、該黒グリッド群の上下方向に隣接する横ラインの黒グリッド群の横方向の中心との横方向の偏差（画素中のピクセル間の距離）が演算され、演算された距離が予め設定された閾値以内であれば、黒グリッド群同士が同一のグループとして連結され、演算された距離が閾値よりも大きければ、黒グリッド群同士が別グループとして分離される。 Specifically, the horizontal deviation between the horizontal center of the black grid group of the horizontal line and the horizontal center of the black grid group of the horizontal line adjacent to the vertical direction of the black grid group (pixels in the pixel) If the calculated distance is within a preset threshold, the black grid groups are connected as the same group, and if the calculated distance is greater than the threshold, the black grid groups Are separated as a separate group.
又、横ラインの黒グリッド群に別グループの黒グリッド群が連続し、且つ一方のグループの黒グリッド群の上下に連結可能な黒グリッド群が存在しない場合には、例外処理として２つのグループの黒グリッド群を１つのグループの黒グリッド群とみなした上で、上記の処理が行われる。 If the black grid group of another group is connected to the black grid group of the horizontal line and there is no black grid group that can be connected to the upper and lower sides of the black grid group of one group, The above processing is performed after regarding the black grid group as a black grid group of one group.
最後に、第２グルーピング処理によりグループ化された前記第２二値画像３６に対し、下のグループから順に両脚、胴体、両腕、その他と前記パーツ認識処理部２８により自動的に認識される。図７中の前記第４グループ４４と該第４グループ４４の上に存在する前記第７グループ５０とが連結され、図８に示される様に、両腕、胴体、両脚の５つのパーツが認識された５つのグループからなるその他を描写していない前記第２二値画像３６が作成される。 Finally, the second binary image 36 grouped by the second grouping process is automatically recognized by the parts recognition processing unit 28 in order from the lower group, such as both legs, torso, both arms, and the like. The fourth group 44 in FIG. 7 and the seventh group 50 existing above the fourth group 44 are connected, and as shown in FIG. 8, the five parts of both arms, body, and both legs are recognized. The second binary image 36 that does not depict the other five groups is generated.
パーツ認識後、前記第２ノイズ削除処理部２９により、第２ノイズ削除処理が行われる。該第２ノイズ削除処理部２９は、前記パーツ認識処理部２８によりグループ分けされたパーツ情報に基づき、各三角形の頂点がどのパーツのグループに属するかを取得し、三角形の頂点が１つでも他のパーツのグループに属する三角形をノイズとして削除し、更に両脚、胴体、両腕の５つのパーツ外に存在する三角形、例えば図７中でその他と認識された前記第３グループ３９をノイズとして削除する。 After the part recognition, the second noise deletion processing unit 29 performs a second noise deletion process. The second noise elimination processing unit 29 acquires which part group each vertex of the triangle belongs to based on the part information grouped by the parts recognition processing unit 28. The triangles belonging to the group of parts are deleted as noise, and the triangles existing outside the five parts of both legs, torso, and both arms, for example, the third group 39 recognized as others in FIG. 7 are deleted as noise. .
尚、図８に於ける各パーツを境界線として設定し、該境界線をまたいで存在する三角形は削除されないものとする。 It should be noted that each part in FIG. 8 is set as a boundary line, and triangles that cross the boundary line are not deleted.
例えば、前記第１グループ３７と前記第３グループ３９の境界を境界線とし、前記第１グループ３７に属する点と前記第３グループ３９に属する２点によって構成される三角形は削除されない。全て異なるパーツに三角形の頂点が属する場合も、境界線をまたぐ場合については同様に削除しない。 For example, the boundary between the first group 37 and the third group 39 is set as a boundary line, and a triangle constituted by a point belonging to the first group 37 and two points belonging to the third group 39 is not deleted. Even if the triangle vertices belong to all different parts, they are not deleted in the same way when they cross the boundary line.
前記第２ノイズ削除処理部２９による第２ノイズ削除処理後、前記断面線作成部３１により、前記ＴＩＮで表現される三次元形状データに対して所定の間隔で等高線を引き、該等高線が前記ＴＩＮを構成する三角形と交差する点（断面点）を求めることで、前記ＴＩＮの平断面４３の外形線である断面線５５（後述）が取得される。 After the second noise removal processing by the second noise removal processing unit 29, the cross-section line creation unit 31 draws contour lines at a predetermined interval with respect to the three-dimensional shape data represented by the TIN, and the contour line is the TIN. By obtaining a point (cross-sectional point) that intersects with the triangle that constitutes, a cross-sectional line 55 (described later) that is an outline of the flat cross-section 43 of the TIN is acquired.
該断面線５５は、図１３に示される様に、前記第１撮像ユニット１６にて撮像された画像より取得された第１部分断面線５１、前記第２撮像ユニット１７にて撮像された画像より取得された第２部分断面線５２、前記第３撮像ユニット１８にて撮像された画像より取得された第３部分断面線５３、前記第４撮像ユニット１９にて撮像された画像より取得された第４部分断面線５４から構成されており、前記断面線５５は、上下方向全長に亘って、例えば２．５ｍｍ間隔で取得される。 As shown in FIG. 13, the cross-sectional line 55 is obtained from the first partial cross-sectional line 51 acquired from the image captured by the first imaging unit 16 and the image captured by the second imaging unit 17. The acquired second partial cross-sectional line 52, the third partial cross-sectional line 53 acquired from the image captured by the third imaging unit 18, and the image acquired by the fourth imaging unit 19 The section line 55 is composed of four partial section lines 54, and is acquired at intervals of, for example, 2.5 mm over the entire length in the vertical direction.
尚、前記断面線５５が取得される際には、各部分断面線がどのパーツに属する部分断面線であるか、又部分断面線がどの撮像ユニットの前記ＴＩＮの部分断面線であるかを識別する為の情報が同時に取得される様になっている。 When the cross-sectional line 55 is acquired, it is identified which part cross-sectional line the partial cross-sectional line belongs to, and which imaging unit the TIN's partial cross-sectional line belongs to. Information to do is acquired at the same time.
又、取得された前記断面線５５は、例えば図１５に示される胴体断面線群５６の様に、前記断面線５５を積層させた断面線群として、各パーツ毎に前記記憶部３５に格納される。 Further, the acquired cross-sectional line 55 is stored in the storage unit 35 for each part as a cross-sectional line group obtained by stacking the cross-sectional lines 55, for example, as a body cross-sectional line group 56 shown in FIG. The
前記ＴＩＮの断面線５５が作成されると、次に前記第３ノイズ削除処理部３２により第３ノイズ削除処理が行われる。 Once the TIN cross section line 55 is created, the third noise deletion processing unit 32 performs a third noise deletion process.
該第３ノイズ削除処理部３２は、先ず断面線５５が形成する図形の重心を求めると共に、該断面線５５を円柱座標系に変換する。尚、図１４は円柱座標系に変換した前記断面線５５について、縦軸に重心と断面点との距離ｒ、横軸に傾きθを取り、断面点同士を直線でつなぎ合せることで作成したグラフである。又、前記第１〜第４部分断面線５１〜５４は、図１３、図１４に示される様に、一部が重なり（図１３、図１４中５７，５８）、一部が重ならずに離れた状態（図１３、図１４中５９，６１）で前記断面線５５を構成している。 The third noise removal processing unit 32 first obtains the center of gravity of the figure formed by the cross-sectional line 55 and converts the cross-sectional line 55 into a cylindrical coordinate system. FIG. 14 is a graph created by connecting the cross-sectional points with straight lines, taking the distance r between the center of gravity and the cross-sectional points on the vertical axis and the inclination θ on the horizontal axis for the cross-sectional lines 55 converted to the cylindrical coordinate system. It is. Further, as shown in FIGS. 13 and 14, the first to fourth partial cross-sectional lines 51 to 54 are partially overlapped (57 and 58 in FIGS. 13 and 14), and are not partially overlapped. The sectional line 55 is configured in a separated state (59 and 61 in FIGS. 13 and 14).
尚、好ましくは、後述する前記断面線５５の前記第１〜第４部分断面線５１〜５４の両端部の断面点を除いたデータを利用して図形の中心を求めるとよい。 Preferably, the center of the figure is obtained by using data excluding cross-sectional points at both ends of the first to fourth partial cross-sectional lines 51 to 54 of the cross-sectional line 55 described later.
前記断面線５５が円柱座標系に変換されると、次にノイズ断面点の検出が行われる。前記第３ノイズ削除処理部３２は、先ず部分断面線が重なっている重複部分、図１３、図１４中では前記第２部分断面線５２と前記第３部分断面線５３の重複部５７、及び前記第３部分断面線５３と前記第４部分断面線５４の重複部５８について、各第１〜第４部分断面線５１〜５４の端側の所定数の断面点、例えば５点の断面点での接線の傾き角を算出し、傾き角が設定された閾値以上であればその点をノイズ断面点として検出し、該ノイズ断面点に対応する前記ＴＩＮの三角形をノイズとして削除する。 When the section line 55 is converted into the cylindrical coordinate system, the noise section point is next detected. The third noise removal processing unit 32 is an overlapping portion where the partial sectional lines overlap each other, in FIG. 13 and FIG. 14, the overlapping portion 57 of the second partial sectional line 52 and the third partial sectional line 53, and the About the overlap part 58 of the 3rd partial cross-sectional line 53 and the said 4th partial cross-sectional line 54, in the predetermined number of cross-sectional points of the end side of each 1st-4th partial cross-sectional line 51-54, for example, 5 cross-sectional points The inclination angle of the tangent line is calculated. If the inclination angle is equal to or larger than the set threshold value, the point is detected as a noise cross-section point, and the TIN triangle corresponding to the noise cross-section point is deleted as noise.
又、前記重複部５７，５８について、ノイズ断面点を検出し削除した後、２つの部分断面線がオーバラップしている範囲を１００％として算出し、更に重なっている範囲（合致している範囲）が所定値、例えば３３％となる様、所定値の範囲外にある点をノイズ断面点として検出し、該ノイズ断面点に対応する前記ＴＩＮの三角形をノイズとして削除する。 Further, after detecting and deleting the noise cross-section points for the overlapping portions 57 and 58, the range where the two partial cross-section lines overlap is calculated as 100%, and the overlapping range (matching range) is calculated. ) Is a predetermined value, for example, 33%, a point outside the predetermined value range is detected as a noise cross-sectional point, and the TIN triangle corresponding to the noise cross-sectional point is deleted as noise.
次に、部分断面線が重なっていない離間部分、図１３、図１４中では前記第１部分断面線５１と前記第２部分断面線５２の欠損部５９、前記第４部分断面線５４と前記第１部分断面線５１の欠損部６１についても各第１〜第４部分断面線５１〜５４の端側の所定数の断面点、例えば５点の断面点での接線の傾き角を算出し、傾き角が設定された閾値以上であればその点をノイズ断面点として検出し、該ノイズ断面点に対応する前記ＴＩＮの三角形をノイズとして削除する。 Next, in the separated portion where the partial sectional lines do not overlap, in FIG. 13 and FIG. 14, the missing portion 59 of the first partial sectional line 51 and the second partial sectional line 52, the fourth partial sectional line 54 and the first partial sectional line. For the missing portion 61 of the first partial cross-sectional line 51, a predetermined number of cross-sectional points on the end side of each of the first to fourth partial cross-sectional lines 51 to 54, for example, the inclination angle of the tangent line at the five cross-sectional points, If the corner is equal to or greater than the set threshold, the point is detected as a noise cross-section point, and the TIN triangle corresponding to the noise cross-section point is deleted as noise.
前記第１ノイズ削除処理、前記第２ノイズ削除処理、前記第３ノイズ削除処理によりノイズが削除されることで、前記断面線５５には部分断面線同士が重複しない欠損部が生じる場合が発生する。前記断面線補間部３３は、円柱座標系に変換された前記断面線５５を通常の座標系に再度変換すると共に、線形補間処理により前記欠損部５９，６１に仮想の補間点を創出し、補間点同士を直線で結ぶことで、前記断面線５５の欠損部が補われる。 When the noise is deleted by the first noise deletion process, the second noise deletion process, and the third noise deletion process, there may be a case where a defective portion in which the partial cross-sectional lines do not overlap each other is generated in the cross-sectional line 55. . The cross-sectional line interpolation unit 33 re-converts the cross-sectional line 55 converted into the cylindrical coordinate system into a normal coordinate system, and creates a virtual interpolation point in the missing parts 59 and 61 by linear interpolation processing. By connecting the points with a straight line, the missing portion of the cross-sectional line 55 is compensated.
最後に、前記三次元形状補間部３４により、各ノイズ削除処理により生じた前記ＴＩＮの欠損部分に対し、前記断面線５５及び前記補間点により新たに三角形が作成される。前記三次元形状補間部３４により欠損部分に三角形が作成されることで、空白部分のない前記ＴＩＮ及び該ＴＩＮで表現される三次元形状データが作成され、前記表示部２４に前記ＴＩＮ又はＴＩＮに白色光が照射された画像を貼付けた三次元画像を表示させることで前記三次元計測システム１を用いた計測処理が終了する。 Finally, the three-dimensional shape interpolation unit 34 creates a new triangle for the missing portion of the TIN generated by each noise deletion process by using the cross-sectional line 55 and the interpolation point. By creating a triangle in the missing portion by the three-dimensional shape interpolation unit 34, the TIN having no blank portion and the three-dimensional shape data represented by the TIN are created, and the display unit 24 stores the TIN or TIN. The measurement process using the three-dimensional measurement system 1 is completed by displaying a three-dimensional image to which the image irradiated with white light is pasted.
上述の様に、本実施例では、各撮像ユニット１６〜１９により取得された画像から作成された前記ＴＩＮに含まれるノイズデータを、前記第１ノイズ削除処理部２７、前記第２ノイズ削除処理部２９、前記第３ノイズ削除処理部３２が自動で削除する構成であるので、非接触で容易且つ迅速に前記測定対象物２のノイズのない三次元形状を計測することができる。 As described above, in the present embodiment, the noise data included in the TIN created from the images acquired by the imaging units 16 to 19 is converted into the first noise deletion processing unit 27 and the second noise deletion processing unit. 29. Since the third noise deletion processing unit 32 automatically deletes, it is possible to easily and quickly measure the three-dimensional shape without noise of the measurement object 2 without contact.
又、前記断面線補間部３３及び前記三次元形状補間部３４により、各種ノイズ削除処理によってできた前記ＴＩＮの欠損部を補間する様になっているので、各ノイズ削除処理により前記ＴＩＮに欠損部が生じた場合でも、欠けのない前記ＴＩＮを作成することができる。 Further, since the section line interpolation unit 33 and the three-dimensional shape interpolation unit 34 interpolate the missing part of the TIN generated by various noise deletion processes, the missing part is added to the TIN by each noise deletion process. Even if this occurs, it is possible to create the TIN without any chipping.
又、前記パーツ認識処理部２８による前記測定対象物２のパーツ認識工程を設け、各種パーツ毎の情報の取得が可能であるので、衣服の作製等用途に応じて広い範囲で容易に計測データを使用することができる。 In addition, since a part recognition process of the measurement object 2 by the parts recognition processing unit 28 is provided and information for each part can be acquired, measurement data can be easily obtained in a wide range according to the use such as production of clothes. Can be used.
又、自身の体型を数値化し、過去の数値との比較による健康管理等に役立てることができる。 In addition, it can be used for health management by digitizing its body shape and comparing it with past values.
又、取得したパーツ情報に基づき、ノイズの削除を行う様になっているので、各パーツ間に跨って存在するノイズを削除し、各パーツの前記ＴＩＮに他のパーツの情報が混入するのを防止できると共に、前記測定対象物２と離れた位置にあるノイズを確実に削除することができる。 Also, since noise is deleted based on the acquired part information, the noise existing between the parts is deleted, and information on other parts is mixed into the TIN of each part. While being able to prevent, the noise in the position away from the said measuring object 2 can be deleted reliably.
又、前記第３ノイズ削除処理部３２により、前記第１〜第４部分断面線５１〜５４の端側に存在するノイズの削除が行われるので、第１ノイズ削除処理や第２ノイズ削除処理では削除しきれなかった微小なノイズも削除することができる。 In addition, since the noise existing on the end side of the first to fourth partial section lines 51 to 54 is deleted by the third noise deletion processing unit 32, in the first noise deletion processing and the second noise deletion processing, Even minute noise that could not be deleted can be deleted.
更に、パーツ認識処理に於いて、三角形の頂点の距離差のカウント、及び前記分割線４０から三角形の頂点迄の距離の２つ境界検出処理を有しているので、前記測定対象物２の両脚の境界や腕と胴体の境界等検出し難い箇所の誤検出を防止することができ、三次元計測の際の境界や股下位置の誤検出による計測不良を防止することができる。 Further, in the part recognition process, since there are two boundary detection processes for counting the distance difference between the vertices of the triangle and the distance from the dividing line 40 to the vertex of the triangle, both legs of the measurement object 2 are included. This makes it possible to prevent erroneous detection of areas that are difficult to detect, such as the boundary of the arm and the body and the body, and to prevent measurement errors due to erroneous detection of the boundary and the crotch position during three-dimensional measurement.
１ 三次元計測システム
２ 測定対象物
１６〜１９ 撮像ユニット
２２ 演算制御装置
２５ 演算制御部
２６ マッチング処理部
２７ 第１ノイズ削除処理部
２８ パーツ認識処理部
２９ 第２ノイズ削除処理部
３１ 断面線作成部
３２ 第３ノイズ削除処理部
３３ 断面線補間部
３４ 三次元形状補間部
DESCRIPTION OF SYMBOLS 1 Three-dimensional measurement system 2 Measuring object 16-19 Imaging unit 22 Arithmetic control apparatus 25 Arithmetic control part 26 Matching process part 27 1st noise deletion process part 28 Parts recognition process part 29 2nd noise deletion process part 31 Section line creation part 32 Third Noise Deletion Processing Unit 33 Cross Section Line Interpolation Unit 34 3D Shape Interpolation Unit
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012055337A JP2013190249A (en) | 2012-03-13 | 2012-03-13 | Three-dimensional measuring system, three-dimensional measuring method and three-dimensional measuring program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012055337A JP2013190249A (en) | 2012-03-13 | 2012-03-13 | Three-dimensional measuring system, three-dimensional measuring method and three-dimensional measuring program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013190249A true JP2013190249A (en) | 2013-09-26 |
Family
ID=49390682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012055337A Pending JP2013190249A (en) | 2012-03-13 | 2012-03-13 | Three-dimensional measuring system, three-dimensional measuring method and three-dimensional measuring program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013190249A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104359405A (en) * | 2014-11-27 | 2015-02-18 | 上海集成电路研发中心有限公司 | Three-dimensional scanning device |
| KR101599235B1 (en) * | 2015-01-14 | 2016-03-03 | (주)에스시전시문화 | 3D photo scanner |
| JP2017150878A (en) * | 2016-02-23 | 2017-08-31 | キヤノン株式会社 | Image processing device, imaging device, and image processing program |
| CN112082502A (en) * | 2020-07-31 | 2020-12-15 | 中国电力科学研究院有限公司 | Insulator non-contact three-dimensional size detection system |
-
2012
- 2012-03-13 JP JP2012055337A patent/JP2013190249A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104359405A (en) * | 2014-11-27 | 2015-02-18 | 上海集成电路研发中心有限公司 | Three-dimensional scanning device |
| KR101599235B1 (en) * | 2015-01-14 | 2016-03-03 | (주)에스시전시문화 | 3D photo scanner |
| JP2017150878A (en) * | 2016-02-23 | 2017-08-31 | キヤノン株式会社 | Image processing device, imaging device, and image processing program |
| CN112082502A (en) * | 2020-07-31 | 2020-12-15 | 中国电力科学研究院有限公司 | Insulator non-contact three-dimensional size detection system |
| CN112082502B (en) * | 2020-07-31 | 2023-02-28 | 中国电力科学研究院有限公司 | Insulator non-contact three-dimensional size detection system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264567B (en) | Real-time three-dimensional modeling method based on mark points | |
| US7822267B2 (en) | Enhanced object reconstruction | |
| CN108053476B (en) | Human body parameter measuring system and method based on segmented three-dimensional reconstruction | |
| JP6295645B2 (en) | Object detection method and object detection apparatus | |
| CN104574350B (en) | three-dimensional data acquisition method and system thereof | |
| JP6632208B2 (en) | Information processing apparatus, information processing method, and program | |
| US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
| JP6723061B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| US20140111507A1 (en) | 3-dimensional shape reconstruction device using depth image and color image and the method | |
| JP2011185872A (en) | Information processor, and processing method and program of the same | |
| JP6097903B2 (en) | Three-dimensional shape acquisition apparatus, processing method, and program | |
| JP2011221988A (en) | Three-dimensional position posture measurement device by stereo image, method and program | |
| CN107346040B (en) | Method and device for determining grating parameters of naked eye 3D display equipment and electronic equipment | |
| JP2013228334A (en) | Three-dimensional measuring system, three-dimensional measuring method and three-dimensional measuring program | |
| KR101593316B1 (en) | Method and apparatus for recontructing 3-dimension model using stereo camera | |
| JPWO2019167453A1 (en) | Image processing equipment, image processing methods, and programs | |
| CN110926330A (en) | Image processing apparatus, image processing method, and program | |
| JP2013190249A (en) | Three-dimensional measuring system, three-dimensional measuring method and three-dimensional measuring program | |
| CN111047678B (en) | Three-dimensional face acquisition device and method | |
| JP6347610B2 (en) | Image processing apparatus and three-dimensional spatial information acquisition method | |
| JP2010238134A (en) | Image processor and program | |
| TWI595446B (en) | Method for improving occluded edge quality in augmented reality based on depth camera | |
| KR101439406B1 (en) | Image Processing Apparatus and Method for obtaining depth information using an image | |
| JP2015197297A (en) | shape recognition device | |
| Nguyen et al. | 3D model reconstruction system development based on laser-vision technology |