JP2019035656A - Three-dimensional-shape measurement device, three-dimensional-shape measurement method, and three-dimensional-shape measurement program - Google Patents
Three-dimensional-shape measurement device, three-dimensional-shape measurement method, and three-dimensional-shape measurement program Download PDFInfo
- Publication number
- JP2019035656A JP2019035656A JP2017156886A JP2017156886A JP2019035656A JP 2019035656 A JP2019035656 A JP 2019035656A JP 2017156886 A JP2017156886 A JP 2017156886A JP 2017156886 A JP2017156886 A JP 2017156886A JP 2019035656 A JP2019035656 A JP 2019035656A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional shape
- shape measurement
- dimensional
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Length-Measuring Devices Using Wave Or Particle Radiation (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、３次元形状測定装置、３次元形状測定方法、及び３次元形状測定プログラムに関する。 The present invention relates to a three-dimensional shape measuring apparatus, a three-dimensional shape measuring method, and a three-dimensional shape measuring program.
特許文献１には、物体に向けて放出可能な電磁パルスを放出するための手段と、前記物体で反射される前記電磁パルスの輝度レベルを検出することができる２Ｄ光センサと、通信手段と、前記２Ｄ光センサが捕捉した２Ｄ画像から三次元の物体を再構成し、当該再構成に基づいて物体を識別可能にするコンピュータ処理手段とを含むオプトロニックシステムであって、前記２Ｄ光センサが、前記物体周囲の何通りかの観測角で捕捉される該物体の表面で反射される電磁放射の輝度レベルを表す物体の画像を記録し、前記通信手段が、反射モードで行われた逆ラドン変換を使用する前記物体の画像を処理すべく構成された断層撮影機能によって、三次元で物体を再構成できるよう、前記画像を前記コンピュータ処理手段に送信することを特徴とするオプトロニックシステムが開示されている。 Patent Document 1 discloses a means for emitting an electromagnetic pulse that can be emitted toward an object, a 2D optical sensor that can detect a luminance level of the electromagnetic pulse reflected by the object, a communication means, An optronic system including computer processing means for reconstructing a three-dimensional object from the 2D image captured by the 2D optical sensor and making the object identifiable based on the reconstruction, wherein the 2D optical sensor comprises: Record an image of the object representing the brightness level of electromagnetic radiation reflected at the surface of the object captured at several observation angles around the object, the communication means performing an inverse radon transform performed in reflection mode Transmitting the image to the computer processing means so that the object can be reconstructed in three dimensions by a tomographic function configured to process the image of the object using Optoelectronic Nick system is disclosed that.
特許文献２には、複数のカメラで撮影された複数枚の被写体の画像を取得するステップと、前記被写体を見る位置である仮想視点を決定するステップと、前記取得した被写体の画像をもとに、前記視点から被写体を見たときの画像である仮想視点画像を生成するステップとを有する仮想視点画像生成方法において、前記仮想視点画像を生成するステップは、多層構造をもつ投影面を設定するステップ１と、前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求めるステップ２と、複数の対応点の色情報または輝度情報に基づいて前記投影点の色情報または輝度情報を決定するステップ３と、空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点もしくはその近傍領域の相関の度合いに基づいて計算するステップ４と、前記仮想視点から見て重なり合う基準点の色情報または輝度情報を、前記被写体が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における各画素の色情報または輝度情報を決定するステップ５と、前記仮想視点画像の画素に相当するすべての点について、前記ステップ１からステップ５までを繰り返し行うステップ６とを有することを特徴とする仮想視点画像生成方法が開示されている。 Patent Document 2 discloses a step of acquiring images of a plurality of subjects photographed by a plurality of cameras, a step of determining a virtual viewpoint that is a position for viewing the subject, and based on the acquired images of the subjects. Generating a virtual viewpoint image that is an image when the subject is viewed from the viewpoint, wherein the step of generating the virtual viewpoint image is a step of setting a projection plane having a multilayer structure 1 and step 2 for obtaining corresponding points on the image of each subject corresponding to each projection point on the projection plane, and color information of the projection point based on color information or luminance information of a plurality of corresponding points The subject may exist at a distance corresponding to the position of each projection point in step 3 for determining luminance information and a plurality of projection points that overlap when viewed from a certain reference viewpoint in space. The degree of the possibility that the subject exists in step 4 for calculating the degree of the reference point based on the degree of correlation of the corresponding point or its neighboring area, and the color information or luminance information of the reference point overlapping from the virtual viewpoint Step 5 for determining color information or luminance information of each pixel in the virtual viewpoint image by performing a mixing process according to the above, and Steps 1 to 5 for all points corresponding to the pixels of the virtual viewpoint image There is disclosed a virtual viewpoint image generation method characterized by comprising the step 6 of repeatedly performing.
特許文献３には、立体像の標準モデルデータからなるデータベースと、複数枚の多視点画像の画像データを取得する画像データ取得手段と、３次元データ作成装置を、前記複数枚の多視点画像から３次元形状データを生成する３次元形状データ生成手段として機能させる３次元形状データ生成プログラムと、前記画像データ取得手段により取得した複数枚の画像データからそれぞれ人物領域を抽出し、抽出した人物領域から検出した顔の特徴部位と前記データベースの標準モデルデータとの対応点を取得してから、前記３次元形状データ生成プログラムにより３次元形状データを得る３次元データ作成制御手段と、前記３次元形状データを補正して顔の表情変化モデルデータを得る表情変化補正手段と、を備え、前記表情変化補正手段は、表情の種類と表情動作単位の組合せを対応付けた対応表データと、表情動作単位と顔の筋肉の収縮部位を対応付けた対応表データを含み、顔の表情を表情単位動作の組合せで表現し、各表上単位動作を対応する部位の顔の筋肉の収縮に変換することにより、喜怒哀楽を示している表情のデータを中立顔のデータに補正する、または中立顔のデータを喜怒哀楽を示している表情のデータに補正する、ことを特徴とする３次元データ作成装置が開示されている。 Patent Document 3 discloses a database composed of standard model data of a stereoscopic image, image data acquisition means for acquiring image data of a plurality of multi-viewpoint images, and a three-dimensional data creation device from the plurality of multi-viewpoint images. A person area is extracted from each of the three-dimensional shape data generation program that functions as a three-dimensional shape data generation means for generating three-dimensional shape data and a plurality of pieces of image data acquired by the image data acquisition means. 3D data creation control means for obtaining 3D shape data by the 3D shape data generation program after obtaining corresponding points between the detected facial feature parts and the standard model data of the database; and the 3D shape data Facial expression change correction means for obtaining facial expression change model data by correcting the facial expression change correction means, Including correspondence table data in which combinations of types and facial expression motion units are associated with each other, and correspondence table data in which facial motion muscles and facial muscle contraction sites are associated with each other. By converting the unit movement on each table to the contraction of the facial muscles of the corresponding part, the facial expression data showing emotions is corrected to neutral facial data, or the neutral facial data is converted to emotional emotions A three-dimensional data creation device is disclosed that corrects the facial expression data shown.
特許文献４には、立体形状である対象物を複数の撮影点から撮影して得られたテクスチャ画像を用いて、指定された任意の仮想視点から見える映像を生成する任意視点映像生成装置であって、前記テクスチャ画像の各撮影点の視線方向と前記仮想視点の視線方向との間でなされる角度が小さい順に各テクスチャ画像に優先順位を付与し、該優先順位に従って混合する複数のテクスチャ画像を選択するブレンドテクスチャ画像選択手段と、該ブレンドテクスチャ画像選択手段により選択された前記複数のテクスチャ画像の各撮影点における前記角度が小さい程混合率が高くなるように各テクスチャ画像の各ブレンド率を決定し、該各ブレンド率に従って前記複数のテクスチャ画像を混合してブレンドテクスチャ画像を生成するブレンドテクスチャ画像生成手段と、該ブレンドテクスチャ画像生成手段により生成された前記ブレンドテクスチャ画像を３次元モデルにテクスチャマッピングし、前記仮想視点から見える前記対象物の２次元の内挿映像を生成する内挿映像生成手段と、を有することを特徴とする任意視点映像生成装置が開示されている。 Patent Document 4 discloses an arbitrary viewpoint video generation device that generates an image that can be seen from a specified arbitrary virtual viewpoint using texture images obtained by shooting a three-dimensional object from a plurality of shooting points. A plurality of texture images that are given priority to each texture image in ascending order of an angle formed between the line-of-sight direction of each photographing point of the texture image and the line-of-sight direction of the virtual viewpoint, and are mixed according to the priority order. The blend texture image selection means to be selected, and the blend ratio of each texture image is determined such that the smaller the angle at each shooting point of the plurality of texture images selected by the blend texture image selection means, the higher the blend ratio. And blending the plurality of texture images according to the blend ratios to generate a blended texture image. Image generation means and texture image mapping of the blend texture image generated by the blend texture image generation means to a three-dimensional model to generate a two-dimensional interpolation image of the object seen from the virtual viewpoint And an arbitrary viewpoint video generation apparatus characterized by comprising: means.
今や肉眼で又は光学顕微鏡で視認できる物体の立体形状は、比較的手軽に３次元プリンタで複製することができる。 Now, the three-dimensional shape of an object that can be viewed with the naked eye or with an optical microscope can be copied with a three-dimensional printer relatively easily.
しかしながら、例えば電子顕微鏡でしか視認できないマイクロ・ナノレベルの複雑な３次元形状については、３次元プリンタで複製するのは困難である。 However, for example, a complicated three-dimensional shape at a micro / nano level that can be visually recognized only with an electron microscope is difficult to reproduce with a three-dimensional printer.
本発明は、複雑な３次元形状を精度良く測定することができる３次元形状測定装置、３次元形状測定方法、及び３次元形状測定プログラムを提供することを目的とする。 An object of the present invention is to provide a three-dimensional shape measuring apparatus, a three-dimensional shape measuring method, and a three-dimensional shape measuring program that can accurately measure a complicated three-dimensional shape.
上記課題を解決するため、請求項１記載の発明の３次元形状測定装置は、物体の表面を複数の撮影角度から撮影した複数の撮影画像を取得する取得部と、前記複数の撮影画像に基づいて、逆投影法により前記物体の複数の断層像を算出する算出部と、を備える。 In order to solve the above-described problem, a three-dimensional shape measuring apparatus according to a first aspect of the present invention is based on an acquisition unit that acquires a plurality of photographed images obtained by photographing a surface of an object from a plurality of photographing angles, and the plurality of photographed images. A calculating unit that calculates a plurality of tomographic images of the object by back projection.
請求項２記載の発明は、前記撮影画像の一部の画像をテンプレート画像として、前記複数の断層像の中から前記テンプレート画像と一致する断層像を抽出する抽出部を備える。 According to a second aspect of the present invention, the image processing apparatus includes an extraction unit that extracts a tomographic image that matches the template image from the plurality of tomographic images using a partial image of the captured image as a template image.
請求項３記載の発明は、前記算出部は、前記複数の撮影角度の前記断層像の位置から算出した輪郭形状を合成し、合成した前記輪郭形状の欠損部分を補間する。 According to a third aspect of the present invention, the calculation unit synthesizes contour shapes calculated from the positions of the tomographic images at the plurality of imaging angles, and interpolates missing portions of the combined contour shapes.
請求項４記載の発明は、前記算出部は、前記複数の撮影画像の位置合わせを行ってから、逆投影法により前記物体の複数の断層像を算出する。 According to a fourth aspect of the present invention, the calculation unit calculates a plurality of tomographic images of the object by back projection after aligning the plurality of captured images.
請求項５記載の発明は、前記複数の撮影画像は、走査型電子顕微鏡により撮影された画像である。 According to a fifth aspect of the present invention, the plurality of photographed images are images photographed by a scanning electron microscope.
請求項６記載の発明の３次元形状測定方法は、取得部及び算出部を備えた３次元形状測定装置における３次元形状測定方法であって、前記取得部が、物体の表面を複数の撮影角度から撮影した複数の撮影画像を取得し、前記算出部が、前記複数の撮影画像に基づいて、逆投影法により前記物体の複数の断層像を算出する。 A three-dimensional shape measurement method according to a sixth aspect of the present invention is a three-dimensional shape measurement method in a three-dimensional shape measurement apparatus including an acquisition unit and a calculation unit, wherein the acquisition unit captures the surface of an object at a plurality of imaging angles. A plurality of captured images captured from the image are acquired, and the calculation unit calculates a plurality of tomographic images of the object by back projection based on the plurality of captured images.
請求項７記載の発明の３次元形状測定プログラムは、コンピュータを、請求項１〜５の何れか１項に記載の３次元形状測定装置の各部として機能させるための３次元形状測定プログラムである。 A three-dimensional shape measurement program according to a seventh aspect of the invention is a three-dimensional shape measurement program for causing a computer to function as each part of the three-dimensional shape measurement apparatus according to any one of the first to fifth aspects.
本発明によれば、複雑な３次元形状を精度良く測定することができる、という効果を有する。 According to the present invention, there is an effect that a complicated three-dimensional shape can be accurately measured.
以下、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described.
図１には、本実施の形態に係る３次元形状測定システム１０の構成を示した。図１に示すように、３次元形状測定システム１０は、走査型電子顕微鏡１２、テーブル１４、駆動部１６、及び３次元形状測定装置１８を備えている。 FIG. 1 shows a configuration of a three-dimensional shape measurement system 10 according to the present embodiment. As shown in FIG. 1, the three-dimensional shape measurement system 10 includes a scanning electron microscope 12, a table 14, a drive unit 16, and a three-dimensional shape measurement device 18.
走査型電子顕微鏡（Scanning Electron Microscope、SEM）１２は、電子顕微鏡の一種であり、電子線を絞った電子ビームをテーブル１４上の物体Ｍに照射する。そして、物体Ｘから放出される二次電子等を検出することにより物体Ｍを撮影する。走査型電子顕微鏡１２は、通常のカメラでは撮影が困難である微少な表面構造を有する物体を鮮明に撮影することができる。 A scanning electron microscope (SEM) 12 is a kind of electron microscope, and irradiates an object M on the table 14 with an electron beam focused by an electron beam. Then, the object M is photographed by detecting secondary electrons and the like emitted from the object X. The scanning electron microscope 12 can clearly photograph an object having a minute surface structure that is difficult to photograph with a normal camera.
駆動部１６は、図１に示すように、テーブル１４をＸＺ平面内で矢印Ａ方向に回転させる。これにより、複数の撮影角度で物体Ｍを撮影することができる。 As shown in FIG. 1, the drive unit 16 rotates the table 14 in the direction of arrow A within the XZ plane. Thereby, the object M can be imaged at a plurality of imaging angles.
３次元形状測定装置１８は、制御部２０、操作部２２、表示部２４、及び記憶部２６を備える。 The three-dimensional shape measuring apparatus 18 includes a control unit 20, an operation unit 22, a display unit 24, and a storage unit 26.
制御部２０は、図１に示すように、機能的には、取得部３０、算出部３２、及び抽出部３４を備える。 As shown in FIG. 1, the control unit 20 functionally includes an acquisition unit 30, a calculation unit 32, and an extraction unit 34.
取得部３０は、物体Ｍの表面を複数の撮影角度から撮影した複数の撮影画像を取得する。 The acquisition unit 30 acquires a plurality of photographed images obtained by photographing the surface of the object M from a plurality of photographing angles.
算出部３２は、複数の撮影画像に基づいて、逆投影法により物体の複数の断層像を算出する。 The calculation unit 32 calculates a plurality of tomographic images of the object by back projection based on the plurality of captured images.
抽出部３４は、撮影画像の一部の画像をテンプレート画像として、複数の断層像の中からテンプレート画像と一致する断層像を抽出する。 The extraction unit 34 extracts a tomographic image that matches the template image from a plurality of tomographic images using a partial image of the captured image as a template image.
制御部２０は、ハードウェア構成としては、図示しないＣＰＵ、ＲＯＭ、及びＲＡＭ等を含んで構成される。ＣＰＵは、後述する３次元形状測定処理をＣＰＵに実行させるための処理プログラムが記憶された記憶部２６から当該処理プログラムを読み出して実行する。なお、制御プログラムは、ＣＤ−ＲＯＭ、メモリーカード等の記録媒体により提供するようにしてもよく、図示しないサーバからダウンロードするようにしてもよい。 The control unit 20 includes a CPU, a ROM, a RAM, and the like (not shown) as a hardware configuration. The CPU reads and executes the processing program from the storage unit 26 in which a processing program for causing the CPU to execute a later-described three-dimensional shape measurement process is stored. The control program may be provided by a recording medium such as a CD-ROM or a memory card, or may be downloaded from a server (not shown).
操作部２２は、各種操作を行うためのマウス、キーボード等を含んで構成される。 The operation unit 22 includes a mouse, a keyboard, and the like for performing various operations.
表示部２４は、例えば液晶ディスプレイ等で構成される。 The display unit 24 is configured by, for example, a liquid crystal display.
記憶部２６は、後述する３次元形状測定処理の処理プログラムや、測定した３次元形状の形状データ等を記憶する。 The storage unit 26 stores a processing program for a three-dimensional shape measurement process to be described later, shape data of the measured three-dimensional shape, and the like.
以下、制御部２０で実行される３次元形状測定処理について図２に示すフローチャートを参照して説明する。 Hereinafter, the three-dimensional shape measurement process executed by the control unit 20 will be described with reference to the flowchart shown in FIG.
ステップＳ１００では、物体Ｍの表面を複数の撮影角度から撮影するように走査型電子顕微鏡１２及び駆動部１６を制御する。例えば、図１に示すように、テーブル１４をＸＺ平面内において矢印Ａ方向に回転させながら、走査型電子顕微鏡１２により物体Ｍが撮影されるように、走査型電子顕微鏡１２及び駆動部１６を制御する。これにより、複数の撮影角度から物体Ｍを撮影した撮影画像が得られる。 In step S100, the scanning electron microscope 12 and the drive unit 16 are controlled so that the surface of the object M is photographed from a plurality of photographing angles. For example, as shown in FIG. 1, the scanning electron microscope 12 and the driving unit 16 are controlled so that the object M is photographed by the scanning electron microscope 12 while rotating the table 14 in the arrow A direction in the XZ plane. To do. Thereby, a photographed image obtained by photographing the object M from a plurality of photographing angles is obtained.
本実施形態では、例えば図３に示すような物体Ｍの３次元形状を測定する場合について説明する。物体Ｍは、物体Ｍ１、Ｍ２を含む。物体Ｍ１は、球の一部を切断した面に突起Ｍ１−Ａ、穴Ｍ１−Ｂ、及び模様Ｍ１−Ｃが形成された形状となっている。また、物体Ｍ２は、物体Ｍ１の近傍に離間して設けられ、棒状の形状となっている。 In the present embodiment, for example, a case where a three-dimensional shape of an object M as shown in FIG. 3 is measured will be described. The object M includes objects M1 and M2. The object M1 has a shape in which a protrusion M1-A, a hole M1-B, and a pattern M1-C are formed on a surface obtained by cutting a part of a sphere. In addition, the object M2 is provided in the vicinity of the object M1 and has a bar shape.
図２には、物体Ｍを複数の角度から撮影した撮影画像Ｇ１〜Ｇ７の一例を示した。なお、撮影画像Ｇ１〜Ｇ７は、ＸＹ平面における撮影画像である。図３の例では、Ｚ軸に沿った方向から物体Ｍを撮影した場合の撮影角度を０度とする。そして、図３においてＺ軸の右側をプラス側、Ｚ軸の左側をマイナス側として、ＸＺ平面内においてＺ軸から例えば右側に３０度傾けた角度から撮影した場合の撮影角度を＋３０度、左側に３０度傾けた角度から撮影した場合の撮影角度を−３０度とする。図３では、説明を簡単にするために、一例として撮影角度が０度、＋３０度、＋６０度、＋９０度、−３０度、−６０度、−９０度の場合について示した。 FIG. 2 shows an example of the captured images G1 to G7 obtained by capturing the object M from a plurality of angles. The captured images G1 to G7 are captured images on the XY plane. In the example of FIG. 3, the shooting angle when the object M is shot from the direction along the Z-axis is set to 0 degree. In FIG. 3, the right side of the Z-axis is the plus side and the left side of the Z-axis is the minus side, and the shooting angle when shooting from an angle inclined, for example, 30 degrees to the right side from the Z-axis in the XZ plane is +30 degrees to the left. The shooting angle when shooting from an angle inclined by 30 degrees is set to -30 degrees. In FIG. 3, in order to simplify the description, as an example, the case where the photographing angle is 0 degree, +30 degrees, +60 degrees, +90 degrees, −30 degrees, −60 degrees, and −90 degrees is illustrated.
なお、本実施形態では、−９０度から＋９０度までを撮影範囲として、予め定めた角度ずつ撮影角度を変化させて撮影した複数の撮影画像に基づいて物体Ｍの３次元形状を測定する場合について説明するが、撮影範囲は、−９０度から＋９０度までに限られるものではない。例えば、撮影範囲を−９０度から＋９０度までの範囲よりも狭くしてもよいし、広くしてもよい。例えば撮影範囲を３６０度としてもよい。また、予め定めた角度は、例えば数度〜数十度の範囲（例えば１〜１０度）の角度とすることができるが、これに限られるものではない。角度を小さくするほど精度良く３次元形状を測定することができるが、物体Ｍの形状の複雑さに応じて適宜設定すればよい。 In this embodiment, a case where the three-dimensional shape of the object M is measured based on a plurality of photographed images obtained by changing the photographing angle by a predetermined angle with the photographing range from −90 degrees to +90 degrees. As will be described, the photographing range is not limited to −90 degrees to +90 degrees. For example, the shooting range may be narrower or wider than the range from −90 degrees to +90 degrees. For example, the shooting range may be 360 degrees. Further, the predetermined angle can be an angle in a range of, for example, several degrees to several tens of degrees (for example, 1 to 10 degrees), but is not limited thereto. The smaller the angle, the more accurately the three-dimensional shape can be measured, but it may be set as appropriate according to the complexity of the shape of the object M.
ステップＳ１０２では、ステップＳ１００で複数の角度から撮影した撮影画像の位置合わせを行う。具体的には、複数の撮影画像の各々について特徴点抽出処理を行い、抽出された特徴点に基づいて、複数の撮影画像における物体Ｍの位置合わせ処理を行う。なお、特徴点抽出処理及び位置合わせ処理は、種々公知の手法を用いることができるため、本実施形態での説明は省略する。 In step S102, the captured images taken from a plurality of angles in step S100 are aligned. Specifically, a feature point extraction process is performed for each of the plurality of photographed images, and an alignment process for the object M in the plurality of photographed images is performed based on the extracted feature points. In addition, since various well-known methods can be used for the feature point extraction process and the alignment process, description in this embodiment is omitted.
ステップＳ１０４では、ステップＳ１０２で撮影した複数の撮影画像に基づいて、逆投影法により物体の複数の断層像を算出する。 In step S104, a plurality of tomographic images of the object are calculated by back projection based on the plurality of captured images captured in step S102.
具体的には、撮影画像を撮影角度の軸（以下、撮影軸と称する）と直交させた状態で撮影軸に沿って３次元空間上を移動させながら各画素の画素値を３次元空間上に配置していく。 Specifically, the pixel value of each pixel is placed on the three-dimensional space while moving the three-dimensional space along the photographing axis in a state where the photographed image is orthogonal to the photographing angle axis (hereinafter referred to as the photographing axis). Place it.
図４に示すように、撮影角度が−３０度の物体Ｍの撮影画像Ｇ３のうち例えば破線Ｈ１上の画素値、すなわち濃度分布は、図５に示すような濃度分布Ｎとなる。なお、図４では、濃度値が高い程濃度が薄いことを表している。図６は、−３０度の撮影軸Ｊ３に沿って３次元空間上に破線Ｈ１上の画素値が配置される様子を示している。図６に示すように、破線Ｈ１上の画素値は、撮影軸Ｊ３に沿って３次元空間上に配置される。撮影画像Ｇ３の各画素値が撮影軸Ｊ３に沿って３次元空間上に配置されることにより、撮影画像Ｇ３が３次元空間上に逆投影される。 As shown in FIG. 4, for example, the pixel value on the broken line H <b> 1 in the captured image G <b> 3 of the object M with an imaging angle of −30 degrees, that is, the density distribution is a density distribution N as shown in FIG. 5. In FIG. 4, the higher the density value, the lower the density. FIG. 6 shows a state in which pixel values on the broken line H1 are arranged in the three-dimensional space along the imaging axis J3 of −30 degrees. As shown in FIG. 6, the pixel values on the broken line H1 are arranged in a three-dimensional space along the imaging axis J3. By arranging each pixel value of the photographed image G3 on the three-dimensional space along the photographing axis J3, the photographed image G3 is back-projected on the three-dimensional space.
このような逆投影処理を、撮影画像Ｇ１〜Ｇ７のそれぞれについて行う。このとき、３次元空間上の同じ位置の画素に異なる撮影画像の画素が配置された場合は、各画素値を合算する。これにより、撮影角度毎に物体Ｍの複数の断層像が生成される。 Such back projection processing is performed for each of the captured images G1 to G7. At this time, when pixels of different captured images are arranged at pixels at the same position in the three-dimensional space, the pixel values are added together. Thereby, a plurality of tomographic images of the object M are generated for each photographing angle.
ここで、ＸＹ平面で物体Ｍをスライスした断層像は、物体Ｍの輪郭が比較的明瞭となるが、ＸＺ平面で物体Ｍをスライスした断層像は、物体Ｍの輪郭が歪んでしまう場合がある。図７にはＸＺ平面でスライスした断層像の一例を示した。また、図８には、ＸＹ平面で物体Ｍをスライスした場合の断層像を示した。図７、８に示すように、ＸＺ平面で物体Ｍをスライスした断層像の方が、物体Ｍの輪郭が歪んでいるのが判る。これは、ＸＺ平面に並行な面内で撮影角度を変化させて物体Ｍを撮影した場合、ＸＺ平面における物体Ｍの情報量と比較して、ＸＹ平面における物体Ｍの情報量の方が多いためであると考えられる。 Here, the tomogram obtained by slicing the object M on the XY plane has a relatively clear outline of the object M, but the tomogram obtained by slicing the object M on the XZ plane may distort the outline of the object M. . FIG. 7 shows an example of a tomographic image sliced along the XZ plane. FIG. 8 shows a tomographic image when the object M is sliced on the XY plane. As shown in FIGS. 7 and 8, it can be seen that the tomographic image obtained by slicing the object M on the XZ plane has a distorted outline of the object M. This is because when the object M is photographed while changing the photographing angle in a plane parallel to the XZ plane, the information amount of the object M on the XY plane is larger than the information amount of the object M on the XZ plane. It is thought that.
そこで、ステップＳ１０６では、撮影画像の一部の画像をテンプレート画像として、複数の断層像の中からテンプレート画像と一致する断層像を抽出する抽出処理、すなわちテンプレートマッチング処理を実行する。 Therefore, in step S106, extraction processing that extracts a tomographic image that matches the template image from a plurality of tomographic images, that is, template matching processing, is executed using a part of the captured image as a template image.
具体的には、例えば撮影画像の一部の画像をテンプレート画像として、テンプレート画像を撮影軸に沿って移動させながら、テンプレート画像と断層像との相関値を算出する。なお、断層像は、撮影軸と直交する面で物体Ｍをスライスした場合の断層像である。 Specifically, for example, a correlation value between the template image and the tomographic image is calculated while using a partial image of the captured image as a template image and moving the template image along the imaging axis. Note that the tomographic image is a tomographic image when the object M is sliced on a plane orthogonal to the imaging axis.
ここで、テンプレート画像がｍ×ｎ（ｍ、ｎは自然数）画素の画像である場合において、テンプレート画像のｘ座標ｉ（１≦ｉ≦ｍ）、ｙ座標ｊ（１≦ｊ≦ｎ）の画素値をＴ（ｉ、ｊ）、断層像の座標（ｉ、ｊ）の画素値をＤ（ｉ、ｊ）とすると、テンプレート画像と断層像との相関値Ｓは次式で表される。 Here, in the case where the template image is an image of m × n (m, n is a natural number) pixels, the pixels of the template image with x coordinate i (1 ≦ i ≦ m) and y coordinate j (1 ≦ j ≦ n). When the value is T (i, j) and the pixel value of the tomographic image coordinates (i, j) is D (i, j), the correlation value S between the template image and the tomographic image is expressed by the following equation.
そして、算出した相関値Ｓのうち最も高い相関値Ｓを有する断層像をテンプレート画像と一致する断層像とする。これにより、撮影軸上におけるテンプレート画像の位置が特定される。そして、テンプレート画像と一致した断層像の画素値を、テンプレート画像の画素値に置き換える。これにより、物体Ｍの輪郭が明瞭となる輪郭形状が算出される。 Then, the tomographic image having the highest correlation value S among the calculated correlation values S is set as a tomographic image that matches the template image. Thereby, the position of the template image on the photographing axis is specified. Then, the pixel value of the tomographic image that matches the template image is replaced with the pixel value of the template image. Thereby, a contour shape in which the contour of the object M is clear is calculated.
例えば、図９に示すように、撮影角度が０度の撮影画像Ｇ４のテンプレート画像ＴＭＰについてテンプレートマッチング処理を行う場合、例えば図１０、１１に示すように、テンプレート画像ＴＭＰをＺ軸方向に移動させながら、テンプレート画像ＴＭＰと断層像ＤＳとの相関値Ｓを算出する。そして、図１０、１１に示すように、Ｚ軸方向における相関値Ｓの相関分布のピーク部分、すなわち相関値Ｓが最大値となる断層像ＤＳを、テンプレート画像ＴＭＰと一致する断層像とする。 For example, as shown in FIG. 9, when the template matching process is performed on the template image TMP of the photographed image G4 with the photographing angle of 0 degrees, the template image TMP is moved in the Z-axis direction as shown in FIGS. Accordingly, the correlation value S between the template image TMP and the tomographic image DS is calculated. Then, as shown in FIGS. 10 and 11, the peak part of the correlation distribution of the correlation value S in the Z-axis direction, that is, the tomographic image DS in which the correlation value S is the maximum value is set as a tomographic image that matches the template image TMP.
テンプレートマッチング処理は、テンプレート画像ＴＭＰの位置を、ＸＹ平面上において例えば予め定めた画素（例えば１画素）ずつずらしながら、撮影画像Ｇ４の全領域について実行する。 The template matching process is executed for the entire region of the captured image G4 while shifting the position of the template image TMP by, for example, predetermined pixels (for example, one pixel) on the XY plane.
このようなテンプレートマッチング処理を、異なる撮影角度で撮影した撮影画像Ｇ１〜Ｇ７の全てについて実行する。これにより、複数の撮影角度の断層像の位置から、物体Ｍの輪郭が明瞭となる輪郭形状が算出される。 Such template matching processing is executed for all of the photographed images G1 to G7 photographed at different photographing angles. Thereby, a contour shape in which the contour of the object M is clear is calculated from the positions of tomographic images at a plurality of imaging angles.
図１２には、物体Ｍの各部が３次元形状空間上に投影される様子を実線や破線の矢印で示した。図１２の投影部分Ｋ１は、図１３の物体Ｍの輪郭Ｒ１に対応し、図１２の投影部分Ｋ２は、図１３の物体Ｍの輪郭Ｒ２に対応し、図１２の投影部分Ｋ３は、図１３の物体Ｍの輪郭Ｒ３に対応している。図１３に示すように、輪郭Ｒ１のように、撮影画像の背景等から輪郭が明瞭な場合は、各撮影画像の逆投影像のエッジの重なり部分がそのまま形状となり得る。しかしながら、図１３に示すように、物体Ｍ２の輪郭Ｒ３のように一部の輪郭が欠損してしまう場合もあり得る。この場合は、後述する補間処理によって欠損箇所が補間される。 In FIG. 12, the state in which each part of the object M is projected onto the three-dimensional shape space is indicated by solid or broken arrows. The projection portion K1 in FIG. 12 corresponds to the contour R1 of the object M in FIG. 13, the projection portion K2 in FIG. 12 corresponds to the contour R2 in the object M in FIG. 13, and the projection portion K3 in FIG. Corresponds to the contour R3 of the object M. As shown in FIG. 13, when the contour is clear from the background of the captured image, such as the contour R <b> 1, the overlapping portion of the edges of the back-projected image of each captured image can have the shape as it is. However, as shown in FIG. 13, a part of the contour may be lost like the contour R3 of the object M2. In this case, the missing part is interpolated by an interpolation process described later.
また、図１４には、物体Ｍ１の穴Ｍ１−Ｂの穴の底のような微細な部分についても、撮影角度を細かくして撮影することにより、逆投影によって特定できることを示した。 FIG. 14 also shows that a fine portion such as the bottom of the hole M1-B of the object M1 can be identified by back projection by photographing with a fine photographing angle.
なお、物体Ｍの形状が比較的単純な形状であり、テンプレートマッチング処理を行わなくても精度良く物体Ｍの３次元形状を測定できると考えられる場合には、ステップＳ１０６の処理を省略してもよい。 If the shape of the object M is a relatively simple shape and it is considered that the three-dimensional shape of the object M can be measured accurately without performing the template matching process, the process of step S106 may be omitted. Good.
ステップＳ１０８では、ステップＳ１０６の処理により得られた複数の撮影角度からの輪郭形状を合成する。例えば図１５には、撮影角度が−６０度、０度、＋６０度の輪郭形状ＤＳ１〜ＤＳ３を合成し、輪郭形状ＤＳ４を生成した場合を示した。図１５において、例えば輪郭形状ＲＮはステップＳ１０４の処理により復元され、その他の輪郭形状は、ステップＳ１０６のテンプレートマッチング処理によって復元される。 In step S108, contour shapes from a plurality of photographing angles obtained by the process in step S106 are synthesized. For example, FIG. 15 shows a case where the contour shapes DS1 to DS3 with the shooting angles of −60 degrees, 0 degrees, and +60 degrees are combined to generate the contour shape DS4. In FIG. 15, for example, the contour shape RN is restored by the process of step S104, and the other contour shapes are restored by the template matching process of step S106.
ステップＳ１１０では、ステップＳ１０８で合成された輪郭形状の欠損箇所を補間する補間処理を行う。なお、補間処理については、種々公知の手法を用いることができるため、説明は省略する。例えば、図１５に示すように、輪郭形状ＤＳ４の欠損箇所Ｅを公知の補間処理によって補間する。これにより、図１５に示すように、欠損箇所が補間された輪郭形状ＤＳ５が得られる。 In step S110, an interpolation process for interpolating the missing portion of the contour shape synthesized in step S108 is performed. Note that various known methods can be used for the interpolation processing, and thus description thereof is omitted. For example, as shown in FIG. 15, the missing portion E of the contour shape DS4 is interpolated by a known interpolation process. As a result, as shown in FIG. 15, a contour shape DS5 in which the missing portion is interpolated is obtained.
ステップＳ１１２では、ステップＳ１１０で得られた物体Ｍの輪郭形状を３次元形状として表示部２４に表示すると共に、復元した３次元形状の３次元形状データを記憶部２６に記憶する。 In step S112, the contour shape of the object M obtained in step S110 is displayed on the display unit 24 as a three-dimensional shape, and the three-dimensional shape data of the restored three-dimensional shape is stored in the storage unit 26.
このように、本実施形態では、物体Ｍの表面を複数の撮影角度で撮影し、撮影した複数の撮影画像に基づいて、逆投影法により物体Ｍの断層像を生成する。また、物体Ｍの輪郭が明瞭になるようにテンプレートマッチング処理を行う。これにより、複雑な３次元形状を精度良く測定することができる。本実施形態では、図３に示すような物体Ｍの３次元形状を測定する場合について説明したが、例えば図１６に示すように、多重に絡み合った微絨毛のような３次元形状についても精度良く測定することができる。 As described above, in the present embodiment, the surface of the object M is photographed at a plurality of photographing angles, and a tomographic image of the object M is generated by the back projection method based on the plurality of photographed images. Further, the template matching process is performed so that the outline of the object M becomes clear. Thereby, a complicated three-dimensional shape can be measured with high accuracy. In the present embodiment, the case where the three-dimensional shape of the object M as shown in FIG. 3 is measured has been described, but for example, as shown in FIG. Can be measured.
なお、本実施形態では、走査型電子顕微鏡（ＳＥＭ）を用いた場合について説明したが、物体Ｍの表面を撮影できる顕微鏡であれば走査型電子顕微鏡に限られるものではない。 In the present embodiment, the case where a scanning electron microscope (SEM) is used has been described. However, the present invention is not limited to the scanning electron microscope as long as the surface of the object M can be photographed.
また、本実施形態では、テーブル１４を回転させて物体Ｍを複数の撮影角度で撮影する場合について説明したが、電子線の照射方向を複数の角度に変えて撮影することが可能な走査型電子顕微鏡１２を用いて、物体Ｍを複数の撮影角度で撮影するようにしてもよい。 Further, in the present embodiment, the case where the table M is rotated and the object M is imaged at a plurality of imaging angles has been described. However, the scanning electron that can be imaged by changing the irradiation direction of the electron beam to a plurality of angles. The microscope 12 may be used to photograph the object M at a plurality of photographing angles.
また、物体がマイクロレベルやナノレベル等の微細なものでない場合、例えば肉眼で視認可能なものである場合は、通常の撮影カメラを用いてもよい。この場合、例えば撮影カメラを回転させることで複数の撮影角度で物体を撮影してもよいし、複数の撮影カメラを円弧状に配置することで複数の撮影角度で物体を撮影してもよい。 Further, when the object is not a minute object such as a micro level or a nano level, for example, when the object is visible with the naked eye, a normal photographing camera may be used. In this case, for example, an object may be photographed at a plurality of photographing angles by rotating the photographing camera, or an object may be photographed at a plurality of photographing angles by arranging the plurality of photographing cameras in an arc shape.
１０ ３次元形状測定システム
１２ 走査型電子顕微鏡
１４ テーブル
１６ 駆動部
１８ ３次元形状測定装置
２０ 制御部
２２ 操作部
２４ 表示部
２６ 記憶部
３０ 取得部
３２ 算出部
３４ 抽出部
Ｍ 物体
DESCRIPTION OF SYMBOLS 10 3D shape measurement system 12 Scanning electron microscope 14 Table 16 Drive part 18 3D shape measurement apparatus 20 Control part 22 Operation part 24 Display part 26 Storage part 30 Acquisition part 32 Calculation part 34 Extraction part M Object
Claims (7)
前記複数の撮影画像に基づいて、逆投影法により前記物体の複数の断層像を算出する算出部と、
を備えた３次元形状測定装置。 An acquisition unit for acquiring a plurality of captured images obtained by imaging the surface of the object from a plurality of imaging angles;
A calculation unit that calculates a plurality of tomographic images of the object by back projection based on the plurality of captured images;
A three-dimensional shape measuring apparatus.
を備えた請求項１記載の３次元形状測定装置。 The three-dimensional shape measurement apparatus according to claim 1, further comprising: an extraction unit that extracts a tomographic image that matches the template image from the plurality of tomographic images using a partial image of the captured image as a template image.
請求項１又は請求項２記載の３次元形状測定装置。 3. The three-dimensional shape measuring apparatus according to claim 1, wherein the calculation unit synthesizes contour shapes calculated from the positions of the tomographic images at the plurality of imaging angles, and interpolates a missing portion of the synthesized contour shape. .
請求項１〜３の何れか１項に記載の３次元形状測定装置。 The three-dimensional shape measurement apparatus according to any one of claims 1 to 3, wherein the calculation unit calculates a plurality of tomographic images of the object by back projection after aligning the plurality of captured images. .
請求項１〜４の何れか１項に記載の３次元形状測定装置。 The three-dimensional shape measurement apparatus according to claim 1, wherein the plurality of captured images are images captured by a scanning electron microscope.
前記取得部が、物体の表面を複数の撮影角度から撮影した複数の撮影画像を取得し、
前記算出部が、前記複数の撮影画像に基づいて、逆投影法により前記物体の複数の断層像を算出する
３次元形状測定方法。 A three-dimensional shape measurement method in a three-dimensional shape measurement apparatus including an acquisition unit and a calculation unit,
The acquisition unit acquires a plurality of photographed images obtained by photographing the surface of the object from a plurality of photographing angles,
The three-dimensional shape measurement method, wherein the calculation unit calculates a plurality of tomographic images of the object by back projection based on the plurality of captured images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017156886A JP6984870B2 (en) | 2017-08-15 | 2017-08-15 | 3D shape measuring device, 3D shape measuring method, and 3D shape measuring program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017156886A JP6984870B2 (en) | 2017-08-15 | 2017-08-15 | 3D shape measuring device, 3D shape measuring method, and 3D shape measuring program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019035656A true JP2019035656A (en) | 2019-03-07 |
| JP6984870B2 JP6984870B2 (en) | 2021-12-22 |
Family
ID=65637293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017156886A Active JP6984870B2 (en) | 2017-08-15 | 2017-08-15 | 3D shape measuring device, 3D shape measuring method, and 3D shape measuring program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6984870B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818991A (en) * | 2021-02-18 | 2021-05-18 | 长江存储科技有限责任公司 | Image processing method, image processing apparatus, electronic device, and readable storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08241396A (en) * | 1995-03-07 | 1996-09-17 | Olympus Optical Co Ltd | Optical image reconstruction device |
| JP2005040239A (en) * | 2003-07-24 | 2005-02-17 | Univ Nihon | Image processing method, image processing program and computer readable recording medium |
| JP2011123060A (en) * | 2009-11-27 | 2011-06-23 | Thales | Identification-only optronic system and method for forming three-dimensional image |
-
2017
- 2017-08-15 JP JP2017156886A patent/JP6984870B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08241396A (en) * | 1995-03-07 | 1996-09-17 | Olympus Optical Co Ltd | Optical image reconstruction device |
| JP2005040239A (en) * | 2003-07-24 | 2005-02-17 | Univ Nihon | Image processing method, image processing program and computer readable recording medium |
| JP2011123060A (en) * | 2009-11-27 | 2011-06-23 | Thales | Identification-only optronic system and method for forming three-dimensional image |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818991A (en) * | 2021-02-18 | 2021-05-18 | 长江存储科技有限责任公司 | Image processing method, image processing apparatus, electronic device, and readable storage medium |
| CN112818991B (en) * | 2021-02-18 | 2024-04-09 | 长江存储科技有限责任公司 | Image processing method, image processing apparatus, electronic device, and readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6984870B2 (en) | 2021-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4649219B2 (en) | Stereo image generator | |
| JP4942221B2 (en) | High resolution virtual focal plane image generation method | |
| JP4065488B2 (en) | 3D image generation apparatus, 3D image generation method, and storage medium | |
| JP2004312745A (en) | Composite camera and method for achieving automatic focusing, depth of field, and high resolution function | |
| JPWO2018235163A1 (en) | Calibration apparatus, calibration chart, chart pattern generation apparatus, and calibration method | |
| JPH09231373A (en) | Device for measuring three-dimensional position | |
| JP2009043221A (en) | Stereo matching system and stereo matching method | |
| JP2009211335A (en) | Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, virtual viewpoint image generation program, and recording medium from which same recorded program can be read by computer | |
| JPWO2021140886A5 (en) | ||
| WO2014027229A1 (en) | Method and apparatus for converting 2d images to 3d images | |
| KR102109814B1 (en) | Apparatus and method for registering images | |
| JP5361758B2 (en) | Image generation method, image generation apparatus, and program | |
| TW201225658A (en) | Imaging device, image-processing device, image-processing method, and image-processing program | |
| JPWO2020075252A1 (en) | Information processing equipment, programs and information processing methods | |
| JP2004220312A (en) | Multi-viewpoint camera system | |
| US10148931B2 (en) | Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program | |
| JP6984870B2 (en) | 3D shape measuring device, 3D shape measuring method, and 3D shape measuring program | |
| JP7334516B2 (en) | Three-dimensional shape model generation device, three-dimensional shape model generation method, and program | |
| KR20210050365A (en) | Apparatus and method for registering images | |
| Gu et al. | 3dunderworld-sls: an open-source structured-light scanning system for rapid geometry acquisition | |
| JP6456084B2 (en) | Image processing apparatus, image processing method, and program | |
| CN110705487A (en) | Palm print acquisition equipment and method and image acquisition device thereof | |
| CN106303501B (en) | Stereo-picture reconstructing method and device based on image sparse characteristic matching | |
| JP2001235819A (en) | Calibration method and device for camera and corresponding point searching method | |
| JPH1139506A (en) | Optional view point image generator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200626 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210629 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6984870 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |