JP2015230209A - Image processor, appearance measuring system, image processing method and system - Google Patents
Image processor, appearance measuring system, image processing method and system Download PDFInfo
- Publication number
- JP2015230209A JP2015230209A JP2014115774A JP2014115774A JP2015230209A JP 2015230209 A JP2015230209 A JP 2015230209A JP 2014115774 A JP2014115774 A JP 2014115774A JP 2014115774 A JP2014115774 A JP 2014115774A JP 2015230209 A JP2015230209 A JP 2015230209A
- Authority
- JP
- Japan
- Prior art keywords
- medium
- light
- image
- boundary surface
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、画像処理装置、外観計測システム、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an appearance measurement system, an image processing method, and a program.
原子力炉の設備内の調査を行う場合、カメラで撮影した2次元情報だけではなく3次元情報を取得したいというニーズがある。3次元情報を得る手段として、例えば光切断法(スリット光投影法)が存在する。光切断法とは、シート状の光を用いて対象物を走査し、シート光の反射位置を三角測量の原理で算出することによって、対象物の形状を測定する三次元計測手法である。
なお、特許文献1には、原子炉などの構造物内の形状を高精度かつ効率的に計測する形状計測装置が記載されている。
When investigating the inside of a nuclear reactor facility, there is a need to acquire not only two-dimensional information photographed by a camera but also three-dimensional information. As means for obtaining three-dimensional information, for example, there is a light cutting method (slit light projection method). The light cutting method is a three-dimensional measurement method for measuring the shape of an object by scanning the object using sheet-like light and calculating the reflection position of the sheet light by the principle of triangulation.
Patent Document 1 describes a shape measuring device that measures the shape in a structure such as a nuclear reactor with high accuracy and efficiency.
ところで、原子力炉の設備内には、気体で満たされた空間と水で満たされた空間とが存在する。一般的に用いられる光切断法は、調査対象物も計測装置も気体に置かれた状態で実施される。仮に調査対象物及び計測装置が水中に存在する場合、気中と水中とでは屈折率が異なるため、補正が必要となる。このような場合、事前試験によって気中と水中との補正値を算出し、検証することで個別に対応することができる。 By the way, in the facility of the nuclear reactor, there are a space filled with gas and a space filled with water. The light cutting method generally used is carried out in a state where both the object to be investigated and the measuring device are placed in gas. If the object to be investigated and the measuring device exist in water, correction is necessary because the refractive index is different between the air and the water. In such a case, it is possible to cope individually by calculating and verifying correction values for air and water by a preliminary test.
しかし、測定装置が気中に存在し対象物が水中に存在するような場面では、気中の測定装置から照射されたシート光が水面で屈折するため、正しい計測ができなかった。この、水面での屈折による影響は、測定装置と対象物の両方が水中に存在する場合とは違い、計測装置と水面との位置関係により異なるため、事前試験で補正データを用意することは現実的ではない。 However, in a situation where the measuring device is present in the air and the object is present in the water, the sheet light irradiated from the measuring device in the air is refracted on the water surface, and thus correct measurement cannot be performed. The effect of refraction on the water surface differs depending on the positional relationship between the measurement device and the water surface, unlike when both the measurement device and the object are present in water. Not right.
そこでこの発明は、上述の課題を解決することのできる画像処理装置、外観計測システム、画像処理方法及びプログラムを提供することを目的としている。 Accordingly, an object of the present invention is to provide an image processing apparatus, an appearance measurement system, an image processing method, and a program that can solve the above-described problems.
本発明の第1の態様は、第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得する画像取得部と、前記画像に写し出された前記対象物における前記光の反射位置を検出する反射位置検出部と、前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する視線経路算出部と、予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する光経路算出部と、を備えることを特徴とする画像処理装置である。 In the first aspect of the present invention, an object surrounded by the first medium is irradiated with planar light from a second medium having a refractive index different from that of the first medium. An image acquisition unit that acquires an image obtained by capturing an image of the object by an installed image capturing device, a reflection position detection unit that detects a reflection position of the light on the object projected on the image, and an optical of the image capturing device Based on the position information of the center and the position information of the reflection position, the traveling path of the line of sight of the imaging device from the optical center in the second medium to the object is calculated, and further obtained by a predetermined method A line-of-sight path calculation that calculates a path of travel of the line of sight in the first medium using positional information on the boundary surface between the first medium and the second medium and the refractive indexes of the first medium and the second medium. And the predetermined second medium Information indicating the traveling path of the light at, and calculating the traveling path of the light in the first medium using the position information of the boundary surface and the refractive indices of the first medium and the second medium And an optical path calculating unit.
本発明の第2の態様は、前記第一媒質における前記光の進行経路と前記視線の進行経路との交点の位置情報を算出する復元部を備え、前記画像取得部は、前記対象物に異なる角度から前記光を照射して撮像した複数の画像を取得し、前記復元部は、前記複数の画像について算出した交点の位置情報に基づいて前記対象物の3次元形状を復元することを特徴とする。 According to a second aspect of the present invention, the image acquisition unit includes a restoration unit that calculates position information of an intersection between the light travel path and the line-of-sight travel path in the first medium, and the image acquisition unit is different from the object. A plurality of images obtained by irradiating the light from an angle are acquired, and the restoration unit restores a three-dimensional shape of the object based on position information of intersections calculated for the plurality of images. To do.
本発明の第3の態様は、前記撮像装置の光学中心の位置情報と前記画像に写し出された前記境界面における前記光の反射位置とから前記第二媒質における前記境界面への前記視線の進行経路を算出し、その視線の進行経路と予め定められた前記第二媒質における前記光の進行経路との交点が示す境界面における反射点の位置情報を算出する境界面検出部と、を備え、前記第一媒質と前記第二媒質の境界面の位置情報を取得する前記所定の方法は、前記反射位置検出部が、前記境界面おける前記光の反射位置を検出し、前記境界面検出部が、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い3つ以上の前記反射点の位置情報を算出することにより、前記第一媒質と前記第二媒質の境界面の位置情報を算出する方法である。 According to a third aspect of the present invention, the line of sight advances from the position information of the optical center of the imaging device and the reflection position of the light at the boundary surface projected onto the image to the boundary surface of the second medium. A boundary surface detection unit that calculates a path, and calculates position information of a reflection point at a boundary surface indicated by an intersection of the traveling path of the line of sight and the traveling path of the light in the predetermined second medium; In the predetermined method of acquiring the position information of the boundary surface between the first medium and the second medium, the reflection position detection unit detects the reflection position of the light on the boundary surface, and the boundary surface detection unit Calculating position information of three or more reflection points that are not on the same straight line from an image captured when the object is irradiated with the light at a plurality of different angles. Position information of the boundary surface between two media It is a method of calculation.
本発明の第4の態様は、前記第一媒質と前記第二媒質の境界面の位置情報を取得する前記所定の方法は、前記境界面検出部が、前記光学中心と前記境界面における反射点とを結ぶ直線と前記境界面とのなす角度の情報を取得し、前記同一直線上に無い3つ以上の反射点の位置情報に代えて、少なくとも1枚の前記画像から得られる2つ以上の前記反射点の位置情報を算出することにより求めた前記光と前記境界面の交線と、前記角度の情報を用いて前記境界面の位置情報を算出する方法である。 According to a fourth aspect of the present invention, in the predetermined method for acquiring positional information of a boundary surface between the first medium and the second medium, the boundary surface detection unit is configured to reflect the optical center and a reflection point on the boundary surface. Information of the angle between the straight line connecting the two and the boundary surface, and instead of the positional information of three or more reflection points not on the same straight line, two or more obtained from at least one of the images In this method, the position information of the boundary surface is calculated using the information on the angle of intersection between the light and the boundary surface obtained by calculating the position information of the reflection point and the angle.
本発明の第5の態様は、対象物に照射する光の光源と、前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する計測装置と、前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、上述の画像処理装置と、を備える外観計測システムである。 According to a fifth aspect of the present invention, there is provided a light source for irradiating an object, a rotatable mirror that reflects light from the light source and irradiates the object, and an imaging device that images the object. An external measurement system comprising: a measurement device having: a control device that changes an angle of the mirror and scans an object with the light while instructing the imaging device to take an image; and the image processing device described above. is there.
本発明の第6の態様における外観計測システムは、前記光源は、前記対象物に照射する光を発射する第一光源と、前記第一光源の発する光の波長よりも短い波長の光を発する第二光源とからなり、上記第3又は第4の態様の画像処理装置を備え、前記境界面検出部は、前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する。 In the appearance measurement system according to the sixth aspect of the present invention, the light source emits light having a wavelength shorter than the wavelength of the light emitted from the first light source and the first light source that emits light that irradiates the object. The boundary surface detection unit calculates position information of the boundary surface based on a traveling path of light emitted from the second light source. The image processing device according to the third or fourth aspect includes the two light sources. To do.
本発明の第7の態様は、第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得し、前記画像に写し出された前記対象物における前記光の反射位置を検出し、前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出し、予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する、ことを特徴とする画像処理方法である。 According to a seventh aspect of the present invention, a planar object is irradiated from a second medium having a refractive index different from that of the first medium onto an object that is surrounded by the first medium. An installed imaging device acquires an image obtained by imaging the object, detects a reflection position of the light on the object projected on the image, and detects position information of the optical center of the imaging device and the reflection position. A path of a line of sight of the imaging device from the optical center to the object in the second medium based on position information; and the first medium and the second medium acquired by a predetermined method; The path of the line of sight in the first medium is calculated using the positional information on the boundary surface of the first medium and the refractive indices of the first medium and the second medium, and the light in the second medium determined in advance is calculated. To obtain information indicating the route of the And position information of the interface, by using the refractive index of the first medium and the second medium, and calculates the traveling path of the light in the first medium, it is an image processing method according to claim.
本発明の第8の態様は、画像処理装置のコンピュータを、第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得する手段、前記画像に写し出された前記対象物における前記光の反射位置を検出する手段、前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する手段、予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する手段、として機能させるためのプログラムである。 According to an eighth aspect of the present invention, a computer of an image processing apparatus irradiates a target object surrounded by a first medium with planar light from a second medium having a refractive index different from that of the first medium. Means for acquiring an image obtained by imaging the object by an imaging device installed in the second medium; means for detecting a reflection position of the light on the object projected on the image; and optics of the imaging device Based on the position information of the center and the position information of the reflection position, the traveling path of the line of sight of the imaging device from the optical center in the second medium to the object is calculated, and further obtained by a predetermined method Means for calculating a path of travel of the line of sight in the first medium, using positional information on a boundary surface between the first medium and the second medium, and refractive indexes of the first medium and the second medium; Defined second medium The information indicating the light traveling path in the first medium is acquired, and the light traveling path in the first medium is calculated using the position information of the boundary surface and the refractive indices of the first medium and the second medium. It is a program for making it function as a means to do.
本発明によれば、計測装置と対象物が空気中、水中の何れに存在するかにかかわらず対象物の3次元形状を計測することができる。 According to the present invention, it is possible to measure the three-dimensional shape of an object regardless of whether the measuring device and the object exist in the air or in water.
<第一実施形態>
以下、本発明の一実施形態による外観計測装置を図1〜図9を参照して説明する。
図1は本実施形態における外観計測システムの一例を示す概要図である。
符号1は、外観計測システムを示している。外観計測システム1は、計測ヘッド100と制御装置200と画像処理装置300とを含んで構成される。外観計測システム1は、原子炉設備内の存在物や対象物などを計測するための計測システムである。符号201は、原子炉設備の壁であって、計測ヘッド100は、当該設備内に挿入され、制御装置200及び画像処理装置300は、当該設備の外に設置される。
計測ヘッド100にはシート光照射部とカメラが搭載されている。シート光照射部は、対象物400にシート状(平面状)の光110を照射する。カメラは、シート光110が照射された対象物400を撮像する。制御装置200は、計測ヘッド100の動作を制御する。例えば、制御装置200は、シート光照射部がシート光110を発する方向を符号111の矢印が示す方向に変化させ、シート光110によって対象物400を走査する。また、制御装置200は、シート光110によって対象物400を走査する間、所定のタイミングでカメラに対し対象物400の撮像指示を行う。画像処理装置300は、カメラが撮像した複数の画像を取得し、その画像を光切断法によって解析し、原子炉設備内の対象物の3次元形状を再現する。
<First embodiment>
Hereinafter, an appearance measuring apparatus according to an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a schematic diagram showing an example of an appearance measurement system in the present embodiment.
Reference numeral 1 denotes an appearance measurement system. The appearance measurement system 1 includes a
The
図2は、本発明に係る第一実施形態における計測ヘッドの一例を示す図である。図2は、計測ヘッド100の正面図である。計測ヘッド100は、走査装置101と、カメラ102と、パン・チルト機構装置103とを備えている。走査装置101とカメラ102は支柱板104で固定され、パン・チルト機構装置103と接続されている。走査装置101は、シート光を発するレーザ装置に光ファイバ等で接続されたシート光照射部と、図の垂直方向を軸に回転可能なミラーを備えている。シート光照射部は、レーザ装置からの光をスリットを通過させてシート状の光にして照射する。走査装置101は、シート光照射部から照射されたシート光110をミラーの角度を変化させながら反射させ、対象物400へ照射する。カメラ102は、CMOSやCCD等の画像素子を用いたカメラモジュールである。カメラ102は、対象物400を撮像する。パン・チルト機構装置103は、走査装置101とカメラ102を固定する支柱板104を図の水平方向を軸に回転させるチルト機構と、垂直方向を軸に回転させるパン機構とを有している。制御装置200が、パン・チルト機構装置103を制御することにより、支柱板104を移動させ原子炉設備内の測定対象を変更することができる。
FIG. 2 is a diagram showing an example of a measurement head in the first embodiment according to the present invention. FIG. 2 is a front view of the
図3は、本発明に係る第一実施形態における外観計測システムの一例を示すブロック図である。
計測ヘッド100は、走査装置101と、カメラ102と、パン・チルト機構装置103と、支柱板104を備えている。走査装置101は、シート光照射装置105とミラー106を備えている。計測ヘッド100については、図2を用いて説明したとおりである。
FIG. 3 is a block diagram showing an example of an appearance measuring system according to the first embodiment of the present invention.
The
制御装置200は、CPU(Central Processing Unit)を備えたコンピュータである。制御装置200は、シート光走査制御部21、レーザ装置22、カメラ制御部23、パン・チルト機構制御部24を備えている。
シート光走査制御部21は、ミラー106を回転させ所定の角度に設定する。レーザ装置22は、レーザ光源と駆動部を含んでいる。駆動部は、レーザ光源の起動停止やレーザ光の発射を制御する。カメラ制御部23は、カメラ102へ撮像指示を行う。パン・チルト機構制御部24は、例えばユーザの指示操作に基づいて、対象物400の3次元形状を測定できる位置に支柱板104を移動・回転させる。
The
The sheet light
制御装置200は、例えば次のように動作する。ユーザが、制御装置200の備えるユーザインタフェースを介して撮像指示操作を入力すると、駆動部がレーザ装置22を起動し、レーザ光を発射する。また、シート光走査制御部21は、所定のタイミングでミラー106の角度を変化させ、シート光110の進行経路を変化させる。カメラ制御部23は、ミラー106の角度が変わるたびにカメラ102に撮像指示を行う。これにより対象物400をシート光110によって走査しながら撮像した画像を得ることが可能になる。なお、ミラー106の角度変化、角度を変化させるタイミング、カメラ102が撮像するタイミングなどの情報は、予め制御装置200が備える記憶部に記憶されているものとする。
For example, the
画像処理装置300は、カメラ102が撮像した各画像から光切断法によって対象物400の3次元形状を計測する。カメラ102が撮像した各画像には、対象物400によるシート光110の反射光が線状に写っており、画像処理装置300は、カメラ102とシート光照射装置105と対象物400によって反射された反射光の幾何学的な位置関係に基づいて、対象物400のシート光110が照射された部分の位置情報を算出する。さらにカメラ102の角度を変化させながらシート光110によって対象物400を走査して得た画像のそれぞれに対し同様の算出を行って対象物400の表面の3次元形状を計測する。次に、図4を用いて画像処理装置300について説明する。
The
図4は、本発明に係る第一実施形態における画像処理装置の一例を示すブロック図である。
画像処理装置300は、画像取得部31と、反射位置検出部32と、視線経路算出部33と、光経路算出部34と、境界面検出部35と、復元部36と、記憶部37と、を備えている。画像処理装置300は、CPUを備えたコンピュータである。
画像取得部31は、カメラ102が撮像した画像を取得し、記憶部37にその画像を記録する。画像取得部31が取得する画像は、対象物400を走査したときに制御装置200が撮像指示を行ったタイミングでカメラ102が撮像した画像である。
FIG. 4 is a block diagram showing an example of an image processing apparatus according to the first embodiment of the present invention.
The
The
反射位置検出部32は、画像取得部31が取得した画像からシート光110の反射光が写った位置を検出し、その位置情報を求める。シート光110の反射光とは、例えば、対象物400や原子炉設備の内壁による反射光である。また、計測ヘッド100と対象物400がそれぞれ異なる媒質の中に存在する場合、それらの媒質の境界面で生じるシート光110の反射光である。原子炉設備内には、空気(第二媒質)で満たされた空間と水(第一媒質)で満たされた空間があり、計測ヘッド100が空気中に存在し、対象物400が水中にある場合や、計測ヘッド100が水中に存在し、対象物400が空気中に存在する場合がある。そのような場合、画像取得部31が取得した画像には空気と水の境界面で反射した光と、対象物400等によって反射した光が映し出される。反射位置検出部32は、画像処理によって境界面での反射光と対象物400による反射光が写し出されている位置を検出し、この位置情報(座標情報)を求める。この反射光が映し出された位置をピーク位置(輝度のピーク位置)とよび、空気と水の境界面の反射光に対応するピーク位置を水面ピーク位置、水中に存在する対象物400による反射光に対応するピーク位置を水中ピーク位置という。
The reflection
視線経路算出部33は、カメラ102の光学中心と反射位置検出部32が検出したピーク位置の位置情報から、カメラ102の光学中心とピーク位置上の点を結ぶ直線を算出する。このカメラ102からピーク位置の点を結ぶ直線は、反射光がカメラ102へ入光する入光経路を示しているが、以下ではこの経路を、カメラ102の視線進行経路と呼ぶ。特に、計測ヘッド100が空気中に存在し、対象物400が水中に存在するような場合、視線経路算出部33は、カメラ102の光学中心と水中ピーク位置の位置情報とに基づいて空気中におけるカメラの視線進行経路を算出し、その視線の進行経路と、後述する境界面検出部35が算出した水面の位置情報(水面の平面方程式)とから、カメラ102の視線進行経路の水面への入射角を算出する。さらに、視線経路算出部33は、空気と水の屈折率に基づいてカメラ102の視線進行経路の水中への出射角を算出し、空気中におけるカメラ102の視線進行経路と水面との交点の始点とする水中におけるカメラ102の視線進行経路を算出する。
The line-of-sight path calculation unit 33 calculates a straight line connecting the optical center of the
光経路算出部34は、計測ヘッド100が空気中に存在し、対象物400が水中に存在するような場合、予め算出された空気中におけるシート光110によって形成される平面の位置情報と、後述する境界面検出部35が算出した水面の位置情報とから、シート光110の水面への入射角を算出する。さらに、光経路算出部34は、予め定められた空気と水の屈折率に基づいて光の水中への出射角を算出し、出射角と、シート光110と水面との交線の位置情報とから水中におけるシート光110の進行経路を算出する。
When the
境界面検出部35は、カメラ102の光学中心の位置情報と水面ピーク位置の位置情報とから水面へのカメラ102の視線進行経路を算出し、その視線進行経路と予め算出された空気中におけるシート光110によって形成される平面の位置情報とに基づいて水面への視線進行経路とシート光110が形成する平面の交点である反射点の位置情報を算出する。境界面検出部35は、水面ピーク位置の線を構成する各反射点について位置情報を算出する。そして境界面検出部35は、画像取得部31が取得した複数の画像について同様の処理を行い、同一直線上に無い少なくとも3つの反射点の位置座情報から水面の位置情報を算出する。
The boundary
復元部36は、視線経路算出部33が算出した水中でのカメラ102の視線進行経路と、光経路算出部34が算出した水中でのシート光110が形成する平面との交点の位置情報を算出する。この交点は、水中ピーク位置を示す線上の一点である。復元部36は、1枚の画像から水中ピーク位置上の全ての点について位置情報を算出する。復元部36は、さらに計測ヘッド100を掃引しながら撮像した全ての画像について同様の処理を行い、対象物400の表面の3次元座標情報を求める。
The
記憶部37は、画像取得部31が取得した画像や、予めキャリブレーションを実施して取得したカメラパラメータ、ミラー106の角度ごとのシート光110によって形成される平面の位置情報(平面方程式)を記憶している。
The
図5は、本発明に係る第一実施形態の外観計測システムによる異なる媒質中に存在する対象物の計測を説明するための図である。
対象物400は、水(第一媒質)が入っている容器70の底に設置されている。符号71の部分は水で満たされており、対象物400は、水中に存在する。符号61は、ミラー106をある角度に設定したときのシート光110の空気中における進行経路を示す直線である。符号62は、シート光110の水中での進行経路を示す直線である。直線61、62が示すようにシート光110は、水面で屈折して進行経路を変える。符号63は、シート光110が水面で屈折しないと仮定した場合のシート光110の進行経路を示す直線である。符号50は、対象物400の表面上のある点を示している。符号51は、点50への空気中におけるカメラ102の視線進行経路を示す直線(視線直線)である。符号52は、点50への水中におけるカメラ102の視線直線である。直線51、52が示すようにカメラ102の視線直線は、水面で屈折して進行経路を変える。符号53は、カメラ102の視線直線が水面で屈折しないと仮定した場合の経路を示す直線である。符号54は、水面ピーク位置に対応するカメラ102の視線直線である。符号60は、視線直線54とシート光110の空気中における進行経路を示す直線61の交点である。
FIG. 5 is a diagram for explaining measurement of an object existing in different media by the appearance measurement system according to the first embodiment of the present invention.
The
ここで、水面での光の屈折を考慮せずに、三角測量の原理に基づいて対象物400による反射光の反射点を算出すると、直線53と直線63の交点が求める反射点となる。符号401は、水面での光の屈折を考慮せずに光切断法によって対象物400を計測したときの計測結果を示している。図5が示すように、実際の対象物400は、容器70の底に存在しており、光の屈折を考慮しないと、対象物400の位置を計測ヘッド100側から見て手前に存在するものと誤って計測してしまう。本実施形態では、計測ヘッド100と対象物400が異なる媒質中に存在する場合、それら異なる媒質の境界面でのシート光110、カメラ102の視線進行経路の屈折を考慮し、異なる媒質中におけるシート光110の進行経路、カメラ102の視線の進行経路を補正して正確な対象物400の計測を行う。
Here, when the reflection point of the reflected light by the
図6は、本発明に係る第一実施形態における外観計測システムの撮像装置で対象物を撮像した画像の一例を示す図である。
図6は、図5の状態でカメラ102が撮像した画像の一例である。符号73は、シート光110の対象物400や容器70の底面によって反射された光が写し出された線(水中ピーク位置)である。符号74は、シート光110の水面によって反射した光が写し出された線(水面ピーク位置)である。図5で示した状況では、シート光110は、右側から照射されるので、水面による反射光の線74は、対象物400による反射光の線73よりも右側に表示されている。本実施形態では、反射位置検出部32が水面ピーク位置の線74を検出すると、境界面検出部35がカメラ座標における水面の位置情報を算出し、視線経路算出部33が、カメラ座標における水中におけるカメラ102の視線進行経路を算出する。また、光経路算出部34が、水中においてシート光110が形成する平面のカメラ座標における位置情報を算出する。
FIG. 6 is a diagram illustrating an example of an image obtained by capturing an object with the imaging device of the appearance measurement system according to the first embodiment of the present invention.
FIG. 6 is an example of an image captured by the
図7は、本発明に係る第一実施形態における対象物の計測処理を説明するための図である。
図7を用いて、画像取得部31が取得した画像から対象物400の3次元形状を計測する処理について説明する。
図7の座標は、カメラ102の光学中心を原点Ocとし、レンズの中心を通りレンズ面と直交する方向をZ軸、光学中心とシート光照射装置105のシート光照射口の中心を結ぶ線をX軸、それらに直交する方向をY軸とする3次元の座標系(カメラ座標系)である。画像面75はZ軸と直交し、XY平面と平行になる。原点Ocと画像面75の距離が、レンズの焦点距離fに相当する。対象物400の表面(符号76)上の点P0(X0、Y0、Z0)の画像面75上の点p1(x1、y1、z1)は、原点Ocと点P0を通るカメラの視線直線(符号77)と画像面75の交点となる。点p1と点P0の関係は次式で表すことができる。
x1=f×X0/Z0、y1=f×Y0/Z0、z1=f ・・・ 式1
従って、画像面75の座標(x1、y1、f)から対象物400の表面上の点P0(X(t)、Y(t)、t)の視線の直線方程式を得ることができる。
X(t)=x1×t/f、Y(t)=y1×t/f、Z(t)=t ・・・ 式2
FIG. 7 is a diagram for explaining the measurement processing of the object in the first embodiment according to the present invention.
Processing for measuring the three-dimensional shape of the
In the coordinates of FIG. 7, the optical center of the
x1 = f × X0 / Z0, y1 = f × Y0 / Z0, z1 = f Expression 1
Therefore, a linear equation of the line of sight of the point P0 (X (t), Y (t), t) on the surface of the
X (t) = x1 * t / f, Y (t) = y1 * t / f, Z (t) = t Expression 2
次にシート光110の平面方程式について説明する。シート光110が発射される点をOs(Xs、Ys、Zs)とし、シート光110が形成する平面の法線ベクトルをNs(Xn、Yn、Xn)とする。するとシート光110の平面方程式は、以下の式で表すことができる。
(X−Xs)×Xn +(Y−Ys)×Yn+(Z−Zs)×Zn=0 ・・・式3
シート光110の反射位置P0は、カメラの視線直線とシート光110の交点である。
従って式2を式3に代入して変数tを求め、式2からP0の座標を求めることができる。以上がシート光110の対象物400における1つの反射点について、座標情報を求める方法である。従って、画像取得部31が取得した1枚の画像から、対象物400における反射光によってできる線の各点について同様の手順で座標情報を求めることで、対象物400のシート光110が照射された線状の部分の形状を把握することができる。走査装置101が、シート光110を用いて対象物400の表面を走査し、その都度取得した画像を解析すれば対象物400の表面の3次元座標を得ることができる。計測ヘッド100と対象物400が共に空気中に存在するような場合、このようにして対象物400の形状を計測することができる。
Next, the plane equation of the
(X−Xs) × Xn + (Y−Ys) × Yn + (Z−Zs) × Zn = 0 Formula 3
The reflection position P <b> 0 of the
Therefore, the variable t is obtained by substituting Equation 2 into Equation 3, and the coordinates of P0 can be obtained from Equation 2. The above is the method for obtaining the coordinate information for one reflection point on the
次に、計測ヘッド100が空気中に存在し、対象物400が水中に存在する場合について説明する。この場合、水中におけるカメラの視線直線及びシート光110による平面を求め、それらの交点を算出する。その為に以下の手順を行う。
(1)最初に水面の平面方程式を求める。(1−a)この方程式を求める処理においては、まず、画像から水面での反射光による線74を特定する。(1−b)そして線74上の1点を図7におけるp1、水面を符号76が示す面として、上記で説明した手順で、シート光110と水面の交線(水面ピーク位置)の位置情報を算出する。同様の手順で複数の画像から、それぞれシート光110と水面の交線の位置情報を算出する。(1−c)このようにして得られた複数の交線の位置情報から水面の平面方程式を推定することができる。例えば、複数の反射点と推定する水面との距離の二乗和が最小となるような水面を最小二乗法で求めてもよい。
Next, a case where the
(1) First, the plane equation of the water surface is obtained. (1-a) In the process of obtaining this equation, first, the
(2)次に水面での屈折を考慮したカメラの視線直線を求める。(2−a)まず、式2と同様にカメラ102から水面への直線方程式を設定する。(2−b)次に、水面への直線方程式と水面の平面方程式からカメラの視線直線の水面への入射角を求める。(2−c)次に空気中と水中の屈折角からカメラ視線の水中への出射角を求める。光の空気中と水中における屈折角は予め与えられているものとする。(2−d)次に、(2−a)の直線と(1)で求めた水面の交点を求める。(2−e)(2−d)で求めた交点と(2−c)で求めた出射角からカメラの視線進行経路の水中における直線方程式を求める。
(2) Next, the line of sight of the camera in consideration of refraction on the water surface is obtained. (2-a) First, a linear equation from the
(3)同様に水面での屈折を考慮して、水中を進行するシート光110が形成する平面の平面方程式を算出する。(3−a)まず、予め算出した空気中でのシート光110の平面方程式と(1)で算出した水面の平面方程式との交線を求める。また、水面に対するシート光110の入射角を求める。(3−b)次に空気中と水中の屈折角からシート光110の水中への出射角を求める。光の空気中と水中における屈折角は予め与えられているものとする。(3−c)次に、(3−a)の交線と(1)で求めた水面の平面方程式及び(3−b)で求めた出射角から水中におけるシート光110の平面方程式を求める。
(3) Similarly, taking into account refraction at the water surface, the plane equation of the plane formed by the
なお、水面の平面方程式の算出方法は、上記の(1)の方法に限らない。例えば、計測ヘッド100の所定の部分と水面との位置関係が既知である場合、その所定の部分とカメラ102(光学中心)との相対的位置関係を用いて、カメラ座標系での水面の平面方程式を求めることができる。この場合、予め算出した水面の平面方程式を記憶部37に記録しておき、計測の際には(1)の処理を行わず、代わりに記憶部37に記録した水面の平面方程式を用いることで対象物400の形状を計測できる。また、計測ヘッド100に3軸加速度センサや傾斜センサが備えられている場合、このセンサによって計測ヘッド100の地面に対する傾きを計測する。水面は、水平であるから、計測ヘッド100の水面に対する傾きを得ることができる。次に、ミラー106をある角度に設定してシート光110を照射したときの画像を1枚撮像する。その画像の水面ピーク位置の座標情報と、ミラー106をその角度に設定した場合における予め記憶されたシート光110の平面方程式から、水面とシート光110の交線を求める。この交線と、計測ヘッド100の水面に対する傾きから水面の平面方程式を求めることができる。この方法であれば、シート光110を走査させながら撮像した画像が1枚あれば水面の平面方程式を求めることができる。
The method for calculating the plane equation of the water surface is not limited to the method (1). For example, when the positional relationship between a predetermined portion of the measuring
このようにして水中におけるカメラ視線の直線方程式と、水中におけるシート光110の平面方程式を算出すると、それらの交点を求めることで水面での屈折を考慮した対象物400の表面の正確な位置情報を求めることができる。この手順をシート光110を走査することで得た全ての画像について行えば、対象物400全体の計測を行うことができる。
Thus, when the linear equation of the camera line of sight in water and the plane equation of the
図8は、本発明に係る第一実施形態における画像処理装置における処理の一例を示す第一のフローチャートである。
図8を用いて、走査装置101が対象物400を走査しながら撮像した画像を用いて水面の平面方程式を算出する処理について説明する。
前提として、予めキャリブレーションを実施し、カメラ102の光軸中心、焦点距離、レンズの歪に対する補正係数などのカメラパラメータを取得しているものとする。また、走査装置101が発するシート光110の発射角度を、所定の角度とした場合のそれぞれの角度に対するシート光110の平面方程式も予め算出してあるものとする。また、カメラパラメータや平面方程式は、記憶部37に記録されているものとする。また、画像取得部31は、カメラ102が撮像した一連の画像を全て記憶部37へ記録したものとする。
まず、反射位置検出部32が、記憶部37より1枚の画像を読み出す(ステップS1)。反射位置検出部32は、シート光110の反射位置を示す2つの線(ピーク位置)を検出する。例えば、反射位置検出部32は、読み出した画像を所定の閾値により2値化して、白い線状の個所をピーク位置として検出する。次に反射位置検出部32は、検出したピーク位置のうち、水面による反射光を示す水面ピーク位置を特定する(ステップS2)。水面ピーク位置を特定する方法は、例えば、図5で図示した状況において図6の画像を撮像した場合であれば、シート光照射装置105の位置に近い方を水面ピーク位置に特定する。反射位置検出部32は、画像と特定した水面ピーク位置の位置情報を境界面検出部35に出力する。
FIG. 8 is a first flowchart showing an example of processing in the image processing apparatus according to the first embodiment of the present invention.
A process of calculating a plane equation of the water surface using an image captured by the
As a premise, it is assumed that calibration is performed in advance and camera parameters such as the optical axis center of the
First, the reflection
次に、境界面検出部35は、記憶部37から読み込んだカメラパラメータによって取得した画像の歪み補正などを行う。そして、境界面検出部35は、補正後の水面ピーク位置の座標情報を算出し、カメラ102の光学中心から水面ピーク位置へのカメラ視線の直線方程式(式2)を算出する(ステップS3)。次に、境界面検出部35は、記憶部37から、現在解析している画像に対応したシート光110の平面方程式を読み出す。現在解析している画像に対応した平面方程式とは、現在解析している画像を撮像したときと同じ角度にミラー106を設定してシート光110を照射したときに撮像した画像から算出した平面方程式であって、予め記憶部37に記憶されている。境界面検出部35は、平面方程式を読み出すと、この平面方程式とステップS2で求めた直線方程式との交点の座標情報を算出する(ステップS4)。境界面検出部35は、同様の手順で水面ピーク位置に対応する水面上の線の各点について交点の座標情報を算出する。
Next, the boundary
次に反射位置検出部32は、記憶部37に記録された一連の走査においてカメラ102が撮像した全ての画像に対してステップS1〜ステップS4の処理を行ったかどうかを判定する(ステップS5)。全ての画像に対して処理を行っていなければステップS1からの処理を繰り返す。全ての画像に対する処理が終了している場合、境界面検出部35は、算出した複数の交線から水面の平面方程式を求める(ステップS6)。境界面検出部35は、算出した水面の平面方程式を記憶部37に出力する。このステップS1〜S6の処理は図7を用いて説明した(1)の処理に相当する。なお、ステップS5にて全画像について処理を行ったかどうかの判定を行っているが、必ずしも全画像について処理を行わなくてもよい。例えば同一直線上に無い3つ以上の点の座標情報を算出し水面の平面方程式を算出してもよい。
Next, the reflection
図9は、本発明に係る第一実施形態における画像処理装置における処理の一例を示す第二のフローチャートである。
図9を用いて、図8の処理後に対象物400の形状の測定を行う処理について説明する。
前提条件は、図8と同様であるが、さらに記憶部37には水面の平面方程式が記憶されているものとする。
まず、反射位置検出部32が、記憶部37より1枚の画像を読み出す(ステップS7)。反射位置検出部32は、シート光110の反射光を示す線が写っている個所(ピーク位置)を検出し、対象物400による反射光を示す水中ピーク位置を特定する(ステップS8)。例えば、図5で図示した状況において図6の画像を撮像した場合であれば、シート光照射装置105の位置から遠い方を水中ピーク位置に特定する。反射位置検出部32は、画像と特定した水中ピーク位置の位置情報を視線経路算出部33へ出力する。
FIG. 9 is a second flowchart showing an example of processing in the image processing apparatus according to the first embodiment of the present invention.
A process of measuring the shape of the
The precondition is the same as that in FIG. 8, but it is further assumed that the
First, the reflection
次に、視線経路算出部33は、記憶部37からカメラパラメータを読み込んで反射位置検出部32から取得した画像を補正し、補正後の水中ピーク位置の位置情報を取得する。視線経路算出部33は、補正後の水中ピーク位置の位置情報を用いて図7の(2)で説明した手順で水中におけるカメラ視線の直線方程式を求める(ステップS9)。視線経路算出部33は、直線方程式を復元部36へ出力する。
また、光経路算出部34は、記憶部37から読み込んだ現在解析中の画像に対応したシート光110の平面方程式と、記憶部37から読み込んだ水面の平面方程式に基づいて水中でのシート光110の平面方程式を図7の(3)で説明した手順で算出する(ステップS10)。光経路算出部34は、シート光110の水中における平面方程式を復元部36へ出力する。
Next, the line-of-sight path calculation unit 33 reads the camera parameters from the
The light
復元部36は、水中でのカメラの視線直線とシート光110の平面の交点の座標情報を算出する(ステップS11)。また、復元部36は、水中ピーク位置に対応する線の各点に対して同様に座標情報を算出し、シート光110と対象物400の光線の座標情報を求める。次に反射位置検出部32は、カメラ102が撮像した全ての画像に対してステップS7〜ステップS11の処理を行ったかどうかを判定する(ステップS12)。全ての画像に対して処理を行っていなければステップS7からの処理を繰り返す。全ての画像に対する処理が終了している場合、復元部36は、算出した複数の交線の座標情報から対象物400の3次元形状を復元する(ステップS13)。
The
図10は、本発明に係る第一実施形態における外観計測システムの運用形態の一例を示す図である。
図10(a)は、計測ヘッド100と対象物400が共に空気(第一媒質)中に存在する場合の測定の様子を示している。計測ヘッド100と対象物400が同じ媒質中に存在し、計測ヘッド100と対象物400の間にも光の屈折率の異なる媒質が存在しない場合、走査装置101が発した光の形成する平面もカメラ102の視線直線も屈折することが無い。従ってそれらの交点を求めることにより対象物400の表面形状を算出することができる。
図10(b)は、計測ヘッド100と対象物400が共に水(第二媒質)中に存在する場合の測定の様子を示している。この場合、ミラー106の角度に対するシート光110の平面方程式やカメラの視線直線を水中用に補正することで図10(a)と同様にして対象物400の表面形状を算出することができる。
図10(c)は、計測ヘッド100と対象物400がそれぞれ異なる媒質中に存在する場合の測定の様子を示している。図8、9を用いて説明した処理フローで対象物400の表面形状を算出することができる。また、計測ヘッド100が水中に存在し、対象物400が空気中に存在する場合にも、図8、9を用いて説明した処理を応用して、対象物400の表面形状を測定することができる。
外観計測システム1は、これらの運用形態に合わせて例えば、図10(a)のような環境で計測を行う「空気中計測モード」、図10(b)のような環境で計測を行う「水中計測モード」、図10(c)のような環境で計測を行う「気中から水中計測モード」の動作モードを備えており、ユーザの指示操作により切り替えることができる。
FIG. 10 is a diagram illustrating an example of an operation mode of the appearance measurement system according to the first embodiment of the present invention.
FIG. 10A shows a state of measurement when the
FIG. 10B shows a state of measurement when the measuring
FIG. 10C shows a state of measurement when the
The appearance measurement system 1 is adapted to these operational forms, for example, “in-air measurement mode” in which measurement is performed in an environment as illustrated in FIG. 10A, and “underwater” in which measurement is performed in an environment as illustrated in FIG. An operation mode of “measurement mode” and “air-to-underwater measurement mode” for measuring in an environment as shown in FIG. 10C is provided, and can be switched by a user's instruction operation.
本実施形態によれば、計測ヘッド100と対象物400がそれぞれ同じ媒質中に存在する場合だけではなく、それぞれ異なる媒質中に存在する場合でも対象物400の表面形状を計測することができる。また、事前に準備した計測ヘッド100が存在する媒質におけるミラー106の走査に用いる角度ごとのシート光110の平面方程式、カメラパラメータ、各媒質における光の屈折率の情報を用いて、異なる媒質の境界面の平面方程式を撮像した画像から求めることができるので、計測ヘッド100と境界面との距離や角度が変化しても対象物の計測を適宜行うことができる。また、計測ヘッド100だけを計測を行う空間内に挿入できればよいので、原子炉設備内のような制限が多い空間でも計測を行うことができる。また、本実施形態の外観計測システム1は原子炉設備のような高放射線環境下でも使用することができる。
According to the present embodiment, the surface shape of the
なお、上記では、1種類のシート光を用いて計測を行う場合を例として説明を行ったが、外観計測システム1は、対象物400の測定用の第一光源と水面検出用の第二光源とを備えた構成としてもよい。対象物400を計測するためのシート光には水中を透過しやすい波長の光を用い、水面の検出用には、相対的に波長の短い水面で散乱しやすい光を用いる。これにより、水面の位置情報をより正確に把握し、対象物400の計測精度を向上させることができる。
In the above description, the case where measurement is performed using one type of sheet light has been described as an example. However, the appearance measurement system 1 includes a first light source for measuring the
また、シート光110を走査させながら画像を撮像する一連の工程を繰り返し行い、工程を繰り返すことによって得られた異なる時刻における水面の位置情報の平均を求め、水面の平面方程式を算出する実施形態も考えられる。これにより、水面の波立ちが水面ピーク位置に与える影響を低減し、より正確な水面の平面方程式を算出することができる。
また、シート光110の代わりに、例えば、ビーム状の光を、そのビーム状の光が走査方向と垂直な平面を形成するように首振りさせて、対象物400を照射するようにしてもよい。
In addition, an embodiment in which a series of steps of capturing an image while scanning the
Further, instead of the
なお上述の画像処理装置300は内部に、コンピュータシステムを有している。そして、上述した画像処理装置300における各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒質に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒質とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
The
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。 In addition, it is possible to appropriately replace the components in the above-described embodiments with known components without departing from the spirit of the present invention. The technical scope of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
1・・・外観計測装置
21・・・シート光走査制御部
22・・・レーザ装置
23・・・カメラ制御部
24・・・パン・チルト機構制御部
31・・・画像取得部
32・・・反射位置検出部
33・・・視線経路算出部
34・・・光経路算出部
35・・・境界面検出部
36・・・復元部
37・・・記憶部
100・・・計測ヘッド
101・・・走査装置
102・・・カメラ
103・・・パン・チルト機構装置
104・・・支柱板
105・・・シート光照射装置
106・・・ミラー
200・・・制御装置
300・・・画像処理装置
DESCRIPTION OF SYMBOLS 1 ...
Claims (8)
前記画像に写し出された前記対象物における前記光の反射位置を検出する反射位置検出部と、
前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する視線経路算出部と、
予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する光経路算出部と、
を備えることを特徴とする画像処理装置。 An object surrounded by the first medium is irradiated with planar light from a second medium having a refractive index different from that of the first medium, and an imaging device installed in the second medium is the object. An image acquisition unit for acquiring an image obtained by imaging
A reflection position detection unit for detecting a reflection position of the light on the object projected on the image;
Based on the position information of the optical center of the image pickup device and the position information of the reflection position, a travel path of the line of sight of the image pickup device from the optical center in the second medium to the object is calculated, and Using the positional information of the boundary surface between the first medium and the second medium obtained by the method and the refractive indexes of the first medium and the second medium, the path of the line of sight in the first medium is determined. A line-of-sight path calculation unit to calculate,
The information indicating the traveling path of the light in the predetermined second medium is acquired, and the first medium is obtained by using the positional information of the boundary surface and the refractive indices of the first medium and the second medium. An optical path calculation unit for calculating a traveling path of the light in
An image processing apparatus comprising:
前記画像取得部は、前記対象物に異なる角度から前記光を照射して撮像した複数の画像を取得し、
前記復元部は、前記複数の画像について算出した前記交点の位置情報に基づいて前記対象物の3次元形状を復元する
ことを特徴とする請求項1に記載の画像処理装置。 A restoration unit that calculates position information of an intersection point of the traveling path of the light and the traveling path of the line of sight in the first medium;
The image acquisition unit acquires a plurality of images captured by irradiating the object with the light from different angles,
The image processing apparatus according to claim 1, wherein the restoration unit restores a three-dimensional shape of the object based on position information of the intersection calculated for the plurality of images.
を備え、
前記第一媒質と前記第二媒質の境界面の位置情報を取得する前記所定の方法は、
前記反射位置検出部が、前記境界面おける前記光の反射位置を検出し、
前記境界面検出部が、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い3つ以上の前記反射点の位置情報を算出することにより、前記第一媒質と前記第二媒質の境界面の位置情報を算出する方法である
ことを特徴とする請求項1又は請求項2に記載の画像処理装置。 The path of the line of sight to the boundary surface in the second medium is calculated from the position information of the optical center of the imaging device and the reflection position of the light on the boundary surface projected in the image, and the line of sight travels. A boundary surface detection unit that calculates position information of a reflection point on a boundary surface indicated by an intersection of a path and a predetermined traveling path of the light in the second medium;
With
The predetermined method for obtaining positional information of a boundary surface between the first medium and the second medium is:
The reflection position detection unit detects the reflection position of the light at the boundary surface;
The boundary surface detection unit calculates positional information of three or more reflection points that are not on the same straight line from an image captured when the object is irradiated with the light at a plurality of different angles. The image processing apparatus according to claim 1, wherein the position information of a boundary surface between the first medium and the second medium is calculated.
前記境界面検出部が、前記光学中心と前記境界面における反射点とを結ぶ直線と前記境界面とのなす角度の情報を取得し、前記同一直線上に無い3つ以上の反射点の位置情報に代えて、少なくとも1枚の前記画像から得られる2つ以上の前記反射点の位置情報を算出することにより求めた前記光と前記境界面の交線と、前記角度の情報を用いて前記境界面の位置情報を算出する方法である
ことを特徴とする請求項3に記載の画像処理装置。 The predetermined method for obtaining positional information of a boundary surface between the first medium and the second medium is:
The boundary surface detection unit acquires information on an angle formed by a straight line connecting the optical center and a reflection point on the boundary surface and the boundary surface, and positional information on three or more reflection points that are not on the same straight line. Instead of using the information on the intersection of the light and the boundary surface obtained by calculating the positional information of two or more reflection points obtained from at least one image, the boundary information is used. The image processing apparatus according to claim 3, wherein the image processing apparatus calculates the position information of the surface.
前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する計測装置と、
前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、
請求項1から請求項4の何れか1項に記載の画像処理装置と、
を備える外観計測システム。 A light source for irradiating the object;
A measuring device having a rotatable mirror that reflects light from the light source and irradiates the object with light, and an imaging device that images the object;
A control device that changes the angle of the mirror and scans an object with the light, and issues an imaging instruction to the imaging device;
The image processing apparatus according to any one of claims 1 to 4,
Appearance measurement system with
請求項3又は請求項4の何れか1項に記載の画像処理装置を備え、
前記境界面検出部は、前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する
ことを特徴とする請求項5に記載の外観計測システム。 The light source comprises a first light source that emits light to irradiate the object, and a second light source that emits light having a wavelength shorter than the wavelength of the light emitted by the first light source,
The image processing apparatus according to claim 3, comprising the image processing apparatus according to claim 3.
The appearance measurement system according to claim 5, wherein the boundary surface detection unit calculates position information of the boundary surface based on a traveling path of light emitted from the second light source.
前記画像に写し出された前記対象物における前記光の反射位置を検出し、
前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出し、
予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する、
ことを特徴とする画像処理方法。 An object surrounded by the first medium is irradiated with planar light from a second medium having a refractive index different from that of the first medium, and an imaging device installed in the second medium is the object. To obtain an image of
Detecting a reflection position of the light on the object projected on the image;
Based on the position information of the optical center of the image pickup device and the position information of the reflection position, a travel path of the line of sight of the image pickup device from the optical center in the second medium to the object is calculated, and Using the positional information of the boundary surface between the first medium and the second medium obtained by the method and the refractive indexes of the first medium and the second medium, the path of the line of sight in the first medium is determined. Calculate
The information indicating the traveling path of the light in the predetermined second medium is acquired, and the first medium is obtained by using the positional information of the boundary surface and the refractive indices of the first medium and the second medium. Calculating the traveling path of the light at
An image processing method.
第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得する手段、
前記画像に写し出された前記対象物における前記光の反射位置を検出する手段、
前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する手段、
予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する手段、
として機能させるためのプログラム。 The computer of the image processing device
An object surrounded by the first medium is irradiated with planar light from a second medium having a refractive index different from that of the first medium, and an imaging device installed in the second medium is the object. Means for obtaining an image of
Means for detecting a reflection position of the light on the object projected on the image;
Based on the position information of the optical center of the image pickup device and the position information of the reflection position, a travel path of the line of sight of the image pickup device from the optical center in the second medium to the object is calculated, and Using the positional information of the boundary surface between the first medium and the second medium obtained by the method and the refractive indexes of the first medium and the second medium, the path of the line of sight in the first medium is determined. Means for calculating,
The information indicating the traveling path of the light in the predetermined second medium is acquired, and the first medium is obtained by using the positional information of the boundary surface and the refractive indices of the first medium and the second medium. Means for calculating a traveling path of the light in
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014115774A JP6485616B2 (en) | 2014-06-04 | 2014-06-04 | Appearance measurement system, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014115774A JP6485616B2 (en) | 2014-06-04 | 2014-06-04 | Appearance measurement system, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015230209A true JP2015230209A (en) | 2015-12-21 |
JP6485616B2 JP6485616B2 (en) | 2019-03-20 |
Family
ID=54887057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014115774A Active JP6485616B2 (en) | 2014-06-04 | 2014-06-04 | Appearance measurement system, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6485616B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018124224A (en) * | 2017-02-03 | 2018-08-09 | 大日本印刷株式会社 | Three-dimensional shape measuring device and program |
JP2019128264A (en) * | 2018-01-25 | 2019-08-01 | 広和株式会社 | In-liquid object measuring apparatus and method |
WO2021070822A1 (en) * | 2019-10-11 | 2021-04-15 | 国立大学法人京都大学 | Shape measurement device, shape measurement method, shape measurement program, and endoscope system |
CN112750153A (en) * | 2019-10-30 | 2021-05-04 | 广赛布托有限公司 | Track calculation device, track calculation method, and computer-readable recording medium |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57147004A (en) * | 1981-03-08 | 1982-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Method for optical measurement of semiconductor plate dimension |
JPH03276005A (en) * | 1990-03-27 | 1991-12-06 | Canon Inc | Shape measuring device |
JPH0783632A (en) * | 1993-09-20 | 1995-03-28 | Nissan Motor Co Ltd | Shape measuring apparatus |
JPH08233535A (en) * | 1995-02-24 | 1996-09-13 | Nippon Telegr & Teleph Corp <Ntt> | Distance measuring apparatus |
JP2000028317A (en) * | 1998-07-08 | 2000-01-28 | Omron Corp | Optical sensor |
US20040074296A1 (en) * | 2002-02-01 | 2004-04-22 | Perry Gavin John | Apparatus and method for oscillating a transmitted laser beam of light within the field of view (fov) of a light receiving system |
JP2007183239A (en) * | 2005-12-08 | 2007-07-19 | Fuji Mach Mfg Co Ltd | Method and device for measuring board surface height |
JP2008224673A (en) * | 2007-03-13 | 2008-09-25 | Eppendorf Ag | Optical sensor system for liquid treatment apparatus and inspection method |
-
2014
- 2014-06-04 JP JP2014115774A patent/JP6485616B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57147004A (en) * | 1981-03-08 | 1982-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Method for optical measurement of semiconductor plate dimension |
JPH03276005A (en) * | 1990-03-27 | 1991-12-06 | Canon Inc | Shape measuring device |
JPH0783632A (en) * | 1993-09-20 | 1995-03-28 | Nissan Motor Co Ltd | Shape measuring apparatus |
JPH08233535A (en) * | 1995-02-24 | 1996-09-13 | Nippon Telegr & Teleph Corp <Ntt> | Distance measuring apparatus |
JP2000028317A (en) * | 1998-07-08 | 2000-01-28 | Omron Corp | Optical sensor |
US20040074296A1 (en) * | 2002-02-01 | 2004-04-22 | Perry Gavin John | Apparatus and method for oscillating a transmitted laser beam of light within the field of view (fov) of a light receiving system |
JP2007183239A (en) * | 2005-12-08 | 2007-07-19 | Fuji Mach Mfg Co Ltd | Method and device for measuring board surface height |
JP2008224673A (en) * | 2007-03-13 | 2008-09-25 | Eppendorf Ag | Optical sensor system for liquid treatment apparatus and inspection method |
Non-Patent Citations (3)
Title |
---|
山下敦: "光切断法における水中物体の3次元計測", 精密工学会誌(CD−ROM), vol. 73, no. 2, JPN7018001162, 5 February 2007 (2007-02-05), pages 265 - 269, ISSN: 0003786615 * |
山下淳、外2名: ""光切断法による水中物体の3次元計測"", 精密工学会誌, vol. 73, no. 2, JPN6018041311, 5 February 2007 (2007-02-05), pages 265 - 269, ISSN: 0003904317 * |
池田真輔、外2名: ""光の屈折を考慮したレーザレンジファインダによる水中物体計測"", 第10回ロボティクスシンポジア予稿集, JPN6018041313, 14 March 2005 (2005-03-14), pages 295 - 300, ISSN: 0003904318 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018124224A (en) * | 2017-02-03 | 2018-08-09 | 大日本印刷株式会社 | Three-dimensional shape measuring device and program |
JP2019128264A (en) * | 2018-01-25 | 2019-08-01 | 広和株式会社 | In-liquid object measuring apparatus and method |
JP7075765B2 (en) | 2018-01-25 | 2022-05-26 | 広和株式会社 | Liquid content measuring device and method |
WO2021070822A1 (en) * | 2019-10-11 | 2021-04-15 | 国立大学法人京都大学 | Shape measurement device, shape measurement method, shape measurement program, and endoscope system |
CN112750153A (en) * | 2019-10-30 | 2021-05-04 | 广赛布托有限公司 | Track calculation device, track calculation method, and computer-readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP6485616B2 (en) | 2019-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6579181B2 (en) | Image acquisition device | |
US8923603B2 (en) | Non-contact measurement apparatus and method | |
CN106595519B (en) | A kind of flexible 3 D contour measuring method and device based on laser MEMS projection | |
US20170160077A1 (en) | Method of inspecting an object with a vision probe | |
JP2010259605A (en) | Visual line measuring device and visual line measuring program | |
JP2013101045A (en) | Recognition device and recognition method of three-dimensional position posture of article | |
JP2012521005A (en) | Optical gauge and three-dimensional surface profile measuring method | |
CN108444449A (en) | It is a kind of to the object space attitude measurement method with parallel lines feature | |
US9551570B2 (en) | Three dimensional optical sensing through optical media | |
CN111161358B (en) | Camera calibration method and device for structured light depth measurement | |
JP2014515471A5 (en) | ||
JP6485616B2 (en) | Appearance measurement system, image processing method, and program | |
JP2016099140A (en) | Water bottom observation system | |
JP2021193400A (en) | Method for measuring artefact | |
WO2015054285A1 (en) | Integrated calibration cradle | |
van der Lucht et al. | Structured-light based 3D laser scanning of semi-submerged structures | |
JP6614905B2 (en) | Three-dimensional measuring apparatus and control method thereof | |
CN109391758A (en) | Sample in sample retainer is imaged | |
JP2006220603A (en) | Imaging apparatus | |
JP2006308452A (en) | Method and apparatus for measuring three-dimensional shape | |
JP3574044B2 (en) | Shape measuring device | |
KR101539425B1 (en) | 3-dimensional scanner capable of acquiring ghostimage-free pictures | |
CN109073371B (en) | Apparatus and method for tilt detection | |
Ohtani et al. | Laser rangefinder calibration based on genetic algorithm | |
EP4009092A1 (en) | Compensation of pupil aberration of a lens objective |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6485616 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |