JP2021063708A - Shape measurement device, shape measurement method, shape measurement program, and endoscope system - Google Patents
Shape measurement device, shape measurement method, shape measurement program, and endoscope system Download PDFInfo
- Publication number
- JP2021063708A JP2021063708A JP2019188208A JP2019188208A JP2021063708A JP 2021063708 A JP2021063708 A JP 2021063708A JP 2019188208 A JP2019188208 A JP 2019188208A JP 2019188208 A JP2019188208 A JP 2019188208A JP 2021063708 A JP2021063708 A JP 2021063708A
- Authority
- JP
- Japan
- Prior art keywords
- light
- wavelength
- depth
- light source
- medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title claims abstract 3
- 238000005259 measurement Methods 0.000 title abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 106
- 238000004364 calculation method Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 230000001678 irradiating effect Effects 0.000 claims abstract description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 40
- 238000010521 absorption reaction Methods 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000031700 light absorption Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 62
- 230000010365 information processing Effects 0.000 description 52
- 238000010586 diagram Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101150039504 6 gene Proteins 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 238000002940 Newton-Raphson method Methods 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000020280 flat white Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、3次元物体の形状を測定する技術に関する。 The present invention relates to a technique for measuring the shape of a three-dimensional object.
上記技術分野において、特許文献1には、2波長あるいは3波長の光を照射し、媒質を介した反射光を受光して、媒質の表面から物体の表面までの深度から物体の形状を測定する技術が開示されている。
In the above technical field,
しかしながら、上記文献に記載の技術では、深度から法線ベクトルを求めるためには深度マップの微分による導出過程が含まれるので、物体表面が連続面であることが条件となり、不連続な表面を有する物体に対しては有効ではなかった。 However, in the technique described in the above document, since the derivation process by differentiating the depth map is included in order to obtain the normal vector from the depth, the object surface must be a continuous surface and has a discontinuous surface. It was not effective against objects.
本発明の目的は、上述の課題を解決する技術を提供することにある。 An object of the present invention is to provide a technique for solving the above-mentioned problems.
上記目的を達成するため、本発明に係る装置は、
少なくとも1波長の光を少なくとも4方向から媒体中の物体に照射する光源ユニットと、
前記少なくとも1波長の光の前記物体による反射光量を検知する光量検知部と、
前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記光量検知部から前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
を備えた形状測定装置である。
In order to achieve the above object, the device according to the present invention
A light source unit that irradiates an object in a medium with light of at least one wavelength from at least four directions.
A light amount detection unit that detects the amount of light reflected by the object of light having at least one wavelength, and
A calculation unit that independently calculates the normal vector of each point on the surface of the object and the depth in the medium from the light amount detection unit to each point on the surface of the object from the reflected light amount. ,
It is a shape measuring device provided with.
上記目的を達成するため、本発明に係るシステムは、
体内に挿入して、少なくとも1波長の光を少なくとも4方向から媒体中の生体内部表面に照射する光源ユニットと、
前記体内に挿入して、前記少なくとも1波長の光の前記生体内部表面による反射光量を検知する光量検知部と、
前記反射光量から、前記生体内部表面の各点の法線ベクトルと、前記光量検知部から前記生体内部表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
を備えた内視鏡システムである。
In order to achieve the above object, the system according to the present invention
A light source unit that is inserted into the body and irradiates the internal surface of the living body in the medium from at least four directions with light of at least one wavelength.
A light amount detection unit that is inserted into the body and detects the amount of light reflected by the internal surface of the living body of light having at least one wavelength.
A calculation unit that independently calculates the normal vector of each point on the internal surface of the living body and the depth in the medium from the light amount detecting unit to each point on the internal surface of the living body from the reflected light amount. ,
It is an endoscopic system equipped with.
上記目的を達成するため、本発明に係る方法は、
少なくとも1波長の光を少なくとも4方向から媒体中の物体に照射する照射ステップと、
前記少なくとも1波長の光の前記物体による反射光量を検知する光量検知ステップと、
前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
を含む形状測定方法である。
In order to achieve the above object, the method according to the present invention
An irradiation step of irradiating an object in a medium with light of at least one wavelength from at least four directions,
A light amount detection step for detecting the amount of light reflected by the object of light having at least one wavelength, and a light amount detection step.
A calculation step of independently calculating the normal vector of each point on the surface of the object and the depth in the medium to each point on the surface of the object from the reflected light amount at each point.
It is a shape measuring method including.
上記目的を達成するため、本発明に係るプログラムは、
少なくとも1波長の光を少なくとも4方向から媒体中の物体に照射する前提として、前記光の方向と、前記光の明るさと、前記光の波長と、前記光に関する前記媒体の光吸収率(absorption coefficient)とを設定する設定ステップと、
前記設定ステップで設定された値および前記光を照射した際の前記物体からの反射光量に基づいて、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
をコンピュータに実行させる形状測定プログラムである。
In order to achieve the above object, the program according to the present invention
Assuming that an object in the medium is irradiated with light of at least one wavelength from at least four directions, the direction of the light, the brightness of the light, the wavelength of the light, and the light absorption coefficient of the medium with respect to the light. ) And the setting step to set
Based on the value set in the setting step and the amount of reflected light from the object when irradiated with the light, the normal vector of each point on the surface of the object and the medium up to each point on the surface of the object. A calculation step that calculates the medium depth independently at each point,
Is a shape measurement program that causes a computer to execute.
本発明によれば、不連続面を有する物体についても、高精度に表面形状を測定することができる。 According to the present invention, the surface shape of an object having a discontinuous surface can be measured with high accuracy.
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, embodiments of the present invention will be described in detail exemplarily with reference to the drawings. However, the components described in the following embodiments are merely examples, and the technical scope of the present invention is not limited to them.
[第1実施形態]
本発明の第1実施形態としての形状測定装置100について、図1を用いて説明する。形状測定装置100は、3次元物体の形状を測定する装置である。
[First Embodiment]
The
図1に示すように、形状測定装置100は、光源ユニット101と、光量検知部102と、算出部103と、を含む。光源ユニット101は、少なくとも1波長の光を少なくとも4方向から媒体110中の物体111に照射する。光量検知部102は、少なくとも1波長の光の物体111による反射光量121を検知する。算出部103は、反射光量121から、物体111の表面の各点の法線ベクトルと、光量検知部102から物体111の表面の各点までの媒体110中の深度とを各点において独立に算出する(131)。ここで、「独立して」とは、両者を物体表面上において互いに依存する数量として算出するのではなく、物体表面上各点において両者を他の点に対して別個の数量として算出することを意味する。
As shown in FIG. 1, the
本実施形態によれば、物体の表面の各点の法線ベクトルと深度とを独立に算出するので、不連続面を有する物体についても、高精度に表面形状を測定することできる。また、物体表面の座標および向きをリアルタイムに導出できるため、動いている物体の形状を短時間に正確に算出できる。また、カメラを動かしながら広範囲の表面形状を短時間に算出できる。 According to this embodiment, since the normal vector and the depth of each point on the surface of the object are calculated independently, the surface shape of the object having a discontinuous surface can be measured with high accuracy. Moreover, since the coordinates and orientation of the surface of the object can be derived in real time, the shape of the moving object can be accurately calculated in a short time. In addition, a wide range of surface shapes can be calculated in a short time while moving the camera.
[第2実施形態] [Second Embodiment]
《形状測定の原理》
まず、本実施形態に係る形状測定の原理について詳細に説明する。
<< Principle of shape measurement >>
First, the principle of shape measurement according to the present embodiment will be described in detail.
(概要)
本実施形態で説明する形状測定方法は、水中の動的物体の表面法線と深さを計測する新しい方法である。従来から、形状復元方法は、形状(つまり深度)または表面法線を推定するためにさまざまな視覚的手掛かりを活用してきた。深度と法線を推定するため従来は、両者を物体表面上において互いに依存する数量として算出していた。本実施形態の新しい方法では、物体が水中で観察されるときに、法線と深度という2つの幾何学的表面特性を、各ピクセルにつき独立に求めることができる。表面反射によるシェーディングと組み合わせて、水中の光路長に応じた光の吸収を活用することがポイントである。水を用いる方法と、そのイメージングパラメータ値を決定するための実用的なキャリブレーション方法との組合せにより、表面の法線と深度計測のための原理を導き出す。この方法はワンショット計測システムとしても実装できる。オフラインイメージングシステムと、ビデオレートイメージングシステムの両方に適用可能である。実世界に存在する、多くの静的物体および動的物体に対して本実施形態にかかる方法は有効である。その結果、他の方法では測定できない複雑な表面的特徴を有する物体形状を測定できるようになった。
(Overview)
The shape measuring method described in this embodiment is a new method for measuring the surface normal and depth of a dynamic object in water. Traditionally, shape restoration methods have utilized a variety of visual cues to estimate shape (ie depth) or surface normals. Conventionally, in order to estimate the depth and the normal, both are calculated as quantities that depend on each other on the surface of the object. In the new method of this embodiment, when an object is observed in water, two geometric surface properties, normal and depth, can be obtained independently for each pixel. The point is to utilize the absorption of light according to the optical path length in water in combination with shading by surface reflection. The combination of a method using water and a practical calibration method for determining its imaging parameter values derives the principles for surface normals and depth measurements. This method can also be implemented as a one-shot measurement system. It is applicable to both offline imaging systems and video rate imaging systems. The method according to this embodiment is effective for many static and dynamic objects existing in the real world. As a result, it has become possible to measure the shape of an object having complex surface features that cannot be measured by other methods.
(イントロダクション)
コンピュータビジョン研究により、フォーカスからテクスチャまで様々な視覚的手掛かりを用いた効果的な3次元形状復元方法として様々なものが考案されてきた。そのほとんどは、shape-from-Xアプローチによるものであるが、物体表面各点の3次元座標とその法線のどちらかを復元することはできるものの、同時に両方を復元することはできなかった。物体表面の法線が推定された物体表面の3次元座標集合(すなわち形状)から算出されるか、あるいは物体表面形状が、物体表面の法線集合から算出されるかのいずれかであった。従来の方法では、複数のカメラまたは複数のアクティブ深度センサが必要であり、原理的に、一回のセンシングでは実現不可能であり、動的に表面を復元することもできなかった。各ピクセルに対応する物体表面各点における法線と3次元座標とを同時にかつ独立に(他の物体表面点に依存することなく)算出することは、任意の複雑な幾何的特徴を有する表面形状を3次元的に復元するにあたり非常に重要である。
(introduction)
Through computer vision research, various effective 3D shape restoration methods have been devised using various visual cues from focus to texture. Most of them are based on the shape-from-X approach, and although it was possible to restore either the 3D coordinates of each point on the surface of the object or its normal, it was not possible to restore both at the same time. The normal of the object surface was either calculated from the estimated three-dimensional coordinate set (that is, the shape) of the object surface, or the object surface shape was calculated from the normal set of the object surface. Conventional methods require multiple cameras or multiple active depth sensors, which in principle cannot be achieved with a single sensing and cannot dynamically restore the surface. Simultaneously and independently calculating the normals and 3D coordinates at each point of the object surface corresponding to each pixel (independent of other object surface points) is a surface shape with arbitrary complex geometric features. It is very important to restore the three-dimensionally.
本実施形態によれば、水中の物体について、表面のピクセルごとに、法線と深度を独立した数量として算出できる。言い換えれば、本実施形態は、図1に示すように、3次元幾何形状を直接復元する。本実施形態では、例として水中の3次元形状の復元を行っているが、本発明の「媒体」は水に限定されるものではなく、油や、溶けたガラスなどの液体でもよく、光の吸収があれば、気体や固体でも良く、適応範囲は広い。特に、医学(内視鏡検査など)、生物学、海洋学、考古学などを含む幅広い分野で重要な用途がある。 According to this embodiment, for an underwater object, the normal and depth can be calculated as independent quantities for each pixel on the surface. In other words, the present embodiment directly restores the three-dimensional geometry, as shown in FIG. In the present embodiment, the three-dimensional shape in water is restored as an example, but the "medium" of the present invention is not limited to water, but may be oil, a liquid such as melted glass, or light. As long as it absorbs, it may be gas or solid, and the range of application is wide. In particular, it has important applications in a wide range of fields including medicine (endoscopy, etc.), biology, oceanography, archeology, etc.
本実施形態では、表面のシェーディング測定と同時に、水中の複数の光路に沿って異なる波長の近赤外光がどの程度吸収されるかを測定し、この近赤外光の減衰と表面のシューディングの統合により深度と法線の同時算出を実現する。 In the present embodiment, at the same time as the surface shading measurement, the amount of near-infrared light of different wavelengths absorbed along a plurality of optical paths in water is measured, and the attenuation of the near-infrared light and the shouldering of the surface are measured. Achieves simultaneous calculation of depth and normal by integrating.
水中の物体表面の各点について法線と深度を求めるには、少なくとも4つの近赤外平行光源が必要である。その光源からの光が物体表面で反射し、反射光が正射影カメラによって捕捉される。4つの光源を使用する場合、理論では、光源の1つ(基本光源と呼ぶ)は他の光源が形成する仮想的な多角錐内に存在する必要がある。残りの光源は、異なる有効吸収係数を実現していれば、カメラの視線方向と同じ極角(polar angle)をなす位置でもよい。 At least four near-infrared parallel light sources are needed to determine the normal and depth for each point on the surface of an object in water. The light from the light source is reflected on the surface of the object, and the reflected light is captured by the orthodox projection camera. When using four light sources, in theory, one of the light sources (called the basic light source) needs to be in a virtual polygonal pyramid formed by the other light source. The remaining light sources may be positioned at the same polar angle as the line-of-sight direction of the camera, as long as they have different effective absorption coefficients.
本実施形態にかかる方法は、複雑な形状を有する実空間での静的物体および動的物体に対して有効である。この方法を実現するイメージングシステムとしては2種類のものが考えられる。一つはモノクロカメラと交換可能な近赤外線バンドパスフィルタを使用したオフラインキャプチャ用システムであり、もう一つはカスタマイズされた多波長カメラを使用したビデオレートキャプチャ用システムである。 The method according to this embodiment is effective for static and dynamic objects in real space having a complicated shape. Two types of imaging systems that realize this method can be considered. One is an offline capture system that uses a near-infrared bandpass filter that can be replaced with a monochrome camera, and the other is a video rate capture system that uses a customized multi-wavelength camera.
図2Aは、水が光を吸収する吸収率が光の波長によってどのように変換するかを示す図である。可視光の範囲では、吸収率は極端に小さいが(水が透明な理由でもある)、近赤外の範囲ではほとんど直線的に上昇する。図2Bに示すように、水中での光の吸収はBeer-Lambertの法則(非特許文献1)で正確にモデル化が可能である。Beer-Lambertの法則によれば、式(1)のように、透過放射輝度Eは、通過距離dが大きくなるにつれて指数関数的に減衰する入射光の輝度L0の関数であらわされる。
ここで、λは光の波長、α(λ)は波長に依存する吸収率である。
FIG. 2A is a diagram showing how the absorption rate at which water absorbs light is converted by the wavelength of light. In the visible light range, the absorptivity is extremely low (which is also the reason why water is transparent), but in the near infrared range it rises almost linearly. As shown in FIG. 2B, the absorption of light in water can be accurately modeled by Beer-Lambert's law (Non-Patent Document 1). According to Beer-Lambert's law, as in Eq. (1), the transmitted radiance E is expressed as a function of the brightness L 0 of the incident light that decays exponentially as the passing distance d increases.
Here, λ is the wavelength of light, and α (λ) is the absorption rate depending on the wavelength.
2つの近赤外波長で同じ面を撮像することによる、形状復元については、非特許文献2に記載がある。非特許文献2では、近赤外の平行光源とそれに同軸に配置されたカメラシステムとを用いている。また、905nmと950nmといった、2つの異なる近赤外光のみを透過させるバンドパスフィルタを用いている。非特許文献2によれば、水による近赤外光の吸収率は波長に依存するため、異なる近赤外光の物体表面での反射光が異なることが分かる。すなわち、2つの近赤外波長を有する光を照射した場合の物体による反射光の比から、物体表面までの光透過距離を推定でき、それにより深度を推定している。表面反射のスペクトル特性は近赤外光については一定であると一般に仮定できる。
(近赤外の複数波長による画像処理)
本実施形態では、図2Cのように、1つの基準光源を含むK個の平行光源と、1台の正射影カメラを用いる。取り扱うパラメータを以下のように定義する。なお、座標系は全てカメラ座標系を基準とする。→lcと→liは、視線方向と、波長λiおよび強度liの光源iの方向をそれぞれ示している。
(Image processing with multiple wavelengths in the near infrared)
In this embodiment, as shown in FIG. 2C, K parallel light sources including one reference light source and one normal projection camera are used. The parameters to be handled are defined as follows. The coordinate system is all based on the camera coordinate system. → l c and → l i indicate the direction of the line of sight and the direction of the light source i having the wavelength λ i and the intensity l i, respectively.
水面から深度d(x)の表面点への入射光は、水の中を距離{d(x)/→lc T→li}だけ進み、画素xによりその反射光が補足される物体表面上の点で反射してd(x)進んでカメラに到達する。近赤外光は、空気中ではほぼ吸収されず、水中のみで吸収されると一般に仮定できる。 The incident light from the water surface to the surface point at the depth d (x) travels in the water by a distance {d (x) / → l c T → l i }, and the reflected light is captured by the pixel x on the surface of the object. It reflects at the upper point and advances d (x) to reach the camera. It can be generally assumed that near-infrared light is hardly absorbed in air and is absorbed only in water.
式(1)から、物体表面の波長依存反射率をs(λ)、物体表面の形状依存反射率をr(ω)とすると、反射係数s(λ)r(ω)の面に対して、カメラで撮像された光強度は式(2)のようになる。
ここで、^αiは、式(3)で表される実効吸収率である。
ここで波長依存項α(λi)は、式(4)のように近赤外光に対して変化しないと近似する。
水による近赤外光の吸収に加えて物体表面における陰影を活用するので、物体表面が完全拡散面 (Lambertian surface)であると仮定する。完全拡散反射は法線→n(x)と入射光線方向→l_iを用いて、式(5)で表される。
そして、式(6)を得る。
なお波長依存成分ρは各ピクセルで異なっていてもよく、対象表面上で一様である必要はない。
From equation (1), assuming that the wavelength-dependent reflectance of the object surface is s (λ) and the shape-dependent reflectance of the object surface is r (ω), the surface with the reflectance coefficient s (λ) r (ω) is The light intensity captured by the camera is as shown in equation (2).
Here, ^ α i is the effective absorption rate represented by the equation (3).
Here, the wavelength-dependent term α (λ i ) is approximated to be unchanged with respect to near-infrared light as in Eq. (4).
We assume that the object surface is a Lambertian surface because it utilizes shadows on the object surface in addition to the absorption of near-infrared light by water. Perfect diffuse reflection is expressed by Eq. (5) using normal → n (x) and incident ray direction → l_i.
Then, the equation (6) is obtained.
The wavelength-dependent component ρ may be different for each pixel and does not have to be uniform on the target surface.
同じ点(カメラ画像の同じ画素位置)の他の観察は、他の近赤外光源jで与えられる。
同じ強度の光源を用いて、Li=Ljとすると、
各光源に対応する式(8)を並べて行列形式にすると、式(9)となる。
ここで、深度ベクトル→d(x)∈R(K-1)x1と、光源行列L=[l2...lK]T∈R(K-1)x3を定義した。l1を基準光源とし、光源行列L内の他の全光源を補助光源とする。
Other observations of the same point (same pixel position in the camera image) are given by another near-infrared light source j.
Using a light source of the same intensity and setting L i = L j,
When the equation (8) corresponding to each light source is arranged in a matrix format, the equation (9) is obtained.
Here, the depth vector → d (x) ∈ R (K-1) x1 and the light source matrix L = [l 2 ... l K ] T ∈ R (K-1) x3 are defined. l 1 is used as a reference light source, and all other light sources in the light source matrix L are used as auxiliary light sources.
(深度と法線ベクトルの復元)
式(9)は、深度d(x)と法線ベクトル→n(x)両方を変数とする非線形連立方程式である。閉形式解は持たないが、式(9)から画素xの先に存在する物体の深度d(x)と法線ベクトル→n(x)を一意に復元することができる。式(9)の両辺に対し、Moore-Penroseの擬似逆行列L+ = (LT L)-1LTを左から掛けると、式(10)となる。
次に、→l1 Tを左から両辺に掛けると、式(11)になる。
ここで後述する条件を満たすように事前に光源を設計しておくことにより、式(12)から一意な大域的最適解として→d(x)を得ることができる。すなわち式(12)の右辺は単調関数となるためNewton-Raphson法のような既存の数値最適化を用いて大域的最適解を効率的に得ることができる。さらに、最適化には、→d(x)に関するb→d(x)の一階導関数および二階導関数を用いることができる。b→d(x)が指数関数の和であることから、その導関数もまた簡潔な指数関数の和の形式で与えられる。
(Restoration of depth and normal vector)
Equation (9) is a nonlinear simultaneous equation with both the depth d (x) and the normal vector → n (x) as variables. Although it does not have a closed form solution, it is possible to uniquely restore the depth d (x) and the normal vector → n (x) of the object existing beyond the pixel x from the equation (9). To both sides of the equation (9), the pseudo-inverse matrix of Moore-Penrose L + = (L T L) multiplied by -1 L T from the left, the formula (10).
Next, multiplying → l 1 T from the left on both sides gives equation (11).
By designing the light source in advance so as to satisfy the conditions described later, it is possible to obtain → d (x) as a unique global optimum solution from the equation (12). That is, since the right side of equation (12) is a monotonic function, a global optimum solution can be efficiently obtained by using an existing numerical optimization such as Newton-Raphson method. Further, for optimization, the first-order derivative and the second-order derivative of b → d (x) related to → d (x) can be used. Since b → d (x) is the sum of exponential functions, its derivative is also given in the form of a concise sum of exponential functions.
式(12)から深度→d(x)が与えられると、式(10)の右辺を用いて、→l1Tn(x)でスケーリングした法線ベクトルが算出される。この法線ベクトル→n(x)は式(13)で与えられる。
この導出が示すように、1つの視点から撮像された光源の重なり領域の各画素において、法線ベクトルと深度とを復元できる。滑らかさなどの対象物体表面の補助的な幾何学的制約には依存していない。
Given the depth → d (x) from equation (12), a normal vector scaled by → l 1 T n (x) is calculated using the right-hand side of equation (10). This normal vector → n (x) is given by Eq. (13).
As this derivation shows, the normal vector and depth can be restored in each pixel of the overlapping region of the light source imaged from one viewpoint. It does not rely on auxiliary geometric constraints on the surface of the object, such as smoothness.
(物体形状復元の条件)
一意な深度と法線ベクトルを復元する条件を分析する。一旦、深度が推定されると、式(13)から、行列Lの階数(rank)が少なくとも3でなければならないと分かる。行列Lは光源方向を並べたものであったので、それらが3次元空間を張る必要があるという条件は、一般的な照度差ステレオと同じである。しかしながら、基準光源に加えて、少なくとも3つの補助光源が必要であり、光源の総数は少なくとも4つとなる(K≧4)。
(Conditions for object shape restoration)
Analyze the conditions for restoring the unique depth and normal vector. Once the depth is estimated, equation (13) shows that the rank of the matrix L must be at least 3. Since the matrix L is an arrangement of the light source directions, the condition that they need to extend a three-dimensional space is the same as that of a general illuminance difference stereo. However, in addition to the reference light source, at least three auxiliary light sources are required, and the total number of light sources is at least four (K ≧ 4).
深度が復元された場合、式(12)から、補助光源の実効吸収率は式(14)のように全て基準光源の吸収率と異なるべきであると分かる。
式(3)の実効吸収率は、吸収率αiと完全拡散反射lc Tliとの両方の関数である。実効吸収率が満たすべき要件は、式(14)を成立させることであるので、全ての光源が異なる波長を持つことや、または、視線方向に対する異なる極角を持つことを常には必要としない。
When the depth is restored, it can be seen from the equation (12) that the effective absorption rate of the auxiliary light source should be different from the absorption rate of the reference light source as in the equation (14).
The effective absorption rate of equation (3) is a function of both the absorption rate α i and the perfect diffuse reflection l c T l i. Since the requirement that the effective absorption rate must be satisfied is that the equation (14) is satisfied, it is not always necessary that all the light sources have different wavelengths or different polar angles with respect to the line-of-sight direction.
式(12)の右辺はベクトル→d(x)の一般的な指数関数の和であり、閉形式解を持たない。しかしながら、bi(ベクトル→bのi番目の要素)と^αi−^α1との組の全符号が一致していれば、それはd(x)の単調関数である。実際には光源は同一半球内に配置する必要があるため、ベクトル→bの要素は全てが非負か全てが負かいずれかとなる。この場合に、単調増加関数の和は単調増加関数となるため、^αi−^α1がi=2,...,Kそれぞれで全て非負か全て負である場合、単調性は維持される。段落0038で説明するように基準光源の実効吸収率^α1は全光源の実効吸収率の最小値となる場合に最も深度推定精度の観点から有利である。この場合、基準光源からの全ての実効吸収率の差は正になるので、ベクトル→bの全要素が非負の場合に一意な解が得られる。 The right-hand side of equation (12) is the sum of the general exponential functions of vector → d (x) and does not have a closed form solution. However, if all signs of the pair of b i (vector → i-th element of b) and ^ α i − ^ α 1 match, it is a monotonic function of d (x). In reality, since the light sources need to be arranged in the same hemisphere, all the elements of vector → b are either non-negative or all negative. In this case, the sum of the monotonically increasing functions is a monotonically increasing function, so if ^ α i − ^ α 1 is non-negative or all negative for each of i = 2, ..., K, the monotonicity is maintained. To. As explained in paragraph 0038, the effective absorption rate of the reference light source ^ α 1 is most advantageous from the viewpoint of depth estimation accuracy when it becomes the minimum value of the effective absorption rate of all the light sources. In this case, since the difference between all the effective absorption rates from the reference light source is positive, a unique solution can be obtained when all the elements of the vector → b are non-negative.
非特許文献3で証明されているように、擬似逆行列L+によって得られるb=→l1 T→L+は、→l2...→liの線形結合としてl1を復元するうえでの最小ノルム解である。K=4、すなわち3つの補助光源の場合、もし他の3つの光源が形成する三角錐内に基準光源があれば、ベクトル→bの全要素は非負となり一意な大域的最適解を得ることができる。これは、直感的に、ベクトルbの全要素が負になることは、基準光源の反対側から補助光源がターゲットを照射している状況を意味するため物理的に実現不可能であることを意味する。
As proved in
K>4の場合、b≧0が成り立つ条件は自明ではない。しかしながら、実際には、^αiと→bとは吸収率と光源の方向とのみに依存し、全画素で共有されるので、一旦、照射方向がキャリブレートされたら直ちに基準光源の最小有効級数係数^α1と要素→bの非負性が確認される。すなわち、一旦、キャリブレートされた光源方向が非負の制約を満たせば、式(12)による深度推定は、一意な大域的最適解を得られる単調関数であることを保証する。 When K> 4, the condition that b ≧ 0 is not obvious. However, in reality, ^ α i and → b depend only on the absorption rate and the direction of the light source and are shared by all pixels. Therefore, once the irradiation direction is calibrated, the minimum effective series coefficient of the reference light source is used. The non-negativeness of ^ α 1 and element → b is confirmed. That is, once the calibrated light source direction satisfies the non-negative constraint, the depth estimation by Eq. (12) guarantees that it is a monotonic function that can obtain a unique global optimum solution.
水中から法線ベクトルと形状とを得るには、次の条件が満たされなければならない。
・少なくとも4つの近赤外の平行光源
・補助光源の方向が、互いに独立であること
・補助光源の実効吸収率は、基準光源の実効吸収率と異なること
・bの全要素が負でないこと
これらの条件は、光の波長と方向の異なる組み合わせによる実効吸収率の実現の余地がある。例えば、もし補助光源が同じ波長を持つように選んだら、補助光源の方向の各々は基準光源に対し互いに異ならなければならない。もし補助光源の波長が全て異なるならば、全ての補助光源が視線方向に対して同じ極角となるように配置できる。後者の場合、波長の異なる光は互いに干渉しないので、一回の露光による撮像で法線ベクトルと形状の復元のために必要な情報を全て得ることができる。基準光源と補助光源とが、1波長の光を物体に照射してもよく、補助光源がそれぞれバラバラの極角を持てばいい。実効吸収率の差を極角だけでつくる構成も可能である。
To obtain the normal vector and shape from water, the following conditions must be met.
-At least four near-infrared parallel light sources-The directions of the auxiliary light sources are independent of each other-The effective absorption rate of the auxiliary light source is different from the effective absorption rate of the reference light source-All the elements of b are not negative. There is room for realizing the effective absorption rate by combining different wavelengths and directions of light. For example, if the auxiliary light sources are chosen to have the same wavelength, the directions of the auxiliary light sources must be different from each other with respect to the reference light source. If the wavelengths of the auxiliary light sources are all different, all the auxiliary light sources can be arranged so as to have the same polar angle with respect to the line-of-sight direction. In the latter case, since lights of different wavelengths do not interfere with each other, it is possible to obtain all the information necessary for restoring the normal vector and shape by imaging with a single exposure. The reference light source and the auxiliary light source may irradiate the object with light of one wavelength, and the auxiliary light sources may have different polar angles. It is also possible to make the difference in effective absorption rate only by the polar angle.
(深度の精度分析)
仮に全ての光源を同じ方向→li=→l1に設定した場合、式(9)の右辺は全てが"1"のベクトルとなり、深度は各iに対して式(15)のようになる。
これは、非特許文献2によって深度を推定することと等価である。式(15)は、観測された反射光の放射輝度の比が大きいほど深度の推定がより正確になることを示唆する。この関係は基準光源と各補助光源全ての間で成り立つので、実際には、基準光源のもとでの観測輝度と、全ての補助光源のもとでの観測輝度の比ができるだけ大きいことが望ましいことを意味する。
(Depth accuracy analysis)
If all light sources are set in the same direction → l i = → l 1 , the right side of equation (9) is a vector of "1", and the depth is as shown in equation (15) for each i. ..
This is equivalent to estimating the depth according to
もし入力画像への追加ノイズεを考慮すると、絶対深度誤差は式(16)となる。
式(16)は、観察された放射輝度が大きくなるにつれて、絶対誤差が小さくなる(ノイズに強くなる)ことを示唆する。
これら結果は、実効吸収率の差は最大化するように、一方、各光源のもとで観察される放射輝度はできるだけ大きくなるように、波長と光源の方向を選択すると精度向上が望めることを示唆する。
If the additional noise ε to the input image is taken into account, the absolute depth error is given by Eq. (16).
Equation (16) suggests that as the observed radiance increases, the absolute error decreases (becomes more resistant to noise).
These results show that the accuracy can be improved by selecting the wavelength and the direction of the light source so that the difference in effective absorption rate is maximized, while the radiance observed under each light source is as large as possible. Suggest.
(キャリブレーション)
以上、カメラの投影モデルが厳密に正射影であることや、光源が同じ強度の平行光源であることを仮定してきた。しかし、実際には、これらの要件が満たされず、例えば、光の強度に応じて測定値を増減させることを考慮しなければならない。一般に光源方向は金属球(chrome ball)をターゲットの配置場所に置くことで推定できるが、ハイライトを使用すると推定が正確なものとはならない。そこで、光源方向と光源強度の両方を同時に推定し、形状と法線の確実で正確な推定を実現する、実用的なキャリブレーション方法を提供する。
(Calibration)
As described above, it has been assumed that the projection model of the camera is strictly normal projection and that the light sources are parallel light sources of the same intensity. However, in practice, these requirements are not met, and it must be considered, for example, that the measured value may be increased or decreased depending on the intensity of light. Generally, the direction of the light source can be estimated by placing a chrome ball at the target location, but using highlights does not make the estimation accurate. Therefore, we provide a practical calibration method that estimates both the light source direction and the light source intensity at the same time and realizes reliable and accurate estimation of the shape and normal.
特に、ターゲットがカバーする空間内に、カメラから既知の相異なる深度で完全拡散球(Lambertian sphere)を浸す。完全拡散球の半径はあらかじめ計測することで既知であるとし、完全拡散球面上の任意の点xにおける深度の真値^d(x)と法線ベクトルの真値^n(x)を算出することができる。このとき光源の方向ベクトル→l={→l1...→lK}と光源の強度→L={→L1...→LK}が、式(17)のL2ノルムを最小とすることで推定することができる。
ここで、nは撮像画像の数、mは有効な画素数、k1およびk2はスカラー重み、dは推定深度、→nは推定法線ベクトルである。
(実験結果)
仮想光源および900nmから1000nmの範囲の近赤外の実光源を使用して、上記方法を検証した。上記範囲の赤外線光の吸収率は5×10-3から3×10-2の間で劇的に変化する。
In particular, immerse the Lambertian sphere in the space covered by the target at different depths known from the camera. Assuming that the radius of the perfect diffusion sphere is known by measuring in advance, the true value ^ d (x) of the depth at an arbitrary point x on the perfect diffusion sphere and the true value ^ n (x) of the normal vector are calculated. be able to. At this time, the direction vector of the light source → l = { → l 1 ... → l K } and the intensity of the light source → L = { → L 1 ... → L K }, and the L2 norm of Eq. (17) is the minimum. It can be estimated by doing.
Here, n is the number of captured images, m is the number of effective pixels, k 1 and k 2 are scalar weights, d is the estimated depth, and → n is the estimated normal vector.
(Experimental result)
The above method was verified using a virtual light source and a near-infrared real light source in the 900 nm to 1000 nm range. The absorption rate of infrared light in the above range varies dramatically between 5 × 10 -3 and 3 × 10 -2.
PBRT(Physically Based Rendering:非特許文献4)で生成された8ビット合成画像を用いて、本方法の復元の精度とノイズへの頑健性とを定量的に検証した。K個の光源の下でターゲットを正投影カメラで撮影したように画像を生成した。K個の光源の1つは基準光源としてカメラと同軸に配置され、他の光源は補助光源として基準光源の周りに正(K−1)角形を形成するするように配置された。K個の吸収率は、5×10-3から3×10-2の間で等差数列となるように設定された。 Using 8-bit composite images generated by PBRT (Physically Based Rendering: Non-Patent Document 4), the accuracy of restoration and robustness to noise of this method were quantitatively verified. The image was generated as if the target was taken with an orthographic camera under K light sources. One of the K light sources was arranged coaxially with the camera as a reference light source, and the other light source was arranged as an auxiliary light source so as to form a positive (K-1) square around the reference light source. The absorption rate of K pieces was set to be an arithmetic progression between 5 × 10 -3 and 3 × 10 −2.
図2Dは、4個の光源を用いた場合の結果を示す図である。(a)および(b)は、本実施形態にかかる方法で復元した法線ベクトルと深度を示している。また、(c)には、従来の方法として、推定された深度から画像内の近傍点を用いた数値微分によって算出された法線ベクトルが示され、(d)には、推定された法線ベクトルから画像内の近傍点を用いて積分された深度(非特許文献5)が示されている。誤差EnとEdは、法線ベクトルの推定程度と、物体サイズにより正規化された推定深度とのRMSE(Root Mean Square Error:平均平方二乗誤差)を表している。これらの結果は、明らかに本実施形態にかかる物体形状測定方法による画素単位の法線ベクトルと深度との同時推定が優れていることを示している。従来の方法は必然的に他を得るために一方の推定に依存しており、その結果、精度が著しく低下する。 FIG. 2D is a diagram showing the results when four light sources are used. (a) and (b) show the normal vector and the depth restored by the method according to this embodiment. Further, (c) shows a normal vector calculated by numerical differentiation using neighboring points in the image from the estimated depth as a conventional method, and (d) shows the estimated normal. The depth integrated from the vector using the neighborhood points in the image (Non-Patent Document 5) is shown. The errors En and Ed represent RMSE (Root Mean Square Error) between the degree of estimation of the normal vector and the estimated depth normalized by the object size. These results clearly show that the simultaneous estimation of the normal vector and the depth in pixel units by the object shape measuring method according to the present embodiment is excellent. Traditional methods inevitably rely on one estimation to obtain the other, resulting in a significant decrease in accuracy.
図2Eは、異なるノイズレベルで推定誤差をプロットしたものである。値σは、[0:1]の範囲で印加されたゼロ平均ガウス雑音の標準偏差である。異なる線は、3個から8個の補助電源を使用した場合の結果を示している。実線は、カメラと同心に配置された5×10-3と3×10-2の吸収率の2つの光源を用いた非特許文献2による結果を示している。これらの結果は、誤差がノイズの増加と共に直性的に増加するが、光源数の増加はノイズの影響を弱めることを示している。
FIG. 2E is a plot of estimation errors at different noise levels. The value σ is the standard deviation of the zero mean Gaussian noise applied in the range [0: 1]. The different lines show the results when using 3 to 8 auxiliary power supplies. The solid line shows the result according to
(静止物体の復元)
フレネルレンズを有する4つの光源と、切替可能な近赤外バンドパスフィルタを備えたモノクロカメラとを備えた画像処理システムを用いて、水中の静止物体の、オフラインの法線ベクトルと形状を復元する例について説明する。4つの光源は880nm、905nm、925nm、950nmの4つの近赤外波長の光を照射する。4つの光源は多角錐の要件を満たすように、視点方向に対して異なる角度に配置された。実効吸収率が最大に異なるように、4つの異なる波長および方向の光を照射した。
吸収率は、水中において既知の位置に置かれた平らな白いターゲットを撮像することにより、Beer-Lambertの法則で計算する。光源の方向と強度は共に、本キャリブレーション方法により推定される。キャリブレーション前後のEnおよびEdは、それぞれ27.039と0.183、7.728と0.002であった。異なる位置に置かれたキャリブレーションで使用されない他の球体のEnおよびEdは、7.85と0.002であり、キャリブレーションの正確さを検証できる。
(Restoration of stationary objects)
An image processing system with four light sources with Fresnel lenses and a black-and-white camera with a switchable near-infrared bandpass filter is used to restore the offline normal vector and shape of a stationary object in water. An example will be described. The four light sources irradiate light with four near-infrared wavelengths of 880 nm, 905 nm, 925 nm and 950 nm. The four light sources were arranged at different angles with respect to the viewpoint direction to meet the requirements of the polygonal pyramid. Lights of four different wavelengths and directions were irradiated so that the effective absorptivity was maximally different.
Absorption is calculated by Beer-Lambert's law by imaging a flat white target placed in a known location in water. Both the direction and intensity of the light source are estimated by this calibration method. En and Ed before and after calibration were 27.039 and 0.183, 7.728 and 0.002, respectively. The En and Ed of the other spheres that are not used in the calibration placed in different positions are 7.85 and 0.002, which can verify the accuracy of the calibration.
図2Fは、上記方法を、鋭い***や折り目、不連続を含む複雑な幾何形状をもつ実際の物体に適用した結果として、推定された法線と深度とを示している。本方法が正確な画素単位の深度および法線を復元できることが分かる。すなわち、表面の不連続や法線向きの急激な変化にかかわらず表面の細部が復元されている。 FIG. 2F shows the estimated normals and depths as a result of applying the above method to a real object with complex geometry including sharp ridges, creases and discontinuities. It can be seen that this method can restore accurate pixel-by-pixel depth and normals. That is, the details of the surface are restored despite the discontinuity of the surface and the sudden change in the direction of the normal.
(動的物体の復元)
本方法を、ビデオレートの3次元検知システムとして実装した。図2Gに示すように、各波長14fps(frame/sec)において6つの異なる波長の動画像を撮像できる10ビットのマルチ波長カメラを使用した。ここでは852nm、880nm、905nm、950nmの近赤外バンドパスフィルタを使用した。また、852nmと組み合わせて、可視光のRGBカラー情報を提供するため、グリーンおよびブルー波長範囲の2つの追加のフィルタを用いた。カラー情報を得るため、図2Gに示すように、可視光の光源(右上の「Texture light source」)を加えた。
この可視光光源からの照射光は、近赤外光源からの照射光に干渉しない。法線および深度と同時に色情報を得られることは、本方法のさらなる優位点である。本実装においては、ビデオレート多波長撮像カメラとして、6つの画像が時間的に連続して取得されるものを用いた。実際には異なる波長間での時間差は、実験で用いた動的物体に対して十分に小さい。必要であれば、推定されたオプティカルフローを用いて観察結果を位置合わせすることができる。図2Hおよび図2Iは、ビデオ速度の法線と深度を復元した、泳いでいる魚のいくつかのフレームを示している。
(Restoration of dynamic objects)
This method was implemented as a video rate 3D detection system. As shown in FIG. 2G, a 10-bit multi-wavelength camera capable of capturing moving images of six different wavelengths at each wavelength of 14 fps (frame / sec) was used. Here, 852 nm, 880 nm, 905 nm, and 950 nm near-infrared bandpass filters were used. Two additional filters in the green and blue wavelength ranges were also used to provide RGB color information for visible light in combination with 852 nm. In order to obtain color information, a visible light source (“Texture light source” in the upper right) was added as shown in FIG. 2G.
The irradiation light from this visible light source does not interfere with the irradiation light from the near-infrared light source. Obtaining color information at the same time as normal and depth is a further advantage of this method. In this implementation, a video-rate multi-wavelength imaging camera in which six images are continuously acquired in time is used. In reality, the time difference between different wavelengths is small enough for the dynamic object used in the experiment. If necessary, the estimated optical flow can be used to align the observations. 2H and 2I show some frames of the swimming fish with the video velocity normals and depths restored.
《情報処理システムの構成と動作》
以下、図3A乃至図7Dを参照して、本実施形態の情報処理システム300の構成と動作を詳細に説明する。図3Aは、本実施形態に係る形状測定部330を含む情報処理システム300の構成を示すブロック図である。
<< Configuration and operation of information processing system >>
Hereinafter, the configuration and operation of the
情報処理システム300は、水中310の対象物体320と、4方向から水中310の物体に照射する光源301〜304と、4つの異なる波長の画像を撮像するマルチ波長撮像カメラユニット305と、情報処理装置306とを含む。
The
光源301〜304は異なる波長の光を4方向から水中310の対象物体320に照射する。マルチ波長撮像カメラユニット305は、カメラ351とカメラ351のレンズ前で回転して異なる4つの波長を透過するバンドパスフィルタ352とを含むが、異なる4つの波長の画像を撮像可能な撮像装置であれば限定されない。これはあくまでも例示であり、本発明はこの実装に限定されるものではなく、例えば屈折光学系を用いて、4波長以上の光を完全同期撮影する単一視点撮像系を用いてもワンショット画像処理システムを構成できる。
The
情報処理装置306は、本実施形態の形状測定部330としての形状測定部と、3次元物体復元部340と、3次元物体の復元像を表示する表示部350と、情報処理装置306の各構成要素を操作する操作部360と、を有する。
The
本実施形態の形状測定部330は、光源制御部331と、光量検知部332と、算出部333と、キャリブレーション制御部334と、を備える。光源制御部331および光源301〜304は、少なくとも1波長の光を少なくとも4方向から水中310の物体320に照射する。光量検知部332は、物体320からの反射光量を検知する。算出部333は、反射光量に基づいて、物体の表面の各点の法線ベクトルと物体の表面の各点までの水中310の深度とをそれぞれ各画素ごとに独立に算出する。光源301〜304は、波長と方向との少なくともいずれかがそれぞれ異なる4つ以上の光を物体に照射し、光量検知部332は、4つ以上の光による反射光量を別々に検知する。ここで、少なくとも1波長の光は、互いに異なる4波長の光であってもよい。光源301〜304は、同じ1波長の光を照射してもよく、1つの方向に対して他の3つの方向がなす角度が異なってもよい。算出部333は、法線ベクトルおよび深度を、光の方向と、光の明るさと、光の波長と、少なくとも1波長に含まれる各波長に関する水中の光吸収率(absorption coefficient)とに基づいて、算出する。また、光源301〜304が水中310の対象物体に照射する光は、近赤外光であり、800nmから1000nmの間に含まれる波長を有する。キャリブレーション制御部334は、光の方向と強度との両方を同時にキャリブレートすることができる。
The
光源制御部331は、光源301〜304の照射を制御する。本実施形態では、光源301〜304は照射しつづければよく、タイミング制御は不要である。異なる波長を使っている限りは干渉しないからである。しかし、本発明はこれに限定されるものではなく、光源が全ての波長を含み、能動的に点灯を制御してもよい。同じ波長の場合は、照射と撮像を同期しつつタイミングをずらす必要がある。光量検知部332は、それぞれの光源で照射された対象物体320からの反射光の各画素の光量を検知する。算出部333は、光量検知部332が検知した、それぞれの光源で照射された対象物体320からの各画素の光量から、対象物体320表面の各画素の深度と法線ベクトルとを算出する。キャリブレーション制御部334は、形状測定部330による対象物体320表面の各画素の深度と法線ベクトルとの算出に先だって、各構成要素、特に、本実施形態においては光の方向と光の強度との両方を同時にキャリブレーションする。
The light
《形状測定部の機能構成》
図3Bは、本実施形態に係る形状測定部330の機能構成を示すブロック図である。
<< Functional configuration of shape measurement unit >>
FIG. 3B is a block diagram showing a functional configuration of the
形状測定部330は、図3Aの構成要素に加えて、各種パラメータやデータを格納するデータベース335を備える。データベース335には、光源パラメータ341と、カメラパラメータ342と、法線ベクトル・深度算出式343と、検知光量蓄積部345と、キャリブレーションアルゴリスム346と、が格納される。光源パラメータ341は、光源制御部331に接続された光源のパラメータを格納する。カメラパラメータ342は、光量検知部332に検知した光量を送出するマルチ波長撮像カメラユニット305のパラメータを格納する。法線ベクトル・深度算出式343は、算出部333が、各画素の4つの異なる反射光量から対象物体320の表面画素の法線ベクトルおよび深度を算出するための算出式やアルゴリズムを格納する。検知光量蓄積部345は、光量検知部332が検知した4つの異なる波長の各画素の光量を蓄積する。キャリブレーションアルゴリスム346は、形状測定前に行う本実施形態のキャリブレーションのアルゴリズムを格納する。
The
形状測定部330の算出部333は、法線ベクトル・深度算出部371と、画素単位データ取得部373と、法線深度算出用テーブル375と、データ出力部376と、を備える。法線ベクトル・深度算出部371は、データベース335の各パラメータや法線ベクトル・深度算出式343を参照して、各画素の異なる検知光量から画素ごとに独立に法線ベクトルおよび深度を算出する。画素単位データ取得部373は、画素単位検知光量テーブル374を有する。光量検知部332は、4つの異なる光源による撮像画像に対応して検知光量を取得し、検知光量蓄積部345に蓄積する。画素単位データ取得部373は、蓄積された検知光量を、各画素単位の4つの検知光量として取得して、光源制御部331と法線ベクトル・深度算出部371とに送出する。法線深度算出用テーブル375は、データベース335の各パラメータや算出式に基づいて、法線深度算出用の中間データおよび形状測定の条件を記憶する。データ出力部376は、光源制御部331と法線ベクトル・深度算出部371とが算出した各画素の深度および法線ベクトルをセットにして出力する。
The
(光源パラメータ)
図4Aは、本実施形態に係る光源パラメータ341の構成を示す図である。光源パラメータ341は、深度および法線ベクトルの算出に用いられる各光源のパラメータを光源インデックスiに対応付けて格納する。図4Aには、本実施形態で使用可能な2つの光源パラメータの組が示されている。
(Light source parameter)
FIG. 4A is a diagram showing the configuration of the
光源パラメータ341の1つは、光源インデックス411に対応付けて、波長412と、吸収率413と、方向ベクトル414を記憶する。この組では、4つの光の波長412が異なる場合が示されている。この場合には、前述の実効吸収率の条件を満たせば方向ベクトル414が異なることは必須ではない。
One of the
光源パラメータ341のもう1つは、光源インデックス411に対応付けて波長415と、吸収率416と、方向ベクトル417を記憶する。この組では、4つの光の波長415が等しい場合が示されている。この場合には、前述の実効吸収率の条件を満たすために方向ベクトル417は異なることが必須である。
The other of the
なお、図4Aには2つの極端な例を示したが、前述の実効吸収率の条件を満たす組み合わせであれば、その光源の組み合わせが使用可能である。 Although two extreme examples are shown in FIG. 4A, the combination of light sources can be used as long as the combination satisfies the above-mentioned effective absorption rate condition.
(カメラパラメータ)
図4Bは、本実施形態に係るカメラパラメータ342の構成を示す図である。カメラパラメータ342は、深度および法線ベクトルの算出に用いられるマルチ波長撮像カメラユニット305の各種パラメータである。
(Camera parameters)
FIG. 4B is a diagram showing the configuration of the
カメラパラメータ342は、方向ベクトル421と、バンドパスフィルタ情報424とを記憶する。そして、バンドパスフィルタ情報424として、光源インデックス411に対応付けられたインデックスiに対応して、バンドパスフィルタで透過する波長λiを記憶する。
The
(検知光量蓄積部)
図4Cは、本実施形態に係る検知光量蓄積部345における蓄積情報を示す図である。検知光量蓄積部345は、データベース335に設けられ、光量検知部332が検知した光量を異なる波長に対応づけて格納する。
(Detected light amount storage unit)
FIG. 4C is a diagram showing the accumulated information in the detected light
検知光量蓄積部345は、光源インデックス431に対応して、撮像画像内の全画素の検知光量432が格納される。検知光量432は、画素(x)にそれぞれ対応して光量E(x)を記憶する。
The detection light
(画素単位光量テーブル)
図4Dは、本実施形態に係る画素単位検知光量テーブル374の構成を示す図である。画素単位検知光量テーブル374は、検知光量蓄積部345に蓄積された撮像画像単位の検知光量を画素単位の光量に変換したテーブルであり、各画素の深度および法線ベクトルの算出に用いられる。
(Pixel unit light intensity table)
FIG. 4D is a diagram showing the configuration of the pixel unit detection light amount table 374 according to the present embodiment. The pixel unit detection light amount table 374 is a table in which the detection light amount of the captured image unit stored in the detection light
画素単位検知光量テーブル374は、画素インデックス441に対応付けて、光源1を照射した場合の反射光データ442と、光源2を照射した場合の反射光データ443と、光源3を照射した場合の反射光データ444と、光源4を照射した場合の反射光データ445とを記憶する。ここで、画素インデックスX=(x, y)は画像面上の座標である。各光源iを照射した場合の反射光データとしては、波長λi、吸収率αi、方向ベクトル→liと、検出光量Ei(x)とを含む。
The pixel unit detection light amount table 374 is associated with the
(法線深度算出用テーブル)
図4Eは、本実施形態に係る法線深度算出用テーブル375の構成を示す図である。法線深度算出用テーブル375は、本実施形態で使用される実効吸収率に関連するテーブル450と、法線ベクトルおよび深度を算出するために使用されるテーブル460と、本実施形態における形状測定を可能とする条件を記憶するテーブル480と、を含む。法線ベクトル・深度算出部371は、これらの法線深度算出用テーブル375を参照しつつ、反射光量に基づいて、法線ベクトルと深度を算出する。
(Table for calculating normal depth)
FIG. 4E is a diagram showing the configuration of the normal depth calculation table 375 according to the present embodiment. The normal depth calculation table 375 includes a table 450 related to the effective absorption rate used in the present embodiment, a table 460 used for calculating the normal vector and the depth, and a shape measurement in the present embodiment. Includes a table 480, which stores the enabling conditions. The normal vector /
テーブル450は、光源インデックス451に対応して実効吸収率452を記憶する。また、実効吸収率を算出するパラメータである、光源吸収率453と、光源方向ベクトル454と、カメラ方向ベクトル455と、を記憶する。
テーブル460は、深度d(x)461と法線ベクトル462を算出する式463、464を記憶する。
テーブル480は、物体形状を測定する条件として、光源条件481、媒体条件482、および物体条件483を定義している。
Table 450 stores the
Table 460
Table 480 defines the
(キャリブレーション用テーブル)
図4Fは、本実施形態に係るキャリブレーション用テーブル381の構成を示す図である。キャリブレーション制御部334は、光の方向と光の強度を一度にキャリブレーションするために、キャリブレーション用テーブル381を用いる。
(Calibration table)
FIG. 4F is a diagram showing the configuration of the calibration table 381 according to the present embodiment. The
キャリブレーション用テーブル381は、完全拡散球の特徴491と、完全拡散球を用いて測定した基準深度と基準法線とを含む基準値492と、キャリブレーション式493と、を記憶する。そして、キャリブレーション式493に基づいてキャリブレーションされた、光の方向と光の強度とを含む光源パラメータ494を記憶する。
The calibration table 381 stores the
《形状測定部を含む情報処理装置のハードウェア構成》
図5は、本実施形態に係る形状測定部330を含む情報処理装置306のハードウェア構成を示すブロック図である。
<< Hardware configuration of information processing device including shape measurement unit >>
FIG. 5 is a block diagram showing a hardware configuration of the
図5で、CPU510は演算制御用のプロセッサであり、プログラムを実行することで図3Aの機能構成を実現する。CPU(Central Processing Unit)510は1つであっても複数であってもよい。ROM(Read Only Memory)520は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース530は、ネットワークを介して他の装置との通信を制御する。
In FIG. 5, the
RAM(Random Access Memory)540は、CPU510が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM540には、本実施形態の実現に必要なデータを記憶する領域が確保されている。光源別検知光量データ541は、カメラが撮像した対象物体からの光源別の反射光量のデータである。画素単位検知光量テーブル374は、図4Dで説明したように、画素単位の異なる光源による反射光量のデータである。法線深度算出用テーブル375は、図4Eで説明したように、各画素の深度と法線ベクトルを算出するためのデータを一時保持する。算出された深度データ542は、光源制御部331で算出された各画素の深度を示すデータである。算出された法線ベクトルデータ543は、法線ベクトル・深度算出部371で算出された各画素の法線ベクトルを示すデータである。(3次元画素座標、法線ベクトル)データ544は、各画素に対応する、算出された深度を含む3次元座標と算出された法線ベクトルとの組のデータである。キャリブレーション用テーブル381は,図4Fで説明したように、キャリブレーション制御部334における光源の方向と強度との同時のキャリブレーションのためのデータである。3次元物体復元データ545は、3次元物体復元部340における深度と法線ベクトルとを用いた3次元物体の復元のためのデータである。入出力データ546は、入出力インタフェース560を介して入出力機器と入出力するデータである。送受信データ547は、ネットワークインタフェース530を介して送受信されるデータである。
The RAM (Random Access Memory) 540 is a random access memory used by the
ストレージ550は、CPU510が使用する、本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。光源パラメータ341は、図4Aで説明したように、深度と法線ベクトル算出に用いられる各光源のパラメータを格納する。カメラパラメータ342は、図4Bで説明したように、深度と法線ベクトル算出に用いられるカメラのパラメータを格納する。法線ベクトル・深度算出式343は、法線ベクトルと深度の算出に用いられる算出式を格納する。検知光量蓄積部345は、図4Cで説明したように、光量検知部332が検知した反射光量を格納する。
The
ストレージ550には、以下のプログラムが格納される。情報処理プログラム551は、形状測定部330を含む情報処理装置306の全体を制御するプログラムである。形状測定プログラム552は、形状測定部330の全体を制御するプログラムである。キャリブレーション制御モジュール553は、光源の方向と強度とを同時にキャルブレーションするモジュールである。光源照射・光量検知制御モジュール554は、光源の照射と光量検知とを同期させながら制御するモジュールである。法線深度ベクトル算出モジュール555は、各光源による照射の反射光量から各画素の深度と法線ベクトルを算出するモジュールである。3次元物体復元モジュール556は、各画素の深度と法線ベクトルとを用いて水中の3次元物体を復元するモジュールである。
The following programs are stored in the
入出力インタフェース560は、入出力デバイスとのデータ入出力を制御するためのインタフェースを行なう。本実施形態においては、入出力インタフェース560には、光源301〜304を切り替えて照射するための光源ドライバ561、マルチ波長撮像カメラユニット305、表示部350、操作部360などが接続される。
The input /
なお、図5のRAM540やストレージ550には、情報処理装置306が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
The
《形状測定装置を含む情報処理装置の処理手順》
図6は、本実施形態に係る形状測定部330を含む情報処理装置306の処理手順を示すフローチャートである。このフローチャートは、図5のCPU510がRAM540を用いて実行し、図2および図3の機能構成を実現する。
<< Processing procedure of information processing equipment including shape measurement equipment >>
FIG. 6 is a flowchart showing a processing procedure of the
情報処理装置306は、ステップS611において、キャリブレーションの起動であるか否かを判定する。キャリブレーションの起動であると判定すると、情報処理装置306は、ステップS613において、キャリブレーション処理を実行する。
In step S611, the
キャリブレーションの起動でないと判定すると、情報処理装置306は、ステップS621において、水中の物体からの反射光量の取得であるか否かを判定する。反射光量の取得であると判定すると、情報処理装置306は、ステップS623において、反射光量蓄積処理を実行する。
If it is determined that the calibration is not activated, the
キャリブレーションの起動でなく、反射光量の取得でないと判定すると、情報処理装置306は、ステップS631において、水中の物体からの反射光量に基づく深度および法線ベクトルの算出であるか否かを判定する。深度および法線ベクトルの算出であると判定すると、情報処理装置306は、ステップS633において、法線深度ベクトル算出処理を実行する。
If it is determined that the amount of reflected light is not acquired instead of activating the calibration, the
キャリブレーションの起動でなく、反射光量の取得でなく、深度および法線ベクトルの算出でないと判定すると、情報処理装置306は、ステップS641において、算出された深度および法線ベクトルを用いた3次元物体の復元であるか否かを判定する。3次元物体の復元であると判定すると、情報処理装置306は、ステップS643において、3次元物体復元処理を実行する。
If it is determined that the calibration is not activated, the reflected light amount is not acquired, and the depth and normal vector are not calculated, the
(キャリブレーション処理)
図7Aは、本実施形態に係るキャリブレーション処理(S613)の手順を示すフローチャートである。
(Calibration process)
FIG. 7A is a flowchart showing the procedure of the calibration process (S613) according to the present embodiment.
情報処理装置306は、ステップS711において、完全拡散球を水中の既知の深度d1...dnに浸す。情報処理装置306は、ステップS713において、基準深度^d(x)と基準法線→^n(x)を算出して基準を設定する。情報処理装置306は、ステップS715において、深度d(l, L, x)と法線ベクトル→n(l. L, x)とを算出する。そして、式(17)に従って、各光源の光源方向lと光源強度Lとをキャリブレーションして設定する。
In step S711, the
(反射光量蓄積処理)
図7Bは、本実施形態に係る反射光量蓄積処理(S623)の手順を示すフローチャートである。
(Reflected light amount accumulation process)
FIG. 7B is a flowchart showing the procedure of the reflected light amount accumulating process (S623) according to the present embodiment.
光源制御部331は、ステップS721において、光源を駆動し、光源からの光を物体に照射する。次にステップS723において、iを1に設定する。さらにステップS725において、光量検知部332は、カメラ351およびバイパスフィルタ353を制御して、水中310の物体320を撮像させて、画素ごとの波長λiの反射光量を取得する。そして、光量検知部332は、ステップS727において、波長λiに対応付けて画素ごとの波長λiの反射光量を検知光量蓄積部345に蓄積する。
In step S721, the light
光量検知部332は、ステップS729において、i≧4であるか否かを判定する。i≧4でなければ、光量検知部332は、ステップS731において、iに1を加え(i←i+1)、ステップS725に戻り、他の波長の光の反射光量の取得を繰り返す。i≧4であれば、全4波長の反射光量を全て取得したことになるため反射光量蓄積処理を終了する。
In step S729, the light
(法線深度ベクトル算出処理)
図7Cは、本実施形態に係る深度・法線ベクトル算出処理(S633)の手順を示すフローチャートである。
(Normal depth vector calculation process)
FIG. 7C is a flowchart showing the procedure of the depth / normal vector calculation process (S633) according to the present embodiment.
情報処理装置306は、ステップS741において、データベース335から、光源パラメータ、カメラパラメータ、法線ベクトル・深度算出式を取得する。情報処理装置306は、ステップS743において、法線深度算出用テーブル375を生成する。情報処理装置306は、ステップS745において、画素インデックスxmnをx11(x1,y1)に初期化する。
In step S741, the
情報処理装置306は、ステップS747において、画素インデックスxmnにおける、光源λ1〜λKに対応する光量のE1〜EKをデータベース335から取得する。情報処理装置306は、ステップS749において、光量E1〜EKから画素xmnの法線ベクトル→l(x)および深度d(x)を算出する。そして、情報処理装置306は、ステップS753において、画素xmnの(法線ベクトル→l(x),深度d(x))の組を出力する。なお、画素単位に出力しても、全画素や一部画素の組を一括して出力してもよい。
In step S747, the information processing apparatus 306 acquires E 1 to E K of the amount of light corresponding to the light sources λ 1 to λ K at the pixel index x mn from the
情報処理装置306は、ステップS755において、m≧βかつn≧γであるか否かを判定する。m≧βかつn≧γでなければ、情報処理装置306は、ステップS757において、mまたはnに1を加えて(m←m+1 or n←n+1)、ステップS747に戻って、他の画素の法線ベクトルおよび深度の算出を繰り返す。m≧βかつn≧γであれば、情報処理装置306は、ステップS759において、光源が照射した物体表面画素の(法線ベクトルl(x),深度d(x))の組を、3次元物体復元処理のために記憶する。
In step S755, the
(3次元物体復元処理)
図7Dは、本実施形態に係る3次元物体復元処理(S643)の手順を示すフローチャートである。
(3D object restoration processing)
FIG. 7D is a flowchart showing the procedure of the three-dimensional object restoration process (S643) according to the present embodiment.
情報処理装置306は、ステップS761において、物体表面画素の位置(x,y,算出深度)と法線ベクトルとを取得する。情報処理装置306は、ステップS763において、視点を変更するか否かを判定する。視点を変更すると判定されれば、情報処理装置306は、ステップS765において、全画素の位置と法線ベクトルとに対応して3次元画像を生成する。一方、視点を変更しないと判定されれば、情報処理装置306は、ステップS767において、全画素の位置と法線ベクトルとを視点の変更ししたがって変更して、3次元画像を生成する。そして、情報処理装置306は、ステップS769において、生成された3次元画像を、水中の対象物体の3次元復元像として出力する。
In step S761, the
本実施形態によれば、物体の表面の各点の法線ベクトルと深度とをそれぞれ独立に算出するので、不連続面を有する物体についても、高精度に表面形状を測定することできる。また、物体表面の座標および向きをリアルタイムに導出できるため、動いている物体の形状を短時間に正確に認識できる。また、カメラを動かしながら広範囲の表面形状を短時間に認識できる。さらに、光源の方向と強度とのキャリブレーションを容易に精度よく行なうことができる。 According to this embodiment, since the normal vector and the depth of each point on the surface of the object are calculated independently, the surface shape of the object having a discontinuous surface can be measured with high accuracy. Moreover, since the coordinates and orientation of the surface of the object can be derived in real time, the shape of the moving object can be accurately recognized in a short time. In addition, a wide range of surface shapes can be recognized in a short time while moving the camera. Further, the direction and intensity of the light source can be easily and accurately calibrated.
[第3実施形態]
次に、本発明の第3実施形態に係る形状測定装置について説明する。本実施形態に係る形状測定装置は、上記第2実施形態と比べると、生体内に挿入される内視鏡によって生体内の3次元物体の形状を測定する点で異なる。本実施形態の形状測定装置は、生体内の媒体中に挿入された内視鏡から少なくとも4方向からの光を照射し、内視鏡から反射画像の画素光量を取得して、生体内部表面の深度と法線ベクトルを算出する。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、ここで「生体内」とは、脳内、耳鼻咽喉内、胸腔内、気管支内、上部消化管内、腹腔内、十二指腸内、膵管内、胆道内、小腸内、大腸内、直腸内、膀胱内、尿道内、尿管内、子宮内、羊水内、骨盤腔内、または血管内を意味する。
[Third Embodiment]
Next, the shape measuring device according to the third embodiment of the present invention will be described. The shape measuring device according to the present embodiment is different from the second embodiment in that the shape of a three-dimensional object in the living body is measured by an endoscope inserted in the living body. The shape measuring device of the present embodiment irradiates light from at least four directions from an endoscope inserted in a medium in the living body, acquires the pixel light amount of the reflected image from the endoscope, and obtains the pixel light amount of the reflected image from the endoscope to obtain the pixel light amount of the reflected image from the internal surface of the living body. Calculate the depth and normal vector. Since other configurations and operations are the same as those in the second embodiment, the same configurations and operations are designated by the same reference numerals and detailed description thereof will be omitted. The term "in vivo" as used herein means in the brain, otolaryngology, thoracic cavity, bronchus, upper gastrointestinal tract, abdominal cavity, duodenum, pancreatic tract, biliary tract, small intestine, large intestine, rectum, and bladder. Intra, urethral, urethral, uterine, sheep water, pelvic cavity, or blood vessel.
《内視鏡システムの構成》
図8は、本実施形態に係る形状測定部330を含む内視鏡システム800の構成を示すブロック図である。なお、図3Aと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
<< Configuration of endoscopy system >>
FIG. 8 is a block diagram showing the configuration of the
本実施形態の図3Aとの相違点は、内視鏡のホース中を4つの光源801〜804のための光と、カメラ805への光を通す光ファイバ851を有することである。また、情報処理装置806が媒体制御部870を有することである。媒体制御部870は、人体811の内部に媒体810が満たされるように媒体を補給するために用いられる。
The difference from FIG. 3A of the present embodiment is that the hose of the endoscope has an
表示部350には、本実施形態により復元された生体内部の3次元画像850が表示される。
The
《形状測定装置の反射光量蓄積処理》
図9は、本実施形態に係る形状測定部330を含む情報処理装置806の反射光量蓄積処理の手順を示すフローチャートである。なお、図7Bと同様のステップには同じステップ番号を付して、重複する説明を省略する。
<< Reflected light accumulation processing of shape measuring device >>
FIG. 9 is a flowchart showing a procedure of the reflected light amount accumulating process of the
情報処理装置806は、ステップS920において、体内の観測対象の腔内を媒体で満たす。例えば、水や経口補給水などで腔内を満たす。
In step S920, the
本実施形態によれば、内視鏡によって生体内部の3次元画像のリアルタイムでの復元精度を高めることができる。なお、顕微鏡においても同様の構成で適用でき、同様の効果を奏することができる。また、水道管等の内部を移動しながら、壁面の凹凸を測定することにも本発明を同様に適用することができる。 According to this embodiment, it is possible to improve the real-time restoration accuracy of a three-dimensional image inside a living body by using an endoscope. It should be noted that the same configuration can be applied to a microscope, and the same effect can be obtained. Further, the present invention can be similarly applied to measuring the unevenness of the wall surface while moving inside the water pipe or the like.
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
[Other Embodiments]
Although the invention of the present application has been described above with reference to the embodiment, the invention of the present application is not limited to the above embodiment. Various changes that can be understood by those skilled in the art can be made to the structure and details of the present invention within the technical scope of the present invention. Also included in the technical scope of the present invention are systems or devices in any combination of the different features contained in each embodiment.
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の技術的範囲に含まれる。 Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Further, the present invention is also applicable when an information processing program that realizes the functions of the embodiment is supplied to a system or an apparatus and executed by a built-in processor. Therefore, in order to realize the functions of the present invention on a computer, the program installed on the computer, the medium containing the program, the WWW (World Wide Web) server for downloading the program, and the processor for executing the program are also included in the present invention. Included in the technical scope of the invention. In particular, at least a non-transitory computer readable medium containing a program that causes a computer to execute the processing steps included in the above-described embodiment is included in the technical scope of the present invention.
Claims (12)
前記少なくとも1波長の光の前記物体による反射光量を検知する光量検知部と、
前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記光量検知部から前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
を備えた形状測定装置。 A light source unit that irradiates an object in a medium with light of at least one wavelength from at least four directions.
A light amount detection unit that detects the amount of light reflected by the object of light having at least one wavelength, and
A calculation unit that independently calculates the normal vector of each point on the surface of the object and the depth in the medium from the light amount detection unit to each point on the surface of the object from the reflected light amount. ,
Shape measuring device equipped with.
前記光量検知部は、前記4つ以上の光による反射光量を別々に検知する請求項1に記載の形状測定装置。 The light source unit irradiates the object with four or more lights having at least one of different wavelengths and directions.
The shape measuring device according to claim 1, wherein the light amount detecting unit separately detects the amount of reflected light due to the four or more lights.
前記少なくとも1波長の光は、800nmから1000nmの間に含まれる波長を有する請求項6に記載の形状測定装置。 The medium is water
The shape measuring apparatus according to claim 6, wherein the light having at least one wavelength has a wavelength contained between 800 nm and 1000 nm.
の^αiを前記光の有効吸収率と定義した場合に、
前記光量検知部で検知した光量E1〜EKに基づいて、
から、法線ベクトル→n(x)と深度d(x)との解を求める請求項1乃至7のいずれか1項に記載の形状測定装置。 The index of the light to be irradiated is i, the wavelength of the light is λ i , the absorption rate of the light is α (λ i ), the direction vector of the light to be irradiated is → l i , and the light source matrix is L = [ → l 2 ... → l K ] (K is the total number of emitted lights: K ≧ 4), the direction vector of the light amount detection unit is → l c , the index of the surface pixel of the object is x, and the normal vector of the surface pixel Is → n (x), and the depth of the surface pixel is d (x).
When ^ α i is defined as the effective absorption rate of the light,
Based on the amount E 1 to E K detected by the light intensity detection section,
The shape measuring apparatus according to any one of claims 1 to 7, wherein the solution of the normal vector → n (x) and the depth d (x) is obtained from the above.
前記体内に挿入して、前記少なくとも1波長の光の前記生体内部表面による反射光量を検知する光量検知部と、
前記反射光量から、前記生体内部表面の各点の法線ベクトルと、前記光量検知部から前記生体内部表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
を備えた内視鏡システム。 A light source unit that is inserted into the body and irradiates the internal surface of the living body in the medium from at least four directions with light of at least one wavelength.
A light amount detection unit that is inserted into the body and detects the amount of light reflected by the internal surface of the living body of light having at least one wavelength.
A calculation unit that independently calculates the normal vector of each point on the internal surface of the living body and the depth in the medium from the light amount detecting unit to each point on the internal surface of the living body from the reflected light amount. ,
Endoscope system equipped with.
前記少なくとも1波長の光の前記物体による反射光量を検知する光量検知ステップと、
前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
を含む形状測定方法。 An irradiation step of irradiating an object in a medium with light of at least one wavelength from at least four directions,
A light amount detection step for detecting the amount of light reflected by the object of light having at least one wavelength, and a light amount detection step.
A calculation step of independently calculating the normal vector of each point on the surface of the object and the depth in the medium to each point on the surface of the object from the reflected light amount at each point.
Shape measurement method including.
前記設定ステップで設定された値および前記光を照射した際の前記物体からの反射光量に基づいて、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
をコンピュータに実行させる形状測定プログラム。 Assuming that an object in the medium is irradiated with light of at least one wavelength from at least four directions, the direction of the light, the brightness of the light, the wavelength of the light, and the light absorption coefficient of the medium with respect to the light. ) And the setting step to set
Based on the value set in the setting step and the amount of reflected light from the object when irradiated with the light, the normal vector of each point on the surface of the object and the medium up to each point on the surface of the object. A calculation step that calculates the medium depth independently at each point,
A shape measurement program that causes a computer to execute.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019188208A JP2021063708A (en) | 2019-10-11 | 2019-10-11 | Shape measurement device, shape measurement method, shape measurement program, and endoscope system |
PCT/JP2020/037886 WO2021070822A1 (en) | 2019-10-11 | 2020-10-06 | Shape measurement device, shape measurement method, shape measurement program, and endoscope system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019188208A JP2021063708A (en) | 2019-10-11 | 2019-10-11 | Shape measurement device, shape measurement method, shape measurement program, and endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021063708A true JP2021063708A (en) | 2021-04-22 |
Family
ID=75437477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019188208A Pending JP2021063708A (en) | 2019-10-11 | 2019-10-11 | Shape measurement device, shape measurement method, shape measurement program, and endoscope system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021063708A (en) |
WO (1) | WO2021070822A1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003021826A (en) * | 2001-07-10 | 2003-01-24 | Nippon Sheet Glass Co Ltd | Substrate with ito coating film and method for manufacturing the same |
JP6485616B2 (en) * | 2014-06-04 | 2019-03-20 | 三菱重工業株式会社 | Appearance measurement system, image processing method, and program |
US10019809B2 (en) * | 2015-09-22 | 2018-07-10 | The Governors Of The University Of Alberta | Underwater 3D image reconstruction utilizing triple wavelength dispersion and camera system thereof |
JP6671915B2 (en) * | 2015-10-14 | 2020-03-25 | キヤノン株式会社 | Processing device, processing system, imaging device, processing method, program, and recording medium |
-
2019
- 2019-10-11 JP JP2019188208A patent/JP2021063708A/en active Pending
-
2020
- 2020-10-06 WO PCT/JP2020/037886 patent/WO2021070822A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021070822A1 (en) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4324238B2 (en) | Image processing system, method and apparatus | |
CN109069132A (en) | System and method for auxiliary type 3D scanning | |
EP3516625A1 (en) | A device and method for obtaining distance information from views | |
JP6786225B2 (en) | Image processing equipment, imaging equipment and image processing programs | |
EP3073894A1 (en) | 3d corrected imaging | |
CN110967166A (en) | Detection method, detection device and detection system of near-eye display optical system | |
JP2010091491A (en) | Photographing apparatus and method for three-dimensional shape measurement and program | |
TW202103484A (en) | System and method for creation of topical agents with improved image capture | |
JP2016186421A (en) | Image processing method | |
JP2019168862A (en) | Processing equipment, processing system, imaging device, processing method, program, and recording medium | |
JP2017129950A (en) | Image processing device, imaging device and image processing program | |
GB2545394A (en) | Systems and methods for forming three-dimensional models of objects | |
JP2012143363A (en) | Image processing apparatus | |
CN113411508B (en) | Non-vision field imaging method based on camera brightness measurement | |
JP2019045299A (en) | Three-dimensional information acquisition device | |
JP2008275366A (en) | Stereoscopic 3-d measurement system | |
EP3047456A1 (en) | 3d reconstruction from photometric stereo with shadows | |
WO2021070822A1 (en) | Shape measurement device, shape measurement method, shape measurement program, and endoscope system | |
Smithwick et al. | Depth enhancement using a scanning fiber optical endoscope | |
JP2017134561A (en) | Image processing device, imaging apparatus and image processing program | |
KR100956453B1 (en) | Automatic depth-of-field control method for stereoscopic display | |
CN208536839U (en) | Image capture device | |
JP2012173916A (en) | Imaging device and image processing information generating program | |
JP7028814B2 (en) | External shape recognition device, external shape recognition system and external shape recognition method | |
JP7286268B2 (en) | Image processing method, image processing device, imaging device, image processing program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20191023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191106 |