JP2021063708A - Shape measurement device, shape measurement method, shape measurement program, and endoscope system - Google Patents

Abstract

To provide a shape measurement device, a shape measurement method, a shape measurement program, and an endoscope system which independently calculate each of a normal vector at and depth to each point on a surface of an object, so as to measure a surface shape of the object even having a discontinuous surface with high accuracy.SOLUTION: A shape measurement device includes: a light source unit for irradiating an object in a medium with light having at least one wavelength from at least four directions; a light quantity detection part for detecting the quantity of the light with at least the one wavelength, which has been reflected by the object; and a calculation part for calculating a normal vector at each point on a surface of the object and depth from the light quantity detection part to each point on the surface of the object in the medium independently at each point.SELECTED DRAWING: Figure 1

Description

本発明は、３次元物体の形状を測定する技術に関する。 The present invention relates to a technique for measuring the shape of a three-dimensional object.

上記技術分野において、特許文献１には、２波長あるいは３波長の光を照射し、媒質を介した反射光を受光して、媒質の表面から物体の表面までの深度から物体の形状を測定する技術が開示されている。 In the above technical field, Patent Document 1 irradiates light having two or three wavelengths, receives reflected light through the medium, and measures the shape of the object from the depth from the surface of the medium to the surface of the object. The technology is disclosed.

国際公開ＷＯ２０１８／０６６６９８International release WO2018 / 066698

Erik Reinhard, Erum Arif Khan, Ahmet Oguz Akyz, and Garrett M. Johnson. Color Imaging: Fundamentals and Applications. A. K. Peters, Ltd., Natick, MA, USA, 2008. 3Erik Reinhard, Erum Arif Khan, Ahmet Oguz Akyz, and Garrett M. Johnson. Color Imaging: Fundamentals and Applications. A. K. Peters, Ltd., Natick, MA, USA, 2008. 3 Yuta Asano, Yinqiang Zheng, Ko Nishino, and Imari Sato. Shape from water: Bispectral light absorption for depth recovery. In Proceedings of European Conference on Computer Vision, pages 635-649, 2016. 2, 3, 4, 5, 6Yuta Asano, Yinqiang Zheng, Ko Nishino, and Imari Sato. Shape from water: Bispectral light absorption for depth recovery. In Proceedings of European Conference on Computer Vision, pages 635-649, 2016. 2, 3, 4, 5, 6 Gene H. Golub and Charles F. Van Loan. Matrix Computations (3rd Ed.), pages 256-258. Johns Hopkins University Press, Baltimore, MD, USA, 1996. 5Gene H. Golub and Charles F. Van Loan. Matrix Computations (3rd Ed.), Pages 256-258. Johns Hopkins University Press, Baltimore, MD, USA, May 1996 Matt Pharr, Wenzel Jakob, and Greg Humphreys. Physically based rendering: From theory to implementation. Morgan Kaufmann, 2016. 6Matt Pharr, Wenzel Jakob, and Greg Humphreys. Physically based rendering: From theory to implementation. Morgan Kaufmann, 2016. 6 Robert T. Frankot and Rama Chellappa. A method for enforcing integrability in shape from shading algorithms.IEEE Transactions on Pattern Analysis and Machine Intelligence, 10(4):439-451, 1988. 6Robert T. Frankot and Rama Chellappa. A method for enforcing integrability in shape from shading algorithms. IEEE Transactions on Pattern Analysis and Machine Intelligence, 10 (4): 439-451, 1988. 6

しかしながら、上記文献に記載の技術では、深度から法線ベクトルを求めるためには深度マップの微分による導出過程が含まれるので、物体表面が連続面であることが条件となり、不連続な表面を有する物体に対しては有効ではなかった。 However, in the technique described in the above document, since the derivation process by differentiating the depth map is included in order to obtain the normal vector from the depth, the object surface must be a continuous surface and has a discontinuous surface. It was not effective against objects.

本発明の目的は、上述の課題を解決する技術を提供することにある。 An object of the present invention is to provide a technique for solving the above-mentioned problems.

上記目的を達成するため、本発明に係る装置は、
少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する光源ユニットと、
前記少なくとも１波長の光の前記物体による反射光量を検知する光量検知部と、
前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記光量検知部から前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
を備えた形状測定装置である。 In order to achieve the above object, the device according to the present invention
A light source unit that irradiates an object in a medium with light of at least one wavelength from at least four directions.
A light amount detection unit that detects the amount of light reflected by the object of light having at least one wavelength, and
A calculation unit that independently calculates the normal vector of each point on the surface of the object and the depth in the medium from the light amount detection unit to each point on the surface of the object from the reflected light amount. ,
It is a shape measuring device provided with.

上記目的を達成するため、本発明に係るシステムは、
体内に挿入して、少なくとも１波長の光を少なくとも４方向から媒体中の生体内部表面に照射する光源ユニットと、
前記体内に挿入して、前記少なくとも１波長の光の前記生体内部表面による反射光量を検知する光量検知部と、
前記反射光量から、前記生体内部表面の各点の法線ベクトルと、前記光量検知部から前記生体内部表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
を備えた内視鏡システムである。 In order to achieve the above object, the system according to the present invention
A light source unit that is inserted into the body and irradiates the internal surface of the living body in the medium from at least four directions with light of at least one wavelength.
A light amount detection unit that is inserted into the body and detects the amount of light reflected by the internal surface of the living body of light having at least one wavelength.
A calculation unit that independently calculates the normal vector of each point on the internal surface of the living body and the depth in the medium from the light amount detecting unit to each point on the internal surface of the living body from the reflected light amount. ,
It is an endoscopic system equipped with.

上記目的を達成するため、本発明に係る方法は、
少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する照射ステップと、
前記少なくとも１波長の光の前記物体による反射光量を検知する光量検知ステップと、
前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
を含む形状測定方法である。 In order to achieve the above object, the method according to the present invention
An irradiation step of irradiating an object in a medium with light of at least one wavelength from at least four directions,
A light amount detection step for detecting the amount of light reflected by the object of light having at least one wavelength, and a light amount detection step.
A calculation step of independently calculating the normal vector of each point on the surface of the object and the depth in the medium to each point on the surface of the object from the reflected light amount at each point.
It is a shape measuring method including.

上記目的を達成するため、本発明に係るプログラムは、
少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する前提として、前記光の方向と、前記光の明るさと、前記光の波長と、前記光に関する前記媒体の光吸収率（absorption coefficient）とを設定する設定ステップと、
前記設定ステップで設定された値および前記光を照射した際の前記物体からの反射光量に基づいて、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
をコンピュータに実行させる形状測定プログラムである。 In order to achieve the above object, the program according to the present invention
Assuming that an object in the medium is irradiated with light of at least one wavelength from at least four directions, the direction of the light, the brightness of the light, the wavelength of the light, and the light absorption coefficient of the medium with respect to the light. ) And the setting step to set
Based on the value set in the setting step and the amount of reflected light from the object when irradiated with the light, the normal vector of each point on the surface of the object and the medium up to each point on the surface of the object. A calculation step that calculates the medium depth independently at each point,
Is a shape measurement program that causes a computer to execute.

本発明によれば、不連続面を有する物体についても、高精度に表面形状を測定することができる。 According to the present invention, the surface shape of an object having a discontinuous surface can be measured with high accuracy.

本発明の第１実施形態に係る形状測定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the shape measuring apparatus which concerns on 1st Embodiment of this invention. 本発明の第２実施形態の係る水中の対象物体を復元する原理を説明する図である。It is a figure explaining the principle of restoring the target object in water which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態の係る水中の対象物体を復元する原理を説明する図である。It is a figure explaining the principle of restoring the target object in water which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態の係る水中の対象物体を復元する原理を説明する図である。It is a figure explaining the principle of restoring the target object in water which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態の係る方法により水中の対象物体を復元した実験結果と、従来の方法による復元結果とを対比した図である。It is a figure which compared the experimental result which restored the object object in water by the method of 2nd Embodiment of this invention, and the restoration result by a conventional method. 補助光源の数によるガウスノイズによる法線算出誤差および深度算出エラーを示す図である。It is a figure which shows the normal calculation error and depth calculation error by Gaussian noise by the number of auxiliary light sources. 本発明の第２実施形態の係る方法により水中の静止した対象物体を復元した実験結果を説明する図である。It is a figure explaining the experimental result which restored the stationary object object in water by the method of 2nd Embodiment of this invention. 本発明の第２実施形態の係る方法により水中の移動する対象物体を復元する実験装置を説明する図である。It is a figure explaining the experimental apparatus which restores a moving object object in water by the method of 2nd Embodiment of this invention. 本発明の第２実施形態の係る方法により水中の移動する対象物体を復元した実験結果を説明する図である。It is a figure explaining the experimental result which restored the moving object object in water by the method of 2nd Embodiment of this invention. 本発明の第２実施形態の係る方法により水中の移動する対象物体を復元した他の実験結果を説明する図である。It is a figure explaining the other experimental result which restored the moving object object in water by the method of 2nd Embodiment of this invention. 本発明の第２実施形態に係る形状測定装置を含む情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system which includes the shape measuring apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る形状測定装置の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the shape measuring apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る光源パラメータの構成を示す図である。It is a figure which shows the structure of the light source parameter which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係るカメラパラメータの構成を示す図である。It is a figure which shows the structure of the camera parameter which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る検知光量蓄積部の構成を示す図である。It is a figure which shows the structure of the detection light amount storage part which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る画素単位検知光量テーブルの構成を示す図である。It is a figure which shows the structure of the pixel unit detection light amount table which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る法線深度算出用テーブルの構成を示す図である。It is a figure which shows the structure of the normal depth calculation table which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係るキャリブレーション用テーブルの構成を示す図である。It is a figure which shows the structure of the calibration table which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る形状測定装置を含む情報処理装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware structure of the information processing apparatus including the shape measuring apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る形状測定装置を含む情報処理装置の処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure of the information processing apparatus including the shape measuring apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る形状測定装置を含む情報処理装置のキャリブレーション処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the calibration process of the information processing apparatus including the shape measuring apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る形状測定装置を含む情報処理装置の反射光量蓄積処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the reflected light amount accumulation processing of the information processing apparatus including the shape measuring apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る形状測定装置を含む情報処理装置の法線深度ベクトル算出処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the normal depth vector calculation processing of the information processing apparatus which includes the shape measuring apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る形状測定装置を含む情報処理装置の３次元物体復元処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of 3D object restoration processing of the information processing apparatus including the shape measuring apparatus which concerns on 2nd Embodiment of this invention. 本発明の第３実施形態に係る形状測定装置を含む情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system which includes the shape measuring apparatus which concerns on 3rd Embodiment of this invention. 本発明の第３実施形態に係る形状測定装置を含む情報処理装置の反射光量蓄積処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the reflected light amount accumulation processing of the information processing apparatus including the shape measuring apparatus which concerns on 3rd Embodiment of this invention.

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, embodiments of the present invention will be described in detail exemplarily with reference to the drawings. However, the components described in the following embodiments are merely examples, and the technical scope of the present invention is not limited to them.

［第１実施形態］
本発明の第１実施形態としての形状測定装置１００について、図１を用いて説明する。形状測定装置１００は、３次元物体の形状を測定する装置である。 [First Embodiment]
The shape measuring device 100 as the first embodiment of the present invention will be described with reference to FIG. The shape measuring device 100 is a device that measures the shape of a three-dimensional object.

図１に示すように、形状測定装置１００は、光源ユニット１０１と、光量検知部１０２と、算出部１０３と、を含む。光源ユニット１０１は、少なくとも１波長の光を少なくとも４方向から媒体１１０中の物体１１１に照射する。光量検知部１０２は、少なくとも１波長の光の物体１１１による反射光量１２１を検知する。算出部１０３は、反射光量１２１から、物体１１１の表面の各点の法線ベクトルと、光量検知部１０２から物体１１１の表面の各点までの媒体１１０中の深度とを各点において独立に算出する（１３１）。ここで、「独立して」とは、両者を物体表面上において互いに依存する数量として算出するのではなく、物体表面上各点において両者を他の点に対して別個の数量として算出することを意味する。 As shown in FIG. 1, the shape measuring device 100 includes a light source unit 101, a light amount detecting unit 102, and a calculating unit 103. The light source unit 101 irradiates the object 111 in the medium 110 with light having at least one wavelength from at least four directions. The light amount detection unit 102 detects the amount of reflected light 121 by the object 111 of light having at least one wavelength. The calculation unit 103 independently calculates the normal vector of each point on the surface of the object 111 and the depth in the medium 110 from the light amount detection unit 102 to each point on the surface of the object 111 from the reflected light amount 121 at each point. (131). Here, "independently" means that both are not calculated as quantities that depend on each other on the surface of the object, but are calculated as separate quantities at each point on the surface of the object with respect to other points. means.

本実施形態によれば、物体の表面の各点の法線ベクトルと深度とを独立に算出するので、不連続面を有する物体についても、高精度に表面形状を測定することできる。また、物体表面の座標および向きをリアルタイムに導出できるため、動いている物体の形状を短時間に正確に算出できる。また、カメラを動かしながら広範囲の表面形状を短時間に算出できる。 According to this embodiment, since the normal vector and the depth of each point on the surface of the object are calculated independently, the surface shape of the object having a discontinuous surface can be measured with high accuracy. Moreover, since the coordinates and orientation of the surface of the object can be derived in real time, the shape of the moving object can be accurately calculated in a short time. In addition, a wide range of surface shapes can be calculated in a short time while moving the camera.

［第２実施形態］ [Second Embodiment]

《形状測定の原理》
まず、本実施形態に係る形状測定の原理について詳細に説明する。 << Principle of shape measurement >>
First, the principle of shape measurement according to the present embodiment will be described in detail.

（概要）
本実施形態で説明する形状測定方法は、水中の動的物体の表面法線と深さを計測する新しい方法である。従来から、形状復元方法は、形状（つまり深度）または表面法線を推定するためにさまざまな視覚的手掛かりを活用してきた。深度と法線を推定するため従来は、両者を物体表面上において互いに依存する数量として算出していた。本実施形態の新しい方法では、物体が水中で観察されるときに、法線と深度という２つの幾何学的表面特性を、各ピクセルにつき独立に求めることができる。表面反射によるシェーディングと組み合わせて、水中の光路長に応じた光の吸収を活用することがポイントである。水を用いる方法と、そのイメージングパラメータ値を決定するための実用的なキャリブレーション方法との組合せにより、表面の法線と深度計測のための原理を導き出す。この方法はワンショット計測システムとしても実装できる。オフラインイメージングシステムと、ビデオレートイメージングシステムの両方に適用可能である。実世界に存在する、多くの静的物体および動的物体に対して本実施形態にかかる方法は有効である。その結果、他の方法では測定できない複雑な表面的特徴を有する物体形状を測定できるようになった。 (Overview)
The shape measuring method described in this embodiment is a new method for measuring the surface normal and depth of a dynamic object in water. Traditionally, shape restoration methods have utilized a variety of visual cues to estimate shape (ie depth) or surface normals. Conventionally, in order to estimate the depth and the normal, both are calculated as quantities that depend on each other on the surface of the object. In the new method of this embodiment, when an object is observed in water, two geometric surface properties, normal and depth, can be obtained independently for each pixel. The point is to utilize the absorption of light according to the optical path length in water in combination with shading by surface reflection. The combination of a method using water and a practical calibration method for determining its imaging parameter values derives the principles for surface normals and depth measurements. This method can also be implemented as a one-shot measurement system. It is applicable to both offline imaging systems and video rate imaging systems. The method according to this embodiment is effective for many static and dynamic objects existing in the real world. As a result, it has become possible to measure the shape of an object having complex surface features that cannot be measured by other methods.

（イントロダクション）
コンピュータビジョン研究により、フォーカスからテクスチャまで様々な視覚的手掛かりを用いた効果的な３次元形状復元方法として様々なものが考案されてきた。そのほとんどは、shape-from-Xアプローチによるものであるが、物体表面各点の３次元座標とその法線のどちらかを復元することはできるものの、同時に両方を復元することはできなかった。物体表面の法線が推定された物体表面の３次元座標集合（すなわち形状）から算出されるか、あるいは物体表面形状が、物体表面の法線集合から算出されるかのいずれかであった。従来の方法では、複数のカメラまたは複数のアクティブ深度センサが必要であり、原理的に、一回のセンシングでは実現不可能であり、動的に表面を復元することもできなかった。各ピクセルに対応する物体表面各点における法線と３次元座標とを同時にかつ独立に（他の物体表面点に依存することなく）算出することは、任意の複雑な幾何的特徴を有する表面形状を３次元的に復元するにあたり非常に重要である。 (introduction)
Through computer vision research, various effective 3D shape restoration methods have been devised using various visual cues from focus to texture. Most of them are based on the shape-from-X approach, and although it was possible to restore either the 3D coordinates of each point on the surface of the object or its normal, it was not possible to restore both at the same time. The normal of the object surface was either calculated from the estimated three-dimensional coordinate set (that is, the shape) of the object surface, or the object surface shape was calculated from the normal set of the object surface. Conventional methods require multiple cameras or multiple active depth sensors, which in principle cannot be achieved with a single sensing and cannot dynamically restore the surface. Simultaneously and independently calculating the normals and 3D coordinates at each point of the object surface corresponding to each pixel (independent of other object surface points) is a surface shape with arbitrary complex geometric features. It is very important to restore the three-dimensionally.

本実施形態によれば、水中の物体について、表面のピクセルごとに、法線と深度を独立した数量として算出できる。言い換えれば、本実施形態は、図１に示すように、３次元幾何形状を直接復元する。本実施形態では、例として水中の３次元形状の復元を行っているが、本発明の「媒体」は水に限定されるものではなく、油や、溶けたガラスなどの液体でもよく、光の吸収があれば、気体や固体でも良く、適応範囲は広い。特に、医学（内視鏡検査など）、生物学、海洋学、考古学などを含む幅広い分野で重要な用途がある。 According to this embodiment, for an underwater object, the normal and depth can be calculated as independent quantities for each pixel on the surface. In other words, the present embodiment directly restores the three-dimensional geometry, as shown in FIG. In the present embodiment, the three-dimensional shape in water is restored as an example, but the "medium" of the present invention is not limited to water, but may be oil, a liquid such as melted glass, or light. As long as it absorbs, it may be gas or solid, and the range of application is wide. In particular, it has important applications in a wide range of fields including medicine (endoscopy, etc.), biology, oceanography, archeology, etc.

本実施形態では、表面のシェーディング測定と同時に、水中の複数の光路に沿って異なる波長の近赤外光がどの程度吸収されるかを測定し、この近赤外光の減衰と表面のシューディングの統合により深度と法線の同時算出を実現する。 In the present embodiment, at the same time as the surface shading measurement, the amount of near-infrared light of different wavelengths absorbed along a plurality of optical paths in water is measured, and the attenuation of the near-infrared light and the shouldering of the surface are measured. Achieves simultaneous calculation of depth and normal by integrating.

水中の物体表面の各点について法線と深度を求めるには、少なくとも４つの近赤外平行光源が必要である。その光源からの光が物体表面で反射し、反射光が正射影カメラによって捕捉される。４つの光源を使用する場合、理論では、光源の１つ（基本光源と呼ぶ）は他の光源が形成する仮想的な多角錐内に存在する必要がある。残りの光源は、異なる有効吸収係数を実現していれば、カメラの視線方向と同じ極角（polar angle）をなす位置でもよい。 At least four near-infrared parallel light sources are needed to determine the normal and depth for each point on the surface of an object in water. The light from the light source is reflected on the surface of the object, and the reflected light is captured by the orthodox projection camera. When using four light sources, in theory, one of the light sources (called the basic light source) needs to be in a virtual polygonal pyramid formed by the other light source. The remaining light sources may be positioned at the same polar angle as the line-of-sight direction of the camera, as long as they have different effective absorption coefficients.

本実施形態にかかる方法は、複雑な形状を有する実空間での静的物体および動的物体に対して有効である。この方法を実現するイメージングシステムとしては２種類のものが考えられる。一つはモノクロカメラと交換可能な近赤外線バンドパスフィルタを使用したオフラインキャプチャ用システムであり、もう一つはカスタマイズされた多波長カメラを使用したビデオレートキャプチャ用システムである。 The method according to this embodiment is effective for static and dynamic objects in real space having a complicated shape. Two types of imaging systems that realize this method can be considered. One is an offline capture system that uses a near-infrared bandpass filter that can be replaced with a monochrome camera, and the other is a video rate capture system that uses a customized multi-wavelength camera.

図２Ａは、水が光を吸収する吸収率が光の波長によってどのように変換するかを示す図である。可視光の範囲では、吸収率は極端に小さいが（水が透明な理由でもある）、近赤外の範囲ではほとんど直線的に上昇する。図２Ｂに示すように、水中での光の吸収はBeer-Lambertの法則（非特許文献１）で正確にモデル化が可能である。Beer-Lambertの法則によれば、式（１）のように、透過放射輝度Ｅは、通過距離ｄが大きくなるにつれて指数関数的に減衰する入射光の輝度Ｌ₀の関数であらわされる。

ここで、λは光の波長、α(λ）は波長に依存する吸収率である。 FIG. 2A is a diagram showing how the absorption rate at which water absorbs light is converted by the wavelength of light. In the visible light range, the absorptivity is extremely low (which is also the reason why water is transparent), but in the near infrared range it rises almost linearly. As shown in FIG. 2B, the absorption of light in water can be accurately modeled by Beer-Lambert's law (Non-Patent Document 1). According to Beer-Lambert's law, as in Eq. (1), the transmitted radiance E is expressed as a function of _{the brightness L 0 of the incident light that decays exponentially as the passing distance d increases.}

Here, λ is the wavelength of light, and α (λ) is the absorption rate depending on the wavelength.

２つの近赤外波長で同じ面を撮像することによる、形状復元については、非特許文献２に記載がある。非特許文献２では、近赤外の平行光源とそれに同軸に配置されたカメラシステムとを用いている。また、９０５nmと９５０nmといった、２つの異なる近赤外光のみを透過させるバンドパスフィルタを用いている。非特許文献２によれば、水による近赤外光の吸収率は波長に依存するため、異なる近赤外光の物体表面での反射光が異なることが分かる。すなわち、２つの近赤外波長を有する光を照射した場合の物体による反射光の比から、物体表面までの光透過距離を推定でき、それにより深度を推定している。表面反射のスペクトル特性は近赤外光については一定であると一般に仮定できる。 Non-Patent Document 2 describes shape restoration by imaging the same surface at two near-infrared wavelengths. Non-Patent Document 2 uses a near-infrared parallel light source and a camera system arranged coaxially with the parallel light source. In addition, a bandpass filter that transmits only two different near-infrared lights such as 905 nm and 950 nm is used. According to Non-Patent Document 2, since the absorption rate of near-infrared light by water depends on the wavelength, it can be seen that the reflected light of different near-infrared light on the object surface is different. That is, the light transmission distance to the surface of the object can be estimated from the ratio of the reflected light by the object when irradiated with light having two near-infrared wavelengths, and the depth is estimated accordingly. It can generally be assumed that the spectral characteristics of surface reflection are constant for near-infrared light.

（近赤外の複数波長による画像処理）
本実施形態では、図２Ｃのように、１つの基準光源を含むＫ個の平行光源と、１台の正射影カメラを用いる。取り扱うパラメータを以下のように定義する。なお、座標系は全てカメラ座標系を基準とする。^→ｌ_cと^→ｌ_iは、視線方向と、波長λ_iおよび強度ｌ_iの光源ｉの方向をそれぞれ示している。 (Image processing with multiple wavelengths in the near infrared)
In this embodiment, as shown in FIG. 2C, K parallel light sources including one reference light source and one normal projection camera are used. The parameters to be handled are defined as follows. The coordinate system is all based on the camera coordinate system. ^→ l _c and ^→ l _i indicate the direction of the line of sight and the direction of the light source i _{having the wavelength λ i} and the intensity l _{i, respectively.}

水面から深度ｄ(x)の表面点への入射光は、水の中を距離｛ｄ(x)／^→ｌ_c ^T→ｌ_i｝だけ進み、画素ｘによりその反射光が補足される物体表面上の点で反射してｄ(x)進んでカメラに到達する。近赤外光は、空気中ではほぼ吸収されず、水中のみで吸収されると一般に仮定できる。 The incident light from the water surface to the surface point at the depth d (x) travels in the water by a distance {d (x) / ^→ l _c ^{T →} l _i }, and the reflected light is captured by the pixel x on the surface of the object. It reflects at the upper point and advances d (x) to reach the camera. It can be generally assumed that near-infrared light is hardly absorbed in air and is absorbed only in water.

式（１）から、物体表面の波長依存反射率をｓ(λ)、物体表面の形状依存反射率をｒ(ω)とすると、反射係数ｓ(λ)ｒ(ω)の面に対して、カメラで撮像された光強度は式（２）のようになる。

ここで、＾α_iは、式（３）で表される実効吸収率である。

ここで波長依存項α（λ_i）は、式（４）のように近赤外光に対して変化しないと近似する。

水による近赤外光の吸収に加えて物体表面における陰影を活用するので、物体表面が完全拡散面 (Lambertian surface)であると仮定する。完全拡散反射は法線^→n(x)と入射光線方向^→l_iを用いて、式（５）で表される。

そして、式（６）を得る。

なお波長依存成分ρは各ピクセルで異なっていてもよく、対象表面上で一様である必要はない。 From equation (1), assuming that the wavelength-dependent reflectance of the object surface is s (λ) and the shape-dependent reflectance of the object surface is r (ω), the surface with the reflectance coefficient s (λ) r (ω) is The light intensity captured by the camera is as shown in equation (2).

Here, ^ α _i is the effective absorption rate represented by the equation (3).

Here, the wavelength-dependent term α (λ _i ) is approximated to be unchanged with respect to near-infrared light as in Eq. (4).

We assume that the object surface is a Lambertian surface because it utilizes shadows on the object surface in addition to the absorption of near-infrared light by water. Perfect diffuse reflection is expressed by Eq. (5) using ^{normal →} n (x) and incident ray direction ^{→ l_i.}

Then, the equation (6) is obtained.

The wavelength-dependent component ρ may be different for each pixel and does not have to be uniform on the target surface.

同じ点（カメラ画像の同じ画素位置）の他の観察は、他の近赤外光源ｊで与えられる。

同じ強度の光源を用いて、Ｌ_i＝Ｌ_jとすると、

各光源に対応する式（８）を並べて行列形式にすると、式（９）となる。

ここで、深度ベクトル^→ｄ(x)∈Ｒ^(K-1)x1と、光源行列Ｌ＝［ｌ₂...ｌ_K］^T∈Ｒ^(K-1)x3を定義した。ｌ₁を基準光源とし、光源行列Ｌ内の他の全光源を補助光源とする。 Other observations of the same point (same pixel position in the camera image) are given by another near-infrared light source j.

Using a light source of the same intensity and setting _{L i} = L _j,

When the equation (8) corresponding to each light source is arranged in a matrix format, the equation (9) is obtained.

Here, the depth vector ^→ d (x) ∈ R ^{(K-1) x1} and the light source matrix L = [l ₂ ... l _K ] ^T ∈ R ^{(K-1) x3} are defined. l ₁ is used as a reference light source, and all other light sources in the light source matrix L are used as auxiliary light sources.

（深度と法線ベクトルの復元）
式（９）は、深度ｄ(x)と法線ベクトル^→ｎ(x)両方を変数とする非線形連立方程式である。閉形式解は持たないが、式（９）から画素ｘの先に存在する物体の深度ｄ(x)と法線ベクトル^→ｎ(x)を一意に復元することができる。式（９）の両辺に対し、Moore-Penroseの擬似逆行列Ｌ⁺ ＝ (Ｌ^T Ｌ）^-1Ｌ^Tを左から掛けると、式（１０）となる。

次に、^→ｌ₁ ^Tを左から両辺に掛けると、式（１１）になる。

ここで後述する条件を満たすように事前に光源を設計しておくことにより、式（１２）から一意な大域的最適解として^→ｄ(x)を得ることができる。すなわち式（１２）の右辺は単調関数となるためNewton-Raphson法のような既存の数値最適化を用いて大域的最適解を効率的に得ることができる。さらに、最適化には、^→ｄ(x)に関するｂ^→ｄ(x)の一階導関数および二階導関数を用いることができる。ｂ^→ｄ(x)が指数関数の和であることから、その導関数もまた簡潔な指数関数の和の形式で与えられる。 (Restoration of depth and normal vector)
Equation (9) is a nonlinear simultaneous equation with both the depth d (x) and the normal vector ^→ n (x) as variables. Although it does not have a closed form solution, it is possible to uniquely restore ^{the depth d (x) and the normal vector →} n (x) of the object existing beyond the pixel x from the equation (9). To both sides of the equation (9), the pseudo-inverse matrix of ^{Moore-Penrose L + = (L} T L) multiplied by ^-1 L ^T from the left, the formula (10).

Next, ^{multiplying →} l ₁ ^T from the left on both sides gives equation (11).

By designing the light source in advance so as to satisfy the conditions described later, it is possible ^{to obtain →} d (x) as a unique global optimum solution from the equation (12). That is, since the right side of equation (12) is a monotonic function, a global optimum solution can be efficiently obtained by using an existing numerical optimization such as Newton-Raphson method. Further, for optimization, the first-order derivative and the second-order derivative ^{of b →} d (x) related to ^{→ d (x) can be used.} Since b ^→ d (x) is the sum of exponential functions, its derivative is also given in the form of a concise sum of exponential functions.

式（１２）から深度^→ｄ(x)が与えられると、式（１０）の右辺を用いて、^→ｌ₁T_ｎ(x)でスケーリングした法線ベクトルが算出される。この法線ベクトル^→ｎ(x)は式（１３）で与えられる。

この導出が示すように、１つの視点から撮像された光源の重なり領域の各画素において、法線ベクトルと深度とを復元できる。滑らかさなどの対象物体表面の補助的な幾何学的制約には依存していない。 ^{Given the depth →} d (x) from equation (12), a normal vector scaled by ^→ l ₁ T _n (x) is calculated using the right-hand side of equation (10). This normal vector ^→ n (x) is given by Eq. (13).

As this derivation shows, the normal vector and depth can be restored in each pixel of the overlapping region of the light source imaged from one viewpoint. It does not rely on auxiliary geometric constraints on the surface of the object, such as smoothness.

（物体形状復元の条件）
一意な深度と法線ベクトルを復元する条件を分析する。一旦、深度が推定されると、式（１３）から、行列Ｌの階数(rank)が少なくとも３でなければならないと分かる。行列Ｌは光源方向を並べたものであったので、それらが３次元空間を張る必要があるという条件は、一般的な照度差ステレオと同じである。しかしながら、基準光源に加えて、少なくとも３つの補助光源が必要であり、光源の総数は少なくとも４つとなる（Ｋ≧４）。 (Conditions for object shape restoration)
Analyze the conditions for restoring the unique depth and normal vector. Once the depth is estimated, equation (13) shows that the rank of the matrix L must be at least 3. Since the matrix L is an arrangement of the light source directions, the condition that they need to extend a three-dimensional space is the same as that of a general illuminance difference stereo. However, in addition to the reference light source, at least three auxiliary light sources are required, and the total number of light sources is at least four (K ≧ 4).

深度が復元された場合、式（１２）から、補助光源の実効吸収率は式（１４）のように全て基準光源の吸収率と異なるべきであると分かる。

式（３）の実効吸収率は、吸収率α_iと完全拡散反射ｌ_c ^Tｌ_iとの両方の関数である。実効吸収率が満たすべき要件は、式（１４）を成立させることであるので、全ての光源が異なる波長を持つことや、または、視線方向に対する異なる極角を持つことを常には必要としない。 When the depth is restored, it can be seen from the equation (12) that the effective absorption rate of the auxiliary light source should be different from the absorption rate of the reference light source as in the equation (14).

The effective absorption rate of equation (3) is a function of both the _{absorption rate α i} and the perfect diffuse reflection l _c ^T l _i. Since the requirement that the effective absorption rate must be satisfied is that the equation (14) is satisfied, it is not always necessary that all the light sources have different wavelengths or different polar angles with respect to the line-of-sight direction.

式（１２）の右辺はベクトル^→ｄ(x)の一般的な指数関数の和であり、閉形式解を持たない。しかしながら、ｂ_i（ベクトル^→ｂのｉ番目の要素）と^α_i−^α₁との組の全符号が一致していれば、それはｄ(x)の単調関数である。実際には光源は同一半球内に配置する必要があるため、ベクトル^→ｂの要素は全てが非負か全てが負かいずれかとなる。この場合に、単調増加関数の和は単調増加関数となるため、^α_i−^α₁がｉ＝２，...，Ｋそれぞれで全て非負か全て負である場合、単調性は維持される。段落００３８で説明するように基準光源の実効吸収率^α₁は全光源の実効吸収率の最小値となる場合に最も深度推定精度の観点から有利である。この場合、基準光源からの全ての実効吸収率の差は正になるので、ベクトル^→ｂの全要素が非負の場合に一意な解が得られる。 The right-hand side of equation (12) is ^{the sum of the general exponential functions of vector →} d (x) and does not have a closed form solution. However, _{if all signs of the pair of b i} (vector ^→ i-th element of b) and ^ α _i − ^ α ₁ match, it is a monotonic function of d (x). In reality, since the light sources need to be arranged in the same hemisphere, ^{all the elements of vector →} b are either non-negative or all negative. In this case, the sum of the monotonically increasing functions is a monotonically increasing function, so if ^ α _i − ^ α ₁ is non-negative or all negative for each of i = 2, ..., K, the monotonicity is maintained. To. As explained in paragraph 0038, the effective absorption rate of the reference light source ^ α ₁ is most advantageous from the viewpoint of depth estimation accuracy when it becomes the minimum value of the effective absorption rate of all the light sources. In this case, since the difference between all the effective absorption rates from the reference light source is positive, a unique solution can be obtained when all the elements of the ^{vector → b are non-negative.}

非特許文献３で証明されているように、擬似逆行列Ｌ⁺によって得られるｂ＝^→ｌ₁ ^T→Ｌ⁺は、^→ｌ₂...^→ｌ_iの線形結合としてｌ₁を復元するうえでの最小ノルム解である。Ｋ＝４、すなわち３つの補助光源の場合、もし他の３つの光源が形成する三角錐内に基準光源があれば、ベクトル^→ｂの全要素は非負となり一意な大域的最適解を得ることができる。これは、直感的に、ベクトルｂの全要素が負になることは、基準光源の反対側から補助光源がターゲットを照射している状況を意味するため物理的に実現不可能であることを意味する。 As proved in Non-Patent Document 3, ^{b = →} l ₁ ^{T →} L ⁺ obtained by the ^{pseudo inverse matrix L +} restores _{l 1} as a linear combination of ^→ l ₂ ... ^→ l _i. Is the minimum norm solution in. In the case of K = 4, that is, three auxiliary light sources, if there is a reference light source in the triangular pyramid formed by the other three light sources ^{, all the elements of vector →} b become non-negative and a unique global optimum solution can be obtained. it can. This means that intuitively, the fact that all the elements of the vector b are negative means that the auxiliary light source is illuminating the target from the opposite side of the reference light source, so that it is not physically feasible. To do.

Ｋ＞４の場合、ｂ≧０が成り立つ条件は自明ではない。しかしながら、実際には、^α_iと^→ｂとは吸収率と光源の方向とのみに依存し、全画素で共有されるので、一旦、照射方向がキャリブレートされたら直ちに基準光源の最小有効級数係数^α₁と要素^→ｂの非負性が確認される。すなわち、一旦、キャリブレートされた光源方向が非負の制約を満たせば、式（１２）による深度推定は、一意な大域的最適解を得られる単調関数であることを保証する。 When K> 4, the condition that b ≧ 0 is not obvious. However, in reality, ^ α _i and ^→ b depend only on the absorption rate and the direction of the light source and are shared by all pixels. Therefore, once the irradiation direction is calibrated, the minimum effective series coefficient of the reference light source is used. The non-negativeness of ^ α ₁ and element ^{→ b is confirmed.} That is, once the calibrated light source direction satisfies the non-negative constraint, the depth estimation by Eq. (12) guarantees that it is a monotonic function that can obtain a unique global optimum solution.

水中から法線ベクトルと形状とを得るには、次の条件が満たされなければならない。
・少なくとも４つの近赤外の平行光源
・補助光源の方向が、互いに独立であること
・補助光源の実効吸収率は、基準光源の実効吸収率と異なること
・ｂの全要素が負でないこと
これらの条件は、光の波長と方向の異なる組み合わせによる実効吸収率の実現の余地がある。例えば、もし補助光源が同じ波長を持つように選んだら、補助光源の方向の各々は基準光源に対し互いに異ならなければならない。もし補助光源の波長が全て異なるならば、全ての補助光源が視線方向に対して同じ極角となるように配置できる。後者の場合、波長の異なる光は互いに干渉しないので、一回の露光による撮像で法線ベクトルと形状の復元のために必要な情報を全て得ることができる。基準光源と補助光源とが、１波長の光を物体に照射してもよく、補助光源がそれぞれバラバラの極角を持てばいい。実効吸収率の差を極角だけでつくる構成も可能である。 To obtain the normal vector and shape from water, the following conditions must be met.
-At least four near-infrared parallel light sources-The directions of the auxiliary light sources are independent of each other-The effective absorption rate of the auxiliary light source is different from the effective absorption rate of the reference light source-All the elements of b are not negative. There is room for realizing the effective absorption rate by combining different wavelengths and directions of light. For example, if the auxiliary light sources are chosen to have the same wavelength, the directions of the auxiliary light sources must be different from each other with respect to the reference light source. If the wavelengths of the auxiliary light sources are all different, all the auxiliary light sources can be arranged so as to have the same polar angle with respect to the line-of-sight direction. In the latter case, since lights of different wavelengths do not interfere with each other, it is possible to obtain all the information necessary for restoring the normal vector and shape by imaging with a single exposure. The reference light source and the auxiliary light source may irradiate the object with light of one wavelength, and the auxiliary light sources may have different polar angles. It is also possible to make the difference in effective absorption rate only by the polar angle.

（深度の精度分析）
仮に全ての光源を同じ方向^→ｌ_i＝^→ｌ₁に設定した場合、式（９）の右辺は全てが"１"のベクトルとなり、深度は各iに対して式（１５）のようになる。

これは、非特許文献２によって深度を推定することと等価である。式（１５）は、観測された反射光の放射輝度の比が大きいほど深度の推定がより正確になることを示唆する。この関係は基準光源と各補助光源全ての間で成り立つので、実際には、基準光源のもとでの観測輝度と、全ての補助光源のもとでの観測輝度の比ができるだけ大きいことが望ましいことを意味する。 (Depth accuracy analysis)
If all light sources are set in the same direction ^→ l _i = ^→ l ₁ , the right side of equation (9) is a vector of "1", and the depth is as shown in equation (15) for each i. ..

This is equivalent to estimating the depth according to Non-Patent Document 2. Equation (15) suggests that the greater the ratio of the radiance of the observed reflected light, the more accurate the estimation of depth. Since this relationship holds between the reference light source and all the auxiliary light sources, it is actually desirable that the ratio of the observed brightness under the reference light source to the observed brightness under all the auxiliary light sources is as large as possible. Means that.

もし入力画像への追加ノイズεを考慮すると、絶対深度誤差は式（１６）となる。

式（１６）は、観察された放射輝度が大きくなるにつれて、絶対誤差が小さくなる（ノイズに強くなる）ことを示唆する。
これら結果は、実効吸収率の差は最大化するように、一方、各光源のもとで観察される放射輝度はできるだけ大きくなるように、波長と光源の方向を選択すると精度向上が望めることを示唆する。 If the additional noise ε to the input image is taken into account, the absolute depth error is given by Eq. (16).

Equation (16) suggests that as the observed radiance increases, the absolute error decreases (becomes more resistant to noise).
These results show that the accuracy can be improved by selecting the wavelength and the direction of the light source so that the difference in effective absorption rate is maximized, while the radiance observed under each light source is as large as possible. Suggest.

（キャリブレーション）
以上、カメラの投影モデルが厳密に正射影であることや、光源が同じ強度の平行光源であることを仮定してきた。しかし、実際には、これらの要件が満たされず、例えば、光の強度に応じて測定値を増減させることを考慮しなければならない。一般に光源方向は金属球(chrome ball)をターゲットの配置場所に置くことで推定できるが、ハイライトを使用すると推定が正確なものとはならない。そこで、光源方向と光源強度の両方を同時に推定し、形状と法線の確実で正確な推定を実現する、実用的なキャリブレーション方法を提供する。 (Calibration)
As described above, it has been assumed that the projection model of the camera is strictly normal projection and that the light sources are parallel light sources of the same intensity. However, in practice, these requirements are not met, and it must be considered, for example, that the measured value may be increased or decreased depending on the intensity of light. Generally, the direction of the light source can be estimated by placing a chrome ball at the target location, but using highlights does not make the estimation accurate. Therefore, we provide a practical calibration method that estimates both the light source direction and the light source intensity at the same time and realizes reliable and accurate estimation of the shape and normal.

特に、ターゲットがカバーする空間内に、カメラから既知の相異なる深度で完全拡散球(Lambertian sphere)を浸す。完全拡散球の半径はあらかじめ計測することで既知であるとし、完全拡散球面上の任意の点xにおける深度の真値^ｄ(x)と法線ベクトルの真値^ｎ(x)を算出することができる。このとき光源の方向ベクトル^→ｌ＝｛^→ｌ₁...^→ｌ_K｝と光源の強度^→Ｌ＝{^→Ｌ₁...^→Ｌ_K｝が、式（１７）のＬ２ノルムを最小とすることで推定することができる。

ここで、ｎは撮像画像の数、ｍは有効な画素数、ｋ₁およびｋ₂はスカラー重み、ｄは推定深度、^→ｎは推定法線ベクトルである。
（実験結果）
仮想光源および９００nmから１０００nmの範囲の近赤外の実光源を使用して、上記方法を検証した。上記範囲の赤外線光の吸収率は５×１０^-3から３×１０^-2の間で劇的に変化する。 In particular, immerse the Lambertian sphere in the space covered by the target at different depths known from the camera. Assuming that the radius of the perfect diffusion sphere is known by measuring in advance, the true value ^ d (x) of the depth at an arbitrary point x on the perfect diffusion sphere and the true value ^ n (x) of the normal vector are calculated. be able to. At this time, the direction vector of the light source ^→ l = { ^→ l ₁ ... ^→ l _K } and the intensity of the light source ^→ L = { ^→ L ₁ ... ^→ L _K }, and the L2 norm of Eq. (17) is the minimum. It can be estimated by doing.

Here, n is the number of captured images, m is the number of effective pixels, k ₁ and k ₂ are scalar weights, d is the estimated depth, and ^→ n is the estimated normal vector.
(Experimental result)
The above method was verified using a virtual light source and a near-infrared real light source in the 900 nm to 1000 nm range. The absorption rate of infrared light in the above range varies dramatically between ^{5 × 10 -3} and 3 × 10 ^-2.

ＰＢＲＴ(Physically Based Rendering：非特許文献４)で生成された８ビット合成画像を用いて、本方法の復元の精度とノイズへの頑健性とを定量的に検証した。Ｋ個の光源の下でターゲットを正投影カメラで撮影したように画像を生成した。Ｋ個の光源の１つは基準光源としてカメラと同軸に配置され、他の光源は補助光源として基準光源の周りに正（Ｋ−１）角形を形成するするように配置された。Ｋ個の吸収率は、５×１０^-3から３×１０^-2の間で等差数列となるように設定された。 Using 8-bit composite images generated by PBRT (Physically Based Rendering: Non-Patent Document 4), the accuracy of restoration and robustness to noise of this method were quantitatively verified. The image was generated as if the target was taken with an orthographic camera under K light sources. One of the K light sources was arranged coaxially with the camera as a reference light source, and the other light source was arranged as an auxiliary light source so as to form a positive (K-1) square around the reference light source. The absorption rate of K pieces was set to be an arithmetic progression between ^{5 × 10 -3} and 3 × 10 ^−2.

図２Ｄは、４個の光源を用いた場合の結果を示す図である。(a)および(b)は、本実施形態にかかる方法で復元した法線ベクトルと深度を示している。また、(c)には、従来の方法として、推定された深度から画像内の近傍点を用いた数値微分によって算出された法線ベクトルが示され、(d)には、推定された法線ベクトルから画像内の近傍点を用いて積分された深度（非特許文献５）が示されている。誤差ＥnとＥdは、法線ベクトルの推定程度と、物体サイズにより正規化された推定深度とのＲＭＳＥ(Root Mean Square Error：平均平方二乗誤差)を表している。これらの結果は、明らかに本実施形態にかかる物体形状測定方法による画素単位の法線ベクトルと深度との同時推定が優れていることを示している。従来の方法は必然的に他を得るために一方の推定に依存しており、その結果、精度が著しく低下する。 FIG. 2D is a diagram showing the results when four light sources are used. (a) and (b) show the normal vector and the depth restored by the method according to this embodiment. Further, (c) shows a normal vector calculated by numerical differentiation using neighboring points in the image from the estimated depth as a conventional method, and (d) shows the estimated normal. The depth integrated from the vector using the neighborhood points in the image (Non-Patent Document 5) is shown. The errors En and Ed represent RMSE (Root Mean Square Error) between the degree of estimation of the normal vector and the estimated depth normalized by the object size. These results clearly show that the simultaneous estimation of the normal vector and the depth in pixel units by the object shape measuring method according to the present embodiment is excellent. Traditional methods inevitably rely on one estimation to obtain the other, resulting in a significant decrease in accuracy.

図２Ｅは、異なるノイズレベルで推定誤差をプロットしたものである。値σは、[0:1]の範囲で印加されたゼロ平均ガウス雑音の標準偏差である。異なる線は、３個から８個の補助電源を使用した場合の結果を示している。実線は、カメラと同心に配置された５×１０^-3と３×１０^-2の吸収率の２つの光源を用いた非特許文献２による結果を示している。これらの結果は、誤差がノイズの増加と共に直性的に増加するが、光源数の増加はノイズの影響を弱めることを示している。 FIG. 2E is a plot of estimation errors at different noise levels. The value σ is the standard deviation of the zero mean Gaussian noise applied in the range [0: 1]. The different lines show the results when using 3 to 8 auxiliary power supplies. The solid line shows the result according to Non-Patent Document 2 using two light sources having an absorption rate of ^{5 × 10 -3} and 3 × 10 ⁻² arranged concentrically with the camera. These results indicate that the error increases directly with the increase in noise, but the increase in the number of light sources weakens the influence of noise.

（静止物体の復元）
フレネルレンズを有する４つの光源と、切替可能な近赤外バンドパスフィルタを備えたモノクロカメラとを備えた画像処理システムを用いて、水中の静止物体の、オフラインの法線ベクトルと形状を復元する例について説明する。４つの光源は８８０nm、９０５nm、９２５nm、９５０nmの４つの近赤外波長の光を照射する。４つの光源は多角錐の要件を満たすように、視点方向に対して異なる角度に配置された。実効吸収率が最大に異なるように、４つの異なる波長および方向の光を照射した。
吸収率は、水中において既知の位置に置かれた平らな白いターゲットを撮像することにより、Beer-Lambertの法則で計算する。光源の方向と強度は共に、本キャリブレーション方法により推定される。キャリブレーション前後のＥnおよびＥdは、それぞれ27.039と0.183、7.728と0.002であった。異なる位置に置かれたキャリブレーションで使用されない他の球体のＥnおよびＥdは、7.85と0.002であり、キャリブレーションの正確さを検証できる。 (Restoration of stationary objects)
An image processing system with four light sources with Fresnel lenses and a black-and-white camera with a switchable near-infrared bandpass filter is used to restore the offline normal vector and shape of a stationary object in water. An example will be described. The four light sources irradiate light with four near-infrared wavelengths of 880 nm, 905 nm, 925 nm and 950 nm. The four light sources were arranged at different angles with respect to the viewpoint direction to meet the requirements of the polygonal pyramid. Lights of four different wavelengths and directions were irradiated so that the effective absorptivity was maximally different.
Absorption is calculated by Beer-Lambert's law by imaging a flat white target placed in a known location in water. Both the direction and intensity of the light source are estimated by this calibration method. En and Ed before and after calibration were 27.039 and 0.183, 7.728 and 0.002, respectively. The En and Ed of the other spheres that are not used in the calibration placed in different positions are 7.85 and 0.002, which can verify the accuracy of the calibration.

図２Ｆは、上記方法を、鋭い***や折り目、不連続を含む複雑な幾何形状をもつ実際の物体に適用した結果として、推定された法線と深度とを示している。本方法が正確な画素単位の深度および法線を復元できることが分かる。すなわち、表面の不連続や法線向きの急激な変化にかかわらず表面の細部が復元されている。 FIG. 2F shows the estimated normals and depths as a result of applying the above method to a real object with complex geometry including sharp ridges, creases and discontinuities. It can be seen that this method can restore accurate pixel-by-pixel depth and normals. That is, the details of the surface are restored despite the discontinuity of the surface and the sudden change in the direction of the normal.

（動的物体の復元）
本方法を、ビデオレートの３次元検知システムとして実装した。図２Ｇに示すように、各波長１４fps(frame/sec)において６つの異なる波長の動画像を撮像できる１０ビットのマルチ波長カメラを使用した。ここでは８５２nm、８８０nm、９０５nm、９５０nmの近赤外バンドパスフィルタを使用した。また、８５２nmと組み合わせて、可視光のＲＧＢカラー情報を提供するため、グリーンおよびブルー波長範囲の２つの追加のフィルタを用いた。カラー情報を得るため、図２Ｇに示すように、可視光の光源（右上の「Texture light source」）を加えた。
この可視光光源からの照射光は、近赤外光源からの照射光に干渉しない。法線および深度と同時に色情報を得られることは、本方法のさらなる優位点である。本実装においては、ビデオレート多波長撮像カメラとして、６つの画像が時間的に連続して取得されるものを用いた。実際には異なる波長間での時間差は、実験で用いた動的物体に対して十分に小さい。必要であれば、推定されたオプティカルフローを用いて観察結果を位置合わせすることができる。図２Ｈおよび図２Ｉは、ビデオ速度の法線と深度を復元した、泳いでいる魚のいくつかのフレームを示している。 (Restoration of dynamic objects)
This method was implemented as a video rate 3D detection system. As shown in FIG. 2G, a 10-bit multi-wavelength camera capable of capturing moving images of six different wavelengths at each wavelength of 14 fps (frame / sec) was used. Here, 852 nm, 880 nm, 905 nm, and 950 nm near-infrared bandpass filters were used. Two additional filters in the green and blue wavelength ranges were also used to provide RGB color information for visible light in combination with 852 nm. In order to obtain color information, a visible light source (“Texture light source” in the upper right) was added as shown in FIG. 2G.
The irradiation light from this visible light source does not interfere with the irradiation light from the near-infrared light source. Obtaining color information at the same time as normal and depth is a further advantage of this method. In this implementation, a video-rate multi-wavelength imaging camera in which six images are continuously acquired in time is used. In reality, the time difference between different wavelengths is small enough for the dynamic object used in the experiment. If necessary, the estimated optical flow can be used to align the observations. 2H and 2I show some frames of the swimming fish with the video velocity normals and depths restored.

《情報処理システムの構成と動作》
以下、図３Ａ乃至図７Ｄを参照して、本実施形態の情報処理システム３００の構成と動作を詳細に説明する。図３Ａは、本実施形態に係る形状測定部３３０を含む情報処理システム３００の構成を示すブロック図である。 << Configuration and operation of information processing system >>
Hereinafter, the configuration and operation of the information processing system 300 of the present embodiment will be described in detail with reference to FIGS. 3A to 7D. FIG. 3A is a block diagram showing a configuration of an information processing system 300 including a shape measuring unit 330 according to the present embodiment.

情報処理システム３００は、水中３１０の対象物体３２０と、４方向から水中３１０の物体に照射する光源３０１〜３０４と、４つの異なる波長の画像を撮像するマルチ波長撮像カメラユニット３０５と、情報処理装置３０６とを含む。 The information processing system 300 includes an object 320 of the underwater 310, light sources 301 to 304 that irradiate the object of the underwater 310 from four directions, a multi-wavelength imaging camera unit 305 that captures images of four different wavelengths, and an information processing device. Includes 306.

光源３０１〜３０４は異なる波長の光を４方向から水中３１０の対象物体３２０に照射する。マルチ波長撮像カメラユニット３０５は、カメラ３５１とカメラ３５１のレンズ前で回転して異なる４つの波長を透過するバンドパスフィルタ３５２とを含むが、異なる４つの波長の画像を撮像可能な撮像装置であれば限定されない。これはあくまでも例示であり、本発明はこの実装に限定されるものではなく、例えば屈折光学系を用いて、４波長以上の光を完全同期撮影する単一視点撮像系を用いてもワンショット画像処理システムを構成できる。 The light sources 301 to 304 irradiate the target object 320 of the underwater 310 with light of different wavelengths from four directions. The multi-wavelength imaging camera unit 305 includes a camera 351 and a bandpass filter 352 that rotates in front of the lens of the camera 351 and transmits four different wavelengths, but any imaging device capable of capturing images of four different wavelengths. Not limited. This is merely an example, and the present invention is not limited to this implementation. For example, a one-shot image can be obtained by using a single-viewpoint imaging system that captures light of four wavelengths or more in perfect synchronization using a folding optics system. The processing system can be configured.

情報処理装置３０６は、本実施形態の形状測定部３３０としての形状測定部と、３次元物体復元部３４０と、３次元物体の復元像を表示する表示部３５０と、情報処理装置３０６の各構成要素を操作する操作部３６０と、を有する。 The information processing device 306 includes a shape measuring unit as the shape measuring unit 330 of the present embodiment, a three-dimensional object restoring unit 340, a display unit 350 for displaying a restored image of the three-dimensional object, and each configuration of the information processing device 306. It has an operation unit 360 for operating the element.

本実施形態の形状測定部３３０は、光源制御部３３１と、光量検知部３３２と、算出部３３３と、キャリブレーション制御部３３４と、を備える。光源制御部３３１および光源３０１〜３０４は、少なくとも１波長の光を少なくとも４方向から水中３１０の物体３２０に照射する。光量検知部３３２は、物体３２０からの反射光量を検知する。算出部３３３は、反射光量に基づいて、物体の表面の各点の法線ベクトルと物体の表面の各点までの水中３１０の深度とをそれぞれ各画素ごとに独立に算出する。光源３０１〜３０４は、波長と方向との少なくともいずれかがそれぞれ異なる４つ以上の光を物体に照射し、光量検知部３３２は、４つ以上の光による反射光量を別々に検知する。ここで、少なくとも１波長の光は、互いに異なる４波長の光であってもよい。光源３０１〜３０４は、同じ１波長の光を照射してもよく、１つの方向に対して他の３つの方向がなす角度が異なってもよい。算出部３３３は、法線ベクトルおよび深度を、光の方向と、光の明るさと、光の波長と、少なくとも１波長に含まれる各波長に関する水中の光吸収率（absorption coefficient）とに基づいて、算出する。また、光源３０１〜３０４が水中３１０の対象物体に照射する光は、近赤外光であり、８００ｎｍから１０００ｎｍの間に含まれる波長を有する。キャリブレーション制御部３３４は、光の方向と強度との両方を同時にキャリブレートすることができる。 The shape measuring unit 330 of the present embodiment includes a light source control unit 331, a light amount detection unit 332, a calculation unit 333, and a calibration control unit 334. The light source control unit 331 and the light sources 301 to 304 irradiate the object 320 of the underwater 310 with light having at least one wavelength from at least four directions. The light amount detection unit 332 detects the amount of reflected light from the object 320. Based on the amount of reflected light, the calculation unit 333 independently calculates the normal vector of each point on the surface of the object and the depth of 310 underwater to each point on the surface of the object for each pixel. The light sources 301 to 304 irradiate an object with four or more lights having at least one of different wavelengths and directions, and the light amount detection unit 332 separately detects the amount of reflected light by the four or more lights. Here, the light having at least one wavelength may be light having four wavelengths different from each other. The light sources 301 to 304 may irradiate light having the same wavelength, or the angles formed by the other three directions may differ from one direction. The calculation unit 333 determines the normal vector and depth based on the direction of light, the brightness of light, the wavelength of light, and the absorption coefficient in water for each wavelength contained in at least one wavelength. calculate. The light emitted by the light sources 301 to 304 on the target object in the water 310 is near-infrared light and has a wavelength included between 800 nm and 1000 nm. The calibration control unit 334 can calibrate both the direction and the intensity of light at the same time.

光源制御部３３１は、光源３０１〜３０４の照射を制御する。本実施形態では、光源３０１〜３０４は照射しつづければよく、タイミング制御は不要である。異なる波長を使っている限りは干渉しないからである。しかし、本発明はこれに限定されるものではなく、光源が全ての波長を含み、能動的に点灯を制御してもよい。同じ波長の場合は、照射と撮像を同期しつつタイミングをずらす必要がある。光量検知部３３２は、それぞれの光源で照射された対象物体３２０からの反射光の各画素の光量を検知する。算出部３３３は、光量検知部３３２が検知した、それぞれの光源で照射された対象物体３２０からの各画素の光量から、対象物体３２０表面の各画素の深度と法線ベクトルとを算出する。キャリブレーション制御部３３４は、形状測定部３３０による対象物体３２０表面の各画素の深度と法線ベクトルとの算出に先だって、各構成要素、特に、本実施形態においては光の方向と光の強度との両方を同時にキャリブレーションする。 The light source control unit 331 controls the irradiation of the light sources 301 to 304. In the present embodiment, the light sources 301 to 304 may be continuously irradiated, and timing control is not required. This is because they do not interfere as long as they use different wavelengths. However, the present invention is not limited to this, and the light source may include all wavelengths and actively control lighting. In the case of the same wavelength, it is necessary to shift the timing while synchronizing the irradiation and the imaging. The light amount detection unit 332 detects the light amount of each pixel of the reflected light from the target object 320 irradiated by each light source. The calculation unit 333 calculates the depth and normal vector of each pixel on the surface of the target object 320 from the light amount of each pixel from the target object 320 irradiated by each light source detected by the light amount detection unit 332. The calibration control unit 334 determines the direction of light and the intensity of light in each component, particularly in the present embodiment, prior to the calculation of the depth and normal vector of each pixel on the surface of the target object 320 by the shape measurement unit 330. Calibrate both at the same time.

《形状測定部の機能構成》
図３Ｂは、本実施形態に係る形状測定部３３０の機能構成を示すブロック図である。 << Functional configuration of shape measurement unit >>
FIG. 3B is a block diagram showing a functional configuration of the shape measuring unit 330 according to the present embodiment.

形状測定部３３０は、図３Ａの構成要素に加えて、各種パラメータやデータを格納するデータベース３３５を備える。データベース３３５には、光源パラメータ３４１と、カメラパラメータ３４２と、法線ベクトル・深度算出式３４３と、検知光量蓄積部３４５と、キャリブレーションアルゴリスム３４６と、が格納される。光源パラメータ３４１は、光源制御部３３１に接続された光源のパラメータを格納する。カメラパラメータ３４２は、光量検知部３３２に検知した光量を送出するマルチ波長撮像カメラユニット３０５のパラメータを格納する。法線ベクトル・深度算出式３４３は、算出部３３３が、各画素の４つの異なる反射光量から対象物体３２０の表面画素の法線ベクトルおよび深度を算出するための算出式やアルゴリズムを格納する。検知光量蓄積部３４５は、光量検知部３３２が検知した４つの異なる波長の各画素の光量を蓄積する。キャリブレーションアルゴリスム３４６は、形状測定前に行う本実施形態のキャリブレーションのアルゴリズムを格納する。 The shape measuring unit 330 includes a database 335 that stores various parameters and data in addition to the components of FIG. 3A. The database 335 stores the light source parameter 341, the camera parameter 342, the normal vector / depth calculation formula 343, the detected light amount storage unit 345, and the calibration algorithm 346. The light source parameter 341 stores the parameter of the light source connected to the light source control unit 331. The camera parameter 342 stores the parameter of the multi-wavelength imaging camera unit 305 that sends out the detected light amount to the light amount detection unit 332. The normal vector / depth calculation formula 343 stores a calculation formula and an algorithm for the calculation unit 333 to calculate the normal vector and the depth of the surface pixel of the target object 320 from four different reflected light amounts of each pixel. The detected light amount storage unit 345 stores the light amount of each pixel of four different wavelengths detected by the light amount detection unit 332. The calibration algorithm 346 stores the calibration algorithm of the present embodiment performed before the shape measurement.

形状測定部３３０の算出部３３３は、法線ベクトル・深度算出部３７１と、画素単位データ取得部３７３と、法線深度算出用テーブル３７５と、データ出力部３７６と、を備える。法線ベクトル・深度算出部３７１は、データベース３３５の各パラメータや法線ベクトル・深度算出式３４３を参照して、各画素の異なる検知光量から画素ごとに独立に法線ベクトルおよび深度を算出する。画素単位データ取得部３７３は、画素単位検知光量テーブル３７４を有する。光量検知部３３２は、４つの異なる光源による撮像画像に対応して検知光量を取得し、検知光量蓄積部３４５に蓄積する。画素単位データ取得部３７３は、蓄積された検知光量を、各画素単位の４つの検知光量として取得して、光源制御部３３１と法線ベクトル・深度算出部３７１とに送出する。法線深度算出用テーブル３７５は、データベース３３５の各パラメータや算出式に基づいて、法線深度算出用の中間データおよび形状測定の条件を記憶する。データ出力部３７６は、光源制御部３３１と法線ベクトル・深度算出部３７１とが算出した各画素の深度および法線ベクトルをセットにして出力する。 The calculation unit 333 of the shape measurement unit 330 includes a normal vector / depth calculation unit 371, a pixel unit data acquisition unit 373, a normal depth calculation table 375, and a data output unit 376. The normal vector / depth calculation unit 371 calculates the normal vector and the depth independently for each pixel from the different detection light amounts of each pixel with reference to each parameter of the database 335 and the normal vector / depth calculation formula 343. The pixel unit data acquisition unit 373 has a pixel unit detection light amount table 374. The light amount detection unit 332 acquires the detected light amount corresponding to the images captured by the four different light sources, and stores the detected light amount in the detected light amount storage unit 345. The pixel unit data acquisition unit 373 acquires the accumulated detection light amount as four detection light amounts for each pixel unit, and sends the accumulated detection light amount to the light source control unit 331 and the normal vector / depth calculation unit 371. The normal depth calculation table 375 stores intermediate data for normal depth calculation and shape measurement conditions based on each parameter and calculation formula of the database 335. The data output unit 376 outputs the depth and normal vector of each pixel calculated by the light source control unit 331 and the normal vector / depth calculation unit 371 as a set.

（光源パラメータ）
図４Ａは、本実施形態に係る光源パラメータ３４１の構成を示す図である。光源パラメータ３４１は、深度および法線ベクトルの算出に用いられる各光源のパラメータを光源インデックスｉに対応付けて格納する。図４Ａには、本実施形態で使用可能な２つの光源パラメータの組が示されている。 (Light source parameter)
FIG. 4A is a diagram showing the configuration of the light source parameter 341 according to the present embodiment. The light source parameter 341 stores the parameter of each light source used for calculating the depth and the normal vector in association with the light source index i. FIG. 4A shows a set of two light source parameters that can be used in this embodiment.

光源パラメータ３４１の１つは、光源インデックス４１１に対応付けて、波長４１２と、吸収率４１３と、方向ベクトル４１４を記憶する。この組では、４つの光の波長４１２が異なる場合が示されている。この場合には、前述の実効吸収率の条件を満たせば方向ベクトル４１４が異なることは必須ではない。 One of the light source parameters 341 stores the wavelength 412, the absorption rate 413, and the direction vector 414 in association with the light source index 411. In this set, the cases where the wavelengths 412 of the four lights are different are shown. In this case, it is not essential that the direction vectors 414 are different if the above-mentioned condition of effective absorption rate is satisfied.

光源パラメータ３４１のもう１つは、光源インデックス４１１に対応付けて波長４１５と、吸収率４１６と、方向ベクトル４１７を記憶する。この組では、４つの光の波長４１５が等しい場合が示されている。この場合には、前述の実効吸収率の条件を満たすために方向ベクトル４１７は異なることが必須である。 The other of the light source parameters 341 stores the wavelength 415, the absorption rate 416, and the direction vector 417 in association with the light source index 411. In this set, the case where the wavelengths 415 of the four lights are equal is shown. In this case, it is essential that the direction vectors 417 are different in order to satisfy the above-mentioned condition of the effective absorption rate.

なお、図４Ａには２つの極端な例を示したが、前述の実効吸収率の条件を満たす組み合わせであれば、その光源の組み合わせが使用可能である。 Although two extreme examples are shown in FIG. 4A, the combination of light sources can be used as long as the combination satisfies the above-mentioned effective absorption rate condition.

（カメラパラメータ）
図４Ｂは、本実施形態に係るカメラパラメータ３４２の構成を示す図である。カメラパラメータ３４２は、深度および法線ベクトルの算出に用いられるマルチ波長撮像カメラユニット３０５の各種パラメータである。 (Camera parameters)
FIG. 4B is a diagram showing the configuration of the camera parameter 342 according to the present embodiment. The camera parameters 342 are various parameters of the multi-wavelength imaging camera unit 305 used for calculating the depth and normal vectors.

カメラパラメータ３４２は、方向ベクトル４２１と、バンドパスフィルタ情報４２４とを記憶する。そして、バンドパスフィルタ情報４２４として、光源インデックス４１１に対応付けられたインデックスｉに対応して、バンドパスフィルタで透過する波長λiを記憶する。 The camera parameter 342 stores the direction vector 421 and the bandpass filter information 424. Then, as the bandpass filter information 424, the wavelength λi transmitted by the bandpass filter is stored corresponding to the index i associated with the light source index 411.

（検知光量蓄積部）
図４Ｃは、本実施形態に係る検知光量蓄積部３４５における蓄積情報を示す図である。検知光量蓄積部３４５は、データベース３３５に設けられ、光量検知部３３２が検知した光量を異なる波長に対応づけて格納する。 (Detected light amount storage unit)
FIG. 4C is a diagram showing the accumulated information in the detected light amount accumulating unit 345 according to the present embodiment. The detection light amount storage unit 345 is provided in the database 335, and stores the light amount detected by the light amount detection unit 332 in association with different wavelengths.

検知光量蓄積部３４５は、光源インデックス４３１に対応して、撮像画像内の全画素の検知光量４３２が格納される。検知光量４３２は、画素（ｘ）にそれぞれ対応して光量Ｅ（ｘ）を記憶する。 The detection light amount storage unit 345 stores the detection light amount 432 of all the pixels in the captured image corresponding to the light source index 431. The detection light amount 432 stores the light amount E (x) corresponding to each pixel (x).

（画素単位光量テーブル）
図４Ｄは、本実施形態に係る画素単位検知光量テーブル３７４の構成を示す図である。画素単位検知光量テーブル３７４は、検知光量蓄積部３４５に蓄積された撮像画像単位の検知光量を画素単位の光量に変換したテーブルであり、各画素の深度および法線ベクトルの算出に用いられる。 (Pixel unit light intensity table)
FIG. 4D is a diagram showing the configuration of the pixel unit detection light amount table 374 according to the present embodiment. The pixel unit detection light amount table 374 is a table in which the detection light amount of the captured image unit stored in the detection light amount storage unit 345 is converted into the light amount of the pixel unit, and is used for calculating the depth and the normal vector of each pixel.

画素単位検知光量テーブル３７４は、画素インデックス４４１に対応付けて、光源１を照射した場合の反射光データ４４２と、光源２を照射した場合の反射光データ４４３と、光源３を照射した場合の反射光データ４４４と、光源４を照射した場合の反射光データ４４５とを記憶する。ここで、画素インデックスＸ=(x, y)は画像面上の座標である。各光源ｉを照射した場合の反射光データとしては、波長λi、吸収率αi、方向ベクトル^→ｌiと、検出光量Ｅi(x)とを含む。 The pixel unit detection light amount table 374 is associated with the pixel index 441, and the reflected light data 442 when the light source 1 is irradiated, the reflected light data 443 when the light source 2 is irradiated, and the reflection when the light source 3 is irradiated. The optical data 444 and the reflected light data 445 when the light source 4 is irradiated are stored. Here, the pixel index X = (x, y) is the coordinates on the image plane. The reflected light data when each light source i is irradiated includes the wavelength λi, the absorption rate αi, the direction vector ^→ li, and the detected light amount Ei (x).

（法線深度算出用テーブル）
図４Ｅは、本実施形態に係る法線深度算出用テーブル３７５の構成を示す図である。法線深度算出用テーブル３７５は、本実施形態で使用される実効吸収率に関連するテーブル４５０と、法線ベクトルおよび深度を算出するために使用されるテーブル４６０と、本実施形態における形状測定を可能とする条件を記憶するテーブル４８０と、を含む。法線ベクトル・深度算出部３７１は、これらの法線深度算出用テーブル３７５を参照しつつ、反射光量に基づいて、法線ベクトルと深度を算出する。 (Table for calculating normal depth)
FIG. 4E is a diagram showing the configuration of the normal depth calculation table 375 according to the present embodiment. The normal depth calculation table 375 includes a table 450 related to the effective absorption rate used in the present embodiment, a table 460 used for calculating the normal vector and the depth, and a shape measurement in the present embodiment. Includes a table 480, which stores the enabling conditions. The normal vector / depth calculation unit 371 calculates the normal vector and the depth based on the amount of reflected light while referring to these normal depth calculation tables 375.

テーブル４５０は、光源インデックス４５１に対応して実効吸収率４５２を記憶する。また、実効吸収率を算出するパラメータである、光源吸収率４５３と、光源方向ベクトル４５４と、カメラ方向ベクトル４５５と、を記憶する。
テーブル４６０は、深度ｄ（ｘ）４６１と法線ベクトル４６２を算出する式４６３、４６４を記憶する。
テーブル４８０は、物体形状を測定する条件として、光源条件４８１、媒体条件４８２、および物体条件４８３を定義している。 Table 450 stores the effective absorption rate 452 corresponding to the light source index 451. Further, the light source absorption rate 453, the light source direction vector 454, and the camera direction vector 455, which are parameters for calculating the effective absorption rate, are stored.
Table 460 stores equations 463 and 464 for calculating the depth d (x) 461 and the normal vector 462.
Table 480 defines the light source condition 481, the medium condition 482, and the object condition 483 as the conditions for measuring the object shape.

（キャリブレーション用テーブル）
図４Ｆは、本実施形態に係るキャリブレーション用テーブル３８１の構成を示す図である。キャリブレーション制御部３３４は、光の方向と光の強度を一度にキャリブレーションするために、キャリブレーション用テーブル３８１を用いる。 (Calibration table)
FIG. 4F is a diagram showing the configuration of the calibration table 381 according to the present embodiment. The calibration control unit 334 uses a calibration table 381 to calibrate the direction of light and the intensity of light at one time.

キャリブレーション用テーブル３８１は、完全拡散球の特徴４９１と、完全拡散球を用いて測定した基準深度と基準法線とを含む基準値４９２と、キャリブレーション式４９３と、を記憶する。そして、キャリブレーション式４９３に基づいてキャリブレーションされた、光の方向と光の強度とを含む光源パラメータ４９４を記憶する。 The calibration table 381 stores the feature 491 of the perfect diffuse sphere, the reference value 492 including the reference depth and the reference normal measured using the perfect diffuse sphere, and the calibration formula 493. Then, the light source parameter 494 including the light direction and the light intensity, which is calibrated based on the calibration formula 493, is stored.

《形状測定部を含む情報処理装置のハードウェア構成》
図５は、本実施形態に係る形状測定部３３０を含む情報処理装置３０６のハードウェア構成を示すブロック図である。 << Hardware configuration of information processing device including shape measurement unit >>
FIG. 5 is a block diagram showing a hardware configuration of the information processing device 306 including the shape measuring unit 330 according to the present embodiment.

図５で、ＣＰＵ５１０は演算制御用のプロセッサであり、プログラムを実行することで図３Ａの機能構成を実現する。ＣＰＵ(Central Processing Unit)５１０は１つであっても複数であってもよい。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース５３０は、ネットワークを介して他の装置との通信を制御する。 In FIG. 5, the CPU 510 is a processor for arithmetic control, and the functional configuration of FIG. 3A is realized by executing a program. The number of CPUs (Central Processing Units) 510 may be one or plural. The ROM (Read Only Memory) 520 stores fixed data and programs such as initial data and programs. The network interface 530 controls communication with other devices via the network.

ＲＡＭ(Random Access Memory)５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。光源別検知光量データ５４１は、カメラが撮像した対象物体からの光源別の反射光量のデータである。画素単位検知光量テーブル３７４は、図４Ｄで説明したように、画素単位の異なる光源による反射光量のデータである。法線深度算出用テーブル３７５は、図４Ｅで説明したように、各画素の深度と法線ベクトルを算出するためのデータを一時保持する。算出された深度データ５４２は、光源制御部３３１で算出された各画素の深度を示すデータである。算出された法線ベクトルデータ５４３は、法線ベクトル・深度算出部３７１で算出された各画素の法線ベクトルを示すデータである。（３次元画素座標、法線ベクトル）データ５４４は、各画素に対応する、算出された深度を含む３次元座標と算出された法線ベクトルとの組のデータである。キャリブレーション用テーブル３８１は，図４Ｆで説明したように、キャリブレーション制御部３３４における光源の方向と強度との同時のキャリブレーションのためのデータである。３次元物体復元データ５４５は、３次元物体復元部３４０における深度と法線ベクトルとを用いた３次元物体の復元のためのデータである。入出力データ５４６は、入出力インタフェース５６０を介して入出力機器と入出力するデータである。送受信データ５４７は、ネットワークインタフェース５３０を介して送受信されるデータである。 The RAM (Random Access Memory) 540 is a random access memory used by the CPU 510 as a temporary storage work area. The RAM 540 secures an area for storing data necessary for realizing the present embodiment. The detection light amount data 541 for each light source is data of the amount of reflected light for each light source from the target object imaged by the camera. As described with reference to FIG. 4D, the pixel-based detection light amount table 374 is data on the amount of reflected light from different light sources in pixel units. As described with reference to FIG. 4E, the normal depth calculation table 375 temporarily holds data for calculating the depth and the normal vector of each pixel. The calculated depth data 542 is data indicating the depth of each pixel calculated by the light source control unit 331. The calculated normal vector data 543 is data indicating the normal vector of each pixel calculated by the normal vector / depth calculation unit 371. (Three-dimensional pixel coordinates, normal vector) data 544 is data of a set of three-dimensional coordinates including the calculated depth and the calculated normal vector corresponding to each pixel. As described with reference to FIG. 4F, the calibration table 381 is data for simultaneous calibration of the direction and intensity of the light source in the calibration control unit 334. The three-dimensional object restoration data 545 is data for restoration of a three-dimensional object using the depth and the normal vector in the three-dimensional object restoration unit 340. The input / output data 546 is data that is input / output to / from the input / output device via the input / output interface 560. The transmission / reception data 547 is data transmitted / received via the network interface 530.

ストレージ５５０は、ＣＰＵ５１０が使用する、本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。光源パラメータ３４１は、図４Ａで説明したように、深度と法線ベクトル算出に用いられる各光源のパラメータを格納する。カメラパラメータ３４２は、図４Ｂで説明したように、深度と法線ベクトル算出に用いられるカメラのパラメータを格納する。法線ベクトル・深度算出式３４３は、法線ベクトルと深度の算出に用いられる算出式を格納する。検知光量蓄積部３４５は、図４Ｃで説明したように、光量検知部３３２が検知した反射光量を格納する。 The storage 550 stores the following data or programs used by the CPU 510 and necessary for realizing the present embodiment. The light source parameter 341 stores the parameters of each light source used for calculating the depth and normal vector, as described with reference to FIG. 4A. The camera parameter 342 stores the camera parameters used for the depth and normal vector calculations, as described in FIG. 4B. The normal vector / depth calculation formula 343 stores the normal vector and the calculation formula used for calculating the depth. As described with reference to FIG. 4C, the detected light amount accumulating unit 345 stores the reflected light amount detected by the light amount detecting unit 332.

ストレージ５５０には、以下のプログラムが格納される。情報処理プログラム５５１は、形状測定部３３０を含む情報処理装置３０６の全体を制御するプログラムである。形状測定プログラム５５２は、形状測定部３３０の全体を制御するプログラムである。キャリブレーション制御モジュール５５３は、光源の方向と強度とを同時にキャルブレーションするモジュールである。光源照射・光量検知制御モジュール５５４は、光源の照射と光量検知とを同期させながら制御するモジュールである。法線深度ベクトル算出モジュール５５５は、各光源による照射の反射光量から各画素の深度と法線ベクトルを算出するモジュールである。３次元物体復元モジュール５５６は、各画素の深度と法線ベクトルとを用いて水中の３次元物体を復元するモジュールである。 The following programs are stored in the storage 550. The information processing program 551 is a program that controls the entire information processing device 306 including the shape measuring unit 330. The shape measurement program 552 is a program that controls the entire shape measurement unit 330. The calibration control module 553 is a module that simultaneously calibrates the direction and intensity of the light source. The light source irradiation / light intensity detection control module 554 is a module that controls the irradiation of the light source and the light intensity detection while synchronizing them. The normal depth vector calculation module 555 is a module that calculates the depth and normal vector of each pixel from the amount of reflected light emitted by each light source. The three-dimensional object restoration module 556 is a module that restores a three-dimensional object in water by using the depth of each pixel and the normal vector.

入出力インタフェース５６０は、入出力デバイスとのデータ入出力を制御するためのインタフェースを行なう。本実施形態においては、入出力インタフェース５６０には、光源３０１〜３０４を切り替えて照射するための光源ドライバ５６１、マルチ波長撮像カメラユニット３０５、表示部３５０、操作部３６０などが接続される。 The input / output interface 560 provides an interface for controlling data input / output with an input / output device. In the present embodiment, the input / output interface 560 is connected to a light source driver 561 for switching and irradiating the light sources 301 to 304, a multi-wavelength imaging camera unit 305, a display unit 350, an operation unit 360, and the like.

なお、図５のＲＡＭ５４０やストレージ５５０には、情報処理装置３０６が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。 The RAM 540 and the storage 550 of FIG. 5 do not show programs and data related to the general-purpose functions of the information processing device 306 and other feasible functions.

《形状測定装置を含む情報処理装置の処理手順》
図６は、本実施形態に係る形状測定部３３０を含む情報処理装置３０６の処理手順を示すフローチャートである。このフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を用いて実行し、図２および図３の機能構成を実現する。 << Processing procedure of information processing equipment including shape measurement equipment >>
FIG. 6 is a flowchart showing a processing procedure of the information processing apparatus 306 including the shape measuring unit 330 according to the present embodiment. This flowchart is executed by the CPU 510 of FIG. 5 using the RAM 540 to realize the functional configurations of FIGS. 2 and 3.

情報処理装置３０６は、ステップＳ６１１において、キャリブレーションの起動であるか否かを判定する。キャリブレーションの起動であると判定すると、情報処理装置３０６は、ステップＳ６１３において、キャリブレーション処理を実行する。 In step S611, the information processing device 306 determines whether or not the calibration has been started. If it is determined that the calibration has been started, the information processing apparatus 306 executes the calibration process in step S613.

キャリブレーションの起動でないと判定すると、情報処理装置３０６は、ステップＳ６２１において、水中の物体からの反射光量の取得であるか否かを判定する。反射光量の取得であると判定すると、情報処理装置３０６は、ステップＳ６２３において、反射光量蓄積処理を実行する。 If it is determined that the calibration is not activated, the information processing apparatus 306 determines in step S621 whether or not the amount of reflected light from the object in the water is acquired. If it is determined that the reflected light amount is acquired, the information processing apparatus 306 executes the reflected light amount accumulating process in step S623.

キャリブレーションの起動でなく、反射光量の取得でないと判定すると、情報処理装置３０６は、ステップＳ６３１において、水中の物体からの反射光量に基づく深度および法線ベクトルの算出であるか否かを判定する。深度および法線ベクトルの算出であると判定すると、情報処理装置３０６は、ステップＳ６３３において、法線深度ベクトル算出処理を実行する。 If it is determined that the amount of reflected light is not acquired instead of activating the calibration, the information processing apparatus 306 determines in step S631 whether or not the depth and normal vector are calculated based on the amount of reflected light from the object in the water. .. If it is determined that the depth and the normal vector are calculated, the information processing apparatus 306 executes the normal depth vector calculation process in step S633.

キャリブレーションの起動でなく、反射光量の取得でなく、深度および法線ベクトルの算出でないと判定すると、情報処理装置３０６は、ステップＳ６４１において、算出された深度および法線ベクトルを用いた３次元物体の復元であるか否かを判定する。３次元物体の復元であると判定すると、情報処理装置３０６は、ステップＳ６４３において、３次元物体復元処理を実行する。 If it is determined that the calibration is not activated, the reflected light amount is not acquired, and the depth and normal vector are not calculated, the information processing apparatus 306 determines in step S641 that the three-dimensional object using the calculated depth and normal vector is used. Determine if it is a restoration of. If it is determined that the three-dimensional object is to be restored, the information processing apparatus 306 executes the three-dimensional object restoration process in step S643.

（キャリブレーション処理）
図７Ａは、本実施形態に係るキャリブレーション処理（Ｓ６１３）の手順を示すフローチャートである。 (Calibration process)
FIG. 7A is a flowchart showing the procedure of the calibration process (S613) according to the present embodiment.

情報処理装置３０６は、ステップＳ７１１において、完全拡散球を水中の既知の深度ｄ1...ｄnに浸す。情報処理装置３０６は、ステップＳ７１３において、基準深度^ｄ(x)と基準法線^→^ｎ(x)を算出して基準を設定する。情報処理装置３０６は、ステップＳ７１５において、深度ｄ(l, L, x)と法線ベクトル^→ｎ(l. L, x)とを算出する。そして、式（１７）に従って、各光源の光源方向ｌと光源強度Ｌとをキャリブレーションして設定する。 In step S711, the information processing device 306 immerses the fully diffused sphere in a known depth d1 ... dn in water. In step S713, the information processing apparatus 306 calculates the reference depth ^ d (x) and the reference normal ^→ ^ n (x) to set the reference. In step S715, the information processing apparatus 306 calculates the depth d (l, L, x) and the normal vector ^→ n (l. L, x). Then, according to the equation (17), the light source direction l and the light source intensity L of each light source are calibrated and set.

（反射光量蓄積処理）
図７Ｂは、本実施形態に係る反射光量蓄積処理（Ｓ６２３）の手順を示すフローチャートである。 (Reflected light amount accumulation process)
FIG. 7B is a flowchart showing the procedure of the reflected light amount accumulating process (S623) according to the present embodiment.

光源制御部３３１は、ステップＳ７２１において、光源を駆動し、光源からの光を物体に照射する。次にステップＳ７２３において、ｉを１に設定する。さらにステップＳ７２５において、光量検知部３３２は、カメラ３５１およびバイパスフィルタ３５３を制御して、水中３１０の物体３２０を撮像させて、画素ごとの波長λ_iの反射光量を取得する。そして、光量検知部３３２は、ステップＳ７２７において、波長λ_iに対応付けて画素ごとの波長λ_iの反射光量を検知光量蓄積部３４５に蓄積する。 In step S721, the light source control unit 331 drives the light source and irradiates the object with the light from the light source. Next, in step S723, i is set to 1. Further, in step S725, the light amount detection unit 332 controls the camera 351 and the bypass filter 353 to image the object 320 of the underwater 310, and acquires the reflected light amount _{of the wavelength λ i for each pixel.} The light intensity detection section 332, at step S727, stores the amount of reflected light of a wavelength lambda _i of each pixel in association with the wavelength lambda _i in detection light amount storage unit 345.

光量検知部３３２は、ステップＳ７２９において、ｉ≧４であるか否かを判定する。ｉ≧４でなければ、光量検知部３３２は、ステップＳ７３１において、ｉに１を加え（ｉ←ｉ＋１）、ステップＳ７２５に戻り、他の波長の光の反射光量の取得を繰り返す。ｉ≧４であれば、全４波長の反射光量を全て取得したことになるため反射光量蓄積処理を終了する。 In step S729, the light intensity detection unit 332 determines whether or not i ≧ 4. If i ≧ 4, the light amount detection unit 332 adds 1 to i (i ← i + 1) in step S731, returns to step S725, and repeats the acquisition of the reflected light amount of light of another wavelength. If i ≧ 4, it means that all the reflected light amounts of all four wavelengths have been acquired, so that the reflected light amount accumulating process is completed.

（法線深度ベクトル算出処理）
図７Ｃは、本実施形態に係る深度・法線ベクトル算出処理（Ｓ６３３）の手順を示すフローチャートである。 (Normal depth vector calculation process)
FIG. 7C is a flowchart showing the procedure of the depth / normal vector calculation process (S633) according to the present embodiment.

情報処理装置３０６は、ステップＳ７４１において、データベース３３５から、光源パラメータ、カメラパラメータ、法線ベクトル・深度算出式を取得する。情報処理装置３０６は、ステップＳ７４３において、法線深度算出用テーブル３７５を生成する。情報処理装置３０６は、ステップＳ７４５において、画素インデックスｘ_mnをｘ₁₁(x₁,y₁)に初期化する。 In step S741, the information processing apparatus 306 acquires the light source parameter, the camera parameter, and the normal vector / depth calculation formula from the database 335. The information processing apparatus 306 generates the normal depth calculation table 375 in step S743. The information processing apparatus 306 initializes the pixel index x _mn to x ₁₁ (x ₁ , y ₁ ) in step S745.

情報処理装置３０６は、ステップＳ７４７において、画素インデックスx_mnにおける、光源λ₁〜λ_Kに対応する光量のＥ₁〜Ｅ_Kをデータベース３３５から取得する。情報処理装置３０６は、ステップＳ７４９において、光量E₁〜E_Kから画素x_mnの法線ベクトル^→ｌ(x)および深度ｄ(x)を算出する。そして、情報処理装置３０６は、ステップＳ７５３において、画素x_mnの（法線ベクトル^→ｌ(x)，深度ｄ(x)）の組を出力する。なお、画素単位に出力しても、全画素や一部画素の組を一括して出力してもよい。 In step S747, the information processing apparatus 306 _{acquires E 1 to} E _K of the amount of light corresponding to the light sources λ _{1 to λ K at the pixel index x mn} from the database 335. In step S749, the information processing apparatus 306 calculates the normal vector of the pixel x _mn ^→ l (x) and the depth d (x) _{from the light amounts E 1 to} E _K. Then, in step S753, the information processing apparatus 306 _{outputs a set of pixels x mn} (normal vector ^→ l (x), depth d (x)). It should be noted that the output may be performed in pixel units, or a set of all pixels or some pixels may be output collectively.

情報処理装置３０６は、ステップＳ７５５において、ｍ≧βかつｎ≧γであるか否かを判定する。ｍ≧βかつｎ≧γでなければ、情報処理装置３０６は、ステップＳ７５７において、ｍまたはｎに１を加えて（ｍ←ｍ＋１ or ｎ←ｎ＋１）、ステップＳ７４７に戻って、他の画素の法線ベクトルおよび深度の算出を繰り返す。ｍ≧βかつｎ≧γであれば、情報処理装置３０６は、ステップＳ７５９において、光源が照射した物体表面画素の（法線ベクトルｌ(x)，深度ｄ(x)）の組を、３次元物体復元処理のために記憶する。 In step S755, the information processing device 306 determines whether or not m ≧ β and n ≧ γ. If m ≧ β and n ≧ γ, the information processing apparatus 306 adds 1 to m or n (m ← m + 1 or n ← n + 1) in step S757, returns to step S747, and returns to the method of other pixels. Repeat the calculation of line vector and depth. If m ≧ β and n ≧ γ, the information processing apparatus 306 three-dimensionally sets the set of (normal vector l (x), depth d (x)) of the object surface pixels irradiated by the light source in step S759. Store for object restoration processing.

（３次元物体復元処理）
図７Ｄは、本実施形態に係る３次元物体復元処理（Ｓ６４３）の手順を示すフローチャートである。 (3D object restoration processing)
FIG. 7D is a flowchart showing the procedure of the three-dimensional object restoration process (S643) according to the present embodiment.

情報処理装置３０６は、ステップＳ７６１において、物体表面画素の位置(x,y,算出深度）と法線ベクトルとを取得する。情報処理装置３０６は、ステップＳ７６３において、視点を変更するか否かを判定する。視点を変更すると判定されれば、情報処理装置３０６は、ステップＳ７６５において、全画素の位置と法線ベクトルとに対応して３次元画像を生成する。一方、視点を変更しないと判定されれば、情報処理装置３０６は、ステップＳ７６７において、全画素の位置と法線ベクトルとを視点の変更ししたがって変更して、３次元画像を生成する。そして、情報処理装置３０６は、ステップＳ７６９において、生成された３次元画像を、水中の対象物体の３次元復元像として出力する。 In step S761, the information processing apparatus 306 acquires the position (x, y, calculated depth) of the object surface pixel and the normal vector. The information processing device 306 determines in step S763 whether or not to change the viewpoint. If it is determined that the viewpoint is changed, the information processing apparatus 306 generates a three-dimensional image corresponding to the positions of all the pixels and the normal vector in step S765. On the other hand, if it is determined that the viewpoint is not changed, the information processing apparatus 306 generates a three-dimensional image by changing the positions of all the pixels and the normal vector according to the change of the viewpoint in step S767. Then, the information processing apparatus 306 outputs the generated three-dimensional image as a three-dimensional restored image of the target object in water in step S769.

本実施形態によれば、物体の表面の各点の法線ベクトルと深度とをそれぞれ独立に算出するので、不連続面を有する物体についても、高精度に表面形状を測定することできる。また、物体表面の座標および向きをリアルタイムに導出できるため、動いている物体の形状を短時間に正確に認識できる。また、カメラを動かしながら広範囲の表面形状を短時間に認識できる。さらに、光源の方向と強度とのキャリブレーションを容易に精度よく行なうことができる。 According to this embodiment, since the normal vector and the depth of each point on the surface of the object are calculated independently, the surface shape of the object having a discontinuous surface can be measured with high accuracy. Moreover, since the coordinates and orientation of the surface of the object can be derived in real time, the shape of the moving object can be accurately recognized in a short time. In addition, a wide range of surface shapes can be recognized in a short time while moving the camera. Further, the direction and intensity of the light source can be easily and accurately calibrated.

［第３実施形態］
次に、本発明の第３実施形態に係る形状測定装置について説明する。本実施形態に係る形状測定装置は、上記第２実施形態と比べると、生体内に挿入される内視鏡によって生体内の３次元物体の形状を測定する点で異なる。本実施形態の形状測定装置は、生体内の媒体中に挿入された内視鏡から少なくとも４方向からの光を照射し、内視鏡から反射画像の画素光量を取得して、生体内部表面の深度と法線ベクトルを算出する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、ここで「生体内」とは、脳内、耳鼻咽喉内、胸腔内、気管支内、上部消化管内、腹腔内、十二指腸内、膵管内、胆道内、小腸内、大腸内、直腸内、膀胱内、尿道内、尿管内、子宮内、羊水内、骨盤腔内、または血管内を意味する。 [Third Embodiment]
Next, the shape measuring device according to the third embodiment of the present invention will be described. The shape measuring device according to the present embodiment is different from the second embodiment in that the shape of a three-dimensional object in the living body is measured by an endoscope inserted in the living body. The shape measuring device of the present embodiment irradiates light from at least four directions from an endoscope inserted in a medium in the living body, acquires the pixel light amount of the reflected image from the endoscope, and obtains the pixel light amount of the reflected image from the endoscope to obtain the pixel light amount of the reflected image from the internal surface of the living body. Calculate the depth and normal vector. Since other configurations and operations are the same as those in the second embodiment, the same configurations and operations are designated by the same reference numerals and detailed description thereof will be omitted. The term "in vivo" as used herein means in the brain, otolaryngology, thoracic cavity, bronchus, upper gastrointestinal tract, abdominal cavity, duodenum, pancreatic tract, biliary tract, small intestine, large intestine, rectum, and bladder. Intra, urethral, urethral, uterine, sheep water, pelvic cavity, or blood vessel.

《内視鏡システムの構成》
図８は、本実施形態に係る形状測定部３３０を含む内視鏡システム８００の構成を示すブロック図である。なお、図３Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。 << Configuration of endoscopy system >>
FIG. 8 is a block diagram showing the configuration of the endoscope system 800 including the shape measuring unit 330 according to the present embodiment. The same components as those in FIG. 3A are designated by the same reference numbers, and duplicate description will be omitted.

本実施形態の図３Ａとの相違点は、内視鏡のホース中を４つの光源８０１〜８０４のための光と、カメラ８０５への光を通す光ファイバ８５１を有することである。また、情報処理装置８０６が媒体制御部８７０を有することである。媒体制御部８７０は、人体８１１の内部に媒体８１０が満たされるように媒体を補給するために用いられる。 The difference from FIG. 3A of the present embodiment is that the hose of the endoscope has an optical fiber 851 that allows light for four light sources 801 to 804 and light to pass through the camera 805. Further, the information processing device 806 has a medium control unit 870. The medium control unit 870 is used to replenish the medium so that the medium 810 is filled inside the human body 811.

表示部３５０には、本実施形態により復元された生体内部の３次元画像８５０が表示される。 The display unit 350 displays a three-dimensional image 850 of the inside of the living body restored by the present embodiment.

《形状測定装置の反射光量蓄積処理》
図９は、本実施形態に係る形状測定部３３０を含む情報処理装置８０６の反射光量蓄積処理の手順を示すフローチャートである。なお、図７Ｂと同様のステップには同じステップ番号を付して、重複する説明を省略する。 << Reflected light accumulation processing of shape measuring device >>
FIG. 9 is a flowchart showing a procedure of the reflected light amount accumulating process of the information processing apparatus 806 including the shape measuring unit 330 according to the present embodiment. The same step numbers as those in FIG. 7B are assigned the same step numbers, and duplicate description will be omitted.

情報処理装置８０６は、ステップＳ９２０において、体内の観測対象の腔内を媒体で満たす。例えば、水や経口補給水などで腔内を満たす。 In step S920, the information processing apparatus 806 fills the cavity of the observation target in the body with a medium. For example, fill the cavity with water or oral rehydration water.

本実施形態によれば、内視鏡によって生体内部の３次元画像のリアルタイムでの復元精度を高めることができる。なお、顕微鏡においても同様の構成で適用でき、同様の効果を奏することができる。また、水道管等の内部を移動しながら、壁面の凹凸を測定することにも本発明を同様に適用することができる。 According to this embodiment, it is possible to improve the real-time restoration accuracy of a three-dimensional image inside a living body by using an endoscope. It should be noted that the same configuration can be applied to a microscope, and the same effect can be obtained. Further, the present invention can be similarly applied to measuring the unevenness of the wall surface while moving inside the water pipe or the like.

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。 [Other Embodiments]
Although the invention of the present application has been described above with reference to the embodiment, the invention of the present application is not limited to the above embodiment. Various changes that can be understood by those skilled in the art can be made to the structure and details of the present invention within the technical scope of the present invention. Also included in the technical scope of the present invention are systems or devices in any combination of the different features contained in each embodiment.

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。 Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Further, the present invention is also applicable when an information processing program that realizes the functions of the embodiment is supplied to a system or an apparatus and executed by a built-in processor. Therefore, in order to realize the functions of the present invention on a computer, the program installed on the computer, the medium containing the program, the WWW (World Wide Web) server for downloading the program, and the processor for executing the program are also included in the present invention. Included in the technical scope of the invention. In particular, at least a non-transitory computer readable medium containing a program that causes a computer to execute the processing steps included in the above-described embodiment is included in the technical scope of the present invention.

Claims (12)

少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する光源ユニットと、
前記少なくとも１波長の光の前記物体による反射光量を検知する光量検知部と、
前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記光量検知部から前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
を備えた形状測定装置。 A light source unit that irradiates an object in a medium with light of at least one wavelength from at least four directions.
A light amount detection unit that detects the amount of light reflected by the object of light having at least one wavelength, and
A calculation unit that independently calculates the normal vector of each point on the surface of the object and the depth in the medium from the light amount detection unit to each point on the surface of the object from the reflected light amount. ,
Shape measuring device equipped with. 前記光源ユニットは、波長と方向との少なくともいずれかがそれぞれ異なる４つ以上の光を前記物体に照射し、
前記光量検知部は、前記４つ以上の光による反射光量を別々に検知する請求項１に記載の形状測定装置。 The light source unit irradiates the object with four or more lights having at least one of different wavelengths and directions.
The shape measuring device according to claim 1, wherein the light amount detecting unit separately detects the amount of reflected light due to the four or more lights. 前記少なくとも１波長の光は、互いに異なる４波長の光である請求項２に記載の形状測定装置。 The shape measuring device according to claim 2, wherein the light having at least one wavelength is light having four wavelengths different from each other. 前記少なくとも１波長の光は、１波長の光であり、前記４方向は、１つの方向に対して他の３つの方向がなす角度が異なる請求項２に記載の形状測定装置。 The shape measuring apparatus according to claim 2, wherein the light having at least one wavelength is light having one wavelength, and the four directions have different angles formed by the other three directions with respect to one direction. 前記算出部は、前記光の方向と、前記光の明るさと、前記光の波長と、前記少なくとも１波長に含まれる各波長に関する前記媒体の光吸収率（absorption coefficient）とに基づいて、前記法線ベクトルおよび前記深度を算出する請求項１乃至４のいずれか１項に記載の形状測定装置。 The calculation unit is based on the direction of the light, the brightness of the light, the wavelength of the light, and the light absorption coefficient of the medium with respect to each wavelength contained in at least one wavelength. The shape measuring device according to any one of claims 1 to 4, wherein the line vector and the depth are calculated. 前記光は近赤外光である請求項１乃至５のいずれか１項に記載の形状測定装置。 The shape measuring device according to any one of claims 1 to 5, wherein the light is near infrared light. 前記媒体は水であり、
前記少なくとも１波長の光は、８００ｎｍから１０００ｎｍの間に含まれる波長を有する請求項６に記載の形状測定装置。 The medium is water
The shape measuring apparatus according to claim 6, wherein the light having at least one wavelength has a wavelength contained between 800 nm and 1000 nm. 照射する前記光のインデックスをi、前記光の波長をλ_i、前記光の吸収率をα(λ_i)、前記照射する光の方向ベクトルを^→ｌ_i、光源行列をＬ=[^→ｌ₂ ... ^→ｌ_K](Kは照射する光の総数：K≧4)、前記光量検知部の方向ベクトルを^→ｌ_c、前記物体の表面画素のインデックスをｘ、前記表面画素の法線ベクトルを^→ｎ(x)、前記表面画素の深度をｄ(x)、とし、

の^α_iを前記光の有効吸収率と定義した場合に、
前記光量検知部で検知した光量Ｅ₁〜Ｅ_Kに基づいて、

から、法線ベクトル^→ｎ(x)と深度ｄ(x)との解を求める請求項１乃至７のいずれか１項に記載の形状測定装置。 The index of the light to be irradiated is i, the wavelength of the light is λ _i , the absorption rate of the light is α (λ _i ), the direction vector of the light to be irradiated is ^→ l _i , and the light source matrix is L = [ ^→ l ₂ ... ^→ l _K ] (K is the total number of emitted lights: K ≧ 4), the direction vector of the light amount detection unit is ^→ l _c , the index of the surface pixel of the object is x, and the normal vector of the surface pixel ^{Is →} n (x), and the depth of the surface pixel is d (x).

When ^ α _i is defined as the effective absorption rate of the light,
Based on the amount E ₁ to E _K detected by the light intensity detection section,

The shape measuring apparatus according to any one of claims 1 to 7, wherein the solution of the normal vector ^{→ n (x) and the depth d (x) is obtained from the above.} 前記光の方向と強度との両方を同時にキャリブレートするキャリブレーション制御部を、さらに備えた請求項１乃至８のいずれか１項に記載の形状測定装置。 The shape measuring apparatus according to any one of claims 1 to 8, further comprising a calibration control unit that calibrates both the direction and the intensity of light at the same time. 体内に挿入して、少なくとも１波長の光を少なくとも４方向から媒体中の生体内部表面に照射する光源ユニットと、
前記体内に挿入して、前記少なくとも１波長の光の前記生体内部表面による反射光量を検知する光量検知部と、
前記反射光量から、前記生体内部表面の各点の法線ベクトルと、前記光量検知部から前記生体内部表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
を備えた内視鏡システム。 A light source unit that is inserted into the body and irradiates the internal surface of the living body in the medium from at least four directions with light of at least one wavelength.
A light amount detection unit that is inserted into the body and detects the amount of light reflected by the internal surface of the living body of light having at least one wavelength.
A calculation unit that independently calculates the normal vector of each point on the internal surface of the living body and the depth in the medium from the light amount detecting unit to each point on the internal surface of the living body from the reflected light amount. ,
Endoscope system equipped with. 少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する照射ステップと、
前記少なくとも１波長の光の前記物体による反射光量を検知する光量検知ステップと、
前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
を含む形状測定方法。 An irradiation step of irradiating an object in a medium with light of at least one wavelength from at least four directions,
A light amount detection step for detecting the amount of light reflected by the object of light having at least one wavelength, and a light amount detection step.
A calculation step of independently calculating the normal vector of each point on the surface of the object and the depth in the medium to each point on the surface of the object from the reflected light amount at each point.
Shape measurement method including. 少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する前提として、前記光の方向と、前記光の明るさと、前記光の波長と、前記光に関する前記媒体の光吸収率（absorption coefficient）とを設定する設定ステップと、
前記設定ステップで設定された値および前記光を照射した際の前記物体からの反射光量に基づいて、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
をコンピュータに実行させる形状測定プログラム。 Assuming that an object in the medium is irradiated with light of at least one wavelength from at least four directions, the direction of the light, the brightness of the light, the wavelength of the light, and the light absorption coefficient of the medium with respect to the light. ) And the setting step to set
Based on the value set in the setting step and the amount of reflected light from the object when irradiated with the light, the normal vector of each point on the surface of the object and the medium up to each point on the surface of the object. A calculation step that calculates the medium depth independently at each point,
A shape measurement program that causes a computer to execute.

Images