JPH07260446A - Image processor - Google Patents
Image processorInfo
- Publication number
- JPH07260446A JPH07260446A JP6056087A JP5608794A JPH07260446A JP H07260446 A JPH07260446 A JP H07260446A JP 6056087 A JP6056087 A JP 6056087A JP 5608794 A JP5608794 A JP 5608794A JP H07260446 A JPH07260446 A JP H07260446A
- Authority
- JP
- Japan
- Prior art keywords
- image
- error
- shape
- estimated
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、対象物を撮像した画像
を利用する事により対象物の立体形状を推定すると共
に、その誤差を推定する画像処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus for estimating a three-dimensional shape of an object by using an image obtained by picking up an image of the object and estimating its error.
【0002】[0002]
【従来の技術】視野に重なりを持って配置された撮像手
段の、相対的な配置が既知の場合、撮像された画像から
対象の形状を推定する問題に対しては、いわゆるステレ
オ画像からの形状推定問題として種々の方法が提案され
ている。2. Description of the Related Art When the relative arrangement of image pickup means arranged so as to overlap the field of view is known, the problem of estimating the shape of an object from a picked-up image is solved by a so-called stereo image shape. Various methods have been proposed as estimation problems.
【0003】さらに近年では、動きからの3次元構造抽
出についていくつかの提案がなされている。これは、複
数の画像から撮像手段の相対的な移動をも推定しようと
する手法である。Furthermore, in recent years, several proposals have been made for extracting three-dimensional structures from motion. This is a method that also tries to estimate the relative movement of the image pickup means from a plurality of images.
【0004】これらの方法はいずれも、複数の画像間で
対象物上の同一の点の各画像上における位置が関連付け
られることを原情報として用いる。Each of these methods uses, as the original information, that the positions of the same point on the object in each image are associated with each other between the plurality of images.
【0005】対象物上の同一の点の各画像上における位
置の検出に対しても種々の方法が提案されている。人工
的な対象物の場合、角、輪郭成分が明瞭であることが多
いため、線分抽出等の構造抽出による手法は有効である
が、一般的な自然画像に対しては適用が難しい。時系列
画像に対してしばしば用いられる濃度勾配法は、画像間
での対象物の見かけの移動が非常に小さく、画像品質が
よい場合には良好な結果が得られるが、撮像条件の制約
が大きい。Various methods have been proposed for detecting the position of the same point on an object on each image. In the case of artificial objects, since the corners and contour components are often clear, the method of structure extraction such as line segment extraction is effective, but it is difficult to apply to general natural images. The density gradient method, which is often used for time-series images, gives very good results when the apparent movement of the object between images is very small and the image quality is good, but the constraints of the imaging conditions are large. .
【0006】そこで一般的には、画像上の着目点とその
周辺領域を参照領域として抽出し、探索対象物の画像上
から抽出した領域との間で相関演算を行い、最大相関値
を与える位置を対応点とする手法(ブロックマッチン
グ)がしばしば用いられる。ブロックマッチング法は、
画像上のテクスチャが明瞭であれば比較的安定した結果
をもたらす。しかしその一方で、テクスチャが不明瞭な
場合には誤った対応点を検出してしまうことがある。Therefore, in general, a point of interest on the image and its surrounding area are extracted as a reference area, and a correlation operation is performed between the area extracted from the image of the object to be searched and a position giving the maximum correlation value. A method (block matching) with the corresponding points is often used. The block matching method is
Clear textures on the image give relatively stable results. However, on the other hand, when the texture is unclear, an incorrect corresponding point may be detected.
【0007】さらに本質的な欠点として、対象物が立体
でありブロック内に例えば背景との境界を含む場合に
は、検出結果は信頼できない。また、対象物面が撮像手
段に対して傾いている、あるいは距離の差がある等、複
数の撮像手段の画像間での像の変形が大きい、または像
の大きさの差異が大きい場合も信頼性に乏しい。Further, as an essential drawback, when the object is a solid and the block includes a boundary with the background, for example, the detection result is unreliable. Further, it is also reliable when the deformation of the image between the images of the plurality of image pickup devices is large or the difference in the image size is large, such as when the object surface is tilted with respect to the image pickup device or there is a difference in distance. Poor sex.
【0008】立体形状の推定に関わる課題としては、オ
クルージョン及び推定結果の整合に関する問題が上げら
れる。特に、ステレオからの推定においては対象物の背
後に隠れ、撮像されない部分、あるいは一方の撮像手段
のみに撮像される部分とが存在しこれらの領域の扱いが
問題となる。[0008] As a problem related to the estimation of the three-dimensional shape, there is a problem regarding occlusion and matching of the estimation result. In particular, in stereo estimation, there is a part that is hidden behind the object and is not imaged, or a part that is imaged by only one of the image pickup means, and handling of these regions poses a problem.
【0009】撮像手段の数が多ければ必然的に撮像され
る領域が多くなり、隠される領域は少なくなるが、特に
撮像手段の位置が既知でない場合、あるいは推定が正確
でない場合には、これらの画像間の整合は容易ではな
い。A large number of image pickup means inevitably results in a large area to be picked up and a small hidden area. However, especially when the position of the image pickup means is not known or the estimation is inaccurate, these areas are hidden. Matching between images is not easy.
【0010】従来提案されてきた手法のほとんどは、人
工物を撮像した画像を対象物としている。または、自然
画像を対象物とした場合に当然発生するこれらの問題に
対し、何れかの仮定をおくことにより、影響を除外ある
いは軽減した条件において考察されており、実用上十分
な能力をもっているとは言えない。Most of the conventionally proposed methods target an image of an artificial object. Or, for these problems that naturally occur when an object is a natural image, it is considered under the condition that the influence is excluded or mitigated by making any assumption, and it is considered that the problem is practically sufficient. I can't say.
【0011】例えば、従来提案されている手法の適用が
困難であり、かつ、機能が実現された場合に実用的な価
値の大きい画像の種類に生体用内視鏡から得られる画像
がある。For example, an image obtained from a biomedical endoscope is one of the types of images that are difficult to apply the method proposed hitherto and have great practical value when the function is realized.
【0012】細長の挿入部を体腔内に挿入することによ
って、切開を必要とすることなく、体腔内の患部等を観
察したり、必要に応じ処置具を用いて治療処置のできる
内視鏡においては、先端部の大きさは機能上最小限に抑
える必要がある。このため、医師が観察、あるいは処置
を行うために必要な部材以外は、組み込むことができな
い。By inserting an elongated insertion portion into a body cavity, an endoscope can be used for observing an affected area in the body cavity without the need for incision and for medical treatment using a treatment tool if necessary. The tip size must be functionally minimized. For this reason, it is not possible to install components other than those necessary for the doctor to perform observation or treatment.
【0013】経内視鏡的に対象物の形状を把握すること
に関して、既にいくつかの提案がなされている。例え
ば、観察対象物に対しパターン光等を投影するスポット
光方式(特開昭64−64525号)、先端部に配置さ
れた複眼により視差のある像を得る複眼方式(特開昭6
3−244011号)である。同一出願人による特開昭
62−168791号公報には、内視鏡先端を手元操作
により移動させて得た複数の画像から対象物形状を推定
する手法、及び操作にともなう先端の移動量を計測する
計測機構が開示されている。この方法によれば現内視鏡
の機能を損なうことなく、絶対的な対象物形状の推定を
行うことができる。これらを絶対形状方式と称すること
にする。Several proposals have already been made for grasping the shape of a target object endoscopically. For example, a spot light system for projecting pattern light or the like onto an object to be observed (Japanese Patent Laid-Open No. 64-64525) and a compound eye system for obtaining an image with parallax by a compound eye placed at the tip (Japanese Patent Laid-Open No. 6-64525).
3-244011). Japanese Unexamined Patent Publication No. 62-168791 by the same applicant discloses a method for estimating the shape of an object from a plurality of images obtained by moving the endoscope tip by hand operation, and measuring the amount of movement of the tip with the operation. A measuring mechanism that does this is disclosed. According to this method, an absolute object shape can be estimated without impairing the function of the current endoscope. These will be referred to as absolute shape methods.
【0014】一方、同一出願人による特開平6−728
9号公報では、同一の対象物に対して複数の位置から撮
像し、撮像された複数の画像から対象物の形状を推定
し、推定された形状と撮像手段の位置との関係を用いて
決定される重み関数により立体形状を推定する手法、つ
まり相対的な形状推定(相対形状)方式が開示されてい
る。On the other hand, JP-A-6-728 by the same applicant
According to Japanese Patent Publication No. 9, the same object is imaged from a plurality of positions, the shape of the object is estimated from the plurality of imaged images, and the shape is determined using the relationship between the estimated shape and the position of the imaging means. There is disclosed a method for estimating a three-dimensional shape by the weighting function described above, that is, a relative shape estimation (relative shape) method.
【0015】[0015]
【発明が解決しようとする課題】前述した相対形状方
式、絶対形状方式である複眼方式及びスポット光方式の
各方式により同一点を検出し形状を推定する場合に、以
下の要因で誤差が発生する。When the same point is detected and the shape is estimated by the above-mentioned relative shape method, compound eye method which is an absolute shape method, and spot light method, an error occurs due to the following factors. .
【0016】(1)いずれの三方式にあっても画像内の
ノイズのために誤差が発生する。(1) In any of the three methods, an error occurs due to noise in the image.
【0017】(2)異なる位置で同一の対象物体を撮像
したことにより、テクスチャーが変形するために誤差が
発生する。尚、局所的な領域で見たときは同一と考えら
れるが、実際には異なっている。相対形状方式及び複眼
方式が該当する。(2) Since the same target object is imaged at different positions, an error occurs because the texture is deformed. It is considered that they are the same when viewed in a local area, but they are actually different. The relative shape method and the compound eye method are applicable.
【0018】(3)異なる位置で同一の対象物体を撮像
したことにより、照明ムラが発生するために誤差が発生
する。これも、相対形状方式及び複眼方式が該当する。(3) Since the same target object is imaged at different positions, unevenness in illumination occurs, resulting in an error. This also applies to the relative shape method and the compound eye method.
【0019】(4)スポット光方式においては、対象物
体に照射されたスポット光の画像に対して、テンプレー
ト画像として作成したスポット光の画像が厳密には異な
るため、誤差が発生する(図37(a),(b)参
照)。(4) In the spot light system, an error occurs because the image of the spot light created as the template image is strictly different from the image of the spot light applied to the target object (see FIG. 37 ( See a) and (b)).
【0020】特開平6−7289号公報記載の発明で
は、複数の画像により対象物の立体形状を推定するとき
に、同一点の検出を行っているわけであるが、前記要因
等により検出の過程で誤差が生じていても、推定された
立体形状は形状誤差が含まれた状態で表示されることに
なる。従って、推定された立体形状は、どの程度の誤差
を含んでいるものか分からず、その信頼性の程度を把握
することはできなかった。In the invention described in Japanese Patent Application Laid-Open No. 6-7289, the same point is detected when the three-dimensional shape of the object is estimated from a plurality of images. Even if there is an error in, the estimated three-dimensional shape will be displayed with the shape error included. Therefore, it is not possible to know how much error the estimated three-dimensional shape includes, and it is not possible to grasp the degree of its reliability.
【0021】また、特開昭64−64525号公報、及
び特開昭63−244011号公報に示す方式に関して
も、同様のことが言える。The same applies to the systems disclosed in Japanese Patent Laid-Open Nos. 64-64525 and 63-244011.
【0022】本発明は前記事情にかんがみてなされたも
ので、対象物の形状推定すると共に、推定された形状に
どの程度の誤差を含んでいるのかを把握でき、推定形状
の信頼性を評価できる画像処理装置を提供することを目
的としている。The present invention has been made in view of the above circumstances. It is possible to estimate the shape of an object, grasp the degree of error in the estimated shape, and evaluate the reliability of the estimated shape. An object is to provide an image processing device.
【0023】[0023]
【解決を解決するための手段及び作用】本発明は、撮像
手段により撮像された対象物の画像から得られる情報及
び撮像手段に関する情報を基に、対象物の立体形状を推
定する立体形状推定手段と、前記立体形状推定手段にて
推定される立体形状に含まれる誤差を推定する立体形状
誤差推定手段とを備え、対象物の形状推定するだけでな
く、推定された形状にどの程度の誤差を含んでいるのか
を把握できよう、形状誤差を推定している。The present invention relates to a three-dimensional shape estimating means for estimating the three-dimensional shape of an object based on the information obtained from the image of the object imaged by the image capturing means and the information about the image capturing means. And a three-dimensional shape error estimating means for estimating an error included in the three-dimensional shape estimated by the three-dimensional shape estimating means, not only estimating the shape of the object, but also to what extent an error is added to the estimated shape. The shape error is estimated so that it can be grasped whether or not it is included.
【0024】[0024]
【実施例】以下、図面を参照して本発明の実施例を説明
する。図1ないし図20は本発明の第1実施例に係り、
図1は第1実施例を備えた電子内視鏡システムの全体構
成図、図2は電子内視鏡装置のブロック構成を示すブロ
ック図、図3は画像処理装置の構成を示すブロック図、
図4はCPUで構成した画像処理のブロック図、図5は
ハードウェアで構成した画像処理装置のブロック図、図
6は記録装置の構成を示すブロック図、図7は2次元画
像データが3次元データに変換され且つ誤差が推定され
る処理内容を示すフローチャート図、図8は立体形状の
推定に関する説明図、図9は歪曲収差の補正の説明図、
図10はテンプレート画像と参照画像とのシフト量を求
める様子を示す説明図、図11は2次元の画像データ列
からシフトマップを算出する様子を示す説明図、図12
はシフトマップを算出して運動ベクトルの反復処理の具
体的な処理の様子を示すフローチャート図、図13は中
心射影の座標系を示す説明図、図14は回転軸と回転ベ
クトルを示す説明図、図15は3つのベクトルが同一平
面上にあることを示す説明図、図16は内視鏡の先端の
動きを示す説明図、図17は反復推定の様子を示すフロ
ーチャート図、図18はエピポーララインによる誤差推
定の説明図、図19はエピポーララインからずれた位置
の誤差範囲に関する説明図、図20は推定された立体形
状と誤差範囲の表示に関する説明図である。Embodiments of the present invention will be described below with reference to the drawings. 1 to 20 relate to a first embodiment of the present invention,
1 is an overall configuration diagram of an electronic endoscope system including the first embodiment, FIG. 2 is a block diagram showing a block configuration of an electronic endoscope device, FIG. 3 is a block diagram showing a configuration of an image processing device,
4 is a block diagram of image processing configured by a CPU, FIG. 5 is a block diagram of an image processing device configured by hardware, FIG. 6 is a block diagram showing the configuration of a recording device, and FIG. 7 is three-dimensional image data of two-dimensional image. FIG. 8 is a flow chart showing the processing contents of converting into data and estimating an error, FIG. 8 is an explanatory diagram regarding estimation of a three-dimensional shape, FIG.
FIG. 10 is an explanatory diagram showing how the shift amount between the template image and the reference image is obtained, and FIG. 11 is an explanatory diagram showing how the shift map is calculated from the two-dimensional image data sequence.
Is a flow chart showing a concrete process of iterative processing of a motion vector by calculating a shift map, FIG. 13 is an explanatory view showing a coordinate system of central projection, FIG. 14 is an explanatory view showing a rotation axis and a rotation vector, FIG. 15 is an explanatory diagram showing that three vectors are on the same plane, FIG. 16 is an explanatory diagram showing movement of the tip of the endoscope, FIG. 17 is a flowchart diagram showing a state of iterative estimation, and FIG. 18 is an epipolar line. FIG. 19 is an explanatory diagram of the error estimation at the position of deviation from the epipolar line, and FIG. 20 is an explanatory diagram of the display of the estimated three-dimensional shape and the error range.
【0025】まず、本実施例の概略について説明すると
共に、続いて具体的な構成及び作用等について述べる。First, an outline of the present embodiment will be described, and then a specific configuration, operation, etc. will be described.
【0026】本実施例に係る画像処理装置は、概略的な
構成として、撮像手段により同一の対象物を複数の位置
から撮像し、各画面上における同一の点の位置を検出す
ると共に、撮像手段の相対的な動きを推定することによ
り、対象物の相対的な形状を推定する相対的形状推定手
段を有し、さらに、前記位置検出手段で発生する検出誤
差から前記相対形状推定手段で推定された対象物の形状
の誤差を推定する誤差推定手段とを有している。The image processing apparatus according to the present embodiment has a schematic configuration in which the same object is imaged from a plurality of positions by the image pickup means, the position of the same point on each screen is detected, and the image pickup means is used. Has a relative shape estimating means for estimating the relative shape of the object by estimating the relative movement of the object, and further estimated by the relative shape estimating means from the detection error generated by the position detecting means. Error estimation means for estimating the error in the shape of the target object.
【0027】この画像処理装置を有する内視鏡画像処理
装置は、推定された対象物の立体形状と推定された誤差
とを合成して表示する構成を有し、撮像手段により同一
の対象物を複数の位置から撮像し、画像間の相関性を利
用して対象物の相対的な形状を推定すると同時に、形状
を推定する同一点の検出における検出誤差による形状の
誤差範囲を推定して対象物の相対形状と誤差範囲を表示
するものである。An endoscopic image processing apparatus having this image processing apparatus has a structure in which the estimated three-dimensional shape of the object and the estimated error are combined and displayed, and the same object is imaged by the imaging means. Images are taken from multiple positions, and the relative shape of the object is estimated by using the correlation between the images. At the same time, the shape error range due to the detection error in the detection of the same point for estimating the shape is estimated and the object is estimated. The relative shape and the error range are displayed.
【0028】図1に示すように内視鏡システム1は撮像
手段を備えた電子内視鏡装置2と、撮像された画像に基
づいて患部等の立体形状を推定し、且つ形状の誤差を推
定する画像処理を行う第1実施例の画像処理装置3と、
画像を記録する記録装置4と、画像処理された画像を表
示するモニタ5とから構成される。As shown in FIG. 1, an endoscope system 1 estimates an electronic endoscope apparatus 2 equipped with an image pickup means, a three-dimensional shape of a diseased part or the like based on a picked-up image, and estimates a shape error. The image processing device 3 of the first embodiment for performing image processing for
A recording device 4 for recording an image and a monitor 5 for displaying the image-processed image.
【0029】電子内視鏡装置2は電子内視鏡6と、この
電子内視鏡6に照明光を供給する光源部7A(図2参
照)及び撮像手段に対する信号処理を行う信号処理部7
Bを内蔵した観察装置7と、この観察装置7から出力さ
れる画像信号を表示する観察用モニタ8とから構成され
る。The electronic endoscope apparatus 2 includes an electronic endoscope 6, a light source section 7A (see FIG. 2) for supplying illumination light to the electronic endoscope 6, and a signal processing section 7 for performing signal processing for the image pickup means.
The observation device 7 has a built-in B, and the observation monitor 8 displays the image signal output from the observation device 7.
【0030】前記電子内視鏡6は生体9内に挿入される
細長の挿入部11と、この挿入部11の後端に形成され
た操作部12と、この操作部12から延出されたユニバ
ーサルケーブル13とから構成され、このユニバーサル
ケーブル13の先端に設けたコネクタ14を観察装置7
に接続することができる。この挿入部11は、先端側か
ら順に、硬質の先端部16a、湾曲可能な湾曲部16
b、及び可撓管部16cを有している。The electronic endoscope 6 has an elongated insertion portion 11 to be inserted into a living body 9, an operation portion 12 formed at a rear end of the insertion portion 11, and a universal portion extended from the operation portion 12. The observation device 7 includes a connector 14 that is composed of a cable 13 and is provided at the end of the universal cable 13.
Can be connected to. The insertion portion 11 includes a hard tip portion 16a and a bendable bending portion 16 in order from the tip side.
It has b and the flexible tube part 16c.
【0031】前記挿入部11内にはライトガイド15が
挿通され、コネクタ14を観察装置7に接続することに
より、図2に示すように光源部7Aから照明光が入射端
面に供給される。このライトガイド15によって伝送さ
れ、先端部16a側の端面から前方に出射され、生体9
内の対象部位を照明する。この照明された対象部位は先
端部16aに設けた対物レンズ17によってその結像位
置に配置されたCCD18に結像され、光電変換され
る。この対物レンズ17とCCD18とで撮像手段とし
ての撮像部19を形成する。尚、撮像手段としては、前
記CCD等に限らず他の素子でも良く、あるいは光学式
ファイバー内視鏡の接眼部に設けた電子カメラ等でも良
い。A light guide 15 is inserted into the insertion portion 11 and the connector 14 is connected to the observation device 7, whereby illumination light is supplied from the light source portion 7A to the incident end face as shown in FIG. The light is transmitted by the light guide 15 and is emitted forward from the end face on the side of the tip portion 16a, so that the living body 9
Illuminate the target part inside. The illuminated target portion is imaged by the objective lens 17 provided on the tip portion 16a on the CCD 18 arranged at the image forming position, and photoelectrically converted. The objective lens 17 and the CCD 18 form an image pickup section 19 as an image pickup means. The image pickup means is not limited to the CCD or the like, but may be another element, or an electronic camera or the like provided in the eyepiece of the optical fiber endoscope.
【0032】前記CCD18で光電変換された画像信号
は観察装置7内の信号処理部7Bにより、信号処理され
て画像信号が生成され、この画像信号は観察用モニタ8
に出力されると共に、画像処理装置3に出力される。The image signal photoelectrically converted by the CCD 18 is subjected to signal processing by the signal processing section 7B in the observation device 7 to generate an image signal.
And is output to the image processing device 3.
【0033】観察装置7における光源部7Aと信号処理
部7Bの構成を図2に示す。光源部7Aは、紫外光から
赤外光に至る広帯域の光を発光するランプ21を備えて
いる。このランプ21としては、一般的なキセノンラン
プやストロボランプ等を用いることができる。前記キセ
ノンランプやストロボランプは、可視光のみならず紫外
光及び赤外光を大量に発光する。The structures of the light source section 7A and the signal processing section 7B in the observation device 7 are shown in FIG. The light source unit 7A includes a lamp 21 that emits light in a wide band from ultraviolet light to infrared light. As the lamp 21, a general xenon lamp, a strobe lamp, or the like can be used. The xenon lamp and strobe lamp emit a large amount of not only visible light but also ultraviolet light and infrared light.
【0034】このランプ21は、電源22によって電力
が供給されるようになっている。前記ランプ21の前方
には、モータ23によって回転駆動される回転フィルタ
50が配設されている。この回転フィルタ50には通常
観察用の赤(R),緑(G),青(B)の各波長領域の
光を透過するフィルタが周方向に沿って配列されてい
る。Power is supplied to the lamp 21 from a power source 22. A rotary filter 50, which is driven to rotate by a motor 23, is arranged in front of the lamp 21. Filters that transmit light in the respective wavelength regions of red (R), green (G), and blue (B) for normal observation are arranged in the rotary filter 50 along the circumferential direction.
【0035】又、モータ23はモータドライバ25によ
って回転が制御されて駆動されるようになっている。前
記回転フィルタ50を透過し、R,G,Bの各波長領域
の光に時系列的に分離された光は、更にライトガイド1
5の入射端に入射され、このライトガイド15を介して
先端部16a側の出射端面に導かれ、この出射端面から
前方に出射されて、観察部位等を照明するようになって
いる。The rotation of the motor 23 is controlled by a motor driver 25 so that the motor 23 is driven. The light that has passed through the rotary filter 50 and is time-sequentially separated into lights of respective wavelength regions of R, G, and B is further light guide 1.
The light is incident on the incident end of No. 5, is guided to the emitting end face on the side of the tip portion 16a through the light guide 15, and is emitted forward from this emitting end face to illuminate the observation site and the like.
【0036】この照明光による観察部位等の被検体(被
写体)からの戻り光は、対物レンズ17によって、CC
D18上に結像され、光電変換されるようになってい
る。このCCD18には、信号線26を介して、信号処
理部7B内のドライバ31からの駆動パルスが印加さ
れ、この駆動パルスによって光電変換された被検体の画
像に対応した電気信号(映像信号)のみ読出しが行われ
るようになっている。The return light from the subject (subject) such as the observation site due to this illumination light is transmitted by the objective lens 17 to the CC
An image is formed on D18 and photoelectrically converted. A drive pulse from the driver 31 in the signal processing unit 7B is applied to the CCD 18 via the signal line 26, and only the electric signal (video signal) corresponding to the image of the subject photoelectrically converted by the drive pulse is applied. Read-out is performed.
【0037】このCCD18から読み出された電気信号
は、信号線27を介して、電子内視鏡6内又は観察装置
7内に設けられたプリアンプ32に入力されるようにな
っている。このプリアンプ32で増幅された映像信号
は、プロセス回路33に入力され、γ補正及びホワイト
バランス等の信号処理を施され、A/Dコンバータ34
によって、デジタル信号に変換されるようになってい
る。The electric signal read from the CCD 18 is input to the preamplifier 32 provided in the electronic endoscope 6 or the observation device 7 via the signal line 27. The video signal amplified by the preamplifier 32 is input to the process circuit 33, subjected to signal processing such as γ correction and white balance, and then A / D converter 34.
It is designed to be converted into a digital signal.
【0038】このデジタルの映像信号は、セレクト回路
35によって、例えば赤(R),緑(G),青(B)の
各色に対応する3つのメモリ(1)36a,メモリ
(2)36b,メモリ(3)36cに選択的に記憶され
るようになっている。前記メモリ(1)36a,メモリ
(2)36b,メモリ(3)36cに記憶されたR,
G,B色信号は、同時に読み出され、D/Aコンバータ
37によって、アナログ信号に変換され、入出力インタ
フェース(I/O)38を介してR,G,B色信号とし
てカラーモニタ8に出力され、このカラーモニタ8によ
って、観察部位がカラ―表示されるようになっている。This digital video signal is selected by the select circuit 35, for example, three memories (1) 36a, memory (2) 36b, and memories corresponding to each color of red (R), green (G), and blue (B). (3) It is adapted to be selectively stored in 36c. R stored in the memory (1) 36a, the memory (2) 36b, the memory (3) 36c,
The G and B color signals are simultaneously read out, converted into analog signals by the D / A converter 37, and output to the color monitor 8 as R, G and B color signals via the input / output interface (I / O) 38. The color monitor 8 is used to color-display the observed region.
【0039】また、観察装置7内には、システム全体の
タイミングを作るタイミングジェネレータ42が設けら
れ、このタイミングジェネレータ42によって、モータ
ドライバ25,ドライバ31,セレクト回路35等の各
回路間の同期が取られている。Further, a timing generator 42 for making the timing of the entire system is provided in the observation device 7, and the timing generator 42 synchronizes the circuits such as the motor driver 25, the driver 31, and the selection circuit 35. Has been.
【0040】この実施例では、メモリ(1)36a,メ
モリ(2)36b,メモリ(3)36cの出力端及びタ
イミングジェネレータ42の同期信号出力端は、画像処
理装置3と接続されている。また、画像処理装置3はカ
ラーモニタ5と接続され、このカラーモニタ5には画像
処理装置3による演算結果が表示されるようになってい
る。In this embodiment, the output terminals of the memory (1) 36a, the memory (2) 36b, the memory (3) 36c and the synchronization signal output terminal of the timing generator 42 are connected to the image processing apparatus 3. Further, the image processing device 3 is connected to the color monitor 5, and the calculation result by the image processing device 3 is displayed on the color monitor 5.
【0041】図3はこの画像処理装置3の構成を示す。
CPU40、情報入力装置41、RAMで構成される主
記憶装置42、画像入力インタフェース43、表示イン
タフェース44、ROM45及び記録装置インタフェー
ス46を備え、これらはバスによって互いに接続されて
いる。FIG. 3 shows the structure of the image processing apparatus 3.
A CPU 40, an information input device 41, a main storage device 42 including a RAM, an image input interface 43, a display interface 44, a ROM 45, and a recording device interface 46 are provided, and these are connected to each other by a bus.
【0042】図4に示すようにCPU40は、ROM4
5に記憶されたプログラムにより動作する画像処理手段
47を有している。この画像処理手段47は、光学系に
よる歪曲収差の影響を画像から無くすように補正する歪
曲収差補正手段49と、例えば同一対象物に関して複数
の位置から撮像手段により撮像された複数の画像に対
し、各画像上における同一の位置を検出する位置検出手
段50と、前記各画像上における同一の点の位置から各
撮像手段の位置、すなわち動きを推定する位置推定手段
51と、この位置検出手段50で検出された同一の点の
位置及び前記位置推定手段で推定された各撮像手段の位
置(動き)から対象物の立体形状を推定する形状推定手
段52と、同一対象物の複数の画像をいくつかの組に分
割して得られる各立体形状を平均化して一つの形状とし
て求める平均化処理手段53と、例えば前記位置検出手
段50の検出ミス等により発生する推定された対象物の
立体形状の誤差を推定する誤差推定手段54と、前記推
定された対象物の立体形状と誤差とを合成する画像合成
手段55等とからなる。As shown in FIG. 4, the CPU 40 has a ROM 4
5 has an image processing means 47 which operates according to the program stored therein. This image processing means 47 is a distortion aberration correcting means 49 for correcting the influence of the distortion aberration by the optical system so as to eliminate it from the image, and, for example, for a plurality of images taken by the imaging means from a plurality of positions with respect to the same object, The position detecting means 50 for detecting the same position on each image, the position estimating means 51 for estimating the position of each imaging means, that is, the motion from the position of the same point on each image, and the position detecting means 50. A shape estimating means 52 for estimating the three-dimensional shape of the object from the detected position of the same point and the position (movement) of each imaging means estimated by the position estimating means, and a plurality of images of the same object. Averaging processing means 53 for averaging each three-dimensional shape obtained by dividing the three-dimensional shape into one shape, and estimation caused by, for example, a detection error of the position detecting means 50 or the like. An error estimating means 54 for estimating the error of the three-dimensional shape of the target object, consisting of the image synthesizing means 55 or the like and for combining the three-dimensional shape and the error of the estimated object.
【0043】前記情報入力手段41はキーボード等で構
成され、電子内視鏡6の種別等のデータを入力できるよ
うになっている。画像入力インタフェース43は、メモ
リ(1)36a,メモリ(2)36b,メモリ(3)3
6cに接続され、これらの画像データの受信を行うよう
になっている。また、表示インタフェース44は、モニ
タ5にて表示される画像データを送るようになってい
る。また、画像処理装置3の演算処理をハードウェアで
構成した場合のブロック構成例を図5に示す。The information input means 41 is composed of a keyboard or the like, and can input data such as the type of the electronic endoscope 6. The image input interface 43 includes a memory (1) 36a, a memory (2) 36b, and a memory (3) 3.
6c is connected to receive these image data. Further, the display interface 44 is adapted to send the image data displayed on the monitor 5. Further, FIG. 5 shows a block configuration example when the arithmetic processing of the image processing apparatus 3 is configured by hardware.
【0044】メモリ(1)36a,(2)36b,
(3)36cに記録された時系列画像データは、画像入
力インターフェース59を介して、一旦、複数のフレー
ムメモリからなるメモリ60に記憶される。記憶された
画像データは歪曲収差補正手段61により補正され、こ
の補正された画像データは、位置検出手段62、位置推
定手段63、形状推定手段64、平均化処理手段65及
び誤差推定手段66により、対象物の立体形状と立体形
状の誤差が算出される。算出された3次元画像データ又
は2次元画像データと立体形状の誤差データとは、画像
合成手段67により合成されメモリ68に記憶される。Memories (1) 36a, (2) 36b,
(3) The time-series image data recorded in 36c is temporarily stored in the memory 60 including a plurality of frame memories via the image input interface 59. The stored image data is corrected by the distortion aberration correcting means 61, and the corrected image data is corrected by the position detecting means 62, the position estimating means 63, the shape estimating means 64, the averaging processing means 65 and the error estimating means 66. An error between the three-dimensional shape of the object and the three-dimensional shape is calculated. The calculated three-dimensional image data or two-dimensional image data and the stereoscopic error data are combined by the image combining means 67 and stored in the memory 68.
【0045】メモリ68に記憶された3次元画像データ
又は2次元画像データと立体形状の誤差は読み出され、
D/Aコンバータ69によってアナログ信号に変換さ
れ、表示用インターフェース70を介してモニタ5に対
象部位の3次元又は2次元の形状及び形状誤差が表示さ
れるようになている。The error between the three-dimensional image data or the two-dimensional image data stored in the memory 68 and the three-dimensional shape is read out,
It is converted into an analog signal by the D / A converter 69, and the three-dimensional or two-dimensional shape and shape error of the target site are displayed on the monitor 5 via the display interface 70.
【0046】また、画像処理装置3には、歪曲収差補正
手段61、位置検出手段62、位置推定手段63、形状
推定手段64、平均化処理手段65、誤差推定手段66
及び画像合成手段67の演算を制御するための演算処理
用コントローラ71と、メモリ60、68のデータの読
み書きを制御するためのメモリコントローラ72が設け
られている。セレクタ73は、メモリコントローラ72
の制御信号によってメモリ60またはメモリ68の一方
と記録装置4とを記録装置用インターフェース74を介
して選択的に接続し、記録装置4とメモリ60又はメモ
リ68との間でデータの転送ができるようになってい
る。前記メモリコントローラ72は、情報入力装置75
を接続している。Further, in the image processing device 3, the distortion aberration correcting means 61, the position detecting means 62, the position estimating means 63, the shape estimating means 64, the averaging processing means 65, and the error estimating means 66.
Further, an arithmetic processing controller 71 for controlling the arithmetic operation of the image synthesizing means 67 and a memory controller 72 for controlling the reading and writing of data of the memories 60 and 68 are provided. The selector 73 is the memory controller 72
One of the memory 60 or the memory 68 and the recording device 4 are selectively connected to each other via the recording device interface 74 by the control signal of 1., and data can be transferred between the recording device 4 and the memory 60 or the memory 68. It has become. The memory controller 72 is an information input device 75.
Are connected.
【0047】この実施例では電子内視鏡6で得た対象物
部位の画像に対し、画像処理装置3で処理を行い、モニ
タ5に処理結果を出力する。In this embodiment, the image of the object portion obtained by the electronic endoscope 6 is processed by the image processing device 3 and the processed result is output to the monitor 5.
【0048】図6は画像処理装置3と接続され、画像処
理装置3で画像処理される画像データを記録したり、画
像処理装置3で処理され、モニタ5で表示される画像デ
ータ等を記録する記録装置4のより具体的な構成例を示
す。FIG. 6 is connected to the image processing apparatus 3 and records image data which is image-processed by the image processing apparatus 3 or records image data which is processed by the image processing apparatus 3 and displayed on the monitor 5. A more specific configuration example of the recording device 4 will be shown.
【0049】画像記録装置80はVTR或いはアナログ
光磁気ディスク装置等のアナログ方式の画像記録装置で
あり、その出力はA/Dコンバータ81により、A/D
変換された後、デジタル画像として画像処理装置3に入
力される。また、画像処理装置3による処理結果画像
が、D/Aコンバータ84を介して画像記録装置80に
記録することが可能である。The image recording device 80 is an analog type image recording device such as a VTR or an analog magneto-optical disk device, and its output is A / D converted by an A / D converter 81.
After the conversion, the digital image is input to the image processing apparatus 3. Further, the processing result image by the image processing device 3 can be recorded in the image recording device 80 via the D / A converter 84.
【0050】動画像ファイル装置82は半導体メモリ、
ハードディスク、デジタル光磁気ディスク装置等で構成
されるデジタル方式の動画像ファイル装置であり、その
出力はデジタル画像として画像処理装置3に入力され
る。また、静止画像ファイル装置83は動画像ファイル
装置82と同様に半導体メモリ、ハードディスク、デジ
タル光磁気ディスク装置等で構成されるデジタル方式の
静止画像ファイル装置であり、その出力はデジタル画像
として画像処理装置3に入力される。The moving picture file device 82 is a semiconductor memory,
It is a digital moving image file device including a hard disk, a digital magneto-optical disk device, etc., and its output is input to the image processing device 3 as a digital image. The still image filing device 83 is a digital still image filing device including a semiconductor memory, a hard disk, a digital magneto-optical disc device, etc. like the moving image filing device 82, and its output is a digital image as an image processing device. Input to 3.
【0051】また、画像処理装置3による処理結果画像
は、動画像ファイル装置82及び静止画像ファイル装置
83に記録することも可能である。本実施例では、撮像
手段を移動させ、複数の位置で撮像した複数の画像を用
いて、立体形状の推定をする、いわゆる相対位置形状の
推定を行う。このため、CCD18を含む撮像手段を移
動させ、複数の画像を取り込むことになる。内視鏡の移
動による複数画像の取り込みは、例えば以下の方法で実
施できる。Further, the processing result image by the image processing device 3 can be recorded in the moving image file device 82 and the still image file device 83. In the present embodiment, the so-called relative position shape is estimated by moving the image capturing means and using a plurality of images captured at a plurality of positions to estimate the three-dimensional shape. Therefore, the image pickup means including the CCD 18 is moved to capture a plurality of images. The capturing of a plurality of images by moving the endoscope can be performed by the following method, for example.
【0052】同一の対象物体に対して、内視鏡湾曲部1
6bの湾曲操作により特定の方向に内視鏡先端部16a
を動かす。このとき画像ズレが発生しないように、緩や
かに湾曲操作を行う。湾曲操作に伴い、同一の対象物体
に対して時系列的な連続画像が複数得られる。この連続
画像から後述するように対象物体の立体形状及び誤差を
推定する。For the same target object, the endoscope bending section 1
The endoscope distal end portion 16a is moved in a specific direction by the bending operation of 6b.
To move. At this time, the bending operation is gently performed so that the image shift does not occur. With the bending operation, a plurality of time-series continuous images are obtained for the same target object. From this continuous image, the three-dimensional shape and the error of the target object are estimated as described later.
【0053】尚、前述のように、誤差の発生を極力抑え
るため所定速度以下で連続的に撮像手段を移動させる方
法以外に、同一の対象物体に対して異なる複数の位置か
ら複数の完全な静止画像を撮像して、その静止画像から
対象物体の立体形状を推定しても良い。As described above, in addition to the method of continuously moving the image pickup means at a predetermined speed or less in order to suppress the occurrence of error as much as possible, a plurality of completely stationary motions from different positions with respect to the same target object. It is also possible to capture an image and estimate the three-dimensional shape of the target object from the still image.
【0054】図2において、CCD18で光電変換され
た画像信号は観察装置7内の信号処理部7Bで信号処理
された画像信号となり、観察用モニタ8に出力されると
共に、画像処理装置3に出力される。In FIG. 2, the image signal photoelectrically converted by the CCD 18 becomes an image signal signal-processed by the signal processing unit 7B in the observation device 7, and is output to the observation monitor 8 and the image processing device 3. To be done.
【0055】この画像処理装置3に入力される2次元の
画像データは一旦記録装置4に送られ、画像信号が記録
される。また、記録された画像信号は画像処理装置3に
再び送られ、被写体の3次元形状の推定及び誤差の推定
の処理が行われ、記録装置4及びモニタ5に送り出さ
れ、それぞれ推定された3次元形状と誤差の記録及び表
示が行われる。The two-dimensional image data input to the image processing device 3 is once sent to the recording device 4 and the image signal is recorded. Also, the recorded image signal is sent again to the image processing device 3, where the process of estimating the three-dimensional shape of the subject and the error estimation is performed, and is sent to the recording device 4 and the monitor 5, and the estimated three-dimensional image is obtained. The shape and error are recorded and displayed.
【0056】まず、本実施例では、以下のようにして2
次元画像から3次元データを求める処理を行う。電子内
視鏡6によって得られる内視鏡画像は、観察装置7によ
り画像信号として画像処理装置3に順次送り出される。
画像処理装置3では、順次送られてくる内視鏡画像の任
意の期間の画像信号を記録装置4に送り記録させる。First, in this embodiment, 2
Processing for obtaining three-dimensional data from a three-dimensional image is performed. The endoscopic image obtained by the electronic endoscope 6 is sequentially sent out to the image processing device 3 as an image signal by the observation device 7.
The image processing device 3 sends the image signals of the endoscopic images sequentially sent in an arbitrary period to the recording device 4 for recording.
【0057】記録装置4に記録された内視鏡画像データ
(2次元の画像データ)の複数フレームの画像データを
画像処理装置3へ送り、送られてきた複数フレームの画
像データから同一の点に対する位置を検出した後、検出
された位置の移動を表すシフトマップを算出する。The image data of a plurality of frames of the endoscopic image data (two-dimensional image data) recorded in the recording device 4 is sent to the image processing device 3, and the image data of a plurality of frames sent to the same point After detecting the position, a shift map representing the movement of the detected position is calculated.
【0058】求められたシフトマップより撮像手段の運
動ベクトル(電子内視鏡6先端の運動ベクトル)を推定
する。また、同一点に対する位置の検出結果と、運動ベ
クトルとから誤差の推定を行う。The motion vector of the image pickup means (motion vector of the tip of the electronic endoscope 6) is estimated from the obtained shift map. Further, the error is estimated from the position detection result for the same point and the motion vector.
【0059】さらに、推定された撮像手段の運動ベクト
ルと各画像間のシフトマップを用いて各々の形状の推定
を行う。各推定形状に対して信頼度に応じて重み付け加
算等を行って1つの立体形状を求める。Further, each shape is estimated by using the estimated motion vector of the image pickup means and the shift map between each image. One solid shape is obtained by performing weighted addition or the like on each estimated shape according to the reliability.
【0060】求められた3次元データに対して、任意の
撮像手段の方向から見たときの2次元画像または3次元
画像で表示する(ワイヤーフレーム等)画像データを作
成する。画像処理装置3によって作成された3次元画像
データ又は2次元画像データに、前記形状の推定誤差を
合成してモニタ5に表示すると同時に記録装置4に記録
する。With respect to the obtained three-dimensional data, image data to be displayed as a two-dimensional image or a three-dimensional image when viewed from the direction of an arbitrary image pickup means (wire frame etc.) is created. The shape estimation error is combined with the three-dimensional image data or the two-dimensional image data created by the image processing device 3 and displayed on the monitor 5 and simultaneously recorded on the recording device 4.
【0061】図7及び図8は、画像処理装置3によって
2次元画像データが3次元データに変換されるまでの流
れ図を示す。以下、3次元画像データが算出されるまで
の過程を示す。FIG. 7 and FIG. 8 show a flow chart until the two-dimensional image data is converted into three-dimensional data by the image processing device 3. The process until the three-dimensional image data is calculated will be described below.
【0062】ステップS1は、撮像手段が移動されなが
ら撮影された画像が画像処理装置3に入力されることを
示す。つまり、同一対象物に対して撮像手段(電子内視
鏡6の先端)を移動しながら、少しづつ位置が異なる2
次元画像データの入力を行う。Step S1 shows that an image taken while the image pickup means is moved is input to the image processing apparatus 3. That is, while moving the image pickup means (the tip of the electronic endoscope 6) with respect to the same object, the position is slightly different.
Input dimensional image data.
【0063】次にステップS2では、ステップS1で得
られた複数の画像に対して歪曲収差補正処理を適用し、
画像の歪を補正する。この歪曲収差補正処理について、
補足説明をする。Next, in step S2, distortion aberration correction processing is applied to the plurality of images obtained in step S1,
Correct image distortion. About this distortion correction processing,
Give a supplementary explanation.
【0064】記録装置4から送られてくる内視鏡画像デ
ータに広角レンズによる歪が発生しているため、各画像
に対して歪曲収差補正処理を適用し画像の歪を補正す
る。電子内視鏡6を用いて、例えば図9(a)に示す正
方のます目を撮像した場合、得られる画像は、図9
(b)に示されるようなものになる。この歪画像が正方
ます目画像になるように、各画像における補正値をあら
かじめ決定しておき、実際の撮像画像に対しての補正を
行うことにより、歪曲収差補正処理を実現することが可
能となる。より具体的な処理手法は、USP4,89
5,431号公報において開示されている。Since the endoscope image data sent from the recording device 4 is distorted by the wide-angle lens, distortion correction processing is applied to each image to correct the image distortion. When, for example, the square cells shown in FIG. 9A are imaged using the electronic endoscope 6, the obtained image is as shown in FIG.
It becomes as shown in (b). It is possible to realize distortion aberration correction processing by predetermining the correction value for each image so that this distorted image becomes a square grid image and correcting the actual captured image. Become. More specific processing method is USP 4,89
It is disclosed in Japanese Patent No. 5,431.
【0065】次に補正された複数の画像(画像列)を用
いて、対応点の追跡、つまり対象物が撮像されている1
つの画像を選び、その画像上の複数の点を選択してそれ
ぞれの点が他の画像(参照画像)上でどのように移動し
ているかの追跡を行う。この対応点追跡について次に説
明する。Next, the corresponding points are tracked, that is, the object is imaged using the plurality of corrected images (image sequences).
One image is selected, and a plurality of points on the image are selected to track how each point moves on another image (reference image). The tracking of the corresponding points will be described below.
【0066】対応点追跡において、まず図10(a)に
示すように、検出しようとする対象物が撮像されている
画像の先に選択された点を中心とした矩形領域(テンプ
レート画像)をt(x)とする。図10(b)に示すよ
うに、参照画像にある大きさのサーチエリアSを設定
し、サーチエリアS内の対応領域f(x)と前記テンプ
レート画像の矩形領域t(x)とのブロックマッチング
処理、例えば相互相関演算によって相関値が最大となる
領域を求める演算を行い、その場合におけるテンプレー
ト画像に対する参照画像の移動方向及び移動量を求め
る。In the corresponding point tracking, as shown in FIG. 10A, first, as shown in FIG. 10A, a rectangular area (template image) centering on the point selected earlier in the image in which the object to be detected is taken is t. (X). As shown in FIG. 10B, a search area S of a certain size is set in the reference image, and block matching between the corresponding area f (x) in the search area S and the rectangular area t (x) of the template image is performed. A process, for example, a cross-correlation calculation is performed to calculate the area having the maximum correlation value, and the moving direction and the moving amount of the reference image with respect to the template image in that case are calculated.
【0067】例えば、次のような正規化された相互相関
D(u,v); を用いて相関値を求め、それが最大となる領域を求め、
その場合における移動方向及び移動量を求める。ここ
で、2重積分記号はサーチエリアS内での積分を表し、
<f>、<t>はそれぞれf(x+u,y+v) 、t(x,y) のS
内での平均を表す。For example, the following normalized cross-correlation D (u, v); To find the correlation value, find the area where it is maximum,
In that case, the moving direction and the moving amount are obtained. Here, the double integration symbol represents the integration within the search area S,
<F> and <t> are S of f (x + u, y + v) and t (x, y), respectively.
Indicates the average within.
【0068】なお、ブロックマッチング処理は、相互相
関演算に限定されるものでなく、同一出願人によるUS
P4,962,540号公報に開示されているカラーマ
ッチング手法を適用してもよい。(参照文献:コンピュ
ータ画像処理入門 総研出版(株) 田村秀行監修:p.1
48 〜p.150 ) 前述のようにして、テンプレート画像上で選択された点
の移動方向及び移動量の値を記述したシフトマップを求
める。The block matching process is not limited to the cross-correlation calculation, and the US
The color matching method disclosed in P4,962,540 may be applied. (Reference: Introduction to computer image processing, Research Institute Publishing Co., Ltd. Hideyuki Tamura, supervised: p.1
48-p.150) As described above, the shift map describing the values of the moving direction and the moving amount of the point selected on the template image is obtained.
【0069】ステップS2で求めたシフトマップを用い
て、次にステップS3では最急降下法等の反復処理によ
り、撮像手段の運動ベクトルを求め、被写体と撮像手段
の位置との相対的な位置関係を求める。Using the shift map obtained in step S2, in step S3, the motion vector of the image pickup means is obtained by iterative processing such as the steepest descent method, and the relative positional relationship between the object and the position of the image pickup means is obtained. Ask.
【0070】ステップS4では、前記撮像手段と被写体
の各点とにおける相対的な位置の値と、撮像手段の運動
ベクトルとから誤差の推定を行う。In step S4, an error is estimated from the value of the relative position between the image pickup means and each point of the object and the motion vector of the image pickup means.
【0071】ステップS5では各シフトマップで求めた
被写体と撮像手段の位置関係が同一の座標空間になるよ
うに変換し、それぞれの同一点での被写体と撮像手段の
位置を平均して1つの被写体形状を求める。その後、ス
テップS6で推定された3次元画像データを求め、ステ
ップS7では、前記推定された形状となる画像データ
と、ステップS4で求められた相対的な位置誤差、すな
わち形状誤差のデータとを所定のフォーマットで合成し
て、表示装置側などに出力する。In step S5, the positional relationship between the subject and the image pickup means obtained by each shift map is converted into the same coordinate space, and the positions of the subject and the image pickup means at the same points are averaged to obtain one subject. Find the shape. Thereafter, the three-dimensional image data estimated in step S6 is obtained, and in step S7, the image data having the estimated shape and the relative position error obtained in step S4, that is, the data of the shape error are predetermined. It is synthesized in the format of and is output to the display device side.
【0072】次に3次元画像データを算出するための各
過程を順次説明する。 (一)入力画像からのシフトマップの作成(位置の検
出) まず、内視鏡装置2で生体9等の内部の診断などを行う
ことを望む対象部位に対して複数の位置から撮像を行
い、この対象部位に対する複数の画像を記録装置4に記
録する。この点については前述した通り、電子内視鏡6
の先端側を少しずつ湾曲移動するなどして同一の対象部
位に対して撮像し、得た複数の画像を記録装置4に記録
する。Next, each process for calculating the three-dimensional image data will be sequentially described. (1) Creation of Shift Map from Input Image (Detection of Position) First, the endoscopic device 2 performs imaging from a plurality of positions on a target site desired to be diagnosed inside the living body 9 or the like, A plurality of images of this target part are recorded in the recording device 4. Regarding this point, as described above, the electronic endoscope 6
The distal end side of the image pickup device is imaged with respect to the same target site by gradually bending, and the obtained plurality of images are recorded in the recording device 4.
【0073】この結果、図1の左側に示す電子内視鏡6
の先端部16a(に内蔵された撮像手段)の移動と共に
撮像された(図11の右側に示す)画像列f0 〜fNiの
内視鏡画像が得られる。As a result, the electronic endoscope 6 shown on the left side of FIG.
The endoscopic images of the image rows f0 to fNi (shown on the right side of FIG. 11) taken with the movement of (the image pickup means built in) the front end portion 16a are obtained.
【0074】画像処理装置3では記録装置4から送られ
てくる内視鏡画像に対して歪曲収差補正処理を適用し、
補正された内視鏡画像のNi+1フレーム(画像列f0
〜fNi)をN組に分割し、分割されたi+1フレームの
画像をもつP0 ないしPN で示す撮像手段の移動軌跡に
対応する対応点追跡を行いそれぞれのシフトマップを算
出する。The image processing apparatus 3 applies the distortion correction processing to the endoscopic image sent from the recording apparatus 4,
Ni + 1 frame of the corrected endoscopic image (image sequence f0
.About.fNi) is divided into N sets, and corresponding points corresponding to the movement loci of the image pickup means indicated by P0 to PN having the divided i + 1 frame images are traced to calculate respective shift maps.
【0075】図11に示すようにシフトマップ1は、画
像列f0 〜fi のi+1フレームの画像を用いて、次の
2つの対応点の追跡を行いながら各フレーム間の移動量
を順次求め算出する。As shown in FIG. 11, the shift map 1 uses the image of frame i + 1 of the image sequence f0 to fi to sequentially calculate the amount of movement between each frame while tracking the following two corresponding points. .
【0076】(1)画像f0 とf1 で対応点追跡を行
い、次に画像f1 とf2 、さらに画像f2 とf3 の順で
対応点追跡を行い、得られた移動量データを総て加算し
て画像f0 とfi との対応関係を求める。(1) Corresponding points are traced in the images f0 and f1, then in the order of images f1 and f2, and then in the order of images f2 and f3, the obtained movement amount data are all added. Find the correspondence between the images f0 and fi.
【0077】(2)画像f0 とf1 の対応付けを行い、
この対応付けにより得られる移動量を基に画像データf
0 とf2 、さらにその値を基に画像f0 とf3 の順に対
応点追跡を行い、最終的に画像f0 とfi との対応関係
を求める。(2) The images f0 and f1 are associated with each other,
Based on the movement amount obtained by this association, the image data f
Corresponding points are traced in the order of images f0 and f3 based on 0 and f2 and their values, and finally the correspondence between images f0 and fi is obtained.
【0078】(1)と(2)の関係は、(1)、(2)
の方法によりそれぞれの対応点追跡を行い、ある時点で
の(2)の方法における画像f0 とfk 、画像f0 とf
k+1の視差量の増加と、(1)の方法での画像fk とfk
+1 との間での視差量とを比較し、これらの差がある一
定量(実験的には3ピクセル)を越えた場合には、その
点ではミスマッチングを起こしたと判定し、周辺部のデ
ータから補間関数を用いてその点の移動量を再度推定し
直す。尚、k は、前記N分割された画像例(例えば、今
説明の対象となっている画像列f0 〜fi )のうちの任
意の画像を示している。この処理内容は図12のフロー
チャートのようになる。The relationship between (1) and (2) is (1), (2)
The corresponding points are tracked by the method of (2) and the images f0 and fk and the images f0 and f of the method (2) at a certain point
The increase of the parallax amount of k + 1 and the images fk and fk obtained by the method (1).
If the difference exceeds a certain amount (3 pixels experimentally), it is determined that a mismatch has occurred at that point, and the The amount of movement at that point is re-estimated from the data using an interpolation function. Note that k represents an arbitrary image in the N-divided image example (for example, the image sequence f0 to fi that is the target of the present description). The contents of this process are as shown in the flowchart of FIG.
【0079】ステップS11によりデータNi+1の画像の
取り込みを行い、その後のステップS12で歪曲収差の
補正処理を行う。次のステップS13でNi+1の画像をN
組に分割する。次のステップS13A以降で、N 組に分
割された各画像列に対して(1)と(2)の方法によ
り、それぞれの対応点追跡を行い視差量の変化量が閾値
を越えたか否かを判断する。The image of the data Ni + 1 is taken in at step S11, and the distortion aberration correction process is performed at step S12. In the next step S13, the image of Ni + 1 is N
Divide into sets. After the next step S13A, the corresponding points are traced by the methods (1) and (2) with respect to each image sequence divided into N sets, and it is determined whether or not the variation amount of the parallax amount exceeds the threshold value. to decide.
【0080】つまり、ステップS13Aでm=1 、ステッ
プS14でまず、n=0 とし、次のステップS15a及び
S15bで(1)と(2)の方法により画像f0 と画像
f1との対応点追跡をそれぞれ行い、ステップS16で
(1)と(2)の処理の視差量の変化量を算出する。That is, m = 1 in step S13A, and n = 0 in step S14. Then, in the next steps S15a and S15b, the corresponding points between the image f0 and the image f1 are traced by the methods (1) and (2). Each is performed, and the amount of change in the amount of parallax between the processes (1) and (2) is calculated in step S16.
【0081】次のステップS17で、それぞれの変化量
が閾値(前記一定量)を越えたか否かを判断し、この閾
値を越えた場合にはステップS18で補間処理を行う。
閾値を越えていない場合にはステップS19で、n=i-1
か否かの判断を行う。n=i-1でない場合にはステップS
20で n=n+1としてステップS15a及びS15bに戻
る。ステップS15a及びステップS15bでは、
(1)での画像f1 と画像f2 の対応点追跡を、(2)
での画像f0 と画像f2 の対応点追跡をそれぞれ行い、
画像f0 と画像f2 間での各視差量を求め、その変化量
を算出する。ステップS17でその変化量と閾値を比較
し、前記と同様の処理を行う。このようにしてn=i-1 ま
での画像に対して同様な処理を行う。In the next step S17, it is determined whether or not each change amount exceeds a threshold value (the above-mentioned fixed amount), and if it exceeds this threshold value, interpolation processing is performed in step S18.
If the threshold is not exceeded, n = i-1 in step S19.
Determine whether or not. If not n = i-1, step S
At 20, n = n + 1 is set and the process returns to steps S15a and S15b. In steps S15a and S15b,
Tracking the corresponding points of the image f1 and the image f2 in (1) is (2)
The corresponding points of image f0 and image f2 in
Each parallax amount between the image f0 and the image f2 is obtained, and the change amount thereof is calculated. In step S17, the change amount and the threshold value are compared, and the same processing as described above is performed. In this way, similar processing is performed for images up to n = i-1.
【0082】図12の処理を行い、順次各点及び各画像
間のシフト量を求め、(画像f0 とfi つまり)位置P
0 と位置P1 間のシフト量を求めシフトマップ1を算出
する。The processing of FIG. 12 is performed, and the shift amount between each point and each image is sequentially obtained, and the position P (image f0 and fi) is calculated.
The shift map 1 is calculated by obtaining the shift amount between 0 and the position P1.
【0083】シフトマップ1が算出されると、ステップ
S19においてn=i-1 が成り立ち、ステップSCに進
む。ステップS13Cでは、m=N か否かを判断し、m=N
でない場合はステップS13Bでm=m+1 とし、ステップ
S14に戻り、次の画像列でのシフトマップが算出され
る。このようにして、画像列fi 〜f2i,…,f(n-1)i
〜fNiについても前記演算がなされ、シフトマップ2か
らシフトマップN(P1とP2 ないしPN-1 とPN 間の
シフト量)までを求める。このN個のシフトマップの算
出により、P0 ないしPN で示す位置での撮像手段で撮
像された画像上における対応点の移動量が、相互の画像
で関連付けられて算出され、ある画像までの位置が決定
されると、他の各画像上で同一の点の位置が算出される
ことになる。When the shift map 1 is calculated, n = i-1 holds in step S19, and the process proceeds to step SC. In step S13C, it is determined whether m = N and m = N.
If not, m = m + 1 is set in step S13B, the process returns to step S14, and the shift map for the next image sequence is calculated. In this way, the image sequences fi to f2i, ..., F (n-1) i
The above calculation is also performed for .about.fNi, and shift map 2 to shift map N (shift amount between P1 and P2 or PN-1 and PN) are obtained. By calculating the N shift maps, the movement amounts of the corresponding points on the images picked up by the image pickup means at the positions indicated by P0 to PN are calculated in association with each other, and the position up to a certain image is calculated. Once determined, the position of the same point on each of the other images will be calculated.
【0084】(二)運動推定による位置推定 前記求められたシフトマップより8点アルゴリズムを用
いて、撮像手段の運動(内視鏡先端16の動き)を推定
する。しかし、画像間の対応付けに誤差が含まれると前
記8点アルゴリズムでは正しい解が得られなくなる。そ
こで8点アルゴリズムに最小2乗法を導入し、解を求め
るのに、最急降下法を適用して各シフトマップの運動ベ
クトルを求める。(2) Position estimation by motion estimation The motion of the image pickup means (motion of the endoscope tip 16) is estimated from the shift map thus obtained using an 8-point algorithm. However, if an error is included in the correspondence between the images, the correct solution cannot be obtained by the 8-point algorithm. Therefore, the least squares method is introduced into the 8-point algorithm, and the steepest descent method is applied to obtain the solution, and the motion vector of each shift map is obtained.
【0085】まず8点アルゴリズムについて説明する
(参考文献:画像理解 森北出版株式会社 金谷健一
著)。First, the 8-point algorithm will be described (reference: image understanding, Kenichi Kanaya, Morikita Publishing Co., Ltd.).
【0086】図13は、中心射影の座標系を示す。原点
Oから距離fだけ離れたところにZ軸に垂直に画像面を
とる。この時、空間中の点P(X,Y,Z)は、この点
P(X,Y,Z)と原点Oとを結ぶ直線の画像面との交
点に投影されるものとする。その点の画像座標を(x,
y)とすると幾何学的な関係からx、yは、 x=Xf/Z y=Yf/Z …(1) とな る。FIG. 13 shows the coordinate system of the central projection. An image plane is taken perpendicular to the Z axis at a distance f from the origin O. At this time, it is assumed that the point P (X, Y, Z) in the space is projected at the intersection of the straight line image plane connecting the point P (X, Y, Z) and the origin O. The image coordinates of that point are (x,
y), x and y are given by x = Xf / Z y = Yf / Z (1) from the geometrical relation.
【0087】撮像手段の運動により空間中の点X=
(X,Y,Z)がX′=(X′,Y′,Z′)に移動し
たとき、そのとき撮像手段の運動は、原点を通る視軸回
りの回転を表す直行行列Rと、並進ベクトルh=(hx ,
hy,hz)Tを用いて、次式で表される。 X=RX′+h …(2) ここで、図14で示すよにn=(nx ,ny ,nz) を回転
軸方向とし、θをその回転角とすると、Rは次のように
表される。The point X in the space X =
When (X, Y, Z) is moved to X '= (X', Y ', Z'), the motion of the image pickup means is then the orthogonal matrix R representing the rotation around the visual axis passing through the origin and the translation. Vector h = (hx,
hy, hz) T, and is expressed by the following equation. X = RX ′ + h (2) Here, as shown in FIG. 14, when n = (nx, ny, nz) is the rotation axis direction and θ is its rotation angle, R is expressed as follows. .
【0088】 点X、X′を原点からの距離と単位方向ベクトルm(N
ベクトル)、m′を用いて表すと、それぞれ次のように
なる。[0088] The points X and X'are the distance from the origin and the unit direction vector m (N
When expressed using vectors) and m ′, they are as follows.
【0089】 又、式(4)を用いると式(2)は、 rm=r′Rm′+h …(6) となる。[0089] Further, when the equation (4) is used, the equation (2) becomes rm = r′Rm ′ + h (6)
【0090】図15に示すように、3本のベクトルm、
Rm′、hは空間中の同一平面上に存在するため、それ
らのスカラ3重積が0となる。つまり、 |mhRm′|=(m,h×Rm′)=0 …(7) となる。式(7)においてhとRの外積をGとおくと、 (m,Gm′)=0 …(8) となる。As shown in FIG. 15, three vectors m,
Since Rm ′ and h exist on the same plane in space, their scalar triple product becomes 0. That is, | mhRm ′ | = (m, h × Rm ′) = 0 (7) If the outer product of h and R in equation (7) is G, then (m, Gm ′) = 0 (8).
【0091】ただし、 G=(h×r1,h×r2,h×r3) …(9) であり、r1,r2,r3は、それぞれRの第1,第
2,第3列ベクトルである。式(6)の両辺とhとのベ
クトル積をとると、 rh×m=r′h×Rm′(=r′Gm′) …(10) となる。However, G = (h × r1, h × r2, h × r3) (9), and r1, r2, r3 are the first, second, and third column vectors of R, respectively. When the vector product of both sides of Expression (6) and h is taken, it becomes rh × m = r′h × Rm ′ (= r′Gm ′) (10).
【0092】両辺とh×mとの内積をとると、 となる。これより |hmGm′|≧0 …(12) を得る。Taking the inner product of both sides and h × m, Becomes From this, | hmGm ′ | ≧ 0 (12) is obtained.
【0093】ここで、RとhからGの要素を決める。式
(8)はGの9つの要素に関する連立方程式である。従
って、8組の対応対から得られる8個の1次方程式から
Gの要素の比を定めることができる。Here, the element of G is determined from R and h. Equation (8) is a simultaneous equation regarding the nine elements of G. Therefore, the ratio of the elements of G can be determined from the eight linear equations obtained from the eight corresponding pairs.
【0094】次に、 となるように定数倍したものをG^とする。これは並進
ベクトルhを単位ベクトルに正規化することにあたる。Next, Let G ^ be a constant multiple such that This corresponds to normalizing the translation vector h into a unit vector.
【0095】式(8)及び(9)によれば並進ベクトル
hは、Gの全ての列ベクトルに直交する。そこでG^の
列ベクトルをg^1,g^2,g^3として、 (g^i,h)=0、i=1,2,3 …(14) となる単位ベクトルh^を計算する。符号は式(12)
より、 |h^mαG^m′α|≧0,α=1,…,8 …(15) となるように定める。According to equations (8) and (9), the translation vector h is orthogonal to all the column vectors of G. Therefore, assuming that the column vector of G ^ is g ^ 1, g ^ 2, g ^ 3, the unit vector h ^ that (g ^ i, h) = 0, i = 1,2,3 (14) is calculated. . The sign is Equation (12)
Therefore, | h ^ mαG ^ m′α | ≧ 0, α = 1, ..., 8 (15)
【0096】次に、式(9)に基づき、 h^×r^=g^i,i=1,2,3 …(16) となるように互いに直交して、右手系を作る単位ベクト
ル(r^1,r^2,r^3)を求め、これをその順に
列とする行列をR=(r^1,r^2,r^3)とす
る。Next, based on the equation (9), a unit vector (R) which is orthogonal to each other and forms a right-handed system such that h ^ × r ^ = g ^ i, i = 1, 2, 3 (16) is obtained. r ^ 1, r ^ 2, r ^ 3) is obtained, and a matrix having columns in this order is R = (r ^ 1, r ^ 2, r ^ 3).
【0097】式(6)の両辺とm,Rm′との内積をと
るとそれぞれ、 r^α=r′^α(mα,R^m′α)+(h^,m′^α) r^α(mα,R^m′α)=r′^α+(h^,m′^α) …(17) となる。これを解けば各点までの距離が次のように得ら
れる。Taking the inner product of both sides of equation (6) with m and Rm ', respectively, r ^ α = r' ^ α (mα, R ^ m'α) + (h ^, m '^ α) r ^ Α (mα, R ^ m'α) = r '^ α + (h ^, m' ^ α) (17) If this is solved, the distance to each point can be obtained as follows.
【0098】 先にも述べたように8点アルゴリズムでは、画像間の対
応付けに誤差を含んでいる場合、正しい解が得られな
い。そこで必要な条件は厳密に満たし、その他の条件は
平均的に満たすような最適化を行う必要がある。[0098] As described above, the 8-point algorithm cannot obtain a correct solution when the correspondence between images includes an error. Therefore, it is necessary to perform optimization so that the necessary conditions are strictly met and the other conditions are met on average.
【0099】そこでN組(N≧8)の対応点が観測され
たとし、最小二乗法を用いて、 となる行列Gを求め、これを単位ベクトルhと直交行列
Rに近似的に分解する(最小二乗アルゴリズム)。Then, it is assumed that N sets (N ≧ 8) of corresponding points are observed, and the least squares method is used. Then, a matrix G is obtained, and this is approximately decomposed into a unit vector h and an orthogonal matrix R (least squares algorithm).
【0100】そこで、撮像手段の運動に対してある拘束
条件を適用して、撮像手段の運動パラメータh0 、R0
を推定し、これを初期値として式(19)を最小とする
h、Rを推定する。これによりあらかじめ解の存在空間
を制限し、推定誤差を最小限に抑えることが可能にな
る。Therefore, a certain constraint condition is applied to the motion of the image pickup means, and the motion parameters h0 and R0 of the image pickup means are applied.
Is estimated, and h and R that minimize Equation (19) are estimated using this as an initial value. This makes it possible to limit the existence space of the solution in advance and minimize the estimation error.
【0101】撮像手段の運動パラメータの初期値h0 、
R0 を求める。図16(a)に示すように、(外部の操
作によって動く撮像手段を内蔵した)電子内視鏡6の先
端の動きはある方向への運動とみることができる。Initial values h0 of motion parameters of the image pickup means,
Find R0. As shown in FIG. 16A, the movement of the tip of the electronic endoscope 6 (which incorporates an image pickup means that moves by an external operation) can be regarded as movement in a certain direction.
【0102】図16(b)に示すように、首振りの回転
による撮像手段の視軸方向(Z方向)への動きは小さ
く、動きを表す並進ベクトルhはZ軸に垂直な平面内
で、回転軸Uはhに垂直、回転角θはhの方向に+であ
ると仮定して初期値を求めることができる。As shown in FIG. 16B, the movement of the image pickup means in the visual axis direction (Z direction) due to the rotation of the swing is small, and the translation vector h representing the movement is in a plane perpendicular to the Z axis. The initial value can be obtained by assuming that the rotation axis U is perpendicular to h and the rotation angle θ is + in the direction of h.
【0103】シフトマップから複数の点の移動方向を求
めそれらを平均して並進ベクトルh0 を決定する。そし
てこのh0 に垂直に回転軸U0 を決めると、式(8)よ
り未知数r、r′、θ0 の3個を含む3個の方程式が得
られ、これを解くことでθ0が得られる。The moving directions of a plurality of points are obtained from the shift map and averaged to determine the translation vector h0. When the rotation axis U0 is determined perpendicularly to this h0, three equations including three unknowns r, r ', and θ0 are obtained from the equation (8), and θ0 is obtained by solving them.
【0104】複数の点に対してθ0 を求め、それぞれの
θ0 より平均値を求め、初期値を決定する。このように
して得られた値を初期値として式(19)より最急降下
法を用いて最適解を決定する。Θ0 is obtained for a plurality of points, an average value is obtained from each θ0, and an initial value is determined. With the value thus obtained as an initial value, the optimum solution is determined by the steepest descent method from the equation (19).
【0105】図17に示すように、最急降下法により解
を求める。複数のシフトマップの内のj番目のシフトマ
ップM(j)の並進ベクトルhと回転マトリクスRの各
要素を次のように表す。 [hx(i),hy(i),hz(i),nx(i),ny(i),nz(i),θ(i) ]j i=0,1,2,…,n 図16(a),16(b)で説明した方法により、図1
7のステップS21のように運動ベクトルの初期値であ
る並進ベクトルh0 と回転マトリクスR0 を求める。こ
のときそれぞれの値を次のように表す。 [hx(0),hy(0),hz(0),nx(0),ny(0),nz(0),θ(0) ]j ステップS22のように求められた各ベクトルの1つの
パラメータを選択し、そのパラメータに対してΔd (≧
0)を次のように与えると、全部で14通りのパラメー
タの値の組が求まる。As shown in FIG. 17, the solution is obtained by the steepest descent method. Each element of the translation vector h and the rotation matrix R of the j-th shift map M (j) among the plurality of shift maps is represented as follows. [Hx (i), hy (i), hz (i), nx (i), ny (i), nz (i), θ (i)] ji = 0,1,2, ..., n FIG. 1) by the method described in a) and 16 (b).
As in step S21 of 7, the translation vector h0 and the rotation matrix R0 that are the initial values of the motion vector are obtained. At this time, each value is expressed as follows. [Hx (0), hy (0), hz (0), nx (0), ny (0), nz (0), θ (0)] j One of each vector obtained as in step S22 Select a parameter and set Δd (≧
0) is given as follows, a total of 14 parameter value pairs can be obtained.
【0106】 [hx(0)+Δd,hy(0),hz(0),nx(0),ny(0),nz(0),θ(0) ]j [hx(0)-Δd,hy(0),hz(0),nx(0),ny(0),nz(0),θ(0) ]j [hx(0),hy(0)+Δd,hz(0),nx(0),ny(0),nz(0),θ(0) ]j [hx(0),hy(0)-Δd,hz(0),nx(0),ny(0),nz(0),θ(0) ]j ・ ・ ・ [hx(0),hy(0),hz(0),nx(0),ny(0),nz(0),θ(0)+Δd ]j [hx(0),hy(0),hz(0),nx(0),ny(0),nz(0),θ(0)-Δd ]j それぞれのパラメータの値の組に対して、次の評価関数
O(i ,j )の値を求める(ステップS23)。[Hx (0) + Δd, hy (0), hz (0), nx (0), ny (0), nz (0), θ (0)] j [hx (0) -Δd, hy (0), hz (0), nx (0), ny (0), nz (0), θ (0)] j [hx (0), hy (0) + Δd, hz (0), nx (0), ny (0), nz (0), θ (0)] j [hx (0), hy (0) -Δd, hz (0), nx (0), ny (0), nz ( 0), θ (0)] j ・ ・ ・ [hx (0), hy (0), hz (0), nx (0), ny (0), nz (0), θ (0) + Δd] j [hx (0), hy (0), hz (0), nx (0), ny (0), nz (0), θ (0) -Δd] j For each set of parameter values , The value of the next evaluation function O (i, j) is obtained (step S23).
【0107】 先の8点アルゴリズムで説明したようにGが正しい値で
あれば(m,Gm′)は0に近い値を示す。(m、m′
に誤差が含まれるため0にならない)そこで、求められ
た14個の評価関数O(i ,j )の内、最も小さな値、
つまり最小値をとるパラメータの組を選択する(ステッ
プS24)。ステップS25でこの最小値が閾値を越え
ていない場合には、ステップS22に戻り、このパラメ
ータの組を新たなパラメータとする。例えば第1番目の
パラメータの組が評価関数を最小にした場合、新たなパ
ラメータの値は次のように求めることができる。[0107] As described in the previous 8-point algorithm, if G is a correct value, (m, Gm ') shows a value close to 0. (M, m '
Therefore, it does not become 0 because it contains an error.) Therefore, the smallest value among the obtained 14 evaluation functions O (i, j),
That is, the parameter set having the minimum value is selected (step S24). If the minimum value does not exceed the threshold value in step S25, the process returns to step S22 and the set of parameters is set as a new parameter. For example, when the first set of parameters minimizes the evaluation function, new parameter values can be obtained as follows.
【0108】 hx(1)=hx(0)+Δd, hy(1)=hy(0), hz(1)=hz(0), nx(1)=nx(0), ny(1)=ny(0), nz(1)=nz(0), θ(1)=θ(0) 同様にして、評価関数を最小にしたパラメータに対して
Δd (≧0)を次のように与える。Hx (1) = hx (0) + Δd, hy (1) = hy (0), hz (1) = hz (0), nx (1) = nx (0), ny (1) = ny (0), nz (1) = nz (0), θ (1) = θ (0) Similarly, Δd (≧ 0) is given to the parameter with the minimum evaluation function as follows.
【0109】 [hx(1)+Δd,hy(1),hz(1),nx(1),ny(1),nz(1),θ(1) ]j [hx(1)-Δd,hy(1),hz(1),nx(1),ny(1),nz(1),θ(1) ]j [hx(1),hy(1)+Δd,hz(1),nx(1),ny(1),nz(1),θ(1) ]j [hx(1),hy(1)-Δd,hz(1),nx(1),ny(1),nz(1),θ(1) ]j ・ ・ ・ [hx(1),hy(1),hz(1),nx(1),ny(1),nz(1), θ(1)+Δd ]j [hx(1),hy(1),hz(1),nx(1),ny(1),nz(1), θ(1)-Δd ]j それぞれのパラメータの評価関数の値を求め、その評価
関数が最小となるパラメータの組を選ぶ。以上の手順を
繰り返し行うことにより、評価関数O(i,j )を最小
にする並進ベクトルhと回転マトリクスRのそれぞれの
要素が求められる。[Hx (1) + Δd, hy (1), hz (1), nx (1), ny (1), nz (1), θ (1)] j [hx (1) -Δd, hy (1), hz (1), nx (1), ny (1), nz (1), θ (1)] j [hx (1), hy (1) + Δd, hz (1), nx (1), ny (1), nz (1), θ (1)] j [hx (1), hy (1) -Δd, hz (1), nx (1), ny (1), nz ( 1), θ (1)] j ・ ・ ・ [hx (1), hy (1), hz (1), nx (1), ny (1), nz (1), θ (1) + Δd] j [hx (1), hy (1), hz (1), nx (1), ny (1), nz (1), θ (1) -Δd] j Obtain the value of the evaluation function for each parameter , Select the parameter set that minimizes the evaluation function. By repeating the above procedure, each element of the translation vector h and the rotation matrix R that minimizes the evaluation function O (i, j) is obtained.
【0110】すなわち、1つのシフトマップに対して1
つの運動ベクトル(並進ベクトルhと回転マトリクス
R)を推定することができる。That is, 1 for one shift map
Two motion vectors (translation vector h and rotation matrix R) can be estimated.
【0111】各シフトマップとそれに対応する運動ベク
トルのパラメータから式(18)を用いて各シフトマッ
プで選択された各点の視点から被写体での相対的な位置
を算出できる。Using the equation (18) from the parameters of each shift map and the corresponding motion vector, the relative position of the subject can be calculated from the viewpoint of each point selected in each shift map.
【0112】(三)形状推定 以上より求められた撮像手段の複数の運動ベクトル及び
各シフトマップで選択された各点の被写体から撮像手段
の位置までの相対的な位置関係を用いて、各シフトマッ
プでの被写体から撮像手段の位置までの相対的な位置関
係を所定の1つの撮像手段の位置を原点とした視線方向
をZ軸とする同一の座標空間に変換する。(3) Shape estimation Using the plurality of motion vectors of the image pickup means obtained as described above and the relative positional relationship from the subject at each point selected in each shift map to the position of the image pickup means, each shift is performed. The relative positional relationship from the subject to the position of the image pickup means on the map is converted into the same coordinate space with the Z axis as the line-of-sight direction with the position of one predetermined image pickup means as the origin.
【0113】ここで、各々のシフトマップや運動ベクト
ルに誤差が含まれるために、各撮像手段から被写体まで
の相対的な位置関係は同じにならない。Since each shift map or motion vector contains an error, the relative positional relationship from each image pickup means to the subject is not the same.
【0114】そこで、同一空間に変換された各同一点の
撮像手段から被写体までの相対的な位置関係を単純平均
して1つの値として求め、それを推定形状とする。Therefore, the relative positional relationship from the image pickup means to the object at each same point converted into the same space is simply averaged to obtain one value, which is used as the estimated shape.
【0115】前記(相対的)形状推定手段により求めら
れた形状の誤差は、前記位置検出手段のシフトマップの
誤差により発生するため、前記位置検出手段のシフトマ
ップの誤差による形状誤差を求める方法に関して以下で
説明する。Since the error of the shape obtained by the (relative) shape estimating means is caused by the error of the shift map of the position detecting means, the method of obtaining the shape error by the error of the shift map of the position detecting means will be described. This will be described below.
【0116】(四)誤差推定 前記位置検出手段においてシフトマップが正確に求めら
れる場合、例えば2つの異なる位置で撮像された画像上
の同一な点は、図18に示すエピポーラライン(エピポ
ーララインの参照文献:画像解析ハンドブック 東京大
学出版会高木幹雄、下田陽介監修:p.597 〜p.598 )上
に常に存在する。しかし、シフトマップに誤差が含まれ
る場合には、ある一点を基準にエピポーララインを決定
したとき、図18に示すように、他方の点がエピポーラ
ラインから離れた位置に存在する。(4) Error estimation When the shift map is accurately obtained by the position detecting means, for example, the same points on the images captured at two different positions are the same as the epipolar line shown in FIG. 18 (refer to the epipolar line). Reference: Image Analysis Handbook Supervised by The University of Tokyo Press Mikio Takagi, Yosuke Shimoda: p.597 ~ p.598). However, when the shift map includes an error, when the epipolar line is determined based on a certain point, the other point exists at a position apart from the epipolar line as shown in FIG.
【0117】そこで、エピポーララインl(エル)を ai x+bi y+ci =0 …(21) 、エピポーラライン上の1点の位置を(xi,yi)、
他点のエピポーラライン上の真の位置を(xi0′,yi
0′)、エピポーララインからずれた点の位置を(x
i′,yi′)とし、エピポーラライン上の真の位置か
らずれた点までのベクトルを とする。Therefore, the epipolar line 1 (L) is ai x + bi y + ci = 0 (21), and the position of one point on the epipolar line is (xi, yi),
The true position on the epipolar line of another point is (xi0 ', yi
0 '), the position of the point deviated from the epipolar line is (x
i ′, yi ′), and the vector from the true position on the epipolar line to the point And
【0118】このときエピポーララインからのずれた点
の位置から、エピポーラライン上に下ろしたときの垂線
の長さをdiとすると、 となる。At this time, if the length of the perpendicular line from the position of the point deviated from the epipolar line to the epipolar line is di, Becomes
【0119】また、エピポーララインl方向のベクトル
は、 となり、式(23)から式(22)は次のようになる。The vector in the direction of the epipolar line l is Then, the equations (23) to (22) are as follows.
【0120】 以上により、シフトマップの誤差からエピポーラライン
からのずれた位置までの大きさが計算できる。[0120] From the above, the size from the shift map error to the position deviated from the epipolar line can be calculated.
【0121】いま、‖δi ‖とsinθiとの間には基本的
に相関はない。すなわち、直線lに対して、(δxi,δ
yi)がどの方向に現れるかと‖δ‖の大きさと角度との
関係に相関がない。そこで、 とすると、 ここで、実際にはシフトマップの各点での誤差(δxi,
δyi)を求めることができない。しかし、Σdi2 (d
i2はdiの二乗)は、求めることができるので式(2
5)よりdiの分散σ0 を得られる。Now, there is basically no correlation between ‖δi‖ and sin θi. That is, for the straight line l, (δxi, δ
There is no correlation between the direction in which yi) appears and the relationship between the size of ‖δ‖ and the angle. Therefore, Then, Here, the error (δxi,
δyi) cannot be obtained. However, Σdi2 (d
Since i2 is the square of di), it can be calculated using equation (2
From 5), the variance σ 0 of di can be obtained.
【0122】また、diを2次元の等方的な正規分布と
仮定したときの分散をσ1 、適当なk0 の値を設定した
とき、 としてdiの分布が推定される。When di is assumed to be a two-dimensional isotropic normal distribution, σ 1 is set as the variance, and an appropriate value of k 0 is set, The distribution of di is estimated as
【0123】図19に示すように、前記位置推定手段に
より求められる点の位置が、シフトマップの誤差により
エピポーララインからずれた位置に存在する。また、シ
フトマップの誤差を2次元の等方的な正規分布と仮定し
て、その分散を式(26)から推定することから、適当
なk1 を設定してk1 ・σ1 をシフトマップの誤差分布
とする。As shown in FIG. 19, the position of the point obtained by the position estimating means exists at a position displaced from the epipolar line due to an error in the shift map. Further, assuming that the error of the shift map is a two-dimensional isotropic normal distribution and estimating its variance from the equation (26), an appropriate k1 is set and k1 · σ1 is set as the error distribution of the shift map. And
【0124】このときのk1 ・σ1 から半径sとする円
を描き、その中に真の位置が存在するとして、対象物の
形状の誤差範囲を算出する。At this time, a circle having a radius s is drawn from k1 · σ1 and it is assumed that the true position exists in the circle, and the error range of the shape of the object is calculated.
【0125】前記相対形状推定手段により求められる形
状が相対的な形状であることから、対象物上の点の対応
するベクトルを、 とする。また、式(6)よりrを導くと(式(18)を
変形する) となる。また、式(27)のm′に前記に説明したシフ
トマップの誤差が加わった式を次のようにする。ただ
し、m0 ′は誤差が加わらなかった真のベクトルで、
m″は誤差の成分のみのベクトルとする。Since the shape obtained by the relative shape estimating means is a relative shape, the corresponding vector of the point on the object is And Further, when r is derived from the equation (6) (the equation (18) is modified). Becomes Further, an equation in which the error of the shift map described above is added to m'of the equation (27) is as follows. However, m0 'is a true vector with no error added,
m ″ is a vector containing only error components.
【0126】 このとき、式(28)は次のように求められる。[0126] At this time, the equation (28) is obtained as follows.
【0127】 式(30)の両辺をθで微分して、 dr/dθ=0 とおき、そのときのθを求めると、式(30)の最大
値、最小値となるθが求められる。[0127] Differentiating both sides of the equation (30) by θ and setting dr / dθ = 0 and obtaining θ at that time, the maximum and minimum values of the equation (30) can be obtained.
【0128】よって、求められたθから視点から対象物
上の任意の1点まで相対的な位置rの最大値、最小値が
求められることになり、それが対象物上の任意の1点の
形状の誤差範囲を示すことになる。同様にして、対象物
上の全ての点に対して最大、最小値を求めることができ
る。Therefore, the maximum value and the minimum value of the relative position r from the obtained θ to an arbitrary point on the object from the viewpoint are obtained, which is the value of the arbitrary point on the object. It indicates the error range of the shape. Similarly, maximum and minimum values can be obtained for all points on the object.
【0129】また、以上より求められた形状の誤差範囲
を前記表示装置に、図20のような表示方法で表示す
る。図20の左は対象物の形状を、右はその対象物の断
面と誤差範囲を表示したものである。Further, the error range of the shape obtained as described above is displayed on the display device by the display method as shown in FIG. The left side of FIG. 20 shows the shape of the object, and the right side shows the cross section and the error range of the object.
【0130】本実施例では、被写体に対し、撮像手段側
を移動して得られる複数の画像の同一点を検出し、検出
された同一点の情報から被写体に対する撮像手段の相対
的な位置関係を推定し、この推定された位置から被写体
の形状を推定している。In the present embodiment, the same point of a plurality of images obtained by moving the image pickup means side with respect to the object is detected, and the relative positional relationship of the image pickup means with respect to the object is detected from the information of the detected same point. The shape of the subject is estimated from the estimated position.
【0131】つまり、撮像された画像上で同一の点を検
出(決定)し、その情報に基づいて被写体に対する撮像
手段の相対的な位置関係を推定するようにしているの
で、撮像手段の移動と共に、被写体が移動した場合にお
いても、この被写体の移動に殆ど影響されることなく、
被写体に対する撮像手段の相対的な位置関係を決定でき
るという利点を有する。That is, since the same point is detected (determined) on the picked-up image and the relative positional relationship of the image pickup means with respect to the subject is estimated based on the information, the movement of the image pickup means , Even when the subject moves, it is hardly affected by the movement of the subject,
This has the advantage that the relative positional relationship of the imaging means with respect to the subject can be determined.
【0132】また、撮像された画像情報を用いて被写体
の形状を推定しているので、撮像手段を形成する電子内
視鏡としてはパターンを投影する手段等の付加的な計測
機構が必要でないので、(先端部を太くなってしまうこ
となどなく)通常の電子内視鏡を用いることができる。Further, since the shape of the subject is estimated using the imaged image information, an additional measuring mechanism such as a means for projecting a pattern is not required as the electronic endoscope forming the image pickup means. A normal electronic endoscope can be used (without making the distal end thick).
【0133】つまり、先端部が太くなってしまうような
電子内視鏡でなく、通常の電子内視鏡を用いることがで
きると共に、計測が必要な場合には観察装置7に画像処
理装置3を付加することにより、被写体の形状を表示で
きるようになり、拡張性に富むシステム構築を可能にし
ている。That is, an ordinary electronic endoscope can be used instead of an electronic endoscope having a thickened tip, and the image processing device 3 is attached to the observation device 7 when measurement is required. By adding it, it becomes possible to display the shape of the subject, and it is possible to construct a system that is highly expandable.
【0134】また、この画像処理装置を用いて医療用内
視鏡検査に適用すると、患部など注目する部分を立体的
に表示できるので、患部の腫れの程度を従来より的確に
認識でき、診断する場合に有効となる。When this image processing apparatus is applied to a medical endoscopy, a portion of interest such as an affected area can be three-dimensionally displayed, so that the degree of swelling of the affected area can be recognized more accurately than before and a diagnosis can be made. It will be effective if.
【0135】さらに本実施例では、同一対象物を異なる
位置から複数撮像することにより、得られた画像から対
象物の形状推定するのと同時に、形状推定の過程で発生
する誤差を求めてその誤差を推定形状に反映して表示す
ることができる。従来のような方式により推定された形
状のみ表示するよりも、形状の推定過程で発生する誤算
による形状誤差が考慮されているため、推定形状の信頼
性の評価ができ、しいては、信頼性のある3次元データ
を提供することができる。Furthermore, in the present embodiment, a plurality of images of the same object are taken from different positions, and at the same time the shape of the object is estimated from the obtained images, at the same time, the error occurring in the process of shape estimation is obtained and the error is calculated. Can be reflected in the estimated shape and displayed. Since the shape error due to erroneous calculation that occurs in the shape estimation process is considered rather than displaying only the shape estimated by the conventional method, it is possible to evaluate the reliability of the estimated shape and It is possible to provide certain three-dimensional data.
【0136】図21ないし図24は本発明の第2実施例
に係り、図21は電子内視鏡システムの全体構成図、図
22は複眼の内視鏡による測長の説明図、図23はCP
Uで構成した画像処理のブロック図、図24はハードウ
ェアで構成した画像処理装置のブロック図である。21 to 24 relate to the second embodiment of the present invention. FIG. 21 is an overall configuration diagram of an electronic endoscope system, FIG. 22 is an explanatory diagram of length measurement by a compound eye endoscope, and FIG. CP
FIG. 24 is a block diagram of image processing configured by U, and FIG. 24 is a block diagram of an image processing apparatus configured by hardware.
【0137】本第2実施例の画像処理装置は、第1実施
例の装置が複数位置から得た撮像画面を用いて演算した
相対的な値から8点アルゴリズム及び最小二乗法を用い
て立体形状を推定していたの対して、絶対値により形状
を推定するようになっている。この絶対値に基づく形状
の推定のため、本実施例では、撮像方式として複眼(ス
テレオ)を用い、この複眼で得た画像と共に撮像(に関
連する)光学系の絶対的な値を用いて、立体形状を推定
するようになっている。尚、本実施例において誤差の推
定は、第1実施例と同様にエピポーララインからのずれ
による誤差推定を行うようになっている。The image processing apparatus of the second embodiment uses the 8-point algorithm and the least-squares method to calculate the three-dimensional shape from the relative values calculated by the apparatus of the first embodiment using the image pickup screens obtained from a plurality of positions. While the shape was estimated, the shape is estimated by the absolute value. In order to estimate the shape based on this absolute value, in this embodiment, a compound eye (stereo) is used as an imaging method, and an image obtained by this compound eye and an absolute value of an image pickup (related to) optical system are used, It is designed to estimate the three-dimensional shape. In the present embodiment, the error is estimated by the error from the deviation from the epipolar line as in the first embodiment.
【0138】本実施例の画像処理装置では、視差を利用
して対象物の絶対的な形状を推定すると同時に、形状を
推定する同一点の検出における検出誤差による形状の誤
差範囲を推定し、対象物の絶対形状と誤差範囲を同時に
表示することができる。In the image processing apparatus of this embodiment, the absolute shape of the object is estimated by utilizing the parallax, and at the same time, the error range of the shape due to the detection error in the detection of the same point for estimating the shape is estimated, The absolute shape and error range of an object can be displayed simultaneously.
【0139】まず、第2実施例に係る画像処理装置を備
えた内視鏡システムについて、図を参照して説明する。
図21に示す内視鏡システム301は、体腔内の映像を
撮像する電子内視鏡装置302と、本実施例に係る画像
処理装置303と、記録装置304と、モニタ305と
から構成される。First, an endoscope system including the image processing apparatus according to the second embodiment will be described with reference to the drawings.
An endoscope system 301 shown in FIG. 21 includes an electronic endoscope device 302 that captures an image of a body cavity, an image processing device 303 according to this embodiment, a recording device 304, and a monitor 305.
【0140】電子内視鏡装置302は、複眼の電子内視
鏡306と、この電子内視鏡306に照明光を供給する
光源装置307と、電子内視鏡306から得られる左画
像を信号処理する左画像用信号処理装置308Aと、電
子内視鏡306から得られる右画像を信号処理する右画
像用信号処理装置308Bと、それぞれの信号処理装置
308A、308Bから出力される画像信号を表示する
観察用モニタ309A、309Bとから構成される。The electronic endoscope apparatus 302 performs signal processing on the compound eye electronic endoscope 306, the light source apparatus 307 for supplying illumination light to the electronic endoscope 306, and the left image obtained from the electronic endoscope 306. The left image signal processing device 308A, the right image signal processing device 308B that processes the right image obtained from the electronic endoscope 306, and the image signals output from the respective signal processing devices 308A and 308B are displayed. It is composed of observation monitors 309A and 309B.
【0141】前記電子内視鏡306は、生体318内部
に挿入できるように細長で可撓性を有する挿入部311
と、この挿入部311の後端に設けられた操作部312
と、この操作部312から延出されたライトガイドケー
ブル313とユニバーサルケーブル314とを備えてい
る。The electronic endoscope 306 has an elongated and flexible insertion portion 311 so that it can be inserted into the living body 318.
And an operation section 312 provided at the rear end of the insertion section 311.
And a light guide cable 313 and a universal cable 314 extended from the operation unit 312.
【0142】ライトガイドケーブル313の末端のコネ
クタ315は、光源装置307に接続されている。ユニ
バーサルケーブル314は末端側で分岐され、各末端部
のコネクタ316A、316Bはそれぞれ左画像用信号
処理装置308Aと、右画像用信号処理装置308Bと
に接続される。The connector 315 at the end of the light guide cable 313 is connected to the light source device 307. The universal cable 314 is branched at the end side, and the connectors 316A and 316B at each end are connected to the left image signal processing device 308A and the right image signal processing device 308B, respectively.
【0143】挿入部311の先端部319には、複数
の、例えば2つの観察窓と、照明窓とが設けられてい
る。前記各観察窓の内側には、互いに視差を有する位置
に、右眼用対物レンズ系320、左眼用対物レンズ系3
21が設けられている。各対物レンズ系320、321
の結像位置には、撮像手段を構成する固体撮像素子32
2、323がそれぞれ配置されている。The distal end portion 319 of the insertion portion 311 is provided with a plurality of, for example, two observation windows and an illumination window. Inside the respective observation windows, the right-eye objective lens system 320 and the left-eye objective lens system 3 are provided at positions having parallax with each other.
21 is provided. Each objective lens system 320, 321
At the image forming position of the solid-state image pickup device 32 constituting the image pickup means.
2, 323 are arranged respectively.
【0144】また、前記照明窓の内側には、配光レンズ
324が設けられ、この配光レンズ324の後端には、
ファイババンドよりなるライトガイド325が配置され
ている。このライトガイド325は、前記挿入部311
内を挿通され、その入射端面には光源装置307から照
明光が供給される。A light distribution lens 324 is provided inside the illumination window, and a rear end of the light distribution lens 324 is provided at the rear end of the light distribution lens 324.
A light guide 325 made of a fiber band is arranged. The light guide 325 is provided in the insertion portion 311.
Illumination light is supplied from a light source device 307 to the entrance end face thereof.
【0145】このライトガイド325によって照明光は
伝送され、その先端面及び配光レンズ324を介して被
写体に照射される。この被写体からの反射光は、前記対
物レンズ系320、321によって、それぞれの右画
像、左画像として、固体撮像素子322、323に結像
されるようになっている。Illumination light is transmitted by the light guide 325, and is radiated to the subject through the tip surface and the light distribution lens 324. The reflected light from the subject is formed on the solid-state image pickup devices 322 and 323 as the right image and the left image, respectively, by the objective lens systems 320 and 321.
【0146】前記画像処理装置303は、図3と同様の
構成であり図及び説明を省略すると共に、異なる点につ
いてのみ説明する。本実施例の画像処理装置303に搭
載された前記CPU40は、前記ROM45に記憶され
たプログラムにより動作する図23に示す画像処理手段
330を有している。前記ROM45に搭載されるプロ
グラムは、第1実施例のプログラムと異なっている。The image processing apparatus 303 has the same configuration as that of FIG. 3, and therefore, the illustration and description thereof will be omitted, and only different points will be described. The CPU 40 installed in the image processing apparatus 303 of this embodiment has an image processing unit 330 shown in FIG. 23 which operates according to a program stored in the ROM 45. The program loaded in the ROM 45 is different from the program of the first embodiment.
【0147】この画像処理手段330は、撮像手段(ス
テレオ)により撮像された左右の2枚の画像に対して、
光学系による歪曲収差の影響を無くすように補正する歪
曲収差補正手段331と、例えば同一対象物に関して左
右の撮像手段により撮像された左右画像に対し、各画像
間における同一の位置を検出する位置検出手段332
と、予め内視鏡の光学系の位置、視差等を計測して得ら
れたデータと前記位置検出手段332にて求められた位
置としての左右撮像系の中心からの距離及び偏差とから
対象物の立体形状を推定する形状推定手段333と、例
えば前記データや位置検出手段332による検出誤差等
により発生する対象物の立体形状の誤差を推定する誤差
推定手段334と、前記形状推定手段333にて推定さ
れた対象物の立体形状と前記誤差推定手段334の形状
誤差とを合成して表示装置等へ出力するための画像を作
成する合成手段335等とからなる。The image processing means 330 is provided for the two left and right images picked up by the image pickup means (stereo).
Distortion aberration correcting unit 331 that corrects so as to eliminate the influence of distortion aberration caused by the optical system, and position detection for detecting the same position between left and right images taken by the left and right image pickup units of the same object, for example. Means 332
And the object obtained from the data obtained by previously measuring the position and parallax of the optical system of the endoscope, and the distance and deviation from the center of the left and right imaging systems as the position obtained by the position detecting unit 332. Shape estimation means 333 for estimating the three-dimensional shape of the object, error estimation means 334 for estimating an error in the three-dimensional shape of the object caused by, for example, the above-mentioned data or a detection error by the position detection means 332, and the shape estimation means 333. It comprises a combining means 335 and the like for combining the estimated three-dimensional shape of the object and the shape error of the error estimating means 334 to create an image for output to a display device or the like.
【0148】前記左画使用信号処理装置308A,30
8Bは、例えば、図2に示す信号処理部7Bとほぼ同様
の構成とすることができる。The left image use signal processing device 308A, 30
The 8B can have, for example, a configuration similar to that of the signal processing unit 7B shown in FIG.
【0149】次に、画像処理装置303の演算処理をハ
ードウェアで構成した場合のブロック構成例を図24に
示す。Next, FIG. 24 shows a block configuration example in the case where the arithmetic processing of the image processing apparatus 303 is constituted by hardware.
【0150】図24に示す前記画像処理装置303は、
前記左画使用信号処理装置308A,308Bの各図示
しない複数のメモリに記憶された左画像のRL,GL,B
L色信号、右画像RR,GR,BR色信号、及び同期信号S
YNCを入力するようになっている。これら時系列画像
データ(色信号)は、画像入力インターフェース339
を介して、一旦、複数のフレームメモリからなるメモリ
340に記憶される。記憶された画像データは歪曲収差
補正手段341により補正され、この補正された画像デ
ータは、左右画像間同一点位置検出手段342、形状推
定手段343、及び誤差推定手段344により、対象物
の立体形状と立体形状の誤差が算出される。算出された
3次元画像データ又は2次元画像データと、立体形状の
誤差データとは、形状・誤差合成手段345により合成
されメモリ346に記憶される。The image processing apparatus 303 shown in FIG.
RL, GL, B of the left images stored in a plurality of memories (not shown) of the left image use signal processing devices 308A, 308B.
L color signal, right image RR, GR, BR color signal, and synchronization signal S
It is designed to input YNC. These time-series image data (color signals) are input to the image input interface 339.
Is temporarily stored in the memory 340 including a plurality of frame memories. The stored image data is corrected by the distortion aberration correction means 341, and the corrected image data is corrected by the same-point position detection means 342 between the left and right images, the shape estimation means 343, and the error estimation means 344 to obtain the three-dimensional shape of the object. And the error of the three-dimensional shape is calculated. The calculated three-dimensional image data or two-dimensional image data and the stereoscopic error data are combined by the shape / error combining unit 345 and stored in the memory 346.
【0151】メモリ346に記憶された3次元画像デー
タ又は2次元画像データと立体形状の誤差は読み出さ
れ、D/Aコンバータ347によってアナログ信号に変
換され、入出力インタフェース348を介してモニタ3
05に対象部位の3次元又は2次元の画像が表示される
ようになている。The error of the three-dimensional image data or the two-dimensional image data stored in the memory 346 and the three-dimensional shape is read out, converted into an analog signal by the D / A converter 347, and the monitor 3 via the input / output interface 348.
A three-dimensional or two-dimensional image of the target region is displayed on 05.
【0152】また、画像処理装置303には、歪曲収差
補正手段341、位置検出手段342、形状推定手段3
43、誤差推定手段344及び形状・誤差合成手段34
5の演算を制御するための演算処理用コントローラ35
0と、メモリ340、346のデータの読み書きを制御
するためのメモリコントローラ351が設けられてい
る。セレクタ352は、メモリコントローラ351の制
御信号によってメモリ340またはメモリ346の一方
と記録装置304とを記録装置用インターフェース35
3を介して選択的に接続し、記録装置304とメモリ3
40又はメモリ346との間でデータの転送ができるよ
うになっている。前記メモリコントローラ351は、情
報入力装置354を接続している。また、所定データ記
憶手段349は、前記情報入力装置354から指定され
た所定の情報を前記誤差推定手段344へ供給するよう
になっている。Further, the image processing device 303 includes a distortion aberration correcting means 341, a position detecting means 342, and a shape estimating means 3.
43, error estimating means 344 and shape / error combining means 34
Controller 35 for controlling the calculation of 5
0, and a memory controller 351 for controlling reading and writing of data in the memories 340 and 346 are provided. The selector 352 connects one of the memory 340 or the memory 346 and the recording device 304 to the recording device interface 35 according to a control signal from the memory controller 351.
3, and the recording device 304 and the memory 3 are selectively connected.
40 or the memory 346. The memory controller 351 is connected to the information input device 354. Further, the predetermined data storage means 349 is adapted to supply the predetermined information designated by the information input device 354 to the error estimation means 344.
【0153】前記画像処理装置303の動作について説
明する。撮像手段により得られた左右画像の色信号は、
それぞれ画像インターフェース339を通ってメモリ3
40に記憶される。メモリ340に記憶された左右の画
像は歪曲収差補正手段341により補正され、左右の画
像間の同一点の位置を検出するための位置検出手段34
2に入力される。The operation of the image processing apparatus 303 will be described. The color signals of the left and right images obtained by the imaging means are
Memory 3 through each image interface 339
Stored in 40. The left and right images stored in the memory 340 are corrected by the distortion correction unit 341, and the position detection unit 34 for detecting the position of the same point between the left and right images.
Entered in 2.
【0154】前記情報入力装置354は内視鏡の光学系
の位置や視差等のデータを入力し、入力されたデータを
記憶手段349に送る。また、形状の推定やその誤差の
推定を始めるための指示等の制御信号が情報入力装置3
54から発っせられ、メモリーコントローラ351に送
られる。The information input device 354 inputs data such as the position and parallax of the optical system of the endoscope, and sends the input data to the storage means 349. In addition, a control signal such as an instruction for starting the shape estimation or the error estimation is transmitted to the information input device 3.
It is emitted from 54 and sent to the memory controller 351.
【0155】位置検出手段342の検出結果と記憶手段
349に格納された所定データがそれぞれ形状推定手段
343、及び誤差推定手段344に入力される。形状推
定手段343では、位置検出手段342からの左右画像
における同一点の位置データと記憶手段344からの内
視鏡の光学系の位置や視差等のデータとにより内視鏡の
視点から対象物までの距離を算出して対象物体の形状を
推定する。The detection result of the position detecting means 342 and the predetermined data stored in the storage means 349 are input to the shape estimating means 343 and the error estimating means 344, respectively. The shape estimating unit 343 uses the position data of the same point in the left and right images from the position detecting unit 342 and the data of the position and parallax of the optical system of the endoscope from the storing unit 344 to measure from the viewpoint of the endoscope to the object. Then, the distance is calculated to estimate the shape of the target object.
【0156】誤差推定手段344では位置検出手段34
2からの左右画像の同一点の位置データと記憶手段34
9からの内視鏡の光学系の位置や視差等のデータとによ
り、同一点検出における検出誤差(シフトマップの誤
差)を算出し、その検出誤差から内視鏡の視点から対象
物までの距離の誤差を算出して、対象物体の形状の誤差
を推定する。The error estimating means 344 uses the position detecting means 34.
Position data of the same point of the left and right images from 2 and the storage means 34
The detection error (shift map error) in the same point detection is calculated from the data of the position of the optical system of the endoscope and the parallax from 9 and the distance from the viewpoint of the endoscope to the object is calculated from the detection error. The error in the shape of the target object is estimated by calculating the error.
【0157】形状推定手段343により推定された立体
形状と誤差推定手段344により推定された形状誤差と
をそれぞれ合成手段345に入力し、立体形状とその誤
差を表示するためのデータを作成し、メモリ346に記
憶する。The three-dimensional shape estimated by the shape estimating means 343 and the shape error estimated by the error estimating means 344 are input to the synthesizing means 345, and data for displaying the three-dimensional shape and its error are created and stored in the memory. 346.
【0158】メモリ346に記憶されたデータは、D/
Aコンバータ347、表示インターフェース348を通
って外部の表示装置305に送られる。The data stored in the memory 346 is D /
It is sent to the external display device 305 through the A converter 347 and the display interface 348.
【0159】次に、形状推定のため、複眼の電子内視鏡
306における内視鏡先端面から指定された点にいたる
距離を計算する測長原理について以下に説明する。Next, the principle of length measurement for calculating the distance from the distal end surface of the endoscope to the designated point in the compound-eye electronic endoscope 306 for shape estimation will be described below.
【0160】図22において点Dは生体318内部など
の対象物体328の着目点、点P、点Qは左画像用撮像
手段322、右画像用撮像手段323に結像された点に
対応する対物レンズ320、321の焦点像上の点であ
る。また、点Oは対物レンズ320、321の光軸の中
線と内視鏡先端面326との交点である。In FIG. 22, a point D is a point of interest of the target object 328 such as inside the living body 318, and points P and Q are objectives corresponding to the points imaged on the left image capturing means 322 and the right image capturing means 323. It is a point on the focus image of the lenses 320 and 321. Further, a point O is an intersection of the center line of the optical axes of the objective lenses 320 and 321 and the endoscope front end surface 326.
【0161】前記点Dと内視鏡先端面326との距離を
d、対物レンズ320、321の光軸の中線に対する横
方向のずれをxとする。The distance between the point D and the front end surface 326 of the endoscope is d, and the lateral shift of the objective lenses 320 and 321 with respect to the center line of the optical axis is x.
【0162】前記内視鏡先端面326と対物レンズ32
0、321の焦点面との距離をfとし、対物レンズ32
0、321の光軸間の距離を2sとする。また、対物レ
ンズ320の光軸と点Pとの距離をa、対物レンズ32
1の光軸と点Qとの距離をbとする。The endoscope front end surface 326 and the objective lens 32.
The distance between the focal planes of 0 and 321 is f, and the objective lens 32
The distance between the optical axes of 0 and 321 is 2s. Further, the distance between the optical axis of the objective lens 320 and the point P is a, and the objective lens 32 is
The distance between the optical axis of 1 and the point Q is b.
【0163】以上から、図22における三角形の相似か
ら、 f(s+x)=ad f(s−x)=bd が成立する。以上の2式よりx、dについて解くと、 x=s(a−b)/(a+d) d=2fs/(a+b) となる。よってf、sは既知の量であるから、未知の
x、dを求めることができる。また、a、bは左右画像
のそれぞれにおいて、対象点と画像の中心とからの偏差
として求められるので、左右画像において同一点が検出
できれば、a、bを求めることができる。そして本実施
例では、左右の画像間の同一の点を第1実施例で説明し
たような位置検出手段により、左の画像内の特定の領域
をテンプレート画像として、右の画像内での相関値が最
大となる領域を求めて同一の点の位置を検出する。From the above, from the similarity of the triangles in FIG. 22, f (s + x) = ad f (s−x) = bd holds. Solving x and d from the above two equations yields x = s (ab) / (a + d) d = 2fs / (a + b). Therefore, since f and s are known quantities, unknown x and d can be obtained. Further, since a and b are calculated as deviations from the target point and the center of the image in each of the left and right images, a and b can be calculated if the same point can be detected in the left and right images. Then, in this embodiment, the same point between the left and right images is detected by the position detecting means as described in the first embodiment, and the specific area in the left image is used as the template image, and the correlation value in the right image is calculated. The position of the same point is detected by obtaining the area where is maximum.
【0164】検出された同一点の移動量と撮像手段の視
差から、位置検出手段で得られた同一の点に対応する対
象物上の位置と撮像手段との間の距離を求めることがで
きる。From the detected movement amount of the same point and the parallax of the image pickup means, the distance between the position on the object and the image pickup means corresponding to the same point obtained by the position detection means can be obtained.
【0165】画像間の同一点の検出が第1実施例で説明
した位置検出手段で行われることから、本実施例で求め
られる絶対的形状の誤差は、第1実施例で説明した誤差
推定手段と同様の手法を用いることにより求めることが
できる。Since the same point between images is detected by the position detecting means described in the first embodiment, the absolute shape error obtained in this embodiment is the error estimating means described in the first embodiment. It can be obtained by using a method similar to.
【0166】いま、左右の画像用の撮像手段の光学系の
位置を正確に求められると(レンズが傾いていたり、焦
点深度が左右のレンズで異なっていたりしていないと仮
定すると)、それぞれの位置関係が第1実施例の運動パ
ラメータに対応し、絶対的な運動パラメータを求めるこ
とができる。Now, when the positions of the optical systems of the image pickup means for the left and right images can be accurately obtained (assuming that the lenses are not tilted or the depths of focus are different between the left and right lenses), the respective positions are determined. The positional relationship corresponds to the motion parameter of the first embodiment, and the absolute motion parameter can be obtained.
【0167】従って、第1実施例で求めたシフトマップ
の誤差の推定方法を用いて、シフトマップの誤差の範囲
を絶対的な値として推定する。また、得られた絶対形状
と、その誤差範囲とは、第1実施例の図20で示したよ
うな表示方法により表示装置に表示する。Therefore, the error range of the shift map is estimated as an absolute value using the method of estimating the error of the shift map obtained in the first embodiment. Further, the obtained absolute shape and the error range thereof are displayed on the display device by the display method as shown in FIG. 20 of the first embodiment.
【0168】以上述べたように、本実施例では、複眼を
有する撮像手段により同一対象物の画像を複数撮像する
ことにより、対象物の絶対的な形状に加えて、その形状
の誤差範囲を推定することができ、従来のような方式に
より推定された絶対的な形状のみ表示するよりも、形状
の推定過程で発生する誤算による形状誤差が考慮されて
いるため、より信頼性のある形状データを提供できる。As described above, in the present embodiment, by capturing a plurality of images of the same object by the imaging means having compound eyes, the error range of the shape is estimated in addition to the absolute shape of the object. Since the shape error due to erroneous calculation that occurs in the shape estimation process is taken into consideration, it is possible to obtain more reliable shape data than to display only the absolute shape estimated by the conventional method. Can be provided.
【0169】図25ないし図31は本発明の第3実施例
に係り、図25は2次元光スポット方式の電子内視鏡シ
ステムの全体構成図、図26は内視鏡の先端構成図、図
27は2次元スポット光の投影手段の構成図、図28は
2次元光スポット方式における測長原理の説明図、図2
9はCPUで構成した画像処理装置のブロック図、図3
0はハードウェアで構成された画像処理装置のブロック
図、図31は対象物に投影されたスポット光の検出に関
する説明図である。FIGS. 25 to 31 relate to the third embodiment of the present invention, FIG. 25 is an overall configuration diagram of a two-dimensional light spot type electronic endoscope system, and FIG. 26 is a configuration diagram of the tip of an endoscope. 27 is a block diagram of the projection means of the two-dimensional spot light, FIG. 28 is an explanatory view of the length measurement principle in the two-dimensional light spot method,
9 is a block diagram of an image processing apparatus including a CPU, FIG.
Reference numeral 0 is a block diagram of an image processing apparatus configured by hardware, and FIG. 31 is an explanatory diagram relating to detection of spot light projected on an object.
【0170】本第3実施例の画像処理装置は、第2実施
例の装置が複眼(ステレオ)で得た画像と共に光学系等
の絶対的な値を用いて、立体形状を推定するのに対し
て、例えば2次元的に配列される複数の光スポットをパ
ターン光として投影する投影手段を有する撮像手段によ
り撮像し、撮像された例えば一つの画像上に現れた複数
の光スポットの相互の位置を検出し、この検出された位
置と光学系等の絶対的な値とを用いて、立体形状を推定
するようになっている。尚、本実施例において誤差の推
定は、第1,第2実施例と同様にエピポーララインから
のずれによる誤差を推定する手法を採用しており、スポ
ット光を検出するときの検出誤差から形状の誤差範囲を
推定している。In contrast to the image processing apparatus of the third embodiment, the apparatus of the second embodiment estimates the three-dimensional shape by using the absolute value of the optical system and the like together with the image obtained by the compound eye (stereo). Then, for example, a plurality of light spots arranged two-dimensionally is imaged by an image pickup means having a projection means for projecting as pattern light, and the mutual positions of the plurality of light spots appearing on one image picked up are determined. The detected position is detected and the three-dimensional shape is estimated using the absolute value of the optical system or the like. Incidentally, in the present embodiment, the error is estimated by adopting the method of estimating the error due to the deviation from the epipolar line as in the first and second embodiments, and the shape is estimated from the detection error when detecting the spot light. The error range is estimated.
【0171】まず、第2実施例に係る画像処理装置を備
えた内視鏡システムについて、図を参照して説明する。
図25は内視鏡システム400は、図1に示す第1実施
例のシステムにおける電子内視鏡6及び画像処理装置3
に代えて、計測用の電子内視鏡6A及び本実施例に係る
画像処理装置3Aを有している。また、内視鏡システム
400は、第1実施例のシステムに加えてレーザ光源4
01を有している。その他、第1実施例と同様の構成及
び作用については、同じ符号を付して説明を省略する。First, an endoscope system including the image processing apparatus according to the second embodiment will be described with reference to the drawings.
FIG. 25 shows an endoscope system 400, which is the electronic endoscope 6 and the image processing apparatus 3 in the system of the first embodiment shown in FIG.
Instead, it has a measuring electronic endoscope 6A and an image processing apparatus 3A according to the present embodiment. The endoscope system 400 includes the laser light source 4 in addition to the system of the first embodiment.
Has 01. Other configurations and operations similar to those of the first embodiment are designated by the same reference numerals and description thereof will be omitted.
【0172】図26は計測用の電子内視鏡6Aの先端部
16a分の構造を示し、402は対象物の画像を得るた
めの観察窓、403は対象物を照明するための照明窓、
404はスポット光を照射するための出射窓、405は
チャンネル開口である。FIG. 26 shows the structure of the distal end portion 16a of the measuring electronic endoscope 6A, in which 402 is an observation window for obtaining an image of the object, 403 is an illumination window for illuminating the object,
Reference numeral 404 is an emission window for irradiating spot light, and 405 is a channel opening.
【0173】電子内視鏡6Aの挿入部11内に挿通され
る図示しないライトガイドファイバは、先端部16a側
へ、前記レーザ光源410が発したレーザ光を伝達する
ようになっている。前記射出窓404の後端側には、図
27に示す投影手段としての透過形ファイバ回折格子4
11を配置している。前記ライトガイドファイバの出射
端から出射されたレーザ光が前記回折格子411に入射
するようになっている。また、前記観察窓402には、
先端側から順に、前記対物レンズ17と撮像素子である
前記CCD18とを配置した撮像部19を有している。A light guide fiber (not shown) inserted into the insertion portion 11 of the electronic endoscope 6A transmits the laser light emitted from the laser light source 410 to the tip portion 16a side. On the rear end side of the exit window 404, a transmission type fiber diffraction grating 4 as a projection means shown in FIG.
11 are arranged. The laser light emitted from the emission end of the light guide fiber enters the diffraction grating 411. Further, in the observation window 402,
It has an imaging section 19 in which the objective lens 17 and the CCD 18, which is an imaging element, are arranged in order from the front end side.
【0174】前記透過形ファイバ回折格子411は、前
記撮像部19と共に撮像手段を構成しており、複数のフ
ァイバが縦と横とに直交するように各複数配列されてい
る。この回折格子411を透過したレーザ光は、複数の
スポット光に分離され、レーザ光の光軸に対して直交す
る平坦なスクリーンに対して投影した場合、規則正しく
所定間隔で格子状に配列されるようになっている。すな
わち、規則正しい2次元スポット光となる。尚、対象物
体の凹凸に応じて、2次元スポット光の配列は変化す
る。また、前記投影手段は、パターン光として一つの光
スポットを照射するものでもよく、あるいは帯状の光を
格子状に配列するように投影するものでもよい。The transmission type fiber diffraction grating 411 constitutes an image pickup means together with the image pickup section 19, and a plurality of fibers are arranged so as to be orthogonal to each other vertically and horizontally. The laser light transmitted through the diffraction grating 411 is separated into a plurality of spot lights, and when projected onto a flat screen orthogonal to the optical axis of the laser light, the laser light is regularly arranged in a lattice shape at predetermined intervals. It has become. That is, it becomes a regular two-dimensional spot light. The array of the two-dimensional spot light changes according to the unevenness of the target object. The projection means may irradiate a single light spot as pattern light, or may project the band-shaped light so as to be arranged in a grid pattern.
【0175】本実施例の画像処理装置3Aに搭載された
前記CPU40は、前記ROM45に記憶されたプログ
ラムにより動作する図29(a)に示す画像処理手段4
30を有している。前記ROM45に搭載されるプログ
ラムは、第1実施例のプログラムと異なっている。The CPU 40 mounted in the image processing apparatus 3A of the present embodiment operates according to the program stored in the ROM 45, and the image processing means 4 shown in FIG.
Has 30. The program loaded in the ROM 45 is different from the program of the first embodiment.
【0176】前記CPU40が前記ROM45に記憶さ
れたプログラムにより動作する画像処理手段430は、
以下の手段を有している。すなわち、画像処理手段43
0は、図29(a)に示すように、対象物体上に照射さ
れた2次元スポット光の画像の歪曲収差を補正するため
の歪曲収差補正手段431と、歪曲収差補正された対象
物体とスポット光の画像はしきい値処理によりスポット
光のみ画像として求められるスポット光の検出手段43
2とを有している。スポット光は一般に対象となる物体
の輝度値よりも大きいため、図29(b)に示すよう
に、適当な輝度値を設定して画像からその輝度値よりも
大きな値だけ取り出す、すなわちしきい値処理をするこ
とにより、スポット光の画像を得ることができる。The image processing means 430 operated by the CPU 40 according to the program stored in the ROM 45,
It has the following means. That is, the image processing means 43
As shown in FIG. 29A, 0 is a distortion aberration correction unit 431 for correcting the distortion aberration of the image of the two-dimensional spot light irradiated on the target object, the target object and the spot after the distortion aberration correction. The light image is a spot light detecting means 43 in which only the spot light is obtained as an image by threshold processing.
2 and. Since the spot light is generally larger than the brightness value of the target object, as shown in FIG. 29B, an appropriate brightness value is set and only a value larger than the brightness value is extracted from the image, that is, the threshold value. By processing, an image of spot light can be obtained.
【0177】尚、前記格子状の帯状光からなるパターン
を投影する場合は、例えば格子のクロス点の輝度が高け
れば、前述の閾値処理を用いることができる。In the case of projecting the pattern composed of the grid-like band-shaped light, if the brightness at the cross points of the grid is high, the above threshold processing can be used.
【0178】また、画像処理手段430は、スポット光
検出手段432により得られたスポット光のみ画像から
スポット光の位置を検出するための位置検出手段433
と、予めスコープの光学系の位置、及びスポット光の照
射方向等を測定して得られたデータと位置検出手段43
3での結果とを用いて視点から対象物体上に照射された
スポット光の位置までの距離を推定して対象物体の形状
を推定する形状(距離)推定手段434と、前記データ
と位置検出手段433によるスポット光の位置の検出誤
差から得られる形状の誤差を推定する誤差推定手段43
5と、形状推定手段434での形状と誤差推定手段43
5の形状誤差とを合成して表示装置に出力するための画
像を作成する合成手段436等とからなる。The image processing means 430 also detects the position of the spot light from the image of only the spot light obtained by the spot light detecting means 432.
And data obtained by previously measuring the position of the optical system of the scope, the irradiation direction of the spot light, and the like, and the position detecting means 43.
Shape (distance) estimating means 434 for estimating the distance from the viewpoint to the position of the spot light radiated on the target object by using the result of 3 and the data and position detecting means. Error estimation means 43 for estimating a shape error obtained from the detection error of the spot light position by 433.
5 and the shape and error estimation means 43 in the shape estimation means 434.
The shape error of No. 5 is combined with the combining unit 436 for creating an image to be output to the display device.
【0179】次に、画像処理装置3Aの演算処理をハー
ドウェアで構成した場合のブロック構成例を図30に示
す。図30に示すように、対象物体上に照射されたスポ
ット光と対象物体の画像が画像入力インターフェース4
50を通って複数のフレームメモリからなるメモリ45
1に記憶される。メモリ451に記憶された画像は歪曲
収差補正手段452により補正され、スポット光検出手
段453によりスポット光のみの画像として得られる。
スポット光検出手段453により得られたスポット光の
画像は、各スポット光の位置を検出するための位置検出
手段454に入力される。Next, FIG. 30 shows an example of a block configuration when the arithmetic processing of the image processing apparatus 3A is configured by hardware. As shown in FIG. 30, the spot light irradiated on the target object and the image of the target object are the image input interface 4
A memory 45 composed of a plurality of frame memories through 50
Stored in 1. The image stored in the memory 451 is corrected by the distortion correction unit 452, and obtained by the spot light detection unit 453 as an image of only spot light.
The image of the spot light obtained by the spot light detection means 453 is input to the position detection means 454 for detecting the position of each spot light.
【0180】前記情報入力装置75は内視鏡の光学系の
位置やスポット光の照射方向等のデータを入力し、入力
されたデータを記憶手段461に送る。形状やその誤差
の推定を始めるための指示等の制御信号が情報入力装置
75により発生されると、この制御信号は、メモリコン
トローラ463に送られる。The information input device 75 inputs data such as the position of the optical system of the endoscope and the irradiation direction of spot light, and sends the input data to the storage means 461. When a control signal such as an instruction for starting the estimation of the shape and its error is generated by the information input device 75, this control signal is sent to the memory controller 463.
【0181】前記位置検出手段454からの検出結果と
記憶手段461のデータとがそれぞれ形状推定手段45
5、誤差推定手段456に入力される。The detection result from the position detecting means 454 and the data in the storing means 461 are the shape estimating means 45, respectively.
5, input to the error estimation means 456.
【0182】前記形状推定手段455では位置検出手段
454からのスポット光の位置データと記憶手段461
からの内視鏡の光学系の位置やスポット光の照射方向等
のデータとより、内視鏡の視点から対象物体上に照射さ
れたスポット光の位置までの距離を算出して対象物体の
形状を推定する。In the shape estimating means 455, the position data of the spot light from the position detecting means 454 and the storage means 461 are stored.
The shape of the target object is calculated by calculating the distance from the viewpoint of the endoscope to the position of the spot light irradiated onto the target object from the data of the position of the optical system of the endoscope and the irradiation direction of the spot light from To estimate.
【0183】前記誤差推定手段456では位置検出手段
454からのスポット光の位置データと記憶手段461
からの内視鏡の光学系の位置やスポット光の照射方向等
のデータとよりスポット光の位置検出における検出誤差
を算出し、その検出誤差から内視鏡の視点から対象物体
上に照射されたスポット光の位置までの距離の誤差を算
出して対象物体の形状の誤差を推定する。In the error estimation means 456, the position data of the spot light from the position detection means 454 and the storage means 461 are stored.
Calculate the detection error in the position detection of the spot light from the data such as the position of the optical system of the endoscope and the irradiation direction of the spot light, and irradiate the target object from the viewpoint of the endoscope from the detection error. The error in the shape of the target object is estimated by calculating the error in the distance to the position of the spot light.
【0184】前記形状推定手段455により推定された
立体形状と、誤差推定手段456により推定された形状
誤差とは、合成手段457にそれぞれに入力され、立体
形状とその誤差を表示するためのデータが作成され、メ
モリ458に記憶される。The three-dimensional shape estimated by the shape estimating means 455 and the shape error estimated by the error estimating means 456 are respectively input to the synthesizing means 457, and the data for displaying the three-dimensional shape and the error are input. It is created and stored in the memory 458.
【0185】メモリ458に記憶されたデータはD/A
コンバータ459、表示インターフェース460を経て
外部の表示装置5に送られる。The data stored in the memory 458 is D / A.
It is sent to the external display device 5 via the converter 459 and the display interface 460.
【0186】演算処理コントローラ462は、歪曲収差
補正手段452、スポット光検出手段453、位置検出
手段454、形状推定手段455、誤差推定手段456
及び合成手段457の演算を制御している。メモリコン
トローラ463は、メモリ451及びメモリ458に対
して、データの読み書きを制御している。The arithmetic processing controller 462 has the distortion correction means 452, the spot light detection means 453, the position detection means 454, the shape estimation means 455, and the error estimation means 456.
Also, the calculation of the synthesizing means 457 is controlled. The memory controller 463 controls the reading and writing of data with respect to the memory 451 and the memory 458.
【0187】セレクタ464はメモリコントローラ46
3の制御信号に応じて、メモリ451、メモリ458の
一方が記録装置インターフェース465を通って記録装
置4に接続できるように選択され、記憶装置4とメモリ
451またはメモリ457とデータの転送ができるよう
になっている。The selector 464 is the memory controller 46.
One of the memory 451 and the memory 458 is selected so as to be connectable to the recording device 4 through the recording device interface 465 according to the control signal of No. 3, so that data can be transferred between the memory device 4 and the memory 451 or the memory 457. It has become.
【0188】次に、形状推定のため、計測用の電子内視
鏡3Aにおける内視鏡先端面から指定された点にいたる
距離を計算する測長原理について以下に説明する。図2
7に示すように、レーザ光源410から出射されたレー
ザ光は、透過形ファイバ回折格子411に入射され、行
列上に配列された2次元のスポット光が対象物に照射さ
れ、その2次元スポット光のパターンが撮像手段により
撮像される。この2次元スポット光のパターンの画像
は、対象物に応じて行列上に並んだスポットの間隔が変
化していることから、この画像のスポット光の位置を推
定することにより、スポット光の照射されている対象物
までの距離を求めることができる。Next, the principle of length measurement for calculating the distance from the distal end surface of the endoscope in the measuring electronic endoscope 3A to the specified point for shape estimation will be described below. Figure 2
As shown in FIG. 7, the laser light emitted from the laser light source 410 is incident on the transmission fiber diffraction grating 411, the two-dimensional spot light arranged in a matrix is irradiated to the object, and the two-dimensional spot light is emitted. Pattern is imaged by the imaging means. In the image of the pattern of the two-dimensional spot light, since the intervals of the spots arranged in a matrix change according to the object, the spot light is irradiated by estimating the position of the spot light in this image. The distance to the target object can be obtained.
【0189】そこで、図28に示すように、φi をi次
項のスポットの方向、θi をi次項のスポットの観察さ
れる方向、Oをレンズの中心位置、cは撮像素子Pの中
心位置、fは対物レンズ17の焦点距離、Aは対象物上
の点、ZA は対象物上の点Aからレンズの中心Oとスポ
ット光の出射位置とを結んだ直線上に下ろした垂線の長
さ、l(エル)はレンズの中心とスポット光の出射位置
とを結んだ長さ、aはi次光のレーザ光が撮像素子Pに
到達する位置、撮像素子Pの中心cから位置aまでの距
離をeとする。Therefore, as shown in FIG. 28, φi is the direction of the i-th order spot, θi is the direction in which the i-th order spot is observed, O is the center position of the lens, c is the center position of the image sensor P, and f is Is the focal length of the objective lens 17, A is a point on the object, ZA is the length of a perpendicular line drawn from the point A on the object to a straight line connecting the center O of the lens and the emission position of the spot light, l (L) is the length connecting the center of the lens and the emission position of the spot light, a is the position where the laser light of the i-th order light reaches the image sensor P, and the distance from the center c of the image sensor P to the position a. Let be e.
【0190】ZA は次のようにして求めることができ
る。ZA can be obtained as follows.
【0191】 また、XA は、 として求めることができる。[0191] Also, XA is Can be asked as
【0192】ここで、i次項のスポットの方向は、 となる。ただし、λはレーザ光の波長、Dは回折格子の
ピッチである。Here, the direction of the i-th order spot is Becomes However, λ is the wavelength of the laser beam and D is the pitch of the diffraction grating.
【0193】よって、図31に示すように、画像上のス
ポット光をしきい値処理等の手段によりスポット光のみ
画像を求める。得られたスポット光の画像は対象物の形
が極端に変形していなければ行列上に間隔が変化した状
態で所定順にスポット光が配列される。従って、スポッ
ト光の配列の順番から画像上の各スポット光が、第何次
光のスポットであるかわかる。Therefore, as shown in FIG. 31, the spot light on the image is obtained by means of threshold processing or the like. In the obtained spot light image, if the shape of the object is not extremely deformed, the spot light is arranged in a predetermined order in a state where the intervals are changed on the matrix. Therefore, it can be known from the order of arrangement of the spot lights that each spot light on the image is a spot of the primary light.
【0194】また、画像上のスポット光の位置は第1実
施例で説明したような位置検出手段においてスポット光
のテンプレート画像を用いて、しきい値処理で得られた
画像とで相関値が最大となる領域を求めてスポット光の
位置を検出する。スポット光の画像上での位置とその位
置のスポット光が第何次光のスポット光であるかが求め
られるので、対象物上に投影されたスポット光と撮像手
段との距離を求めることができる。Further, the position of the spot light on the image has the maximum correlation value with the image obtained by the threshold processing by using the template image of the spot light in the position detecting means as described in the first embodiment. The position of the spot light is detected by obtaining the area that becomes. Since the position of the spot light on the image and the spot light of the spot light at that position are obtained, the distance between the spot light projected on the object and the imaging means can be obtained.
【0195】画像上のスポット光の位置の検出が第1実
施例で説明した位置検出手段で行われることから、本実
施例で求められる絶対的な形状の誤差は、第1実施例で
説明した誤差推定手段を用いることにより求めることが
できる。Since the position of the spot light on the image is detected by the position detecting means described in the first embodiment, the absolute shape error obtained in this embodiment has been described in the first embodiment. It can be obtained by using the error estimation means.
【0196】いま、撮像手段の光学系の配置(焦点距離
や撮像手段の位置等)が正確に求められるとすると、そ
れぞれの位置関係が第1実施例の運動パラメータに対応
し、絶対的な運動パラメータを求めることができる。Now, assuming that the arrangement of the optical system of the image pickup means (focal length, position of the image pickup means, etc.) is accurately obtained, the respective positional relationships correspond to the motion parameters of the first embodiment, and the absolute movement is performed. Parameters can be calculated.
【0197】よって、第1実施例で求めたシフトマップ
の誤差の推定方向を用いてシフトマップの誤差の範囲を
絶対的な値として推定される。また、得られた絶対形状
とその誤差範囲を第1実施例の図20で示したような表
示方法により、表示装置に表示する。Therefore, the error range of the shift map is estimated as an absolute value using the estimated direction of the shift map error obtained in the first embodiment. Further, the obtained absolute shape and its error range are displayed on the display device by the display method as shown in FIG. 20 of the first embodiment.
【0198】以上述べたように、本実施例では、照射手
段からの2次元のスポット光が投影された対象物を撮像
手段によって撮像した一枚以上の画像から、対象物の絶
対的な形状とその形状の誤差範囲が推定することがで
き、従来のような方式により推定された絶対的な形状の
み表示するよりも、形状の推定過程で発生する誤算によ
る形状誤差を考慮することができるので、より信頼性の
ある形状データを提供できる。As described above, in the present embodiment, the absolute shape of the target object is determined from one or more images obtained by capturing the target object onto which the two-dimensional spot light from the irradiation means is projected by the imaging means. It is possible to estimate the error range of the shape, and it is possible to consider the shape error due to miscalculation that occurs in the shape estimation process, rather than displaying only the absolute shape estimated by the conventional method. More reliable shape data can be provided.
【0199】図32は本発明の第4実施例に係り、推定
形状と推定誤差との表示例を示す説明図である。FIG. 32 is an explanatory diagram showing a display example of the estimated shape and the estimation error according to the fourth embodiment of the present invention.
【0200】本第4実施例の内視鏡システムは、前記第
1、第2、第3のいずれの実施例におけるシステムでも
よく、推定した形状の誤差の表示方式のみが異なってい
る。前記第1実施例等では、対象とした点での誤差の上
限及び下限範囲を表示してある。これに対して、本第4
実施例では、対象物上の特定の位置を基準点とし、その
基準点以外の位置での誤差の範囲を形状と共に表示する
ようになっている。The endoscope system according to the fourth embodiment may be the system according to any of the first, second and third embodiments, and is different only in the method of displaying the estimated shape error. In the first embodiment and the like, the upper and lower limits of the error at the target point are displayed. In contrast, the fourth
In the embodiment, a specific position on the object is set as a reference point, and the error range at positions other than the reference point is displayed together with the shape.
【0201】その他、第1ないし第3実施例と同様の構
成及び作用については、同じなので図及び説明を省略す
ると共に、異なる点についてのみ説明する。Other than that, since the configuration and the operation similar to those of the first to third embodiments are the same, the drawings and the description will be omitted, and only the different points will be described.
【0202】本実施例では、対象物の形状を表示する前
までは各実施例のいずれかと同様で、形状の誤差範囲を
表示する場合、図32に示すように、対象物の特定の位
置を基準位置として、その基準位置に対して他の位置で
の形状誤差がどの程度の範囲であるかを対象物の形状と
共に表示するようにしてある。This embodiment is the same as any of the embodiments until the shape of the object is displayed. When displaying the error range of the shape, as shown in FIG. 32, the specific position of the object is set. As the reference position, the range of the shape error at other positions with respect to the reference position is displayed together with the shape of the object.
【0203】具体的には、他の点の誤差範囲は、所望の
基準点で求められている誤差を他の点の誤差に加えた範
囲として表示される。Specifically, the error range of other points is displayed as a range in which the error obtained at the desired reference point is added to the error of other points.
【0204】図33は第4実施例の変形例に係り、第4
実施例と異なる立体形状の誤差の表示例の説明図であ
る。FIG. 33 relates to a modification of the fourth embodiment.
It is explanatory drawing of the display example of the error of a three-dimensional shape different from an Example.
【0205】第4実施例では形状の誤差範囲を対象物の
形状と共に表示していたが、本変形例では、図33に示
すように、数値で誤差範囲を表示している。In the fourth embodiment, the error range of the shape is displayed together with the shape of the object, but in this modification, the error range is displayed numerically as shown in FIG.
【0206】前記第4実施例及び変形例では、対象物上
の特定の位置に対して他の位置での形状の変化を容易に
観察できるのと同時に、形状変化の大きさの誤差の信頼
性を容易に知ることができる。In the fourth embodiment and the modified example, it is possible to easily observe a change in shape at a specific position on an object with respect to another position, and at the same time, reliability of the error in the magnitude of the change in shape. Can be easily known.
【0207】図34ないし図36は本発明の第5実施例
に係り、図34は自己相関関数の算出と、求められた自
己相関関数の鳥瞰図、図35は類似したテクスチャーと
自己相関関数の関係を示す説明図、図36は自己相関関
数から誤差範囲を推定する様子を示す説明図である。34 to 36 relate to the fifth embodiment of the present invention. FIG. 34 is a bird's-eye view of the autocorrelation function calculated and the autocorrelation function obtained. FIG. 35 is a relation between similar texture and autocorrelation function. And FIG. 36 is an explanatory diagram showing how the error range is estimated from the autocorrelation function.
【0208】本第5実施例の内視鏡システムは、撮像手
段により得られた画像の自己相関関数を求め、自己相関
関数からシフトマップの誤差の範囲を推定する。The endoscope system of the fifth embodiment obtains the autocorrelation function of the image obtained by the image pickup means and estimates the error range of the shift map from the autocorrelation function.
【0209】本第5実施例の内視鏡システムでは、立体
形状の推定に関しては、前記第1、第2、第3のいずれ
の実施例における手段でもよく、推定した形状に関する
誤差の推定手段が異なっている。尚、表示形式について
は、前記各実施例または変形例のいずれの形式でも良
い。In the endoscope system of the fifth embodiment, the means in any of the first, second and third embodiments may be used for estimating the three-dimensional shape, and the means for estimating the error relating to the estimated shape is used. Is different. Incidentally, the display format may be any of the formats of the above-mentioned respective embodiments or modified examples.
【0210】本実施例のシステムは、エピポーラライン
からのずれにより誤差を推定する第1、第2、第3の各
実施例の誤差推定手段に代えて、自己相関関数からシフ
トマップの誤差を推定する誤差推定手段を有している。
本実施例のシステムでは、第1実施例において取り込ま
れる複数画像のうちいずれか一つの画像、あるいは第2
実施例において左右画像のいずれか一方の画像、第3実
施例における一つの画像を用いて下述する手法により誤
差の推定を行うようになっている。The system of this embodiment estimates the error of the shift map from the autocorrelation function instead of the error estimating means of the first, second and third embodiments which estimates the error by the deviation from the epipolar line. It has an error estimating means for
In the system of this embodiment, any one of the plurality of images captured in the first embodiment, or the second image
An error is estimated by the method described below using either one of the left and right images in the embodiment and one image in the third embodiment.
【0211】つまり、本実施例では、前記複数画像のい
ずれか一つの画像を用いて、立体形状に関する誤差の推
定が可能となっている。従って、本実施例の構成は、第
1、第2、第3の各実施例のいずれの構成にも適用で
き、これらの実施例における構成と異なる点は、誤差推
定手段に関するものだけである。よって、第1ないし第
3実施例と異なる点についてのみ説明し、同様の構成及
び作用については説明を省略する。That is, in this embodiment, it is possible to estimate the error relating to the three-dimensional shape by using any one of the plurality of images. Therefore, the configuration of the present embodiment can be applied to any of the configurations of the first, second, and third embodiments, and the only difference from the configurations of these embodiments is the error estimation means. Therefore, only differences from the first to third embodiments will be described, and description of similar configurations and operations will be omitted.
【0212】本実施例の位置検出手段は、第1実施例の
テンプレートマッチングで説明したように、2つの異な
る画像を用いて、一方の画像から同一点として検出した
い点を中心となるように特定の領域を取り出しそれをテ
ンプレート画像とし、もう一方の画像に対して相関関数
の式の相関値が最大になるような点の位置を求める手段
である。As described in the template matching of the first embodiment, the position detecting means of this embodiment uses two different images and specifies the point to be detected as the same point from one of the images so as to be the center. Is a means for obtaining the position of a point such that the correlation value of the correlation function equation is maximized with respect to the other image by taking out the area of the template image.
【0213】また、自己相関関数は図34(a)に示す
ように、1つの画像より取り出したテンプレート画像を
取り出し、もとの画像の特定の領域に対して相関値を求
める。すなわち、図中、破線で示すサーチエリア内にお
いて、テンプレートを移動させながら、自己相関関数を
求める。この場合、前記式(A)を用いて相関を求める
ものとすると、相関関数の式のfとtが同一、すなわち
1つの画像内にあって相関関数を求めることになる。As for the autocorrelation function, as shown in FIG. 34A, a template image taken out from one image is taken out and a correlation value is obtained for a specific area of the original image. That is, in the search area shown by the broken line in the figure, the autocorrelation function is obtained while moving the template. In this case, assuming that the correlation is obtained using the equation (A), the correlation function equations f and t are the same, that is, the correlation function is obtained in one image.
【0214】このようにして得られた自己相関関数と、
テンプレート画像がサーチエリア内を移動したときの移
動量との関係を表した鳥瞰図を図34(b)に示す。The autocorrelation function thus obtained, and
FIG. 34B shows a bird's-eye view showing the relationship with the amount of movement when the template image moves in the search area.
【0215】いま、図35(a)に示すテクスチャーに
対して、特定の領域をテンプレートとし、その画像内で
の自己相関関数を求めた場合について考える。破線の領
域内でテンプレートを垂直方向に移動したとき、対象物
の構造あるいは模様の変化が小さな場合、図35(b)
に示すように、求められた値に差がなくなる。このよう
に、特徴が類似したテクスチャーが例えば垂直方向にあ
った場合、その方向で位置検出をすると検出誤差が発生
し易くなることがわかる。Now, let us consider a case in which an autocorrelation function in the image is obtained using a specific region as a template for the texture shown in FIG. If the structure or pattern of the object changes little when the template is moved vertically in the area indicated by the broken line, FIG.
As shown in, there is no difference in the obtained values. As described above, when textures having similar characteristics are present in the vertical direction, for example, detection of position in that direction easily causes a detection error.
【0216】このように自己相関関数は、テンプレート
として取り出された画像内のテクスチャーの特徴とシフ
トマップの誤差の発生頻度と対応している。そこで、図
36(a)ないし(c)に示すように、適当なしきい値
を設定し、そのしきい値を越えた自己相関関数の値のう
ちのピーク値と前記位置検出手段において同一点検出さ
れた位置とを合わせると共に、前記しきい値を越えた自
己相関関数の値の範囲を前記検出された位置のシフトマ
ップの誤差の範囲として推定する。As described above, the autocorrelation function corresponds to the feature of the texture in the image extracted as the template and the occurrence frequency of the shift map error. Therefore, as shown in FIGS. 36 (a) to 36 (c), an appropriate threshold value is set, and the peak value of the values of the autocorrelation function exceeding the threshold value and the same point detection by the position detecting means are performed. The range of the value of the autocorrelation function exceeding the threshold value is estimated as the range of the error of the shift map of the detected position while matching the detected position.
【0217】本実施例では、撮像手段により得られた画
像の自己相関関数の形からシフトマップの誤差の範囲を
各点ごとに推定することができる。In the present embodiment, the range of error of the shift map can be estimated for each point from the shape of the autocorrelation function of the image obtained by the image pickup means.
【0218】[付記1] 撮像手段により撮像された対
象物の画像から得られる情報及び撮像手段に関する情報
を基に所定の演算をし、その演算結果を用いて前記対象
物の立体形状を推定する立体形状推定手段と、前記立体
形状推定手段にて前記所定の演算により推定される立体
形状に含まれる誤差を推定する立体形状誤差推定手段を
備えている。[Supplementary Note 1] A predetermined calculation is performed based on the information obtained from the image of the object imaged by the image pickup means and the information about the image pickup means, and the three-dimensional shape of the object is estimated using the calculation result. The three-dimensional shape estimation means and the three-dimensional shape error estimation means for estimating an error included in the three-dimensional shape estimated by the predetermined calculation by the three-dimensional shape estimation means.
【0219】[付記2] 請求項1記載の画像処理装置
であって、前記立体形状推定手段は、前記撮像手段によ
り撮像された対象物の画像から得られる情報を基に前記
画像内の所定の位置情報を検出する位置検出手段を含ん
でおり、前記対象物と前記撮像手段との相対的な関係に
よって得られる前記位置情報を含む情報を基に、前記対
象物の相対的な立体形状を推定する相対形状推定手段か
らなる。[Supplementary Note 2] The image processing apparatus according to claim 1, wherein the three-dimensional shape estimating means determines a predetermined portion in the image based on information obtained from the image of the object imaged by the image capturing means. A position detection unit that detects position information is included, and a relative three-dimensional shape of the target object is estimated based on information including the position information obtained by a relative relationship between the target object and the imaging unit. And a relative shape estimating means.
【0220】[付記3] 請求項1記載の画像処理装置
であって、前記立体形状推定手段は、前記撮像手段によ
り撮像された対象物の画像から得られる情報を基に前記
画像内の所定の位置情報を検出する位置検出手段を含ん
でおり、この検出された前記位置情報と前記撮像手段に
関する絶対的な値とを基に、前記対象物の絶対値立体形
状を推定する絶対値形状推定手段からなる。[Supplementary Note 3] The image processing apparatus according to claim 1, wherein the three-dimensional shape estimating means determines a predetermined value in the image based on information obtained from the image of the object imaged by the imaging means. An absolute value shape estimating means for estimating the absolute value three-dimensional shape of the object based on the detected position information and the absolute value relating to the image pickup means is included. Consists of.
【0221】[付記4] 請求項1記載の画像処理装置
であって、前記立体形状推定手段は、前記対象物と前記
撮像手段との相対的な関係によって得られる前記情報を
基に、前記対象物の相対的な立体形状を推定する相対形
状推定手段からなる。[Supplementary Note 4] The image processing device according to claim 1, wherein the three-dimensional shape estimating means is configured to detect the object based on the information obtained by a relative relationship between the object and the imaging means. It comprises a relative shape estimation means for estimating the relative three-dimensional shape of an object.
【0222】[付記5] 請求項1記載の画像処理装置
であって、前記立体形状推定手段は、前記対象物と前記
撮像手段との相対的な関係によって得られる情報と、前
記撮像手段に関する絶対的な値とを基に、前記対象物の
絶対値立体形状を推定する絶対値形状推定手段からな
る。[Supplementary Note 5] The image processing apparatus according to claim 1, wherein the three-dimensional shape estimating unit obtains information obtained by a relative relationship between the object and the image capturing unit and an absolute value regarding the image capturing unit. The absolute value shape estimating means for estimating the absolute value solid shape of the object based on the target value.
【0223】[付記6] [付記2]記載の画像処理装
置であって、 前記相対位置情報算出手段は、前記撮像
手段の動きを検出する動き検出手段であるもの。[Supplementary Note 6] The image processing apparatus according to [Supplementary Note 2], wherein the relative position information calculating means is a motion detecting means for detecting a motion of the image pickup means.
【0224】[付記7] [付記3]記載の画像処理装
置であって、前記立体形状推定手段は、前記位置検出手
段で検出される前記位置情報と、前記撮像手段に関する
情報であるこの撮像手段を構成する構成要素の規定の絶
対値配置情報とを基に、絶対値立体形状を推定する。[Supplementary Note 7] In the image processing apparatus according to [Supplementary Note 3], the three-dimensional shape estimating means has the position information detected by the position detecting means and information about the image pickup means. The absolute value three-dimensional shape is estimated based on the specified absolute value arrangement information of the constituent elements constituting the.
【0225】[付記8] [付記2]または[付記3]
記載の画像処理装置であって、前記立体形状誤差推定手
段は前記位置検出手段により検出された位置情報に含ま
れる誤差を算出し、この算出結果を基に前記立体形状に
含まれる誤差を推定する。[Appendix 8] [Appendix 2] or [Appendix 3]
In the image processing device described above, the three-dimensional shape error estimating means calculates an error included in the position information detected by the position detecting means, and estimates an error included in the three-dimensional shape based on the calculation result. .
【0226】[付記9] [付記2]または[付記3]
記載の画像処理装置であって、前記位置検出手段は、所
定の位置情報として前記撮像手段で撮像される一つの画
像内における複数の点の位置、または複数の画像におけ
る同一の点の位置のいずれかを検出し、前記立体形状誤
差推定手段は、前記位置検出手段にて前記位置を検出す
る際の検出誤差を求め、この検出誤差を基に立体形状の
誤差を推定する。[Appendix 9] [Appendix 2] or [Appendix 3]
The image processing device according to claim 1, wherein the position detecting unit is a position of a plurality of points in one image captured by the image capturing unit as the predetermined position information, or a position of the same point in the plurality of images. Then, the three-dimensional shape error estimating means obtains a detection error when the position is detected by the position detecting means, and estimates the three-dimensional shape error based on this detection error.
【0227】[付記9−1] [付記9]記載の画像処
理装置であって、前記立体形状誤差推定手段は、前記形
状推定をするときの最大誤差及び最小誤差から前記位置
検出手段にて位置検出をする際の検出誤差範囲を推定す
る。[Supplementary Note 9-1] In the image processing apparatus according to [Supplementary Note 9], the three-dimensional shape error estimating means determines the position by the position detecting means from the maximum error and the minimum error when estimating the shape. Estimate the detection error range at the time of detection.
【0228】[付記10−1] [付記9]記載の画像
処理装置であって、前記立体形状誤差推定手段は、前記
位置検出手段にて前記位置を検出する際の検出誤差を求
めるにあたって、エピポーララインからのずれ量を算出
し、このずれ量を基に前記立体形状の誤差を推定する。[Supplementary Note 10-1] The image processing apparatus according to [Supplementary Note 9], wherein the three-dimensional shape error estimating means obtains a detection error when the position is detected by the position detecting means. The deviation amount from the line is calculated, and the error of the three-dimensional shape is estimated based on the deviation amount.
【0229】[付記10−2] [付記9]記載の画像
処理装置であって、前記立体形状誤差推定手段は、前記
一つの画像内における複数の点に関して、各点で設定す
る特定の領域に対して自己相関関数を求め、その自己相
関関数の特徴的な値を基に、前記立体形状の誤差を推定
する。[Supplementary Note 10-2] The image processing apparatus according to [Supplementary Note 9], wherein the three-dimensional shape error estimating means sets a plurality of points in the one image in a specific area set at each point. On the other hand, the autocorrelation function is obtained, and the error of the three-dimensional shape is estimated based on the characteristic value of the autocorrelation function.
【0230】[付記10−3] [付記9]記載の画像
処理装置であって、前記立体形状誤差推定手段は、前記
一つの画像内における複数の点に関して、特徴的な値を
求め、その値を基に前記立体形状の誤差を推定する。[Supplementary Note 10-3] In the image processing apparatus according to [Supplementary Note 9], the three-dimensional shape error estimating means obtains characteristic values for a plurality of points in the one image, and the values are calculated. Based on the above, the error of the three-dimensional shape is estimated.
【0231】[付記10−4] [付記9]記載の画像
処理装置であって、前記立体形状誤差推定手段は、自己
相関関数の特徴的な値を求めるため、適当な閾値を設定
して検出誤差の範囲を推定する。[Supplementary Note 10-4] In the image processing device according to [Supplementary Note 9], the three-dimensional shape error estimating means detects a characteristic value of the autocorrelation function by setting an appropriate threshold value. Estimate the margin of error.
【0232】[付記11] 請求項1記載の画像処理装
置であって、前記推定された立体形状と前記立体形状に
含まる誤差とを所定の形式で合成する画像合成手段を有
している。[Appendix 11] The image processing apparatus according to claim 1, further comprising image synthesizing means for synthesizing the estimated three-dimensional shape and an error included in the three-dimensional shape in a predetermined format.
【0233】[付記12] [付記11]記載の画像処
理装置であって、前記画像合成手段は、前記立体形状と
前記立体形状に含まれる推定誤差とが同一画面上で重な
らないような形式で合成する。[Supplementary Note 12] The image processing apparatus according to [Supplementary Note 11], wherein the image synthesizing unit is configured in such a manner that the stereoscopic shape and the estimation error included in the stereoscopic shape do not overlap on the same screen. To synthesize.
【0234】[付記13] [付記11]記載の画像処
理装置であって、前記画像合成手段は、前記立体形状の
少なくとも一部の形状と、この形状に含まれる推定誤差
を誤差範囲の形で重ねるように合成する。[Supplementary Note 13] In the image processing device according to [Supplementary Note 11], the image synthesizing means may form at least a part of the three-dimensional shape and an estimation error included in the shape in the form of an error range. Combine so that they overlap.
【0235】[付記14] [付記11]記載の画像処
理装置であって、前記画像合成手段は、前記立体形状の
少なくとも一部の形状に対して、この形状に含まれる推
定誤差を前記形状における基準点から比較した誤差範囲
の形で重ねるように合成する。[Supplementary Note 14] In the image processing apparatus according to [Supplementary Note 11], the image synthesizing means may calculate an estimation error included in at least a part of the three-dimensional shape in the shape. It synthesizes so that it may overlap in the form of the error range compared with the reference point.
【0236】[付記15] [付記11]記載の画像処
理装置であって、前記画像合成手段は、前記立体形状の
少なくとも一部の形状に対して、この形状に含まれる推
定誤差を数値の形で合成する。[Supplementary Note 15] In the image processing device according to [Supplementary Note 11], the image synthesizing means calculates, with respect to at least a part of the three-dimensional shape, an estimation error included in the shape as a numerical value. To synthesize.
【0237】[付記16] 請求項1記載の前記画像処
理装置であって、前記立体形状推定手段は、前記撮像手
段により撮像された対象物の画像から得られる情報と前
記撮像手段に関する配置情報とを基に、前記対象物上の
各点と前記撮像手段との間の相対的距離または絶対値距
離を求め、求められた前記距離を基に前記対象物の立体
形状を推定し、前記立体形状誤差推定手段は、前記撮像
手段により撮像された対象物の画像から得られる情報と
前記撮像手段に関する配置情報とを基に、前記立体形状
推定手段で求められた前記距離に含まれる誤差を算出
し、この算出結果を基に前記立体形状に含まれる誤差を
推定する。[Appendix 16] The image processing apparatus according to claim 1, wherein the three-dimensional shape estimation means includes information obtained from an image of the object imaged by the imaging means and arrangement information regarding the imaging means. Based on the above, the relative distance or the absolute value distance between each point on the object and the image pickup means is obtained, and the three-dimensional shape of the object is estimated based on the obtained distance. The error estimation means calculates an error included in the distance obtained by the three-dimensional shape estimation means, based on information obtained from the image of the object imaged by the image pickup means and arrangement information about the image pickup means. The error included in the three-dimensional shape is estimated based on the calculation result.
【0238】[付記17]撮像手段により同一の対象物
を複数の位置から撮像した各画像間における同一の点の
位置を検出する位置検出手段と、前記位置検出手段が検
出した同一点の位置情報から前記撮像手段の相対的な動
きを推定する動き推定手段と、前記位置検出手段の同一
の点の位置と前記動き推定手段の撮像手段の動きから対
象物の相対的な立体形状を推定する相対的形状推定手段
と、前記相対的形状推定手段で求めた距離に含まれる誤
差を求め、この誤差を基に前記相対的な立体形状の誤差
範囲を推定する立体形状誤差推定手段と、を有してい
る。[Supplementary Note 17] Position detecting means for detecting the position of the same point between images obtained by picking up the same object from a plurality of positions by the image pickup means, and position information of the same point detected by the position detecting means. From the position of the same point of the position detecting means and the movement of the image capturing means of the motion estimating means relative to each other to estimate the relative three-dimensional shape of the object. Geometric shape estimating means and a stereoscopic shape error estimating means for calculating an error included in the distance calculated by the relative shape estimating means and estimating an error range of the relative stereoscopic shape based on the error. ing.
【0239】付記17の画像処理装置では、撮像手段に
より同一の対象物を複数の位置から撮像し、画像間の相
関性を利用して対象物の相対的な形状を推定すると同時
に、例えば同一点の位置検出における検出誤差等を起因
とした前記距離の誤差による形状の誤差範囲を推定す
る。In the image processing apparatus of appendix 17, the same object is imaged by the imaging means from a plurality of positions, and the relative shape of the object is estimated by utilizing the correlation between the images. The error range of the shape due to the error in the distance caused by the detection error in the position detection is estimated.
【0240】[付記18]複数の撮像手段により撮像さ
れた視差を有する複数の画像において、各画像間におけ
る同一の点の位置を検出する位置検出手段と、前記撮像
手段の視差を含む撮像手段に関する絶対値情報と前記位
置検出手段による同一点の位置情報とから、前記撮像手
段から前記対象物までの距離の絶対値を求め、求めた距
離から対象物の絶対値での立体形状を推定する絶対的形
状推定手段と、前記絶対的形状推定手段で求めた距離に
含まれる誤差を求め、この誤差を基に前記立体形状の誤
差範囲を推定する立体形状誤差推定手段と、を有してい
る。[Appendix 18] Position detecting means for detecting the position of the same point in a plurality of images having parallax taken by a plurality of image pickup means, and image pickup means including the parallax of the image pickup means Absolute to estimate the absolute value of the distance from the image pickup means to the object from the absolute value information and the position information of the same point by the position detection means, and to estimate the three-dimensional shape in the absolute value of the object from the obtained distance A dynamic shape estimating means and a solid shape error estimating means for calculating an error included in the distance calculated by the absolute shape estimating means and estimating the error range of the solid shape based on the error.
【0241】前記付記18記載の画像処理装置によれ
ば、複数の撮像手段によって、視差を有する複数の位置
から撮像して得た複数の画像と、前記撮像手段の視差と
を利用して対象物の絶対的な立体形状を推定すると共
に、同一点の位置検出における検出誤差等を起因とした
前記距離の誤差による立体形状の誤差範囲を推定する。According to the image processing apparatus of Supplementary Note 18, the plurality of images obtained by the plurality of image pickup means from a plurality of positions having a parallax and the parallax of the image pickup means are used for the object. The absolute three-dimensional shape is estimated, and the error range of the three-dimensional shape due to the error in the distance caused by the detection error in detecting the position of the same point is estimated.
【0242】[付記19] 2次元的に規定の間隔から
なる光で形成された一つ以上のパターン光を投影する投
影手段を有する撮像手段によって前記パターン光が投影
された対象物を撮像した画像から、前記パターン光の位
置情報を検出する位置検出手段と、前記位置検出手段で
検出された位置情報と前記パターン光の各照射方向を含
む撮像手段に関する絶対値情報とにより、前記対象物上
に照射されたパターン光までの距離を求め、求めた距離
から対象物の絶対的な立体形状を推定する絶対的立体形
状推定手段と、前記絶対的形状推定手段で求めた距離に
含まれる誤差を求め、この誤差を基に前記絶対的な立体
形状の誤差範囲を推定する立体形状誤差推定手段と、を
有している。[Supplementary Note 19] Image obtained by picking up an object on which the pattern light is projected by an image pickup means having a projection means for projecting one or more pattern lights formed by light having two-dimensionally defined intervals. From the position detection means for detecting the position information of the pattern light, the position information detected by the position detection means and the absolute value information about the imaging means including each irradiation direction of the pattern light, on the object. Obtaining the distance to the irradiated pattern light, and obtaining an error included in the distance obtained by the absolute shape estimating means for estimating the absolute three-dimensional shape of the object from the obtained distance and the absolute shape estimating means. And a three-dimensional shape error estimating means for estimating the error range of the absolute three-dimensional shape based on this error.
【0243】付記19の画像処理装置では、前記画像上
における対象物に投影されたパターン光の位置と、パタ
ーン光の照射方向及び撮像手段の位置とを利用して対象
物の絶対的な立体形状を推定すると共に、前記パターン
光の位置を検出するときの検出誤差等を起因とした前記
距離の誤差を基に立体形状の誤差範囲を推定する。In the image processing apparatus according to attachment 19, the absolute three-dimensional shape of the object is utilized by utilizing the position of the pattern light projected on the object on the image, the irradiation direction of the pattern light and the position of the image pickup means. And the error range of the three-dimensional shape is estimated based on the error of the distance caused by the detection error or the like when detecting the position of the pattern light.
【0244】[付記19−1] [付記19]記載の画
像処理装置であって、前記投影手段は、規定の間隔で格
子状に配列された複数の帯状の光からなる前記パターン
光を投影する。[Supplementary Note 19-1] In the image processing apparatus according to [Supplementary Note 19], the projection means projects the pattern light composed of a plurality of strips of light arranged in a grid pattern at a prescribed interval. .
【0245】[付記19−2] [付記19]記載の画
像処理装置であって、前記投影手段は、一つの光スポッ
トまたは2次元的に規定の間隔で配列される複数のスポ
ット光を前記パターン光として投影する。[Supplementary Note 19-2] In the image processing apparatus according to [Supplementary Note 19], the projection means forms one light spot or a plurality of spot lights arranged two-dimensionally at predetermined intervals in the pattern. Project as light.
【0246】[付記20] 前記付記17、付記18ま
たは付記19のいずれか記載の画像処理装置を有する内
視鏡画像処理装置であって、内視鏡像を撮像する前記撮
像手段と、前記推定された立体形状と前記推定された立
体形状の誤差範囲とを合成する画像合成手段と、前記画
像合成手段で合成された前記立体形状と前記誤差範囲と
を表示する表示手段とを有している。[Supplementary Note 20] An endoscopic image processing apparatus having the image processing apparatus according to any one of Supplementary Note 17, Supplementary Note 18 or Supplementary Note 19, wherein the imaging means for capturing an endoscopic image and the estimated And a display unit for displaying the three-dimensional shape and the error range synthesized by the image synthesizing unit.
【0247】[0247]
【発明の効果】本発明によれば、対象物を撮像手段によ
り撮像して、得られた画像から対象物の形状推定すると
共に、推定された形状にどの程度の誤差を含んでいるの
かを把握でき、推定形状の信頼性を評価できるという効
果がある。According to the present invention, the object is imaged by the image pickup means, the shape of the object is estimated from the obtained image, and the degree of error in the estimated shape is grasped. Therefore, there is an effect that the reliability of the estimated shape can be evaluated.
【図1】図1ないし図20は本発明の第1実施例に係
り、図1は第1実施例を備えた電子内視鏡システムの全
体構成図。1 to 20 relate to a first embodiment of the present invention, and FIG. 1 is an overall configuration diagram of an electronic endoscope system including the first embodiment.
【図2】図2は電子内視鏡装置のブロック構成を示すブ
ロック図。FIG. 2 is a block diagram showing a block configuration of an electronic endoscope apparatus.
【図3】図3は画像処理装置の構成を示すブロック図。FIG. 3 is a block diagram showing a configuration of an image processing apparatus.
【図4】図4はCPUで構成した画像処理のブロック
図。FIG. 4 is a block diagram of image processing configured by a CPU.
【図5】図5はハードウェアで構成した画像処理装置の
ブロック図。FIG. 5 is a block diagram of an image processing apparatus configured by hardware.
【図6】図6は記録装置の構成を示すブロック図。FIG. 6 is a block diagram showing a configuration of a recording device.
【図7】図7は2次元画像データが3次元データに変換
され且つ誤差が推定される処理内容を示すフローチャー
ト図。FIG. 7 is a flowchart showing the processing contents of converting two-dimensional image data into three-dimensional data and estimating an error.
【図8】図8は立体形状の推定に関する説明図。FIG. 8 is an explanatory diagram related to estimation of a three-dimensional shape.
【図9】図9は歪曲収差の補正の説明図。FIG. 9 is an explanatory diagram of correction of distortion.
【図10】図10はテンプレート画像と参照画像とのシ
フト量を求める様子を示す説明図。FIG. 10 is an explanatory diagram showing how a shift amount between a template image and a reference image is calculated.
【図11】図11は2次元の画像データ列からシフトマ
ップを算出する様子を示す説明図。FIG. 11 is an explanatory diagram showing how a shift map is calculated from a two-dimensional image data string.
【図12】図12はシフトマップを算出して運動ベクト
ルの反復処理の具体的な処理の様子を示すフローチャー
ト図。FIG. 12 is a flowchart showing a concrete process of iterative processing of a motion vector by calculating a shift map.
【図13】図13は中心射影の座標系を示す説明図。FIG. 13 is an explanatory diagram showing a coordinate system of central projection.
【図14】図14は回転軸と回転ベクトルを示す説明
図。FIG. 14 is an explanatory diagram showing a rotation axis and a rotation vector.
【図15】図15は3つのベクトルが同一平面上にある
ことを示す説明図。FIG. 15 is an explanatory diagram showing that three vectors are on the same plane.
【図16】図16は内視鏡の先端の動きを示す説明図。FIG. 16 is an explanatory view showing the movement of the distal end of the endoscope.
【図17】図17は反復推定の様子を示すフローチャー
ト図。FIG. 17 is a flowchart showing a state of iterative estimation.
【図18】図18はエピポーララインによる誤差推定の
説明図。FIG. 18 is an explanatory diagram of error estimation by an epipolar line.
【図19】図19はエピポーララインからずれた位置の
誤差範囲に関する説明図。FIG. 19 is an explanatory diagram regarding an error range of a position deviated from the epipolar line.
【図20】図20は推定された立体形状と誤差範囲の表
示に関する説明図。FIG. 20 is an explanatory diagram regarding display of an estimated three-dimensional shape and an error range.
【図21】図21ないし図24は第2実施例に係り、図
21は電子内視鏡システムの全体構成図。21 to 24 relate to the second embodiment, and FIG. 21 is an overall configuration diagram of an electronic endoscope system.
【図22】図22は複眼の内視鏡による測長の説明図。FIG. 22 is an explanatory diagram of length measurement by a compound eye endoscope.
【図23】図23はCPUで構成した画像処理のブロッ
ク図。FIG. 23 is a block diagram of image processing configured by a CPU.
【図24】図24はハードウェアで構成した画像処理装
置のブロック図。FIG. 24 is a block diagram of an image processing apparatus configured by hardware.
【図25】図25ないし図31は第3実施例に係り、図
25は2次元光スポット方式の電子内視鏡システムの全
体構成図。25 to 31 relate to the third embodiment, and FIG. 25 is an overall configuration diagram of a two-dimensional light spot type electronic endoscope system.
【図26】図26は内視鏡の先端構成図。FIG. 26 is a configuration diagram of the distal end of the endoscope.
【図27】図27は2次元スポット光の投影手段の構成
図。FIG. 27 is a configuration diagram of a two-dimensional spot light projection means.
【図28】図28は2次元光スポット方式における測長
原理の説明図。FIG. 28 is an explanatory diagram of a principle of length measurement in the two-dimensional light spot method.
【図29】図29はCPUで構成した画像処理装置のブ
ロック図。FIG. 29 is a block diagram of an image processing apparatus including a CPU.
【図30】図30はハードウェアで構成された画像処理
装置のブロック図。FIG. 30 is a block diagram of an image processing apparatus configured by hardware.
【図31】図31は対象物に投影されたスポット光の検
出に関する説明図。FIG. 31 is an explanatory diagram related to detection of spot light projected on an object.
【図32】図32は第4実施例に係り、推定形状と推定
誤差との表示例を示す説明図である。FIG. 32 is an explanatory diagram showing a display example of an estimated shape and an estimated error according to the fourth embodiment.
【図33】図33は第4実施例の変形例に係り、第4実
施例と異なる立体形状の誤差の表示例の説明図。FIG. 33 is an explanatory diagram of a display example of a three-dimensional shape error different from that of the fourth embodiment according to the modification of the fourth embodiment.
【図34】図34ないし図36は第5実施例に係り、図
34は自己相関関数の算出と、求められた自己相関関数
の鳥瞰図。34 to 36 relate to the fifth embodiment, and FIG. 34 is a bird's-eye view of the autocorrelation function calculated and the autocorrelation function obtained.
【図35】図35は類似したテクスチャーと自己相関関
数の関係を示す説明図。FIG. 35 is an explanatory diagram showing a relationship between a similar texture and an autocorrelation function.
【図36】図36は自己相関関数から誤差範囲を推定す
る様子を示す説明図。FIG. 36 is an explanatory diagram showing how the error range is estimated from the autocorrelation function.
【図37】図37は誤差発生の説明図。FIG. 37 is an explanatory diagram of error occurrence.
47…画像処理手段 50…位置検出手段 51…位置推定手段 52…形状推定手段 53…平均化処理手段 54…誤差推定手段 55…画像合成手段 47 ... Image processing means 50 ... Position detecting means 51 ... Position estimating means 52 ... Shape estimating means 53 ... Averaging processing means 54 ... Error estimating means 55 ... Image combining means
───────────────────────────────────────────────────── フロントページの続き (72)発明者 野波 徹緒 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Tetsuo Nonami 2-43-2 Hatagaya, Shibuya-ku, Tokyo Inside Olympus Optical Co., Ltd.
Claims (1)
から得られる情報及び撮像手段に関する情報を基に、対
象物の立体形状を推定する立体形状推定手段と、 前記立体形状推定手段にて推定される立体形状に含まれ
る誤差を推定する立体形状誤差推定手段とを備えている
ことを特徴とする画像処理装置。1. A three-dimensional shape estimation unit that estimates a three-dimensional shape of an object based on information obtained from an image of the object imaged by the imaging unit and information about the imaging unit, and the three-dimensional shape estimation unit estimates the three-dimensional shape. And a stereoscopic shape error estimating means for estimating an error included in the stereoscopic shape.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05608794A JP3438937B2 (en) | 1994-03-25 | 1994-03-25 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05608794A JP3438937B2 (en) | 1994-03-25 | 1994-03-25 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07260446A true JPH07260446A (en) | 1995-10-13 |
JP3438937B2 JP3438937B2 (en) | 2003-08-18 |
Family
ID=13017321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05608794A Expired - Fee Related JP3438937B2 (en) | 1994-03-25 | 1994-03-25 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3438937B2 (en) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006091011A (en) * | 2004-09-16 | 2006-04-06 | Sharp Corp | Multi-view parallax display |
JP2008061659A (en) * | 2006-09-04 | 2008-03-21 | National Univ Corp Shizuoka Univ | Imaging device |
JP2008298685A (en) * | 2007-06-01 | 2008-12-11 | Toyota Central R&D Labs Inc | Measuring device and program |
JP2009537251A (en) * | 2006-05-17 | 2009-10-29 | ムーア,ケント | Stereoscopic video endoscope and method of using the same |
JP2010507079A (en) * | 2006-10-16 | 2010-03-04 | フラウンホッファー−ゲゼルシャフト ツァー フェーデルング デア アンゲバンテン フォルシュング エー ファー | Apparatus and method for non-contact detection of 3D contours |
JP2010223710A (en) * | 2009-03-23 | 2010-10-07 | Univ Of Miyazaki | Apparatus for measuring shape of inner surface of pipe |
JP2011138267A (en) * | 2009-12-28 | 2011-07-14 | Seiko Epson Corp | Three-dimensional image processor, three-dimensional image processing method and medium to which three-dimensional image processing program is recorded |
JP2011239843A (en) * | 2010-05-14 | 2011-12-01 | Olympus Corp | Image processor, image processing method, and image processing program |
JP2012185161A (en) * | 2011-03-03 | 2012-09-27 | Sang Mo Bae | Method for measuring real dimension of object by using camera included in portable terminal |
JP2013025292A (en) * | 2011-07-26 | 2013-02-04 | Olympus Corp | Endoscopic device and program |
JP2013519417A (en) * | 2010-02-12 | 2013-05-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Laser improved 3D surface reconstruction |
JP2015220643A (en) * | 2014-05-19 | 2015-12-07 | 株式会社東芝 | Stereoscopic observation device |
JP2017010562A (en) * | 2010-10-07 | 2017-01-12 | サンジェビティ | Rapid 3d modeling |
JP2017074178A (en) * | 2015-10-14 | 2017-04-20 | 株式会社 オルタステクノロジー | Imaging apparatus and endoscope apparatus using the same |
JP2017217215A (en) * | 2016-06-07 | 2017-12-14 | 公立大学法人広島市立大学 | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method |
CN110769731A (en) * | 2017-06-15 | 2020-02-07 | 奥林巴斯株式会社 | Endoscope system and method for operating endoscope system |
-
1994
- 1994-03-25 JP JP05608794A patent/JP3438937B2/en not_active Expired - Fee Related
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006091011A (en) * | 2004-09-16 | 2006-04-06 | Sharp Corp | Multi-view parallax display |
JP2009537251A (en) * | 2006-05-17 | 2009-10-29 | ムーア,ケント | Stereoscopic video endoscope and method of using the same |
JP2008061659A (en) * | 2006-09-04 | 2008-03-21 | National Univ Corp Shizuoka Univ | Imaging device |
JP2010507079A (en) * | 2006-10-16 | 2010-03-04 | フラウンホッファー−ゲゼルシャフト ツァー フェーデルング デア アンゲバンテン フォルシュング エー ファー | Apparatus and method for non-contact detection of 3D contours |
JP2008298685A (en) * | 2007-06-01 | 2008-12-11 | Toyota Central R&D Labs Inc | Measuring device and program |
JP2010223710A (en) * | 2009-03-23 | 2010-10-07 | Univ Of Miyazaki | Apparatus for measuring shape of inner surface of pipe |
JP2011138267A (en) * | 2009-12-28 | 2011-07-14 | Seiko Epson Corp | Three-dimensional image processor, three-dimensional image processing method and medium to which three-dimensional image processing program is recorded |
JP2013519417A (en) * | 2010-02-12 | 2013-05-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Laser improved 3D surface reconstruction |
US11022433B2 (en) | 2010-02-12 | 2021-06-01 | Koninklijke Philips N.V. | Laser enhanced reconstruction of 3D surface |
JP2011239843A (en) * | 2010-05-14 | 2011-12-01 | Olympus Corp | Image processor, image processing method, and image processing program |
JP2017010562A (en) * | 2010-10-07 | 2017-01-12 | サンジェビティ | Rapid 3d modeling |
JP2012185161A (en) * | 2011-03-03 | 2012-09-27 | Sang Mo Bae | Method for measuring real dimension of object by using camera included in portable terminal |
JP2013025292A (en) * | 2011-07-26 | 2013-02-04 | Olympus Corp | Endoscopic device and program |
JP2015220643A (en) * | 2014-05-19 | 2015-12-07 | 株式会社東芝 | Stereoscopic observation device |
JP2017074178A (en) * | 2015-10-14 | 2017-04-20 | 株式会社 オルタステクノロジー | Imaging apparatus and endoscope apparatus using the same |
JP2017217215A (en) * | 2016-06-07 | 2017-12-14 | 公立大学法人広島市立大学 | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method |
CN110769731A (en) * | 2017-06-15 | 2020-02-07 | 奥林巴斯株式会社 | Endoscope system and method for operating endoscope system |
Also Published As
Publication number | Publication date |
---|---|
JP3438937B2 (en) | 2003-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3347385B2 (en) | Endoscope image processing device | |
JP3078085B2 (en) | Image processing apparatus and image processing method | |
JP3438937B2 (en) | Image processing device | |
JP5715311B2 (en) | Endoscope system | |
US8064669B2 (en) | Fast 3D-2D image registration system with application to continuously guided endoscopy | |
US20090240108A1 (en) | Capsule endoscopy system and method of controlling operation of capsule endoscope | |
JP5284731B2 (en) | Stereoscopic image display system | |
US4851901A (en) | Stereoscopic television apparatus | |
US20130259315A1 (en) | Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same | |
JP2000354257A (en) | Image processor, image processing method and program provision medium | |
JPH0595900A (en) | Endoscope image processing device | |
JPWO2014156378A1 (en) | Endoscope system | |
JP3707830B2 (en) | Image display device for surgical support | |
JP5113990B2 (en) | Endoscope device for measurement | |
JP3910239B2 (en) | Medical image synthesizer | |
JP3816599B2 (en) | Body cavity treatment observation system | |
EP3247113B1 (en) | Image processing device, image processing method, program, and endoscope system | |
CN110769731B (en) | Endoscope system, processing system for endoscope, and image processing method | |
CN117204791A (en) | Endoscopic instrument guiding method and system | |
JP7179837B2 (en) | Endoscope device, endoscope image display method, and operation method of endoscope device | |
JPH0926547A (en) | Endoscopic image processing device | |
US20230140956A1 (en) | Method and system for automatically optimizing 3d stereoscopic perception, and medium | |
CN114782434B (en) | Endoscope cooperative target positioning method and system | |
JP7234461B2 (en) | endoscope system | |
US20230081476A1 (en) | Method of multiple image reconstruction and registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030528 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080613 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090613 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |