JP5560424B2 - Method, apparatus, and system for measuring a three-dimensional relative relationship between an optical axis position of an object having an optical axis from the tip of the long axis portion and means for defining the position and orientation of the object - Google Patents
Method, apparatus, and system for measuring a three-dimensional relative relationship between an optical axis position of an object having an optical axis from the tip of the long axis portion and means for defining the position and orientation of the object Download PDFInfo
- Publication number
- JP5560424B2 JP5560424B2 JP2009029216A JP2009029216A JP5560424B2 JP 5560424 B2 JP5560424 B2 JP 5560424B2 JP 2009029216 A JP2009029216 A JP 2009029216A JP 2009029216 A JP2009029216 A JP 2009029216A JP 5560424 B2 JP5560424 B2 JP 5560424B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- optical axis
- tip
- dimensional shape
- relative relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Endoscopes (AREA)
Description
本発明は主に長軸部先端からの光軸を有する物体の位置および姿勢を定義する手段である複数の座標または複数の座標およびベクトルを検出し、検出した位置および姿勢に基づいて長軸部先端からの光軸の位置を定義する手段または方法において必要とされる方法であって、長軸部先端からの光軸の位置と長軸部先端からの光軸を有する物体の位置および姿勢を定義する手段である複数の座標または複数の座標およびベクトルとの3次元相対関係を同一座標系で検出する方法に関する。また、体内挿入器具(硬性内視鏡等)に関する。 The present invention mainly detects a plurality of coordinates or a plurality of coordinates and vectors as means for defining the position and posture of an object having an optical axis from the tip of the long shaft portion, and the long shaft portion is based on the detected position and posture. A method required in the means or method for defining the position of the optical axis from the tip, the position of the optical axis from the tip of the long axis part and the position and posture of the object having the optical axis from the tip of the long axis part The present invention relates to a method of detecting a three-dimensional relative relationship between a plurality of coordinates or a plurality of coordinates and a vector as a means for defining in the same coordinate system. The present invention also relates to an intracorporeal instrument (such as a rigid endoscope).
従来から、内視鏡等の手術器具が患者の体内に挿入されたときに、当該手術器具の先端の正確な位置を術前に撮影されたCT(Computed Tomography)やMRI(Magnetic Resonance Imaging)による画像上に表示し、術者を支援する手術ナビゲーション(手術支援情報表示)が行われている。例えば特許文献1には、本発明者らによる手術支援システムが記載されおり、3次元形状測定装置による患者の3次元表面形状と、予め撮像した3次元断層データとを位置合わせする技術が記載されている。また、患者の3次元表面形状を測定する3次元形状測定装置により、手術器具に取り付けられた位置姿勢検出用の標識部(図1の球体12)を測定して、手術器具の位置姿勢を算出する技術も記載されている。しかしながら、これらの方法は何れも手術器具やポインタなど器具の先端の位置を表示するのみで、内視鏡で撮像している部位が、CTやMRIによる術前画像のどの部分に相当するかを表示するものではない。
Conventionally, when a surgical instrument such as an endoscope is inserted into the body of a patient, the exact position of the distal end of the surgical instrument is obtained by CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) taken before surgery. Surgery navigation (surgery support information display) is performed on the image to assist the surgeon. For example,
もし、内視鏡で撮像している部位(内視鏡のモニタに表示されている術野)が術前のCT等による画像のどこに相当するのかを確認することができれば、例えば術者は左手に持った内視鏡で操作を加える場所を直視下に確認し、それが術前のCT等による画像のどの部位を観察しているかを認識しながら、右手で自由に任意の手術器具を持ち替えて手術操作を連続して行うことができる。 If the site being imaged by the endoscope (the surgical field displayed on the endoscope monitor) can be confirmed in the preoperative CT image or the like, for example, the operator can use the left hand. Confirm the place where the operation is to be performed directly with the endoscope held in the hand, and change any surgical instrument freely with the right hand while recognizing which part of the image is observed by CT etc. before surgery Surgical operation can be performed continuously.
このような内視鏡で撮像している部位を画像上に表示することが示されている従来技術として、特許文献2及び3が挙げられる。また、本発明者らによる従来技術として、WO2008/093517がある。
特許文献2には、手術ナビゲーション装置において、使用中の硬性内視鏡の光軸方向を3次元断層像上に表示する技術が記載されている。
特許文献3には、患者の体内に挿入される内視鏡挿入部の先端から患者体内の術部までの距離を測定する距離測定手段(スポット光照射による三角測量法や超音波センサ等)を有する内視鏡を用いて、内視鏡で観察している場所を決定し、術前CT/MRIに表示する技術が記載されている。 Patent Document 3 discloses distance measuring means (triangulation method by spot light irradiation, ultrasonic sensor, etc.) for measuring the distance from the distal end of an endoscope insertion portion to be inserted into the patient's body to the surgical site within the patient's body. A technique is described in which a place observed with an endoscope is determined using an endoscope having the same and displayed on preoperative CT / MRI.
上記特許文献2および3では、内視鏡の位置姿勢の検出に、内視鏡に取り付けられた発光素子などのマーカーと、前記マーカーを検出する位置センサとを用いているが、これらのシステムでは3次元断層データと患者の座標系との位置合わせのために、患者に何らかのマーカーを取り付けるか、別途、患者の形状を測定する装置を設ける必要があり、患者に不便を強いたり、システムが複雑になってしまう。
In the
これに対し本発明者らによる従来技術であるWO2008/093517では硬性内視鏡の位置姿勢検出に患者の3次元表面形状を測定する3次元形状測定装置を用いており、患者に不便を強いたり、システムが複雑にならないようにすることができる。 On the other hand, WO2008 / 093517, which is a prior art by the present inventors, uses a three-dimensional shape measuring apparatus for measuring the three-dimensional surface shape of a patient for detecting the position and orientation of a rigid endoscope. The system can be kept from becoming complicated.
ただし、WO2008/093517においては上記特許文献2および3と同様、内視鏡の光軸は公称値通りであることを前提としており、内視鏡の光軸の較正については考慮されていない。例えば直視鏡では、内視鏡の光軸が内視鏡の鏡筒中心を通る、すなわち内視鏡光軸と内視鏡の鏡筒中心線のなす角が0度であるという公称値通りであることを前提として内視鏡の光軸情報を表示している。
However, in WO2008 / 093517, as in
手術ナビゲーションにおいて内視鏡で撮像している部位を画像上に表示する場合、内視鏡の先端から遠方までの光軸情報が必要になるが、これまでは、内視鏡はレンズから比較的近い部分のものを見ることが多いため、先端から近傍付近における光軸の較正やレンズ位置等の較正については考慮されても先端から遠方までの光軸の較正については考慮されたことはなかった。例えば特許文献4には、細長いシャフトおよび遠位端レンズを有する内視鏡のレンズ位置、先端から近傍付近における光軸および視野を較正する装置が記載されている。しかしながら、先端から遠方までの光軸を較正する方法については記載も示唆もされていない。 When displaying the part imaged by the endoscope in the surgical navigation on the image, the optical axis information from the distal end of the endoscope to the far side is necessary. Since the near part is often seen, the calibration of the optical axis from the tip to the vicinity and the calibration of the lens position, etc. were considered, but the calibration of the optical axis from the tip to the far was never considered . For example, Patent Document 4 describes an apparatus that calibrates the lens position of an endoscope having an elongated shaft and a distal end lens, and the optical axis and field of view near the tip. However, there is no description or suggestion of a method for calibrating the optical axis from the tip to the distance.
一般に、内視鏡は、レンズから比較的近い部分のものを見ることが多いので、実際の光軸の公称値からのずれが大きく影響することは少ないが、手術支援システムなどのように、内視鏡の移動のナビゲーションのために光軸を延長した直線を表示する場合は、実際の光軸とナビゲーション画面に表示された光軸方向との差が顕著になってしまう。本発明者らは、手術支援システムを開発する上で、この実際の光軸の公称値からのずれが無視できない程度の量であることを見出した。本発明者らは、多くの内視鏡について光軸位置を調査した結果、視野角120度の内視鏡の場合、実際の光軸の公称値からのずれは最大で約6度(視野角の5%)程度あることがわかった。これは内視鏡先端から遠方にある位置においては光軸位置の誤差が数mm程度になる可能性があることを意味する。手術は精密な作業であるため、数mm程度の誤差でも手術に悪影響を及ぼしてしまう可能性がある。 In general, since an endoscope often looks at a part relatively close to the lens, the deviation from the nominal value of the actual optical axis is less likely to be greatly affected. When a straight line with an extended optical axis is displayed for navigation of the movement of the endoscope, the difference between the actual optical axis and the optical axis direction displayed on the navigation screen becomes significant. The present inventors have found that the deviation from the nominal value of the actual optical axis is an amount that cannot be ignored in developing the surgery support system. As a result of investigating the position of the optical axis for many endoscopes, the present inventors have found that an endoscope with a viewing angle of 120 degrees has a maximum deviation of about 6 degrees (viewing angle from the nominal value of the actual optical axis). Of 5%). This means that there is a possibility that the error of the optical axis position is about several millimeters at a position far from the endoscope tip. Since the operation is a precise operation, even an error of several millimeters may adversely affect the operation.
本発明は、上記問題点を解決するためになされたものであり、位置および姿勢を定義する手段として複数の座標または複数の座標およびベクトルを定義する手段を備えた硬性内視鏡のような長軸部先端からの光軸を有する物体において、実際の光軸位置を遠方まで精度よく検出する方法を提供することにある。言い換えると、位置および姿勢を定義する手段である複数の座標または複数の座標およびベクトルと遠方までの光軸位置とを同一座標系で精度よく検出する方法を提供することにある。
そして、長軸部先端からの光軸を有する物体が硬性内視鏡である場合は、光軸位置を遠方まで精度よく測定することで高い精度の手術ナビゲーションを行うことができるようにすることにある。
The present invention has been made in order to solve the above-described problems, and has a long length like a rigid endoscope provided with means for defining a plurality of coordinates or a plurality of coordinates and vectors as means for defining a position and a posture. An object of the present invention is to provide a method for accurately detecting an actual optical axis position far away in an object having an optical axis from the tip of the shaft. In other words, it is to provide a method for accurately detecting a plurality of coordinates or a plurality of coordinates and vectors, which are means for defining a position and an attitude, and an optical axis position far away in the same coordinate system.
If the object having the optical axis from the distal end of the long axis portion is a rigid endoscope, it is possible to perform highly accurate surgical navigation by accurately measuring the optical axis position far away. is there.
前記課題を解決するため本発明は以下の構成を有する。
3次元形状測定装置と、
長軸部と、長軸部先端からの光軸と、前記3次元形状測定装置により位置および姿勢が測定可能な第1標識部とを有する被測定物体と、
前記被測定物体を固定する固定手段と、
前記被測定物体の長軸部先端からの光軸が当たるターゲットと、前記3次元形状測定装置により位置および立体形状が測定可能な第2標識部とを有し、前記ターゲットの中心座標と前記第2標識部との3次元相対関係が予めわかっているか、または前記3次元形状測定装置により前記ターゲットの中心座標と前記第2標識部との3次元相対関係が測定可能な第1の較正用物体と、
前記3次元形状測定装置により位置および立体形状が測定可能な第3標識部を有し、前記固定手段により前記被測定物体が固定された状態において、前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係が予めわかっているか、または前記3次元形状測定装置により前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係が測定可能な第2の較正用物体と、
を有する3次元形状測定システムにおける、前記被測定物体の長軸部先端からの光軸と前記第1標識部との3次元相対関係を測定する3次元相対関係測定方法であって、
前記被測定物体を前記固定手段に固定し、前記第1の較正用物体のターゲットの中心に前記被測定物体の長軸部先端からの光軸が当たるようにするステップと、
前記3次元形状測定装置により、前記被測定物体、前記第1の較正用物体および前記第2の較正用物体の立体形状データ群を取得するステップと、
前記立体形状データ群から、前記第1標識部の位置および姿勢と前記第2標識部の位置および立体形状と前記第3標識部の位置および立体形状とを算出するステップと、
前記第2標識部の位置および立体形状と、前記第3標識部の位置および立体形状と、前記ターゲットの中心座標と前記第2標識部との3次元相対関係と、前記長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係とに基づいて、前記長軸部先端からの光軸の位置を算出するステップと、
前記第1標識部の位置および姿勢と、前記長軸部先端からの光軸の位置とに基づいて、前記被定物体の長軸部先端からの光軸と前記第1標識部との3次元相対関係を算出するステップと、
を有する、3次元相対関係測定方法。
In order to solve the above problems, the present invention has the following configuration.
A three-dimensional shape measuring device;
An object to be measured having a long axis part, an optical axis from the tip of the long axis part, and a first marker part whose position and orientation can be measured by the three-dimensional shape measuring device;
Fixing means for fixing the object to be measured;
A target on which an optical axis from the distal end of the long axis portion of the object to be measured hits, and a second labeling portion capable of measuring a position and a three-dimensional shape by the three-dimensional shape measuring device, the center coordinates of the target and the first A first calibration object whose three-dimensional relative relationship with the two labeling portions is known in advance or whose three-dimensional relative relationship between the center coordinates of the target and the second labeling portion can be measured by the three-dimensional shape measuring apparatus; When,
A third marker that can measure the position and the three-dimensional shape by the three-dimensional shape measuring apparatus, and in a state in which the object to be measured is fixed by the fixing means, The three-dimensional relative relationship between the coordinates included in the optical axis from the tip of the long axis part and the third labeling part is known in advance, or the coordinate of the tip of the long axis part of the object to be measured by the three-dimensional shape measuring apparatus Or a second calibration object capable of measuring a three-dimensional relative relationship between the coordinates included on the optical axis from the distal end of the long axis part and the third marker part;
A three-dimensional relative measurement method for measuring a three-dimensional relative relationship between an optical axis from a tip of a long axis portion of the object to be measured and the first labeling portion,
Fixing the object to be measured to the fixing means so that the optical axis from the tip of the long axis portion of the object to be measured hits the center of the target of the first calibration object;
Obtaining a three-dimensional shape data group of the object to be measured, the first calibration object, and the second calibration object by the three-dimensional shape measurement apparatus;
Calculating the position and orientation of the first marker part, the position and stereoscopic shape of the second marker part, and the position and stereoscopic shape of the third marker part from the three-dimensional shape data group;
The position and solid shape of the second marker part, the position and solid shape of the third marker part, the three-dimensional relative relationship between the center coordinates of the target and the second marker part, and the coordinates of the tip of the long axis part Or calculating the position of the optical axis from the long-axis portion tip based on the coordinates included on the optical axis from the long-axis portion tip and the three-dimensional relative relationship between the third marker portion;
Based on the position and orientation of the first marker part and the position of the optical axis from the tip of the long axis part, the three-dimensional of the optical axis from the tip of the long axis part of the fixed object and the first label part Calculating a relative relationship;
A three-dimensional relative relationship measuring method.
3次元形状測定装置と、
長軸部と、長軸部先端からの光軸と、前記3次元形状測定装置により位置および姿勢が測定可能な第1標識部とを有する被測定物体と、
前記被測定物体を固定する固定手段と、
前記被測定物体の長軸部先端からの光軸が当たるターゲットと、前記3次元形状測定装置により位置および立体形状が測定可能な第2標識部とを有し、前記ターゲットの中心座標と前記第2標識部との3次元相対関係が予めわかっているか、または前記3次元形状測定装置により前記ターゲットの中心座標と前記第2標識部との3次元相対関係が測定可能な第1の較正用物体と、
前記3次元形状測定装置により位置および立体形状が測定可能な第3標識部を有し、前記固定手段により前記被測定物体が固定された状態において、前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係が予めわかっているか、または前記3次元形状測定装置により前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係が測定可能な第2の較正用物体と、
を有する3次元形状測定システムにおける、前記被測定物体の長軸部先端からの光軸と前記第1標識部との3次元相対関係を測定する3次元相対関係測定プログラムであって、
前記被測定物体を前記固定手段に固定し、前記第1の較正用物体のターゲットの中心に前記被測定物体の長軸部先端からの光軸を一致させた状態で、前記3次元形状測定装置により、前記被測定物体、前記第1の較正用物体および前記第2の較正用物体の立体形状データ群を取得するステップと、
前記立体形状データ群から、前記第1標識部の位置および姿勢と前記第2標識部の位置および立体形状と前記第3標識部の位置および立体形状とを算出するステップと、
前記第2標識部の位置および立体形状と、前記第3標識部の位置および立体形状と、前記ターゲットの中心座標と前記第2標識部との3次元相対関係と、前記長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係とに基づいて、前記長軸部先端からの光軸の位置を算出するステップと、
前記第1標識部の位置および姿勢と、前記長軸部先端からの光軸の位置とに基づいて、前記被定物体の長軸部先端からの光軸と前記第1標識部との3次元相対関係を算出するステップと、
を有する、3次元相対関係測定プログラム。
A three-dimensional shape measuring device;
An object to be measured having a long axis part, an optical axis from the tip of the long axis part, and a first marker part whose position and orientation can be measured by the three-dimensional shape measuring device;
Fixing means for fixing the object to be measured;
A target on which an optical axis from the distal end of the long axis portion of the object to be measured hits, and a second labeling portion capable of measuring a position and a three-dimensional shape by the three-dimensional shape measuring device, the center coordinates of the target and the first A first calibration object whose three-dimensional relative relationship with the two labeling portions is known in advance or whose three-dimensional relative relationship between the center coordinates of the target and the second labeling portion can be measured by the three-dimensional shape measuring apparatus; When,
A third marker that can measure the position and the three-dimensional shape by the three-dimensional shape measuring apparatus, and in a state in which the object to be measured is fixed by the fixing means, The three-dimensional relative relationship between the coordinates included in the optical axis from the tip of the long axis part and the third labeling part is known in advance, or the coordinate of the tip of the long axis part of the object to be measured by the three-dimensional shape measuring apparatus Or a second calibration object capable of measuring a three-dimensional relative relationship between the coordinates included on the optical axis from the distal end of the long axis part and the third marker part;
A three-dimensional relative measurement program for measuring a three-dimensional relative relationship between an optical axis from a distal end of a long axis portion of the object to be measured and the first marker portion,
The three-dimensional shape measuring apparatus in a state where the object to be measured is fixed to the fixing means, and the optical axis from the tip of the long axis portion of the object to be measured is aligned with the center of the target of the first calibration object. Obtaining a three-dimensional shape data group of the measured object, the first calibration object, and the second calibration object;
Calculating the position and orientation of the first marker part, the position and stereoscopic shape of the second marker part, and the position and stereoscopic shape of the third marker part from the three-dimensional shape data group;
The position and solid shape of the second marker part, the position and solid shape of the third marker part, the three-dimensional relative relationship between the center coordinates of the target and the second marker part, and the coordinates of the tip of the long axis part Or calculating the position of the optical axis from the long-axis portion tip based on the coordinates included on the optical axis from the long-axis portion tip and the three-dimensional relative relationship between the third marker portion;
Based on the position and orientation of the first marker part and the position of the optical axis from the tip of the long axis part, the three-dimensional of the optical axis from the tip of the long axis part of the fixed object and the first label part Calculating a relative relationship;
A three-dimensional relative relationship measurement program.
3次元形状測定装置と、
長軸部と、長軸部先端からの光軸と、前記3次元形状測定装置により位置および姿勢が測定可能な第1標識部とを有する被測定物体と、
前記被測定物体を固定する固定手段と、
前記被測定物体の長軸部先端からの光軸が当たるターゲットと、前記3次元形状測定装置により位置および立体形状が測定可能な第2標識部とを有し、前記ターゲットの中心座標と前記第2標識部との3次元相対関係が予めわかっているか、または前記3次元形状測定装置により前記ターゲットの中心座標と前記第2標識部との3次元相対関係が測定可能な第1の較正用物体と、
前記3次元形状測定装置により位置および立体形状が測定可能な第3標識部を有し、前記固定手段により前記被測定物体が固定された状態において、前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係が予めわかっているか、または前記3次元形状測定装置により前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係が測定可能な第2の較正用物体と、を有し、
前記被測定物体を前記固定手段に固定し、前記第1の較正用物体のターゲットの中心に前記被測定物体の長軸部先端からの光軸を一致させた状態で、前記3次元形状測定装置により、前記被測定物体、前記第1の較正用物体および前記第2の較正用物体の立体形状データ群を取得する手段と、
前記立体形状データ群から、前記第1標識部の位置および姿勢と前記第2標識部の位置および立体形状と前記第3標識部の位置および立体形状とを算出する手段と、
前記第2標識部の位置および立体形状と、前記第3標識部の位置および立体形状と、前記ターゲットの中心座標と前記第2標識部との3次元相対関係と、前記長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係とに基づいて、前記長軸部先端からの光軸の位置を算出する手段と、
前記第1標識部の位置および姿勢と、前記長軸部先端からの光軸の位置とに基づいて、前記被定物体の長軸部先端からの光軸と前記第1標識部との3次元相対関係を算出する手段と、
を有する、3次元相対関係測定システム。
A three-dimensional shape measuring device;
An object to be measured having a long axis part, an optical axis from the tip of the long axis part, and a first marker part whose position and orientation can be measured by the three-dimensional shape measuring device;
Fixing means for fixing the object to be measured;
A target on which an optical axis from the distal end of the long axis portion of the object to be measured hits, and a second labeling portion capable of measuring a position and a three-dimensional shape by the three-dimensional shape measuring device, the center coordinates of the target and the first A first calibration object whose three-dimensional relative relationship with the two labeling portions is known in advance or whose three-dimensional relative relationship between the center coordinates of the target and the second labeling portion can be measured by the three-dimensional shape measuring apparatus; When,
A third marker that can measure the position and the three-dimensional shape by the three-dimensional shape measuring apparatus, and in a state in which the object to be measured is fixed by the fixing means, The three-dimensional relative relationship between the coordinates included in the optical axis from the tip of the long axis part and the third labeling part is known in advance, or the coordinate of the tip of the long axis part of the object to be measured by the three-dimensional shape measuring apparatus Or a second calibration object capable of measuring a three-dimensional relative relationship between the coordinates included on the optical axis from the tip of the long axis part and the third marker part,
The three-dimensional shape measuring apparatus in a state where the object to be measured is fixed to the fixing means, and the optical axis from the tip of the long axis portion of the object to be measured is aligned with the center of the target of the first calibration object. Means for acquiring a three-dimensional shape data group of the object to be measured, the first calibration object, and the second calibration object;
Means for calculating the position and orientation of the first marker part, the position and stereoscopic shape of the second marker part, and the position and stereoscopic shape of the third marker part from the three-dimensional shape data group;
The position and solid shape of the second marker part, the position and solid shape of the third marker part, the three-dimensional relative relationship between the center coordinates of the target and the second marker part, and the coordinates of the tip of the long axis part Or a means for calculating the position of the optical axis from the long-axis portion tip based on the coordinates included on the optical axis from the long-axis portion tip and the three-dimensional relative relationship between the third marker portion;
Based on the position and orientation of the first marker part and the position of the optical axis from the tip of the long axis part, the three-dimensional of the optical axis from the tip of the long axis part of the fixed object and the first label part Means for calculating the relative relationship;
A three-dimensional relative relationship measurement system.
長軸部と、長軸部先端からの光軸と、3次元形状測定装置により位置および姿勢が測定可能な第1標識部とを有する被測定物体の、前記光軸と前記第1標識部との3次元相対関係を測定するための3次元相対関係測定装置であって、
前記被測定物体を固定可能な固定手段と、
前記被測定物体の長軸部先端からの光軸が当たるターゲットと、3次元形状測定装置により位置および立体形状が測定可能な第2標識部とを有し、前記ターゲットの中心座標と前記第2標識部との3次元相対関係が予めわかっているか、または3次元形状測定装置により前記ターゲットの中心座標と前記第2標識部との3次元相対関係が測定可能な第1の較正用物体と、
3次元形状測定装置により位置および立体形状が測定可能な第3標識部を有し、前記固定手段により前記被測定物体が固定された状態において、前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係が予めわかっているか、または3次元形状測定装置により前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係が測定可能な第2の較正用物体と、
前記第1の較正用物体を前記被測定物体と相対的に移動させる移動手段と、を有し、
前記移動手段により前記第1の較正用物体を移動させて前記ターゲットに前記長軸部先端からの光軸が当たるようにした後、3次元形状測定装置で前記第1乃至第3標識部の3次元相対位置を測定することにより、前記被測定物体の前記光軸と前記第1標識部との3次元相対関係を測定可能な3次元相対関係測定装置。
The optical axis and the first labeling part of the object to be measured having a long axis part, an optical axis from the tip of the long axis part, and a first labeling part whose position and orientation can be measured by a three-dimensional shape measuring device A three-dimensional relative relationship measuring apparatus for measuring the three-dimensional relative relationship of
Fixing means capable of fixing the object to be measured;
A target on which the optical axis from the distal end of the long axis portion of the object to be measured hits, and a second labeling portion whose position and three-dimensional shape can be measured by a three-dimensional shape measuring apparatus, and the center coordinates of the target and the second A first calibration object having a known three-dimensional relative relationship with the marker, or a three-dimensional shape measuring device capable of measuring the three-dimensional relative relationship between the center coordinates of the target and the second marker;
A third marker that can measure a position and a three-dimensional shape by a three-dimensional shape measuring device, and in a state in which the object to be measured is fixed by the fixing means, The three-dimensional relative relationship between the coordinates included in the optical axis from the tip of the long axis part and the third labeling part is known in advance, or the coordinates of the tip of the long axis part of the object to be measured by the three-dimensional shape measuring device A second calibration object capable of measuring the three-dimensional relative relationship between the coordinates included on the optical axis from the tip of the long axis part and the third marker part;
Moving means for moving the first calibration object relative to the object to be measured;
After the first calibration object is moved by the moving means so that the optical axis from the tip of the long axis part hits the target, 3 of the first to third labeling parts is measured by a three-dimensional shape measuring apparatus. A three-dimensional relative relationship measuring apparatus capable of measuring a three-dimensional relative relationship between the optical axis of the object to be measured and the first labeling unit by measuring a three-dimensional relative position.
また、以下の好ましい実施態様がありうる。
前記第1の較正用物体の第2標識部は、予め立体形状がわかっており、
前記ターゲットの中心座標と前記第2標識部との3次元相対関係は、前記第2標識部の立体形状に関連するベクトルまたは定点位置と、前記ターゲットの中心座標との関係により定義される。
前記第1の較正用物体のターゲットの中心座標と前記第2標識部の定点位置とは等しいか、または前記第1の較正用物体のターゲットの中心座標は前記第2標識部における2つ以上の定点を用いて定義される点である。
前記第2の較正用物体の第3標識部は、予め立体形状がわかっており、
前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係は、前記第3標識部の立体形状に関連するベクトルまたは定点位置と、前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標との関係により定義される。
前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部の定点位置とは等しいか、あるいは前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標は前記第3標識部における2つ以上の定点を用いて定義される点である。
前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標は、前記第3標識部における2つの定点を結んだ直線または前記第3標識部における定点とベクトルから定まる直線上において、定点から前記第3標識部の立体形状に関連する長さにより定まる点である。
前記長軸部先端からの光軸に含まれる座標は、光を透過する平板に形成されたターゲットの中心座標として定義される。
前記第1の較正用物体および前記第2の較正用物体は、球体、多面体、円柱、円錐のいずれかの形状を一部または全体に有している。
前記被測定物体は体内挿入器具であって、前記長軸部は体内挿入部であり、前記長軸部先端からの光軸は長軸部先端からの撮像方向であり、前記第1標識部は体内に挿入されない部分に設けられている。
Further, there can be the following preferred embodiments.
The second marker part of the first calibration object has a three-dimensional shape in advance,
The three-dimensional relative relationship between the center coordinates of the target and the second marker part is defined by the relationship between the vector or fixed point position related to the solid shape of the second marker part and the center coordinates of the target.
The center coordinate of the target of the first calibration object is equal to the fixed point position of the second marker, or the center coordinate of the target of the first calibration object is two or more in the second marker. A point defined using a fixed point.
The third marking part of the second calibration object has a three-dimensional shape in advance,
The three-dimensional relative relationship between the coordinates of the tip of the long axis part or the coordinates included in the optical axis from the tip of the long axis part and the third marker part is a vector or fixed point position related to the three-dimensional shape of the third marker part And the coordinates of the tip of the long axis part or the coordinates included in the optical axis from the tip of the long axis part.
The coordinates of the tip of the long axis part or the coordinates included in the optical axis from the tip of the long axis part are equal to the fixed point position of the third marker part, or the coordinates of the tip of the long axis part or the tip of the long axis part The coordinates included in the optical axis are points that are defined using two or more fixed points in the third marker.
The coordinates of the tip of the long axis part or the coordinates included in the optical axis from the tip of the long axis part are on a straight line connecting two fixed points in the third marker part or on a straight line determined from a fixed point and a vector in the third marker part. The point determined by the length related to the three-dimensional shape of the third marker from the fixed point.
The coordinates included in the optical axis from the tip of the long axis portion are defined as the center coordinates of the target formed on a flat plate that transmits light.
The first calibration object and the second calibration object partially or entirely have a shape of a sphere, a polyhedron, a cylinder, or a cone.
The object to be measured is an in-vivo insertion device, the long axis portion is an in-vivo insertion portion, the optical axis from the long shaft portion tip is an imaging direction from the long shaft portion tip, and the first marker portion is It is provided in the part that is not inserted into the body.
ここで、3次元相対関係としては、複数定点間の3次元相対位置が考えられるが、それ以外にも、複数の定点およびベクトル間の3次元の相対関係も含む。また、ベクトルとは、第1標識部、第2標識部および第3標識部の形状や複数標識体間の相対位置に関連したベクトルのことであり、例えば法線ベクトルや相対位置ベクトルなどがある。
前記第2標識部および第3標識部は3次元形状測定装置により立体形状を測定できるものであれば何でも良い。前記第1の較正用物体および第2の較正用物体の立体形状そのものを第2標識部および第3標識部としても良いし、前記第1の較正用物体および第2の較正用物体の一部に球体などを取り付けて第2標識部および第3標識部としても良い。なお演算処理のスピードなどを考慮すると、前記第1の較正用物体においては較正用物体の一部に球体等の第2標識部を取り付ける方が好ましい。
Here, as the three-dimensional relative relationship, a three-dimensional relative position between a plurality of fixed points can be considered, but other than that, a three-dimensional relative relationship between a plurality of fixed points and vectors is also included. Further, the vector is a vector related to the shape of the first labeling unit, the second labeling unit, and the third labeling unit and the relative position between a plurality of labeling bodies, such as a normal vector and a relative position vector. .
The second labeling unit and the third labeling unit may be anything as long as the three-dimensional shape can be measured by a three-dimensional shape measuring device. The three-dimensional shapes themselves of the first calibration object and the second calibration object may be used as the second labeling unit and the third labeling unit, or part of the first calibration object and the second calibration object. A sphere or the like may be attached to the second marking portion and the third marking portion. In consideration of the speed of the arithmetic processing and the like, it is preferable to attach a second marker such as a sphere to a part of the calibration object in the first calibration object.
硬性内視鏡のように長軸部先端からの光軸を有する物体において、該物体の位置および姿勢を定義する手段である複数の座標または複数の座標およびベクトルと長軸部先端からの遠方までの光軸位置とを同一座標系で精度よく検出することができる。
これにより、硬性内視鏡で撮像している部位を画像上に表示しながら手術ナビゲーションを行う手術支援システムにおいて、画面に表示される撮像部位(硬性内視鏡の光軸と体内腔の交点)を精度よく行うことができ、高い精度の手術ナビゲーションを行うことができる。
For an object having an optical axis from the tip of the long axis portion, such as a rigid endoscope, a plurality of coordinates or a plurality of coordinates and vectors, which are means for defining the position and posture of the object, and far from the tip of the long axis portion The optical axis position can be accurately detected in the same coordinate system.
Accordingly, in a surgical operation support system that performs surgical navigation while displaying a part imaged by a rigid endoscope on an image, an imaging part displayed on the screen (intersection of the optical axis of the rigid endoscope and the body cavity) Can be performed with high accuracy, and highly accurate surgical navigation can be performed.
図1は本発明による長軸部先端からの光軸を有する物体(被測定物体)の長軸部先端からの光軸位置と該物体の位置および姿勢を定義する手段である複数の座標または複数の座標およびベクトルとの関係を同一座標系で検出する方法において、該物体を光軸位置測定装置1に固定させた様子を示した図である。
FIG. 1 shows a plurality of coordinates or a plurality of coordinates which are means for defining an optical axis position from an end of a long axis part of an object having an optical axis from the end of the long axis part (object to be measured) according to the present invention. FIG. 3 is a diagram showing a state in which the object is fixed to the optical axis
本実施形態においては、長軸部先端からの光軸を有する物体は硬性内視鏡10であり、硬性内視鏡10の長軸部11の中心線は直線で、光軸は長軸部11の中心線とほぼ一致している直視鏡であるとする。
In the present embodiment, the object having the optical axis from the distal end of the long axis portion is the
硬性内視鏡10には硬性内視鏡10の位置姿勢を定義することを可能にする、少なくとも3つの定点の定義が可能な複数の球体12(第1標識部に相当する)が取り付けられている。この複数の球体12の中心座標が長軸部先端からの光軸を有する物体の位置および姿勢を定義する手段である。
The
なお、球体12により少なくとも3つの定点を定義する方法が、後述する点群データから定点座標を算出するデータ処理が簡単に行えるため適切な方法であるが、位置および姿勢を定義することを可能にするものは、
・少なくとも2つの定点と1つのベクトル
・少なくとも1つの定点と2つのベクトル
が定義可能であってもよく。また定点やベクトルが定義可能な物体としては、球体以外に多面体、円柱、円錐等がある。よって、第1標識部には様々な形態が可能である。
Note that the method of defining at least three fixed points by the
At least two fixed points and one vector at least one fixed point and two vectors may be definable. In addition to spheres, there are polyhedrons, cylinders, cones, and the like that can define fixed points and vectors. Therefore, various forms are possible for the first marker.
光軸位置測定装置1は硬性内視鏡10の光軸位置を測定するための第1の較正用物体20と第2の較正用物体30とを備える。
The optical axis
第1の較正用物体20は薄厚の直方体21の前面にターゲット23が形成されており、硬性内視鏡10で撮像した画像を見ることで、硬性内視鏡10の光軸がターゲット23のどの位置にあるかがわかるようになっている。
The
また、第1の較正用物体20は移動機構により硬性内視鏡10の光軸方向と直交する2方向に移動可能になっており、硬性内視鏡10で撮像した画像を見ながら第1の較正用物体20を移動させることで硬性内視鏡10の光軸がターゲット23の中心を通るようにすることができる。移動機構は手動操作で2方向に移動できる公知の機構を用いればよい。
Further, the
また、第1の較正用物体20の直方体21の上面と側面には互いに大きさが異なり直径が既知である球体22A,22B,22C(第2標識部に相当する)が取り付けられており、後述する点群データから定点座標を算出する際には球体の中心座標が算出される。
In addition,
なお、本実施形態では第1の較正用物体20は3つの球体が取り付けられているが、ターゲット23の中心座標を取得することができればよいので、少なくとも3つの定点が定義可能である他に、少なくとも2つの定点と1つのベクトルまたは少なくとも1つの定点と2つのベクトルが定義可能であってもよく、またターゲット23の中心座標と定義される定点との間の距離等が既知であれば、少なくとも2つの定点が定義可能であればよく、またターゲット23の中心座標と定義される定点とが一致している場合は、1つの定点が定義可能であればよい。また、定点やベクトルが定義可能な物体としては、球体以外に多面体、円柱、円錐等がある。したがって第1の較正用物体20には様々な形態が可能である。この点は後述する変形例で説明する。
In the present embodiment, the
また、第1の較正用物体20は、硬性内視鏡10の先端付近を通る軸であって硬性内視鏡10の光軸と略直角な軸周りに、直方体21を回転させる回動手段25を備える。回動手段25は手動操作で回転を行うことができる公知の機構を用いればよい。回動手段25は、硬性内視鏡10が直視鏡である場合は使用することはないが、硬性内視鏡10が斜視鏡や側視鏡の場合は使用する。この点は後述する。
Further, the
第2の較正用物体30は球体(第3標識部に相当する)で形成されており、硬性内視鏡10の長軸部11が挿入される細長い穴が形成されている。この穴は球体30の中心を通っており、硬性内視鏡10を挿入した際、硬性内視鏡10の長軸部11の中心線が、球体30の中心を通るようになっている。また、硬性内視鏡10が斜視鏡や側視鏡の場合があるので、球体30は第1の較正用物体20側の上側は開放されている。この球体30は第1の較正用物体20の球体22A,22B,22Cとは大きさが異なっており直径は既知である。
The
また、硬性内視鏡10を固定した際の球体30の中心から硬性内視鏡10の先端までの距離は予め測定されており、この値は後述するように硬性内視鏡10の先端座標(光軸の起点座標)を計算する際に使用される。なお、硬性内視鏡10を固定した際、硬性内視鏡10の先端が球体30の中心に来るようにしてもよいし、球体30の表面部分に来るようにしてもよい。この場合は球体30の中心から硬性内視鏡10の先端までの距離は0または球体30の半径値であるので予め測定する必要はない。
In addition, the distance from the center of the
なお、本実施形態では第2の較正用物体20は1つの球体としたが、硬性内視鏡10を固定した際、硬性内視鏡10の先端の座標(光軸の起点座標)を求めることができればよいので、第1の較正用物体20と同様、様々な形態が可能である。この点は後述する変形例で説明する。
In the present embodiment, the
図1に示すように光軸位置測定装置1に硬性内視鏡10を固定し、硬性内視鏡10の光軸位置と硬性内視鏡10の位置および姿勢を定義する手段である複数の球体12の中心座標とを同一座標系で検出するには、第1の較正用物体20のターゲット23の中心座標と球体22A,22B,22Cの定点座標とを同一座標系で求めておくことと、硬性内視鏡10の先端(光軸の起点)の座標を光軸位置を検出するときと同一の座標系で求めておく必要がある。これは以下の(1)〜(9)の手順で行う。
As shown in FIG. 1, a
(1)第1の較正用物体20のターゲット23 の中心に球体26を取り付け3次元形状測定
図2のように第1の較正用物体20のターゲット23の中心にピンを取り付けた球体26を刺し込む。球体26は刺し込んだ箇所における直方体21の前面の垂線が球体26の中心を通るように形成されており、球体26の径は、球体22A,22B,22Cとは異なっている。
この状態で3次元形状測定を行い、点群データを取得する。3次元形状測定の方向は、4つの球体22A,22B,22C,26および直方体21の前面を測定できる方向であればどのような方向でもよい。
また3次元形状測定装置は非接触で物体表面の点群データを取得することができるものであれば、どのような測定原理のものでもよい。
(1) A
In this state, three-dimensional shape measurement is performed to obtain point cloud data. The direction of the three-dimensional shape measurement may be any direction as long as it can measure the front surfaces of the four
The three-dimensional shape measuring apparatus may be of any measurement principle as long as it can acquire point cloud data on the object surface without contact.
(2)4つの球体22A,22B,22C,26の中心座標計算
取得した点群データから、4つの球体22A,22B,22C,26の点群データを抽出する。4つの球体22A,22B,22C,26の径はコンピュータに記憶されており、球体という情報および径の数値を用いて抽出を行う。抽出方法は特開2004−333371号公報に詳細に記載されているのでそちらを参照する。
抽出した点群データから球体の式(x−a)2+(y−b)2+(z−c)2
= d2を最小2乗法により求める。(a,b,c)が球体の中心座標になる。
(2) Calculation of center coordinates of four
From the extracted point cloud data, the sphere formula (x−a) 2 + (y−b) 2 + (z−c) 2
= Find d 2 by the least squares method. (A, b, c) is the center coordinate of the sphere.
(3)直方体21の前面の平面の式と法線ベクトル計算
取得した点群データから4つの球体22A,22B,22C,26の点群データを除いた残りの点群データの中で球体26の中心座標の近傍にある一部の点群データを抽出し、平面の式a・x+b・y+c・z+1=0に代入して最小2乗法により係数a,b,cを計算する。次にすべての点群データから、この平面からの距離が所定の範囲内にある点群データを抽出する。このとき抽出された点群データが所定数以上あれば、最初に抽出した点群データはすべて直方体21の前面のものと判定して、抽出した点群データすべてを、平面の式a・x+b・y+c・z+1=0に代入して最小2乗法により係数a,b,cを計算する。
もし、抽出された点群データが所定数未満であれば、最初に抽出した点群データは直方体21の前面以外のものを含むと判定して、最初に抽出した点群データからより球体26の中心座標の近傍にあるデータを抽出して同一の処理を行う。この処理を係数a,b,cが計算されるまで行う。
直方体21の前面の法線ベクトルは(a,b,c),(−a,−b,−c)の2つがあり、直方体21の前面から球体26側に向かう法線ベクトルを選定する。それには、3次元形状測定装置の原点座標から球体26の中心座標に向かうベクトルA(ベクトル成分は球体26の中心座標に等しい)と(a,b,c),(−a,−b,−c)の法線ベクトルをベクトルBとしたときの以下の内積の式から角度Θを計算し、角度Θが90度より大きい方の法線ベクトルを選定する。
A・B=|A|・|B|・COSΘ
(3) Plane formula and normal vector calculation of the front face of the
If the extracted point cloud data is less than the predetermined number, it is determined that the first extracted point cloud data includes something other than the front surface of the
There are two normal vectors (a, b, c) and (-a, -b, -c) in front of the
A ・ B = | A | ・ | B | ・ COSΘ
(4)ターゲット23の中心座標(座標系Aによる)計算
球体26の中心座標(xd,yd,zd)を通り、直方体21の前面の法線ベクトル(a,
b,c)に平行な直線の方程式(x−xd)/a = (y−yd)/b = (z−zd)/cと、直方体21の前面の平面方程式a・x+b・y+c・z+1=0からなる連立方程式を解いてx,y,zを算出する。このx,y,zが、直線と直方体21の前面の交点座標であり、ターゲット23の中心座標(xt,yt,zt)である。
ここまでの処理により3つの球体22A,22B,22Cの中心座標(xaA,yaA,zaA),(xbA,ybA,zbA),(xcA,ycA,zcA)およびターゲット23の中心座標(xtA,ytA,ztA)を同一座標系で得ることができる。この座標系を座標系Aとする。
なお(1)〜(4)による座標系Aによる3つの球体22A,22B,22Cの中心座標とターゲット23の中心座標との取得は、1度取得したデータを記憶しておけば、第1の較正用物体20を交換しない限り2回目からは実施しなくてよい。
(4) Calculation of center coordinates of target 23 (according to coordinate system A) It passes through the center coordinates (xd, yd, zd) of
b, c) parallel equations (x−xd) / a = (y−yd) / b = (z−zd) / c and the plane equation a · x + b · y + c · z + 1 = in front of the rectangular parallelepiped 21 X, y, z are calculated by solving simultaneous equations consisting of zero. These x, y, and z are the coordinates of the intersection of the straight line and the front surface of the
By the processing so far, the center coordinates (xa A , ya A , za A ), (xb A , yb A , zb A ), (xc A , yc A , zc A ) and the target of the three
The acquisition of the center coordinates of the three
(5)硬性内視鏡10の先端をターゲット23の中心に一致させて3次元形状測定
硬性内視鏡10を第2の較正用物体(球体)30に挿入して、ターゲット23に硬性内視鏡10の先端が当たる箇所で硬性内視鏡10を固定する。次に直方体21を移動させ図3に示すように硬性内視鏡10の先端がターゲット23の中心に一致するようにする。
この状態で3次元形状測定を行い、点群データを取得する。3次元形状測定の方向は、図1に示すように光軸位置測定装置1に硬性内視鏡10を固定したとき、4つの球体22A,22B,22C,30および硬性内視鏡10の複数の球体12を測定できる方向であればどのような方向でもよいが、この後、硬性内視鏡10の光軸位置を測定する時と同一にする必要があるので、このとき設定した3次元形状測定装置の位置は動かさない。
(5) Three-dimensional shape measurement with the distal end of the
In this state, three-dimensional shape measurement is performed to obtain point cloud data. The direction of the three-dimensional shape measurement is as follows. When the
(6)3つの球体22A,22B,22Cと第2の較正用物体(球体)30の中心座標計算
上記(2)と同様の方法により3つの球体22A,22B,22Cと第2の較正用物体(球体)30の中心座標(xaB,yaB,zaB),(xbB,ybB,zbB),(xcB,ycB,zcB),(xeB,yeB,zeB)を計算する。このときの座標系を座標系Bとする。
(6) Center coordinate calculation of the three
(7)座標変換関数FAB計算
座標系Aによる座標値を座標系Bによる座標値に変換する座標変換関数FABを計算する。
座標変換係数Fは、以下の式における回転成分Mと移動成分(α,β,γ)である。座標変換係数Fを計算するとは、回転成分Mのg11〜g33と移動成分α,β,γを計算することである。
上記式のx’,y’,z’に(xaB,yaB,zaB)を代入し、x,y,zに(xaA,yaA,zaA)を代入した式と、上記式のx’,y’,z’に(xbB,ybB,zbB)を代入し、x,y,zに(xbA,ybA,zbA)を代入した式と、上記式のx’,y’,z’に(xcB,ycB,zcB)を代入し、x,y,zに(xcA,ycA,zcA)を代入した式により9つの式が成立する。
(7) Coordinate conversion function F AB calculation A coordinate conversion function F AB for converting a coordinate value by the coordinate system A into a coordinate value by the coordinate system B is calculated.
The coordinate conversion coefficient F is a rotation component M and a movement component (α, β, γ) in the following equation. The calculation of the coordinate transformation coefficient F is to calculate g11 to g33 of the rotation component M and the movement components α, β, γ.
An expression in which (xa B , ya B , za B ) is substituted for x ′, y ′, z ′ and (xa A , ya A , za A ) is substituted for x, y, z, and the above expression Substituting (xb B , yb B , zb B ) for x ′, y ′, z ′ and (xb A , yb A , zb A ) for x, y, z, and x Nine equations are established by substituting (xc B , yc B , zc B ) for ', y', z 'and substituting (xc A , yc A , zc A ) for x, y, z.
次に(xaB,yaB,zaB)から(xbB,ybB,zbB)へ向かうベクトルと(xaB,yaB,zaB)から(xcB,ycB,zcB)へ向かうベクトルの外積によるベクトルの成分(dB,eB,fB)を計算し、(xaA,yaA,zaA)から(xbA,ybA,zbA)へ向かうベクトルと(xaA,yaA,zaA)から(xcA,ycA,zcA)へ向かうベクトルの外積によるベクトルの成分(dA,eA,fA)を計算する。そして式(数1)の移動成分(α,β,γ)を除いた式のx’,y’,z’に(dB,eB,fB)を代入し、x,y,zに(dA,eA,fA)を代入した式により3つの式が成立し、合わせて12の式が成立する。この12の式からg11〜g33が同じものを集めて連立方程式を作成し、この連立方程式を解くことによりg11〜g33およびα,β,γを計算することができる。詳細は特開2005−249402号公報の段落0063〜0080を参照する。 Next, the vector going from (xa B , ya B , za B ) to (xb B , yb B , zb B ) and going from (xa B , ya B , za B ) to (xc B , yc B , zc B ) The vector component (d B , e B , f B ) by the outer product of the vectors is calculated, and the vector from (xa A , ya A , za A ) to (xb A , yb A , zb A ) and (xa A , Vector components (d A , e A , f A ) are calculated by the outer product of vectors from ya A , za A ) to (xc A , yc A , zc A ). Then, (d B , e B , f B ) is substituted into x ′, y ′, z ′ of the expression (Expression 1) excluding the moving component (α, β, γ), and x, y, z is substituted. Three formulas are established by the formula substituted with (d A , e A , f A ), and 12 formulas are established in total. From these 12 equations, the same equations g11 to g33 are collected to create simultaneous equations, and by solving these simultaneous equations, g11 to g33 and α, β, and γ can be calculated. For details, refer to paragraphs 0063 to 0080 of JP-A-2005-249402.
(8)ターゲット23の中心座標(座標系Bによる)計算
上記(4)で計算された座標系Aによるターゲット23の中心座標(xtA,ytA,ztA)を、(7)で計算された座標変換関数FABにより座標系Bによる座標(xtB,ytB,ztB)に座標変換する。硬性内視鏡10の先端はターゲット23の中心に一致させているので、ターゲット23の中心座標(xtB,ytB,ztB)は、硬性内視鏡10の先端座標である。
(8) Calculation of center coordinates of target 23 (by coordinate system B) The center coordinates (xt A , yt A , zt A ) of
(9)正規のセット位置における硬性内視鏡10の先端座標計算
上記(6)で計算された第2の較正用物体(球体)30の中心座標(xeB,yeB,zeB)から(8)で計算された硬性内視鏡10の先端座標(xtB,ytB,ztB)に向かうベクトルの成分(xtB−xeB,ytB−yeB,ztB−zeB)を計算する。前述のように第2の較正用物体(球体)30の中心から硬性内視鏡10の先端までの距離は予め測定されているのでこの距離をLとすると、図1に示すように光軸位置測定装置1に硬性内視鏡10を固定したときの、座標系Bによる硬性内視鏡10の先端座標(xsB,ysB,zsB)は、
で計算される。
ここまでの処理により硬性内視鏡10の光軸位置を検出する準備が完了する。
なお、この実施形態においては第1の較正用物体の球体22A,22B,22Cと第2の較正用物体(球体)30を用いて硬性内視鏡10の先端座標を取得しており、請求項における第2の較正用物体の第3標識部は第1の較正用物体の第2標識部も含んでいるとみなす。
(9) Calculation of tip coordinates of
Calculated by
With the processing so far, preparation for detecting the optical axis position of the
In this embodiment, the tip coordinates of the
次に図1に示すように光軸位置測定装置1に硬性内視鏡10を固定し、硬性内視鏡10の光軸位置と硬性内視鏡10の位置および姿勢を定義する手段である複数の球体12の中心座標とを同一座標系で検出する処理を行う。これは以下の(10)〜(15)の手順で行う。
Next, as shown in FIG. 1, a
(10)硬性内視鏡10を正規のセット位置に固定し、第1の較正用物体20の位置調整
図1に示すように光軸位置測定装置1に硬性内視鏡10を固定し直し、硬性内視鏡10の撮像する画面を見ながら第1の較正用物体20を2方向に移動させてターゲット23の中心が撮像画像の中心に来るようにする。これにより硬性内視鏡10の光軸がターゲット23の中心を通るようになる。なお、光軸位置測定装置1に硬性内視鏡10を固定し直すとき光軸位置測定装置1は動かないようにする。
(10) The
(11)3次元形状測定
3次元形状測定を行い、点群データを取得する。3次元形状測定装置の位置は、(5)で設定した位置のままとする。即ち、座標系Bによる座標値を取得する。
(11) Three-dimensional shape measurement Three-dimensional shape measurement is performed to acquire point cloud data. The position of the three-dimensional shape measuring apparatus remains at the position set in (5). That is, the coordinate value by the coordinate system B is acquired.
(12)3つの球体22A,22B,22Cと第2の較正用物体(球体)30の中心座標と硬性内視鏡10の複数の球体12の中心座標取得
上記(2)と同様の方法により3つの球体22A,22B,22Cと第2の較正用物体(球体)30の中心座標(xaB’,yaB’,zaB’),(xbB’,ybB’,zbB’),(xcB’,ycB’,zcB’),(xeB’,yeB’,zeB’)と硬性内視鏡10の複数の球体12の中心座標(x1B,y1B,z1B),(x2B,y2B,z2B),(x3B,y3B,z3B),(x4B,y4B,z4B)を計算する。
(12) Acquisition of the center coordinates of the three
(13)座標変換関数FAB’計算
上記(7)と同様に、座標変換関数FAB’を計算する。
(13) 'in the same manner as calculated above (7), the coordinate transformation function F AB' coordinate transformation function F AB is calculated.
(14)ターゲット23の中心座標(座標系Bによる)計算
上記(8)と同様の方法で座標変換を行い、座標系Bによるターゲット23の中心座標(xtB’,ytB’,ztB’)を計算する。この座標は硬性内視鏡10の光軸が通る座標である。
(14) Calculation of center coordinates of target 23 (by coordinate system B) Coordinate conversion is performed in the same manner as in (8) above, and the center coordinates of
(15)硬性内視鏡10の光軸位置(座標系Bによる)取得
上記(9)で計算された硬性内視鏡10の先端座標(xsB,ysB,zsB)から上記(14)で計算されたターゲット23の中心座標(xtB’,ytB’,ztB’)に向かうベクトルの成分(xtB’−xsB,ytB’−ysB,ztB’−zsB)を計算し、硬性内視鏡10の先端座標(xsB,ysB,zsB)と共に記憶する。
これにより硬性内視鏡10の光軸位置が光軸の起点の座標(xsB,ysB,zsB)と光軸方向のベクトルの成分(xtB’−xsB,ytB’−ysB,ztB’−zsB)という形で取得されたことになる。
また、上記(12)で計算された硬性内視鏡10の複数の球体12の中心座標(x1B,y1B,z1B),(x2B,y2B,z2B),(x3B,y3B,z3B),(x4B,y4B,z4B)も記憶する。
これにより座標系Bで(即ち同一座標系で)硬性内視鏡10の光軸位置と硬性内視鏡10の位置および姿勢を定義する手段である複数の球体12の中心座標とを取得したことになる。
これらの座標およびベクトル成分を記憶しておけば、手術の期間中の3次元形状測定から検出した硬性内視鏡10の複数の球体12の中心座標と記憶している複数の球体12の中心座標とから座標変換関数を算出し、算出した座標変換関数を用いて記憶している硬性内視鏡10の起点の座標と光軸方向のベクトルの成分を座標変換すれば、同一座標系で人体の3次元形状データと硬性内視鏡10の光軸位置とを得ることができる。
(15) Acquisition of optical axis position (by coordinate system B) of
Thus the origin of the optical axis position of the optical axis of the
Further, the center coordinates (x1 B , y1 B , z1 B ), (x2 B , y2 B , z2 B ), (x3 B , y3) of the plurality of
As a result, the optical axis position of the
If these coordinates and vector components are stored, the central coordinates of the plurality of
なお、上記実施形態においては硬性内視鏡10は光軸が長軸部11の中心線とほぼ一致している直視鏡であるとしたが、硬性内視鏡10が光軸が長軸部11の中心線とは所定の角度をもった斜視鏡や側視鏡であっても上記実施形態と同様に光軸位置を取得することができる。
In the above-described embodiment, the
この場合は上記(10)において、図4(a),(b)に示すように硬性内視鏡10の撮像する画面を見ながら回動手段25により第1の較正用物体20を回転させて、ターゲット23の中心付近が撮像画像の中心付近に来るようにし、その後、第1の較正用物体20を2方向に移動させてターゲット23の中心が撮像画像の中心に来るようにすればよく、それ以外の処理は上記実施形態と同一である。
In this case, in the above (10), the
なお、硬性内視鏡10が斜視鏡や側視鏡の場合は、先端が長軸部11の中心線に垂直な断面になっていないことが多いが、予め測定しておく第2の較正用物体(球体)30の中心から硬性内視鏡10の先端までの距離は、硬性内視鏡10の先端を長軸部11の中心線が先端の断面と交差する点とみなして測定しておけばよい。
When the
また硬性内視鏡10を固定した際、第2の較正用物体(球体)30の中心に硬性内視鏡10の先端が来るようにされている場合は、硬性内視鏡10の先端座標は第2の較正用物体(球体)30の点群データから球体の中心座標を計算すれば得られるので上記実施形態の手順における(5)〜(9)の処理は不要である。
When the
<変形例>
上記実施形態における第1の較正用物体20,第2の較正用物体30は様々な変形が可能である。
<Modification>
The
1.第1の較正用物体20の変形例1
上記実施形態では第1の較正用物体20として3つの大きさが異なる球体が取り付けられた直方体を有する物体を用いたが、第1の較正用物体20を以下の1)〜3)のようにし、第1の較正用物体20における座標系A,座標系Bでの定点およびベクトル検出と座標変換係数FABの計算を以下のようにすることもできる。なお、いずれの場合も座標系Aによるターゲット23の中心座標の取得方法は上記実施形態と同一である。
1.
In the above embodiment, an object having a rectangular parallelepiped to which three spheres of different sizes are attached is used as the
1)大きさの異なる球体を2つ取り付ける(図5a)
上記実施形態の(2)と同じ方法により2つの球体の中心座標を座標系A,座標系Bで取得し、上記実施形態の(3)と同じ方法により直方体前面の法線ベクトルを座標系A,座標系Bで取得する。そして座標変換係数FABを2つの球体の中心座標と1つの法線ベクトルを用いて計算する。計算は以下のように行う。
座標変換係数を計算するとは、上記実施形態の(7)で示したように、回転成分Mのg11〜g33と移動成分α,β,γを計算することである。座標系Aでの2つの球体の中心座標を(xaA,yaA,zaA),(xbA,ybA,zbA)、法線ベクトルを(aA,bA,cA)、座標系Bでの2つの球体の中心座標を(xaB,yaB,zaB),(xbB,ybB,zbB)、法線ベクトルを(aB,bB,cB)とし、(xaA,yaA,zaA)と(xaB,yaB,zaB)および(xbA,ybA,zbA)と(xbB,ybB,zbB)を上記実施形態の(7)で示した式に代入し、(aA,bA,cA)と(aB,bB,cB)を上記実施形態の(7)で示した式の移動成分(α,β,γ)を除いた式へ代入すると9つの式が成立する。
次に(xaB,yaB,zaB)から(xbB,ybB,zbB)へ向かうベクトルと法線ベクトル(aB,bB,cB)の外積によるベクトルの成分(dB,eB,fB)を計算し、(xaA,yaA,zaA)から(xbA,ybA,zbA)へ向かうベクトルと法線ベクトル(aA,bA,cA)の外積によるベクトルの成分(dA,eA,fA)を計算する。そして上記実施形態の(7)で示した式の移動成分(α,β,γ)を除いた式へ代入すると3つの式が成立し、合わせて12の式が成立する。この12の式からg11〜g33が同じものを集めて連立方程式を作成し、この連立方程式を解くことによりg11〜g33およびα,β,γを計算することができる。詳細は、特開2005−249402号公報の段落0104〜0118を参照する。
1) Attach two spheres of different sizes (Fig. 5a)
The center coordinates of the two spheres are acquired by the coordinate system A and the coordinate system B by the same method as (2) of the above embodiment, and the normal vector of the front of the rectangular parallelepiped is obtained by the coordinate system A by the same method as (3) of the above embodiment. , Acquired in coordinate system B. The coordinate conversion coefficient F AB is calculated using the center coordinates of two spheres and one normal vector. The calculation is performed as follows.
The calculation of the coordinate conversion coefficient is to calculate g11 to g33 of the rotation component M and the movement components α, β, and γ as shown in (7) of the above embodiment. The coordinates of the two spheres in the coordinate system A are (xa A , ya A , za A ), (xb A , yb A , zb A ), the normal vectors are (a A , b A , c A ), coordinates The central coordinates of the two spheres in the system B are (xa B , ya B , za B ), (xb B , yb B , zb B ), the normal vector is (a B , b B , c B ), xa a, ya a, za a ) and (xa B, ya B, za B) and (xb a, yb a, zb a) and (xb B, yb B, zb B) of the above-described embodiment (7) And (a A , b A , c A ) and (a B , b B , c B ) are substituted for the moving components (α, β, γ of the equation shown in (7) of the above embodiment. Substituting into the formulas excluding), nine formulas are established.
Next, the vector component (d B , B B , c B ) is obtained by the outer product of the vector from (x a B , ya B , za B ) to (xb B , yb B , zb B ) and the normal vector (a B , b B , c B ). e B , f B ), and the outer product of the vectors from (xa A , ya A , za A ) to (xb A , yb A , zb A ) and normal vectors (a A , b A , c A ) The vector components (d A , e A , f A ) are calculated. Then, when substituting into the expression excluding the moving components (α, β, γ) of the expression shown in (7) of the above embodiment, three expressions are established, and 12 expressions are established in total. From these 12 equations, the same equations g11 to g33 are collected to create simultaneous equations, and by solving these simultaneous equations, g11 to g33 and α, β, and γ can be calculated. For details, refer to paragraphs 0104 to 0118 of JP-A-2005-249402.
2)球体を1つ取り付ける(図5b)
上記実施形態の(2)と同じ方法により1つの球体22Aの中心座標を座標系A,座標系Bで取得する。そして、直方体21の前面と直方体21に隣接する回転平板24の表面の2つの法線ベクトルのベクトル成分の検出を以下の方法で行う。
・座標系A(第1の較正用物体20に球体26を取り付けての3次元測定)
上記実施形態の(3)と同じ方法により直方体21の前面の平面式および法線ベクトルを算出する。
次に直方体21の前面以外の点群データを用いて上記実施形態の(3)に書かれた平面の点群データ抽出と平面式の計算方法によりいずれかの平面の平面式を算出する。この平面と球体26の中心座標との距離および平面の点群データの数から平面が直方体21の側面か上面か直方体に隣接する回転平板24の表面か光軸位置測定装置1の土台の表面かを判定し、直方体21に隣接する回転平板24の表面の平面式が算出されるまで上記処理を繰り返す。平面式の係数a,b,cから法線ベクトル(a,b,c),(−a,−b,−c)が出るので、回転平板24の表面から回転平板24の外側に向かう法線ベクトルの選定を上記実施形態の(3)と同じ方法により行う。
・座標系B(光軸位置測定装置1に硬性内視鏡10を固定しての3次元形状測定)
上記実施形態の(3)に書かれた平面の点群データ抽出と平面式の計算方法によりいずれかの平面の平面式を算出する。この平面の法線ベクトルと硬性内視鏡10の複数の球体12の1つ球体における中心座標から球体22Aの中心座標へ向かうベクトルとがなす角度により平面式が直方体21の前面の平面か否かを判定する。この処理を直方体21の前面の平面式と判定されるまで行う。
次に球体22Aを球体26の代わりに用いて上記の座標系Aの場合と同じ方法により回転平板24の表面の平面式を算出する。直方体21の前面および回転平板24の表面とも平面式の係数a,b,cから法線ベクトル(a,b,c),(−a,−b,−c)が出るので、回転平板24の表面から回転平板24の外側に向かう法線ベクトルの選定を上記実施形態の(3)と同じ方法により行う。この場合は球体26はないので、3次元形状測定装置の原点座標から球体22Aの中心座標に向かうベクトルをベクトルAとする。
座標系A,座標系Bでの球体22Aの中心座標と2つの平面の法線ベクトルとから座標変換係数を計算する。計算は以下のように行う。
座標変換係数を計算するとは、上記実施形態の(7)で示したように、回転成分Mのg11〜g33と移動成分α,β,γを計算することである。座標系Aでの球体の中心座標を(xaA,yaA,zaA),2つの法線ベクトルを(a1A,b1A,c1A),(a2A,b2A,c2A)とし、座標系Bでの球体の中心座標を(xaB,yaB,zaB),2つの法線ベクトルを(a1B,b1B,c1B),(a2B,b2B,c2B)とし、これらの座標を上記実施形態の(7)で示した式に代入し、ベクトル成分を上記実施形態の(7)で示した式から移動成分(α,β,γ)を除いた式に代入すると9つの式が成立する。
次に(a1A,b1A,c1A)と(a2A,b2A,c2A)との外積によるベクトルの成分(dA,eA,fA)を計算し、(a1B,b1B,c1B)と(a2B,b2B,c2B)との外積によるベクトルの成分(dB,eB,fB)を計算する。そして上記実施形態の(7)で示した式の移動成分(α,β,γ)を除いた式のx’,y’,z’に(dB,eB,fB)を代入し、x,y,zに(dA,eA,fA)を代入した式により3つの式が成立し、合わせて12の式が成立する。この12の式からg11〜g33が同じものを集めて連立方程式を作成し、この連立方程式を解くことによりg11〜g33およびα,β,γを計算することができる。詳細は、特開2005−249402号公報の式(数19)における座標の座標変換の1つをベクトルの座標変換に変えるのみで段落0104〜0118に示される計算の仕方と同じである。
2) Install one sphere (Fig. 5b)
The center coordinate of one
Coordinate system A (three-dimensional measurement with a
The plane formula and normal vector of the front surface of the
Next, using the point cloud data other than the front surface of the
・ Coordinate system B (3D shape measurement with
The plane formula of any plane is calculated by the plane point cloud data extraction and the plane formula calculation method written in (3) of the above embodiment. Whether or not the plane expression is the plane in front of the
Next, using the
A coordinate conversion coefficient is calculated from the center coordinates of the
The calculation of the coordinate conversion coefficient is to calculate g11 to g33 of the rotation component M and the movement components α, β, and γ as shown in (7) of the above embodiment. The center coordinates of the sphere in the coordinate system A (xa A, ya A, za A), the two normal vectors (a1 A, b1 A, c1 A), and (a2 A, b2 A, c2 A), The center coordinates of the sphere in the coordinate system B are (xa B , ya B , za B ), the two normal vectors are (a 1 B ,
Next, vector components (d A , e A , f A ) are calculated by the outer product of (a 1 A ,
3)球体を取り付けず、直方体21の厚さを厚くする(図5c)
直方体21の前面と側面と上面でできる角の座標の算出と直方体21の前面,側面,上面または直方体21に隣接する回転平板24の表面の2つ以上の法線ベクトルのベクトル成分の算出を以下の方法で行う。
上記実施形態の(3)に示された平面の点群データ抽出と平面式の計算方法により、複数の平面の平面式を可能な限り算出する。算出される平面式は直方体21の前面、側面、上面、直方体21に隣接する回転平板24の表面、光軸位置測定装置1の土台の表面の平面式5つである。
法線ベクトルのなす角度を内積の式から算出し、互いに90度近い角度になる3つの平面の平面式でなる連立方程式を解いて3つの平面式でできる角の座標を計算する。計算される角の座標は直方体21の前面と側面と上面でできる角と、直方体21の前面と上面と回転平板24の表面でできる角と、直方体21の前面と側面と光軸位置測定装置1の土台の表面でできる角と、直方体21の前面と回転平板24の表面と光軸位置測定装置1の土台の表面でできる角の4つである。
次に法線ベクトルのなす角度を内積の式から算出し、互いに90度近い角度になる2つの平面の平面式で直線の式を算出する。これにより8つの直線の式が計算される。
直線の式に点群データを代入して、直線の近傍にある点群データを抽出する。そして抽出した点群データの内、直線内にある角の座標からの距離が最も大きいものを抽出する。
直方体21の3辺の長さと回転平板24の横方向直線部分の長さおよび光軸位置測定装置1の土台から直方体21までの距離が既知であれば、この長さと距離から8つの直線の中から直方体21の辺に相当する直線を判別できる。8つの直線の式すべてにおいてこの距離を計算して直方体21の3辺の直線の式を判別し、この直線の式を算出した平面式がいずれであるかより直方体21の前面と側面と上面の3つの平面式を判別する。
3つの平面式による連立方程式を解くことで直方体21の前面と側面と上面でできる角の座標が取得され、平面式から直方体21の前面,側面,上面,回転平板24の表面の2つ以上の法線ベクトルのベクトル成分が算出される。
なお座標系Aの場合は球体26と平面との距離を平面式を判別する条件に入れてもよい。
平面式の係数a,b,cから出る法線ベクトル(a,b,c),(−a,−b,−c)の内、直方体21および回転平板24の平面から直方体21および回転平板24の外側に向かう法線ベクトルの選定は上記の2)球体を1つ取り付ける場合と同じである。なお座標系Bの場合は球体26の中心座標の代わりに直方体21
の前面と側面と上面でできる角の座標を使う。座標変換関数の計算は上記の2)球体を1つ取り付ける場合と同じである。
この変形例においては、角の座標および2つ以上のベクトル成分の取得までのデータ処理に時間を要するため、直方体21の反射率を回転平板24および光軸位置測定装置1の土台の反射率と大きく異ならせたり、直方体21のそれぞれの平面の反射率を異ならせ、3次元形状測定の際、同時に反射光量を測定して反射光量により点群データを分類すれば、データ処理の時間を大幅に短縮することができる。
3) Without attaching the sphere, increase the thickness of the rectangular parallelepiped 21 (Fig. 5c).
Calculate the coordinates of the corners that can be formed on the front, side, and top of the cuboid 21 and the vector components of two or more normal vectors on the front, side, top, or surface of the
The plane formulas of a plurality of planes are calculated as much as possible by the plane point cloud data extraction and plane formula calculation method shown in (3) of the above embodiment. The plane formulas calculated are five plane formulas on the front surface, the side surface, the top surface of the
The angle formed by the normal vectors is calculated from the inner product formula, and the simultaneous equations formed by the plane formulas of three planes having angles close to 90 degrees are solved to calculate the coordinates of the angles formed by the three plane formulas. The calculated corner coordinates are the angle formed by the front, side and top surfaces of the
Next, the angle formed by the normal vectors is calculated from the inner product equation, and a straight line equation is calculated using a plane equation of two planes having angles close to 90 degrees. As a result, eight straight line equations are calculated.
By substituting the point cloud data into the straight line equation, point cloud data in the vicinity of the straight line is extracted. Then, the extracted point cloud data having the longest distance from the coordinates of the corners in the straight line is extracted.
If the length of the three sides of the rectangular parallelepiped 21 and the length of the horizontal straight portion of the
By solving simultaneous equations using three planes, the coordinates of the corners formed on the front, side, and top of the cuboid 21 are obtained. From the plane, two or more of the front, side, top, and rotating
In the case of the coordinate system A, the distance between the
Of the normal vectors (a, b, c) and (-a, -b, -c) derived from the coefficients a, b, and c of the plane equation, the rectangular parallelepiped 21 and the
Use the coordinates of the corners of the front, side, and top of the. The calculation of the coordinate transformation function is the same as 2) when one sphere is attached.
In this modification, since it takes time to process the data until obtaining the coordinates of the corners and two or more vector components, the reflectance of the
2.第1の較正用物体20の変形例2
上記実施形態では(1)〜(15)の手順により、第1の較正用物体20の定点座標とターゲット23の中心座標とを座標系Aにより求め、硬性内視鏡10を固定したときの第1の較正用物体10の定点座標を座標系Bにより求め、座標系Aによる座標を座標系Bによる座標に座標変換する座標変換関数FABを求め、座標系Bによるターゲット23の中心座標を、座標系Aによるターゲット23の中心座標を座標系Bの座標に座標変換することで求めたが、第1の較正用物体20を以下のようにすれば、第1の較正用物体20に定義される定点座標を用いてターゲット23の中心座標を求めることができる。すなわち、上記実施形態の(1)〜(4)の作業が不要になり、最初から光軸位置測定装置1に硬性内視鏡10を固定し、硬性内視鏡10の光軸位置を検出することができる。これによれば、第1の較正用物体20の加工を精度よく行う必要があるが、硬性内視鏡10の光軸位置と硬性内視鏡10の位置姿勢を定義する手段である複数の球体12の中心座標との関係を同一座標系で検出する作業が簡単になるという効果がある。
2.
In the above embodiment, the fixed point coordinates of the
1)直方体21の前面の対角線の交点位置をターゲット23の中心にする(図6)
この場合はターゲット23の中心座標を次のように求める。光軸位置測定装置1に硬性内視鏡10を固定して3次元形状測定し、取得した点群データを用いて上記第1の較正用物体20の変形例1の3)に記載された平面式の算出と平面式の判別から、直方体21の前面、側面、上面と回転平板24の表面を判別し、直方体21の前面、側面、上面でなる角P1と直方体21の前面、上面、回転平板24の表面でなる角P2の座標を求める、次に既知である直方体21の3辺の長さと直方体21の前面、側面、上面の判別の過程で求めた直線の式から、角P3,P4の座標を求める。
次に角P1と角P4、角P2と角P3を結ぶ直線の式を計算し、直線の式からなる連立方程式を解いて直線の交点座標を計算する。計算された交点座標がターゲット23の中心座標になる。
なお、この場合も上記第1の較正用物体20の変形例1の3)と同様、直方体21の反射率を回転平板24および光軸位置測定装置1の土台の反射率と大きく異ならせたり、直方体21のそれぞれの平面の反射率を異ならせ、3次元形状測定の際、同時に反射光量を測定して反射光量により点群データを分類すれば、データ処理の時間を大幅に短縮することができる。
1) Set the intersection of diagonal lines on the front of the
In this case, the center coordinates of the
Next, an equation of a straight line connecting the corner P1 and the corner P4, and an angle P2 and the corner P3 is calculated, and simultaneous equations composed of the equations of the straight line are solved to calculate the intersection coordinates of the straight lines. The calculated intersection coordinates become the center coordinates of the
In this case, as in 3) of
2)円柱41の上面の中心点をターゲット43の中心にする(図7)
この場合はターゲット43の中心座標を次のように求める。光軸位置測定装置1に硬性内視鏡10を固定して3次元形状測定し、取得した点群データを用いて上記実施形態の(3)に書かれた平面の点群データ抽出と平面式の計算方法によりいずれかの平面の平面式を算出する。この平面を法線ベクトル方向に所定距離移動した式を算出し、その平面から所定距離範囲内にある点群データを抽出して、抽出した点群データが円の方程式に当てはまるか否かを判定する。当てはまれば平面式は円柱41の上面のものであると判定し、当てはまらなければ別の平面と判定する。この処理を円柱41の上面の平面式が算出されるまで行う。
次に円柱41の上面である平面をその法線ベクトル方向に所定間隔ごとに移動したときの平面式を複数算出し、それぞれの平面において平面から所定距離範囲内にある点群データを抽出して、抽出した点群データから最小2乗法により円の方程式を算出し、円の中心座標を算出する。
次に複数の円の中心座標から最小2乗法により直線の方程式を算出し、直線の方程式と円柱41の上面の平面式からなる連立方程式を解いて円柱41の中心線と円柱41の上面が交わる点(即ち円である上面の中心点)の座標を算出する。
算出された交点座標がターゲット43の中心座標になる。
2) The center point of the upper surface of the
In this case, the center coordinates of the
Next, calculate a plurality of plane equations when the plane that is the upper surface of the
Next, a straight line equation is calculated from the center coordinates of a plurality of circles by the least square method, and a simultaneous equation consisting of the straight line equation and the plane equation of the upper surface of the
The calculated intersection coordinates become the center coordinates of the
3)直方体51の前面に円錐52を設け、円錐52の頂点をターゲット53の中心にする(図8)
この場合はターゲット53の中心座標を次のように求める。光軸位置測定装置1に硬性内視鏡10を固定して3次元形状測定し、取得した点群データを用いて上記実施形態の(3)に書かれた平面の点群データ抽出と平面式の計算方法によりいずれかの平面の平面式を算出する。この平面を法線ベクトル方向に所定距離移動した式を算出し、その平面から所定距離範囲内にある点群データを抽出して、抽出した点群データが円の方程式に当てはまるか否かを判定する。当てはまれば平面式は直方体51の前面のものであると判定し、当てはまらなければそれ以外の平面と判定する。この処理を直方体51の前面の平面式が算出されるまで行う。
次に直方体51の前面である平面をその法線ベクトル方向に所定間隔ごとに移動したときの平面式を複数算出し、それぞれの平面において平面から所定距離範囲内にある点群データを抽出して、抽出した点群データから最小2乗法により円の方程式を算出し、円の半径と円の中心座標を算出する。次に複数の円の中心座標から最小2乗法により直線の方程式を算出し、直線の方程式と直方体51の前面の平面式からなる連立方程式を解いて円錐52の中心線と直方体51の前面が交わる点の座標Cを算出する。そして直方体51の前面からの所定間隔ごとにおけるそれぞれの円の半径が減少する割合から半径が0になる(即ち、円錐52の頂点に到達する)直方体51の前面からの距離Lを算出し、直方体51の前面の法線ベクトルで大きさがLのベクトルDの成分を計算する。
交点座標CにベクトルDの成分を加算した座標(即ち、円錐52の頂点座標)がターゲット53の中心座標になる。
3) A
In this case, the center coordinates of the
Next, calculate a plurality of plane formulas when the plane that is the front surface of the rectangular parallelepiped 51 is moved at predetermined intervals in the normal vector direction, and extract point cloud data within a predetermined distance range from the plane in each plane. The circle equation is calculated from the extracted point group data by the least square method, and the radius of the circle and the center coordinates of the circle are calculated. Next, a straight line equation is calculated from the center coordinates of a plurality of circles by the least square method, and a simultaneous equation consisting of a straight line equation and a plane formula of the front face of the rectangular parallelepiped 51 is solved to intersect the center line of the
A coordinate obtained by adding the component of the vector D to the intersection coordinate C (that is, the vertex coordinate of the cone 52) becomes the center coordinate of the
3.第2の較正用物体30の変形例1
上記実施形態では第2の較正用物体30は全体を1つの球体にし、この球体の中心座標と第1の較正用物体20のターゲット23の座標と予め測定されている球体の中心座標から硬性内視鏡10の先端までの距離により、硬性内視鏡10の先端座標(光軸の起点座標)を計算したが、第2の較正用物体30を以下のようにすれば、最初から硬性内視鏡10を図1に示される正規の位置にセットして、第2の較正用物体30に定義される定点座標およびベクトルから、硬性内視鏡10の先端座標(光軸の起点座標)を取得することができる。すなわち、上記実施形態の(5)〜(9)の作業が不要になり、硬性内視鏡10の光軸位置と硬性内視鏡10の位置姿勢を定義する手段である複数の球体12の中心座標との関係を同一座標系で検出する作業が簡単になるという効果がある。
3.
In the above embodiment, the entire
1)2つの球体61,62を設け、2つの球体61,62の中心を通る穴に硬性内視鏡10の長軸部11を挿入できるようにする(図9)
この場合は硬性内視鏡10の先端座標(光軸の起点座標)を次のように求める。硬性内視鏡10を2つの球体61,62の穴に挿入させて固定し、3次元形状測定して取得した点群データから上記実施形態の(2)と同じ方法により2つの球体61,62の中心座標を取得する。そして、球体62の中心座標から球体61の中心座標に向かうベクトルの成分を計算し、このベクトル成分と球体61の中心座標と予め測定されている球体61の中心座標から硬性内視鏡10の先端までの距離Lにより、上記実施形態(9)に示されている計算方法で、硬性内視鏡10の先端座標を計算する。
1) Two
In this case, the distal end coordinates (starting point coordinates of the optical axis) of the
2)円柱70を設け、円柱70の中心を通る穴に硬性内視鏡10の長軸部11を挿入できるようにする(図10a)
この場合は硬性内視鏡10の先端座標(光軸の起点座標)を次のように求める。硬性内視鏡10を円柱70の穴に挿入させて固定し、3次元形状測定して取得した点群データから上記第1の較正用物体20の変形例2の(2)に記載された方法により円柱70の中心線の式と円柱70の上面の中心座標を取得する。
次に、円柱70の中心線の式から得られるこの直線方向のベクトルの成分と円柱70の上面の中心座標と、予め測定されている円柱70の上面から硬性内視鏡10の先端までの距離Lにより、上記実施形態(9)に示されている計算方法で、硬性内視鏡10の先端座標を計算する。
2) A
In this case, the distal end coordinates (starting point coordinates of the optical axis) of the
Next, this linear vector component obtained from the expression of the center line of the
3)直方体80を設け、直方体80の中心を通る穴に硬性内視鏡10の長軸部11を挿入できるようにする(図10b)
この場合は硬性内視鏡10の先端座標(光軸の起点座標)を次のように求める。硬性内視鏡10を直方体80の穴に挿入させて固定し、3次元形状測定して取得した点群データから上記第1の較正用物体20の変形例1の3)に記載された方法により直方体80前面の法線ベクトルの成分、前面と2つの側面とからなる角の座標、前面と2つの側面とからなる3辺のベクトル成分(直線の式)を計算する。
次に上記第1の較正用物体20の変形例2の1)に記載された方法により直方体80前面の中心座標を算出し、この中心座標と直方体前面の法線ベクトルの成分と、予め測定されている直方体80の前面から硬性内視鏡10の先端までの距離Lにより、上記実施形態(9)に示されている計算方法で、硬性内視鏡10の先端座標を計算する。
3) A
In this case, the distal end coordinates (starting point coordinates of the optical axis) of the
Next, center coordinates of the front surface of the
4.第2の較正用物体30の変形例2
上記実施形態および第2の較正用物体30の変形例2では、硬性内視鏡10の長軸部11は直線であることを前提にしていた。しかし、硬性内視鏡10の長軸部11が直線でない場合は、上記実施形態および第2の較正用物体30の変形例1による方法では、長軸部11の先端座標(光軸の起点座標)を得ることはできない。
この場合は第2の較正用物体30を以下のようにすれば、長軸部11が直線でない場合でも硬性内視鏡10の先端座標(光軸の起点座標)を取得することができる。
4).
In the second embodiment and the second modification of the
In this case, if the
1)薄厚の平板91に硬性内視鏡10の先端が挿入できる穴を設け、球体をとりつける(図11)
この場合は硬性内視鏡10の先端座標(光軸の起点座標)を次のように求める。硬性内視鏡10を取り付ける前に上記実施形態1)〜4)と同じ方法により、座標系Cによる球体の中心座標と平板91の第1の較正用物体20側の表面における穴の中心座標とを取得する。穴の中心座標を取得するには図2のピン付け球体の代わりに穴の径に合う円柱が付けられた球体を穴に挿入すればよい。
次に硬性内視鏡10の先端を平板91の穴に挿入して光軸位置測定装置1に取り付け、3次元形状測定を行う。このとき先端位置が平板91の第1の較正用物体20側の表面に合うようにする。そして取得した点群データから上記実施形態(2)で示されている方法により座標系Bによる球体の中心座標を取得し、上記実施形態(7)で示されている方法により座標変換関数FCBを計算する。得られた座標変換関数FCBにより座標系Cによる平板91の第1の較正用物体20側の表面における穴の中心座標を座標系Bによる座標に変換する。これにより、硬性内視鏡10の先端座標(光軸の起点座標)と硬性内視鏡10の位置姿勢を定義する手段である複数の球体12の中心座標とを同じ座標系Bで取得することができる。
この場合の第2の較正用物体90は第1の較正用物体20の変形例1の1)〜3)と同じ変形が可能である。
1) A hole that allows the distal end of the
In this case, the distal end coordinates (starting point coordinates of the optical axis) of the
Next, the distal end of the
In this case, the
2)硬性内視鏡10の先端を挿入する穴の箇所以外の穴の径を大きくする(図12)
この場合は硬性内視鏡10の先端座標(光軸の起点座標)の取得方法は上記第2の較正用物体30の変形例1の2)および3)と同一である。
2) Increasing the diameter of the hole other than the hole for inserting the distal end of the rigid endoscope 10 (FIG. 12)
In this case, the method for obtaining the distal end coordinates (starting point coordinates of the optical axis) of the
3.第2の較正用物体30の変形例3
上記実施形態および第2の較正用物体30の変形例1および変形例2では、硬性内視鏡10の先端の座標(厳密には、先端の断面と長軸部11の中心線が交差する点の座標)を光軸の起点の座標とした。しかしながら、硬性内視鏡10によっては図13に示すように先端の座標と光軸の起点座標とが一致していない場合がある。
この場合は、第2の較正用物体30を以下のようにすれば光軸位置および光軸の起点座標を取得することができる。
3. Modification 3 of the
In the first and second modifications of the embodiment and the
In this case, the optical axis position and the origin coordinate of the optical axis can be obtained by setting the
1)枠に固定した薄厚の透明板112にターゲット113を形成し、枠に球体を取り付ける。(図14)
この場合は硬性内視鏡10の先端付近の光軸上の座標は、上記第2の較正用物体30の変形例2の1)と同じ方法により取得することができる。なお、ピン付の球体をターゲット113の中心に取り付けて3次元形状測定する場合、薄厚の透明板はそのままでは点群データは得られないので、表面に反射率の高いシートを貼るようにする。
そして、第1の較正用物体20のターゲット23の中心座標が別に取得されるので、これと硬性内視鏡10の先端付近の光軸上の座標とから光軸位置(光軸の直線の式)が取得される。
次に硬性内視鏡10の先端断面に合うように平板を当て、同じ測定位置で(即ち座標系Bで)3次元形状測定を行い、上記実施形態(3)に示された方法で平面の式を得る。この平面の式と先に得られた光軸の直線の式との連立方程式を解くことで、平面と光軸が交差する点である光軸の起点座標を取得することができる。
この場合の第2の較正用物体110は第1の較正用物体20の変形例1の1)〜3)と同じ変形が可能である。
1) A
In this case, the coordinates on the optical axis near the tip of the
Then, since the center coordinates of the
Next, a flat plate is applied so as to match the distal end cross section of the
In this case, the
2)空洞の円柱121の上面に薄厚の透明板122をつけ、中心とターゲット123の中心とが合うようにする。(図15)
この場合は硬性内視鏡10の先端付近の光軸上の座標は、上記第1の較正用物体20の変形例2の2)と同じ方法により取得することができる。これ以外は上記第2の較正用物体30の変形例3の1)と同じである。
なお、空洞の円柱121は空洞の直方体にすることもできる。この場合は硬性内視鏡10の先端付近の光軸上の座標は、上記第1の較正用物体20の変形例2の1)と同じ方法により取得することができる。
2) A thin
In this case, the coordinates on the optical axis near the tip of the
The
上記実施形態は上記以外にも様々な変形が可能である。
上記実施形態では第1の較正用物体20は直方体に球体を取り付けた構造であったが、定点または定点およびベクトルが定義できる形状を有し、ターゲット23を形成することができれば、色々な構造のものが考えられる。
The above embodiment can be variously modified in addition to the above.
In the above embodiment, the
例えば、直方体に円錐や円柱や多面体を取り付けた構造であってもよいし。直方体ではない多面体に球体や円錐や円柱や多面体を取り付けた構造であってもよいし、円柱に球体や円錐や円柱や多面体を取り付けた構造であってもよい。また、任意の形状の物体に反射率を変えて交錯する直線や円や四角形といった図形を描くようにしてもよい。また定点定義可能な物体を取り付けたり図形を描かなくても、多面体の構造をしていれば、角の座標から定点定義が可能であるので、多面体にターゲット23を形成した構造でもよい。
For example, the structure which attached the cone, the cylinder, and the polyhedron to the rectangular parallelepiped may be sufficient. A structure in which a sphere, cone, cylinder, or polyhedron is attached to a polyhedron that is not a rectangular parallelepiped may be used, or a structure in which a sphere, cone, cylinder, or polyhedron is attached to a cylinder may be used. Moreover, a figure such as a straight line, a circle, or a quadrangle that intersects with an object having an arbitrary shape by changing the reflectance may be drawn. Further, even if an object capable of defining a fixed point is not attached or a figure is not drawn, since a fixed point can be defined from corner coordinates as long as the structure is a polyhedron, a structure in which the
また、第2の較正用物体30においても、定点または定点およびベクトルが定義できる形状を有し、硬性内視鏡10の先端座標を所定位置にセットすることができれば、このような変形が可能である。
Also, the
また上記第1の較正用物体20の変形例2では定点座標からターゲット23の中心座標を算出するようにした際の、定点定義可能な形状として直方体、円柱、円錐という形状をあげたが、定点座標からターゲット23の中心座標を精度よく算出できれば、これ以外の構造のものであってもよい。例えば精度よく加工することが可能であれば、直方体の前面の対角線の位置に中心位置が来るように半球を取り付けた構造のものであってもよいし、また直方体の前面の対角線の位置に定点が来るように反射率を変えて交錯する直線や円や四角形といった図形を描いたものでもよい。また任意の形状の物体において、ターゲット23の中心座標に定点が来るように反射率を変えて交錯する直線や円や四角形といった図形を描いたものでもよい。
Further, in the second modification of the
また第2の較正用物体30の変形例1では硬性内視鏡10の長軸部11を挿入する細長い穴が形成された物体として球体、円柱、直方体をあげたが、定点座標または定点座標と細長い穴方向のベクトルとから硬性内視鏡10の先端座標を精度よく算出できれば、これ以外の形状の物体であってもよい。例えば円錐の中心線に細長い穴が形成された物体であってもよいし、直方体以外の多面体で中心に細長い穴が形成された物体であってもよい。
In the first modification of the
また上記実施形態でおよび変形例では、硬性内視鏡の光軸位置を硬性内視鏡の位置および姿勢を定義する複数の球体の中心座標とともに測定したが、本発明は硬性内視鏡に限らず、長軸部先端からの光軸を有する物体であれば、どのようなものにも適用できる。その際、光軸が撮像方向における光軸であっても長軸部先端から照射されるレーザ光の光軸であっても、どちらにも適用できる。両者の違いはターゲットの中心に光軸が当たるのを撮像画面により確認するか、ターゲットを見て確認するかの違いのみである。 In the above embodiment and the modification, the optical axis position of the rigid endoscope is measured together with the central coordinates of a plurality of spheres that define the position and posture of the rigid endoscope. However, the present invention is not limited to the rigid endoscope. In other words, any object having an optical axis from the tip of the long axis portion can be applied. At that time, the present invention can be applied to both the optical axis in the imaging direction and the optical axis of the laser light emitted from the tip of the long axis portion. The only difference between the two is whether the optical axis hits the center of the target on the imaging screen or on the target.
以上のように本発明の目的を逸脱しなければ様々な変形が可能である。
以上、本発明の実施形態の一例を説明したが、本発明はこれに限定されるものではなく、特許請求の範囲に記載された技術的思想の範疇において各種の変更が可能であることは言うまでもない。
As described above, various modifications can be made without departing from the object of the present invention.
Although an example of the embodiment of the present invention has been described above, the present invention is not limited to this, and it goes without saying that various modifications can be made within the scope of the technical idea described in the claims. Yes.
1:光軸位置測定装置、 10:硬性内視鏡、 11:長軸部、 12:第1標識部、 20:第1の較正用物体、 21:直方体、 22:第2標識部、 23:ターゲット、 24:回転平板、 25:回動手段、 26:球体、 30:第2の較正用物体、 40:第1の較正用物体、 41:円柱、 43:ターゲット、 50:第1の較正用物体、 51:直方体、 52:円錐、 53:ターゲット、 60:第2の較正用物体、 61:球体、 62:球体、 70:第2の較正用物体、 80:第2の較正用物体、 90:第2の較正用物体、 100:第2の較正用物体、 110:第2の較正用物体、 112:透明板、 113:ターゲット、 120:第2の較正用物体、 121:円柱、 122:透明板、 123:ターゲット
DESCRIPTION OF SYMBOLS 1: Optical axis position measuring apparatus, 10: Rigid endoscope, 11: Long axis part, 12: 1st label | marker part, 20: 1st object for a calibration, 21: Rectangular parallelepiped, 22: 2nd label | marker part, 23: Target 24: rotating plate 25: rotating means 26: sphere 30: second calibration object 40: first calibration object 41: cylinder 43: target 50: first calibration Object 51: rectangular parallelepiped 52: cone 53: target 60: second calibration object 61: sphere 62: sphere 70: second calibration object 80: second calibration object 90 : Second calibration object, 100: second calibration object, 110: second calibration object, 112: transparent plate, 113: target, 120: second calibration object, 121: cylinder, 122: Transparent plate, 123: Target
Claims (12)
前記3次元相対関係測定システムは、
対象物の3次元形状を測定するとともに、取得された立体形状データ群を処理することにより対象物の位置および立体形状を測定する3次元形状測定装置と、
前記被測定物体を固定する固定手段と、
前記被測定物体の長軸部先端からの光軸が当たるターゲットと、前記3次元形状測定装置により位置および立体形状が測定可能な第2標識部とを有し、前記ターゲットの中心座標と前記第2標識部との3次元相対関係が予めわかっているか、または前記3次元形状測定装置により前記ターゲットの中心座標と前記第2標識部との3次元相対関係が測定可能な第1の較正用物体と、
前記3次元形状測定装置により位置および立体形状が測定可能な第3標識部を有し、前記固定手段により前記被測定物体が固定されたとき、前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係が一定であり、予め前記第3標識部との3次元相対関係がわかっているか、または前記3次元形状測定装置により前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係が測定可能な第2の較正用物体と、を有し、
前記被測定物体を前記固定手段に固定し、前記第1の較正用物体のターゲットの中心に前記被測定物体の長軸部先端からの光軸が当たるようにするステップと、
前記3次元形状測定装置により、前記被測定物体、前記第1の較正用物体および前記第2の較正用物体の立体形状データ群を取得するステップと、
前記立体形状データ群から、前記第1標識部の位置および立体形状と前記第2標識部の位置および立体形状と前記第3標識部の位置および立体形状とを算出するステップと、
前記第2標識部の位置および立体形状と、前記第3標識部の位置および立体形状と、前記ターゲットの中心座標と前記第2標識部との3次元相対関係と、前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係とに基づいて、前記長軸部先端からの光軸の位置を算出するステップと、
前記第1標識部の位置および立体形状と、前記長軸部先端からの光軸の位置とに基づいて、前記被定物体の長軸部先端からの光軸と前記第1標識部との3次元相対関係を算出するステップと、
を有する、3次元相対関係測定方法。 By processing the long-axis portion, the optical axis from the tip of the long-axis portion, and the three-dimensional shape data group in the vicinity of the long-axis portion and acquired when the three-dimensional shape is measured, the position and the three-dimensional shape A three-dimensional relative relationship measuring method for measuring a three-dimensional relative relationship between the optical axis and the first labeled portion of a measurement object having a first labeling portion capable of measuring the current using a three-dimensional relative relationship measuring system. And
The three-dimensional relative relationship measurement system includes:
A three-dimensional shape measuring apparatus that measures the three-dimensional shape of the object and measures the position and the three-dimensional shape of the object by processing the acquired three-dimensional shape data group ;
Fixing means for fixing the object to be measured;
A target on which an optical axis from the distal end of the long axis portion of the object to be measured hits, and a second labeling portion capable of measuring a position and a three-dimensional shape by the three-dimensional shape measuring device, the center coordinates of the target and the first A first calibration object whose three-dimensional relative relationship with the two labeling portions is known in advance or whose three-dimensional relative relationship between the center coordinates of the target and the second labeling portion can be measured by the three-dimensional shape measuring apparatus; When,
A third marking unit capable of measuring a position and a three-dimensional shape by the three-dimensional shape measuring apparatus, and when the object to be measured is fixed by the fixing means, The three-dimensional relative relationship between the coordinates included in the optical axis from the tip of the long axis portion and the third labeling portion is constant, and the three-dimensional relative relationship with the third labeling portion is known in advance, or the three-dimensional Second calibration that can measure the three-dimensional relative relationship between the coordinates of the tip of the long axis part of the object to be measured or the coordinates included on the optical axis from the tip of the long axis part and the third marker part by the shape measuring device. possess and use the object, the,
A step to make the pre-Symbol object to be measured is fixed to said fixing means, said optical axis from the major axis tip of the object to be measured hits the center of the target of the first calibration object,
Obtaining a three-dimensional shape data group of the object to be measured, the first calibration object, and the second calibration object by the three-dimensional shape measurement apparatus;
Calculating the position and three-dimensional shape of the first marker part, the position and three-dimensional shape of the second marker part, and the position and three-dimensional shape of the third marker part from the three-dimensional shape data group;
The position and solid shape of the second marker part, the position and solid shape of the third marker part, the three-dimensional relative relationship between the center coordinates of the target and the second marker part, and the coordinates of the tip of the long axis part Or calculating the position of the optical axis from the long-axis portion tip based on the coordinates included in the optical axis from the long-axis portion tip and the three-dimensional relative relationship between the third marker portion;
Based on the position and three-dimensional shape of the first marker part and the position of the optical axis from the tip of the long axis part, the optical axis from the tip of the long axis part of the fixed object and the first marker part 3 Calculating a dimensional relative relationship;
A three-dimensional relative relationship measuring method.
前記ターゲットの中心座標と前記第2標識部との3次元相対関係は、前記第2標識部の立体形状に関連するベクトルまたは定点位置と、前記ターゲットの中心座標との関係により定義される、請求項1記載の3次元相対関係測定方法。 The second marker part of the first calibration object has a three-dimensional shape in advance,
The three-dimensional relative relationship between the center coordinates of the target and the second marker part is defined by the relationship between a vector or a fixed point position related to the solid shape of the second marker part and the center coordinates of the target. Item 3. The three-dimensional relative relationship measuring method according to Item 1.
前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係は、前記第3標識部の立体形状に関連するベクトルまたは定点位置と、前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標との関係により定義される、請求項1乃至3いずれか記載の3次元相対関係測定方法。 The third marking part of the second calibration object has a three-dimensional shape in advance,
The three-dimensional relative relationship between the coordinates of the tip of the long axis part or the coordinates included in the optical axis from the tip of the long axis part and the third marker part is a vector or fixed point position related to the three-dimensional shape of the third marker part 4. The three-dimensional relative relationship measuring method according to claim 1, wherein the three-dimensional relative relationship measuring method is defined by a relationship between a coordinate of the tip of the long axis portion or a coordinate included in an optical axis from the tip of the long axis portion.
前記3次元相対関係測定システムは、
対象物の3次元形状を測定するとともに、取得された立体形状データ群を処理することにより対象物の位置および立体形状測定する3次元形状測定装置と、
前記被測定物体を固定する固定手段と、
前記被測定物体の長軸部先端からの光軸が当たるターゲットと、前記3次元形状測定装置により位置および立体形状が測定可能な第2標識部とを有し、前記ターゲットの中心座標と前記第2標識部との3次元相対関係が予めわかっているか、または前記3次元形状測定装置により前記ターゲットの中心座標と前記第2標識部との3次元相対関係が測定可能な第1の較正用物体と、
前記3次元形状測定装置により位置および立体形状が測定可能な第3標識部を有し、前記固定手段により前記被測定物体が固定されたとき、前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係が一定であり、予め前記第3標識部との3次元相対関係がわかっているか、または前記3次元形状測定装置により前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係が測定可能な第2の較正用物体とを有し、
前記被測定物体が前記固定手段に固定され、前記第1の較正用物体のターゲットの中心に前記被測定物体の長軸部先端からの光軸を一致させた状態で、前記3次元形状測定装置により、前記被測定物体、前記第1の較正用物体および前記第2の較正用物体の立体形状データ群を取得するステップと、
前記立体形状データ群から、前記第1標識部の位置および立体形状と前記第2標識部の位置および立体形状と前記第3標識部の位置および立体形状とを算出するステップと、
前記第2標識部の位置および立体形状と、前記第3標識部の位置および立体形状と、前記ターゲットの中心座標と前記第2標識部との3次元相対関係と、前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係とに基づいて、前記長軸部先端からの光軸の位置を算出するステップと、
前記第1標識部の位置および立体形状と、前記長軸部先端からの光軸の位置とに基づいて、前記被定物体の長軸部先端からの光軸と前記第1標識部との3次元相対関係を算出するステップと、
を有する、3次元相対関係測定プログラム。 By processing the long-axis portion, the optical axis from the tip of the long-axis portion, and the three-dimensional shape data group in the vicinity of the long-axis portion and acquired when the three-dimensional shape is measured, the position and the three-dimensional shape A three-dimensional relative relationship measurement program that operates on a three-dimensional relative relationship measurement system to determine a three-dimensional relative relationship between the optical axis and the first label portion of an object to be measured having a first label portion capable of measuring There,
The three-dimensional relative relationship measurement system includes:
A three-dimensional shape measuring apparatus that measures the three-dimensional shape of the object and measures the position and the three-dimensional shape of the object by processing the acquired three-dimensional shape data group ;
Fixing means for fixing the object to be measured;
A target on which an optical axis from the distal end of the long axis portion of the object to be measured hits, and a second labeling portion capable of measuring a position and a three-dimensional shape by the three-dimensional shape measuring device, the center coordinates of the target and the first A first calibration object whose three-dimensional relative relationship with the two labeling portions is known in advance or whose three-dimensional relative relationship between the center coordinates of the target and the second labeling portion can be measured by the three-dimensional shape measuring apparatus; When,
A third marking unit capable of measuring a position and a three-dimensional shape by the three-dimensional shape measuring apparatus, and when the object to be measured is fixed by the fixing means, The three-dimensional relative relationship between the coordinates included in the optical axis from the tip of the long axis portion and the third labeling portion is constant, and the three-dimensional relative relationship with the third labeling portion is known in advance, or the three-dimensional Second calibration that can measure the three-dimensional relative relationship between the coordinates of the tip of the long axis part of the object to be measured or the coordinates included on the optical axis from the tip of the long axis part and the third marker part by the shape measuring device. possess and use object,
Before SL is fixed to the object to be measured is the fixing means, wherein in a state where the optical axis is matched from the major axis tip of the object to be measured, the three-dimensional shape measurement in the center of the target of the first calibration object Obtaining a solid shape data group of the object to be measured, the first calibration object, and the second calibration object by an apparatus;
Calculating the position and three-dimensional shape of the first marker part, the position and three-dimensional shape of the second marker part, and the position and three-dimensional shape of the third marker part from the three-dimensional shape data group;
The position and solid shape of the second marker part, the position and solid shape of the third marker part, the three-dimensional relative relationship between the center coordinates of the target and the second marker part, and the coordinates of the tip of the long axis part Or calculating the position of the optical axis from the long-axis portion tip based on the coordinates included in the optical axis from the long-axis portion tip and the three-dimensional relative relationship between the third marker portion;
Based on the position and three-dimensional shape of the first marker part and the position of the optical axis from the tip of the long axis part, the optical axis from the tip of the long axis part of the fixed object and the first marker part 3 Calculating a dimensional relative relationship;
A three-dimensional relative relationship measurement program.
対象物の3次元形状を測定するとともに、取得された立体形状データ群を処理することにより対象物の位置および立体形状を測定する3次元形状測定装置と、
前記被測定物体を固定する固定手段と、
前記被測定物体の長軸部先端からの光軸が当たるターゲットと、前記3次元形状測定装置により位置および立体形状が測定可能な第2標識部とを有し、前記ターゲットの中心座標と前記第2標識部との3次元相対関係が予めわかっているか、または前記3次元形状測定装置により前記ターゲットの中心座標と前記第2標識部との3次元相対関係が測定可能な第1の較正用物体と、
前記3次元形状測定装置により位置および立体形状が測定可能な第3標識部を有し、前記固定手段により前記被測定物体が固定されたとき、前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係が一定であり、予め前記第3標識部との3次元相対関係がわかっているか、または前記3次元形状測定装置により前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係が測定可能な第2の較正用物体と、
前記被測定物体を前記固定手段に固定し、前記第1の較正用物体のターゲットの中心に前記被測定物体の長軸部先端からの光軸を一致させた状態で、前記3次元形状測定装置により、前記被測定物体、前記第1の較正用物体および前記第2の較正用物体の立体形状データ群を取得する手段と、
前記立体形状データ群から、前記第1標識部の位置および立体形状と前記第2標識部の位置および立体形状と前記第3標識部の位置および立体形状とを算出する手段と、
前記第2標識部の位置および立体形状と、前記第3標識部の位置および立体形状と、前記ターゲットの中心座標と前記第2標識部との3次元相対関係と、前記長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係とに基づいて、前記長軸部先端からの光軸の位置を算出する手段と、
前記第1標識部の位置および立体形状と、前記長軸部先端からの光軸の位置とに基づいて、前記被定物体の長軸部先端からの光軸と前記第1標識部との3次元相対関係を算出する手段と、
を有する、3次元相対関係測定システム。 By processing the long-axis portion, the optical axis from the tip of the long-axis portion, and the three-dimensional shape data group in the vicinity of the long-axis portion and acquired when the three-dimensional shape is measured, the position and the three-dimensional shape A three-dimensional relative relationship measurement system for measuring a three-dimensional relative relationship between the optical axis and the first labeling part of a measured object having a first labeling part capable of measuring
A three-dimensional shape measuring apparatus that measures the three-dimensional shape of the object and measures the position and the three-dimensional shape of the object by processing the acquired three-dimensional shape data group ;
Fixing means for fixing the object to be measured;
A target on which an optical axis from the distal end of the long axis portion of the object to be measured hits, and a second labeling portion capable of measuring a position and a three-dimensional shape by the three-dimensional shape measuring device, the center coordinates of the target and the first A first calibration object whose three-dimensional relative relationship with the two labeling portions is known in advance or whose three-dimensional relative relationship between the center coordinates of the target and the second labeling portion can be measured by the three-dimensional shape measuring apparatus; When,
A third marking unit capable of measuring a position and a three-dimensional shape by the three-dimensional shape measuring apparatus, and when the object to be measured is fixed by the fixing means, The three-dimensional relative relationship between the coordinates included in the optical axis from the tip of the long axis portion and the third labeling portion is constant, and the three-dimensional relative relationship with the third labeling portion is known in advance, or the three-dimensional Second calibration that can measure the three-dimensional relative relationship between the coordinates of the tip of the long axis part of the object to be measured or the coordinates included on the optical axis from the tip of the long axis part and the third marker part by the shape measuring device. Objects ,
The pre-Symbol object to be measured is fixed to said fixing means, said state in which the optical axis is matched from the major axis tip of the object to be measured, the three-dimensional shape measurement in the center of the target of the first calibration object Means for acquiring a three-dimensional shape data group of the measured object, the first calibration object, and the second calibration object by an apparatus;
Means for calculating the position and three-dimensional shape of the first marker part, the position and three-dimensional shape of the second marker part, and the position and three-dimensional shape of the third marker part from the three-dimensional shape data group;
The position and solid shape of the second marker part, the position and solid shape of the third marker part, the three-dimensional relative relationship between the center coordinates of the target and the second marker part, and the coordinates of the tip of the long axis part Or a means for calculating the position of the optical axis from the long axis portion based on the coordinates included in the optical axis from the long axis portion and the three-dimensional relative relationship between the third marker portion;
Based on the position and three-dimensional shape of the first marker part and the position of the optical axis from the tip of the long axis part, the optical axis from the tip of the long axis part of the fixed object and the first marker part 3 Means for calculating a dimensional relative relationship;
A three-dimensional relative relationship measurement system.
前記被測定物体を固定可能な固定手段と、
前記被測定物体の長軸部先端からの光軸が当たるターゲットと、3次元形状測定装置により位置および立体形状が測定可能な第2標識部とを有し、前記ターゲットの中心座標と前記第2標識部との3次元相対関係が予めわかっているか、または3次元形状測定装置により前記ターゲットの中心座標と前記第2標識部との3次元相対関係が測定可能な第1の較正用物体と、
3次元形状測定装置により位置および立体形状が測定可能な第3標識部を有し、前記固定手段により前記被測定物体が固定されたとき、前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸に含まれる座標と前記第3標識部との3次元相対関係が一定であり、予め前記第3標識部との3次元相対関係がわかっているか、または前記3次元形状測定装置により前記被測定物体の長軸部先端の座標または前記長軸部先端からの光軸上に含まれる座標と前記第3標識部との3次元相対関係が測定可能な第2の較正用物体と
前記第1の較正用物体を前記被測定物体と相対的に移動させる移動手段と、を有し、
前記移動手段により前記第1の較正用物体を移動させて前記ターゲットに前記長軸部先端からの光軸が当たるようにした後、3次元形状測定装置で前記第1乃至第3標識部の3次元相対位置を測定することにより、前記被測定物体の前記光軸と前記第1標識部との3次元相対関係を測定可能な3次元相対関係測定装置。
By processing the long-axis portion, the optical axis from the tip of the long-axis portion, and the three-dimensional shape data group in the vicinity of the long-axis portion and acquired when the three-dimensional shape is measured, the position and the three-dimensional shape A three-dimensional relative relationship measuring apparatus for measuring a three-dimensional relative relationship between the optical axis and the first labeling portion of a measured object having a first labeling portion capable of measuring
Fixing means capable of fixing the object to be measured;
A target on which the optical axis from the distal end of the long axis portion of the object to be measured hits, and a second labeling portion whose position and three-dimensional shape can be measured by a three-dimensional shape measuring apparatus, and the center coordinates of the target and the second A first calibration object having a known three-dimensional relative relationship with the marker, or a three-dimensional shape measuring device capable of measuring the three-dimensional relative relationship between the center coordinates of the target and the second marker;
A third marking unit capable of measuring a position and a three-dimensional shape by a three-dimensional shape measuring apparatus; and when the object to be measured is fixed by the fixing means, the coordinates of the tip of the long axis portion of the object to be measured or the length The three-dimensional relative relationship between the coordinates included in the optical axis from the tip of the shaft portion and the third marker portion is constant, and the three-dimensional relative relationship with the third marker portion is known in advance, or the three-dimensional shape Second calibration for measuring a three-dimensional relative relationship between the coordinates of the tip of the long axis of the object to be measured or the coordinates included on the optical axis from the tip of the long axis and the third marker A moving means for moving the object and the first calibration object relative to the object to be measured;
After the first calibration object is moved by the moving means so that the optical axis from the tip of the long axis part hits the target, 3 of the first to third labeling parts is measured by a three-dimensional shape measuring apparatus. A three-dimensional relative relationship measuring apparatus capable of measuring a three-dimensional relative relationship between the optical axis of the object to be measured and the first labeling unit by measuring a three-dimensional relative position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009029216A JP5560424B2 (en) | 2009-02-11 | 2009-02-11 | Method, apparatus, and system for measuring a three-dimensional relative relationship between an optical axis position of an object having an optical axis from the tip of the long axis portion and means for defining the position and orientation of the object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009029216A JP5560424B2 (en) | 2009-02-11 | 2009-02-11 | Method, apparatus, and system for measuring a three-dimensional relative relationship between an optical axis position of an object having an optical axis from the tip of the long axis portion and means for defining the position and orientation of the object |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010183995A JP2010183995A (en) | 2010-08-26 |
JP5560424B2 true JP5560424B2 (en) | 2014-07-30 |
Family
ID=42765011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009029216A Expired - Fee Related JP5560424B2 (en) | 2009-02-11 | 2009-02-11 | Method, apparatus, and system for measuring a three-dimensional relative relationship between an optical axis position of an object having an optical axis from the tip of the long axis portion and means for defining the position and orientation of the object |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5560424B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085847B (en) * | 2020-08-21 | 2024-05-17 | 深圳市瑞立视多媒体科技有限公司 | Rigid body mark point optimization method, equipment and optical motion capturing system |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5953112A (en) * | 1997-03-20 | 1999-09-14 | Hartford Hospital | Method and apparatus for evaluating the performance characteristics of endoscopes |
US6081336A (en) * | 1997-09-26 | 2000-06-27 | Picker International, Inc. | Microscope calibrator |
US7892165B2 (en) * | 2006-10-23 | 2011-02-22 | Hoya Corporation | Camera calibration for endoscope navigation system |
JP5162374B2 (en) * | 2008-08-21 | 2013-03-13 | 富士フイルム株式会社 | Endoscopic image deviation amount measuring apparatus and method, electronic endoscope and endoscope image processing apparatus |
JP5569711B2 (en) * | 2009-03-01 | 2014-08-13 | 国立大学法人浜松医科大学 | Surgery support system |
-
2009
- 2009-02-11 JP JP2009029216A patent/JP5560424B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010183995A (en) | 2010-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5137033B2 (en) | Surgery support information display device, surgery support information display method, and surgery support information display program | |
EP2953569B1 (en) | Tracking apparatus for tracking an object with respect to a body | |
EP2837328B1 (en) | Unmapped region visualization | |
JP5561458B2 (en) | Surgery support system | |
JP6129344B2 (en) | Endoscopy, especially for minimally invasive surgery | |
JP5283157B2 (en) | Surgery support information display device, surgery support information display method, and surgery support information display program | |
US20200129240A1 (en) | Systems and methods for intraoperative planning and placement of implants | |
JP5569711B2 (en) | Surgery support system | |
CN112184653B (en) | Binocular endoscope-based focus three-dimensional size measuring and displaying method | |
CN116327079A (en) | Endoscopic measurement system and tool | |
WO2017170488A1 (en) | Optical axis position measuring system, optical axis position measuring method, optical axis position measuring program, and optical axis position measuring device | |
JP5213201B2 (en) | Surgery support system that can identify types of internal insertion devices | |
JP5560424B2 (en) | Method, apparatus, and system for measuring a three-dimensional relative relationship between an optical axis position of an object having an optical axis from the tip of the long axis portion and means for defining the position and orientation of the object | |
WO2009107703A1 (en) | Surgery support system enabling identification of kind of body-inserted instrument | |
JP2017185212A (en) | Optical axis position measurement system, optical axis position measurement method, optical axis position measurement program, optical axis position measurement device | |
JP5200582B2 (en) | Method and system for measuring a three-dimensional relative relationship between a tip coordinate of a long axis portion of an object having a long axis portion and means for defining the position and orientation of the object | |
JP2016036594A (en) | Medical apparatus and ultrasonic diagnostic apparatus | |
US8551024B2 (en) | Method and device for determining a characteristic property of an anatomical structure | |
US20230368418A1 (en) | Accuracy check and automatic calibration of tracked instruments | |
US20220395328A1 (en) | Augmented reality-assisted method for performing surgery | |
US20230248441A1 (en) | Extended-reality visualization of endovascular navigation | |
CN204394569U (en) | A kind of echocardiography probe with three-dimensional electronic compass | |
TW202110404A (en) | Ultrasonic image system enables the processing unit to obtain correspondingly two-dimensional ultrasonic image when the ultrasonic probe is at different inclination angles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120114 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5560424 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |