JP2018529404A - Endoscopic stereoscopic system using shape reconstruction method from shadow and method thereof - Google Patents
Endoscopic stereoscopic system using shape reconstruction method from shadow and method thereof Download PDFInfo
- Publication number
- JP2018529404A JP2018529404A JP2018504782A JP2018504782A JP2018529404A JP 2018529404 A JP2018529404 A JP 2018529404A JP 2018504782 A JP2018504782 A JP 2018504782A JP 2018504782 A JP2018504782 A JP 2018504782A JP 2018529404 A JP2018529404 A JP 2018529404A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereoscopic
- shadow
- endoscope
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本発明は陰影からの形状復元法を使用する内視鏡立体視覚化システムを提供し，単眼内視鏡および立体モニターの間に画像変換装置が連結され、前記画像変換装置に内蔵する陰影からの形状復元法は単眼内視鏡から取得した平面画像を前記陰影からの形状復元法を介して距離情報を計算してから距離画像を生成し、且つ平面画像と距離画像を結合して所要の立体画像を生成し，外部の立体モニタに出力することにより、使用者は立体画像を見ることができ、既存の単眼内視鏡を両眼内視鏡システムに変更、または既存の単眼内視鏡のハードウェア機構を調整する必要がないので、従来の単眼内視鏡が立体画像を提供できないことおよび両眼内視鏡設備が高いという問題を解決することができる。
【選択図】図１
The present invention provides an endoscopic stereoscopic visualization system that uses a shape restoration method from a shadow, and an image conversion device is connected between a monocular endoscope and a stereoscopic monitor, and the image conversion device incorporates a shadow from a shadow incorporated in the image conversion device. In the shape restoration method, the distance information is generated from the planar image acquired from the monocular endoscope through the shape restoration method from the shadow, and then the distance image is generated. By generating an image and outputting it to an external stereoscopic monitor, the user can view the stereoscopic image, change the existing monocular endoscope to a binocular endoscope system, or change the existing monocular endoscope. Since it is not necessary to adjust the hardware mechanism, it is possible to solve the problem that the conventional monocular endoscope cannot provide a stereoscopic image and the binocular endoscope equipment is expensive.
[Selection] Figure 1
Description
本発明は一種の内視鏡立体視システムに係わり、特に陰影からの形状復元法を使用して立体画像を生成する内視鏡立体視システムに関する。 The present invention relates to a kind of endoscope stereoscopic system, and more particularly to an endoscope stereoscopic system that generates a stereoscopic image using a shape restoration method from a shadow.
現在の医療行為の中で、低侵襲手術は様々な病気の治療に対して不可欠な一部となっている。内視鏡の補助手術器具を介して前記低侵襲手術を実行することで、より小さい切り口および組織への損傷を減少し、患者が回復するまでの時間および全体的な治療コストを減少することができる。しかし、現在低侵襲手術に提供する内視鏡は全て単眼内視鏡であり、その単眼内視鏡は平面（２Ｄ）画像しか表示できない。平面画像には距離情報がないため、外科医がその平面画像を基づいて精確に手術器具を患者の体の正確の位置移動するには大きな困難が伴う。外科医は通常運動視差、単眼の情報および他の間接的な証拠を介して前記平面画像に距離を付けることにより、定位の精確度を上げる。しかし、立体視覚画像（２Ｄ画像および距離情報を含む）は距離感を提供し、且つ余分な経験（運動視差、単眼の情報および他の間接的な証拠）に頼る必要がないため、今でも前述の定位精確度が良くない課題に対する最適な解決方法である。現在、低侵襲手術に立体視覚画像を取得する需要がある場合は、双カメラを備える両眼内視鏡を使用し、外科医に必要な距離情報および立体画像を提供できるが、単眼内視鏡に比べてはるかに高価であるため、普及し難い欠点がある。 Among current medical practices, minimally invasive surgery has become an integral part of the treatment of various diseases. Performing the minimally invasive surgery via an endoscopic auxiliary surgical instrument can reduce damage to smaller incisions and tissues, reduce patient recovery time and overall treatment costs it can. However, all endoscopes currently provided for minimally invasive surgery are monocular endoscopes, and the monocular endoscope can display only a planar (2D) image. Since there is no distance information in the planar image, it is very difficult for the surgeon to accurately move the surgical instrument to the patient's body based on the planar image. Surgeons typically increase the accuracy of localization by distanceing the planar image via motion parallax, monocular information and other indirect evidence. However, stereoscopic vision images (including 2D images and distance information) provide a sense of distance and do not need to rely on extra experience (motion parallax, monocular information and other indirect evidence), so it is still This is an optimal solution to the problem of poor localization accuracy. Currently, if there is a need to obtain stereoscopic images for minimally invasive surgery, a binocular endoscope equipped with a twin camera can be used to provide the surgeon with necessary distance information and stereoscopic images. Since it is much more expensive, it has a drawback that is difficult to spread.
上述のように、現在の単眼内視鏡は平面画像しか表示できなく、その平面画像は距離情報を含まないため、定位しにくい問題が存在する。両眼内視鏡は立体画像を取得できる利点があるが、コストが高いため普及しにくい。よって、本発明の主な目的は、一種の陰影からの形状復元法を使用する内視鏡立体視システムおよびその方法を提供し、主に単眼内視鏡から取得した平面画像を陰影からの形状復元法を介して距離画像を生成してから平面画像と結合して立体画像を生成し、双カメラの設置、または既存の単眼内視鏡のハードウェア機構を調整する必要がないので、従来の単眼内視鏡が立体画像を提供できないことおよび両眼内視鏡設備が高いという問題を解決することができる。 As described above, since the current monocular endoscope can display only a planar image, and the planar image does not include distance information, there is a problem that localization is difficult. A binocular endoscope has an advantage that a stereoscopic image can be acquired, but is difficult to spread because of its high cost. Therefore, a main object of the present invention is to provide an endoscopic stereoscopic system using a shape restoration method from a kind of shadow and a method thereof, and to obtain a planar image obtained from a monocular endoscope mainly from a shadow. A distance image is generated via a reconstruction method, and then combined with a planar image to generate a stereoscopic image. There is no need to install a two-camera or adjust the hardware mechanism of an existing monocular endoscope. The problem that the monocular endoscope cannot provide a stereoscopic image and the binocular endoscope equipment is expensive can be solved.
前記目的を達成するために採用した主な技術手段として、前記陰影からの形状復元法の内視鏡立体視システムは：
内視鏡入力ポートと、２Ｄ／３Ｄ画像変換ユニットと、画像出力ポートとを備える画像変換装置を含み、前記内視鏡入力ポートは単眼内視鏡に連結して前記単眼内視鏡を介して平面画像を取得し、前記２Ｄ／３Ｄ画像変換ユニットは内蔵する陰影からの形状復元法を介して前記平面画像の距離画像を生成して立体画像に変換し、前記画像出力ポートは立体モニターに連結し、前記立体モニターは、前記２Ｄ／３Ｄ画像変換ユニットが変換した立体画像を表示し、
そのうち、前記陰影からの形状復元法は、前記２Ｄ／３Ｄ画像変換ユニットが平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定を加えることにより前記距離画像を得る。
As the main technical means adopted to achieve the above object, the endoscope stereoscopic system of the shape restoration method from the shadow is:
An image conversion device including an endoscope input port, a 2D / 3D image conversion unit, and an image output port, wherein the endoscope input port is connected to a monocular endoscope via the monocular endoscope The 2D / 3D image conversion unit obtains a planar image, generates a distance image of the planar image through a shape restoration method from a built-in shadow, converts it to a stereoscopic image, and connects the image output port to a stereoscopic monitor. The stereoscopic monitor displays the stereoscopic image converted by the 2D / 3D image conversion unit,
Among them, in the shape reconstruction method from the shadow, the 2D / 3D image conversion unit calculates the light source of the planar image and the distribution information of the shadow, and the distribution information repeats the gradient value calculation of the pixel value, the light source direction and The distance image is obtained by combining the position information and adding the light source direction estimation.
前記目的を達成するために採用した主な技術手段として、前記陰影からの形状復元法の内視鏡立体視覚化方法は：
平面画像を捕捉する：画像捕捉設備を介して内視鏡カメラの平面画像を取得し；
陰影からの形状復元法を介して距離画像を生成する：陰影からの形状復元法を介して平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定を加えることにより相対位置判断の精度を上げて、その計算後の結果は相対的な距離画像であり、前記距離画像のピクセル値は、ピクセル強度と、光源方向と、座標の自然対数とを備え、且つクイックソリューション方程式および並行計算を介してその反復計算を加速し；
距離画像を介して視差マッピングを生成する：前記距離画像はグレースケール画像から成り、三次元における物体の前後関係を表示し、前記距離画像が立体画像に変換する過程に視差マッピングが生成され、前記視差マッピングのピクセル値と距離画像とは反比例であるが、カメラの焦点距離および両眼の距離とは正比例であり；および
立体視覚の左右画像を生成する：立体画像から得た視差マッピングを使用して、立体画像の左右眼画像を生成し、且つ前記視差マッピングのピクセル値は両眼の間に各ピクセルの偏差も表すため、前記立体画像の左眼画像または右眼画像が生成される。
As the main technical means adopted to achieve the above object, the endoscope stereoscopic visualization method of the shape restoration method from the shadow is:
Capture a planar image: obtain a planar image of an endoscopic camera through an image capture facility;
Generate range image via shape reconstruction method from shadow: Calculate light source of planar image and its shadow distribution information via shape reconstruction method from shadow, and the distribution information will calculate the pixel values as gradient iteration. Repeatedly, combining the light source direction and position information and adding light source direction estimation to increase the accuracy of relative position determination, the result after the calculation is a relative distance image, and the pixel value of the distance image is With pixel intensity, light source direction, and natural logarithm of coordinates, and accelerates its iterative calculations via quick solution equations and parallel calculations;
Generating a parallax mapping through a distance image: the distance image is composed of a grayscale image, displaying a three-dimensional object context, and generating a parallax mapping in the process of converting the distance image into a stereoscopic image; The pixel value of the parallax mapping and the distance image are inversely proportional, but the camera focal length and binocular distance are directly proportional; and generate stereoscopic left and right images: using the parallax mapping obtained from the stereoscopic image Thus, the left and right eye images of the stereoscopic image are generated, and the pixel value of the parallax mapping also represents the deviation of each pixel between both eyes, so the left eye image or the right eye image of the stereoscopic image is generated.
前記部品からなる陰影からの形状復元法を使用する内視鏡立体視システムおよびその方法は、単眼内視鏡から取得した平面画像を陰影からの形状復元法を介して距離情報を計算してから距離画像を生成し、平面画像と距離画像を結合して所要の立体画像が生成されて、外部の立体モニタに出力することにより、使用者は変換後の立体画像を見ることができ、既存の単眼内視鏡を両眼内視鏡システムに変更、または既存の単眼内視鏡のハードウェア機構を調整する必要がないので、従来の単眼内視鏡が立体画像を提供できないことおよび両眼内視鏡設備が高いという問題を解決することができる。 An endoscope stereoscopic system and method using a shape restoration method from a shadow composed of the above components, after calculating a distance information from a planar image acquired from a monocular endoscope via a shape restoration method from a shadow A distance image is generated, and a planar image and a distance image are combined to generate a required stereoscopic image, which is output to an external stereoscopic monitor, so that the user can view the converted stereoscopic image. Since it is not necessary to change the monocular endoscope to a binocular endoscope system or adjust the hardware mechanism of the existing monocular endoscope, the conventional monocular endoscope cannot provide a stereoscopic image and the intraocular The problem of high scope equipment can be solved.
１０：画像変換装置
１１：内視鏡入力ポート
１２：２Ｄ／３Ｄ画像変換ユニット
１３：画像出力ポート
２０：単眼内視鏡
３０：立体モニター。
10: Image conversion device 11: Endoscope input port 12: 2D / 3D image conversion unit 13: Image output port 20: Monocular endoscope 30: Stereo monitor
本発明の好ましい実施例の回路ブロック図については、図１を参照し、主に画像変換装置１０に単眼内視鏡２０および立体モニター３０が連結され、前記画像変換装置１０は、内視鏡入力ポート１１と、２Ｄ／３Ｄ画像変換ユニット１２と、画像出力ポート１３とを備え、前記２Ｄ／３Ｄ画像変換ユニット１２は、別々に内視鏡入力ポート１１および画像出力ポート１３に電気接続され、前記内視鏡入力ポート１１は前記単眼内視鏡２０に連結され、前記画像出力ポート１３は前記立体モニターに連結され；前記２Ｄ／３Ｄ画像変換ユニット１２は単眼内視鏡２０を介して平面画像を取得し、それに内蔵する陰影からの形状復元法を介して平面画像を立体画像に変換してから、立体モニター３０を２Ｄ／３Ｄ画像変換ユニット１２によって変換後の立体画像を表示するように画像出力ポート１３を介して前記立体画像を立体モニター３０に出力する。
For a circuit block diagram of a preferred embodiment of the present invention, referring to FIG. 1, a
本発明の好ましい実施例のフローチャートについては、図２を参照し、前記２Ｄ／３Ｄ画像変換ユニット１２は以下のステップを実行することによって内視鏡の平面画像を立体画像に変換する。
For the flowchart of the preferred embodiment of the present invention, referring to FIG. 2, the 2D / 3D
内視鏡カメラ校正（Ｓ１）：カメラ校正法［１］を介して前記内視鏡カメラの内部パラメータを計算し、前記カメラ校正法は、校正モジュールの回転および平行移動を介してカメラの姿勢を推定してから、非線形解を介して前記カメラの内部パラメータおよび外部パラメータを得る。 Endoscope camera calibration (S1): The internal parameters of the endoscope camera are calculated via the camera calibration method [1], and the camera calibration method determines the camera posture through rotation and translation of the calibration module. After estimation, the camera internal and external parameters are obtained through a non-linear solution.
平面画像を捕捉する（Ｓ２）：画像捕捉設備を介して内視鏡カメラの平面画像を取得し；前記画像捕捉設備はＳＤまたはＨＤの解像度を有し、前記内視鏡カメラのレンズは３０°または広角レンズである。 Capture a planar image (S2): obtain a planar image of an endoscopic camera through an image capturing facility; the image capturing facility has a resolution of SD or HD, and the lens of the endoscopic camera is 30 ° Or a wide-angle lens.
陰影からの形状復元法を介して距離画像を生成する（Ｓ３）：陰影からの形状復元法［２］を介して平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定［３］を加えることにより相対位置判断の精度を上げて、その計算後の結果は相対的な距離画像であり、前記距離画像のピクセル値は、ピクセル強度と、光源方向と、座標の自然対数とを備え、且つクイックソリューション方程式［４］および並行計算を介してその反復計算を加速する。 A distance image is generated through a shape restoration method from a shadow (S3): a light source of a planar image and distribution information of the shadow are calculated through a shape restoration method [2] from a shadow, and the distribution information is a pixel Repeat the gradient iteration calculation of the value, combine the light source direction and position information, and add the light source direction estimation [3] to improve the accuracy of the relative position determination, the result after the calculation is a relative distance image Yes, the pixel value of the distance image comprises pixel intensity, light source direction and natural logarithm of coordinates and accelerates its iterative calculation via quick solution equation [4] and parallel calculation.
反復計算方程式を計算することによって、配光分布の距離画像を生成し、内視鏡の光源と内視鏡のカメラベクトルはほぼ一致であるため、ここで同じベクトルとして単純化する。 By calculating the iterative calculation equation, a distance image of the light distribution is generated, and the light source of the endoscope and the camera vector of the endoscope are almost the same.
距離画像を介して視差マッピングを生成する（Ｓ４）：前記距離画像はグレースケール画像から成り、三次元における物体の前後関係を表示し、前記距離画像が立体画像に変換する過程に視差マッピング［５］が生成され、前記視差マッピングのピクセル値と距離画像とは反比例であるが、カメラの焦点距離および両眼の距離とは正比例である。 Generate disparity mapping via a distance image (S4): The distance image is a grayscale image, displays the front-rear relationship of objects in three dimensions, and disparity mapping [5 in the process of converting the distance image into a stereoscopic image. The pixel value of the parallax mapping and the distance image are inversely proportional, but the focal length of the camera and the distance of both eyes are directly proportional.
立体視覚の左右画像を生成する（Ｓ５）：立体画像から得た視差マッピングを使用して、立体画像の左右眼画像を生成し、且つ前記視差マッピングのピクセル値は両眼の間に各ピクセルの偏差も表すため、前記立体画像の左眼画像または右眼画像が生成される。前記生成された左右眼画像は、異なる３Ｄディスプレイフォマット、例えば、並列画像（ｓｉｄｅ−ｂｙ−ｓｉｄｅ）、インタレース（Ｉｎｔｅｒｌａｃｅｄ）画像または他の３Ｄディスプレイフォマットに変換することができ、そして立体モニターを介して表示する。 Generate left and right images of stereoscopic vision (S5): Use the parallax mapping obtained from the stereoscopic image to generate left and right eye images of the stereoscopic image, and the pixel value of the parallax mapping is the value of each pixel between both eyes Since the deviation is also expressed, a left eye image or a right eye image of the stereoscopic image is generated. The generated left and right eye images can be converted into different 3D display formats, eg side-by-side, interlaced images or other 3D display formats, and via a stereo monitor To display.
上述のように、前記平面画像は陰影からの形状復元法を介してその距離情報を計算してから距離画像を生成し、平面画像と距離画像を結合することによって所要の立体画像を生成し、既存の単眼内視鏡を両眼内視鏡システムに変更、または既存の単眼内視鏡のハードウェア機構を調整する必要がないので、従来の単眼内視鏡が立体画像を提供できないことおよび両眼内視鏡設備が高いという問題を解決することができる。 As described above, the plane image is calculated by calculating the distance information through a shape restoration method from a shadow, and then a distance image is generated, and a desired stereoscopic image is generated by combining the plane image and the distance image, Since there is no need to change the existing monocular endoscope to a binocular endoscope system or adjust the hardware mechanism of the existing monocular endoscope, the conventional monocular endoscope cannot provide a stereoscopic image and both The problem that the endoscopic equipment is expensive can be solved.
参考文献：
［１］ “画像処理、解析およびマシンビジョン（Ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ， ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ）， ２ｎｄ ｅｄ．， ｖｏｌ． ６８ ＰＷＳ， １９９８， ｐｐ．４４８−４５７”
［２］ Ｖｉｓｅｎｔｉｎｉ−Ｓｃａｒｚａｎｅｌｌａ ｅｔ ａｌ． ２０１２年ＩＥＥＥ国際画像処理会議（ＩＥＥＥ Ｉｎｔｅｒｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ） “陰影からの形状復元法および鏡面反射を使用した単眼画像からのメトリック深度の復元” （Ｍｅｔｒｉｃ ｄｅｐｔｈ ｒｅｃｏｖｅｒｙ ｆｒｏｍ ｍｏｎｏｃｕｌａｒ ｉｍａｇｅｓ ｕｓｉｎｇ ｓｈａｐｅ−ｆｒｏｍ−ｓｈａｄｉｎｇ ａｎｄ ｓｐｅｃｕｌａｒｉｔｉｅｓ ）
［３］ Ｄａｎａｉｌ Ｓｔｏｙａｎｏｖ ｅｔ ａｌ． ２００９年ＩＥＥＥ／ ＲＳＪ国際知能ロボットおよびシステム（ＩＲＯＳ）（ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍ （ＩＲＯＳ）） “ロボット低侵襲手術における３次元軟部組織再構成のための照明位置推定” （Ｉｌｌｕｍｉｎａｔｉｏｎ ｐｏｓｉｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ３Ｄ ｓｏｆｔ ｔｉｓｓｕｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｉｎ ｒｏｂｏｔｉｃ ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｓｕｒｇｅｒｙ）
［４］ Ｃｈｉｕ−Ｙｅｎ Ｋａｏ ｅｔ ａｌ． ＳＩＡＭ Ｊ． Ｎｕｍｅｒｉｃａｌ Ａｎａｌｙｓｉｓ ２００５ “静的ハミルトン − ヤコビ方程式の高速掃引法” （Ｆａｓｔ Ｓｗｅｅｐｉｎｇ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｔａｔｉｃ Ｈａｍｉｔｏｎ−Ｊａｃｏｂｉ Ｅｑｕａｔｉｏｎ）
［５］ Ｂｅｒｒｅｔｔｙ ｅｔ ａｌ． ２００６年国際光学および光工学学会（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ ２００６） “リアルタイム多視点自動立体視レンダリングモニター” （Ｒｅａｌ−ｔｉｍｅ ｒｅｎｄｅｒｉｎｇ ｆｏｒ ｍｕｌｔｉ−ｖｉｅｗ ａｕｔｏ−ｓｔｅｒｅｏｓｃｏｐｉｃ ｄｉｓｐｌａｙｓ）。
References:
[1] “Image processing, analysis and machine vision”, 2nd ed., Vol. 68 PWS, 1998, pp. 448-457 ”
[2] Visentini-Scarzanella et al. 2012 IEEE International Conference on Image Processing “Reconstruction of Metric Depth from Monocular Image Using Shape Reconstruction Method from Shadows and Specular Reflection” (Metric depth recovery-monochromatic imaging) and specialties)
[3] Danail Stoyanov et al. 2009 IEEE / RSJ International Intelligent Robots and Systems (IROS) “Illumination Position Estimation for 3D Soft Tissue Reconstruction in Robotic Minimally Invasive Surgery” (Illumination ps estimation for 3D soft tissue restructuring in robotically minimally
[4] Chiu-Yen Kao et al. SIAM J.M. Numeric Analysis 2005 “Static Hamilton-Jacobi Equation Fast Sweep Method” (Fast Sweeping Methods for Static Hamton-Jacobi Equation)
[5] Berretty et al. 2006 International Society for Optics and Photonics 2006, “Real-time rendering for multi-view autostereoscopic displays” (Real-time rendering for multi-view autostereoscopic displays).
Claims (4)
前記画像変換装置は、内視鏡入力ポートと、２Ｄ／３Ｄ画像変換ユニットと、画像出力ポートとを備え、前記内視鏡入力ポートは単眼内視鏡に連結して前記単眼内視鏡を介して平面画像を取得し、前記２Ｄ／３Ｄ画像変換ユニットは内蔵する陰影からの形状復元法を介して前記平面画像の距離画像を生成して立体画像に変換し、前記画像出力ポートは立体モニターに連結し、前記立体モニターは、前記２Ｄ／３Ｄ画像変換ユニットが変換した立体画像を表示し、
前記陰影からの形状復元法は、前記２Ｄ／３Ｄ画像変換ユニットが平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定を加えることにより前記距離画像を得ることを特徴とする、陰影からの形状復元法を使用する内視鏡立体視覚化システム。 An endoscopic stereoscopic visualization system that uses a shape reconstruction method from a shadow provided with an image conversion device,
The image conversion apparatus includes an endoscope input port, a 2D / 3D image conversion unit, and an image output port. The endoscope input port is connected to a monocular endoscope and is connected to the monocular endoscope. The 2D / 3D image conversion unit generates a distance image of the planar image through a shape restoration method from a built-in shadow and converts it into a stereoscopic image, and the image output port is connected to a stereoscopic monitor. When connected, the stereoscopic monitor displays a stereoscopic image converted by the 2D / 3D image conversion unit,
In the shape restoration method from the shadow, the 2D / 3D image conversion unit calculates the light source of the flat image and the distribution information of the shadow, and the distribution information repeats the gradient iteration of the pixel value, and the light source direction and position information. An endoscope stereoscopic visualization system using a shape restoration method from a shadow, characterized in that the distance image is obtained by combining the above and a light source direction estimation.
前記方法は、平面画像を捕捉するステップと、陰影からの形状復元法を介して距離画像を生成するステップと、距離画像を介して視差マッピングを生成するステップと、立体視覚の左右画像を生成するステップとを備え、
前記平面画像を捕捉するステップは、画像捕捉設備を介して内視鏡カメラの平面画像を取得し、
前記陰影からの形状復元法を介して距離画像を生成するステップは、陰影からの形状復元法を介して平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定を加えることにより相対位置判断の精度を上げて、その計算後の結果は相対的な距離画像であり、前記距離画像のピクセル値は、ピクセル強度と、光源方向と、座標の自然対数とを備え、且つクイックソリューション方程式および並行計算を介してその反復計算を加速し、
前記距離画像を介して視差マッピングを生成するステップにおいて、前記距離画像はグレースケール画像から成り、三次元における物体の前後関係を表示し、前記距離画像が立体画像に変換する過程に視差マッピングが生成され、前記視差マッピングのピクセル値と距離画像とは反比例であるが、カメラの焦点距離および両眼の距離とは正比例であり、
前記立体視覚の左右画像を生成するステップは、立体画像から得た視差マッピングを使用して、立体画像の左右眼画像を生成し、且つ前記視差マッピングのピクセル値は両眼の間に各ピクセルの偏差も表すため、前記立体画像の左眼画像または右眼画像が生成されることを特徴とする、陰影からの形状復元法を使用する内視鏡立体視覚化方法。 An endoscopic stereoscopic visualization method using a shape reconstruction method from shadows,
The method includes capturing a planar image, generating a distance image via a shape reconstruction method from shadows, generating a parallax mapping via the distance image, and generating a stereoscopic left and right image. With steps,
The step of capturing the planar image obtains a planar image of an endoscopic camera through an image capturing facility,
The step of generating the distance image through the shape restoration method from the shadow calculates the light source of the planar image and the distribution information of the shadow through the shape restoration method from the shadow, and the distribution information uses the pixel value as a gradient. The iterative calculation is repeated, the light source direction and the position information are combined, and the accuracy of the relative position determination is improved by adding the light source direction estimation. The result after the calculation is a relative distance image, and the distance image Pixel value comprises pixel intensity, light source direction, and natural logarithm of coordinates, and accelerates its iterative calculation via quick solution equations and parallel calculations,
In the step of generating the parallax mapping through the distance image, the distance image is made up of a grayscale image, displaying a three-dimensional object context, and generating the parallax mapping in the process of converting the distance image into a stereoscopic image. The pixel value of the parallax mapping and the distance image are inversely proportional, but the focal length of the camera and the distance of both eyes are directly proportional,
The step of generating the left and right images of the stereoscopic vision generates a right and left eye image of the stereoscopic image using the parallax mapping obtained from the stereoscopic image, and the pixel value of the parallax mapping is a value of each pixel between both eyes. An endoscope stereoscopic visualization method using a shape restoration method from a shadow, wherein a left-eye image or a right-eye image of the stereoscopic image is generated to represent a deviation.
前記内視鏡カメラ校正ステップは、カメラ校正法を介して前記内視鏡カメラの内部パラメータを計算し、前記カメラ校正法は、校正モジュールの回転および平行移動を介してカメラの姿勢を推定してから、非線形解を介して前記カメラの内部パラメータおよび外部パラメータを得ることを特徴とする、請求項２に記載の陰影からの形状復元法を使用する内視鏡立体視覚化方法。 Before the step of capturing the planar image, performing an endoscope camera calibration step;
The endoscopic camera calibration step calculates an internal parameter of the endoscopic camera via a camera calibration method, and the camera calibration method estimates the posture of the camera via rotation and translation of a calibration module. The endoscope stereoscopic visualization method using the shape restoration method from a shadow according to claim 2, wherein an internal parameter and an external parameter of the camera are obtained through a nonlinear solution.
The shape reconstruction method from the shadow completes the calculation of the light distribution as follows:
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2015/000587 WO2017024422A1 (en) | 2015-08-13 | 2015-08-13 | Endoscope stereo vision system utilizing shape-from-shading technique and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018529404A true JP2018529404A (en) | 2018-10-11 |
| JP6600442B2 JP6600442B2 (en) | 2019-10-30 |
Family
ID=57982886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018504782A Active JP6600442B2 (en) | 2015-08-13 | 2015-08-13 | Monocular Endoscopic Stereoscopic System Using Shape Reconstruction Method from Shadow and Method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6600442B2 (en) |
| WO (1) | WO2017024422A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113140010B (en) * | 2021-05-14 | 2022-08-12 | 上海交通大学 | Three-dimensional reconstruction method, system, device and medium suitable for less/no-feature environment |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007132378A2 (en) * | 2006-05-09 | 2007-11-22 | Koninklijke Philips Electronics N. V. | Imaging system for three-dimensional imaging of the interior of an object |
| WO2013175899A1 (en) * | 2012-05-24 | 2013-11-28 | オリンパス株式会社 | Stereoscopic endoscope device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI538651B (en) * | 2014-02-14 | 2016-06-21 | Stereo visualization system and method of endoscopy using chromaticity forming method |
-
2015
- 2015-08-13 JP JP2018504782A patent/JP6600442B2/en active Active
- 2015-08-13 WO PCT/CN2015/000587 patent/WO2017024422A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007132378A2 (en) * | 2006-05-09 | 2007-11-22 | Koninklijke Philips Electronics N. V. | Imaging system for three-dimensional imaging of the interior of an object |
| WO2013175899A1 (en) * | 2012-05-24 | 2013-11-28 | オリンパス株式会社 | Stereoscopic endoscope device |
Non-Patent Citations (1)
| Title |
|---|
| MARCO VISENTINI-SCARZANELLA ET AL.: "METRIC DEPTH RECOVERY FROM MONOCULAR IMAGES USING SHAPE-FROM-SHADING AND SPECULARITIES", 2012 19TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, JPN7019000132, 2012, pages 第２５−２８頁 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017024422A1 (en) | 2017-02-16 |
| JP6600442B2 (en) | 2019-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240000295A1 (en) | Light field capture and rendering for head-mounted displays | |
| US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
| US20170035268A1 (en) | Stereo display system and method for endoscope using shape-from-shading algorithm | |
| US10561304B2 (en) | Medical stereoscopic observation device, medical stereoscopic observation method, and program | |
| US20140336461A1 (en) | Surgical structured light system | |
| US9220399B2 (en) | Imaging system for three-dimensional observation of an operative site | |
| JP5893808B2 (en) | Stereoscopic endoscope image processing device | |
| KR20140115575A (en) | Surgical robot system and method for controlling the same | |
| JP2015531271A (en) | Surgical image processing system, surgical image processing method, program, computer-readable recording medium, medical image processing apparatus, and image processing inspection apparatus | |
| CN107595408B (en) | 2D and naked eye 3D double-screen endoscope system and display method | |
| Reiter et al. | Surgical structured light for 3D minimally invasive surgical imaging | |
| CN110992431A (en) | Combined three-dimensional reconstruction method for binocular endoscope soft tissue image | |
| JP4580678B2 (en) | Gaze point display device | |
| CN115919239A (en) | Imaging method for 3D endoscopic imaging system and 3D endoscopic imaging system | |
| CN113925441B (en) | Imaging method and imaging system based on endoscope | |
| US11463676B2 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm | |
| EP3130273B1 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm | |
| Cutolo et al. | The role of camera convergence in stereoscopic video see-through augmented reality displays | |
| JP6600442B2 (en) | Monocular Endoscopic Stereoscopic System Using Shape Reconstruction Method from Shadow and Method | |
| WO2016194446A1 (en) | Information processing device, information processing method, and in-vivo imaging system | |
| US20240115338A1 (en) | Endoscope master-slave motion control method and surgical robot system | |
| CN116158718A (en) | Imaging and display method for endoscope system and endoscope system | |
| TWI538651B (en) | Stereo visualization system and method of endoscopy using chromaticity forming method | |
| TW201509360A (en) | Three-dimensional visualization system for single-lens endoscope and method thereof | |
| US20190394454A1 (en) | Medical-image display control device, medical-image display device, medical-information processing system, and medical-image display control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191005 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6600442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |