JP2020058779A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2020058779A5 JP2020058779A5 JP2019128017A JP2019128017A JP2020058779A5 JP 2020058779 A5 JP2020058779 A5 JP 2020058779A5 JP 2019128017 A JP2019128017 A JP 2019128017A JP 2019128017 A JP2019128017 A JP 2019128017A JP 2020058779 A5 JP2020058779 A5 JP 2020058779A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscope
- instrument
- automatically
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims 7
- 238000004590 computer program Methods 0.000 claims 5
- 230000000875 corresponding Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 claims 1
Claims (15)
- ユーザーを支援する方法(11)であって、
目標物(6)を表示する3Dデータセットを準備するステップと、
前記目標物(6)の少なくとも1つの2D画像を取得するステップと、
前記少なくとも1つの2D画像と準備された前記3Dデータセットとの自動的な2D/3Dの位置合わせを行うステップと、
前記2D/3Dの位置合わせの不確実性が最大となる空間方向(4)を自動的に特定するステップと、
ユーザーを支援するために、前記目標物(6)を検査するために設けられた器具(13)の方向付けを支援するための信号を、特定された前記空間方向(4)に応じて自動的に生成及び出力するステップと、
を含む、方法。 - 前記器具(13)として、内視鏡(13)が用いられ、
前記2D画像の座標系において、前記内視鏡(13)の姿勢を自動的に追跡し、
前記内視鏡(13)によって撮影された前記目標物(6)の少なくとも1つの内視鏡画像と、前記3Dデータセットとから、少なくとも1つの重ね合わせ画像を生成し、
前記内視鏡(13)の方向をユーザーが変更することができること及びその方法の示唆を前記信号としてユーザーに出力し、それにより、前記2D/3Dの位置合わせの前記不確実性に起因する、前記重ね合わせ画像における、視覚化の誤差を低減するために、前記内視鏡(13)の取得方向(15)が、特定された前記空間方向(4)に沿って延びるようにすることを特徴とする、請求項1に記載の方法。 - 前記器具(13)として、ロボットによってガイドされる内視鏡(13)が用いられ、
前記2D画像の座標系において、前記内視鏡(13)の姿勢を自動的に追跡し、
前記内視鏡(13)によって撮影された、前記目標物(6)の内視鏡画像と、前記3Dデータセットとから、重ね合わせ画像を生成し、
前記ロボットに対する制御信号が前記信号として生成され、該制御信号が前記ロボットに用いられることによって、前記ロボットは、前記内視鏡(13)を自動的に方向付けし、それにより、前記2D/3Dの位置合わせの前記不確実性に起因する、前記重ね合わせ画像における、視覚化の誤差を低減するために、前記内視鏡(13)の取得方向(15)が、特定された前記空間方向(4)に沿って延びるようにすることを特徴とする、請求項1又は2に記載の方法。 - 前記器具(13)として、内視鏡(13)が用いられ、
前記2D画像の座標系において、前記内視鏡(13)の姿勢を自動的に追跡し、
前記内視鏡(13)によって撮影された、前記目標物(6)の内視鏡画像と、前記3Dデータセットとから、重ね合わせ画像を生成し、
前記2D画像を撮影するために使用される撮像モダリティ(1)に対する制御信号が、前記信号として生成され、それにより、前記2D/3Dの位置合わせの前記不確実性に起因する、前記重ね合わせ画像における、視覚化の誤差を低減するために、前記撮像モダリティ(1)の撮影方向(4)が、前記内視鏡(13)の取得方向(15)に沿って自動的に並べられることを特徴とする、請求項1〜3のいずれか1項に記載の方法。 - 前記器具(13)として、内視鏡(13)が用いられ、
前記2D画像の座標系において、前記内視鏡(13)の姿勢を自動的に追跡し、
前記内視鏡(13)によって撮影された前記目標物(6)の内視鏡画像と、前記3Dデータセットとから、重ね合わせ画像を生成し、
前記信号として、前記重ね合わせ画像の視覚化が、前記2D/3Dの位置合わせの前記不確実性の、空間的に異方性の程度に従って場所に応じて適合され、前記重ね合わせ画像の一部の振れ、グレーアウト、引き伸ばし、及び非表示のうちの一つまたは複数によって適合されることを特徴とする、請求項1〜4のいずれか1項に記載の方法。 - 前記重ね合わせ画像の前記視覚化は、前記2D/3Dの位置合わせの前記不確実性が最大となる特定の前記空間方向(4)においてのみ適合されることを特徴とする、請求項5に記載の方法。
- 前記器具(13)として、ステレオ内視鏡(13)が用いられ、
前記2D画像の座標系における、前記ステレオ内視鏡(13)の姿勢を自動的に追跡し、
前記ステレオ内視鏡によって撮影された、前記目標物(6)のステレオ内視鏡画像と、前記3Dデータセットとから、重ね合わせ画像を生成し、
前記ステレオ内視鏡画像の左側画像と右側画像との間の輻輳又は視差により、前記重ね合わせ画像において特定の前記空間方向(4)における空間的効果が生じることを特徴とする、請求項1〜6のいずれか1項に記載の方法。 - 前記2D/3Dの位置合わせの前記不確実性を考慮して、所定の目標に達するために、前記器具(13)が導かれる経路を自動的に特定して、前記信号として出力することを特徴とする、請求項1〜7のいずれか1項に記載の方法。
- 前記経路を特定するために、前記器具(13)の作用の好ましい方向を考慮することを特徴とする、請求項8に記載の方法。
- 前記器具(13)が前記重ね合わせ画像において表示されて、前記信号として又は前記信号によって、前記重ね合わせ画像において、前記器具(13)の表示と前記器具(13)の作用範囲の一方又は双方が、前記2D/3Dの位置合わせのそれぞれの局所的な前記不確実性に応じて、空間的に異方性な仕方で拡大されることを特徴とする、請求項1〜9のいずれか1項に記載の方法。
- 前記2D/3Dの位置合わせの方向に基づく不確実性に応じて、前記器具(13)の作用の好ましい方向を考慮して、前記器具(13)の少なくとも1つの使用位置を自動的に特定して、対応する示唆を前記信号として出力することを特徴とする、請求項1〜10のいずれか1項に記載の方法。
- 前記器具の現在の方向をその都度自動的に取得し、
前記器具の取得された前記方向及び前記2D/3Dの位置合わせの前記不確実性に応じて、取得された前記方向において、予め定められた目標に前記器具(13)が達するための確率を自動的に計算し、
前記計算された確率を前記信号として出力することを特徴とする、請求項1〜11のいずれか1項に記載の方法。 - 請求項1〜12のいずれか1項に記載の方法(11)が符号化されたコンピュータープログラム(11)を含むコンピュータープログラム製品であって、
撮像システム(1)のデータ処理装置(7)の記憶装置(9)内に読み込まれて、
前記コンピュータープログラム(11)が前記データ処理装置(7)によって実行されるとき、前記方法(11)を実行するように、
構成及び適合された、コンピュータープログラム製品。 - 撮像システム(1)用のデータ記憶媒体(9)であって、該データ記憶媒体(9)には、データ処理装置(7)によって実行可能で、かつ請求項1〜12のいずれか1項に記載の方法(11)を符号化したコンピュータープログラム(11)を含むプログラムコードが記憶され、前記データ処理装置(7)によって前記プログラムコードが実行されるときに前記方法(11)が実行される、データ記憶媒体。
- 撮像システムであって、
目標物(6)を表示する3Dデータセットと、前記目標物(6)の少なくとも1つの2D画像とを取得する取得装置(1)と、
プロセッサ装置(10)と、該プロセッサ装置(10)に接続された請求項14に記載のデータ記憶媒体(9)とを備えるデータ処理装置(7)と、
自動的に生成された信号を出力するための出力装置(17)と、
を備える、撮像システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18195330.8A EP3626176B1 (de) | 2018-09-19 | 2018-09-19 | Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system |
EP18195330.8 | 2018-09-19 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020058779A JP2020058779A (ja) | 2020-04-16 |
JP2020058779A5 true JP2020058779A5 (ja) | 2020-06-11 |
JP6952740B2 JP6952740B2 (ja) | 2021-10-20 |
Family
ID=63642787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019128017A Active JP6952740B2 (ja) | 2018-09-19 | 2019-07-10 | ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11576557B2 (ja) |
EP (1) | EP3626176B1 (ja) |
JP (1) | JP6952740B2 (ja) |
CN (1) | CN110916702B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020044523A1 (ja) * | 2018-08-30 | 2020-03-05 | オリンパス株式会社 | 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム |
CN111631754B (zh) * | 2020-05-26 | 2021-07-09 | 清华大学 | 一种咽拭子自动采样*** |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8147503B2 (en) * | 2007-09-30 | 2012-04-03 | Intuitive Surgical Operations Inc. | Methods of locating and tracking robotic instruments in robotic surgical systems |
WO2008120136A1 (en) * | 2007-03-30 | 2008-10-09 | Koninklijke Philips Electronics N.V. | 2d/3d image registration |
JP5028191B2 (ja) * | 2007-09-03 | 2012-09-19 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
US8271068B2 (en) * | 2007-10-02 | 2012-09-18 | Siemens Aktiengesellschaft | Method for dynamic road mapping |
DE102009030731A1 (de) * | 2009-06-26 | 2010-12-30 | Fiagon Gmbh | Verfahren zum Erzeugen von Positionsdaten eines Instrumentes |
US9265468B2 (en) * | 2011-05-11 | 2016-02-23 | Broncus Medical, Inc. | Fluoroscopy-based surgical device tracking method |
DE102013214479B4 (de) * | 2013-07-24 | 2017-04-27 | Siemens Healthcare Gmbh | Verfahren zur Nachführung einer 2D-3D-Registrierung bei Bewegung und Rechenvorrichtung |
US9427286B2 (en) * | 2013-09-24 | 2016-08-30 | The Johns Hopkins University | Method of image registration in a multi-source/single detector radiographic imaging system, and image acquisition apparatus |
WO2015121764A1 (en) | 2014-02-11 | 2015-08-20 | Koninklijke Philips N.V. | Spatial visualization of internal mammary artery during minimally invasive bypass surgery |
US11445934B2 (en) | 2014-07-28 | 2022-09-20 | Intuitive Surgical Operations, Inc. | Systems and methods for intraoperative segmentation |
US9886760B2 (en) * | 2015-03-05 | 2018-02-06 | Broncus Medical Inc. | GPU-based system for performing 2D-3D deformable registration of a body organ using multiple 2D fluoroscopic views |
WO2016182550A1 (en) * | 2015-05-11 | 2016-11-17 | Siemens Aktiengesellschaft | Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data |
JP6662612B2 (ja) * | 2015-11-17 | 2020-03-11 | キヤノンメディカルシステムズ株式会社 | 医用画像診断装置 |
EP3389544A4 (en) * | 2015-12-14 | 2019-08-28 | Nuvasive, Inc. | 3D VISUALIZATION DURING OPERATION WITH REDUCED RADIATION EXPOSURE |
DE102016202512B3 (de) | 2016-02-18 | 2017-08-17 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm |
DE102017216953A1 (de) | 2017-09-25 | 2019-03-28 | Siemens Healthcare Gmbh | Anzeige eines mit einem realen Objekt verknüpften virtuellen Objekts in einer Augmented-Reality-Anzeigevorrichtung |
-
2018
- 2018-09-19 EP EP18195330.8A patent/EP3626176B1/de active Active
-
2019
- 2019-07-10 JP JP2019128017A patent/JP6952740B2/ja active Active
- 2019-09-16 US US16/572,414 patent/US11576557B2/en active Active
- 2019-09-16 CN CN201910868835.1A patent/CN110916702B/zh active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6690041B2 (ja) | 三次元物体上の注視点決定方法及び装置 | |
Wang et al. | Video see‐through augmented reality for oral and maxillofacial surgery | |
CN111031958B (zh) | 在微创手术期间合成多个相机视点之间的空间感知过渡 | |
JP6348574B2 (ja) | 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚slam | |
JP6698824B2 (ja) | 画像表示制御装置および方法並びにプログラム | |
US10078218B2 (en) | Non-overlapped stereo imaging for virtual reality headset tracking | |
JP2018049591A5 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017503593A5 (ja) | ||
CN107016717A (zh) | 用于患者的透视视图的***和方法 | |
JP2008506953A5 (ja) | ||
MY173983A (en) | Information providing apparatus, information providing method and program | |
JP2016511049A5 (ja) | ||
WO2020195875A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2014241496A5 (ja) | ||
JP2012221261A5 (ja) | ||
JP2012208719A5 (ja) | ||
US11436790B2 (en) | Passthrough visualization | |
US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
JP2015079433A5 (ja) | ||
JP2014170483A5 (ja) | ||
WO2018119676A1 (zh) | 一种显示数据处理方法及装置 | |
JP2020058779A5 (ja) | ||
JP2017191492A5 (ja) | ||
JPWO2021002025A5 (ja) | 骨格認識方法、骨格認識プログラムおよび骨格認識システム | |
CN111127461B (zh) | 胸部图像处理方法、装置、存储介质及医疗设备 |