JP2020058779A5 - - Google Patents

Download PDF

Info

Publication number
JP2020058779A5
JP2020058779A5 JP2019128017A JP2019128017A JP2020058779A5 JP 2020058779 A5 JP2020058779 A5 JP 2020058779A5 JP 2019128017 A JP2019128017 A JP 2019128017A JP 2019128017 A JP2019128017 A JP 2019128017A JP 2020058779 A5 JP2020058779 A5 JP 2020058779A5
Authority
JP
Japan
Prior art keywords
image
endoscope
instrument
automatically
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019128017A
Other languages
English (en)
Other versions
JP6952740B2 (ja
JP2020058779A (ja
Filing date
Publication date
Priority claimed from EP18195330.8A external-priority patent/EP3626176B1/de
Application filed filed Critical
Publication of JP2020058779A publication Critical patent/JP2020058779A/ja
Publication of JP2020058779A5 publication Critical patent/JP2020058779A5/ja
Application granted granted Critical
Publication of JP6952740B2 publication Critical patent/JP6952740B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. ユーザーを支援する方法(11)であって、
    目標物(6)を表示する3Dデータセットを準備するステップと、
    前記目標物(6)の少なくとも1つの2D画像を取得するステップと、
    前記少なくとも1つの2D画像と準備された前記3Dデータセットとの自動的な2D/3Dの位置合わせを行うステップと、
    前記2D/3Dの位置合わせの不確実性が最大となる空間方向(4)を自動的に特定するステップと、
    ユーザーを支援するために、前記目標物(6)を検査するために設けられた器具(13)の方向付けを支援するための信号を、特定された前記空間方向(4)に応じて自動的に生成及び出力するステップと、
    を含む、方法。
  2. 前記器具(13)として、内視鏡(13)が用いられ、
    前記2D画像の座標系において、前記内視鏡(13)の姿勢を自動的に追跡し、
    前記内視鏡(13)によって撮影された前記目標物(6)の少なくとも1つの内視鏡画像と、前記3Dデータセットとから、少なくとも1つの重ね合わせ画像を生成し、
    前記内視鏡(13)の方向をユーザーが変更することができること及びその方法の示唆を前記信号としてユーザーに出力し、それにより、前記2D/3Dの位置合わせの前記不確実性に起因する、前記重ね合わせ画像における、視覚化の誤差を低減するために、前記内視鏡(13)の取得方向(15)が、特定された前記空間方向(4)に沿って延びるようにすることを特徴とする、請求項1に記載の方法。
  3. 前記器具(13)として、ロボットによってガイドされる内視鏡(13)が用いられ、
    前記2D画像の座標系において、前記内視鏡(13)の姿勢を自動的に追跡し、
    前記内視鏡(13)によって撮影された、前記目標物(6)の内視鏡画像と、前記3Dデータセットとから、重ね合わせ画像を生成し、
    前記ロボットに対する制御信号が前記信号として生成され、該制御信号が前記ロボットに用いられることによって、前記ロボットは、前記内視鏡(13)を自動的に方向付けし、それにより、前記2D/3Dの位置合わせの前記不確実性に起因する、前記重ね合わせ画像における、視覚化の誤差を低減するために、前記内視鏡(13)の取得方向(15)が、特定された前記空間方向(4)に沿って延びるようにすることを特徴とする、請求項1又は2に記載の方法。
  4. 前記器具(13)として、内視鏡(13)が用いられ、
    前記2D画像の座標系において、前記内視鏡(13)の姿勢を自動的に追跡し、
    前記内視鏡(13)によって撮影された、前記目標物(6)の内視鏡画像と、前記3Dデータセットとから、重ね合わせ画像を生成し、
    前記2D画像を撮影するために使用される撮像モダリティ(1)に対する制御信号が、前記信号として生成され、それにより、前記2D/3Dの位置合わせの前記不確実性に起因する、前記重ね合わせ画像における、視覚化の誤差を低減するために、前記撮像モダリティ(1)の撮影方向(4)が、前記内視鏡(13)の取得方向(15)に沿って自動的に並べられることを特徴とする、請求項1〜3のいずれか1項に記載の方法。
  5. 前記器具(13)として、内視鏡(13)が用いられ、
    前記2D画像の座標系において、前記内視鏡(13)の姿勢を自動的に追跡し、
    前記内視鏡(13)によって撮影された前記目標物(6)の内視鏡画像と、前記3Dデータセットとから、重ね合わせ画像を生成し、
    前記信号として、前記重ね合わせ画像の視覚化が、前記2D/3Dの位置合わせの前記不確実性の、間的に異方性の程度に従って場所に応じて適合され、記重ね合わせ画像の一部の振れ、グレーアウト、引き伸ばし、及び非表示のうちの一つまたは複数によって適合されることを特徴とする、請求項1〜4のいずれか1項に記載の方法。
  6. 前記重ね合わせ画像の前記視覚化は、前記2D/3Dの位置合わせの前記不確実性が最大となる特定の前記空間方向(4)においてのみ適合されることを特徴とする、請求項5に記載の方法。
  7. 前記器具(13)として、ステレオ内視鏡(13)が用いられ、
    前記2D画像の座標系における、前記ステレオ内視鏡(13)の姿勢を自動的に追跡し、
    前記ステレオ内視鏡によって撮影された、前記目標物(6)のステレオ内視鏡画像と、前記3Dデータセットとから、重ね合わせ画像を生成し、
    前記ステレオ内視鏡画像の左側画像と右側画像との間の輻輳又は視差により、前記重ね合わせ画像において特定の前記空間方向(4)における空間的効果が生じることを特徴とする、請求項1〜6のいずれか1項に記載の方法。
  8. 前記2D/3Dの位置合わせの前記不確実性を考慮して、所定の目標に達するために、前記器具(13)が導かれる経路を自動的に特定して、前記信号として出力することを特徴とする、請求項1〜7のいずれか1項に記載の方法。
  9. 前記経路を特定するために、前記器具(13)の作用の好ましい方向を考慮することを特徴とする、請求項8に記載の方法。
  10. 前記器具(13)が前記重ね合わせ画像において表示されて、前記信号として又は前記信号によって、前記重ね合わせ画像において、前記器具(13)の表示と前記器具(13)の作用範囲の一方又は双方が、前記2D/3Dの位置合わせのそれぞれの局所的な前記不確実性に応じて、空間的に異方性な仕方で拡大されることを特徴とする、請求項1〜9のいずれか1項に記載の方法。
  11. 前記2D/3Dの位置合わせの方向に基づく不確実性に応じて、記器具(13)の作用の好ましい方向を考慮して、前記器具(13)の少なくとも1つの使用位置を自動的に特定して、対応する示唆を前記信号として出力することを特徴とする、請求項1〜10のいずれか1項に記載の方法。
  12. 前記器具の現在の方向をその都度自動的に取得し、
    前記器具の取得された前記方向及び前記2D/3Dの位置合わせの前記不確実性に応じて、取得された前記方向において、予め定められた目標に前記器具(13)が達するための確率を自動的に計算し、
    前記計算された確率を前記信号として出力することを特徴とする、請求項1〜11のいずれか1項に記載の方法。
  13. 請求項1〜12のいずれか1項に記載の方法(11)が符号化されたコンピュータープログラム(11)を含むコンピュータープログラム製品であって、
    像システム(1)のデータ処理装置(7)の記憶装置(9)内に読み込まれて、
    前記コンピュータープログラム(11)が前記データ処理装置(7)によって実行されるとき、前記方法(11)を実行するように、
    構成及び適合された、コンピュータープログラム製品。
  14. 像システム(1)用のデータ記憶媒体(9)であって、該データ記憶媒体(9)には、データ処理装置(7)によって実行可能で、かつ請求項1〜12のいずれか1項に記載の方法(11)を符号化したコンピュータープログラム(11)を含むプログラムコードが記憶され、前記データ処理装置(7)によって前記プログラムコードが実行されるときに前記方法(11)が実行される、データ記憶媒体。
  15. 撮像システムであって、
    目標物(6)を表示する3Dデータセットと、前記目標物(6)の少なくとも1つの2D画像とを取得する取得装置(1)と、
    プロセッサ装置(10)と、該プロセッサ装置(10)に接続された請求項14に記載のデータ記憶媒体(9)とを備えるデータ処理装置(7)と、
    自動的に生成された信号を出力するための出力装置(17)と、
    を備える、撮像システム。
JP2019128017A 2018-09-19 2019-07-10 ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム Active JP6952740B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18195330.8A EP3626176B1 (de) 2018-09-19 2018-09-19 Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
EP18195330.8 2018-09-19

Publications (3)

Publication Number Publication Date
JP2020058779A JP2020058779A (ja) 2020-04-16
JP2020058779A5 true JP2020058779A5 (ja) 2020-06-11
JP6952740B2 JP6952740B2 (ja) 2021-10-20

Family

ID=63642787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019128017A Active JP6952740B2 (ja) 2018-09-19 2019-07-10 ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム

Country Status (4)

Country Link
US (1) US11576557B2 (ja)
EP (1) EP3626176B1 (ja)
JP (1) JP6952740B2 (ja)
CN (1) CN110916702B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
CN111631754B (zh) * 2020-05-26 2021-07-09 清华大学 一种咽拭子自动采样***

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
WO2008120136A1 (en) * 2007-03-30 2008-10-09 Koninklijke Philips Electronics N.V. 2d/3d image registration
JP5028191B2 (ja) * 2007-09-03 2012-09-19 オリンパスメディカルシステムズ株式会社 内視鏡装置
US8271068B2 (en) * 2007-10-02 2012-09-18 Siemens Aktiengesellschaft Method for dynamic road mapping
DE102009030731A1 (de) * 2009-06-26 2010-12-30 Fiagon Gmbh Verfahren zum Erzeugen von Positionsdaten eines Instrumentes
US9265468B2 (en) * 2011-05-11 2016-02-23 Broncus Medical, Inc. Fluoroscopy-based surgical device tracking method
DE102013214479B4 (de) * 2013-07-24 2017-04-27 Siemens Healthcare Gmbh Verfahren zur Nachführung einer 2D-3D-Registrierung bei Bewegung und Rechenvorrichtung
US9427286B2 (en) * 2013-09-24 2016-08-30 The Johns Hopkins University Method of image registration in a multi-source/single detector radiographic imaging system, and image acquisition apparatus
WO2015121764A1 (en) 2014-02-11 2015-08-20 Koninklijke Philips N.V. Spatial visualization of internal mammary artery during minimally invasive bypass surgery
US11445934B2 (en) 2014-07-28 2022-09-20 Intuitive Surgical Operations, Inc. Systems and methods for intraoperative segmentation
US9886760B2 (en) * 2015-03-05 2018-02-06 Broncus Medical Inc. GPU-based system for performing 2D-3D deformable registration of a body organ using multiple 2D fluoroscopic views
WO2016182550A1 (en) * 2015-05-11 2016-11-17 Siemens Aktiengesellschaft Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
JP6662612B2 (ja) * 2015-11-17 2020-03-11 キヤノンメディカルシステムズ株式会社 医用画像診断装置
EP3389544A4 (en) * 2015-12-14 2019-08-28 Nuvasive, Inc. 3D VISUALIZATION DURING OPERATION WITH REDUCED RADIATION EXPOSURE
DE102016202512B3 (de) 2016-02-18 2017-08-17 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm
DE102017216953A1 (de) 2017-09-25 2019-03-28 Siemens Healthcare Gmbh Anzeige eines mit einem realen Objekt verknüpften virtuellen Objekts in einer Augmented-Reality-Anzeigevorrichtung

Similar Documents

Publication Publication Date Title
JP6690041B2 (ja) 三次元物体上の注視点決定方法及び装置
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
CN111031958B (zh) 在微创手术期间合成多个相机视点之间的空间感知过渡
JP6348574B2 (ja) 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚slam
JP6698824B2 (ja) 画像表示制御装置および方法並びにプログラム
US10078218B2 (en) Non-overlapped stereo imaging for virtual reality headset tracking
JP2018049591A5 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017503593A5 (ja)
CN107016717A (zh) 用于患者的透视视图的***和方法
JP2008506953A5 (ja)
MY173983A (en) Information providing apparatus, information providing method and program
JP2016511049A5 (ja)
WO2020195875A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2014241496A5 (ja)
JP2012221261A5 (ja)
JP2012208719A5 (ja)
US11436790B2 (en) Passthrough visualization
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
JP2015079433A5 (ja)
JP2014170483A5 (ja)
WO2018119676A1 (zh) 一种显示数据处理方法及装置
JP2020058779A5 (ja)
JP2017191492A5 (ja)
JPWO2021002025A5 (ja) 骨格認識方法、骨格認識プログラムおよび骨格認識システム
CN111127461B (zh) 胸部图像处理方法、装置、存储介质及医疗设备