RU2015102613A - Наложение и совмещение предоперационных данных на видео в реальном масштабе времени с использованием портативного устройства - Google Patents
Наложение и совмещение предоперационных данных на видео в реальном масштабе времени с использованием портативного устройства Download PDFInfo
- Publication number
- RU2015102613A RU2015102613A RU2015102613A RU2015102613A RU2015102613A RU 2015102613 A RU2015102613 A RU 2015102613A RU 2015102613 A RU2015102613 A RU 2015102613A RU 2015102613 A RU2015102613 A RU 2015102613A RU 2015102613 A RU2015102613 A RU 2015102613A
- Authority
- RU
- Russia
- Prior art keywords
- images
- anatomical
- real
- display device
- video display
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims abstract 4
- 238000002059 diagnostic imaging Methods 0.000 claims abstract 4
- 238000012546 transfer Methods 0.000 claims abstract 2
- 238000000034 method Methods 0.000 claims 11
- 238000010009 beating Methods 0.000 claims 6
- 239000011159 matrix material Substances 0.000 claims 6
- 238000012545 processing Methods 0.000 claims 3
- 238000003384 imaging method Methods 0.000 claims 2
- 210000004351 coronary vessel Anatomy 0.000 claims 1
- 238000001356 surgical procedure Methods 0.000 claims 1
- 238000007794 visualization technique Methods 0.000 claims 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
1. Система медицинской визуализации, содержащая:компьютерное устройство, включающее в себя процессор (114) и память (116), соединенную с процессором, причем память хранит:записанные анатомические изображения (130) объекта; имодуль (142) совмещения, выполненный с возможностью совмещения особенностей в предоперационных изображениях; совмещения особенностей в изображениях в реальном масштабе времени с соответствующими особенностями в предоперационных изображениях; и выравнивания записанных анатомических изображений с изображениями (134) в реальном масштабе времени;портативное устройство (132) отображения видео, включающее в себя камеру (136) и экран (133) дисплея, причем портативное устройство отображения видео выполнено с возможностью сбора изображений объекта в реальном масштабе времени, подлежащих совмещению с записанными анатомическими изображениями объекта, так что по меньшей мере часть записанных анатомических изображений одновременно отображается на портативном устройстве отображения видео, совмещенными с изображениями в реальном масштабе времени; илинию (140) связи, выполненную с возможностью выполнения связи и переноса данных между компьютерным устройством и портативным устройством отображения видео.2. Система по п. 1, в которой портативное устройство (132) отображения видео включает в себя смартфон или планшет.3. Система по п. 1, в которой модуль (142) совмещения определяет и отслеживает общие точки между записанными анатомическими изображениями и изображениями видео в реальном масштабе времени.4. Система по п. 1, в которой по меньшей мере часть записанных анатомических изображений включает в себя наложение (146), отображаемое одновременно с
Claims (29)
1. Система медицинской визуализации, содержащая:
компьютерное устройство, включающее в себя процессор (114) и память (116), соединенную с процессором, причем память хранит:
записанные анатомические изображения (130) объекта; и
модуль (142) совмещения, выполненный с возможностью совмещения особенностей в предоперационных изображениях; совмещения особенностей в изображениях в реальном масштабе времени с соответствующими особенностями в предоперационных изображениях; и выравнивания записанных анатомических изображений с изображениями (134) в реальном масштабе времени;
портативное устройство (132) отображения видео, включающее в себя камеру (136) и экран (133) дисплея, причем портативное устройство отображения видео выполнено с возможностью сбора изображений объекта в реальном масштабе времени, подлежащих совмещению с записанными анатомическими изображениями объекта, так что по меньшей мере часть записанных анатомических изображений одновременно отображается на портативном устройстве отображения видео, совмещенными с изображениями в реальном масштабе времени; и
линию (140) связи, выполненную с возможностью выполнения связи и переноса данных между компьютерным устройством и портативным устройством отображения видео.
2. Система по п. 1, в которой портативное устройство (132) отображения видео включает в себя смартфон или планшет.
3. Система по п. 1, в которой модуль (142) совмещения определяет и отслеживает общие точки между записанными анатомическими изображениями и изображениями видео в реальном масштабе времени.
4. Система по п. 1, в которой по меньшей мере часть записанных анатомических изображений включает в себя наложение (146), отображаемое одновременно с изображениями видео в реальном масштабе времени.
5. Система по п. 1, дополнительно содержащая модуль (148) обработки изображения, выполненный с возможностью компенсации движения по меньшей мере одного из: визуализируемой анатомической особенности и перемещения портативного устройства отображения видео.
6. Система по п. 5, в которой анатомическая особенность включает в себя бьющееся сердце, и по меньшей мере часть записанных анатомических изображений корректируется так, чтобы отслеживать движение бьющегося сердца.
7. Система по п. 5, дополнительно содержащая матрицу H гомографии, вычисляемую во времени из целевой анатомической особенности в визуализируемой анатомической особенности, причем матрица H применяется для деформирования записанных анатомических изображений для сохранения совмещения с изображениями в реальном масштабе времени.
8. Система по п. 1, в которой записанные анатомические изображения включают в себя предоперационные или интраоперационные изображения (130), собранные с использованием одного или нескольких методов визуализации.
9. Система по п. 1, дополнительно содержащая модуль (148) обработки изображения, выполненный с возможностью обеспечения особенностей наложения из записанных анатомических изображений для наложения на изображения в реальном масштабе времени для отображения на портативном устройстве отображения видео.
10. Система по п. 9, в которой перемещение портативного устройства отображения видео изменяет изображения в реальном масштабе времени и особенности наложения соответствующим образом.
11. Система по п. 1, дополнительно содержащая кронштейн (152) для фиксирования положения портативного устройства отображения видео во время процедуры.
12. Портативное устройство отображения видео для медицинской визуализации, содержащее:
камеру (136), выполненную с возможностью сбора видео в реальном масштабе времени;
экран (133) отображения, выполненный с возможностью отображения видео в реальном масштабе времени одновременно с изображениями (146) наложения, совмещенными с изображениями (134) в реальном масштабе времени;
процессор (114); и
память (116), соединенную с процессором, причем память хранит:
записанные анатомические изображения (130) объекта; и
модуль (142) совмещения, выполненный с возможностью совмещения особенностей в предоперационных изображениях; совмещения особенностей в изображениях в реальном масштабе времени с соответствующими особенностями в предоперационных изображениях; и выравнивания записанных анатомический изображений с изображениями в реальном масштабе времени;
причем изображения наложения включают в себя по меньшей мере часть хранимых анатомических изображений и отображаются на портативном устройстве отображения видео, чтобы оказывать помощь пользователю при просмотре анатомических особенностей, которые не являются легко наблюдаемыми.
13. Устройство по п. 12, в котором портативное устройство (132) отображения видео включает в себя смартфон или планшет.
14. Устройство по п. 12, в котором модуль (142) совмещения определяет и отслеживает общие точки между записанными анатомическими изображениями и изображениями в реальном масштабе времени.
15. Устройство по п. 12, в котором по меньшей мере часть записанных анатомических изображений включает в себя скрытые коронарные артерии во время оперативного вмешательства на открытом сердце.
16. Устройство по п. 12, дополнительно содержащее модуль (148) обработки изображения, выполненный с возможностью компенсации движения по меньшей мере одного из: визуализируемой анатомической особенности и перемещения портативного устройства отображения видео.
17. Устройство по п. 16, в котором анатомическая особенность включает в себя бьющееся сердце, и по меньшей мере часть записанных анатомических изображений корректируются так, чтобы отслеживать движение бьющегося сердца.
18. Система по п. 16, дополнительно содержащая матрицу H гомографии, вычисляемую во времени из целевой анатомической особенности в визуализируемой анатомической особенности, причем матрица H применяется для деформирования записанных анатомических изображений для сохранения совмещения с изображениями в реальном масштабе времени.
19. Устройство по п. 16, в котором перемещение портативного устройства отображения видео изменяет изображения в реальном масштабе времени и изображения наложения соответствующим образом.
20. Устройство по п. 12, в котором записанные анатомические изображения включают в себя предоперационные или интраоперационные изображения (130), собранные с использованием одного или нескольких методов визуализации.
21. Способ медицинской визуализации, содержащий:
сохранение (702) анатомических изображений объекта;
обеспечение (704) портативного устройства отображения видео, включающего в себя камеру и экран дисплея, причем портативное устройство отображения видео выполнено с возможностью сбора изображений объекта в реальном масштабе времени;
совмещение особенностей в предоперационных изображениях;
совмещение особенностей в изображениях в реальном масштабе времени с соответствующими особенностями в предоперационных изображениях;
совмещение (710) по меньшей мере части анатомических изображений с изображениями в реальном масштабе времени; и
одновременное отображение (716) на портативном устройстве отображения видео по меньшей мере части анатомических изображений, совмещенных с изображениями в реальном масштабе времени.
22. Способ по п. 21, в котором портативное устройство (132) отображения видео включает в себя смартфон или планшет.
23. Способ по п. 21, в котором совмещение включает в себя отслеживание (712) общих точек между анатомическими изображениями и изображениями в реальном масштабе времени.
24. Способ по п. 21, дополнительно содержащий генерирование (714) наложения из по меньшей мере части анатомических изображений; и наложение (716) особенностей из анатомических изображений на изображения в реальном масштабе времени для отображения на портативном устройстве отображения видео.
25. Способ по п. 21, дополнительно содержащий компенсацию (720) движения по меньшей мере одного из: визуализируемой анатомической особенности и перемещения портативного устройства отображения видео.
26. Способ по п. 25, в котором анатомическая особенность включает в себя бьющееся сердце, и способ дополнительно содержит отслеживание (722) движения бьющегося сердца, чтобы корректировать по меньшей мере часть анатомических изображений.
27. Способ по п. 25, в котором компенсация движения включает в себя применение (724) матрицы H гомографии, вычисляемой во времени из целевой анатомической особенности в визуализируемой анатомической особенности, причем матрица H применяется для деформирования записанных анатомических изображений для сохранения совмещения с изображениями в реальном масштабе времени.
28. Способ по п. 25, в котором перемещение портативного устройства отображения видео изменяет (726) изображения в реальном масштабе времени и особенности наложения соответствующим образом.
29. Способ по п. 21, в котором анатомические изображения включают в себя предоперационные или интраоперационные изображения, собранные с использованием одного или нескольких методов визуализации.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261665329P | 2012-06-28 | 2012-06-28 | |
US61/665,329 | 2012-06-28 | ||
PCT/IB2013/055329 WO2014002070A1 (en) | 2012-06-28 | 2013-06-28 | Overlay and registration of preoperative data on live video using a portable device |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2015102613A true RU2015102613A (ru) | 2016-08-20 |
Family
ID=49165799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2015102613A RU2015102613A (ru) | 2012-06-28 | 2013-06-28 | Наложение и совмещение предоперационных данных на видео в реальном масштабе времени с использованием портативного устройства |
Country Status (7)
Country | Link |
---|---|
US (1) | US20150146946A1 (ru) |
EP (1) | EP2867864A1 (ru) |
JP (1) | JP2015529478A (ru) |
CN (1) | CN104428818A (ru) |
BR (1) | BR112014032136A2 (ru) |
RU (1) | RU2015102613A (ru) |
WO (1) | WO2014002070A1 (ru) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10743945B2 (en) | 2012-10-02 | 2020-08-18 | Radlink, Inc. | Surgical method and workflow |
WO2015118423A1 (en) | 2014-02-04 | 2015-08-13 | Koninklijke Philips N.V. | Visualization of depth and position of blood vessels and robot guided visualization of blood vessel cross section |
JP6835587B2 (ja) * | 2014-02-19 | 2021-02-24 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 医用4dイメージングにおける動き適応型可視化 |
US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
US10248756B2 (en) * | 2015-02-18 | 2019-04-02 | Siemens Healthcare Gmbh | Anatomically specific movie driven medical image review |
JP6493877B2 (ja) * | 2015-08-25 | 2019-04-03 | 富士フイルム株式会社 | 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム |
US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
US10835344B2 (en) | 2017-10-17 | 2020-11-17 | Verily Life Sciences Llc | Display of preoperative and intraoperative images |
DE102017221924B3 (de) * | 2017-12-05 | 2019-05-02 | Siemens Healthcare Gmbh | Verfahren zur Fusionierung eines Analysedatensatzes mit einem Bilddatensatz, Positionierungseinrichtung und Computerprogramm |
US20190254753A1 (en) | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
US11992373B2 (en) | 2019-12-10 | 2024-05-28 | Globus Medical, Inc | Augmented reality headset with varied opacity for navigated robotic surgery |
US11464581B2 (en) | 2020-01-28 | 2022-10-11 | Globus Medical, Inc. | Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums |
US11382699B2 (en) | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
US11207150B2 (en) | 2020-02-19 | 2021-12-28 | Globus Medical, Inc. | Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment |
US11607277B2 (en) | 2020-04-29 | 2023-03-21 | Globus Medical, Inc. | Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery |
US11510750B2 (en) | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
US11382700B2 (en) | 2020-05-08 | 2022-07-12 | Globus Medical Inc. | Extended reality headset tool tracking and control |
US11153555B1 (en) | 2020-05-08 | 2021-10-19 | Globus Medical Inc. | Extended reality headset camera system for computer assisted navigation in surgery |
US11737831B2 (en) | 2020-09-02 | 2023-08-29 | Globus Medical Inc. | Surgical object tracking template generation for computer assisted navigation during surgical procedure |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3707830B2 (ja) * | 1995-07-04 | 2005-10-19 | 株式会社東芝 | 術式支援用画像表示装置 |
WO2001076496A1 (fr) * | 2000-04-10 | 2001-10-18 | Karl Storz Gmbh & Co. Kg | Dispositif medical de positionnement d'informations sur des images intraoperatoires |
JP4674948B2 (ja) * | 2000-09-29 | 2011-04-20 | オリンパス株式会社 | 手術ナビゲーション装置および手術ナビゲーション装置の作動方法 |
CA2523727A1 (en) * | 2003-04-28 | 2005-01-06 | Bracco Imaging Spa | Surgical navigation imaging system |
US7394946B2 (en) * | 2004-05-18 | 2008-07-01 | Agfa Healthcare | Method for automatically mapping of geometric objects in digital medical images |
CN101449292B (zh) * | 2006-05-24 | 2012-07-04 | 皇家飞利浦电子股份有限公司 | 坐标系配准 |
US20090275831A1 (en) * | 2006-12-29 | 2009-11-05 | Koninklijke Philips Electronics N.V. | Image registration and methods for compensating intraoperative motion in image-guided interventional procedures |
CN101833756A (zh) * | 2009-03-10 | 2010-09-15 | 南通爱普医疗器械有限公司 | 神经外科手术导航***中图谱的三维可视化方法 |
JP2011081556A (ja) * | 2009-10-06 | 2011-04-21 | Sony Corp | 情報処理装置、情報処理方法、プログラムおよびサーバ |
JP5661453B2 (ja) * | 2010-02-04 | 2015-01-28 | 株式会社東芝 | 画像処理装置、超音波診断装置、及び画像処理方法 |
CN101957325B (zh) * | 2010-10-14 | 2012-05-23 | 山东鲁能智能技术有限公司 | 基于变电站巡检机器人变电站设备外观异常识别方法 |
CN102411781B (zh) * | 2011-09-09 | 2013-11-13 | 华南理工大学 | 一种双能减影胸部x射线图像的运动校正*** |
-
2013
- 2013-06-28 BR BR112014032136A patent/BR112014032136A2/pt not_active IP Right Cessation
- 2013-06-28 JP JP2015519463A patent/JP2015529478A/ja active Pending
- 2013-06-28 EP EP13762245.2A patent/EP2867864A1/en not_active Withdrawn
- 2013-06-28 US US14/402,436 patent/US20150146946A1/en not_active Abandoned
- 2013-06-28 WO PCT/IB2013/055329 patent/WO2014002070A1/en active Application Filing
- 2013-06-28 CN CN201380034162.0A patent/CN104428818A/zh active Pending
- 2013-06-28 RU RU2015102613A patent/RU2015102613A/ru not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
CN104428818A (zh) | 2015-03-18 |
JP2015529478A (ja) | 2015-10-08 |
EP2867864A1 (en) | 2015-05-06 |
WO2014002070A1 (en) | 2014-01-03 |
BR112014032136A2 (pt) | 2017-06-27 |
US20150146946A1 (en) | 2015-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2015102613A (ru) | Наложение и совмещение предоперационных данных на видео в реальном масштабе времени с использованием портативного устройства | |
KR102617605B1 (ko) | 턱의 모션 추적 | |
CN103845113B (zh) | 无线手术放大镜及其利用方法、装置和*** | |
RU2714665C2 (ru) | Направляющая система для позиционирования пациента для медицинской визуализации | |
US10448003B2 (en) | System and method for triangulation-based depth and surface visualization | |
JP2018535568A (ja) | 画像を位置合わせして、一連の位置合わせされた画像を提示するためのカメラシステム及び方法 | |
JP2016511049A5 (ru) | ||
ATE261273T1 (de) | Projektion von patientenbilddaten aus durchleuchtungs- bzw. schichtbilderfassungsverfahren auf videobilder | |
US9182361B2 (en) | Digital X-ray imaging system with still and video capture modes | |
WO2011053921A3 (en) | Visual tracking and annotation of clinically important anatomical landmarks for surgical interventions | |
RU2011148415A (ru) | Определеие глубины в реальном времени по монокулярным изображениям эндоскопа | |
JP2016501085A5 (ru) | ||
JP2016013233A (ja) | 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置 | |
JP2008528164A5 (ru) | ||
ATE502357T1 (de) | Benutzerschnittstelle zur bewegungsanalyse bei kinematischen mr-studien | |
TW200533188A (en) | Pano-photographing monitor tracking system and its method | |
CN103815972A (zh) | 腹胸腔镜的手术区域自动跟踪***及方法 | |
WO2019124111A1 (ja) | 制御装置および制御方法 | |
JP2016538083A5 (ru) | ||
JP6356623B2 (ja) | 画像処理装置、方法、及びプログラム | |
Sauvée et al. | Three-dimensional heart motion estimation using endoscopic monocular vision system: From artificial landmarks to texture analysis | |
WO2010048309A3 (en) | A near real-time viewer for pet-guided tissue interventions | |
Olbrich et al. | Respiratory motion analysis: Towards gated augmentation of the liver | |
JP6751763B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2014212439A5 (ru) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FA93 | Acknowledgement of application withdrawn (no request for examination) |
Effective date: 20160629 |