JP6889703B2 - 患者の３ｄ表面画像を手術中に観察するための方法及び装置 - Google Patents

患者の３ｄ表面画像を手術中に観察するための方法及び装置 Download PDF

Info

Publication number
JP6889703B2
JP6889703B2 JP2018517201A JP2018517201A JP6889703B2 JP 6889703 B2 JP6889703 B2 JP 6889703B2 JP 2018517201 A JP2018517201 A JP 2018517201A JP 2018517201 A JP2018517201 A JP 2018517201A JP 6889703 B2 JP6889703 B2 JP 6889703B2
Authority
JP
Japan
Prior art keywords
patient
tissue distribution
distribution map
surgeon
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018517201A
Other languages
English (en)
Other versions
JP2019502414A (ja
Inventor
テッパー、オーレン・モーデチャイ
シュリーバー、ジュリアン
コラサンテ、セサール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Montefiore Medical Center
Original Assignee
Montefiore Medical Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Montefiore Medical Center filed Critical Montefiore Medical Center
Publication of JP2019502414A publication Critical patent/JP2019502414A/ja
Application granted granted Critical
Publication of JP6889703B2 publication Critical patent/JP6889703B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00792—Plastic surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A61B2090/3979—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active infrared
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Robotics (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

関連出願の相互参照
本出願は、２０１５年９月２８日に出願の米国仮特許出願第６２／２３３，５４３号明細書の利益を主張し、その内容は参照により全体として本明細書に組み込まれる。
本発明は、美容整形外科及び再建外科手術において、患者の３次元（３Ｄ）表面画像処理を使用することに関わるプロセス及び装置に関する。これは、任意の利用可能な任意の方法（たとえば、とりわけレーザ表面、立体視、表面走査など）によって３Ｄ画像を画像取得することと、この画像を処理して、外科手術のマップ若しくはモデルの形式で関連データを提供することと、外科手術中にガイドし、且つ／又は画像、マップ、若しくはモデルを表示して、外科医の視点若しくは対象となる別の観点をシミュレーションするために画像、マップ、及び／又はモデルを患者に投影することとによって実現される。画像、マップ、及び／又はモデルは、手術を観察するために固定若しくは移動画面又はウェアラブルデバイス（すなわちヘッドマウント型）に表示され得る。
本出願全体を通して、様々な刊行物が括弧内において参照される。これらの参考文献の全ての引用先は本明細書の最後に見出され得る。本発明が関係する技術分野をより詳細に説明するために、これらの刊行物の開示が参照により全体として本明細書に組み込まれる。
３Ｄ画像処理は、様々な美容整形外科及び再建外科手順の計画、支援、及び評価において価値のある資産である。ＣＡＴスキャンによって得られる骨部の３Ｄ再構築から、３Ｄプリンティング向けの身体部位又はプロテーゼの設計の再構築まで、３Ｄ画像処理の用途及び潜在的な用途の幅は広く且つ広範である。この技術の使用は、さらに良好な計画を可能にし、シミュレーション中、期待される結果を患者に提供し、外科手術をより安全に、より精密に、且つ効率的にすることを目的としてその手術を実行するのに役立つ。
外科的マーキングは、形成外科手術の手順を計画する際に重要な役割を果たす［１〜４］。手術前に、外科医は、多くの場合、計画された切開部をマーキングし、且つ／又は軟部組織の欠陥若しくは過多など、対象となる領域を強調表示することになる［６〜９］。しかしながら、手術室でのガイドとしてのマーキングの重要性にもかかわらず、これらの外科手術のマーキングは、多くの場合に精密ではなく、最良の推定に基づいている［５］。自己脂肪移植（ＡＦＧ）は、外科手術マーキングにかなり依存するこのような手順の１つである。現在、計画は、身体検査及び標準的な２次元写真を使用する手術前評価と、その後に続く従来の患者マーキングとに限定されている［１０〜１２］。たとえば、自己脂肪移植を必要とする患者を評価するとき、外科医は、多くの場合、そのマーキングについて、量が不足している場所及び不足を正すためにどの程度の量が必要になるかの推定に基づいている。
顔及び身体の写真は、手術中の意思決定に寄与する美容整形外科手術の重要な部分である。その結果、今日では、ほとんどの外科医は、外科的判断を導くための参照として手術室（ＯＲ）内の壁（又は画面上の表示）に手術前の２次元（２Ｄ）写真を掲げる。何十年もの間、これが外科医の間で慣習であったが、顔の輪郭について外科的な決定を行う必要があるとき、ごく少数の２Ｄ「スナップショット」を使用することに対して著しい制限がある。
本発明は、手術前及び手術中の患者画像の改善された手術中観察を実現する、美容整形外科手術及び再建外科手術において３Ｄ表面画像処理を使用するシステム及び方法を提供する。この技法は、たとえば脂肪移植などのより正確な手法をもたらすだけでなく、多くの他の形成外科手術手順の計画又は実行に適用できる一般化可能な技法を提供する。
外科医による３次元（３Ｄ）患者画像の手術中観察のための方法であって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するステップと、
外科医による手術中観察のために、この画像若しくはモデルを患者に投影し、且つ／又はこの画像若しくはモデルを表示するステップと
を含む方法が提供される。
さらに、外科医による３次元（３Ｄ）患者画像の手術中観察のためのシステムであって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するためのディジタルプロセッサと、
外科医による手術中観察のために、この画像若しくはモデルを患者に投影し、且つ／又はこの画像若しくはモデルを表示するための投影ユニットと
を含むシステムが提供される。
外科医による３次元（３Ｄ）患者画像の手術中観察のためのシステムの一実施形態の例である。
本発明は、外科医による３次元（３Ｄ）患者画像の手術中観察のための方法であって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するステップと、
外科医による手術中観察のために、この画像若しくはモデルを患者に投影し、且つ／又はこの画像若しくはモデルを表示するステップと
を含む方法を提供する。
３Ｄ表面画像は、患者の手術前の画像及び／又は外科手術中に取得された画像であり得る。同様に、シミュレーションされた３Ｄ仮想モデルは、患者の手術前のモデルであり得、且つ／又はこのシミュレーションされた３Ｄ仮想モデルは、任意選択的に手術前の画像とともに、外科手術手順中の様々なステージで取得される画像を使用することができる。
手術中の表面画像は、手術結果及びさらなる外科手術の修正の必要性を評価するために、ベースラインの画像又はベースラインの外科手術計画と比較され得る。
３Ｄ患者画像は、たとえば、とりわけ３Ｄ写真技術、レーザ表面走査、立体視、又は立体写真測定によって取得され得る。
画像を処理するステップは、たとえば、表面の目印及び／若しくは平面の測定、目印及び／若しくは平面間の距離の測定、容積測定、並びに／又は対称解析など、患者の体表解剖学的構造の解析を含むことができる。画像を処理するステップは、単一画像の１つ若しくは複数の領域の比較、又は１つ若しくは複数の固有画像の比較を含むことができる。
画像又はモデルが患者に投影され得る。この画像又はモデルは、符号化され得るか、患者に投影され得るか、又は患者にマーキングされ得る、外科手術用のマップ又はガイドを含むことができる。この画像又はモデルは、携帯式又は固定式であり得る投影システムを使用して投影され得る。
この画像又はモデルは、たとえば、手術室内の画面又は３Ｄビューアに表示され得る。３Ｄビューアは、たとえば、壁取付け型の画面又は移動可能なタワー型画面若しくはヘッドマウントディスプレイなどのウェアラブルギアであり得る。
画像又はモデルの向きは、患者又は対象となる別の全体像に対する外科医の視点に対応するように調整され得ることが好ましい。好ましくは、この画像又はモデルの向きは、外科手術中に外科医が動き回るとき、患者又は対象となる全体像を外科医が見る向きに対応するように調整する。患者又は対象となる全体像に対する外科医の視点は、たとえば、この外科医に直接的又は間接的に取り付けられた１つ又は複数の赤外線放射装置を使用して決定され得る。固定赤外線カメラが、赤外線源を位置座標に変換するために使用され得る。
本発明は、たとえば、患者の顔、頭部、頸部、口腔、又は胸部など、患者の様々な部位で外科手術が実行されるときに使用することができる。外科医は、たとえば、形成外科医、再建外科医、頭頸部外科医、口腔外科医、耳鼻咽喉科医、又は皮膚科医とすることができる。
また、本発明は、外科医による３次元（３Ｄ）患者画像の手術中観察のためのシステムであって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するためのディジタルプロセッサと、
外科医による手術中観察のために、この画像若しくはモデルを患者に投影し、且つ／又はこの画像若しくはモデルを表示するための投影ユニットと
を含むシステムを実現する。
また、このシステムは、たとえば、１つ若しくは複数の赤外線放射装置、赤外線カメラ、及び／又はたとえば３Ｄカメラなど、患者の３Ｄ画像を取得する機器を含むことができる。投影ユニットは、画像又はモデルを表示するヘッドマウント型の装置を含むことができる。好ましくは、この画像又はモデルの表示は、患者又は対象となる別の全体像を外科医が見る向きに対応するように方向付けされ得る。
一実施形態では、本発明は、外科医が自身の視点に一致するように配向された画面上で患者の３次元（３Ｄ）画像又はモデルを見るための手術中ツールを提供する。すなわち、外科医がベッドの頭部側に立っている場合、画面上での３Ｄ画像又はモデルは、外科医がテーブル上の患者を見るのと同じ向きに対応することになる。この３Ｄ画像又はモデルは、手術中に外科医が動き回る位置に従って切り替わり、したがって画面上のビューは外科医の視点と一致し続ける。
３Ｄ画像又はモデルを外科医の視野に向けるために、外科医はヘッドマウント型の追跡装置を装着することができる。手術の開始時、目印及び参照面が患者の３Ｄ画像又はモデルに対して確立される。外科医が手術室（ＯＲ）内で患者の周りを動き回ると、３Ｄ画像又はモデルが回転して、外科医のビューを忠実に映し出す。手術中に関連するあらゆるビューについて、シームレスな参照によって外科的な意思決定がガイドされるように、外科医は画面に目を向け、対応する３Ｄ画像又はモデルを見ることができる。
［３Ｄ表示装置］
３Ｄ表示装置の構成要素により、３Ｄ画像の観察、操作、及び解析が可能になるとともに、外科手術の手順においてアシスタント向けに外科医の視点を提供することが可能になる。これは、たとえば、ＩＲカメラと、外科医のたとえば保護用アイウェア又はヘッドマウント上に配置される２つ以上のＩＲ放射源と、動きを解析して対応する画像をレンダリングするためのコンピュータと、対応する画像を表示するための１つ又は複数のモニタとを含む赤外線（ＩＲ）追跡技術を使用することによって、実現することができる。任意選択的な装置には、とりわけ、コマンド用の音声センサ、スイッチとしての足踏みペダル、及び外科医に向いているカメラを取り囲むＩＲ光源が含まれる。
対象となる患者の領域の仮想３Ｄモデルは、必要に応じて手順前又は手順中に取り込んで処理することができ、これらの画像は、ＩＲカメラに接続されたコンピュータシステムに取り入れることができる。この結合は、有線接続又は無線接続で実施することができる。マーキングなどの修正及び他の修正からの所望の結果をシステムに取り入れることもできる。
たとえば、ヘッドマウント又は外科医の保護用アイウェアからのＩＲ光源は、ＩＲカメラによって取り込むことができる。これらの座標を用いて、ソフトウェアはモニタに表示することのできる３Ｄモデル上に外科医の視界を再現することができる。少なくとも２つの様式、すなわち、患者とＩＲカメラとに対する外科医の位置に応じて３Ｄモデル又は画像を、回転、傾斜、移動することになる、無限量のビューを提示する連続ビューと、位置の範囲内で座標を解析して、モニタに表示される所定の視点をレンダリングする事前設定ビューとを提供することができる。任意選択的な構成要素として、カメラを囲むＩＲ放射装置が存在してもよく、これは、デフォルトでオフ位置にあるものとすることができ、アクティブになると、外科医の位置からの光源がオンになる。カメラを囲む放射装置は、反射面から跳ね返る光波を供給することができる。一例として、白い手袋に覆われた指は、反射面として機能することができる。さらに、金属製の外科用器械、又は反射面を有するポインタなどの反射物体を使用することができる。これらの座標を使用して、コンピュータのマウスカーソルのように、モニタ上の選択肢をポイント、マーキング、操作、選択、受容、又はキャンセルすることができる。
患者への３Ｄ投影。投影成分は、外科手術のロードマップとしての役割を果たす、３Ｄ仮想モデル又は画像に基づく２次元投影とすることができる。これらは、たとえば、目印、切開線、（たとえばＺ形成術用の）トレーシング、対象となる領域、定規、分度器としてのヘルパー、張力線のマップ、及び／又は他のガイド間での患者へのボリューム投影によって規定して、外科手術の手順を支援、ガイド、及び評価するためのテンプレート又はマップとして使用することができる。
患者に投影することのできる関連ガイドを示す、事前に作成された外科手術のマップ又はモデルを有することにより、このシステムは機能することができる。プロセスのこの構成要素は、少なくともビデオプロジェクタ、オーバハングしている光源及び／又はスタンドのための取付け用ブラケット、並びにアドレス指定される領域の少なくとも１つのマップからなるが、それだけに限定されない。取付け用ブラケットの形状及び形態は異なる場合があるが、プロジェクタを回転させることができる。投影を患者に向けて、この患者に画像、マップ、又はモデルを正確に重ね合わせることができるようにする。
物理的に又は音声で作動させて、様々な投影、手順の様々な段階での様々なマップ、及び／又は他の機能内の目印間でトグル切替えを可能にする制御装置を追加することができる。
本発明は、以下の実験詳細からより良好に理解されるであろう。しかしながら、考察した詳細は、この後に続く特許請求の範囲においてより詳細に説明される本発明の単なる例示に過ぎないことは、当業者には容易に理解されるであろう。
［実施例］
［３Ｄの組織分布的な外科手術マップの作成］
顔面非対称が理由で自己脂肪移植（ＡＦＧ）を受けている患者は、ハンドヘルドカメラ（ＶＥＣＴＲＡ（登録商標）Ｈ１、Ｃａｎｆｉｅｌｄ Ｓｃｉｅｎｔｉｆｉｃ，Ｉｎｃ（著作権）２０１３）を使用して撮影された手術前の３Ｄ写真を有していた。３Ｄモデルを２つの別個の半面に２等分する正中矢状面を作成することによって、顔面非対称を解析した。参照の半面が欠陥側に反映されて、新規の半合成体を作成し、これが参照３Ｄモデルの役割を果たした。次いで、Ｃａｎｆｉｅｌｄ ＶＥＣＴＲＡ（登録商標）解析モジュール（ＶＡＭ）ソフトウェアを使用して、患者画像に参照モデルを重ね合わせた。次に、カラーマップが生成され、これが２つの表面間の差を概略的に示した。その結果得られたカラーマップは、正常な半面と異常な半面との間の相対距離に応じて色付けされた、量が不足している境界が明瞭な領域であった。投影におけるこの差が滑らかな色の変化度によって表される。
ディジタル３Ｄの組織分布的な外科手術マップを作成するために、３Ｄカラーマップ上に輪郭曲線を生成した。地理的景観の地形マッピングと同様に、離散投影値での輪郭曲線は３Ｄ表面を表す。輪郭曲線を生成するために、カラーマップの最小感度を調整してトレースした。閾値が組織分布的な変化を超えるまで、１ｍｍ、３ｍｍ、５ｍｍ、及び７ｍｍにおいて、トレースした。個々のトレースの合成体が最終的な組織分布マップを生成した。このマップは、重要な顔の造りにおける目印で強化されて、患者に投影されたときの適切なスケール及び位置合せを確実なものにした。
［患者画像の投影］
次いで、手術前患者のマーキング用のテンプレートとしてディジタル３Ｄ組織分布マップを使用して、相対的な位置及び量が不足している度合いを外科医に提示した。マップは、ｐｄｆファイルとして保存され、モバイルプラットフォーム（ｉＰｈｏｎｅ ５ｓ）にアップロードされ、ハンドヘルド型スマートフォン対応のＬＥＤポケットプロジェクタ（ａｘａａ Ｔｅｃｈｎｏｌｏｇｉｅｓ、米国）を使用して投影された。このｉＰｈｏｎｅプロジェクタ構造体は、安定なハンズフリー投影のために、頭上の手術室ライトに固定されていた。プロジェクタライトのプラットフォームは、投影されたマップ上の重要な目印が患者の上に位置合せされるように配置された。次いで、このオーバーレイをガイドとして使用することにより、特定の投影値に割り当てられた色付きマーキングペンを使用してマップをトレースした。
これに続いて、患者は、標準的な技法を使用して、自己脂肪の回収及び移植を受けた。脂肪は、最も不足している領域の中央部分から始まって、組織分布マップで示されるように不足している領域及び度合いに応じて注入された。また、さらにガイドするために、このマップを手術中の患者に投影した。
［考察］
このレポートは、外科手術のマーキングをガイドするのに使用される軟部組織のコンピュータ外科手術計画を説明するものである。外科医の評価だけに依存するのではなく、３Ｄ表面走査技術を適用して、物体の対称解析を実行した。投影された画像を使用して、仮想計画を変換してＯＲに届けた。
骨格ベースの顔面再構成のための仮想外科手術計画（ＶＳＰ）の使用について、記載されている［１３、１５］。しかしながら、これらの場合、コンピュータシミュレーションが、画像、印刷された治具、切断ガイド、及び予め曲げられた板の形態で、ＯＲに転送されていた。
このレポートでは、２ｍｍの投影間隔が任意に選択されたが、この間隔は欠陥のサイズ及び再構築のタイプによって決定することができる。すなわち、比較的小さい欠陥では、より正確なインターベンションのために比較的狭い間隔が必要となり、比較的大きい欠陥では、比較的広い間隔が必要となる。さらに、投影の所望の変化に影響を及ぼすのに必要な脂肪の正確な量は、可変である。投影のこの変化は、皮膚の質、組織弾性、脂肪吸収を含め、複数の要因に依存する。
この例はＡＦＧに焦点を当てているが、形成外科手術の他の領域が、同様の軟部組織外科手術ロードマップを使用することによって恩恵を受けることもできる。組織分布マッピングの考え方は、皮膚表面上の２Ｄマーキングを介して３Ｄ輪郭を表す理想的な方法である。投影により、無菌性を損なうことなく手術中に容易に再現することのできる、ディジタル外科手術計画を転送するための迅速且つ信頼性の高い方法を提供する。充填剤の注入、***外科手術、又は脂肪吸引など、身体の輪郭をターゲットにする手順は、ターゲット領域を識別するための手術前の外科手術マーキングに大きく依存する。コンピュータ上で開発された事前作成済みのロードマップを皮膚表面に投影し、トレースして、外科手術マーキング及び切開部の配置に対する一層正確で効果的な手法を提供することが考えられる。
これは、３Ｄ画像として患者に投影される手術前マーキングの使用を説明する最初のレポートである。これにより、関連する解剖学的構造を精密に記述し、身体検査で評価されない領域を解明することのできる軟部組織の外科手術計画が外科医に提供される。コンピュータ解析及び外科手術シミュレーションによって生成されるマーキングを参照することにより、外科医は、複雑な３Ｄ輪郭を単純化して変換したものである組織分布マップを有する。これにより、標準的な写真では理解できないことの多い患者固有の量のニーズに合わせて調整される、分かりやすいガイドが提供される。
［参考文献］
Figure 0006889703
Figure 0006889703

Claims (8)

  1. ３次元（３Ｄ）患者画像の手術中観察のためのシステムであって、
    患者の体表解剖学的構造の１つ又は複数の３Ｄ表面画像及び／又は３Ｄモデルを処理して、手術中に使用される３Ｄ組織分布マップを生成するように構成されたディジタルプロセッサと、
    前記３Ｄ組織分布マップを前記患者に投影する、及び／又は、手術中の観察および操作のために前記３Ｄ組織分布マップを表示する、ように構成された少なくとも１つの機器と、を含み、
    前記３Ｄ組織分布マップは、前記患者の体表解剖学的構造の所望の輪郭曲線および実際の輪郭曲線を代表する合成体であり、
    前記輪郭曲線が前記患者に投影されるとき、及び／又は、観察および操作のために表示されるとき、前記合成体は、前記合成体のスケールおよび位置合わせをするために、前記患者の体表解剖学的構造上の目印と位置合わせされ、前記患者の体表解剖学的構造への意図された変更を表す離散した値を含む、システム。
  2. 前記３Ｄ表面画像を取得するための３Ｄカメラをさらに備える、請求項１に記載のシステム。
  3. 前記少なくとも１つの機器は、前記３Ｄ組織分布マップを表示するヘッドマウント型の装置を含む、請求項１に記載のシステム。
  4. 前記少なくとも１つの機器は、前記３Ｄ組織分布マップを、前記患者又は対象となる別の全体像を外科医が見る向きに対応するように方向付けして表示する、請求項１に記載のシステム。
  5. 前記３Ｄ表面画像の処理は、前記患者の体表解剖学的構造の解析を含み、前記患者の体表解剖学的構造の解析は、表面の目印及び／又は平面の測定、前記表面の目印及び／又は平面間の距離の測定、容積測定、及び／又は対称性解析を含む、請求項１に記載のシステム。
  6. 前記３Ｄ表面画像の処理は、単一画像の１つ若しくは複数の領域の比較、又は１つ若しくは複数の固有画像の比較を含む、請求項１に記載のシステム。
  7. 前記３Ｄ組織分布マップは、符号化され得るか、前記患者に投影され得るか、又は前記患者にマーキングされ得る、ガイドを含む、請求項１に記載のシステム。
  8. 前記３Ｄ組織分布マップの向きは、前記患者又は対象となる別の全体像に対する外科医の視点に対応するように調整される、請求項１に記載のシステム。
JP2018517201A 2015-09-28 2016-09-26 患者の３ｄ表面画像を手術中に観察するための方法及び装置 Active JP6889703B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562233543P 2015-09-28 2015-09-28
US62/233,543 2015-09-28
PCT/US2016/053698 WO2017058710A1 (en) 2015-09-28 2016-09-26 Methods and devices for intraoperative viewing of patient 3d surface images

Publications (2)

Publication Number Publication Date
JP2019502414A JP2019502414A (ja) 2019-01-31
JP6889703B2 true JP6889703B2 (ja) 2021-06-18

Family

ID=58427825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018517201A Active JP6889703B2 (ja) 2015-09-28 2016-09-26 患者の３ｄ表面画像を手術中に観察するための方法及び装置

Country Status (5)

Country Link
US (3) US10810799B2 (ja)
EP (1) EP3355769A4 (ja)
JP (1) JP6889703B2 (ja)
CA (1) CA3038648A1 (ja)
WO (1) WO2017058710A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2017058710A1 (en) * 2015-09-28 2017-04-06 Montefiore Medical Center Methods and devices for intraoperative viewing of patient 3d surface images
US11612307B2 (en) 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
WO2018189725A1 (en) * 2017-04-14 2018-10-18 Stryker Corporation Surgical systems and methods for facilitating ad-hoc intraoperative planning of surgical procedures
JP6773609B2 (ja) * 2017-06-23 2020-10-21 ウエストユニティス株式会社 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム
DE102017129837A1 (de) * 2017-12-13 2019-06-13 Leibniz-Institut für Photonische Technologien e. V. Kombinierte Untersuchung mit Bildgebung und Lasermessung
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
DE102018111180B4 (de) 2018-05-09 2023-01-05 Olympus Winter & Ibe Gmbh Betriebsverfahren für ein medizinisches System und medizinisches System zum Durchführen eines chirurgischen Eingriffs
WO2019245869A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Closed-loop tool control for orthopedic surgical procedures
CA3106823A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
GB2577719B (en) * 2018-10-03 2023-04-26 Cmr Surgical Ltd Navigational aid
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN113906479A (zh) * 2018-12-28 2022-01-07 艾科缇弗外科公司 从局部深度图生成合成三维成像
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
US20220346906A1 (en) * 2021-04-28 2022-11-03 Rona Z. Silkiss Device to promote bilateral symmetry in surgical markings
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4304571A1 (de) * 1993-02-16 1994-08-18 Mdc Med Diagnostic Computing Verfahren zur Planung und Kontrolle eines chirurgischen Eingriffs
DE10004764A1 (de) * 2000-02-03 2001-08-09 Philips Corp Intellectual Pty Verfahren zur Positionsbestimmung eines medizinischen Instruments
US20040068187A1 (en) * 2000-04-07 2004-04-08 Krause Norman M. Computer-aided orthopedic surgery
TW200304608A (en) * 2002-03-06 2003-10-01 Z Kat Inc System and method for using a haptic device in combination with a computer-assisted surgery system
US20070208252A1 (en) * 2004-04-21 2007-09-06 Acclarent, Inc. Systems and methods for performing image guided procedures within the ear, nose, throat and paranasal sinuses
GB0507204D0 (en) * 2005-04-08 2005-05-18 Leuven K U Res & Dev Maxillofacial and plastic surgery
EP1931237A2 (en) * 2005-09-14 2008-06-18 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US20120010533A1 (en) 2005-10-17 2012-01-12 Arnett G William Method for determining the correct natural head position location of references planes relative to a three-dimensional computerized image of a patient's head
US9107723B2 (en) * 2005-11-22 2015-08-18 Benson Luther Hall System and method for the design, creation and installation of implant-supported dental prostheses
US7876930B2 (en) * 2007-01-02 2011-01-25 Topaz Systems, Inc. Fingerprint reader combination
US20080300478A1 (en) * 2007-05-30 2008-12-04 General Electric Company System and method for displaying real-time state of imaged anatomy during a surgical procedure
WO2009016530A2 (en) * 2007-07-27 2009-02-05 Koninklijke Philips Electronics N.V. Interactive atlas to image registration
US9521961B2 (en) * 2007-11-26 2016-12-20 C. R. Bard, Inc. Systems and methods for guiding a medical instrument
US10117721B2 (en) * 2008-10-10 2018-11-06 Truevision Systems, Inc. Real-time surgical reference guides and methods for surgical applications
US8433128B2 (en) * 2008-11-04 2013-04-30 Omron Corporation Method of creating three-dimensional model and object recognizing device
US20110092880A1 (en) * 2009-10-12 2011-04-21 Michael Gertner Energetic modulation of nerves
US20120019511A1 (en) 2010-07-21 2012-01-26 Chandrasekhar Bala S System and method for real-time surgery visualization
US20140031668A1 (en) * 2010-09-08 2014-01-30 Disruptive Navigational Technologies, Llc Surgical and Medical Instrument Tracking Using a Depth-Sensing Device
US9286819B2 (en) * 2011-05-10 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Display device, display method, integrated circuit, and program
US20130172731A1 (en) * 2011-12-30 2013-07-04 Philip D. Gole Image-overlay medical evaluation devices and techniques
US20140336461A1 (en) 2012-04-25 2014-11-13 The Trustees Of Columbia University In The City Of New York Surgical structured light system
EP2956814A1 (en) 2013-02-14 2015-12-23 Seiko Epson Corporation Head mounted display and control method for head mounted display
JP6299067B2 (ja) * 2013-02-14 2018-03-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2015023787A1 (en) * 2013-08-13 2015-02-19 Coffey Dane Computer visualization of anatomical items
JP6430517B2 (ja) * 2013-09-24 2018-11-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 外科的介入計画を算出する方法
EP3057660B1 (en) * 2013-10-16 2019-07-31 Koninklijke Philips N.V. Estimating position of an organ with a biomechanical model
US20170042631A1 (en) * 2014-04-22 2017-02-16 Surgerati, Llc Intra-operative medical image viewing system and method
WO2016022729A1 (en) 2014-08-05 2016-02-11 3Db Resources Llc 3d-printed unibody mesh structures for breast prosthesis and methods of making same
FR3027506B1 (fr) * 2014-10-27 2021-12-17 H 42 Procede de controle de la dentition
GB201501157D0 (en) * 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
EP3230957B8 (en) * 2014-12-08 2020-04-01 Koninklijke Philips N.V. Virtual interactive definition of volumetric shapes
US11160470B2 (en) * 2015-06-01 2021-11-02 The Regents Of The University Of California Motion tracking apparatus and method
WO2017058710A1 (en) * 2015-09-28 2017-04-06 Montefiore Medical Center Methods and devices for intraoperative viewing of patient 3d surface images
CN111329554B (zh) 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
US11589949B1 (en) 2018-04-05 2023-02-28 MirrorMe3D, LLC System and methods of creating a 3D medical representation for use in performing reconstructive surgeries

Also Published As

Publication number Publication date
US10810799B2 (en) 2020-10-20
US20240161421A1 (en) 2024-05-16
EP3355769A4 (en) 2020-02-05
US11727649B2 (en) 2023-08-15
JP2019502414A (ja) 2019-01-31
WO2017058710A1 (en) 2017-04-06
US20210035370A1 (en) 2021-02-04
CA3038648A1 (en) 2017-04-06
US20180261009A1 (en) 2018-09-13
EP3355769A1 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
JP6889703B2 (ja) 患者の３ｄ表面画像を手術中に観察するための方法及び装置
US12010285B2 (en) Augmented reality guidance for spinal surgery with stereoscopic displays
JP2016512973A (ja) 身体に対して対象を追跡するための追跡装置
CN104939925A (zh) 基于三角测量的深处和表面可视化
Mamone et al. Projected augmented reality to drive osteotomy surgery: Implementation and comparison with video see-through technology
KR20230037007A (ko) 수술 내비게이션 시스템 및 그 응용
EP3075342B1 (en) Microscope image processing device and medical microscope system
KR102362149B1 (ko) 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
US20220175485A1 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
US20230363830A1 (en) Auto-navigating digital surgical microscope
US20210295466A1 (en) Shape conforming projections of medical information
US20230076894A1 (en) Surgical navigation system on wearable computer combining augmented reality and robotics
CN116568219A (zh) 自动导航数字手术显微镜
VIRGINIAMAMONE et al. Projected Augmented Reality to Drive Osteotomy Surgery: Implementation and Comparison With Video See-Through Technology

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20180827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210521

R150 Certificate of patent or registration of utility model

Ref document number: 6889703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250