JP2012166024A - 医療ディスプレイのための外科医の補助 - Google Patents

医療ディスプレイのための外科医の補助 Download PDF

Info

Publication number
JP2012166024A
JP2012166024A JP2012025866A JP2012025866A JP2012166024A JP 2012166024 A JP2012166024 A JP 2012166024A JP 2012025866 A JP2012025866 A JP 2012025866A JP 2012025866 A JP2012025866 A JP 2012025866A JP 2012166024 A JP2012166024 A JP 2012166024A
Authority
JP
Japan
Prior art keywords
image data
overlay pattern
surgical image
surgical
overlay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012025866A
Other languages
English (en)
Other versions
JP5904812B2 (ja
Inventor
Timothy King
ティモシー・キング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz Imaging Inc
Original Assignee
Karl Storz Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz Imaging Inc filed Critical Karl Storz Imaging Inc
Publication of JP2012166024A publication Critical patent/JP2012166024A/ja
Application granted granted Critical
Publication of JP5904812B2 publication Critical patent/JP5904812B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】実況中継の手術モニタ上に表示された画像上の関心領域を識別するための方法および装置を提供すること。
【解決手段】カメラとすることができる手術画像データのソースと、カメラ制御ユニットとすることができる画像処理ユニットと、ディスプレイとすることができる宛先とを含む、手術画像上の関心領域を識別するためのシステム。画像処理ユニットは、手術画像データを受け取り、関心領域を識別するためのオーバーレイパターンと組み合わせるように構成されており、次いで関心領域がディスプレイ上で表示される。オーバーレイは、座標またはラベルを有するキーを含むことができる。オーバーレイおよびキーの特性をカスタマイズまたは調整することができる。
【選択図】図1

Description

本発明は、外科的処置からの画像を表示するためのシステムに関する。詳細には、本発明は、現在進行中の外科的処置からの画像上にオーバーレイ補助(aid)を生成するための方法および装置に関する。
現代の医学では、ますます技術的な画像化法を使用して治療が実施されている。たとえば、小型カメラが患者の体内に挿入され、カメラによって撮影された画像が、医師の作業場に設置されたモニタ上で、医師に対して表示される。このようにして、医師は、たとえば診断のために内部臓器または関節を調べることができ、また手術を低侵襲的に実施することもできる。医師の作業場、すなわち無菌室内にモニタを配置することによって、医師は、対応するモニタ画像が医療画像化システムによって撮像されつつあるモニタ上の実況中継で、自分が患者に対して責任を負っている手術すべてを追跡することができる。したがって、内視鏡法、関節鏡視法、および腹腔鏡法など様々な低侵襲手術中に、外科医は、手術を行いながら、臓器、関節、または他の解剖学的構造の内部を目視で調べることができる。
最近の開発により、様々な視聴覚デバイスを組み込むシステムが生まれ、手術室内、または手術室から離れて位置する、補助または観察中であり得る他者が外科的処置をよりよく監視することができるようになった。したがって、手術中に獲得される静止画像および実況映像を共に、手術室内および手術室の外にある様々な異なるモニタまたは記録デバイスに出力することができる。さらに、様々なデバイスがこれらのシステムに組み込まれ、外科医、または補助もしくは観察している他の個人が、システムの画像化機能を様々な形で、様々な異なる目的のために、同時または様々な時に利用することができるようになった。
さらに、複数の人が手術を補助または観察しているとき、実況中継の手術モニタ上に示されている患者の体内の、いくつかの関心領域に対する注意を促すことや、関心領域を識別することがしばしば必要である。たとえば、教官は、手術を観察しながら、生徒に対して、ある内部臓器または構造、病理または手順に対する注意を促したいと望む可能性がある。さらに、監督外科医が執刀医に対し、関心領域内で縫合を増やすように指示することができる。
これらの外科的処置中のコミュニケーションをさらに改善するために、実況中継の手術モニタ上に表示されているいくつかの関心領域に対する注意を促す、または関心領域を識別するための方法またはデバイスを有することが望ましい。これは、特定の関心領域に関する効率的かつ明瞭なコミュニケーションを促進し、混乱、誤解、および誤った解釈を減らすことになる。
外科医もしくは助手または手術を補助もしくは観察する他者によるレーザポインタもしくはカーソルの使用、またはタッチスクリーン上で「円を描く」もしくは注釈することを含めて、実況中継の手術モニタ上で関心領域を識別するために、いくつかの方法およびデバイスが試みられている。これらの知られている方法には、多数の欠点がある。第1に、外科医は、レーザポインタを操作し、またはタッチスクリーン上で指示をし、一方、外科的処置をも安全に実施することはできない。第2に、これらの知られている方法は、カーソルの使用を含めて、余分に手をかけることを必要とするが、外科医は、しばしばそのような手をかけることができない。
この背景に照らして、本発明の目的は、実況中継の手術モニタ上に表示された画像上の関心領域を識別するための方法および装置を提供することである。
本発明の他の目的は、単純かつコスト効果的にそのような方法および装置を提供することである。
関心領域を識別するための方法および/または装置の画像特性が構成可能および調整可能であることが、本発明の他の目的である。
本発明の他の目的は、医師が識別された関心領域内およびその周りで画像の特性を構成および調整することができるようにすることである。
本発明の一態様によれば、手術モニタ上で関心領域を識別するための構成可能なオーバーレイパターンが提供される。他の態様では、オーバーレイパターンによって画定された関心領域を、参照しやすいように番号および/または文字など座標で分類する(labelled with)ことができる。たとえば、オーバーレイパターンが格子である場合、格子の行および列を、デカルト座標で分類することができる。本発明の他の態様によれば、識別された関心領域内および/またはその周りの手術画像の特性を調整することができる。本発明の他の態様によれば、オーバーレイパターンは、画像アーカイブから再表示された表示画像に適用されてもよい。また、適用されたオーバーレイパターンを、引き続きアーカイブに保存される、取り込まれた画像上で維持することができる。
さらに、この新規の方法および装置は、オーバーレイパターンを含む手術画像が、無菌室の外でさらに処理するために直接使用可能であるという利点を有する。このさらなる処理は、たとえば、遠隔のトレーニング用モニタ上で表示すること、および/または電子患者カードファイル内でアーカイブすることを含むことができる。したがって、この新規なシステムは、応用分野の拡大をもたらす。
一態様では、手術画像上の関心領域を識別するためのシステムであって、手術画像データを生成するためのカメラと、前記手術画像データを前記カメラから受け取り、処理するカメラ制御ユニットと、オーバーレイパターンを前記手術画像データに適用するための、前記カメラ制御ユニット上で実行されるソフトウェアと、前記手術画像データおよび前記オーバーレイパターンを表示するための、前記カメラ制御ユニットによって制御されるディスプレイとを備えるシステムが提供される。このシステムは、手術画像データおよびオーバーレイパターンを保存するための記憶装置をも含むことができる。手術画像データは、映像データ、静止フレームデータ、またはそれらの組合せとすることができる。オーバーレイパターンそれ自体は、格子、十字線、四分円、1つもしくは複数のハッシュマーク、円または卵形線を含むことができ、そのパターンを、表示された画像の中央に置いて、または縁部で適用することができる。また、オーバーレイパターンの、1つまたは複数の領域を識別するためのキーを設けることができる。また、明るさ、コントラスト、不透明度、解像度、および色を含めて、オーバーレイパターンの少なくとも1つの特性を調整可能なものとすることができる。オーバーレイの特性は、前記カメラ上に位置する1つもしくは複数のボタンを介して、タッチスクリーンを介して、またはカメラ制御ユニット上で実行される音声認識ソフトウェアを介して調整することができる。
他の態様では、手術画像上の関心領域を識別するためのシステムであって、手術画像データのソースと、前記ソースと通信する画像処理ユニットであって、手術画像データを受け取り、関心領域を識別するために手術画像データをオーバーレイパターンと組み合わせるように構成された画像処理ユニットと、前記オーバーレイパターンと組み合わされた前記手術画像データを受け取るための、前記画像処理ユニットと通信する宛先とを備えるシステムが提供される。このシステムは、前記手術画像データを前記オーバーレイパターンと組み合わせるための、前記画像処理ユニット上で実行されるソフトウェアをさらに含むことができる。映像データ、静止フレームデータ、およびそれらの組合せとすることができる画像データのソースは、カメラ、記憶媒体、またはカメラ制御ユニットとすることができる。宛先は、複数のソースからの手術画像データをオーバーレイパターンと組み合わせて同時に表示するように構成され得るディスプレイ、または記憶媒体とすることができる。
他の態様では、手術画像上の関心領域を識別するための方法であって、手術画像データのソースを用意するステップと、手術画像データをソースからカメラ制御ユニットに送信するステップと、前記カメラ制御ユニット内で前記手術画像データをオーバーレイパターンと組み合わせるステップと、前記オーバーレイパターンと組み合わされた前記手術画像データをディスプレイに送信するステップと、前記オーバーレイパターンと組み合わされた前記手術画像データを前記ディスプレイ上で表示するステップとを含む方法が提供される。前記手術画像データを前記オーバーレイパターンと組み合わせるための、前記カメラ制御ユニット上で実行されるソフトウェアをも用意することができる。この方法は、前記オーバーレイパターンと組み合わされた手術画像データを、前記カメラ制御ユニットと通信する記憶媒体に保存するステップをも含むことができる。この方法は、所望のパターンを選択するステップと、関心領域が前記オーバーレイパターンの領域近傍に位置するように画像データのソースを調整するステップと、前記オーバーレイパターンを参照することによって前記手術画像データ内の関心領域を識別するステップとをさらに含むことができる。
上述の特徴、および下記で述べることになる特徴は、それぞれ指定された組合せだけでなく、本発明の範囲から逸脱することなしに、他の組合せで、またはそれら自体で使用することができることは、言うまでもない。
手術画像上の関心領域を識別するためのシステムの一実施形態の概略図である。 手術画像上の関心領域を識別するためのシステムと共に使用するための入力の一実施形態の図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、手術画像データと組み合わされた、共に不透明度100%である、キーを有する格子の形態にあるオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、手術画像データと組み合わされた、共に不透明度50%である、キーを有する格子の形態にあるオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、手術画像データと組み合わされた、不透明度50%である格子と不透明度100%であるキーの形態で組み合わされたオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、拡大された手術画像データと組み合わされた、共に不透明度100%である、キーを有する格子の形態にあるオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するための、手術画像データと組み合わされた、中央に置かれた十字線の形態にあるオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。 図1に示されている手術画像上の関心領域を識別するためのシステムと共に使用するためのオーバーレイパターンの図である。
本発明は、デカルト格子、十字線、四分円などオーバーレイパターンを手術画像上で適用することによって、手術画像データ内のある関心領域を識別するためのシステム10を提供する。それにより、オーバーレイパターンは、外科医がオーバーレイパターンまたはその一部分を参照することによって手術画像データ内の関心領域を参照すること、または関心領域に対する注意を促すことを可能にする。下記で詳細に論じるように、オーバーレイパターンはまた、英数字ラベルまたは座標を含むことができるキーを含むことができ、キーは、参照中のオーバーレイの領域または一部分を識別する際に外科医の助けとなることができる。
図1を参照すると、システム10は、少なくとも1つの処理ユニット14および手術画像データ用の少なくとも1つの宛先16と通信する手術画像データの少なくとも1つのソース12を含む。処理ユニット14に接続された手術画像データの少なくとも1つのソース12は、静止フレーム画像または映像など医療画像を生成する際に使用するための手術画像データを生成、獲得、記憶、監視、または制御する任意のデバイス、システム、またはネットワークを含むことができる。たとえば、この少なくとも1つのソース12は、内視鏡カメラ、ビデオ内視鏡、室内カメラ、ライトカメラ、ブームカメラなど、画像獲得デバイスを含むことができる。同様に、この少なくとも1つのソース12は、従来のビデオカセットレコーダまたはデジタルビデオ記録デバイス(リニアテープデッキまたはDVD記録デバイスなど)、画像キャプチャデバイス、PACS(画像保存通信システム)コンピュータ、あるいは病院情報システムなど、任意の記録、記憶、および/またはアーカイブデバイスまたはシステムを含むことができる。最後に、この少なくとも1つのソース12は、患者モニタ、または様々なデバイスを制御するための中央コンピュータなど、手術画像データをそこから受け取ることができる他のデバイスを含むことも、単に、手術画像データを供給することができる外部デバイスをシステムに接続するための補助入力とすることもできる。
さらに、ソース12は、別のソースから手術画像データを受け取る手術画像データのソースであってもよい。たとえば、ソースは、実況映像を記録しながら映像をコンピュータに供給するリニアテープデッキとすることができる。リニアテープデッキは、下記でさらに述べるように、現在患者に対して使用されている内視鏡カメラから実況映像を受け取ることができる。別の例として、ソース12は、画像を複数の他のソースからクワッドイメージプロセッサ(quad image processor)など処理ユニット(すなわち、画面スプリッタ)にルーティングするためのプロセッサとすることができる。処理ユニットに接続されたソース12は、カメラ制御ユニット(CCU)であってもよい。
少なくとも1つの処理ユニット14は、手術画像データから生成された画像を処理する任意のデバイス、システム、またはネットワークを含むことができる。たとえば、処理ユニット14は、汎用プロセッサ、コンピュータ、またはCCUとすることができ、これらをカメラに組み込むことも、カメラ外部のモジュール型CCUとすることもできる。
少なくとも1つのソース12によって供給される手術画像データ用の少なくとも1つの宛先16は、画像データから生成された手術画像を表示する、または他の方法で画像データをビューワに伝達する、もしくは画像データを記憶する任意のデバイス、システム、またはネットワークを含むことができる。たとえば、この少なくとも1つの宛先は、たとえばフラットパネルディスプレイ、プラズマ画面、またはコンピュータモニタなど、様々なディスプレイのいずれかを含むことができる。さらに、この少なくとも1つの宛先は、記録デバイスまたは記憶媒体を含むことができる。
さらに、手術画像データ用のこの少なくとも1つの宛先16は、手術室内に位置しても、手術室から離れた場所にあってもよい。本発明の一目的は、手術画像データを見る、または分析する人全員がその手術画像データ内の関心領域を識別するのを助けることである。たとえば、手術画像データに適用されるオーバーレイパターンを、手術を実施する外科医が使用し、手術室にいないがどこか他の遠隔の場所でモニタなど宛先16上でオーバーレイパターンを有する手術画像データを見ることができる補助の外科医とコミュニケーションすることができる。さらに、オーバーレイパターンを、教示目的で、講堂または教室内に位置するモニタ上に表示された手術画像データに適用することができる。
さらに、宛先16は、複数のソースからの手術画像データを表示することが可能なものであってもよい。たとえば、宛先16は、ピクチャインピクチャ(PIP)機能を有するモニタとすることができる。この実施形態では、ユーザは、モニタ上に表示された手術画像データの全部またはいくつかの組にオーバーレイパターンを適用することを選ぶことができる(またはプリセットが設定することができる)。同様に、いくつかのソース12からの手術画像データ用のいくつかの宛先16がある場合には、ユーザは、宛先16に送られた手術画像データの全部またはいくつかの組にオーバーレイパターンを適用することを選ぶことができる(またはプリセットが設定することができる)。
図1に示されているように、システム10はまた、少なくとも1つのソース12および/または処理ユニット14と通信する少なくとも1つの入力18を含むことができる。この少なくとも1つの入力18は、ユーザがオーバーレイパターンの特性を使用可能/使用不能にする、かつ/または調整する任意のインターフェースを含むことができる。一実施形態では、入力18は、内視鏡カメラなど手術画像データのソース12それ自体に位置するボタンまたはメニューとすることができる。あるいは、入力18は、外科医が押す物理的なボタンを含むことができる、またはタッチスクリーンモニタをも含むことができるユーザインターフェースであってもよい。
図2に示されている他の実施形態では、入力18は、タッチスクリーン20上の1つまたは複数のアイコンを含むことができる。この実施形態では、システム10は、タッチスクリーン20にいくつかのアイコンを同時に表示させる、処理ユニット14上で実行されるソフトウェアを含むことができる。これらのアイコンは、ユーザが触れたことに敏感であり、コマンドが処理ユニット14に送られるようにする。いくつかのソースアイコン22または宛先アイコン24を押すことにより、ユーザは、アイコンの場所でタッチスクリーン20を押すことによって特定のソースおよび宛先を選択することができる。また、ユーザは、最終的に宛先に伝達される手術画像に変化をもたらすために、タッチスクリーン上のディスプレイウィンドウ26内に表示される手術画像を操作または変更することができる。たとえば、タッチスクリーン20はまた、ユーザがオーバーレイパターンを使用可能/使用不能にし、オーバーレイパターンの特性を調整し、オーバーレイパターンが適用される、またその宛先16に組合せ後の手術画像が送信される手術画像データを選択することを可能にする少なくとも1つのアイコン28を含むことができる。
いくつかの実施形態では、システム10はまた、音声コマンドを受け入れるように構成されてもよく、ユーザが、画像化デバイスまたはユーザインターフェースに触れる必要なしに、声でオーバーレイパターンを使用可能または使用不能にすること、またオーバーレイパターンそれ自体の特性を調整することを可能にする。この実施形態では、少なくとも1つの入力18は、音声コマンドを受け入れるための、前記処理ユニット14上で実行される音声認識ソフトウェアを含むことができ、外科医が、ソース12、処理ユニット14、または入力18それ自体に物理的に触れる必要なしに、声でオーバーレイを使用可能または使用不能にすること、またオーバーレイそれ自体の特性を調整することを可能にする。
いくつかの他の実施形態では、入力18は、カメラヘッドまたは画像動きベクトル検出からの加速度計データを含むことができる。このデータの入力に応答して、オーバーレイパターンを自動的に使用可能または使用不能にすることができ、あるいはオーバーレイパターンの特性を調整することができる。
また、入力18は、ユーザによって事前設定されたいくつかの時間にオーバーレイパターンを使用可能/使用不能にするように処理ユニット14に対して作用する、ユーザによって保存された事前設定のデータを含むことができる。この事前設定のデータは、ユーザが宛先16に送りたいと望む好ましいタイプのオーバーレイパターンおよび/またはオーバーレイパターンの特性をも含むことができる。
図3および図7〜図21に示されているように、オーバーレイパターン30は、任意の数の設計で提供することができ、設計は、ユーザが設定することができる。たとえば、図3〜図6に示されているように、オーバーレイパターン30は、格子とすることができる。さらに、図7に示されているように、オーバーレイパターン30は、表示された手術画像の中央に配置された単一の十字線を含むことができる。他の実施形態では、オーバーレイパターンは、手術画像の一部分、手術画像全体にわたって、または画像の縁部で重ね合わされた1つまたは複数のハッシュマークまたは十字線とすることができる。また、オーバーレイは、四分円に分割されてもよく、任意の数の円、卵形線、ハッシュマーク、またはそれらの任意の組合せが四分円内にある。また、オーバーレイは、1つまたは複数の円、卵形線、または他の形状とすることができる。
所望のオーバーレイパターン30をユーザが入力18を介して選ぶことができ、そのいくつかの例は上述されている。たとえば、内視鏡カメラなどソース12は、所望のオーバーレイパターン30を選択および設定するためのボタンを含むことができる。ユーザは、手術画像データ34のソース12の1つまたは全部にオーバーレイパターン30を適用することを選ぶことができる。オーバーレイパターン30が選択された後で、1つまたは複数の選択されたソース12からの手術画像データ34が処理ユニット14内でオーバーレイパターン30と組み合わされ、組み合わされた手術画像が1つまたは複数の選択された宛先18に送信される。
一実施形態では、オーバーレイパターンがリアルタイムで実況中継の手術画像に適用される。たとえば、図3に示されているように、組み合わされた手術画像データ34およびオーバーレイパターン30をディスプレイ32に送信することができる。ディスプレイは、手術室内に位置することができ、および/または手術を補助する他の外科医が、または教育目的で手術を観察する生徒が見るように手術室から離れたある場所に位置することができる。
さらに、オーバーレイパターン30は、記憶媒体上など画像アーカイブから再表示された手術画像データ34に適用することができる。適用されたオーバーレイパターン30もまた、取り込まれた手術画像データ34上で維持することができ、それを引き続きアーカイブに保存し、ディスプレイ上で見るために後で再表示することができる。
オーバーレイパターン30は、「固定された」位置で手術画像データに適用することができ、これは、オーバーレイパターン30が、表示画像に対して固定された位置、すなわち手術画像の中央に置いて適用されることになることを意味する。しかし、ユーザは、手術画像データ34を、オーバーレイパターン30に対して別々に調整することができる。動作時には、ユーザは、オーバーレイパターン30を有する手術画像データをディスプレイ32上で見て、特定の関心領域がオーバーレイパターン30の識別可能な領域に、またはその近傍に位置するまで、ソース12(すなわち、カメラ)によって取り込まれた画像を調整する。外科医は、図7に示されている実施形態を使用して、関心領域が十字線の中央に置かれるまでカメラの視野を調整することになる。これにより、外科医は、単にカメラを調整することによって、関心領域をはっきりと「指し示す」ことができる。
また、オーバーレイパターンは、ユーザが、オーバーレイパターン30の領域または一部分を識別および考察し、下にある手術画像データ34の関心領域を識別および考察するのを助けるためのキー36を含むことができる。一例では、キー36は、英数字ラベルまたは座標を含むことができる。たとえば、図3に示されているように、格子オーバーレイの行および列は、文字および番号で分類する-縦軸を文字で分類し、横軸を番号で分類し(または逆も同様である)、単純な文字-番号の組合せ(たとえば、「C3」または「D2」など)で手術画像のある領域を参照することを可能にすることができる。他の実施形態では、オーバーレイパターン30が、図11に示されているようにハッシュマークを含む場合、ハッシュマークを座標で分類することができる。図16および図18に示されているように、四分円または他の画定形状を、英数字キー36で個々に分類することができる。
それだけには限らないが、オーバーレイの解像度(すなわち、行数×列数、円の数など)、オーバーレイパターン30および/またはキー36の不透明度、オーバーレイパターン30および/またはキー36の不透明度の分布、オーバーレイ30および/またはキー36の色、オーバーレイ30および/またはキー36の明るさ、オーバーレイパターン30の線の太さ、キー36のフォントのサイズなどを含めて、オーバーレイ30およびキー36のいくつかの特性を調整可能とすることができる。ユーザは、外科的処置の開始前に、オーバーレイパターンを使用可能にし、その特性を設定することを選ぶことができ、または外科的処置中のいつでも、オーバーレイを使用可能/使用不能にすることができ、特性を調整することができる。
一例では、オーバーレイパターン30およびキー36は、様々なレベルの不透明度で手術画像に適用することができる。また、オーバーレイは、ユーザによって設定されたオーバーレイ30のいくつかの特性を表示することができるインジケータ38を含むことができる。たとえば、図3は、不透明度100%で適用された格子としてのオーバーレイ30およびキー36を示す。図4は、共に不透明度50%で適用されたオーバーレイ30およびキー36を示す。オーバーレイ30の特性は、一定とすることも、ディスプレイ32にわたって異なるものとすることもできる。たとえば、オーバーレイパターン30は、ディスプレイ32の縁部でより不透明であり、ディスプレイ32の中央に向かって徐々により透明になることができる。
他の実施形態では、オーバーレイパターンの調整可能な特性と座標を互いに独立して調整することができる。たとえば、図5に示されているように、オーバーレイは、不透明度50%に設定されてもよく、一方、キー36は、不透明度100%で維持されてもよい。
カメラ制御ユニット(CCU)の様々な特性もまた、いくつかの座標またはユーザによって識別されたオーバーレイ30の領域において、および/またはそれらの周りで手術画像データを変化させるように変更することができる。たとえば、手術画像データ34の明るさ、コントラスト、色、またはズームを、座標または識別された領域において、および/またはそれらの周りで調整することができる。オーバーレイ30の座標または領域は、入力18を介して、たとえばソース12上でのボタン押下によって、またはタッチスクリーン20のアイコンもしくはディスプレイウィンドウ26に触れることによって識別することができる。システム10はまた、CCUの特性を変更するためにオーバーレイパターン30のいくつかの領域または座標の音声認識を含むように構成されてもよい。
さらに、手術画像データ34それ自体のズームレベルをオーバーレイパターン30から独立して調整することができる。オーバーレイパターン30の解像度は同じままであり、一方、手術画像データ34が拡大または縮小される。たとえば、図6は、図3の手術画像データ34の拡大版を示し、格子オーバーレイパターンの解像度は依然として一定である(4行×6列)。
ユーザは、外科的処置の開始時、または外科的処置中に、オーバーレイパターン30および/またはキー36の特性を設定または調整することができる。たとえば、ユーザは、格子オーバーレイを選択し、列および行の数を選び、色を設定することを、すべて外科的処置の開始前に行うことができる。また、ユーザは、オーバーレイ30のデフォルトとなるプリセットを確立することができる。図1〜図7に示されている一実施形態では、格子オーバーレイの解像度は4行×6列である。しかし、4×4など、他の格子オーバーレイ解像度も企図されている。オーバーレイは、様々な数または固定された数の列、行、四分円などのものとすることができる。
さらに、オーバーレイパターンおよび/または解像度は、ディスプレイモニタのアスペクト比に従って事前設定されても、外科医が選んでもよい。たとえば、外科医は、アスペクト比4×3を有する標準画質(SD)ディスプレイを選ぶことができ、オーバーレイパターンは、それに応じて選ばれる、または調整されることになる。また、外科医は、アスペクト比16×9を有する高精細度(HD)ディスプレイを選ぶことができ、オーバーレイパターンは、それに応じて選ばれる、または調整されることになる。図15に示されているパターンなど卵形線を組み入れたオーバーレイパターンは、HDディスプレイによく適しており、一方、図14に示されているパターンなど円を組み入れたオーバーレイパターンは、SDディスプレイによく適している。
他の実施形態では、システム10は、(入力18としての)動きベクトル検出器が、ある期間の間、静止画像を検知した場合、オーバーレイを自動的に使用可能にすることができる。逆に、システム10は、動きベクトル検出器が、ある期間の間、動画像を検知した場合、オーバーレイを自動的に使用不能にすることができる。さらに、システム10は、オーバーレイが事前設定された期間の間使用可能であった後、自動的に「タイムアウト」することができ、手術画像がある期間の間静止していた場合、「タイムアウト」することができる。
オーバーレイが、自動検知、「タイムアウト」によって、またはユーザからの直接入力によって使用可能または使用不能にされたとき、不透明度100%で直ちに現れる、または直ちに消えるようにオーバーレイをプログラムすることができる。あるいは、不透明度を徐々に上げるか下げることによって徐々に現れる、または消えるようにオーバーレイをプログラムすることができる。これらの特性について、下記でさらに論じる、
前述は例示的なものであり、限定するものではないこと、また本発明の精神から逸脱することなしに自明の修正が当業者によって加えられ得ることを理解されたい。
10 システム
12 ソース
14 処理ユニット
16 宛先
18 入力
20 タッチスクリーン
22 ソースアイコン
24 宛先アイコン
26 ディスプレイウィンドウ
28 アイコン
30 オーバーレイパターン
32 ディスプレイ
34 手術画像データ
36 キー
38 インジケータ

Claims (48)

  1. 手術画像上の関心領域を識別するためのシステムであって、
    手術画像データを生成するためのカメラと、
    前記手術画像データを前記カメラから受け取り、処理するカメラ制御ユニットと、
    オーバーレイパターンを前記手術画像データに適用するための、前記カメラ制御ユニット上で実行されるソフトウェアと、
    前記手術画像データおよび前記オーバーレイパターンを表示するための、前記カメラ制御ユニットによって制御されるディスプレイと
    を備えるシステム。
  2. 前記手術画像データが、映像データ、静止フレームデータ、およびそれらの組合せからなる群から選択される、請求項1に記載のシステム。
  3. 前記手術画像データおよび前記オーバーレイパターンを保存するための記憶装置をさらに備える、請求項1に記載のシステム。
  4. 前記オーバーレイパターンが、前記オーバーレイパターンの1つまたは複数の領域を識別するためのキーを含む、請求項1に記載のシステム。
  5. 前記オーバーレイパターンが格子を含む、請求項1に記載のシステム。
  6. 前記オーバーレイパターンが十字線を含む、請求項1に記載のシステム。
  7. 前記十字線の1つが、表示されたとき前記手術画像データの中央に置かれる、請求項6に記載のシステム。
  8. 前記オーバーレイパターンが四分円を含む、請求項1に記載のシステム。
  9. 前記オーバーレイパターンが、1つまたは複数のハッシュマークを含む、請求項1に記載のシステム。
  10. 前記1つまたは複数のハッシュマークの少なくともいくつかが、表示されたとき前記手術画像データの少なくとも1つの縁部に位置する、請求項9に記載のシステム。
  11. 前記オーバーレイパターンが円を含む、請求項1に記載のシステム。
  12. 前記オーバーレイパターンが卵形線を含む、請求項1に記載のシステム。
  13. 前記オーバーレイパターンが、前記カメラ制御ユニットによって調整することができる少なくとも1つの特性を有する、請求項1に記載のシステム。
  14. 前記特性が、明るさ、コントラスト、不透明度、解像度、および色からなる群から選択される、請求項13に記載のシステム。
  15. 前記少なくとも1つの特性が、前記カメラ上に位置する1つまたは複数のボタンを介して調整され得る、請求項13に記載のシステム。
  16. 前記少なくとも1つの特性が、タッチスクリーンを介して調整され得る、請求項13に記載のシステム。
  17. 前記少なくとも1つの特性が、前記カメラ制御ユニット上で実行される音声認識ソフトウェアを介して調整され得る、請求項13に記載のシステム。
  18. 手術画像上の関心領域を識別するためのシステムであって、
    手術画像データのソースと、
    前記ソースと通信する画像処理ユニットであって、前記手術画像データを受け取り、関心領域を識別するために前記手術画像データをオーバーレイパターンと組み合わせるように構成された画像処理ユニットと、
    前記オーバーレイパターンと組み合わされた前記手術画像データを受け取るための、前記画像処理ユニットと通信する宛先と
    を備えるシステム。
  19. 前記手術画像データを前記オーバーレイパターンと組み合わせるための、前記画像処理ユニット上で実行されるソフトウェアをさらに備える請求項18に記載のシステム。
  20. 手術画像データの前記ソースがカメラを含む、請求項18に記載のシステム。
  21. 前記手術画像データが、映像データ、静止フレームデータ、およびそれらの組合せからなる群から選択される、請求項18に記載のシステム。
  22. 手術画像データの前記ソースが記憶媒体を含む、請求項18に記載のシステム。
  23. 手術画像データの前記ソースがカメラ制御ユニットを含む、請求項18に記載のシステム。
  24. 前記画像処理ユニットがカメラ制御ユニットである、請求項18に記載のシステム。
  25. 前記宛先がディスプレイを含む、請求項18に記載のシステム。
  26. 前記ディスプレイが、複数のソースからの手術画像データを同時に表示するように構成されている、請求項25に記載のシステム。
  27. 前記ディスプレイが、複数のソースからの手術画像データをオーバーレイパターンと組み合わせて同時に表示するように構成されている、請求項26に記載のシステム。
  28. 前記宛先が記憶媒体を含む、請求項18に記載のシステム。
  29. 手術画像上の関心領域を識別するための方法であって、
    手術画像データのソースを用意するステップと、
    前記手術画像データを前記ソースからカメラ制御ユニットに送信するステップと、
    前記カメラ制御ユニット内で前記手術画像データをオーバーレイパターンと組み合わせるステップと、
    前記オーバーレイパターンと組み合わされた前記手術画像データをディスプレイに送信するステップと、
    前記オーバーレイパターンと組み合わされた前記手術画像データを前記ディスプレイ上で表示するステップと
    を含む方法。
  30. 前記手術画像データを前記オーバーレイパターンと組み合わせるための、前記カメラ制御ユニット上で実行されるソフトウェアを用意するステップをさらに含む、請求項29に記載の方法。
  31. 前記ディスプレイが、オーバーレイパターンと組み合わされた、複数のソースからの手術画像データを同時に表示するように構成されている、請求項29に記載の方法。
  32. 手術画像データの前記ソースがカメラを含む、請求項29に記載の方法。
  33. 手術画像データの前記ソースが記憶媒体を含む、請求項29に記載の方法。
  34. 前記オーバーレイパターンと組み合わされた前記手術画像データを、前記カメラ制御ユニットと通信する記憶媒体に記憶するステップをさらに含む、請求項29に記載の方法。
  35. 前記オーバーレイパターンが、前記オーバーレイパターンの1つまたは複数の領域を識別するためのキーを含む、請求項29に記載の方法。
  36. 前記オーバーレイパターンが格子を含む、請求項29に記載の方法。
  37. 前記オーバーレイパターンが十字線を含む、請求項29に記載の方法。
  38. 前記十字線の1つが、表示されたとき前記手術画像データの中央に置かれる、請求項37に記載の方法。
  39. 前記オーバーレイパターンが四分円を含む、請求項29に記載の方法。
  40. 前記オーバーレイパターンが、1つまたは複数のハッシュマークを含む、請求項29に記載の方法。
  41. 前記1つまたは複数のハッシュマークの少なくともいくつかが、表示されたとき前記手術画像データの少なくとも1つの縁部に位置する、請求項40に記載の方法。
  42. 前記オーバーレイパターンが円を含む、請求項29に記載の方法。
  43. 前記オーバーレイパターンが卵形線を含む、請求項29に記載の方法。
  44. 前記オーバーレイパターンが、前記カメラ制御ユニットによって調整することができる少なくとも1つの特性を有する、請求項29に記載の方法。
  45. 前記特性が、明るさ、コントラスト、不透明度、解像度、および色からなる群から選択される、請求項44に記載の方法。
  46. 所望のオーバーレイパターンを選択するステップをさらに含む、請求項29に記載の方法。
  47. 関心領域が前記オーバーレイパターンの領域近傍に位置するように画像データの前記ソースを調整するステップをさらに含む、請求項29に記載の方法。
  48. 前記オーバーレイパターンを参照することによって前記手術画像データ内の関心領域を識別するステップを含む、請求項29に記載の方法。
JP2012025866A 2011-02-10 2012-02-09 医療ディスプレイのための外科医の補助 Active JP5904812B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161441473P 2011-02-10 2011-02-10
US61/441,473 2011-02-10
US13/289,554 US10631712B2 (en) 2011-02-10 2011-11-04 Surgeon's aid for medical display
US13/289,554 2011-11-04

Publications (2)

Publication Number Publication Date
JP2012166024A true JP2012166024A (ja) 2012-09-06
JP5904812B2 JP5904812B2 (ja) 2016-04-20

Family

ID=45655596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012025866A Active JP5904812B2 (ja) 2011-02-10 2012-02-09 医療ディスプレイのための外科医の補助

Country Status (4)

Country Link
US (1) US10631712B2 (ja)
EP (1) EP2486847A1 (ja)
JP (1) JP5904812B2 (ja)
CA (1) CA2766595C (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080008A1 (ja) * 2020-10-15 2022-04-21 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
WO2023171377A1 (ja) * 2022-03-10 2023-09-14 ソニーグループ株式会社 画像処理制御システムおよび画像処理方法、並びにプログラム

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10674968B2 (en) * 2011-02-10 2020-06-09 Karl Storz Imaging, Inc. Adjustable overlay patterns for medical display
US10631712B2 (en) 2011-02-10 2020-04-28 Karl Storz Imaging, Inc. Surgeon's aid for medical display
US11412998B2 (en) 2011-02-10 2022-08-16 Karl Storz Imaging, Inc. Multi-source medical display
US9954908B2 (en) * 2013-01-22 2018-04-24 General Electric Company Systems and methods for collaborating in a non-destructive testing system
WO2014144519A2 (en) 2013-03-15 2014-09-18 Arthrex, Inc. Surgical imaging system and method for processing surgical images
WO2014153396A1 (en) * 2013-03-20 2014-09-25 Covidien Lp System and method for enhancing picture-in-picture display for imaging devices used for surgical procedures
EP2796107A1 (en) * 2013-04-26 2014-10-29 Karl Storz Imaging Inc. Adjustable overlay patterns for medical display
EP2866162B1 (en) * 2013-10-08 2018-12-05 Karl Storz Imaging, Inc. Multi-source medical display
JPWO2015056471A1 (ja) * 2013-10-17 2017-03-09 オリンパス株式会社 内視鏡装置及び内視鏡を用いた検査方法
US20150157197A1 (en) * 2013-12-09 2015-06-11 Omer Aslam Ilahi Endoscopic image overlay
DK3228254T3 (da) 2014-02-21 2020-03-23 3Dintegrated Aps Sæt omfattende et kirurgisk instrument
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
EP3145419B1 (en) 2015-07-21 2019-11-27 3dintegrated ApS Cannula assembly kit, trocar assembly kit and minimally invasive surgery system
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
WO2017151752A1 (en) 2016-03-01 2017-09-08 Mirus Llc Augmented visualization during surgery
JP7337073B2 (ja) * 2018-08-17 2023-09-01 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
EP3992690A4 (en) * 2019-08-02 2022-09-07 Sony Group Corporation ENDOSCOPE SYSTEM, CONTROL DEVICE AND CONTROL METHOD
US10980397B1 (en) 2020-02-21 2021-04-20 Ambu A/S Video processing device
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor
EP3893245A1 (en) 2020-04-10 2021-10-13 Koninklijke Philips N.V. Correction of automated label data for tomographic medical imaging systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07184863A (ja) * 1993-12-28 1995-07-25 Topcon Corp 眼科画像処理システム
US20070106282A1 (en) * 2003-05-02 2007-05-10 Perception Raisonnement Action En Medecine Determination of the position of an anatomical element
US20090190808A1 (en) * 2008-01-28 2009-07-30 Advanced Medical Optics, Inc. User adjustment measurement scale on video overlay

Family Cites Families (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4216589A (en) * 1978-11-20 1980-08-12 American Electronics, Inc. Sighting device for surveillance camera
US4559705A (en) * 1983-11-25 1985-12-24 Hodge Michaela W Indexing overlay for video display devices
US5099846A (en) 1988-12-23 1992-03-31 Hardy Tyrone L Method and apparatus for video presentation from a variety of scanner imaging sources
US5174037A (en) * 1990-04-17 1992-12-29 Marilyn Curtin Method and apparatus for measuring physical attributes of a human body
US5517278A (en) * 1991-06-12 1996-05-14 Matsushita Electric Industrial Co., Ltd. Viewfinder for video cameras
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
EP0655710B1 (en) 1993-11-29 2000-10-04 Olympus Optical Co., Ltd. Image rotating and superimposing apparatus
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
US5573492A (en) * 1994-12-28 1996-11-12 Olympus America Inc. Digitally measuring scopes using a high resolution encoder
US5627915A (en) * 1995-01-31 1997-05-06 Princeton Video Image, Inc. Pattern recognition system employing unlike templates to detect objects having distinctive features in a video field
US5892554A (en) * 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
US6014472A (en) * 1995-11-14 2000-01-11 Sony Corporation Special effect device, image processing method, and shadow generating method
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
US6057833A (en) * 1997-04-07 2000-05-02 Shoreline Studios Method and apparatus for providing real time enhancements and animations over a video image
US6630937B2 (en) 1997-10-30 2003-10-07 University Of South Florida Workstation interface for use in digital mammography and associated methods
US7832137B2 (en) * 1997-12-08 2010-11-16 Horus Vision, Llc Apparatus and method for calculating aiming point information
US6134346A (en) * 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
US6359644B1 (en) 1998-09-01 2002-03-19 Welch Allyn, Inc. Measurement system for video colposcope
US6431768B1 (en) * 1999-03-25 2002-08-13 Ricoh Company, Ltd. Digital camera having rotatable optical viewfinder unit
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US7075556B1 (en) * 1999-10-21 2006-07-11 Sportvision, Inc. Telestrator system
US7187412B1 (en) * 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
US6725080B2 (en) * 2000-03-01 2004-04-20 Surgical Navigation Technologies, Inc. Multiple cannula image guided tool for image guided procedures
US6535756B1 (en) * 2000-04-07 2003-03-18 Surgical Navigation Technologies, Inc. Trajectory storage apparatus and method for surgical navigation system
US7111076B2 (en) * 2000-04-13 2006-09-19 Intel Corporation System using transform template and XML document type definition for transforming message and its reply
US20020026093A1 (en) * 2000-08-23 2002-02-28 Kabushiki Kaisha Toshiba Endscope system
JP4882151B2 (ja) * 2000-12-27 2012-02-22 ソニー株式会社 情報処理装置、情報処理方法、記録媒体および画像処理装置
US6856324B2 (en) * 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
DE10130278B4 (de) * 2001-06-26 2005-11-03 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zur Darstellung eines Operationsgebietes bei Laseroperationen
US6663559B2 (en) * 2001-12-14 2003-12-16 Endactive, Inc. Interface for a variable direction of view endoscope
US7252633B2 (en) 2002-10-18 2007-08-07 Olympus Corporation Remote controllable endoscope system
US7033172B2 (en) * 2003-04-16 2006-04-25 Eastman Kodak Company Dental positioning grid
CA2523727A1 (en) * 2003-04-28 2005-01-06 Bracco Imaging Spa Surgical navigation imaging system
US7492388B2 (en) 2003-05-16 2009-02-17 Olympus Corporation System and method for automatic processing of endoscopic images
FR2855292B1 (fr) 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US20050065435A1 (en) * 2003-07-22 2005-03-24 John Rauch User interface for remote control of medical devices
DE10349649B3 (de) 2003-10-17 2005-05-19 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erzeugen eines mit Bearbeitungsvermerken versehenen Bildes in einem sterilen Arbeitsbereich einer medizinischen Einrichtung
US7344494B2 (en) 2004-02-09 2008-03-18 Karl Storz Development Corp. Endoscope with variable direction of view module
US9615772B2 (en) 2004-02-20 2017-04-11 Karl Storz Imaging, Inc. Global endoscopic viewing indicator
US7427263B2 (en) 2004-03-03 2008-09-23 Karl Storz Development Corp. Method and interface for operating a variable direction of view endoscope
JP4659388B2 (ja) * 2004-05-13 2011-03-30 キヤノン株式会社 画像処理装置
US7366934B1 (en) 2004-09-08 2008-04-29 Stryker Corporation Method of remotely controlling devices for endoscopy
WO2006038188A2 (en) * 2004-10-07 2006-04-13 Koninklijke Philips Electronics N.V. Method and system for maintaining consistent anatomic views in displayed image data
ITFI20040223A1 (it) 2004-10-29 2005-01-29 Sr Labs S R L Metodo e sistema di visualizzazione,elaborazione ed analisi integrata di immagini mediche
US7782384B2 (en) * 2004-11-05 2010-08-24 Kelly Douglas J Digital camera having system for digital image composition and related method
US7811224B2 (en) * 2004-11-09 2010-10-12 Karl Storz Development Corp. Method for dealing with singularities in gravity referenced endoscopic imaging
US8069420B2 (en) * 2004-12-29 2011-11-29 Karl Storz Endoscopy-America, Inc. System for controlling the communication of medical imaging data
ES2790885T3 (es) * 2005-03-29 2020-10-29 Sportvu Ltd Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
US20060259193A1 (en) * 2005-05-12 2006-11-16 Yulun Wang Telerobotic system with a dual application screen presentation
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US7607079B2 (en) 2005-07-08 2009-10-20 Bruce Reiner Multi-input reporting and editing tool
JP2007090060A (ja) * 2005-09-09 2007-04-12 Given Imaging Ltd 生体内病理検出のために解剖学的対象物の空間的寸法を決定するための装置、システム、および方法
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US7864996B2 (en) * 2006-02-17 2011-01-04 Lucid, Inc. System for macroscopic and confocal imaging of tissue
JP2007258989A (ja) * 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US10008017B2 (en) * 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US7849024B2 (en) * 2006-08-16 2010-12-07 Drvision Technologies Llc Imaging system for producing recipes using an integrated human-computer interface (HCI) for image recognition, and learning algorithms
US8248413B2 (en) 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
WO2008093517A1 (ja) * 2007-01-31 2008-08-07 National University Corporation Hamamatsu University School Of Medicine 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
US8982203B2 (en) 2007-06-06 2015-03-17 Karl Storz Gmbh & Co. Kg Video system for viewing an object on a body
US8315689B2 (en) * 2007-09-24 2012-11-20 MRI Interventions, Inc. MRI surgical systems for real-time visualizations using MRI image data and predefined data of surgical tools
US7929743B2 (en) * 2007-10-02 2011-04-19 Hologic, Inc. Displaying breast tomosynthesis computer-aided detection results
US10368838B2 (en) * 2008-03-31 2019-08-06 Intuitive Surgical Operations, Inc. Surgical tools for laser marking and laser cutting
DE102008017846A1 (de) * 2008-04-08 2009-10-29 Siemens Aktiengesellschaft Verfahren und Benutzerschnittstelle für die grafische Darstellung von medizinischen Daten
DE102008017845A1 (de) 2008-04-08 2009-10-29 Siemens Aktiengesellschaft Verfahren und Benutzerschnittstelle für die grafische Darstellung von medizinischen Daten
US20090281452A1 (en) * 2008-05-02 2009-11-12 Marcus Pfister System and method for a medical procedure using computed tomography
EP2335030A4 (en) 2008-06-18 2014-05-07 Eyelab Group Llc SYSTEM AND METHOD FOR DETERMINING VOLUMETRIC PARAMETERS OF OCULAR TISSUES AND OTHER BIOLOGICAL TISSUES
GB2464092A (en) * 2008-09-25 2010-04-07 Prosurgics Ltd Surgical mechanism control system
JP5583128B2 (ja) * 2008-10-01 2014-09-03 コーニンクレッカ フィリップス エヌ ヴェ 医用画像シーケンスのスナップショットの選択
RU2534948C2 (ru) * 2008-12-10 2014-12-10 Конинклейке Филипс Электроникс Н.В. Анализ сосудов
US8830224B2 (en) * 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US8213788B2 (en) * 2010-11-29 2012-07-03 Soll David B Viewfinder
WO2010088515A1 (en) 2009-01-30 2010-08-05 Priya Narasimhan Systems and methods for providing interactive video services
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8418073B2 (en) * 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8731239B2 (en) * 2009-12-09 2014-05-20 Disney Enterprises, Inc. Systems and methods for tracking objects under occlusion
AU2010337104B2 (en) 2009-12-14 2016-04-14 Smith & Nephew, Inc. Visualization guided ACL localization system
US20120038744A1 (en) * 2010-08-13 2012-02-16 Masafumi Naka Automatic 3d content detection
US8911453B2 (en) * 2010-12-21 2014-12-16 Restoration Robotics, Inc. Methods and systems for directing movement of a tool in hair transplantation procedures
US11412998B2 (en) 2011-02-10 2022-08-16 Karl Storz Imaging, Inc. Multi-source medical display
US10631712B2 (en) 2011-02-10 2020-04-28 Karl Storz Imaging, Inc. Surgeon's aid for medical display
US11304686B2 (en) * 2011-06-17 2022-04-19 Koninklijke Philips N.V. System and method for guided injection during endoscopic surgery
US8670816B2 (en) * 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
US10278615B2 (en) * 2012-08-14 2019-05-07 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
US20140176661A1 (en) * 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9860510B2 (en) * 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07184863A (ja) * 1993-12-28 1995-07-25 Topcon Corp 眼科画像処理システム
US20070106282A1 (en) * 2003-05-02 2007-05-10 Perception Raisonnement Action En Medecine Determination of the position of an anatomical element
US20090190808A1 (en) * 2008-01-28 2009-07-30 Advanced Medical Optics, Inc. User adjustment measurement scale on video overlay

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080008A1 (ja) * 2020-10-15 2022-04-21 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
WO2023171377A1 (ja) * 2022-03-10 2023-09-14 ソニーグループ株式会社 画像処理制御システムおよび画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
US10631712B2 (en) 2020-04-28
CA2766595A1 (en) 2012-08-10
EP2486847A1 (en) 2012-08-15
CA2766595C (en) 2017-06-20
US20120209123A1 (en) 2012-08-16
JP5904812B2 (ja) 2016-04-20

Similar Documents

Publication Publication Date Title
JP5904812B2 (ja) 医療ディスプレイのための外科医の補助
US11412998B2 (en) Multi-source medical display
US10674968B2 (en) Adjustable overlay patterns for medical display
US10169535B2 (en) Annotation of endoscopic video using gesture and voice commands
JP5005219B2 (ja) 医用画像データの通信を制御するシステム
US9757507B2 (en) Configurable control for operating room system
US20140187856A1 (en) Control System For Modular Imaging Device
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
JP2004181229A (ja) 遠隔手術支援システム及び支援方法
US20090268986A1 (en) System for the playback of medical images
US11818454B2 (en) Controller and control method
US8189993B2 (en) Medical support control system
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
KR20110057978A (ko) 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치와 그 제어방법
US20210203875A1 (en) Image recording and reproduction apparatus, image recording method, and endoscope system
CN106061354A (zh) 医疗***
WO2019123762A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020039432A (ja) 医療映像スイッチャー
EP2866162B1 (en) Multi-source medical display
WO2021010193A1 (ja) 医療機器制御システム、制御装置、および制御方法
EP2796107A1 (en) Adjustable overlay patterns for medical display
JP2006288956A (ja) 手術システム
US20220321925A1 (en) System and method for teaching a surgical procedure

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160315

R150 Certificate of patent or registration of utility model

Ref document number: 5904812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250