JP2012511361A - 解剖学的構造の赤外線ビジョンのための装置およびそのシグナル処理方法 - Google Patents

解剖学的構造の赤外線ビジョンのための装置およびそのシグナル処理方法 Download PDF

Info

Publication number
JP2012511361A
JP2012511361A JP2011540096A JP2011540096A JP2012511361A JP 2012511361 A JP2012511361 A JP 2012511361A JP 2011540096 A JP2011540096 A JP 2011540096A JP 2011540096 A JP2011540096 A JP 2011540096A JP 2012511361 A JP2012511361 A JP 2012511361A
Authority
JP
Japan
Prior art keywords
image
signal processing
procedure
tissue
blood vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011540096A
Other languages
English (en)
Other versions
JP2012511361A5 (ja
Inventor
ソルソナ,エドゥアード グラタコス
ロルダン,イヴァン アマト
Original Assignee
フンダシオ クリニック ぺル ア ラ レセルカ ビオメディカ
ホスピタル クリニック イ プロヴィンシアル デ バルセロナ
ユニバシタト デ バルセロナ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フンダシオ クリニック ぺル ア ラ レセルカ ビオメディカ, ホスピタル クリニック イ プロヴィンシアル デ バルセロナ, ユニバシタト デ バルセロナ filed Critical フンダシオ クリニック ぺル ア ラ レセルカ ビオメディカ
Publication of JP2012511361A publication Critical patent/JP2012511361A/ja
Publication of JP2012511361A5 publication Critical patent/JP2012511361A5/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

内視鏡検査、胎児鏡検査または腹腔鏡検査の手段において医者を支援するために適用可能な解剖学的構造体の赤外ビジョンのための装置、およびそのビジョンを改善するためのシグナル処理のための方法であって、それは、共に働く2つのユニット:(1)内視鏡、胎児鏡または腹腔鏡を含むデバイスと患者の身体の内部のマルチモードの画像を取得するためのさらなる光学的システムから構成される、マルチモードまたはマルチスペクトルの画像処理ユニットと;および(2)少なくとも5つの異なる視野改善方法、すなわち、標準化、セグメント化、トラッキング、マッピングおよびヒュージョンを適用するハードウエア及びソフトウエアが装備された、前記画像を処理するとともに、患者の改善された解剖学的マップ画像および内視鏡の位置を表示するナビゲーションインターフェースを備えた処理デバイスを含む、赤外画像が転送される画像処理ユニットとを含む。
【選択図】 図7

Description

本発明は、ライフサイエンスに適用される、フォトニクス、画像収集、画像処理、ビジョン改善および情報抽出の分野に関連し、主に医療と生物医学の分野に焦点を当てており、特に、しかし排他的ではなく、内視鏡検査、胎児鏡検査、および腹腔鏡検査に焦点を当てている。
より具体的には、本発明は、照明手段およびその手段に関連するデジタル画像処理プラットフォームを含む、生きた被験体のマルチードまたはマルチスペクトルの画像を採るための手段を含む医療デバイスまたは装置に関し、それは、医者が、例えば、所与の治療法又は外科的手術を診断、監視および/または行ったりする時に、彼らの判断を支援する目的で、特定の画像情報を抽出および/または向上させるための埋め込まれたアルゴリズムを用いる。
医療分野において、多くのイメージングシステムが、診断目的の、または治療的外科的手技をガイドするためのいずれかのための調査下にある領域の視覚化されたものを表示および向上させるために工夫されてきた。検査下にある領域の関連性のある情報はいずれも、患者の健康および生活の質に最終的に影響し得る臨床的決断がなされる時に主に重要である、被験体の症状の臨床的評価において重要な役割を果たす。これは、例えば、正確なビジョンが手術の首尾にとって不可欠である内視鏡手術において非常に重要である。一般的に、重要な構造(すなわち、血管および神経)の視覚化は、3つの典型的な状況を含む:(i)構造は、劣悪な視覚化状態のために区別することができない、(ii)構造は、他の組織の層の下に隠される、および/または(iii)対象の構造は、周囲の構造から区別することができない。特にこの分野に関連するのは、血管および/またはこれらの血管についての異なる機能的側面(それらは、外因性造影剤を使用しない現在の利用可能なテクノロジーでは、内視鏡によって、不十分にしか、または全く視覚化されない)の視覚化の画像コントラストを強化および/または作り出し、そしてその視覚化の解像度を向上させるというタスクである。
内視鏡検査は、外科的手技のリスクを大きく減少させる、進歩した外科的技術であるが、主要な血管を偶発的に切ってしまうというリスクのような、いくつかの問題点が未だ残っている。最小限まで非侵襲性の内視鏡検査の使用は、患者に明確な利点を提供するといえども、医者に、外科的視野の限定されたビジョンまたは劣悪なコントラストおよび/または解像度のような、特定の不利益を強いる。そのような状況下で血管を正確に認識する必要性は、いずれの外科医にとっても深刻な問題となり得、手術が外科医の経験に極端に依存してしまったり、出血症状のために手術が長引く結果となったり、そして時には、主要な出血性合併症を引き起こしたりする。
多くの発明が、血管の視覚化に関連する医療イメージングを改良するために工夫されてきた。従来の発明のいくつかは、上記の分野の問題点に対する具体的な解決について言及する。例えば、米国特許第7,041,054号または第6,730,019号のような、特定の照明システムについて記載するいくつかの特許がある。これらの特許は、特定の好ましい実施形態を含む照明および画像収集システムについて記載する。本発明は、特定の照明方法に頼るものではないことに注意されたい。照明は、システムにおいて必要であるが、システムは、その照明を達成するために使用される方法から独立している。さらに、システムは、その目的を達成するために、すなわち、解剖学的構造の視覚化のために、画像コントラストを改善および/または生成させ、そして解像度を向上させるために、異なる照明スキームに取り組み、それに適合させることができる。他の発明は、米国特許第2008/0208006号のように、画像を取得するための具体的な方法に関連するか、または具体的な画像取得デバイスの実施形態を開示する。照明によるのと同様にまた、本発明は、画像を取得する方法から独立しており;異なる画像取得アプローチに従って使用され得る。
オリンパスによる米国特許第5,255,087号は、標準的な内視鏡と組み合わせて使用される、とても詳細な照明システム、制御システム、および画像取得と処理ユニットを含むビデオシステムについて記載している。そのシステムの目的は、内視鏡システムの画像を向上させることである。この目的を達成するために、3つの技術:自動蛍光イメージング(AFI)、狭帯域イメージング(NBI)、および赤外イメージングが発明者によって記載されている。AFIは、特定の組織の自己蛍光の原理に基づいており;NBIは、造影剤と造影剤が反応しやすい特定の波長の照明を使用する、周知の技術に基づいており;IRIは、粘膜下の血管を検出するためにインドシアニングリーン(ICG)のような外因性造影剤を使用する2つの従来の技術の特定の組み合わせであるが、それは診断目的のためのみに使用される。純粋に診断の使用のためのその限定は、血流へと注入された染料が急速に溶解するためであり、染料が持続するのは5分であるため、5分よりるずっと長い持続時間を必要とする治療または手術においてそれを使用することはできない。しかし、この発明に関連する別の不利益は、それが、(裸眼に明白である)表在と(粘膜の下にあり、従って簡単な検査に通常見えない)粘膜下との両方の、血管の視覚化を改善させるための造影剤を必要とすることであり、一方、この発明は、そのような特徴を実施するためのアルゴリズムを利用し、それをより非侵襲的とし、従って手術の分野においてより適切なものとする。IRIは、手術のための支援ビジョンシステムとして設計されていないという事実に加え、その技術は、画像分割、手術野の画像マッピング、または(例えば、血液によって運ばれる酸素量または血管の凝固状態のような明白な情報を得ることによる)血管の機能的評価のような他のさらなる特徴を提供しない。それらの特徴は、この発明によって提供され、腹腔鏡検査または胎児鏡検査を含む外科的な内視鏡手技のために使用される時、違いがあり、有益な情報を提供する。それらの外科的技術において、手術野の完全な血管マップが利用可能であることまたは血管の凝固状態を区別可能であることは、手術の間、外科医を支援する非常に価値のある情報を意味し得る。
米国特許第2005/0182321号は、染料剤と組み合わせて目に見える、赤外線画像を使用する医療イメージング改善システムに基づく、IRIに関して前述した1つと類似した発明を開示している。本発明と比較したこのシステムの主な不利益は、それが、患者の血流に注入されるべき造影剤または染料を必要とすることであり、その結果として、このシステムは、上記の理由のために、すなわち、血流へと造影剤が急速に希釈され、医者が治療または手術を行うのに結果的に不十分であるために、外科的手技のいずれにおいても全く利用可能でない。さらに、その特許は、可視的な、かつ単一の近赤外線(NIR)チャンネルの使用を考慮しているのみであり、血管の検出および血管機能の情報の抽出を改善することができる、より多くのNIRチャンネルまたは他のイメージングモードを使用可能であることに言及しておらず、合計4つのスぺクトルバンドに対する画像取得処理を強いる。さらなる弱点は、それは血管を検出するという能力にのみ焦点を当てており、例えば、画像分画、画像マッピングおよび血管を機能的に評価すること、のような具体的な組み込まれた方法を提供していない。
米国特許第2008/0097225号は、具体的な光学的技術、すなわち、内視鏡のサイズを小さくし、その解像度を上げることを目的とした、光干渉断層撮影(OCT)およびスペクトル符号化内視鏡(spectrally-encoded endoscopy)(SSE)について明白に触れている。それらの技術の顕著な不利益は、それらの技術的複雑さである、ということである。なぜなら、それらが走査ユニットと複雑な光学アッセンブリを必ず含むからである。その特許は、血液によって運ばれる酸素の量を評価するために波長を選択することができることに触れているが、表示される画像を増強させる手段によって外科医または医者を支援するための統合的なツールとして、この情報を使用することについてを考慮していない。さらなる不利益は、そのような小さな器具の小さな視野のために、医者の視野の角度が実質的に制限され、従って、外科的用途のためのそのようなシステムの実行可能性をかなり制限していることである。
同様のケースが、欧州特許第1,839,561号であり、これは、OCT配置と合わせた標準的な可視内視鏡の組み合わせである内視鏡装置を開示しており、その装置は、特定の面で公知の光学的技術に適用するための特定の解決法である。その装置の不利益は、研究下にある領域の狭い部分に対する改善された画像を作るための情報を得ることしかできず;さらに、実際に改善された画像を構成しないという点である。その発明は、血管の改善された画像処理のための最適な使用を有していないように思われる。
米国特許第6,353,753号は、深部にある解剖学的構造から画像を取得するためのデバイスについて記載する。そのデバイスの主な不利益は、視覚的画像と結合させた情報を分割し、表示することを意図した具体的な画像分析処理を含まないこと;また画像再構築機能を欠いていることである。
可視光および赤外光の取り込みを介する画像改善に関する当該技術分野の現状に関して、例えば、米国特許第2008/0079807号においてのような、いくつかの進歩が達成されており、そこでは、電荷結合素子(CCD)および光電子工学において特に強調されたマルチスペクトルの画像処理システムについて記載されている。このケースにおいて、その特許は、画像収集デバイステクノロジーに特に焦点を当てている。本発明と比較した場合のその特許の主な欠点は、(作られた画像からの連続した場面の間における血管のトラックングおよびローカライジングのためのシグナル処理手順として定義される)トラックキングを欠くこと、画像マッピングを欠くこと、組織(血管)の酸素付加の分析のような機能的分析を欠くこと、または1つ以上の赤外線スペクトルバンドの使用を欠くこと、である。
画像処理およびセグメント化における当該技術分野の現状は、医療の画像を改善するため、および特定の組織をセグメント化するために、様々なアルゴリズムについて記載している。しかし、当該技術分野の現状は、グラフィックスプロセッシングユニット(GPU)、フィールドプログラマブルゲートアレー(FPGA)または中央処理装置(CPU)のような異なる特質のリアルタイムのプラットフォームも含む。そのアルゴリズムとプラットフォームは本発明の同じ適用において使用されることが意図されている医療用画像処理のための一般的なアプローチについて記載しているが、それらはどれも、本発明の機能を行う統合されたリアルタイムのツールについて言及していない。正確には、当該技術分野の現状において開示されているシステムは、画像処理技術を、造影剤の使用を必要としない光学的な照明および画像取得/画像処理技術と組み合わせない。さらに、当該技術分野のそれらの他の現状において、アルゴリズムおよびプラットフォームは、リアルタイムで外科的手技を支援する目的で医者に奉仕することを意図していない。
まとめると、従来技術の開示は、画像照明および画像取得の分野における特定の技術的問題を解決することに焦点を当てているが、マルチスペクトルの、およびマルチモードの入力シグナルを使用する、画像処理と改善、解剖学的構造の画像セグメント化および広域の構図の機能を明白に含まなかった。
従って、造影剤を使用しないで、裸眼では見えない、小さなまたは粘膜下の血管の存在を明確に強調する能力を有する、医者に提供される質、コントラストおよび情報の点で、解剖学的構造および/または血管のよりよい画像を作り出すことができる、画像処理システムを向上させる必要性が残っている。さらに、当該技術分野の現状において開示されている方法は、対象の大きな血管領域をマッピングすることができず、手術の間の決定を支援することができる血管についての機能的情報を得ることができないものである。本発明の目的の一つは、現在利用可能なテクノロジーの制限を克服する内視鏡手術のための新しい形式の画像処理システムを提供することである。
本明細書において、用語マルチモードは、例えば、偏光フィルタ、光学フィルタ、デジタルフィルタ、デジタル画像処理アルゴリズム、偏光画像処理、多光子イメージング、レーザースペックルイメージング、ダイナミックスペックルイメージング、光干渉断層撮影、二光子蛍光、高調波発生、オプトアキュースティックス(optoacustics)、コヒーレントアンチストークスラマン分光法(CARS)および/または画像作成においてコントラストを作り出すことができる他の光学的要素および技術の適用と組み合わせて、赤、緑および青(RGB)およびNIR画像の取得のような、異なる光学的技術の適用による、異なるバンドにおける1以上の画像取得方法の使用を示す。用語マルチスペクトルは、例えば、NIR検出と組み合わせたRGB検出のような、1以上のスペクトルバンドの使用および検出を指す。
本発明の範囲は、一般的に、医療デバイス、および特に、視聴覚のおよびコンピュータ化されたツールを伴うロボット化された装置およびデバイスの製造に向けられた工業的部門にある。本発明は、医療行為および外科的手術の間、医者を支援し、または医者の指針となることを意図する。
より具体的には、本発明は、内視鏡検査、胎児鏡検査、または腹腔鏡検査の手技および/または処置の間、医者を支援することが可能な、解剖学的構造の改善された赤外線ビジョンのための装置、およびそのビジョンを改善するための方法に関する。本発明によって開示される装置および方法は、同じ目的のために現在知られているシステムをしのぐ卓越した進歩と革新的特徴を提供する当該分野における進歩性を構成し、この技術的記載を伴う特許請求の範囲において、当該技術分野の現状と本発明を区別する特徴的な特質に十分反映されている。
本発明の1つの目的は、治療的目的のためにレーザー光源を使用することによって、結合された血管を配置して、認識するために、単一絨毛膜性の双子の妊娠の合併症のための手術に現存する技術的困難性を解決し、そのような外科的手術における安全性と再現性の向上を達成することである。
本発明の他の可能な用途としては、消化管内視鏡検査、呼吸器官内視鏡検査、関節鏡検査、産婦人科内視鏡検査、コルポスコピー、泌尿器科内視鏡検査、耳鏡検査、形成外科内視鏡検査、またはその他の幅広い範囲の他の医療行為、中でも、皮膚や開放外科的手技やのような、任意のタイプの内視鏡手術が挙げられる。
本発明の他の可能な用途としては、ロボット化された手術と組み合わせて開示された発明を使用することが挙げられる。本発明の方法は、客観的な、かつ量的なデータと再現性のある操作を提供するため、手術を行うための、自動化された、半自動化された、または遠隔操作の装置として使用されるのに特に適しているので、手術を行うための自動化された、半自動化された、または遠隔操作の装置は明らかに対象となる。
本発明の1つの対象物は、協働する2つの基本ユニットを構成している、手術部位とその周りの表示手段によって外科的操作の指針を支援するように設計された装置である:
−マルチモードまたはマルチスペクトルの画像取得ユニット、これは、ヒトの身体の内部からマルチモードまたはマルチスペクトルの画像を取得するための画像取得デバイス、好ましくは、内視鏡、胎児鏡または腹腔鏡およびさらなる光学的システムを含む内視鏡画像取得デバイスを含み、その画像を改善した画像処理ユニットへ送る。
−画像処理ユニット、このユニットは、ヒトの身体の改善された画像、好ましくはヒトの身体の血管マップと、内視鏡の位置を処理し外科医に表示することに関与するナビゲーションインターフェースを備えた画像処理デバイスを含む。この目的のために、このユニットとGPU、FPGA、CUPベースのシステムを構成する特定のハードウエアおよびソフトウエア、またはローカルの、分散または並列コンピュータリングを介してリアルタイムの処理を行う他の任意のハードウエアは、基本的に以下からなる、少なくとも5つのシグナル処理方法を含む:
1.標準化:可視光(赤、緑、および青)と赤外光の像点の各々の強度を、画像上で画像ぼかし機能(image-blurring function)を実行する空間的なローパスフィルタの適用によって得られた強度とリアルタイムで比較することによって、組織を照らす光の量を標準化するためのシグナル処理方法。この方法によって、入射する赤外光の量は、再現可能な様式で推定される。
2.セグメント化:赤外光と可視光のリアルタイムのマルチモード分析に基づいて、解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメント化するためのシグナル処理方法。
3.トラッキング:前述の方法(標準化およびセグメント化)によって作り出された画像から2つの連続的な画像の間での、解剖学的構造または組織、好ましくは血管のような血管構造のリアルタイムのトラッキングとコローカライジング(co-localizing)のためのシグナル処理方法。
4.マッピング:解剖学的構造または組織、好ましくは個々の画像からの血管のリアルタイムのマップと、標準化およびセグメント化によって得られたトラッキング座標を作成するためのシグナル処理方法。
5.ヒュージョン:リアルタイムで(標準的な内視鏡検査によって作成された)可視画像とマッピング工程後に得られた情報を融合させるシグナル処理方法。
外科医は、標準的な得られた視覚化に加えて、少なくとも上述の5つの選択肢または可視化の新たな方法を有するので、血管の特徴をナビゲートする、または調べる能力は、本発明の手段によって大いに改善される。
本発明のさらなる対象物は、内視鏡検査、胎児鏡検査または腹腔鏡検査での手術において支援となるための、解剖学的構造または組織、好ましくは血管構造の改善された赤外線画像処理のための装置であり、マルチモードの画像取得ユニットは、ヒトの身体内部からのビデオ画像が得られる、少なくとも1チャンネルを備えた内視鏡、胎児鏡または腹腔鏡を含み、それに対して、赤外光源と白色光源(または少なくとも青、緑および赤の波長の光を含む)が結合される。その光源は、ビームスプリッター、ホットミラー(hot mirror)、コールドミラー(cold mirror)、ダイクロイックミラー、偏光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、超音波光学材料、ダズラー(dazzler)、シェーパー、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッター、または検出又は照明のいずれか(同様に、光学的経路がファイバー光学的経路である場合に光学ファイバーにおけるカプセル化も含む)、またはその両方のための光学的経路を分けるかまたは結びつけるために、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスのような異なる光学的要素を使用することによって内視鏡のビデオチャンネルに結合される。
本発明のさらなる対象物は、内視鏡検査、胎児鏡検査または腹腔鏡検査において同じチャンネルがホットミラー又は備え付けられたミラー(カプセル化されたミラー)を有する光学ファイバーのような要素を使用することによって検出するために利用され得る装置であり;例えば、電荷結合デバイス、相補型金属酸化物半導体(CMOS)または電子倍増型電荷結合デバイス(EM−CCD)カメラなどのような1以上のビデオカメラで画像を形成するために、フィルタやレンズのようなさらなる光学的要素の使用もまた予想され、その画像は画像処理ユニットによって後で処理するためにデジタル化される。
本発明の別の対象物は、検出されたシグナルが非常に弱く、またはそれらが低い質である場合、画像倍増管がビデオカメラに提供される装置である。
本発明のさらなる対象物は、代替的に、かつマルチモードの画像を単純化する目的で、内視鏡の異なるチャンネルを使用することによって光源をビデオシステムに結合させる装置である。1以上のチャンネルを使用することによって、異なる光の経路の解像が可能となり、従って、各チャンネルにおいて光学的要素の利用を単純化することが可能となる。
本発明のさらなる対象物は、代替的に、内視鏡検査、胎児鏡検査または腹腔鏡検査における少なくとも1つのチャンネルが、光学的要素と組み合わせて照明のためのみに使用される装置であり;少なくとも1つの他のチャンネルは、検出のためのみに使用され、装置は、随意に、フィルタやレンズのようなさらなる光学的要素をさらに含む。
本発明のさらなる対象物は、CCD、CMOSまたはEM−CCDカメラが内視鏡のプローブに設置され、光源によって連続的に放射される異なるバンド又は波長の検出のために電気コネクションに繋がっており、カメラの少なくとも1つのフィルタは、随意に、1以上の赤外線スペクトルバンドの分離のためのカラーフィルタアレイ(CFA)またはカラーフィルタモザイク(CFM)であり得る。
本発明のさらなる対象物は、画像取得ユニットが、皮膚や開放外科的手技に適用される光学的対物レンズを画像取得デバイスとして含む装置である。
本発明のさらなる対象物は、解剖学的構造または組織、好ましくは、血管のような血管構造の画像のシグナル処理の手順であり、少なくとも5つのシグナル処理方法を含む。
本発明のさらなる対象物は、少なくとも5つのシグナル処理方法を含む画像処理ユニットである。
本発明のさらなる対象物は、内視鏡検査、胎児鏡検査または腹腔鏡検査における、装置、手順、または画像処理ユニットの使用である。
本発明のさらなる対象物は、単一絨毛膜性の双子の妊娠の処置における、装置、手順、または画像処理ユニットの使用である。
本発明のさらなる対象物は、内視鏡外科的手技、中でも、消化管内視鏡検査、呼吸器官内視鏡検査、関節鏡検査、産婦人科内視鏡検査、コルポスコピー、泌尿器科内視鏡検査、耳鏡検査、または形成外科内視鏡検査などに適用される、装置、手順、または画像処理ユニットの使用である。
本発明のさらなる対象物は、内視鏡、胎児鏡または腹腔鏡を、その手技におけるその適用に適合する光学的対物レンズで置き換えることによって、皮膚や開放外科的手技に適用される、解剖学的構造の改善された赤外線画像処理のための装置、手順、または画像処理ユニットの使用である。
本発明のさらなる対象物は、動脈と静脈を区別する、または組織のコラーゲン構造を評価するために、組織または血管の酸素レベルの量のような解剖学的構造に関する機能的情報を知らせるための装置、手順、または画像処理ユニットの使用である。
システムは、血管マップを再構築するというタスクを行うために造影剤を必要としないという利点を有していることを強調することは重要であり、その特徴は、(かなりの量でまたは長い時間の間に投与される場合胎児に危険を及ぼす可能性がある物質の使用を避けて)胎児の手術を行うのに不可欠な特質であり、一般的に、残りの外科的手技の侵襲性を減らす。
さらに、本発明の装置は、患者の血管の手術部位の全体的マップを作り出すデバイスを含み;特に、それは、単一絨毛膜性の双子の妊娠時の合併症の手術において、胎盤の血管構造を調べることを容易にし、よりよい手術の方向付けをすることができる。
本発明の装置は、空間的又は一時的な独立した情報によるのみでなく、組織または血管の酸素レベルの量のような解剖学的構造の機能的性能に関する情報によって、画像処理される視野の豊富かつ明確なデータと共に改善された視界を与える、解剖学的構造に関する機能的情報を知らせること、およびそれ以外に動脈と静脈を区別することができる。
この記載を完成させるために、そして、本明細書に記載される発明の特徴をよりよく理解するために、例示目的のための、しかし限定目的ではない、一連の図面を示す。
図1は、本発明の装置に組み込まれたマルチモードの画像取得ユニットの好ましい実施形態の略図によるブロック図であり、それらの重要な要素とそれらの間の関連を示す。 図2は、内視鏡検査のための2つのビデオチャンネルを含む場合の、マルチモードの画像取得ユニットの別の実施形態のブロック図である。 図3は、ビデオチャンネルおよび照明チャンネルを含む場合の、マルチモードの画像取得ユニットの別の実施形態のブロック図である。 図4は、CCD、CMOS、またはEM−CCDカメラが内視鏡のプローブに設置され、かつ、光源によって連続的に放射される異なるバンドまたは波長の検出のための電気コネクションに繋がれている、マルチモードの画像取得ユニットの別の実施形態のブロック図である。 図5は、本発明に含まれる主な要素と、その配置およびそれらの間の関係を理解するための、本発明の画像処理ユニットが組み込まれた装置のダイアグラムである。 図6(a)は、標準的な内視鏡または胎児鏡に結合された本発明によって記載される装置によって得られるローカル画像であり;図6(b)は、表面血管NIR検出であり;図6(c)は、(a)と(b)のデジタル的重ね合わせであり;図6(d)は、手術の間の外科医による手動の走査後の血管マップの検出と再構築であり;図6(e)は、血管マップのデジタル的重ね合わせとモザイキングである。 図7は、可視モードをNIR画像と融合させることによって、前腕表面にわたる血管の検出に、本発明に記載の技術を適用することによって得られた画像である。
上記の図面を考慮して、かつ、それらで振られているナンバリングに従って、本発明の異なる実施形態は、以下に記載される。
従って、その図面に示されるように、装置は、マルチモードの画像取得ユニット(1)および画像処理ユニット(2)を含む。
マルチモードの画像取得ユニット(1)であって、図1に示されるように、その好ましい実施は、画像取得デバイス、好ましくは、内視鏡、胎児鏡または腹腔鏡およびさらなる光学的システムを含む内視鏡画像取得デバイスを含み、そのシステムは、患者の内部からのビデオ画像が取得される少なくとも1つのチャンネルと、観察される組織を照らすための少なくとも1つの光源を含む。
本発明の好ましい実施形態において、内視鏡において利用可能なビデオチャンネル(単数または複数)は、赤外光源(4)および白色光源(5)または青、緑および赤の範囲の少なくとも3つの波長を含む光源に繋がれている。
赤外光源(4)は、好ましくは以下である;
−(750nmから1600nmの範囲の)NIRに属する光源。
−800nmから900nmの範囲の光源。
−1050nmから1150nmの範囲の光源。
−800nmと900nmの間の波長で集まるモノクロの光源。
−1050nmと1150nmの間の波長で集まるモノクロの光源。
−レーザーNd:(1064nmで集まる)YAG光源。
−700nmから1100nmに集中する、チタンサファイアレーザー(Ti:Sap)に基づく光源。
−Ytterbioベースのレーザー光源(Yb:KYW、Yb:KGWなど)。
−クロニウムに基づくYtterbioレーザー光源(Cr:フォルステライト 1230から1270nm)。
−パラメーター変換法に基づく赤外光源(光パラメトリック発振器、光パラメトリック増幅器、非線形結晶など)。
−750nmと1600nmの間のNIRにおける発光スペクトル波長を伴う光またはLED。
−800nmと900nmの間のNIRにおける発光スペクトル波長を伴う光またはLED。
−1050nmと1150nmの間のNIRにおける発光スペクトル波長を伴う光またはLED。
−光学フィルタと組み合わせた赤外発光スペクトル波長を伴う光またはLED。
−随意にモーター制御された赤外線スペクトル内の放射を制限するための結合光学フィルタを備える光源。
さらに、単一絨毛膜性の双子の妊娠の合併症の手術に適用するための赤外光源(4)は、好ましくは以下である:
−815nm−835nmの間に集まる、好ましくは、821nmに集まるモノクロの光源。後者の値は、羊水において最適な透過率の波長に一致する。
−1050nm−1090nmで集まる、好ましくは、1070nmに集まるモノクロの光源。後者の値は、羊水において最適な透過率の波長に一致する。
光は、ビームスプリッター、ホットミラー(赤外線を反射するミラーを意図する)、コールドミラー(可視光を反射するミラーを意図する)、ダイクロイックミラー、偏光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、超音波光学材料、ダズラー、シェーパー、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッター、または、(同様に、光学的経路がファイバー光学的経路である場合に光学ファイバーにおけるカプセル化も含む)検出又は照明のいずれか、またはその両方のための光学的経路を分けるかまたは結びつけるために、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスのような異なる光学的要素を使用することによって内視鏡のビデオチャンネルに結合される。
同じチャンネルはまた、ビデオカメラ(CCD、CMOS、EM−CCDなど)で画像を形成するために、フィルタ(8)とレンズ(9)の使用による検出のために使用され得、画像処理ユニット(2)によってさらに処理するために、それらはデジタル化される。
さらに、画像増幅器は、検出されたシグナルが非常に弱いかまたはそれらが低質を示すならば、ビデオカメラ(10)、(11)に加えられ得る。
マルチモードの画像取得ユニット(1)を単純化するために、光源(4)、(5)は、図2に示されるように、内視鏡(3)の2つのチャンネルを使用することによって、ビデオシステム(10)、(11)につながれ得る。
別のチャンネルも、図3に示されるように、異なる光学的要素(6)を使用して、照明のためのみに使用され得る。
本発明の別の実施形態において、CCD、CMOS、またはEM−CCDカメラ(10)は、内視鏡のプローブに設置され、電気コネクション(22)に繋がれるが、図4に示されるように光源(4)、(5)によって連続的に放射される異なるバンドまたは波長の連続的な検出のために利用される。随意に、カメラ(10)の少なくとも1つのフィルタ(8)は、1つ以上の赤外線スペクトルバンドの分離のためのカラーフィルタアレー(CFA)またはカラーフィルタモザイク(CFM)であり得る。
本発明の装置の一部を形成する画像処理ユニット(2)は、マルチモードの画像取得ユニット(1)によって取得された後に、リアルタイムで改善された画像を処理し、外科医に表示することに関与するデバイスである。そのデバイスは、図5のダイアグラムに示されるように、GPU、FPGA、CPUベースのシステムの適切なハードウエアおよびソフトウエアと、またはローカルの、分散あるいは並列コンピューティングを通じてリアルタイムの処理を行う任意の他のハードウエアの実行による、以下に列挙される方法の少なくとも各々を含む。図5において、よりよい理解のために、赤外線画像は(12)で参照され、可視化画像は(13)で参照され、赤、緑および青で反射された画像は、それぞれ、(14a)、(14b)および(14c)で参照され、異なる方法は、(15)、(16)、(17)、(18)および(19)で参照され、改善されたローカル表示は(20)で参照され、および改善された全体表示は(21)で参照される。そのハードウエアとソフトウエアが実行する重要なタスク、すなわち、このユニットを作る装置の画像処理を向上させるためのシグナル処理の手順は:
方法1.標準化(15):可視光(赤、緑および青)と赤外光の強度の画像におけるポイントの各々での強度をリアルタイムで比較すること、および画像上にローパスフィルタを使用することによって、組織(7)を照らす光の量を標準化し、再生可能な形式で入射の赤外光の量を推測するためのシグナル処理手順。
−入力:
反映された赤の画像R(x,y)(14a)、ここで、(x,y)は、得られた画像における2次元の座標表示を指す。
反映された緑の画像R(x,y)(14b)。
反映された青の画像R(x,y)(14c)。
反映された赤外線の画像RNIR(x,y)(12)。
−出力:
推測される照明画像
方法2.セグメント化(16):赤外光および可視光のスペクトル分析に基づく血管画像をリアルタイムでセグメント化するためのシグナル処理手順。
−入力:
推測される照明画像
反射される赤外画像RNIR(x,y)。
−出力:
血管の確率P(vessel|x,y)、m=1、2、・・・M。Mは、RGBモードと違う異なる画像取得モードに対応する。
血管のセグメント化された画像V(x,y)。
−必須の工程:
1.反射される赤外光と推測される入射光の割合を使って、各ポイントに対する確率が割り当てられ、S字状曲線、例えば、
よってスクリーン上の各ポイントに対して「血管」である可能性を含む新たな画像を形成することができる。
2.確率をローパスフィルタリングすることによって、新しい確率的画像が作製され、それは、近傍内での確率を平均したものである、P(vessel|x,y)。
3.必須の工程1および2は、マルチモードの画像処理ユニット(1)のために入手できる波長または光学画像処理モードの各々に関して繰り返され得、従って、m=1、2、・・・Mに対する確率P(vessel|x,y)の一定範囲の画像を作り出す。
4.P(vessel|x,y)にわたる域値および形態的な操作の適用を使って、画像は、V(x,y)に関して1の値を有する「血管」とV(x,y)に関して0の値を有する「血管でないもの」との間でセグメント化される。
5.マルチモードの画像処理ユニット(1)における画像取得モードの取り込みによって、セグメント化の正確さは向上し、および/または、さらなる波長を使っての動脈や静脈、または偏光子を使ってのコラーゲン構造のような、より多くのセグメント化されたクラスが得られる。後者の適用は、皮膚科学に特に関連がある。
方法3.トラッキング(17):(方法1および2によって生成された画像からの2つの連続するシーンの間の血管の)リアルタイムでのトラッキングおよび同時配置のためのシグナル処理手順。
−入力:
血管の確率的画像P(vessel|x,y)、m=1、2、・・・M。
血管のセグメント化された画像V(x,y)。
以前の血管の確率的画像P’(vessel|x,y)、m=1、2、・・・M。
以前の血管のセグメント化された画像V’(x,y)または血管のマップ画像T(x,y)。
−出力:
配置距離を測定するために使用される、2つの画像の間の配置ベクトルd(x,y)。
画像間の相互相関係数CV。
−必須の工程
・オプションA:
1.予測されるモデルは、血管の自然な方向を支持し、以前の血管の輪郭V’(x,y)と現在のV(x,y)画像をならし、それぞれ、結果としてVp’(x,y)とVp(x,y)を生じさせる。
2.Vp’(x,y)とVp(x,y)の間の標準化された相関した係数の最大値が検出される。
3.座標の原点への最大値の距離は、配置距離d(x,y)を与える。
4.標準化された相互相関の最大値として、相互相関係数が計算される。
・オプションB:
1.血管の自然な方向を支持し、以前のV’(x,y)と現在のV(x,y)画像の血管のエッジをならし、それぞれVp’(x,y)とVp(x,y)を生じさせる、予測されるモデル。
2.Vp’(x,y)とVp(x,y)の間の相互相関の半値全幅(full width half maximum)を定める領域が検出される。
3.原点に対する、その領域の質量中心または物質中心の距離(重み付きの、または重み付きでない)は、配置距離d(x,y)を与える。質量中心または物質中心の計算は、領域の中心を計算するための一般的な画像処理操作として意図される。
4.相互相関の率(quotient)は、標準化された相互相関の重み付けされた平均である。
・オプションC:
1.以前の確率的画像と現在の確率的画像、それぞれ、P’(vessel|x,y)とP(vessel|x,y)、を比較することによって、蓋然性を最大化して、最もある得る配置d(x,y)が見出される。
2.以前のVp’(x,y)と現在のVp(x,y)の重なり合う領域を計算し、画像の視野の全領域に関して標準化し、Cvを得る。
方法4.マッピング(18):方法1および2から得られる画像とトラッキング座標に基づいて、解剖学的構造または組織、好ましくは、リアルタイムの血管構造のマップを生成するためのシグナル処理手順。
−入力:
位置ベクターp(x,y)。
2つの画像間の位置ベクターd(x,y)。
画像間の相互相関係数Cv。
反射された赤の画像R(x,y)(14a)。
反射された緑の画像R(x,y)(14b)。
反射された青の画像R(x,y)(14c)。
−出力:
血管マップ画像T(x,y)。
全体画像G(x,y,c)(注記:cは赤、緑、青の色を指す)。
以前の血管の確率的画像P’(vessel|x,y)、m=1、2、・・・M。
以前の血管のセグメント化された画像V’(x,y)。
−必須の工程:
これらの技術は、スティッチング(Stiching)またはモザイキング(Mosaicing)として知られており、コンピュータ画像において使用される。あり得る実行は:
1.域値>0.5は、相互相関係数Cvを超えて適用される。
2a.Cv<0.5ならば、自動システムは、現在の画像は誤差を含んでいると考えて、血管マップスティッチングのためにそれを使用しない。
3a.トラッキングアルゴリズム(方法3)を通じて、全体の血管マップT(x,y)における現在の画像V(x,y)をサーチする。新たなパラメーターd(x,y)とCvが得られる。
4a.Cv>0.5ならば、工程2bに進み、そうでなければ、工程の残りをスキップし、次の画像取得があるまで待機する。
2b.Cv>0.5ならば、以前の位置p(x,y)とその配置d(x,y)が考慮されるように、現在の画像V(x,y)を全体画像T(x,y)上に配置する。
3b.以前の位置p(x,y)とその配置d(x,y)が考慮されるように、全体画像G(x,y,c)(ここで、cは、例えば、標準的なビデオ画像における色を指し、c=R、G、またはBである)における、赤の反射された画像R(x,y)(14a)、緑の反射された画像R(x,y)(14b)および青の反射された画像R(x,y)(14c)で目に見えるものに属する現在の画像。
4b.新しいイテレーションのためのシステムを準備する。現在の画像V(x,y)を以前の画像V’(x,y)に移す、すなわち、V’(x,y)=V(x,y)。
5b.現在の確率を以前の確率に移す。P’(vessel|x,y)=P(vessel|x,y)。
6b.d(x,y)とp(x,y)によって位置をアップデートする。
方法5:ヒュージョン(19):方法3からの情報で、(標準的内視鏡によって作り出された)目に見えるもののリアルタイムで画像をマージするためのシグナル処理手順。
−入力:
血管マップ画像T(x,y)。
全体画像G(x,y,c)。
反射された赤の画像R(x,y)(14a)。
反射された緑の画像R(x,y)(14b)。
反射された青の画像R(x,y)(14c)。
血管のセグメント化された画像V(x,y)。
−出力:
局所的に改善された画像のカラー画像VEL(x,y,c)。
全体的に改善された画像のカラー画像VEG(x,y,c)。
−必須の工程:
1.画像VEL(x,y,c)は、1つまたは多くの可視画像:反射された赤の画像R(x,y)(14a)、反射された緑の画像R(x,y)(14b)および反射された青の画像R(x,y)(14c)、上へ重なり合わされたセグメント化された血管画像V(x,y)の重み付け加算(weighted adding)によって得られる。
2.画像VEG(x,y,c)は、全体画像G(x,y,c)のチャンネル又はカラーcの1つの上に重なり合わされた、セグメント化された血管マップ画像T(x,y)を加えることによって得られる。
3.1つまたはいくつかのモニター、プロジェクターまたはデジタル若しくはアナログ画像を表示することができる一般的なデバイスに送ることができるデジタル画像を得る。
4.各モニター(または同等物)に表示するために視聴様式を選択するために、ユーザーインターフェースが作製される:VEL(x,y,c)、VEG(x,y,c)、V(x,y)、T(x,y)、またはG(x,y,c)。
記載された方法の効果を明確にするために、本発明によって記載された装置に利用可能な異なるビジョンモードを図6に示す。(a)は、標準的な内視鏡によって提供されるビジョンモードであり、(b)は、NIR分析を通じての血管のセグメント化(16)であり、(c)は、可視画像とNIR画像のヒュージョン(19)であり、(d)は、再構築のマッピング(18)であり、および(e)は、連続する画像のトラッキング(17)によるモザイク再構築である。
まとめると、本発明の装置での解剖学的構造の赤外線ビジョンを改善するためのシグナル処理手順は、GPU、FPGA、CPUベースのシステムで実行される特定のハードウエアおよびソフトウエア、またはローカルの、分散または並列コンピューティングを通じてリアルタイム処理を行う任意の他のハードウエアを備えた画像処理ユニット(2)で行われ、その手順は、少なくとも以下の方法を含む:
方法1.標準化(15):可視光(赤、緑および青)と赤外光の強度の画像における各ポイントの強度をリアルタイムで比較し、そして画像にローパスフィルタを使用することによって、組織(7)を照らす光の量を標準化するためのシグナル処理手順。入射する赤外光の量は、再現可能な形式で推定される。
方法2.セグメント化(16):赤外画像および可視画像のリアルタイムのスペクトル分析に基づいて、解剖学的構造または組織、好ましくは、血管構造をセグメン化するためのシグナル処理手順。
方法3.トラッキング(17):方法1および2によって生成された2つの連続的画像の間の解剖学的構造または組織、好ましくは、血管構造のリアルタイムのトラッキングおよび同時配置のためのシグナル処理手順。
方法4.マッピング(18):方法1および2から得られた画像およびトラッキング座標から、解剖学的構造または組織、好ましくは、血管構造のリアルタイムのマップを作製するためのシグナル処理手順。
方法5.ヒュージョン(19):方法3からの情報で(標準的な内視鏡によって作り出された)可視画像を融合させるためのシグナル処理手順。
装置は、マルチモード画像処理ユニット(1)において異なる画像処理モードを得るためのさらなる光源(可視光と赤外光の両方)および/またはさらなる光学的システムを使用することによって、より多くの画像モードをさらに統合することができる。
さらに、本発明は、任意のタイプの内視鏡手術、中でも消化管内視鏡検査、呼吸器官内視鏡検査、関節鏡検査、産婦人科内視鏡検査、コルポスコピー、泌尿器科内視鏡検査、耳鏡検査、または形成外科内視鏡検査などへの適切な適用を提供する。本発明は、さらに、その医療的手順においてその使用に適合させた光学的オブジェクト(レンズ、ミラーまたは観察されている物体から出ている光を集める他の光学装置として意図される)で内視鏡、胎児鏡、および腹腔鏡を置き換えることによって、皮膚または開放外科的手技のような他の医療的手順への適用を提供する。図7は、前腕の表面に適用された、本明細書に記載される血管検出の技術の使用によって得られた画像を示し、可視モードは、NIR画像へと融合されている。
開示された本発明は、解剖学的構造の機能的分析を行う可能性も提供する。本発明の他の様式は、偏光イメージングおよび/または第2高調波に使用によって、コラーゲンのような異なる解剖学的構造の分類を提供する。それは、臨床的状態を診断することに繋がる異常を検出するために、同じ解剖学的構造における差異を区別するためにも使用することができる。全てのこの自動化され、かつ定量的なデータの取得は、手術の手引をするために適用可能であるのみでなく、ロボット化された遠隔操作のまたは自動化された手術にも適用可能である。
本発明の実施の方法のみでなく本発明の特質も十分に記載したので、当該技術分野の当業者がその範囲およびそれに由来する効果を理解するために説明を続ける必要はないと考えられるが、そのことに焦点を当てて、その本質的な特質内で、実施例を通じて示された実施形態とは詳細において異なる他の実施形態で実行することができ、それらは、その本質的な特質が改変、変更または修飾されないならば、主張される保護によって包含されたままである。

Claims (16)

  1. 解剖学的構造および組織、好ましくは血管のような血管構造の赤外線の改善された画像処理のための装置であって、該装置は、以下の少なくとも2つの協働ユニットを含み:
    −画像取得デバイス、好ましくは、内視鏡、胎児鏡または腹腔鏡(3)を含む内視鏡画像取得デバイスと、さらなる光学的システムを含む、ヒトの身体の内部からのマルチモードまたはマルチスペクトルの画像を取得し、前記画像を改善された画像処理ユニット(2)へ送るための、マルチモードのまたはマルチスペクトルの画像取得ユニット(1);
    −少なくとも以下のシグナル処理方法を適用することによる、ヒトの身体の改善された画像、好ましくは、ヒトの身体の血管マップと、画像取得デバイスのリアルタイムの位置を処理し表示するためのインターフェースを備えたデバイスを含む画像処理ユニット(2)、
    前記シグナル処理方法は、
    各画像ポイントにおける可視光(赤、緑および青)と赤外光の強度のリアルタイムの比較の手段と、前記画像におけるローパスフィルタの使用によって、解剖学的構造または組織(7)を照らす光の量を標準化するためのシグナル処理のための手順における、標準化(15):
    赤外光および可視光のリアルタイムのスペクトル分析に基づいて、前記解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するためのシグナル処理のための手順における、セグメント化(16):
    標準化(15)およびセグメント化(16)によって生成された2つの連続的画像の間で、前記解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックする、および配置するためのシグナル処理のための手順における、トラッキング(17):
    トラッキング(17)によって得られた前記画像およびトラッキング座標から、前記解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作製するためのシグナル処理のための手順における、マッピング(18):
    標準化(15)、セグメント化(16)、トラッキング(17)およびマッピング(18)に対応する任意の方法によって得られた情報によって、前記画像取得ユニット(1)によって生成された可視光の画像をマージするためのシグナル処理のための手順における、ヒュージョン(19)、であることを特徴とする、装置。
  2. 前記画像取得ユニット(1)が、ヒトの身体の内部からのビデオ画像が得られる少なくとも1つのチャンネルを有する内視鏡、胎児鏡または腹腔鏡(3)を含み、前記チャンネルに、少なくとも1つの赤外光源(4)および少なくとも1つの白色光源(5)または3つの波長、青、緑および赤を含む光源が連結されて、前記ユニットにおいて、光が光学的要素(6)を使用することによって前記内視鏡のビデオチャンネルへと連結されることを特徴とする、請求項1に記載の装置。
  3. CCD、CMOSまたはEM−CCDカメラから選択された1以上のビデオカメラ(10)、(11)において画像を形成するため、および前記画像処理ユニット(2)によるさらなる処理のために前記画像をデジタル化するために、随意にフィルタ(8)およびレンズ(9)と組み合わせて、内視鏡、胎児鏡または腹腔鏡(3)における同じチャンネルが、光学的要素(6)の使用によって前記構造の検出のために使用され得ることを特徴とする請求項1または2のいずれかに記載の装置。
  4. 検出された前記シグナルが非常に弱いか又はそれらが低質である場合に、画像増幅器が、前記ビデオカメラ(10)、(11)にさらに供されることを特徴とする請求項1乃至3のいずれかに記載の装置。
  5. 内視鏡(3)の2つのチャンネルを使用することによって、代替的に、少なくとも2つの光源(4)、(5)が、前記ビデオカメラ(10)、(11)に連結されることを特徴とする請求項1乃至4のいずれかに記載の装置。
  6. 代替的に、内視鏡、胎児鏡または腹腔鏡(3)における少なくとも1つのチャンネルが、光学的要素(6)と組み合わせて照明のためのみに使用され;および少なくとも1つの他のチャンネルが検出のためのみに使用され、前記装置は、フィルタ(8)およびレンズ(9)のようなさらなる光学的要素を随意にさらに含むことを特徴とする請求項1乃至4のいずれかに記載の装置。
  7. 代替的に、前記内視鏡のプローブに設置され、電気コネクション(22)に繋がれたCCD、CMOSまたはEM−CCDカメラ(10)が、光源(4)、(5)によって連続的に発せられた異なるバンド又は波長の連続的な検出のために利用され、前記カメラ(10)内の少なくとも1つのフィルタ(8)が、随意に、1以上の赤外線スペクトルバンドの分離のためにカラーフィルタアレー又はカラーフィルタモザイクであり得ることを特徴とする請求項1乃至4のいずれかに記載の装置。
  8. 前記光学的要素(6)が、ビームスプリッター、ホットミラー、コールドミラー、ダイクロイックミラー、偏光子、拡散子、回折光学素子、アナライザー、ホログラフィック光学素子、位相板、超音波光学材料、ダズラー、シェーパー、部分的ミラー、ダイクロイックプリズムシステム、調節可能な光学フィルタ、多重に分岐した導光、偏光ビームスプリッター、或いは、前記光学経路がファイバー光学経路である場合に光学ファイバー内のカプセル化も含む、検出又は照明のいずれか、またはその両方のための光学的経路を分けるかまたは結びつけるために、また、波長、偏光、または他の光学的特性に依存してそれらの伝達または反射条件を調整することのできる任意の他の光学的デバイスの中から選択されることを特徴とする請求項1乃至7のいずれかに記載の装置。
  9. 前記画像取得ユニット(1)が、画像取得デバイスとして、皮膚および開放外科的手技に適合した光学対物レンズを含むことを特徴とする請求項1に記載の装置。
  10. 解剖学的構造および組織、好ましくは、血管のような血管構造の画像のシグナル処理の手順であって、少なくとも以下:
    各画像ポイントにおける可視光(赤、緑および青)と赤外光の強度のリアルタイムでの比較の手段と、前記画像におけるローパスフィルタの使用によって、前記組織(7)を照らす光の量を標準化するためのシグナル処理のための手順における、標準化(15):
    赤外光および可視光のリアルタイムのスペクトル分析に基づいて、解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するためのシグナル処理のための手順における、セグメント化(16):
    標準化(15)およびセグメント化(16)によって生成された2つの連続的画像の間で、解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックし、および配置するためのシグナル処理のための手順における、トラッキング(17):
    トラッキング(17)によって得られた前記画像およびトラッキング座標から、解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作製するためのシグナル処理のための手順における、マッピング(18):
    標準化(15)、セグメント化(16)、トラッキング(17)およびマッピング(18)に対応する任意の方法からの情報によって、画像取得ユニット(1)によって生成された可視光の画像をマージするためのシグナル処理のための手順における、ヒュージョン(19)、
    の方法が、CPU、FPGA,CPUベースのシステム、またはローカルの、分散または並列コンピューティングを通じてリアルタイム処理を行う任意の他のハードウエアによって、画像処理ユニット(2)において実行されることと特徴とする手順。
  11. 少なくとも以下のシグナル処理方法:
    各画像ポイントにおける可視光(赤、緑および青)と赤外光の強度のリアルタイムの比較の手段と、前記画像におけるローパスフィルタの使用によって、解剖学的構造または組織(7)を照らす光の量を標準化するためのシグナル処理のための手順における、標準化(15):
    赤外光および可視光のリアルタイムのスペクトル分析に基づいて、解剖学的構造または組織、好ましくは、血管のような血管構造の画像をセグメン化するためのシグナル処理のための手順における、セグメント化(16):
    標準化(15)およびセグメント化(16)によって生成された2つの連続的画像の間で、解剖学的構造または組織、好ましくは、血管のような血管構造をリアルタイムでトラックし、および配置するためのシグナル処理のための手順における、トラッキング(17):
    トラッキング(17)によって得られた前記画像およびトラッキング座標から、解剖学的構造または組織、好ましくは、血管のような血管構造のリアルタイムのマップを作製するためのシグナル処理のための手順における、マッピング(18):
    標準化(15)、セグメント化(16)、トラッキング(17)およびマッピング(18)に対応する任意の方法からの情報によって、画像取得ユニット(1)によって生成された可視光の画像をマージするためのシグナル処理のための手順における、ヒュージョン(19)、
    を適用することによって、解剖学的構造および組織、好ましくは、血管のような血管構造の改善された画像を処理および表示するためのインターフェースを備えたデバイスを含む画像処理ユニット(2)。
  12. 内視鏡検査、胎児鏡検査または腹腔鏡検査における、請求項1乃至8のいずれかに記載の装置、請求項10に記載のシグナル処理の手順、または請求項11に記載の画像処理ユニット、の使用。
  13. 単一絨毛膜性の双子の妊娠の処置における、好ましくは、双胎児間輸血症候群、不一致奇形および子宮内胎児発育遅延の手術のための、請求項1乃至8のいずれかに記載の装置、請求項10に記載のシグナル処理の手順、または請求項11に記載の画像処理ユニット、の使用。
  14. 消化管内視鏡検査、呼吸器官内視鏡検査、関節鏡検査、産婦人科内視鏡検査、コルポスコピー、泌尿器科内視鏡検査、耳鏡検査、または形成外科内視鏡検査に適用される、請求項1乃至8のいずれかに記載の装置、請求項10に記載のシグナル処理の手順、または請求項11に記載の画像処理ユニット、の使用。
  15. 皮膚または開放外科的手技に適用される、請求項9に記載の装置、請求項10に記載のシグナル処理の手順、または請求項11に記載の画像処理ユニット、の使用。
  16. 動脈と静脈を区別するための組織又は血管における酸素レベルの量のような、解剖学的構造に関する機能的情報を報告し、または前記組織のコラーゲン構造を評価するための、請求項1乃至9のいずれかに記載の装置、請求項10に記載のシグナル処理の手順、または請求項11に記載の画像処理ユニット、の使用。
JP2011540096A 2008-12-11 2009-12-10 解剖学的構造の赤外線ビジョンのための装置およびそのシグナル処理方法 Pending JP2012511361A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ES200803513A ES2341079B1 (es) 2008-12-11 2008-12-11 Equipo para vision mejorada por infrarrojo de estructuras vasculares,aplicable para asistir intervenciones fetoscopicas, laparoscopicas y endoscopicas y proceso de tratamiento de la señal para mejorar dicha vision.
ES200803513 2008-12-11
PCT/EP2009/066799 WO2010066827A1 (en) 2008-12-11 2009-12-10 Equipment for infrared vision of anatomical structures and signal processing methods thereof

Publications (2)

Publication Number Publication Date
JP2012511361A true JP2012511361A (ja) 2012-05-24
JP2012511361A5 JP2012511361A5 (ja) 2014-02-20

Family

ID=41820482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011540096A Pending JP2012511361A (ja) 2008-12-11 2009-12-10 解剖学的構造の赤外線ビジョンのための装置およびそのシグナル処理方法

Country Status (11)

Country Link
US (1) US20110295062A1 (ja)
EP (1) EP2373211A1 (ja)
JP (1) JP2012511361A (ja)
CN (1) CN102300498A (ja)
BR (1) BRPI0922942A2 (ja)
CA (1) CA2746243A1 (ja)
ES (1) ES2341079B1 (ja)
IL (1) IL213442A0 (ja)
MX (1) MX2011006164A (ja)
RU (1) RU2011128383A (ja)
WO (1) WO2010066827A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006113A1 (ja) * 2014-07-11 2016-01-14 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
JP2016087468A (ja) * 2014-11-04 2016-05-23 株式会社東芝 医用画像診断装置及び医用画像処理装置
JP2016168329A (ja) * 2015-03-10 2016-09-23 インフラレドックス,インコーポレーテッド 脂質コアプラークの完全性の評価
JP2017538458A (ja) * 2014-10-14 2017-12-28 イースト カロライナ ユニバーシティ 撮像技術を用いて解剖学的構造並びに血流及び灌流生理機能を可視化するための方法、システム及びコンピュータプログラム製品
JP2020531212A (ja) * 2017-08-28 2020-11-05 イースト カロライナ ユニバーシティ 内視鏡設計における血流および灌流撮像および定量化のためのレーザ撮像方法およびシステムを用いたマルチスペクトル生理機能視覚化(mspv)
JP2021079102A (ja) * 2019-11-13 2021-05-27 フラウンホッファー−ゲゼルシャフト ツァー フェーデルング デア アンゲバンテン フォルシュング エー ファー 医療用撮像デバイス、方法、および使用
US11553844B2 (en) 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US9706903B2 (en) 2009-06-18 2017-07-18 Endochoice, Inc. Multiple viewing elements endoscope system with modular imaging units
US9101287B2 (en) 2011-03-07 2015-08-11 Endochoice Innovation Center Ltd. Multi camera endoscope assembly having multiple working channels
US11278190B2 (en) 2009-06-18 2022-03-22 Endochoice, Inc. Multi-viewing element endoscope
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
US9642513B2 (en) 2009-06-18 2017-05-09 Endochoice Inc. Compact multi-viewing element endoscope system
US8926502B2 (en) 2011-03-07 2015-01-06 Endochoice, Inc. Multi camera endoscope having a side service channel
US9492063B2 (en) 2009-06-18 2016-11-15 Endochoice Innovation Center Ltd. Multi-viewing element endoscope
US9101268B2 (en) 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
US9554692B2 (en) 2009-06-18 2017-01-31 EndoChoice Innovation Ctr. Ltd. Multi-camera endoscope
US11864734B2 (en) 2009-06-18 2024-01-09 Endochoice, Inc. Multi-camera endoscope
US9713417B2 (en) 2009-06-18 2017-07-25 Endochoice, Inc. Image capture assembly for use in a multi-viewing elements endoscope
US9402533B2 (en) 2011-03-07 2016-08-02 Endochoice Innovation Center Ltd. Endoscope circuit board assembly
US11547275B2 (en) 2009-06-18 2023-01-10 Endochoice, Inc. Compact multi-viewing element endoscope system
US9901244B2 (en) 2009-06-18 2018-02-27 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
US9872609B2 (en) 2009-06-18 2018-01-23 Endochoice Innovation Center Ltd. Multi-camera endoscope
WO2012077117A1 (en) 2010-12-09 2012-06-14 Peermedical Ltd. Flexible electronic circuit board multi-camera endoscope
US9560953B2 (en) 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
EP2618718B1 (en) 2010-09-20 2020-04-15 EndoChoice Innovation Center Ltd. Multi-camera endoscope having fluid channels
JP5944912B2 (ja) 2010-10-28 2016-07-05 エンドチョイス イノベーション センター リミテッド マルチセンサ内視鏡のための光学系
CN103181154A (zh) * 2010-10-29 2013-06-26 加利福尼亚大学董事会 用于成像的手机显微镜装置和方法
US11889986B2 (en) 2010-12-09 2024-02-06 Endochoice, Inc. Flexible electronic circuit board for a multi-camera endoscope
JP6054874B2 (ja) 2010-12-09 2016-12-27 エンドチョイス イノベーション センター リミテッド マルチカメラ内視鏡用フレキシブル電子回路基板
JP5501210B2 (ja) * 2010-12-16 2014-05-21 富士フイルム株式会社 画像処理装置
JP5628062B2 (ja) * 2011-02-01 2014-11-19 富士フイルム株式会社 電子内視鏡システム
EP3228236A1 (en) 2011-02-07 2017-10-11 Endochoice Innovation Center Ltd. Multi-element cover for a multi-camera endoscope
US9308050B2 (en) 2011-04-01 2016-04-12 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system and method for spinal and other surgeries
JP5385350B2 (ja) * 2011-08-16 2014-01-08 富士フイルム株式会社 画像表示方法および装置
US9005151B2 (en) 2011-09-07 2015-04-14 Choon Kee Lee Thermal apparatus
EP2604172B1 (en) 2011-12-13 2015-08-12 EndoChoice Innovation Center Ltd. Rotatable connector for an endoscope
CA2798716A1 (en) 2011-12-13 2013-06-13 Peermedical Ltd. Removable tip endoscope
US8897522B2 (en) * 2012-05-30 2014-11-25 Xerox Corporation Processing a video for vascular pattern detection and cardiac function analysis
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US9560954B2 (en) 2012-07-24 2017-02-07 Endochoice, Inc. Connector for use with endoscope
KR102028199B1 (ko) * 2012-08-28 2019-10-04 한국전자통신연구원 의료 진단장치 및 그 조작방법
JP5988907B2 (ja) * 2013-03-27 2016-09-07 オリンパス株式会社 内視鏡システム
US9993142B2 (en) 2013-03-28 2018-06-12 Endochoice, Inc. Fluid distribution device for a multiple viewing elements endoscope
US9986899B2 (en) 2013-03-28 2018-06-05 Endochoice, Inc. Manifold for a multiple viewing elements endoscope
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
CN105377112B (zh) * 2013-07-05 2017-08-18 奥林巴斯株式会社 医疗显示装置以及内窥镜手术***
CN103389287B (zh) * 2013-07-17 2015-08-12 福建师范大学 一种适用于活体肝表面成像的高分辨光学***
US20150067599A1 (en) * 2013-09-05 2015-03-05 General Electric Company Smart and early workflow for quick vessel network detection
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
WO2015107099A1 (en) 2014-01-15 2015-07-23 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
WO2015121311A1 (en) 2014-02-11 2015-08-20 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
WO2015123699A1 (en) 2014-02-17 2015-08-20 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
US10004562B2 (en) 2014-04-24 2018-06-26 Globus Medical, Inc. Surgical instrument holder for use with a robotic surgical system
JP6768529B2 (ja) * 2014-07-02 2020-10-14 ナショナル ユニヴァーシティー オブ シンガポール 異常増殖などのサンプル若しくは組織のタイプ若しくは性質を分析し、特徴付け、及び/又は診断するためのラマン分光法システム、装置及び方法
EP3169252A1 (en) 2014-07-14 2017-05-24 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
CN106535805B (zh) 2014-07-25 2019-06-18 柯惠Lp公司 用于机器人手术***的增强手术现实环境
US10152789B2 (en) 2014-07-25 2018-12-11 Covidien Lp Augmented surgical reality environment
US20160095524A1 (en) * 2014-10-04 2016-04-07 Government Of The United States, As Represented By The Secretary Of The Air Force Non-Contact Assessment of Cardiovascular Function using a Multi-Camera Array
WO2016083483A1 (en) * 2014-11-27 2016-06-02 Koninklijke Philips N.V. Imaging device and method for generating an image of a patient
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10555782B2 (en) 2015-02-18 2020-02-11 Globus Medical, Inc. Systems and methods for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
US9805472B2 (en) * 2015-02-18 2017-10-31 Sony Corporation System and method for smoke detection during anatomical surgery
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
EP3344179B1 (en) 2015-08-31 2021-06-30 KB Medical SA Robotic surgical systems
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
CN105635701B (zh) * 2016-01-21 2017-09-12 东莞全球鹰医疗科技有限责任公司 一种3ccd棱镜胶合定位成像***及其成像方法
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
EP3241518A3 (en) 2016-04-11 2018-01-24 Globus Medical, Inc Surgical tool systems and methods
CN105962881A (zh) * 2016-07-26 2016-09-28 西安交通大学第附属医院 一种血管识别方法及设备
US9730649B1 (en) * 2016-09-13 2017-08-15 Open Water Internet Inc. Optical imaging of diffuse medium
WO2018072807A1 (de) * 2016-09-27 2018-04-26 Siemens Aktiengesellschaft Vorrichtung und verfahren zur feststellung pathologischer implikationen
WO2018105020A1 (ja) * 2016-12-05 2018-06-14 オリンパス株式会社 内視鏡装置
CN106725244A (zh) * 2016-12-07 2017-05-31 哈尔滨海鸿基业科技发展有限公司 一种内窥镜双通道融合成像装置
JP7233841B2 (ja) 2017-01-18 2023-03-07 ケービー メディカル エスアー ロボット外科手術システムのロボットナビゲーション
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
US11135015B2 (en) 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11382666B2 (en) 2017-11-09 2022-07-12 Globus Medical Inc. Methods providing bend plans for surgical rods and related controllers and computer program products
EP3492032B1 (en) 2017-11-09 2023-01-04 Globus Medical, Inc. Surgical robotic systems for bending surgical rods
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
CN108209878A (zh) * 2018-03-06 2018-06-29 南京生命源医药实业有限公司 可视化***及方法
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
JP7025661B2 (ja) * 2019-06-19 2022-02-25 日亜化学工業株式会社 光源装置および画像取得装置
US11793399B2 (en) * 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
DE102020116473A1 (de) * 2020-06-23 2021-12-23 Olympus Winter & Ibe Gmbh Verfahren zur endoskopischen Bildgebung, endoskopisches Bildgebungssystem und Softwareprogrammprodukt
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
CN113317874B (zh) * 2021-04-30 2022-11-29 上海友脉科技有限责任公司 一种医学图像处理装置及介质
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
WO2023109853A1 (zh) * 2021-12-14 2023-06-22 微创优通医疗科技(上海)有限公司 双目内窥镜及其双目内窥镜成像***
US11911115B2 (en) 2021-12-20 2024-02-27 Globus Medical Inc. Flat panel registration fixture and method of using same
CN116309042B (zh) * 2022-12-23 2024-03-22 南方医科大学南方医院 近红外光谱胸内血管显像***、方法及电子设备
CN117814727B (zh) * 2024-01-11 2024-06-04 华中科技大学同济医学院附属同济医院 一种软镜成像方法、***、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0332635A (ja) * 1989-06-30 1991-02-13 Olympus Optical Co Ltd 内視鏡画像処理装置
JPH08307890A (ja) * 1995-04-27 1996-11-22 Olympus Optical Co Ltd 内視鏡撮像装置
JP2004321244A (ja) * 2003-04-21 2004-11-18 Olympus Corp 電子内視鏡システム
JP2007111359A (ja) * 2005-10-21 2007-05-10 Olympus Medical Systems Corp 内視鏡装置
JP2007282965A (ja) * 2006-04-19 2007-11-01 Olympus Medical Systems Corp 内視鏡観察装置
JP2008086605A (ja) * 2006-10-03 2008-04-17 Pentax Corp 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
JP2008212317A (ja) * 2007-03-02 2008-09-18 Seiko Epson Corp 光学装置及びモニタ装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2717365B1 (fr) * 1994-03-21 1996-05-15 Rech Biolog Et Dispositif d'imagerie endoscopique ou fibroscopique en fluorescence dans l'infrarouge.
US6173068B1 (en) * 1996-07-29 2001-01-09 Mikos, Ltd. Method and apparatus for recognizing and classifying individuals based on minutiae
US6353753B1 (en) * 1998-05-05 2002-03-05 Stephen Thomas Flock Optical imaging of deep anatomic structures
WO2002067772A2 (en) * 2001-01-12 2002-09-06 Napoli, Llc. Intra-uterine devices and method of use
US6920236B2 (en) * 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
ES2406697T3 (es) * 2002-03-12 2013-06-07 Beth Israel Deaconess Medical Center Sistema de obtención de imágenes médicas
US20030187319A1 (en) * 2002-03-29 2003-10-02 Olympus Optical Co., Ltd. Sentinel lymph node detecting apparatus, and method thereof
US7406184B2 (en) * 2002-07-03 2008-07-29 Equinox Corporation Method and apparatus for using thermal infrared for face recognition
US20040225222A1 (en) * 2003-05-08 2004-11-11 Haishan Zeng Real-time contemporaneous multimodal imaging and spectroscopy uses thereof
WO2006106470A2 (en) * 2005-04-07 2006-10-12 Koninklijke Philips Electronics N.V. Image processing device and method for blood flow imaging
WO2008049118A2 (en) * 2006-10-19 2008-04-24 The General Hospital Corporation Apparatus and method for obtaining and providing imaging information associated with at least one portion of a sample and effecting such portion(s)
JP2008194334A (ja) * 2007-02-15 2008-08-28 Fujifilm Corp 内視鏡画像表示方法および装置ならびにプログラム
CN101614870A (zh) * 2009-07-31 2009-12-30 公安部第三研究所 电子内窥镜

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0332635A (ja) * 1989-06-30 1991-02-13 Olympus Optical Co Ltd 内視鏡画像処理装置
JPH08307890A (ja) * 1995-04-27 1996-11-22 Olympus Optical Co Ltd 内視鏡撮像装置
JP2004321244A (ja) * 2003-04-21 2004-11-18 Olympus Corp 電子内視鏡システム
JP2007111359A (ja) * 2005-10-21 2007-05-10 Olympus Medical Systems Corp 内視鏡装置
JP2007282965A (ja) * 2006-04-19 2007-11-01 Olympus Medical Systems Corp 内視鏡観察装置
JP2008086605A (ja) * 2006-10-03 2008-04-17 Pentax Corp 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
JP2008212317A (ja) * 2007-03-02 2008-09-18 Seiko Epson Corp 光学装置及びモニタ装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006113A1 (ja) * 2014-07-11 2016-01-14 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
JPWO2016006113A1 (ja) * 2014-07-11 2017-07-06 株式会社ニコン 画像解析装置、撮像システム、検出システム、手術支援システム、画像解析方法、及び画像解析プログラム
US10467747B2 (en) 2014-07-11 2019-11-05 Nikon Corporation Image analysis apparatus, imaging system, surgery support system, image analysis method, storage medium, and detection system
JP2017538458A (ja) * 2014-10-14 2017-12-28 イースト カロライナ ユニバーシティ 撮像技術を用いて解剖学的構造並びに血流及び灌流生理機能を可視化するための方法、システム及びコンピュータプログラム製品
US11553844B2 (en) 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics
JP2016087468A (ja) * 2014-11-04 2016-05-23 株式会社東芝 医用画像診断装置及び医用画像処理装置
JP2016168329A (ja) * 2015-03-10 2016-09-23 インフラレドックス,インコーポレーテッド 脂質コアプラークの完全性の評価
JP2020531212A (ja) * 2017-08-28 2020-11-05 イースト カロライナ ユニバーシティ 内視鏡設計における血流および灌流撮像および定量化のためのレーザ撮像方法およびシステムを用いたマルチスペクトル生理機能視覚化(mspv)
JP7427251B2 (ja) 2017-08-28 2024-02-05 イースト カロライナ ユニバーシティ 内視鏡設計における血流および灌流撮像および定量化のためのレーザ撮像方法およびシステムを用いたマルチスペクトル生理機能視覚化(mspv)
JP2021079102A (ja) * 2019-11-13 2021-05-27 フラウンホッファー−ゲゼルシャフト ツァー フェーデルング デア アンゲバンテン フォルシュング エー ファー 医療用撮像デバイス、方法、および使用
US11547290B2 (en) 2019-11-13 2023-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Medical imaging device, method, and use
JP7291314B2 (ja) 2019-11-13 2023-06-15 フラウンホッファー-ゲゼルシャフト ツァー フェーデルング デア アンゲバンテン フォルシュング エー ファー 医療用撮像デバイスおよび医療用撮像デバイスの作動方法

Also Published As

Publication number Publication date
CN102300498A (zh) 2011-12-28
WO2010066827A1 (en) 2010-06-17
RU2011128383A (ru) 2013-01-20
EP2373211A1 (en) 2011-10-12
ES2341079B1 (es) 2011-07-13
ES2341079A1 (es) 2010-06-14
MX2011006164A (es) 2011-09-28
US20110295062A1 (en) 2011-12-01
IL213442A0 (en) 2011-07-31
BRPI0922942A2 (pt) 2016-01-19
CA2746243A1 (en) 2010-06-17

Similar Documents

Publication Publication Date Title
JP2012511361A (ja) 解剖学的構造の赤外線ビジョンのための装置およびそのシグナル処理方法
JP6834184B2 (ja) 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
US10390718B2 (en) Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
CN108430306B (zh) 用于使用激光散斑对比度成像快速检查脉管***和微粒流的***和方法
JP2012511361A5 (ja) 血管などの血管構造の赤外線の改善された画像処理および機能的分析のための装置ならびに画像処理ユニット
US8175688B2 (en) Multispectral/hyperspectral medical instrument
JP6023883B2 (ja) 灌流評価マルチモダリティ光学医用デバイス
EP2821006B1 (en) Funduscopic device
JP7411772B2 (ja) 内視鏡システム
JP7427251B2 (ja) 内視鏡設計における血流および灌流撮像および定量化のためのレーザ撮像方法およびシステムを用いたマルチスペクトル生理機能視覚化(mspv)
CN113520271A (zh) 一种甲状旁腺功能成像方法、***及内镜
WO1999022640A2 (en) Multispectral/hyperspectral medical instrument
JP7146318B1 (ja) コンピュータプログラム、学習モデルの生成方法、及び手術支援装置
Coole et al. Multimodal optical imaging with real-time projection of cancer risk and biopsy guidance maps for early oral cancer diagnosis and treatment
JP6747576B2 (ja) イメージング装置
WO2021238661A1 (zh) 一种具有实时成像功能的可视化***
US10537225B2 (en) Marking method and resecting method
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
CN219895706U (zh) 一种甲状旁腺功能成像***及内镜
CN114041737B (zh) 应用于内窥镜的成像装置
RU203175U1 (ru) Видеофлуоресцентное устройство для анализа внутритканевого распределения фотосенсибилизаторов дальнего красного и ближнего инфракрасного диапазонов злокачественных новообразований головы и шеи
WO2022239495A1 (ja) 生体組織観察システム、生体組織観察装置及び生体組織観察方法
US20230096406A1 (en) Surgical devices, systems, and methods using multi-source imaging
CN213640810U (zh) 四芯片双光源荧光腔镜成像***
JP2021090782A (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130819

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131119

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131126

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20131218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140730