JP7092382B2 - 自己配向型画像化装置およびその使用方法 - Google Patents

自己配向型画像化装置およびその使用方法 Download PDF

Info

Publication number
JP7092382B2
JP7092382B2 JP2019557531A JP2019557531A JP7092382B2 JP 7092382 B2 JP7092382 B2 JP 7092382B2 JP 2019557531 A JP2019557531 A JP 2019557531A JP 2019557531 A JP2019557531 A JP 2019557531A JP 7092382 B2 JP7092382 B2 JP 7092382B2
Authority
JP
Japan
Prior art keywords
scanner
orientation
angle
scanning
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019557531A
Other languages
English (en)
Other versions
JP2020505189A (ja
Inventor
シェルトン,ライアン
カン,ウェイ
Original Assignee
フォトニケア,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フォトニケア,インコーポレイテッド filed Critical フォトニケア,インコーポレイテッド
Publication of JP2020505189A publication Critical patent/JP2020505189A/ja
Application granted granted Critical
Publication of JP7092382B2 publication Critical patent/JP7092382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/227Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00172Optical arrangements with means for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/067Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe using accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Input (AREA)
  • Cameras In General (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

耳内視鏡画像化では、ハンドヘルドイメージャが一般に使用されている。様々な操作者が、対象の姿勢を多様に参照しながら、ハンドヘルドイメージャを取り扱い、配置する。図1Aは、イメージャが左側の対象上下軸に沿っている場合と、右側の前後軸に沿っている場合とを示している。破線の円は撮像されている解剖学的構造を示しており、どちらの場合も同じである。デジタル画像化技術が使用されるとき、キャプチャされた画像は通常、図1Bに示されるように、独立型ディスプレイに表示される。この例では、イメージャの向きが異なるため、図1A~図1Bに示すように、実際の画像は90°の回転差がある。向きの違いは、イメージャを静止させたまま対象を「回転」させることでも簡単に理解できる。解剖学的な下方向が回転した場合には左を向いているので、回転した画像は混乱を引き起こす可能性がある。
対象の領域を見つけるために操作者がイメージャを移動し始めると、事態はさらに複雑になる。イメージャが直立している場合、イメージャを動かすのは直感による。例えば、操作者がディスプレイの下部に対象の領域を見つけた場合、操作者は単にイメージャを対象の下方向に移動させる可能性がある。その理由は、下方向がディスプレイの下方向を位置合わせするためである。ただし、90°回転させたシナリオでは、操作者がハンドヘルドイメージャを対象の下側に移動させると、ディスプレイの画像は左に移動する。操作者は解剖学的構造と画像表示との間の解離を適合させなければならず、これは直観的ではなく、険しい学習曲線を要する。
そのような混乱は、画像表示がハンドヘルドイメージャに固定されていないときに存在する。
イメージャは、走査機構を使用し、画像化ビームを操作して、データを取得することができる。走査の構成要素はハンドヘルドスキャナに固定されている。走査方向は通常1つの機械の振動軸に沿って予め決められている。この所定の方向に一定距離走査することによって、走査線に沿って画像の情報を取得することができる。ハンドヘルドスキャナを移動または回転させることによって、走査線を動かして異なる組織をサンプリングすることができる。しかし、特定の状況下では、スキャナに固定するのではなく、対象の解剖学的構造に固定する走査線の方が、より価値がある。
例えば、光コヒーレンストモグラフィー(OCT)は、画像化レーザービームの方向に沿って一次元の画像データを生成する。走査することによって、断面の2D画像、すなわちBスキャンが生成される。Bスキャンの一方の軸は光学的ビーム軸に沿った深さであり、他方の軸は走査方向に沿っている。OCT画像化速度が十分に速いため、Bスキャンはリアルタイムモニタリングに一般的に使用される。図1A~図1Bに示されるような耳鏡画像化のためには、対象の上下軸に沿ってスキャンすることは好ましくない。その理由は、人々の鼓膜は通常この方向に沿って異なる角度で傾くからである。組織からスキャナまでの距離には、より多くの変動がある。直交前後軸に沿って走査するとき、組織は、OCT焦点範囲および画像化範囲内に、より容易に配置され得る。
前者の範囲は画像化の横方向解像度を定め、後者はエイリアシングアーチファクトを防止する。スキャナの向きに関係なく、前後のスキャンを維持する必要がある。操作者が表示画像を対象の解剖学的構造に容易に相関させることができる自己配向イメージャおよび/またはスキャナが必要とされている。
ハンドヘルドイメージャまたはスキャナに一般的な二次的な必要性は、非常に可動性の性質から生じる。ハンドヘルド装置の動きは、例えば、装置が使用中である可能性があるという情報を伝える。装置の状態のこの情報を利用することができる。他の側面は、そのような装置は手の動きに曝されやすく、落とされる可能性が相対的に高いことである。ハンドヘルド装置の動きを検出することは、動きアーチファクト補正、または潜在的な落下の検出にさえも役立ち売る。
本発明は、他の問題と同様にこれらの問題を解決することを試みる。
本明細書で提供されるのは、自己配向型画像化装置用のシステム、方法、および装置、ならびに使用方法である。その方法、システム、および装置は、以下の説明に部分的に記載され、その説明から部分的に明らかになり、または方法、装置、およびシステムの実施によって習得することができる。方法、装置、およびシステムの利点は、添付の特許請求の範囲で特に指摘された要素および組み合わせによって実現され達成される。前述の一般的な説明および以下の詳細な説明は両方とも例示および説明にすぎず、特許請求の範囲に記載の方法、装置、およびシステムを限定するものではないことを理解されたい。
添付の図面において、本発明のいくつかの好ましい実施形態の中で、類似の要素は類似の参照番号により特定される。
ハンドヘルドイメージャが人間の鼓膜を撮像するために使用されることを示す概略図であり、イメージャの向きの違いが独立型ディスプレイに異なる画像を生成している。 ハンドヘルドイメージャが人間の鼓膜を撮像するために使用されることを示す概略図であり、イメージャの向きの違いが独立型ディスプレイに異なる画像を生成している。
(図2A)方位センサの設置を示す概略図であり、センサの軸はイメージャの軸に対して較正されなければならず、2つの軸のみが示されている。(図2B)センサ軸を伴う方位センサの図2Aの拡大部分である。 スキャナとセンサのz軸が整列し、x-y平面が角度θだけ回転する例示的な変換行列を示す。
対象を画像化する際の自己配向作業フローの概略的なフローチャートであり、一般的なイメージャに適用される。 対象を画像化し、走査機構を有するイメージャに適用されるときの自己配向ワークフローの概略的なフローチャートである。
耳鏡とビデオスコープとの間の回転の不一致を示す概略図である。
配向補正処理のフローを示すフローチャートである。
本発明の前述および他の特徴および利点は、添付の図面と併せて読まれる、例示的実施形態の以下の詳細な説明から明らかである。詳細な説明および図面は、限定ではなく本発明を単に例示するものであり、本発明の範囲は添付の特許請求の範囲およびその均等物によって定義される。
次に、本発明の実施形態を図面を参照しながら説明する。図面において、類似した番号は類似した要素を表す。本明細書で提示される説明で使用される用語は、単に本発明の特定の実施形態の詳細な説明と併せて利用されているという理由で、いかなる制限される様式または限定的な様式でも解釈されることを意図していない。さらに、本発明の実施形態はいくつかの新規な特徴を含むことができ、そのうちの1つだけがその望ましい属性に対して単独で責任を負うものでも、本明細書に記載の発明を実施するのに不可欠なものでもない。本明細書で説明される器具の構成要素の特定の端部を示すために、近位および遠位という用語が本明細書で適用される。近位端は、器具が使用されているときに、器具の操作者により近い器具の端部を示す。遠位端とは、操作者からより離れて対象および/またはインプラントの領域に向かって延びる構成要素の端部を示す。
本発明を説明する文脈において用語「a」および「an」および「the」および類似の指示対象を使用することは、本明細書で別段に示されない限り、または文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきである。「comprises(含む)」、「comprising(含む)、「includes(含む)」、および/または「including(含む)」という用語は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらの群の存在または追加を排除するものではないことがさらに理解される。
本明細書の値の範囲の列挙は、本明細書に別段の指示がない限り、その範囲内に含まれる各々の個別の値を個々に示す簡潔な方法として役立つこと、およびそれぞれの別個の値は、あたかも本明細書に個々に記載されているかのように本明細書に組み込まれることを、単に意図している。「約」という用語は、数値を伴う場合、記載された数値から最大で10%までの偏差を示すと解釈するべきである。本明細書で提供されるありとあらゆる例、または例示的な文言(「例えば」または「などの」)の使用は、単に、本発明をより良好に明らかにする意図のものであり、別段の記載がない限り、本発明の範囲を制限するものではない。本明細書のいかなる文言も、本発明の実施に必須であると主張されていないいずれかの要素を示すと解釈されるべきではない。
「一実施形態」、「実施形態」、「例示的実施形態」、「様々な実施形態」などの言及は、そのように説明された本発明の実施形態が特定の特徴、構造、または特性を含むが、すべての実施形態が必ずしも特定の特徴、構造、または特性を含むわけではないことを示し得る。さらに、「一実施形態では」または「例示的な実施形態では」という句の繰り返しの使用は、必ずしも同じ実施形態を示すとは限らないが、そうであってもよい。
本明細書で使用されるとき、「方法」という用語は、化学、薬理学、生物学、生化学および医学の分野の専門家により知られているか、公知の様式、手段、技法および手順から容易に発展する様式、手順、手段、技術および手順を含むがそれらに限定されない所与のタスクを達成するための様式、手段、技法および手順を言及する。
自己配向型画像化装置および使用方法は、ハンドヘルドでの画像化の配向を感知し、表示されるべき画像を回転させることによって、回転式補正を適用する。自己配向型画像化装置および方法は、配向感知方法および補正方法を含む。
加速度計、ジャイロスコープ、磁力計または任意の組み合わせなどの方位センサを感知に使用することができる。例えば、すべての加速度計、ジャイロスコープ、および磁力計からのデータを融合すると、ジャイロスコープの素早い応答時間と感度を十分に活用でき、加速度計と磁力計は長期間にわたるジャイロスコープのドリフトを補正できる。加速度計は、加速力を測定するために使用される電気機械装置である。そのような力は、連続的な重力のように静的であっても、多くのモバイル機器の場合のように、移動または振動を感知するために動的であってもよい。
スキャナが使用されるとき、最終的な走査方向が対象の解剖学的構造を参照するときに不変のままであるように、スキャナの走査要素を調整することによって、代替の解決策が実現可能である。表示された画像に方向の補正を適用するのではなく、自己配向機構をハードウェアに実装することができる。追加のコアの技術は、走査調整方法である。
微小電気機械システム(MEMS)、圧電装置または検流計などの2Dの走査要素を使用して方向を調整することができる。これらの素子は、独立した波形によって駆動される2つの直交方向に振動することができる。振幅の異なる2つの同相波形を適用することで、任意の方向に走査することができる。
感知設計の図解は図2Aにある。図2Bに示すように、方位センサはハンドヘルドスキャナに固定することができる。センサの軸とスキャナの軸を合わせるために較正を行う場合、スキャナに対するセンサの相対的な向きは任意であり得る。位置合わせは、スキャナを1つまたは数個の定義済みの向きに配置することで完了する。対応するセンサの向きは、座標変換行列を計算するために使用される。図2Cは、スキャナおよびセンサのz軸が整列し、x-y平面が角度θ回転したときの例示的な変換行列を示す。
一実施形態では、対象を撮像するためのプロセスが図3Aに示されている。第1に、ハンドヘルド装置は、較正ステップの間に起こり得る好ましいディスプレイの向きを判定する。一実施形態では、ハンドヘルドスキャナのデフォルトの走査方向は、前後軸に沿って整列している。しかし、ハンドヘルドスキャナは、上下軸または左右軸などの他の軸に位置合わせしてもよい。一旦位置合わせされると、操作者が較正信号をトリガして、スキャナが好ましいディスプレイの向きを記録するようにする。他の実施形態では、ソフトウェア方法が採用される。操作者はイメージャを静止させたままにし、ソフトウェアは表示されたイメージを好みの向きに回転させるオプションを提供する。このアプローチは、ハードウェア設計要件が少なくて済むという点で、最初のアプローチと等価である。その後、操作者は画像化を開始し、スキャナを任意の必要な方法で処理できる。新しいスキャナの向きは、配向センサから取得できる。補正は、新しい方向と優先される方向を比較して計算される。それは、ソフトウェアが補正する回転角度である。回転角度は、全360度の視野内の任意の角度であり得る。使用者は逆さまにするなどの様々な方法で装置を保持する。画像化が終了しない場合、アルゴリズムは配向感知ステップに戻る。
走査の場合、センサの設置は一般的なハンドヘルドイメージャの実施形態と同じであり、方位センサは任意の位置に沿ってスキャナに固定することができる。追加のハードウェア構成は、駆動波形の要件に合わせて走査角度を調整する。自己配向ワークフローの違いは、図3Bに示すように、表示画像に回転を加えるのではなく、走査角度を調整することである。調整角度は、2D走査素子の駆動波形振幅に変換される。画像化が終了しない場合、アルゴリズムは配向感知ステップに戻る。調整角度は、全360度の視野内の任意の角度であり得る。使用者は逆さまにするなどの様々な方法で装置を保持する。駆動される波形振幅の範囲は、使用されるスキャナの種類によって異なる。
自己配向型画像化装置および方法は、画像表示が赤外線ハンドヘルドイメージャに固定されていないときの画像配向不変性の必要性に対処する。ハンドヘルドに固定されたディスプレイは画像補正の必要性を取り除くが、それでは走査の問題が解決しない。走査の問題は常に修正が必要である。操作者がイメージャの向きを変更するとき、補正なしでは、表示されている画像が回転する。それは、イメージャをナビゲートするとき、または画像を対象の解剖学的構造に相関させるときに混乱を生じさせる。対象の姿勢に合わせて、また画像化の向きに関係なく、画像の向きを維持することで、画像の一貫性と操作性が向上する。自己配向型画像化装置および方法は、表示された画像をリアルタイムで自己配向することによって新たな使用者経験をもたらす。自己配向型画像化装置および方法は、十分な感度および迅速な応答時間の配向センサの識別、センサの配向とビデオスコープとの間の較正アルゴリズム、ビデオスコープを患者と較正するための操作手順、センサデータを適用して向きを補正するためのソフトウェアアルゴリズムとを含む。走査機構が使用される場合、ハードウェアレベルでの向きは補正される。この設計は、駆動波形を走査角度に相関させる較正手順と、走査線を正しい方向に制御するための制御アルゴリズムとを必要とする。
同様の配向補正をビデオ耳鏡に適用することができ、これはOCTスキャナにおける追加の画像化診断法であり得る。
自己配向型画像化装置および方法は、配向センサ、スキャナおよび補正アルゴリズムを含む。2Dスキャナは絶対に必要というわけではない。代替案は、1Dスキャナを回転アクチュエータに取り付けたものであり、その場合、補正はアクチュエータを回転させることによって行われる。
耳鏡およびビデオスコープを通して上向きの矢印を見ると、上段の2つの図(図1A)は標準の耳鏡を通る図を示す。灰色の網掛け部分は、拡大鏡を保持している耳鏡のフレームを示している。2つの場合の違いは、左の耳鏡が直立して保持されているのに対し、右の耳鏡は角度θまで回転されていることである。拡大鏡を通る矢印の像は、角度θに左右されず同じままであると想像することができる。
しかし、ビデオスコープが使用されるとき、ビデオ画像は異なり、直観的ではない。その理由は、ビデオカメラがビデオスコープのハンドヘルドフレームに固定されているためである。持ち手を反時計回りに角度θ回転させると、カメラを静止状態に保ち、画像化の観点から矢印の角度θを時計回りに回転させるのと同じことになる。右下の図に示すように、最終的な画像は実際には時計回りに角度θだけ回転した矢印である。ビデオスコープ画像が標準の耳鏡と異なるだけでなく(図4A対図4B)、それはまた直観的ではない様式で回転する。トレーニングのプロセスは時間がかかることがあり、学習経験が自信を喪失させる可能性がある。
別の実施形態では、ユーザビリティ、装置の性能および信頼性を向上させるために、動きおよび/または方位センサをハンドヘルド装置に動作可能に連結することもできる。動きおよび/または方位センサは、装置の状態の変化を検出し、次の使用者の動作を予測する。一実施形態では、タイマーまたはリアルタイムクロックによって検出されたしばらくの間、アイドル状態になった後に、誰かがハンドヘルド装置を手に取ったとき、それは装置が再び使用されることを示すサインである。アイドル時間は少なくとも1分であり得る。装置の動きは動き検出器によって検出することができ、トリガを使用してハードウェア周辺装置を起動させることができる。不要なシステムの起動を回避するために、より洗練された動きのパターンを利用してもよい。一実施形態では、「起動」トリガは、ハンドヘルド装置を2回前後に振ることであり得る。加速度が反対方向に複数回変化するとき、動き検出器は有効なトリガを考慮する。
動きのアーチファクトが装置のパフォーマンスに影響を与えたとき、センサによる動きの検知は、操作者に警告すること、および/またはそのようなアーチファクトの除去を助力することさえあり得る。動きのアーチファクトは、画像取得中の自発的または非自発的な患者の移動とともに発生する。動きのアラートは、装置の角速度または加速度が所定の閾値を超えているかどうかを検出することでトリガできる。物体の角速度は、時間に対するその角変位の変化率である。一実施形態では、角速度の閾値は、毎秒約0.001ラジアンより大きい。また、検出された動きの情報は、取得されたデータのアーチファクトを補正するために使用され得る。例えば、動きのぼやけは一般的なアーチファクトである。角速度の検出を使用して、焦点を当てた面における線形の動きのアーチファクトの量を計算することができ、これを画像のぼやけの除去に使用することができる。
ハンドヘルド装置を落とすと、装置が硬い表面に当たったときに加速度が急激に変化する。装置が損傷している可能性がある。動きセンサを積極的に使用してこのような激しい動きを検出し、潜在的な損傷について操作者に警告することができる。
画像化装置の規定の動きまたはジェスチャを使用して、較正、走査、向きの感知、または補正方法などのコマンドを実行することができる。特定の実施形態では、規定の動きまたはジェスチャは、装置によって移動した実際の経路に焦点を合わせており、移動した一組の点の全体像である。一例として、「O」の形の動きは、装置が「O」の形で移動したことを認識する。ジェスチャベースの入力では、(例えば、始点と終点が同じであっても)装置がジェスチャの始点と終点間の動きまたは移動中に移動した経路に焦点を合わせるからである。このジェスチャ「O」の移動は、「O」ジェスチャを構成するために経路に沿って移動したことを装置が認識したときにコマンドを実行できるように、特定の機能にマッピングすることができる。特定の実施形態では、ジェスチャとして意図された装置の移動は、移動の加速度の連鎖、連続、またはパターンを、ジェスチャデータベースのジェスチャを定義するものと一致させることによって、装置によりジェスチャとして認識され得る。そのようなジェスチャでは、装置を患者の一方の耳から他方の耳に切り替えることである。
自己配向のための提案された解決策は、ビデオスコープの回転を感知し、画像が表示される前にデジタル補正のために回転角度を適用することである。コアのテクノロジーは、ビデオスコープの向きを感知して補正することである。ユーザビリティ、性能および信頼性の向上のために提案された解決策はまた、動きを感知することである。
Bosch BNO055などの動きセンサをセンシングに使用できる。センサは加速度計、ジャイロスコープ、磁力計からなり、そこからデータが安定した3軸方向出力に融合される。方向は重力の方向と地球の磁場を示す。センサチップはビデオスコープのハンドヘルドピースに取り付けるのに十分小さい。単独で使用すると、加速度計は加速度を検出でき、ジャイロスコープは角速度を検出できる。一実施形態では、加速度計は高い交差軸感度を含み、加速度計はデルタX=0.002、デルタY=0.001、およびデルタZ=0.000の外乱を検出する。
一実施形態では、自己区配向型ビデオスコープを構築するために、方位センサチップはビデオスコープに固定される。製造中に較正アルゴリズムがチップの軸をビデオスコープの軸に合わせて、センサチップの方向をビデオスコープの方向に変換することができる。
配向補正のプロセスは図5に示されている。最初のステップとして、デフォルトのハンドヘルド方向が設定され、そこでは画像が表示されることが好ましい。自然な選択肢は、鏡の先端が上を向いた状態で、持ち手を人間の上下軸に沿って保持することである。ビデオスコープ画像のキャプチャが開始されると、新しい方向を方位センサから取得でき、デフォルトの方向と比較される。向きの補正は、キャプチャした画像に逆回転を適用することで実行できる。補正された画像を見ることは、従来式の耳鏡を通して見ることと同じになる。
本明細書で使用されるとき、「方法」という用語は、化学、薬理学、生物学、生化学および医学の分野の専門家により知られているか、公知の様式、手段、技法および手順から容易に発展する様式、手順、手段、技術および手順を含むがそれらに限定されない所与のタスクを達成するための様式、手段、技法および手順を言及する。
本願で使用されているとき、「構成要素」および「システム」という用語は、ハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアのいずれかのコンピュータ関連エンティティを示すことを意図している。例えば、構成要素は、それだけに限らないが、プロセッサで実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、および/またはコンピュータとすることができる。例として、サーバーで実行されているアプリケーションとサーバーの両方が構成要素になることができる。1つまたは複数の構成要素がプロセスおよび/または実行スレッド内に存在することができ、構成要素を1つのコンピュータにローカライズすること、および/または2つ以上のコンピュータ間に分散させることができる。
一般に、プログラムモジュールは、特定のタスクを実行するか特定の抽象データ型を実装する、ルーチン、プログラム、構成要素、データ構造などを含む。さらに、当業者は、本発明の方法が、他のコンピュータシステム構成、例えばシングルプロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ、ならびにパーソナルコンピュータ、ハンドヘルドコンピューティング装置、マイクロプロセッサベースまたはプログラム可能な家電製品などで実施できることを理解するであろう。これらの各々は、1つまたは複数の関連する装置に動作可能に連結することができる。
例示された本発明の態様は、通信ネットワークを介してリンクされているリモート処理装置によって、特定のタスクが実行される分散コンピューティング環境でも実施することができる。分散コンピューティング環境では、プログラムモジュールは、ローカルとリモートの両方のメモリストレージ装置に配置できる。
コンピュータは通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータによってアクセスすることができる任意の利用可能な媒体とすることができ、揮発性媒体と不揮発性媒体、取り外し可能の媒体と固定の媒体の両方を含む。限定ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実装された揮発性および不揮発性、取り外し可能および固定の媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶装置、または所望の情報を記憶するために使用することができ、かつコンピュータによってアクセスすることができる任意の他の媒体を含むがこれらに限定されない。
通信媒体は、通常、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波または他のトランスポート機構などの変調データ信号で実施し、任意の情報配信媒体を含む。「変調されたデータ信号」という用語は、信号内に情報を符号化するような方法で設定または変更されたその特性の1つまたは複数を有する信号を意味する。限定ではなく例として、通信媒体は、有線ネットワークまたは直接配線接続などの有線媒体、ならびに音響、RF、赤外線および他の無線媒体などの無線媒体を含む。上記のいずれの組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
ソフトウェアにはアプリケーションとアルゴリズムが含まれる。ソフトウェアは、スマートフォン、タブレット、またはパーソナルコンピュータ内、クラウド内、ウェアラブル装置上、または他のコンピューティング装置もしくは処理装置上に実装することができる。ソフトウェアには、ログ、ジャーナル、表、ゲーム、記録、通信、SMSメッセージ、Webサイト、図表、対話型ツール、ソーシャルネットワーク、VOIP(ボイスオーバーインターネットプロトコル)、Eメール、およびビデオが含まれ得る。
いくつかの実施形態では、本明細書で説明され、コンピュータ可読プログラムコードから形成され、コンピュータ可読媒体で実施されるコンピュータプログラムによって実行される機能またはプロセスのいくつかまたはすべて「コンピュータ可読プログラムコード」という句は、ソースコード、オブジェクトコード、実行可能コード、ファームウェア、ソフトウェアなどを含む任意の種類のコンピュータコードを含む。「コンピュータ可読媒体」という語句は、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、ハードディスクドライブ、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、または任意のその他の種類のメモリなどの、コンピュータによってアクセスすることができる任意の種類の媒体を含む。
本明細書で言及されたすべての刊行物および特許出願は、あたかも各々の個々の刊行物または特許出願が具体的かつ個別に参照により組み込まれることが示されるのと同程度に、参照により本明細書に組み込まれる。
本発明を様々な実施形態に関連して説明してきたが、本発明はさらなる修正が可能であることが理解されよう。本願は、概して本発明の原理に従い、本発明が属する技術分野内の既知の慣習的な慣行の範囲内での本開示からの逸脱を含む、本発明のあらゆる変形、使用または適合を網羅することを意図している。

Claims (14)

  1. 耳内視鏡装置を自己配向させる方法であって、
    a.スキャナまたはイメージャに動作可能に固定されたセンサの向きを較正すること、
    b.前記スキャナおよび前記センサのz軸が整列し、x-y平面が角度θで回転するときに、前記向きから変換行列を計算すること、
    c.スキャナのデフォルト走査方向を軸に沿って整列させることにより、好ましい表示方向を得ること、
    d.前記スキャナを用いて画像化し、新しいスキャナの向きを取得すること、および
    e.前記新しいスキャナの向きと前記好ましい表示方向とを、回転角度で比較すること、
    を含む方法。
  2. 前記スキャナのデフォルト走査方向が前後軸に沿って整列される、請求項1に記載の方法。
  3. 前記好ましい表示方向を得ることが、前記スキャナを静止状態に保持することと、表示された画像を好ましい方向に回転させるオプションを提供することとを含む、請求項1に記載の方法。
  4. 前記スキャナがビデオスコープである、請求項3に記載の方法。
  5. 前記スキャナが、光コヒーレンストモグラフィー画像化装置に動作可能に連結されたハンドヘルドイメージャである、請求項4に記載の方法。
  6. 前記方位センサが、加速度計、ジャイロスコープ、磁力計、またはそれらの任意の組み合わせからなる群から選択される、請求項1に記載の方法。
  7. 画像化装置を自己配向させる方法であって、
    a.好ましいBスキャン方向を設定し、スキャナに配向センサを固定し、波形振幅を駆動するために前記スキャナの走査角度を較正すること、
    b.調整角度によって前記走査角度を調整すること、
    c.前記スキャナの前記波形振幅に前記調整角度を変換すること、および
    d.前記スキャナで画像化すること、
    を含む方法。
  8. 走査線を正しい方向に制御することをさらに含み、前記画像化装置は、光コヒーレンストモグラフィー画像化装置である、請求項7に記載の方法。
  9. 前記走査角度を前記調整することが、MEMS、圧電装置、または検流計によって達成され得る、請求項8に記載の方法。
  10. 画像化装置を自己配向させる方法であって、
    a.動き検出器によって前記画像化装置の動きを検出すること、および、使用のために前記装置を準備すること、または、前記装置への使用者のコマンドに動きのパターンを変換すること、ならびに、スキャナに固定されて連結されたセンサの向きを較正すること、
    b.前記向きから変換行列を計算すること、
    c.好ましい走査方向を得ること、
    d.前記スキャナの波形振幅に前記スキャナの走査角度を較正すること、
    e.調整角度によって前記走査角度を調整すること、
    f.前記波形振幅に前記調整角度を変換すること、および
    g.前記スキャナで画像化すること
    を含む方法。
  11. 前記走査角度を前記調整することが、MEMS、圧電装置、または検流計によって達成され得る、請求項10に記載の方法。
  12. 前記画像化装置は、光コヒーレンストモグラフィー画像化装置である、請求項10に記載の方法。
  13. センサによって動きのアーチファクトを検出すること、および前記装置の角速度または加速度が所定の閾値を超えているかどうかを検出することによって動きのアラートをトリガすることをさらに含む、請求項10に記載の方法。
  14. 動き検出器によって前記画像化装置のジェスチャを検出することと、前記画像化装置の前記ジェスチャを使用して、較正、走査、感知方向、および補正方法の群から選択されたコマンドを実行することとをさらに含む、請求項10に記載の方法。
JP2019557531A 2017-01-06 2018-01-08 自己配向型画像化装置およびその使用方法 Active JP7092382B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762443227P 2017-01-06 2017-01-06
US62/443,227 2017-01-06
PCT/US2018/012744 WO2018129430A1 (en) 2017-01-06 2018-01-08 Self-orienting imaging device and methods of use

Publications (2)

Publication Number Publication Date
JP2020505189A JP2020505189A (ja) 2020-02-20
JP7092382B2 true JP7092382B2 (ja) 2022-06-28

Family

ID=62791148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019557531A Active JP7092382B2 (ja) 2017-01-06 2018-01-08 自己配向型画像化装置およびその使用方法

Country Status (8)

Country Link
US (1) US11576568B2 (ja)
EP (1) EP3565450B1 (ja)
JP (1) JP7092382B2 (ja)
CN (1) CN110381808B (ja)
AU (1) AU2018205292B2 (ja)
CA (1) CA3049249C (ja)
IL (1) IL267820B2 (ja)
WO (1) WO2018129430A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10568515B2 (en) 2016-06-21 2020-02-25 Otonexus Medical Technologies, Inc. Optical coherence tomography device for otitis media
US10357161B1 (en) 2017-05-31 2019-07-23 Otonexus Medical Technologies, Inc. Infrared otoscope for characterization of effusion
JP7092382B2 (ja) 2017-01-06 2022-06-28 フォトニケア,インコーポレイテッド 自己配向型画像化装置およびその使用方法
CN110383019B (zh) 2017-02-28 2022-07-05 飞通尼护理股份有限公司 基于图像的手持式成像仪***及使用方法
GB202001741D0 (en) * 2020-02-10 2020-03-25 Kwong Tsong New improved device
CN113793243A (zh) * 2021-05-14 2021-12-14 黑蜂智造(深圳)科技有限公司 图像数据处理方法、电子设备及计算机可读存储介质
CN117953095B (zh) * 2024-03-25 2024-06-21 有方(合肥)医疗科技有限公司 Ct数据处理方法、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006218027A (ja) 2005-02-09 2006-08-24 Olympus Corp 内視鏡装置
JP2012528414A (ja) 2009-06-16 2012-11-12 インテル・コーポレーション 無線端末の機能への制御アクセス
JP2014509010A (ja) 2011-02-17 2014-04-10 イーオン メディカル リミテッド 自動の及び遠隔の訓練された人によりガイドされる医学検査を行うためのシステム及び方法
WO2015196388A1 (en) 2014-06-25 2015-12-30 Carestream Health, Inc. Intra-oral imaging using operator interface with gesture recognition

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111645A (en) * 1991-04-29 2000-08-29 Massachusetts Institute Of Technology Grating based phase control optical delay line
US5919130A (en) * 1995-03-14 1999-07-06 Welch Allyn, Inc. Video otoscope
US6122538A (en) 1997-01-16 2000-09-19 Acuson Corporation Motion--Monitoring method and system for medical devices
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US6141031A (en) * 1998-12-11 2000-10-31 Xerox Corporation Aerial color registration
US6471637B1 (en) * 1999-09-24 2002-10-29 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
JP2001174744A (ja) * 1999-10-06 2001-06-29 Olympus Optical Co Ltd 光走査プローブ装置
US20040097791A1 (en) * 2002-11-13 2004-05-20 Olympus Corporation Endoscope
US20040201595A1 (en) * 2003-04-11 2004-10-14 Microsoft Corporation Self-orienting display
US20050077359A1 (en) * 2003-10-08 2005-04-14 Thomas Boehm System and method for configuring an omnidirectional scanner
WO2006127142A2 (en) 2005-03-30 2006-11-30 Worcester Polytechnic Institute Free-hand three-dimensional ultrasound diagnostic imaging with position and angle determination sensors
US20070156021A1 (en) * 2005-09-14 2007-07-05 Bradford Morse Remote imaging apparatus having an adaptive lens
US7783133B2 (en) * 2006-12-28 2010-08-24 Microvision, Inc. Rotation compensation and image stabilization system
US20090040308A1 (en) 2007-01-15 2009-02-12 Igor Temovskiy Image orientation correction method and system
US8472665B2 (en) * 2007-05-04 2013-06-25 Qualcomm Incorporated Camera-based user input for compact devices
US8115934B2 (en) * 2008-01-18 2012-02-14 The Board Of Trustees Of The University Of Illinois Device and method for imaging the ear using optical coherence tomography
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
CN102216828B (zh) * 2008-11-14 2014-04-02 皇家飞利浦电子股份有限公司 光纤扫描探测器
US8594757B2 (en) 2009-11-18 2013-11-26 The Board Of Trustees Of The University Of Illinois Apparatus for biomedical imaging
EP2533679B1 (en) * 2010-02-12 2017-01-11 Koninklijke Philips N.V. Laser enhanced reconstruction of 3d surface
US20130060131A1 (en) * 2011-09-02 2013-03-07 The Texas A&M University System Method and apparatus for examining inner ear
WO2013134873A1 (en) * 2012-03-12 2013-09-19 The Hospital For Sick Children Systems and methods for balance stabilization
EP2898665B1 (en) * 2012-09-24 2018-12-26 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
WO2014179277A1 (en) 2013-04-30 2014-11-06 Tractus Corporation Hand-held imaging devices with position and/or orientation sensors for complete examination of tissue
PT2999392T (pt) * 2013-05-21 2019-09-12 Neurovision Imaging Inc Sistema e método de imagiologia de uma parte do corpo de um utilizador paciente
US20140375784A1 (en) * 2013-06-21 2014-12-25 Omnivision Technologies, Inc. Image Sensor With Integrated Orientation Indicator
CA2819956C (en) * 2013-07-02 2022-07-12 Guy Martin High accuracy camera modelling and calibration method
US9867528B1 (en) 2013-08-26 2018-01-16 The Board Of Trustees Of The University Of Illinois Quantitative pneumatic otoscopy using coherent light ranging techniques
US20160007840A1 (en) * 2014-07-10 2016-01-14 The Board Of Trustees Of The University Of Illinois Handheld Device for Identification of Microbiological Constituents in the Middle Ear
US9638511B2 (en) 2014-08-08 2017-05-02 The Board Of Trustees Of The University Of Illinois Smart phone attachment for 3-D optical coherence tomography imaging
US10076389B2 (en) * 2015-02-13 2018-09-18 Align Technology, Inc. Three-dimensional tooth modeling using a two-dimensional x-ray image
US10594946B2 (en) * 2015-02-27 2020-03-17 Biosense Webster (Israel) Ltd. Otoscope with controlled illumination
WO2016182999A1 (en) 2015-05-08 2016-11-17 Photonicare, Inc. Otoscope tip and methods of use
US10952601B2 (en) 2015-05-08 2021-03-23 Photonicare, Inc. Otoscope tip and methods of use
KR101712890B1 (ko) * 2015-10-13 2017-03-08 한국표준과학연구원 연속파 THz 빔 스캔을 이용한 고속 3차원 영상 탐지 장치
US10379435B2 (en) * 2016-11-10 2019-08-13 Shai Seger Self-orienting stroboscopic animation system
US10973439B2 (en) * 2016-12-29 2021-04-13 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis, and feedback
JP7092382B2 (ja) 2017-01-06 2022-06-28 フォトニケア,インコーポレイテッド 自己配向型画像化装置およびその使用方法
CN110383019B (zh) 2017-02-28 2022-07-05 飞通尼护理股份有限公司 基于图像的手持式成像仪***及使用方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006218027A (ja) 2005-02-09 2006-08-24 Olympus Corp 内視鏡装置
JP2012528414A (ja) 2009-06-16 2012-11-12 インテル・コーポレーション 無線端末の機能への制御アクセス
JP2014509010A (ja) 2011-02-17 2014-04-10 イーオン メディカル リミテッド 自動の及び遠隔の訓練された人によりガイドされる医学検査を行うためのシステム及び方法
WO2015196388A1 (en) 2014-06-25 2015-12-30 Carestream Health, Inc. Intra-oral imaging using operator interface with gesture recognition

Also Published As

Publication number Publication date
IL267820A (en) 2019-09-26
EP3565450A1 (en) 2019-11-13
CA3049249C (en) 2023-09-19
EP3565450A4 (en) 2020-12-09
CN110381808B (zh) 2022-03-15
CA3049249A1 (en) 2018-07-12
IL267820B1 (en) 2023-05-01
AU2018205292A1 (en) 2019-07-25
US20190320887A1 (en) 2019-10-24
WO2018129430A1 (en) 2018-07-12
IL267820B2 (en) 2023-09-01
AU2018205292B2 (en) 2023-06-08
US11576568B2 (en) 2023-02-14
EP3565450B1 (en) 2024-06-26
CN110381808A (zh) 2019-10-25
JP2020505189A (ja) 2020-02-20

Similar Documents

Publication Publication Date Title
JP7092382B2 (ja) 自己配向型画像化装置およびその使用方法
CN107079097B (zh) 内窥镜***、图像处理装置、图像处理方法以及程序
CN108403146B (zh) 基于多传感器信息融合的三维超声成像方法及装置
WO2013175701A1 (ja) 映像解析装置、映像解析方法、および注視点表示システム
JP6324119B2 (ja) 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム
JP6452236B2 (ja) 眼球識別装置及び眼球識別方法
US11992284B2 (en) Image based motion control correction
JPH0446570B2 (ja)
CN111956230A (zh) 一种内窥镜手术中基于惯性测量单元的姿态捕捉方法及***
JP4568024B2 (ja) 眼球運動測定装置、及び眼球運動測定プログラム
US20230147006A1 (en) Method and apparatus for determination of a trajectory and imaging device
JP7480783B2 (ja) 内視鏡システム、制御装置、および制御方法
EP3804607A1 (en) Ophthalmic scanning system and method
FR3124072A1 (fr) Robot équipé d’une sonde échographique pour le guidage temps-réel d’interventions percutanées
JP2009297435A (ja) 受動的多自由度システムおよび内視鏡装置
JP5990560B2 (ja) スキャナからの歪みの像に基づく修正
WO2020049993A1 (ja) 画像処理装置、画像処理方法及びプログラム
US9986138B2 (en) Eyetracker mounts for use with handheld devices
CN116977789A (zh) 图像的标签生成方法、装置和***、介质和计算设备
CN116999163A (zh) 目标对象的跟踪方法、装置和***、介质和计算设备
CN116509540A (zh) 内窥镜运动控制方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220609

R150 Certificate of patent or registration of utility model

Ref document number: 7092382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150