JP7487176B2 - 患者視認システム - Google Patents

患者視認システム Download PDF

Info

Publication number
JP7487176B2
JP7487176B2 JP2021509779A JP2021509779A JP7487176B2 JP 7487176 B2 JP7487176 B2 JP 7487176B2 JP 2021509779 A JP2021509779 A JP 2021509779A JP 2021509779 A JP2021509779 A JP 2021509779A JP 7487176 B2 JP7487176 B2 JP 7487176B2
Authority
JP
Japan
Prior art keywords
tip
patient
item
catheter
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021509779A
Other languages
English (en)
Other versions
JPWO2020041615A5 (ja
JP2021533919A (ja
Inventor
ナスターシャ ユー. ロバイナ,
ジェイ ディー, プラヴィーン バブ
デイビッド チャールズ ルンドマーク,
アレクサンダー イリッチ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021533919A publication Critical patent/JP2021533919A/ja
Publication of JPWO2020041615A5 publication Critical patent/JPWO2020041615A5/ja
Priority to JP2023118968A priority Critical patent/JP2023133406A/ja
Application granted granted Critical
Publication of JP7487176B2 publication Critical patent/JP7487176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/547Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852Catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022Stereoscopic imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/464Displaying means of special interest involving a plurality of displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/06Accessories for medical measuring apparatus
    • A61B2560/063Devices specially adapted for delivering implantable medical measuring apparatus
    • A61B2560/066Devices specially adapted for delivering implantable medical measuring apparatus catheters therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Pulmonology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

(関連出願の相互参照)
本願は、それぞれが参照することによってそれらの全体として本明細書に組み込まれる、2018年8月22日に出願された米国仮特許出願第62/721,516号、および2018年11月26日に出願された米国仮特許出願第62/771,534号からの優先権を主張する。
本発明は、患者視認システムに関する。
内視鏡カテーテルが、患者内の身体部分の画像を捕捉するために、外科医、医師、および他の視認者によって使用される。気管支鏡は、例えば、区気管支を検査するために使用される内視鏡カテーテルである。カテーテルはまた、他の内視鏡視認機能等の他の機能を果たし、疾患を治療する、または外科的手技を実施する。
カテーテルの先端が、低侵襲性または非侵襲性外科手術を用いて患者の身体の中に挿入されるため、視認者には、裸眼ではカテーテルの先端の場所が見えない。視認者を支援するために、画面が、画像の組み合わせとともに提供される。これらの画像は、一般的に、カテーテルの先端内のカテーテルカメラからのライブビデオデータとともに、術前および術中に発生されるコンピュータ断層撮影(CT)画像を含む。これらの画像は、通常、表示の異なる象限内で提供される。
気管支の場合、全ての気管支トンネルは、同一に見える。結果として、視認者は、気管支が現在ナビゲートしているものである場所を頻繁に推測している。そのような視認者は、肺内にある場所を決定するために、気管支を通して気管支鏡を押動するにつれて、複数のCTスキャンを頻繁に撮影するであろう。
本発明は、管腔と、先端とを有する、カテーテルと、先端の移動を検出する、先端追跡デバイスと、左および右プロジェクタと、左および右プロジェクタに接続される、左および右光導波管と、プロセッサと、プロセッサに接続される、コンピュータ可読媒体と、コンピュータ可読媒体上のデータ記憶部と、コンピュータ可読媒体上に記憶され、プロセッサによって実行可能である、命令のセットを含む、患者視認システムを提供する。命令のセットは、1)先端追跡デバイスに接続され、先端追跡デバイスによって検出される移動に基づいて、測定値を受信し、測定値に基づいて、先端の位置を決定し、データ記憶部内に先端の位置を記憶する、カテーテル追跡システムと、2)画像データを受信するようにデータ記憶部に接続される、立体分析器であって、立体分析器は、左および右画像データセットを決定し、左および右プロジェクタは、それぞれ、左および右画像データセットを投影し、左および右画像データセットは、3次元レンダリングの知覚を視認者に与えるように相互と異なる、立体分析器とを含んでもよい。
本発明はさらに、カテーテルの先端を患者の身体の中に挿入することと、先端追跡デバイスを用いて、先端の移動を検出することと、先端追跡デバイスによって検出される移動に基づいて、測定値を受信することと、測定値に基づいて、先端の位置を決定することと、先端の位置を記憶することと、先端の位置に基づいて、左および右画像データセットを決定することと、それぞれ、左および右画像データセットを光として投影する、左および右プロジェクタを使用して、先端の位置を表すパターンで光を発生させることと、視認者に先端の位置が見えるように、光を視認者の左および右眼の網膜に誘導することであって、左および右画像データセットは、3次元レンダリングの知覚を視認者に与えるように相互と異なる、こととを含む、患者を視認する方法を提供する。
本発明はまた、管腔と、先端とを有する、カテーテルと、先端の移動を検出する、先端追跡デバイスと、プロジェクタと、プロジェクタに接続される、光導波管と、プロセッサと、プロセッサに接続される、コンピュータ可読媒体と、コンピュータ可読媒体上のデータ記憶部と、コンピュータ可読媒体上に記憶され、プロセッサによって実行可能である、命令のセットとを含む、患者視認システムも提供する。命令のセットは、1)先端追跡デバイスに接続され、先端追跡デバイスによって検出される移動に基づいて、測定値を受信し、測定値に基づいて、先端の位置を決定し、データ記憶部内に先端の位置を記憶する、カテーテル追跡システムと、2)データ記憶部内に先端の過去経路を記憶する、過去経路計算機と、3)カテーテル表示インテグレータであって、先端の位置とともに先端の過去経路を表示する、カテーテル表示インテグレータとを含んでもよい。
本発明はさらに、カテーテルの先端を患者の身体の中に挿入することと、先端追跡デバイスを用いて、先端の移動を検出することと、先端追跡デバイスによって検出される移動に基づいて、測定値を受信することと、測定値に基づいて、先端の位置を決定することと、先端の位置を記憶することと、先端の位置に基づいて、左および右画像データセットを決定することと、それぞれ、左および右画像データセットを光として投影する、左および右プロジェクタを使用して、先端の位置を表すパターンで光を発生させることと、視認者に先端の位置が見えるように、光を視認者の左および右眼の網膜に誘導することであって、左および右画像データセットは、3次元レンダリングの知覚を視認者に与えるように相互と異なる、ことと、データ記憶部内に先端の過去経路を記憶することと、先端の位置とともに先端の過去経路を表示することとを含む、患者を視認する方法を提供する。
本発明はまた、管腔と、先端とを有する、カテーテルと、先端の移動を検出する、先端追跡デバイスと、プロジェクタと、プロジェクタに接続される、光導波管と、プロセッサと、プロセッサに接続される、コンピュータ可読媒体と、コンピュータ可読媒体上のデータ記憶部と、コンピュータ可読媒体上に記憶され、プロセッサによって実行可能である、命令のセットとを含む、患者視認システムも提供する。命令のセットは、1)先端追跡デバイスに接続され、先端追跡デバイスによって検出される移動に基づいて、測定値を受信し、測定値に基づいて、先端の位置を決定し、データ記憶部内に先端の位置を記憶する、カテーテル追跡システムと、2)先端の位置に基づいて、先端の将来の経路を計算する、予想経路計算機であって、カテーテル表示インテグレータは、将来の経路を表示する、予想経路計算機と、3)カテーテル表示インテグレータであって、先端の位置とともに先端の将来の経路を表示する、カテーテル表示インテグレータとを含んでもよい。
本発明はさらに、カテーテルの先端を患者の身体の中に挿入することと、先端追跡デバイスを用いて、先端の移動を検出することと、先端追跡デバイスによって検出される移動に基づいて、測定値を受信することと、測定値に基づいて、先端の位置を決定することと、先端の位置を記憶することと、先端の位置に基づいて、左および右画像データセットを決定することと、それぞれ、左および右画像データセットを光として投影する、左および右プロジェクタを使用して、先端の位置を表すパターンで光を発生させることと、視認者に先端の位置が見えるように、光を視認者の左および右眼の網膜に誘導することであって、左および右画像データセットは、3次元レンダリングの知覚を視認者に与えるように相互と異なる、ことと、先端の位置に基づいて、先端の将来の経路を計算することと、先端の位置とともに先端の将来の経路を表示することとを含む、患者を視認する方法を提供する。
本発明はまた、伝送機と、伝送機をアクティブ化するように伝送機に接続される、エネルギー源であって、患者の身体は、伝送機が身体内の身体部分において前進波を発生させるために、伝送機に対して位置付け可能である、エネルギー源と、身体部分からの帰還波を検出するように身体に対して位置付け可能である、受信機であって、身体部分からの帰還波は、伝送機によって生成される前進波に応答する、受信機と、プロセッサと、プロセッサに接続される、コンピュータ可読媒体と、コンピュータ可読媒体上のデータ記憶部と、コンピュータ可読媒体上に記憶され、プロセッサによって実行可能である、命令のセットとを含む、患者視認システムも提供する。命令のセットは、1)受信機によって検出される帰還波の未加工データを受信し、データ記憶部内に未加工データを記憶する、未加工データ受信ユニットと、2)帰還波の未加工データを処理して、画像を表す画像データを生成し、データ記憶部内に画像データを記憶するようにデータ記憶部に接続される、画像発生ユニットと、3)データ記憶部から画像データを受信する、画像データ受信ユニットと、4)画像データを受信するように画像データ受信ユニットに接続される、プロジェクタであって、画像データを表すパターンで光を発生させる、プロジェクタと、5)視認者に身体部分のレンダリングを用いて拡張された身体の外面が見えるように、身体の外面からの光が眼の網膜に透過している間に、光を視認者の眼の網膜に誘導するようにプロジェクタに接続される、光導波管とを含んでもよい。
本発明はさらに、伝送機をアクティブ化し、身体内の身体部分において前進波を発生させることと、受信機を用いて、身体部分からの帰還波を検出することであって、身体部分からの帰還波は、伝送機によって生成される前進波に応答する、ことと、受信機によって検出される帰還波の未加工データを受信することと、データ記憶部内に未加工データを記憶することと、帰還波の未加工データを処理し、画像を表す画像データを生成することと、データ記憶部内に画像データを記憶することと、データ記憶部から画像データを受信することと、画像データを表すパターンで光を発生させることと、視認者に身体部分のレンダリングを用いて拡張された身体の外面が見えるように、身体の外面からの光が眼の網膜に透過している間に、光を視認者の眼の網膜に誘導することとを含む、患者を視認する方法を提供する。
本発明は、例えば、以下を提供する。
(項目1)
患者視認システムであって、
管腔と、先端とを有するカテーテルと、
前記先端の移動を検出する先端追跡デバイスと、
左および右プロジェクタと、
前記左および右プロジェクタに接続される左および右光導波管と、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
前記コンピュータ可読媒体上のデータ記憶部と、
前記データ記憶部上に記憶される画像データと、
前記コンピュータ可読媒体上に記憶され、前記プロセッサによって実行可能である命令のセットであって、
前記先端追跡デバイスに接続されるカテーテル追跡システムであって、前記カテーテル追跡システムは、前記先端追跡デバイスによって検出される移動に基づいて、測定値を受信し、前記測定値に基づいて、前記先端の位置を決定し、前記データ記憶部内に前記先端の位置を記憶する、カテーテル追跡システムと、
前記画像データを受信するように前記データ記憶部に接続される立体分析器であって、前記立体分析器は、左および右画像データセットを決定し、前記左および右プロジェクタは、それぞれ、前記左および右画像データセットを投影し、前記左および右画像データセットは、3次元レンダリングの知覚を視認者に与えるように相互と異なる、立体分析器と
を含む、命令のセットと
を備える、患者視認システム。
(項目2)
頭部搭載可能フレームであって、前記光導波管は、前記頭部搭載可能フレームに固着される、頭部搭載可能フレーム
をさらに備える、項目1に記載の患者視認システム。
(項目3)
前記光導波管は、眼と身体の外面との間に位置付けられる透明光導波管である、項目2に記載の患者視認システム。
(項目4)
前記頭部搭載可能フレームの移動を検出する頭部ユニット検出デバイスをさらに備え、
前記命令のセットは、
前記頭部ユニット検出デバイスに接続され、前記頭部ユニット検出デバイスによって検出される移動に基づいて測定値を受信し、設置値を計算する表示調節アルゴリズムと、
前記設置値に基づいて、前記眼のビュー内の前記身体部分の位置を修正する表示位置付けアルゴリズムと
を含む、項目2に記載の患者視認システム。
(項目5)
前記頭部ユニット検出デバイスは、
前記頭部搭載可能フレームに搭載される頭部ユニット慣性測定ユニット(IMU)であって、前記頭部ユニットIMUは、前記頭部搭載可能フレームの移動を検出する運動センサを含む、頭部ユニットIMU
を含む、項目4に記載の患者視認システム。
(項目6)
前記頭部ユニット検出デバイスは、
前記頭部搭載可能フレームに搭載される頭部ユニットカメラであって、前記頭部ユニットカメラは、前記頭部ユニットカメラのビュー内の物体の画像を撮影することによって前記頭部搭載可能フレームの移動を検出する、頭部ユニットカメラ
を含む、項目4に記載の患者視認システム。
(項目7)
前記命令のセットは、前記画像を分析し、前記頭部搭載可能フレームの姿勢位置を検出する画像処理システムを含む、項目6に記載の患者視認システム。
(項目8)
伝送機と、
前記伝送機をアクティブ化するように前記伝送機に接続されるエネルギー源であって、患者の身体は、前記伝送機が前記身体内の身体部分において前進波を発生させるために、前記伝送機に対して位置付け可能である、エネルギー源と、
前記身体部分からの帰還波を検出するように前記身体に対して位置付け可能である受信機であって、前記身体部分からの前記帰還波は、前記伝送機によって生成される前記前進波に応答する、受信機と
をさらに備え、
前記命令のセットは、
前記受信機によって検出される前記帰還波の未加工データを受信し、前記データ記憶部内に前記未加工データを記憶する未加工データ受信ユニットと、
前記帰還波の未加工データを処理して、画像を表す画像データを生成し、前記データ記憶部内に前記画像データを記憶するように前記データ記憶部に接続される画像発生ユニットと、
前記データ記憶部から前記画像データを受信する画像データ受信ユニットと、
前記先端の位置を前記画像データと組み合わせるカテーテル表示インテグレータであって、前記プロジェクタによって生成される前記光のパターンは、前記画像データおよび前記先端の位置を表すパターンを含む、カテーテル表示インテグレータと
を含む、項目1に記載の患者視認システム。
(項目9)
コンピュータ断層撮影(CT)スキャナであって、
基部と、
前記患者のためのプラットフォームと、
前記患者を中心とした回転のために前記基部に搭載される回転子であって、前記伝送機は、前記回転子に固着され、X線波を伝送する、X線伝送機であり、前記受信機は、前記X線波を検出するように前記回転子に固着されるX線検出器であり、前記基部に対する前記プラットフォームの移動は、前記X線伝送機から前記X線検出器まで延在する平面に対して前記患者の移動を可能にする、回転子と
を含む、コンピュータ断層撮影(CT)スキャナ
を備える、項目8に記載の患者視認システム。
(項目10)
前記命令のセットは、
前記データ記憶部内に前記先端の過去経路を記憶する過去経路計算機であって、前記カテーテル表示インテグレータは、前記先端の位置とともに前記先端の過去経路を表示する、過去経路計算機
を含む、項目1に記載の患者視認システム。
(項目11)
前記命令のセットは、
前記先端の過去経路を記憶する過去経路計算機と、
前記先端の過去経路の周囲に3次元メッシュを発生させ、前記データ記憶部内に前記メッシュを記憶するメッシュ発生器であって、前記カテーテル表示インテグレータは、前記先端の位置とともに前記メッシュを表示する、メッシュ発生器と
を含む、項目1に記載の患者視認システム。
(項目12)
前記先端内のカテーテルカメラであって、前記カテーテルカメラは、ビデオデータを捕捉する、カテーテルカメラ
をさらに備え、
前記命令のセットは、
前記ビデオデータを受信するように前記先端内の前記カテーテルカメラに接続されるビデオデータ受信ユニットであって、前記カテーテル表示インテグレータは、前記ビデオデータに基づいて、ライブビデオを表示する、ビデオデータ受信ユニット
を含む、項目11に記載の患者視認システム。
(項目13)
前記命令のセットは、
前記先端の位置に基づいて、前記先端の将来の経路を計算する予想経路計算機であって、前記カテーテル表示インテグレータは、前記将来の経路を表示する、予想経路計算機
を含む、項目1に記載の患者視認システム。
(項目14)
前記将来の経路は、前記先端追跡デバイスによって検出される前記移動に基づいて計算される、項目13に記載の患者視認システム。
(項目15)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目14に記載の患者視認システム。
(項目16)
前記先端上に侵襲性外科手術道具をさらに備える、項目1に記載の患者視認システム。
(項目17)
前記先端上のカメラと、
前記カメラによって捕捉される画像をオペレータに表示するための少なくとも1つのディスプレイと
をさらに備える、項目1に記載の患者視認システム。
(項目18)
第1のディスプレイは、前記3次元レンダリングおよび前記カメラによって捕捉される前記画像を第1のオペレータに表示する、項目17に記載の患者視認システム。
(項目19)
第1のディスプレイは、前記3次元レンダリングを第1のオペレータに表示し、
前記カメラによって捕捉される前記画像を第2のオペレータに表示する第2のディスプレイ
をさらに備える、項目17に記載の患者視認システム。
(項目20)
前記3次元レンダリングを第1のオペレータに表示するための第1のディスプレイと、
前記カテーテルを用いることなくデータを収集するデータ収集システムと、
前記データ収集システムを用いて収集される前記データを第2のオペレータに表示するための第2のディスプレイと
をさらに備える、項目1に記載の患者視認システム。
(項目21)
前記先端上の動作負荷を決定するように前記先端に接続される負荷検出システムと、
前記先端上の負荷が所定の限界を超える場合、オペレータに警告するように前記負荷検出システムに接続される、警告システムと
をさらに備える、項目1に記載の患者視認システム。
(項目22)
前記警告は、視覚警告、オーディオ警告、および触覚警告のうちの1つである、項目21に記載の患者視認システム。
(項目23)
運動アーチファクトを観察するための運動検出システムと、
前記運動アーチファクトに基づいて、前記先端に位置調節を行うように前記運動検出システムに接続される位置調節システムと
をさらに備える、項目1に記載の患者視認システム。
(項目24)
前記運動検出システムは、時間T1~T2~T3における3つの別個の時間において、患者活動のフィードバック制御画像を収集し、前記画像は、患者位置の変化を決定するように、時間T4において分析され、前記時間T1~T3にわたって観察される前記患者位置の変化に基づく前記制御入力の調節は、時間T5において行われる、項目23に記載の患者視認システム。
(項目25)
(T5-T3=T3-T2)∩(y3-y2)<(y2-y1)である場合、T5における補正<(y3-y2)である、項目24に記載の患者視認システム。
(項目26)
患者を視認する方法であって、
カテーテルの先端を患者の身体の中に挿入することと、
先端追跡デバイスを用いて、前記先端の移動を検出することと、
前記先端追跡デバイスによって検出される移動に基づいて、測定値を受信することと、
前記測定値に基づいて、前記先端の位置を決定することと、
前記先端の位置を記憶することと、
前記先端の位置に基づいて、左および右画像データセットを決定することと、
それぞれ、前記左および右画像データセットを光として投影する左および右プロジェクタを使用して、前記先端の位置を表すパターンで光を発生させることと、
視認者に前記先端の位置が見えるように、前記光を前記視認者の左および右眼の網膜に誘導することであって、前記左および右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なる、ことと
を含む、方法。
(項目27)
頭部搭載可能フレームを視認者の頭部に搭載することであって、前記光導波管は、前記頭部搭載可能フレームに固着される、こと
をさらに含む、項目26に記載の方法。
(項目28)
前記光導波管は、眼と身体の外面との間に位置付けられる透明光導波管である、項目27に記載の方法。
(項目29)
前記頭部搭載可能フレームの移動を検出することと、
検出される前記移動に基づいて、設置値を計算することと、
前記設置値に基づいて、前記眼のビュー内の前記身体部分の位置を修正することと
をさらに含む、項目27に記載の方法。
(項目30)
前記移動は、前記頭部搭載可能フレームに搭載される頭部ユニット慣性測定ユニット(IMU)の運動センサを用いて検出される、項目29に記載の方法。
(項目31)
前記移動は、前記頭部搭載可能フレームに搭載される頭部ユニットカメラを用いて検出され、前記頭部ユニットカメラは、前記頭部ユニットカメラのビュー内の物体の画像を撮影することによって、前記頭部搭載可能フレームの移動を検出する、項目29に記載の方法。
(項目32)
前記画像を分析し、前記頭部搭載可能フレームの姿勢位置を検出することをさらに含む、項目31に記載の方法。
(項目33)
伝送機をアクティブ化し、前記身体内の身体部分において前進波を発生させることと、
受信機を用いて、前記身体部分からの帰還波を検出することであって、前記身体部分からの前記帰還波は、前記伝送機によって生成される前記前進波に応答する、ことと、
前記受信機によって検出される前記帰還波の未加工データを受信することと、
データ記憶部内に前記未加工データを記憶することと、
前記帰還波の未加工データを処理し、画像を表す画像データを生成することと、
前記データ記憶部内に前記画像データを記憶することと、
前記データ記憶部から前記画像データを受信することと、
前記先端の位置を前記画像データと組み合わせることであって、生成される前記光のパターンは、前記画像データおよび前記先端の位置を表すパターンを含む、ことと
をさらに含む、項目26に記載の方法。
(項目34)
前記伝送機は、回転子に固着され、X線波を伝送する、X線伝送機であり、前記受信機は、前記X線波を検出するように前記回転子に固着されるX線検出器であり、基部に対する前記プラットフォームの移動は、前記X線伝送機から前記X線検出器まで延在する平面に対して前記患者の移動を可能にする、項目33に記載の方法。
(項目35)
前記データ記憶部内に前記先端の過去経路を記憶することと、
前記先端の位置とともに前記先端の過去経路を表示することと
をさらに含む、項目26に記載の方法。
(項目36)
前記先端の過去経路の周囲に3次元メッシュを発生させることと、
前記データ記憶部、前記カテーテル表示インテグレータ内に前記メッシュを記憶することと、
前記先端の位置とともに前記メッシュを表示することと
をさらに含む、項目26に記載の方法。
(項目37)
前記先端内のカテーテルカメラを用いて、ビデオデータを捕捉することと、
前記ビデオデータを受信することであって、前記カテーテル表示インテグレータは、前記ビデオデータに基づいて、ライブビデオを表示する、ことと、
前記ビデオデータに基づいて、ライブビデオを表示することと
をさらに含む、項目36に記載の方法。
(項目38)
前記命令のセットは、
前記先端の位置に基づいて、前記先端の将来の経路を計算することと、
前記将来の経路を表示することと
を含む、項目26に記載の方法。
(項目39)
前記将来の経路は、前記先端追跡デバイスによって検出される前記移動に基づいて計算される、項目38に記載の方法。
(項目40)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目39に記載の方法。
(項目41)
前記先端上の侵襲性外科手術道具を用いて、侵襲性手技を実施することをさらに含む、項目26に記載の方法。
(項目42)
前記先端上のカメラを用いて、画像を捕捉することと、
前記カメラによって捕捉される画像をオペレータに表示することと
をさらに含む、項目26に記載の方法。
(項目43)
前記3次元レンダリングおよび前記カメラによって捕捉される前記画像を第1のオペレータに表示することをさらに含む、項目42に記載の方法。
(項目44)
前記3次元レンダリングを第1のオペレータに表示することと、
前記カメラによって捕捉される前記画像を第2のオペレータに表示することと
をさらに含む、項目42に記載の方法。
(項目45)
前記3次元レンダリングを第1のオペレータに表示することと、
前記カテーテルを用いることなくデータを収集することと、
前記カテーテルを用いることなく収集される前記データを第2のオペレータに表示することと
をさらに含む、項目26に記載の方法。
(項目46)
前記先端上の動作負荷を決定することと、
前記先端上の負荷が所定の限界を超える場合、オペレータに警告することと
をさらに含む、項目26に記載の方法。
(項目47)
前記警告は、視覚警告、オーディオ警告、および触覚警告のうちの1つである、項目46に記載の方法。
(項目48)
運動アーチファクトを観察することと、
前記運動アーチファクトに基づいて、前記先端に位置調節を行うことと
をさらに含む、項目26に記載の方法。
(項目49)
前記運動検出システムは、時間T1~T2~T3における3つの別個の時間において、患者活動のフィードバック制御画像を収集し、前記画像は、患者位置の変化を決定するように、時間T4において分析され、前記時間T1~T3にわたって観察される前記患者位置の変化に基づく前記制御入力の調節は、時間T5において行われる、項目48に記載の方法。
(項目50)
(T5-T3=T3-T2)∩(y3-y2)<(y2-y1)である場合、T5における補正<(y3-y2)である、項目49に記載の方法。
(項目51)
患者視認システムであって、
管腔と、先端とを有するカテーテルと、
前記先端の移動を検出する先端追跡デバイスと、
プロジェクタと、
前記プロジェクタに接続される光導波管と、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
前記コンピュータ可読媒体上のデータ記憶部と、
前記コンピュータ可読媒体上に記憶され、前記プロセッサによって実行可能である命令のセットであって、
カテーテル追跡システムであって、前記カテーテル追跡システムは、前記先端追跡デバイスに接続され、前記先端追跡デバイスによって検出される移動に基づいて、測定値を受信し、前記測定値に基づいて、前記先端の位置を決定し、前記データ記憶部内に前記先端の位置を記憶する、カテーテル追跡システムと、
前記データ記憶部内に前記先端の過去経路を記憶する過去経路計算機と、
カテーテル表示インテグレータであって、前記カテーテル表示インテグレータは、前記先端の位置とともに前記先端の過去経路を表示する、カテーテル表示インテグレータと
を含む、命令のセットと
を備える、患者視認システム。
(項目52)
前記命令のセットは、
前記先端の過去経路の周囲に3次元メッシュを発生させ、前記データ記憶部内に前記メッシュを記憶するメッシュ発生器であって、前記カテーテル表示インテグレータは、前記先端の位置とともに前記メッシュを表示する、メッシュ発生器
を含む、項目51に記載の患者視認システム。
(項目53)
前記先端内のカテーテルカメラであって、前記カテーテルカメラは、ビデオデータを捕捉する、カテーテルカメラ
をさらに備え、
前記命令のセットは、
前記ビデオデータを受信するように前記先端内の前記カテーテルカメラに接続されるビデオデータ受信ユニットであって、前記カテーテル表示インテグレータは、前記ビデオデータに基づいて、ライブビデオを表示する、ビデオデータ受信ユニット
を含む、項目51に記載の患者視認システム。
(項目54)
前記命令のセットは、
前記先端の位置に基づいて、前記先端の将来の経路を計算する予想経路計算機であって、前記カテーテル表示インテグレータは、前記将来の経路を表示する、予想経路計算機
を含む、項目51に記載の患者視認システム。
(項目55)
前記将来の経路は、前記先端追跡デバイスによって検出される前記移動に基づいて計算される、項目54に記載の患者視認システム。
(項目56)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目55に記載の患者視認システム。
(項目57)
頭部搭載可能フレームであって、前記光導波管は、前記頭部搭載可能フレームに固着される、頭部搭載可能フレーム
をさらに備える、項目51に記載の患者視認システム。
(項目58)
前記光導波管は、眼と身体の外面との間に位置付けられる透明光導波管である、項目57に記載の患者視認システム。
(項目59)
前記プロジェクタは、左プロジェクタであり、前記光導波管は、左光導波管であり、前記眼は、視認者の左眼であり、
前記画像データを受信するように前記画像データ受信ユニットに接続される右プロジェクタであって、前記右プロジェクタは、前記画像データを表すパターンで光を発生させる、右プロジェクタと、
右光導波管であって、前記右光導波管は、前記視認者に右眼を伴う身体部分のレンダリングを用いて拡張された前記身体の外面が見えるように、前記身体の外面からの光が前記右眼の網膜に透過している間に、前記右プロジェクタからの光を前記視認者の右眼の網膜に誘導するように前記右プロジェクタに接続される、右光導波管と
をさらに備える、項目57に記載の患者視認システム。
(項目60)
前記命令のセットは、
前記画像データを受信するように前記データ受信ユニットに接続される立体分析器であって、前記立体分析器は、左および右画像データセットを決定し、前記左および右プロジェクタは、それぞれ、前記左および右画像データセットを投影し、前記左および右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なる、立体分析器
を含む、項目59に記載の患者視認システム。
(項目61)
前記頭部搭載可能フレームの移動を検出する頭部ユニット検出デバイスをさらに備え、
前記命令のセットは、
表示調節アルゴリズムであって、前記表示調節アルゴリズムは、前記頭部ユニット検出デバイスに接続され、前記頭部ユニット検出デバイスによって検出される移動に基づいて測定値を受信し、設置値を計算する、表示調節アルゴリズムと、
前記設置値に基づいて、前記眼のビュー内の前記身体部分の位置を修正する表示位置付けアルゴリズムと
を含む、項目57に記載の患者視認システム。
(項目62)
前記頭部ユニット検出デバイスは、
前記頭部搭載可能フレームに搭載される頭部ユニット慣性測定ユニット(IMU)であって、前記頭部ユニットIMUは、前記頭部搭載可能フレームの移動を検出する運動センサを含む、頭部ユニットIMU
を含む、項目61に記載の患者視認システム。
(項目63)
前記頭部ユニット検出デバイスは、
前記頭部搭載可能フレームに搭載される頭部ユニットカメラであって、前記頭部ユニットカメラは、前記頭部ユニットカメラのビュー内の物体の画像を撮影することによって、前記頭部搭載可能フレームの移動を検出する、頭部ユニットカメラ
を含み、
前記命令のセットは、
前記画像を分析し、前記頭部搭載可能フレームの姿勢位置を検出する画像処理システムを含む、項目61に記載の患者視認システム。
(項目64)
伝送機と、
前記伝送機をアクティブ化するように前記伝送機に接続されるエネルギー源であって、患者の身体は、前記伝送機が前記身体内の身体部分において前進波を発生させるために、前記伝送機に対して位置付け可能である、エネルギー源と、
前記身体部分からの帰還波を検出するように前記身体に対して位置付け可能である受信機であって、前記身体部分からの前記帰還波は、前記伝送機によって生成される前記前進波に応答する、受信機と
をさらに備え、
前記命令のセットは、
前記受信機によって検出される前記帰還波の未加工データを受信し、前記データ記憶部内に前記未加工データを記憶する未加工データ受信ユニットと、
前記帰還波の未加工データを処理して、画像を表す画像データを生成し、前記データ記憶部内に前記画像データを記憶するように前記データ記憶部に接続される画像発生ユニットと、
前記データ記憶部から前記画像データを受信する画像データ受信ユニットと、
前記先端の位置を前記画像データと組み合わせるカテーテル表示インテグレータであって、前記プロジェクタによって生成される前記光のパターンは、前記画像データおよび前記先端の位置を表すパターンを含む、カテーテル表示インテグレータと
を含む、項目31に記載の患者視認システム。
(項目65)
コンピュータ断層撮影(CT)スキャナであって、
基部と、
前記患者のためのプラットフォームと、
前記患者を中心とした回転のために前記基部に搭載される回転子であって、前記伝送機は、前記回転子に固着され、X線波を伝送する、X線伝送機であり、前記受信機は、前記X線波を検出するように前記回転子に固着されるX線検出器であり、前記基部に対する前記プラットフォームの移動は、前記X線伝送機から前記X線検出器まで延在する平面に対して前記患者の移動を可能にする、回転子と
を含む、コンピュータ断層撮影(CT)スキャナ
を備える、項目64に記載の患者視認システム。
(項目66)
前記先端上に侵襲性外科手術道具をさらに備える、項目51に記載の患者視認システム。
(項目67)
前記先端上のカメラと、
前記カメラによって捕捉される画像をオペレータに表示するための少なくとも1つのディスプレイと
をさらに備える、項目51に記載の患者視認システム。
(項目68)
第1のディスプレイは、前記3次元レンダリングおよび前記カメラによって捕捉される前記画像を第1のオペレータに表示する、項目67に記載の患者視認システム。
(項目69)
第1のディスプレイは、前記3次元レンダリングを第1のオペレータに表示し、
前記カメラによって捕捉される前記画像を第2のオペレータに表示する第2のディスプレイ
をさらに備える、項目67に記載の患者視認システム。
(項目70)
前記3次元レンダリングを第1のオペレータに表示するための第1のディスプレイと、
前記カテーテルを用いることなくデータを収集するデータ収集システムと、
前記データ収集システムを用いて収集される前記データを第2のオペレータに表示するための第2のディスプレイと
をさらに備える、項目51に記載の患者視認システム。
(項目71)
前記先端上の動作負荷を決定するように前記先端に接続される負荷検出システムと、
前記先端上の負荷が所定の限界を超える場合、オペレータに警告するように前記負荷検出システムに接続される警告システムと
をさらに備える、項目51に記載の患者視認システム。
(項目72)
前記警告は、視覚警告、オーディオ警告、および触覚警告のうちの1つである、項目71に記載の患者視認システム。
(項目73)
運動アーチファクトを観察するための運動検出システムと、
前記運動アーチファクトに基づいて、前記先端に位置調節を行うように前記運動検出システムに接続される位置調節システムと
をさらに備える、項目51に記載の患者視認システム。
(項目74)
前記運動検出システムは、時間T1~T2~T3における3つの別個の時間において、患者活動のフィードバック制御画像を収集し、前記画像は、患者位置の変化を決定するように、時間T4において分析され、前記時間T1~T3にわたって観察される前記患者位置の変化に基づく前記制御入力の調節は、時間T5において行われる、項目73に記載の患者視認システム。
(項目75)
(T5-T3=T3-T2)∩(y3-y2)<(y2-y1)である場合、T5における補正<(y3-y2)である、項目74に記載の患者視認システム。
(項目76)
患者を視認する方法であって、
カテーテルの先端を患者の身体の中に挿入することと、
先端追跡デバイスを用いて、前記先端の移動を検出することと、
前記先端追跡デバイスによって検出される移動に基づいて、測定値を受信することと、
前記測定値に基づいて、前記先端の位置を決定することと、
前記先端の位置を記憶することと、
前記先端の位置に基づいて、左および右画像データセットを決定することと、
それぞれ、前記左および右画像データセットを光として投影する左および右プロジェクタを使用して、前記先端の位置を表すパターンで光を発生させることと、
視認者に前記先端の位置が見えるように、前記光を前記視認者の左および右眼の網膜に誘導することであって、前記左および右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なる、ことと、
前記データ記憶部内に前記先端の過去経路を記憶することと、
前記先端の位置とともに前記先端の過去経路を表示することと
を含む、方法。
(項目77)
前記先端の過去経路の周囲に3次元メッシュを発生させることと、
前記データ記憶部、前記カテーテル表示インテグレータ内に前記メッシュを記憶することと、
前記先端の位置とともに前記メッシュを表示することと
をさらに含む、項目76に記載の方法。
(項目78)
前記先端内のカテーテルカメラを用いて、ビデオデータを捕捉することと、
前記ビデオデータを受信することであって、前記カテーテル表示インテグレータは、前記ビデオデータに基づいて、ライブビデオを表示する、ことと、
前記ビデオデータに基づいて、ライブビデオを表示することと
をさらに含む、項目76に記載の方法。
(項目79)
前記命令のセットは、
前記先端の位置に基づいて、前記先端の将来の経路を計算することと、
前記将来の経路を表示することと
を含む、項目76に記載の方法。
(項目80)
前記将来の経路は、前記先端追跡デバイスによって検出される前記移動に基づいて計算される、項目79に記載の方法。
(項目81)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目80に記載の方法。
(項目82)
頭部搭載可能フレームを視認者の頭部に搭載することであって、前記光導波管は、前記頭部搭載可能フレームに固着される、こと
をさらに含む、項目76に記載の方法。
(項目83)
前記光導波管は、眼と身体の外面との間に位置付けられる透明光導波管である、項目82に記載の方法。
(項目84)
前記眼は、前記視認者の左眼であり、
前記視認者に右眼を伴う身体部分のレンダリングを用いて拡張された前記身体の外面が見えるように、前記身体の外面からの光が前記右眼の網膜に透過している間に、前記光を前記視認者の右眼の網膜に誘導すること
をさらに含む、項目82に記載の方法。
(項目85)
左および右画像データセットを決定することであって、前記左および右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なる、こと
をさらに含む、項目84に記載の方法。
(項目86)
前記頭部搭載可能フレームの移動を検出することと、
検出される前記移動に基づいて、設置値を計算することと、
前記設置値に基づいて、前記眼のビュー内の前記身体部分の位置を修正することと
をさらに含む、項目82に記載の方法。
(項目87)
前記移動は、前記頭部搭載可能フレームに搭載される頭部ユニット慣性測定ユニット(IMU)の運動センサを用いて検出される、項目86に記載の方法。
(項目88)
前記移動は、前記頭部搭載可能フレームに搭載される頭部ユニットカメラを用いて検出され、前記頭部ユニットカメラは、前記頭部ユニットカメラのビュー内の物体の画像を撮影することによって、前記頭部搭載可能フレームの移動を検出し、
前記画像を分析し、前記頭部搭載可能フレームの姿勢位置を検出すること
をさらに含む、項目86に記載の方法。
(項目89)
伝送機をアクティブ化し、前記身体内の身体部分において前進波を発生させることと、
受信機を用いて、前記身体部分からの帰還波を検出することであって、前記身体部分からの前記帰還波は、前記伝送機によって生成される前記前進波に応答する、ことと、
前記受信機によって検出される前記帰還波の未加工データを受信することと、
データ記憶部内に前記未加工データを記憶することと、
前記帰還波の未加工データを処理し、画像を表す画像データを生成することと、
前記データ記憶部内に前記画像データを記憶することと、
前記データ記憶部から前記画像データを受信することと、
前記先端の位置を前記画像データと組み合わせることであって、生成される前記光のパターンは、前記画像データおよび前記先端の位置を表すパターンを含む、ことと
をさらに含む、項目76に記載の方法。
(項目90)
前記伝送機は、回転子に固着され、X線波を伝送する、X線伝送機であり、前記受信機は、前記X線波を検出するように前記回転子に固着されるX線検出器であり、基部に対する前記プラットフォームの移動は、前記X線伝送機から前記X線検出器まで延在する平面に対して前記患者の移動を可能にする、項目89に記載の方法。
(項目91)
前記先端上の侵襲性外科手術道具を用いて、侵襲性手技を実施することをさらに含む、項目76に記載の方法。
(項目92)
前記先端上のカメラを用いて、画像を捕捉することと、
前記カメラによって捕捉される画像をオペレータに表示することと
をさらに含む、項目76に記載の方法。
(項目93)
前記3次元レンダリングおよび前記カメラによって捕捉される前記画像を第1のオペレータに表示することをさらに含む、項目92に記載の方法。
(項目94)
前記3次元レンダリングを第1のオペレータに表示することと、
前記カメラによって捕捉される前記画像を第2のオペレータに表示することと
をさらに含む、項目92に記載の方法。
(項目95)
前記3次元レンダリングを第1のオペレータに表示することと、
前記カテーテルを用いることなくデータを収集することと、
前記カテーテルを用いることなく収集される前記データを第2のオペレータに表示することと
をさらに含む、項目76に記載の方法。
(項目96)
前記先端上の動作負荷を決定することと、
前記先端上の負荷が所定の限界を超える場合、オペレータに警告することと
をさらに含む、項目76に記載の方法。
(項目97)
前記警告は、視覚警告、オーディオ警告、および触覚警告のうちの1つである、項目96に記載の方法。
(項目98)
運動アーチファクトを観察することと、
前記運動アーチファクトに基づいて、前記先端に位置調節を行うことと
をさらに含む、項目76に記載の方法。
(項目99)
前記運動検出システムは、時間T1~T2~T3における3つの別個の時間において、患者活動のフィードバック制御画像を収集し、前記画像は、患者位置の変化を決定するように、時間T4において分析され、前記時間T1~T3にわたって観察される前記患者位置の変化に基づく前記制御入力の調節は、時間T5において行われる、項目98に記載の方法。
(項目100)
(T5-T3=T3-T2)∩(y3-y2)<(y2-y1)である場合、T5における補正<(y3-y2)である、項目99に記載の方法。
(項目101)
患者視認システムであって、
管腔と、先端とを有するカテーテルと、
前記先端の移動を検出する先端追跡デバイスと、
プロジェクタと、
前記プロジェクタに接続される光導波管と、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
前記コンピュータ可読媒体上のデータ記憶部と、
前記コンピュータ可読媒体上に記憶され、前記プロセッサによって実行可能である命令のセットであって、
カテーテル追跡システムであって、前記カテーテル追跡システムは、前記先端追跡デバイスに接続され、前記先端追跡デバイスによって検出される移動に基づいて、測定値を受信し、前記測定値に基づいて、前記先端の位置を決定し、前記データ記憶部内に前記先端の位置を記憶する、カテーテル追跡システムと、
前記先端の位置に基づいて、前記先端の将来の経路を計算する予想経路計算機であって、カテーテル表示インテグレータは、前記将来の経路を表示する、予想経路計算機と、
カテーテル表示インテグレータであって、前記カテーテル表示インテグレータは、前記先端の位置とともに前記先端の将来の経路を表示する、カテーテル表示インテグレータと
を含む、命令のセットと
を備える、患者視認システム。
(項目102)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目101に記載の患者視認システム。
(項目103)
前記将来の経路は、前記先端追跡デバイスによって検出される前記移動に基づいて計算される、項目101に記載の患者視認システム。
(項目104)
前記先端内のカテーテルカメラであって、前記カテーテルカメラは、ビデオデータを捕捉する、カテーテルカメラ
をさらに備え、
前記命令のセットは、
前記ビデオデータを受信するように前記先端内の前記カテーテルカメラに接続されるビデオデータ受信ユニットであって、前記カテーテル表示インテグレータは、前記ビデオデータに基づいて、ライブビデオを表示する、ビデオデータ受信ユニット
を含む、項目101に記載の患者視認システム。
(項目105)
前記命令のセットは、
前記先端の位置に基づいて、前記先端の過去経路を計算する過去経路計算機であって、前記カテーテル表示インテグレータは、前記将来の経路を表示する、過去経路計算機
を含む、項目101に記載の患者視認システム。
(項目106)
前記命令のセットは、
前記先端の過去経路の周囲に3次元メッシュを発生させ、前記データ記憶部内に前記メッシュを記憶するメッシュ発生器であって、前記カテーテル表示インテグレータは、前記先端の位置とともに前記メッシュを表示する、メッシュ発生器
を含む、項目105に記載の患者視認システム。
(項目107)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目106に記載の患者視認システム。
(項目108)
頭部搭載可能フレームであって、前記光導波管は、前記頭部搭載可能フレームに固着される、頭部搭載可能フレーム
をさらに備える、項目101に記載の患者視認システム。
(項目109)
前記光導波管は、眼と身体の外面との間に位置付けられる透明光導波管である、項目108に記載の患者視認システム。
(項目110)
前記プロジェクタは、左プロジェクタであり、前記光導波管は、左光導波管であり、前記眼は、視認者の左眼であり、
前記画像データを受信するように前記画像データ受信ユニットに接続される右プロジェクタであって、前記右プロジェクタは、前記画像データを表すパターンで光を発生させる、右プロジェクタと、
右光導波管であって、前記右光導波管は、前記視認者に右眼を伴う身体部分のレンダリングを用いて拡張された前記身体の外面が見えるように、前記身体の外面からの光が前記右眼の網膜に透過している間に、前記右プロジェクタからの光を前記視認者の右眼の網膜に誘導するように前記右プロジェクタに接続される、右光導波管と
をさらに備える、項目108に記載の患者視認システム。
(項目111)
前記命令のセットは、
前記画像データを受信するように前記データ受信ユニットに接続される立体分析器であって、前記立体分析器は、左および右画像データセットを決定し、前記左および右プロジェクタは、それぞれ、前記左および右画像データセットを投影し、前記左および右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なる、立体分析器
を含む、項目110に記載の患者視認システム。
(項目112)
前記頭部搭載可能フレームの移動を検出する頭部ユニット検出デバイスをさらに備え、
前記命令のセットは、
表示調節アルゴリズムであって、前記表示調節アルゴリズムは、前記頭部ユニット検出デバイスに接続され、前記頭部ユニット検出デバイスによって検出される移動に基づいて測定値を受信し、設置値を計算する、表示調節アルゴリズムと、
前記設置値に基づいて、前記眼のビュー内の前記身体部分の位置を修正する表示位置付けアルゴリズムと
を含む、項目108に記載の患者視認システム。
(項目113)
前記頭部ユニット検出デバイスは、
前記頭部搭載可能フレームに搭載される頭部ユニット慣性測定ユニット(IMU)であって、前記頭部ユニットIMUは、前記頭部搭載可能フレームの移動を検出する運動センサを含む、頭部ユニットIMU
を含む、項目112に記載の患者視認システム。
(項目114)
前記頭部ユニット検出デバイスは、
前記頭部搭載可能フレームに搭載される頭部ユニットカメラであって、前記頭部ユニットカメラは、前記頭部ユニットカメラのビュー内の物体の画像を撮影することによって、前記頭部搭載可能フレームの移動を検出する、頭部ユニットカメラ
を含み、
前記命令のセットは、
前記画像を分析し、前記頭部搭載可能フレームの姿勢位置を検出する画像処理システムを含む、項目112に記載の患者視認システム。
(項目115)
伝送機と、
前記伝送機をアクティブ化するように前記伝送機に接続されるエネルギー源であって、患者の身体は、前記伝送機が前記身体内の身体部分において前進波を発生させるために、前記伝送機に対して位置付け可能である、エネルギー源と、
前記身体部分からの帰還波を検出するように前記身体に対して位置付け可能である受信機であって、前記身体部分からの前記帰還波は、前記伝送機によって生成される前記前進波に応答する、受信機と
をさらに備え、
前記命令のセットは、
前記受信機によって検出される前記帰還波の未加工データを受信し、前記データ記憶部内に前記未加工データを記憶する未加工データ受信ユニットと、
画像発生ユニットであって、前記画像発生ユニットは、前記帰還波の未加工データを処理して、画像を表す画像データを生成し、前記データ記憶部内に前記画像データを記憶するように前記データ記憶部に接続される、画像発生ユニットと、
前記データ記憶部から前記画像データを受信する画像データ受信ユニットと、
前記先端の位置を前記画像データと組み合わせるカテーテル表示インテグレータであって、前記プロジェクタによって生成される前記光のパターンは、前記画像データおよび前記先端の位置を表すパターンを含む、カテーテル表示インテグレータと
を含む、項目1011に記載の患者視認システム。
(項目116)
コンピュータ断層撮影(CT)スキャナであって、
基部と、
前記患者のためのプラットフォームと、
前記患者を中心とした回転のために前記基部に搭載される回転子であって、前記伝送機は、前記回転子に固着され、X線波を伝送するX線伝送機であり、前記受信機は、前記X線波を検出するように前記回転子に固着されるX線検出器であり、前記基部に対する前記プラットフォームの移動は、前記X線伝送機から前記X線検出器まで延在する平面に対して前記患者の移動を可能にする、回転子と
を含む、コンピュータ断層撮影(CT)スキャナ
を備える、項目115に記載の患者視認システム。
(項目118)
前記先端上のカメラと、
前記カメラによって捕捉される画像をオペレータに表示するための少なくとも1つのディスプレイと
をさらに備える、項目101に記載の患者視認システム。
(項目119)
第1のディスプレイは、前記3次元レンダリングおよび前記カメラによって捕捉される前記画像を第1のオペレータに表示する、項目118に記載の患者視認システム。
(項目120)
第1のディスプレイは、前記3次元レンダリングを第1のオペレータに表示し、
前記カメラによって捕捉される前記画像を第2のオペレータに表示する第2のディスプレイ
をさらに備える、項目118に記載の患者視認システム。
(項目121)
前記3次元レンダリングを第1のオペレータに表示するための第1のディスプレイと、
前記カテーテルを用いることなくデータを収集するデータ収集システムと、
前記データ収集システムを用いて収集される前記データを第2のオペレータに表示するための第2のディスプレイと
をさらに備える、項目101に記載の患者視認システム。
(項目122)
前記先端上の動作負荷を決定するように前記先端に接続される負荷検出システムと、
前記先端上の負荷が所定の限界を超える場合、オペレータに警告するように前記負荷検出システムに接続される警告システムと
をさらに備える、項目101に記載の患者視認システム。
(項目123)
前記警告は、視覚警告、オーディオ警告、および触覚警告のうちの1つである、項目122に記載の患者視認システム。
(項目124)
運動アーチファクトを観察するための運動検出システムと、
前記運動アーチファクトに基づいて、前記先端に位置調節を行うように前記運動検出システムに接続される位置調節システムと
をさらに備える、項目101に記載の患者視認システム。
(項目125)
前記運動検出システムは、時間T1~T2~T3における3つの別個の時間において、患者活動のフィードバック制御画像を収集し、前記画像は、患者位置の変化を決定するように、時間T4において分析され、前記時間T1~T3にわたって観察される前記患者位置の変化に基づく前記制御入力の調節は、時間T5において行われる、項目124に記載の患者視認システム。
(項目126)
(T5-T3=T3-T2)∩(y3-y2)<(y2-y1)である場合、T5における補正<(y3-y2)である、項目125に記載の患者視認システム。
(項目127)
患者を視認する方法であって、
カテーテルの先端を患者の身体の中に挿入することと、
先端追跡デバイスを用いて、前記先端の移動を検出することと、
前記先端追跡デバイスによって検出される移動に基づいて、測定値を受信することと、
前記測定値に基づいて、前記先端の位置を決定することと、
前記先端の位置を記憶することと、
前記先端の位置に基づいて、左および右画像データセットを決定することと、
それぞれ、前記左および右画像データセットを光として投影する左および右プロジェクタを使用して、前記先端の位置を表すパターンで光を発生させることと、
視認者に前記先端の位置が見えるように、前記光を前記視認者の左および右眼の網膜に誘導することであって、前記左および右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なる、ことと、
前記先端の位置に基づいて、前記先端の将来の経路を計算することと、
前記先端の位置とともに前記先端の将来の経路を表示することと
を含む、方法。
(項目128)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目127に記載の方法。
(項目129)
前記将来の経路は、前記先端追跡デバイスによって検出される前記移動に基づいて計算される、項目127に記載の方法。
(項目130)
前記先端内のカテーテルカメラを用いて、ビデオデータを捕捉することと、
前記ビデオデータを受信することであって、前記カテーテル表示インテグレータは、前記ビデオデータに基づいて、ライブビデオを表示する、ことと、
前記ビデオデータに基づいて、ライブビデオを表示することと
をさらに含む、項目127に記載の方法。
(項目131)
前記命令のセットは、
前記データ記憶部内に前記先端の過去経路を記憶することと、
前記先端の位置とともに前記先端の過去経路を表示することと
を含む、項目127に記載の方法。
(項目132)
前記先端の過去経路の周囲に3次元メッシュを発生させることと、
前記データ記憶部、前記カテーテル表示インテグレータ内に前記メッシュを記憶することと、
前記先端の位置とともに前記メッシュを表示することと
をさらに含む、項目131に記載の方法。
(項目133)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目132に記載の方法。
(項目134)
頭部搭載可能フレームを視認者の頭部に搭載することであって、前記光導波管は、前記頭部搭載可能フレームに固着される、こと
をさらに含む、項目127に記載の方法。
(項目135)
前記光導波管は、眼と身体の外面との間に位置付けられる透明光導波管である、項目134に記載の方法。
(項目136)
前記眼は、前記視認者の左眼であり、
前記視認者に右眼を伴う身体部分のレンダリングを用いて拡張された前記身体の外面が見えるように、前記身体の外面からの光が前記右眼の網膜に透過している間に、前記光を前記視認者の右眼の網膜に誘導すること
をさらに含む、項目134に記載の方法。
(項目137)
左および右画像データセットを決定することであって、前記左および右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なる、こと
をさらに含む、項目136に記載の方法。
(項目138)
前記頭部搭載可能フレームの移動を検出することと、
検出される前記移動に基づいて、設置値を計算することと、
前記設置値に基づいて、前記眼のビュー内の前記身体部分の位置を修正することと
をさらに含む、項目134に記載の方法。
(項目139)
前記移動は、前記頭部搭載可能フレームに搭載される頭部ユニット慣性測定ユニット(IMU)の運動センサを用いて検出される、項目138に記載の方法。
(項目140)
前記移動は、前記頭部搭載可能フレームに搭載される頭部ユニットカメラを用いて検出され、前記頭部ユニットカメラは、前記頭部ユニットカメラのビュー内の物体の画像を撮影することによって、前記頭部搭載可能フレームの移動を検出し、
前記画像を分析し、前記頭部搭載可能フレームの姿勢位置を検出すること
をさらに含む、項目138に記載の方法。
(項目141)
伝送機をアクティブ化し、前記身体内の身体部分において前進波を発生させることと、
受信機を用いて、前記身体部分からの帰還波を検出することであって、前記身体部分からの前記帰還波は、前記伝送機によって生成される前記前進波に応答する、ことと、
前記受信機によって検出される前記帰還波の未加工データを受信することと、
データ記憶部内に前記未加工データを記憶することと、
前記帰還波の未加工データを処理し、画像を表す画像データを生成することと、
前記データ記憶部内に前記画像データを記憶することと、
前記データ記憶部から前記画像データを受信することと、
前記先端の位置を前記画像データと組み合わせることであって、生成される前記光のパターンは、前記画像データおよび前記先端の位置を表すパターンを含む、ことと
をさらに含む、項目127に記載の方法。
(項目142)
前記伝送機は、回転子に固着され、X線波を伝送する、X線伝送機であり、前記受信機は、前記X線波を検出するように前記回転子に固着されるX線検出器であり、基部に対する前記プラットフォームの移動は、前記X線伝送機から前記X線検出器まで延在する平面に対して前記患者の移動を可能にする、項目141に記載の方法。
(項目143)
前記先端上の侵襲性外科手術道具を用いて、侵襲性手技を実施することをさらに含む、項目127に記載の方法。
(項目144)
前記先端上のカメラを用いて、画像を捕捉することと、
前記カメラによって捕捉される画像をオペレータに表示することと
をさらに含む、項目127に記載の方法。
(項目145)
前記3次元レンダリングおよび前記カメラによって捕捉される前記画像を第1のオペレータに表示すること
をさらに含む、項目144に記載の方法。
(項目146)
前記3次元レンダリングを第1のオペレータに表示することと、
前記カメラによって捕捉される前記画像を第2のオペレータに表示することと
をさらに含む、項目144に記載の方法。
(項目147)
前記3次元レンダリングを第1のオペレータに表示することと、
前記カテーテルを用いることなくデータを収集することと、
前記カテーテルを用いることなく収集される前記データを第2のオペレータに表示することと
をさらに含む、項目127に記載の方法。
(項目148)
前記先端上の動作負荷を決定することと、
前記先端上の負荷が所定の限界を超える場合、オペレータに警告することと
をさらに含む、項目127に記載の方法。
(項目149)
前記警告は、視覚警告、オーディオ警告、および触覚警告のうちの1つである、項目148に記載の方法。
(項目150)
運動アーチファクトを観察することと、
前記運動アーチファクトに基づいて、前記先端に位置調節を行うことと
をさらに含む、項目127に記載の方法。
(項目151)
前記運動検出システムは、時間T1~T2~T3における3つの別個の時間において、患者活動のフィードバック制御画像を収集し、前記画像は、患者位置の変化を決定するように、時間T4において分析され、前記時間T1~T3にわたって観察される前記患者位置の変化に基づく前記制御入力の調節は、時間T5において行われる、項目150に記載の方法。
(項目152)
(T5-T3=T3-T2)∩(y3-y2)<(y2-y1)である場合、T5における補正<(y3-y2)である、項目151に記載の方法。
(項目153)
伝送機と、
前記伝送機をアクティブ化するように前記伝送機に接続されるエネルギー源であって、患者の身体は、前記伝送機が前記身体内の身体部分において前進波を発生させるために、前記伝送機に対して位置付け可能である、エネルギー源と、
前記身体部分からの帰還波を検出するように前記身体に対して位置付け可能である受信機であって、前記身体部分からの前記帰還波は、前記伝送機によって生成される前記前進波に応答する、受信機と、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
前記コンピュータ可読媒体上のデータ記憶部と、
前記コンピュータ可読媒体上に記憶され、前記プロセッサによって実行可能である命令のセットであって、
前記受信機によって検出される前記帰還波の未加工データを受信し、前記データ記憶部内に前記未加工データを記憶する未加工データ受信ユニットと、
画像発生ユニットであって、前記画像発生ユニットは、前記帰還波の未加工データを処理して、画像を表す画像データを生成し、前記データ記憶部内に前記画像データを記憶するように前記データ記憶部に接続される、画像発生ユニットと、
前記データ記憶部から前記画像データを受信する画像データ受信ユニットと、
前記画像データを受信するように前記画像データ受信ユニットに接続されるプロジェクタであって、前記プロジェクタは、前記画像データを表すパターンで光を発生させる、プロジェクタと、
光導波管であって、前記光導波管は、前記視認者に身体部分のレンダリングを用いて拡張された身体の外面が見えるように、前記身体の外面からの光が眼の網膜に透過している間に、前記光を前記視認者の眼の網膜に誘導するように前記プロジェクタに接続される、光導波管と
を含む、命令のセットと
を備える、患者視認システム。
(項目154)
頭部搭載可能フレームであって、前記光導波管は、前記頭部搭載可能フレームに固着される、頭部搭載可能フレーム
をさらに備える、項目153に記載の患者視認システム。
(項目155)
前記光導波管は、前記眼と前記身体の外面との間に位置付けられる透明光導波管である、項目154に記載の患者視認システム。
(項目156)
前記プロジェクタは、左プロジェクタであり、前記光導波管は、左光導波管であり、前記眼は、前記視認者の左眼であり、
前記画像データを受信するように前記画像データ受信ユニットに接続される右プロジェクタであって、前記右プロジェクタは、前記画像データを表すパターンで光を発生させる、右プロジェクタと、
右光導波管であって、前記右光導波管は、前記視認者に右眼を伴う身体部分のレンダリングを用いて拡張された前記身体の外面が見えるように、前記身体の外面からの光が前記右眼の網膜に透過している間に、前記右プロジェクタからの光を前記視認者の右眼の網膜に誘導するように前記右プロジェクタに接続される、右光導波管と
をさらに備える、項目154に記載の患者視認システム。
(項目157)
前記命令のセットは、
前記画像データを受信するように前記データ受信ユニットに接続される立体分析器であって、前記立体分析器は、左および右画像データセットを決定し、前記左および右プロジェクタは、それぞれ、前記左および右画像データセットを投影し、前記左および右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なる、立体分析器
を含む、項目156に記載の患者視認システム。
(項目158)
前記頭部搭載可能フレームの移動を検出する頭部ユニット検出デバイスをさらに備え、前記命令のセットは、
表示調節アルゴリズムであって、前記表示調節アルゴリズムは、前記頭部ユニット検出デバイスに接続され、前記頭部ユニット検出デバイスによって検出される移動に基づいて測定値を受信し、設置値を計算する、表示調節アルゴリズムと、
前記設置値に基づいて、前記眼のビュー内の前記身体部分の位置を修正する表示位置付けアルゴリズムと
を含む、項目154に記載の患者視認システム。
(項目159)
前記頭部ユニット検出デバイスは、
前記頭部搭載可能フレームに搭載される頭部ユニット慣性測定ユニット(IMU)であって、前記頭部ユニットIMUは、前記頭部搭載可能フレームの移動を検出する運動センサを含む、頭部ユニットIMU
を含む、項目158に記載の患者視認システム。
(項目160)
前記頭部ユニット検出デバイスは、
前記頭部搭載可能フレームに搭載される頭部ユニットカメラであって、前記頭部ユニットカメラは、前記頭部ユニットカメラのビュー内の物体の画像を撮影することによって、前記頭部搭載可能フレームの移動を検出する、頭部ユニットカメラ
を含み、
前記命令のセットは、
前記画像を分析し、前記頭部搭載可能フレームの姿勢位置を検出する、画像処理システム
を含む、項目158に記載の患者視認システム。
(項目161)
コンピュータ断層撮影(CT)スキャナであって、
基部と、
前記患者のためのプラットフォームと、
前記患者を中心とした回転のために前記基部に搭載される回転子であって、前記伝送機は、前記回転子に固着され、X線波を伝送する、X線伝送機であり、前記受信機は、前記X線波を検出するように前記回転子に固着されるX線検出器であり、前記基部に対する前記プラットフォームの移動は、前記X線伝送機から前記X線検出器まで延在する平面に対して前記患者の移動を可能にする、回転子と
を含む、コンピュータ断層撮影(CT)スキャナ
を備える、項目158に記載の患者視認システム。
(項目162)
管腔と、先端とを有するカテーテルと、
前記先端の移動を検出する先端追跡デバイスと
をさらに備え、
前記命令のセットは、
カテーテル追跡システムであって、前記カテーテル追跡システムは、前記先端追跡デバイスに接続され、前記先端追跡デバイスによって検出される移動に基づいて、測定値を受信し、前記測定値に基づいて、前記先端の位置を決定する、カテーテル追跡システムと、
前記先端の位置を前記画像データと組み合わせるカテーテル表示インテグレータであって、前記プロジェクタによって生成される前記光のパターンは、前記画像データおよび前記先端の位置を表すパターンを含む、カテーテル表示インテグレータと
を含む、項目153に記載の患者視認システム。
(項目163)
前記命令のセットは、
前記データ記憶部内に前記先端の過去経路を記憶する過去経路計算機であって、前記カテーテル表示インテグレータは、前記先端の位置とともに前記先端の過去経路を表示する、過去経路計算機
を含む、項目162に記載の患者視認システム。
(項目164)
前記命令のセットは、
前記先端の過去経路を記憶する過去経路計算機と、
前記先端の過去経路の周囲に3次元メッシュを発生させ、前記データ記憶部内に前記メッシュを記憶するメッシュ発生器であって、前記カテーテル表示インテグレータは、前記先端の位置とともに前記メッシュを表示する、メッシュ発生器と
を含む、項目162に記載の患者視認システム。
(項目165)
前記先端内のカテーテルカメラであって、前記カテーテルカメラは、ビデオデータを捕捉する、カテーテルカメラ
をさらに備え、
前記命令のセットは、
前記ビデオデータを受信するように前記先端内の前記カテーテルカメラに接続されるビデオデータ受信ユニットであって、前記カテーテル表示インテグレータは、前記ビデオデータに基づいて、ライブビデオを表示する、ビデオデータ受信ユニット
を含む、項目164に記載の患者視認システム。
(項目166)
前記命令のセットは、
前記先端の位置に基づいて、前記先端の将来の経路を計算する予想経路計算機であって、前記カテーテル表示インテグレータは、前記将来の経路を表示する、予想経路計算機
を含む、項目162に記載の患者視認システム。
(項目167)
前記将来の経路は、前記先端追跡デバイスによって検出される前記移動に基づいて計算される、項目166に記載の患者視認システム。
(項目168)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目167に記載の患者視認システム。
(項目169)
患者を視認する方法であって、
伝送機をアクティブ化し、身体内の身体部分において前進波を発生させることと、
受信機を用いて、前記身体部分からの帰還波を検出することであって、前記身体部分からの前記帰還波は、前記伝送機によって生成される前記前進波に応答する、ことと、
前記受信機によって検出される前記帰還波の未加工データを受信することと、
データ記憶部内に前記未加工データを記憶することと、
前記帰還波の未加工データを処理し、画像を表す画像データを生成することと、
前記データ記憶部内に前記画像データを記憶することと、
前記データ記憶部から前記画像データを受信することと、
前記画像データを表すパターンで光を発生させることと、
視認者に前記身体部分のレンダリングを用いて拡張された前記身体の外面が見えるように、前記身体の外面からの光が眼の網膜に透過している間に、前記光を前記視認者の眼の網膜に誘導することと
を含む、方法。
(項目170)
頭部搭載可能フレームを視認者の頭部に搭載することであって、前記光導波管は、前記頭部搭載可能フレームに固着される、こと
をさらに含む、項目169に記載の方法。
(項目171)
前記光導波管は、前記眼と前記身体の外面との間に位置付けられる透明光導波管である、項目170に記載の方法。
(項目172)
前記眼は、前記視認者の左眼であり、
前記視認者に右眼を伴う身体部分のレンダリングを用いて拡張された前記身体の外面が見えるように、前記身体の外面からの光が前記右眼の網膜に透過している間に、前記光を前記視認者の右眼の網膜に誘導すること
をさらに含む、項目170に記載の方法。
(項目173)
左および右画像データセットを決定することであって、前記左および右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なる、こと
をさらに含む、項目172に記載の方法。
(項目174)
前記頭部搭載可能フレームの移動を検出することと、
検出される前記移動に基づいて、設置値を計算することと、
前記設置値に基づいて、前記眼のビュー内の前記身体部分の位置を修正することと
をさらに含む、項目170に記載の方法。
(項目175)
前記移動は、前記頭部搭載可能フレームに搭載される頭部ユニット慣性測定ユニット(IMU)の運動センサを用いて検出される、項目174に記載の方法。
(項目176)
前記移動は、前記頭部搭載可能フレームに搭載される頭部ユニットカメラを用いて検出され、前記頭部ユニットカメラは、前記頭部ユニットカメラのビュー内の物体の画像を撮影することによって、前記頭部搭載可能フレームの移動を検出し、
前記画像を分析し、前記頭部搭載可能フレームの姿勢位置を検出すること
をさらに含む、項目174に記載の方法。
(項目177)
前記伝送機は、回転子に固着され、X線波を伝送する、X線伝送機であり、前記受信機は、前記X線波を検出するように前記回転子に固着されるX線検出器であり、基部に対する前記プラットフォームの移動は、前記X線伝送機から前記X線検出器まで延在する平面に対して前記患者の移動を可能にする、項目174に記載の方法。
(項目178)
カテーテルの先端を患者の身体の中に挿入することと、
先端追跡デバイスを用いて、前記先端の移動を検出することと、
前記先端追跡デバイスによって検出される移動に基づいて、測定値を受信することと、
前記測定値に基づいて、前記先端の位置を決定することと、
前記先端の位置を前記画像データと組み合わせることであって、生成される前記光のパターンは、前記画像データおよび前記先端の位置を表すパターンを含む、ことと
をさらに含む、項目179に記載の方法。
(項目179)
前記データ記憶部内に前記先端の過去経路を記憶することと、
前記先端の位置とともに前記先端の過去経路を表示することと
をさらに含む、項目178に記載の方法。
(項目180)
前記先端の過去経路の周囲に3次元メッシュを発生させることと、
前記データ記憶部、前記カテーテル表示インテグレータ内に前記メッシュを記憶することと、
前記先端の位置とともに前記メッシュを表示することと
をさらに含む、項目178に記載の方法。
(項目181)
前記先端内のカテーテルカメラを用いて、ビデオデータを捕捉することと、
前記ビデオデータを受信することであって、前記カテーテル表示インテグレータは、前記ビデオデータに基づいて、ライブビデオを表示する、ことと、
前記ビデオデータに基づいて、ライブビデオを表示することと
をさらに含む、項目180に記載の方法。
(項目182)
前記命令のセットは、
前記先端の位置に基づいて、前記先端の将来の経路を計算することと、
前記将来の経路を表示することと
を含む、項目178に記載の方法。
(項目183)
前記将来の経路は、前記先端追跡デバイスによって検出される前記移動に基づいて計算される、項目182に記載の方法。
(項目184)
前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、項目183に記載の方法。
本発明は、付随する図面を参照して、一例としてさらに説明される。
図1は、本発明のある実施形態による、患者視認システムのブロック図である。
図2は、いくつかの実施形態による、患者視認システムの一部を形成する、CTスキャナ、データ受信ユニット、画像発生ユニット、およびデータ記憶部の部分斜視図および部分ブロック図である。
図3は、いくつかの実施形態による、患者視認システムの一部を形成する、表示システム、カテーテル、およびデータ記憶部の部分斜視図および部分ブロック図である。
図4は、いくつかの実施形態による、図3の表示システムの一部を形成するカテーテル統合システムを図示し、カテーテルをさらに図示する、ブロック図である。
図5は、いくつかの実施形態による、外科医の形態の視認者であって、患者の身体および患者の内側の身体部分のレンダリングが見え、カテーテルの先端のレンダリングおよび先端の過去経路もさらに見えている、視認者を図示する、斜視図である。
図6は、いくつかの実施形態による、図5の上平面図である。
図7は、いくつかの実施形態による、視認者によって見られるようなビューである。
図8は、いくつかの実施形態による、視認者が患者の身体の周囲で反時計回りに移動し、患者の身体のビューを保つようにその頭部を反時計回りに移動させた後の図6に類似する図である。
図9は、いくつかの実施形態による、患者の身体およびレンダリングがビュー内で修正される方法を示す、図7に類似する図である。
図10は、いくつかの実施形態による、図7および9で視認者に示されるレンダリングを拡大して詳細に図示する。
図11は、いくつかの実施形態による、図7および9で視認者によって見られるようなビューの一部の拡大図である。
図12は、いくつかの実施形態による、図7および9の図で視認者によって見られるようなライブビデオデータおよびメッシュの拡大図である。
図13は、いくつかの実施形態による、カテーテルの先端の移動の3自由度および第1の量による第1の位置から第2の位置までの移動を図示するグラフである。
図14は、いくつかの実施形態による、第1の位置におけるカテーテルの先端の図である。
図15は、いくつかの実施形態による、第2の位置におけるカテーテルの図である。
図16は、いくつかの実施形態による、管腔を通して延在する経路および傷害を回避するように管腔を通して延在しない経路を図示する、図16に類似する図である。
図17は、いくつかの実施形態による、3次元でレンダリングとして視認者に表示される先端の計算された将来の経路を図示する、図16に類似する図である。
図18は、本発明の一実施形態による、本発明のシステムで用途を見出し得るコンピュータの形態の機械のブロック図である。
図19は、本発明の一実施形態による、患者の観察された位置変化の関数として医療器具入力を調節するためのタイミング関係を図示する。
付随する図面のうちの図1は、CTスキャナ22と、データ記憶部24と、カテーテル26と、表示システム28とを含む、本発明のある実施形態による、患者視認システム20を図示する。
データ記憶部24は、CTスキャナ22に接続される。CTスキャナ22からの未加工データが、データ記憶部24内に記憶されてもよい。データ記憶部24はまた、未加工データに基づく画像データも記憶する。
表示システム28は、データ記憶部24から画像データを読み出すことが可能であるようにデータ記憶部24に接続される。カテーテル26は、表示システム28が、さらなる処理のために、または視認者への表示のために、カテーテル26から測定値およびビデオデータを読み出し得るように、表示システム28に接続される。
使用時、患者が、CTスキャナ22におけるステーション32に位置する。患者の身体30が、CTスキャナ22がデータ記憶部24内に記憶する未加工データを取得するように、CTスキャナ22を用いてスキャンされる。未加工データは、次いで、3D画像データを取得するように処理される。
患者は、CTスキャナ22におけるステーション32から表示システム28におけるステーション34に移送される。視認者が、表示システム28を使用し、患者の身体30を視認する。表示システム28はまた、データ記憶部24から画像データを読み出す。視認者は、表示システム28を使用し、患者の身体30の3Dレンダリングの形態の画像を視認する。視認者は、カテーテル26を身体30の中に挿入する。表示システム28は、さらなる処理のために、または視認者への表示のために、カテーテル26の先端からデータを読み出す。
図2は、いくつかの実施形態による、CTスキャナ22と、データ記憶部24と、エネルギー源36と、データ受信ユニット38と、画像発生ユニット40とを含む、患者視認システム20のコンポーネントを図示する。
CTスキャナ22は、基部42と、プラットフォーム44と、回転子46と、X線伝送機48と、複数のX線検出器50とを含む。
プラットフォーム44は、基部42に対してプラットフォーム44の平行移動を許容する機構(図示せず)を通して、基部42に固着される。ステッピングモータ(図示せず)等のアクチュエータが、基部42に対してプラットフォーム44の平行移動を引き起こすように動作可能である。
回転子46は、開口部52を有する。X線伝送機48は、開口部52の片側で回転子46に固着され、X線検出器50は、開口部52の反対側で回転子46に固着される。回転子46は、プラットフォーム44の周囲で基部42に搭載される。プラットフォーム44は、その平行移動の間に開口部52に対して移動する。モータ(図示せず)が、基部42と回転子46との間に接続され、プラットフォーム44の周囲で回転子46を回転させるように動作可能である。
エネルギー源36は、スイッチ54を通してX線伝送機48に接続されてもよい。X線検出器50は、データ受信ユニット38に接続される。データ受信ユニット38は、コンピュータのコンピュータ可読媒体上に常駐するソフトウェアユニットであってもよい。データ記憶部24は、コンピュータ可読媒体上に常駐する。コンピュータ可読媒体は、単一のコンピュータ可読媒体であってもよい、または1つのパーソナルコンピュータ、またはネットワーク上で相互に接続されるいくつかのパーソナルコンピュータ内で分離されてもよい。データ受信ユニット38は、直接またはネットワークを経由してのいずれかにおいて、データ記憶部24に接続される。
画像発生ユニット40は、コンピュータ可読媒体上に常駐するコンピュータプログラムであってもよい。画像発生ユニット40は、直接またはネットワークを経由してのいずれかにおいて、データ記憶部24に接続される。
使用時、CTスキャナ22のオペレータが、プラットフォーム44上にその身体30を横たえて患者を設置する。基部42と回転子46との間に接続されるモータは、次いで、回転子46が、プラットフォーム44および患者の身体30を中心とした方向58に回転するように、スイッチを入れられる。オペレータはまた、プラットフォーム44が、回転子46に対して方向60に移動するように、基部42に対して平行移動方向にプラットフォーム44を移動させるモータのスイッチを入れる。オペレータは、次いで、エネルギー源36とX線伝送機48との間にスイッチ54を接続し、X線伝送機48をアクティブ化する。X線伝送機は、次いで、前進X線波62を発生させる。
患者の身体30は、前進X線波62が、身体30内の身体部分(図示せず)まで身体30に透過するように、X線伝送機48に対して位置付けられる。本実施例の目的のために、スキャンされる身体部分は、患者の肺である。肺は、それを通してカテーテルが進行し得る、多くの気管支を有する。また、カテーテルが、血液循環系等の心臓、動脈、および静脈内の中空通路を通して進行することも可能性として考えられ得る。本明細書に説明されるシステムはまた、視覚、外科手術、または介入のためにカテーテルを使用することなく内部身体部分を視認するため、例えば、腹部内の成長を視認するため、膝の内部機能を分析するため等の用途を見出し得る。身体部分は、前進X線波62のエネルギーを低減させる。身体部分内の異なる物質が、異なる量だけエネルギーを低減させる。X線検出器50のうちの1つが、身体部分からの帰還X線波64を検出するように身体30に対して位置付けられる。身体部分からの帰還X線波64は、前進X線波62に応答して検出されており、本質的に、身体部分による出力の低減により、低減された出力を有する前進X線波62である。さらなる前進X線波66もまた、図示される。さらなるX線波は、前進X線波62と66との間に発生され、X線検出器50のうちの個別のものによって検出される。このように、帰還X線波が、身体部分の異なる部分から受信される。
X線伝送機48およびX線検出器50は、患者の身体30内の身体部分の周囲で回転子46とともに回転する。このように、身体部分は、生体構造の2次元「スライス」を生成するように、異なる角度からスキャンされ得る。CTスキャンは、骨、器官、軟組織を示すことが可能である。後続のスライスが、方向60にプラットフォーム44を移動させることによって撮影される。各スライスは、したがって、2次元データを表し、スライスはともに、身体部分のデータを3次元で表す。
データ受信ユニット38は、X線検出器50から帰還X線波64の未加工データを受信する。未加工データは、患者の身体30内の身体部分に対するX線伝送機48の角度、X線検出器50のそれぞれによって検出されるエネルギー、X線検出器50のそれぞれの場所、およびプラットフォーム44の位置の間の時系列相関を含む。データ受信ユニット38は、X線検出器50によって検出される帰還X線波の未加工データ68として未加工データを記憶する。
身体部分の十分な未加工データ68が収集されるとき、オペレータは、スイッチ54を接続解除し、プラットフォーム44を停止させる。オペレータは、次いで、回転子46を停止させ、プラットフォーム44から患者を除去する。
画像発生ユニット40は、データ記憶部24から未加工データ68を読み出す。画像発生ユニット40は、未加工データ68に基づいて、画像データを発生させる。画像データは、身体部分の3次元レンダリングを含む。画像発生ユニット40は、次いで、データ記憶部24内に画像データ70として画像データを記憶する。データ記憶部24は、単一のデータ記憶部であってもよく、またはプラットフォームの間に分散されてもよく、したがって、未加工データ68および画像データ70は、パーソナルコンピュータ内の単一のデータ記憶部内に、またはいくつかのパーソナルコンピュータ内のいくつかのデータ記憶部内に位置することができる。
図3は、より詳細に患者視認システム20のコンポーネントを図示し、いくつかの実施形態による、データ記憶部24(画像データ70を保持する)、カテーテル26、および表示システム28を示す。
カテーテル26は、管腔76と、管腔76の端部に取り付けられた先端78とを含む。管腔は、カテーテル26の長さの大部分を形成する伸長部材(例えば、管状部品の空洞)である。管腔76は、少なくとも4つの直交方向および直交方向の間の全ての方向に先端78を移動させるように動作可能である、機構(図示せず)を含む。先端78は、したがって、管腔76内の機構を用いて操向可能である。管腔は、管腔76を通して先端から表示システム28に信号を中継するために要求され得る、任意の電気ケーブルおよび/または光ファイバとともに、先端を操向するために使用される機構を保持するために十分に大型である、中空ボアを有する。
カテーテル26はさらに、カテーテル慣性運動ユニット(IMU)80と、先端78に固着されるカテーテルカメラ82とを含む。カテーテルIMU80は、例えば、その中に形成されたいくつかの測定デバイスを有する、半導体チップであってもよい。測定デバイスは、1つ以上のジャイロスコープと、1つ以上の加速度計とを含む。ジャイロスコープおよび加速度計からの測定は、個別に、または組み合わせて、先端78の移動を示すデータを提供する。そのような移動は、6自由度、例えば、x、y、およびz方向への平行移動、およびx、y、およびz軸を中心とした回転において、追跡されることができる。
カテーテルカメラ82は、管腔76に対向する先端78の側にレンズ(図示せず)を有する。カテーテルカメラ82は、先端78の前の面積内に、すなわち、管腔76に対向する側に、ライブビデオデータの形態の画像を捕捉するように位置付けられる。カメラの先端の異なる側に複数の光源および複数のカメラが存在し得るが、議論を容易にするために、単一のカメラのみ、例えば、カテーテルの遠位端上の内蔵カメラおよび光源が存在すると仮定されるであろう。
表示システム28は、頭部搭載可能フレーム86と、左および右プロジェクタ88Aおよび88Bと、左および右導波管90Aおよび90Bと、検出デバイス92と、視覚アルゴリズム94とを含む。左および右プロジェクタ88Aおよび88B、左および右導波管90Aおよび90B、および検出デバイス92は、頭部搭載可能フレーム86に固着される。頭部搭載可能フレーム86は、視認者の頭部に搭載されるように成形される。頭部搭載可能フレーム86のコンポーネントは、例えば、視認者の頭部の後部に巻着するストラップ(図示せず)を含んでもよい。
左および右プロジェクタ88Aおよび88Bは、電力供給部に接続される。各プロジェクタ88Aまたは88Bは、画像データが個別のプロジェクタ88Aまたは88Bに提供されるための個別の入力を有する。個別のプロジェクタ88Aまたは88Bは、給電されると、2次元パターンで光を発生させ、そこから光を発する。左および右導波管90Aおよび90Bは、それぞれ、左および右プロジェクタ88Aおよび88Bから光を受光するように位置付けられる。左および右導波管90Aおよび90Bは、透明導波管である。
検出デバイス92は、頭部ユニットIMU100と、1つ以上の頭部ユニットカメラ102とを含む。頭部ユニットIMU100は、1つ以上のジャイロスコープと、1つ以上の加速度計とを含む。ジャイロスコープおよび加速度計は、典型的には、半導体チップ内に形成され、3つの直交軸に沿った移動および3つの直交軸を中心とした回転を含む、頭部ユニットIMU100および頭部搭載可能フレーム86の移動を検出することが可能である。
頭部ユニットカメラ102は、頭部搭載可能フレーム86の周囲の環境から画像を継続的に捕捉する。画像は、頭部搭載可能フレーム86および視認者の頭部の移動を検出するように、相互と比較されることができる。
視覚アルゴリズム94は、画像データ受信ユニット106と、表示位置付けアルゴリズム108と、カテーテル統合システム110と、表示調節アルゴリズム112と、画像処理システム114と、立体分析器116とを含む。画像データ受信ユニット106は、直接接続を通して、またはネットワークを経由して、データ記憶部24に接続される。視覚アルゴリズム94のコンポーネントは、サブルーチンまたはコールを通して相互にリンクされる。そのようなサブルーチンまたはコールを通して、画像データ受信ユニット106は、表示位置付けアルゴリズム108を介して立体分析器116にリンクされる。
カテーテル統合システム110は、管腔76内の導体を通してカテーテルIMU80およびカテーテルカメラ82に接続されてもよい。当業者は、視覚アルゴリズム94がコンピューティングシステム上に常駐し、カテーテル統合システム110がカテーテルカメラ82およびカテーテルIMU80から信号を受信し、そのような信号がアナログまたはデジタルデータからコンピュータソフトウェアデータに変換され得ることを理解するであろう。カテーテル統合システム110は、サブルーチンまたはコールを通して立体分析器116に接続されてもよい。
表示調節アルゴリズム112および画像処理システム114は、それぞれ、頭部ユニットIMU100および頭部ユニットカメラ102に接続される。そのような接続は、導体を通し、適用可能である場合、アナログまたはデジタルデータをコンピュータソフトウェアデータに変換するインバータを通す。表示調節アルゴリズム112は、サブルーチンおよびコールを通して表示位置付けアルゴリズム108に接続されてもよい。画像処理システム114は、コールおよびサブルーチンを通して表示調節アルゴリズム112に接続されてもよい。
使用時、視認者が、頭部搭載可能フレーム86をその頭部に搭載する。左および右導波管90Aおよび90Bは、次いで、視認者の左および右眼120Aおよび120Bの前に位置する。
画像データ受信ユニット106は、データ記憶部24から画像データ70を読み出し、画像データ70を表示位置付けアルゴリズム108に提供する。表示位置付けアルゴリズム108は、画像データ70を立体分析器116の中に入力する。画像データ70は、上記に説明されるような身体部分の3次元画像データである。立体分析器116は、画像データ70を分析し、画像データ70に基づいて、左および右画像データセットを決定する。左および右画像データセットは、3次元レンダリングの知覚を視認者に与える目的のために相互とわずかに異なる、2次元画像を表すデータセットである。画像データ70は、経時的に変化しない静的データセットである。
立体分析器116は、左および右画像データセットを左および右プロジェクタ88Aおよび88Bの中に入力する。左および右プロジェクタ88Aおよび88Bは、次いで、左および右光パターン122Aおよび122Bを生成する。表示システム28のコンポーネントは、平面図で示され、左および右光パターン122Aおよび122Bは、正面立面図で示される。各光パターン122Aおよび122Bは、複数のピクセルを含む。例証の目的のために、ピクセルのうちの2つからの光線124Aおよび126Aが、左プロジェクタ88Aから退出し、左導波管90Aに入射して示される。光線124Aおよび126Aは、左導波管90Aの側面から反射する。光線124Aおよび126Aは、内部反射を通して左導波管90A内で左から右に伝搬することが示されるが、光線124Aおよび126Aはまた、耐熱および反射システムを使用する紙の中への方向にも伝搬することを理解されたい。光線124Aおよび126Aは、瞳孔128Aを通して左光導波管90Aから出射し、左眼の瞳孔130Aを通して左眼120Aに入射する。光線124Aおよび126Aは、次いで、左眼120Aの網膜132A上に当射する。このように、左光パターン122Aは、左眼120Aの網膜132A上に当射する。視認者は、網膜132A上に形成されるピクセルが、視認者が左眼120Aに対向する左導波管90Aの側面上である距離を置いていると知覚する、ピクセル134Aおよび136Aであるという知覚を与えられる。
類似様式で、立体分析器116は、右画像データセットを右プロジェクタ88Bの中に入力する。右プロジェクタ88Bは、光線124Bおよび126Bの形態でピクセルによって表される、右光パターン122Bを伝送する。光線124Bおよび126Bは、右導波管90B内で反射し、瞳孔128Bを通して出射する。光線124Bおよび126Bは、次いで、右眼120Bの瞳孔130Bを通して入射し、右眼120Bの網膜132B上に当射する。光線124Bおよび126Bのピクセルは、右光導波管90Bの背後のピクセル134Bおよび136Bとして知覚される。
網膜132Aおよび132B上に生成されるパターンは、正面立面図に示される左および右画像140Aおよび140Bとして個別に知覚される。左および右画像140Aおよび140Bは、立体分析器116の機能に起因して、相互とわずかに異なる。左および右画像140Aおよび140Bは、視認者の脳では3次元レンダリングとして知覚される。
述べられたように、左および右導波管90Aおよび90Bは、透明である。眼120Aおよび120Bに対向する左および右導波管90Aおよび90Bの側面上の実際の物体からの光は、左および右導波管90Aおよび90Bを通して投影し、網膜132Aおよび132B上に当射することができる。特に、患者の身体30の表面からの光は、視認者に患者の身体30の表面が見え得るように、網膜132Aおよび132B上に当射する。視認者に見える患者の身体30の表面が、組み合わせて視認者によって知覚される左および右画像140Aおよび140Bに起因して、視認者によって知覚される3次元レンダリングを用いて拡張される、拡張現実が、生成される。
頭部ユニットIMU100は、視認者の頭部の全移動を検出する。視認者が、例えば、患者の身体30の周囲で反時計回りに移動し、同時に、その頭部を反時計回りに回転させ、患者の身体30を見続けた場合、そのような移動は、頭部ユニットIMU100内のジャイロスコープおよび加速度計によって検出されるであろう。頭部ユニットIMU100は、ジャイロスコープおよび加速度計からの測定値を表示調節アルゴリズム112に提供する。表示調節アルゴリズム112は、設置値を計算し、設置値を表示位置付けアルゴリズム108に提供する。表示位置付けアルゴリズム108は、画像データ70を修正し、視認者の頭部の移動を補償する。表示位置付けアルゴリズム108は、視認者への表示のために、修正された画像データ70を立体分析器116に提供する。
頭部ユニットカメラ102は、視認者がその頭部を移動させるにつれて、画像を継続的に捕捉する。画像処理システム114は、画像内の物体の画像を識別することによって、画像を分析する。画像処理システム114は、物体の移動を分析し、頭部搭載可能フレーム86の姿勢位置を決定する。画像処理システム114は、姿勢位置を表示調節アルゴリズム112に提供する。表示調節アルゴリズム112は、姿勢位置を使用し、表示調節アルゴリズム112が表示位置付けアルゴリズム108に提供する設置値をさらに精緻化する。表示位置付けアルゴリズム108は、したがって、頭部ユニットIMU100内の運動センサおよび頭部ユニットカメラ102によって撮影される画像の組み合わせに基づいて、画像データ70を修正する。
カテーテル統合システム110は、視認者が先端78を患者の身体30の中に挿入する前に、カテーテル26の先端78の場所を検出してもよい。視認者は、続いて、先端78を患者の身体30の中に挿入する。先端78は、次いで、視認者に可視ではなくなる。カテーテルIMU80は、先端78の全移動を示す信号をカテーテル統合システム110に提供する。カテーテル統合システム110は、したがって、カテーテルIMU80内の運動センサを使用して、先端78の位置を追跡することができる。静的である画像データ70と異なり、先端78の位置は、経時的に変化する。カテーテル統合システム110は、先端78の位置を立体分析器116に提供する。先端78の位置は、それが経時的に変化し、3次元で移動するという点で、動的であり得る。立体分析器116は、左および右プロジェクタ88Aおよび88Bの中に挿入される左および右画像データセット内で先端78を位置付ける。視認者は、したがって、左および右画像140Aおよび140B内の先端78の場所を見ることができる。先端78の場所は、視認者が3次元で先端78の場所を知覚するように、左および右画像140Aおよび140B内でわずかに変動する。左および右画像140Aおよび140Bによって提供されるような先端78の場所のレンダリングは、先端78が患者の身体30を通り抜けるにつれて経時的に変化する。レンダリングとしての先端78の場所のそのような移動は、3次元で、すなわち、左、右、上、下、前方、後方等に移動するにつれて、視認者が先端78のレンダリングを知覚するように、3次元で変化する。
カテーテルカメラ82は、ビデオデータを捕捉し続け、ビデオデータをカテーテル統合システム110に提供する。カテーテル統合システム110は、ビデオデータを立体分析器116に提供する。立体分析器116は、場所が変化するべきであることを示すユーザ相互作用イベントが検出されない限り、または検出されるまで、視認者のビュー内の固定された場所にビデオデータを設置する。ビデオデータは、異なる画像がカテーテルカメラ82によって捕捉されるにつれて経時的に変化する。
視覚アルゴリズム94は、コンピュータ可読媒体上にデータ記憶部24とともに記憶される命令のセットである。命令のセットは、上記に説明される方法を実行するようにプロセッサによって実行可能である。視覚アルゴリズム94を記憶するコンピュータ可読媒体は、視認者によって装着されるベルトパック上に位置してもよい。
図4は、患者視認システム20のコンポーネント、特に、カテーテル統合システム110のコンポーネントと、先端78内のカテーテルIMU80およびカテーテルカメラ82および立体分析器116とのそれらの関係とをより詳細に図示する。
カテーテル統合システム110は、カテーテル追跡システム150と、過去経路計算機152と、メッシュ発生器154と、予想経路計算機156と、ビデオデータ受信ユニット158と、カテーテル表示インテグレータ160とを含む。カテーテル追跡システム150は、カテーテルIMU80に接続される。カテーテル追跡システム150は、カテーテルIMU80によって検出される移動に基づいて、先端78の位置を計算する。カテーテルIMU80は、6自由度でその移動を追跡するためのいくつかのジャイロスコープおよび加速度計を含む、いくつかの先端追跡デバイスを含む。カテーテル追跡システム150は、データ記憶部24内に位置162として先端78の現在の位置を記憶する。カテーテル追跡システム150は、カテーテルIMU80を監視し続け、先端78の現在の位置を計算し続け、データ記憶部24内に現在の位置162として先端78の現在の位置を記憶し続ける。
カテーテル表示インテグレータ160は、データ記憶部24から現在の位置162を受信し、現在の位置162を立体分析器116に提供する。立体分析器116は、視認者に3次元でのレンダリングとして先端78の位置が見え得るように、レンダリングとして先端78の現在の位置162を視認者に表示する。
過去経路計算機152は、データ記憶部24から全瞬間における全位置162を読み出す。過去経路計算機152は、3次元で先端78の過去経路を計算し、データ記憶部24内に過去経路164として過去経路を記憶する。カテーテル表示インテグレータ160は、データ記憶部24から過去経路164を受信し、過去経路164を立体分析器116に提供する。立体分析器116は、3次元レンダリングとして過去経路164を視認者に表示する。
メッシュ発生器154は、データ記憶部から過去経路164を読み出し、過去経路164の周囲に3次元メッシュを発生させる。メッシュ発生器154は、次いで、データ記憶部24内にメッシュ166としてメッシュを記憶する。カテーテル表示インテグレータ160は、データ記憶部24からメッシュ166を読み出し、メッシュ166を立体分析器116に提供する。立体分析器116は、メッシュ166を視認者に表示する。立体分析器116は、いくつかの実施形態では、過去経路164にオーバーレイする、メッシュ166の3次元レンダリングを生成する。
予想経路計算機156は、データ記憶部24から先端78の全位置162を読み出し、データ記憶部24から読み出される位置162および過去の位置に基づいて、先端78の将来の経路を計算する。予想経路計算機156は、次いで、データ記憶部24内に将来の経路168として将来の経路を記憶する。カテーテル表示インテグレータ160は、データ記憶部24から将来の経路168を読み出し、将来の経路168を立体分析器116に提供する。立体分析器116は、3次元レンダリングとして将来の経路168を視認者に表示する。
ビデオデータ受信ユニット158は、カテーテルカメラ82からライブビデオを受信する。ビデオデータ受信ユニット158は、ライブビデオデータをカテーテル表示インテグレータ160に提供する。カテーテル表示インテグレータ160は、ライブビデオデータを立体分析器116に提供する。立体分析器116は、ライブビデオデータを視認者に表示する。ライブビデオデータは、3次元空間内である所定の距離において視認者に表示される、2次元表示である。カテーテル表示インテグレータはまた、メッシュ166がビデオデータ上に表示されるように、メッシュ166をビデオデータ受信ユニット158からのビデオデータと統合する。ビデオデータが、患者の身体30内のカテーテル26の変化する位置とともに変化するにつれて、メッシュ166もまた、それに応じて変化する。
図5は、いくつかの実施形態による、患者の肺内の区気管支を含む身体部分174を検査する目的のために、気管支鏡としてカテーテル26を使用する外科医の形態の視認者172による、前述で説明されたような患者視認システム20の使用を図示する。
視認者172は、左および右導波管90Aおよび90Bを通して患者の身体30を見ることができる。身体部分174は、患者の身体30の内側にあり、したがって、視認者は、実際の(すなわち、物理的な)身体部分174を見ることができない。
視認者172にはまた、前述で説明されたような画像データ70に基づく3次元レンダリング176も見える。特定の実施形態では、レンダリング176は、患者の身体30の隣に位置する。レンダリング176は、視認者172が患者の身体30に対してレンダリング176を知覚する場所を示すように図に含まれるが、本書の読者の視点から、レンダリング176は実世界に存在しないことを理解されたい。差込図180は、視認者172にはレンダリング176の一部として身体部分174の3次元レンダリング182が見え得ることを示す。
視認者172は、カテーテル26の先端78を患者の口の中に挿入する。視認者172は、次いで、先端78を身体部分174の中に前進させる。先端78の場所は、前述で説明されたように時間が密接に離間される事例において監視され、その過去経路が、3次元で記憶される。サンプリング時間は、ユースケースに応じて変動し得、内視鏡が患者の身体の内側にある間に、またはユーザが「記録/サンプリングを開始する」特徴をアクティブ化した後のみに、データを捕捉すること等の最適化が、可能性として考えられる。差込図184は、レンダリング176が3次元における先端78の場所のレンダリング186と、3次元における先端78の過去経路のレンダリング188とを含むことを示す。レンダリング182、186、および188は、視認者にレンダリング182内のレンダリング186および188が見えるように、同時に視認者172に表示されてもよい。
図6は、いくつかの実施形態による、患者の身体30に対して視認者172の場所を示す、上平面図であり、視認者172のビュー内のレンダリング176の場所をさらに図示する。レンダリング176は、ユーザ選好、事前プログラムされたデフォルト設定、または任意の他の好適な手段に基づいて、患者の身体30に対して任意の位置に設置されてもよい。図6のレンダリング176に対する患者の身体30の特定の相対場所は、例証目的のためにすぎず、いかようにも限定的と見なされるべきではない。
図7は、いくつかの実施形態による、図6の視認者172によって見られるようなビュー192を図示する。視認者172は、患者の実際の身体30およびレンダリング176を見ることができる。ビュー192はさらに、図4のカテーテルカメラ82によって捕捉されるビデオデータに基づくライブビデオを含む。ビュー192はさらに、ビデオ194にオーバーレイするメッシュ196を示す。メッシュ196は、図4のメッシュ166の表示である。
図8では、視認者172は、いくつかの実施形態によると、患者の身体30の周囲で反時計回りに移動し、また、患者の身体30を見続けるようにその頭部を反時計回りに回転させた。表示調節アルゴリズム112は、視認者172の頭部の移動を検出し、レンダリング176が、視認者172のビュー内の患者の身体30に対して静止したままに見えるように、それに応じて、レンダリング176の位置を調節する。
図9では、患者の身体30は、いくつかの実施形態によると、図7に対して時計回りに回転した。レンダリング176もまた、患者の身体30に対して静止したままであるように、時計回りに回転した。しかしながら、ライブビデオ194の場所は、図7のビュー192から図9のビュー192まで変化していない。視認者172には、したがって、同一の場所でライブビデオ194およびメッシュ196が見え、これらのコンポーネントは、視認者172の頭部の移動に応じて移動しない。視認者172は、したがって、ライブビデオ194およびメッシュ196のビューを失うことなく、異なる側面および角度から患者の身体30およびレンダリング176を視認することができる。メッシュ196の目的は、メッシュが生成された後に、またはカテーテルが反対方向に同一の経路を通して移動するにつれてカテーテルの除去の間に、視認者172が2回目に先端78を身体部分174a内の通路の中に挿入するときに、視認者がカテーテル26の先端78を誘導することを支援することであり得る。いくつかの実施形態は、仮想コンテンツの一部または全てが、実世界座標に対して固定される、または視認者に対して固定される、仮想コンテンツに関する異なる視認構成(例えば、メッシュ196、ライブビデオ194、レンダリング176)を有してもよい。
図10は、いくつかの実施形態による、図7および9の図では小さすぎて見えない、視認者に表示されるレンダリング176のコンポーネントを示す。視認者172には、身体部分174のレンダリング182、186、および188、先端78、および先端の過去経路が見える。視認者にはまた、メッシュ196の3次元レンダリングも見える。メッシュ196は、例証の目的のためにレンダリング182、186、および188から分離されて示されるが、メッシュ196は、身体部分174のレンダリング182にオーバーレイし得ることを理解されたい。
図11および12に示されるように、いくつかの実施形態では、視認者172には、2つの場所で、すなわち、レンダリング176の一部として(図11)、およびライブビデオ194にオーバーレイして(図12)、メッシュ196が見える。
図13は、いくつかの実施形態による、図4の予想経路計算機156の機能を図示する。グラフは、経時的にx、y、およびz軸を中心としたカテーテル26の先端78の回転を図示する。各軸を中心とした回転は、第1の位置202から第2の位置204までの移動の第1の量200を決定するように、短い時間量にわたって分析されてもよい。移動の第1の量200は、先端78の将来移動の予測を計算するために使用されてもよい。
図14は、いくつかの実施形態による、第1の位置202における先端78を図示する。図15では、先端78は、いくつかの実施形態によると、第1の量200だけ第1の位置202から第2の位置204まで移動した。図15に示される第1の量200は、全ての軸を中心とした、および全ての平行移動方向への全ての移動の全てのベクトルの合計である。
図14では、先端78が身体部分174の中にさらに挿入される場合、先端78が辿るであろう方向が、管腔76の延在206に沿っているという仮定が立てられ得る。図16は、いくつかの実施形態による、管腔76が第1の量200だけ移動した後の管腔76の延在208を示す。視認者は、先端78が身体部分174と接触して傷害を引き起こすであろうため、典型的には、延在208の経路に沿って先端78を前進させないであろう。代わりに、視認者172は、傷害を回避するために、経路210を辿ることを好むであろう。経路210は、第2の位置204から第3の位置214まで第2の量212だけ変位される。第1の量200および第2の量212は、参照を容易にするために同一の方向に測定される。
図17は、いくつかの実施形態による、先端78がおそらく辿るであろう実際の経路218を図示する。経路218は、経路208から出て、視認者が先端78を身体部分174の中にさらに挿入するにつれて、経路214に接近する。立体分析器116は、3次元で経路218を視認者172に表示する。
図18は、いくつかの実施形態による、その内側で、コンピュータシステム900の例示的形態の機械に、本明細書に議論される方法論のうちのいずれか1つ以上のものを実施させるための命令のセットが、実行され得る、機械の図形表現を示す。代替実施形態では、機械は、独立型デバイスとして動作する、または他の機械に接続(例えば、ネットワーク化)されてもよい。さらに、単一の機械のみが図示されるが、用語「機械」はまた、本明細書に議論される方法論のうちのいずれか1つ以上のものを実施する命令のセット(または複数のセット)を個別に、または合同で実行する、機械の任意の集合を含むように解釈されるものとする。
例示的コンピュータシステム900は、バス908を介して相互と通信する、プロセッサ902(例えば、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、または両方)と、メインメモリ904(例えば、読取専用メモリ(ROM)、フラッシュメモリ、同期DRAM(SDRAM)またはRambus DRAM(RDRAM)等のダイナミックランダムアクセスメモリ(DRAM)等)と、静的メモリ906(例えば、フラッシュメモリ、スタティックランダムアクセスメモリ(SRAM)等)とを含む。
コンピュータシステム900はさらに、ディスクドライブユニット916と、ネットワークインターフェースデバイス920とを含んでもよい。
ディスクドライブユニット916は、本明細書に説明される方法論または機能のいずれかうちの1つ以上のものを具現化する、命令924(例えば、ソフトウェア)の1つ以上のセットが記憶される、機械可読媒体922を含む。ソフトウェアはまた、同様に機械可読媒体を構成する、コンピュータシステム900、メインメモリ904、およびプロセッサ902による、その実行の間に、完全に、または少なくとも部分的にメインメモリ904内に、および/またはプロセッサ902内に常駐してもよい。
ソフトウェアはさらに、ネットワークインターフェースデバイス920を介して、ネットワーク928を経由して伝送または受信されてもよい。
コンピュータシステム900は、プロジェクタを駆動してレーザ光を発生させるために使用される、レーザドライバチップ950を含む。レーザドライバチップ950は、その独自のデータ記憶部と、その独自のプロセッサ962とを含む。
機械可読媒体922は、例示的実施形態では、単一の媒体であるように示されるが、用語「機械可読媒体」は、命令の1つ以上のセットを記憶する、単一の媒体または複数の媒体(例えば、集中または分散データベース、および/または関連付けられるキャッシュおよびサーバ)を含むように解釈されるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶、エンコード、または搬送することが可能であり、機械に本発明の方法論のうちのいずれか1つ以上のものを実施させる、任意の媒体を含むように解釈されるものとする。用語「機械可読媒体」は、故に、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むように解釈されるものとする。
上記に説明される実装は、CTスキャナ22を使用し、身体部分174をスキャンする。CTスキャナは、X線伝送機の形態の伝送機と、X線検出器の形態の受信機とを有し、X線波の形態の波を伝送および受信する。他の伝送機および受信機を使用し、異なる波を伝送および検出する、他のスキャンデバイスを使用することが、可能性として考えられ得る。例えば、ソーナシステムが、音波を伝送するための音声伝送機および音波を受信するための音声受信機を使用する。視覚システムは、光波を伝送する、身体部分の中に挿入される光源を含み、身体部分から反射される光波を捕捉する、身体部分内に位置するカメラを有してもよい。
しかしながら、CTスキャナが、3次元で身体部分の極めて高度に詳細な未加工データを提供し、そのようなデータが、3次元画像データを生成するように画像発生ユニットを用いて容易に変換され得るため、CTスキャナは、他のスキャンデバイスよりも好ましい。CTデータはまた、特定の物質、材料、および材料の密度に関するデータを含み得るという利点も有する。説明される実装は、視認者172のビュー192内で患者の身体30の隣に設置されたレンダリング176を示す。また、身体部分のレンダリングが、実際の身体部分がある場所であり、カテーテルの先端のレンダリングが、カテーテルの先端の実際の位置がある場所であるように、レンダリングを患者の身体30と合致させることも、可能性として考えられ得る。
本発明の側面はまた、カテーテルを伴わずに実装されることもできる。例えば、患者の身体をスキャンし、成長を決定することと、視認者が、表示システムを使用し、患者の実際の身体上に3次元における成長のレンダリングをオーバーレイすることとが、可能性として考えられ得る。このように、視認者は、患者の実際の身体「内の」成長を「見る」ことができる。
ある側面および実施形態では、侵襲性外科手術道具全般が、説明されるカテーテルの代わりに、またはそれに加えて、利用される。例えば、図14-17を参照すると、先端78は、それが通して通過している解剖学的チャネルを通して温度データを収集するようにカテーテルに結合される、熱画像カメラの先頭点を示し得る。熱データが、次いで、白黒の熱画像から変換され、画像受信ユニット106を通して可変色オーバーレイとしてオペレータに表示されてもよい。全ての表示が全てのユーザに共通画像を必要とするわけではないことを理解されたい。第1のオペレータまたは観察者(ローカルまたは遠隔)が、動脈血対静脈血または凍傷組織を示す温度データ等のある情報表示を所望し得る一方で、第2のオペレータまたは観察者が、外科手術道具の位置を示すもの等のある情報を所望し得る。換言すると、情報の表示は、患者内の道具の位置の画像に限定される必要はなく、道具から収集される画像でもあり得る。ある熱画像実施形態では、温度勾配が、ユーザあたりで選択されることができ、第1のオペレータが、有機組織と無機材料を見分け、基礎温度を華氏98.6度に設定することを所望し得る一方で、第2のオペレータが、具体的に外科手術道具を追跡し、撮像のための基礎温度を絶対ではなく事前設定された温度に設定することを意図し得る。
いくつかの実施形態では、動作エンベロープが、実装される。図14-17に戻ると、解剖学的チャネルをナビゲートしながら、患者の特定の配置が、器具の動作負荷を改変し得る。例えば、患者画像が、器具に近接する敏感な組織を示す場合、負荷は、比例して調節されてもよい。さらに例証すると、心房細動がある患者の画像が、薄い左心房壁を示す場合、0.1Nの標準軸方向負荷を伴うアブレーションカテーテルが、左心房壁に近接して動作しながら、0.01または0.05Nの範囲までテント状に張られてもよい。いくつかの実施形態では、敏感な組織等の解剖学的マーカに対して絶対および相対の両方である、位置の関数としての負荷パラダイムが、位置または収集された画像等の器具画像と併せてオペレータに表示されてもよい。オペレータにその瞬間におけるデバイス能力および限界を知らせるように、位置の関数として、器具上の負荷に定められる上限を示す、視覚フィードバックが、したがって、提供され得る。代替として、付加的オペレータまたは観察者が、器具が正しい位置にない、または所与の手技に関する患者パラメータを超えているときを即時に識別することができる。そのようなフィードバックは、視覚として説明されたが、フィードバックは、オーディオまたは触覚(器具制御における増加した抵抗または摩擦)等の他の形態をとってもよい。
いくつかの実施形態では、観察可能な運動アーチファクトが、位置調節を器具に提供する。頭部ユニットカメラ102は、患者位置データを撮像し、リアルタイム位置調節を器具に提供してもよい。いくつかの実施形態では、患者の呼吸リズムが、観察され、器具制御が、呼吸状態に適応するように修正される。頭部ユニットカメラ102は、動作環境または既知の寸法の固定された機械内の基準マーカ等によって、位置データを位置合わせし、呼気および吸気の間の胸部位置を比較し、寸法の変化を関連付けてもよい。いくつかの実施形態では、肺が吸気の間に拡張し、周辺生体構造が反応して圧縮するにつれて、器具運動が、対応して減速し、次いで、肺が呼気の間に収縮するにつれて正常な動作パラメータを回復し得る、または器具が解剖学的チャネル内で絶対的に移動するが、その解剖学的参照に対して安定しているように、x-y-z調節が、胸腔の上下に合致するように行われ得る。他の観察される誘因が、動作調節も提供し得、心拍数および血管の予期される収縮/拡張が、位置の更新を器具に提供し得る。
いくつかの実施形態では、患者活動(例えば、呼吸リズム、心拍)のフィードバック制御が、時間T~T~Tにおいて頭部ユニットカメラ102によって3つの別個の時間に収集され、画像は、(患者の移動、その呼吸リズム、心拍等に起因する)患者位置の変化を決定するように、時間Tにおいて分析される。頭部ユニットカメラ102に動作可能に結合される器具が、時間Tにおいて(すなわち、Tの前に、またはそれと同時に)制御入力を与えられ、時間T~Tにわたって経時的に観察される患者位置の変化に基づく制御入力の調節が、時間Tにおいて行われる。いくつかの実施形態では、制御入力の変化は、患者位置の測定された変化の割合である。
図19は、測定された患者位置データと制御フィードバック調節との間の例示的関係を図示する。描写されるように、呼吸から起こる胸部拡張による患者位置の理論的y方向変化が、曲線1901によって表される。観察された患者位置データが、それぞれ、胸部位置y、y、およびyに対応する、時間T、T、およびTにおいて収集される。好ましくは、3つの収集時間が、標的測定のための傾向分析を提供するように作成される。例えば、平均ヒト呼吸数は、1分あたり15回の呼吸であり、任意の所与の吸気または呼気に約2秒を配分する。測定された吸気に基づくが、呼気の間に適用される、器具位置の補正を回避するために、少なくとも3回の測定が、傾向分析を提供するように行われる。平均ヒト呼吸数を考慮すると、少なくとも0.667秒または1.5Hzの測定の合間の時間間隔が、好ましい。そのような周波数は、TおよびTのそれぞれの合間の時間である必要はなく、TおよびTにおける関連付けられるアクションを可能な限り迅速に適用させることが好ましい。
図19に戻ると、位置y1-y2-y3の変化は、Tにおける分析の間に、吸気がTに近接して完結していることをシステムに示す。したがって、Tにおけるフィードバック制御は、呼気の間に「吸気補正」を適用することを回避するように、調節を提供しなくてもよい、またはTに対するTの時間関係および推定y位置変化に基づいて、負のy位置調節を提供してもよい。例えば、TとTとの間の時間が、TとTとの間の時間に類似し、システムが、yおよびyと比較して、yとyとの間にあるような変化から、患者がy方向への変化を受けていることを認識する場合、調節は、TからTまで測定されるような変化未満またはそれと等しくあり得る。これは、下記の論理的関係として描写され得る。
(T-T=T-T)∩(y-y)<(y-y)である場合、Tにおける補正<(y-y
ある例示的実施形態が、説明され、付随する図面に示されたが、そのような実施形態は、例証的にすぎず、現在の発明の制限ではなく、修正が当業者に想起され得るため、本発明は、示されて説明される具体的構造および配列に制限されないことを理解されたい。

Claims (18)

  1. 患者視認システムであって、前記患者視認システムは、
    管腔と患者の身体内の身体部分の中に挿入するための先端とを有するカテーテルと、
    前記先端の移動を検出する先端追跡デバイスと、
    左プロジェクタおよび右プロジェクタと、
    前記左プロジェクタおよび前記右プロジェクタに接続されている左光導波管および右光導波管であって、前記左光導波管および前記右光導波管は、管状である、左光導波管および右光導波管と、
    プロセッサと、
    前記プロセッサに接続されているコンピュータ読み取り可能な媒体と、
    前記コンピュータ読み取り可能な媒体上のデータ記憶部と、
    前記データ記憶部上に記憶されている画像データと、
    前記コンピュータ読み取り可能な媒体上に記憶されている命令のセットであって、前記プロセッサによって実行可能である命令のセットと
    を備え、
    前記命令のセットは、
    前記先端追跡デバイスに接続されているカテーテル追跡システムであって、前記カテーテル追跡システムは、前記先端追跡デバイスによって検出される移動に基づいて、測定値を受信し、前記測定値に基づいて、前記先端の位置を決定し、前記データ記憶部内に前記先端の位置を記憶する、カテーテル追跡システムと、
    前記先端の位置と前記画像データとを組み合わせるカテーテル表示インテグレータと、
    前記画像データを受信するように前記データ記憶部に接続されている立体分析器であって、前記立体分析器は、視認者に対して2次元画像を表示するために、前記画像データに基づいて、左画像データセットおよび右画像データセットを決定し、前記左プロジェクタおよび前記右プロジェクタは、それぞれ、前記左光導波管および前記右光導波管を通して、前記左画像データセットおよび前記右画像データセットを投影することにより、前記視認者に対して前記2次元画像を表示し、前記左画像データセットおよび前記右画像データセットは、3次元レンダリングの知覚を前記視認者に与えるように相互と異なり、前記表示された2次元画像は、前記画像データおよび前記先端の位置を表す2次元画像を含む、立体分析器と、
    前記先端の過去経路を記憶する過去経路計算機と、
    次元メッシュを発生させ、前記データ記憶部内に前記3次元メッシュを記憶するメッシュ発生器と
    を含み、
    前記カテーテル表示インテグレータは、前記3次元メッシュを前記立体分析器に提供し、前記立体分析器は、前記視認者に対して前記先端の前記過去経路および前記先端の位置とともに前記3次元メッシュを表示することを前記左プロジェクタおよび前記右プロジェクタに行わせ、前記3次元メッシュのレンダリングは、前記先端の前記過去経路のレンダリングおよび前記身体部分の3次元レンダリングをオーバーレイし、前記身体部分の3次元レンダリングは、前記先端の前記過去経路のレンダリングを含む、患者視認システム。
  2. 前記患者視認システムは、頭部搭載可能なフレームをさらに備え、
    前記左光導波管および前記右光導波管は、前記頭部搭載可能なフレームに固着されている、請求項1に記載の患者視認システム。
  3. 前記左光導波管および前記右光導波管は、前記視認者の眼の前に位置付けられている透明な光導波管である、請求項2に記載の患者視認システム。
  4. 前記患者視認システムは、前記頭部搭載可能なフレームの移動を検出する頭部ユニット検出デバイスをさらに備え、
    前記命令のセットは、
    前記頭部ユニット検出デバイスに接続されている表示調節アルゴリズムであって、前記頭部ユニット検出デバイスによって検出される移動を示すジャイロスコープおよび加速度計測定データを受信し、前記視認者の眼のビュー内に患者の身体部分を設置するために使用される設置値を計算する表示調節アルゴリズムと、
    前記設置値に基づいて、前記眼のビュー内の前記身体部分の位置を修正する表示位置付けアルゴリズムと
    を含む、請求項2または請求項3に記載の患者視認システム。
  5. 前記頭部ユニット検出デバイスは、
    前記頭部搭載可能なフレームに搭載されている頭部ユニット慣性測定ユニット(IMU)を含み、
    前記頭部慣性測定ユニット(IMU)は、前記頭部搭載可能なフレームの移動を検出する運動センサを含む、請求項4に記載の患者視認システム。
  6. 前記頭部ユニット検出デバイスは、
    前記頭部搭載可能なフレームに搭載されている頭部ユニットカメラを含み、
    前記頭部ユニットカメラは、前記頭部ユニットカメラのビュー内の物体の画像を撮影することによって、前記頭部搭載可能なフレームの移動を検出する、請求項4または請求項5に記載の患者視認システム。
  7. 前記命令のセットは、前記画像を分析することにより、前記頭部搭載可能なフレームの姿勢位置を検出する画像処理システムを含む、請求項6に記載の患者視認システム。
  8. 前記患者視認システムは、
    伝送機と、
    前記伝送機をアクティブ化するように前記伝送機に接続されているエネルギー源であって、患者の身体は、前記伝送機が前記身体内の身体部分において前進波を発生させるために、前記伝送機に対して位置付け可能であり、前記身体部分は、前記前進波の出力を低減する、エネルギー源と、
    前記身体部分からの帰還波を検出するように前記身体に対して位置付け可能である受信機であって、前記帰還波は、前記低減された出力を伴う前記前進波であり、前記身体部分からの前記帰還波は、前記伝送機によって生成される前記前進波に応答して検出される、受信機と
    をさらに備え、
    前記命令のセットは、
    前記受信機によって検出される前記帰還波の未加工データを受信し、前記データ記憶部内に前記未加工データを記憶する未加工データ受信ユニットと、
    前記帰還波の未加工データを処理することにより、画像を表す前記画像データを生成し、前記データ記憶部内に前記画像データを記憶するように前記データ記憶部に接続されている画像発生ユニットと、
    前記データ記憶部から前記画像データを受信する画像データ受信ユニットと
    を含む、請求項1~7のいずれか一項に記載の患者視認システム。
  9. 前記患者視認システムは、コンピュータ断層撮影(CT)スキャナを備え、
    前記コンピュータ断層撮影(CT)スキャナは、
    基部と、
    前記患者のためのプラットフォームと、
    前記患者を中心とした回転のために前記基部に搭載されている回転子であって、前記伝送機は、前記回転子に固着されており、かつ、X線波を伝送するX線伝送機であり、前記受信機は、前記X線波を検出するように前記回転子に固着されているX線検出器であり、前記基部に対する前記プラットフォームの移動は、前記X線伝送機から前記X線検出器まで延在する平面に対して前記患者の移動を可能にする、回転子と
    を含む、請求項8に記載の患者視認システム。
  10. 前記過去経路計算機は、前記データ記憶部内に前記先端の前記過去経路を記憶し、前記カテーテル表示インテグレータは、前記先端の前記過去経路を前記立体分析器に提供し、前記立体分析器は、前記視認者に対して前記先端の位置とともに前記先端の前記過去経路を表示することを前記左プロジェクタおよび前記右プロジェクタに行わせる、請求項1~9のいずれか一項に記載の患者視認システム。
  11. 前記患者視認システムは、前記先端内のカテーテルカメラをさらに備え、
    前記カテーテルカメラは、前記先端の前の領域のビデオデータを捕捉し、
    前記命令のセットは、
    前記ビデオデータを受信するように前記先端内の前記カテーテルカメラに接続されているビデオデータ受信ユニットを含み、
    前記カテーテル表示インテグレータは、前記ビデオデータを前記立体分析器に提供し、前記立体分析器は、前記ビデオデータに基づいて、前記視認者に対してライブビデオを表示することを前記左プロジェクタおよび前記右プロジェクタに行わせる、請求項1~10のいずれか一項に記載の患者視認システム。
  12. 前記命令のセットは、
    前記先端の位置に基づいて、前記先端の将来の経路を計算する予想経路計算機を含み、
    前記カテーテル表示インテグレータは、前記先端の前記将来の経路を前記立体分析器に提供し、前記立体分析器は前記視認者に対して前記先端の前記将来の経路を表示することを前記左プロジェクタおよび前記右プロジェクタに行わせる、請求項1~11のいずれか一項に記載の患者視認システム。
  13. 前記将来の経路は、前記先端追跡デバイスによって検出される前記移動に基づいて計算される、請求項12に記載の患者視認システム。
  14. 前記先端追跡デバイスによって検出される前記移動は、選択された方向への第1の角度を通した第1の位置から第2の位置までの移動の第1の量であり、前記将来の経路は、前記選択された方向への第2の角度を通した前記第2の位置から第3の位置までの移動の第2の量である、請求項13に記載の患者視認システム。
  15. 前記患者視認システムは、前記先端上の侵襲性外科手術道具をさらに備える、請求項1~14のいずれか一項に記載の患者視認システム。
  16. 前記患者視認システムは、
    呼吸リズムおよび心拍のうちの少なくとも一方を含む患者活動を観察するための運動検出システムをさらに備え、
    前記患者視認システムは、前記視認者が、前記患者活動に基づいて、前記先端に対する位置調節を行うことが可能であるように構成されている、請求項1~15のいずれか一項に記載の患者視認システム。
  17. 前記運動検出システムは、時間T1~T2~T3における3つの別個の時間において、前記患者活動の画像を収集し、前記画像は、患者位置の変化を決定するように、時間T4において分析され、前記時間T1~T3にわたって観察される前記患者位置の変化に基づく前記カテーテルの制御入力の調節は、時間T5において行われる、請求項16に記載の患者視認システム。
  18. (T5-T3=T3-T2)∩(y3-y2)<(y2-y1)である場合、T5における補正<(y3-y2)であり、
    ここで、y1は、前記時間T1に対応する患者位置を表し、y2は、前記時間T2に対応する患者位置を表し、y3は、前記時間T3に対応する患者位置を表す、請求項17に記載の患者視認システム。
JP2021509779A 2018-08-22 2019-08-22 患者視認システム Active JP7487176B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023118968A JP2023133406A (ja) 2018-08-22 2023-07-21 患者視認システム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862721516P 2018-08-22 2018-08-22
US62/721,516 2018-08-22
US201862771534P 2018-11-26 2018-11-26
US62/771,534 2018-11-26
PCT/US2019/047746 WO2020041615A1 (en) 2018-08-22 2019-08-22 Patient viewing system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023118968A Division JP2023133406A (ja) 2018-08-22 2023-07-21 患者視認システム

Publications (3)

Publication Number Publication Date
JP2021533919A JP2021533919A (ja) 2021-12-09
JPWO2020041615A5 JPWO2020041615A5 (ja) 2022-07-21
JP7487176B2 true JP7487176B2 (ja) 2024-05-20

Family

ID=69591341

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021509779A Active JP7487176B2 (ja) 2018-08-22 2019-08-22 患者視認システム
JP2023118968A Pending JP2023133406A (ja) 2018-08-22 2023-07-21 患者視認システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023118968A Pending JP2023133406A (ja) 2018-08-22 2023-07-21 患者視認システム

Country Status (5)

Country Link
US (1) US12016719B2 (ja)
EP (1) EP3840645A4 (ja)
JP (2) JP7487176B2 (ja)
CN (1) CN112955073A (ja)
WO (1) WO2020041615A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11648081B2 (en) * 2019-04-02 2023-05-16 Intuitive Surgical Operations, Inc. System and method for image detection during instrument grasping and stapling
US11510750B2 (en) * 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US20210378759A1 (en) * 2020-06-03 2021-12-09 Covidien Lp Surgical tool navigation using sensor fusion

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327514A (ja) 2000-05-23 2001-11-27 Toshiba Corp 放射線治療計画装置及び放射線治療計画法
JP2010516406A (ja) 2007-01-25 2010-05-20 ウォーソー・オーソペディック・インコーポレーテッド 自動手術支援及び制御を有する一体型手術ナビゲーション神経モニタリングシステム
JP2010220885A (ja) 2009-03-24 2010-10-07 Terumo Corp 医療用デバイス
JP2015019678A (ja) 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2015504690A (ja) 2011-12-03 2015-02-16 コーニンクレッカ フィリップス エヌ ヴェ 半自動経路プランニングのための自動奥行きスクローリング及びオリエンテーション調整
US20160015470A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
WO2017049163A1 (en) 2015-09-18 2017-03-23 Auris Surgical Robotics, Inc. Navigation of tubular networks
JP2017153498A (ja) 2014-06-17 2017-09-07 日本電産コパル電子株式会社 感圧センサと感圧カテーテル
WO2018057564A1 (en) 2016-09-22 2018-03-29 Medtronic Navigation, Inc. System for guided procedures
WO2018085287A1 (en) 2016-11-02 2018-05-11 Intuitive Surgical Operations, Inc. Systems and methods of continuous registration for image-guided surgery
JP2018126251A (ja) 2017-02-07 2018-08-16 キヤノンメディカルシステムズ株式会社 医用画像診断システム及び複合現実画像生成装置

Family Cites Families (567)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6541736B1 (en) 2001-12-10 2003-04-01 Usun Technology Co., Ltd. Circuit board/printed circuit board having pre-reserved conductive heating circuits
US4344092A (en) 1980-10-21 1982-08-10 Circon Corporation Miniature video camera means for video system
US4652930A (en) 1984-11-19 1987-03-24 Rca Corporation Television camera structure
US4810080A (en) 1987-09-03 1989-03-07 American Optical Corporation Protective eyewear with removable nosepiece and corrective spectacle
US5142684A (en) 1989-06-23 1992-08-25 Hand Held Products, Inc. Power conservation in microprocessor controlled devices
US4997268A (en) 1989-07-24 1991-03-05 Dauvergne Hector A Corrective lens configuration
US5074295A (en) 1989-08-03 1991-12-24 Jamie, Inc. Mouth-held holder
JPH0712944Y2 (ja) 1989-08-24 1995-03-29 株式会社アドバンテスト 電子部品実装基板の温度保護構造
US5007727A (en) 1990-02-26 1991-04-16 Alan Kahaney Combination prescription lens and sunglasses assembly
US5396635A (en) 1990-06-01 1995-03-07 Vadem Corporation Power conservation apparatus having multiple power reduction levels dependent upon the activity of the computer system
US5240220A (en) 1990-09-12 1993-08-31 Elbex Video Ltd. TV camera supporting device
EP0697614A2 (en) 1991-03-22 1996-02-21 Nikon Corporation Optical apparatus for correcting image deviation
WO1993001743A1 (en) 1991-07-22 1993-02-04 Adair Edwin Lloyd Sterile video microscope holder for operating room
US5251635A (en) * 1991-09-03 1993-10-12 General Electric Company Stereoscopic X-ray fluoroscopy system using radiofrequency fields
US5224198A (en) 1991-09-30 1993-06-29 Motorola, Inc. Waveguide virtual image display
CA2061117C (en) 1991-12-02 1998-09-29 Neta J. Amit Apparatus and method for distributed program stack
US5497463A (en) 1992-09-25 1996-03-05 Bull Hn Information Systems Inc. Ally mechanism for interconnecting non-distributed computing environment (DCE) and DCE systems to operate in a network system
US5937202A (en) 1993-02-11 1999-08-10 3-D Computing, Inc. High-speed, parallel, processor architecture for front-end electronics, based on a single type of ASIC, and method use thereof
US5410763A (en) 1993-02-11 1995-05-02 Etablissments Bolle Eyeshield with detachable components
US5682255A (en) 1993-02-26 1997-10-28 Yeda Research & Development Co. Ltd. Holographic optical devices for the transmission of optical signals of a plurality of channels
US6023288A (en) 1993-03-31 2000-02-08 Cairns & Brother Inc. Combination head-protective helmet and thermal imaging apparatus
EP0632360A1 (en) 1993-06-29 1995-01-04 Xerox Corporation Reducing computer power consumption by dynamic voltage and frequency variation
US5455625A (en) 1993-09-23 1995-10-03 Rosco Inc. Video camera unit, protective enclosure and power circuit for same, particularly for use in vehicles
US5689669A (en) 1994-04-29 1997-11-18 General Magic Graphical user interface for navigating between levels displaying hallway and room metaphors
US6016147A (en) 1995-05-08 2000-01-18 Autodesk, Inc. Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device
US5835061A (en) 1995-06-06 1998-11-10 Wayport, Inc. Method and apparatus for geographic-based communications service
CA2180899A1 (en) 1995-07-12 1997-01-13 Yasuaki Honda Synchronous updating of sub objects in a three dimensional virtual reality space sharing system and method therefore
US5826092A (en) 1995-09-15 1998-10-20 Gateway 2000, Inc. Method and apparatus for performance optimization in power-managed computer systems
US5737533A (en) 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US6219045B1 (en) 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US5864365A (en) 1996-01-26 1999-01-26 Kaman Sciences Corporation Environmentally controlled camera housing assembly
US6064749A (en) 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US5854872A (en) 1996-10-08 1998-12-29 Clio Technologies, Inc. Divergent angle rotator system and method for collimating light beams
US8005254B2 (en) 1996-11-12 2011-08-23 Digimarc Corporation Background watermark processing
US6012811A (en) 1996-12-13 2000-01-11 Contour Optik, Inc. Eyeglass frames with magnets at bridges for attachment
JP3651204B2 (ja) 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
JP3465528B2 (ja) 1997-04-22 2003-11-10 三菱瓦斯化学株式会社 新規な光学材料用樹脂
JPH10309381A (ja) 1997-05-13 1998-11-24 Yoshimasa Tanaka 移動体用遊戯装置
US6271843B1 (en) 1997-05-30 2001-08-07 International Business Machines Corporation Methods systems and computer program products for transporting users in three dimensional virtual reality worlds using transportation vehicles
KR100584706B1 (ko) 1997-08-29 2006-05-30 가부시키가이샤 세가 화상 처리 시스템 및 화상 처리 방법
JPH11142783A (ja) 1997-11-12 1999-05-28 Olympus Optical Co Ltd 画像表示装置
US6243091B1 (en) 1997-11-21 2001-06-05 International Business Machines Corporation Global history view
US6385735B1 (en) 1997-12-15 2002-05-07 Intel Corporation Method and apparatus for limiting processor clock frequency
US6079982A (en) 1997-12-31 2000-06-27 Meader; Gregory M Interactive simulator ride
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
US6362817B1 (en) 1998-05-18 2002-03-26 In3D Corporation System for creating and viewing 3D environments using symbolic descriptors
US6076927A (en) 1998-07-10 2000-06-20 Owens; Raymond L. Adjustable focal length eye glasses
US6119147A (en) 1998-07-28 2000-09-12 Fuji Xerox Co., Ltd. Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space
JP2000099332A (ja) 1998-09-25 2000-04-07 Hitachi Ltd 遠隔手続き呼び出し最適化方法とこれを用いたプログラム実行方法
US6414679B1 (en) 1998-10-08 2002-07-02 Cyberworld International Corporation Architecture and methods for generating and displaying three dimensional representations
US6415388B1 (en) 1998-10-30 2002-07-02 Intel Corporation Method and apparatus for power throttling in a microprocessor using a closed loop feedback system
US6918667B1 (en) 1998-11-02 2005-07-19 Gary Martin Zelman Auxiliary eyewear attachment apparatus
US6487319B1 (en) 1998-11-18 2002-11-26 Sarnoff Corporation Apparatus and method for identifying the location of a coding unit
US7111290B1 (en) 1999-01-28 2006-09-19 Ati International Srl Profiling program execution to identify frequently-executed portions and to assist binary translation
US6556245B1 (en) 1999-03-08 2003-04-29 Larry Allan Holmberg Game hunting video camera
US6396522B1 (en) 1999-03-08 2002-05-28 Dassault Systemes Selection navigator
US6590593B1 (en) 1999-04-06 2003-07-08 Microsoft Corporation Method and apparatus for handling dismissed dialogue boxes
US7119819B1 (en) 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US6375369B1 (en) 1999-04-22 2002-04-23 Videolarm, Inc. Housing for a surveillance camera
GB9930850D0 (en) 1999-12-24 2000-02-16 Koninkl Philips Electronics Nv 3D environment labelling
US6621508B1 (en) 2000-01-18 2003-09-16 Seiko Epson Corporation Information processing system
AU2001233019A1 (en) 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
JP4921634B2 (ja) 2000-01-31 2012-04-25 グーグル インコーポレイテッド 表示装置
US9129034B2 (en) 2000-02-04 2015-09-08 Browse3D Corporation System and method for web browsing
KR20000030430A (ko) 2000-02-29 2000-06-05 김양신 3차원 그래픽 가상공간을 이용한 인터넷 광고시스템
JP4479051B2 (ja) 2000-04-28 2010-06-09 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US6784901B1 (en) 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
KR100487543B1 (ko) 2000-09-01 2005-05-03 엘지전자 주식회사 시피유 스케쥴링 방법
US7788323B2 (en) 2000-09-21 2010-08-31 International Business Machines Corporation Method and apparatus for sharing information in a virtual environment
JP4646374B2 (ja) 2000-09-29 2011-03-09 オリンパス株式会社 画像観察光学系
WO2002029700A2 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US7168051B2 (en) 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
TW522256B (en) 2000-12-15 2003-03-01 Samsung Electronics Co Ltd Wearable display system
US6715089B2 (en) 2001-01-22 2004-03-30 Ati International Srl Reducing power consumption by estimating engine load and reducing engine clock speed
US20020108064A1 (en) 2001-02-07 2002-08-08 Patrick Nunally System and method for optimizing power/performance in network-centric microprocessor-controlled devices
US6807352B2 (en) 2001-02-11 2004-10-19 Georgia Tech Research Corporation Optical waveguides with embedded air-gap cladding layer and methods of fabrication thereof
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
US7176942B2 (en) 2001-03-23 2007-02-13 Dassault Systemes Collaborative design
US20020140848A1 (en) 2001-03-30 2002-10-03 Pelco Controllable sealed chamber for surveillance camera
EP1249717A3 (en) 2001-04-10 2005-05-11 Matsushita Electric Industrial Co., Ltd. Antireflection coating and optical element using the same
GB2393294B (en) 2001-04-27 2005-04-06 Ibm Method and apparatus for controlling operation speed of processor
US6961055B2 (en) 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
JP4682470B2 (ja) 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
US6622253B2 (en) 2001-08-02 2003-09-16 Scientific-Atlanta, Inc. Controlling processor clock rate based on thread priority
US6762845B2 (en) 2001-08-23 2004-07-13 Zygo Corporation Multiple-pass interferometry
DE60124961T2 (de) 2001-09-25 2007-07-26 Cambridge Flat Projection Displays Ltd., Fenstanton Flachtafel-Projektionsanzeige
US6833955B2 (en) 2001-10-09 2004-12-21 Planop Planar Optics Ltd. Compact two-plane optical device
WO2003034705A2 (en) * 2001-10-19 2003-04-24 University Of North Carolina At Chapel Hill Methods and systems for dynamic virtual convergence and head mountable display
JP3805231B2 (ja) 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
JP3834615B2 (ja) 2001-11-02 2006-10-18 独立行政法人産業技術総合研究所 画像表示方法及びシステム
US7076674B2 (en) 2001-12-19 2006-07-11 Hewlett-Packard Development Company L.P. Portable computer having dual clock mode
JP2003329873A (ja) 2001-12-27 2003-11-19 Fujikura Ltd 位置決め機構を備えた光ファイバ把持具、光ファイバアダプタ、及び光ファイバ加工装置
US6592220B1 (en) 2002-01-30 2003-07-15 Lak Cheong Eyeglass frame with removably mounted lenses
US7305020B2 (en) 2002-02-04 2007-12-04 Vizionware, Inc. Method and system of reducing electromagnetic interference emissions
US7038694B1 (en) 2002-03-11 2006-05-02 Microsoft Corporation Automatic scenery object generation
US6999087B2 (en) 2002-03-12 2006-02-14 Sun Microsystems, Inc. Dynamically adjusting sample density in a graphics system
EP1351117A1 (en) 2002-04-03 2003-10-08 Hewlett-Packard Company Data processing system and method
US7475000B2 (en) 2002-04-25 2009-01-06 Arc International, Plc Apparatus and method for managing integrated circuit designs
US6849558B2 (en) 2002-05-22 2005-02-01 The Board Of Trustees Of The Leland Stanford Junior University Replication and transfer of microstructures and nanostructures
KR100382232B1 (en) 2002-05-31 2003-05-09 Palm Palm Tech Mobile terminal having enhanced power managing function and power managing method thereof
US7046515B1 (en) 2002-06-06 2006-05-16 Raytheon Company Method and apparatus for cooling a circuit component
US7155617B2 (en) 2002-08-01 2006-12-26 Texas Instruments Incorporated Methods and systems for performing dynamic power management via frequency and voltage scaling
US6714157B2 (en) 2002-08-02 2004-03-30 The Boeing Company Multiple time-interleaved radar operation using a single radar at different angles
US20040113887A1 (en) 2002-08-27 2004-06-17 University Of Southern California partially real and partially simulated modular interactive environment
KR100480786B1 (ko) 2002-09-02 2005-04-07 삼성전자주식회사 커플러를 가지는 집적형 광 헤드
AU2003265891A1 (en) 2002-09-04 2004-03-29 Mentor Graphics (Holdings) Ltd. Polymorphic computational system and method in signals intelligence analysis
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
AU2003283680A1 (en) 2002-12-04 2004-06-23 Koninklijke Philips Electronics N.V. Software-based control of microprocessor power dissipation
US7306337B2 (en) 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US20050128212A1 (en) 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
DE10311972A1 (de) 2003-03-18 2004-09-30 Carl Zeiss HMD-Vorrichtung
AU2003901272A0 (en) 2003-03-19 2003-04-03 Martin Hogan Pty Ltd Improvements in or relating to eyewear attachments
US7294360B2 (en) 2003-03-31 2007-11-13 Planar Systems, Inc. Conformal coatings for micro-optical elements, and method for making the same
US20040205757A1 (en) 2003-04-09 2004-10-14 Pering Trevor A. Performance scheduling using multiple constraints
CN100416340C (zh) * 2003-04-25 2008-09-03 微型光学公司 双目镜观察***
US20060132914A1 (en) 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
US20040268159A1 (en) 2003-06-30 2004-12-30 Microsoft Corporation Power profiling
US7467356B2 (en) 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US7134031B2 (en) 2003-08-04 2006-11-07 Arm Limited Performance control within a multi-processor system
JP3931336B2 (ja) 2003-09-26 2007-06-13 マツダ株式会社 車両用情報提供装置
US7434083B1 (en) 2004-01-06 2008-10-07 Apple Inc. Method and apparatus for the generation and control of clock signals
JP4699699B2 (ja) 2004-01-15 2011-06-15 株式会社東芝 ビーム光走査装置及び画像形成装置
US7269590B2 (en) 2004-01-29 2007-09-11 Yahoo! Inc. Method and system for customizing views of information associated with a social network user
EP1731943B1 (en) 2004-03-29 2019-02-13 Sony Corporation Optical device and virtual image display device
JP4364047B2 (ja) 2004-04-14 2009-11-11 オリンパス株式会社 表示装置、撮像装置
CN100350792C (zh) 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
US7219245B1 (en) 2004-06-03 2007-05-15 Advanced Micro Devices, Inc. Adaptive CPU clock management
US20060019723A1 (en) 2004-06-29 2006-01-26 Pieter Vorenkamp Automatic control of power save operation in a portable communication device utilizing historical usage information
US7382288B1 (en) 2004-06-30 2008-06-03 Rockwell Collins, Inc. Display of airport signs on head-up display
GB0416038D0 (en) 2004-07-16 2004-08-18 Portland Press Ltd Document display system
WO2006007868A1 (en) 2004-07-22 2006-01-26 Pirelli & C. S.P.A. Integrated wavelength selective grating-based filter
US7542040B2 (en) 2004-08-11 2009-06-02 The United States Of America As Represented By The Secretary Of The Navy Simulated locomotion method and apparatus
WO2006016366A2 (en) 2004-08-12 2006-02-16 Elop Electro-Optical Industries Ltd. Integrated retinal imager and method
US9030532B2 (en) 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
US7029114B2 (en) 2004-09-03 2006-04-18 E'lite Optik U.S. L.P. Eyewear assembly with auxiliary frame and lens assembly
KR101294551B1 (ko) 2004-09-16 2013-08-07 가부시키가이샤 니콘 비정질 산화 규소 바인더를 갖는 MgF2 광학 박막, 및그것을 구비하는 광학 소자, 그리고 그 MgF2 광학박막의 제조 방법
US20060090092A1 (en) 2004-10-25 2006-04-27 Verhulst Anton H Clock timing adjustment
US7536567B2 (en) 2004-12-10 2009-05-19 Hewlett-Packard Development Company, L.P. BIOS-based systems and methods of processor power management
US20060126181A1 (en) 2004-12-13 2006-06-15 Nokia Corporation Method and system for beam expansion in a display device
US8619365B2 (en) 2004-12-29 2013-12-31 Corning Incorporated Anti-reflective coating for optical windows and elements
GB0502453D0 (en) 2005-02-05 2005-03-16 Cambridge Flat Projection Flat panel lens
US7573640B2 (en) 2005-04-04 2009-08-11 Mirage Innovations Ltd. Multi-plane optical apparatus
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US7948683B2 (en) 2006-05-14 2011-05-24 Holochip Corporation Fluidic lens with manually-adjustable focus
US7644148B2 (en) 2005-05-16 2010-01-05 Hewlett-Packard Development Company, L.P. Historical data based workload allocation
WO2006132614A1 (en) 2005-06-03 2006-12-14 Nokia Corporation General diffractive optics method for expanding and exit pupil
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US7933929B1 (en) 2005-06-27 2011-04-26 Google Inc. Network link for providing dynamic data layer in a geographic information system
JP4776285B2 (ja) 2005-07-01 2011-09-21 ソニー株式会社 照明光学装置及びこれを用いた虚像表示装置
JP4660787B2 (ja) 2005-08-25 2011-03-30 隆広 西岡 眼鏡
US7739524B2 (en) 2005-08-29 2010-06-15 The Invention Science Fund I, Inc Power consumption management
US20080043334A1 (en) 2006-08-18 2008-02-21 Mirage Innovations Ltd. Diffractive optical relay and method for manufacturing the same
US20070058248A1 (en) 2005-09-14 2007-03-15 Nguyen Minh T Sport view binocular-zoom lens focus system
JPWO2007037089A1 (ja) 2005-09-27 2009-04-02 コニカミノルタホールディングス株式会社 頭部装着型映像表示装置
EP1938141A1 (en) 2005-09-28 2008-07-02 Mirage Innovations Ltd. Stereoscopic binocular system, device and method
US7817150B2 (en) 2005-09-30 2010-10-19 Rockwell Automation Technologies, Inc. Three-dimensional immersive system for representing an automation control environment
US7835785B2 (en) * 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
KR101193331B1 (ko) 2005-10-14 2012-10-19 엘지전자 주식회사 그래픽장치의 전력소모를 관리하는 시스템 및 방법
ATE422679T1 (de) 2005-11-03 2009-02-15 Mirage Innovations Ltd Binokulare optische relaiseinrichtung
JP5266059B2 (ja) 2005-11-18 2013-08-21 ナノコンプ オイ リミテッド 回折格子の製造方法
EP1952189B1 (en) 2005-11-21 2016-06-01 Microvision, Inc. Display with image-guiding substrate
US7917573B2 (en) 2005-11-30 2011-03-29 International Business Machines Corporation Measuring and reporting processor capacity and processor usage in a computer system with processors of different speed and/or architecture
JP2007199841A (ja) 2006-01-24 2007-08-09 Seiko Epson Corp 電子機器のコントローラ、バス制御装置
US8360578B2 (en) 2006-01-26 2013-01-29 Nokia Corporation Eye tracker device
KR20060059992A (ko) 2006-01-31 2006-06-02 닛토덴코 가부시키가이샤 간섭 광학필터
JP2007219106A (ja) 2006-02-16 2007-08-30 Konica Minolta Holdings Inc 光束径拡大光学素子、映像表示装置およびヘッドマウントディスプレイ
US7461535B2 (en) 2006-03-01 2008-12-09 Memsic, Inc. Multi-temperature programming for accelerometer
IL174170A (en) 2006-03-08 2015-02-26 Abraham Aharoni Device and method for two-eyed tuning
US7353134B2 (en) 2006-03-09 2008-04-01 Dean A. Cirielli Three-dimensional position and motion telemetry input
AU2007227611B2 (en) 2006-03-15 2013-07-11 Google Llc Automatic display of resized images
JP2007273733A (ja) 2006-03-31 2007-10-18 Tdk Corp 固体電解コンデンサの製造方法
CN101460882B (zh) 2006-06-02 2010-10-27 诺基亚公司 用于在出瞳扩大器中提供分色的装置和方法以及电子设备
EP1868149B1 (en) 2006-06-14 2019-08-07 Dassault Systèmes Improved computerized collaborative work
US7692855B2 (en) 2006-06-28 2010-04-06 Essilor International Compagnie Generale D'optique Optical article having a temperature-resistant anti-reflection coating with optimized thickness ratio of low index and high index layers
US9015501B2 (en) 2006-07-13 2015-04-21 International Business Machines Corporation Structure for asymmetrical performance multi-processors
US7724980B1 (en) 2006-07-24 2010-05-25 Adobe Systems Incorporated System and method for selective sharpening of images
US8214660B2 (en) 2006-07-26 2012-07-03 International Business Machines Corporation Structure for an apparatus for monitoring and controlling heat generation in a multi-core processor
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US20080030429A1 (en) 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US7640449B2 (en) 2006-08-17 2009-12-29 Via Technologies, Inc. Systems and methods for dynamic clock frequencies for low power design
US9582060B2 (en) 2006-08-31 2017-02-28 Advanced Silicon Technologies Llc Battery-powered device with reduced power consumption based on an application profile data
JP4861105B2 (ja) 2006-09-15 2012-01-25 株式会社エヌ・ティ・ティ・ドコモ 空間掲示板システム
US20080125218A1 (en) 2006-09-20 2008-05-29 Kelly James Collins Method of use for a commercially available portable virtual reality system
US20080068557A1 (en) 2006-09-20 2008-03-20 Gilbert Menduni Lens holding frame
CN101512413B (zh) 2006-09-28 2012-02-15 诺基亚公司 利用三维衍射元件的光束扩展
US20090300528A1 (en) 2006-09-29 2009-12-03 Stambaugh Thomas M Browser event tracking for distributed web-based processing, spatial organization and display of information
KR20090108588A (ko) 2006-10-31 2009-10-15 오와이 모디네스 리미티드 조명 디바이스용 광 외부결합 구조
US20080146942A1 (en) * 2006-12-13 2008-06-19 Ep Medsystems, Inc. Catheter Position Tracking Methods Using Fluoroscopy and Rotational Sensors
EP2095171A4 (en) 2006-12-14 2009-12-30 Nokia Corp DISPLAY DEVICE HAVING TWO OPERATING MODES
JP4847351B2 (ja) 2007-01-11 2011-12-28 キヤノン株式会社 回折光学素子及びそれを用いた回折格子
US7418368B2 (en) 2007-01-18 2008-08-26 International Business Machines Corporation Method and system for testing processor cores
JP4348441B2 (ja) 2007-01-22 2009-10-21 国立大学法人 大阪教育大学 位置検出装置、位置検出方法、データ判定装置、データ判定方法、コンピュータプログラム及び記憶媒体
US8726681B2 (en) 2007-01-23 2014-05-20 Hewlett-Packard Development Company, L.P. Method and system of cooling components of a computer system
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
JP5194530B2 (ja) 2007-04-09 2013-05-08 凸版印刷株式会社 画像表示装置及び画像表示方法
US7733439B2 (en) 2007-04-30 2010-06-08 Qualcomm Mems Technologies, Inc. Dual film light guide for illuminating displays
WO2008148927A1 (en) 2007-06-04 2008-12-11 Nokia Corporation A diffractive beam expander and a virtual display based on a diffractive beam expander
US8060759B1 (en) 2007-06-29 2011-11-15 Emc Corporation System and method of managing and optimizing power consumption in a storage system
US9387402B2 (en) 2007-09-18 2016-07-12 Disney Enterprises, Inc. Method and system for converting a computer virtual environment into a real-life simulation environment
JP2009090689A (ja) 2007-10-03 2009-04-30 Calsonic Kansei Corp ヘッドアップディスプレイ
US8368721B2 (en) 2007-10-06 2013-02-05 Mccoy Anthony Apparatus and method for on-field virtual reality simulation of US football and other sports
US7844724B2 (en) 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US20110041083A1 (en) 2007-12-12 2011-02-17 Oz Gabai System and methodology for providing shared internet experience
EP2225592B1 (en) 2007-12-18 2015-04-22 Nokia Technologies OY Exit pupil expanders with wide field-of-view
DE102008005817A1 (de) 2008-01-24 2009-07-30 Carl Zeiss Ag Optisches Anzeigegerät
US8494229B2 (en) 2008-02-14 2013-07-23 Nokia Corporation Device and method for determining gaze direction
US8926511B2 (en) * 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
JP2009244869A (ja) 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
US8296196B2 (en) 2008-05-15 2012-10-23 International Business Machines Corporation Tag along shopping
US8197088B2 (en) 2008-06-13 2012-06-12 Barco, Inc. Vertical handling apparatus for a display
JP5181860B2 (ja) 2008-06-17 2013-04-10 セイコーエプソン株式会社 パルス幅変調信号生成装置およびそれを備えた画像表示装置、並びにパルス幅変調信号生成方法
JP5027746B2 (ja) 2008-07-01 2012-09-19 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
US8250389B2 (en) 2008-07-03 2012-08-21 International Business Machines Corporation Profiling an application for power consumption during execution on a plurality of compute nodes
US10885471B2 (en) 2008-07-18 2021-01-05 Disney Enterprises, Inc. System and method for providing location-based data on a wireless portable device
GB2462589B (en) 2008-08-04 2013-02-20 Sony Comp Entertainment Europe Apparatus and method of viewing electronic documents
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8229800B2 (en) 2008-09-13 2012-07-24 At&T Intellectual Property I, L.P. System and method for an enhanced shopping experience
US7885506B2 (en) 2008-09-26 2011-02-08 Nokia Corporation Device and a method for polarized illumination of a micro-display
JP5805537B2 (ja) 2008-10-14 2015-11-04 オブロング・インダストリーズ・インコーポレーテッド マルチプロセス・インタラクティブ・システムおよび方法
EP2348982B1 (en) 2008-12-03 2020-03-25 St. Jude Medical, Atrial Fibrillation Division, Inc. System for determining the positioin of the tip of a medical catheter within the body of a patient
JP2010139575A (ja) 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
US20100153934A1 (en) 2008-12-12 2010-06-17 Peter Lachner Prefetch for systems with heterogeneous architectures
US8325088B2 (en) 2009-02-04 2012-12-04 Google Inc. Mobile device battery management
US8539359B2 (en) 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8411086B2 (en) 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
US8699141B2 (en) 2009-03-13 2014-04-15 Knowles Electronics, Llc Lens assembly apparatus and method
JP5121764B2 (ja) 2009-03-24 2013-01-16 株式会社東芝 固体撮像装置
US9095436B2 (en) 2009-04-14 2015-08-04 The Invention Science Fund I, Llc Adjustable orthopedic implant and method for treating an orthopedic condition in a subject
US20100274567A1 (en) 2009-04-22 2010-10-28 Mark Carlson Announcing information about payment transactions of any member of a consumer group
US20100274627A1 (en) 2009-04-22 2010-10-28 Mark Carlson Receiving an announcement triggered by location data
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US20110010636A1 (en) 2009-07-13 2011-01-13 International Business Machines Corporation Specification of a characteristic of a virtual universe establishment
KR20110006408A (ko) 2009-07-14 2011-01-20 권소망 안경과 클립의 결합방법 및 그 결합구조
US20110022870A1 (en) 2009-07-21 2011-01-27 Microsoft Corporation Component power monitoring and workload optimization
US8758125B2 (en) 2009-07-24 2014-06-24 Wms Gaming, Inc. Controlling event-driven behavior of wagering game objects
JP2011033993A (ja) 2009-08-05 2011-02-17 Sharp Corp 情報提示装置、および情報提示方法
US8738949B2 (en) 2009-08-31 2014-05-27 Empire Technology Development Llc Power management for processor
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US20110050640A1 (en) 2009-09-03 2011-03-03 Niklas Lundback Calibration for a Large Scale Multi-User, Multi-Touch System
US8170283B2 (en) 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
CN102741828B (zh) 2009-10-30 2015-12-09 英特尔公司 对计算机平台的异构处理器的双向通信支持
US8305502B2 (en) 2009-11-11 2012-11-06 Eastman Kodak Company Phase-compensated thin-film beam combiner
US8605209B2 (en) 2009-11-24 2013-12-10 Gregory Towle Becker Hurricane damage recording camera system
US8909962B2 (en) 2009-12-16 2014-12-09 Qualcomm Incorporated System and method for controlling central processing unit power with guaranteed transient deadlines
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US8751854B2 (en) 2009-12-21 2014-06-10 Empire Technology Development Llc Processor core clock rate selection
US8565554B2 (en) 2010-01-09 2013-10-22 Microsoft Corporation Resizing of digital images
KR101099137B1 (ko) 2010-01-29 2011-12-27 주식회사 팬택 이동 통신 시스템에서 증강 현실 정보를 제공하기 위한 장치 및 방법
US8549339B2 (en) 2010-02-26 2013-10-01 Empire Technology Development Llc Processor core communication in multi-core processor
US11275482B2 (en) 2010-02-28 2022-03-15 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9547910B2 (en) 2010-03-04 2017-01-17 Honeywell International Inc. Method and apparatus for vision aided navigation using image registration
US9753297B2 (en) 2010-03-04 2017-09-05 Nokia Corporation Optical apparatus and method for expanding an exit pupil
JP5499854B2 (ja) 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
US8118499B2 (en) 2010-05-19 2012-02-21 LIR Systems, Inc. Infrared camera assembly systems and methods
US20110291964A1 (en) 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
JP5923696B2 (ja) 2010-06-08 2016-05-25 アキム株式会社 角速度センサ検査用テーブル装置
JP2012015774A (ja) 2010-06-30 2012-01-19 Toshiba Corp 立体視映像処理装置および立体視映像処理方法
US8560876B2 (en) 2010-07-06 2013-10-15 Sap Ag Clock acceleration of CPU core based on scanned result of task for parallel execution controlling key word
US8601288B2 (en) 2010-08-31 2013-12-03 Sonics, Inc. Intelligent power controller
US8854594B2 (en) 2010-08-31 2014-10-07 Cast Group Of Companies Inc. System and method for tracking
KR101479262B1 (ko) 2010-09-02 2015-01-12 주식회사 팬택 증강현실 정보 이용 권한 부여 방법 및 장치
JP5632693B2 (ja) 2010-09-28 2014-11-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US20120081392A1 (en) 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8688926B2 (en) 2010-10-10 2014-04-01 Liqid Inc. Systems and methods for optimizing data storage among a plurality of solid state memory subsystems
KR101260576B1 (ko) 2010-10-13 2013-05-06 주식회사 팬택 Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법
EP2633341B1 (en) 2010-10-26 2019-12-25 Optotune AG Variable focus lens having two liquid chambers
US9406166B2 (en) 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
US20120113235A1 (en) 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
JP5854593B2 (ja) 2010-11-17 2016-02-09 キヤノン株式会社 積層型回折光学素子
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US10391277B2 (en) * 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
US20160187654A1 (en) 2011-02-28 2016-06-30 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8949637B2 (en) 2011-03-24 2015-02-03 Intel Corporation Obtaining power profile information with low overhead
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US8856571B2 (en) 2011-04-05 2014-10-07 Apple Inc. Adjusting device performance over multiple time domains
KR101210163B1 (ko) 2011-04-05 2012-12-07 엘지이노텍 주식회사 광학 시트 및 이를 포함하는 표시장치
US8856355B2 (en) 2011-05-09 2014-10-07 Samsung Electronics Co., Ltd. Systems and methods for facilitating communication between mobile devices and display devices
JP2012235036A (ja) 2011-05-09 2012-11-29 Shimadzu Corp 発熱部品搭載用の厚銅箔プリント配線基板およびその製造方法
US20150077312A1 (en) 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
WO2012166135A1 (en) 2011-06-01 2012-12-06 Empire Technology Development,Llc Structured light projection for motion detection in augmented reality
US10606066B2 (en) 2011-06-21 2020-03-31 Gholam A. Peyman Fluidic light field camera
US20120326948A1 (en) 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
EP2723240B1 (en) 2011-06-27 2018-08-08 Koninklijke Philips N.V. Live 3d angiogram using registration of a surgical tool curve to an x-ray image
US9100587B2 (en) 2011-07-22 2015-08-04 Naturalpoint, Inc. Hosted camera remote control
US8548290B2 (en) 2011-08-23 2013-10-01 Vuzix Corporation Dynamic apertured waveguide for near-eye display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2013033274A1 (en) 2011-08-29 2013-03-07 Vuzix Corporation Controllable waveguide for near-eye display applications
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
KR101407670B1 (ko) 2011-09-15 2014-06-16 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9835765B2 (en) 2011-09-27 2017-12-05 Canon Kabushiki Kaisha Optical element and method for manufacturing the same
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9125301B2 (en) 2011-10-18 2015-09-01 Integrated Microwave Corporation Integral heater assembly and method for carrier or host board of electronic package assembly
US8782454B2 (en) 2011-10-28 2014-07-15 Apple Inc. System and method for managing clock speed based on task urgency
US9678102B2 (en) 2011-11-04 2017-06-13 Google Inc. Calibrating intertial sensors using an image sensor
US8891918B2 (en) 2011-11-17 2014-11-18 At&T Intellectual Property I, L.P. Methods, systems, and products for image displays
WO2013101842A1 (en) 2011-12-27 2013-07-04 Zoom Focus Eyewear Spectacles with removable optics
US8608309B2 (en) 2011-12-30 2013-12-17 A New Vision Llc Eyeglass system
WO2013101273A1 (en) * 2011-12-30 2013-07-04 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for detection and avoidance of collisions of robotically-controlled medical devices
KR101655137B1 (ko) 2012-02-04 2016-09-07 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 칩 멀티프로세서에서 코어-수준 동적 전압과 주파수 스케일링
JP5942456B2 (ja) 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
GB2499635B (en) 2012-02-23 2014-05-14 Canon Kk Image processing for projection on a projection screen
US9704220B1 (en) 2012-02-29 2017-07-11 Google Inc. Systems, methods, and media for adjusting one or more images displayed to a viewer
US9740007B2 (en) 2012-03-22 2017-08-22 Sony Corporation Display device, image processing device and image processing method, and computer program
JP5966510B2 (ja) 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
US10013511B2 (en) 2012-04-09 2018-07-03 Purdue Research Foundation System and method for energy usage accounting in software applications
US20130278633A1 (en) 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
EP2834698B1 (en) 2012-05-03 2021-06-23 Nokia Technologies Oy Image providing apparatus, method and computer program
US20130318276A1 (en) 2012-05-22 2013-11-28 Xockets IP, LLC Offloading of computation for rack level servers and corresponding methods and systems
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9113291B2 (en) 2012-06-18 2015-08-18 Qualcomm Incorporated Location detection within identifiable pre-defined geographic areas
US8848741B2 (en) 2012-06-21 2014-09-30 Breakingpoint Systems, Inc. High-speed CLD-based TCP segmentation offload
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9696547B2 (en) 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
TW201403299A (zh) 2012-07-04 2014-01-16 Acer Inc 中央處理器控制方法
US8605764B1 (en) 2012-07-09 2013-12-10 Microvision, Inc. Laser diode junction temperature compensation
US9031283B2 (en) 2012-07-12 2015-05-12 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
US9841563B2 (en) 2012-08-04 2017-12-12 Paul Lapstun Shuttered waveguide light field display
US9860522B2 (en) 2012-08-04 2018-01-02 Paul Lapstun Head-mounted light field display
EP2885708A4 (en) 2012-08-20 2016-11-09 D Kevin Cameron ASSIGNMENT OF TREATMENT RESOURCE
CN102829880B (zh) 2012-08-23 2014-04-16 江苏物联网研究发展中心 基于黒硅的高性能mems热电堆红外探测器及其制备方法
EP2893388B1 (en) 2012-09-03 2016-08-03 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
US9798144B2 (en) 2012-09-12 2017-10-24 Sony Corporation Wearable image display device to control display of image
KR101923723B1 (ko) 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9584382B2 (en) 2012-11-28 2017-02-28 At&T Intellectual Property I, L.P. Collecting and using quality of experience information
US20140168260A1 (en) 2012-12-13 2014-06-19 Paul M. O'Brien Waveguide spacers within an ned device
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US20150355481A1 (en) 2012-12-31 2015-12-10 Esight Corp. Apparatus and method for fitting head mounted vision augmentation systems
US10716469B2 (en) 2013-01-25 2020-07-21 Wesley W. O. Krueger Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
GB201301764D0 (en) 2013-01-31 2013-03-20 Adlens Ltd Actuation of fluid-filled lenses
US20160004102A1 (en) 2013-02-15 2016-01-07 Adlens Limited Adjustable Lens and Article of Eyewear
US8884663B2 (en) 2013-02-25 2014-11-11 Advanced Micro Devices, Inc. State machine for low-noise clocking of high frequency clock
US10437591B2 (en) 2013-02-26 2019-10-08 Qualcomm Incorporated Executing an operating system on processors having different instruction set architectures
US9600068B2 (en) 2013-03-13 2017-03-21 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
US9854014B2 (en) 2013-03-14 2017-12-26 Google Inc. Motion data sharing
US11187908B2 (en) 2013-03-15 2021-11-30 Immy Inc. Head mounted display assembly with structural frame and separate outer frame
WO2014144035A1 (en) 2013-03-15 2014-09-18 Brian Adams Ballard Method and system for representing and interacting with augmented reality content
BR112015024910A2 (pt) 2013-03-26 2017-07-18 Seiko Epson Corp dispositivo de exibição montado na cabeça, método de controle de dispositivo de exibição montado na cabeça e sistema de exibição
JP6337418B2 (ja) 2013-03-26 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9079399B2 (en) 2013-05-16 2015-07-14 Océ-Technologies B.V. Method for operating a printing system
US9235395B2 (en) 2013-05-30 2016-01-12 National Instruments Corporation Graphical development and deployment of parallel floating-point math functionality on a system with heterogeneous hardware components
JP6232763B2 (ja) 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN104704818B (zh) 2013-06-19 2018-08-31 松下知识产权经营株式会社 图像显示装置和图像显示方法
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
WO2015031511A1 (en) 2013-08-27 2015-03-05 Frameri Inc. Removable eyeglass lens and frame platform
WO2015047312A1 (en) 2013-09-27 2015-04-02 Intel Corporation Techniques for tracing wakelock usage
US9256072B2 (en) 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US20150097719A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US9996797B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
KR102189115B1 (ko) 2013-11-11 2020-12-09 삼성전자주식회사 대칭형 다중 프로세서를 구비한 시스템 온-칩 및 이를 위한 최대 동작 클럭 주파수 결정 방법
US9286725B2 (en) 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
CN108664173B (zh) 2013-11-19 2021-06-29 麦克赛尔株式会社 投影型影像显示装置
JP6465030B2 (ja) 2013-11-26 2019-02-06 ソニー株式会社 ヘッドマウントディスプレイ
AU2014354673B2 (en) 2013-11-27 2019-04-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20160327798A1 (en) 2014-01-02 2016-11-10 Empire Technology Development Llc Augmented reality (ar) system
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US10228562B2 (en) 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
US9383630B2 (en) 2014-03-05 2016-07-05 Mygo, Llc Camera mouth mount
US9871741B2 (en) 2014-03-10 2018-01-16 Microsoft Technology Licensing, Llc Resource management based on device-specific or user-specific resource usage profiles
US9251598B2 (en) 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring
US11137601B2 (en) 2014-03-26 2021-10-05 Mark D. Wieczorek System and method for distanced interactive experiences
US20170123775A1 (en) 2014-03-26 2017-05-04 Empire Technology Development Llc Compilation of application into multiple instruction sets for a heterogeneous processor
JP6442149B2 (ja) 2014-03-27 2018-12-19 オリンパス株式会社 画像表示装置
US20150301955A1 (en) 2014-04-21 2015-10-22 Qualcomm Incorporated Extending protection domains to co-processors
US20150312558A1 (en) * 2014-04-29 2015-10-29 Quentin Simon Charles Miller Stereoscopic rendering to eye positions
US10424103B2 (en) 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US9626802B2 (en) 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
WO2015184413A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
EP2952850A1 (en) 2014-06-03 2015-12-09 Optotune AG Optical device, particularly for tuning the focal length of a lens of the device by means of optical feedback
JP6917710B2 (ja) 2014-07-01 2021-08-11 ソニーグループ株式会社 情報処理装置および方法
RU2603238C2 (ru) 2014-07-15 2016-11-27 Самсунг Электроникс Ко., Лтд. Световодная структура, голографическое оптическое устройство и система формирования изображений
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
JP6683127B2 (ja) 2014-08-01 2020-04-15 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9615806B2 (en) * 2014-08-20 2017-04-11 David Byron Douglas Method and apparatus for creation and display of artifact-corrected three dimentional (3D) volumetric data from biplane fluoroscopic image acquisition
EP3188482B1 (en) 2014-08-28 2019-09-04 Sony Corporation Image processing device and image processing system
US20160077338A1 (en) 2014-09-16 2016-03-17 Steven John Robbins Compact Projection Light Engine For A Diffractive Waveguide Display
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20160093269A1 (en) 2014-09-26 2016-03-31 Pixtronix, Inc. Laser-Pumped Phosphor Backlight and Methods
EP3201686B9 (en) 2014-09-29 2022-01-12 Magic Leap, Inc. Architectures and methods for outputting different wavelength light out of waveguides
US9612722B2 (en) 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds
US10371936B2 (en) 2014-11-10 2019-08-06 Leo D. Didomenico Wide angle, broad-band, polarization independent beam steering and concentration of wave energy utilizing electronically controlled soft matter
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US10794728B2 (en) 2014-12-19 2020-10-06 Invensense, Inc. Device and method for sensor calibration
US10096162B2 (en) 2014-12-22 2018-10-09 Dimensions And Shapes, Llc Headset vision system for portable devices that provides an augmented reality display and/or a virtual reality display
JP2016126134A (ja) 2014-12-26 2016-07-11 シャープ株式会社 表示装置およびウェアラブルデバイス
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR102358110B1 (ko) 2015-03-05 2022-02-07 삼성디스플레이 주식회사 표시 장치
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
WO2016149536A1 (en) 2015-03-17 2016-09-22 Ocutrx Vision Technologies, Llc. Correction of vision defects using a visual display
US20160287337A1 (en) 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
EP3745167A1 (en) 2015-04-07 2020-12-02 Magic Leap, Inc. Diffraction grating and method of manufacture
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
CN111506132B (zh) 2015-04-20 2022-04-05 深圳市大疆创新科技有限公司 用于对传感器操作进行热调节的***和方法
JP6961491B2 (ja) 2015-04-23 2021-11-05 レイア、インコーポレイテッドLeia Inc. 二重ライトガイド式格子ベースのバックライトおよび同バックライトを用いる電子ディスプレイ
WO2016174659A1 (en) 2015-04-27 2016-11-03 Snapaid Ltd. Estimating and using relative head pose and camera field-of-view
US10909464B2 (en) 2015-04-29 2021-02-02 Microsoft Technology Licensing, Llc Semantic locations prediction
US9664569B2 (en) 2015-05-15 2017-05-30 Google Inc. Circuit board configurations facilitating operation of heat sensitive sensor components
KR20160139727A (ko) 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
GB2539009A (en) 2015-06-03 2016-12-07 Tobii Ab Gaze detection method and apparatus
WO2016203792A1 (ja) 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10178560B2 (en) 2015-06-15 2019-01-08 The Invention Science Fund I Llc Methods and systems for communication with beamforming antennas
FR3037672B1 (fr) 2015-06-16 2017-06-16 Parrot Drone comportant des moyens perfectionnes de compensation du biais de la centrale inertielle en fonction de la temperature
US9519084B1 (en) 2015-06-18 2016-12-13 Oculus Vr, Llc Securing a fresnel lens to a refractive optical element
CA2991644C (en) 2015-07-06 2022-03-01 Frank Jones Methods and devices for demountable head mounted displays
US11190681B1 (en) 2015-07-10 2021-11-30 Snap Inc. Systems and methods for DSP fast boot
US20170100664A1 (en) 2015-10-12 2017-04-13 Osterhout Group, Inc. External user interface for head worn computing
US20170038607A1 (en) 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
KR20170017243A (ko) 2015-08-06 2017-02-15 강경득 보조 안경테
US9781246B2 (en) 2015-08-28 2017-10-03 Qualcomm Incorporated Augmenting reality using a small cell
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US9880611B2 (en) 2015-08-31 2018-01-30 Google Llc Energy saving mode for electronic devices
US9489027B1 (en) 2015-08-31 2016-11-08 Wave Resource Strategies, Inc. System and method for the accurate recordation of power consumption in a computing device utilizing power profiles
JP6615541B2 (ja) 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
US20150378407A1 (en) 2015-09-04 2015-12-31 Mediatek Inc. Loading-Based Dynamic Voltage And Frequency Scaling
CA2997194A1 (en) 2015-09-11 2017-03-16 Amazon Technologies, Inc. System, method and computer-readable storage medium for customizable event-triggered computation at edge locations
WO2017051595A1 (ja) 2015-09-25 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10082865B1 (en) 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
GB2542853B (en) 2015-10-02 2021-12-15 Cambridge Consultants Processing apparatus and methods
US10241332B2 (en) 2015-10-08 2019-03-26 Microsoft Technology Licensing, Llc Reducing stray light transmission in near eye display using resonant grating filter
US10067346B2 (en) 2015-10-23 2018-09-04 Microsoft Technology Licensing, Llc Holographic display
US9983709B2 (en) 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
KR102592980B1 (ko) 2015-11-04 2023-10-20 매직 립, 인코포레이티드 광 필드 디스플레이 계측
US9671615B1 (en) 2015-12-01 2017-06-06 Microsoft Technology Licensing, Llc Extended field of view in near-eye display using wide-spectrum imager
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10025060B2 (en) 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
DE102015122055B4 (de) 2015-12-17 2018-08-30 Carl Zeiss Ag Optisches System sowie Verfahren zum Übertragen eines Quellbildes
US20170185261A1 (en) 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
US10838116B2 (en) 2016-01-06 2020-11-17 University Of Utah Research Foundation Low-power large aperture adaptive lenses for smart eyeglasses
EP3190447B1 (en) 2016-01-06 2020-02-05 Ricoh Company, Ltd. Light guide and virtual image display device
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
WO2017127897A1 (en) 2016-01-27 2017-08-03 Paul Lapstun Shuttered waveguide light field display
US10429639B2 (en) 2016-01-31 2019-10-01 Paul Lapstun Head-mounted light field display
US9891436B2 (en) 2016-02-11 2018-02-13 Microsoft Technology Licensing, Llc Waveguide-based displays with anti-reflective and highly-reflective coating
JP6686505B2 (ja) 2016-02-15 2020-04-22 セイコーエプソン株式会社 頭部装着型画像表示装置
JP6686504B2 (ja) 2016-02-15 2020-04-22 セイコーエプソン株式会社 頭部装着型画像表示装置
CN109348738B (zh) 2016-02-18 2021-11-16 富士电机株式会社 信号传输装置
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
CA3016604A1 (en) 2016-03-12 2017-09-21 Philipp K. Lang Devices and methods for surgery
US10223605B2 (en) 2016-03-18 2019-03-05 Colorvision International, Inc. Interactive virtual aquarium simulation system and associated methods
US20170281054A1 (en) 2016-03-31 2017-10-05 Zoll Medical Corporation Systems and methods of tracking patient movement
US11067797B2 (en) 2016-04-07 2021-07-20 Magic Leap, Inc. Systems and methods for augmented reality
EP3236211A1 (en) 2016-04-21 2017-10-25 Thomson Licensing Method and apparatus for estimating a pose of a rendering device
US10197804B2 (en) 2016-04-25 2019-02-05 Microsoft Technology Licensing, Llc Refractive coating for diffractive optical elements
CN114699751A (zh) 2016-04-26 2022-07-05 奇跃公司 使用增强现实***的电磁跟踪
US20170312032A1 (en) 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
KR20210032022A (ko) 2016-05-06 2021-03-23 매직 립, 인코포레이티드 광을 재지향시키기 위한 비대칭 격자들을 가진 메타표면들 및 제조를 위한 방법들
US10241346B2 (en) 2016-05-07 2019-03-26 Microsoft Technology Licensing, Llc Degrees of freedom for diffraction elements in wave expander
US11228770B2 (en) 2016-05-16 2022-01-18 Qualcomm Incorporated Loop sample processing for high dynamic range and wide color gamut video coding
US10215986B2 (en) 2016-05-16 2019-02-26 Microsoft Technology Licensing, Llc Wedges for light transformation
GB201609027D0 (en) 2016-05-23 2016-07-06 Bae Systems Plc Waveguide manufacturing method
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US9939647B2 (en) 2016-06-20 2018-04-10 Microsoft Technology Licensing, Llc Extended field of view in near-eye display using optically stitched imaging
US10114440B2 (en) 2016-06-22 2018-10-30 Razer (Asia-Pacific) Pte. Ltd. Applying power management based on a target time
US10372184B2 (en) 2016-06-28 2019-08-06 Renesas Electronics America Inc. Method and apparatus for implementing power modes in microcontrollers using power profiles
WO2018008232A1 (ja) 2016-07-04 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2018008644A1 (ja) 2016-07-07 2018-01-11 株式会社日立エルジーデータストレージ 映像表示装置
TW201803289A (zh) 2016-07-11 2018-01-16 原相科技股份有限公司 可利用較小電路面積並同時考量節能省電以偵測空氣中之干擾訊號之功率來控制放大器之增益值的無線收發機裝置及方法
AU2017301435B2 (en) 2016-07-25 2022-07-14 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
WO2018027206A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
PL3494695T3 (pl) 2016-08-04 2024-02-19 Dolby Laboratories Licensing Corporation Rozwiązania akomodacji-wergencji ze śledzeniem pojedynczej głębi
US10278167B2 (en) 2016-08-12 2019-04-30 Qualcomm Incorporated Downlink control channel structure for low latency applications
US10676345B2 (en) 2016-08-15 2020-06-09 Y-Sensors Ltd. Temperature stabilized MEMS device
KR102217789B1 (ko) 2016-08-22 2021-02-19 매직 립, 인코포레이티드 나노그레이팅 방법 및 장치
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US20180067779A1 (en) 2016-09-06 2018-03-08 Smartiply, Inc. AP-Based Intelligent Fog Agent
EP3512452A1 (en) 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
CN109791435B (zh) 2016-09-26 2022-04-12 奇跃公司 虚拟现实或增强现实显示***中磁传感器和光学传感器的校准
US10134192B2 (en) 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US10373297B2 (en) 2016-10-26 2019-08-06 Valve Corporation Using pupil location to correct optical lens distortion
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
EP3320829A1 (en) 2016-11-10 2018-05-16 E-Health Technical Solutions, S.L. System for integrally measuring clinical parameters of visual function
KR102573744B1 (ko) 2016-11-23 2023-09-01 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
US11612307B2 (en) 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
JP6917701B2 (ja) 2016-11-30 2021-08-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
WO2018101394A1 (ja) 2016-12-01 2018-06-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10185151B2 (en) 2016-12-20 2019-01-22 Facebook Technologies, Llc Waveguide display with a small form factor, a large field of view, and a large eyebox
WO2018113740A1 (en) 2016-12-21 2018-06-28 Zyetric Technologies Limited Combining virtual reality and augmented reality
US10203252B2 (en) 2016-12-29 2019-02-12 Industrial Technology Research Institute Microelectromechanical apparatus having a measuring range selector
KR102553190B1 (ko) 2016-12-29 2023-07-07 매직 립, 인코포레이티드 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
JP7268879B2 (ja) 2017-01-02 2023-05-08 ガウス サージカル,インコーポレイテッド 重複撮像を予測した手術アイテムの追跡
US10489975B2 (en) 2017-01-04 2019-11-26 Daqri, Llc Environmental mapping system
US10436594B2 (en) 2017-01-17 2019-10-08 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
EP3574350A4 (en) 2017-01-27 2020-12-09 Magic Leap, Inc. ANTIREFLEX COATING FOR META SURFACES
US20180218545A1 (en) 2017-01-31 2018-08-02 Daqri, Llc Virtual content scaling with a hardware controller
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US20180260218A1 (en) 2017-03-07 2018-09-13 Vinodh Gopal Instruction set architectures for fine-grained heterogeneous processing
EP3376279B1 (en) * 2017-03-13 2022-08-31 Essilor International Optical device for a head-mounted display, and head-mounted device incorporating it for augmented reality
US10452123B2 (en) 2017-03-30 2019-10-22 Google Llc Predictive power saving and screen dimming for computing devices
US10642045B2 (en) 2017-04-07 2020-05-05 Microsoft Technology Licensing, Llc Scanner-illuminated LCOS projector for head mounted display
US10241545B1 (en) 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US11132533B2 (en) 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US11236993B1 (en) 2017-06-08 2022-02-01 Facebook Technologies, Llc Depth sensing using a time of flight system including a scanning beam in combination with a single photon avalanche diode array
GB201709199D0 (en) 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
CA3067519C (en) 2017-06-18 2022-05-03 Moovit App Global Ltd. System and method for determining transit stop location
US10022192B1 (en) * 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US20190196690A1 (en) 2017-06-23 2019-06-27 Zyetric Virtual Reality Limited First-person role playing interactive augmented reality
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US20190056591A1 (en) 2017-08-18 2019-02-21 Microsoft Technology Licensing, Llc Optical waveguide with multiple antireflective coatings
WO2019040493A1 (en) * 2017-08-21 2019-02-28 The Trustees Of Columbia University In The City Of New York SYSTEMS AND METHODS FOR AUGMENTED REALITY GUIDANCE
US9948612B1 (en) 2017-09-27 2018-04-17 Citrix Systems, Inc. Secure single sign on and conditional access for client applications
US10437065B2 (en) 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
US20190137788A1 (en) 2017-11-08 2019-05-09 Interstol Trading Co. Inc. Lens assembly including magnet assembly components for mounting onto an eye glass frame
US10317680B1 (en) 2017-11-09 2019-06-11 Facebook Technologies, Llc Optical aberration correction based on user eye position in head mounted displays
DK3482802T3 (da) 2017-11-13 2021-03-01 Vr Coaster Gmbh & Co Kg Indretning til oplevelse af en virtual reality-simulering i en undervandsverden
US10599259B2 (en) 2017-11-20 2020-03-24 Google Llc Virtual reality / augmented reality handheld controller sensing
KR102411287B1 (ko) 2017-11-22 2022-06-22 삼성전자 주식회사 미디어 출력 제어 장치 및 방법
WO2019108651A1 (en) 2017-12-01 2019-06-06 Rhodan Marine Systems Of Florida, Llc Dynamic augmented reality headset system
US10916059B2 (en) 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
US10636198B2 (en) 2017-12-28 2020-04-28 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for monocular simultaneous localization and mapping
US10620430B2 (en) 2018-01-12 2020-04-14 Microsoft Technology Licensing, Llc Geometrically multiplexed RGB lasers in a scanning MEMS display system for HMDS
US10773169B2 (en) 2018-01-22 2020-09-15 Google Llc Providing multiplayer augmented reality experiences
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
WO2019152617A1 (en) 2018-02-03 2019-08-08 The Johns Hopkins University Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display
US10422989B2 (en) 2018-02-06 2019-09-24 Microsoft Technology Licensing, Llc Optical systems including a single actuator and multiple fluid-filled optical lenses for near-eye-display devices
GB201805301D0 (en) 2018-03-29 2018-05-16 Adlens Ltd Improvements In Or Relating To Variable Focusing Power Optical Devices
US10997746B2 (en) 2018-04-12 2021-05-04 Honda Motor Co., Ltd. Feature descriptor matching
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
JP6779939B2 (ja) 2018-04-19 2020-11-04 グリー株式会社 ゲーム装置、制御方法及び制御プログラム
US10969486B2 (en) 2018-04-26 2021-04-06 SCRRD, Inc. Augmented reality platform and method for use of same
US20210158023A1 (en) 2018-05-04 2021-05-27 Northeastern University System and Method for Generating Image Landmarks
US10740966B2 (en) 2018-05-14 2020-08-11 Microsoft Technology Licensing, Llc Fake thickness on a two-dimensional object
WO2019236495A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
WO2019245861A2 (en) 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided depth tracking in orthopedic surgical procedures
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航***
US10854004B2 (en) 2018-08-24 2020-12-01 Facebook, Inc. Multi-device mapping and collaboration in augmented-reality environments
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
CN110942518B (zh) 2018-09-24 2024-03-29 苹果公司 上下文计算机生成现实(cgr)数字助理
US11017217B2 (en) 2018-10-09 2021-05-25 Midea Group Co., Ltd. System and method for controlling appliances using motion gestures
US10678323B2 (en) 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
US10838488B2 (en) 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US10516853B1 (en) 2018-10-10 2019-12-24 Plutovr Aligning virtual representations to inputs and outputs
US10776933B2 (en) 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
US10970547B2 (en) 2018-12-07 2021-04-06 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects
US11216150B2 (en) 2019-06-28 2022-01-04 Wen-Chieh Geoffrey Lee Pervasive 3D graphical user interface with vector field functionality
EP3996822A4 (en) 2019-07-11 2023-07-05 Elo Labs, Inc. INTERACTIVE PERSONAL TRAINING SYSTEM
US11174153B2 (en) 2019-08-21 2021-11-16 Invensense, Inc. Package level thermal gradient sensing
US11182612B2 (en) 2019-10-28 2021-11-23 The Chinese University Of Hong Kong Systems and methods for place recognition based on 3D point cloud
US11209656B1 (en) 2020-10-05 2021-12-28 Facebook Technologies, Llc Methods of driving light sources in a near-eye display

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327514A (ja) 2000-05-23 2001-11-27 Toshiba Corp 放射線治療計画装置及び放射線治療計画法
JP2010516406A (ja) 2007-01-25 2010-05-20 ウォーソー・オーソペディック・インコーポレーテッド 自動手術支援及び制御を有する一体型手術ナビゲーション神経モニタリングシステム
JP2010220885A (ja) 2009-03-24 2010-10-07 Terumo Corp 医療用デバイス
JP2015504690A (ja) 2011-12-03 2015-02-16 コーニンクレッカ フィリップス エヌ ヴェ 半自動経路プランニングのための自動奥行きスクローリング及びオリエンテーション調整
JP2015019678A (ja) 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2017153498A (ja) 2014-06-17 2017-09-07 日本電産コパル電子株式会社 感圧センサと感圧カテーテル
US20160015470A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
WO2017049163A1 (en) 2015-09-18 2017-03-23 Auris Surgical Robotics, Inc. Navigation of tubular networks
WO2018057564A1 (en) 2016-09-22 2018-03-29 Medtronic Navigation, Inc. System for guided procedures
WO2018085287A1 (en) 2016-11-02 2018-05-11 Intuitive Surgical Operations, Inc. Systems and methods of continuous registration for image-guided surgery
JP2018126251A (ja) 2017-02-07 2018-08-16 キヤノンメディカルシステムズ株式会社 医用画像診断システム及び複合現実画像生成装置

Also Published As

Publication number Publication date
EP3840645A1 (en) 2021-06-30
US12016719B2 (en) 2024-06-25
EP3840645A4 (en) 2021-10-20
WO2020041615A1 (en) 2020-02-27
CN112955073A (zh) 2021-06-11
US20210177370A1 (en) 2021-06-17
JP2021533919A (ja) 2021-12-09
JP2023133406A (ja) 2023-09-22

Similar Documents

Publication Publication Date Title
CN109758230B (zh) 一种基于增强现实技术的神经外科手术导航方法和***
JP7487176B2 (ja) 患者視認システム
CN110651333B (zh) 手术成像***、方法和计算机程序产品
US20210015343A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP6116754B2 (ja) 低侵襲手術において画像データを立体視表示するための装置およびその装置の作動方法
CA2808757A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
US20200084379A1 (en) Control apparatus, control method, and program
US11737832B2 (en) Viewing system for use in a surgical environment
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
JP2016158911A (ja) 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置
WO2020262262A1 (ja) 医療用観察システム、制御装置及び制御方法
CN111281534A (zh) 生成手术部位的三维模型的***和方法
US20190394454A1 (en) Medical-image display control device, medical-image display device, medical-information processing system, and medical-image display control method
EP4225130A1 (en) Virtual reality 3d eye-inspection by combining images from position-tracked optical visualization modalities
JP2018152657A (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2022219878A1 (ja) 医療用観察システム、医療用画像処理方法及び情報処理装置
JP7354608B2 (ja) 医療用観察システム、医療用観察方法、および情報処理装置
WO2022269992A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
JP2004154255A (ja) 手術用観察装置
JPWO2020041615A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240508

R150 Certificate of patent or registration of utility model

Ref document number: 7487176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150