JP2022502797A - 360vr容積メディアエディタ - Google Patents
360vr容積メディアエディタ Download PDFInfo
- Publication number
- JP2022502797A JP2022502797A JP2021540376A JP2021540376A JP2022502797A JP 2022502797 A JP2022502797 A JP 2022502797A JP 2021540376 A JP2021540376 A JP 2021540376A JP 2021540376 A JP2021540376 A JP 2021540376A JP 2022502797 A JP2022502797 A JP 2022502797A
- Authority
- JP
- Japan
- Prior art keywords
- patient
- video
- path
- internal anatomy
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003484 anatomy Anatomy 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 62
- 239000003550 marker Substances 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000037361 pathway Effects 0.000 claims description 6
- 238000002224 dissection Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 13
- 238000001356 surgical procedure Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 10
- 210000003625 skull Anatomy 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
方法は、特定の患者の内部解剖学的構造の医用画像を取得すること、患者の3次元仮想モデルを準備すること、患者の前記仮想モデルを使用して仮想現実環境を生成して、患者の実際の組織のリアルな3次元画像を提供すること、仮想現実環境内で患者の内部解剖学的構造を通る経路を定義するユーザー入力を受信するためのインタフェースを提供して、患者の実際の組織の内部解剖学的構造のリアルな3次元画像の様々な視野をキャプチャすること、および仮想現実環境内で患者の内部解剖学的構造を通る定義された経路をキャプチャする患者ビデオを生成することを含み、前記患者ビデオは、患者の実際の組織の内部解剖学的構造のリアルな3次元画像の様々な視野のビューを示しており、前記患者ビデオは、汎用コンピューティング装置上で再生するように構成されている。【選択図】図1
Description
関連出願の相互参照
本出願は、2018年9月24日に出願された米国仮特許出願シリアル番号第62/735,616号からの優先権を主張し、それは参照により全体として本明細書に組み込まれる。
本出願は、2018年9月24日に出願された米国仮特許出願シリアル番号第62/735,616号からの優先権を主張し、それは参照により全体として本明細書に組み込まれる。
本開示は、外科手術の分野に関し、より詳細には外科手術の準備および教育に関する。
複雑な外科手術に直面しているとき、患者は多くの場合、手術に至るまでの数日、数週間の間、恐れと不安を経験し得る。これは、患者が手術を明確に理解していない、従って、先がどうなるかわからない結果であり得る。外科手術前に患者と向き合って患者に教えることは、この恐れと不安を和らげるのに役立ち得る。患者の病的状態および提案される解決策に関係する治療を行う医師と患者との間のより明確なコミュニケーションは、患者が感じ得る不確かさを克服して、一方の患者と、他方の医師および医療提供者との間に信頼を築く上で重要である。これはまた、医療提供者が今日、運営する競争環境、ならびに医師および提供者を選択する際に患者が直面する多くの選択肢に起因しても重要である。その上、患者と向き合って手術について患者に教えることにより、患者は適切に注意して措置を講じ、合併症を発症せず、フォローアップ治療のために病院に戻る必要もなく、適切な回復を確実にする可能性が高くなり得る。しかし、患者に解剖学的構造の画像または3Dモデルを見せるなどの、患者と向き合って教えるための既存の技術は、特に、外科手術が、単独の画像の文脈において、または3Dモデルでさえ、理解するには抽象的または困難な解剖学的構造の部分を伴う場合、効果的でない可能性がある。
一例では、医療処置のために準備する方法は、特定の患者の内部解剖学的構造の医用画像を取得するステップを含む。方法は、前記医用画像を利用して、患者の内部解剖学的構造と関連付けられた患者の3次元仮想モデルを準備することをさらに含む。方法は、コンピュータ装置を使用し、患者の前記仮想モデルを使用して仮想現実環境を生成して、患者の実際の組織のリアルな3次元画像を提供することをさらに含む。方法は、仮想現実環境内で患者の内部解剖学的構造を通る経路を定義するユーザー入力を受信するためにコンピュータ装置の入力装置上にインタフェースを提供して、患者の実際の組織の内部解剖学的構造のリアルな3次元画像の様々な視野をキャプチャすることをさらに含む。方法は、仮想現実環境内で患者の内部解剖学的構造を通る定義された経路をキャプチャする患者ビデオを生成することをさらに含み、前記患者ビデオは、患者の実際の組織の内部解剖学的構造のリアルな3次元画像の様々な視野のビューを示しており、前記患者ビデオは、汎用コンピューティング装置上で再生するように構成されている。方法は、前記患者ビデオを汎用コンピューティング装置に送信して、前記汎用コンピューティング装置上で再生することをさらに含む。
別の例では、医療処置のために準備する方法は、特定の患者の内部解剖学的構造の医用画像を取得するステップを含む。方法は、前記医用画像を利用して、患者の内部解剖学的構造と関連付けられた患者の3次元仮想モデルを準備することをさらに含む。方法は、コンピュータ装置を使用し、患者の前記仮想モデルを使用して仮想現実環境を生成して、患者の実際の組織のリアルな3次元画像を提供することをさらに含む。方法は、仮想現実環境内で患者の内部解剖学的構造を通る経路を定義するユーザー入力を受信するためにコンピュータ装置の入力装置上にインタフェースを提供して、患者の実際の組織の内部解剖学的構造のリアルな3次元画像の様々な視野をキャプチャすることをさらに含む。方法は、仮想現実環境内で患者の内部解剖学的構造を通る定義された経路をキャプチャする患者ビデオを生成することをさらに含み、前記患者ビデオは、患者の実際の組織の内部解剖学的構造のリアルな3次元画像の様々な視野のビューを示しており、前記患者ビデオは、汎用コンピューティング装置上で再生するように構成されている。方法は、前記患者ビデオを汎用コンピューティング装置に送信して、患者が見るために前記汎用コンピューティング装置上で再生することをさらに含む。方法は、患者が前記ビデオを汎用コンピューティング装置上で見て、医療処置に備えることをさらに含む。
別の例では、医療処置のために準備する方法は、特定の患者の内部解剖学的構造の医用画像を取得するステップを含む。方法は、前記医用画像を利用して、患者の内部解剖学的構造と関連付けられた患者の3次元仮想モデルを準備することをさらに含む。方法は、コンピュータ装置を使用し、患者の前記仮想モデルを使用して仮想現実環境を生成して、患者の実際の組織のリアルな3次元画像を提供することをさらに含む。方法は、ユーザー入力を受信するためにコンピュータ装置の入力装置上にインタフェースを提供することをさらに含み、仮想現実環境内で患者の内部解剖学的構造を通る経路を定義して、患者の実際の組織の内部解剖学的構造のリアルな3次元画像を提供すること、および前記入力装置からの入力を受け入れて前記経路に沿った様々な位置にマーカーで印を付けることを含み、前記マーカーの各々は患者の実際の組織の内部解剖学的構造のリアルな3次元画像の特定の視野ビューと関連付けることができる。方法は、仮想現実環境内で患者の内部解剖学的構造を通る定義された経路をキャプチャする患者ビデオを生成することをさらに含み、前記患者ビデオは、患者の実際の組織の内部解剖学的構造のリアルな3次元画像の様々な視野のビューを示している。ビデオは、円滑化操作を使用して生成されて、ビデオが、あるマーカーの特定の視野ビューから隣接するマーカーの特定の視野ビューまでトラバースする間に、視野における変化が次第に推移するビューを示す。前記患者ビデオは、汎用コンピューティング装置上で再生するように構成されている。方法は、前記患者ビデオを汎用コンピューティング装置に送信して、患者が見るために前記汎用コンピューティング装置上で再生することをさらに含む。方法は、患者が前記ビデオを汎用コンピューティング装置上で見て、医療処置に備えることをさらに含む。
添付の図面では、以下で提供される詳細な説明と共に、クレームされた発明の例示的な実施形態を説明する構造が示されている。同様の要素は同じ参照番号で識別される。単一の構成要素として示されている要素は複数の構成要素で置換され得、複数の構成要素として示されている要素は単一の構成要素で置換され得ることが理解されるべきである。図は、原寸に比例しておらず、ある要素の比率は例示目的で誇張され得る。
以下の頭字語および定義は、詳細な説明を理解する際に助けとなるであろう。
VR−仮想現実−人が様々な程度で探索およびやり取りできる3次元コンピュータ生成環境。
HMD−ヘッドマウントディスプレイ(Head Mounted Display)は、VR環境で使用できるヘッドセットを指す。それは有線または無線であり得る。それは、ヘッドフォン、マイクロホン、HDカメラ、赤外線カメラ、ハンドトラッカー、位置トラッカーなどの、1つ以上の付加装置も含み得る。
SNAPモデル−SNAPケースは、DICOMファイルフォーマットにおける患者の1つ以上のスキャン(CT、MR、fMR、DTIなど)を使用して作成された3Dテクスチャまたは3Dオブジェクトを指す。それは、3Dテクスチャにおいて特定の範囲をフィルタリングし、他を着色するための区分化の異なる事前設定も含む。それは、対象となる特定のポイントまたは解剖学的構造をマークするための3D形状、3Dラベル、3D測定マーカー、誘導のための3D矢印、および3D手術ツールを含む、シーン内に置かれる3Dオブジェクトも含み得る。手術ツールおよび装置は、教育および患者固有のリハーサルに対して、特に、動脈瘤クリップの適切な寸法に対してモデル化されている。
MD6DM−多次元全球形仮想現実、6自由度モデル。それは、全球形仮想現実環境において、医師が、介入を経験、計画、実行、およびナビゲートするのを可能にするグラフィカルシミュレーション環境を提供する。
フライスルー−ツアーとも呼ばれ、定義された経路に沿って仮想現実環境の中を移動しながら仮想現実環境の視野ビューを説明する。
参照により本出願に組み込まれる米国特許出願第8,311,791号で以前に説明されている手術リハーサルおよび準備ツールは、静的なCTおよびMRI医用画像を動的で双方向の多次元全球形仮想現実、6自由度モデル(「MD6DM」)に変換するために開発され、MD6DMは医療処置をリアルタイムでシミュレートするために医師によって使用できる。MD6DMは、全球形仮想現実環境において、医師が、介入を経験、計画、実行、およびナビゲートするのを可能にするグラフィカルシミュレーション環境を提供する。具体的には、MD6DMは、従来型の2次元患者医療スキャンから構築された、固有の多次元モデルを使用してナビゲートする機能を外科医に提供し、それは容積球形仮想現実モデル全体において6自由度(すなわち、線形;x、y、zおよび角度のヨー、ピッチ、ロール)の球形仮想現実をもたらす。
MD6DMは、CT、MRI、DTIなどを含む患者自身の医用画像のデータセットから構築されて、患者固有である。アトラスデータなどの、代表的な脳モデルは、外科医が望む場合、部分的に患者固有のモデルを作成するために統合できる。モデルは、MD6DM上の任意のポイントから360°の球形ビューをもたらす。MD6DMを使用すると、観察者は仮想的に解剖学的構造の内部に位置付けられて、観察者が患者の身体内部に立っているかのように解剖学的構造および病理学的構造の両方を見て観察することができる。観察者は、上を見る、下を見る、肩越しに見るなどが可能であり、患者内で見られる通りに正確に、本来の構造を相互に対して見るであろう。MD6DMを使用して、内部構造間の空間的関係が保存され、理解できる。
MD6DMのアルゴリズムは医用画像情報を取り込み、それを球形モデル、解剖学的構造の内部を「飛び」ながら任意の角度から見ることができる完全な連続したリアルタイムモデル、に構築する。具体的には、CT、MRI、などが実際の生体を取り込み、それを数千のポイントから作られた何百もの薄いスライスに分解した後、MD6DMはそれを、内側および外側の両方からそれらのポイントの各々の360°ビューを表すことによって3Dモデルに戻す。
本明細書で説明されるメディアエディタはMD6DMモデルを活用して、ユーザーが、所望の事前に選択された経路に従って解剖学的構造の部分のカスタム360VRビデオ「フライスルー」を生成して共有するのを可能にする。例えば、医師は、メディアエディタを使用して、身体内の部分内部に事前に定義された経路に沿って患者を案内するカスタム「ツアー」を生成し得る。医師は、高価な手術リハーサルおよび準備ツールに頼ることなく、オフィス環境内で、またはオフィス環境の外部においてさえ、患者にビデオを提示し得る。医師は、例えば、外科処置に向けた準備として患者と向き合って教えるために、ビデオを患者と共有し得る。ビデオは、例えば、教育および協力目的のために、他の医師とも共有され得る。本明細書で説明される例は、患者と医療専門家との間の教育および協力を目的とした解剖学的構造部分の360VRビデオの生成に特に言及しているが、様々な用途における他の環境の360VRビデオも同様に生成されて共有され得ることが理解されるであろう。
具体的な言及は医師について行われ得るが、本明細書で説明されるメディアエディタは、任意の適切なユーザーによって使用されて、解剖学的構造の部分のカスタム360VRビデオ「フライスルー」を生成して共有し得ることが理解されるであろう。
図1は、カスタム360VRビデオ「フライスルー」を生成および共有するためのシステム例100を示す。システム100は、仮想現実環境に対応するMD6DMモデルもしくは他の適切なモデルまたは画像などの、入力104を受信するように構成されたメディアエディタコンピュータ102を含む。メディアエディタコンピュータ102は、医師106、または他の適切なユーザーが、ユーザーインタフェース(図示せず)を介して入力104とやり取りして、仮想現実環境のフライスルーを含むカスタムVRビデオ(「ビデオ」)108出力を生成するのを可能にするようにさらに構成される。
一例では、メディアエディタコンピュータ102は、ビデオ108をディスプレイ110に伝達するようにさらに構成され、従って、ビデオ108をディスプレイ110上で表示しながら、医師106が患者112、または任意の他の適切な第2のユーザーと向き合ってやり取りするのを可能にする。一例では、メディアエディタコンピュータ102は、医師106がビデオ108を患者112とネットワーク114を経由してリモートで共有するのを可能にするようにさらに構成される。例えば、メディアエディタコンピュータ102は、患者112がモバイルスマートフォン116を用いて、または患者の自宅120内でパーソナルコンピュータ118を用いて、ビデオを見るのを可能にし得る。
図2は、図1のメディアエディタコンピュータ例102をさらに詳細に示す。メディアエディタコンピュータ102は、データソース(図示せず)と通信して、仮想現実環境を表すモデルを含む図1の入力104を受信するように構成されたデータ入力モジュール202を含む。一例では、データ入力モジュール202は、MD6DMモデルを入力として受信するように構成される。別の例では、データ入力モジュール202は、任意の適切なタイプの画像データの、MRIスキャン、ビデオカメラからの画像を受信するように構成される。仮想現実環境を表すモデルは、メディアエディタコンピュータ102がそれに基づいてビデオ108を生成するように構成される基礎として役立つ。
メディアエディタコンピュータ102は、データ入力モジュール202によって受信されたモデルをユーザーインタフェースにロードして、医師106が入力104に基づきフライスルーのための経路を作成するのを可能にするように構成された経路モジュール204をさらに含む。フライスルーは、ツアーとも呼ばれ、仮想現実環境内を定義された経路に沿って移動しながら、仮想現実環境の視野ビューを説明する。
図3は、経路モジュール204によって提供されるメディアエディタユーザーインタフェース例300を示す。経路モジュール204は、メディアエディタユーザーインタフェース300を介して、仮想現実環境を表す画像302を表示するように構成される。例示されている画像302は脳を表しているが、画像320は、心臓、肺などの、任意の適切な仮想現実環境を表す任意の適切な画像を含み得ることが理解されるであろう。画像302は2次元画像であり得るか、または画像302は3D仮想現実環境であり得ることがさらに理解されるであろう。
経路モジュール204は、メディアエディタユーザーインタフェース300を介して、医師106がフライスルーのために経路304を識別するのを可能にするようにさらに構成される。具体的には、経路モジュール204は、メディアエディタユーザーインタフェース300を介して、医師106が、いくつかのアイコン306を画像302上に配置して経路304を定義するのを可能にするようにさらに構成される。具体的には、経路モジュール204は、第1のアイコン306aおよび第2のアイコン306bを表す入力を受信して、第1のアイコン306aと第2のアイコン306bとの間に第1の副経路308aを識別するように構成される。経路モジュール204は、第3のアイコン306cを表す入力を受信して、第2のアイコン306bと第3のアイコン306cとの間に第2の副経路308bを識別するようにさらに構成される。経路モジュール204は、たとえ7つのアイコン306と6つの副経路308が例示されていても、任意の適切な数のアイコン306を受信して、対応する数の副経路308を生成するように構成されることが理解されるであろう。経路モジュール204は、第1の副経路308a、第2の副経路308b、および任意の追加の適切な副経路308を組み合わせて、経路304を形成するようにさらに構成される。
一例では、経路モジュール204は、メディアエディタユーザーインタフェース300を介して、アイコン306をドラッグアンドドロップ機構で受信するように構成される。例えば、メディアエディタユーザーインタフェース300は、医師がアイコン306をメニュー(図示せず)から選択し、そのアイコン306を画像302上にドラッグするのを可能にし得る。アイコン306を画像302上に配置するために、他の適切なユーザーインタフェース機構が使用され得ることが理解されるであろう。
一例では、医師106は、ユーザーインタフェース300とやり取りするためにHMD(図示せず)を提供され得る。例えば、経路モジュール204は、医師106がHDMを使用して、メディアエディタユーザーインタフェース300によって提示されたシーンまたは仮想環境に仮想的に入り、医師106が解剖学的構造内を仮想的に移動しながら、経路304に沿ってアイコン306を配置することにより経路304を識別するのを可能にし得る。かかる例は、医師106が経路304をさらに正確に定義するのを可能にし得る没入型の経験を提供し、これは、2次元インタフェースを介して経路304を定義する際に別の方法では利用できない可能性があるような視点の向きを医師106が有し得るためである。
図4は、医師がHMDを使用してシーンに仮想的に入り、経路を識別するのを可能にするためのユーザーインタフェース例400を示す。例えば、HMDを使用して、医師は仮想開口部404から頭蓋骨402から成るシーンに入り、第1のアイコン406を配置し得る。医師は次いで、HMDを使用して、頭蓋骨402の中を「飛ぶ」、すなわち、仮想的に移動し始め、前述のとおり経路を作成するために追加のアイコンを配置し得、その間、物理的に頭蓋骨402内部の視点から頭蓋骨402内をナビゲートしている。一例では、図5に示されるように、医師が頭蓋骨402の中を仮想的に移動するときに医師のビューの視野がアバター502によって示され得る。アバター502は、頭蓋骨402内での医師の仮想的な位置ならびに医師の向きおよびビューの角度も表す。医師がHMDを用いてユーザーインタフェース400とやり取りするときにアバター502は医師に対してユーザーインタフェース400上で見えない可能性があることが理解されるであろう。むしろ、アバター502は、HMD以外の、ディスプレイ装置上に表示され得る。従って、第1の医師が頭蓋骨402の中を仮想的にナビゲートするときに、第2の医師は後について行き、潜在的に支援し得る。
図2を再度参照すると、メディアエディタコンピュータ102は、作成された経路304と関連付けられたデータを格納するように構成されたデータストア206をさらに含む。具体的には、データストア206は、情報が経路モジュール204によって受信および生成されているときに、アイコン306および副経路308に関する情報を格納するように構成される。従って、一例では、メディアエディタコンピュータ102は、医師106がビデオ108の完成前に進捗を保存し、やがて後ほどビデオ108の作成を再開するのを可能にする。一例では、経路モジュール204は、医師が、データストア206内に格納された経路に関する情報を編集または削除するのを可能にするようにさらに構成される。
メディアエディタコンピュータ102は、医師が、経路304全体に対してフライスルーをカスタマイズするのを可能にするように構成された設定モジュール210をさらに含む。例えば、設定モジュール210は、右クリック、メニュー選択などによって開始され得るユーザーインタフェースを介して、経路設定を受信し得る。
一例では、受信された経路設定は、フライスルーがビデオ108内で起こるべき速度を含み得る。一例では、受信された経路設定は、ビデオ108が対話型360度モードで、またはパッシブ2次元モードで生成されるべきかどうかの指示をさらに含み得る。例えば、パッシブモードでは、患者112が2次元ビデオ内で仮想環境の経路304に沿って案内されているとき、仮想現実環境の視野は固定されている。一例では、パッシブモードでは視野は固定されているが、ビデオは3次元立体ビデオとして生成され得る。しかし、対話型モードでは、患者112が360度ビデオ内で仮想環境の経路304に沿って案内されているときに、患者112はビューの視野を選択することが可能である。言い換えれば、患者112は依然として定義された経路304に沿って向けられているが、36度ビデオが患者112に対して再生されているとき、患者112は、患者112が所望するどこでも見得る。
設定モジュール210は、医師106が、各アイコン306において個々に様々なアイコン設定を通してフライスルーをカスタマイズするのを可能にするようにさらに構成される。例えば、医師106は、特定のアイコン306に対して1つ以上のアイコン設定を定義するために、個別のアイコン306上で右クリックし得る。図6は、経路を作成または編集している間にアイコンに対して起動され得るユーザーインタフェースメニュー例602を示す。一例では、アイコン設定は速度設定を含み得る。経路速度は受信された経路設定内で定義され得るが、医師は、代替速度で再生するための選択アイコンに続いてビデオのある部分を指定することを選択し得、従ってそれに応じてアイコン設定内で指定する。
一例では、アイコン設定は向き設定を含み得る。例えば、設定モジュール210は、医師が、経路304に沿って特定のアイコン306に位置付けられる場合に視野ビューの向きを定義するのを可能にするように構成され得る。従って、向きは、患者112が、異なるアイコン306の間で経路304に沿って導かれているときに変わり得る。異なるアイコン306において経路304に沿って向きを変えるのを可能にすることは、必要に応じて、焦点を合わせる能力を提供する。一例では、アイコン設定は、ビューの角度設定も含み得る。
一例では、アイコン設定は、層設定を含み得る。より詳細には、仮想現実環境は、環境内に複数のビュー層を含み得る。例えば、脳の解剖学的構造を表す仮想現実環境は、骨層、血管層などを含み得る。層設定は、医師106が、各アイコン306において個々の層をオンまたはオフにするのを可能にし、それにより医師106が各アイコン306において患者112が何を見ることができるかを指示するのを可能にする。言い換えれば、第1のアイコン306aにおいて脳の解剖学的構造の全層を見て、第2のアイコン306bでは層のサブセットだけを見るのは望ましくあり得る。一例では、経路304全体に対してある層をオンまたはオフにすることは望ましくあり得る。その結果、経路設定は、層設定も含み得る。
設定モジュール210は、経路設定およびアイコン設定をデータストア206内に格納するようにさらに構成される。一例では、設定モジュール210は、医師106が、データストア206内に格納された設定を編集または削除するのを可能にするように構成される。
メディアエディタコンピュータ102は、入力104によって表される仮想現実環境のフライスルーを含むビデオ108を、定義された経路304に沿って、設定モジュール210によって受信された設定に基づき、生成するように構成されたビデオ生成モジュール208をさらに含む。具体的には、ビデオ生成モジュール208は、定義された経路304に沿って仮想現実環境を通る移動をシミュレートすることにより、仮想環境の視野ビューを提供するビデオ108を生成する。一例では、ビデオ生成モジュール208は、生成されたビデオ108をデータストア206内に格納するようにさらに構成される。ビデオ108は、AVI、WMVなどの、任意の適切なビデオファイルフォーマットで作成され得ることが理解されるであろう。
一例では、アイコン設定は、分岐(fork)設定を含み得る。より詳細には、設定モジュール210は、医師106がアイコン306において分岐を定義するのを可能にし得る。すなわち、患者112は、所与のアイコン306において進むために、2つ以上の経路から選択する選択肢を与えられ得る。かかる例では、複数のビデオが生成されてデータストア206内に格納され得る。その結果、複数のビデオは一緒にリンクされて、それぞれのアイコン306において行われた選択に基づき連続して患者に提示され得る。
一例では、ビデオ生成モジュール208は、経路304に沿ってビデオ108を生成する場合に円滑化操作を実行するようにさらに構成される。より詳細には、ビデオ生成モジュール208は、アイコン306間のよりシームレスで円滑な動きを作成するために、アイコン306間に情報を外挿するように構成される。例えば、第1のアイコン306aは第1の向きで構成され得、第2のアイコン306bは第2の向きで構成され得る。従って、第1のアイコン306aと第2のアイコン306bとの間を第1の副経路308aに沿って動くとき、ビデオ生成モジュール208は、1つのアイコン306において第1の向きと第2の向きとの間で急に移行する代わりに、第1の副経路308にわたって第1の向きから第2の向きへ徐々に変わるように構成される。より詳細には、ビデオ生成モジュール208は、第1のアイコン306aと第2のアイコン308bとの間の距離または時間を判断するように構成される。ビデオ生成モジュール208は、判断された距離または時間にわたって第1の向きおよび第2の向きを外挿することにより、第1のアイコン306aと第2のアイコン308bとの間の何らかの中間点における第3の向きを推定するようにさらに構成される。従って、第2の向きに移行する前に第1の向きから第3の向きに移行することにより、移行は患者112にとってより円滑と認識される。
円滑化操作は、第1のアイコン306aにおける第1の向きおよび第2のアイコン306bにおける第2の向きを判断された距離または時間にわたって外挿して、第1のアイコン306aと第2のアイコン306bとの間の単一の中間点において1つの追加的な第3の向きを決定することとして説明されているが、円滑化操作により任意のアイコン306間で任意の適切な数の中間点が決定されて使用され得ることが理解されるであろう。より詳細には、追加の中間点を使用すると、移行が患者112にとってより円滑であると認識される結果となり得る。円滑化プロセスは向きに関して説明されているが、円滑化は同様に、他の変数または設定に適用され得ることがさらに理解されるであろう。例えば、ビデオ生成モジュール208は、アイコン306の相対位置の位置に関して円滑化操作を実行するようにさらに構成され得る。例えば、図3に示されている経路304は、概ね円形と認識され得る。しかし、副経路308は直線である。従って、ビデオの意図は患者112に円形経路304の認知を提供することである得るが、患者112は、個々の副経路に沿って、直線、非円形、移動を認知し得る。その結果、ビデオ生成モジュール208は、さらに円形になるように副経路308を調整して患者112により円滑に認知される移行を提供するために、アイコン306間の中間点に沿って位置決めを決定するために、アイコン306の相対位置を外挿するようにさらに構成され得る。
メディアエディタコンピュータ102は、医師106が、アイコン306のいずれかの視点から仮想現実ビューをプレビューするために、経路304を編集している間にプレビューモードまたはコックピットモードに切り替えるのを可能にするように構成されたシミュレータモジュール212をさらに含む。編集プロセス中に仮想現実ビューをリアルタイムでプレビューするのを可能にすることにより、医師106は、患者112を対象とした正確な所望のビューを達成するために、各アイコン306の位置および向きを微調整することが可能である。言い換えれば、医師106は、編集モードとプレビューもしくはコックピットモードとの間で切り替えることができる。一例では、シミュレータモジュール212は、医師106が、アイコン306全部の間を飛ぶことにより経路304全体をプレビューするのを可能にするようにさらに構成される。従って、シミュレータモジュール212は、ビデオが生成される前に、医師がツアーをプレビューするのを可能にする。
医師106は、説明のとおり、ディスプレイ110またはHMD(図示せず)のいずれかを用いて、アイコン306のいずれかの視点から仮想現実ビューをプレビューし得ることが理解されるであろう。一例では、仮想現実ビューのプレビューに加えて、医師106は、経路304をプレビューまたはフライスルーしながら、経路304の編集もし得る。例えば、医師106は、経路304を微調整するために、アイコン306の追加、アイコン306の削除、またはアイコン306の再配置を行い得る。
メディアエディタコンピュータ102は、医師106が注釈および他のマークアップまたは追加のデータを経路304に沿った様々なポイントに追加するのを可能にするように構成された注釈モジュール214をさらに含む。例えば、医師106は、患者112がビデオを見ている間に注釈をレビューし得るように、特定のアイコン306と関連付けられた仮想現実環境内の特定のシーンを説明する注釈を追加し得る。注釈は、例えば、書かれたテキスト、口述、またはグラフィックであり得る。一例では、注釈モジュール214は、注釈をデータストア206内に格納するように構成される。注釈モジュール214は、経路モジュール204を使用して経路を作成している間、またはその後のビデオ生成モジュール308によってビデオが生成される前の任意の時のいずれかに、医師106が経路304に沿って注釈を追加するのを可能にすることが理解されるであろう。
一例では、注釈モジュール214は、医師が、患者112もしくは学生と向き合って教えるために、質問もしくはテストを経路304と、または個々のアイコン306と関連付けるのを可能にし得る。一例では、注釈は、マーケティング目的で生成され得る。他の例では、注釈モジュール214は、医師106が、ビデオもしくはシミュレートされた手術ツールなどの追加コンテンツを経路304と、または個々のアイコン306と関連付けるのを可能にし得る。
メディアエディタコンピュータ102は、生成されたビデオ108を患者112に伝達するように構成された通信モジュール216をさらに含む。一例では、通信モジュール216は、例えば、医師106のオフィスで、医師106と患者112との間で直接じかに向き合ってやり取りするために、ビデオ108をディスプレイ110に伝達する。別の例では、通信モジュール216は、ネットワーク114を経由してビデオ108をリモートで患者112に伝達するように構成される。例えば、通信モジュール216は、ネットワーク114を経由して電子メールによりビデオ108を患者112に伝送するように構成できる。別の例では、通信モジュール216は、データストア206内に格納されたビデオ108へのリンクを伝達するように構成され得る。通信モジュール216は、リンクを、例えば、電子メールによって、またはテキストメッセージによって伝達し得る。
一旦、ビデオ108が生成されて共有されると、それはいくつかの有用な方法で使用できる。例えば、患者は、手術に備えて、来る手術中にどんな措置が取られるかを家族に説明するために、ビデオを自宅で家族とレビューし得る。患者は、ビデオ108を途中で一時停止させて、ある対象領域を指摘するか、または特定の質問に回答し得る。患者は、ビデオを、例えば、スマートフォン上で、PC上で、またはHMDを用いて見得る。ビデオ108は、他の医師に教えるか、または他者と協力するためにも使用され得る。例えば、医師は、ビデオ108を使用して、解剖学的構造内を別の医師を「連れて歩き(walk)」、特定の特徴を説明して外科手術について様々な意見を述べ得る。一例では、ビデオ108の制作者は、対話的特徴をビデオ108に追加して、ビデオフライスルー経験をカスタマイズする能力を患者または他の医師に提供し得る。例えば、患者は、ビデオに沿って異なる経路から選択するか、またはフライスルー中に解剖学的構造のある層をオンおよびオフにする選択肢を提供され得る。一例では、患者は、外科手術の理解を確認するために、ビデオフライスルー中に質問に答えて、回答を医師に提出し得る。
図7は、カスタム360VRビデオフライスルーを生成するための方法例を示す。ブロック702で、メディアエディタコンピュータ102は、3D仮想現実環境のモデルを含む入力データを受信する。ブロック704で、メディアエディタコンピュータ102は、仮想現実環境内で経路を定義するためのユーザーインタフェースを提供する。ブロック706で、メディアエディタコンピュータ102は、経路の定義および関連設定を示す入力を受信する。経路を定義することは、経路に沿ってステップまたはアイコンを定義することを含み、他方、設定を定義することは、経路に沿った各ステップにおいてビデオの特性を定義することを含む。ブロック708で、メディアエディタコンピュータ102は、仮想現実環境のビデオフライスルーを生成し、ビデオを患者または他のユーザーと共有する。
図8は、図1のメディアエディタコンピュータ例102を実装するためのコンピュータ例800の概略図である。コンピュータ例800は、様々な形のデジタルコンピュータを表すことを意図しており、ラップトップ、デスクトップ、ハンドヘルドコンピュータ、タブレットコンピュータ、スマートフォン、サーバー、および他の類似のタイプのコンピューティング装置を含む。コンピュータ800は、プロセッサ802、メモリ804、記憶装置806、および通信ポート808を含み、バス812を介しインタフェース810によって動作可能に接続されている。
プロセッサ802は、コンピュータ800内での実行のために、メモリ804を介して、命令を実行する。実施形態例では、複数のプロセッサが複数のメモリと一緒に使用され得る。
メモリ804は、揮発性メモリまたは不揮発性メモリであり得る。メモリ804は、磁気ディスクまたは光ディスクなどの、コンピュータ可読媒体であり得る。記憶装置806は、コンピュータ可読媒体、例えば、フロッピィディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリ、相変化メモリ、もしくは他の類似のソリッドステートメモリ装置、または他の構成のストレージエリアネットワーク内の装置を含む、装置のアレイなどであり得る。コンピュータプログラム製品は、メモリ804または記憶装置806などのコンピュータ可読媒体内に有形的に具現化できる。
コンピュータ800は、ディスプレイ814、プリンタ816、スキャナ818、マウス820、およびHMD822などの、1つ以上の入力および出力装置に結合できる。
当業者によって理解されるように、実施形態例は、方法、システム、コンピュータプログラム製品、もしくは前述の組合せとして実現され得るか、または一般に、方法、システム、コンピュータプログラム製品、もしくは前述の組合せを利用し得る。それに応じて、実施形態のいずれも、コンピュータハードウェア上での実行のために記憶装置内に格納された実行可能命令を含む専用ソフトウェアの形をとり得、ソフトウェアは、媒体内に具現化されたコンピュータ使用可能なプログラムコードを有するコンピュータ使用可能記憶媒体上に格納できる。
データベースは、MySQLなどのオープンソースソリューション、または開示されるサーバーもしくは追加のコンピュータサーバー上で動作し得るMicrosoft SQLのような閉じたソリューションなどの、市販のコンピュータアプリケーションを使用して実装され得る。データベースは、上で開示した実施形態例に対して使用されるデータ、モデル、およびモデルパラメータを格納するために、リレーショナルまたはオブジェクト指向パラダイムを利用し得る。かかるデータベースは、本明細書で開示されるような特定用途に対して既知のデータベースプログラミング技術を使用してカスタマイズされ得る。
任意の適切なコンピュータ使用可能(コンピュータ可読)媒体は、実行可能命令を含むソフトウェアを格納するために利用され得る。コンピュータ使用可能またはコンピュータ可読媒体は、例えば、電子、磁気、光学、電磁、赤外線、もしくは半導体システム、機器、装置、または伝搬媒体であり得るが、それらに制限されない。コンピュータ可読媒体のより具体的な例(包括的でないリスト)は、次を含むであろう:1つ以上のワイヤーを有する電気的接続;可搬式コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMまたはフラッシュメモリ)、読取り専用コンパクトディスク(CDROM)などの有形的媒体、または他の有形的光もしくは磁気記憶装置;またはインターネットもしくはイントラネットをサポートするものなどの伝送媒体。
本文書の文脈では、コンピュータ使用可能またはコンピュータ可読媒体は、1つ以上のプログラマブルまたは専用プロセッサ/コントローラ(複数可)を含む、任意の適切なコンピュータ(またはコンピュータシステム)を含むことができる、命令実行システム、プラットフォーム、機器、もしくは装置によって、またはそれらと接続して、使用するためのプログラム命令を包含、格納、伝達、伝搬、または搬送することができる任意の媒体である得る。コンピュータ使用可能媒体は、ベースバンド内、または搬送波の一部としてのいずれかで、コンピュータ使用可能プログラムコードがそれと一緒に具現化された伝搬されたデータ信号を含み得る。コンピュータ使用可能プログラムコードは、インターネット、地上通信線、光ファイバーケーブル、ローカル通信バス、無線周波数(RF)または他の手段を含むが、それらに制限されない、任意の適切な媒体を使用して、伝送され得る。
実施形態例の動作を実行するための実行可能命令を有するコンピュータプログラムコードは、BASIC、Lisp、VBA、もしくはVBScriptなどのインタープリタ型もしくはイベント駆動型言語、またはビジュアルベーシックなどのGUI実施形態、FORTRAN、COBOL、もしくはPascalなどのコンパイラ型プログラミング言語、Java、JavaScript、Perl、Smalltalk、C++、Object Pascal、もしくは同様のものなどの、オブジェクト指向、スクリプト型もしくは非スクリプト型プログラミング言語、Prologなどの人工知能言語、Adaなどのリアルタイム組み込み言語、またはラダーロジックを使用するさらにもっと直接的もしくは簡略化されたプログラミング、アセンブラ言語、または適切な機械語を使用する直接プログラミングを含むがそれらに制限されない、任意のコンピュータ言語を使用して従来型の手段によって書かれ得る。
用語「含む(include)」または「含み(including)」は本明細書またはクレーム内で使用される範囲において、用語「含む(comprising)」がクレーム内で移行語として採用された場合にその用語が解釈されるのと同様に包括的であることを意図する。さらに、用語「または(or)」は採用される範囲において(例えば、AまたはB)「AまたはBまたはその両方」を意味することを意図する。出願人が「AまたはBのみであるが、両方ではない」を示すことを意図する場合は、用語「AまたはBのみであるが、両方ではない」が採用されるであろう。従って、本明細書での用語「または」の使用は包括的であり、排他的使用ではない。Bryan A.GarnerによるA Dictionary of Modern Legal Usage 624(2d.Ed.1995)を参照されたい。また、用語「内(in)」または「内へ(into)」は本明細書またはクレーム内で使用される範囲において、追加として「上(on)」または「上へ(onto)」を意味することを意図する。さらに、「接続する(connect)」は本明細書またはクレーム内で使用される範囲において、「〜に直接接続される」だけでなく、別の構成要素もしくは複数の構成要素を通して接続される等、「〜に間接的に接続される」ことも意味することを意図する。
本出願はその実施形態の記述によって説明されていて、実施形態はかなり詳細に説明されているが、添付のクレームの範囲をかかる詳細に限定するか、または何らかの方法で制限することは出願人の意図ではない。追加の利点および修正は当業者には容易に明らかであろう。従って、本出願は、そのより幅広い態様において、特定の詳細、代表的な装置および方法、ならびに示されて説明される図示例には制限されない。その結果、出願人の全般的な発明概念の精神または範囲から逸脱することなく、かかる詳細から展開が行われ得る。
Claims (20)
- 医療処置のために準備する方法であって、
特定の患者の内部解剖学的構造の医用画像を取得するステップと、
前記医用画像を利用して、前記患者の前記内部解剖学的構造と関連付けられた前記患者の3次元仮想モデルを準備するステップと、
コンピュータ装置を使用し、前記患者の前記仮想モデルを使用して仮想現実環境を生成して、前記患者の実際の組織のリアルな3次元画像を提供するステップと、
前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る経路を定義するユーザー入力を受信するために前記コンピュータ装置の入力装置上にインタフェースを提供して、前記患者の実際の組織の前記内部解剖学的構造の前記リアルな3次元画像の様々な視野をキャプチャするステップと、
前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る前記定義された経路をキャプチャする患者ビデオを生成することであって、前記患者ビデオは、前記患者の実際の組織の前記内部解剖学的構造の前記リアルな3次元画像の様々な視野のビューを示しており、前記患者ビデオは、汎用コンピューティング装置上で再生するように構成されている、患者ビデオを生成するステップと、
前記患者ビデオを前記汎用コンピューティング装置に送信して、前記汎用コンピューティング装置上で再生するステップと
を含む、方法。 - 前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る経路を定義する前記ステップは、前記入力装置からの入力を受け入れて前記経路に沿った様々な位置にマーカーで印を付けるステップを含む、請求項1に記載の方法。
- 各マーカーは、前記患者の実際の組織の前記内部解剖学的構造の前記リアルな3次元画像の特定の視野ビューと関連付けられている、請求項2に記載の方法。
- 前記ビデオは、円滑化操作を使用して生成されて、前記ビデオが、あるマーカーの特定の視野ビューから隣接するマーカーの特定の視野ビューまでトラバースする間に、視野における変化が次第に推移するビューを示す、請求項3に記載の方法。
- 前記特定の視野ビューは、前記仮想モデル内のビューの角度および向きを含む、請求項3に記載の方法。
- 前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る経路を定義する前記ステップは、前記入力装置からの入力を受け入れて各マーカーを前記仮想モデルの1つ以上の特定の解剖学的構造の層と関連付け、そのために前記患者ビデオ内の前記層のビューが前記経路に沿ってオンおよびオフにできるようにするステップも含む、請求項2に記載の方法。
- 前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る経路を定義する前記ステップは、前記入力装置からの入力を受け入れて前記マーカーの1つ以上を前記患者ビデオ内の前記経路の一部に沿った移動速度と関連付けるステップも含む、請求項2に記載の方法。
- 前記ユーザー入力装置の前記インタフェースは、前記マーカーを前記経路に沿って配置するためにドラッグアンドドロップインタフェースをユーザーに提供するように構成される、請求項2に記載の方法。
- 前記マーカーを前記経路に沿って配置するために前記ユーザーによって前記経路を見るために使用するためのヘッドマウントディスプレイを提供するステップをさらに含む、請求項2に記載の方法。
- マーカーは、前記経路を2つの異なる経路に分ける前記経路内の分岐と関連付けられて、前記患者ビデオの視聴者に前記2つの異なる経路の1つを選択する選択肢を提供する、請求項2に記載の方法。
- マーカーは、前記インタフェースを使用して前記ユーザーによって提供された1つ以上の注釈または追加のデータと関連付けられる、請求項2に記載の方法。
- 前記注釈は、質問またはクイズを含む、請求項11に記載の方法。
- マーカーは、視聴者が部分ビデオとやり取りするのを可能にするアクティブビデオを提供するか、または前記視聴者が前記ビデオの前記部分とやり取りするのを許可しないパッシブビデオを提供するために選択可能なコントロールと関連付けられている、請求項2に記載の方法。
- リンクが前記汎用コンピューティング装置に送信されて前記患者ビデオを前記汎用コンピューティング装置にダウンロードして前記ビデオを再生する、請求項1に記載の方法。
- 前記汎用コンピューティング装置はスマートフォンである、請求項1に記載の方法。
- 前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る経路を定義する前記ステップは、前記入力装置からの入力を受け入れて前記経路に沿った様々な位置にマーカーで印を付けるステップを含み、各マーカーは、前記患者の実際の組織の前記内部解剖学的構造の前記リアルな3次元画像の特定の視野ビューと関連付けられている、請求項1に記載の方法。
- 医療処置のために準備する方法であって、
特定の患者の内部解剖学的構造の医用画像を取得するステップと、
前記医用画像を利用して、前記患者の前記内部解剖学的構造と関連付けられた前記患者の3次元仮想モデルを準備するステップと、
コンピュータ装置を使用し、前記患者の前記仮想モデルを使用して仮想現実環境を生成して、前記患者の実際の組織のリアルな3次元画像を提供するステップと、
前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る経路を定義するユーザー入力を受信するために前記コンピュータ装置の入力装置上にインタフェースを提供して、前記患者の実際の組織の前記内部解剖学的構造の前記リアルな3次元画像の様々な視野をキャプチャするステップと、
前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る前記定義された経路をキャプチャする患者ビデオを生成することであって、前記患者ビデオは、前記患者の実際の組織の前記内部解剖学的構造の前記リアルな3次元画像の様々な視野のビューを示しており、前記患者ビデオは、汎用コンピューティング装置上で再生するように構成されている、患者ビデオを生成するステップと、
前記患者ビデオを前記汎用コンピューティング装置に送信して、前記患者によって見るために前記汎用コンピューティング装置上で再生するステップと
前記患者が前記ビデオを前記汎用コンピューティング装置上で見て、前記医療処置に備えるステップと
を含む、方法。 - 医療処置のために準備する方法であり、
特定の患者の内部解剖学的構造の医用画像を取得するステップと、
前記医用画像を利用して、前記患者の前記内部解剖学的構造と関連付けられた前記患者の3次元仮想モデルを準備するステップと、
コンピュータ装置を使用し、前記患者の前記仮想モデルを使用して仮想現実環境を生成して、前記患者の実際の組織のリアルな3次元画像を提供するステップと、
ユーザー入力を受信するために前記コンピュータ装置の入力装置上にインタフェースを提供するステップであって、
前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る経路を定義して、前記患者の実際の組織の前記内部解剖学的構造のリアルな3次元画像を提供するステップと、
前記入力装置からの入力を受け入れて前記経路に沿った様々な位置にマーカーで印を付けるステップであって、前記マーカーの各々は前記患者の実際の組織の前記内部解剖学的構造の前記リアルな3次元画像の特定の視野ビューと関連付けることができる、マーカーで印を付けるステップと
を含む、インタフェースを提供するステップと、
前記仮想現実環境内で前記患者の前記内部解剖学的構造を通る前記定義された経路をキャプチャする患者ビデオを生成するステップであって、前記患者ビデオは、前記患者の実際の組織の前記内部解剖学的構造の前記リアルな3次元画像の様々な視野のビューを示す、患者ビデオを生成するステップと
を含む方法であって、
前記ビデオは、円滑化操作を使用して生成されて、前記ビデオが、あるマーカーの特定の視野ビューから隣接するマーカーの特定の視野ビューまでトラバースする間に、視野における変化が次第に推移するビューを示し、
前記患者ビデオは、汎用コンピューティング装置上で再生するように構成され、
前記患者ビデオを前記汎用コンピューティング装置に送信して、前記患者が見るために前記汎用コンピューティング装置上で再生し、
前記患者が前記ビデオを前記汎用コンピューティング装置上で見て、前記医療処置に備える方法。 - 前記ユーザーインタフェースは、前記マーカーの1つ以上を、前記患者ビデオ内の前記経路の一部に沿った移動速度、前記患者ビデオ内の前記経路の一部に沿って示すための解剖学的構造の1つ以上の層、または前記経路を2つの異なる経路に分けて、前記ビデオを見ている間に前記2つの異なる経路の1つを選択する選択肢を患者に提供する前記経路内の分岐、の1つ以上と関連付けることを受け入れるように構成されている、請求項18に記載の方法。
- 前記ユーザーインタフェースは、前記患者が部分ビデオとやり取りするのを可能にするアクティブビデオを提供するか、または前記患者が前記ビデオの前記部分とやり取りするのを許可しないパッシブビデオを提供するために選択可能なコントロールと、前記マーカーの1つ以上を関連付けることを受け入れるように構成されている、請求項18に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862735616P | 2018-09-24 | 2018-09-24 | |
US62/735,616 | 2018-09-24 | ||
PCT/US2019/052454 WO2020068681A1 (en) | 2018-09-24 | 2019-09-23 | 360 vr volumetric media editor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022502797A true JP2022502797A (ja) | 2022-01-11 |
Family
ID=69952765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021540376A Pending JP2022502797A (ja) | 2018-09-24 | 2019-09-23 | 360vr容積メディアエディタ |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210358218A1 (ja) |
EP (1) | EP3844773A4 (ja) |
JP (1) | JP2022502797A (ja) |
CN (1) | CN113196413A (ja) |
IL (1) | IL281789A (ja) |
TW (1) | TW202038255A (ja) |
WO (1) | WO2020068681A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114201098A (zh) * | 2021-12-06 | 2022-03-18 | 北京泽桥医疗科技股份有限公司 | 一种基于三维建模的医学教学课件生成方法、装置及设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7658611B2 (en) * | 2004-03-18 | 2010-02-09 | Reality Engineering, Inc. | Interactive patient education system |
US7978925B1 (en) * | 2005-04-16 | 2011-07-12 | Apple Inc. | Smoothing and/or locking operations in video editing |
US8717360B2 (en) * | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
US9563266B2 (en) * | 2012-09-27 | 2017-02-07 | Immersivetouch, Inc. | Haptic augmented and virtual reality system for simulation of surgical procedures |
US10228242B2 (en) * | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
JP2018534011A (ja) * | 2015-10-14 | 2018-11-22 | サージカル シアター エルエルシー | 拡張現実感手術ナビゲーション |
DE102015222782A1 (de) * | 2015-11-18 | 2017-05-18 | Sirona Dental Systems Gmbh | Verfahren zur Visualisierung einer Zahnsituation |
US10888399B2 (en) * | 2016-12-16 | 2021-01-12 | Align Technology, Inc. | Augmented reality enhancements for dental practitioners |
US10636323B2 (en) * | 2017-01-24 | 2020-04-28 | Tienovix, Llc | System and method for three-dimensional augmented reality guidance for use of medical equipment |
WO2018201155A1 (en) * | 2017-04-28 | 2018-11-01 | The Brigham And Women's Hospital, Inc. | Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment |
US11229496B2 (en) * | 2017-06-22 | 2022-01-25 | Navlab Holdings Ii, Llc | Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure |
-
2019
- 2019-09-23 WO PCT/US2019/052454 patent/WO2020068681A1/en unknown
- 2019-09-23 EP EP19865008.7A patent/EP3844773A4/en not_active Withdrawn
- 2019-09-23 CN CN201980062562.XA patent/CN113196413A/zh active Pending
- 2019-09-23 US US17/278,302 patent/US20210358218A1/en active Pending
- 2019-09-23 JP JP2021540376A patent/JP2022502797A/ja active Pending
- 2019-09-24 TW TW108134436A patent/TW202038255A/zh unknown
-
2021
- 2021-03-24 IL IL281789A patent/IL281789A/en unknown
Also Published As
Publication number | Publication date |
---|---|
CN113196413A (zh) | 2021-07-30 |
WO2020068681A1 (en) | 2020-04-02 |
TW202038255A (zh) | 2020-10-16 |
EP3844773A1 (en) | 2021-07-07 |
EP3844773A4 (en) | 2022-07-06 |
US20210358218A1 (en) | 2021-11-18 |
IL281789A (en) | 2021-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11730545B2 (en) | System and method for multi-client deployment of augmented reality instrument tracking | |
US11532135B2 (en) | Dual mode augmented reality surgical system and method | |
US20210015583A1 (en) | Augmented reality system and method for tele-proctoring a surgical procedure | |
US20200038119A1 (en) | System and method for training and collaborating in a virtual environment | |
US20190236840A1 (en) | System and method for patient engagement | |
Bernardo et al. | A three-dimensional interactive virtual dissection model to simulate transpetrous surgical avenues | |
Pinter et al. | SlicerVR for medical intervention training and planning in immersive virtual reality | |
CN104271066A (zh) | 具有不用手的控制的混合图像/场景再现器 | |
Birr et al. | The LiverAnatomyExplorer: a WebGL-based surgical teaching tool | |
EA027016B1 (ru) | Система и способ компьютерного моделирования медицинской процедуры | |
Gasques Rodrigues et al. | Exploring mixed reality in specialized surgical environments | |
JP2022502797A (ja) | 360vr容積メディアエディタ | |
Ivaschenko et al. | Focused visualization in surgery training and navigation | |
Crusco | Bubble: a novel technique for group navigation in VR | |
James | A New Perspective on Minimally Invasive Procedures: Exploring the Utility of a Novel Virtual Reality Endovascular Navigation System | |
Taweel | Remote Surgery Guidance Using Virtual Reality and 360º Video | |
Venn | Immersive Visualization in Biomedical Computational Fluid Dynamics and Didactic Teaching and Learning | |
Mukit | Intraoperative Virtual Surgical Planning Through Medical Mixed Reality | |
Ghandorh | Augmented Reality Simulation Modules for EVD Placement Training and Planning Aids | |
Lin | Interaction with medical volume data on the responsive workbench |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220926 |