JP7367041B2 - 頭部装着型ディスプレイシステムのためのｕｉ - Google Patents

頭部装着型ディスプレイシステムのためのｕｉ Download PDF

Info

Publication number
JP7367041B2
JP7367041B2 JP2021547986A JP2021547986A JP7367041B2 JP 7367041 B2 JP7367041 B2 JP 7367041B2 JP 2021547986 A JP2021547986 A JP 2021547986A JP 2021547986 A JP2021547986 A JP 2021547986A JP 7367041 B2 JP7367041 B2 JP 7367041B2
Authority
JP
Japan
Prior art keywords
head
surgeon
mounted display
image
menu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021547986A
Other languages
English (en)
Other versions
JP2022509460A (ja
Inventor
セゲフ，エラン
ズーマー，シャハフ
ソロモン，イアーラ
シュナイダー，ロン
ベン‐イシャイ，ラニ
Original Assignee
べイエオニクス サージカル リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by べイエオニクス サージカル リミテッド filed Critical べイエオニクス サージカル リミテッド
Priority claimed from PCT/IL2019/051155 external-priority patent/WO2020084625A1/en
Publication of JP2022509460A publication Critical patent/JP2022509460A/ja
Application granted granted Critical
Publication of JP7367041B2 publication Critical patent/JP7367041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)
  • Input From Keyboards Or The Like (AREA)

Description

開示される技術は、一般に、頭部装着型ディスプレイに関し、特に、頭部装着型ディスプレイに関する複数のシステムモードを制御するための方法およびシステムに関する。
頭部装着型ディスプレイは、装着者の視野に画像を投影する装着型電子ディスプレイである。仮想現実アプリケーションにおいて、投影画像は一般に、装着者の視野を遮断する。拡張現実アプリケーションにおいて、投影画像は一般に、装着者の視野の一部に重ね合わせられ、装着者が現実および仮想特徴を同時に見ることを可能にする。
“Ｉｍａｇｅ Ｄｉｓｐｌａｙ Ａｐｐａｒａｔｕｓ ｏｆ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｔｙｐｅ”と題された、タバタ氏の米国特許第５，７８１，１６５号は、ユーザ制御型の頭部装着型ディスプレイを開示する。頭部装着型ディスプレイを装着している間、ＬＣＤスクリーンに仮想画像がステレオで投影され、装着者は、３次元仮想画像を見ることが可能である。装着者は、電子コントローラのボタンを押すことによって仮想画像の表示を制御する。たとえば装着者が自身の頭部を動かす場合など、頭部装着型ディスプレイが回転および位置運動を検出すると、仮想画像の表示は、仮想画像平面上に静止した状態で出現するように調整される。
“Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｉｍａｇｅ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ ａｎｄ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ Ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｓａｍｅ”と題された、ヤスカワ氏の米国特許第５，９７７，９３５号は、拡張現実を表示するための頭部装着型デバイスを開示する。装着者の視野は、区画に分割される。装着者は、自身の視野の１つの区画において、現実世界を見る。装着者の視野の他の区画において、１または複数の仮想スクリーンが投影される。自身の頭部を動かすことによって自身の視線を動かすことにより、装着者は、ディスプレイを制御するためにマウスを動かすのと同様に、どの仮想スクリーンが表示されるかを制御する。フットペダルは、マウスのクリックと同様に、入力デバイスとしての機能を果たす。
“Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｉｍａｇｅ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ ａｎｄ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ Ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｓａｍｅ”と題された、ヤスカワ氏の米国特許第６，３２０，５５９号は、仮想コンテンツを表示するための頭部装着型デバイスを開示する。装着者は、自身の視線を動かすことによって、ディスプレイのコンテンツを切り換える。装着者は更に、音声入力によってディスプレイの属性を制御する。装着者は、自身の視線を動かすことによって、表示された画像をスクロールし得る。
”Ｃｏｍｐｕｔｅｒ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｗｉｔｈ Ｈｅａｄ Ｍｏｔｉｏｎ Ｉｎｐｕｔ“と題された、Ｒｅｉｃｈｅｌｎ氏の米国特許第６，３９６，４９７号は、３６０度ビュー空間を有する装着型ディスプレイシステムを開示する。ビュー空間内の各点は、特定のヨーおよびピッチ位置によって識別される。自身の頭部を動かすことによって、装着者は、３６０度ビュー空間内の（２５°×２０°）ウェッジのみを占めるビューウインドウ内の表示を変更する。ビューウインドウ内に表示されたスクロールバーは、装着者がビュー空間内での現在位置の追跡を維持するために役立つ。
“Ｓｅｌｅｃｔｉｖｅｌｙ Ｃｏｎｔｒｏｌｌａｂｌｅ Ｈｅａｄｓ－Ｕｐ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ”と題された、Ｌｅｍｅｌｓｏｎ氏の米国特許第６，８４７，３３６号は、装着者がディスプレイを制御することを可能にする複数のユーザインタフェースを有する、外科医用装着型ディスプレイを開示する。このシステムは、ディスプレイスクリーン上でカーソルを動かすためのアイトラッキング、および「マウスクリック」選択を実施するためのフットペダルまたは音声コマンドのいずれかを取り入れる。
“Ｒｅｍｏｔｅ Ｃｏｎｔｒｏｌ ｏｆ ａ Ｍｅｄｉｃａｌ Ｄｅｖｉｃｅ Ｕｓｉｎｇ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｆｏｏｔ Ｃｏｎｔｏｒｏｌｓ”と題された、Ｍｉｌｌｅｒ氏の米国特許第７，１２７，４０１号は、外科医が使用するための音声制御型医療撮像デバイスを開示する。音声によって医療撮像デバイスを制御することによって、医療処置を行うために外科医の両手が空く。
“Ｏｐａｃｉｔｙ Ｆｉｌｔｅｒ ｆｏｒ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ”と題された、Ｂａｒ－Ｚｅｅｖ氏の米国特許第８，９４１，５５９号は、装着型拡張現実ディスプレイを開示する。ディスプレイの各画素は、最大不透明から透明までのレベルを個々に調整可能であり、それに応じて現実世界シーンからの光が遮断または透過されることを可能にする。コントローラは、現実世界シーンに重ね合わせられた仮想画像を表示するために指定された画素の不透明度を制御する。
“Ｕｓｉｎｇ Ｈｅａｄ Ｇｅｓｔｕｒｅ ａｎｄ Ｅｙｅ Ｐｏｓｉｔｉｏｎ ｔｏ Ｗａｋｅ ａ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ”と題された、Ｒａｆｆｌｅ氏の米国特許第９，２８５，８７２号は、装着型ディスプレイユニットに関する動作モードを切り換えるためにジェスチャ認識およびアイトラッキングを取り入れることを開示する。
“Ｏｐａｃｉｔｙ Ｆｉｌｔｅｒ ｆｏｒ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ” と題された、Ｂａｒ－Ｚｅｅｖ氏の米国特許第９，２８６，７３０号は、装着型拡張現実ディスプレイを開示する。ディスプレイの各画素は、最大不透明から透明までのレベルを個々に調整可能であり、それに応じて現実世界シーンからの光が遮断または透過されることを可能にする。現実世界シーンに重ね合わせられた仮想画像の位置は、アイトラッキングによって制御される。
“Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ”と題された、Ａｂｄｏｌｌａｈｉ氏の米国特許第９，２９２，０８４号は、ジェスチャ制御および事前構成されたジェスチャプロファイルを用いて装着型デバイスのディスプレイを制御することを開示する。ジェスチャは、ハンドまたはヘッドジェスチャであってよい。ジェスチャ制御特徴をオンおよびオフに切り替えるためにボタンが提供される。
“Ｔｅｘｔ Ｓｅｌｅｃｔｉｏｎ Ｕｓｉｎｇ ＨＭＤ Ｈｅａｄ－Ｔｒａｃｋｅｒ ａｎｄ Ｖｏｉｃｅ－Ｃｏｍｍａｎｄ”と題された、Ｈｅｎｅｌｌｙ氏の米国特許第９，３８３，８１６号は、頭部装着型ディスプレイに関するハンドフリーテキスト選択を開示する。頭部装着型ディスプレイの装着者は、ヘッドおよびハンドジェスチャの組み合わせによって、表示されたテキストを選択する。
“Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ， Ｐｒｏｇｒａｍ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ， ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｃｏｎｔｒｏｌｌｉｎｇ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ”と題された、クリヤ氏の米国特許第９，５２３，８５４号は、頭部装着型ディスプレイ（ＨＭＤ）の有用性を向上させる技術を開示する。ＨＭＤに表示するための画像は、ＨＭＤの方向が装着者の視線の外側にあることの検出に基づいて選択される。
“Ｍｅｎｕ Ｎａｖｉｇａｔｉｏｎ ｉｎ ａ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ”と題された、Ｍｏｒａｖｅｔｚ氏の米国特許第９，５８８，３４３号は、ＨＭＤのフォーカルポイントに対するＨＭＤの位置および向き（Ｐ＆Ｏ）を追跡することによって仮想メニューをナビゲートする方法を開示する。
“Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ”と題された、Ａｂｄｏｌｌａｈｉ氏の米国特許第９，６９６，７９７号は、ジェスチャ制御によって仮想メニューをナビゲートするための方法を開示する。
“Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｐｅｒｃｅｐｔｉｏｎ ｏｆ Ｃｏｎｔｅｎｔ ｉｎ ａ Ｗｉｄｅ Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ ｏｆ ａ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ”と題された、Ｆａｔｅｈ氏の米国特許第９，８０４，６６９号は、装着者のフォーカルポイントに基づいて仮想画像の解像度を制御するための方法を開示する。次に装着者のフォーカルポイント内にあることが予測される表示エリアと共に、現在ユーザのフォーカルポイント内にある表示エリアの解像度が増加される。これら２つのフォーカスエリアの間にある表示エリアの解像度は低減される。
“Ｉｍａｇｅ Ｒｅｎｄｅｒｉｎｇ Ｒｅｓｐｏｎｓｉｖｅ ｔｏ Ｕｓｅｒ Ａｃｔｉｏｎｓ ｉｎ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ”と題された、Ｓｔａｆｆｏｒｄ氏の米国特許第９，８９７，８０５号は、次に起こる装着者の視線の動きを予測するためにアイトラッキングを取り入れる頭部装着型ディスプレイを開示する。レンダリング画像の品質は、予測された動きに基づいて調整される。
“Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ Ｈａｖｉｎｇ Ｉｎｔｅｒａｃｔｉｖｅ Ｆｕｎｃｔｉｏｎ ａｎｄ Ｍｅｔｈｏｄ Ｔｈｅｒｅｏｆ”と題された、Ｃｈｕａｎｇ氏の米国特許公開第ＵＳ２０１２００２７３７３ Ａ１号は、ディスプレイデバイスの検出された動きに基づいて表示画像を調整する頭部装着型ディスプレイを開示する。
“Ｈｅａｄ－Ｔｒａｃｋｉｎｇ Ｂａｓｅｄ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｍｏｖｉｎｇ Ｏｎ－Ｓｃｒｅｅｎ Ｏｂｊｅｃｔｓ ｏｎ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ（ＨＭＤ）”と題された、Ｐａｒｋｉｎｓｏｎ氏の米国特許公開第ＵＳ２０１５０２２０１４２ Ａ１号は、ヘッドトラッキングコントローラを用いてＨＭＤデバイスのディスプレイ上でカーソルを制御する方法を開示する。
“Ｈａｎｄｓ Ｆｒｅｅ Ｉｍａｇｅ Ｖｉｅｗｉｎｇ ｏｎ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ”と題された、Ｖａｒｇａｓ氏の米国特許公開第ＵＳ２０１５０３４６８１３ Ａ１号は、ＨＭＤデバイスのディスプレイを制御するためのヘッドジェスチャベースのユーザインタフェースを開示する。ヘッドジェスチャを介して制御可能な表示特徴は、表示画像のズームインおよびアウト、表示画像のパンニング、一連の表示画像に沿ったスクロール、および様々な動作モード間での切換えを含む。
“Ｏｐｔｉｃａｌ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ， Ｔｅｌｅｖｉｓｉｏｎ Ｐｏｒｔａｌ Ｍｏｄｕｌｅ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”と題された、Ａｎｄｅｒｓｓｏｎ氏の米国特許公開第ＵＳ２０１７００３１５３８ Ａ１号は、装着者のアイトラッキングおよび頭部運動によってグラフィカルユーザインタフェース（ＧＵＩ）を制御するためのモードに入ることを開示する。
“Ｍｅｔｈｏｄ ａｎｄ Ｄｅｖｉｃｅ ｏｆ Ｃｏｎｔｒｏｌｌｉｎｇ Ｖｉｒｔｕａｌ Ｍｏｕｓｅ ａｎｄ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙｉｎｇ Ｄｅｖｉｃｅ”と題された、Ｚｈａｎｇ氏の米国特許公開第ＵＳ２０１７０２４２４９５ Ａ１号は、頭部装着型ディスプレイのための仮想マウスを制御するために頭部運動検出を取り入れることを開示する。
“Ｐｏｒｔａｂｌｅ Ｓｕｒｇｉｃａｌ Ｍｅｔｈｏｄｓ， Ｓｙｓｔｅｍ， ａｎｄ Ａｐｐａｒａｔｕｓ”と題された、Ｎａｚａｒｅｔｈ氏の米国特許公開第ＵＳ２０１７０２７３５４９ Ａ１号は、外科処置の生画像を取得するためのカメラ、取得した画像の生フィードを表示するための無線ヘッドセット、システムの音声作動型制御、および外科処置に関するデータを格納するためのコンピュータを含む外科用機器を収容するためのキットを開示する。
“Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ”と題された、Ａｂｄｏｌｌａｈｉ氏の米国特許公開第ＵＳ２０１８０１１３５０７ Ａ１号は、頭部装着型ディスプレイ（ＨＭＤ）デバイスに関するジェスチャ制御モードを開示する。ジェスチャ制御モードは、ジェスチャ制御イネーブル信号の検出時に有効化され、ユーザがジェスチャを介してメニューをナビゲートすることを可能にする。
開示される技術の目的は、頭部装着型ディスプレイシステムのためのユーザインタフェースに関する新たな方法およびシステムを提供することである。
開示される技術によると、外科医によって装着されるように構成された頭部装着型ディスプレイと、外科医によるヘッドジェスチャ入力を追跡するように構成されたトラッカと、外科医による足部運動入力を検出するように構成されたフットスイッチと、頭部装着型ディスプレイ、トラッカ、およびフットスイッチに結合されたコンピュータと、頭部装着型ディスプレイ、トラッカ、およびフットスイッチを少なくとも備えるユーザインタフェースであって、コンピュータに、フットスイッチから受信した足部運動入力と関連してトラッカから受信したヘッドジェスチャ入力を提供し、頭部装着型ディスプレイにおいて外科処置に関する画像を表示するように構成されたユーザインタフェースとが提供され、コンピュータは、頭部装着型ディスプレイシステムが第１のシステムモードである時、頭部装着型ディスプレイシステムにおいて第１のアクションを行い、頭部装着型ディスプレイシステムが第２のシステムモードである時、頭部装着型ディスプレイシステムにおいて第２のアクションを行うために、足部運動入力と関連して受信されたヘッドジェスチャ入力を適用するように構成される。
いくつかの実施形態において、トラッカは、頭部装着型ディスプレイと少なくとも部分的に統合され、頭部装着型ディスプレイを追跡するように構成される。
いくつかの実施形態において、トラッカは、頭部装着型ディスプレイの外部のカメラである。
いくつかの実施形態において、システムは、頭部装着型ディスプレイに結合されたシャッタを更に備え、シャッタが開いている場合、頭部装着型ディスプレイは少なくとも部分的に透明であり、シャッタが閉じている場合、頭部装着型ディスプレイは実質的に不透明である。
いくつかの実施形態において、第１のアクションおよび第２のアクションの１つは、シャッタを制御する。
いくつかの実施形態において、ユーザインタフェースは、音声コマンドを検出するように構成されたマイクロフォンを更に備え、入力は、音声コマンドを更に備える。
いくつかの実施形態において、ユーザインタフェースは、外科医による眼部運動を検出するように構成されたアイトラッカを更に備え、入力は、眼部運動を更に備える。
いくつかの実施形態において、システムは、画像を取得するように構成されたカメラシステムと、カメラシステムと共に動作するように構成された照明システムと、カメラヘッド位置決め器およびロボットアームから成るグループから選択された位置決め機構とを更に備える。
いくつかの実施形態において、第１のアクションおよび第２のアクションは、ＨＭＤを介して表示される画像の特性を制御すること、カメラシステムを制御すること、照明システムを制御すること、および位置決め機構を制御することから成るグループから選択される。
いくつかの実施形態において、ＨＭＤを介して表示される画像の特性を制御することは、画像のコンテンツを選択すること、ズームインおよびズームアウトすること、少なくとも２つの仮想スクリーン間でスクロールすること、ピクチャインピクチャ（ＰＩＰ）を表示すること、生画像の上にオーバレイを表示すること、画像をセンタリングすること、メニューを表示すること、メニューをナビゲートすること、および画像の関心領域を制御することから成るグループから選択されたアクションを備える。
いくつかの実施形態において、カメラシステムを制御することは、光学および電気カメラ特性を制御すること、およびカメラシステムの位置および向きを制御することから成るグループから選択されたアクションを行うことを備える。
いくつかの実施形態において、照明システムを制御することは、複数の照明器の少なくとも１つを選択すること、強度設定を選択すること、フィルタを選択すること、および照明をオンまたはオフにすることから成るグループから選択されたアクションを行うことを備える。
いくつかの実施形態において、術野の画像は、頭部装着型ディスプレイシステムが第１のシステムモードである時、頭部装着型ディスプレイを介してディスプレイ固定状態で表示され、術野のビデオは、頭部装着型ディスプレイシステムが第２のシステムモードである時、頭部装着型ディスプレイを介して、複数の仮想スクリーンの１つに、世界固定状態で表示される。
いくつかの実施形態において、コンピュータは更に、第１のシステムモードから第２のシステムモードへ切り換えるためにヘッドジェスチャ入力を適用するように構成される。
いくつかの実施形態において、頭部装着型ディスプレイの装着者の頭部位置および向きの範囲の第１の領域は、第１のシステムモードに対応し、頭部装着型ディスプレイの装着者の頭部位置および向きの範囲の第２の領域は、第２のシステムモードに対応し、第１のシステムモードから第２のシステムモードへ切り換えるために適用されるヘッドジェスチャ入力は、頭部装着型ディスプレイの装着者の頭部位置および向きを第１の領域から第２の領域の方向へ変更することである。
いくつかの実施形態において、コンピュータは更に、頭部装着型ディスプレイにおいて画像上にオーバレイされたメニューを表示するように構成され、メニューは、第１のシステムモードに関して第１のメニュー項目を表示し、第２のシステムモードに関して第２のメニュー項目を表示する。
開示される技術の他の態様によると、頭部装着型ディスプレイシステムとインタラクトするための方法が提供され、方法は、外科医に対し、頭部装着型ディスプレイにおいて外科処置に関する画像を表示することと、フットスイッチからの外科医による足部運動入力と関連してヘッドトラッカからの外科医によるヘッドジェスチャ入力を受信することと、頭部装着型ディスプレイシステムが第１のシステムモードである時、頭部装着型ディスプレイシステムにおいて第１のアクションを行い、頭部装着型ディスプレイシステムが第２のシステムモードである時、頭部装着型ディスプレイシステムにおいて第２のアクションを行うために、足部運動入力と関連して受信された前記ヘッドジェスチャ入力を適用することとを備える。
いくつかの実施形態において、第１のアクションおよび第２のアクションのいずれかは、頭部装着型ディスプレイに結合されたシャッタを制御することを備え、シャッタが開いている場合、頭部装着型ディスプレイは透明であり、シャッタが閉じている場合、頭部装着型ディスプレイは不透明である。
いくつかの実施形態において、方法は、外科医による音声コマンドを検出することと、頭部装着型ディスプレイシステムを制御するために音声コマンドを適用することとを更に備える。
いくつかの実施形態において、方法は、外科医による眼部運動を検出することと、頭部装着型ディスプレイシステムを制御するために眼部運動を適用することとを更に備える。
いくつかの実施形態において、方法は、頭部装着型ディスプレイシステムと共に構成された照明システムで術野を照明することと、頭部装着型ディスプレイシステムと共に構成されたカメラシステムを用いて、照明された術野の画像を取得することとを更に備える。
いくつかの実施形態において、方法は、カメラヘッド位置決め器およびロボットアームから成るグループから選択された位置決め機構を介して、画像を取得するためにカメラシステムの位置を制御することを更に備える。
いくつかの実施形態において、第１のアクションおよび第２のアクションは、頭部装着型ディスプレイを介して表示される画像の特性を制御すること、カメラシステムを制御すること、照明システムを制御すること、および位置決め機構を制御することから成るグループから選択される。
いくつかの実施形態において、頭部装着型ディスプレイを介して表示される画像の特性を制御することは、画像のコンテンツを選択すること、ズームインおよびズームアウトすること、少なくとも２つの仮想スクリーン間でスクロールすること、ピクチャインピクチャ（ＰＩＰ）を表示すること、および生画像の上にオーバレイを表示することから成るグループから選択されたアクションを備える。
いくつかの実施形態において、カメラシステムを制御することは、画像を取得するためのカメラを選択すること、およびカメラシステムの位置および向きを制御することから成るグループから選択されたアクションを行うことを備える。
いくつかの実施形態において、照明システムを制御することは、複数の照明器の少なくとも１つを選択すること、強度設定を選択すること、フィルタを選択すること、および照明をオンまたはオフにすることから成るグループから選択されたアクションを行うことを備える。
いくつかの実施形態において、画像は、頭部装着型ディスプレイシステムが第１のシステムモードである時、頭部装着型ディスプレイを介してディスプレイ固定状態で表示され、画像は、頭部装着型ディスプレイシステムが第２のシステムモードである時、頭部装着型ディスプレイを介して、複数の仮想スクリーンの１つに、世界固定状態で表示される。
いくつかの実施形態において、方法は、第１のシステムモードから第２のシステムモードへ切り換えるために、足部運動入力と関連して受信されたヘッドジェスチャ入力を適用することを更に備える。
いくつかの実施形態において、頭部装着型ディスプレイの装着者の頭部位置および向きの範囲の第１の領域は、第１のシステムモードに対応し、頭部装着型ディスプレイの装着者の頭部位置および向きの範囲の第２の領域は、第２のシステムモードに対応し、第１のシステムモードから第２のシステムモードへ切り換えるために適用されるヘッドジェスチャ入力は、頭部装着型ディスプレイの装着者の頭部位置および向きを第１の領域から第２の領域の方向へ変更する。
いくつかの実施形態において、方法は、頭部装着型ディスプレイにおいて画像上にオーバレイされたメニューを表示することを更に備え、メニューは、第１のシステムモードに関して第１のメニュー項目を表示し、第２のシステムモードに関して第２のメニュー項目を表示し、ヘッドジェスチャ入力および足部運動入力は、第２のメニュー項目を選択およびアクティブ化することによって、第１のシステムモードから第２のシステムモードへ切り換えるために適用される。
開示される技術は、図面と関連して取り上げられる以下の詳細な説明から、より詳しく理解および認識される。
開示される技術の実施形態に従って構成され動作可能な、カメラヘッドに結合された頭部装着型ディスプレイ（ＨＭＤ）に関する複数の動作モードを制御するためのシステムの概略図である。 開示される技術の他の実施形態に従って構成され動作可能な、コンピュータの概略ブロック図である。 開示される技術の更なる実施形態に従って構成され動作可能な、図１ＡのＨＭＤの概略ブロック図である。 開示される技術の他の実施形態に従って構成され動作可能な、図１Ａのカメラヘッドの概略ブロック図である。 開示される技術の更なる実施形態に従って構成され動作可能な、図１Ａのカメラシステムの概略ブロック図である。 開示される技術の他の実施形態に従って構成され動作可能な、図１Ａの照明システムの概略ブロック図である。 開示される技術の更なる実施形態に従って構成され動作可能な、図１Ａのフットスイッチの概略ブロック図である。 開示される技術の他の実施形態に従って構成され動作可能な、システム１００のためのユーザインタフェースの概念図である。 開示される技術の更なる実施形態に従って構成され動作可能な、図２Ａのユーザインタフェースを介した図１Ａのシステムに関する情報および制御のフローの概念図である。 開示される技術の他の実施形態に従って構成され動作可能な、それぞれが様々なシステムモードにマッピングされたＨＭＤの複数のＰ＆Ｏ領域に関する典型的なレイアウトを示す。 開示される技術の実施形態に従って構成され動作可能な、どのヘッドジェスチャが、図３Ａに関して説明されたゾーンと関連するシステムモードを呼び出すかを示すヒントがオーバレイされた生画像のディスプレイを示す。 全体として、開示される技術の更なる実施形態に従って構成され動作可能な、ＨＭＤを介して表示されたビデオ上にオーバレイされた、様々なシステムモードへ切り換えるためのメニューを示す。 開示される技術の他の実施形態に従って構成され動作可能な、システム設定を示す１または複数のステータスバーを表示するための実装を示す。 開示される技術の他の実施形態に従って構成され動作可能な、ディスプレイモジュールがディスプレイ固定状態である時、外科医によって知覚されるような投影画像を示す。 全体として、開示される技術の更なる実施形態に従って構成され動作可能な、それぞれＨＭＤを介して仮想スクリーンに世界固定状態で表示される２つのビューを示し、各ビューは、外科医の頭部の様々な位置および向きに対応する。 開示される技術の他の実施形態に従って構成され動作可能な、外科医に見えるような仮想スクリーン状態の典型的な実装を示す。 開示される技術の更なる実施形態に従って構成され動作可能な、ユーザがシステムとインタラクトし、様々なシステムモードへ切り換えることを可能にする、生画像フィード上にオーバレイされたメニューを示す。 開示される技術の他の実施形態に従って構成され動作可能な、図６Ａのメニューからシステムモードメニュー項目を選択した後、生画像フィード上にオーバレイされたシステムモードメニューを示す。 開示される技術の更なる実施形態に従って構成され動作可能な、生画像フィード上にオーバレイされたＰＩＰ内に表示された術前画像を示す。 開示される技術の他の実施形態に従って構成され動作可能な、ＰＩＰと共に生画像フィード上にオーバレイされた図６Ａのメニューを示す。 全体として、開示される技術の他の実施形態に従って構成され動作可能な、ＰＩＰ内に表示された対応するコンテンツを有する一連の生画像を示す。 全体として、開示される技術の更なる実施形態に従って構成され動作可能な、ＰＩＰ内に表示された対応するコンテンツを有する一連の生画像を示す。 開示される技術の更なる実施形態に従って構成され動作可能な、２つのＰＩＰ内に表示された対応するコンテンツを有する図６Ｌ～６Ｐの生画像を示す。 全体として、開示される技術の実施形態に従って構成され動作可能な、生画像のディスプレイ上に記号を描画するための実装を示す。 開示される技術の実施形態に従って構成され動作可能な、生画像上にオーバレイされた状態で表示されたメニューを示す。 全体として、開示される技術の更なる実施形態に従って構成され動作可能な、フォーカスのために選択された視野エリアを指定することを可能にするユーザインタフェーススクリーンの典型的な実装を示す。 開示される技術の実施形態に従って構成され動作可能な、生画像上にオーバレイされた図７Ａのメニューの他のビューを示す。 全体として、開示される技術の他の実施形態に従って構成され動作可能な、選択された視野エリアにフォーカスするためのメニュー駆動型ユーザインタフェースの他の典型的な実装を示す。 全体として、開示される技術に従って構成され動作可能な、実際の作動距離と、カメラの設計作動距離との不一致によって生じる、３Ｄ画像の歪みを補正するための技術を示す。 全体として、開示される技術の実施形態に従って構成され動作可能な、様々な作動距離における図８Ａの光学システムを示す。 開示される技術の実施形態に従って構成され動作可能な、２つの異なる焦点面にフォーカスするように構成された図８Ａの光学システムを示す。 全体として、開示される技術の実施形態に従って構成され動作可能な、図８Ａ～８Ｂに従って説明されたシフト技術の適用後、ＨＭＤを介して表示された画像を示す。 開示される技術の他の実施形態に従って構成され動作可能な、ヘッドアップディスプレイシステムを制御するための方法の概略図である。
開示される技術は、外科アプリケーションにおける使用のための頭部装着型ディスプレイ（ＨＭＤ）のためのマルチモーダルユーザインタフェース（ＵＩ）を提供することによって、従来技術の欠点を克服する。そのような外科アプリケーションの例は、外科用顕微鏡の拡大下で行われる顕微鏡手術処置である。顕微鏡手術法は、一般に、眼科手術および脳外科手術において用いられる。一般に、顕微鏡手術処置において、外科医の両手は外科用ツールに占められるため、外科医は、外科用顕微鏡とインタフェースし、システムパラメータを制御するために、幅広い範囲のハンドフリー方法を必要とする。システムの堅牢性が高く、システムが提供する特徴の範囲が広いほど、これらの特徴を制御するためのインタフェースは複雑である。そのようなハンドフリー方法を用いるインタフェースを提供する上で追加された課題は、たとえばフットスイッチなどの他の入力手段へ複雑性を転嫁する。実際、外科医は多くの場合、様々なシステムパラメータを制御するために複雑なフットスイッチを用いる必要があり、術野を注視しながら、ボタンおよびペダルを手探りで探すために靴を脱いで自身のつま先を用いなければならない。
開示される技術のＵＩは、外科医が、各々が様々なアクションセットをサポートする様々なシステムモードを介して幅広い機能を提供しながらも比較的単純なフットスイッチを用いることを可能にする。１つの実装において、フットスイッチは３つのペダルしか有さず、外科医が、靴を履いたまま、かつ踵を床から持ち上げることなく、適切なペダルを容易に探し当てることを可能にする。所与のハンドフリージェスチャは、システムモードに依存して、複数の異なるアクションを引き起こし得る。この技術は、外科医に、比較的少数のハンドフリージェスチャを用いて幅広い機能を提供する。ハンドフリージェスチャは、直観的であるように設計され、外科医が、システムと自然にインタフェースし、様々な特徴を制御することを可能にし、外科医が、注意力の大半ならびに自身の両手を外科処置に捧げることを可能にする。外科医は、たとえば動き感知、足部または音声制御、アイトラッキングなどの１または複数のハンドフリー入力によってシステムモードを切り換えてよい。いくつかの実施形態において、外科医は、フットスイッチで有効化されたヘッドジェスチャによってシステムモードを切り換える。
本明細書で説明されるシステムは、たとえば術野の画像を取得するためのカメラシステムおよび照明システム、ならびにこれらの画像を見るためのＨＭＤなどの複数の構成要素を含む。様々なシステムモードにより、外科医は、システムの様々な態様を制御することができる。いくつかのシステムモードは、外科医が、ジェスチャを用いて、たとえば術野の上に位置するカメラヘッドユニットに関する倍率設定（すなわちズームインおよびズームアウト）、フォーカスおよび照明設定などのシステムパラメータを制御することを可能にする。他のシステムモードは、外科医が、たとえば見るためのコンテンツを選択すること、および表示された画像および術前データを操作することなどによって、ＨＭＤを介してディスプレイを制御するためにジェスチャを用いることを可能にする。
ここで説明される方法は、顕微鏡手術以外の外科処置にも適用されてよく、すなわち、たとえば追跡および拡張現実能力に基づくバイザーガイド式手術（ここでは「ＶＧＳ」）など、術野の拡大画像がない場合でも行われ得る。これらの処置において、ＨＭＤは、外科医による患者のビューを拡張し、外科医が、患者の身体が部分的に透明であるかのように解剖学的特徴および外科用ツールを見ることを可能にする。これらの処置は、任意選択的に、術野の拡大画像を全く用いず、したがってカメラヘッドユニットを用いずに行われ得る。
ここで、開示される技術の実施形態に従って構成され動作可能な、全体として１００と示された、ＨＭＤのための複数の動作モードを制御するためのシステムの概略図である図１Ａが参照される。システム１００は、ＨＭＤ１０２、フットスイッチ１０４、機械アーム１０６、タッチ式スクリーン１０８、コンピュータ１１８（不図示）を収容し、タッチ式スクリーン１０８を支持するカート１１６、カメラヘッド１１０、およびカメラヘッド位置決め器１１１を含む。カメラヘッド１１０は、カメラシステム１１２および照明システム１１４を収容する。カメラシステム１１２は、少なくとも２つの高解像度カメラ（不図示）を含む。機械アーム１０６は、コンピュータ１１８をカメラヘッド位置決め器１１１およびカメラヘッド１１０に接続する。コンピュータ１１８は、カート１１６および機械アーム１０６内に統合された１または複数のワイヤおよび／またはケーブル（不図示）を介して、カメラヘッド位置決め器１１１、カメラヘッド１１０、カメラシステム１１２、および照明システム１１４に電気的に結合される。
コンピュータ１１８は、カメラヘッド位置決め器１１１を介して、カメラヘッド１１０の位置および向きを制御する。カメラヘッド位置決め器１１１は、ｘ、ｙ、ｚ座標におけるカメラヘッド１００の位置を制御するための複数のモータを含む。カメラヘッド位置決め器１１１は更に、カメラヘッド１００の傾きを制御するためのモータを含む。コンピュータ１１８は更に、照明システム１１４およびカメラシステム１１２に関する動作パラメータを制御し、その詳細は後述される。
ＨＭＤ１０２、フットスイッチ１０４、およびコンピュータ１１８には、１または複数のトランシーバ（不図示）が提供される。トランシーバは、たとえば電気または光ファイバケーブル（不図示）、Ｗｉｆｉ、Ｂｌｕｅｔｏｏｔｈ、Ｚｉｇｂｅｅ、短距離、中距離、長距離、およびマイクロ波ＲＦ、無線光学手段（たとえばレーザ、ライダ、赤外線）、音響手段、超音波手段などの、任意の適切な有線および／または無線通信手段およびプロトコルに対応する。コンピュータ１１８は、トランシーバを介してＨＭＤ１０２およびフットスイッチ１０４に結合される。コンピュータ１１８は、トランシーバを介してＨＭＤ１０２へ画像をストリーミングし、外科医１２０がＨＭＤ１０２で画像を見ることを可能にする。画像は、カメラシステム１１２によって取得され、手術の生ビデオを見るためにＧＰＵによってリアルタイムで処理され得る。あるいは、画像は手術前に取得され、メモリ内に格納され、ＧＰＵによってリアルタイムでレンダリングされ得る。いくつかの実装において、画像は、たとえばクラウドベースのサーバなどの遠隔サーバからストリーミングまたはダウンロードされ得る。たとえば、ＶＧＳ処置において、ＣＴまたはＭＲＩ画像からの分割によって生成された身体部位のモデルがメモリ内に格納され、外科医１２０の観点から、ＧＰＵによってリアルタイムでＨＭＤ１０２にレンダリングされ得る。他の実施形態において、ＨＭＤ１０２へ送信される画像は、たとえば内視鏡などの外部デバイスから取得される。コンピュータ１１８は、現在のシステムモード、ならびにユーザインタフェースを介して外科医から受信した１または複数の入力に基づいて、どの画像を外科医１２０へストリーミングするかを決定する。
１つの実施形態において、１人の外科医１２０が、患者１２２に外科的処置を行いながら術野１２４の拡大ビデオを見るためにＨＭＤ１０２を装着している。カメラシステム１１２は、患者１２２に行われる外科的処置に対応する、術野１２４の画像のストリームを取得する。コンピュータ１１８は、画像のストリームを受信および処理し、処理された画像を、トランシーバを介してＨＭＤ１０２へ送信する。外科医１２０は、ＨＭＤ１０２を介して画像を見、システムモードによってシステム１００の１または複数の設定を制御する。各システムモードは、システムパラメータの様々なセットを制御してよい。外科医１２０は、たとえばフットスイッチ１０４を押下しながらのヘッドジェスチャなどのハンドレスジェスチャを行うこと、アイトラッカ１３６によって追跡される眼球運動を行うこと、または、たとえば音声制御などの音響駆動手段を用いることによって、選択されたシステムパラメータのセットを制御するためにシステムモードを切り換えてよい。これらのユーザインタフェース法および他のユーザインタフェース法の詳細は、本明細書において後述される。
あるいは、外科医１２０は、たとえばフットスイッチ１０４を押下しながらヘッドジェスチャを行うことなどのハンドレスな方法を用いて、１または複数のシステムパラメータを直接制御してよい。同じジェスチャが、システムモードに依存して、システム１００の様々な特徴を制御してよい。たとえば、ヘッドジェスチャを行いながらフットスイッチ１０４のペダルを押下することは、システム１００が１つのシステムモードである時、１つの動作を引き起こし得るが、システム１００が他のシステムモードである時、フットスイッチ１０４の同じペダルを押下し、同じヘッドジェスチャを行うことが、異なる動作を引き起こし得る。複数のシステムモードを設けることによって、比較的少数のペダルおよびヘッドジェスチャが、幅広い特徴を制御し得る。
たとえば、１つのシステムモードにおいて、外科医１２０は、自身の頭を上向きに動かしながらフットスイッチ１０４の第１のペダルを押下することによってズームインしてよい。その結果、外科医１２０は、自身の視野のより大きな部分にわたり拡大された、小さなサイズの術野１２４を見る。異なるシステムモードにおいて、同じ上向きのヘッドジェスチャを行いながらフットスイッチ１０４の同じペダルを押下することにより、外科医１２０は、ＨＭＤ１０２を介して表示された複数の術前画像において上方向にスクロールすることができる。各システムモードに関するジェスチャは、外科医１２０がシステム１００と自然にインタフェースすることを可能にするために直観的であることが意図される。したがって、システム１００は、広範囲の制御可能な特徴を提供するが、本明細書に開示されるユーザインタフェースによってこれらの特徴を制御することは、冗長な訓練期間を必要とするものではない。むしろ、外科医１２０は、自身が制御することを望む特徴に直観的であるジェスチャを行う。たとえば、複数の仮想スクリーンにわたり表示された複数の画像を見る場合、外科医１２０は、自身の頭を左へ向けることによって、左方向へスクロールし、左に表示されたスクリーンを見ることができる。ヘッドジェスチャを介した制御は、優れた精度および解像度を提供し得る。たとえば、一部の外科医が気付くように、ヘッドジェスチャはより正確な１ショット制御を可能にし、オーバーシュートまたはアンダーシュートをなくすので、ヘッドジェスチャを介してフォーカスを制御することは、フットスイッチを用いる場合と比較して簡単であると判明する。いくつかの実施形態において、ヘッドジェスチャの軌道は、何が行われるかを決定し、ヘッドジェスチャの速度は、動作を行う速度を決定する。たとえば、外科医は、自身の頭を迅速に動かすことによって迅速にズームインし、自身の頭を緩慢に動かすことによって緩慢にズームインし得る。
いくつかの実施形態において、フットスイッチ１０４は、標準的なキーボードにおいて＜Ｓｈｉｆｔ＞、＜Ｃntｌ＞、＜Ｃａｐｓ Ｌｏｃｋ＞ボタンを押すことによってキーボードに関する個別の機能セットを有効化する方法と同様に、ボタン押下を介して他の機能セットを有効化するために装備される。いくつかの実施形態において、第２の機能セットは、外科医１２０による単一の動作で、フットスイッチ１０４の全てのボタンおよび特徴に関して同時に有効化される。たとえば、フットスイッチ１０４のボタンの１つ（たとえばメニューに対応するボタン）を一度短く押下した後、そのボタンを解放することは、フットスイッチ１０４の全てのボタンに関する第２の機能セットを有効化する。第２の機能セットが有効化されたというインジケーションが、ＨＭＤ１０２を介して外科医１２０に表示される。あるいは、第２の機能セットは、音声コマンドによって、または他の手段によって有効化され得る。
他の実施形態において、第２の機能セットは、フットスイッチ１０４の各ボタンに関して個別に有効化される。したがって、フットスイッチ１０４のボタンの１つを一度短く押下し、すぐに解放した後、同じボタンを長押しすることは、そのボタンのみに関して第２のヘッドジェスチャセットを有効化し得る。たとえば、「シフト」を伴わないヘッドジェスチャによってＸＹモータ制御を有効化するボタンは、「シフト」されると、ＲＯＩの上下よび左右のパンニングを有効化し得る。いくつかの実施形態において、フットスイッチ１０４の１または複数のボタンは、様々な機能セットを有効化するために全押しおよび半押しを区別するように装備される。たとえば、フットスイッチ１０４のボタンの１つは、システム１００に関する照明を制御してよく、そのボタンの全押しが、たとえば同軸照明といった照明の１つの態様を制御し、そのボタンの半押しが、たとえば投光照明といった照明の他の態様を制御する（たとえば、全押しは、同軸照明を制御するヘッドジェスチャを有効化し、半押しは、投光照明を制御するヘッドジェスチャを有効化する）。
他の実施形態において、システム１００は、いくつかのＨＭＤを同時にサポートする。ユーザの１人、たとえば外科医１２０は、全てのシステム設定を制御することが可能な「代表」外科医に指定される。いくつかの実施形態において、ＨＭＤ１０２と同様のＨＭＤを装着している他のユーザは、自身のそれぞれのＨＭＤを介して表示された画像の設定のみを制御するが、自身が装着しているＨＭＤの外部のパラメータを制御することはなく、たとえば彼らは、カメラシステム１１２のフォーカスおよび照明システム１１４による照明を制御することはない。他の実施形態において、ＨＭＤ１０２と同様のＨＭＤを装着している他のユーザは、システム１００に関する１または複数の設定を制御し得る。
以下に示すシステム１００の説明は、２つの観点から記載される。システム１００の構成要素に関する典型的なハードウェアレイアウトの説明は、図１Ｂ～１Ｇに関して後述される。図２Ａ～２Ｂは、システム１００のユーザインタフェースに関する典型的な論理レイアウトを説明する。留意すべき点として、これらの図は、システム１００に関して可能な複数の実装のうちの１つの典型的な実装のみを例示することが意図される。これらの図は、本発明を任意の特定の実装に限定することは意図されない。
ここで、開示される技術の他の実施形態に従って構成され動作可能な、図１Ａのコンピュータ１１８の概略ブロック図である図１Ｂが参照される。留意すべき点として、この図は単なる典型的な実装であり、適用可能な場合、ソフトウェアモジュールがハードウェアモジュールの代わりに用いられてよく、逆も然りである。コンピュータ１１８は、少なくとも１つのプロセッサ１１８Ａ、少なくとも１つのトランシーバ１１８Ｂ、電源１１８Ｃ、少なくとも１つのメモリ１１８Ｄ、少なくとも１つのアナログデジタルＡ／Ｄ変換器１１８Ｅ、少なくとも１つのデジタルアナログＤ／Ａ変換器１１８Ｆ、および、機械アームコントローラ１１８Ｇ、カメラシステムコントローラ１１８Ｈ、照明システムコントローラ１１８Ｉ、ヘッドトラッカコントローラ１１８Ｊ、画像プロセッサ１１８Ｋ、アイトラッカコントローラ１１８Ｌ、音響解析装置１１８Ｍ、および少なくとも１つのバス１１８Ｎの１または複数を含む。プロセッサ１１８Ａ、トランシーバ１１８Ｂ、電源１１８Ｃ、メモリ１１８Ｄ、Ａ／Ｄ変換器１１８Ｅ、Ｄ／Ａ変換器１１８Ｆ、機械アームコントローラ１１８Ｇ、カメラシステムコントローラ１１８Ｈ、照明システムコントローラ１１８Ｉ、ヘッドトラッカコントローラ１１８Ｊ、画像プロセッサ１１８Ｋ、アイトラッカコントローラ１１８Ｌ、および音響解析装置１１８Ｍは、少なくとも１つのバス１１８Ｎを介して結合される。
コンピュータ１１８は、単一のユニットとして示されるが、これは概念的な目的に過ぎない。コンピュータ１１８は、システム１００のための単一の制御ユニットとして動作する複数の分散ユニットとして実装され得る。たとえば、少なくとも１つのプロセッサ１１８Ａ、トランシーバ１１８Ｂ、電源１１８Ｃ、およびメモリ１１８Ｄの各々は、システム１００の構成要素に（たとえばカメラヘッド１１０、ＨＭＤ１０２、フットスイッチ１０４、遠隔サーバなどに）分散され協調して動作する複数のプロセッサ、メモリ、電源、およびトランシーバを含んでよい。
機械アームコントローラ１１８Ｇは、カメラヘッド１１０のｘ、ｙ、ｚ軸または傾きを調整するために、カメラヘッド位置決め器１１１内に含まれたモータを制御する。カメラシステムコントローラ１１８Ｈは、たとえば画像を取得するためのカメラまたは複数のカメラを選択すること、Ｆ値、フォーカスなどを調整することなど、カメラシステム１１２内に含まれたカメラの動作を制御する。照明システムコントローラ１１８Ｉは、たとえば照明器、強度、１または複数のフィルタなどの選択など、照明システム１１４の動作を制御する。ヘッドトラッカコントローラ１１８Ｊは、外科医１２０の頭部を追跡するためにシステム１００に提供された１または複数のヘッドトラッカ部品の動作を制御する。画像プロセッサ１１８Ｋは、たとえばズームイン、ズームアウト、デジタルフィルタリング、先鋭化、平滑化、色補正、いくつかの画像ソースの融合、ピクチャインピクチャフォームで１つの画像ソースを他の画像ソースに埋め込むことなどの適用によって、カメラシステム１１２、メモリ１１８Ｄ、またはＧＰＵのいずれかから受信した画像を処理する。アイトラッカコントローラ１１８Ｌは、ＨＭＤ１０２によって構成されたアイトラッカを制御する。音響解析装置１１８Ｍは、たとえば音声コマンドを認識するために音声認識アルゴリズムを適用することなどによって、システム１００に提供されたマイクロフォンから受信した音に音認識を適用する。
ここで、開示される技術の更なる実施形態に従って構成され動作可能な、図１ＡのＨＭＤ１０２の概略ブロック図である図１Ｃが参照される。ＨＭＤ１０２の構成要素は、図１Ａに示すように、外科医１２０によって装着された調整可能な枠内に組み込まれ得る。ＨＭＤ１０２は、ドライバ１０２Ａ、トランシーバ１０２Ｂ、メモリ（たとえばバッファ）１０２Ｃ、およびディスプレイモジュール１３０を含む。いくつかの実施形態において、ＨＭＤ１０２は更に、液晶（ＬＣ）シャッタ１３２、トラッキング部品１３４、アイトラッキング部品１３６、マイクロフォン１３８、スピーカ１３９、振動モータ１４１、および少なくとも１つのバス１０２Ｄを含む。ドライバ１０２Ａ、トランシーバ１０２Ｂ、メモリ１０２Ｃ、ディスプレイモジュール１３０、シャッタ１３２、トラッキング部品１３４、アイトラッキング部品１３６、マイクロフォン１３８、スピーカ１３９、および振動モータ１４１は、少なくとも１つのバス１０２Ｄを介して結合される。
ディスプレイモジュール１３０は、外科医１２０の各目のための画像を投影するために２つのディスプレイモジュール１３０Ａおよび１３０Ｂを含む双眼式ディスプレイであってよい。いくつかの実施形態において、ＨＭＤ１０２は、単眼式である。シャッタ１３２は、ディスプレイモジュール１３０に機械的に結合され、開閉するように動作可能である。シャッタ１３２が閉じている時、ディスプレイモジュール１３０は不透明であり、ＨＭＤ１０２を介して表示された画像を増強する。シャッタ１３２が完全または部分的に開いている時、ディスプレイモジュール１３０は、シャッタ１３２が開いている領域において透明であり、外科医１２０が、現実世界ビューの上にオーバレイされた画像を見ることを可能にする。部分的または完全に開いているシャッタ１３２は、拡張現実、または現実世界ビュー構成に適し得る。あるいは、開いているシャッタ１３２は、外科医１２０が、必要に応じて、たとえば他の外科医または看護士など、手術室内の他の外科医と対話および意思疎通することを可能にする。トラッキング部品１３４は、ＨＭＤ１０２に関する位置および／または向きデータを取得し、それぞれのトランシーバ１０２Ｂおよび１１８Ｂを介してヘッドトラッカコントローラ１１８Ｊへ位置および／または向きデータを送信する。マイクロフォン１３８は、外科医１２０によって発された音声コマンドまたは他の音を記録し、それぞれのトランシーバ１０２Ｂおよび１１８Ｂを介して音響解析装置１１８Ｍへ音を送信する。アイトラッキング部品１３６は、外科医１２０の眼球運動データを取得し、それぞれのトランシーバ１０２Ｂおよび１１８Ｂを介してアイトラッカコントローラ１１８Ｌへ眼球運動データを送信する。
ディスプレイモジュール１３０は、図１Ａに示すように、外科医１２０の視線上に位置するようにＨＭＤ１０２に配置される。シャッタ１３２は、ディスプレイモジュール１３０によって構成され、開いた状態、閉じた状態、および部分的に閉じた状態の間で切り換えられ得る。ＨＭＤ１０２はシャッタ１３２が開いている場合常に透明であり、シャッタ１３２が閉じている場合常に不透明である。シャッタ１３２が完全に開いている時、外科医１２０は、透明であるディスプレイモジュール１３０の光学系を通して現実世界を見る。シャッタ１３２は、たとえばディスプレイモジュール１３０にオーバレイされたピクチャインピクチャ（ＰＩＰ）内に表示された特徴の後ろにある背景を隠すために部分的に閉じられてよく、特徴と、ディスプレイモジュール１３０のその他の部分を通して見える現実世界ビューとのコントラストを増強する。これは、拡張現実型アプリケーションにおけるＶＧＳ処置中にＰＩＰ内に１または複数の特徴を表示する際に役立つ。ディスプレイモジュール１３０は、当技術分野において知られているような任意の適切な技術を用いて実装され得る。ディスプレイモジュール１３０は、たとえば導波光学系、プリズム光学系、バイザへの投影などの画像投影光学系と共に、たとえば小型ＯＬＥＤモニタなどの画像ソースを含んでよい。あるいは、ディスプレイモジュールは、モニタなしで直接外科医１２０の網膜へ画像を走査してよい。ＨＭＤ１０２は、コンピュータ１１８からの画像ソースを受信する。
トラッキング部品１３４は、外科医１２０の頭部運動を追跡するための構成部分を含む。トラッキング部品１３４は、加速度計１３４Ａおよびジャイロスコープ１３４Ｂを基としたＭＥＭ、１または複数の発光体１３４Ｃ、光学センサ１３４Ｄ、電磁センサ１３４Ｅなどを含んでよい。いくつかの実施形態において、トラッキング部品１３４は更に、コンパス（不図示）を含む。発光体１３４Ｃは、たとえば発光ダイオード（ＬＥＤ）などの１または複数の能動発光素子、または１または複数の光反射体であってよい。トラッキング部品１３４は、ＨＭＤ１０２に関する更新された向きおよび／または位置座標を決定するために、ＨＭＤ１０２の並進および回転運動データを生成する。
いくつかの実施形態において、頭部追跡は、たとえばカメラ（不図示）を用いることによって、ＨＭＤ１０２の外部で実行される。任意選択的に、トラッキング部品１３４は、ＨＭＤ１０２の内部の部品と共に、ＨＭＤ１０２の外部の部品を含む。いくつかの実施形態において、ＨＭＤ１０２は、ＨＭＤ１０２を装着している外科医の片目または両目の視線を追跡するためのアイトラッカ部品１３６を備える。いくつかの実施形態において、マイクロフォン１３８は、外科医１２０の音声コマンドを記録するためにＨＭＤ１０２に統合される。あるいは、マイクロフォン１３８は、ＨＭＤ１０２の外部にあり、たとえばカメラヘッド１１０に統合され得る。留意すべき点として、本明細書で説明される実施形態は、単なる典型例として意図され、本明細書に開示される機能を実現するために任意の適当な組み合わせおよび構成の構成要素が用いられ得る。コンピュータ１１８は、トラッカコントローラ１１８Ｉを介してトラッキング部品１３４を制御する。コンピュータ１１８は、トランシーバ１１８Ｂおよび１０２Ｂを介してＨＭＤ１０２と通信し、更に詳しく後述される、選択されたシステムモードおよび外科医１２０によって定義された追加の設定およびパラメータに従って、ＨＭＤディスプレイモジュール１３０における画像フィードの表示を制御する。
開示される技術の他の実施形態に従って構成され動作可能な、カメラヘッド１１０（図１Ａ）に関する概略ブロック図を示す図１Ｄが参照される。カメラヘッド１１０は、カメラシステム１１２、照明システム１１４、および任意選択的にマイクロフォン１３８を収容する。いくつかの実施形態において、カメラヘッド１１０は更に、横向きおよび／または下向き光学追跡部品、センサおよび／または発光体、および場合によっては他の追跡部品を含むトラッキングサブシステム（不図示）を収容する。カメラヘッド１１０は、アーム１０６およびカメラヘッド位置決め器１１１を介してカート１１６に機械的に結合される。カメラヘッド１１０、カメラシステム１１２、照明システム１１４、およびマイクロフォン１３８は、アーム１０６内部に統合された１または複数のケーブルおよび／またはワイヤによってコンピュータ１１８（図１Ｂ）に電気的に結合される。コンピュータ１１８は、カメラヘッド位置決め器１１１内に統合されたモータを制御することによって、術野１２４に対するカメラヘッド１１０のｘｙｚ位置および傾きを制御する。
いくつかの実施形態において、たとえばロボットアーム、たとえば神経外科アプリケーションのために一般的に使用される６－ＤＯＦ（自由度）ロボットアームなどの他の位置決め機構が、術野１２４の画像を取得するためにカメラシステム１１２の位置を制御するためのカメラヘッド位置決め器１１１および機械アーム１０６の代わりに用いられ得る。カメラの位置および向きの変更が微細である眼科手術アプリケーションとは異なり、神経外科アプリケーションにおいて、カメラの位置および向きの変更は比較的大きい。そのようなアプリケーションの場合、外科医１２０は、自身の頭部にカメラの制御を固定する機能をアクティブ化し、自身がヘッドジェスチャを用いてロボットアームを介してカメラヘッド１１０のカメラの位置および向きを制御することを可能にしてよい。外科医１２０は、たとえばフットスイッチ１０４などのユーザインタフェースを介して、または音声コマンドを発することなどによって、この特徴を有効化する。後に詳しく説明されるＨＭＤ１０２の頭部追跡機能は、ＨＭＤ１０２の回転および並進運動を感知し、それらを、カメラヘッド１１０を制御するロボットアームのための対応する回転および並進運動に変換する。任意選択的に、ユーザインタフェースは、外科医１２０が、カメラヘッド１１０のカメラに関する現在の位置および向きを記憶、または「ブックマーク」することを可能にし、それによって、この位置および向きは、たとえばＨＭＤ１０２を介して表示されたメニューからこの特徴を選択することによって、後に復元され得る。
コンピュータ１１８は、システムモードおよびユーザインタフェースを介して外科医１２０から受信した入力に従って、カメラシステム１１２および照明システム１１４の動作を制御する。コンピュータ１１８は更に、マイクロフォン１３８によって検出された音声コマンドに従ってシステム１００を制御する。
コンピュータ１１８は、ＨＭＤ１０２に関する表示特徴を、デジタルまたは光学的／機械的に制御してよい。たとえば、コンピュータ１１８は、カメラシステム１１２によって捕捉された全体ビデオから画素の領域を低減することによってズームイン／ズームアウト動作をデジタルに実施し、低減された領域をＨＭＤ１０２へストリーミングしてよい。あるいは、コンピュータ１１８は、高解像度カメラ１４０Ａおよび１４０Ｂの光学系を調整することによって、ズームイン／ズームアウト機能を光学的に実装してよい。同様に、コンピュータ１１８は、カメラシステム１１２によって取得された全体ビデオから取り出された画素の領域をシフトすることによってスクロール機能をデジタルに実装し、それらの画素をＨＭＤ１０２へストリーミングしてよい。あるいは、コンピュータ１１８は、カメラヘッド位置決め器１１１を介してＸＹ軸に沿って横方向にカメラヘッド１１０の位置を調整し、ＨＭＤ１０２に表示される術野の一部をシフトすることによって、光学的／機械的にスクロールを実施してよい。
ここで、開示される技術の更なる実施形態に従って構成され動作可能な、図１Ａおよび図１Ｄのカメラシステム１１２の概略ブロック図である図１Ｅが参照される。カメラシステム１１２は、カメラヘッド１１０に収容され、機械アーム１０６（図１Ａ）内に統合された１または複数のワイヤおよびケーブルを介してコンピュータ１１８に結合される。コンピュータ１１８は更に、カメラシステム１１２内の構成要素の各々を、たとえば画像フィードを受信するためにそれらを選択することなどによって制御する。
１つの実施形態において、カメラシステム１１２は、少なくとも２つの高解像度カメラ１４０Ａおよび１４０Ｂを備える。カメラ１４０Ａおよび１４０Ｂには、術野１２４の高解像度拡大ステレオ画像を補捉するための高解像度光学系が提供される。いくつかの実施形態において、カメラヘッド１１０は更に、ｉＯＣＴスキャナ１４２、ＩＲカメラ１４８、またはマルチスペクトル撮像のための他のカメラのいずれかを含む。カメラシステム１１２は、カメラ１４０Ａおよび１４０Ｂによって取得された画像をコンピュータ１１８へストリーミングするように構成され、コンピュータ１１８は、画像を処理し、任意選択的にそれらをＨＭＤ１０２へ送信する。カメラ１４０Ａおよび１４０Ｂからの画像は、ＨＭＤディスプレイモジュール１３０Ａおよび１３０Ｂを介して外科医１２０の目にストリーミングされる。外科医の脳は、ストリーミングされたビデオから３Ｄ画像を生成する。コンピュータ１１８は、選択されたシステムモード、および外科医１２０によって定義された任意の追加の設定およびパラメータに従って、ＨＭＤを介して画像フィードの表示を制御する。コンピュータ１１８は、システム１００の態様を制御するために用いられ、外科医１２０には表示されない画像を取得する追加のカメラを制御する。たとえば、コンピュータ１１８は、手術室内の動きを検出するためのＩＲカメラなどを制御する。画像プロセッサ１１８Ｌは、たとえば色補正、先鋭化、フィルタリング、ズーミングなどを行うために、外科医１２０によって定義された設定に従ってカメラシステム１１２によって取得された画像を処理する。コンピュータ１１８は、後述するユーザインタフェースを介して外科医１２０によって指示された１または複数の設定に従って画像フィードに関する照明、フォーカス、ＦＯＶ、および倍率を調整し、処理された画像フィードをＨＭＤ１０２へストリーミングしてよい。
システム１００は、外科医１２０が、外科処置の開始時、カメラシステム１１２によって取得されたビデオに関する倍率レベルを選択し、必要に応じて、外科処置の間中、倍率を動的に調整することを可能にする。システム１００は、機械的、光学的、電気的、またはデジタルの手段を用いて、関心領域（ＲＯＩ）、ズーム、およびフォーカス構成を動的に更新することを可能にする。カメラ１４０Ａ、１４０Ｂに関するＸＹ位置決めおよびズーム光学系への機械的および光学的更新は、カメラシステムコントローラ１１８Ｈ（図１Ｂ）を介して実施される。デジタルズーム機能およびＸＹ位置決めは、ＨＭＤ１０２を介して表示されるＲＯＩのサイズおよびＸＹ位置を変更することによって実施される。
いくつかの実施形態において、外科医１２０は、ヘッドジェスチャを用いてＲＯＩおよびズーム設定を動的に更新する。いくつかの実施形態において、外科医１２０は、カメラシステム１１２を自動センタリングするようにシステム１００を有効化する。この場合、システム１００は自動的に、ＸＹ位置を動的に更新する。動的更新のいくつかの例は、自動センタリング、自動ズーミング、自動フォーカシング、および自動照明を含む。
システム１００は、生画像フィードを動的に更新するための自動センタリング機能を提供する。１つの種類の自動センタリングは、ファイバ照明が用いられ網膜の一部のみが照明され得る網膜処置の間、照明領域を追う。他の種類の自動センタリングは、たとえば白内障処置など（たとえば外科医が患者の目を動かす場合）の前眼部処置の間、患者の目の中心を追う。また他の種類の自動センタリングは、ツールチップを追う。留意すべき点として、本明細書に挙げられる例は、単なる典型的な実装として意図され、本発明を限定するものではない。自動センタリングは、任意の患者の解剖学的構造、任意の医療デバイスに、または一般に画像内に出現する任意の要素または情報に実施され得る。
一般に、網膜処置は、患者１２２の目の中心の真上でカメラヘッド１１０から吊り下げられた追加のレンズ（不図示）を用いて行われる。したがって、これらの処置中、患者の目が動かない限り、カメラヘッド１１０は動かされてはならず、カメラヘッド１００の移動は、この追加のレンズを動かすことになる。この制約は、ＸＹモータ制御を介したカメラシステム１１２の位置の調整が、網膜処置中に照明領域を追跡するための適切な技術ではないことを意味する。その結果、カメラシステム１１２の物理的位置を固定したままにするために、自動センタリング機能の一部として、これらの処置に関して表示されたＲＯＩに対する調整がデジタルに行われる。カメラ１４０Ａおよび１４０Ｂの解像度は、一般に、ＨＭＤ１０２の表示モニタの解像度よりも高い。したがって、ＲＯＩのデジタル調整は、カメラシステム１１２によって取得された全体画素フレームのサブセットを選択することによって実施される。外科医１２０が、全体画像におけるズームとして小さなＲＯＩを見る時、ＲＯＩは、全体画素フレームから動的に選択され得る。センタリングおよび特に自動センタリング機能は、必要および状況に依存して、ＸＹモータを制御すること、および／またはＲＯＩを調整することのいずれかを用いて行われ得る。たとえば、処置の種類に依存して、１つの技術が他の技術よりも好適であり得る。
他の実施形態において、照明領域、患者の目の中心、ツールチップなどに対する自動センタリングは、離散時間間隔で実施される。たとえば、瞳孔と画像のエッジとの間の距離が既定の閾値より小さい場合、瞳孔が画像の中心に出現するようにＲＯＩを変更することまたはＸＹモータを制御することのいずれかによって、センタリングが実施される。他の例として、網膜上の照明スポットが既定のマージンを超える場合、照明スポットが画像の中心となるようにＲＯＩを自動的に更新することによって、後眼部処置中にセンタリングが実施される。これは、フレームごとに画像がセンタリングされるような連続的な自動センタリングとは対照的である。連続的な自動センタリングは、患者の目が動いているが外科医には静止して見えている場合、リスクをもたらし得る。
更なる実施形態において、離散空間方式とは対照的に、センタリング自体が連続空間方式で行われる。たとえば、画像における突然の変化を生じないように、画像は、センタリングされるまで段階的かつ連続的に更新される（たとえば、ＸＹモータおよび／またはＲＯＩが段階的かつ連続的に影響を受ける）。
他の実施形態において、センタリングの前に、システム１００は、未決の変更をユーザに警告する。警告は、ＨＭＤに表示された警報、音、ＨＭＤにおける振動などを介したものであってよい。警告は、画像における変化および／またはカメラヘッドユニットのＸＹ位置における変化を予期するように外科医に通告する。任意選択的に、ユーザは、ＵＩ１６０を介して未決のセンタリングを取り消してよい。たとえば、システムが画像をセンタリングしようとしているという警告が与えられる時、ユーザは、センタリングをキャンセルするための時間窓（たとえば３秒間）を有する。更なる実施形態において、センタリングがキャンセルされると、システム１００は、後続の自動センタリングを無効化する。これは、所定の期間（たとえば５分間）、システムモードが（たとえば前のモードから後のモードへ切り換えることによって）変更されるまで、または外科手術の期間中であってよい。他の実施形態において、自動センタリングの発生がキャンセルされると、システムは、たとえば画像処理アルゴリズムまたは深層学習アルゴリズムによって検出され得るような目立った変化が画像内に生じるまで、自動センタリングを無効化する。
システム１００は、生画像フィードを動的に更新するための自動ズーミング機能を提供する。自動ズーミング機能は、カメラヘッド１１０内のズーム光学系を制御することによって機械的に実装されてよく、あるいは、画像プロセッサ１１８Ｋを介して生画像フィードにデジタルに実装され得る。この構成は、外科医固有の嗜好に基づいてズーム設定を自動的に変更することを可能にする。１つの種類の自動ズーミングは、各システムモード（たとえば前のモード）において用いられた最後のズーム倍率を記憶し、システムがオンにされ、モードが切り換えられた時、自動的にズームを設定する。他の種類の自動ズーミングは、処置における様々な段階を識別し、各段階に関する外科医の嗜好を記憶する。また他の種類の自動ズーミングは、網膜から様々な距離で外科医によって保持されることによりそのサイズを変化させるファイバ照明によって生じる光のスポットのサイズに従って、ズームを動的に変更する。ズーム倍率は、スポットのサイズに対応する。外科医がファイバチップを遠くへ動かし、スポットが大きくなると、表示される画像はズームアウトされる。外科医がファイバチップを近くへ動かし、スポットが小さくなると、表示される画像はズームインされる。
同様に、システム１００は、手動フォーカシングおよび自動フォーカシングを可能にする。自動フォーカシングの場合、外科医１２０は、フォーカスが合った状態に維持されるべき術野内の点を指定してよい。あるいは、外科医１２０は、システムに、外科医が保持および操作しているツールの先端に自動的にフォーカスさせ得る。あるいは、外科医は、システムに、網膜処置における照明領域の中心に自動的にフォーカスさせ得る。システムは、指定された位置、または器具、またはスポットライトにフォーカスした状態を維持する。いくつかの実施形態において、システム１００は、指定された点へのワンタイムフォーカスを提供する。外科医１２０は、必要に応じてその点にフォーカスするように、ヘッド／フットジェスチャおよび／または外科用ツールの組み合わせを用いて生画像上の点を指定してよい。
ここで、開示される技術の他の実施形態に従って構成され動作可能な、照明システム１１４（図１Ａ）の概略ブロック図である図１Ｆが参照される。照明システム１１４は、カメラヘッド１１０内に収容され、機械アーム１０６内に統合された１または複数のワイヤおよびケーブルを介してコンピュータ１１８に結合される。照明システム１１４は、白色投光照明１５０、ＩＲ投光照明１５２、同軸光１５４Ａ、および同軸光１５４Ｂの１または複数を含む。同軸光１５４Ａおよび１５４Ｂは、それぞれカメラ１４０Ａおよび１４０Ｂと共に動作する。一般に、照明システム１１４は、術野１２４を照明するための少なくとも１つの可視光発光体を含む。発光体は、１または複数のフィルタ（不図示）と組み合わせられ得る。たとえば、照明は、発光された光自体が白色ではないように、光毒性の配慮により青色光を遮断するフィルタを有する白色発光ＬＥＤに基づいてよい。照明システム１１４は、非可視照明、たとえば赤外（ＩＲ）光または紫外（ＵＶ）光で照明してよい。いくつかの実施形態において、システム１００は、術野１２４内の動きを検出するための低解像度／広視野カメラと組み合わせられたＩＲ照明を含む。同軸照明は、前眼部眼科処置において用いられる、患者の網膜からの光の反射によって生じる赤目現象を発生させる。コンピュータ１１８は、たとえば光源、強度などを選択することによって、照明コントローラ１１８Ｈで照明システム１１４を制御する。
いくつかの実施形態において、システム１００は、自動照明を可能にする。画像プロセッサ１１８Ｋは、照明不足または照明過剰領域に関して生画像フィードを解析し、照明システム１１４による位置または強度を操作するようにコンピュータ１１８に通知する。任意選択的に、照明は、たとえば外科用器具など、外科医によって選択された要素において最適化され得る。いくつかの実施形態において、システム１００は、外科医１２０がある１つの段階を完了して新たな段階を開始していることを識別し、新たな段階のために照明を自動的に最適化する。たとえば、外部フェイコシステムがデータをストリーミングする場合、システム１００は、モードが現在フェイコモードに設定されていることを知る。そのような場合、投光照明は自動的にオフに切り換えられ、赤目照明がオンに切り換えられる。
開示される技術の更なる実施形態に従って構成され動作可能な、フットスイッチ１０４（図１Ａ）に関する概略ブロック図を示す図１Ｇが参照される。フットスイッチは、３つのセンサ１０４Ａ、１０４Ｂ、および１０４Ｃ、トランシーバ１０４Ｄ、および振動モータ１０４Ｅと共に示される。フットスイッチは、外科医１２０の足に隣接して地面に位置する。外科医１２０は、フットスイッチ１０４によって検出される足部運動を行うことによって、システム１００の動作特徴を制御する。センサ１０４Ｂ、１０４Ｃ、１０４Ｄは、足部運動を感知するように構成され、それぞれのトランシーバ１０４Ａおよび１１８Ａを介してコンピュータ１１８（図１Ｂ）へ通知を送信する。センサ１０４Ｂ、１０４Ｃ、１０４Ｄは、ペダル、ボタン、タッチパッド、ジョイスティック、圧力ベース、画像ベースなどのいずれかであってよい。留意すべき点として、この実装は単なる典型例であることが意図され、フットスイッチ１０４は、より多いまたは少ない数のセンサ、または各々が様々なオプションを有する複数のボタンを有してよい。いくつかの実施形態において、フットスイッチ１０４は、フットジェスチャを追跡するための慣性センサと共に構成された装着型デバイスである。任意選択的に、装着型フットスイッチは、追加または代替として、１または複数のフットジェスチャを検出するための光センサおよび発光体（不図示）と共に構成される。たとえば、装着型フットスイッチと共に構成された発光体は、たとえば床などの表面にパターンを投影する。１または複数の光センサは、フットジェスチャを推測するために、投影されたパターンの変化を検出する。光センサは、装着型フットスイッチと共に構成され得るが、これは必須ではない。振動モータ１０４Ｅは、フットスイッチ１０４を介して、システム１００に関する設定およびシステムパラメータに関するフィードバックを外科医１２０へ提供する。ここで、開示される技術の他の実施形態に従って構成され動作可能な、システム１００（図１Ａ）のための典型的なユーザインタフェース（ＵＩ）１６０に関する概略ブロック図を示す図２Ａが参照される。ＵＩ１６０は、外科医１２０とのインタフェースとなる、図１Ｂ～１Ｇに関して上述されたシステム１００の構成要素の論理的見方である。ＵＩ１６０に含まれる構成要素は単なる例示であることが意図され、様々な実装に従って構成要素が追加され、またはＵＩ１６０から取り除かれ得ることを理解すべきである。図２Ａは、それらの機能に従って論理的にグループ分けされた様々なシステムユニットにおける構成要素を示す。ＵＩ１６０は、外科医１２０からの入力を受信するシステム１００の構成要素を含むＵＩ入力１６０Ａ、および受信した入力に応答して出力としての機能を果たすシステム１００の構成要素を含むＵＩ出力１６０Ｂという２つのモジュールを含む。コンピュータ１１８は、ＵＩ入力１６０Ａを介してユーザ入力を受信し、入力を処理して、ＵＩ出力１６０Ｂを介して１または複数のシステム応答を発する。
ＵＩ入力１６０Ａは、ヘッドジェスチャトラッカ１６２を含む。ヘッドジェスチャトラッカ１６２は、ＨＭＤ１０２に統合されＨＭＤ１０２の内部にある追跡部品１３４（図１Ｃ）、および任意選択的に、ＨＭＤ１０２の外部にあるヘッドジェスチャトラッカ部品１６４を含む。たとえば、ヘッドジェスチャトラッカ部品１６４は、外科医１２０の画像を取得する、手術室内に配置されたカメラであってよい。ＵＩ入力１６０Ａは更に、フットベースの入力を受信するためのフットスイッチ１０４（図１Ａ）、アイトラッキングシステム１６６、音響システム１６８、および他の外科医からの入力を受信するためのタッチスクリーン１０８（図１Ａ）を含む。アイトラッキングシステム１６６は、アイトラッカコントローラ１１８Ｌ（図１Ｂ）に結合されたアイトラッキング部品１３６（図１Ｃ）を含み、これらは共に、外科医の視線の方向を感知および追跡するように構成される。音響システム１６８は、音声認識装置１１８Ｍ（図１Ｂ）に結合されたマイクロフォン１３８（図１Ｃ）を含み、これらは共に、外科医によって発された音響信号および音声コマンドを受信し、検出し、処理するために構成される。いくつかの実施形態において、マイクロフォン１３８は、ＨＭＤ１０２の外部にある。
ＵＩ出力１６０Ｂは、ディスプレイモジュール１３０（図１Ｃ）、シャッタ１３２、タッチスクリーン１０８（図１Ａ）、カメラヘッド１１０（図１Ｄ）、カメラヘッド位置決め器１１１、カメラシステム１１２（図１Ｅ）、および照明システム１１４（図１Ｆ）を介して表示されたコンテンツを含む。受信した入力に基づいて、コンピュータ１１８は、シャッタ１３２の状態、ディスプレイモジュール１３０のコンテンツの表示、およびタッチスクリーン１０８のコンテンツの表示を制御し、ならびにカメラヘッド１１０、カメラヘッド位置決め器１１１、カメラシステム１１２、および照明システム１１４に関する設定を制御する。いくつかの実施形態において、ＵＩ出力１６０Ｂは、たとえばフェイコビトレクトミーマシンなどのシステム１００の外部の１または複数のシステムに接続され、外科医１２０に、ＵＩ１６０を介したシステム１００の外部のシステムの直接制御権を与える。いくつかの実施形態において、システム１００は更に、利用可能なビデオストリームのいずれかまたは全てを表示し、ならびに複数のＨＭＤを同時にサポートするための２Ｄまたは３Ｄ外部モニタ（不図示）への接続をサポートする。
いくつかの実施形態において、ＵＩ出力１６０Ｂは更に、たとえば発信音または外科医１２０に通知するための音声メッセージなどの音出力を発するための、たとえばスピーカ１３９（図１Ｃ）などのスピーカを含む。いくつかの実施形態において、ＵＩ出力１６０Ｂは更に、たとえば振動モータ１４１（図１Ｃ）または振動モータ１０４Ｅ（図１Ｇ）などの１または複数の振動モータ１６１を含む。たとえば、振動モータは、ＤＣ振動モータを用いる偏心回転マス振動モータ（ＥＲＭ）、または外科医１２０にシステムパラメータを表示するためのリニア共振アクチュエータ（ＬＲＡ）であってよい。振動モータは、ＨＭＤ１０２、フットスイッチ１０４、またはシステム１００の他の任意の構成要素のいずれかに統合され得る。たとえば、振動は、ｘモータがその運動限界に到達したこと、またはシステム１００が、網膜に極端に近い位置にあるツールを自動的に識別したことを示してよい。いくつかの実施形態において、システム１００は、外科医１２０の姿勢が人間工学的に適切であることを確実にするために、外科医１２０の頭部を監視し、外科医１２０が自身の頭部を、首の痛みや損傷を招き得る人間工学的に不適切な姿勢に置くと、警報を発する。警報は、たとえばＨＭＤによって表示されるメッセージ、振動、またはたとえば発信音などの音響警報の発出を介して発され得る。
外科医１２０は、ＨＭＤ１０２を装着しながらユーザインタフェース１６０を介してシステム１００とインタラクトし、患者１２２に外科処置を行う。このように、ハンドフリージェスチャを用いて、外科医１２０は、たとえばコンピュータ１１８の画像処理パラメータ（たとえばズーム、色補正）などのシステム１００の動作パラメータ、ＨＭＤ１０２を介して表示されるコンテンツ（たとえば、カメラシステム１１２によって取得された画像、メモリから取得された術前データ、オーバレイされた仮想特徴、仮想スクリーンおよびメニューの開閉）、シャッタ１３２の状態（たとえば、開いている、部分的に開いている、閉じている）、照明システム１１４に関する制御設定（たとえば、発光体、フィルタ、強度、波長、角度）、カメラシステム１１２に関する制御設定（たとえばカメラ、ズーム、フォーカス、シャッタ）、カメラヘッド１１０に関する制御設定（たとえば、ｘｙｚモータおよび傾きを調整することによる向きおよび整合性）、上記のいずれかを制御するためのメニュー項目の選択、システムモードの制御などを制御してよい。
いくつかの実施形態において、ＵＩ１６０は、後の使用のために、スナップショットおよびビデオを格納すること、およびオーディオを記録することを可能にする。オーディオ記録は、ノート、手術概要、名前付けおよびタグ付けフィルタとして使用するためにテキストに変換され得る。その後、深層学習アルゴリズムによってキーワードタグが適用され得る。いくつかの実施形態において、システム１００は、術前データに関するプレースホルダ、生画像からのスナップショット、記録されたノート／概要の音声テキストを有する所定のテンプレートに基づいて、手術レポートの自動生成を支援する。自動レポート生成は、たとえば患者１２２の氏名、外科医１２０の氏名、日付、外科処置の時間および期間などのデータの追加の識別を支援する。適当である場合、処置に関連するデータを取得するために機械学習および画像処理が適用され得る。たとえば、使用された外科用器具の種類、および外科処置の画像フィードが、レポートにデータを追加するために得られ得る。ＵＩ１６０は、選択されたスナップショットおよび術前画像を外科医がレポートにアップロードすることを可能にする「レポートへ送信」メニュー項目を提供する。いくつかの実施形態において、ＵＩ１６０は、既定のテンプレートに従って構成され得る、自動生成された請求概要を提示する。請求概要は、行われた外科処置のリストなどを含んでよい。
ビデオおよびオーディオが個別に記録される場合、オーディオ記録は、オーディオを対応するビデオファイルと同期させることを可能にするタイムスタンプと共に保存される。同様に、オーディオノートがテキストに変換される場合、これらは、ノートが対応するビデオフィード上のサブタイトルとして表示されることを可能にする同期タイムスタンプと共に保存される。
いくつかの実施形態において、ＵＩ入力１６０Ａは、たとえばフットスイッチ１０４を介して検出される足部運動と同時にヘッドジェスチャトラッカ１６２を介して検出されるヘッドジェスチャなど、外科医１２０によって行われる複数の同時ハンドフリージェスチャとしての入力を検出するように構成される。これらの実施形態において、フットスイッチ１０４からの有効化入力は、ヘッドジェスチャを有効化することによって、外科医１２０による不慮の頭部運動がシステム１００の動作に影響を及ぼすことを防ぐ機能を果たす。ＵＩ入力１６０Ａからの入力を受信すると、コンピュータ１１８は、システムモードに依存する、対応するアクションを引き起こす。
いくつかの実施形態において、外科医１２０は、システム１００を一時的に、フットスイッチ１０４からの有効化入力なしで様々なヘッドジェスチャによってデフォルトアクションがアクティブ化される有効化フリー状態に設定してよい。たとえば外科医１２０は、デフォルトアクションが、ヘッドアップおよびヘッドダウンジェスチャに関してフォーカス制御、左右のヘッドジェスチャに関してズームインおよびアウトであるように設定し、または、システムモードを切り換えるために有効化フリーヘッドジェスチャを可能にしてよい。
ここで、システム１００の態様を制御するためにＵＩ入力１６０Ａを介して外科医が利用可能であるいくつかの典型的なユーザ入力の説明を以下に示す。このリストは、限定的であることは意図されない。
・ヘッドジェスチャ
ヘッドジェスチャの使用に基づく外科用ＨＭＤのための一般的なユーザインタフェース法。ヘッドジェスチャは、ＵＩ入力１６０Ａ（図２Ａ）のヘッドトラッカ１６２によって検出される。外科医１２０は、いくつかのヘッドジェスチャが有効化フリーであるようにシステムパラメータを設定し、自身がヘッドジェスチャのみを用いてシステム１００を制御することを可能にしてよい。たとえば、医療処置の特定の段階に関して、外科医１２０は、有効化フリーモードで作業することを好み、フットスイッチ１０４を介した有効化なしでヘッドジェスチャのみを用いて自身がシステム１００を操作することを可能にし得る。外科医１２０は、この効果のために音声コマンドを発してフットスイッチ１０４を介した有効化をオフに切り換え、ヘッドジェスチャを用いるだけで、たとえばズームまたはフォーカスなどの特徴を制御してよい。外科医１２０は、たとえば
〇カメラヘッド１１０によるズーム、フォーカス、照明強度、
〇たとえばディスプレイモジュール１３０に表示された術前画像などのデータ項目内でのスクロール、
〇ヘッドジェスチャを直接介した、または間接的にヘッドジェスチャを用いてメニュー制御を介した照明のオンオフ、画像強調オプション、有効化非有効化
などの連続的および離散的なシステム特性を制御するためにヘッドジェスチャを用いる。
・フットスイッチ１０４によって有効化されたヘッドジェスチャ。
フットスイッチ１０４（図１Ｇ）は、たとえばペダル１０４Ａ、１０４Ｂ、１０４Ｃなどの１または複数のペダルと共に提供される。ペダル１０４Ａ、１０４Ｂ、１０４Ｃの各々は、様々なシステムパラメータセットを制御するためのヘッドジェスチャのグループを有効化してよい。各グループは、上下運動、左右運動、視線、小さな頷き、前後運動など、用いられる全てのジェスチャで構成される。ヘッドジェスチャを伴うフットスイッチ１０４の使用は、外科医１２０が、ヘッドジェスチャのみで利用可能な数よりも多くのシステム特徴を制御することを可能にする。また、追加のユーザ入力を介してヘッドジェスチャを有効化することは、たとえば頭部の自然な動きによる異なるシステムモードへの不慮の切換えなどの不本意な変更をなくすことにより、システム安全性を向上させる。
たとえば、３つのペダルを有するフットスイッチは、ノーマルシステムモードにおいて以下の５つのヘッドジェスチャのグループを有効化してよい。
○左ペダルの押下（１０４Ａ）
○上下のヘッドジェスチャ：拡大画像のフォーカス。
○微かな上下の頷き：自動フォーカシングの有効および無効状態の切替え。たとえば、指定された点におけるワンタイム自動フォーカシングを有効化すると、画像上のオーバレイとして十字が出現してよく、ユーザは、自動フォーカスする術野内の点を指定するために自身の頭部を回転させて十字を動かしてよい。ペダルの解放により、指定された点が選択される。外科医１２０は、メニューまたはタッチスクリーンを介して、自身の頭部の頷きによってどの種類の自動フォーカシング（たとえば、指定された点へのワンタイム自動フォーカス、指定された点への連続的な自動フォーカシング、ツールチップへの自動フォーカシング、光スポットの中心への自動フォーカシング）がアクティブ化されるかを選択してよい。
○左右のヘッドジェスチャ：拡大画像のズーム。
○微かな左右の振り：自動ズーミングの有効および無効状態の切替え。
○左＋中央ペダルの押下（１０４Ａおよび１０４Ｂ）
○上下および左右のヘッドジェスチャ：ＲＯＩが表示された時の拡大画像におけるｙおよびｘ方向へのスクロール。
○微かな上下の頷き：ＲＯＩの変更に基づく自動センタリングの有効および無効状態の切替え。
○中央ペダルの押下（１０４Ｂ）
○上下および左右のヘッドジェスチャ：メニューナビゲーション。
○長い凝視：サブメニューを開く、または前景に出現するメニューを選択する。
○中央ペダル１０４Ｂの解放：選択されたメニュー項目をアクティブ化する。
○右＋中央ペダルの押下（１０４Ｃおよび１０４Ｂ）
○上下および左右のヘッドジェスチャ：ｙおよびｘモータを動かす。
○微かな上下の頷き：ＸＹの変更に基づく自動センタリングの有効および無効状態の切替え。
○右ペダルの押下（１０４Ｃ）
○上下のヘッドジェスチャ：投光照明強度。
○微かな上下の頷き：投光照明のオンおよびオフ状態の切替え。
○左右のヘッドジェスチャ：赤目（同軸）照明強度。
○微かな左右の振り：同軸照明のオンおよびオフ状態の切替え。
・音響入力。
システム１００は、１または複数のマイクロフォン１３８を介して検出された音響信号に応答するように構成される。外科医１２０は、特徴を有効化または無効化するため、または異なるシステムモードへ切り換え、表示画像を修正または増強するため、などのために１または複数の音声コマンドおよび／または音を発してよい。音響入力は、マイクロフォン１３８によって検出され、コンピュータ１１８によって処理される。たとえば、外科医１２０は、１つの特徴を有効化／無効化するために１度の舌打ちの音を用い、第２の特徴を有効化／無効化するために第２の音を用いてよい。システム１００の特徴を有効化するための音は、ユーザ固有であってよく、外科医１２０によってカスタマイズされ得る。外科医１２０は、システム１００に、好みの音のセットを認識するように教示してよい。外科医１２０の口の付近（たとえばＨＭＤ１０２の一部）に物理的に配置されたマイクロフォン（不図示）は、患者１２２の可聴範囲外である非常に静かな音を拾い上げ得る。これは、たとえば多くの目の外科処置など、麻酔なしで行われる処置において有利であり得る。これらの状況において、患者１２２は、システム１００を制御するために外科医１２０によって発される音声コマンドを聞かないことが好適であり得る。
・ハンドジェスチャ。
いくつかの実施形態において、システム１００は、ハンドヘルドコントローラ（不図示）によって、または外科医１２０によって行われたハンドジェスチャを感知し、これらを処理のためにコンピュータ１１８へ送信する外部トラッカ（不図示）によって取得された１または複数のハンドジェスチャ入力を提供する。たとえば、ハンドヘルドコントローラは、電子マウス、遠隔制御装置、ジョイスティックと同様に設計されてよく、あるいは、たとえばブレスレットまたは指輪などの装着型デバイスであってよい。あるいは、ハンドジェスチャは、ＨＭＤまたはその他どこかに統合されたカメラおよび／または他のセンサによって光学的に取得され得る。ハンドジェスチャは、本明細書に開示されるＵＩ技術のいずれかと関連して用いられ得る。たとえば、ハンドジェスチャは、手術室内の位置に、または患者の目に「ロック」されたメニューまたは仮想３Ｄボタンと関連して用いられ得る。いくつかの実施形態において、システム１００は、ユーザの指を追跡することによってハンドジェスチャを検出する。他の実施形態において、システム１００は、外科医１２０によって保持された外科用ツールを追跡することによってハンドジェスチャを検出し、外科医１２０が、外科用ツールでメニュー項目または仮想３Ｄボタンを「タッチ」および「押下」することを可能にする。
・カメラヘッド１１０を介した物理制御。
カメラヘッド１１０には、１または複数の手動操作型ボタン、ハンドル、およびスイッチ、および制御パネルが提供され得る。これらは、外科医１２０または付き添いの看護士によって制御され得る。
・仮想表示されたメニューまたはボタンと組み合わせたユーザアイトラッキング。
外科医１２０は、アイトラッカ１３６（図１Ｃ）を介して仮想表示されたメニューオプションをナビゲートしてよい。たとえば、外科医は、既定の期間、仮想メニュー項目を凝視し、またはパターンに従ってまばたきし、または他のそのような「アイジェスチャ」を行ってよい。このＵＩは、本明細書で説明される他のＵＩのいずれかと関連して用いられ得る。ディスプレイ固定仮想メニューに加えて、メニューは、世界固定または解剖学的構造固定であってよい。たとえば、３Ｄ仮想ボタンは、たとえば治療エリアの周囲など、患者１２２の目に「ロック」された状態で表示され得る。外科医１２０は、仮想ボタンを凝視することによって表示されたボタンを「押下」してよく、アイトラッキング部品１３６は、凝視を検出する。
・タッチスクリーン。
システム１００に関する制御および動作パラメータは、タッチスクリーン１０８を介して設定、監視、および修正され得る。タッチスクリーン１０８は、手術室看護士または外科医１２０によって使用するために無菌ナイロンによってカバーされ得る。ＨＭＤ１０２を装着している外科医１２０によって動作設定を制御することに加えて、タッチスクリーン１０８は、ＨＭＤ１０２を装着している外科医１２０によって制御することができないモード、設定、および嗜好を制御することを可能にする。タッチスクリーン１０８は、システム１００に利用可能なビデオフィードのいずれかを、生形式で、またはＨＭＤ１０２の装着者に見えるフォーマットで、たとえばオーバレイ、ＰＩＰなどを用いて表示してよい。
システムモードは、外科医１２０によって行われたユーザ入力をシステム１００がどのように解釈し、それに対して反応するかを決定して、ユーザインタフェース構成を修正する。たとえば、術前モードにおいて、外科医１２０は、自身の頭部を回しながら同時にフットスイッチ１０４のペダルを押下することによって、ＨＭＤ１０２を介して表示された複数の画像をスクロールする。ノーマルモードにおいて、外科医１２０は、自身の頭部を左へ（ズームイン）または右へ（ズームアウト）動かしながら同時にフットスイッチ１０４のペダルを押下することによって、ＨＭＤ１０２を介して表示された画像をズームインまたはズームアウトする。いくつかの実施形態において、フットスイッチ１０４の適当なペダルが押下されている間、コンピュータ１１８のみがアクションの実行を有効化する。
以下は、システム１００によって提供されるいくつかの典型的なシステムモードおよびそれらが制御する特性である。システムモードは、たとえばＨＭＤ１０２に関する表示設定、またはカメラシステム１１２に関する動作設定など、システム１００のためにどのパラメータが操作されるかを定義する。外科医１２０は、ＵＩ１６０Ａによって検出される、ヘッドジェスチャ、眼球運動、音声コマンド、および足部運動を含むＵＩ入力の組み合わせによってモードを選択および開始する。コンピュータ１１８は、ＵＩ入力を処理し、ＵＩ１６０Ｂの１または複数のシステム出力部品を介してシステム応答を引き起こす。システムモードは、たとえばＨＭＤ１０２に表示されるコンテンツ、スクリーン状態、シャッタ１３２の状態、ＵＩ機能、およびカメラヘッド１１０に関する動作設定などの１または複数などの応答を決定する。以下の典型的なモードリストは、網羅的であることは意図されておらず、各システムモードによって制御可能な特性の全てを含むものでもない。
・ノーマルモード（デフォルトモード）。このシステムモードにおいて、デフォルト値が一般に有効であるが、外科医１２０によってカスタマイズされ得る。カメラシステム１１２によって取得された画像フィードが、ＨＭＤ１０２を介して表示される。外科医１２０は、たとえばカメラシステム１１２に関するズーム、フォーカス、ＸＹ位置、および照明システム１１４に関する照明設定などの表示属性を制御するために主にＵＩ１６０を用いる。
・透明モード。このシステムモードにおいて、ディスプレイモジュール１３０はオフにされ、ＬＣシャッタ１３２が開いており、外科医１２０は、現実世界ビューを見ることができる。
・後眼部非接触レンズモード。このシステムモードは、外科医１２０が、反転または後眼部モードで術野１２４を見ることを可能にする。このモードに関する設定は以下の通りである。
○眼部反転 反転。
○投光照明 オフ。これは、ユーザが設定可能であってよい。
○赤目照明 オフ。
○配色 ファイバ照明（色補正は素材固有である）。
○画像強調 後眼部固有値。
○モータ状態 制限された速度および範囲。これらのパラメータは、ヘッドジェスチャの進度または速度を制御することによって外科医により制限され得る。
・外部モード。これらのシステムモードは、たとえば内視鏡など、システム１００に接続され得る追加の外部デバイス（不図示）に対応する。外部システムモードの１つは、以下の設定を有する。
○赤目照明 オン。赤目および投光照明に関する強度は事前定義される。
○オーバレイ 外部システムから追加のデータがオーバレイされる。
○ＵＩ１６０の機能がカスタマイズされ得る。たとえば、フットスイッチ１０４に関する定義は、このモードにおいて、他のモードとは異なってよい。これは、外科医１２０が、フットスイッチ１０４を用いて外部マシンを制御することを可能にするためである。それに応じて、オプションを表示するメニューも、異なる機能を反映するように修正される。
・術前データモード（「術前」モード）。このモードにおいて、ユーザは、たとえば自身が準備した術前画像またはノートおよび／または患者データなどの事前計画データを見る。データを見た後、ユーザは、外科処置を継続するために以前のモードへ戻る。またユーザは、図６Ｃ～６Ｊにおいて詳しく後述するように、画像ライブラリからＰＩＰ内で見ることができる画像セットを選択し、以前のモードに戻った後、選択された画像内でスクロールしてもよい。このモードに関する設定は以下の通りである。
○表示コンテンツ。術野１２４で取得された生拡大画像の代わりに、ＨＭＤは、ユーザが所望する任意のデータにアクセスし、データを閲覧およびスクロールすることを可能にするＧＵＩを表示する。
○ＵＩ機能。このモードは、術前データを閲覧およびスクロールすることを可能にする。たとえば、ノーマルモードにおけるジェスチャは、拡大画像のズームまたはフォーカスを制御し得る。術前データモードにおいて、拡大画像は表示されておらず、同じジェスチャは、表示された術前データのスクロールなどを可能にする。
○照明。照明システム１１４による照明は、術前データモードにおいて最小値に設定され、あるいはオフにされ、暗くされ、たとえばＩＲ投光照明１５２を有するＩＲ照明など照明システムに含まれる他の発光体に切り換えられ得る。ＩＲ照明は、外科医１２０が術前データを見ている間、同席している看護士の動きを検出することを可能にし、自動的にオンにされ得る。照明は、外科医１２０がノーマルシステムモードに再び切り換えると、以前の非ＩＲ設定に戻され得る。
・ＰＩＰ（ピクチャインピクチャ）システムモード。ピクチャインピクチャ（ＰＩＰ）の表示は、術前画像、生ビデオフィード、過去に取得されたビデオのスナップショット、ＧＩＦ、およびたとえばバイタルサインおよび他のデータなどのデータを、ＨＭＤ１０２を介して表示された現在の背景画像上にオーバレイされたウィンドウ内に表示することを可能にする。外科医１２０は、いくつかの異なるＰＩＰ、それらの位置、および各ＰＩＰ内にどのコンテンツを表示するかを事前定義してよい。たとえば、ＰＩＰは、後眼部非接触レンズモードにおける作業時、術前ＯＣＴ画像を表示し、または、内視鏡モードであり、背景画像が内視鏡カメラからの生ビデオフィードである時、生拡大画像を表示してよい。外科医１２０は、各既定のＰＩＰをオンおよびオフにしてよい。外科医１２０は、ＵＩ１６０を介してＰＩＰの位置およびサイズおよびオン／オフ状態を制御してよい。ＨＭＤ１０２の視野におけるＰＩＰの位置は、メイン画像内の自動的に検出された関心領域の位置に従って動的に変更されてよく、ＵＩ１６０を介して外科医１２０によって設定され得る。またＰＩＰの位置は、現実世界にロックされ（「世界固定ＰＩＰ」）、または、たとえばＶＧＳ処置において患者の解剖学的構造に固定されてもよい。ＰＩＰモードである時（すなわち、ＰＩＰの「選択」後）、スナップショットのアクティブ化は、ＰＩＰ画像のみを保存し得る。これは、たとえばｉＯＣＴ画像を保存するために役立ち得る。
たとえばＰＩＰ内に現在表示されている術前画像に対応する生拡大画像上の位置を示すオーバレイ記号を有効または無効にするために、ＰＩＰが表示されている時、オーバレイされたメニューに、ＰＩＰ固有の機能が追加され得る。いくつかの実施形態において、拡張現実（ＶＧＳ）処置を行う間、ＨＭＤ１０２のドライバ１０２Ａは、ＰＩＰが表示されているディスプレイモジュール１３０のエリア内でシャッタ１３２を閉じる。これにより、外科医１２０は、部分的に透明なスクリーンを通して現実世界を見、同時に、ＰＩＰの後ろの周囲光を遮断しながら１または複数のＰＩＰ内に表示された術前、術中、または他のデータを見ることが可能である。ＰＩＰが患者の解剖学的構造にロックされている時、コンピュータ１１８は、外科医１２０が自身の頭部を動かしている間、ＰＩＰの後ろで背景が常に遮断されるようにシャッタが閉じられる領域を動的に制御してよい。
いくつかの実装において、ＰＩＰシステムモードへの切換えは、ＨＭＤを介して少なくとも１つのＰＩＰが表示されている時のみ可能である。ＰＩＰシステムモードへの切換えは、たとえばメニューを呼び出すフットスイッチボタンを押下すること、およびメニュー項目であるかのようにＰＩＰを選択することによって行われ得る。これにより、ＵＩ機能は、ＰＩＰ内に表示されたコンテンツに従って既定のＵＩ機能に変更される。たとえば、ＰＩＰが術前データを表示する場合、ＵＩは、（たとえば、外科医１２０がＰＩＰ内に表示された術前画像のセットをスクロールすることを可能にする）術前データモードから引き継がれ、ＰＩＰが生拡大画像を表示する場合、ＵＩは、（たとえば、外科医１２０が倍率を制御することを可能にする）ノーマルモードまたは後眼部非接触レンズモード、または一般に（ここに記載されない他のいくつかのそのようなモードが存在し得るので）生画像フィードを見るために最後に選択されたモードから引き継がれる。ＰＩＰモードにおいて引き継がれたＵＩに特別ＵＩ機能が追加されてよく、他は、ＰＩＰモード用に微調整され得る。たとえば、ＰＩＰに術前画像が表示される場合、外科医１２０は、ヘッドジェスチャを用いて仮想ポインタを制御し、表示された術前画像および生拡大画像における対応する点を指定してよい（これは、生画像に術前データを手動で位置合わせするために行われ得る）。
・ｉＯＣＴ（術中ＯＣＴ）モード。このシステムモードは、ｉＯＣＴスキャナ１４２にＯＣＴデータを取得させる。このモードに関する設定は、以下を含んでよい。
○ｉＯＣＴ オン。
○ＰＩＰ オン、ｉＯＣＴスキャナ１４２を介して取得された画像がＰＩＰ内に表示される。
○ＵＩオプション この特徴は、外科医１２０が、ヘッドジェスチャを用いて、またはメニューをナビゲートすることなどによって、たとえば走査位置および角度などのｉＯＣＴスキャナ１４２に関する動作パラメータを制御することを可能にするＵＩオプションを提供する。たとえば、ユーザは、Ｂ走査およびボリュメトリック走査というｉＯＣＴ走査様式を切り替えるためにメニューを用いてよい。
○Ｂ走査インジケータオーバレイ この特徴は、生ｉＯＣＴ Ｂ走査の位置を示す記号を生拡大画像上にオーバレイする。
・他の処置固有および段階固有モード：一般に、様々な処置固有および段階固有モードは、処置固有および段階固有データおよびオーバレイを表示するために事前定義され得る。
○データオーバレイ、たとえばフェイコビトレクトミーマシンからのデータが有効化される。
○位置合わせされたオーバレイが有効化される。このビューは、外科処置中に外科医１２０を支援するために術野の現実世界拡大ビュー上にオーバレイされた画像位置合わせ記号および／または画像および／または３Ｄモデルを表示する。
○ＵＩ ＵＩ機能は、ユーザが、オーバレイの位置、深さ、および向きを制御するため、あるいはシステムに接続された他のデバイスを制御することを可能にするために変化してよい。たとえば、ディスプレイにオーバレイする直線の角度は、ヘッドジェスチャおよび／またはフットスイッチ１０４を用いて操作され得る。
○ＰＩＰ（ピクチャインピクチャ）。ＰＩＰは、ＰＩＰを介して関連術前または術中ビデオおよび／またはデータを示すために有効化され得る。
・外部ビデオフィードモード：
○いくつかのモードにおいて、ＨＭＤ１０２は、外科医１０２が、待合室で待機している患者を監視し、または異なる手術室内の異なる外科処置の進捗を監視することを可能にするために、たとえば手術室外に配置された１または複数のカメラによって提供され得るような外部ビデオフィードを表示する。これらのビデオは、ＰＩＰ内またはＨＭＤ１０２のサイドスクリーンに表示され得る。それらは、１度に１つのビデオで、または複数のスクリーンでビデオの寄せ集めとして表示され得る。このモードは、外科医が、複数のスクリーンにおいて全ての利用可能なビデオフィードを見ることを可能にする。外科医は、待合室、他の手術室からのビデオフィードを見てよく、あるいは、たとえば予測不可能な状況において生じ得るような稀な処置をどのように行うかを説明する教材ビデオのデータベースを検索してよい。外科医は、たとえばＰＩＰ内でなど、選択されたビデオをいつどのように見るか、およびいつどのように以前のモードに戻るかを事前に決定してよい。
・教示モード：
いくつかの実施形態において、システム１００は、外科医１２０と連携する、たとえば年長外科医などの補助外科医（不図示）によって同時にガイドされ得る。補助外科医は、コンピュータ１１８およびカメラヘッド１１０に結合され、ＨＭＤ１０２と同様に動作する第２のＨＭＤを装着する。第２のＨＭＤもまた術野１２４のビューを表示し、補助外科医は、ＨＭＤ１０２のモジュール１３０におけるディスプレイと同期されたディスプレイ上のカーソルを制御してよく、外科医１２０が、補助外科医によって制御されたカーソルを見ることを可能にする。このように、補助外科医は、外科処置中に外科医１２０をガイドすることができる。同様に、補助外科医は、術前または他のデータなどを外科医１２０に示す１または複数のＰＩＰを呼び出してよい。
このモードにおいて、年長外科医は、たとえば外科医１２０が研修医である場合などに、外科処置を行っている外科医１２０を指導し得る。いくつかの実施形態において、アイトラッキング部品１３６（図１Ｃ）は、外科医１２０の凝視を追跡し、外科医１２０が注視しているＨＭＤ１０２の表示エリアを決定する。システム１００は、外科医１２０が注視しているエリアを示す記号を、第２のＨＭＤを介して補助外科医に表示する。このように、補助外科医は、外科医１２０の焦点を監視することができる。
いくつかの実施形態において、年長外科医は、処置を行いながら外科医１２０をガイドするための特徴および記号をオーバレイしてよい。外科医１２０は、生画像上にオーバレイされたエンド効果を見、このモードにおいて監督外科医が見ているメニューおよび描画オプションを見ることはない。教示モードにおける特徴は、以下を含む。
○図６Ｋ～６Ｏにおいて更に詳しく後述するように、描画オプションを選択し、表示する仮想ツール／マーカ／ポインタ、マーキングの色、マーキングの消去などを選択するための「ペイント」のようなメニューを年長外科医に示すこと。
○年長外科医が、ヘッドジェスチャを用いて、または専用ワンドによってポインタを制御し、または描画することを可能にすること。
○リアルタイム画像に描画する場合、線画（線、記号など）は、患者の解剖学的構造にロックされてよく、すなわち、オーバレイ記号は、（たとえば、外科医が患者の目を動かすと）患者の解剖学的構造にロックされて見えるようにその位置を自動的／動的に変化させる。線画は、３Ｄであってよい。
○年長外科医は、ＨＭＤを身に着けていない場合、指示および描画するためにタッチスクリーンを用いてよい。年長外科医は、たとえば自身のオフィスまたは自宅内で通常のスクリーンおよびマウスを用いて、場合によってはリアルタイム画像上で指示および描画するためにタブレットまたはスマートフォンを用いて、執刀外科医を遠隔でガイドし得る。
○何者かが「描画」モードでシステム１００システム１００に接続し、生画像フィードに描画することを有効化されたことを執刀外科医に示す記号が、表示画像の角部に表示され得る。
○執刀外科医に消去オプションが提供される。ディスプレイに特徴が描画されると、現在のメニューにメニュー項目が追加され（すなわち、執刀外科医がメニューを呼び出すと、彼にメニューが表示され）、執刀外科医が１または複数の描画特徴を消去することを可能にする。メニューは、単一の「全てを消去する」メニュー項目を選択することによって、全ての描画特徴を消去することを可能にし得る。あるいは、メニューは、外科医１２０が、どの描画特徴を消去するか、およびその数を選択することを可能にするサブメニューを提示する。
○特徴の描画を容易にするために、生画像フィードをフリーズするフリーズオプションが提供され得る。
○３Ｄ記号／マーカ：
・３Ｄ記号は、解剖学的構造に対して所与の深さで出現するように両目に表示される記号である。３Ｄマーカは、３Ｄ画像固定記号（たとえば３Ｄ直線）を生成する。
・ユーザは、ユーザによって完全に制御される３Ｄポインタまたはマーカを選択してよく、すなわち、ユーザは、そのＸＹ位置および深さの両方を制御する（ユーザは、たとえば深さ制御ペダルによって有効化されたヘッドジェスチャを用いて、深さを手動で制御してよい）。
・あるいはユーザは、現在フォーカスされている解剖学的構造の深さに自動的にロックする３Ｄポインタまたはマーカを選択してよく、ユーザが記号を動かすと、ユーザは、記号が解剖学的構造の表面を辿る（たとえば上下に動く）感覚を得る。
・後者が用いられる場合、ユーザによってフォーカスが変更されると、高さは自動的に計算され更新される。たとえば、第１のフォーカスポイントが、角膜のような透明表面上であり、第２のフォーカスポイントが、前嚢上の点のような第１のフォーカスポイントの後側（下側）である場合、（ＨＭＤユーザの両目に表示される）２つの画像における記号位置は、新たな深さを反映するように異なる方法で変化する。
○ワンド：
・ワンドは、マウスのような、または遠隔制御装置のようなコントローラであり、任意選択的に様々な種類のボタンを有し、ハンドヘルドであり、無線または有線であり、任意選択的に無菌カバー内にあり、任意選択的に統合された慣性トラッキングを有する。これは、上述したような指示／描画のため、および仮想ツールを制御するための両方に用いられ得る。
・監督年長外科医は、どのように外科処置を行うかを研修医に示すために自然な方法で仮想ツールを動かすためのハンドヘルドコントローラを用いてよい。仮想ツールは、ユーザがＨＭＤを介して生画像上のオーバレイとして見る３Ｄツールとしてディスプレイ内に出現する。これは、このモードにおいてメニュー／ＧＵＩを介してユーザが選択するために利用可能なツールの３Ｄモデルに基づく。
外科医１２０は、ＵＩ入力１６０Ａを介して検出される１または複数のハンドフリージェスチャを用いて、システム１００に関するシステムモードを選択し切り換える。いくつかの実施形態において、外科医１２０は、ヘッドトラッカ１６２によって検出されるヘッドジェスチャを行いながら、同時にフットスイッチ１０４によって検出される足部運動を行うことによって、システムモードを切り換える。他の実施形態において、外科医１２０は、マイクロフォン１３８によって検出される音声コマンドによってシステムを切り換える。コンピュータ１１９は、システムモードに従って、後続のユーザ入力をどのように解釈するかを決定する。
たとえば、１つのシステムモードにおいて、外科医１２０によってフットスイッチ１０４のペダル１０４Ａを押下しながら行われる頭部の上向き回転は、照明システム１１４による照明の強度を増加させる。異なるシステムモードにおいて、フットスイッチ１０４のペダル１０４Ａを押下しながら行われる同じヘッドジェスチャは、ＨＭＤ１０２を介して表示された画像をスクロールする。外科医１２０によってフットスイッチ１０４のペダル１０４Ｂを押下しながら行われる横方向のヘッドジェスチャは、これら２つのシステムモードを切り換えてよい。同じジェスチャに対する複数のシステム応答を可能にすることによって、システムモードは、システム１００に関するより広範囲の機能を提供し、外科医１２０が、自身の手を用いることなくシステム１００の特徴を制御し、外科処置を行うために両手を空けておくことを可能にする。
ここで、開示される技術の更なる実施形態に従って構成され動作可能な、図２Ａのユーザインタフェースに関する典型的な制御フロー図を示す図２Ｂが参照される。コンピュータ１１８（図１Ｂ）は、たとえばフットスイッチ１０４（図１Ｇ）のペダルの足での押下のインジケーションを同時に伴うヘッドトラッカ１６２からのヘッドジェスチャなど、ＵＩ入力１６０Ａを介したユーザ入力を受信し、システムモードに依存してシステム応答を決定する、すなわち、応答はモード固有である。１つのシステムモードにおいて、ユーザ入力は、システム１００において第１のアクションをもたらし、異なるシステムモードにおいて、同じユーザ入力が、システム１００において異なるアクションをもたらし得る。図２Ｂのフロー図は、複数のシステムモードと関連してユーザインタフェース１６０を介して制御され得る機能の柔軟性および範囲を示すことが意図される。この図は、単なる典型例であることが意図され、本明細書に開示される任意の特定の実装または例に本発明を限定することは意図されない。
コンピュータ１１８は、ＵＩ入力１６０Ａを介してヘッドトラッカ１６２およびフットスイッチ１０４からのユーザ入力を受信する。ケース１。ユーザ入力は、外科医１２０がフットスイッチ１０４のペダル１０４Ａを押下しながらヘッドアップジェスチャを行ったというインジケーションである。現在のシステムモードがノーマルであるため、コンピュータ１１８は、アクション２４０として示された、ＨＭＤ１０２に表示された画像におけるズームアウトを実施する。ケース２。ユーザ入力は、前述と同じ、たとえば外科医１２０がフットスイッチ１０４のペダル１０４Ａを押下しながらヘッドアップジェスチャを行ったというインジケーションである。ただし、現在のシステムモードが術前ＯＣＴ（「術前」モード）に設定されているため、コンピュータ１１８は、アクション２４２として示された、術前ＯＣＴ画像間でのスクロールを実施する。ケース３。ユーザ入力は、外科医１２０がフットスイッチ１０４のペダル１０４Ｂを押下しながらヘッドアップジェスチャを行ったというインジケーションである。現在のシステムモードがノーマルであるため、コンピュータ１１８は、アクション２４４として示すように、システムモードをノーマルからバイタルへ切り換える。モード切換えは、図３Ａに関して更に詳しく後述される。
本明細書において説明される複数のユーザインタフェースから得られた複数のユーザ入力に応答することによって、システム１００は、外科医１２０が外科処置を行うために自身の両手を空けたままで幅広い範囲の動作特徴を制御することを可能にする。入力は、１つのシステムモードにおいて１つのシステム応答を、異なるシステムモードにおいて異なるシステム応答を引き起こしてよく、たとえばヘッドジェスチャ、足での押下など、比較的小さな入力セットによって広範囲の機能を提供する。フットスイッチ１０４は、システム１００の応答を、外科医１２０による故意のジェスチャに対してのみ制御するために動作する。外科医１２０によるうっかりしたジェスチャは、フットスイッチ１０４が同時に押下されない場合、システム１００による応答をもたらさない。
１つの実施形態によると、外科医１２０は、ＨＭＤ１０２の位置および向きを制御することによって、システムモードを選択してよい。ＨＭＤ１０２に関して可能な位置および向きの範囲は、複数のゾーンに分割され、各ゾーンは、異なるシステムモードに対応する。ＨＭＤ１０２の位置および向きをゾーンと一致させるように自身の頭部を動かすことによって、外科医１２０は、そのゾーンに対応するシステムモードを選択し得る。システム１００は、新たなモードへの不慮の切換えを防ぐために、外科医１２０が自身の頭部を操りながらフットスイッチを押下することを必要とし得る。
ここで、開示される技術の他の実施形態に従って構成され動作可能な、複数のゾーンに分割されたＨＭＤ１０２（図１Ａ）に関する様々な位置および向きのための典型的なレイアウト３００を示す図３Ａが参照される。レイアウト３００は、それぞれがＨＭＤ１０２に関する複数の向き領域である複数のゾーンを示し、各領域は異なるシステムモードに対応する。システム１００は、外科医１２０が、自身の頭部を回転させることによりＨＭＤ１０２を回転させることによって、１つのシステムモードから他のシステムモードへ切り換えることを可能にする。外科医１２０は、それぞれが自身の頭部運動の範囲である複数の角度および位置ゾーンを定めることによってＨＭＤ１０２の機能をカスタマイズし、各ゾーンのそれぞれについてどのシステムモードが実施されるかを決定してよい。
レイアウト３００は、それぞれ図１ＡのＨＭＤ１０２に関するゾーン３０２、３０４、３０６、３０８、および３１０を示す。破線３１２、３１４、３１６、および３１８は、ゾーン３０２、３０４、３０６、３０８、および３１０の間の角度閾値を示すことにより、それぞれのゾーンを定める。直線３１２は、バイタルゾーン３０８とノーマルゾーン３０２との間の閾値を定め、直線３１４は、ノーマルゾーン３０２と術野ゾーン３０６との間の閾値を定め、直線３１４は、ノーマルゾーン３０２と術前ゾーン３０６との間の閾値を定め、直線３１８は、ノーマルゾーン３０２と看護士ゾーン３０４との間の閾値を定める。新たなゾーンと一致するようにＨＭＤ１０２の向きを変更することによって閾値３１２、３１４、３１６、および３１８の１つを横断しながらフットスイッチ１０４のペダルを押下することにより、システムモードは、新たなゾーンに対応するように切り換わる。
「ノーマル」と付記されたゾーン３０２は、ノーマルシステムモードを有するＨＭＤ１０２の前方水平の向きと関連する。外科医１２０が、ＨＭＤ１０２をゾーン３０２と一致させるように自身の頭部を動かしながらフットスイッチ１０４を押下すると、ノーマルシステムモードが開始される。シャッタ１３２は閉じており、カメラヘッド１１０によって取得された画像の生ビデオフィードがＨＭＤ１０２を介してレンダリングされる。
「看護士」と付記されたゾーン３０４は、看護士システムモードを有するＨＭＤ１０２の右方向水平の向きと関連する。外科医１２０が、ＨＭＤ１０２をゾーン３０４と一致させるように自身の頭部を動かしながらフットスイッチ１０４を押下すると、看護士システムモードが開始される。シャッタ１３２が開き、ビデオフィードはオフにされ、外科医１２０は、ＨＭＤ１０２を装着しながら看護士を直接見て意思疎通することが可能である。
「術前」と付記されたゾーン３０６は、術前データシステムモードを有する外科医１２０の頭部の左方向水平の向きと関連する。外科医１２０が、ＨＭＤ１０２をゾーン３０６と一致させるように自身の頭部を動かしながらフットスイッチ１０４を押下すると、術前データシステムモードが開始される。シャッタ１３２は閉じた状態に維持され、ＨＭＤ１０２を介して術前データが表示される。いくつかの実施形態において、術前システムモードへの切換え時、ＵＩ機能が変化し得る。たとえば、メニュー項目が異なってよく、外科医が術前データを閲覧およびスクロールすることを可能にするために、ヘッドジェスチャは、システム１００において他のシステムモードとは異なるアクションを行わせ得る。
「バイタル」と付記されたゾーン３０８は、バイタルサインシステムモードを有するＨＭＤ１０２の前方上向きの向きと関連する。外科医１２０が、ＨＭＤ１０２をゾーン３０８と一致させるように自身の頭部を動かしながらフットスイッチ１０４を押下すると、バイタルシステムモードが開始され、患者１２２の１または複数のバイタルサインを示すデータがＨＭＤ１０２を介して表示される。
「術野」と付記されたゾーン３１０は、術野システムモードを有するＨＭＤ１０２の前方下向きの向きと関連する。外科医１２０が、ＨＭＤ１０２をゾーン３１０と一致させるように自身の頭部を動かしながらフットスイッチ１０４を押下すると、シャッタ１３２が開き、表示はオフにされ、外科医１２０が術野１２４の現実世界ビューを見ることが可能である。
いくつかの実施形態において、システムモードは、フットスイッチ１０４（たとえば、ＨＭＤのＰ＆Ｏに基づいてモード切換えを引き起こすための既定のフットスイッチ１０４内のボタン）を押下している間のみ、ＨＭＤ１０２の現在のＰ＆Ｏに従って決定される。外科医１２０は、フットスイッチ１０４を押下しながら角度閾値３１２、３１４、３１６、および３１８の１または複数を横断するように自身の頭部を動かすことによって、システム１００のシステムモードを切り換える。外科医１２０の頭部の向きが既定の角度を超え、ＨＭＤ１０２が新たなゾーンと一致すると、システムモードは、新たなゾーンに対応するシステムモードに切り換わる。たとえば、術前モードに留まるために、外科医１２０は、フットスイッチ１０４を押下しながら自身の視線が（左方向への）角度閾値３１６を超えた状態であるように維持する。フットスイッチ１０４を最初に押した時、現在のＨＭＤのＰ＆Ｏが現在のモードの閾値を超えていれば、システムモードは瞬時に切り換わる。この実施形態において、外科医がフットスイッチ１０４を解放すると、システムモードは再び元のモードへ切り換わる。このモード動作方式は、たとえば、ユーザが術前データまたは看護士を素早く一瞥することを好む場合、有用である。いくつかの実施形態において、外科医がフットスイッチ１０４を解放すると、システムモードは現在のモードに留まり、ユーザが、システムモードに影響を及ぼすことなく再び頭部を自由に動かすことを可能にする。このモード動作方式は、たとえば、ユーザが長期間にわたり術前データを快適に検討することを好む場合、有用である。
角度閾値３１２、３１４、３１６、および３１８は更に、ヒステリシス有効化制御を可能にし得る。たとえば、ノーマルゾーン３０２から看護士ゾーン３０４への閾値を横断する時、より大きな閾値が有効であり、再び看護士ゾーン３０４からノーマルゾーン３０２へ横断する時、より小さな角度閾値が有効であってよい。これは、頭部の向きが角度閾値に近い場合、不所望のモード切換えを回避するために有用である。ヒステリシス状態（有効／無効）およびヒステリシスサイズは、外科医１２０によって構成され得る。システム１００は、単一の閾値から２つのヒステリシス生成閾値を自動的に生成してよい。
他の実施形態において、ゾーン３０２、３０４、３０６、３０８、および３１０は、正確な閾値で定められるわけではない。むしろ、ゾーン３０２、３０４、３０６、３０８、および３１０と関連するモードのアクティブ化は、外科医１２０による相対的なヘッドジェスチャに基づく。たとえば、自身の頭部をいずれかの方向へ１０度より大きく向けながらフットスイッチ１０４のペダル１０４Ｃを押下することにより、現在のシステムモードから他のシステムモードへ切り換えるために必要な相対的回転方向に対応するようにシステムモードが切り換わる。
更なる実施形態において、フットスイッチ１０４からの入力は、モードを切り換えるために必要ではない。角度閾値３１２、３１４、３１６、および３１８は、システムモードを変更するトリガとして用いられる。領域の各々に対応するシステムモードは、ＨＭＤ１０２の現在のＰ＆Ｏに従って決定される。たとえば、術前モードに留まるために、外科医１２０は、自身の視線が（左方向への）角度閾値４１６を超えた状態であるように維持する必要がある。
また他の実施形態において、頭部を少し回すことによって角度閾値に「触れる」ことは、それぞれのゾーンに対応するシステムモードを切り替える。外科医１２０がフットスイッチ１０４を押下しながら角度閾値３１６に「触れる」と、システムは、ノーマルモードから、術前領域３０６に対応する術前モードへ切り換わる。このモードの間、外科医１２０は、自身の首を長期間歪めることなく、快適に前方へ視線を向けて術前データを見る。フットスイッチ１０４を押下しながら２度目に閾値３１６に触れることにより、システムモードは、ノーマル領域３０２に対応する「ノーマル」へ再び切り換わり、外科医がＨＭＤ１０２を介して術野１２４の生拡大画像を見ることを可能にする。フットスイッチ１０４は、フットスイッチ１０４の特定のペダルを押下しながら同時にヘッドジェスチャによって閾値に触れることのみが新たなシステムモードへの切換えをもたらすように、システムモード間での切換えを有効化するために用いられる。これは、不慮のモード切換えを回避するためである。
ここで、開示される技術の実施形態に従って構成され動作可能な、図３Ａに関して説明されたゾーンと関連する、様々なシステムモードを呼び出すためにどのヘッドジェスチャが必要であるかをユーザに示すヒントがオーバレイされた生画像３２０の表示を示す図３Ｂが参照される。ＨＭＤ１０２の視野上に表示された画像３２０は、ゾーン３０２と関連するノーマルモードに対応する。いくつかの実施形態において、外科医１２０は、システム１００に関して、どのヘッドジェスチャがどのシステムモードを呼び出すかを外科医に示唆する特徴３２４、３２６、３２８、および３３０を表示することを選択する。特徴３２４、３２６、３２８、および３３０は、画像３２０の表示を不明瞭にしないように、視野の周囲に透明または半透明に表示される。符号「看護士」を有する特徴３２４は、外科医に、頭部を特徴３２４の方向に右へ向けることによって、図３Ａのゾーン３０４に対応する看護士モードが呼び出されることを示唆する。符号「術前」を有する特徴３２６は、外科医に、頭部を特徴３２６の方向に左へ向けることによって、図３Ａのゾーン３０６に対応する術前モードが呼び出されることを示唆する。符号「バイタル」を有する特徴３２８は、外科医に、頭部を特徴３２８の方向に上へ向けることによって、図３Ａのゾーン３０８に対応するバイタルモードが呼び出されることを示唆する。符号「術野」を有する特徴３３０は、外科医に、頭部を特徴３３０の方向に下へ向けることによって、図３Ａのゾーン３１０に対応する術野モードが呼び出されることを示唆する。この特徴は、外科医１２０がシステムに未だ不慣れである場合に有用であり、必要に応じてオンまたはオフに切り換えられ得る。同様に、外科医１２０は、状況と必要に応じて、フットスイッチ１０４を用いることなくヘッドジェスチャのみによるモード切換えを自由に有効化することを選択してよく、またはフットスイッチ１０４を介した有効化へ復帰してよい。
１つの実施形態において、特徴３２４、３２６、３２８、および３３０は、外科医１２０が、ヘッドジェスチャに基づくモード切換えを有効化するためにフットスイッチ１０４を押下した時のみ表示される。任意選択的に、特徴３２４、３２６、３２８、および３３０の表示は、デフォルト設定であってよい。留意すべき点として、特定の特徴３２４、３２６、３２８、および３３０の表示は、単なる典型例である。一般に、特徴は、現在のモードに対応する方式で表示される。したがって、異なるシステムモードは、異なる特徴を表示させる。たとえば、システム１００が術前モードである場合、ノーマルモードへ戻るためには頭部を右に向けることを外科医１２０に指示する１つの特徴のみが、視野内の画像に重ねて表示される。そのような場合、現在「看護士」を示している特徴３２４はノーマルを示し、特徴３２６、３２８、および３３０は表示されない。
外科医１２０は、スクラッチ、または既存のモードを複写し、タッチスクリーン１０８を用いてそれを修正することによって、システムモードを定義し構成してよい。少なくとも２つのシステムモードが定義されると、外科医１２０は、ＨＭＤ１０２を装着し、モード切換えが次に引き起こされることを所望する概ねの方向を凝視し、閾値によって定められたゾーンの各々と関連するモードを選択することによって、システムモードを向き領域と関連付けてよい。手術室内の位置によってモードが追加的に定義されると、外科医１２０は、システムモード切換えを引き起こす所望の位置へ物理的に移動してよい。これは、様々なシステム設定および構成をサポートする特別メニューおよびジェスチャを有する専用システムモードにおいて行われる。これは任意選択的に、初期セットアップまたは構成段階として各新規ユーザによって行われる。ユーザは、ＨＭＤメニューを介して単独で、またはタッチスクリーン上でＧＵＩを操作する第２の人物の助けを借りて、モード指定を呼び出し操作してよい。
デフォルト表示状態は、フルスクリーン状態である。この状態において、ＨＭＤ１０２は、外科医１２０に対し固定された状態で出現するフルスクリーンディスプレイ固定画像を表示する。ＨＭＤ１０２を介して表示されたコンテンツは、ＨＭＤ１０２にしっかり吊り下げられたスクリーンとして出現する。外科医１２０が自身の頭部を動かすと、スクリーンは彼と共に動き、彼に対し固定された状態で出現する。フルスクリーン状態に加えて、システム１００は、仮想スクリーン状態を提供する。外科医１２０は、フルスクリーン状態から仮想スクリーン状態を呼び出してよい。仮想スクリーン状態は、たとえばフットスイッチ１０４のペダル１０４Ｂの押下、ヘッドジェスチャまたは音声コマンドの使用など、上述したユーザインタフェース方法の任意の組み合わせを用いて呼び出され得る。仮想スクリーン状態は、スクリーン状態のみを変化させ、現在のモードの他の全てのシステム特性（たとえば生画像フィードの表示）を変えずに維持する。
開示される技術の更なる実施形態によると、システムモード間の切換えは、仮想スクリーン状態によって実現される。仮想スクリーン状態において、コンテンツは、手術室に固定された状態で出現する世界固定の１または複数の仮想スクリーン内に表示される。外科医１２０が自身の頭部を動かすと、仮想スクリーンは、彼の視野の内外へ動き、そこに表示されたコンテンツを外科医１２０がスクロールすることを可能にする。外科医１２０と、仮想スクリーンの仮想位置との間の距離に依存して、外科医１２０は、一度に複数の仮想スクリーンを見得る。これは、図５Ｃに関して更に詳しく後述される。
仮想スクリーン状態を用いてシステムモードを切り換えるために、各システムモードは、そのシステムモードが選択された場合に外科医１２０がフルスクリーン状態で見ることになるコンテンツを表示しサムネイルの一種として機能する仮想スクリーンによって示され得る。これにより、外科医１２０は、モードを切り換えることなく、様々なシステムモードにおいて利用可能なコンテンツを同時にプレビューすることができる。仮想スクリーン上に表示されるコンテンツの詳細および解像度は、スクリーンサイズ、技術的問題、および帯域幅への制限によって、対応するフルスクリーン状態で表示されるものとは異なり得る。たとえば、フルスクリーン状態で出現するオーバレイ記号は、仮想スクリーン状態で表示されたサムネイル画像には出現しない場合がある。ただし、仮想スクリーンおよびフルスクリーン状態の両方で画像は実質的に同様である。外科医１２０は、たとえば既定の期間仮想スクリーンを凝視すること、またはフットスイッチ１０４の押下を伴うヘッドジェスチャなど、任意の適当なＵＩ入力を用いて、仮想スクリーン状態でシステムモードを切り換えてよい。たとえば表示がオフにされたシステムモードのように、システムモードの全てが必ずしも仮想スクリーンによって表現されるわけではない。
システムモードが選択されると、スクリーン状態は、選択されたモードにおいてフルスクリーン状態に自動的に切り換わる。外科医１２０は、モードの切換え後、システム１００が仮想スクリーン状態に留まるように構成してよい。この場合、スクリーン状態以外の全てのシステム特性が変化する。１つの実施形態において、仮想スクリーン状態は、それ自体が、外科医１２０がいくつかの仮想スクリーンを同時に見ることを可能にするシステムモードである。この場合、ユーザインタフェース特性を含む他の全てのシステム特性は、このシステムモードのために独自に定義される。
いくつかの実施形態において、システムモードは、タッチスクリーン１０８を介して切り換えられ得る。いくつかのアプリケーションにおいて、たとえば看護士などの第三者が異なるシステムモードに切り換えることを可能にすることが望ましい。この場合、看護士は、コンピュータ１１８に結合されたタッチスクリーンを提供される。タッチスクリーン１０８は、出席している無菌外科医のいずれかによる手術室内での使用のために無菌ナイロンでコーティングされ得る。
いくつかの実施形態において、システムモードは、音声コマンドまたはたとえば舌打ちなどの他の音響コマンドを介して切り換えられ得る。マイクロフォン１３８は、外科医１２０によって発された１または複数の音響コマンドを記録する。コンピュータ１１８は、たとえばシステムモードの切換えなどの様々なシステム機能を決定するために、音響コマンドを解析する。誤ったアクティブ化を回避するために、システム１００は、たとえばシステム１００の識別名の発声などによって、識別音と共に開始する音響コマンドのみに応答するように構成され得る。たとえば、外科医１２０は、システム１００の識別名を読み上げ、システム１００にノーマルモードへ切り換えるように指令することによって、ノーマルモードへ切り換えてよい。
開示される技術の他の実施形態によると、ＨＭＤ１０２を介してメニューが表示される。メニューは、たとえばペダル１０４Ｂなどのフットスイッチ１０４のペダルを押下することによって、またはたとえば音声制御または専用ヘッドジェスチャなどの他のＵＩ手段によって呼び出され得る。メニューの呼出しは、ＨＭＤ１０２を介して現在表示されたコンテンツにメニューをオーバレイさせ、ヘッドジェスチャを介してオーバレイメニュー内の項目をナビゲートおよび選択することを可能にする。メニューは、ＨＭＤ１０２を介して表示された現在の画像への半透明ディスプレイ固定オーバレイとして、または個別の仮想スクリーン内などに表示され得る。
たとえば、ＨＭＤ１０２の異なる位置および向きが異なる機能に対応する図３Ａに示す概念に従って、１つの位置および向きは、メニュー表示に対応してよい。ＨＭＤ１０２を装着している外科医が既定の方向、たとえば下方向を見ると、メニューが表示される。いくつかの実施形態において、メニューは最初、少ない表示エリアしか占めないように小型または折畳み方式で表示され得る。他の実施形態において、メニューは、たとえばＨＭＤ１０２の前方向と直交するように、ＨＭＤ１０２の前方向から離れる方向に（折畳みまたは通常状態で）表示される。メニューは、外科医が所定の期間、既定の方向を見続けた後、完全に開き得る。いくつかの実施形態において、メニューは、外科医が、他の機能を有効化するように構成されたヘッドジェスチャの一部として自身の頭部を向け、または方向付けた場合、呼び出されない。外科医１２０は、ヘッドジェスチャを介して、ＨＭＤ固定オーバレイとして表示されたメニューをナビゲートし制御する。いくつかの実施形態において、フットスイッチ１０４の押下は、メニューを呼び出し、ユーザが、ヘッドジェスチャを用いて様々なメニュー項目をナビゲートし目立たせることを可能にし、フットスイッチの解放は、メニュー項目をアクティブ化させる。たとえば、メニュー項目を選択するために、外科医１２０は、フットスイッチ１０４における利用可能なペダルを押下し、メニュー項目を選択するために自身の頭部を操る。フットスイッチ１０４の解放は、選択されたメニュー項目に対応するアクションをアクティブ化する。
メニューは、限定されないがたとえばシステム１００に関して利用可能な様々なシステムモードなどの任意の数のパラメータを羅列してよい。各システムモードは、記号、またはたとえばシステムモードのテキスト表現などのテキスト、たとえば「ノーマル」、「看護士」、「術前」などを含むメニュー項目によって表現される。システムモードに追加される他のメニューオプションがメニューに含まれ得る。追加のメニューオプションは、そのシステムモードにおいて制御可能な特性に関する、モード固有であってよい。たとえば、ノーマルモードにおいて、メニューは、投光照明をオンおよびオフに切り換え、赤目照明をオンおよびオフに切り換えることを可能にする項目を含んでよい。術前モードにおいて、これらのオプションは出現せず、代わりに、術前メニューは、利用可能な術前データセットを含むフォルダの開放を有効化し、どのデータセットを表示するかを選択するためのサブメニューを表示してよい。術前メニューは更に、術前データを表示するための様々な属性を制御するための項目を含んでよい。メニューオプションは、モード固有、処置固有、および段階固有であってよく、すなわち、システムモードおよび処置中の段階に依存してメニュー外観は変化してよい。システムモード間の切換えに加えて、メニューは、状態間の切替えを可能にする。
いくつかの実施形態において、メニューは、ＨＭＤ１０２によって提供される表示エリアの中心に表示された生画像を遮断しないように、ＨＭＤ１０２のディスプレイの余白に表示される。外科医１２０が、余白に表示されたメニューの各メニュー項目をナビゲートすると、外科医１２０に、彼がメニュー上のどこにいるか、およびそのメニュー項目を選択する効果が何であるかを示すために、メニュー項目の機能は一時的に有効化され得る。たとえば、外科医１２０が、緑色染料を噴射された膜を見ることを可能にするために緑色を強調するメニュー項目の上でナビゲートすると、その機能は一時的に有効化され、外科医１２０が生画像を注視し続けることを可能にしながら、外科医１２０に、彼が現在どのメニュー項目をナビゲートしているか、およびそのメニュー項目を選択する効果が何であるかを示してよい。ただし、いくつかのメニュー項目は、ＨＭＤ１０２を介して表示された生画像を凝視しながら瞬時に明らかではない機能と関連し得る。外科医１２０が、自身によるメニューのナビゲーションを追跡しながら生画像を注視し続けることを可能にするために、新たなメニュー項目が強調された時、たとえば音または振動などの非視覚インジケータが引き起こされ得る。これは、外科医１２０が、自身によるメニューのナビゲーションに直接目を向けることなくそれを追跡することを可能にするので、外科医１２０は、生画像を注視し続けることができる。
いくつかの実施形態において、ディスプレイの右側余白におけるメニューは、アプリケーション専用である。そのようなアプリケーションの例は、術前ＯＣＴアプリケーション、教示アプリケーション、事前計画アプリケーション、フェイコビトレクトミー設定およびメトリクスアプリケーション、術中ＯＣＴアプリケーションなどを含む。たとえば、フットスイッチメニューボタンを押下すると、ディスプレイの左側余白におけるメニューはメインメニューであり、ディスプレイの右側余白におけるメニューはアプリケーション専用であり、対応するメニュー項目をアクティブ化することによってアプリケーションをオンにすることを可能にする。メニューの２つのブランチ（すなわち、ディスプレイの左側および右側余白におけるメニュー）間の切換えは、頭部を左右に向けることによって行われる。
他の実施形態において、アプリケーションがオンにされ、次にフットスイッチメニューボタンが押下されると、右側余白に出現するメニューは、アクティブ化されたアプリケーションのための専用メニューである。たとえば、術前ＯＣＴアプリケーションがアクティブ化されると、Ｂ走査を有するＰＩＰがディスプレイ内に出現し、Ｂ走査の位置を示す直線が生画像上にオーバレイされる。フットスイッチメニューボタンが押下されると、右側余白に出現するメニューは、ディスプレイの右側余白における一般アプリケーションメニューではなく術前ＯＣＴアプリケーションのための専用メニューである。外科医１２０は、たとえば生画像上のＢ走査位置を示す直線のオーバレイをオンおよびオフにするため、異なるＯＣＴ走査セットがＰＩＰ内に表示するために選択され得る他のスクリーンへ切り換えるため、術前ＯＣＴアプリケーションをオフにするため、などのために、専用メニューからメニュー項目をナビゲートし選択してよい。術前ＯＣＴアプリケーションが閉じられ、次にフットスイッチメニューボタンが押下されると、ディスプレイの右側余白に一般アプリケーションメニューが出現する。留意すべき点として、これらの例は、ＵＩ１６０を介して制御され得るシステム１００の特徴の範囲を例示するために与えられたものにすぎない。
更なる実施形態において、メニューを呼び出し操作するために用いられたのと同じフットスイッチボタンは、フットスイッチボタンを押下しながら同時に頭部を回すことによって、スクリーンの切換えも有効化してよい。たとえば、フットスイッチメニューボタンを押下しながら、頭部をわずかに右へ向けると、ディスプレイの右側余白に出現するメニューブランチ内の第１のメニュー項目が強調される。頭部を更に右へ向けることは、スクリーンの切換えを引き起こし得る。
以下の例は、処置固有および段階固有のメニューオプションに関して与えられる。白内障処置の間、外部機械（不図示）がシステム１００に接続され得る。外部機械は、ディスプレイモジュール１３０にレンダリングされた生拡大ビデオ上のオーバレイとして表示するためのデータを導入する。外部機械が接続されたことをシステム１００が識別すると、ディスプレイモジュール１３０は、「外部データオーバレイ」および「破裂ガイダンス」の「有効」および「無効」状態を切り替えるためのメニューオプションを表示する。取り込まれたデータに基づいて、たとえば超音波水晶体乳化吸引段階などの処置段階が完了したことをシステム１００が識別すると、ディスプレイモジュール１３０は、「破裂ガイダンス」ではなく「ＩＯＬ整合性ガイダンス」の「有効」および「無効」を切り替えるためのメニューオプションを表示する。
メニューは、新たなシステムモードを選択し切り換えること、および以前のシステムモードへ戻ることを含む、システム１００の特徴および態様を制御するために用いられ得る。Ｐ＆Ｏゾーンのみに従ってシステムモードにアクセスすることは、利用可能なシステムモードの数を、視野内のゾーンの数に制限し得るので、メニューは、利用可能なシステムモードの数を増加することを可能にし得る。したがって、１つのシステムモードは、他のシステムモードを選択するためのメニュー項目を提示するメニューモードであると同時に、追加のシステム特徴およびパラメータを制御するための項目であってよい。メニューモードである間、システムモードに関するメニューは、ＵＩ機能モード固有で、ＨＭＤ１０２を介して表示されてよく、すなわち外科医１２０による特定のジェスチャおよび動きは、メニューモードである間、１つの機能をもたらし、異なるシステムモードにおいて異なる機能をもたらす。メニューモードは、たとえばフットスイッチ１０４におけるペダル１０４Ｃの押下、マイクロフォン１３８によって記録される音声コマンドの発出、ヘッドジェスチャの実行、眼部運動などの１または複数を行うことなど、任意の適当なＵＩインタフェースを用いて呼び出され得る。
ここで、全体として、開示される技術の更なる実施形態に従って構成され動作可能な、拡大画像４１４の表示にオーバレイされた典型的なシステムモードメニューを示す図４Ａ～４Ｃが参照される。後述する正確な実装の詳細は、典型例として意図され、本発明を限定するものではない。システムモードメニュー４００は、外科医１２０が、生画像ストリーム４１４を見ながらシステムモードを切り換えることを可能にする。システムモードメニュー４００は、図３Ａのゾーンのレイアウトと同様に出現するが、これは必要条件ではない。外科医１２０は、フルスクリーン状態で構成されたＨＭＤ１０２（図１Ａ）を介して術野１２４の生拡大画像ストリーム４１４を見る。外科医１２０は、たとえばフットスイッチ１０４のペダル１０４Ｂを押下することなどの既定のフットジェスチャを行う。それに応答して、コンピュータ１１８は、拡大画像ストリーム４１４上にオーバレイされたシステムモードメニュー４００を表示する。システムモードメニュー４００のメニュー項目は、たとえば表示画像を不明瞭にしないために、拡大画像ストリーム４１４上に透明にオーバレイされる。
示された典型的な実装において、システムモードメニュー４００は、メニュー項目４０２（ノーマル）、４０４（バイタル）、４０６（看護士）、４０８（術野）、４１０（術前）、および４１２（キャンセル）を含む。現在のシステムモードはノーマルであるため、要素４０２が強調される（図４Ａ）。いくつかの実施形態において、メニュー項目は、それらの機能に従って空間的に配置される。たとえば、看護士が術野１２４に対して右側にいる手術室において、メニュー項目４０６（看護士モード）は、ＨＭＤ１０２の視野の右側に表示され、メニュー項目４０２（ノーマルモード）は、視野の中心に表示される。システムモードメニュー４００をナビゲートするために、外科医１２０は、フットスイッチ１０４のペダル１０４Ｂを押下しながら自身の頭部を回す。
図４Ｂを参照すると、外科医１２０は、自身の頭部を左へ向け、メニュー項目４０２と４１０とを分離する角度閾値と交差させる。強調は、メニュー項目４０２からメニュー項目４１０（術前モード）へ切り換わる。１つの実施形態において、強調のみが術前モードメニュー項目４１０に切り換わっている。システムモードは、未だ切り換わっていない。外科医１２０がペダル１０４Ｂを解放するためにフットスイッチ１０４から足を持ち上げると、システムモードは、選択されたメニュー項目４１０に対応するモード、たとえば術前モード（図４Ｂ）に切り換わる。他の実施形態において、強調されたメニュー項目が切り換えられると、システムモードが切り換わったかのように背景画像も変化し、ユーザが、そのメニュー項目と関連する画像のプレビューを見ることを可能にする。
図４Ｃを参照すると、外科医１２０は、ペダル１０４Ｂを押下したままで自身の頭部を右下角部へ向ける。彼の頭部の角度が、キャンセル選択に対応するメニュー項目４１２に関して設定された角度閾値と交差すると、強調は、メニュー項目４１２（キャンセル）に切り換わる。外科医１２０は、システムモードを変更することなくメニュー４００を隠すために、フットスイッチのペダル１０４Ｂを解放することによってメニュー項目４１２を選択し、ペダル１０４Ｂの押下によってメニュー４００をもたらすアクションをキャンセルする。このように、外科医１２０は、システムモードメニュー４００をキャンセルし、システム１００は、現在のシステムモードのままである。
この実施形態において、スクリーン状態は、ディスプレイ固定である。外科医が自身の頭部を動かすと、その頭部運動とは無関係に、画像４１４は彼の視野内で固定されたままである。しかし、固定された画像４１４上にオーバレイされたメニュー４００の選択されたメニュー項目に関する強調は、彼の頭部運動と共にシフトする。
選択されたメニュー項目は、たとえばそのメニュー項目を様々なフォント、背景色で表示すること、そのメニュー項目を指すカーソルを表示すること、またはそのメニュー項目を他の選択されていないメニュー項目と区別するための他の任意の適当な技術によって、様々な方法で強調され得る。強調は、フットスイッチ１０４が押下されながらＨＭＤ１０２が第２のメニュー項目へ向かって回転すると、１つのメニュー項目から隣のメニュー項目へ移動する。これは図４Ｂに示される。外科医が自身の頭部を左へ向けると、術前モードに対応するメニュー項目４１０が選択され、強調して示され、ノーマルに対応するメニュー項目４１０は選択を外され、通常通りに表示される。外科医１２０は、自身のヘッドジェスチャへのシステム１００の応答をパーソナライズしてよい。たとえば、頭部運動は、小さな頭部の傾きが、対応して大きな角度シフトに転じるように、またはその逆であるようにスケーリングされ得る。あるいは、ＨＭＤ１０２の向きは、メニュー項目を選択する、メニュー４００上に表示されたカーソル（不図示）を制御する。ＨＭＤ１０２の向きを操作することがカーソルを操作し、たとえば、上下および左右の頭部運動は、それに応じてカーソルを上下および左右に動かす。フットスイッチ１０４の解放は、現在選択されているメニュー項目に対応するシステムモードをアクティブ化し、それによってシステムモードを切り換える。
他の実施形態において、アイトラッキングは、メニュー４００を制御するために実施され得る。眼部運動は、上記の頭部運動の役割を果たす。メニュー項目を凝視することは、メニュー項目を強調してよく、既定の期間より長く連続的に凝視することは、メニュー項目をアクティブ化してよい。
システムモード以外の機能を選択するために、追加のメニューがＨＭＤ１０２を介して表示され得る。いくつかのメニュー項目は、選択されると１または複数のサブメニューを表示するために拡大され得る。選択方法は、フットスイッチ１０４のペダルの１つを押下または解放すること、既定の期間より長くメニュー項目が強調された状態を維持すること、マイクロフォン１３８によって検出される音声コマンドを用いること、または他の適当なＵＩ方法によって実施され得る。サブメニューに拡大されると、サブメニューが元のメニューと入れ替わってよく、または元のメニューと共に表示され得る。メニューは、たとえばバック／リターンおよびイグジット／キャンセルなどの標準的なメニュー操作項目も含んでよい。
いくつかのメニュー項目は、ＵＩ１６０を介してオンおよびオフに切り替えられ得る。切替え項目は、２つの状態を切り換えるメニューオプションであり、現在表示されているメニューオプションは、現在アクティブではない状態を表す。たとえば、シャッタ１３２が閉じている場合、シャッタを制御するためのメニューオプションは「シャッタを開く」と現れ、逆も然りである。メニューにおける切替え項目の例を以下に記載する。
○メニューを介して制御可能な基本ＨＭＤシステム動作
・ディスプレイ（オン／オフ）。これは、ディスプレイをシャットオンまたはオフにする。ディスプレイがオフにされると、画像は表示されないが、ユーザがディスプレイをオンに戻すことを可能にするためにメニューを呼び出す（すなわち表示する）ことはできる。ディスプレイ状態を制御することは、ＨＭＤが透明であるＶＧＳ処置において有用である（すなわち、ＨＭＤがシャッタを備える場合、この段階でシャッタは開く）。これらの処置において、ユーザは、画像が術野を見ることを邪魔しないように、ＨＭＤによるガイダンスを必要としない処置段階においてディスプレイをオフにすることを所望し得る。
・フルスクリーン／仮想スクリーン。フルスクリーン状態において、１つのスクリーンのみがＦＯＶを満たすが、仮想スクリーン状態において、複数の仮想スクリーンが表示される。スクリーン状態は、図５Ａ～５Ｃに関して更に後述される。
・シャッタ（開／閉）。これは、シャッタ１３２の状態を制御する。シャッタ１３２は、たとえばスクリーンの大部分が透明である時に現実世界ビューにオーバレイされた特徴を表示する場合など、部分的に開閉されてもよい。
・赤目照明（オン／オフ）。
・記録（オン／オフ）。これは、外科医１２０が、後の段階で呼び戻され得る外科処置の一部を記録することを可能にするシステム１００の特徴を制御する。
○アドバンスドＨＭＤ動作（有効／無効）、以下の１または複数。
・自動フォーカス、
・自動センタリング、
・自動ズーミング。
○ＨＭＤディスプレイパラメータ（オン／オフ）。
・表示される各既定のＰＩＰに関するＰＩＰオン／オフ切替え、
・ＨＭＤ１０２を介して外部で取得されたデータを表示するための外部データオーバレイ。
・様々な処置固有および段階固有のオーバレイ記号、画像、およびモデル。
・指定ポインタ／カーソル。
○ｉＯＣＴ（オン／オフ）。これは、ＯＣＴ画像を制御する。
いくつかの実施形態において、モード固有メニューに加えて、ＵＩ１６０は、システム１００の様々な機能を制御するため専用の固有メニューを表示する。たとえば、ＵＩ１６０は、ズーム、フォーカス、照明、および他の機能の各々を制御するために異なる専用メニューを表示する。各専用メニューは、外科医１２０が、特定の機能のみに関係するオプションにアクセスすることを可能にする。たとえば、フォーカス機能専用のメニューは、外科医１２０が、様々な自動フォーカス設定を選択することを可能にする。
いくつかの実施形態において、外科医１２０は、メインメニューを介して固有機能専用のメニューにアクセスする。他の実施形態において、外科医１２０は、たとえばメニューをアクティブ化するためにフットスイッチ１０４のボタンを２回押下することによって、固有機能専用のメニューに直接アクセスする。たとえば、外科医１２０は、照明を制御するためのヘッドジェスチャを有効化するフットスイッチ１０４のボタンにおいて２回の短い押下の後に長い押下を行うことによって、照明機能専用メニューを開いてよい。外科医１２０は、ヘッドジェスチャまたはアイトラッキングを用いて、本明細書で説明されるような専用メニューをナビゲートし、フットスイッチ１０４のボタンを解放することによって、強調されたメニューオプションをアクティブ化してよい。
いくつかの実施形態において、外科医１２０は、フットスイッチ１０４の関連ボタンを部分的にしか押下しないこと（たとえば半分までの押下）によって、またはフットスイッチ１０４を押下しながら音声コマンドを発することによって、またはフットスイッチ１０４を押下しながら、たとえば頷きなどのヘッドジェスチャを行うことによって、専用メニューを開く。たとえば、「イエス」のヘッドジェスチャは、有効化された機能（たとえばフォーカス、ズーム、照明など）を制御してよく、「ノー」のヘッドジェスチャは、専用メニューを開いてよい。
たとえば、外科医１２０が、フォーカス機能を有効化するためにフットスイッチボタンを押下しながら自身の頭部を左右へ向けた場合、たとえば自動フォーカス特徴などのフォーカス機能を制御するための専用メニューがディスプレイ上に出現する。この専用メニューを介して、外科医１２０は、自動フォーカスが、指定した点、外科用ツールなどに作用するか、および自動フォーカシングがワンタイムであるか連続的であるかを選択してよい。
いくつかの実施形態において、フットスイッチ１０４を介してアクションを有効化する際、外科医は、連続的な（すなわち滑らかな）アクションを制御するために（自身の頭部を上下に動かすことによって）「イエス」の動きを行うが、左右に向く動きを行うことは、有効化されたアクションと関連する２つの個別アクションをアクティブ化し、または切り替える。あるいは、左へ向くヘッドジェスチャは、個別アクションを切り替えてよく、右へ向くヘッドジェスチャは、専用メニューを開いてよい（または逆も然りである）。
たとえば、「照明」を有効化する際、上下のヘッドジェスチャは、照明強度を変更し、「左へ向く」ヘッドジェスチャは、２つの個別レベル間で照明を切り替える。たとえば、一方のレベルは「高」であり、他方は「低」であってよい。任意選択的に、これらのレベルは事前に決定され、ユーザによって構成され得る。任意選択的に、外科医が手術中に照明レベルを調整した後、システム１００は、照明レベルを記憶し、次に照明アクションが（高から低へ、またはその逆に）切り替えられた時、同じ照明レベルを復元する。この例を続けると、「右」ジェスチャは、照明を「オン」および「オフ」状態の間で切り替える。
他の例として、「フォーカス」を有効化する際、左ヘッドジェスチャは、自動フォーカス機能の「オン」または「オフ」を切り替えてよく、右ジェスチャは、フォーカス機能を制御するための専用メニューを開いてよい。ここで、開示される技術の実施形態に従って構成され動作可能な、システム設定を示す１または複数のステータスバーを表示するための実装を示す図４Ｄ～４Ｇが参照される。図４Ｄ～４Ｇの図は、単なる典型例であることが意図され、他のシステムインジケータが追加されてよく、または図４Ｄに示すインジケータと入れ替わってよい。図４Ｄを参照すると、ステータスバー４２０は、システム１００の様々な設定に関する現在の構成を示す複数の様々な記号を含む。ステータスバー４２０は、たとえばＵＩ１６０を介した外科医１２０による入力に応答して、ＨＭＤ１０２を介して表示される。ステータスバー４２０は、クロック４２２、ＲＯＩインジケータ４２４、フットスイッチインジケータ４２６、照明インジケータ４２８および４３０、システムモードインジケータ４３２、および色補正インジケータ４３４を含む。クロック４２２は、現在の時刻を表示する。ＲＯＩインジケータ４２４は、ＲＯＩ全体に対する表示ＲＯＩを示す。図４Ｄにおいて、ＲＯＩインジケータ４２４は、たとえば外科医１２０が生画像の拡大部分を見るためにズームイン特徴を使用する場合に生じ得る、ＲＯＩ全体を示す大きな長方形内に位置する、表示ＲＯＩを示す小さな長方形を表示していた。現在の倍率を示す数字が表示される。フットスイッチインジケータ４２６は、フットスイッチ１０４の利用可能な機能を示す。示された例において、利用可能な機能は、４つのアイコンによって示される。時計回りに移動すると、左上角部のアイコンはＸＹモータのスクロールを示し、右上角部のアイコンは照明を示し、右下角部のアイコンはフォーカスを示し、左下角部のアイコンはズームを示す。いくつかの実施形態において、フットスイッチ１０４の現在アクティブな機能を示すアイコンが強調される。照明インジケータ４２８は、赤目照明が「オン」に設定され、レベルが６２であることを示す。照明インジケータ４３０は、投光照明が「オン」に設定され、レベルが６５であることを示す。システムモードインジケータ４３２は、現在のシステムモードを表示し、この例において、それは後眼部モードである。色補正インジケータ４３４は、画像に適用された色補正の種類を表示し、この例では、色補正はされていない。ステータスバー４２０は、たとえばディスプレイの上部または外科医１２０によって設定された他の任意の位置など、ＨＭＤ１０２を介して任意の適当な位置に、両目に表示される場合、任意の深さで表示されてよく、深さは設定され得る。いくつかの実施形態において、ステータスバー４２０は、パラメータが変更された時のみ表示される。ステータスバー４２０は、たとえばフィールドの深さ、デジタル利得などの追加のシステム特徴、およびたとえば氏名、年齢、性別、外科医または複数の外科医の氏名を含む患者データ、日付、場所、病院名または医院名などの他の適当なパラメータを含んでよい。
ここで、現在のシステム構成を外科医１２０に示すステータスバー４２０がオーバレイされた、外科処置を受けている患者の目の生画像を示す図４Ｅが参照される。
ここで、ステータスバー４２０に加えて、第２のステータスバー４４２がオーバレイされた図４Ｅの生画像を示す図４Ｆが参照される。この典型的な実装において、ステータスバー４４２は、照明設定に対する最新の変更を示す弓形である。ステータスバー４４２は、照明になされた変更に応答して、システム１００の現在の設定について外科医１２０に最新情報を与えるために表示される。
ここで、外科処置を受けている患者の目の他の生画像４４４を示す図４Ｇが参照される。ステータスバー４４６およびステータスバー４４８が生画像４４４上に表示される。ステータスバー４４６は、図４Ｅのステータスバー４２０とは異なって構成される。ステータスバー４４８は、たとえばフェイコビトレクトミーマシンなどの外部デバイスがシステム１００に接続されると出現し、外部デバイスに対応するシステム設定を表示する。いくつかの実施形態において、ユーザは、ステータスバー４２０を継続的に表示するように、またはユーザ入力やモード変更に応答してステータスバー４２０を隠すようにシステム１００を構成してよい。いくつかの実施形態において、デフォルト設定は、ステータスバー４２０を継続的に表示することである。いくつかの実施形態において、システム１００は、ステータスバー４２０に加えて複数の様々なステータスバー（不図示）を提供する。各ステータスバーは、異なって構成されてよく、１または複数のステータスバーが、連続的に表示されるように構成され、１または複数のステータスバーが、パラメータ変更のいずれかに応答して、ユーザ入力に応答して、外部デバイスの検出に応答してなどで表示される。
いくつかの実施形態において、システム１００は、フェイコプローブが水晶体嚢の中心にない時、リマインダまたは警報を発してよい。いくつかの実施形態において、システム１００は、選択された外科技術に依存して、たとえばチョッパがフェイコプローブの下に位置していない場合、リマインダまたは警報を発してよい。システム１００は、たとえば画像処理を介して検出され得るように、後嚢がフェイコの方へ吸い込まれた場合、外科用器具の吸引を自動的に停止し得る。システム１００は、外科処置の画像の処理、ｉＯＣＴデータの解析、目の術前または術中モデルの解析などのいずれかを用いて患者１２０とツールとの間の距離を計算するために、外科医１２０によって使用される外科用ツールを追跡してよい。
いくつかの実施形態において、システム１００は、たとえば生画像に画像処理技術を適用すること、術中ＯＣＴデータ（ｉＯＣＴ）に画像処理技術を適用することなどによって、１または複数の外科用ツールを追跡してよい。システム１００は、光学追跡または電磁追跡などに基づく専用ツール追跡サブシステムを有してよい。任意選択的に、ツール追跡サブシステムは、目の術前または術中モデルにも基づく。
ツール追跡機能は、様々な特徴のために用いられ得る。たとえば、ツール追跡は、ユーザが、外科処置中に電子ペンとして用いられる外科用ツールを使用することを可能にする。これは、監督外科医が執刀医をガイドするために生画像にマーキングを施し得る教示モードにおいて役立ち得る。ＵＩ１６０は、外科医１２０が、たとえば音声コマンド、フットスイッチ１０４などを介して、描画特徴をオンまたはオフに切り換えることを可能にする。あるいは、物理的ツールがシステム１００とペアにされ、仮想ボタンを押下するため、またはＨＭＤ１０２を介して表示されたメニュー項目を選択するため、たとえば後眼部処置において網膜周囲に、または前眼部処置において目の周囲に表示され、または手術室内のどこかに表示されたメニューから項目を選択するために用いられ得る。
ツール追跡機能は、ツールの先端と、患者、たとえば眼科手術の場合は網膜との間の距離を検出し、示すために用いられ得る。ツール追跡機能は、たとえば水晶体吸引を自動的に停止することなどの自動安全対策を開始するために用いられ得る。ツール追跡機能は、処置中、外科医１２０をガイドするために用いられ得る。これらの例は、単なる典型例として意図され、この機能を与えられた特定の例に限定するものではない。
ここで、ユーザインタフェース１６０を介して制御可能なシステム特性の説明を以下に示す。留意すべき点として、いくつかのシステム特性は、モードを切り換える時にユーザによって間接的に制御される。たとえば、異なるモードへの切換えは、カメラヘッド１１０の位置決め、またはカメラのアクティブ化、または照明器を変更し得る。ユーザは、これらの設定を直接調整することができず、システムモードおよびシステム１００に内在する他の設定を切り換えることによって間接的にしか調整することができない場合がある。このリストは限定を意図しない。各システムモードは、以下のシステム特性の２つ以上によって特徴付けられる。
‐ディスプレイ状態（オン／オフ）、
‐スクリーン状態（ディスプレイ／世界固定）、
‐シャッタ状態（開／閉）、
‐表示コンテンツの選択（生画像／術前／他）、
‐照明状態、
‐色補正スキーム、
‐画像増強スキーム、
‐眼部反転状態、
‐モータ速度状態、
‐モータ境界状態、
‐ピクチャインピクチャ（ＰＩＰ）の表示（オン／オフ）
‐ユーザインタフェース設定、
‐ディスプレイオーバレイ、および
‐ｉＯＣＴ設定。
ＨＭＤ１０２に関するディスプレイ状態は、「オン」または「オフ」に設定されてよく、モジュール１３０に関するデフォルトディスプレイ状態は、「オン」である。ディスプレイがオフにされると、コンピュータ１１８は、ディスプレイモジュール１３０Ａおよび１３０Ｂに関する画像ソースを停止する。あるいは、コンピュータ１１８は、ＨＭＤ１０２へ黒画像をストリーミングする。
ＨＭＤ１０２に関するスクリーン状態は、画像およびコンテンツがどのように外科医１２０に表示されるかを定義する。ＨＭＤ１０２に関して、フルスクリーンディスプレイ固定状態および仮想スクリーン世界固定状態という２つのスクリーン状態が存在する。フルスクリーンディスプレイ固定状態において、画像は、ＨＭＤ１０２にしっかり吊り下げられたスクリーンに表示されているように出現し、表示画像は、固定されたままで外科医１２０と共に移動する。これがデフォルト状態である。世界固定状態において、１または複数の仮想スクリーンは、手術室に固定されているかのように表示される。外科医１２０が自身の頭部を動かすと、表示コンテンツは、表示コンテンツの一部がＨＭＤ１０２のＦＯＶを出入りするように変化する。
ここで、開示される技術の他の実施形態に従って構成され動作可能な、ディスプレイモジュール１３０がディスプレイ固定状態である時、外科医１２０によって知覚されるような投影画像を示す図５Ａが参照される。図５Ａは、フルスクリーンディスプレイ固定状態で表示された画像５００および５０２を示す。ＨＭＤ１０２の視野は、カメラシステム１１２を介して取得された生拡大画像で満たされ、外科医１２０の頭部に固定されているかのように表示される。要素５１２および５１４は、外科医１２０の頭部の向きを示す。要素５１２および５１４の破線矢印は、正面を向いた向きを示す。画像５００に関する要素５１２の実線矢印は、外科医１２０の向きが正面を向いた向きから５°右であることを示す。画像５０２に関する要素５１４の実線矢印は、外科医１２０の向きが正面を向いた向きから２５°右であることを示す。向きを変えるために自身の頭部を動かすことにより、スクリーンが自身の頭部に固定されているかのように、視野内に出現する画像が変わるのではなく、ヘッドジェスチャを行うと同時に自身と共に動く。
ここで、全体として、開示される技術の更なる実施形態に従って構成され動作可能な、各々が外科医１２０の頭部の異なる位置および向きに対応する、それぞれＨＭＤ１０２を介して仮想スクリーン世界固定状態で表示された２つのビュー５０４および５０６を示す図５Ｂ～５Ｃが参照される。図５Ｂ～５Ｃに示すビューにおいて、２つの隣接した仮想スクリーン５０８および５１０は、外科医１２０から同じ距離から、同じ（仮想）サイズを有して表示される。他の実施形態において、様々な（仮想）サイズ、位置および距離を有する複数の仮想スクリーンが用いられ得る。外科医１２０は、世界固定仮想スクリーン５０８および５１０の両方を介して表示された画像を同時に見る。仮想スクリーン５０８は、術野の生ビデオを表示し、仮想スクリーンは、術前データを表示する。
ビュー５０４および５０６の各々は、仮想スクリーン５０８を介して表示された生画像フィード、および仮想スクリーン５１０を介して表示された対応する術前データを含む。仮想スクリーン５０４および５０６は、手術室（ＯＲ）内の固定位置に設置されたモニタであるかのように出現する。図５Ａに示すように、図５Ｂ～５Ｃの要素５１２および５１４はそれぞれ、外科医１２０の頭部の向きを示す。要素５１２および５１４の破線矢印は、正面を向いた向きを示す。ビュー５０４（図５Ｂ）に関する要素５１２の実線矢印は、外科医１２０の向きが正面を向いた向きから５°右であることを示す。ビュー５０６（図５Ｃ）に関する要素５１４の実線矢印は、外科医１２０の向きが正面を向いた向きから２５°右であることを示す。
示されるように、図５Ｃのビュー５０６は、外科医１２０の右方向への頭部運動に対応する、図５Ｂのビュー５９４に対して左にシフトされたかのように出現する。ビュー５０６（図５Ｂ）内の仮想スクリーン５０８は、ビュー５０４（図５Ｃ）内の仮想スクリーン５０８よりも小部分の生ビデオを示し、ビュー５０６（図５Ｃ）内の仮想スクリーン５１０は、ビュー５０４（図５Ｂ）内の仮想スクリーン５１０よりも大部分の術前データを示す。自身の頭部を左右に動かすことによって、外科医１２０は、仮想スクリーン５０８および５１０に同時に表示されたデータをスクロールし、必要に応じて、各々においてより大部分または小部分を見ることが可能である。精密な世界固定スクリーンの実装は、全***置および向き追跡を実施するためのトラッキング部品１３４を備える６自由度（ＤＯＦ）ヘッドジェスチャトラッカを用いて実現され得る。いくつかの実施形態において、仮想スクリーンモードは、たとえばスクリーンの絶対位置が必要ではない場合、頭部の向きのみをサポートする３－ＤＯＦトラッカを用いて実装され得る。
ここで、開示される技術の他の実施形態に従って構成され動作可能な、仮想スクリーン状態の典型的な実装を示す図５Ｄが参照される。図１Ａの外科医１２０は、ＨＭＤ１０２を装着し、患者１２２に手術をしながら、図５Ｂ～５Ｃの２つの仮想スクリーン５０８および５１０を観察する。仮想スクリーン５０８は、カメラ１４０Ａおよび１４０Ｂ（図１Ｅ）によって取得された生画像フィードを表示し、仮想スクリーン５１０は、手術室内に配置された他のモニタに表示されているかのように出現する術前データを投影する。ＨＭＤ１０２を介して表示されるコンテンツは、システムモードによって決定され得る。表示されるコンテンツに関するオプションは、カメラシステム１１２を介して取得された生画像ストリーム（デフォルト）、術前データ（たとえば患者に関する医療画像および／またはデータ）、術中データ（すなわち、たとえばフェイコビトレクトミーシステムなどの他のデバイスからのデータ）、内視鏡カメラ（不図示）から提供された生画像ストリームを含んでよい。いくつかの実施形態において、オプションは更に、外科医１２０が、並行した手術の進捗を追うことを可能にする、隣接する手術室内の同様のシステムから取得された生画像ストリームを見ること、待機室内に設置されたＷｉ－Ｆｉカメラから提供された生画像ストリーム、手術中に参照するための画像およびビデオのクラウドベースのライブラリの閲覧などを提供する。カメラ１４０Ａおよび１４０Ｂによって取得され、ＨＭＤ１０２を介して投影されるビデオは、３Ｄである。外科医１２０の各目は、対応するカメラからのビデオフィードを見る。ＨＭＤ１０２を介した他のビデオおよび画像表示は、２Ｄまたは３Ｄのいずれかであってよい。たとえば、クラウドベースのライブラリからのビデオは３Ｄであってよく、術前画像は２Ｄであってよい。
ＨＭＤ１０２（図１Ｃ）のシャッタ１３２のシャッタ状態は、開かれ、または閉じられてよく、顕微鏡手術におけるデフォルト状態は、閉じた状態である。シャッタ１３２が閉じている時、ディスプレイモジュール１３０は不透明であり、外科医１２０が、表示画像のコントラストを低下させる表示画像の後側の周囲光を見ることなく、ＨＭＤ１０２を介して表示された画像を見ることを可能にする。シャッタ１３２が開いている時、ディスプレイモジュール１３０は透明であり、外科医１２０が現実世界ビューを見ることを可能にする。シャッタ１３２が部分的に開いている時、ディスプレイモジュールは、たとえば拡張現実型アプリケーションにおいてＶＧＳ処置中にＰＩＰ内に１または複数の特徴を表示する時、ピクチャインピクチャ（ＰＩＰ）の後側の背景を隠してＰＩＰ内の画像のコントラストを増強するために、シャッタ１３２が開いている部分が透明であり、シャッタ１３２が閉じている部分が不透明である。
照明システム１１４に関する個別の照明状態は、投光照明をオン、オフ、またはローに選択すること、同軸照明をオン、オフ、またはローに選択すること、自動照明状態を選択することを含む。照明システム１１４は更に、連続照明状態を含む。自動照明が有効化されると、システム１００は、画像ヒストグラム解析、他の画像処理解析、ＨＭＤ１０２の位置および向き、外科処置の進捗、および追加のパラメータの関数として照明を自動的に調整する。自動照明に関する設定は、有効および無効（デフォルト）を含む。
自動センタリング状態が有効化されると、システム１００は、システムモードに依存する既定の設定に従って拡大画像を自動的にセンタリングする。たとえば、前眼部モードにおいて、センタリングはＸＹモータを用いて行われてよく、後眼部モードにおいて、センタリングは、全体撮像フレームから得た表示ＲＯＩを変更することによってデジタルに、または患者の眼球が動いた時にＸＹモータを用いることによって行われ得る。センタリングは、センタリング特性を規定する既定の設定に従って画像解析に基づく。自動センタリングに関する設定は、
○有効、
○無効（デフォルト）
を含む。
オートフォーカシングが有効化されると、システム１００は、ユーザ嗜好に従って拡大画像に自動的にフォーカスする。ユーザは、（カメラヘッドまたは患者が移動した場合）システムが次にロックし、フォーカスした状態に維持する術野内の点を指定してよい。あるいは、ユーザは、ツールの先端に自動的にフォーカスするように選択してよい。後眼部処置において、ユーザは、照明された領域の中心に自動的にフォーカスするように選択してよい。自動フォーカシングに関する設定は、
○ロック、
○ツールチップ、
○中心、
○無効（デフォルト）
を含んでよい。
様々な色補正スキームが、システムモードを介して有効化され得る。たとえば、オプションは、
○投光照明のための補正（デフォルト）、
○様々なファイバ照明源のための補正、
○様々な染料を用いる時の増強のための補正、および
○ユーザ構成可能な配色
を含む。
眼部反転状態は、システムモードを介して間接的に制御される。ノーマル状態（デフォルト）において、左カメラ１４０Ｂからのビデオストリームは、外科医１２０の左目にストリーミングされ、右カメラ１４０Ａからのビデオストリームは、右目にストリーミングされる。反転状態は一般に、非接触レンズを用いる後眼部眼科処置のために用いられる。反転状態において、左カメラ１４０Ｂからのビデオストリームは、外科医１２０の右目にストリーミングされ、右カメラ１４０Ａからのビデオストリームは、左目にストリーミングされる。画像もまた１８０度回転される。
モータ速度状態は、カメラシステム１１２に関するカメラフォーカス、カメラヘッド１１０に関するＸ、Ｙ、およびＺ位置などを制御する、システム１００の様々なモータに関するパラメータを定義する。この状態に関するオプションは、高速／低速を含む。
モータ境界状態は、カメラヘッド位置決め器１１１内に統合されたモータの各々に関する自由度を制限する。オプションは、フルモーションおよびリミテッドモーションを含む。
ピクチャインピクチャ（ＰＩＰ）の表示は、外科医１２０によって制御される。各ＰＩＰに関するオプションは、オフ（デフォルト）、オン、その他を含む。外科医１２０は、ＰＩＰの数およびＰＩＰ位置に関するいくつかの既定のオプションを定義し、各システムモードにおいてどのオプションが有効であるか、および各システムモードにおいて各ＰＩＰ内にどのコンテンツが表示されるかを決定してよい。
どのアクションがどのユーザ入力に対応するかを定義するユーザインタフェース設定は、外科医１２０によって、または他のオペレータによってカスタマイズされ得る。いくつかの実施形態において、ユーザインタフェースに関する様々な設定は、タッチスクリーン１０８を介して制御される。ユーザインタフェース設定のためのオプションは、以下を含む。
○フットスイッチ１０４に関する設定。これらの設定は、フットスイッチ１０４の各ボタンまたはペダル１０４Ａ、１０４Ｂ、および１０４Ｃに、どのコマンドが属するかを定義する。
○ヘッドジェスチャ定義。これらの設定は、外科医１２０による各ヘッドジェスチャにどのコマンドが属するかを定義する。
○メニュー定義。これらの設定は、外科医１２０によってメニューが呼び出された時にどのオプションが出現するかを定義する。
○音声コマンド設定。これらの設定は、音声コマンド機能状態（オン／オフ）を切り換え、外科医１２０が、必要に応じて、システム１００の音声制御特徴をオンまたはオフに切り換えることを可能にする。音声コマンド設定は、外科医１２０によって好まれるコマンドをコンピュータに習熟させるために、たとえば機械学習などの既知の技術を用いてパーソナライズされ得る。
理解すべき点として、このリストは単なる典型例であり、網羅的であることは意図されない。
コンピュータ１１８は、外科処置中に外科医１２０をガイドするための様々なオーバレイ記号の表示を制御する。ディスプレイオーバレイ設定は、ＨＭＤ１０２を介して表示された画像にどの記号がオーバレイされるかを定義し、外科医１２０によってカスタマイズされ得る。
追加の設定は、たとえばカメラヘッド１１０に追加のカメラまたはセンサ（不図示）を付属させることなど、他のシステム特性を制御してよい。たとえば、ｉＯＣＴ設定を介して、外科医は、ｉＯＣＴ画像取得を制御する。設定は、オフ（デフォルト）、オン、ｉＯＣＴスキャナ動作、たとえば前眼部対後眼部モードなどのモード固有設定などを含む。
システム１００は、外科医１２０が、ＨＭＤ１０２を介して表示された生画像フィード上にオーバレイする解剖学ベースのデータを見ることを可能にする。外科医１２０は、生ビデオフィードへのデータのオーバレイを、邪魔にならないようにカスタマイズすることができる。設定は、たとえばオーバレイされたデータをオンおよびオフに切り替えること、オーバレイの一部のみを示すこと、およびオーバレイ境界線を手動で動かすことなどのカスタマイズを可能にする。
解剖学ベースのデータは、生拡大画像に合わせて表示され、ここで「位置合わせ」は、解剖学ベースのデータと、カメラ１４０Ａおよび１４０Ｂによって取得された生拡大立体画像との空間的関係を保存することとして理解される。本明細書における「位置合わせ」という用語の使用は、画像位置合わせに関して従来の文脈で理解されるものよりも広い意味を捉えることが意図される。画像の位置合わせは、１つの画像の少なくとも一部の、他の画像の少なくとも一部に対する変換または整合に関する。本明細書で行われる位置合わせは更に、たとえば類似の特徴を識別することなどの任意の適当な技術を用いて、２つの画像上の対応する位置を正確に特定することを含み、必ずしも２つの画像の少なくとも一部を一致させることを伴うものではない。
位置合わせは、事前較正、およびカメラ１４０Ａおよび１４０Ｂによってリアルタイムで取得された画像内で検出された特徴に対する解剖学ベースのデータ内の特徴のマッチングに基づき得る。２つのカメラ１４０Ａおよび１４０Ｂは、事前較正されるので、カメラ１４０Ａおよび１４０Ｂによって撮像された各特徴の方向および深さ（すなわち位置）を計算することができ、また逆も然りであり、特徴または記号は、カメラ１４０Ａおよび１４０Ｂに対する所望の位置に出現するように生画像の各々にオーバレイされ得る。本明細書で定義される位置合わせは、解剖学的構造のモデルがトラッカ座標系に位置合わせされるバイザーガイド手術（ＶＧＳ）またはナビゲーション処置と混同されてはならない。いくつかの実施形態において、解剖学的データと生画像との対応性は、位置関連データを用いて確立される。解剖学的データと表示画像との対応性は、たとえば術前データとリアルタイムデータとをマッピングする位置データを用いて、追跡以外の技術を用いて保存され得る。
解剖学ベースの特徴は、ＯＣＴ画像（術前および術中の両方）、たとえば網膜厚さマップなどの網膜の２Ｄマップ、ボリュメトリックＯＣＴ走査から導出された網膜上膜の３Ｄモデル、角膜トポグラファによって生成された角膜の３Ｄモデル、目に対するトーリック眼内レンズ（ＩＯＬ）の所望の向き、外科医によって患者の網膜の２Ｄ画像にマークされた事前計画情報、監督外科医によって作成された術中マーキングなどを含んでよい。
いくつかの実施形態において、手術の１つの段階において１つの倍率で撮影された網膜のスナップショットは、より高い倍率で行われる手術の後の段階のためのミニマップとして用いられる。網膜手術中、外科医は一般に、網膜の付近で保持された時に網膜の小部分のみを照明するファイバ照明を用いる。ミニマップは、より高い倍率で作業する時に、より良い空間識を可能にする。ミニマップはＰＩＰ内に表示され、ミニマップ上にオーバレイされた円形（または他の）記号は、スナップショット上の照明エリアの位置を示す。リアルタイム位置合わせアルゴリズムは、目またはカメラヘッドが動かされた場合でも、スナップショットへの生ビデオフィードの位置合わせを維持することを可能にする。この技術は、内視鏡ビデオがフルスクリーンで提示されながら、ビデオのフットプリントを表す記号が、ＰＩＰ内に表示されたミニマップ上にオーバレイされる内視鏡処置にも役立つ。内視鏡ビデオのスナップショットへの位置合わせは、特徴マッチングまたは内視鏡の追跡のいずれかに基づいてよい。
いくつかの実施形態において、ＰＩＰ内に表示された画像のデータ位置を示すために、生ビデオ上に記号がオーバレイされる。システム１００は、外科医１２０が、たとえばＰＩＰ透明度を制御することによってこの特徴をカスタマイズし、ＨＭＤ１０２のＦＯＶにおけるＰＩＰの位置をカスタマイズすることを可能にする。たとえば、１つのそのような記号は、生拡大画像ストリーム上にオーバレイされ、ＰＩＰ内に表示された術前画像に対応する患者の解剖学的構造の生画像内の位置を示す直線であってよい。この直線は、生画像に対する、ＰＩＰ内に表示された術前ＯＣＴ Ｂ走査の位置および角度を表す。
いくつかの実施形態において、生ビデオ内に出現する特徴の位置を示すために、ＰＩＰ内に表示された画像上に記号がオーバレイされる。１つの例は、上述したように、ミニマップとして用いられるスナップショット上にオーバレイされた記号である。他の例として、生拡大画像内に出現するトーリックＩＯＬの角度を表す直線が、ＰＩＰ内に表示された目の術前画像上にオーバレイされ得る。直線の角度は、目の回転および目内部のＩＯＬの瞬間的角度の両方に関してリアルタイムで補正される。
ユーザインタフェース１６０は、生画像フィードの表示の上にオーバレイされたＰＩＰまたは複数のＰＩＰ内に表示された複数の画像を見ることを提供する。たとえば、そのような画像は、術前データ、ＯＣＴ画像、ノート、および、たとえばｉＯＣＴからのＢ走査画像、内視鏡を介して取得されたビデオなどの術中の生データに関連し得る。メニューを通して、外科医１２０は、たとえば視野の左上角部など、自身の選択する位置におけるＰＩＰ位置を制御する。この特徴は、外科医１２０が、自身の視野の中央エリアを占める生画像フィードと共に術前または生データを見ることを可能にする。ＰＩＰのサイズおよび位置は、その中に表示されるコンテンツと共に、ＵＩ１６０を介して外科医１２０によって設定される。
後述する図は、外科医１２０が、表示されたメニューのメニュー項目を操作することによって術前システムモードを出入りし、生画像に位置合わせされた記号と共にＰＩＰ内で術前データを閲覧することを可能にする、視野上にオーバレイされたメニューとして実装されたユーザインタフェースに関する典型的な実装を示すことが意図される。いくつかのメニュー項目は、選択された時に行われるアクションを表し、他のメニュー項目は、追加のアクションセットをもたらす追加のメニューを表す。外科医１２０は、上述したように、フットスイッチ１０４およびヘッドジェスチャによってユーザインタフェースをナビゲートする。
ここで、開示される技術の更なる実施形態に従って構成され動作可能な、ユーザがシステムとインタラクトし、様々なシステムモードへ切り換えることを可能にする、生画像フィード６１４上にオーバレイされたメニュー６３０を示す図６Ａが参照される。メニュー６３０は、外科医１２０によって構成可能なシステム設定として、次のメニュー、オーバレイ６１８、自動フォーカス６２０、色補正６２２、自動センタリング６２４、ＰＩＰ６２６、システムモード６２８、およびキャンセル６１２を表示する。
メニュー項目６１８に表示された「オフ」によって示されるように、オーバレイ設定は現在オフにされており、外科医１２０に、項目６１８を選択することによってオーバレイがオンに切り換えられ得ることを示す。メニュー項目６２０に表示された「オフ」によって示されるように、自動フォーカス設定は現在オフにされており、外科医１２０に、項目６２０を選択することによってオーバレイをオンに切り換えるように提示する。同様に、色補正メニュー項目６２２に表示された「赤色」によって示されるように、色補正は現在、赤色に設定されており、外科医１２０に、このメニュー項目を選択することによって異なる色補正へ切り換えるというオプションを提示する。メニュー項目６２４に表示された「オフ」によって示されるように、自動センタリング設定は現在「オフ」に設定されており、外科医１２０に、このメニュー項目を選択することによってこの設定をオンに切り換えるというオプションを提示する。メニュー項目６２６に表示された「オフ」によって示されるように、ＰＩＰ設定は現在「オフ」に設定されており、外科医１２０に、このメニュー項目を選択することによってこの設定をオンに切り換えるというオプションを提示する。キャンセル６１２およびシステムモード６２８はそれぞれ、外科医１２０がメニューから退出し、異なるシステムモードへ切り換えるために提供される。システムモードメニュー項目６２８は、現在強調されており、外科医１２０が現在このメニュー項目を選択し得ることを示す。
１つの実施形態において、「色補正」メニュー項目が強調され、様々な色補正オプションを含むサブメニューが開かれ、その１つは、色補正特徴をオフに切り換えることを可能にする。いくつかの実施形態において、色補正サブメニューのメニュー項目が強調されると、外科医がフットスイッチ１０４を解放することによって選択される前に、強調されたメニュー項目に対応する色補正スキームの効果が生画像上で実施され表示される。これは、外科医１２０が、様々な色補正スキームの１つを選択する前にその効果を見ることを可能にする。この特徴は、たとえば画像の鮮明化などの追加の画像処理機能のために有効化され得る。
いくつかの実施形態において、開かれたメニューは、中央ではなく画像の周囲に表示され、メニューが画像の一部を覆い遮断することなく、外科医１２０が様々な画像処理および色補正の効果を評価することを可能にする。メニュー項目は、周囲に縦に表示され得る。ただし、メニューのナビゲートは、外科医１２０が生画像から視線をシフトすることを必要としない。様々なメニュー項目をスクロールおよび強調するために、外科医１２０は、生画像の中心エリアを注視したまま、自身の頭部を上下に動かす。
外科医１２０は、フットスイッチ１０４を押下しながらメニュー項目間で自身の視線を方向付けるために自身の頭部を動かしながら、様々なメニュー項目間でナビゲートする。たとえば、システムモードメニュー項目６２８を選択するために、外科医は、フットスイッチ１０４を押下しながら、既定の期間、メニュー項目６２８が強調された状態を維持（たとえば「長期凝視」）する。これは、以下で図６Ｂに示すシステムモードメニューをもたらし、現在提示されているアドバンスドメニューを視野の周囲における項目６１６内へ折り畳み、外科医１２０が適宜、フットスイッチ１０４を押下しながら自身の視線を方向付けることによってこのメニューへ戻ることを可能にする。したがって、１つの実装において、様々なメニュー間でナビゲートし、サブメニューを開くために、外科医１２０は、フットスイッチ１０４を押下しながら既定の期間、折り畳まれたメニューを表す様々なメニュー項目を強調する。フットスイッチ１０４の解放は、様々なメニュー間でナビゲートするために必要ではない。ただし、選択されたメニュー項目と関連するシステム設定をアクティブ化または非アクティブ化するためのメニュー項目を選択するために、外科医１２０は、そのメニュー項目に視線を向けながらフットスイッチ１０４を解放する。したがって、フットスイッチ１０４の有効化は、行われ得る可能なアクションを表すメニュー項目間でナビゲートするためではなく、システム１００においてアクションを行うために必要である。
図６Ｂを参照すると、開示される技術の他の実施形態に従って構成され動作可能な、図６Ａのメニュー６３０のシステムモードメニュー項目６２８が選択された後、生画像フィード上にオーバレイされたシステムモードメニュー６００が示される。フットスイッチ１０４を押下しながらある期間メニュー項目６２８を凝視することによって図６Ａのメニュー項目６２８を選択すると、図４Ａ～４Ｄのシステムモードメニュー４００に対応するシステムモードメニュー６００が、図６Ａのメニュー６３０の代わりに表示される。図６Ａに示す、以前表示された「アドバンスド」メニュー６３０は、図６Ｂに示すように、たとえば左上角部などの視野の周囲に表示されたメニュー項目６１６に折り畳まれる。システムモードメニュー６００は、生画像６１４上にオーバレイされた、非接触レンズメニュー項目６０２、バイタルメニュー項目６０４、看護士メニュー項目６０６、術野項目６０６、術前メニュー項目６１０、およびキャンセルメニュー項目６１２を表示する。術前メニュー項目６１０が強調され、このメニュー項目が現在、外科医１２０によって選択され得ることを示す。
図６Ｃを参照すると、術前画像は、開示される技術の更なる実施形態に従って構成され動作可能な、生画像フィード上にオーバレイされたＰＩＰ内に表示される。フットスイッチ１０４を解放することによって図６Ｂのメニュー項目６１０（「術前」）を選択すると、システムモードは、術前モードに切り換わる。このモードにおいて、ユーザは、術前ＯＣＴ画像のフォルダがＰＩＰ内に表示されるように選択する。いくつかの実施形態において、このモードは、外科医１２０が、たとえばサイズおよび位置などのユーザ定義設定に従ってＰＩＰを調整および定義することを可能にする。ＰＩＰ内でどの術前画像を見るかを選択した後、外科医１２０は、フットスイッチ１０４および上述したメニューナビゲーション技術を用いて、非接触レンズモードに戻る。非接触レンズモードに戻ると、図６Ｃに示すように、術前画像６３２は、生画像６１４の表示の上部左手角部においてＰＩＰ内に表示される。術前ＯＣＴ画像は、生画像６１４内に表示されたのと同じ組織のものである。留意すべき点として、ＰＩＰの位置およびサイズは、単なる典型例であり、外科医１２０によってユーザ定義され得る。
図６Ｄを参照すると、開示される技術の他の実施形態に従って構成され動作可能な、ＰＩＰと共に生画像フィード上にオーバレイされた、図６Ａのメニュー６３０が示される。外科医１２０は、たとえばフットスイッチ１０４を押下することによって、メニュー６３０を再出現させる。メニュー６３０は、上部左手角部に表示されたＰＩＰ６３２と共に生画像６１４上にオーバレイされて表示される。オーバレイメニュー項目６１８が強調され、外科医１２０が、フットスイッチ１０４を押下しながらヘッドジェスチャを行うことによってこのメニューを選択したことを示す。メニュー項目６１８に表示された「オフ」によって示されるように、現在、オーバレイ設定の状態はオフであり、外科医１２０に、メニュー項目６１８を選択することによってこの設定をオンに切り換えるように求めている。
ここで、全体として、開示される技術の他の実施形態に従って構成され動作可能な、ＰＩＰ６３２内に表示された対応するコンテンツを有する一連の生画像６１４を示す図６Ｅ～６Ｊが参照される。図６Ｅ～６Ｊは、生画像６１４に重ね合わせられたオーバレイ６３４を示す。オーバレイ６３４は、ＰＩＰ６３２内に表示された術前ＯＣＴ画像に対応する生画像６１４上の位置を示す直線である。生画像６１４は３Ｄ画像である、すなわち、外科医１２０の各目は、３Ｄ画像６１４を共に形成するわずかに異なる画像を見ているため、直線６３４は、外科医１２０の両目に投影された２つの画像の各々に個別にオーバレイされる。その結果、外科医１２０は、網膜を示す３Ｄ画像６１４の表面において正しい奥行き感覚でオーバレイされた直線６３４を見る。
いくつかの実施形態において、コンピュータ１１８は、複数の術前画像をライブラリに格納する。各画像がＰＩＰ６３２内に表示されると、画像に対応する生画像６１４上の位置は、たとえば直線６３４などのオーバレイによって示される。各オーバレイ６３４によって示された組織上の位置は、ＰＩＰ６３２内に同時に表示された術前ＯＣＴ画像に対応する。ユーザは、フットスイッチ１０４のペダルを押下しながら同時にヘッドジェスチャ（たとえば、スクロールダウンのためのヘッドダウン回転、およびスクロールアップのためのヘッドアップ回転）を行うことによって術前画像のセット内でスクロールする。ＰＩＰ６３２内に表示された術前ＯＣＴ画像が変化すると、リアルタイム画像上の対応する位置が計算され、オーバレイ直線６３４によって表示される。示された画像において、リアルタイム画像上の位置は、対応して下方向へシフトする。リアルタイム画像上の対応する位置に関する計算は、ＰＩＰ６３２内に表示された術前ＯＣＴ画像が外科医１２０によって変更されていない場合でも、画像６１４が生であり、オーバレイが動的更新を要求すると、フレームごとに行われ得る。この計算は、網膜の術前画像および全ての術前ＯＣＴ画像に対応する画像上の位置を備える、術前ＯＣＴ撮像器によって生成されたデータに基づく。この網膜の術前画像を用いると、リアルタイム画像６１４上の対応する位置が計算され得る。この特徴は、外科医１２０が、ハンドレスジェスチャを用いて、生画像フィード６１４上の対応するオーバレイと共にＰＩＰ６３２内の術前データにおいてスクロールすることを可能にする。留意され得る点として、ＰＩＰ６３２内のＯＣＴ画像の表示は、単なる例示であることが意図され、本発明を限定するものではない。ＰＩＰ６３２は、直線６３４によって示された生画像６１４上の位置に対応する他の関連コンテンツを表示してよい。
いくつかの実施形態において、外科医１２０は、ＰＩＰ内の術前データを見ながら、生画像をフリーズしてよい。これは、ＰＩＰが生画像フィードと共に術前データを表示している間、生画像上に特徴または記号を描画するために役立ち得る。描画中に画像をフリーズすることは、生ビデオが、たとえば無意識のサカディック眼球運動、呼吸などに起因する動きを表示する場合に役立つ。描画された記号は、生画像フィードのフリーズ解除後、たとえば切開部の切開などの後続するアクションを外科医１２０にガイドするために用いられ得る。
いくつかの実施形態において、外科医１２０は、ＵＩ１６０を介して、ＨＭＤ１０２を介して表示された画像内の点を指定してよい。たとえば、フットスイッチ１０４によって有効化されたヘッドジェスチャは、画像上の点を指定するためにカーソルを動かしてよい。あるいは、外科医１２０の眼部運動を追跡することによって画像上で点が指定され得る。指定は、たとえば以下のような様々な目的を果たしてよい。
・手動位置合わせのための点を指定すること。ＰＩＰおよび生ビデオの両方における対応する点が、ＰＩＰ内の画像を手動で位置合わせするために指定され得る。
・位置合わせされた画像内の点を位置特定するための点を指定すること。画像（またはモデル）が位置合わせされた後、外科医１２０は、生ビデオ内の点を指定することができ、位置合わせされた画像内の対応する点が強調され、逆も然りである。
・ＰＩＰを呼び出すための点を指定すること。小さなＰＩＰは、外科医１２０によって指定された点の付近で呼び出されてよく、ＰＩＰのコンテンツは、指定された点と関連してよく、外科医１２０が、術野１２４内の点にフォーカスし、その点の付近で関連データを見ることを可能にする。
・ｉＯＣＴスキャナ１４２の関心領域（ＲＯＩ）を制御するための点を指定すること。１または複数の２Ｄ Ｂ走査または３ＤボリュメトリックｉＯＣＴ画像が生ビデオと共に表示され、外科医は、カメラヘッド１１２によって取得されたビデオにおいて、たとえば十字などの記号を指定することによって、ｉＯＣＴスキャナ１４２の正確なＲＯＩを制御する。
・自動フォーカスのための点を指定すること。自動フォーカスは、指定された点の周囲のＲＯＩに基づいてアクティブ化され得る。
いくつかの実施形態において、外科医１２０は、ヘッドジェスチャを介して生画像フィード上にオーバレイされた記号を制御し、オーバレイされた記号の位置に対応する術前画像が、ＰＩＰ内に表示される。記号の位置が変化すると、ＰＩＰ内に表示された対応する画像は変化する。いくつかの実施形態において、生画像フィード上の選択された位置に対応する術前画像が存在しない場合、コンピュータ１１８は、選択された位置に最も近い術前画像を選択し、その距離を外科医１２０に示す。
ここで、全体として、開示される技術の他の実施形態に従って構成され動作可能な、ＰＩＰ６４４内に表示された対応するコンテンツを有する一連の生画像６４２を示す図６Ｋ～６Ｐが参照される。図６Ｋ～６Ｐの実施形態は、図６Ｅ～６Ｊに関して上述したものと実質的に同様であるが、顕著に異なる点として、図６Ｋ～６Ｐの直線６３４の代わりにＰＩＰ６４４の境界線６４６が用いられ、ＰＩＰ６４４内に示されたコンテンツと、生画像６４２内に表示された組織との対応性を示す。図６Ｋ～６Ｐの例において、ＰＩＰ６４４は、生画像６４２内に示された組織のＯＣＴ断面図を表示するが、これは、単なる例示であることが意図され、本発明を限定するものではない。妥当性を有し得る場合、他のコンテンツがＰＩＰ６４４内に表示され得る。ＰＩＰ６４４内に示されたＯＣＴ画像は、術前または術中段階に取得され、後の使用のためにメモリ１１８Ｄ（図１Ｂ）に格納されたものである。処置中、ＨＭＤ１０２は、生画像６４２として生組織の表面を表示する。生画像６４２は、患者１２２の組織のリアルタイムビデオ表示であってよく、あるいは、図６Ｒ～６Ｖに関して後述するように、たとえば更なる使用のために外科医が特徴を描画することを可能にするための、リアルタイムビデオのフリーズされた部分であってよい。
生画像６４２に重ね合わせられると、ＨＭＤ１０２は、ＰＩＰ６４４内に、境界線６４６によって示された位置における生組織の過去に取得されたＯＣＴ断面図を表示する。図６Ｋ～６Ｐは、生画像６４２の左上の位置（図６Ｋ）から始まり生画像６４２において下および右方向へ移動する（図６Ｌ～６Ｐ）複数の様々な位置において生画像６４２上にオーバレイされたＰＩＰ６４４を示す。生画像６４２上のＰＩＰ６４４の各位置に関して、その位置でＰＩＰ６４４内に表示されたＯＣＴ画像は、境界線６４６によって示された組織の断面に対応する。このように、生画像６４２の上でＰＩＰ６４４の位置を操作することによって、外科医１２０は、組織の様々な断面スライスを見てよい。
ここで、開示される技術の更なる実施形態に従って構成され動作可能な、２つのＰＩＰ６４４および６４８内に表示された対応するコンテンツを有する図６Ｌ～６Ｐの生画像６４２を示す図６Ｑが参照される。図６Ｑの実施形態は、図６Ｌ～６Ｐに関して上述したものと実質的に同様であるが、注目すべき点として、２つのＰＩＰ６４４および６４８が生画像６４２上に重ね合わせられ、各ＰＩＰは、それぞれ境界線６４６および６５０によって示された組織に対応するコンテンツを示す。ＰＩＰ６４４は、境界線６４６によって示された位置における生組織のＯＣＴ断面スライスを示し、ＰＩＰ６４８は、境界線６５０によって示された位置における組織のＯＣＴ断面スライスを示す。上述したように、外科医は、様々な位置における組織の断面スライスを表示するために、生画像６４２の上でＰＩＰ６４４および６４８の位置を操作してよい。
ここで、全体として、開示される技術の更なる実施形態に従って構成され動作可能な、描画機能の実装を示す図６Ｒ～６Ｖが参照される。図６Ｒ～６Ｖは、ＨＭＤ１０２を介して表示された描画機能を用いて記号を描画した結果を示す。１つの実施形態において、描画は、たとえばＨＭＤ１０２などの、患者１２２の生画像を表示するＨＭＤを装着している間に実施される。描画機能は、ＨＭＤを介して表示された１または複数のメニューを介してアクティブ化され、ＨＭＤの装着者が、本明細書で説明された技術を用いて描画ツール（不図示）を選択することを可能にする。描画ツールは、生画像の上に表示され、ＨＭＤの装着者が、ヘッドジェスチャ、フットスイッチ１０４、ワンドの操作、眼部運動の追跡などの１または複数を用いて描画ツールを操作することによって、生画像上にオーバレイされた記号を描画することを可能にする。あるいは、描画は、システム１００に提供されたユーザインタフェース（不図示）、マウスまたはワンドなどを介して実施され得る。
１つの動作モードにおいて、外科医１２０は、たとえば医療処置中のガイドとして後に使用するために、術前計画段階の間に特徴を描画する。この場合、外科医１２０は、任意の術前データと共に、ＨＭＤ１０２を介して生画像の上に表示された描画メニューおよびツールを見る。外科医１２０は、生画像上に１または複数の予備記号を描画する。１つの実施形態において、生画像フィードは、精度を高めるために描画中フリーズされる。描画された記号は、描画が完了すると、生画像フィードがフリーズ解除され術前データが表示されなくなった後、生画像と共に表示されたままであり、外科医１２０は、医療処置を行いながら生画像フィード上にオーバレイされた描画記号を見ることが可能である。
たとえば教示モードなどの他の動作モードにおいて、監督外科医（不図示）が、後続して処置を行う外科医１２０をガイドするために、記号を描画する。教示モードにおいて、監督外科医は、外科医１２０と共に手術室内に居てよく、その場で記号を描画する。あるいは、監督外科医は、他の場所に所在してよく、遠隔で記号を描画する。監督外科医は、他のＨＭＤを介して、スマートフォン、タブレット、または他のタッチスクリーンを介して、あるいは標準モニタを有するマウスまたはワンドを介してなどのいずれかで、記号を描画してよい。
図６Ｒを参照すると、記号を仮想描画する前の、患者１２２の目の生画像６６０が示される。図６Ｓ～６Ｔを参照すると、ペイントメニュー（不図示）から仮想描画ツールを選択した後、外科医は、たとえば切開する位置を示すために、生画像６６０上に記号６６２を仮想描画する。記号６６２は、図６Ｓにおいて部分的に描画された状態で、図６Ｔにおいて完全に描画された状態で示される。上述したように、記号６６２は、教示モードの間に第２のＨＭＤを装着している年長外科医によって、またはＨＭＤ１０２を装着している外科医１２０によって描画され得る。記号６６２は、たとえば本明細書で参照されたような任意の適当なＵＩ技術を用いて描画される。たとえば、記号６６２を描画するために、外科医１２０は、記号６６２の形状に対応する軌跡を辿るヘッドジェスチャを用いて仮想描画ツールを動かしながらフットスイッチ１０４を押下し、記号６６２の描画が完了すると（不図示）、フットスイッチ１０４を解放する。あるいは、外科医は、タッチスクリーンを介して表示された生画像上に描画するためにマウスまたは自身の指を用いてよい。生画像上に描画する外科医は、任意選択的に、手術室内に居ない場合があり、遠隔位置から描画のための様々なＵＩ方法（自身のオフィス内で３Ｄ生画像を表示するＨＭＤおよびフットスイッチを用いること、２Ｄ生画像を表示するタブレット上に描画することなど）のいずれかを用いてよい。図６Ｕを参照すると、外科医１２０は、患者１２２の目を切開するためのガイドとして、生画像６６０上に描画されオーバレイされた記号６６２を用いる。外科医１２０は、生画像６６０上の記号６６２によって示された位置に対応する、患者１２２の目における物理的位置に、外科用器具６６４を置く。図６Ｖを参照すると、外科医１２０は、患者１２２の目を切開するために、記号６６２に対応する経路に沿って外科用器具６６４を動かす。このように、外科医１２０、あるいは年長外科医は、切開を行う前に生画像６６０上に仮想経路を描画し、その後の切開が正しく行われることを確実にする。
外科医１２０が特定の特徴を強調するための１または複数の記号またはマーキングを描画した後、外科医１２０は、ガイダンスのためのマーキングを用いて処置を進めるために、生画像を見ながらどのマーキングを表示するかを選択してよい。外科医１２０は、必要性および妥当性に従って、処置中、任意の数の事前描画したマーキングをスクロールしてよい。マーキングが使用されなくなると、これらが生画像の表示を不明瞭にすることを防ぐために、システム１００は、所定の期間後にマーキングを消し去るように構成され得る。１つの実施形態において、デフォルト設定に従って（たとえば１０秒後）、記号は自動的に消え去る。他の実施形態において、専用の事前計画アプリケーションメニューは、外科医１２０が、マーキングの各々を無効化する（すなわちオフにする）ことを可能にする。
ここで、全体として、開示される技術の更なる実施形態に従って構成され動作可能な、選択された視野エリアにフォーカスするためのメニュー駆動型ユーザインタフェースの典型的な実装を示す図７Ａ～７Ｅが参照される。後述する図において、ユーザインタフェースは、生画像ストリーム上にオーバレイされる一連のメニューとして実装される。外科医１２０は、上述したように、ヘッドジェスチャと組み合わせてフットスイッチ１０４を用いて、メニューをナビゲートする。
図７Ａを参照すると、メニュー７３０は、開示される技術の実施形態に従って構成され動作可能な、選択された視野エリアにフォーカスするための、生画像フィード７１４上にオーバレイされたメニュー７３０が表示される。メニュー７３０は、上述した図６Ａに示されるメニュー６３０に対応する。メニュー６３０と同様、メニュー７３０は、オーバレイ７１８、自動フォーカス７２０、色補正７２２、自動センタリング７２４、ＰＩＰ７２６、システムモード７２８、およびキャンセル７１２のメニュー項目を含む。自動フォーカス特徴に関するメニュー項目７２０が強調され、外科医１２０によってこの項目が現在選択され得ることを示す。メニュー項目７２０に表示された「オフ」設定によって示されるように、現在、自動フォーカス特徴はオフであり、外科医７２０が、メニュー項目７２０を「押下」してアクティブ化することにより自動フォーカス特徴をオンに切り換えることを求めている。いくつかの実施形態において、外科医１２０は、フットスイッチ１０４を解放することなくフットスイッチ１０４を押下しながら、たとえば０．５秒間などの既定の期間、メニュー項目７２０（図７Ａ）を凝視することによって既定の期間メニュー項目７２０を強調することにより、自動フォーカスをオンにする。他の実施形態において、外科医は、メニュー項目７２０を強調しフットスイッチ１０４を解放した後、自動フォーカスをオンにする。
図７Ｂ～７Ｄを参照すると、開示される技術の更なる実施形態に従って構成され動作可能な、フォーカスのために選択された視野エリアを指定することを可能にするユーザインタフェーススクリーンの典型的な実装が示される。この特徴をオンにするために自動フォーカス７２０をアクティブ化すると、ＵＩスクリーン７４０が画像７１４の表示にオーバレイされ、図７Ａに示すメニュー７３０と入れ替わる。ＵＩスクリーン７４０は、プロンプト７４２と、この実装において括弧のセットとして示される指定記号７４４とを含む。いくつかの実施形態において、外科医１２０は、フットスイッチ１０４を解放することによって、自動フォーカスをオンにする。プロンプト７４２は、外科医１２０に、自動フォーカスを実行する生画像７１４内のエリアを手動で指定することを要求する。外科医１２０は、画像７１４の表示の上で指定記号７４４を操作することによって、エリアを指定する。指定記号７４４の位置は、たとえばフットスイッチ１０４と組み合わせてヘッドジェスチャを行うことなど、上述した技術のいずれかを用いて操作され得る。任意選択的に、外科医１２０は、たとえば０．５秒間などの既定の期間、所望のエリアを凝視することによって、フォーカスするエリアを指定する。アイトラッカ部品１３６（図１Ｃ）は、指定および選択されたエリアを検出するために、外科医１２０の視線を追跡する。いくつかの実施形態において、システム１００は、外科医１２０の眼部運動の追跡に基づいて、指定されたエリアへの自動的な自動フォーカスを継続的に行う。留意すべき点として、ユーザの嗜好および状況に従って、他の記号が指定記号として用いられてよい。たとえば、特定の点を正確に指定するために、指定記号は、矢印、カーソル記号などであってよい。
図７Ｃを参照すると、外科医１２０は、十分にフォーカスが合っていない画像７１４の左側にある領域７４６へ指定記号７４４を動かす。領域７４６は、破線円形によって示される。外科医１２０は、たとえばフットスイッチ１０４を押下しながら自身の頭部を左方向へ回転することなど、任意の適当なＵＩ技術を用いて指定記号７４４を動かす。外科医１２０は、フォーカスを改善する領域７４６を指定する。フットスイッチ１０４を解放することなく既定の期間メニュー項目７２０を強調することによって自動フォーカスがアクティブ化された場合、外科医は、領域７４６を凝視しフットスイッチ１０４を解放することによって、指定記号７４４を領域７４６に配置することにより、自動フォーカスのための領域７４６を指定する。フットスイッチ１０４を解放することによって自動フォーカスがアクティブ化されると、外科医１２０は、たとえば０．５秒間などの既定の期間、指定記号７４４を領域７４６に配置することによって、自動フォーカスのための領域７４６を指定する。システム１００は、指定記号７４４が領域７４６に位置する間のわずかな動きを許容し得る。
図７Ｄを参照すると、コンピュータ１１８は、指定記号７４４によって指定された領域７４６にデジタルにフォーカスする。フォーカス前の図７Ｃの領域７４６とフォーカス後の図７Ｄの領域７４６とを比較すると、デジタルフォーカスの結果が示され得る。
自動フォーカスは、様々なモードに実装され得る。１つのモードにおいて、自動フォーカスがアクティブ化され、フォーカスポイント（すなわち領域７４６）が選択されると、自動フォーカスは選択された領域に固定し、自動フォーカス特徴が非アクティブ化されるまでフォーカス状態を維持する。これは、患者の解剖学的構造の様々な部位を捕捉するためにカメラヘッドの位置および向きが変化するアプリケーションにおいて役立ち得る。選択された領域が生画像フィード内にある限り、この領域はフォーカスが合ったままである。
他のモードにおいて、「自動フォーカス」は、ワンタイムアクションである。メニュー項目７２０を選択することによって自動フォーカス特徴がアクティブ化される度、指定記号７４４が表示され、外科医１２０は、フォーカスする領域を指定するように促される。システム１００は、指定された領域にロックするのではなく、ワンタイムアクションとして指定された領域にフォーカスする。この実装において、メニュー項目７２０は、「オフ」または「オン」を明記することなく「自動フォーカス」と書いてある。
ここで、開示される技術の実施形態に従って構成され動作可能な、生画像フィード上にオーバレイされた、図７Ａのメニューの他の図である図７Ｅが参照される。メニュー７３０は、本明細書で説明される技術を用いて呼び出された後に再度表示されたものである。ただし、この時、自動フォーカス特徴を示すメニュー項目７２０が「オン」を表示し、現在自動フォーカスがオンであることを示す。自動フォーカスをオフに切り換えるために、外科医１２０は、上述した技術を用いてメニュー項目７２０を選択する。
ここで、全体として、開示される技術の他の実施形態に従って構成され動作可能な、視野の選択されたエリアにフォーカスするためのメニュー駆動型ユーザインタフェースの他の典型的な実装を示す図７Ｆ～７Ｉが参照される。図７Ｆ～７Ｉは、上述した図７Ａ～７Ｄと実質的に同様である。図７Ｆを参照すると、生画像７５２上にオーバレイされたメニュー７５０が示される。メニュー７５０は、図６Ａのメニュー６３０に対応し、オーバレイ７５４、自動フォーカス７５６、色補正７５８、自動センタリング７６０、ＰＩＰ７６２、システムモード７６４、およびキャンセル７６８のメニュー項目を含む。外科医１２０は、上述したように、ＵＩ１６０を介して自動フォーカスをオンにする。図７Ｇを参照すると、ＵＩスクリーン７６８が生画像７５２上にオーバレイされている。ＵＩスクリーン７６８は、プロンプト７７０および記号７７２（たとえば丸括弧のペア）を表示する。プロンプト７７０は、外科医１２０に、記号７７２を操作することによって生画像７５２上のフォーカスポイントを指定するように要求する。図７Ｈを参照すると、外科医１２０は、フォーカスの合っていない特徴７７４（たとえば白色背景上のボケた黒丸）を指定するために記号７７２を動かす。図７Ｉを参照すると、生画像７５２の特徴７７４は、図７Ｈよりも鮮明なフォーカスで表示されている。外科医１２０は、以前よりも良い解像度で特徴７７４を見ながら外科処置を継続することができる。
システム１００は更に、外科医１２０が、１または複数のオーバレイを含むようにＨＭＤ１０２を介してデータの表示をカスタマイズすることを可能にする事前計画段階を提供する。外科処置を行う前に、外科医１２０は、術前画像に１または複数の記号およびノートを追加してよい。外科処置中、追加された記号およびノートは、カメラシステム１１２によって取得された生ビデオに位置合わせされたオーバレイ内に表示される。たとえば、光凝固のための最適な位置を示すマークが表示され、オーバレイされ、生画像フィードに位置合わせされる。他の例として、外科医１２０は、たとえば付着している網膜に関して青色、剥離した網膜に関して赤色などの色マップを作成するために術前画像のエリアに着色する。色マップはその後、外科処置中に生ビデオ上にオーバレイされる。
システム１００は更に、外科医１２０が、外科処置の間中、カメラヘッド１１０によって取得された任意の生画像のスナップショットの取得を制御することを可能にする。スナップショットは、コンピュータ１１８に格納される。格納されたスナップショットは、メモリから再呼出しされ、進捗を監視またはガイダンスを支援するために、外科処置の後の段階において個別スクリーンまたはディスプレイモジュール１３０上のＰＩＰにおいて外科医に見られ得る。スナップショットは、２Ｄまたは３Ｄフォーマットで格納され得る。スナップショットは、ＰＩＰ内でディスプレイモジュール１３０上に繰り返しレンダリングされるショートビデオクリップ、または「ＧＩＦ」フォーマットとしても格納され得る。このＧＩＦフォーマットは、膜を見るために有利である。ＰＩＰモードにおいて（すなわち、ＰＩＰを「選択」した後）、スナップショットのアクティブ化は、ＰＩＰ画像のみを保存し得る。これは、ＰＩＰ内に表示されたｉＯＣＴ画像または内視鏡画像を保存するために役立ち得る。
たとえば、スナップショットは、膜を増強するために染料が塗布された後、撮影され得る。染料が吸収され、消失した後でも、外科医１２０はなお、生ビデオフィードと共に表示されたＰＩＰ内の染色エリアを見ることができる。スナップショットは生ビデオに位置合わせされるので、外科医１２０は、上述したようにＰＩＰ内の点を指定してよく、生ビデオ内の対応する点が自動的に強調、着色、または記号によってマークされる。
開示される技術は更に、外科医１２０がＧＩＦを作成することを可能にする。外科医１２０は、たとえばヘッドジェスチャと関連してペダル１０４を用いることなどによって、カメラヘッド１１０によって取得された画像の記録を開始し、同様のＵＩ入力セットを用いて記録を停止する。たとえば、システム１００は、選択されると、システム１００にＧＩＦに関する画像を記録させるＧＩＦメニュー項目（不図示）を表示する。ＧＩＦメニュー項目を選択するために、外科医１２０は、フットスイッチ１０４を押下しながら、たとえば２秒間などの既定の期間、ＧＩＦメニュー項目を凝視する。ＧＩＦに関する画像の記録を終了するために、外科医１２０は、フットスイッチ１０４を解放する。外科医１２０は、たとえば患者１２２のアイデンティティを有するタイムスタンプなどの識別細目を記載するメニュー項目へのヘッドジェスチャによって、あるいは音声制御を介して、名前を割り当てる。いくつかの実施形態において、システム１００は、既知の技術を用いて、スナップショットまたはＧＩＦに自動的に名前を割り当てる。ＧＩＦは、メモリ１１８Ｄ（図１Ｂ）に格納され、後に再呼出しされ、適宜、個別スクリーンに、またはメニュー項目を選択することによってＰＩＰ内に表示され得る。
システム１００がアクティブ化されると、外科医１２０は、カメラヘッド１１０が正しく配置された時のみ患者の目の周囲で重なる同軸／赤目照明光線を利用して、設計位置に近付くようにカメラヘッド１１０を手動で配置してよい。外科医１２０は、その後、カメラヘッド１１０の位置を正しい作動距離に自動的に微調整するようにシステムに命令してよい。コンピュータ１１８は、高解像度カメラ１４０Ａおよび１４０Ｂを術野１２４の関心エリアより上の適当な高さまで自動的に持ち上げ、すなわち、機械アームコントローラ１１８Ｇは、ｚ軸モータを操作し、コントローラ１１８Ｈは、画像内で患者の目が中心となるようにＸＹモータを操作し、カメラ１４０Ａおよび１４０Ｂのレンズを公称シャッタ、フォーカス、およびズーム値に設定し、照明システムコントローラ１１８Ｉは、照明システム１１４を前眼部設定に制御する。
システム１００は、後の使用のためにシステム設定を保存するように構成され得る。外科処置が完了した後、外科医１２０は、タッチスクリーン１０８を介してシステム設定を編集し、今後の使用のためにその設定に名前を付けてよい。設定は、「デフォルト設定」に優先してよく、または後に、ＨＭＤ１０２上のメニューを介して表示されるメニュー項目として出現してよい。タッチスクリーン１０８は、外科医１２０が、ＨＭＤ１０２を介して後に表示される任意の保存設定を選択することを可能にする。
いくつかの実施形態において、システム１００は、ＨＭＤ１０２を身に着ける時、外科医１２０を識別する。たとえば外科医１２０または看護士などのユーザは、既存の外科医リストから外科医１２０を選択し、リスト内の各外科医は、上述したように、事前構成された設定のセットと関連する。システム１００は、たとえば音声認識などの任意の適当な技術を用いて、または、たとえば外科医１２０の目の取得画像と過去に取得された画像とを比較するためにＨＭＤ１２０と統合されたアイトラッカカメラを用いるなど、生体データを用いて、外科医１２０を自動的に識別する。外科医１２０が正しく識別されると、システム１００は、外科医１２０と関連する事前構成された設定で構成される。
同様に、いくつかの実施形態において、システム１００は、患者１２２が、予定された外科処置に対応することを検証するために、患者１２２の目のリアルタイム画像と、（おそらく）患者１２２に関して取得された術前画像とを自動的に比較する。これは、たとえば、誤りをなくし、外科医が使用している術前データが患者１２２に属すること、および適切な目に対して適切な外科処置が行われていることを確認するためである。システム１００は、使用されている術前データと、患者１２２に関して取得された生画像ストリームとの任意の不一致を、外科医１２０に警告する。
いくつかの実施形態において、システム１００は、外科処置の開始時、間中、または終了時のいずれかに、外科医１２０にチェックリストを表示する。外科医１２０は、実行されたアクションである項目をチェックリストから手動でチェックしてよく、またはシステム１００は、これらのアクションの実行を検出し、自動的にリストから項目をチェックしてよい。チェックリストは、各外科医のためにカスタマイズされてよく、上述したように、外科医１２０を識別すると表示され得る。チェックリストは、サイドスクリーンに、またはリアルタイム画像内のＰＩＰとして表示されてよく、外科医は、それをオンにするかオフにするかを選択してよい。いくつかの実施形態において、コンピュータ１１８（図１Ｂ）は、外科医１２０がＦＯＶ全体を見ることを可能にするためにＨＭＤ１０２を正しく配置する上で外科医１２０を支援するために、ＨＭＤ１０２を介してセンタリング記号を表示する。たとえば、センタリング記号は、フレーム、またはＦＯＶの境界を示す他の適当な記号であってよい。記号は、外科医１２０が最初にＨＭＤ１０２を身に着けた時、ＨＭＤが静止状態の後に動かされた際にＨＭＤトラッカによって検出された時、または（任意のＵＩ方法を介した）ユーザコマンドごとに、ＨＭＤ１０２が動き、または位置ずれした場合、自動的に表示され得る。ＨＭＤ１０２が、ディスプレイの瞳孔間距離（ＩＰＤ）を変更する能力を備える場合、この特徴は、ＩＰＤが正確に設定されたかの検証を支援し、必要に応じて調整してもよい。
いくつかの実施形態において、システム１００は、３Ｄデジタル顕微鏡における重なり合わない画像に関する影響を検出し補正する。この問題は、カメラが設計作動距離にない物体を捕捉し、外科医がレンズフォーカスモータを用いてフォーカスを設定する場合に生じる。これが発生すると、２つのカメラ１４０Ａおよび１４０Ｂ（図１Ｅ）によって生成された画像は完全には重なり合わない。これらの画像が、ディスプレイ１３０Ａおよび１３０Ｂ（図１Ｃ）を介して外科医１２０の両目にストリーミングされた場合、眼精疲労をもたらし得る。画像の重なり合う部分は、それらが空間内の同じ方向から到来するかのようには表示されない。外科医１２０は、自身の脳が２つの画像を単一の３Ｄ画像に合併するように、目を細めなければならない。
この状況はたとえば２つの２Ｄ画像の重複部分の境界を計算するための画像処理を用いることによって、または、フォーカスモータの状態から実際の作動距離を導出するために較正データを用いることによって、自動的に検出され得る。各カメラレンズのフォーカスモータ状態は、対応する事前較正された作動距離を有する。実際の作動距離と設計作動距離とを比較することによって、この不一致が計算され、考慮され得る。
１つの解決策は、２つの画像をシフトし、黒色バーを有する画像の損失部分を埋めることである。このようにすると、外科医１２０の両目は、画像の重なり合う部分を同じ方向から生じるものとして見、重なり合わないＦＯＶの両端部は、各々が片方の目のみに見える（ただし、表示画像が黒色エリアを備える場合、ディスプレイユニットは、ディスプレイの対応するエリアにおいて一切発光しない）。
ここで、全体として、開示される技術に従って構成され動作可能な、カメラの実際の作動距離と設計作動距離との不一致によって生じる重なり合わない画像に関する補正効果のための技術を示す図８Ａ～８Ｂが参照される。図８Ａは、実際の作動距離８０２と設計作動距離８０４との不一致を示す、光学セットアップ８００を示す。不一致の結果、それぞれ直線２８および１１で表された、カメラ１４０Ａおよび１４０Ｂ（図１Ｅ）によって取得された画像は、位置がずれ、完全に重なり合わないので、画像は、異なる方向から生じているかのように見える。
図８Ｂを参照すると、カメラ１４０Ａおよび１４０Ｂによって取得された画像のシフト、および補正の結果が示される。グリッド８１０は、外科医１２０の左目に表示される、カメラ１４０Ａによって取得された画像の数値描写を示し、グリッド８１２は、外科医１２０の右目に表示される、カメラ１４０Ｂによって取得された画像の数値描写を示す。カメラ１４０Ａおよび１４０Ｂに関する実際の作動距離と設計距離との不一致によって、グリッド８１０の右端２列は、グリッド８１２には含まれず、グリッド８１２の左端２列は、グリッド８１０には含まれない。図８Ａに戻ると、２８と示された、カメラ１４０Ｂによって取得された画像に対応する直線と重なり合わない、カメラ１４０Ａによって取得された画像に対応する直線のエンドポイントは、グリッド８１２に含まれないグリッド８１０の右上角部に対応する。１１と示された、カメラ１４０Ａによって取得された画像に対応する直線と重なり合わない、カメラ１４０Ｂによって取得された画像に対応する直線のエンドポイントは、グリッド８１０に含まれないグリッド８１２の左上角部に対応する。
この不一致を補正するために、グリッド８１０は、グリッド８１４として示すように１列右へシフトされ、グリッド８１２は、グリッド８１６として示すように１列左へシフトされる。グリッド８１４の左端列８１４Ａは、画像のこの部分が外科医１２０に表示されないために黒く塗りつぶされ、グリッド８１６の右端列８１６Ａは、画像のこの部分が外科医１２０に表示されないために黒く塗りつぶされる。グリッド８１８は、外科医１２０の両目に見える、両方のグリッド８１０および８１２の重なり合う特徴を中央（白色背景）に示す。灰色背景で示された左端列８１８Ａは、外科医１２０の右目のみに見え、灰色背景で示された右端列８１８Ｂは、外科医１２０の左目のみに見える。
上述したシフト技術は、カメラ１４０Ａおよび１４０Ｂのフォーカスが調整される間、継続的に行われ得る。あるいは、シフト技術は、フォーカス調整の完了時、たとえばフットスイッチ１０４の有効化ペダルが解放された時のみ行われ得る。この場合、シフト技術は、外科医１２０が表示画像における急激な変化を経験しないように、短期間、たとえば数秒間にわたり徐々に行われる。外科医１２０は、ＵＩ１６０を介して、シフト技術をオンまたはオフに切り換え、その期間を設定してよい。図８Ｂの例において、結合画像は、独立した画像の各々と同じ倍率を有することに留意する。ただし、これは必須ではなく、グリッド８１８によって表された結合画像が撮像ＦＯＶ全体を備えるように、倍率はある程度低減され得る。たとえば、結合画像の数値表現は、各取得画像の全列を含んでおり、左端の列は、（左上端のグリッドエントリとして番号１１を有する）グリッド８１２の左端の列に対応し右端の列は、（上端グリッドエントリとして番号２８を有する）グリッド８１０の右端の列に対応する。実際上、このオプションが適用された場合、ユーザがフォーカスを変更すると、ズームもわずかに変化する。
いくつかのシナリオにおいて、重なり合わない画像が生じ得る。シフト技術を用いる補正を必要とする１つのそのようなシナリオは、外科医１２０がカメラヘッド１１０を概ね設計作動距離に配置する手順の開始時に起こる。外科医１２０は、照明システム１１４の２つの投光照明によって発生する２つの光のスポットが重なり合うまで、手術部位の上のカメラヘッド１１０内に収容されたカメラ１４０Ａおよび１４０Ｂの高さを手動で調整し得る。これらの光は、設計作動距離において重なり合うように設計され得る。カメラヘッド１１０が完全に設計作動距離に位置しない場合、カメラ１４０Ａおよび１４０Ｂによって生成されディスプレイ１３０Ａおよび１３０Ｂを介して外科医１２０の両目に投影された画像は、図８Ｂにおいて上述したように、完全に重なり合わない。
ここで、全体として、開示される技術の実施形態に従って構成され動作可能な、様々な作動距離における図８Ａの光学システム８００を示す図８Ｃ～８Ｅが参照される。図８Ｃ～８Ｅの頂部線８２０は、左カメラ１４０Ａ（図１Ｅ）によって捕捉されディスプレイ１３０Ａ（図１Ｃ）によって表示された画像を示し、図８Ｃ～８Ｅの底部線８２２は、右カメラ１４０Ｂ（図１Ｅ）によって捕捉されディスプレイ１３０Ｂ（図１Ｃ）によって表示された画像を示す。図８Ｃ～８Ｅの破線８２４は、物体平面を示す。カメラ１４０Ａおよび１４０Ｂの位置決めにおける誤差は、例示のために誇張されている。図８Ｃは、設計作動距離に位置するカメラを有する光学システム８００を示す。したがって、実際の作動距離と設計作動距離との間に不一致はない。この構成によって取得された画像は、重複線８２０および８２２によって示すように完全に重なり合うためにシフトを必要としない。
図８Ｄを参照すると、設計作動距離より下に位置し、実際の作動距離と設計作動距離との間の不一致をもたらすカメラ１４０Ａおよび１４０Ｂ（図１Ｅ）を有する光学システム８００が示される。この不一致の結果として、カメラ１４０Ａおよび１４０Ｂの各々によって取得され、それぞれディスプレイ１３０Ａおよび１３０Ｂを介して表示された画像は、完全に重なり合わない。左カメラ１４０Ａによって取得されディスプレイ１３０Ａによって表示された画像を示す直線８２０は、右カメラ１４０Ｂによって取得されディスプレイ１３０Ｂを介して表示された画像を示す直線８２２と完全に重なり合わない。その結果、２つの画像内の重なり合う部分は、異なる方向から生じているように出現し、ユーザの左目および右目は、脳内で結合された３Ｄ画像を生成しようとして細められる。これは、たとえば上述したシフト技術を用いることなどによって画像が補正されない限り、眼精疲労をもたらし得る。
図８Ｅを参照すると、設計作動距離より上に位置し、実際の作動距離と設計作動距離との間の不一致をもたらすカメラ１４０Ａおよび１４０Ｂを有する光学システム８００が示される。この不一致の結果として、カメラ１４０Ａおよび１４０Ｂの各々によって取得された画像は完全に重なり合わない。左カメラ１４０Ａによって取得されディスプレイ１３０Ａによって表示された画像を示す直線８２０は、右カメラ１４０Ｂによって取得されディスプレイ１３０Ｂによって表示された画像を示す直線８２２と重なり合わない。上述したように、シフト技術を適用しない場合、脳内で結合された３Ｄ画像を生成しようとして左目および右目が細められ、眼精疲労をもたらす。
いくつかの実施形態において、たとえばシステム１００がカメラヘッド１１０の高さを制御するためのｚ軸モータを含む場合、ＵＩ１６０は、カメラヘッド１１０の高さを設計作動距離に自動的に調整するために、初期化オプション、すなわち「初期」または「ホーム」メニュー項目を提示する。システム１００が、カメラヘッド１１０の高さを制御するためのＺモータを有して構成されていない実施形態において、コンピュータは、実際の作動距離と設計作動距離との間の不一致を決定するために画像処理技術を適用し、不一致が許容閾値よりも大きい場合、外科医１２０に、距離を手動で調整するように通知する。たとえば、ＵＩ１６０は、上下いずれかに、どの程度、すなわち何センチメートルまたは何インチ、高さを調整するかを外科医１２０にガイドするメッセージを表示する。ただし、外科医１２０は、たとえば撮像ＦＯＶを増加させるために、設計作動距離とは異なる距離で作業し続けることを選択してよい（下側は、ＦＯＶの全てではなく画像が重なり合う部分のみで３Ｄで見えている）。
シフト技術を用いる補正を必要とする他のシナリオは、カメラ１４０Ａおよび１４０Ｂが設計作動距離に適切に位置する時、外科医１２０が、焦点面を変更するためにカメラ１４０Ａおよび１４０Ｂに統合されたレンズフォーカスモータを用いる場合である。たとえば、外科医１２０が前眼部および後眼部モード間で切り換え、または同じモード内で異なる平面にフォーカスする時、カメラ１４０Ａおよび１４０Ｂによって取得された画像間の不一致は、眼精疲労をもたらすほどに大きくなり得る。そのような場合、カメラ１４０Ａおよび１４０Ｂによって取得された画像を一致させ、外科医１２０が経験する眼精疲労を軽減するために、上述したシフト技術が適用され得る。
ここで、開示される技術の実施形態に従って構成され動作可能な、２つの異なる焦点面８３０および８３２にフォーカスするように構成された図８Ａの光学システム８００を示す図８Ｆが参照される。設計作動距離は、破線８３４によって示される。焦点面８３０は、設計作動距離８３４の上に位置し、焦点面８３２は、設計作動距離８３４の下に位置する。頂部線８３６は、左カメラ１４０Ａによって捕捉されディスプレイ１３０Ａを介して表示された画像を表し、底部線８３８は、右カメラ１４０Ｂによって捕捉されディスプレイ１３０Ｂを介して表示された画像を表す。頂部線８３６は、底部線８３８に対して左へシフトした状態で示され、本明細書で説明されるシフト技術を用いて補正され得る、２つの取得画像間の不一致を示す。焦点面８３２と同様に、頂部線８４０は、左カメラ１４０Ａによって捕捉されディスプレイ１３０Ａを介して表示された画像を表し、底部線８４２は、右カメラ１４０Ｂによって捕捉されディスプレイ１３０Ｂを介して表示された画像を表す。頂部線８４０は、底部線８４２に対して右へシフトした状態で示され、カメラ１４０Ａおよび１４０Ｂが焦点面８３２に調整された時の２つの取得画像間の不一致を示す。この不一致もまた、本明細書で説明されるシフト技術を用いて補正され得る。
上述した実施形態において、シフトは、外科医の両目が前方に視線を向けている時に快適な立体視を可能にするために行われた。いくつかの実施形態において、システム１００は、２つの表示画像間の不一致を意図的に生成するように構成され得る。シフトの量は、システム１００の各ユーザに固有に合わせられ得る。表示画像は、水平、垂直、またはその両方にシフトされ得る。シフトは、外科医の両目の各々に固有であってよい。このシフト特徴は、斜位（すなわち両目のずれ）を経験する外科医の眼精疲労を軽減するために有用であり得る。シフトの量および方向は、頭部の向きに依存する斜位状態の場合、（トラッカによって示されるような）頭部の向きの関数として変化するように構成され得る。
いくつかの実施形態において、ユーザ固有シフトは、１回の較正プロセス中に構成されてよく、システム１００の後の使用に関して自動的に実施されるようにユーザごとに保存され得る。任意選択的に、外科医は、外科処置中にシフト特性を調整してよい。任意選択的に、頭部の向きに基づくシフトは、段階的に、かつ所定の期間、ＨＭＤ１０２の装着者の頭部の向きが変化しなかった後にのみ行われる。これは、何人かのユーザを妨害し得る、他の機能を有効化するためのヘッドジェスチャの実行に応答する表示画像のシフトを防ぐためである。場合によっては、表示画像は、視線方向（たとえば垂直視線方向）において起こり得る斜位依存を補正するために不均一にシフトされ得る。たとえば、斜位が垂直視線方向に依存する場合、シフトは、画像の上部から下部へ連続的に（必ずしも線形的にではなく）変化し得る。任意選択的に、ＨＭＤ１０２がＨＭＤ光学系のフォーカスの変更を有効化する場合、シフトの量および方向は、フォーカスに依存してよい。ただし、フォーカス依存のシフトは、斜位を示さないユーザに関しても実施され得る。上述したシフトは、後述するように、補正を必要とし得る両眼競合効果を生じることもある。ここで、本明細書で説明されるシフト技術の適用後、ＨＭＤ１０２を介して表示される画像を示す図８Ｇ～８Ｉが参照される。シフトの効果は、明確性のために誇張されている。図８Ｇは、カメラ１４０Ａによって取得された２Ｄ生画像８５０を示す。２Ｄ生画像８５０は、生画像８５０の左端に表示された黒色境界線８５２によって示すように、本明細書で説明されるシフト技術に従って右へシフトされている。図８Ｈは、カメラ１４０Ｂによって取得された２Ｄ生画像８５４を示す。２Ｄ生画像８５４は、生画像８５４の右端に表示された黒色境界線８５６によって示すように、本明細書で説明されるシフト技術に従って左へシフトされている。
シフト技術によって実行されたシフト量が著しい場合、両眼競合効果が生じ得る。図８Ｉを参照すると、３Ｄ生画像８５８の表現が示される。画像８５８は、図８Ｇの２Ｄ生画像８５０と図８Ｈの生画像８５４との組み合わせである。範囲８６４は、画像８５０および８５４の両方から作成され、それぞれディスプレイ１３０Ａおよび１３０Ｂの両方によって表示された画像８５８の部分を示す。画像８５８の範囲８６６は、画像８５４のみから作成され、ディスプレイ１３０Ｂのみによって表示された画像８５８の部分を示し、画像８５８の範囲８６８は、画像８５０のみから作成され、ディスプレイ１３０Ａのみによって表示された画像８５８の部分を示す。脳は、それぞれ画像８５０および８５４の黒色境界線８５２および８５６を補正して、外科医１２０に、破線８６０および８６２によって描かれたエリアの輝度における著しいコントラストを見させ、画像８５８の輝度は半分に急降下する。画像８５８の中間エリア（範囲８６４）はディスプレイ１３０Ａおよび１３０Ｂの両方によって表示されるが、画像８５８の左端（範囲８６６）はディスプレイ１３０Ｂのみによって表示され、画像８５８の右端（範囲８６８）はディスプレイ１３０Ａのみによって表示される。１つの解決策は、「欠けた端部」、すなわちそれぞれ８５２および８５６の付近のエリアにおいて、画像８５０および８５４の両方の輝度を徐々に低減し、直線８６６および８６８によって描かれたエリアの輝度における著しいコントラストをなくすことである。線形勾配は脳によって検出可能であり得るため、輝度の低減は、非線形勾配を辿り得る。
ここで、開示される技術の他の実施形態に従って構成され動作可能な、ヘッドアップディスプレイシステムを制御するための方法の概略図である図９が参照される。
手順９００において、外科処置の術野が照明され、照明された外科処置の少なくとも１つの画像が取得される。図１Ａを参照すると、頭部装着型ディスプレイシステム１００の照明システム１１４は、術野１２４を照明する。カメラシステム１１２は、照明された術野１２４の少なくとも１つの画像を取得する。
手順９０２において、頭部装着型ディスプレイを介して、外科処置に関する少なくとも１つの画像が外科医に表示される。画像は、カメラシステム１１２を介して取得されリアルタイムで表示された少なくとも１つの画像、事前に取得された術前画像、またはたとえばメニュー、オーバレイなどのＵＩ１６０に関する画像のいずれかであってよい。図１Ａを参照すると、頭部装着型ディスプレイ１０２を介して少なくとも１つの画像が表示される。
手順９０４において、ヘッドジェスチャ入力は、足部運動入力と関連して受信される。図２Ａを参照すると、ヘッドトラッカ１６２は、外科医１２０（図１Ａ）によるヘッドジェスチャ入力を受信し、フットスイッチ１０４は、外科医１２０からの足部運動入力を受信する。コンピュータ１１８は、足部運動入力と関連してヘッドジェスチャ入力を受信する。
手順９０６において、頭部装着型ディスプレイシステムが第１のシステムモードである時、頭部装着型ディスプレイシステムにおいて第１のアクションを行い、頭部装着型ディスプレイシステムが第２のシステムモードである時、頭部装着型ディスプレイシステムにおいて第２のアクションを行うために、足部運動入力と関連して受信されたヘッドジェスチャ入力が適用される。図２Ｂを参照すると、コンピュータ１１８は、システムモードがノーマルである時、ズームアウトアクション２４０を行い、システムモードが術前に設定されている時、スクロールアクション２４２を行うために、足部運動入力と関連して受信されたヘッドジェスチャ入力を適用する。
いくつかの実施形態において、第１および第２のアクションは、頭部装着型ディスプレイのディスプレイモジュールに結合されたシャッタを制御することのいずれかを備え、シャッタが開いている場合、ディスプレイモジュールは少なくとも部分的に透明であり、シャッタが閉じている場合、ディスプレイモジュールは実質的に不透明である。図１Ｃを参照すると、シャッタ１３２は、頭部装着型ディスプレイ１０２のディスプレイモジュール１３０と共に構成される。
他の実施形態において、第１および第２のアクションは、頭部装着型ディスプレイを介して表示された画像を制御すること、カメラシステムを制御すること、照明システムを制御すること、カメラヘッド位置決め器を制御することのいずれかを備える。図２Ａを参照すると、コンピュータ１１８（図１Ｂ）は、ＵＩ出力１６０Ｂの構成要素を制御するためにＵＩ入力１６０Ａを介して受信された入力を適用し、すなわち、コンピュータ１１８は、カメラシステム１１２、照明システム１１４、ＨＭＤ１０２を介してディスプレイモジュール１３０に表示された画像、およびカメラヘッド位置決め器１１１またはロボットアームの１つを制御する。
いくつかの実施形態において、頭部装着型ディスプレイを介して表示された画像を制御することは、生フィードビデオ、ＶＧＳビデオ、および術前ｉＯＣＴビデオから成るグループから画像を選択すること、ズームインおよびズームアウトすること、少なくとも２つの仮想スクリーン間でスクロールすること、ピクチャインピクチャ（ＰＩＰ）を表示すること、生画像の上にオーバレイを表示すること、画像をセンタリングすること、メニューを表示すること、メニューをナビゲートすること、および画像の関心領域を制御することのいずれかを備える。頭部装着型ディスプレイを介して表示された画像の特性は、たとえばデジタルまたは光学的になど、任意の適当な技術に従って制御され得る。
いくつかの実施形態において、カメラシステムを制御することは、カメラシステムの１または複数の光または電気特性を制御することを備える。たとえば、画像を取得するためのカメラが選択されてよく、カメラシステムの位置および向きが制御され得る。図１Ｅを参照すると、コンピュータ１１８（図１Ｂ）は、高解像度カメラ１４０Ａおよび１４０Ｂ、ＩＲカメラ１４８、およびｉＯＣＴスキャナ１４２のいずれかを選択する。図１Ａを参照すると、コンピュータ１１８は、カメラヘッド位置決め器１１１を介してカメラシステム１１２の位置および向きを制御する。
いくつかの実施形態において、照明システムを制御することは、複数の照明器の少なくとも１つを選択すること、強度設定を選択すること、フィルタを選択すること、および上記照明システムの位置および向きを制御することのいずれかを備える。図１Ｆを参照すると、コンピュータ１１８（図１Ｂ）は、白色投光照明１５０、ＩＲ投光照明１５２、および同軸光１５４Ａおよび１５４Ｂのいずれかを選択する。図１Ａを参照すると、コンピュータ１１８は、カメラヘッド位置決め器１１１を介して照明システム１１４の位置および向きを制御する。
手順９０８において、外科医による音声コマンドが検出される。音声コマンドは、頭部装着型ディスプレイシステムを制御するために適用される。図１Ｄを参照すると、コンピュータ１１８（図１Ｂ）は、マイクロフォン１３８を介して外科医１２０（図１Ａ）による音声コマンドを受信する。コンピュータ１１８は、頭部装着型ディスプレイシステム１００を制御するために、音声コマンドを適用する。
手順９１０において、外科医による眼部運動が検出され、眼部運動は、頭部装着型ディスプレイシステムを制御するために適用される。図１Ｃを参照すると、アイトラッキング部品１３６は、外科医１２０の眼部運動を追跡し、トランシーバ１０２Ｂおよび１１８Ｂを介してコンピュータ１１８（図１Ｂ）へ眼部運動を提供する。
手順９１２において、第１のシステムモードから第２のシステムモードへ切り換えるためにヘッドジェスチャ入力が適用される。図２Ａ～２Ｂを参照すると、コンピュータ１１８は、バイタルシステムモード２４４へ切り換えるために、ＵＩ入力１６０Ａを介して受信したヘッドジェスチャ入力を適用する。いくつかの実施形態において、コンピュータ１１８は、モードを切り換えるために、足部運動入力と関連して受信されたヘッドジェスチャ入力を適用する。
いくつかの実施形態において、画像は、頭部装着型ディスプレイシステムが第１のシステムモードである時、頭部装着型ディスプレイを介してディスプレイ固定状態で表示される。画像は、頭部装着型ディスプレイシステムが第２のシステムモードである時、頭部装着型ディスプレイを介して複数の仮想スクリーンの１つに世界固定状態で表示され、第２のアクションは、複数の仮想スクリーンをスクロールする。図５Ａを参照すると、ディスプレイ固定状態が示される。外科医１２０に表示されたビデオは、彼が前方（５００）から３０度左（５０２）へ視線を動かした時、変化しない。図５Ｂを参照すると、世界固定状態が示される。外科医１２０に表示されたビデオは、彼が右に５度（５０４）から右に２５度（５０６）へ視線を動かした時、変化する。視野を埋めるコンテンツは、仮想スクリーンが手術室内の固定された物体であるかのようにシフトする。
いくつかの実施形態において、頭部装着型ディスプレイの視野の第１の領域は、第１のシステムモードに対応し、頭部装着型ディスプレイの視野の第２の領域は、第２のシステムモードに対応する。第１のシステムモードから第２のシステムモードへ切り換えるために適用されるヘッドジェスチャ入力は、外科医の視線を第２の領域に一致させる。図３Ａを参照すると、視野の中心にある領域３０２は、ノーマルシステムモードに対応し、領域３０２の左側にある領域３０６は、術前システムモードに対応する。外科医１２０は、自身の視線を領域３０２から領域３０６へ動かすことによって、システムモードを切り換えてよい。
いくつかの実施形態において、メニューは、頭部装着型ディスプレイに表示された画像上にオーバレイされた状態で表示される。メニューは、頭部装着型ディスプレイの視野の第１の領域において第１のシステムモードに関する第１のメニュー項目を表示し、頭部装着型ディスプレイの視野の第２の領域においてオーバレイされた第２のシステムモードに関する第２のメニュー項目を表示する。第１のシステムモードから第２のシステムモードへ切り換えるために適用されるヘッドジェスチャ入力は、外科医の視線を上記第２のメニュー項目に一致させる。図４Ａ～４Ｃを参照すると、メニュー４００は、外科処置のビデオ上にオーバレイされた状態で示される。メニュー４００は、複数のメニュー項目４０２、４０４、４０６、４０８、４１０、および４１２を含む。外科医１２０は、メニュー項目間で自身の視線を動かすことによって、たとえば図４Ａにおいて強調されたメニュー項目４０２から図４Ｂにおいて強調されたメニュー項目４１０へ、システムモードを切り換えてよい。
当業者には、開示される技術が、上記で具体的に示され説明されたものに限定されないことが理解される。正しくは、開示される技術の範囲は、以下に示す特許請求の範囲によってのみ定められる。

Claims (16)

  1. 異なるシステムモードにおいて同じユーザ入力への異なるシステム応答を可能にする、外科用途における使用のための頭部装着型ディスプレイシステム（１００）であって、前記頭部装着型ディスプレイシステム（１００）は、
    外科医によって装着されるように構成された頭部装着型ディスプレイ（１０２）と、
    前記外科医によるヘッドジェスチャ入力を追跡するように構成されたトラッカ（１６２）と、
    前記外科医による足部運動入力を検出するように構成されたフットスイッチ（１０４）と、
    前記頭部装着型ディスプレイ（１０２）、前記トラッカ（１６２）、および前記フットスイッチ（１０４）に結合されたコンピュータ（１１８）であって、前記コンピュータは、
    前記頭部装着型ディスプレイ（１０２）を介して外科処置に関する画像を表示することと、
    前記トラッカ（１６２）からのヘッドジェスチャ入力を受信することと、
    前記ヘッドジェスチャ入力と関連して、前記フットスイッチ（１０４）からの足部運動入力を受信することと、
    前記頭部装着型ディスプレイシステム（１００）が第１のシステムモードにある時に、前記頭部装着型ディスプレイシステム（１００）において第１のアクションを行い、前記頭部装着型ディスプレイシステム（１００）が第２のシステムモードにある時に、前記頭部装着型ディスプレイシステム（１００）において、前記第１のアクションとは異なる第２のアクションを行うために、前記足部運動入力と関連して受信されたヘッドジェスチャ入力を適用することであって、前記第１のシステムモードおよび前記第２のシステムモードの両方において、前記ヘッドジェスチャ入力は前記頭部装着型ディスプレイシステム（１００）を制御し、前記ヘッドジェスチャ入力および前記足部運動入力は、前記第１のシステムモードおよび前記第２のシステムモードにおいて同じであることと、
    を行うように構成される、コンピュータと、
    を備える、頭部装着型ディスプレイシステム。
  2. 前記トラッカ（１６２）は、前記頭部装着型ディスプレイ（１０２）を追跡することによって前記ヘッドジェスチャ入力を追跡するように構成される、請求項１に記載の頭部装着型ディスプレイシステム。
  3. 前記頭部装着型ディスプレイシステム（１００）は、前記頭部装着型ディスプレイ（１０２）に結合されたシャッタ（１３２）を更に備え、前記シャッタ（１３２）が開いている場合、前記頭部装着型ディスプレイ（１０２）は少なくとも部分的に透明であり、前記シャッタ（１３２）が閉じている場合、前記頭部装着型ディスプレイ（１０２）は不透明である、請求項１に記載の頭部装着型ディスプレイシステム。
  4. 前記第１のアクションおよび前記第２のアクションの１つは、前記シャッタ（１３２）を制御する、請求項３に記載の頭部装着型ディスプレイシステム。
  5. 前記画像を取得するように構成されたカメラシステム（１１２）と、前記カメラシステム（１１２）と共に動作するように構成された照明システム（１１４）と、カメラヘッド位置決め器（１１１）およびロボットアームから成るグループから選択された位置決め機構とを更に備える、請求項１に記載の頭部装着型ディスプレイシステム。
  6. 前記第１のアクションおよび前記第２のアクションのうちの少なくとも１つは、
    前記頭部装着型ディスプレイ（１０２）を介して表示される前記画像の特性を制御すること、
    前記カメラシステム（１１２）を制御すること、
    前記照明システム（１１４）を制御すること、および
    前記位置決め機構を制御すること
    から成るグループから選択される、請求項５に記載の頭部装着型ディスプレイシステム。
  7. 前記頭部装着型ディスプレイ（１００）を介して表示される前記画像の前記特性を制御することは、前記画像のコンテンツを選択すること、ズームインおよびズームアウトすること、少なくとも２つの仮想スクリーン間でスクロールすること、ピクチャインピクチャ（ＰＩＰ）を表示すること、生画像の上にオーバレイを表示すること、前記画像をセンタリングすること、メニューを表示すること、メニューをナビゲートすること、および前記画像の関心領域を制御することから成るグループから選択されたアクションを備える、請求項６に記載の頭部装着型ディスプレイシステム。
  8. 前記コンピュータ（１１８）は更に、前記頭部装着型ディスプレイ（１０２）において前記画像上にオーバレイされたメニューを表示するように構成され、前記コンピュータ（１１８）は、前記第１のシステムモードにおいて第１のメニューを表示し、前記第２のシステムモードにおいて第２のメニューを表示する、請求項１に記載の頭部装着型ディスプレイシステム。
  9. 異なるシステムモードにおいて同じユーザ入力への異なるシステム応答を可能にする、外科システムにおける使用のための頭部装着型ディスプレイシステム（１００）とインタラクトするための方法であって、前記方法は、
    頭部装着型ディスプレイ（１０２）を装着している外科医に対し、前記頭部装着型ディスプレイ（１０２）を介して外科処置に関する画像を表示することと、
    フットスイッチ（１０４）からの前記外科医による足部運動入力と関連して、ヘッドトラッカ（１６２）からの前記外科医によるヘッドジェスチャ入力を受信することと、
    前記頭部装着型ディスプレイシステム（１００）が第１のシステムモードにある時に、前記頭部装着型ディスプレイシステム（１００）において第１のアクションを行い、前記頭部装着型ディスプレイシステムが第２のシステムモードにある時に、前記頭部装着型ディスプレイシステム（１００）において第２のアクションを行うために、前記足部運動入力と関連して受信されたヘッドジェスチャ入力を適用することであって、前記第１のアクションは前記第２のアクションと異なり、前記第１のシステムモードおよび前記第２のシステムモードの両方において、前記ヘッドジェスチャ入力は前記頭部装着型ディスプレイシステム（１００）を制御し、前記ヘッドジェスチャ入力および前記足部運動入力は、前記第１のシステムモードおよび前記第２のシステムモードにおいて同じであることと、
    を備える、方法。
  10. 前記第１のアクションおよび前記第２のアクションのいずれかは、前記頭部装着型ディスプレイ（１０２）に結合されたシャッタ（１３２）を制御することを備え、前記シャッタ（１３２）が開いている場合、前記頭部装着型ディスプレイ（１０２）は透明であり、前記シャッタ（１３２）が閉じている場合、前記頭部装着型ディスプレイ（１０２）は不透明である、請求項９に記載の方法。
  11. 前記頭部装着型ディスプレイシステム（１００）と共に構成された照明システム（１１４）で術野（１２４）を照明することと、前記頭部装着型ディスプレイシステム（１００）と共に構成されたカメラシステム（１１２）を用いて照明された術野（１２４）の画像を取得することとを更に備える、請求項９に記載の方法。
  12. カメラヘッド位置決め器（１１１）およびロボットアームから成るグループから選択された位置決め機構を介して、前記画像を取得するために前記カメラシステム（１１２）の位置を制御することを更に備える、請求項１１に記載の方法。
  13. 前記第１のアクションおよび前記第２のアクションのうちの少なくとも１つは、
    前記頭部装着型ディスプレイ（１０２）を介して表示される前記画像の特性を制御すること、
    前記カメラシステム（１１２）を制御すること、
    前記照明システム（１１４）を制御すること、および
    前記位置決め機構を制御すること
    から成るグループから選択される、請求項１２に記載の方法。
  14. 前記頭部装着型ディスプレイ（１０２）を介して表示される前記画像の前記特性を制御することは、前記画像のコンテンツを選択すること、ズームインおよびズームアウトすること、少なくとも２つの仮想スクリーン間でスクロールすること、ピクチャインピクチャ（ＰＩＰ）を表示すること、および生画像の上にオーバレイを表示することから成るグループから選択されたアクションを備える、請求項１３に記載の方法。
  15. 前記カメラシステム（１１２）を制御することは、前記画像を取得するためのカメラ（１４０Ａ、１４０Ｂ）を選択すること、および前記カメラシステム（１１２）の位置および向きを制御することから成るグループから選択されたアクションを行うことを備える、請求項１３に記載の方法。
  16. 前記方法は、前記頭部装着型ディスプレイにおいて前記画像上にオーバレイされたメニューを表示することを更に備え、前記表示することは、前記第１のシステムモードにおいて第１のメニューを表示することと、前記第２のシステムモードにおいて第２のメニューを表示することとを備える、請求項９に記載の方法。
JP2021547986A 2018-10-25 2019-10-27 頭部装着型ディスプレイシステムのためのｕｉ Active JP7367041B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862750276P 2018-10-25 2018-10-25
US62/750,276 2018-10-25
US201962857834P 2019-06-06 2019-06-06
US62/857,834 2019-06-06
PCT/IL2019/051155 WO2020084625A1 (en) 2018-10-25 2019-10-27 Ui for head mounted display system

Publications (2)

Publication Number Publication Date
JP2022509460A JP2022509460A (ja) 2022-01-20
JP7367041B2 true JP7367041B2 (ja) 2023-10-23

Family

ID=80120454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021547986A Active JP7367041B2 (ja) 2018-10-25 2019-10-27 頭部装着型ディスプレイシステムのためのｕｉ

Country Status (1)

Country Link
JP (1) JP7367041B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
JP2015192697A (ja) 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
WO2018067611A1 (en) 2016-10-03 2018-04-12 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095666A (ja) * 1995-06-15 1997-01-10 Olympus Optical Co Ltd 頭部装着型映像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
JP2015192697A (ja) 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
WO2018067611A1 (en) 2016-10-03 2018-04-12 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery

Also Published As

Publication number Publication date
JP2022509460A (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
US11989930B2 (en) UI for head mounted display system
US10895742B2 (en) Microsurgery system for displaying in real time magnified digital image sequences of an operated area
US11832901B2 (en) Surgical suite integration and optimization
US20230255446A1 (en) Surgical visualization systems and displays
EP4353177A2 (en) A graphical user interface for use in a surgical navigation system with a robot arm
US6847336B1 (en) Selectively controllable heads-up display system
JP6774367B2 (ja) ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム
JP7179895B2 (ja) 硝子体網膜手術中のスキャン像の制御
CN104869922A (zh) 用于与眼部外科手术操作台一起使用的可佩戴用户接口
US11094283B2 (en) Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system
US20220331038A1 (en) User interface for controlling a surgical system
JP2023539962A (ja) リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法
JP2018107603A (ja) センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具
US20170045728A1 (en) Systems and methods for an optical system with an adjustable projected focal plane
CA3117533A1 (en) Ui for head mounted display system
US20230404699A1 (en) System for a Microscope System and Corresponding Method and Computer Program
JP7367041B2 (ja) 頭部装着型ディスプレイシステムのためのｕｉ
WO2018087977A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2018143587A (ja) 眼科用観察装置及びその作動方法
JP2018143586A (ja) 眼科用観察装置及びその作動方法
WO2021116846A1 (en) Control system for an endoscopic device and method of controlling an endoscopy system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20210621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7367041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150