JP7442444B2 - Augmented reality activation of the device - Google Patents

Augmented reality activation of the device Download PDF

Info

Publication number
JP7442444B2
JP7442444B2 JP2020524549A JP2020524549A JP7442444B2 JP 7442444 B2 JP7442444 B2 JP 7442444B2 JP 2020524549 A JP2020524549 A JP 2020524549A JP 2020524549 A JP2020524549 A JP 2020524549A JP 7442444 B2 JP7442444 B2 JP 7442444B2
Authority
JP
Japan
Prior art keywords
medical device
medical
augmented reality
activation
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020524549A
Other languages
Japanese (ja)
Other versions
JP2021501653A (en
Inventor
モリー ララ フレックスマン
アトゥル グプタ
アシシュ パンセ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021501653A publication Critical patent/JP2021501653A/en
Application granted granted Critical
Publication of JP7442444B2 publication Critical patent/JP7442444B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/24—Heart valves ; Vascular valves, e.g. venous valves; Heart implants, e.g. passive devices for improving the function of the native valve or the heart muscle; Transmyocardial revascularisation [TMR] devices; Valves implantable in the body
    • A61F2/2427—Devices for manipulating or deploying heart valves during implantation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/95—Instruments specially adapted for placement or removal of stents or stent-grafts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M25/0113—Mechanical advancing means, e.g. catheter dispensers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/09—Guide wires
    • A61M25/09041—Mechanisms for insertion of guide wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、広くは医療処置の間における拡張現実装置の使用に関する。特に、本開示は医療処置の間における拡張現実装置、医療装置及び／又は追加の拡張現実装置による動作を起動するための該拡張現実装置による医療器具及び／又は器具識別子の認識に関する。 TECHNICAL FIELD This disclosure relates generally to the use of augmented reality devices during medical procedures. In particular, the present disclosure relates to the recognition of medical instruments and/or instrument identifiers by an augmented reality device to initiate operations by the augmented reality device, the medical device, and/or additional augmented reality devices during a medical procedure.

医療撮像システムとの相互作用（対話）は、現在の処、医療撮像システムの操作者が次の行為又はステップを決定することを課されることを含む。例えば、医療処置に使用されている医療撮像システムと医療器具（例えば、ガイドワイヤ、カテーテル、ステント、血管内超音波（ＩＶＵＳ）カテーテル、弁、ドリル等）との間には現在のところ、しばしば密な関連が存在し、これによれば、操作者は当該医療処置の間における撮像を容易化するために当該医療撮像システムを医療器具に基づいて構成（設定）することができる。例えば、撮像するＩＶＵＳカテーテルに関連させて超音波撮像システムの種々のフィーチャ（例えば、ナビゲーションフィーチャ）を利用するために、該超音波撮像システムの種々のフィーチャをＩＶＵＳカテーテルに基づいてカスタマイズすることができる。 Interaction with a medical imaging system currently involves an operator of the medical imaging system being tasked with determining the next action or step. For example, there are currently often no close connections between medical imaging systems and medical instruments (e.g., guidewires, catheters, stents, intravascular ultrasound (IVUS) catheters, valves, drills, etc.) used in medical procedures. An association exists whereby an operator can configure the medical imaging system based on the medical instrument to facilitate imaging during the medical procedure. For example, various features of the ultrasound imaging system can be customized based on the IVUS catheter to utilize various features of the ultrasound imaging system (e.g., navigation features) in conjunction with the imaging IVUS catheter. .

操作者が医療撮像システムを医療器具に基づいてカスタマイズすることは、医療処置の全範囲内では小さな過程であるが、それでも、当該医療処置の作業の流れは該小さな過程により中断される。 Although an operator's customization of a medical imaging system based on a medical device is a small step within the overall scope of a medical procedure, the workflow of the medical procedure is still interrupted by the small step.

拡張現実（ＡＲ）とは、一般的に、装置がコンピュータにより発生された追加の情報で補足された生の画像ストリームを表示することを指す。更に詳細には、上記生の画像ストリームは、目、カメラ、スマートフォン、タブレット等を介してのものとすることができ、メガネ、コンタクトレンズ、投影又は当該生画像ストリーム装置（例えば、スマートフォン、タブレット等）上を介してのＡＲユーザに対する表示により増強される。本開示の発明は、拡張現実装置、医療装置及び／又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く医療器具及び／又は器具識別子の物体認識を前提とするもので、これにより、当該医療器具が関わる医療処置の作業の流れの如何なる中断も最小にするものである。 Augmented reality (AR) generally refers to a device displaying a live image stream supplemented with additional computer-generated information. More particularly, said raw image stream may be via an eye, a camera, a smartphone, a tablet, etc., and may be via glasses, contact lenses, a projection or said raw image stream device (e.g., a smartphone, tablet, etc.). ) is augmented by display to the AR user via the top. The disclosed invention is premised on object recognition of medical instruments and/or instrument identifiers that serve as triggers for medical procedure actions by an augmented reality device, a medical device, and/or an additional augmented reality device, thereby: Any disruption to the workflow of a medical procedure involving the medical device shall be minimized.

本開示の発明の一実施態様は、医療器具及び／又は該医療器具に関連付けられた器具識別子に基づいて拡張現実起動方法を実施する拡張現実起動システムである。該拡張現実起動システムは、主拡張現実装置及び起動動作コントローラを有する。動作時において、前記主拡張現実装置は現実世界のカメラ画像を発生し、該カメラ画像は任意の所与の時点において前記医療器具及び／又は前記器具識別子を含み得又は含まないこともあり得る。前記起動動作コントローラは、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生を認識するよう構成されると共に、更に前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生の当該起動動作コントローラによる認識に応答して、前記主拡張現実装置及び／又は医療装置による医療処置動作を起動するように構成される。 One embodiment of the disclosed invention is an augmented reality activation system that implements an augmented reality activation method based on a medical device and/or an instrument identifier associated with the medical device. The augmented reality activation system includes a main augmented reality device and an activation operation controller. In operation, the primary augmented reality device generates a camera image of the real world, which may or may not include the medical instrument and/or the instrument identifier at any given time. The activation motion controller is configured to recognize the generation of the real-world camera image including the medical device and/or the device identifier by the primary augmented reality device, and further configured to recognize the generation of the real-world camera image including the medical device and/or the device identifier by the primary augmented reality device. and/or configured to activate a medical procedure operation by the primary augmented reality device and/or medical device in response to recognition by the activation operation controller of an occurrence of the real-world camera image including the instrument identifier. .

前記起動動作コントローラは、前記主拡張現実装置内に拡張現実コントローラに統合され若しくは該拡張現実コントローラから分離されたコントローラ又は前記主拡張現実装置の補助コントローラとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置することができる。 The activation motion controller may be located within the main augmented reality device as a controller integrated with or separate from the augmented reality controller or as an auxiliary controller of the main augmented reality device, or alternatively. , in communication with the main augmented reality device and thereby receive camera images of the real world (eg, the medical device, a workstation or an additional augmented reality device).

本開示の発明の第２実施態様において、前記起動動作コントローラは、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む現実世界のカメラ画像の発生を認識するように構成された医療器具認識モジュールを含むと共に、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生の前記医療器具認識モジュールによる認識に応答して前記主拡張現実装置及び／又は前記医療装置による医療処置動作を起動するように構成された医療装置起動モジュールを更に含む。 In a second embodiment of the disclosed invention, the activation motion controller is configured to recognize the generation of a real-world camera image including the medical instrument and/or the instrument identifier by the primary augmented reality device. an instrument recognition module, and in response to recognition by the medical instrument recognition module of an occurrence of the real-world camera image including the medical instrument and/or the instrument identifier by the principal augmented reality device; and/or further comprising a medical device activation module configured to activate medical treatment operations by the medical device.

前記医療器具認識モジュールは、前記主拡張現実装置内に前記拡張現実コントローラ若しくは前記主拡張現実装置の補助コントローラにより実行可能なモジュールとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置される実行可能なモジュールとすることができる。 The medical instrument recognition module may be located within the main augmented reality device as a module executable by the augmented reality controller or an auxiliary controller of the main augmented reality device, or alternatively, It may be an executable module installed in another device (eg, the medical device, a workstation, or an additional augmented reality device) that communicates with and thereby receives the real-world camera images.

前記医療装置起動モジュールは、前記主拡張現実装置内に前記拡張現実主コントローラ若しくは前記主拡張現実装置の補助コントローラにより実行可能なモジュールとして設置することができるか、又は、代わりに、前記医療器具認識モジュールと通信して、前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の前記主拡張現実装置による発生の前記医療器具認識モジュールによる認識の通知を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置される実行可能なモジュールとすることができる。 The medical device activation module may be located within the main augmented reality device as a module executable by the augmented reality main controller or an auxiliary controller of the main augmented reality device, or alternatively the medical device recognition module Another device (e.g., It may be an executable module installed on the medical device, workstation or additional augmented reality device.

本開示の発明の第３実施態様において、前記拡張現実起動方法は、前記起動動作コントローラが前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む現実世界のカメラ画像の発生を認識するステップを有すると共に、更に、前記起動動作コントローラが、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生の前記起動動作コントローラによる認識に応答して、前記主拡張現実装置及び／又は前記医療装置による医療処置動作を起動するステップを有する。 In a third embodiment of the disclosed invention, the augmented reality activation method is characterized in that the activation operation controller recognizes generation of a real-world camera image including the medical instrument and/or the instrument identifier by the main augmented reality device. and further comprising the step of: the activation motion controller being responsive to recognition by the activation motion controller of an occurrence by the primary augmented reality device of the real-world camera image including the medical instrument and/or the instrument identifier; activating a medical treatment operation by the main augmented reality device and/or the medical device.

この場合も、前記起動動作コントローラは、前記主拡張現実装置内に拡張現実主コントローラに統合され若しくは該拡張現実主コントローラから分離されたコントローラ又は前記主拡張現実装置の補助コントローラとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置することができる。 In this case as well, the activation operation controller may be installed in the main augmented reality device as a controller integrated with the main augmented reality controller or separate from the main augmented reality controller, or as an auxiliary controller of the main augmented reality device. or, alternatively, located in another device (e.g., the medical device, workstation or additional augmented reality device) that communicates with the main augmented reality device and thereby receives the real-world camera images. be able to.

本開示の発明を説明及び請求項に記載する目的で、
（１）“医療処置（medical procedure）”なる用語は、患者の身体構造の撮像、診断及び／又は治療のための、本開示の当業技術において知られた及び以下に想定される全ての処置（手順）を広く含む。
（２）“医療器具（medical tool）”なる用語は、医療処置の間に使用される本開示の当業技術において知られた全ての器具を広く含む。医療器具の例は、これらに限定されるものではないが、ガイドワイヤ、カテーテル（例えば、ＩＶＵＳカテーテル及びバルーンカテーテル）、弁、ステント、超音波トランスジューサ（ＴＥＥ、ＴＴＥ）、ドリル及び内視鏡を含む。
（３）“医療システム（medical system）”なる用語は、１以上の医療処置を実施するための本開示の当業技術において既知の及び以下で想定される全ての医療システムを広く含む。医療システムの例は、これらに限られるものではないが、介入Ｘ線システム（固定システム、移動システム、ハイブリッドＯＲ）、超音波システム、患者監視システム、造影剤注入システム、診断撮像システム（Ｘ線、ＣＴ、ＰＥＴ、ＭＲＩ）を含む。
（４）“医療装置（medical device）”なる用語は、医療システム内に動作（例えば、作動させる、撮像する、追跡する、ナビゲーションする等）を制御するために組み込まれ及び／又は医療器具（若しくは複数の医療器具）の動作に関連する、本開示の当業技術において既知の及び以下で想定される全ての医療装置を広く含む。医療装置の例は、限定されるものではないが、撮像装置（例えば、Ｘ線装置、超音波装置、コンピュータトモグラフィ装置、磁気共鳴撮像装置等）、追跡装置（例えば、電磁追跡装置、光学追跡装置、形状感知追跡装置等）、ロボット装置（例えば、ヘビ型ロボット、球型ＲＣＭロボット等）及び監視装置（例えば、心電図モニタ）を含む。
（５）“拡張現実起動方法”なる用語は、本開示に例示的に記載される拡張現実装置、医療装置及び／又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具及び／又は器具識別子の物体認識に向けられた、本開示の発明原理を組み込んだ全ての手順を広く含む。
（６）“拡張現実起動システム”なる用語は、本開示に例示的に記載される拡張現実装置、医療装置及び／又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具及び／又は器具識別子の物体認識を含む、本開示の発明原理を組み込んだ全ての医療システムを広く含む。
（７）“拡張現実装置”なる用語は、現実世界のカメラ画像に基づく現実世界表示上に仮想物体（又は複数の物体）をオーバーレイ表示する拡張現実を実施する、本開示の当業技術で既知の及び以下で想定される全ての装置を広く含む。拡張現実装置の例は、これらに限定されるものではないが、拡張現実頭部装着（ヘッドマウント）ディスプレイ（例えば、GOOGLE GLASSTM(R)、HOLOLENS(R)、MAGIC LEAP(R)、VUSIX(R)及びMETA(R)）を含む。
（８）“カメラ画像”なる用語は、拡張現実装置の部品として組み込まれたカメラ又は等価な装置により発生された現実世界の像の画像又はビデオを広く含む。
（９）“物体認識”なる用語は、カメラ画像内の物体を認識するための、本開示の当業技術において既知の及び以下で想定される全ての技術を広く含む。
（10）“医療処置動作を起動する”なる語句及び該語句の時制は、医療処置の術前ステップ（又は複数のステップ）及び／又は術中ステップ（又は複数のステップ）を支援する動作を可能化及び／又は指令するための、特には、拡張現実装置又は医療装置の構成指令、信号可能化／不能化（変調されない及び変調された）及び／又は機能呼び出し（ファンクションコール）のための、本開示の当業技術において既知の及び以下で想定される全ての技術を広く含む。
（11）“コントローラ”なる用語は、本開示に例示的に記載された本開示の種々の発明原理の適用を制御するためのアプリケーション固有の主基板又はアプリケーション固有の集積回路の、本開示の当業技術において理解され且つ本開示に例示的に記載された全ての構成を広く含む。当該コントローラの構成は、限定されるものではないが、プロセッサ、コンピュータ使用可能な／コンピュータ読取可能な記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺装置コントローラ、スロット及びポートを含むことができる。コントローラは、拡張現実装置、医療装置及び／又はワークステーションに収容することができ又はリンクすることができる。“ワークステーション”の例は、限定されるものではないが、独立型計算システム、クライアントコンピュータ、サーバシステム、デスクトップ、ラップトップ又はタブレットの形の１以上の計算装置、ディスプレイ／モニタ及び１以上の入力装置（例えば、キーボード、ジョイスティック及びマウス）の組み立て体を含む。
（12）本明細書及び請求項に記載されるコントローラのための記述的ラベルは、本明細書及び請求項に記載されるコントローラの間の区別を、該“コントローラ”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
（13）“アプリケーションモジュール”なる用語は、特定のアプリケーションを実行するための、電子回路（例えば、電子部品及び／又はハードウェア）からなるコントローラに組み込まれた又はコントローラによりアクセス可能なアプリケーション及び／又は実行可能なプログラム（例えば、非一時的コンピュータ読取可能な媒体上に記憶された実行可能なソフトウェア及び／又はファームウエア）を広く含む。
（14）本明細書及び請求項に記載されるアプリケーションモジュールのための記述的ラベルは、本明細書及び請求項に記載されるアプリケーションモジュールの間の区別を、該“アプリケーションモジュール”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
（15）“信号”、“データ”及び“コマンド”なる用語は、本開示において後述される本開示の種々の発明原理の適用を助ける情報及び／又は命令を伝送するための、本開示の当業技術において理解され且つ本開示において例示的に記載される検出可能な物理量又はインパルスの全ての形態（例えば、電圧、電流又は磁場強度）を広く含む。本開示の種々の構成要素における信号／データ／コマンド通信は、限定されるものではないが、何らかのタイプの有線又は無線データリンクを介する信号／データ／コマンド送信／受信及びコンピュータ使用可能／コンピュータ読取可能な記憶媒体にアップロードされた信号／データ／コマンドの読み取りを含む、本開示の当業技術において既知の任意の通信方法を含むことができる。
（16）本明細書及び請求項に記載される信号／データ／コマンドのための記述的ラベルは、本明細書及び請求項に記載される信号／データ／コマンドの間の区別を、該“信号”、“データ”及び“コマンド”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。 For the purpose of describing and claiming the invention of this disclosure,
(1) The term "medical procedure" refers to all procedures known in the art and hereinafter contemplated for the imaging, diagnosis, and/or treatment of a patient's anatomy. It broadly includes (procedures).
(2) The term "medical tool" broadly includes all instruments known in the art of the present disclosure used during medical procedures. Examples of medical devices include, but are not limited to, guidewires, catheters (e.g., IVUS catheters and balloon catheters), valves, stents, ultrasound transducers (TEE, TTE), drills, and endoscopes. .
(3) The term "medical system" broadly includes all medical systems known in the art and hereinafter contemplated for performing one or more medical procedures of this disclosure. Examples of medical systems include, but are not limited to, interventional x-ray systems (fixed systems, mobile systems, hybrid OR), ultrasound systems, patient monitoring systems, contrast injection systems, diagnostic imaging systems (x-ray, CT, PET, MRI).
(4) The term "medical device" means a medical instrument (or This disclosure broadly includes all medical devices known in the art and hereinafter contemplated in connection with the operation of multiple medical devices. Examples of medical devices include, but are not limited to, imaging devices (e.g., x-ray devices, ultrasound devices, computer tomography devices, magnetic resonance imaging devices, etc.), tracking devices (e.g., electromagnetic tracking devices, optical tracking devices, etc.). devices, shape-sensing tracking devices, etc.), robotic devices (eg, snake robots, spherical RCM robots, etc.), and monitoring devices (eg, electrocardiogram monitors).
(5) The term “augmented reality activation method” refers to a real-world camera serving as a trigger for medical procedure operations by an augmented reality device, a medical device, and/or additional augmented reality devices exemplarily described in this disclosure. It broadly includes all procedures that incorporate the inventive principles of this disclosure that are directed to object recognition of medical instruments and/or instrument identifiers in images.
(6) The term “augmented reality activation system” refers to a real-world camera that serves as a trigger for medical procedure operations by an augmented reality device, a medical device, and/or additional augmented reality devices exemplarily described in this disclosure. It broadly includes all medical systems that incorporate the inventive principles of this disclosure, including object recognition of medical instruments and/or instrument identifiers within images.
(7) The term "augmented reality device" is a device known in the art of this disclosure that implements augmented reality that overlays a virtual object (or objects) on a real-world display based on camera images of the real world. broadly includes all devices envisaged below. Examples of augmented reality devices include, but are not limited to, augmented reality head-mounted displays (e.g., GOOGLE GLASSTM, HOLOLENS(R), MAGIC LEAP(R), VUSIX(R) ) and META(R)).
(8) The term "camera image" broadly includes images or videos of images of the real world produced by a camera or equivalent device incorporated as part of an augmented reality device.
(9) The term "object recognition" broadly includes all techniques known in the art and hereinafter contemplated for recognizing objects in camera images.
(10) The phrase "initiate a medical procedure action" and the tense of the phrase enable an action in support of a preoperative step (or steps) and/or an intraoperative step (or steps) of a medical procedure. and/or for commanding, in particular for commanding configuration, signal enabling/disabling (unmodulated and modulated) and/or function calls of an augmented reality device or a medical device. broadly includes all techniques known in the art and contemplated below.
(11) The term “controller” refers to an application-specific main board or an application-specific integrated circuit for controlling the application of the various inventive principles of this disclosure exemplarily described in this disclosure. It broadly includes all configurations as understood in the art and exemplarily described in this disclosure. The configuration of the controller may include, but is not limited to, a processor, a computer-usable/computer-readable storage medium, an operating system, application modules, peripheral device controllers, slots, and ports. The controller can be housed in or linked to an augmented reality device, a medical device, and/or a workstation. Examples of a "workstation" include, but are not limited to, a standalone computing system, a client computer, a server system, one or more computing devices in the form of a desktop, laptop, or tablet, a display/monitor, and one or more inputs. Includes an assembly of devices (eg, keyboard, joystick, and mouse).
(12) Descriptive labels for controllers described in this specification and claims shall not distinguish between controllers described in this specification and claims without adding any additional limitations to the term “controller.” facilitate without also specifying or including.
(13) The term “application module” refers to an application and/or that is incorporated into or accessible by a controller that consists of electronic circuitry (e.g., electronic components and/or hardware) for executing a particular application. Broadly includes executable programs (e.g., executable software and/or firmware stored on non-transitory computer-readable media).
(14) Descriptive labels for application modules described in this specification and claims shall be used to distinguish between application modules described in this specification and claims. Facilitates without specifying or including additional limitations.
(15) The terms "signal,""data," and "command" refer to the meaning of this disclosure for transmitting information and/or instructions that assist in applying the various inventive principles of this disclosure described later in this disclosure. It broadly includes all forms of detectable physical quantities or impulses (eg, voltage, current or magnetic field strength) as understood in the art and exemplarily described in this disclosure. Signal/data/command communication in the various components of the present disclosure may include, but is not limited to, signal/data/command sending/receiving and computer-usable/computer-readable communication over any type of wired or wireless data link. The present disclosure may include any communication method known in the art, including reading signals/data/commands uploaded to a storage medium.
(16) Descriptive labels for signals/data/commands described in this specification and claims shall distinguish between the signals/data/commands described in this specification and claims. ”, “data” and “command” without specifying or including any additional qualifications to the terms.

本開示の発明の上記及び他の実施態様並びに本開示の発明の種々の構成及び利点は、添付図面を参照して読まれる本開示の発明の種々の実施態様の後述する詳細な説明から更に明らかとなるであろう。尚、詳細な説明及び図面は、限定するというよりは本開示の発明の解説に過ぎず、本開示の発明の範囲は添付請求項及びその均等物によって定義されるものである。 These and other embodiments of the disclosed invention, as well as various features and advantages of the disclosed invention, will be further apparent from the following detailed description of various embodiments of the disclosed invention, read with reference to the accompanying drawings. It will be. It is to be understood that the detailed description and drawings are merely illustrative of the disclosed invention rather than limiting, the scope of the disclosed invention being defined by the appended claims and their equivalents.

図１は、本開示の発明原理による拡張現実起動システムの例示的実施態様を示す。FIG. 1 illustrates an exemplary implementation of an augmented reality activation system according to the inventive principles of the present disclosure. 図２Ａから図２Ｄは、本開示の発明原理による器具識別子の例示的実施態様を示す。2A-2D illustrate exemplary implementations of instrument identifiers in accordance with the inventive principles of the present disclosure. 図３Ａから図３Ｄは、本開示の発明原理による起動動作コントローラの例示的実施態様を示す。3A-3D illustrate an exemplary implementation of a startup motion controller in accordance with the inventive principles of the present disclosure. 図４は、本開示の発明原理による拡張現実起動方法の例示的実施態様を表すフローチャートを示す。FIG. 4 depicts a flowchart representing an exemplary implementation of an augmented reality activation method according to the inventive principles of the present disclosure. 図５Ａから図５Ｄは、本開示の発明原理による医療器具コンテンツ及び医療器具ホログラムの表示の例示的実施態様を示す。5A-5D illustrate example implementations of displaying medical device content and medical device holograms in accordance with the inventive principles of the present disclosure. 図６Ａ及び図６Ｂは、本開示の発明原理による撮像医療装置の例示的動作を示す。6A and 6B illustrate example operation of an imaging medical device according to the inventive principles of the present disclosure.

本開示の種々の発明の理解を容易にするために、図１の下記の説明は本開示の拡張現実起動システムに関連する基本的発明原理を教示する。この説明から、当業者であれば、本開示の発明原理を本開示の拡張現実起動システムの更なる実施態様を形成及び使用するためにどの様に適用するかを理解するであろう。 To facilitate understanding of the various inventions of this disclosure, the following description of FIG. 1 teaches basic inventive principles associated with the augmented reality activation system of this disclosure. From this description, those skilled in the art will understand how to apply the inventive principles of this disclosure to form and use further embodiments of the augmented reality activation system of this disclosure.

図１を参照すると、拡張現実起動システム１０は、医療器具２０及び／又は器具識別子２１に基づく本開示の拡張現実起動方法を実施するために主拡張現実（ＡＲ）装置３０及び起動動作コントローラ４０を使用する。通常、当該拡張現実起動方法は、本開示において更に説明されるように、主ＡＲ装置３０、Ｘ個の医療装置５０のうちの１以上（Ｘ≧１）及び／又は二次拡張現実装置１３０による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具２０及び／又は器具識別子２１の物体認識を行う。 Referring to FIG. 1, an augmented reality activation system 10 includes a main augmented reality (AR) device 30 and an activation operation controller 40 to implement the augmented reality activation method of the present disclosure based on a medical device 20 and/or an instrument identifier 21. use. Typically, the augmented reality activation method involves the primary AR device 30, one or more of the X medical devices 50 (X≧1), and/or the secondary augmented reality device 130, as further described in this disclosure. Object recognition of medical instruments 20 and/or instrument identifiers 21 in real-world camera images serves as a trigger for medical treatment actions.

依然として図１を参照すると、医療器具２０（例えば、ガイドワイヤ、カテーテル、弁、ステント等）は、本開示において更に例示的に説明されるように、医療器具２０及び／又は器具識別子２１を含む現実世界のカメラ画像内での主拡張現実装置３０による医療器具２０の認識を容易にするために器具識別子２１と関連付けられる。 Still referring to FIG. 1, a medical device 20 (e.g., a guidewire, catheter, valve, stent, etc.) may include a medical device 20 and/or a device identifier 21, as further exemplarily described in this disclosure. Associated with an instrument identifier 21 to facilitate recognition of the medical instrument 20 by the main augmented reality device 30 within the world camera image.

実際には、器具識別子２１は医療器具２０と、主拡張現実装置３０を介する医療器具２０の認識に適した何らかの態様で関連付けることができる。 In practice, the instrument identifier 21 may be associated with the medical instrument 20 in any manner suitable for recognition of the medical instrument 20 via the main augmented reality device 30.

一実施態様において、器具識別子２１は、例えば図２Ａに示されるような超音波プローブ２０ａの形状２１ａ又は事前成形されたカテーテルの形状等の、医療器具２０の形状として具現化することができる。 In one embodiment, the device identifier 21 may be embodied in the shape of the medical device 20, such as the shape 21a of an ultrasound probe 20a as shown in FIG. 2A or the shape of a pre-shaped catheter.

第２実施態様において、器具識別子２１は、例えば図２Ｂに示されるような医療器具２０ｂに取り付けられた器具ラベル２１ｂ等の医療器具２０上に取り付けられた器具ラベルとすることができ、及び／又は、代わりに、器具識別子２１は医療器具２０のパッケージ／収納容器上に取り付けられた器具ラベルとすることができる。実際には、当該器具ラベルは、医療器具２０又は医療器具２０のパッケージ／収納容器の標準的商用ラベル付け又はユーザ作製ラベル付けとすることができる。 In a second embodiment, the instrument identifier 21 may be an instrument label attached to the medical instrument 20, such as an instrument label 21b attached to the medical instrument 20b as shown in FIG. 2B, and/or , alternatively, the instrument identifier 21 may be an instrument label affixed to the package/container of the medical instrument 20. In practice, the device label may be standard commercial labeling or user-created labeling of the medical device 20 or the package/container of the medical device 20.

第３実施態様において、器具識別子２１は、例えば図２Ｃに示されるような医療器具２０ｃに取り付けられた顧客マーカ２１ｃ等の医療器具２０上に取り付けられた顧客マーカとすることができる。実際には、顧客マーカは医療器具２０を識別する目的でシステム１０の操作者のために作製されたマーカである。 In a third embodiment, the instrument identifier 21 may be a customer marker affixed to the medical instrument 20, such as a customer marker 21c affixed to the medical instrument 20c as shown in FIG. 2C. In reality, the customer marker is a marker created for the operator of the system 10 for the purpose of identifying the medical device 20.

第４実施態様において、器具識別子２１は、例えば図２Ｄに示されるような医療器具２０ｃには取り付けられていない顧客マーカ２１ｄ等の医療器具２０には取り付けられない顧客マーカとすることができる。この実施態様のために、当該顧客マーカは、医療器具２０を撮像、追跡又はナビゲーションするための医療器具２０の作動設定及び／又は医療装置５０の動作設定（例えば、幾何学構造又は医療器具２０を作動させるためのＸ線設定若しくは仮想スクリーン配置設定）を示すグラフィック及びテキストが印された理学手順カードとすることができる。更に詳細には、一群の斯様な理学手順カードを何らかの個々のケースのために事前に印刷することができ、医療処置の適切なステップにおいて技師は、該群の特注理学手順カードをめくり、各カード上のマーカを単に見ることにより当該医療処置の連続する各ステップを経て誘導され得る。 In a fourth embodiment, the instrument identifier 21 may be a customer marker that is not attached to the medical instrument 20, such as a customer marker 21d that is not attached to the medical instrument 20c as shown in FIG. 2D. For this embodiment, the customer marker may include operating settings of medical device 20 for imaging, tracking, or navigating medical device 20 and/or operating settings of medical device 50 (e.g., a geometric structure or The physical procedure card may be marked with graphics and text indicating the X-ray settings or virtual screen placement settings for activation. More particularly, a group of such physical procedure cards can be pre-printed for any individual case, and at the appropriate step of the medical procedure the technician flips through the group of custom physical procedure cards and prints each One can be guided through each successive step of the medical procedure by simply looking at the markers on the card.

図１に戻ると、各医療装置５０は、本開示の当業技術において既知の医療器具２０の医療器具２０の操作（例えば、作動させ、撮像し、追跡し、ナビゲーションし等）を制御し、及び／又は医療器具２０の操作に関連するように構成される。 Returning to FIG. 1, each medical device 50 controls the operation (e.g., actuates, images, tracks, navigates, etc.) of the medical device 20 of the medical device 20 as known in the art of the present disclosure; and/or configured in connection with the operation of medical device 20.

一実施態様において、医療装置５０は、医療処置の間に患者の解剖学的構造に対して医療器具２０を撮像し、取り扱い又は監視するための撮像装置（例えば、Ｘ線装置、超音波装置、コンピュータトモグラフィ装置、磁気共鳴撮像装置等）とすることができる。 In one embodiment, medical device 50 includes an imaging device (e.g., an x-ray device, an ultrasound device, computer tomography apparatus, magnetic resonance imaging apparatus, etc.).

第２実施態様において、医療装置５０は、医療処置の間に患者の解剖学的構造に対して医療器具２０の位置を追跡するための追跡装置（例えば、電磁追跡装置、光学追跡装置、形状感知追跡装置等）とすることができる。 In a second embodiment, medical device 50 includes a tracking device (e.g., an electromagnetic tracker, an optical tracker, a shape-sensing tracking devices, etc.).

第３実施態様において、医療装置５０は、医療処置の間に患者の解剖学的構造に対して医療器具２０をナビゲーションするためのロボット装置（例えば、蛇型ロボット、球状ＲＣＭロボット等）とすることができる。 In a third embodiment, the medical device 50 is a robotic device (e.g., a snake robot, a spherical RCM robot, etc.) for navigating the medical instrument 20 relative to the patient's anatomy during a medical procedure. I can do it.

第４実施態様において、医療装置５０は患者の１以上の状態を監視するための監視装置（例えば、心電図モニタ）とすることができる。 In a fourth embodiment, medical device 50 may be a monitoring device (eg, an electrocardiogram monitor) for monitoring one or more conditions of a patient.

依然として図１を参照すると、主拡張現実装置３０は本開示の当業技術において既知のように拡張現実ディスプレイ３１、拡張現実カメラ３２及び拡張現実コントローラ３３を使用する。実際には、１以上の拡張現実アプリケーションに従い、拡張現実コントローラ３３は、本開示の当業技術において既知のように拡張現実カメラ３２の動作を現実世界のカメラ画像を発生するように制御し、更に、拡張現実カメラ３２により発生される現実世界のカメラ画像の表示、現実世界の操作者の視覚又は他の装置（例えば、スマートフォン、タブレット等）により表示される現実世界の表示を介して拡張現実ディスプレイ３１による生の画像ストリームの拡張の表示を制御する。 Still referring to FIG. 1, the main augmented reality device 30 uses an augmented reality display 31, an augmented reality camera 32, and an augmented reality controller 33 as known in the art of this disclosure. In practice, in accordance with one or more augmented reality applications, augmented reality controller 33 controls the operation of augmented reality camera 32 to generate real-world camera images, as is known in the art of the present disclosure; , an augmented reality display via a display of a camera image of the real world generated by the augmented reality camera 32, an operator's vision of the real world, or a display of the real world displayed by another device (e.g., smartphone, tablet, etc.) 31 controls the display of the extension of the raw image stream.

同様に、二次拡張現実装置１３０は、本開示の当業技術において既知のように拡張現実ディスプレイ１３１、拡張現実カメラ１３２及び拡張現実コントローラ１３３を使用する。実際には、拡張現実コントローラ１３３は、本開示の当業技術において既知のように拡張現実カメラ１３２の動作を現実世界のカメラ画像を発生するように制御し、更に、拡張現実カメラ１３２により発生される現実世界のカメラ画像の表示、現実世界の操作者の視覚又は他の装置（例えば、スマートフォン、タブレット等）により表示される現実世界の表示を介して拡張現実ディスプレイ１３１による生の画像ストリームの拡張の表示を制御する。 Similarly, secondary augmented reality device 130 uses an augmented reality display 131, an augmented reality camera 132, and an augmented reality controller 133 as known in the art of this disclosure. In practice, augmented reality controller 133 controls the operation of augmented reality camera 132 to generate camera images of the real world, as is known in the art of the present disclosure, and further controls the operation of augmented reality camera 132 to generate camera images of the real world. Augmentation of the raw image stream by an augmented reality display 131 via display of real-world camera images, real-world operator vision, or real-world displays displayed by other devices (e.g., smartphones, tablets, etc.) control the display of

本開示において更に例示的に説明されるように、何のＡＲ装置が現実世界のカメラ画像内の医療器具２０及び／又は器具識別子２１の物体認識のために使用されるかを区別する目的のためだけに、拡張現実装置３０は本開示では主として指定される一方、拡張現実装置１３０は本開示では二次として指定されていることに注意されたい。 For the purpose of distinguishing which AR device is used for object recognition of a medical instrument 20 and/or instrument identifier 21 in a real-world camera image, as further exemplarily described in this disclosure. Note that augmented reality device 30 is designated as primary in this disclosure, while augmented reality device 130 is designated as secondary in this disclosure.

依然として図１を参照すると、起動動作コントローラ４０は医療器具認識モジュール４１及びＹ個の医療装置起動モジュール４２（Ｙ≧１）を使用する。通常、医療器具認識モジュール４１は本開示において更に例示的に説明されるように拡張現実カメラ３２により発生された現実世界のカメラ画像内の医療器具２０及び／又は器具識別子２１を認識するように構成される一方、各医療装置起動モジュール４２は、本開示において更に例示的に説明されるように、拡張現実カメラ３２により発生された現実世界のカメラ画像内の医療器具認識モジュール４１による医療器具２０及び／又は器具識別子２１の認識に応答して、主拡張現実装置３０、１以上の医療装置５０及び／又は二次拡張現実装置による医療処置動作を起動するように構成される。 Still referring to FIG. 1, the activation operation controller 40 uses a medical device recognition module 41 and Y medical device activation modules 42 (Y≧1). Typically, medical device recognition module 41 is configured to recognize medical device 20 and/or device identifier 21 within a real-world camera image generated by augmented reality camera 32 as further exemplarily described in this disclosure. While each medical device activation module 42 recognizes the medical device 20 and and/or configured to initiate medical treatment operations by the primary augmented reality device 30, one or more medical devices 50, and/or the secondary augmented reality device in response to recognition of the instrument identifier 21.

一実施態様において、起動動作コントローラ４０は、１以上のシステムバスを介して相互接続されたプロセッサ（又は複数のプロセッサ）、メモリ、ユーザインターフェース、ネットワークインターフェース及び記憶部を含む。 In one embodiment, startup operation controller 40 includes a processor (or processors), memory, a user interface, a network interface, and storage interconnected via one or more system buses.

各プロセッサは、メモリ若しくは記憶部に記憶された命令を実行し又はそれ以外でデータを処理することができる、本開示の当業技術において既知の又は以下で想定される任意のハードウェア装置とすることができる。限定するものでない例において、当該プロセッサは、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）又は他の同様のデバイスを含むことができる。 Each processor may be any hardware device known in the art or contemplated below that is capable of executing instructions stored in memory or storage or otherwise processing data. be able to. In non-limiting examples, the processor may include a microprocessor, field programmable gate array (FPGA), application specific integrated circuit (ASIC), or other similar device.

前記メモリは、これらに限定されるものではないがＬ１、Ｌ２若しくはＬ３キャッシュ又はシステムメモリを含む、本開示の当業者において既知の又は以下で想定される種々のメモリを含むことができる。限定するものでない例において、当該メモリはスタチックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）又は他の同様のメモリデバイスを含むことができる。 The memory may include a variety of memories known to those skilled in the art of this disclosure or contemplated below, including, but not limited to, L1, L2, or L3 cache or system memory. In non-limiting examples, the memory may include static random access memory (SRAM), dynamic RAM (DRAM), flash memory, read only memory (ROM), or other similar memory devices.

前記ユーザインターフェースは、管理者等のユーザとの通信を可能にするための、本開示の当業技術において既知の又は以下で想定される１以上の装置を含むことができる。限定するものでない例において、該ユーザインターフェースは前記ネットワークインターフェースを介して遠隔端末に提示することができるコマンドラインインターフェース又はグラフィックユーザインターフェースを含むことができる。 The user interface may include one or more devices known in the art or contemplated below to enable communication with users, such as administrators. In non-limiting examples, the user interface may include a command line interface or a graphical user interface that may be presented to a remote terminal via the network interface.

前記ネットワークインターフェースは、他のハードウェア装置との通信を可能にするための、本開示の当業技術において既知の又は以下で想定される１以上の装置を含むことができる。限定するものでない例において、該ネットワークインターフェースは、イーサネットプロトコルに従って通信するように構成されたネットワークインターフェースカード（ＮＩＣ）を含むことができる。更に、該ネットワークインターフェースはTCP/IPプロトコルに従う通信のためのTCP/IPスタックを実施化することができる。当該ネットワークインターフェースのための種々の代替的又は付加的ハードウェア又は構成は明らかであろう。 The network interface may include one or more devices known in the art or contemplated below for this disclosure to enable communication with other hardware devices. In a non-limiting example, the network interface can include a network interface card (NIC) configured to communicate according to an Ethernet protocol. Further, the network interface may implement a TCP/IP stack for communication according to the TCP/IP protocol. Various alternative or additional hardware or configurations for the network interface will be apparent.

前記記憶部は、これらに限定されるものではないがリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置又は同様の記憶媒体を含む、本開示の当業技術において既知の又は以下で想定される１以上のマシン読取可能な記憶媒体を含むことができる。種々の限定するものでない実施態様において、該記憶部は前記プロセッサによる実行のための命令又は該プロセッサが演算を行うデータを記憶することができる。例えば、該記憶部は当該ハードウェアの種々の基本動作を制御するための基本オペレーティングシステムを記憶することができる。該記憶部は、本開示において更に説明するように、医療器具認識モジュール４１及び医療装置起動モジュール４２を起動動作コントローラ４０の種々の機能を果たすための実行可能なソフトウェア／ファームウエアの形で記憶する。 The storage unit includes, but is not limited to, read-only memory (ROM), random access memory (RAM), magnetic disk storage medium, optical storage medium, flash memory device, or similar storage medium, according to the present disclosure. may include one or more machine-readable storage media known in the art or contemplated below. In various non-limiting embodiments, the storage unit can store instructions for execution by the processor or data on which the processor operates. For example, the storage unit can store a basic operating system for controlling various basic operations of the hardware. The storage stores a medical device recognition module 41 and a medical device activation module 42 in the form of executable software/firmware for performing various functions of the activation operation controller 40, as further described in this disclosure. .

実際の場合、起動動作コントローラ４０は主拡張現実装置３０内に、例えば、図３Ａに示されるように主拡張現実装置３０ａ内への起動動作コントローラ４０ａのインストール又は図３Ｂに示されるように主拡張現実装置３０ｂ内への医療器具認識（ＭＴＲ）モジュール４１及び医療装置起動（ＭＴＤ）モジュール（又は複数のモジュール）４２のプログラミング／インストール等の様に、インストールすることができる。 In a practical case, the activation operation controller 40 is installed within the main augmented reality device 30, for example, the installation of the activation operation controller 40a within the main augmented reality device 30a as shown in FIG. 3A or the main augmentation controller 40 as shown in FIG. 3B. Installation may be performed, such as programming/installation of a medical device recognition (MTR) module 41 and a medical device activation (MTD) module (or modules) 42 into the physical device 30b.

他の例として、起動動作コントローラ４０はワークステーション内に、例えば、図３Ｄに示されるように主拡張現実装置３０との有線／無線接続を有するワークステーション６０ａ内への起動動作コントローラ４０ｂのインストール、又は図３Ｃに示されるように主拡張現実装置３０内への医療器具認識（ＭＴＲ）モジュール４１のプログラミング／インストール及びワークステーション６０ｂ内への医療装置起動（ＭＤＴ）モジュール（又は複数のモジュール）４２のプログラミング／インストール等の様に、部分的に若しくは完全にインストールすることができる。 As another example, the launch motion controller 40 may be installed within a workstation, e.g., the launch motion controller 40b may be installed within a workstation 60a having a wired/wireless connection with the main augmented reality device 30 as shown in FIG. 3D; or programming/installation of a medical device recognition (MTR) module 41 into the main augmented reality device 30 and a medical device activation (MDT) module (or modules) 42 into the workstation 60b as shown in FIG. 3C. It can be partially or fully installed, such as programming/installation.

１以上の医療装置起動（ＭＤＴ）モジュール４２を、医療装置５０内に同時に又は代わりにプログラミング／インストールすることもできる。 One or more medical device activation (MDT) modules 42 may also be programmed/installed within the medical device 50 simultaneously or alternatively.

本開示の種々の発明の更なる理解を進めるために、図４に関する下記の説明は本開示の拡張現実起動方法に関連する基本的発明原理を教示する。この説明から、当業者であれば、本開示の拡張現実起動方法の更なる実施態様を形成及び使用するために本開示の発明原理をどの様に適用するかを理解するであろう。 To advance a further understanding of the various inventions of the present disclosure, the following discussion with respect to FIG. 4 teaches basic inventive principles associated with the augmented reality activation method of the present disclosure. From this description, those skilled in the art will understand how to apply the inventive principles of the present disclosure to form and use further embodiments of the disclosed augmented reality activation method.

図４を参照すると、図４のフローチャートは、図１の医療器具認識モジュール４１及び医療装置起動モジュール（又は複数のモジュール）４２により実行可能な本開示の拡張現実起動方法を表すものである。 Referring to FIG. 4, the flowchart of FIG. 4 is representative of an augmented reality activation method of the present disclosure that may be performed by medical device recognition module 41 and medical device activation module (or modules) 42 of FIG.

図１及び図４を参照すると、フローチャート７０のステージＳ７２はＡＲカメラ３２が現実世界８０のカメラ画像１８０のフィード１３２を発生するステップを含む。任意の所与の時点において、ＡＲカメラ３２は、図示されるように医療器具２０及び器具識別子２１を除く現実世界８０のカメラ画像１８０ａを発生しているか、又は図示されるように医療器具２０及び／又は器具識別子２１を含む現実世界８０のカメラ画像１８０ｂを発生していることがあり得る。 1 and 4, stage S72 of flowchart 70 includes the step of AR camera 32 generating a feed 132 of camera images 180 of real world 80. Referring to FIGS. At any given time, the AR camera 32 is generating a camera image 180a of the real world 80 excluding the medical device 20 and the device identifier 21 as shown, or the medical device 20 and the device identifier 21 as shown. and/or may have generated a camera image 180b of the real world 80 that includes the instrument identifier 21.

実際の場合、医療器具認識モジュール４１は、本開示の当業技術において既知のように、物体認識技術に従って医療器具２０及び／又は器具識別子２１を含む現実世界８０のカメラ画像１８０ｂ内の医療器具２０及び／又は器具識別子２１を識別するように構成される。 In the actual case, the medical device recognition module 41 identifies the medical device 20 in the camera image 180b of the real world 80 including the medical device 20 and/or the device identifier 21 according to object recognition techniques, as is known in the art of the present disclosure. and/or configured to identify the instrument identifier 21 .

一実施態様において、医療器具認識モジュール４１は、外観ベースの、モデルベースの若しくはフィーチャベースの技術を用いる照合（マッチング）、学習又はパターン認識アルゴリズムに基づく物体認識技術に従ってデジタル画像又はビデオ内の特定の物体を識別するように構成される。このような技術は、特徴抽出及び機械学習モデル、ディープラーニングモデル（例えば、通常のニューラルネットワーク）、単語の袋モデル、勾配ベース及び微分ベースのマッチング方法、テンプレートマッチング、及び／又は画像分割及びブロブ解析を組み込むことができる。 In one embodiment, the medical device recognition module 41 identifies specific objects within a digital image or video according to object recognition techniques based on matching, learning or pattern recognition algorithms using appearance-based, model-based or feature-based techniques. configured to identify objects. Such techniques include feature extraction and machine learning models, deep learning models (e.g. regular neural networks), bag of words models, gradient-based and derivative-based matching methods, template matching, and/or image segmentation and blob analysis. can be incorporated.

現実世界８０のカメラ画像１８０ｂ内の医療器具２０及び／又は器具識別子２１の認識に応答するものとして、フローチャート７０のステージＳ７４は、各医療装置起動モジュール４２が主拡張現実装置３０、二次拡張現実装置１３０（適用可能なら）及び／又は１以上の医療装置５０による医療処置動作を起動するステップを含む。 In response to the recognition of the medical device 20 and/or device identifier 21 in the camera image 180b of the real world 80, stage S74 of the flowchart 70 indicates that each medical device activation module 42 activates the primary augmented reality device 30, the secondary augmented reality device 30, activating medical treatment operations by device 130 (if applicable) and/or one or more medical devices 50;

実際には、各医療装置起動モジュール４２は、基本プログラミング技術に従って、主拡張現実装置３０、二次拡張現実装置１３０（適用可能なら）及び／又は１以上の医療装置５０の構成（設定）、信号の可能化／不能化（変調されていない及び変調された）及び／又は機能呼び出し（ファンクションコール）を指令するように構成される。 In practice, each medical device activation module 42 configures, signals, and configures the primary augmented reality device 30, the secondary augmented reality device 130 (if applicable), and/or one or more medical devices 50 according to basic programming techniques. The controller is configured to enable/disable (unmodulated and modulated) and/or command a function call.

一実施態様においては、図５Ａに例示されるように、医療装置起動モジュール４２は主拡張現実装置３０内に事前に記憶された又は主拡張現実装置３０にモジュール４２若しくは他のコンテンツ源を介して通知された医療器具コンテンツ２２を表示するために主拡張現実装置３０に対してコマンド１４２ａを送出することができる。 In one embodiment, as illustrated in FIG. 5A, the medical device activation module 42 is pre-stored within the main augmented reality device 30 or sent to the main augmented reality device 30 via the module 42 or other content source. A command 142a may be sent to the primary augmented reality device 30 to display the notified medical device content 22.

実際の場合、医療器具コンテンツ２２は医療器具２０に関する任意のタイプのコンテンツとすることができる。医療器具コンテンツ２２の例は：
１．ＡＲディスプレイ３１上の医療器具のオーバーレイ；
２．医療器具２０の入力フィード；
３．医療器具２０の説明；
４．医療器具２０を操作するための使用説明；
５．医療器具２０に関連する何らかの警告（例えば、期限切れ警告、リコール警告、撮像適合性／非適合性及び患者のタイプの推奨等）；
６．医療器具２０の通常の及び特別な使用ケース、特に、現医療処置に関係する医療器具２０の過去のケースの条件；
７．計画のための医療器具２０に関する検索結果へのリンク（例えば、公開文献、記事、ビデオ等）；及び
８．医療器具２０の価格の表示及び現処置のために一層安価な類似の医療器具が利用可能であるかの指示情報；
を含む。 In practice, medical device content 22 may be any type of content related to medical device 20. Examples of medical device content 22 are:
1. Overlay of medical instruments on AR display 31;
2. input feed of medical device 20;
3. Description of the medical device 20;
4. Instructions for operating the medical device 20;
5. any warnings associated with the medical device 20 (e.g., expiration warnings, recall warnings, imaging compatibility/incompatibility and patient type recommendations, etc.);
6. the conditions of normal and special use cases of the medical device 20, especially past cases of the medical device 20 related to the current medical procedure;
7. 8. Links to search results regarding medical devices 20 for planning (e.g., published literature, articles, videos, etc.); and 8. an indication of the price of the medical device 20 and an indication of the availability of similar, less expensive medical devices for the current procedure;
including.

これらの例に関し、医療装置起動モジュール４２は、更に、在庫管理の目的で現医療処置の間において当該医療器具２０の使用の記録も制御する。 For these examples, the medical device activation module 42 also controls the recording of the use of the medical device 20 during the current medical procedure for inventory control purposes.

更に、医療装置起動モジュール４２は医療器具コンテンツ２２の聴覚フィードバック情報も供給することができる。 Additionally, medical device activation module 42 may also provide auditory feedback information for medical device content 22 .

同時に又は代わりに、医療装置起動モジュール４２は二次拡張現実装置１３０内に事前に記憶された又は二次拡張現実装置１３０にモジュール４２若しくは他のコンテンツ源を介して通知された医療器具コンテンツ２２を表示するために二次拡張現実装置１３０に対してコマンド１４２ｂを送出することができ、及び／又は図５Ｃに例示されるように、医療装置起動モジュール４２は医療装置５０内に事前に記憶された又は医療装置５０にモジュール４２若しくは他のコンテンツ源を介して通知された医療器具コンテンツ２２を装置のディスプレイ５１を介して表示するために医療装置５０に対してコマンド１４２ｃを送出することができる。 At the same time, or in the alternative, medical device activation module 42 may load medical device content 22 previously stored within secondary augmented reality device 130 or communicated to secondary augmented reality device 130 via module 42 or other content sources. A command 142b may be sent to the secondary augmented reality device 130 for display and/or the medical device activation module 42 may be pre-stored within the medical device 50, as illustrated in FIG. 5C. Alternatively, a command 142c may be sent to the medical device 50 to display the medical device content 22 communicated to the medical device 50 via the module 42 or other content source via the device's display 51.

第２実施態様においては、図５Ｂに例示されるように、医療装置起動モジュール４２は主拡張現実装置３０内に事前に記憶された医療器具ホログラム２３を表示するために又は医療器具ホログラム２３をモジュール４２若しくは他のホログラム源から表示のためにロードするために主拡張現実装置３０に対してコマンド１４２ａを送出することができる。この構成は、患者の解剖学的構造に対する医療器具２０の位置決めの仮想的検査を提供する。 In a second embodiment, as illustrated in FIG. 5B, the medical device activation module 42 is configured to display a pre-stored medical device hologram 23 within the main augmented reality device 30 or a medical device hologram 23. 42 or other hologram source to the main augmented reality device 30 for display. This configuration provides virtual inspection of the positioning of medical instrument 20 relative to the patient's anatomy.

同時に又は代わりに、医療装置起動モジュール４２は、二次拡張現実装置１３０内に事前に記憶された医療器具ホログラム２３を表示するために又は医療器具ホログラム２３をモジュール４２若しくは他のホログラム源から表示のためにロードするために二次拡張現実装置１３０に対してコマンド１４２ｂを送出することができ、及び／又は図５Ｄに例示されるように、医療装置起動モジュール４２は医療装置５０内に事前に記憶された医療器具ホログラム２３を装置のディスプレイ５１を介して表示するために又は医療器具ホログラム２３をモジュール４２若しくは他のホログラム源から表示のために装置のコントローラ５２にロードするために医療装置５０に対してコマンド１４２ｃを送出することができる。 Simultaneously or alternatively, medical device activation module 42 may be configured to display medical device holograms 23 previously stored within secondary augmented reality device 130 or to display medical device holograms 23 from module 42 or other hologram sources. A command 142b may be sent to the secondary augmented reality device 130 to load the device for use, and/or the medical device activation module 42 may send a command 142b to the secondary augmented reality device 130 to load the to the medical device 50 for displaying the rendered medical device hologram 23 via the device's display 51 or for loading the medical device hologram 23 from the module 42 or other hologram source into the device's controller 52 for display. The command 142c can be sent using the command 142c.

第３実施態様において、医療装置起動モジュール４２は医療装置５０を構成（設定）するためのコマンドを送出することができる。例えば、図６Ａに示されるように、撮像医療装置５０ｃは基本構成５３から医療器具２０に適した特定のプロトコルを含む構成５３’へ再構成することができる。更なる例によれば、バルーンカテーテルの形態の医療器具２０はＸ線撮像装置のＤＳＡ設定を、当該プロトコルを自動的に設定する又はユーザに推奨されたプロトコルを容認するように促すことにより起動することができる。 In a third embodiment, medical device activation module 42 may issue commands to configure medical device 50. For example, as shown in FIG. 6A, the imaging medical device 50c can be reconfigured from a basic configuration 53 to a configuration 53' that includes a specific protocol suitable for the medical device 20. According to a further example, the medical device 20 in the form of a balloon catheter activates the DSA settings of the X-ray imaging device by automatically setting the protocol or prompting the user to accept the recommended protocol. be able to.

第４実施態様において、医療装置起動モジュール４２は医療装置５０を或る動作モードから他の動作モードへ切り換えるためのコマンド１４２ｃを送出することができる。例えば、図６Ｂに示されるように、撮像医療装置５０ｄを動作モード５４から動作モード５５へ切り換えることができる。この例に関し、動作モード５４は患者の解剖学的構造に対するカテーテルのナビゲーション及び処置のＸ線撮像を含み得、これによれば、主ＡＲ装置３０を介しての血管閉鎖器具の認識は動作モード５４の完了を示し、このことは、該血管閉鎖器具の配置を容易にするためのＸ線患者テーブルの下降、Ｘ線Ｃアームの待避位置への移動及びＸ線放出器の不能化を含む動作モード５５への切り換えを起動する。 In a fourth embodiment, medical device activation module 42 can issue a command 142c to switch medical device 50 from one mode of operation to another mode of operation. For example, as shown in FIG. 6B, medical imaging device 50d may be switched from operating mode 54 to operating mode 55. For this example, mode of operation 54 may include navigation of the catheter relative to the patient's anatomy and x-ray imaging of the procedure, such that recognition of the vascular closure device via primary AR device 30 is in mode of operation 54. , which indicates the completion of a mode of operation that includes lowering the X-ray patient table, moving the X-ray C-arm to a retracted position, and disabling the X-ray emitter to facilitate placement of the vascular closure device. 55.

ステージＳ７４の医療装置の起動に続いて、フローチャート７０は終了するか、又は当該医療処置の間に使用される追加の医療器具（又は複数の器具）２０の認識のためにステージＳ７２に戻り得る。 Following activation of the medical device at stage S74, flowchart 70 may end or return to stage S72 for recognition of an additional medical instrument (or instruments) 20 to be used during the medical procedure.

図１に戻ると、実際の場合、モジュール４１及び４２は、本開示において既述したように現実世界のカメラ画像内における医療器具２０及び／又は器具識別子２１の認識に基づいて適切な医療処置動作を起動するように事前に構成（設定）される。代わりに、システム１０の操作者は、本開示において既述したように現実世界のカメラ画像内における医療器具２０及び／又は器具識別子２１の認識に基づいて適切な医療処置動作を起動するようにモジュール４１及び４２を構成することもできる。 Returning to FIG. 1, in an actual case, modules 41 and 42 would take appropriate medical treatment actions based on recognition of medical instrument 20 and/or instrument identifier 21 within a real-world camera image, as previously described in this disclosure. be preconfigured (set) to start. Instead, an operator of system 10 may configure the module to initiate appropriate medical treatment actions based on recognition of medical instrument 20 and/or instrument identifier 21 within a real-world camera image as previously described in this disclosure. 41 and 42 may also be configured.

一実施態様において、起動動作コントローラ４０は、現実世界のカメラ画像内での医療器具２０及び／又は器具識別子２１の物体認識並びに斯かる物体認識により起動される適切な医療処置動作を記述するために、モジュール４１及び４２の規則を、グラフィック的に又はテキスト的にプログラミングするためのユーザインターフェースを組み込むことができる。 In one embodiment, the activation motion controller 40 is configured to describe object recognition of the medical instrument 20 and/or instrument identifier 21 within a real-world camera image and the appropriate medical treatment action triggered by such object recognition. , a user interface for programming the rules of modules 41 and 42 graphically or textually.

第２実施態様において、起動動作コントローラ４０は特定の医療器具２０を最初に認識するための本開示の当業技術において既知のアプリケーションを組み込むことができ、これによれば、モジュール４１はその後に医療器具２０を認識することができるように構成することができ、モジュール４２は斯様な認識により駆動される適切な医療処置動作を起動するように構成することができる。 In a second embodiment, the activation controller 40 may incorporate applications known in the art of the present disclosure to initially recognize a particular medical device 20, according to which the module 41 then Instrument 20 can be configured to be recognized, and module 42 can be configured to initiate appropriate medical treatment actions driven by such recognition.

第３実施態様において、起動動作コントローラ４０は特定の医療処置の実行の間における動作を記憶するように構成することができ、これによれば、１以上の訓練モデルを主ＡＲ装置３０からの入力、操作者の入力、及び／又は医療器具２０及び／又は医療装置５０に関係する手続的プロトコル及び／又は情報に基づいて開発することができる。当該医療処置の現在の実行の間において、上記訓練モデルの履歴データは、モジュール４２による現実世界のカメラ画像内における医療器具２０及び／又は器具識別子２１の認識に際して起動する適切な医療処置動作並びに斯様な物体認識により起動される適切な医療処置動作の予測を容易にする。 In a third embodiment, the activation motion controller 40 may be configured to store motions during performance of a particular medical procedure, whereby one or more training models may be input from the main AR device 30. , operator input, and/or procedural protocols and/or information related to medical instrument 20 and/or medical device 50 . During the current execution of the medical procedure, the training model's historical data determines the appropriate medical procedure actions to be initiated upon recognition of the medical instrument 20 and/or instrument identifier 21 within the real-world camera image by the module 42, as well as the training model's historical data. facilitates prediction of appropriate medical treatment actions triggered by such object recognition.

図１～図６を参照すると、本開示の分野における当業者であれば、これらに限定されるものではないが、拡張現実装置による医療器具の物体認識が該拡張現実装置、医療装置及び／又は追加の拡張現実装置による動作のためのきっかけとして働き、これにより、医療処置のワークフローの如何なる中断も最小にすることを含む数々の利点を理解するであろう。当業者であれば、更に、本開示の発明の非医療システム、方法、器具及び装置への適用可能性も理解するであろう。 Referring to FIGS. 1-6, those skilled in the art of the present disclosure will appreciate that object recognition of a medical instrument by an augmented reality device, including, but not limited to, the augmented reality device, the medical device, and/or One will appreciate a number of benefits, including serving as a trigger for operation with additional augmented reality devices, thereby minimizing any disruption to the workflow of a medical procedure. Those skilled in the art will further appreciate the applicability of the disclosed invention to non-medical systems, methods, instruments and devices.

更に、当業者であれば理解するように、本明細書で提供される教示に鑑み、本開示／明細書に記載され及び／又は図に記載される構造、要素、部品等は、ハードウェア及びソフトウェアの種々の組み合わせで実施化することができ、単一の要素又は複数の要素に組み合わせることができる機能を提供することができる。例えば、図に示され／図示され／描かれた種々の構造、要素、部品等の機能は、専用のハードウェア及び付加的機能のための適切なソフトウェアとの関連でソフトウェアを実行することができるハードウェアを介して提供することができる。プロセッサにより提供される場合、斯かる機能は単一の専用のプロセッサにより、単一の共有プロセッサにより、又は複数の個別のプロセッサ（これらの幾つかは共有及び／又は多重化することができる）により提供することができる。更に、“プロセッサ”又は“コントローラ”なる用語の明示的使用は、ソフトウェアを実行することができるハードウェアを専ら参照すると見なされるべきではなく、限定無しで、デジタル信号プロセッサ（“ＤＳＰ”）ハードウェア、メモリ（例えば、ソフトウェアを記憶するためのリードオンリメモリ（“ＲＯＭ”）、ランダムアクセスメモリ（“ＲＡＭ”）、不揮発性記憶部等）並びに処理を実行及び／又は制御することができる（及び／又は構成することができる）実質的に如何なる手段及び／又はマシン（ハードウェア、ソフトウェア、ファームウエア及びこれらの組合せ等を含む）も暗黙的に含むことができる。 Furthermore, as one of ordinary skill in the art will appreciate, in light of the teachings provided herein, the structures, elements, components, etc. described in this disclosure/specification and/or illustrated in the figures may be considered hardware and/or It can be implemented in various combinations of software, providing functionality that can be combined into a single element or multiple elements. For example, the functions of the various structures, elements, parts, etc. shown/illustrated/depicted in the figures may be implemented in software in conjunction with dedicated hardware and appropriate software for additional functions. Can be provided via hardware. When provided by a processor, such functionality may be provided by a single dedicated processor, by a single shared processor, or by multiple individual processors (some of which may be shared and/or multiplexed). can be provided. Furthermore, explicit use of the terms "processor" or "controller" should not be considered to refer exclusively to hardware capable of executing software, and includes, without limitation, digital signal processor ("DSP") hardware. , memory (e.g., read-only memory (“ROM”) for storing software, random access memory (“RAM”), non-volatile storage, etc.) and can execute and/or control processes (and/or Implicitly may include substantially any means and/or machine (including hardware, software, firmware, combinations thereof, etc.) that can be configured or configured.

更に、本明細書における本発明の原理、態様及び実施態様並びにこれらの特定の例を記載する記述は、これらの構造的及び機能的な両方の均等物を含むことを意図するものである。加えて、このような均等物は現在知られている均等物及び将来開発される均等物（例えば、構成に拘わらず同一の又は実質的に同様の機能を果たすことができる何らかの開発された要素）の両方を含むことを意図するものである。このように、例えば、当業者によれば、ここに提供される教示内容に鑑み、ここに提示される如何なるブロック図も本発明の原理を具現化する例示的システム部品及び／又は回路の概念図を表し得ると理解されるであろう。同様に、当業者であれば、ここに提供される教示内容に鑑み、如何なるフローチャート及び流れ図等も、コンピュータ読取可能な記憶媒体内に実質的に表すことができ、従ってコンピュータ、プロセッサ又は処理能力を備える他の装置（斯かるコンピュータ又はプロセッサが明示的に示されているか否かによらず）により実行することができる種々の処理を表すことができると理解すべきである。 Furthermore, statements herein reciting principles, aspects, and embodiments of the invention as well as specific examples thereof are intended to encompass both structural and functional equivalents thereof. In addition, such equivalents include both currently known equivalents and equivalents developed in the future (e.g., any element developed that can perform the same or substantially similar function, regardless of configuration). It is intended to include both. Thus, for example, those skilled in the art will appreciate that, in light of the teachings provided herein, any block diagrams presented herein are conceptual illustrations of exemplary system components and/or circuits embodying the principles of the present invention. It will be understood that it can represent Similarly, one of ordinary skill in the art will appreciate, in light of the teachings provided herein, that any flowcharts, flowcharts, etc. can be substantially represented in a computer-readable storage medium and thus require a computer, processor, or processing power. It should be understood that various operations may be represented that may be performed by other devices (whether or not such computers or processors are explicitly shown).

本開示の発明の好ましい且つ例示的実施態様（解説的なもので、限定するものでないことを意図するものである）を説明したが、各図を含み、ここに提供された教示内容に照らして当業者により修正及び変形をなすことができることに注意されたい。従って、本開示の好ましい且つ例示的実施態様に対し、ここに開示される実施態様の範囲内に入る変更を行うことができると理解されるべきである。 Having described preferred and exemplary embodiments of the disclosed invention, which are intended to be illustrative and not limiting, including the figures and in light of the teachings provided herein, It is noted that modifications and variations may be made by those skilled in the art. Accordingly, it should be understood that changes may be made to the preferred and exemplary embodiments of this disclosure that fall within the scope of the embodiments disclosed herein.

更に、当該装置／システムを組み込む及び／又は実施化する対応する及び／又は関係するシステム、又は本開示による装置において使用され／実施化されるもの等も、本開示の範囲内に入ると想定され、見なされるものである。更に、本開示による装置及び／又はシステムを製造し及び／又は使用する対応する及び／又は関連する方法も、本開示の範囲内に入ると想定及び見なされるものである。 Furthermore, corresponding and/or related systems incorporating and/or implementing such devices/systems, or those used/implemented in devices according to the present disclosure, etc. are also contemplated to fall within the scope of the present disclosure. , shall be considered. Additionally, corresponding and/or related methods of making and/or using devices and/or systems according to the present disclosure are also contemplated and considered to fall within the scope of the present disclosure.

Claims (11)

医療器具及び該医療器具に関連付けられた器具識別子の少なくとも一方に基づいて拡張現実起動方法を実施する拡張現実起動システムであって、
現実世界のカメラ画像を撮像し、当該現実世界のカメラ画像に基づく現実世界表示上に仮想物体をオーバーレイ表示する主拡張現実装置と、
起動動作コントローラと、
を有し、前記起動動作コントローラが、
前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方を認識し、
前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方の当該起動動作コントローラによる認識に応答して、少なくとも、医療処置を撮像する医療装置による前記医療処置の撮像を前記医療器具に適した動作モードに設定する、医療処置動作を起動する、
拡張現実起動システム。 An augmented reality activation system that implements an augmented reality activation method based on at least one of a medical device and an instrument identifier associated with the medical device, the system comprising:
a main augmented reality device that captures a camera image of the real world and overlays a virtual object on a real world display based on the camera image of the real world ;
a startup operation controller;
and the startup operation controller has:
recognizing at least one of the medical instrument and the instrument identifier in the camera image of the real world captured by the main augmented reality device;
at least the medical device imaging a medical procedure in response to recognition by the activation motion controller of at least one of the medical device and the device identifier in the real-world camera image captured by the primary augmented reality device. setting medical procedure imaging to an operating mode suitable for the medical device; activating a medical procedure operation;
Augmented reality activation system. 前記起動動作コントローラが、前記現実世界のカメラ画像内において前記医療器具の形状を認識する、請求項１に記載の拡張現実起動システム。 The augmented reality activation system of claim 1, wherein the activation motion controller recognizes a shape of the medical instrument in the real-world camera image. 前記器具識別子が、
器具ラベル、
前記医療器具に取り付けられた前記医療器具を識別するための顧客マーカ、及び
前記医療器具に取り付けられていない前記顧客マーカ、
のうちの少なくとも１つを含む、請求項１に記載の拡張現実起動システム。 The instrument identifier is
equipment labels,
a customer marker for identifying the medical device that is attached to the medical device; and a customer marker that is not attached to the medical device.
The augmented reality activation system of claim 1, comprising at least one of: 前記起動動作コントローラが医療処置動作を起動する動作は、該起動動作コントローラが、
前記医療装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記医療装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を更に行う動作を含む、請求項１に記載の拡張現実起動システム。 The activation operation controller activates the medical treatment operation in such a manner that the activation operation controller:
2. The method of claim 1, further comprising: activating display of content related to the medical device by the medical device; and activating display of a hologram model of the medical device by the medical device. Augmented reality activation system. 前記医療器具に関係するコンテンツが、
前記医療器具の入力フィード、
前記医療器具の説明、
前記医療器具を操作するための使用説明、
前記医療器具及び該医療器具に類似する追加の医療器具の少なくとも一方の使用を含むケース、及び
前記医療器具に関連する何らかの警告
のうちの少なくとも１つ含む、請求項４に記載の拡張現実起動システム。 The content related to the medical device is
an input feed for the medical device;
a description of the medical device;
instructions for operating the medical device;
5. The augmented reality activation system of claim 4 , wherein the case includes use of at least one of the medical device and an additional medical device similar to the medical device, and at least one of some warning associated with the medical device. . 前記主拡張現実装置とは別の現実世界のカメラ画像を撮像し、当該別の現実世界のカメラ画像に基づく現実世界表示上に仮想物体をオーバーレイ表示する二次拡張現実装置を更に有する、
請求項１に記載の拡張現実起動システム。 further comprising a secondary augmented reality device that captures a camera image of a real world different from the main augmented reality device and displays a virtual object as an overlay on a real world display based on the camera image of the different real world ;
The augmented reality activation system according to claim 1. 前記医療器具がガイドワイヤ、カテーテル、弁及びステントのうちの１つである、請求項１に記載の拡張現実起動システム。 The augmented reality-activated system of claim 1, wherein the medical device is one of a guidewire, catheter, valve, and stent. 医療器具及び該医療器具に関連付けられた器具識別子の少なくとも一方に基づいて拡張現実起動方法を実施する起動動作コントローラであって、
現実世界のカメラ画像を撮像し、当該現実世界のカメラ画像に基づく現実世界表示上に仮想物体をオーバーレイ表示する主拡張現実装置により撮像された現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方を認識する医療器具認識モジュールと、
前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方の前記医療器具認識モジュールによる認識に応答して、少なくとも、医療処置を撮像する医療装置による医療処置の撮像を前記医療器具に適した動作モードに設定する、医療処置動作を起動する医療装置起動モジュールと、
を有する、起動動作コントローラ。 An activation operation controller that implements an augmented reality activation method based on at least one of a medical device and an instrument identifier associated with the medical device, the activation controller comprising:
The medical instrument and the instrument identifier in the real-world camera image captured by a main augmented reality device that captures a real-world camera image and overlays a virtual object on a real-world display based on the real-world camera image. a medical device recognition module that recognizes at least one of the following ;
at least by a medical device imaging a medical procedure in response to recognition by the medical device recognition module of at least one of the medical device and the device identifier in the real-world camera image captured by the primary augmented reality device. a medical device activation module for activating medical procedure operations that sets medical procedure imaging to an operating mode suitable for the medical device ;
A start-up operation controller having: 前記医療装置起動モジュールが医療処置動作を起動する動作は、該医療装置起動モジュールが、更に、
前記医療装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記医療装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を含む、請求項８に記載の起動動作コントローラ。 The operation of the medical device activation module activating a medical treatment operation is such that the medical device activation module further comprises:
9. The activation operation controller of claim 8 , comprising at least one of: activating a display of content related to the medical device by the medical device; and activating a display of a holographic model of the medical device by the medical device. . 現実世界のカメラ画像を撮像し、当該現実世界のカメラ表示に基づく現実世界表示上に仮想物体をオーバーレイ表示する主拡張現実装置と、起動動作コントローラとを備え、医療器具及び該医療器具に関連付けられた器具識別子の少なくとも一方に基づいて拡張現実起動を実施する拡張現実起動システムの作動方法であって、
前記起動動作コントローラが、前記主拡張現実装置により撮像された現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方を認識するステップと、
前記起動動作コントローラが、前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方の前記起動動作コントローラによる認識に応答して、少なくとも、医療処置を撮像する医療装置による前記医療処置の撮像を前記医療器具に適した動作モードに設定する、医療処置動作を起動するステップと、
を有する、方法。 A main augmented reality device that captures a camera image of the real world and displays a virtual object as an overlay on a real world display based on the camera display of the real world, and an activation operation controller , A method of operating an augmented reality activation system that performs an augmented reality activation based on at least one of a device identifier, the method comprising:
the activation operation controller recognizing at least one of the medical instrument and the instrument identifier in a real-world camera image captured by the main augmented reality device;
The activation motion controller at least initiates a medical procedure in response to recognition by the activation motion controller of at least one of the medical instrument and the instrument identifier in the real-world camera image captured by the primary augmented reality device. activating a medical procedure operation that sets imaging of the medical procedure by an imaging medical device to an operating mode suitable for the medical instrument ;
A method having. 前記起動動作コントローラが医療処置動作を起動するステップは、
前記起動動作コントローラが前記医療装置による前記医療器具に関係するコンテンツの表示を起動するステップ、及び
前記起動動作コントローラが前記医療装置による前記医療器具のホログラムモデルの表示を起動するステップ
の少なくとも一方を含む、請求項１０に記載の方法。 The activation operation controller activating a medical treatment operation includes:
and at least one of the following: the activation operation controller activating the medical device to display content related to the medical device; and the activation operation controller activating the medical device to display a holographic model of the medical device. , the method according to claim 10 .
JP2020524549A 2017-11-07 2018-11-03 Augmented reality activation of the device Active JP7442444B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762582478P 2017-11-07 2017-11-07
US62/582,478 2017-11-07
PCT/EP2018/080071 WO2019091875A1 (en) 2017-11-07 2018-11-03 Augmented reality triggering of devices

Publications (2)

Publication Number Publication Date
JP2021501653A JP2021501653A (en) 2021-01-21
JP7442444B2 true JP7442444B2 (en) 2024-03-04

Family

ID=64270843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020524549A Active JP7442444B2 (en) 2017-11-07 2018-11-03 Augmented reality activation of the device

Country Status (5)

Country Link
US (2) US11836863B2 (en)
EP (1) EP3707582A1 (en)
JP (1) JP7442444B2 (en)
CN (1) CN111433711A (en)
WO (1) WO2019091875A1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3864629A4 (en) * 2018-10-08 2022-07-27 McGinley Education Innovations, LLC Augmented reality based real-time ultrasonography image rendering for surgical assistance
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US20220133228A1 (en) * 2020-11-03 2022-05-05 Biosense Webster (Israel) Ltd. Identification and visualization of non-navigated objects in medical images
TWI766491B (en) * 2020-12-22 2022-06-01 國立清華大學 Human negligence warning method based on augmented reality
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
WO2023067415A1 (en) * 2021-10-21 2023-04-27 Lem Surgical Ag Robotically coordinated virtual or augmented reality

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004041778A (en) 2003-10-20 2004-02-12 Olympus Corp Observation system for intrabody cavity
JP2013192773A (en) 2012-03-21 2013-09-30 Olympus Corp Video system for surgery and video display method
JP2014155207A (en) 2013-02-14 2014-08-25 Seiko Epson Corp Head-mounted display device and control method of head-mounted display device
JP2014226341A (en) 2013-05-23 2014-12-08 オリンパス株式会社 Endoscope apparatus and operation method of endoscope apparatus
JP2015521913A (en) 2012-06-27 2015-08-03 キャンプレックス インコーポレイテッド Surgical visualization system
JP2015523102A (en) 2012-04-16 2015-08-13 チルドレンズ ナショナル メディカル センターＣｈｉｌｄｒｅｎ’Ｓ Ｎａｔｉｏｎａｌ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures
WO2016133644A1 (en) 2015-02-20 2016-08-25 Covidien Lp Operating room and surgical site awareness
JP2017513086A (en) 2014-01-29 2017-05-25 ベクトン・ディキンソン・アンド・カンパニーＢｅｃｔｏｎ， Ｄｉｃｋｉｎｓｏｎ Ａｎｄ Ｃｏｍｐａｎｙ System and method for ensuring dosing and fluid delivery to a patient during clinical use
JP2017515617A (en) 2014-03-28 2017-06-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Quantitative three-dimensional visualization of instruments in the field of view

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3717552B2 (en) * 1995-09-01 2005-11-16 オリンパス株式会社 Medical manipulator system
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US20070129626A1 (en) * 2005-11-23 2007-06-07 Prakash Mahesh Methods and systems for facilitating surgical procedures
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
WO2016078919A1 (en) * 2014-11-18 2016-05-26 Koninklijke Philips N.V. User guidance system and method, use of an augmented reality device
US20160300028A1 (en) * 2014-11-20 2016-10-13 Draeger Medical Systems, Inc. Transferring device settings
US10528840B2 (en) * 2015-06-24 2020-01-07 Stryker Corporation Method and system for surgical instrumentation setup and user preferences
DE102015226669B4 (en) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Method and system for outputting augmented reality information
CN114903591A (en) * 2016-03-21 2022-08-16 华盛顿大学 Virtual reality or augmented reality visualization of 3D medical images
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
CN206301504U (en) * 2016-10-25 2017-07-04 深圳市科创数字显示技术有限公司 The cornea intelligent operation training system that AR is combined with VR
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10636323B2 (en) 2017-01-24 2020-04-28 Tienovix, Llc System and method for three-dimensional augmented reality guidance for use of medical equipment
US10969583B2 (en) 2017-02-24 2021-04-06 Zoll Medical Corporation Augmented reality information system for use with a medical device
JP7053811B2 (en) 2017-09-29 2022-04-12 シー・アール・バード・インコーポレーテッド Devices and methods for tracking medical ultrasound objects

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004041778A (en) 2003-10-20 2004-02-12 Olympus Corp Observation system for intrabody cavity
JP2013192773A (en) 2012-03-21 2013-09-30 Olympus Corp Video system for surgery and video display method
JP2015523102A (en) 2012-04-16 2015-08-13 チルドレンズ ナショナル メディカル センターＣｈｉｌｄｒｅｎ’Ｓ Ｎａｔｉｏｎａｌ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures
JP2015521913A (en) 2012-06-27 2015-08-03 キャンプレックス インコーポレイテッド Surgical visualization system
JP2014155207A (en) 2013-02-14 2014-08-25 Seiko Epson Corp Head-mounted display device and control method of head-mounted display device
JP2014226341A (en) 2013-05-23 2014-12-08 オリンパス株式会社 Endoscope apparatus and operation method of endoscope apparatus
JP2017513086A (en) 2014-01-29 2017-05-25 ベクトン・ディキンソン・アンド・カンパニーＢｅｃｔｏｎ， Ｄｉｃｋｉｎｓｏｎ Ａｎｄ Ｃｏｍｐａｎｙ System and method for ensuring dosing and fluid delivery to a patient during clinical use
JP2017515617A (en) 2014-03-28 2017-06-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Quantitative three-dimensional visualization of instruments in the field of view
WO2016133644A1 (en) 2015-02-20 2016-08-25 Covidien Lp Operating room and surgical site awareness

Also Published As

Publication number Publication date
CN111433711A (en) 2020-07-17
WO2019091875A1 (en) 2019-05-16
JP2021501653A (en) 2021-01-21
EP3707582A1 (en) 2020-09-16
US20240054742A1 (en) 2024-02-15
US11836863B2 (en) 2023-12-05
US20200302694A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
JP7442444B2 (en) Augmented reality activation of the device
US11017695B2 (en) Method for developing a machine learning model of a neural network for classifying medical images
US11232556B2 (en) Surgical simulator providing labeled data
US20240115333A1 (en) Surgical system with training or assist functions
WO2017220788A1 (en) System and method for artificial agent based cognitive operating rooms
US11527321B2 (en) Augmented reality for predictive workflow in an operating room
Reiter et al. Appearance learning for 3d tracking of robotic surgical tools
US20200363924A1 (en) Augmented reality drag and drop of objects
US20130296682A1 (en) Integrating pre-surgical and surgical images
US20220096163A1 (en) Camera control systems and methods for a computer-assisted surgical system
WO2021048326A1 (en) Interactive endoscopy for intraoperative virtual annotation in vats and minimally invasive surgery
KR20170096810A (en) Remote image transmission system, display apparatus and guide displaying method of thereof
CN110742690A (en) Method for configuring endoscope and terminal equipment
US20230410499A1 (en) Visibility metrics in multi-view medical activity recognition systems and methods
US20230377471A1 (en) Control system for an augmented reality device
JP7417337B2 (en) Information processing system, information processing method and program
US20230334998A1 (en) Surgical teaching auxiliary system using virtual reality and method thereof
WO2023162479A1 (en) Information processing device, information processing method, and program
WO2024123888A1 (en) Systems and methods for anatomy segmentation and anatomical structure tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221021

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240220

R150 Certificate of patent or registration of utility model

Ref document number: 7442444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150