JP7442444B2 - Augmented reality activation of the device - Google Patents
Augmented reality activation of the device Download PDFInfo
- Publication number
- JP7442444B2 JP7442444B2 JP2020524549A JP2020524549A JP7442444B2 JP 7442444 B2 JP7442444 B2 JP 7442444B2 JP 2020524549 A JP2020524549 A JP 2020524549A JP 2020524549 A JP2020524549 A JP 2020524549A JP 7442444 B2 JP7442444 B2 JP 7442444B2
- Authority
- JP
- Japan
- Prior art keywords
- medical device
- medical
- augmented reality
- activation
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims description 135
- 230000004913 activation Effects 0.000 title claims description 85
- 238000000034 method Methods 0.000 claims description 71
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 15
- 230000003213 activating effect Effects 0.000 claims description 13
- 239000003550 marker Substances 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000002059 diagnostic imaging Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 238000002608 intravascular ultrasound Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/02—Prostheses implantable into the body
- A61F2/24—Heart valves ; Vascular valves, e.g. venous valves; Heart implants, e.g. passive devices for improving the function of the native valve or the heart muscle; Transmyocardial revascularisation [TMR] devices; Valves implantable in the body
- A61F2/2427—Devices for manipulating or deploying heart valves during implantation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/95—Instruments specially adapted for placement or removal of stents or stent-grafts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M25/00—Catheters; Hollow probes
- A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
- A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
- A61M25/0113—Mechanical advancing means, e.g. catheter dispensers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M25/00—Catheters; Hollow probes
- A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
- A61M25/09—Guide wires
- A61M25/09041—Mechanisms for insertion of guide wires
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本開示は、広くは医療処置の間における拡張現実装置の使用に関する。特に、本開示は医療処置の間における拡張現実装置、医療装置及び/又は追加の拡張現実装置による動作を起動するための該拡張現実装置による医療器具及び/又は器具識別子の認識に関する。 TECHNICAL FIELD This disclosure relates generally to the use of augmented reality devices during medical procedures. In particular, the present disclosure relates to the recognition of medical instruments and/or instrument identifiers by an augmented reality device to initiate operations by the augmented reality device, the medical device, and/or additional augmented reality devices during a medical procedure.
医療撮像システムとの相互作用(対話)は、現在の処、医療撮像システムの操作者が次の行為又はステップを決定することを課されることを含む。例えば、医療処置に使用されている医療撮像システムと医療器具(例えば、ガイドワイヤ、カテーテル、ステント、血管内超音波(IVUS)カテーテル、弁、ドリル等)との間には現在のところ、しばしば密な関連が存在し、これによれば、操作者は当該医療処置の間における撮像を容易化するために当該医療撮像システムを医療器具に基づいて構成(設定)することができる。例えば、撮像するIVUSカテーテルに関連させて超音波撮像システムの種々のフィーチャ(例えば、ナビゲーションフィーチャ)を利用するために、該超音波撮像システムの種々のフィーチャをIVUSカテーテルに基づいてカスタマイズすることができる。 Interaction with a medical imaging system currently involves an operator of the medical imaging system being tasked with determining the next action or step. For example, there are currently often no close connections between medical imaging systems and medical instruments (e.g., guidewires, catheters, stents, intravascular ultrasound (IVUS) catheters, valves, drills, etc.) used in medical procedures. An association exists whereby an operator can configure the medical imaging system based on the medical instrument to facilitate imaging during the medical procedure. For example, various features of the ultrasound imaging system can be customized based on the IVUS catheter to utilize various features of the ultrasound imaging system (e.g., navigation features) in conjunction with the imaging IVUS catheter. .
操作者が医療撮像システムを医療器具に基づいてカスタマイズすることは、医療処置の全範囲内では小さな過程であるが、それでも、当該医療処置の作業の流れは該小さな過程により中断される。 Although an operator's customization of a medical imaging system based on a medical device is a small step within the overall scope of a medical procedure, the workflow of the medical procedure is still interrupted by the small step.
拡張現実(AR)とは、一般的に、装置がコンピュータにより発生された追加の情報で補足された生の画像ストリームを表示することを指す。更に詳細には、上記生の画像ストリームは、目、カメラ、スマートフォン、タブレット等を介してのものとすることができ、メガネ、コンタクトレンズ、投影又は当該生画像ストリーム装置(例えば、スマートフォン、タブレット等)上を介してのARユーザに対する表示により増強される。本開示の発明は、拡張現実装置、医療装置及び/又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く医療器具及び/又は器具識別子の物体認識を前提とするもので、これにより、当該医療器具が関わる医療処置の作業の流れの如何なる中断も最小にするものである。 Augmented reality (AR) generally refers to a device displaying a live image stream supplemented with additional computer-generated information. More particularly, said raw image stream may be via an eye, a camera, a smartphone, a tablet, etc., and may be via glasses, contact lenses, a projection or said raw image stream device (e.g., a smartphone, tablet, etc.). ) is augmented by display to the AR user via the top. The disclosed invention is premised on object recognition of medical instruments and/or instrument identifiers that serve as triggers for medical procedure actions by an augmented reality device, a medical device, and/or an additional augmented reality device, thereby: Any disruption to the workflow of a medical procedure involving the medical device shall be minimized.
本開示の発明の一実施態様は、医療器具及び/又は該医療器具に関連付けられた器具識別子に基づいて拡張現実起動方法を実施する拡張現実起動システムである。該拡張現実起動システムは、主拡張現実装置及び起動動作コントローラを有する。動作時において、前記主拡張現実装置は現実世界のカメラ画像を発生し、該カメラ画像は任意の所与の時点において前記医療器具及び/又は前記器具識別子を含み得又は含まないこともあり得る。前記起動動作コントローラは、前記主拡張現実装置による前記医療器具及び/又は前記器具識別子を含む前記現実世界のカメラ画像の発生を認識するよう構成されると共に、更に前記主拡張現実装置による前記医療器具及び/又は前記器具識別子を含む前記現実世界のカメラ画像の発生の当該起動動作コントローラによる認識に応答して、前記主拡張現実装置及び/又は医療装置による医療処置動作を起動するように構成される。 One embodiment of the disclosed invention is an augmented reality activation system that implements an augmented reality activation method based on a medical device and/or an instrument identifier associated with the medical device. The augmented reality activation system includes a main augmented reality device and an activation operation controller. In operation, the primary augmented reality device generates a camera image of the real world, which may or may not include the medical instrument and/or the instrument identifier at any given time. The activation motion controller is configured to recognize the generation of the real-world camera image including the medical device and/or the device identifier by the primary augmented reality device, and further configured to recognize the generation of the real-world camera image including the medical device and/or the device identifier by the primary augmented reality device. and/or configured to activate a medical procedure operation by the primary augmented reality device and/or medical device in response to recognition by the activation operation controller of an occurrence of the real-world camera image including the instrument identifier. .
前記起動動作コントローラは、前記主拡張現実装置内に拡張現実コントローラに統合され若しくは該拡張現実コントローラから分離されたコントローラ又は前記主拡張現実装置の補助コントローラとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置(例えば、前記医療装置、ワークステーション又は追加の拡張現実装置)に設置することができる。 The activation motion controller may be located within the main augmented reality device as a controller integrated with or separate from the augmented reality controller or as an auxiliary controller of the main augmented reality device, or alternatively. , in communication with the main augmented reality device and thereby receive camera images of the real world (eg, the medical device, a workstation or an additional augmented reality device).
本開示の発明の第2実施態様において、前記起動動作コントローラは、前記主拡張現実装置による前記医療器具及び/又は前記器具識別子を含む現実世界のカメラ画像の発生を認識するように構成された医療器具認識モジュールを含むと共に、前記主拡張現実装置による前記医療器具及び/又は前記器具識別子を含む前記現実世界のカメラ画像の発生の前記医療器具認識モジュールによる認識に応答して前記主拡張現実装置及び/又は前記医療装置による医療処置動作を起動するように構成された医療装置起動モジュールを更に含む。 In a second embodiment of the disclosed invention, the activation motion controller is configured to recognize the generation of a real-world camera image including the medical instrument and/or the instrument identifier by the primary augmented reality device. an instrument recognition module, and in response to recognition by the medical instrument recognition module of an occurrence of the real-world camera image including the medical instrument and/or the instrument identifier by the principal augmented reality device; and/or further comprising a medical device activation module configured to activate medical treatment operations by the medical device.
前記医療器具認識モジュールは、前記主拡張現実装置内に前記拡張現実コントローラ若しくは前記主拡張現実装置の補助コントローラにより実行可能なモジュールとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置(例えば、前記医療装置、ワークステーション又は追加の拡張現実装置)に設置される実行可能なモジュールとすることができる。 The medical instrument recognition module may be located within the main augmented reality device as a module executable by the augmented reality controller or an auxiliary controller of the main augmented reality device, or alternatively, It may be an executable module installed in another device (eg, the medical device, a workstation, or an additional augmented reality device) that communicates with and thereby receives the real-world camera images.
前記医療装置起動モジュールは、前記主拡張現実装置内に前記拡張現実主コントローラ若しくは前記主拡張現実装置の補助コントローラにより実行可能なモジュールとして設置することができるか、又は、代わりに、前記医療器具認識モジュールと通信して、前記医療器具及び/又は前記器具識別子を含む前記現実世界のカメラ画像の前記主拡張現実装置による発生の前記医療器具認識モジュールによる認識の通知を受信する他の装置(例えば、前記医療装置、ワークステーション又は追加の拡張現実装置)に設置される実行可能なモジュールとすることができる。 The medical device activation module may be located within the main augmented reality device as a module executable by the augmented reality main controller or an auxiliary controller of the main augmented reality device, or alternatively the medical device recognition module Another device (e.g., It may be an executable module installed on the medical device, workstation or additional augmented reality device.
本開示の発明の第3実施態様において、前記拡張現実起動方法は、前記起動動作コントローラが前記主拡張現実装置による前記医療器具及び/又は前記器具識別子を含む現実世界のカメラ画像の発生を認識するステップを有すると共に、更に、前記起動動作コントローラが、前記主拡張現実装置による前記医療器具及び/又は前記器具識別子を含む前記現実世界のカメラ画像の発生の前記起動動作コントローラによる認識に応答して、前記主拡張現実装置及び/又は前記医療装置による医療処置動作を起動するステップを有する。 In a third embodiment of the disclosed invention, the augmented reality activation method is characterized in that the activation operation controller recognizes generation of a real-world camera image including the medical instrument and/or the instrument identifier by the main augmented reality device. and further comprising the step of: the activation motion controller being responsive to recognition by the activation motion controller of an occurrence by the primary augmented reality device of the real-world camera image including the medical instrument and/or the instrument identifier; activating a medical treatment operation by the main augmented reality device and/or the medical device.
この場合も、前記起動動作コントローラは、前記主拡張現実装置内に拡張現実主コントローラに統合され若しくは該拡張現実主コントローラから分離されたコントローラ又は前記主拡張現実装置の補助コントローラとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置(例えば、前記医療装置、ワークステーション又は追加の拡張現実装置)に設置することができる。 In this case as well, the activation operation controller may be installed in the main augmented reality device as a controller integrated with the main augmented reality controller or separate from the main augmented reality controller, or as an auxiliary controller of the main augmented reality device. or, alternatively, located in another device (e.g., the medical device, workstation or additional augmented reality device) that communicates with the main augmented reality device and thereby receives the real-world camera images. be able to.
本開示の発明を説明及び請求項に記載する目的で、
(1)“医療処置(medical procedure)”なる用語は、患者の身体構造の撮像、診断及び/又は治療のための、本開示の当業技術において知られた及び以下に想定される全ての処置(手順)を広く含む。
(2)“医療器具(medical tool)”なる用語は、医療処置の間に使用される本開示の当業技術において知られた全ての器具を広く含む。医療器具の例は、これらに限定されるものではないが、ガイドワイヤ、カテーテル(例えば、IVUSカテーテル及びバルーンカテーテル)、弁、ステント、超音波トランスジューサ(TEE、TTE)、ドリル及び内視鏡を含む。
(3)“医療システム(medical system)”なる用語は、1以上の医療処置を実施するための本開示の当業技術において既知の及び以下で想定される全ての医療システムを広く含む。医療システムの例は、これらに限られるものではないが、介入X線システム(固定システム、移動システム、ハイブリッドOR)、超音波システム、患者監視システム、造影剤注入システム、診断撮像システム(X線、CT、PET、MRI)を含む。
(4)“医療装置(medical device)”なる用語は、医療システム内に動作(例えば、作動させる、撮像する、追跡する、ナビゲーションする等)を制御するために組み込まれ及び/又は医療器具(若しくは複数の医療器具)の動作に関連する、本開示の当業技術において既知の及び以下で想定される全ての医療装置を広く含む。医療装置の例は、限定されるものではないが、撮像装置(例えば、X線装置、超音波装置、コンピュータトモグラフィ装置、磁気共鳴撮像装置等)、追跡装置(例えば、電磁追跡装置、光学追跡装置、形状感知追跡装置等)、ロボット装置(例えば、ヘビ型ロボット、球型RCMロボット等)及び監視装置(例えば、心電図モニタ)を含む。
(5)“拡張現実起動方法”なる用語は、本開示に例示的に記載される拡張現実装置、医療装置及び/又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具及び/又は器具識別子の物体認識に向けられた、本開示の発明原理を組み込んだ全ての手順を広く含む。
(6)“拡張現実起動システム”なる用語は、本開示に例示的に記載される拡張現実装置、医療装置及び/又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具及び/又は器具識別子の物体認識を含む、本開示の発明原理を組み込んだ全ての医療システムを広く含む。
(7)“拡張現実装置”なる用語は、現実世界のカメラ画像に基づく現実世界表示上に仮想物体(又は複数の物体)をオーバーレイ表示する拡張現実を実施する、本開示の当業技術で既知の及び以下で想定される全ての装置を広く含む。拡張現実装置の例は、これらに限定されるものではないが、拡張現実頭部装着(ヘッドマウント)ディスプレイ(例えば、GOOGLE GLASSTM(R)、HOLOLENS(R)、MAGIC LEAP(R)、VUSIX(R)及びMETA(R))を含む。
(8)“カメラ画像”なる用語は、拡張現実装置の部品として組み込まれたカメラ又は等価な装置により発生された現実世界の像の画像又はビデオを広く含む。
(9)“物体認識”なる用語は、カメラ画像内の物体を認識するための、本開示の当業技術において既知の及び以下で想定される全ての技術を広く含む。
(10)“医療処置動作を起動する”なる語句及び該語句の時制は、医療処置の術前ステップ(又は複数のステップ)及び/又は術中ステップ(又は複数のステップ)を支援する動作を可能化及び/又は指令するための、特には、拡張現実装置又は医療装置の構成指令、信号可能化/不能化(変調されない及び変調された)及び/又は機能呼び出し(ファンクションコール)のための、本開示の当業技術において既知の及び以下で想定される全ての技術を広く含む。
(11)“コントローラ”なる用語は、本開示に例示的に記載された本開示の種々の発明原理の適用を制御するためのアプリケーション固有の主基板又はアプリケーション固有の集積回路の、本開示の当業技術において理解され且つ本開示に例示的に記載された全ての構成を広く含む。当該コントローラの構成は、限定されるものではないが、プロセッサ、コンピュータ使用可能な/コンピュータ読取可能な記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺装置コントローラ、スロット及びポートを含むことができる。コントローラは、拡張現実装置、医療装置及び/又はワークステーションに収容することができ又はリンクすることができる。“ワークステーション”の例は、限定されるものではないが、独立型計算システム、クライアントコンピュータ、サーバシステム、デスクトップ、ラップトップ又はタブレットの形の1以上の計算装置、ディスプレイ/モニタ及び1以上の入力装置(例えば、キーボード、ジョイスティック及びマウス)の組み立て体を含む。
(12)本明細書及び請求項に記載されるコントローラのための記述的ラベルは、本明細書及び請求項に記載されるコントローラの間の区別を、該“コントローラ”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
(13)“アプリケーションモジュール”なる用語は、特定のアプリケーションを実行するための、電子回路(例えば、電子部品及び/又はハードウェア)からなるコントローラに組み込まれた又はコントローラによりアクセス可能なアプリケーション及び/又は実行可能なプログラム(例えば、非一時的コンピュータ読取可能な媒体上に記憶された実行可能なソフトウェア及び/又はファームウエア)を広く含む。
(14)本明細書及び請求項に記載されるアプリケーションモジュールのための記述的ラベルは、本明細書及び請求項に記載されるアプリケーションモジュールの間の区別を、該“アプリケーションモジュール”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
(15)“信号”、“データ”及び“コマンド”なる用語は、本開示において後述される本開示の種々の発明原理の適用を助ける情報及び/又は命令を伝送するための、本開示の当業技術において理解され且つ本開示において例示的に記載される検出可能な物理量又はインパルスの全ての形態(例えば、電圧、電流又は磁場強度)を広く含む。本開示の種々の構成要素における信号/データ/コマンド通信は、限定されるものではないが、何らかのタイプの有線又は無線データリンクを介する信号/データ/コマンド送信/受信及びコンピュータ使用可能/コンピュータ読取可能な記憶媒体にアップロードされた信号/データ/コマンドの読み取りを含む、本開示の当業技術において既知の任意の通信方法を含むことができる。
(16)本明細書及び請求項に記載される信号/データ/コマンドのための記述的ラベルは、本明細書及び請求項に記載される信号/データ/コマンドの間の区別を、該“信号”、“データ”及び“コマンド”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
For the purpose of describing and claiming the invention of this disclosure,
(1) The term "medical procedure" refers to all procedures known in the art and hereinafter contemplated for the imaging, diagnosis, and/or treatment of a patient's anatomy. It broadly includes (procedures).
(2) The term "medical tool" broadly includes all instruments known in the art of the present disclosure used during medical procedures. Examples of medical devices include, but are not limited to, guidewires, catheters (e.g., IVUS catheters and balloon catheters), valves, stents, ultrasound transducers (TEE, TTE), drills, and endoscopes. .
(3) The term "medical system" broadly includes all medical systems known in the art and hereinafter contemplated for performing one or more medical procedures of this disclosure. Examples of medical systems include, but are not limited to, interventional x-ray systems (fixed systems, mobile systems, hybrid OR), ultrasound systems, patient monitoring systems, contrast injection systems, diagnostic imaging systems (x-ray, CT, PET, MRI).
(4) The term "medical device" means a medical instrument (or This disclosure broadly includes all medical devices known in the art and hereinafter contemplated in connection with the operation of multiple medical devices. Examples of medical devices include, but are not limited to, imaging devices (e.g., x-ray devices, ultrasound devices, computer tomography devices, magnetic resonance imaging devices, etc.), tracking devices (e.g., electromagnetic tracking devices, optical tracking devices, etc.). devices, shape-sensing tracking devices, etc.), robotic devices (eg, snake robots, spherical RCM robots, etc.), and monitoring devices (eg, electrocardiogram monitors).
(5) The term “augmented reality activation method” refers to a real-world camera serving as a trigger for medical procedure operations by an augmented reality device, a medical device, and/or additional augmented reality devices exemplarily described in this disclosure. It broadly includes all procedures that incorporate the inventive principles of this disclosure that are directed to object recognition of medical instruments and/or instrument identifiers in images.
(6) The term “augmented reality activation system” refers to a real-world camera that serves as a trigger for medical procedure operations by an augmented reality device, a medical device, and/or additional augmented reality devices exemplarily described in this disclosure. It broadly includes all medical systems that incorporate the inventive principles of this disclosure, including object recognition of medical instruments and/or instrument identifiers within images.
(7) The term "augmented reality device" is a device known in the art of this disclosure that implements augmented reality that overlays a virtual object (or objects) on a real-world display based on camera images of the real world. broadly includes all devices envisaged below. Examples of augmented reality devices include, but are not limited to, augmented reality head-mounted displays (e.g., GOOGLE GLASSTM, HOLOLENS(R), MAGIC LEAP(R), VUSIX(R) ) and META(R)).
(8) The term "camera image" broadly includes images or videos of images of the real world produced by a camera or equivalent device incorporated as part of an augmented reality device.
(9) The term "object recognition" broadly includes all techniques known in the art and hereinafter contemplated for recognizing objects in camera images.
(10) The phrase "initiate a medical procedure action" and the tense of the phrase enable an action in support of a preoperative step (or steps) and/or an intraoperative step (or steps) of a medical procedure. and/or for commanding, in particular for commanding configuration, signal enabling/disabling (unmodulated and modulated) and/or function calls of an augmented reality device or a medical device. broadly includes all techniques known in the art and contemplated below.
(11) The term “controller” refers to an application-specific main board or an application-specific integrated circuit for controlling the application of the various inventive principles of this disclosure exemplarily described in this disclosure. It broadly includes all configurations as understood in the art and exemplarily described in this disclosure. The configuration of the controller may include, but is not limited to, a processor, a computer-usable/computer-readable storage medium, an operating system, application modules, peripheral device controllers, slots, and ports. The controller can be housed in or linked to an augmented reality device, a medical device, and/or a workstation. Examples of a "workstation" include, but are not limited to, a standalone computing system, a client computer, a server system, one or more computing devices in the form of a desktop, laptop, or tablet, a display/monitor, and one or more inputs. Includes an assembly of devices (eg, keyboard, joystick, and mouse).
(12) Descriptive labels for controllers described in this specification and claims shall not distinguish between controllers described in this specification and claims without adding any additional limitations to the term “controller.” facilitate without also specifying or including.
(13) The term “application module” refers to an application and/or that is incorporated into or accessible by a controller that consists of electronic circuitry (e.g., electronic components and/or hardware) for executing a particular application. Broadly includes executable programs (e.g., executable software and/or firmware stored on non-transitory computer-readable media).
(14) Descriptive labels for application modules described in this specification and claims shall be used to distinguish between application modules described in this specification and claims. Facilitates without specifying or including additional limitations.
(15) The terms "signal,""data," and "command" refer to the meaning of this disclosure for transmitting information and/or instructions that assist in applying the various inventive principles of this disclosure described later in this disclosure. It broadly includes all forms of detectable physical quantities or impulses (eg, voltage, current or magnetic field strength) as understood in the art and exemplarily described in this disclosure. Signal/data/command communication in the various components of the present disclosure may include, but is not limited to, signal/data/command sending/receiving and computer-usable/computer-readable communication over any type of wired or wireless data link. The present disclosure may include any communication method known in the art, including reading signals/data/commands uploaded to a storage medium.
(16) Descriptive labels for signals/data/commands described in this specification and claims shall distinguish between the signals/data/commands described in this specification and claims. ”, “data” and “command” without specifying or including any additional qualifications to the terms.
本開示の発明の上記及び他の実施態様並びに本開示の発明の種々の構成及び利点は、添付図面を参照して読まれる本開示の発明の種々の実施態様の後述する詳細な説明から更に明らかとなるであろう。尚、詳細な説明及び図面は、限定するというよりは本開示の発明の解説に過ぎず、本開示の発明の範囲は添付請求項及びその均等物によって定義されるものである。 These and other embodiments of the disclosed invention, as well as various features and advantages of the disclosed invention, will be further apparent from the following detailed description of various embodiments of the disclosed invention, read with reference to the accompanying drawings. It will be. It is to be understood that the detailed description and drawings are merely illustrative of the disclosed invention rather than limiting, the scope of the disclosed invention being defined by the appended claims and their equivalents.
本開示の種々の発明の理解を容易にするために、図1の下記の説明は本開示の拡張現実起動システムに関連する基本的発明原理を教示する。この説明から、当業者であれば、本開示の発明原理を本開示の拡張現実起動システムの更なる実施態様を形成及び使用するためにどの様に適用するかを理解するであろう。 To facilitate understanding of the various inventions of this disclosure, the following description of FIG. 1 teaches basic inventive principles associated with the augmented reality activation system of this disclosure. From this description, those skilled in the art will understand how to apply the inventive principles of this disclosure to form and use further embodiments of the augmented reality activation system of this disclosure.
図1を参照すると、拡張現実起動システム10は、医療器具20及び/又は器具識別子21に基づく本開示の拡張現実起動方法を実施するために主拡張現実(AR)装置30及び起動動作コントローラ40を使用する。通常、当該拡張現実起動方法は、本開示において更に説明されるように、主AR装置30、X個の医療装置50のうちの1以上(X≧1)及び/又は二次拡張現実装置130による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具20及び/又は器具識別子21の物体認識を行う。
Referring to FIG. 1, an augmented
依然として図1を参照すると、医療器具20(例えば、ガイドワイヤ、カテーテル、弁、ステント等)は、本開示において更に例示的に説明されるように、医療器具20及び/又は器具識別子21を含む現実世界のカメラ画像内での主拡張現実装置30による医療器具20の認識を容易にするために器具識別子21と関連付けられる。
Still referring to FIG. 1, a medical device 20 (e.g., a guidewire, catheter, valve, stent, etc.) may include a
実際には、器具識別子21は医療器具20と、主拡張現実装置30を介する医療器具20の認識に適した何らかの態様で関連付けることができる。
In practice, the
一実施態様において、器具識別子21は、例えば図2Aに示されるような超音波プローブ20aの形状21a又は事前成形されたカテーテルの形状等の、医療器具20の形状として具現化することができる。
In one embodiment, the
第2実施態様において、器具識別子21は、例えば図2Bに示されるような医療器具20bに取り付けられた器具ラベル21b等の医療器具20上に取り付けられた器具ラベルとすることができ、及び/又は、代わりに、器具識別子21は医療器具20のパッケージ/収納容器上に取り付けられた器具ラベルとすることができる。実際には、当該器具ラベルは、医療器具20又は医療器具20のパッケージ/収納容器の標準的商用ラベル付け又はユーザ作製ラベル付けとすることができる。
In a second embodiment, the
第3実施態様において、器具識別子21は、例えば図2Cに示されるような医療器具20cに取り付けられた顧客マーカ21c等の医療器具20上に取り付けられた顧客マーカとすることができる。実際には、顧客マーカは医療器具20を識別する目的でシステム10の操作者のために作製されたマーカである。
In a third embodiment, the
第4実施態様において、器具識別子21は、例えば図2Dに示されるような医療器具20cには取り付けられていない顧客マーカ21d等の医療器具20には取り付けられない顧客マーカとすることができる。この実施態様のために、当該顧客マーカは、医療器具20を撮像、追跡又はナビゲーションするための医療器具20の作動設定及び/又は医療装置50の動作設定(例えば、幾何学構造又は医療器具20を作動させるためのX線設定若しくは仮想スクリーン配置設定)を示すグラフィック及びテキストが印された理学手順カードとすることができる。更に詳細には、一群の斯様な理学手順カードを何らかの個々のケースのために事前に印刷することができ、医療処置の適切なステップにおいて技師は、該群の特注理学手順カードをめくり、各カード上のマーカを単に見ることにより当該医療処置の連続する各ステップを経て誘導され得る。
In a fourth embodiment, the
図1に戻ると、各医療装置50は、本開示の当業技術において既知の医療器具20の医療器具20の操作(例えば、作動させ、撮像し、追跡し、ナビゲーションし等)を制御し、及び/又は医療器具20の操作に関連するように構成される。
Returning to FIG. 1, each
一実施態様において、医療装置50は、医療処置の間に患者の解剖学的構造に対して医療器具20を撮像し、取り扱い又は監視するための撮像装置(例えば、X線装置、超音波装置、コンピュータトモグラフィ装置、磁気共鳴撮像装置等)とすることができる。
In one embodiment,
第2実施態様において、医療装置50は、医療処置の間に患者の解剖学的構造に対して医療器具20の位置を追跡するための追跡装置(例えば、電磁追跡装置、光学追跡装置、形状感知追跡装置等)とすることができる。
In a second embodiment,
第3実施態様において、医療装置50は、医療処置の間に患者の解剖学的構造に対して医療器具20をナビゲーションするためのロボット装置(例えば、蛇型ロボット、球状RCMロボット等)とすることができる。
In a third embodiment, the
第4実施態様において、医療装置50は患者の1以上の状態を監視するための監視装置(例えば、心電図モニタ)とすることができる。
In a fourth embodiment,
依然として図1を参照すると、主拡張現実装置30は本開示の当業技術において既知のように拡張現実ディスプレイ31、拡張現実カメラ32及び拡張現実コントローラ33を使用する。実際には、1以上の拡張現実アプリケーションに従い、拡張現実コントローラ33は、本開示の当業技術において既知のように拡張現実カメラ32の動作を現実世界のカメラ画像を発生するように制御し、更に、拡張現実カメラ32により発生される現実世界のカメラ画像の表示、現実世界の操作者の視覚又は他の装置(例えば、スマートフォン、タブレット等)により表示される現実世界の表示を介して拡張現実ディスプレイ31による生の画像ストリームの拡張の表示を制御する。
Still referring to FIG. 1, the main
同様に、二次拡張現実装置130は、本開示の当業技術において既知のように拡張現実ディスプレイ131、拡張現実カメラ132及び拡張現実コントローラ133を使用する。実際には、拡張現実コントローラ133は、本開示の当業技術において既知のように拡張現実カメラ132の動作を現実世界のカメラ画像を発生するように制御し、更に、拡張現実カメラ132により発生される現実世界のカメラ画像の表示、現実世界の操作者の視覚又は他の装置(例えば、スマートフォン、タブレット等)により表示される現実世界の表示を介して拡張現実ディスプレイ131による生の画像ストリームの拡張の表示を制御する。
Similarly, secondary augmented
本開示において更に例示的に説明されるように、何のAR装置が現実世界のカメラ画像内の医療器具20及び/又は器具識別子21の物体認識のために使用されるかを区別する目的のためだけに、拡張現実装置30は本開示では主として指定される一方、拡張現実装置130は本開示では二次として指定されていることに注意されたい。
For the purpose of distinguishing which AR device is used for object recognition of a
依然として図1を参照すると、起動動作コントローラ40は医療器具認識モジュール41及びY個の医療装置起動モジュール42(Y≧1)を使用する。通常、医療器具認識モジュール41は本開示において更に例示的に説明されるように拡張現実カメラ32により発生された現実世界のカメラ画像内の医療器具20及び/又は器具識別子21を認識するように構成される一方、各医療装置起動モジュール42は、本開示において更に例示的に説明されるように、拡張現実カメラ32により発生された現実世界のカメラ画像内の医療器具認識モジュール41による医療器具20及び/又は器具識別子21の認識に応答して、主拡張現実装置30、1以上の医療装置50及び/又は二次拡張現実装置による医療処置動作を起動するように構成される。
Still referring to FIG. 1, the
一実施態様において、起動動作コントローラ40は、1以上のシステムバスを介して相互接続されたプロセッサ(又は複数のプロセッサ)、メモリ、ユーザインターフェース、ネットワークインターフェース及び記憶部を含む。
In one embodiment,
各プロセッサは、メモリ若しくは記憶部に記憶された命令を実行し又はそれ以外でデータを処理することができる、本開示の当業技術において既知の又は以下で想定される任意のハードウェア装置とすることができる。限定するものでない例において、当該プロセッサは、マイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)又は他の同様のデバイスを含むことができる。 Each processor may be any hardware device known in the art or contemplated below that is capable of executing instructions stored in memory or storage or otherwise processing data. be able to. In non-limiting examples, the processor may include a microprocessor, field programmable gate array (FPGA), application specific integrated circuit (ASIC), or other similar device.
前記メモリは、これらに限定されるものではないがL1、L2若しくはL3キャッシュ又はシステムメモリを含む、本開示の当業者において既知の又は以下で想定される種々のメモリを含むことができる。限定するものでない例において、当該メモリはスタチックランダムアクセスメモリ(SRAM)、ダイナミックRAM(DRAM)、フラッシュメモリ、リードオンリメモリ(ROM)又は他の同様のメモリデバイスを含むことができる。 The memory may include a variety of memories known to those skilled in the art of this disclosure or contemplated below, including, but not limited to, L1, L2, or L3 cache or system memory. In non-limiting examples, the memory may include static random access memory (SRAM), dynamic RAM (DRAM), flash memory, read only memory (ROM), or other similar memory devices.
前記ユーザインターフェースは、管理者等のユーザとの通信を可能にするための、本開示の当業技術において既知の又は以下で想定される1以上の装置を含むことができる。限定するものでない例において、該ユーザインターフェースは前記ネットワークインターフェースを介して遠隔端末に提示することができるコマンドラインインターフェース又はグラフィックユーザインターフェースを含むことができる。 The user interface may include one or more devices known in the art or contemplated below to enable communication with users, such as administrators. In non-limiting examples, the user interface may include a command line interface or a graphical user interface that may be presented to a remote terminal via the network interface.
前記ネットワークインターフェースは、他のハードウェア装置との通信を可能にするための、本開示の当業技術において既知の又は以下で想定される1以上の装置を含むことができる。限定するものでない例において、該ネットワークインターフェースは、イーサネットプロトコルに従って通信するように構成されたネットワークインターフェースカード(NIC)を含むことができる。更に、該ネットワークインターフェースはTCP/IPプロトコルに従う通信のためのTCP/IPスタックを実施化することができる。当該ネットワークインターフェースのための種々の代替的又は付加的ハードウェア又は構成は明らかであろう。 The network interface may include one or more devices known in the art or contemplated below for this disclosure to enable communication with other hardware devices. In a non-limiting example, the network interface can include a network interface card (NIC) configured to communicate according to an Ethernet protocol. Further, the network interface may implement a TCP/IP stack for communication according to the TCP/IP protocol. Various alternative or additional hardware or configurations for the network interface will be apparent.
前記記憶部は、これらに限定されるものではないがリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置又は同様の記憶媒体を含む、本開示の当業技術において既知の又は以下で想定される1以上のマシン読取可能な記憶媒体を含むことができる。種々の限定するものでない実施態様において、該記憶部は前記プロセッサによる実行のための命令又は該プロセッサが演算を行うデータを記憶することができる。例えば、該記憶部は当該ハードウェアの種々の基本動作を制御するための基本オペレーティングシステムを記憶することができる。該記憶部は、本開示において更に説明するように、医療器具認識モジュール41及び医療装置起動モジュール42を起動動作コントローラ40の種々の機能を果たすための実行可能なソフトウェア/ファームウエアの形で記憶する。
The storage unit includes, but is not limited to, read-only memory (ROM), random access memory (RAM), magnetic disk storage medium, optical storage medium, flash memory device, or similar storage medium, according to the present disclosure. may include one or more machine-readable storage media known in the art or contemplated below. In various non-limiting embodiments, the storage unit can store instructions for execution by the processor or data on which the processor operates. For example, the storage unit can store a basic operating system for controlling various basic operations of the hardware. The storage stores a medical
実際の場合、起動動作コントローラ40は主拡張現実装置30内に、例えば、図3Aに示されるように主拡張現実装置30a内への起動動作コントローラ40aのインストール又は図3Bに示されるように主拡張現実装置30b内への医療器具認識(MTR)モジュール41及び医療装置起動(MTD)モジュール(又は複数のモジュール)42のプログラミング/インストール等の様に、インストールすることができる。
In a practical case, the
他の例として、起動動作コントローラ40はワークステーション内に、例えば、図3Dに示されるように主拡張現実装置30との有線/無線接続を有するワークステーション60a内への起動動作コントローラ40bのインストール、又は図3Cに示されるように主拡張現実装置30内への医療器具認識(MTR)モジュール41のプログラミング/インストール及びワークステーション60b内への医療装置起動(MDT)モジュール(又は複数のモジュール)42のプログラミング/インストール等の様に、部分的に若しくは完全にインストールすることができる。
As another example, the
1以上の医療装置起動(MDT)モジュール42を、医療装置50内に同時に又は代わりにプログラミング/インストールすることもできる。
One or more medical device activation (MDT)
本開示の種々の発明の更なる理解を進めるために、図4に関する下記の説明は本開示の拡張現実起動方法に関連する基本的発明原理を教示する。この説明から、当業者であれば、本開示の拡張現実起動方法の更なる実施態様を形成及び使用するために本開示の発明原理をどの様に適用するかを理解するであろう。 To advance a further understanding of the various inventions of the present disclosure, the following discussion with respect to FIG. 4 teaches basic inventive principles associated with the augmented reality activation method of the present disclosure. From this description, those skilled in the art will understand how to apply the inventive principles of the present disclosure to form and use further embodiments of the disclosed augmented reality activation method.
図4を参照すると、図4のフローチャートは、図1の医療器具認識モジュール41及び医療装置起動モジュール(又は複数のモジュール)42により実行可能な本開示の拡張現実起動方法を表すものである。
Referring to FIG. 4, the flowchart of FIG. 4 is representative of an augmented reality activation method of the present disclosure that may be performed by medical
図1及び図4を参照すると、フローチャート70のステージS72はARカメラ32が現実世界80のカメラ画像180のフィード132を発生するステップを含む。任意の所与の時点において、ARカメラ32は、図示されるように医療器具20及び器具識別子21を除く現実世界80のカメラ画像180aを発生しているか、又は図示されるように医療器具20及び/又は器具識別子21を含む現実世界80のカメラ画像180bを発生していることがあり得る。
1 and 4, stage S72 of
実際の場合、医療器具認識モジュール41は、本開示の当業技術において既知のように、物体認識技術に従って医療器具20及び/又は器具識別子21を含む現実世界80のカメラ画像180b内の医療器具20及び/又は器具識別子21を識別するように構成される。
In the actual case, the medical
一実施態様において、医療器具認識モジュール41は、外観ベースの、モデルベースの若しくはフィーチャベースの技術を用いる照合(マッチング)、学習又はパターン認識アルゴリズムに基づく物体認識技術に従ってデジタル画像又はビデオ内の特定の物体を識別するように構成される。このような技術は、特徴抽出及び機械学習モデル、ディープラーニングモデル(例えば、通常のニューラルネットワーク)、単語の袋モデル、勾配ベース及び微分ベースのマッチング方法、テンプレートマッチング、及び/又は画像分割及びブロブ解析を組み込むことができる。
In one embodiment, the medical
現実世界80のカメラ画像180b内の医療器具20及び/又は器具識別子21の認識に応答するものとして、フローチャート70のステージS74は、各医療装置起動モジュール42が主拡張現実装置30、二次拡張現実装置130(適用可能なら)及び/又は1以上の医療装置50による医療処置動作を起動するステップを含む。
In response to the recognition of the
実際には、各医療装置起動モジュール42は、基本プログラミング技術に従って、主拡張現実装置30、二次拡張現実装置130(適用可能なら)及び/又は1以上の医療装置50の構成(設定)、信号の可能化/不能化(変調されていない及び変調された)及び/又は機能呼び出し(ファンクションコール)を指令するように構成される。
In practice, each medical
一実施態様においては、図5Aに例示されるように、医療装置起動モジュール42は主拡張現実装置30内に事前に記憶された又は主拡張現実装置30にモジュール42若しくは他のコンテンツ源を介して通知された医療器具コンテンツ22を表示するために主拡張現実装置30に対してコマンド142aを送出することができる。
In one embodiment, as illustrated in FIG. 5A, the medical
実際の場合、医療器具コンテンツ22は医療器具20に関する任意のタイプのコンテンツとすることができる。医療器具コンテンツ22の例は:
1.ARディスプレイ31上の医療器具のオーバーレイ;
2.医療器具20の入力フィード;
3.医療器具20の説明;
4.医療器具20を操作するための使用説明;
5.医療器具20に関連する何らかの警告(例えば、期限切れ警告、リコール警告、撮像適合性/非適合性及び患者のタイプの推奨等);
6.医療器具20の通常の及び特別な使用ケース、特に、現医療処置に関係する医療器具20の過去のケースの条件;
7.計画のための医療器具20に関する検索結果へのリンク(例えば、公開文献、記事、ビデオ等);及び
8.医療器具20の価格の表示及び現処置のために一層安価な類似の医療器具が利用可能であるかの指示情報;
を含む。
In practice,
1. Overlay of medical instruments on
2. input feed of
3. Description of the
4. Instructions for operating the
5. any warnings associated with the medical device 20 (e.g., expiration warnings, recall warnings, imaging compatibility/incompatibility and patient type recommendations, etc.);
6. the conditions of normal and special use cases of the
7. 8. Links to search results regarding
including.
これらの例に関し、医療装置起動モジュール42は、更に、在庫管理の目的で現医療処置の間において当該医療器具20の使用の記録も制御する。
For these examples, the medical
更に、医療装置起動モジュール42は医療器具コンテンツ22の聴覚フィードバック情報も供給することができる。
Additionally, medical
同時に又は代わりに、医療装置起動モジュール42は二次拡張現実装置130内に事前に記憶された又は二次拡張現実装置130にモジュール42若しくは他のコンテンツ源を介して通知された医療器具コンテンツ22を表示するために二次拡張現実装置130に対してコマンド142bを送出することができ、及び/又は図5Cに例示されるように、医療装置起動モジュール42は医療装置50内に事前に記憶された又は医療装置50にモジュール42若しくは他のコンテンツ源を介して通知された医療器具コンテンツ22を装置のディスプレイ51を介して表示するために医療装置50に対してコマンド142cを送出することができる。
At the same time, or in the alternative, medical
第2実施態様においては、図5Bに例示されるように、医療装置起動モジュール42は主拡張現実装置30内に事前に記憶された医療器具ホログラム23を表示するために又は医療器具ホログラム23をモジュール42若しくは他のホログラム源から表示のためにロードするために主拡張現実装置30に対してコマンド142aを送出することができる。この構成は、患者の解剖学的構造に対する医療器具20の位置決めの仮想的検査を提供する。
In a second embodiment, as illustrated in FIG. 5B, the medical
同時に又は代わりに、医療装置起動モジュール42は、二次拡張現実装置130内に事前に記憶された医療器具ホログラム23を表示するために又は医療器具ホログラム23をモジュール42若しくは他のホログラム源から表示のためにロードするために二次拡張現実装置130に対してコマンド142bを送出することができ、及び/又は図5Dに例示されるように、医療装置起動モジュール42は医療装置50内に事前に記憶された医療器具ホログラム23を装置のディスプレイ51を介して表示するために又は医療器具ホログラム23をモジュール42若しくは他のホログラム源から表示のために装置のコントローラ52にロードするために医療装置50に対してコマンド142cを送出することができる。
Simultaneously or alternatively, medical
第3実施態様において、医療装置起動モジュール42は医療装置50を構成(設定)するためのコマンドを送出することができる。例えば、図6Aに示されるように、撮像医療装置50cは基本構成53から医療器具20に適した特定のプロトコルを含む構成53’へ再構成することができる。更なる例によれば、バルーンカテーテルの形態の医療器具20はX線撮像装置のDSA設定を、当該プロトコルを自動的に設定する又はユーザに推奨されたプロトコルを容認するように促すことにより起動することができる。
In a third embodiment, medical
第4実施態様において、医療装置起動モジュール42は医療装置50を或る動作モードから他の動作モードへ切り換えるためのコマンド142cを送出することができる。例えば、図6Bに示されるように、撮像医療装置50dを動作モード54から動作モード55へ切り換えることができる。この例に関し、動作モード54は患者の解剖学的構造に対するカテーテルのナビゲーション及び処置のX線撮像を含み得、これによれば、主AR装置30を介しての血管閉鎖器具の認識は動作モード54の完了を示し、このことは、該血管閉鎖器具の配置を容易にするためのX線患者テーブルの下降、X線Cアームの待避位置への移動及びX線放出器の不能化を含む動作モード55への切り換えを起動する。
In a fourth embodiment, medical
ステージS74の医療装置の起動に続いて、フローチャート70は終了するか、又は当該医療処置の間に使用される追加の医療器具(又は複数の器具)20の認識のためにステージS72に戻り得る。
Following activation of the medical device at stage S74,
図1に戻ると、実際の場合、モジュール41及び42は、本開示において既述したように現実世界のカメラ画像内における医療器具20及び/又は器具識別子21の認識に基づいて適切な医療処置動作を起動するように事前に構成(設定)される。代わりに、システム10の操作者は、本開示において既述したように現実世界のカメラ画像内における医療器具20及び/又は器具識別子21の認識に基づいて適切な医療処置動作を起動するようにモジュール41及び42を構成することもできる。
Returning to FIG. 1, in an actual case,
一実施態様において、起動動作コントローラ40は、現実世界のカメラ画像内での医療器具20及び/又は器具識別子21の物体認識並びに斯かる物体認識により起動される適切な医療処置動作を記述するために、モジュール41及び42の規則を、グラフィック的に又はテキスト的にプログラミングするためのユーザインターフェースを組み込むことができる。
In one embodiment, the
第2実施態様において、起動動作コントローラ40は特定の医療器具20を最初に認識するための本開示の当業技術において既知のアプリケーションを組み込むことができ、これによれば、モジュール41はその後に医療器具20を認識することができるように構成することができ、モジュール42は斯様な認識により駆動される適切な医療処置動作を起動するように構成することができる。
In a second embodiment, the
第3実施態様において、起動動作コントローラ40は特定の医療処置の実行の間における動作を記憶するように構成することができ、これによれば、1以上の訓練モデルを主AR装置30からの入力、操作者の入力、及び/又は医療器具20及び/又は医療装置50に関係する手続的プロトコル及び/又は情報に基づいて開発することができる。当該医療処置の現在の実行の間において、上記訓練モデルの履歴データは、モジュール42による現実世界のカメラ画像内における医療器具20及び/又は器具識別子21の認識に際して起動する適切な医療処置動作並びに斯様な物体認識により起動される適切な医療処置動作の予測を容易にする。
In a third embodiment, the
図1~図6を参照すると、本開示の分野における当業者であれば、これらに限定されるものではないが、拡張現実装置による医療器具の物体認識が該拡張現実装置、医療装置及び/又は追加の拡張現実装置による動作のためのきっかけとして働き、これにより、医療処置のワークフローの如何なる中断も最小にすることを含む数々の利点を理解するであろう。当業者であれば、更に、本開示の発明の非医療システム、方法、器具及び装置への適用可能性も理解するであろう。 Referring to FIGS. 1-6, those skilled in the art of the present disclosure will appreciate that object recognition of a medical instrument by an augmented reality device, including, but not limited to, the augmented reality device, the medical device, and/or One will appreciate a number of benefits, including serving as a trigger for operation with additional augmented reality devices, thereby minimizing any disruption to the workflow of a medical procedure. Those skilled in the art will further appreciate the applicability of the disclosed invention to non-medical systems, methods, instruments and devices.
更に、当業者であれば理解するように、本明細書で提供される教示に鑑み、本開示/明細書に記載され及び/又は図に記載される構造、要素、部品等は、ハードウェア及びソフトウェアの種々の組み合わせで実施化することができ、単一の要素又は複数の要素に組み合わせることができる機能を提供することができる。例えば、図に示され/図示され/描かれた種々の構造、要素、部品等の機能は、専用のハードウェア及び付加的機能のための適切なソフトウェアとの関連でソフトウェアを実行することができるハードウェアを介して提供することができる。プロセッサにより提供される場合、斯かる機能は単一の専用のプロセッサにより、単一の共有プロセッサにより、又は複数の個別のプロセッサ(これらの幾つかは共有及び/又は多重化することができる)により提供することができる。更に、“プロセッサ”又は“コントローラ”なる用語の明示的使用は、ソフトウェアを実行することができるハードウェアを専ら参照すると見なされるべきではなく、限定無しで、デジタル信号プロセッサ(“DSP”)ハードウェア、メモリ(例えば、ソフトウェアを記憶するためのリードオンリメモリ(“ROM”)、ランダムアクセスメモリ(“RAM”)、不揮発性記憶部等)並びに処理を実行及び/又は制御することができる(及び/又は構成することができる)実質的に如何なる手段及び/又はマシン(ハードウェア、ソフトウェア、ファームウエア及びこれらの組合せ等を含む)も暗黙的に含むことができる。 Furthermore, as one of ordinary skill in the art will appreciate, in light of the teachings provided herein, the structures, elements, components, etc. described in this disclosure/specification and/or illustrated in the figures may be considered hardware and/or It can be implemented in various combinations of software, providing functionality that can be combined into a single element or multiple elements. For example, the functions of the various structures, elements, parts, etc. shown/illustrated/depicted in the figures may be implemented in software in conjunction with dedicated hardware and appropriate software for additional functions. Can be provided via hardware. When provided by a processor, such functionality may be provided by a single dedicated processor, by a single shared processor, or by multiple individual processors (some of which may be shared and/or multiplexed). can be provided. Furthermore, explicit use of the terms "processor" or "controller" should not be considered to refer exclusively to hardware capable of executing software, and includes, without limitation, digital signal processor ("DSP") hardware. , memory (e.g., read-only memory (“ROM”) for storing software, random access memory (“RAM”), non-volatile storage, etc.) and can execute and/or control processes (and/or Implicitly may include substantially any means and/or machine (including hardware, software, firmware, combinations thereof, etc.) that can be configured or configured.
更に、本明細書における本発明の原理、態様及び実施態様並びにこれらの特定の例を記載する記述は、これらの構造的及び機能的な両方の均等物を含むことを意図するものである。加えて、このような均等物は現在知られている均等物及び将来開発される均等物(例えば、構成に拘わらず同一の又は実質的に同様の機能を果たすことができる何らかの開発された要素)の両方を含むことを意図するものである。このように、例えば、当業者によれば、ここに提供される教示内容に鑑み、ここに提示される如何なるブロック図も本発明の原理を具現化する例示的システム部品及び/又は回路の概念図を表し得ると理解されるであろう。同様に、当業者であれば、ここに提供される教示内容に鑑み、如何なるフローチャート及び流れ図等も、コンピュータ読取可能な記憶媒体内に実質的に表すことができ、従ってコンピュータ、プロセッサ又は処理能力を備える他の装置(斯かるコンピュータ又はプロセッサが明示的に示されているか否かによらず)により実行することができる種々の処理を表すことができると理解すべきである。 Furthermore, statements herein reciting principles, aspects, and embodiments of the invention as well as specific examples thereof are intended to encompass both structural and functional equivalents thereof. In addition, such equivalents include both currently known equivalents and equivalents developed in the future (e.g., any element developed that can perform the same or substantially similar function, regardless of configuration). It is intended to include both. Thus, for example, those skilled in the art will appreciate that, in light of the teachings provided herein, any block diagrams presented herein are conceptual illustrations of exemplary system components and/or circuits embodying the principles of the present invention. It will be understood that it can represent Similarly, one of ordinary skill in the art will appreciate, in light of the teachings provided herein, that any flowcharts, flowcharts, etc. can be substantially represented in a computer-readable storage medium and thus require a computer, processor, or processing power. It should be understood that various operations may be represented that may be performed by other devices (whether or not such computers or processors are explicitly shown).
本開示の発明の好ましい且つ例示的実施態様(解説的なもので、限定するものでないことを意図するものである)を説明したが、各図を含み、ここに提供された教示内容に照らして当業者により修正及び変形をなすことができることに注意されたい。従って、本開示の好ましい且つ例示的実施態様に対し、ここに開示される実施態様の範囲内に入る変更を行うことができると理解されるべきである。 Having described preferred and exemplary embodiments of the disclosed invention, which are intended to be illustrative and not limiting, including the figures and in light of the teachings provided herein, It is noted that modifications and variations may be made by those skilled in the art. Accordingly, it should be understood that changes may be made to the preferred and exemplary embodiments of this disclosure that fall within the scope of the embodiments disclosed herein.
更に、当該装置/システムを組み込む及び/又は実施化する対応する及び/又は関係するシステム、又は本開示による装置において使用され/実施化されるもの等も、本開示の範囲内に入ると想定され、見なされるものである。更に、本開示による装置及び/又はシステムを製造し及び/又は使用する対応する及び/又は関連する方法も、本開示の範囲内に入ると想定及び見なされるものである。 Furthermore, corresponding and/or related systems incorporating and/or implementing such devices/systems, or those used/implemented in devices according to the present disclosure, etc. are also contemplated to fall within the scope of the present disclosure. , shall be considered. Additionally, corresponding and/or related methods of making and/or using devices and/or systems according to the present disclosure are also contemplated and considered to fall within the scope of the present disclosure.
Claims (11)
現実世界のカメラ画像を撮像し、当該現実世界のカメラ画像に基づく現実世界表示上に仮想物体をオーバーレイ表示する主拡張現実装置と、
起動動作コントローラと、
を有し、前記起動動作コントローラが、
前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方を認識し、
前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方の当該起動動作コントローラによる認識に応答して、少なくとも、医療処置を撮像する医療装置による前記医療処置の撮像を前記医療器具に適した動作モードに設定する、医療処置動作を起動する、
拡張現実起動システム。 An augmented reality activation system that implements an augmented reality activation method based on at least one of a medical device and an instrument identifier associated with the medical device, the system comprising:
a main augmented reality device that captures a camera image of the real world and overlays a virtual object on a real world display based on the camera image of the real world ;
a startup operation controller;
and the startup operation controller has:
recognizing at least one of the medical instrument and the instrument identifier in the camera image of the real world captured by the main augmented reality device;
at least the medical device imaging a medical procedure in response to recognition by the activation motion controller of at least one of the medical device and the device identifier in the real-world camera image captured by the primary augmented reality device. setting medical procedure imaging to an operating mode suitable for the medical device; activating a medical procedure operation;
Augmented reality activation system.
器具ラベル、
前記医療器具に取り付けられた前記医療器具を識別するための顧客マーカ、及び
前記医療器具に取り付けられていない前記顧客マーカ、
のうちの少なくとも1つを含む、請求項1に記載の拡張現実起動システム。 The instrument identifier is
equipment labels,
a customer marker for identifying the medical device that is attached to the medical device; and a customer marker that is not attached to the medical device.
The augmented reality activation system of claim 1, comprising at least one of:
前記医療装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記医療装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を更に行う動作を含む、請求項1に記載の拡張現実起動システム。 The activation operation controller activates the medical treatment operation in such a manner that the activation operation controller:
2. The method of claim 1, further comprising: activating display of content related to the medical device by the medical device; and activating display of a hologram model of the medical device by the medical device. Augmented reality activation system.
前記医療器具の入力フィード、
前記医療器具の説明、
前記医療器具を操作するための使用説明、
前記医療器具及び該医療器具に類似する追加の医療器具の少なくとも一方の使用を含むケース、及び
前記医療器具に関連する何らかの警告
のうちの少なくとも1つ含む、請求項4に記載の拡張現実起動システム。 The content related to the medical device is
an input feed for the medical device;
a description of the medical device;
instructions for operating the medical device;
5. The augmented reality activation system of claim 4 , wherein the case includes use of at least one of the medical device and an additional medical device similar to the medical device, and at least one of some warning associated with the medical device. .
請求項1に記載の拡張現実起動システム。 further comprising a secondary augmented reality device that captures a camera image of a real world different from the main augmented reality device and displays a virtual object as an overlay on a real world display based on the camera image of the different real world ;
The augmented reality activation system according to claim 1.
現実世界のカメラ画像を撮像し、当該現実世界のカメラ画像に基づく現実世界表示上に仮想物体をオーバーレイ表示する主拡張現実装置により撮像された現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方を認識する医療器具認識モジュールと、
前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方の前記医療器具認識モジュールによる認識に応答して、少なくとも、医療処置を撮像する医療装置による医療処置の撮像を前記医療器具に適した動作モードに設定する、医療処置動作を起動する医療装置起動モジュールと、
を有する、起動動作コントローラ。 An activation operation controller that implements an augmented reality activation method based on at least one of a medical device and an instrument identifier associated with the medical device, the activation controller comprising:
The medical instrument and the instrument identifier in the real-world camera image captured by a main augmented reality device that captures a real-world camera image and overlays a virtual object on a real-world display based on the real-world camera image. a medical device recognition module that recognizes at least one of the following ;
at least by a medical device imaging a medical procedure in response to recognition by the medical device recognition module of at least one of the medical device and the device identifier in the real-world camera image captured by the primary augmented reality device. a medical device activation module for activating medical procedure operations that sets medical procedure imaging to an operating mode suitable for the medical device ;
A start-up operation controller having:
前記医療装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記医療装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を含む、請求項8に記載の起動動作コントローラ。 The operation of the medical device activation module activating a medical treatment operation is such that the medical device activation module further comprises:
9. The activation operation controller of claim 8 , comprising at least one of: activating a display of content related to the medical device by the medical device; and activating a display of a holographic model of the medical device by the medical device. .
前記起動動作コントローラが、前記主拡張現実装置により撮像された現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方を認識するステップと、
前記起動動作コントローラが、前記主拡張現実装置により撮像された前記現実世界のカメラ画像内の前記医療器具及び前記器具識別子の少なくとも一方の前記起動動作コントローラによる認識に応答して、少なくとも、医療処置を撮像する医療装置による前記医療処置の撮像を前記医療器具に適した動作モードに設定する、医療処置動作を起動するステップと、
を有する、方法。 A main augmented reality device that captures a camera image of the real world and displays a virtual object as an overlay on a real world display based on the camera display of the real world, and an activation operation controller , A method of operating an augmented reality activation system that performs an augmented reality activation based on at least one of a device identifier, the method comprising:
the activation operation controller recognizing at least one of the medical instrument and the instrument identifier in a real-world camera image captured by the main augmented reality device;
The activation motion controller at least initiates a medical procedure in response to recognition by the activation motion controller of at least one of the medical instrument and the instrument identifier in the real-world camera image captured by the primary augmented reality device. activating a medical procedure operation that sets imaging of the medical procedure by an imaging medical device to an operating mode suitable for the medical instrument ;
A method having.
前記起動動作コントローラが前記医療装置による前記医療器具に関係するコンテンツの表示を起動するステップ、及び
前記起動動作コントローラが前記医療装置による前記医療器具のホログラムモデルの表示を起動するステップ
の少なくとも一方を含む、請求項10に記載の方法。 The activation operation controller activating a medical treatment operation includes:
and at least one of the following: the activation operation controller activating the medical device to display content related to the medical device; and the activation operation controller activating the medical device to display a holographic model of the medical device. , the method according to claim 10 .
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762582478P | 2017-11-07 | 2017-11-07 | |
US62/582,478 | 2017-11-07 | ||
PCT/EP2018/080071 WO2019091875A1 (en) | 2017-11-07 | 2018-11-03 | Augmented reality triggering of devices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021501653A JP2021501653A (en) | 2021-01-21 |
JP7442444B2 true JP7442444B2 (en) | 2024-03-04 |
Family
ID=64270843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020524549A Active JP7442444B2 (en) | 2017-11-07 | 2018-11-03 | Augmented reality activation of the device |
Country Status (5)
Country | Link |
---|---|
US (2) | US11836863B2 (en) |
EP (1) | EP3707582A1 (en) |
JP (1) | JP7442444B2 (en) |
CN (1) | CN111433711A (en) |
WO (1) | WO2019091875A1 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3864629A4 (en) * | 2018-10-08 | 2022-07-27 | McGinley Education Innovations, LLC | Augmented reality based real-time ultrasonography image rendering for surgical assistance |
US20210358294A1 (en) * | 2020-05-15 | 2021-11-18 | Microsoft Technology Licensing, Llc | Holographic device control |
US11571225B2 (en) | 2020-08-17 | 2023-02-07 | Russell Todd Nevins | System and method for location determination using movement between optical labels and a 3D spatial mapping camera |
US20220133228A1 (en) * | 2020-11-03 | 2022-05-05 | Biosense Webster (Israel) Ltd. | Identification and visualization of non-navigated objects in medical images |
TWI766491B (en) * | 2020-12-22 | 2022-06-01 | 國立清華大學 | Human negligence warning method based on augmented reality |
US20220331008A1 (en) | 2021-04-02 | 2022-10-20 | Russell Todd Nevins | System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera |
US11600053B1 (en) | 2021-10-04 | 2023-03-07 | Russell Todd Nevins | System and method for location determination using a mixed reality device and multiple imaging cameras |
WO2023067415A1 (en) * | 2021-10-21 | 2023-04-27 | Lem Surgical Ag | Robotically coordinated virtual or augmented reality |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004041778A (en) | 2003-10-20 | 2004-02-12 | Olympus Corp | Observation system for intrabody cavity |
JP2013192773A (en) | 2012-03-21 | 2013-09-30 | Olympus Corp | Video system for surgery and video display method |
JP2014155207A (en) | 2013-02-14 | 2014-08-25 | Seiko Epson Corp | Head-mounted display device and control method of head-mounted display device |
JP2014226341A (en) | 2013-05-23 | 2014-12-08 | オリンパス株式会社 | Endoscope apparatus and operation method of endoscope apparatus |
JP2015521913A (en) | 2012-06-27 | 2015-08-03 | キャンプレックス インコーポレイテッド | Surgical visualization system |
JP2015523102A (en) | 2012-04-16 | 2015-08-13 | チルドレンズ ナショナル メディカル センターChildren’S National Medical Center | Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures |
WO2016133644A1 (en) | 2015-02-20 | 2016-08-25 | Covidien Lp | Operating room and surgical site awareness |
JP2017513086A (en) | 2014-01-29 | 2017-05-25 | ベクトン・ディキンソン・アンド・カンパニーBecton, Dickinson And Company | System and method for ensuring dosing and fluid delivery to a patient during clinical use |
JP2017515617A (en) | 2014-03-28 | 2017-06-15 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Quantitative three-dimensional visualization of instruments in the field of view |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3717552B2 (en) * | 1995-09-01 | 2005-11-16 | オリンパス株式会社 | Medical manipulator system |
US10555775B2 (en) | 2005-05-16 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery |
US20070129626A1 (en) * | 2005-11-23 | 2007-06-07 | Prakash Mahesh | Methods and systems for facilitating surgical procedures |
US20140081659A1 (en) * | 2012-09-17 | 2014-03-20 | Depuy Orthopaedics, Inc. | Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking |
WO2016078919A1 (en) * | 2014-11-18 | 2016-05-26 | Koninklijke Philips N.V. | User guidance system and method, use of an augmented reality device |
US20160300028A1 (en) * | 2014-11-20 | 2016-10-13 | Draeger Medical Systems, Inc. | Transferring device settings |
US10528840B2 (en) * | 2015-06-24 | 2020-01-07 | Stryker Corporation | Method and system for surgical instrumentation setup and user preferences |
DE102015226669B4 (en) * | 2015-12-23 | 2022-07-28 | Siemens Healthcare Gmbh | Method and system for outputting augmented reality information |
CN114903591A (en) * | 2016-03-21 | 2022-08-16 | 华盛顿大学 | Virtual reality or augmented reality visualization of 3D medical images |
US20180092698A1 (en) * | 2016-10-04 | 2018-04-05 | WortheeMed, Inc. | Enhanced Reality Medical Guidance Systems and Methods of Use |
CN206301504U (en) * | 2016-10-25 | 2017-07-04 | 深圳市科创数字显示技术有限公司 | The cornea intelligent operation training system that AR is combined with VR |
US10918445B2 (en) | 2016-12-19 | 2021-02-16 | Ethicon Llc | Surgical system with augmented reality display |
US10636323B2 (en) | 2017-01-24 | 2020-04-28 | Tienovix, Llc | System and method for three-dimensional augmented reality guidance for use of medical equipment |
US10969583B2 (en) | 2017-02-24 | 2021-04-06 | Zoll Medical Corporation | Augmented reality information system for use with a medical device |
JP7053811B2 (en) | 2017-09-29 | 2022-04-12 | シー・アール・バード・インコーポレーテッド | Devices and methods for tracking medical ultrasound objects |
-
2018
- 2018-11-03 WO PCT/EP2018/080071 patent/WO2019091875A1/en unknown
- 2018-11-03 CN CN201880078201.XA patent/CN111433711A/en active Pending
- 2018-11-03 US US16/762,155 patent/US11836863B2/en active Active
- 2018-11-03 JP JP2020524549A patent/JP7442444B2/en active Active
- 2018-11-03 EP EP18800560.7A patent/EP3707582A1/en active Pending
-
2023
- 2023-10-30 US US18/496,962 patent/US20240054742A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004041778A (en) | 2003-10-20 | 2004-02-12 | Olympus Corp | Observation system for intrabody cavity |
JP2013192773A (en) | 2012-03-21 | 2013-09-30 | Olympus Corp | Video system for surgery and video display method |
JP2015523102A (en) | 2012-04-16 | 2015-08-13 | チルドレンズ ナショナル メディカル センターChildren’S National Medical Center | Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures |
JP2015521913A (en) | 2012-06-27 | 2015-08-03 | キャンプレックス インコーポレイテッド | Surgical visualization system |
JP2014155207A (en) | 2013-02-14 | 2014-08-25 | Seiko Epson Corp | Head-mounted display device and control method of head-mounted display device |
JP2014226341A (en) | 2013-05-23 | 2014-12-08 | オリンパス株式会社 | Endoscope apparatus and operation method of endoscope apparatus |
JP2017513086A (en) | 2014-01-29 | 2017-05-25 | ベクトン・ディキンソン・アンド・カンパニーBecton, Dickinson And Company | System and method for ensuring dosing and fluid delivery to a patient during clinical use |
JP2017515617A (en) | 2014-03-28 | 2017-06-15 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Quantitative three-dimensional visualization of instruments in the field of view |
WO2016133644A1 (en) | 2015-02-20 | 2016-08-25 | Covidien Lp | Operating room and surgical site awareness |
Also Published As
Publication number | Publication date |
---|---|
CN111433711A (en) | 2020-07-17 |
WO2019091875A1 (en) | 2019-05-16 |
JP2021501653A (en) | 2021-01-21 |
EP3707582A1 (en) | 2020-09-16 |
US20240054742A1 (en) | 2024-02-15 |
US11836863B2 (en) | 2023-12-05 |
US20200302694A1 (en) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7442444B2 (en) | Augmented reality activation of the device | |
US11017695B2 (en) | Method for developing a machine learning model of a neural network for classifying medical images | |
US11232556B2 (en) | Surgical simulator providing labeled data | |
US20240115333A1 (en) | Surgical system with training or assist functions | |
WO2017220788A1 (en) | System and method for artificial agent based cognitive operating rooms | |
US11527321B2 (en) | Augmented reality for predictive workflow in an operating room | |
Reiter et al. | Appearance learning for 3d tracking of robotic surgical tools | |
US20200363924A1 (en) | Augmented reality drag and drop of objects | |
US20130296682A1 (en) | Integrating pre-surgical and surgical images | |
US20220096163A1 (en) | Camera control systems and methods for a computer-assisted surgical system | |
WO2021048326A1 (en) | Interactive endoscopy for intraoperative virtual annotation in vats and minimally invasive surgery | |
KR20170096810A (en) | Remote image transmission system, display apparatus and guide displaying method of thereof | |
CN110742690A (en) | Method for configuring endoscope and terminal equipment | |
US20230410499A1 (en) | Visibility metrics in multi-view medical activity recognition systems and methods | |
US20230377471A1 (en) | Control system for an augmented reality device | |
JP7417337B2 (en) | Information processing system, information processing method and program | |
US20230334998A1 (en) | Surgical teaching auxiliary system using virtual reality and method thereof | |
WO2023162479A1 (en) | Information processing device, information processing method, and program | |
WO2024123888A1 (en) | Systems and methods for anatomy segmentation and anatomical structure tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221021 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7442444 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |