JP2023507063A - 手術中に画像取込装置を制御するための方法、装置、およびシステム - Google Patents
手術中に画像取込装置を制御するための方法、装置、およびシステム Download PDFInfo
- Publication number
- JP2023507063A JP2023507063A JP2022525214A JP2022525214A JP2023507063A JP 2023507063 A JP2023507063 A JP 2023507063A JP 2022525214 A JP2022525214 A JP 2022525214A JP 2022525214 A JP2022525214 A JP 2022525214A JP 2023507063 A JP2023507063 A JP 2023507063A
- Authority
- JP
- Japan
- Prior art keywords
- image capture
- surgical
- capture device
- scene
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims description 41
- 238000003384 imaging method Methods 0.000 claims description 68
- 230000033001 locomotion Effects 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 49
- 238000010801 machine learning Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 13
- 238000012634 optical imaging Methods 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 38
- 238000004422 calculation algorithm Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 32
- 238000010336 energy treatment Methods 0.000 description 28
- 239000010410 layer Substances 0.000 description 23
- 238000012549 training Methods 0.000 description 23
- 238000013528 artificial neural network Methods 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 21
- 230000004044 response Effects 0.000 description 20
- 238000002674 endoscopic surgery Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 210000001519 tissue Anatomy 0.000 description 12
- 230000000740 bleeding effect Effects 0.000 description 10
- 239000003595 mist Substances 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 239000000779 smoke Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 206010011878 Deafness Diseases 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000007675 cardiac surgery Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000003973 irrigation Methods 0.000 description 2
- 230000002262 irrigation Effects 0.000 description 2
- 238000002357 laparoscopic surgery Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 208000005646 Pneumoperitoneum Diseases 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2059—Mechanical position encoders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
- A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/067—Measuring instruments not otherwise provided for for measuring angles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Robotics (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Gynecology & Obstetrics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
Abstract
手術中に医療画像取込装置を制御するためのシステムであって、第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、医療画像取込装置から取得し、第1の画像データに基づく第1の時間インスタンスの後の第2の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の1つ以上の所望の画像取込特性を決定し、医療画像取込装置の1つ以上の所望の画像取込特性に従って、第1の時間インスタンスと第2の時間インスタンスとの間の第3の時間インスタンスにおいて医療画像取込装置を制御するように構成された回路を含んでいるシステムが提供される。
Description
本開示は、手術中に画像取込装置を制御するための方法、装置、およびシステムに関する。
本明細書において提供される「背景技術」の説明は、本開示の文脈を一般的に提示することを目的としている。背景技術の箇所において説明される本発明の発明者の研究、ならびに他の理由で出願の時点における先行技術として認めることができない説明の態様は、明示的にも、言外にも、本開示に対する先行技術として認められるものではない。
近年において、医療システムおよび医療機器における著しい技術的発展が達成されている。ロボットシステムなどのコンピュータ支援手術システムが、今や手術時に人間の外科医と共に働くことが多い。これらのコンピュータ支援手術システムは、マスタースレーブ型のロボットシステムを含み、人間の外科医は、手術時にスレーブ装置の動作を制御するために、マスタコンソールを操作する。
ロボットカメラシステムなどのコンピュータ支援カメラシステムが、手術環境において人間のオペレータまたは外科医に視覚情報を提供するために使用される。これらのコンピュータ支援カメラシステムは、シーン内の手術動作の眺めを撮影して提供する単一のカメラを備えることができる。あるいは、これらのコンピュータ支援カメラシステムは、各々がシーン内の手術動作の所与の眺めを撮影する複数のカメラを含むことができる。
しかしながら、手術シーンの眺めが、ツール、外科医の手、組織変形、または他の動的要素などの要素によって妨げられることが多い。すなわち、手術シーンは、多くの場合に、きわめて複雑であり、内視鏡または顕微鏡などの医療画像取込装置から得られる眺めを遮る可能性がある多数の動的要素を含む。
これらの障害物は、シーン内の変化を外科医またはロボットシステムに知らせるために必要な重要な視覚情報の捕捉および提供を、遅延させる可能性がある。
手術環境において、外科医への重要な視覚情報の提供の遅延は、重大な結果をもたらす可能性がある。
本開示の目的は、これらの問題に対処することである。
本開示の第1の態様によれば、手術中に医療画像取込装置を制御するためのシステムであって、第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、医療画像取込装置から取得し、第1の画像データに基づく第1の時間インスタンスの後の第2の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の1つ以上の所望の画像取込特性を決定し、医療画像取込装置の1つ以上の所望の画像取込特性に従って、第1の時間インスタンスと第2の時間インスタンスとの間の第3の時間インスタンスにおいて医療画像取込装置を制御するように構成された回路を含んでいるシステムが提供される。
本開示の第2の態様によれば、手術中に医療画像取込装置を制御する方法であって、第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、医療画像取込装置から取得するステップと、第1の画像データに基づく第1の時間インスタンスの後の第2の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の1つ以上の所望の画像取込特性を決定するステップと、医療画像取込装置の1つ以上の所望の画像取込特性に従って、第1の時間インスタンスと第2の時間インスタンスとの間の第3の時間インスタンスにおいて医療画像取込装置を制御するステップとを含む方法が提供される。
本開示の第3の態様によれば、命令を含んでいるコンピュータプログラム製品が提供され、これらの命令は、プログラムがコンピュータによって実行されたときに、医療画像取込装置を制御する方法をコンピュータに実行させ、この方法は、第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、医療画像取込装置から取得するステップと、第1の画像データに基づく第1の時間インスタンスの後の第2の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の1つ以上の所望の画像取込特性を決定するステップと、医療画像取込装置の1つ以上の所望の画像取込特性に従って、第1の時間インスタンスと第2の時間インスタンスとの間の第3の時間インスタンスにおいて医療画像取込装置を制御するステップとを含む。
本開示の態様は、コンピュータ支援カメラシステムが、撮影されるシーンの手術における有用性および予測可能性に対する予測可能な将来の変化の影響が、変化が生じる前にカメラシステムの動きによって補償されるように、カメラの位置を予測的に最適化することを可能にする。これにより、手術中の重要な視覚情報の捕捉および外科医または手術ロボットシステムへの提供における遅延が低減される。
以上の段落は、一般的な紹介として提示されており、以下の特許請求の範囲の技術的範囲を限定しようとするものではない。記載される実施形態は、さらなる利点と共に、添付の図面と併せて検討される以下の詳細な説明を参照することによって、最もよく理解されるであろう。
本開示および付随する多数の利点のより完全な認識が、以下の詳細な説明を参照し、添付の図面に関連して検討することによってよりよく理解されるがゆえに、容易に得られるであろう。
ここで図面を参照すると、同様の参照番号は、いくつかの図を通して、同一の部分または対応する部分を指している。
<<1.基本構成>>
まず、本開示の実施形態を適用することができる内視鏡手術システムの基本構成を、本開示の図1~図4を参照して説明する。
まず、本開示の実施形態を適用することができる内視鏡手術システムの基本構成を、本開示の図1~図4を参照して説明する。
<1.1.内視鏡手術システムの構成例>
図1が、本開示に係る技術を適用することができる内視鏡手術システム5000の概略の構成の一例を示す図である。図1は、オペレータ(医師)5067が内視鏡手術システム5000を使用して患者ベッド5069上の患者5071へと手術を実行している状態を示している。図示のように、内視鏡手術システム5000は、内視鏡5001と、その他の手術ツール5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡手術のための種々の装置が搭載されたカート5037とで構成される。
図1が、本開示に係る技術を適用することができる内視鏡手術システム5000の概略の構成の一例を示す図である。図1は、オペレータ(医師)5067が内視鏡手術システム5000を使用して患者ベッド5069上の患者5071へと手術を実行している状態を示している。図示のように、内視鏡手術システム5000は、内視鏡5001と、その他の手術ツール5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡手術のための種々の装置が搭載されたカート5037とで構成される。
内視鏡手術においては、腹壁を切断して腹腔を開放する代わりに、腹壁が、トロカール5025a~5025dと呼ばれる複数の管状の開孔器具で穿刺される。次いで、内視鏡5001の鏡筒5003およびその他の手術ツール5017が、トロカール5025a~5025dを通って患者5071の体腔へと挿入される。図示の例においては、その他の手術ツール5017として、送気チューブ5019、エネルギー処置ツール5021、および鉗子5023が、患者5071の体腔に挿入されている。さらに、エネルギー処置ツール5021は、高周波電流または超音波振動を使用して、組織の切開および剥離、血管の封止、などを実行する処置ツールである。しかしながら、図示の手術ツール5017はあくまでも一例であり、例えばピンセットおよび開創器などの内視鏡手術において一般的に使用される種々の手術ツールを、手術ツール5017として使用することができる。
内視鏡5001によって撮影された患者5071の体腔内の手術場所の画像が、表示装置5041に表示される。オペレータ5067は、表示装置5041によってリアルタイムで表示される手術場所の画像を眺めつつ、エネルギー処置ツール5021または鉗子5023を使用して、例えば患部を切除する処置を実行する。なお、図示されていないが、送気チューブ5019、エネルギー処置ツール5021、および鉗子5023は、手術中に、オペレータ5067または助手などによって支持される。
(支持アーム装置)
支持アーム装置5027は、ベースユニット5029から延びるアームユニット5031を含む。図示の例において、アームユニット5031は、関節部5033a、5033b、および5033cと、リンク5035aおよび5035bとで構成される多関節アームであり、アーム制御装置5045からの制御によって駆動される。アームユニット5031は、内視鏡5001を接続することができる遠位端を有する。内視鏡5001は、アームユニット5031によって支持され、位置および姿勢が制御される。この構成により、内視鏡5001の位置の安定な固定を実現することができる。
支持アーム装置5027は、ベースユニット5029から延びるアームユニット5031を含む。図示の例において、アームユニット5031は、関節部5033a、5033b、および5033cと、リンク5035aおよび5035bとで構成される多関節アームであり、アーム制御装置5045からの制御によって駆動される。アームユニット5031は、内視鏡5001を接続することができる遠位端を有する。内視鏡5001は、アームユニット5031によって支持され、位置および姿勢が制御される。この構成により、内視鏡5001の位置の安定な固定を実現することができる。
(内視鏡)
内視鏡5001は、患者5071の体腔へと挿入される遠位端から所定の長さの領域を有する鏡筒5003と、鏡筒5003の近位端に接続されたカメラヘッド5005とで構成される。図示の例においては、堅固な鏡筒5003を有するいわゆる剛体鏡として構成された内視鏡5001が示されているが、内視鏡5001は、可撓な鏡筒5003を有するいわゆる可撓鏡として構成されてもよい。
内視鏡5001は、患者5071の体腔へと挿入される遠位端から所定の長さの領域を有する鏡筒5003と、鏡筒5003の近位端に接続されたカメラヘッド5005とで構成される。図示の例においては、堅固な鏡筒5003を有するいわゆる剛体鏡として構成された内視鏡5001が示されているが、内視鏡5001は、可撓な鏡筒5003を有するいわゆる可撓鏡として構成されてもよい。
鏡筒5003の遠位端に、対物レンズが嵌め込まれた開口部が設けられている。光源装置5043が内視鏡5001に接続され、光源装置5043によって生成された光が、鏡筒5003の内部を延びる光ガイドによって鏡筒の遠位端へと案内され、対物レンズを通って患者5071の体腔内の観察対象に向かって放射される。なお、内視鏡5001は、直視鏡であっても、斜視鏡であっても、側視鏡であってもよい。
光学系および撮像素子がカメラヘッド5005の内部に設けられ、観察対象からの反射光(観察光)が、光学系によって撮像素子へと集光される。観察光は撮像素子によって光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が、生成される。画像信号は、RAWデータとしてカメラ制御ユニット(CCU)5039に伝えられる。なお、カメラヘッド5005は、光学系を適切に駆動することによって倍率および焦点距離を調整する機能を備える。
なお、例えば立体視(3D表示)などに対応するために、複数の撮像素子をカメラヘッド5005に設けることができる。この場合、観察光を複数の撮像素子の各々へと導くために、複数の中継光学系が鏡筒5003の内部に設けられる。
(カートに備えられる種々の装置)
CCU5039は、中央演算処理装置(CPU)またはグラフィックス処理装置(GPU)などを使用して構成され、内視鏡5001および表示装置5041の動作を一体的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、画像信号に基づく画像を表示するために、例えば現像処理(デモザイク処理)などのさまざまな種類の画像処理を実行する。CCU5039は、画像処理を施した画像信号を表示装置5041へと供給する。また、CCU5039は、カメラヘッド5005に制御信号を送信し、カメラヘッド5005の駆動を制御する。制御信号は、倍率および焦点距離などの撮像条件に関する情報を含むことができる。
CCU5039は、中央演算処理装置(CPU)またはグラフィックス処理装置(GPU)などを使用して構成され、内視鏡5001および表示装置5041の動作を一体的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、画像信号に基づく画像を表示するために、例えば現像処理(デモザイク処理)などのさまざまな種類の画像処理を実行する。CCU5039は、画像処理を施した画像信号を表示装置5041へと供給する。また、CCU5039は、カメラヘッド5005に制御信号を送信し、カメラヘッド5005の駆動を制御する。制御信号は、倍率および焦点距離などの撮像条件に関する情報を含むことができる。
表示装置5041は、CCU5039の制御下で、CCU5039によって画像処理が施された画像信号に基づいて画像を表示する。内視鏡5001が例えば4K(水平画素数3840×垂直画素数2160)または8K(水平画素数7680×垂直画素数4320)などの高解像度の撮影に対応した内視鏡である場合、および/または3D表示に対応した内視鏡の場合、表示装置5041として、上述の内視鏡にそれぞれ適合するように、高解像度の表示が可能な装置および/または3D表示が可能な装置を使用することができる。4Kおよび8Kなどの高解像度の撮影に対応した内視鏡の場合、55インチ以上のサイズの表示装置5041を使用することによって、より高い没入感を得ることができる。また、用途に応じて、解像度およびサイズが異なる複数の表示装置5041が設けられてもよい。
光源装置5043は、例えば発光ダイオード(LED)などの光源を使用して構成され、手術場所を撮影する際の照射光を内視鏡5001に供給する。
アーム制御装置5045は、例えばCPUなどのプロセッサを使用して構成され、所定のプログラムに従って動作することにより、所定の制御方法に従って支持アーム装置5027のアームユニット5031の駆動を制御する。
入力装置5047は、内視鏡手術システム5000に対する入力インターフェースである。ユーザは、入力装置5047を介して内視鏡手術システム5000にさまざまな種類の情報および指示を入力することができる。例えば、ユーザは、入力装置5047を介して、患者の身体に関する情報および手術の術式に関する情報など、手術に関するさまざまな種類の情報を入力する。さらに、例えば、ユーザは、入力装置5047を介して、アームユニット5031を駆動する指示、内視鏡5001を用いた撮像条件(照射光の種類、倍率、焦点距離、など)を変更する指示、エネルギー処置ツール5021を駆動する指示、などを入力する。
入力装置5047の種類は限定されず、入力装置5047は、さまざまな既知の入力装置であってよい。例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057、および/またはレバーを、入力装置5047として適用することができる。入力装置5047としてタッチパネルが用いられる場合には、タッチパネルを表示装置5041の表示面上に設けてもよい。
あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスおよびヘッドマウントディスプレイ(HMD)などのユーザが装着するデバイスであり、さまざまな入力が、これらのデバイスによって検出されるユーザのジェスチャまたは視線に応じて行われる。さらに、入力装置5047は、ユーザの動きを検出することができるカメラを含み、さまざまな入力が、カメラによって撮影された画像から検出されるユーザのジェスチャまたは視線に応じて行われる。さらに、入力装置5047は、ユーザの声を集めることができるマイクロフォンを含み、さまざまな入力が、マイクロフォンを介して音声によって行われる。このように、入力装置5047が非接触なやり方でさまざまな種類の情報を入力できるように構成され、とくには、清浄な領域に属するユーザ(例えば、オペレータ5067)が、非清浄な領域に属する機器を非接触なやり方で操作することができる。さらに、ユーザは、手持ちの手術ツールから手を離すことなく機器を操作することができ、したがってユーザの利便性が向上する。
処置ツール制御装置5049は、組織の焼灼、切開、または血管の封止などのために、エネルギー処置ツール5021の駆動を制御する。送気装置5051が、内視鏡5001による視野の確保およびオペレータの作業空間の確保の目的で、患者5071の体腔を膨らませるために、送気チューブ5019を介して体腔に気体を送り込む。レコーダ5053が、手術に関するさまざまな種類の情報を記録することができる装置である。プリンタ5055が、手術に関するさまざまな種類の情報をテキスト、画像、およびグラフなどのさまざまな形式で印刷することができる装置である。
以下で、内視鏡手術システム5000におけるとくに特徴的な構成を、さらに詳細に説明する。
(支持アーム装置)
支持アーム装置5027は、土台としてのベースユニット5029と、ベースユニット5029から延びるアームユニット5031とを含む。図示の例において、アームユニット5031は、複数の関節部5033a、5033b、および5033c、ならびに関節部5033bによって接続された複数のリンク5035aおよび5035bによって構成されているが、図1は、便宜上、アームユニット5031の構成を簡略化した様相で図示している。実際には、関節部5033a~5033cならびにリンク5035aおよび5035bの各々の形状、数、および配置、ならびに関節部5033a~5033cの各々の回転軸の方向などは、アームユニット5031が所望の自由度を有するように適切に設定される。例えば、アームユニット5031を、好ましくは、6自由度以上の自由度を有するように構成することができる。この構成により、内視鏡5001をアームユニット5031の可動範囲内で自由に移動させることが可能であり、したがって内視鏡5001の鏡筒5003を所望の方向から患者5071の体腔へと挿入することが可能である。
支持アーム装置5027は、土台としてのベースユニット5029と、ベースユニット5029から延びるアームユニット5031とを含む。図示の例において、アームユニット5031は、複数の関節部5033a、5033b、および5033c、ならびに関節部5033bによって接続された複数のリンク5035aおよび5035bによって構成されているが、図1は、便宜上、アームユニット5031の構成を簡略化した様相で図示している。実際には、関節部5033a~5033cならびにリンク5035aおよび5035bの各々の形状、数、および配置、ならびに関節部5033a~5033cの各々の回転軸の方向などは、アームユニット5031が所望の自由度を有するように適切に設定される。例えば、アームユニット5031を、好ましくは、6自由度以上の自由度を有するように構成することができる。この構成により、内視鏡5001をアームユニット5031の可動範囲内で自由に移動させることが可能であり、したがって内視鏡5001の鏡筒5003を所望の方向から患者5071の体腔へと挿入することが可能である。
関節部5033a~5033cにはアクチュエータが設けられ、関節部5033a~5033cは、アクチュエータの駆動によって所定の回転軸を中心にして回転できるように構成される。アクチュエータの駆動がアーム制御装置5045によって制御されるとき、関節部5033a~5033cの各々の回転角度が制御され、アームユニット5031の駆動が制御される。この構成により、内視鏡5001の位置および姿勢の制御を実現することができる。このときに、アーム制御装置5045は、力制御または位置制御などの種々の既知の制御方法によってアームユニット5031の駆動を制御することができる。
例えば、オペレータ5067が(フットスイッチ5057を含む)入力装置5047を介して操作入力を適切に実行し、アームユニット5031の駆動が操作入力に応じてアーム制御装置5045によって適切に制御されるとき、内視鏡5001の位置および姿勢を制御することができる。このような制御により、アームユニット5031の遠位端の内視鏡5001を、任意の位置から任意の位置まで移動させ、次いで移動後の位置に不動に支持することができる。なお、アームユニット5031を、いわゆるマスタースレーブの様相で操作することができる。この場合、アームユニット5031を、手術室から離れた場所に設置された入力装置5047を介して、ユーザが遠隔操作することができる。
また、力制御が適用される場合、アーム制御装置5045は、ユーザからの外力を受け取り、アームユニット5031がこの外力に応じて滑らかに動くように関節部5033a~5033cのアクチュエータを駆動するためのいわゆるパワーアシスト制御を実行することができる。この構成によれば、ユーザがアームユニット5031に直接触れつつアームユニット5031を動かす際に、アームユニット5031を比較的軽い力で動かすことができる。したがって、内視鏡5001をより単純な操作でより直感的に動かすことが可能であり、ユーザの利便性を向上させることができる。
ここで、内視鏡5001は、一般に、内視鏡手術においてスコピストと呼ばれる医師によって支持されてきた。この点に関し、支持アーム装置5027を用いることにより、人手によらずに内視鏡5001の位置をより確実に固定することが可能になり、したがって手術場所の画像を安定的に得て、手術を円滑に行うことが可能になる。
なお、アーム制御装置5045は、必ずしもカート5037に設けられなくてもよい。さらに、アーム制御装置5045は、必ずしも1つの装置である必要はない。例えば、アーム制御装置5045を、支持アーム装置5027のアームユニット5031の関節部5033a~5033cの各々に設けることができ、あるいはアームユニット5031の駆動制御は、互いに協働する複数のアーム制御装置5045によって実現されてもよい。
(光源装置)
光源装置5043は、内視鏡5001に手術場所を撮影する際の照射光を供給する。光源装置5043は、例えば、LED、レーザ光源、またはこれらの組み合わせによって構成される白色光源を使用して構成される。このときに、白色光源がRGBレーザ光源の組み合わせによって構成される場合、各色(各波長)の出力強度および出力タイミングを高精度に制御することができるため、撮影画像のホワイトバランスを光源装置5043において調整することができる。さらに、この場合に、観察対象をRGBレーザ光源の各々からのレーザ光によって時分割の様相で照射し、照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBの各々に対応する画像を時分割の様相で撮影することも可能である。この方法によれば、撮像素子にカラーフィルタを設けることなく、カラー画像を得ることができる。
光源装置5043は、内視鏡5001に手術場所を撮影する際の照射光を供給する。光源装置5043は、例えば、LED、レーザ光源、またはこれらの組み合わせによって構成される白色光源を使用して構成される。このときに、白色光源がRGBレーザ光源の組み合わせによって構成される場合、各色(各波長)の出力強度および出力タイミングを高精度に制御することができるため、撮影画像のホワイトバランスを光源装置5043において調整することができる。さらに、この場合に、観察対象をRGBレーザ光源の各々からのレーザ光によって時分割の様相で照射し、照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBの各々に対応する画像を時分割の様相で撮影することも可能である。この方法によれば、撮像素子にカラーフィルタを設けることなく、カラー画像を得ることができる。
さらに、光源装置5043の駆動を、出力される光の強度を所定の時間ごとに変更するように制御することができる。カメラヘッド5005の撮像素子の駆動を光の強度の変更のタイミングに同期して制御することで、時分割の様相で画像を取得し、画像を合成することによっていわゆる黒つぶれおよび白とびのない、いわゆる高ダイナミックレンジの画像を生成することができる。
さらに、光源装置5043を、特殊光観察に適合した所定の波長帯域の光を供給できるように構成してもよい。特殊光観察においては、例えば、体組織における光の吸収の波長依存性が利用され、通常の観察における照射光(換言すると、白色光)と比べて狭い帯域の光を放射することにより、粘膜表層の血管などの所定の組織を高コントラストで撮影するいわゆる狭帯域撮像(NBI)が行われる。あるいは、特殊光観察において、励起光を放射することによって生じる蛍光によって画像を得る蛍光観察を行うこともできる。蛍光観察においては、体組織を励起光で照射し、体組織からの蛍光を観察すること(自家蛍光観察)、インドシアニングリーン(ICG)などの試薬を体組織へと局所的に注入し、試薬の蛍光波長に対応する励起光で体組織をやはり照射することによって蛍光画像を得ること、などが可能である。光源装置5043を、このような特殊光観察に対応する狭帯域の光および/または励起光を供給できるように構成することができる。
(カメラヘッドおよびCCU)
内視鏡5001のカメラヘッド5005およびCCU5039の機能を、図2を参照してさらに詳細に説明する。図2は、図1に示したカメラヘッド5005およびCCU5039の機能構成の一例を示すブロック図である。
内視鏡5001のカメラヘッド5005およびCCU5039の機能を、図2を参照してさらに詳細に説明する。図2は、図1に示したカメラヘッド5005およびCCU5039の機能構成の一例を示すブロック図である。
カメラヘッド5005は、図2を参照すると、その機能として、レンズユニット5007、撮像ユニット5009、駆動ユニット5011、通信ユニット5013、およびカメラヘッド制御ユニット5015を有する。
さらに、CCU5039は、その機能として、通信ユニット5059、画像処理ユニット5061、および制御ユニット5063を有する。カメラヘッド5005およびCCU5039は、伝送ケーブル5065を介して双方向の通信が可能となるように接続される。
まず、カメラヘッド5005の機能構成を説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の遠位端から取り込まれた観察光が、カメラヘッド5005へと導かれ、レンズユニット5007に入射する。レンズユニット5007は、ズームレンズおよびフォーカスレンズを含む複数のレンズを組み合わせることによって構成される。レンズユニット5007の光学特性は、観察光が撮像ユニット5009の撮像素子の受光面上に集光されるように調整される。さらに、ズームレンズおよびフォーカスレンズは、その光軸上での位置を移動させることにより、撮影画像の倍率および焦点距離を調整できるように構成される。
撮像ユニット5009は、撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、撮像素子の受光面上に集光され、観察像に対応した画像信号が光電変換によって生成される。撮像ユニット5009によって生成された画像信号は、通信ユニット5013にもたらされる。
撮像ユニット5009を構成する撮像素子として、例えば、Bayer配列を有するカラー撮影が可能な相補型金属酸化膜半導体(CMOS)型のイメージセンサを使用することができる。なお、撮像素子として、例えば4K以上の高解像度画像の撮影に適合することができる撮像素子を使用することができる。手術場所の高解像度画像を得ることができるため、オペレータ5067は、手術場所の状況をより詳細に把握することができ、手術をより円滑に進めることができる。
さらに、撮像ユニット5009を構成する撮像素子は、3D表示に適合する右目用および左目用のそれぞれの画像信号を取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、オペレータ5067は、手術場所における生体組織の奥行きをより正確に把握することができる。なお、撮像ユニット5009がマルチプレート式にて構成される場合には、複数のレンズユニット5007がそれぞれの撮像素子に対応するように設けられる。
さらに、撮像ユニット5009は、必ずしもカメラヘッド5005に設けられる必要はない。例えば、撮像ユニット5009を、鏡筒5003の内部において対物レンズの直後に設けることができる。
駆動ユニット5011は、アクチュエータを使用して構成され、カメラヘッド制御ユニット5015の制御下で、レンズユニット5007のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。この移動により、撮像ユニット5009によって撮影される画像の倍率および焦点距離を適切に調整することができる。
通信ユニット5013は、通信装置を使用して構成され、CCU5039との間でさまざまな種類の情報を送信および受信する。通信ユニット5013は、撮像ユニット5009から得られた画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この場合、手術場所の撮影画像を低レイテンシで表示するために、画像信号が光通信によって送信されることが好ましい。手術の際に、オペレータ5067は、撮影画像を通じて患部の状態を観察しながら手術を実行するため、より安全でより確実な手術のために、手術場所の動画像が可能な限りリアルタイムにて表示される必要がある。光通信が行われる場合、電気信号を光信号に変換する光電変換モジュールが、通信ユニット5013に設けられる。画像信号は、光電変換モジュールによって光信号に変換され、次いで伝送ケーブル5065を介してCCU5039へと送信される。
さらに、通信ユニット5013は、カメラヘッド5005の駆動を制御するための制御信号をCCU5039から受信する。制御信号は、例えば、撮影画像のフレームレートを指定するための情報、撮像時の露出値を指定するための情報、ならびに/あるいは撮影画像の倍率および焦点距離を指定するための情報、などの撮像条件に関する情報を含む。通信ユニット5013は、受信した制御信号をカメラヘッド制御ユニット5015に提供する。なお、CCU5039からの制御信号も、光通信によって送信されてよい。この場合、通信ユニット5013は、光信号を電気信号に変換する光電変換モジュールを備え、制御信号は光電変換モジュールによって電気信号に変換され、次いでカメラヘッド制御ユニット5015へともたらされる。
なお、上述したフレームレート、露出値、倍率、および焦点距離などの撮像条件は、取得された画像信号に基づいてCCU5039の制御ユニット5063によって自動的に設定される。すなわち、内視鏡5001は、いわゆる自動露出(AE)機能、オートフォーカス(AF)機能、および自動ホワイトバランス(AWB)機能を備える。
カメラヘッド制御ユニット5015は、通信ユニット5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御ユニット5015は、撮影画像のフレームレートを指定する情報および/または撮像時の露出を指定する情報に基づいて、撮像ユニット5009の撮像素子の駆動を制御する。さらに、例えば、カメラヘッド制御ユニット5015は、撮影画像の倍率および焦点距離を指定する情報に基づいて、駆動ユニット5011を介してレンズユニット5007のズームレンズおよびフォーカスレンズを適切に移動させる。また、カメラヘッド制御ユニット5015は、鏡筒5003およびカメラヘッド5005を識別するための情報を記憶する機能を有してもよい。
なお、レンズユニット5007および撮像ユニット5009などの構成を、高い気密性および防水性を有する密閉構造内に配置することによって、カメラヘッド5005にオートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5039の機能構成を説明する。通信ユニット5059は、通信装置を使用して構成され、カメラヘッド5005との間でさまざまな種類の情報を送信および受信する。通信ユニット5059は、カメラヘッド5005から送信される画像信号を伝送ケーブル5065を介して受信する。この場合、上述したように、画像信号を光通信によって好適に送信することができる。この場合、光通信に適合するように、通信ユニット5059は、光信号を電気信号に変換する光電変換モジュールを備える。通信ユニット5059は、電気信号に変換された画像信号を画像処理ユニット5061に提供する。
さらに、通信ユニット5059は、カメラヘッド5005の駆動を制御するための制御信号をカメラヘッド5005へと送信する。この制御信号も、光通信によって送信されてよい。
画像処理ユニット5061は、カメラヘッド5005から送信されたRAWデータである画像信号について、さまざまな種類の画像処理を実行する。例えば、画像処理は、現像処理、高画質化処理(例えば、帯域強調処理、超解像処理、ノイズリダクション(NR)処理、および/または手振れ補正処理)、および/または拡大処理(電子ズーム処理)など、さまざまな種類の既知の信号処理を含む。さらに、画像処理ユニット5061は、AE、AF、およびAWBを行うための画像信号に対する検出処理を実行する。
画像処理ユニット5061は、CPUおよびGPUなどのプロセッサを用いて構成され、プロセッサが所定のプログラムに従って動作するときに、上述した画像処理および検出処理を実行することができる。なお、画像処理ユニット5061が複数のGPUによって構成される場合、画像処理ユニット5061は、画像信号に関する情報を適切に分割し、複数のGPUによって並列に画像処理を実行する。
制御ユニット5063は、内視鏡5001を用いた手術場所の撮像およびそのような撮影画像の表示に関するさまざまな種類の制御を行う。例えば、制御ユニット5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。このときに、撮像条件がユーザによって入力される場合、制御ユニット5063は、ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5001がAE機能、AF機能、およびAWB機能を備える場合、制御ユニット5063は、画像処理ユニット5061による検出処理の結果に応じて、最適な露出値、焦点距離、およびホワイトバランスを適切に計算して、制御信号を生成する。
さらに、制御ユニット5063は、画像処理ユニット5061によって画像処理が施された画像信号に基づいて、手術場所の画像を表示装置5041に表示させる。このときに、制御ユニット5063は、種々の画像認識技術を使用して手術場所の画像においてさまざまな物体を認識する。例えば、制御ユニット5063は、手術場所の画像に含まれる物体のエッジの形状および色などを検出することにより、鉗子などの手術ツール、特定の生体部位、出血、エネルギー処置ツール5021の使用時のミスト、などを認識することができる。制御ユニット5063は、表示装置5041に手術場所の画像を表示させる際に、このような認識結果を使用して、さまざまな種類の手術支援情報を手術場所の画像に重畳表示させる。手術支援情報が重畳表示され、オペレータ5067に提示されることにより、手術をより安全かつ確実に進めることが可能になる。
カメラヘッド5005およびCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、またはこれらの複合ケーブルである。
ここで、図示の例では通信が伝送ケーブル5065を用いて有線で行われるが、カメラヘッド5005とCCU5039との間の通信は、無線で行われてもよい。両者の間の通信が無線で行われる場合、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内において医療スタッフの動きが伝送ケーブル5065によって妨げられる事態を解消できる。
本開示に係る技術を適用することができる内視鏡手術システム5000の一例を、上述のとおり説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術を適用することができるシステムは、このような例に限定されない。例えば、本開示に係る技術は、検査用の可撓内視鏡システムまたは顕微鏡手術システムにも適用可能である。
あるいは、本開示の態様は、マスタースレーブ医療用ロボットシステムを含む医療用ロボットシステムに適用可能である。医療用ロボットシステムにおいては、ユーザ(医師5067など)がマスタ装置(外科医コンソール)を操作して、有線または無線の通信手段を介してスレーブ装置(ベッドの傍らのカート)に動作指令を送信し、スレーブ装置を遠隔操作する。医療用ロボットシステムは、電気手術ユニット(ESU)、吸引/灌注ポンプ、および内視鏡/顕微鏡用の光源などのいくつかの支援ハードウェアおよびソフトウェア構成要素を含む別個のカートをさらに含むことができる。
図3が、本開示に係るマスタ装置60の使用例を示している。図3においては、右手用および左手用の2つのマスタ装置60Rおよび60Lが両方とも設けられている。外科医は、支持ベース50に両腕または両肘を乗せ、右手および左手を使用して操作部100Rおよび100Lをそれぞれ把持する。この状態で、外科医は、手術部位を示すモニタ210を見ながら、操作部100Rおよび100Lを操作する。外科医は、それぞれの操作部100Rおよび100Lの位置または方向を変位させることで、いずれも図示されていないスレーブ装置に取り付けられた手術器具の位置または方向を遠隔操作し、あるいは各々の手術器具を使用して把持動作を行うことができる。
本開示の実施形態を適用することができる例示的な手術システムの基本構成を、本開示の図1~図4を参照して上述した。以下で、本開示の具体的な実施形態を説明する。
<手術中に画像取込装置を制御するための装置>
上述したように、手術環境の動的変化による手術中の外科医またはロボット外科医への重要な視覚情報の提供における遅延を低減する装置が提供されることが望ましい。したがって、本開示の実施形態に従い、手術中に画像取込装置を制御するための装置が提供される。
上述したように、手術環境の動的変化による手術中の外科医またはロボット外科医への重要な視覚情報の提供における遅延を低減する装置が提供されることが望ましい。したがって、本開示の実施形態に従い、手術中に画像取込装置を制御するための装置が提供される。
手術中に画像取込装置を制御するための装置は、本開示の図1を参照して説明した内視鏡手術などの例示的な内視鏡手術に適用可能である。したがって、本開示の実施形態は、この例示的な手術を参照して説明される。しかしながら、本開示が、この特定の手術に限定されるようには意図されていないことを、理解できるであろう。むしろ、本開示の実施形態は、任意のそのような手術に適用可能である。実際に、本開示の実施形態は、コンピュータ支援手術システムおよび装置を含む任意の手術に適用可能である。
<例示的な状況>
ここで、本開示の図1に戻る。この例示的な手術において、医師(または、本明細書においては外科医)5067は、患者5071について内視鏡手術を実行中である。外科医5067は、自身の目で患者5071の体腔の内部を眺めることができない。むしろ、外科医は、表示画面5041に表示される内視鏡装置5001によって撮影された画像に依存する。したがって、この例において、内視鏡装置は、手術シーンの画像を撮影し、それらの画像を外科医に提供する。これにより、たとえ外科医5067が患者の体腔の内部を直接見ることができない場合であっても、外科医は、手術ツール(例えば、エネルギー処置ツール5021)を使用して患者5071の体腔の内部で外科手術を実行することができる。
ここで、本開示の図1に戻る。この例示的な手術において、医師(または、本明細書においては外科医)5067は、患者5071について内視鏡手術を実行中である。外科医5067は、自身の目で患者5071の体腔の内部を眺めることができない。むしろ、外科医は、表示画面5041に表示される内視鏡装置5001によって撮影された画像に依存する。したがって、この例において、内視鏡装置は、手術シーンの画像を撮影し、それらの画像を外科医に提供する。これにより、たとえ外科医5067が患者の体腔の内部を直接見ることができない場合であっても、外科医は、手術ツール(例えば、エネルギー処置ツール5021)を使用して患者5071の体腔の内部で外科手術を実行することができる。
この意味で、内視鏡装置は、外科医へと表示するために手術シーンの重要な視覚情報を捕捉する。
ここで、図1の例示的な状況において、内視鏡装置5001は、支持アーム5027によって支持される。したがって、支持アームは、内視鏡装置が初期視点から手術シーンの画像を撮影するように、内視鏡装置5001を所定の位置に保持する。この初期視点を、外科医5067が手術を開始する前に外科医5067が決定することができる。手術シーンのこの第1の視点を提供するための初期位置(初期視点に対応する)に内視鏡装置5001を位置させるための支持アーム5027の動きは、アーム制御装置5045によって制御される。
手術中の外科医5067による患者の体腔へのエネルギー処置ツール5021の挿入を考える。これは、手術の特定の段階を実行するために必要となり得る。外科医5067は、エネルギー処置ツールを挿入する際に、内視鏡装置5001によって撮影された手術シーンの画像によって案内される。
この例示的な状況において、エネルギー処置ツール5021が患者の体内の所望の位置に挿入されると、外科医5067は、エネルギー処置ツール5021の操作を開始する。
動作時に、エネルギー処置ツール5021は、患者の標的領域を加熱する。これは、外科医5067によって出血を焼灼するために行われる可能性がある。エネルギー処置ツールの使用が、患者5071の体腔内にミストまたは煙を発生させる可能性があることを、理解できるであろう。このミストまたは煙が、内視鏡装置5001の視点からの手術シーンの視界を不明瞭にする可能性があり、結果として、内視鏡装置による手術シーンの鮮明な画像の取得がもはや不可能になる可能性がある。したがって、エネルギー処置ツール5021の使用時に、外科医(内視鏡装置5001によって撮影された画像を表示画面5041上で眺める)が、患者の体内の手術シーンの鮮明な画像をもはや見ることができない可能性がある。
換言すると、エネルギー処置ツール5021の動作中に、内視鏡装置5001がもはや初期視点からは手術シーンの鮮明な画像を撮影することができないため、外科医が、患者の体腔の内部からの重要な視覚情報を受け取ることができない可能性がある。したがって、このときに、外科医がエネルギー処置ツール5021の動作中の重要な手術事象(手術によるさらなる出血など)の発生を認識できない恐れがある。
したがって、外科医は、シーンの鮮明な画像が表示装置5041上に回復されるように、ミストおよび/または煙が消えるまでエネルギー処置ツール5021の動作を停止させなければならないかもしれない。しかしながら、これは手術の進行を遅らせる。あるいは、外科医5067(あるいは、外科医5067の人間であり、あるいはコンピュータであるアシスタント)が、エネルギー処置ツール5021の動作によって生じたミストおよび/または煙にもかかわらずシーンの鮮明な画像を得ることができるように内視鏡装置5001の再構成を試みるために、内視鏡装置5001を制御しなければならないかもしれない。しかしながら、これは外科医5067による手術の継続を可能にするが、(ミストおよび/または煙に起因する)シーンの鮮明な画像の喪失とシーンの鮮明な画像の回復との間に遅延が存在すると考えられる。この期間の間、手術シーンに関する重要な安全上重大な視覚情報を、外科医が見逃す可能性がある。
したがって、本開示の実施形態によれば、手術中に画像取込装置を制御するための本開示の実施形態による装置が提供される。
装置:
図4が、本開示の実施形態による手術中に医療画像取込装置などの画像取込装置を制御するための装置/システムを示している。
図4が、本開示の実施形態による手術中に医療画像取込装置などの画像取込装置を制御するための装置/システムを示している。
装置800は、医療画像取込装置から第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを取得するように構成された取得ユニット810と、第1の画像データに基づく第1の時間インスタンスの後の第2の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の1つ以上の所望の画像取込特性を決定するように構成された決定ユニット820と、医療画像取込装置の1つ以上の所望の画像取込特性に従って、第1の時間インスタンスと第2の時間インスタンスとの間の第3の時間インスタンスにおいて画像取込装置を制御するように構成された制御ユニット830とを含む。
特定の例示的な実施形態において、画像取込装置の制御は、画像取込装置を支持する関節アームの位置を制御することを含む。すなわち、画像取込装置を支持する関節アームを、手術シーン内の画像取込装置の位置を制御するために、装置/システム800によって制御することができる。すなわち、本開示の図1の例示的な状況に戻ると、装置800は、内視鏡装置5001の動きを制御するために、アーム制御装置5045に接続されてよい。あるいは、装置800は、CCU5039に接続されてよく、あるいはCCU5039の一部を形成することができる。
特定の例において、装置800は、図4に示されるように、随意により、第1の画像データに従って第1の時間インスタンスの後の第2の時間インスタンスにおける手術シーンの予測アピアランスである第2の画像データを生成するように構成された生成ユニット820aを含むことができる。これにより、第2の時間インスタンスにおける手術シーンの予測アピアランスである第2の画像データを保存し、後続の処理(機械学習システムの訓練など)において使用することが可能になる。
ここで、装置800の動作を、本開示の図1を参照して示されるような例示的な内視鏡手術の状況を参照して説明する。しかしながら、装置を必要に応じて任意の手術の状況に適用できることを、理解できるであろう。
取得ユニット:
手術中に、装置800の取得ユニット810は、内視鏡装置5001から手術シーンの第1の画像(または、画像データ)を取得する。この第1の画像は、画像が内視鏡装置5001によって撮影されたときの手術シーンのアピアランスに関する情報を、装置800へともたらす。この例において、この第1の画像は、表示装置5041上で外科医へと表示される画像と同じ画像である。すなわち、第1の画像は、手術シーンの現在のアピアランスを示す。
手術中に、装置800の取得ユニット810は、内視鏡装置5001から手術シーンの第1の画像(または、画像データ)を取得する。この第1の画像は、画像が内視鏡装置5001によって撮影されたときの手術シーンのアピアランスに関する情報を、装置800へともたらす。この例において、この第1の画像は、表示装置5041上で外科医へと表示される画像と同じ画像である。すなわち、第1の画像は、手術シーンの現在のアピアランスを示す。
取得ユニット810による第1の画像データの取得のやり方が、とくに限定されないことを理解できるであろう。例えば、取得ユニット810は、任意の適切な有線または無線の手段によって画像取込装置(内視鏡装置5001など)から画像データを取得することができる。さらに、画像データの実際の形態は、画像データの撮影に使用される画像取込装置の種類に依存する。本例(本開示の図1を参照して説明される)において、画像取込装置は内視鏡装置5001である。したがって、この例において、取得ユニット810によって取得される画像データは、シーンの高解像度画像、4K画像、または8K画像であってよい。
ここで、この例示的な状況において、手術が、外科医5067がエネルギー処置ツール5021を患者の体腔へと今まさに挿入した段階まで進行したと考える。この例示的な手術シーンが、本開示の図5Aに示されている。
図5Aには、患者5017の体腔内の標的処置領域9000が示されている。標的処置領域9000に接近する(外科医5067によって挿入された)エネルギー処置ツール5021が図示されている。内視鏡装置5001は、第1の視点から手術シーンの画像を撮影する。内視鏡装置5001によって撮影される手術シーンの領域が、領域9002によって示されている。内視鏡装置5001によって撮影されるこの領域の画像は、装置800によって取得され、手術シーンの第1の画像を形成する。
この段階において、装置800によって取得された第1の画像は、手術シーンの鮮明な画像を含み、すなわち第1の画像は、内視鏡装置5001の視点からの手術シーン(具体的には、標的処置領域9000の)の妨げのない視界を提供する。この第1の画像データの例示的な図が、図5Bに示されている。図5Bの図から見て取ることができるとおり、内視鏡装置5001の視点からの画像は、標的処置領域9000と、エネルギー処置ツール5021の少なくとも一部分とを含む。
決定ユニット:
次いで、本開示の実施形態によれば、装置800の決定ユニット820は、第1の画像データに基づく第1の時間インスタンスの後の第2の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、画像取込装置5001の1つ以上の所望の画像取込特性を決定するように構成される。
次いで、本開示の実施形態によれば、装置800の決定ユニット820は、第1の画像データに基づく第1の時間インスタンスの後の第2の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、画像取込装置5001の1つ以上の所望の画像取込特性を決定するように構成される。
第1の画像の時点と、シーンの第1の画像の予測アピアランスが決定される時点との間の時間ステップまたは時間ギャップは、状況に応じてさまざまである。時間ギャップの持続時間を、装置800の初期構成の際に事前に設定することができる。あるいは、時間ギャップは、手術中に装置800または外科医5067によって動的に調整されてもよい。
しかしながら、この例において、時間ギャップは約1秒であってよい。この例示的な時間ギャップよりもはるかに短い時間ギャップおよびはるかに大きい時間ギャップも想定される。
換言すると、この例において、装置800は、約1秒の将来の手術シーンの予測アピアランスを決定する。この予測アピアランスは、取得された第1の画像データ(手術シーンの現在のアピアランスを示している)に従って決定される。
<予測アピアランス>
特定の例において、決定ユニット820は、外部の計算装置またはサーバからシーンの予測画像を受信することができる。しかしながら、他の実施形態において、装置800の決定ユニット820は、シーン予測アルゴリズムを使用して、手術シーンの視覚的特性が時間ステップ後にどのように現れるかについての予測(すなわち、予測データまたは画像データ)を生成する。
特定の例において、決定ユニット820は、外部の計算装置またはサーバからシーンの予測画像を受信することができる。しかしながら、他の実施形態において、装置800の決定ユニット820は、シーン予測アルゴリズムを使用して、手術シーンの視覚的特性が時間ステップ後にどのように現れるかについての予測(すなわち、予測データまたは画像データ)を生成する。
予測データ(手術シーンの予測アピアランスである)の実際の形態は、とくには限定されず、本開示の実施形態が適用される状況に応じてさまざまである。しかしながら、特定の例において、以下でさらに詳細に説明されるように、予測データは、取得ユニット810によって取得された画像データと同様の種類のデータ(すなわち、取得ユニット810によって取得された画像がRGB画素値などのイメージセンサ画素値からなる場合、そのような画素値)で構成される。さらに、特定の例が、単一の予測アピアランスを含む予測データを用いて説明されているが、代わりに、断定アピアランスデータが順次に増加する時間ステップにおける手術シーンの予測アピアランスを含むように、複数の予測が行われてもよいことを、理解できるであろう。
好都合には、シーンの予測アピアランスが取得された画像データと同様の形態である場合(すなわち、シーンの予測アピアランスがシーンの予測画像を形成する場合)、予測画像の内容を分析するために、高度な画像処理技術を装置800によって使用することができる。画像取込装置の1つ以上の所望の画像取込特性を決定するための決定ユニットによる予測画像の分析は、以下でさらに詳細に説明される。
ここで、いくつかの実施形態において、シーンの予測アピアランスを生成するために決定ユニット820によって使用される予測アルゴリズムは、敵対的生成ネットワーク(GAN)などの既知の機械学習アルゴリズムを含むことができる。しかしながら、本開示がとくにGAN機械学習アルゴリズムに限定されず、必要に応じて任意の機械学習アルゴリズムを使用できることを、理解できるであろう。これらの機械学習アルゴリズムは、類似のシナリオの過去の映像および画像データのデータベースに基づいて、将来の時点におけるシーンのアピアランスの現実的な予測を生成することができる。したがって、アルゴリズムに提供される任意の新たな画像が、近い将来の(すなわち、アルゴリズムに提供された画像から所与の時間ステップだけ将来の)シーンのアピアランスの予測を生成する。
手術環境の例において、機械学習アルゴリズムを訓練するために使用される過去の映像および画像データのデータベースは、外科医(コンピュータ支援手術システムまたは人間の外科医のいずれかである)によって実行された以前の手術の映像および画像を含むことができる。訓練用データベースは、他の外科医によって行われた以前の手術の映像および画像も含むことができる。いくつかの状況において、訓練用データベースは、手術シーンの検証済みの写実的シミュレーションも含むことができる。手術シーンのこれらの検証済みの写実的シミュレーションを、とくに機械学習アルゴリズムを訓練する目的で生成することができる。訓練用データベースは、手術シーンの深度情報を示す深度データも含むことができる。訓練用データベースは、例えば、アームの関節部の回転角度、アームの関節部によって接続されたリンクの長さなど、画像取込装置を支持する関節アームの構成データおよび/または関節アームの姿勢に関するデータも含むことができる。すなわち、機械学習システムを、必要に応じて手術シナリオにおいて得られた任意の手術データで訓練することができる。
特定の例においては、現実的な予測アピアランスデータを生成するために、深層学習モデルを使用することができる。これらの深層学習モデルは、ニューラルネットワークを用いて構築される。これらのニューラルネットワークは、入力層および出力層を含む。いくつかの隠れ層が、入力層と出力層との間に位置する。各々の層は、いくつかの個々のノードを含む。入力層のノードが、第1の隠れ層のノードに接続される。第1の隠れ層(および、後続の各々の隠れ層)のノードが、以後の隠れ層のノードに接続される。最後の隠れ層のノードが、出力層のノードに接続される。換言すると、層内の各ノードは、ニューラルネットワークの先行の層内のすべてのノードにつながっている。
当然ながら、モデルにおいて使用される隠れ層の数および各々の層内の個々のノードの数の両方が、訓練用データのサイズおよび予測データの個々の要件に従ってさまざまであってよいことを、理解できるであろう。
ここで、各々のノードは、いくつかの入力を受け取り、出力を生成する。ノードへと(ニューラルネットワークの先行の層との接続を介して)もたらされる入力は、それぞれに適用される重み係数を有する。
ニューラルネットワークにおいて、入力層は、いくつかの入力(上述のような手術シナリオにおいて得られた手術データを含むことができる)を受け取る。すなわち、この例において、入力層は、過去の手術シナリオの画像、手術シナリオの検証済みのシミュレーション、および/または以前の手術シナリオにおいて外科医が行った動作に関する現在の手術シナリオ情報の先行の画像、および/または以前の手術シナリオにおいて使用された医療画像取込装置の画像取込特性のうちの1つ以上を、入力層への入力として受け取ることができる。次いで、これらの入力は、隠れ層において、訓練時に調整された重みを使用して処理される。次いで、出力層が、ニューラルネットワークからの予測を生成する。
具体的には、訓練時に、訓練用データを入力およびターゲットに分けることができる。入力データは、ターゲット(モデルが予測するように訓練されている手術シーンの画像のアピアランスである)を除くすべてのデータである。次いで、入力データは、ニューラルネットワークのそれぞれのノード間の重みを調整するために、訓練時にニューラルネットワークによって分析される。いくつかの例においては、訓練時の重みの調整を、線形回帰モデルによって達成することができる。しかしながら、他の例においては、ノード間の重みを調整してニューラルネットワークを訓練するために、非線形な方法が実施されてもよい。
効果的には、訓練時に、ニューラルネットワークのノードに適用される重み係数は、提供された入力データについてターゲットデータとの最良一致を生む重み係数の値を決定するために調整される。すなわち、訓練時に、入力およびターゲット出力の両方が提供される。次いで、ネットワークは、入力を処理し、得られた出力をターゲットデータと比較する。次いで、出力とターゲットデータとの間の差が、ニューラルネットワークを通って逆伝播され、ニューラルネットワークにニューラルネットワークのそれぞれのノードの重みを調整させる(逆伝播)。
当然ながら、モデルを訓練するために使用される訓練サイクル(または、エポック)の数は、状況に応じてさまざまであってよい。いくつかの例において、モデルを、モデルがターゲットデータの所定のしきい値の範囲内の出力を生成するまで、訓練用データで継続的に訓練することができる。
ひとたび訓練されると、新たな入力データをニューラルネットワークの入力層に提供することができ、これにより、モデルは(訓練時にニューラルネットワークの各ノードに適用された重みに基づいて)所与の入力データに対する予測出力(将来の特定の時間ステップにおける手術シーンの予測アピアランスなど)を生成する。
当然ながら、本実施形態が(ニューラルネットワークなどの)深層学習モデルにとくに限定されず、状況に応じて任意のそのような機械学習アルゴリズムを本開示の実施形態に従って使用することができることを、理解できるであろう。
さらに、機械学習アルゴリズムを訓練するために使用される実際のデータは、とくに限定されず、本開示の実施形態が適用される手術シナリオの種類に応じてさまざまである。
イベント認識ネットワークを使用して映像または画像の大規模プールで予測ネットワークを自動的に訓練することが可能である(当然ながら、手術中に得られた他のデータも使用することができる)。例えば、予測ネットワークは、所与の画像または一連の画像について、次に何が来るか(すなわち、シーケンス内の次の画像がどのように現れると予測されるか)の予測を出力することができる。次いで、この予測(例えば、シーンの予測アピアランスを形成する予測データ)は、シーケンス内の後続の画像に関するイベント認識ネットワーク分析によって、正しいと宣言または正しくないと宣言される。これにより、短い時間で機械学習システムを大規模なデータベースで自動的に訓練することが可能になり、したがって機械学習システムによって行われる予測の品質が向上する。
ここで、決定ユニット820は、訓練用データベース内のイベントの発生、および手術シーンの現在のアピアランスに基づいて、将来の時点における手術シーンのアピアランスの予測を形成することができる。すなわち、決定ユニット820は、訓練用データから、例えば、第1の手術ツール(外科用メスなど)がシーンへと導入された場合に、第1の手術ツールの導入の時点の短時間後に第2の手術ツール(吸引装置など)がシーンへと第1の手術ツールと同様の場所に導入される可能性が高いことを学習することができる。この情報、および手術シーンの現在のアピアランスを使用して、決定ユニット820は、外科用メスの導入の短時間後の手術シーンのアピアランスを予測することができる。
さらに、いくつかの実施形態においては、決定ユニット820を、予測の信頼値を決定して出力するように構成することができ、これは、手術シーンの予測アピアランスの個々の部分について決定されてよい。次いで、信頼値が所定のしきい値を下回る予測の部分を、後の分析から除外することができる。これにより、高い信頼度(または、確実性)で予測された手術シーンの領域のみが、装置800による後の分析に含まれることが保証され、したがって装置800の精度が向上する。
当然ながら、決定ユニット820によって使用される予測アルゴリズムは、敵対的生成ネットワークを含むことができるが、本開示は、この点に関してとくに限定されるようには意図されていない。代案として、変分オートエンコーダを、本開示の実施形態に従って予測画像を生成するために使用することができる。さらなる代案として、自己回帰モデルを、本開示の実施形態による予測アルゴリズムとして使用することができる。
実際に、状況に応じて、決定ユニット820は、必要に応じて、取得された第1の画像データに従って手術シーンの予測アピアランスを生成するために、任意のそのような方法を使用することができる。
上述のように、特定の例示的な実施形態において、装置800は、第1の画像データに従って(第2の時間インスタンスにおける)手術シーンの予測アピアランスである第2の画像データを生成するように構成された随意による生成ユニット820aをさらに含むことができる。
これに関して、図5Cが、将来の時点における手術シーンの予測アピアランスの生成のタイムチャートを示している。図5Cにおいて、時間が横軸に示され、左方から右方へと増加する。
第1の画像データI1(内視鏡装置5001の視点からの手術シーンの現在のアピアランスを示す)が、時点T1において装置800によって取得される。この時点(T1)において、装置800は、時点T2における手術シーンの予測による将来のアピアランスを示す第2の画像データI2を生成する。シーンのアピアランスの予測が行われる将来の時点T2は、現在の時点T1よりもΔtだけ後の時点である。上述したように、この例において、時間差Δtは、第2の画像データI2が約1秒だけ将来の時点における手術シーンの予測アピアランスを示すように、約1秒であってよい。
装置800によって生成された第2の画像データI2の一例が、図5Dに示されている。この例示的な第2の画像データI2には、将来の時点T2における手術シーンの予測アピアランスが示されている。装置800によって生成されたこの予測画像で、時点T2(すなわち、現在の時点T1から時間Δtだけ将来)において内視鏡装置5001の視点からの手術部位9000が霧9004によって不明瞭になると予測されることが分かる。
換言すると、この例において、装置800は、第1の画像データを使用してエネルギー処置ツール5021の挿入を確認し、この第1の画像データに基づいて、将来の時間期間Δtにおいて内視鏡装置5001の視点からの手術シーンが図5Dに示される予測による第2の画像データI2のアピアランスを有することになると予測する。すなわち、エネルギー処置ツール5021の存在ゆえに、装置800は、約1秒後の時点において手術部位9000の視界が霧(ミストおよび/または煙など)によって不明瞭になると予測することができる。
予測画像データI2を、画像の1つ以上の所望の画像取込特性を決定するために直接使用することができる。あるいは、生成ユニット820aは、予測画像データを最初にメモリに保存してもよく、これにより、必要に応じて後で取り出すことが可能である。
ここで、本開示の図5に示される特定の手術シーンにおいて、装置800は、第2の画像データI2を分析し、時点T2において手術部位9000が霧9004によって不明瞭になると予測されるため、外科医5067が将来の時点T2において手術部位の重要な視覚情報を観察することが、霧によって妨げられる可能性があると判定する。したがって、装置800は、予測される霧9004による重要な視覚情報の喪失を回避可能にするために必要とされる内視鏡装置5001の画像取込特性の構成を決定する。
すなわち、この例において、装置800は、内視鏡装置5001が電磁スペクトルの可視領域における観察から電磁スペクトルの赤外線領域における観察へと変化することが望ましいと判定する。これは、装置800が、霧によって手術部位の視覚画像が不明瞭になるが、電磁スペクトルの異なる部分(赤外線領域など)を使用して手術部位を観察することによって、手術部位の鮮明な画像を依然として得ることができると判断するからである。したがって、時点T2における内視鏡装置の所望の画像取込特性は、内視鏡装置5001が、第2の時間インスタンスの発生前に、電磁スペクトルの赤外線領域において画像を撮影するように切り替わることである。
<画像取込特性>
画像取込装置の1つ以上の所望の画像取込特性は、画像取込装置の所望の撮像条件の決定を含むことができる。画像取込装置の撮像条件は、光学画像システム条件および画像処理条件のうちの1つ以上を含むことができる。例えば、光学画像システム条件および/または画像処理条件は、所望の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および/または画像輝度のうちの1つ以上を含むことができる。すなわち、光学画像システム条件は、光学画像ズームなどを含むことができる。対照的に、画像処理条件は、画像処理回路によって画像撮影の時点において実行され、あるいは撮影済みの画像に対して事後処理において適用されるデジタル画像ズームなどを含むことができる。これに代え、あるいはこれに加えて、画像取込装置の1つ以上の所望の画像取込特性は、画像取込装置の所望の位置または動きを含んでもよい。当然ながら、本開示はこの点に関してとくに限定されず、任意のそのような所望の画像取込特性を、状況に応じて決定ユニットによって決定することができる。さらなる代案として、上述のように、画像取込特性は、画像撮影の種類(シーンの視覚画像を撮影するか、あるいはシーンのハイパースペクトル画像(電磁スペクトルの全体からの情報を使用する)を撮影するか、など)を含むことができる。
画像取込装置の1つ以上の所望の画像取込特性は、画像取込装置の所望の撮像条件の決定を含むことができる。画像取込装置の撮像条件は、光学画像システム条件および画像処理条件のうちの1つ以上を含むことができる。例えば、光学画像システム条件および/または画像処理条件は、所望の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および/または画像輝度のうちの1つ以上を含むことができる。すなわち、光学画像システム条件は、光学画像ズームなどを含むことができる。対照的に、画像処理条件は、画像処理回路によって画像撮影の時点において実行され、あるいは撮影済みの画像に対して事後処理において適用されるデジタル画像ズームなどを含むことができる。これに代え、あるいはこれに加えて、画像取込装置の1つ以上の所望の画像取込特性は、画像取込装置の所望の位置または動きを含んでもよい。当然ながら、本開示はこの点に関してとくに限定されず、任意のそのような所望の画像取込特性を、状況に応じて決定ユニットによって決定することができる。さらなる代案として、上述のように、画像取込特性は、画像撮影の種類(シーンの視覚画像を撮影するか、あるいはシーンのハイパースペクトル画像(電磁スペクトルの全体からの情報を使用する)を撮影するか、など)を含むことができる。
ここで、本開示の実施形態において、装置800の決定ユニット820は、手術シーンの予測アピアランスに関して画像取込装置(内視鏡装置5001など)の最適な1つ以上の画像取込特性を決定するために1つ以上のカメラ特性アルゴリズムを使用することができる。
1つ以上の画像取込特性を決定するために使用される1つ以上の画像取込特性アルゴリズムは、いくつかの例において、過去の手術映像、検証済みのシミュレーション、外科医による手術の最中に測定されたデータ(手術ツールおよびカメラの位置情報、環境マップ(同時の位置推定およびマッピング(SLAM)によって生成できる)、およびツールの種類情報を含む入力データで訓練された機械学習システムで構成されてよい。すなわち、適切な訓練用セットで訓練された機械学習アルゴリズムを、画像取込装置の所望の画像取込特性を決定するために使用することができる。
さらに、画像取込装置の1つ以上の画像取込特性を決定するために、ニューラルネットワーク(上記で詳細に説明したニューラルネットワークなど)を含む深層学習アルゴリズムを、本開示の実施形態に従って使用することができる。
さらに、(手動または自動のいずれかで)ラベル付けされたデータを使用して、機械学習アルゴリズムを訓練することも可能である。ラベルデータは、手術のワークフロー中の撮像装置の操縦、ナビゲーション、または制御の評価結果を含むことができる。さらに、ラベルデータは、手術シーン内のアクティブなツールおよびイベント(例えば、出血)などの重要な特徴の視認性の評価を含むことができる。このラベル付けを、外科医5067または他の医療スタッフが行うことができる。さらに、ラベルデータは、視点の安定性、一貫した向き、および照明など、人間の視覚システムによる画像の有用性に関する他の目標を含むことができる。このようにして、機械学習アルゴリズムは、外科医5067による使用のために最適化された所望の画像取込特性を決定することを学習することができる。
随意により、所望の画像取込特性を決定するためのアルゴリズムは、ルールベースのアルゴリズムであってよく、手術シーンの予測アピアランス(例えば、予測画像データ)を、現在の画像データおよびコンテクストデータと組み合わせて、既知のシナリオの発生を検出するために分析することができる。
次いで、検出されたシナリオに関する理想的なカメラ特性および挙動のルックアップテーブルを使用して、所望の画像取込特性を決定することができる。手術シーンに関して、予測画像データにおいて検出されるいくつかの例示的なシナリオ(または、イベント)、および結果として得られる所望の画像取込特性は、以下のとおりである。
1.シーン内のツールまたは物体の移動
シーン内のツールまたは物体の移動が、視界の妨げを引き起こす可能性がある。すなわち、例えば、ツール(吸引ツールなど)の移動によって、シーン内の画像取込装置の視点からの画像が不明瞭になり、あるいは部分的に不明瞭になる可能性がある。本開示の実施形態によれば、予測画像データ内のツールの位置に鑑みて、障害物を回避し、手術シーンおよびツールの視認を維持する撮像装置の所望の移動を、計算することができる。
シーン内のツールまたは物体の移動が、視界の妨げを引き起こす可能性がある。すなわち、例えば、ツール(吸引ツールなど)の移動によって、シーン内の画像取込装置の視点からの画像が不明瞭になり、あるいは部分的に不明瞭になる可能性がある。本開示の実施形態によれば、予測画像データ内のツールの位置に鑑みて、障害物を回避し、手術シーンおよびツールの視認を維持する撮像装置の所望の移動を、計算することができる。
2.能動的に使用されているツールの移動
予測画像データ内のツールの将来の移動を使用して、自動カメラ追従機能において撮影画像の中心にツールを維持する撮像装置の所望の移動を定めることができる。ツールの状態(使用中であるか否か)を、状態を示しており、ツールの作動スイッチによって変化するデータ、などに基づいて検出することができる。
予測画像データ内のツールの将来の移動を使用して、自動カメラ追従機能において撮影画像の中心にツールを維持する撮像装置の所望の移動を定めることができる。ツールの状態(使用中であるか否か)を、状態を示しており、ツールの作動スイッチによって変化するデータ、などに基づいて検出することができる。
3.臓器の保持/滑り
予測画像データは、開創器によって保持された臓器が落下したり、移動したりするイベントを描写することができる。臓器の移動を画像内で追跡し、開創器および臓器の両方を視野内に保つことができる撮像装置の所望の移動を、選択することができる。あるいは、画像取込装置によって使用されるズームのレベルを変更することによって、臓器を視野内に保つことも可能である。
予測画像データは、開創器によって保持された臓器が落下したり、移動したりするイベントを描写することができる。臓器の移動を画像内で追跡し、開創器および臓器の両方を視野内に保つことができる撮像装置の所望の移動を、選択することができる。あるいは、画像取込装置によって使用されるズームのレベルを変更することによって、臓器を視野内に保つことも可能である。
4.予測される出血イベント
出血元の場所をできる限り撮影画像の中心付近に位置させつつ、手術ツールなどの他の重要な画像特徴を視野内に保つ撮像装置の所望の移動を、選択することができる。これは、カメラ位置の横方向の変化および角度の変化の組み合わせによって達成することができる。
出血元の場所をできる限り撮影画像の中心付近に位置させつつ、手術ツールなどの他の重要な画像特徴を視野内に保つ撮像装置の所望の移動を、選択することができる。これは、カメラ位置の横方向の変化および角度の変化の組み合わせによって達成することができる。
5.ツール交換
所望の画像取込特性を、ツール交換が発生したとき(すなわち、使用済みのツールが取り除かれたとき、または新たなツールがシーンへと導入されたとき)に選択することができる。予測画像データ内の他の重要な特徴の視認性を維持しつつ、ツールが導入される領域を視認できるように、所望の画像取込特性が決定される。例えば、手術シーンの視認を維持しながら、患者の体腔へのトロカール入口の下方の領域の視認性をもたらすカメラ角度を、選択することができる。
所望の画像取込特性を、ツール交換が発生したとき(すなわち、使用済みのツールが取り除かれたとき、または新たなツールがシーンへと導入されたとき)に選択することができる。予測画像データ内の他の重要な特徴の視認性を維持しつつ、ツールが導入される領域を視認できるように、所望の画像取込特性が決定される。例えば、手術シーンの視認を維持しながら、患者の体腔へのトロカール入口の下方の領域の視認性をもたらすカメラ角度を、選択することができる。
6.(利き手でない手による)収縮の引っ張り方向の変化
剥離/切除の方向/位置の変化が存在し、ツールは、利き手でない手によるツールの保持によって張力が生じる部分に移動すると考えられる。この変化を考慮するために、画像取込装置の所望の画像取込特性を決定することができる。
剥離/切除の方向/位置の変化が存在し、ツールは、利き手でない手によるツールの保持によって張力が生じる部分に移動すると考えられる。この変化を考慮するために、画像取込装置の所望の画像取込特性を決定することができる。
本開示が、これらの上述の例に限定されることは意図されておらず、本開示の実施形態に従って画像取込装置の1つ以上の所望の画像取込特性を決定するためにルックアップテーブルにおいて使用することができる多数の他の手術シナリオが存在することを、理解できるであろう。
本決定ユニットを、機械学習アルゴリズムおよびルックアップテーブルの両方を使用して説明してきたが、必要に応じて、画像取込装置の所望の画像取込特性を決定するために、任意の適切な方法が決定ユニット820によって使用されてよいことを、理解できるであろう。当業者であれば、例えば、画像取込装置の所望の動きまたは所望の画像取込位置などの所望の画像取込特性を決定するために、生成ユニット820aによって生成された予測画像データに自動カメラ位置システムのための既存の技術を適用することができる。
予測画像データが複数のシナリオまたはイベントを含む状況があり得ることを、理解できるであろう。すなわち、予測画像データが、可能性の高いいくつかの予測を含み、それらが実際にはきわめて異なる画像取込特性を必要とする可能性がある。したがって、特定の例においては、カメラまたは画像取込装置が、起こりうるすべての結果を撮影する画像取込特性を使用し、あるいは各々のシナリオの発生が確認されたならばすぐに各々のシナリオにとって理想的な視点をカメラが迅速に占めることができる取込特性を使用することが、望ましいかもしれない。例えば、これは、異なるシナリオの2つの所望の視点の間の中間点であってよい。
さらに、特定の例においては、決定ユニット820を、画像取込特性に関する1つ以上の因子に従って画像取込装置の画像取込特性について重みを計算し、重み係数が最も大きい画像取込特性を画像取込装置の所望の画像取込特性として決定するように、構成することができる。すなわち、或る範囲の画像取込特性(或る範囲の視認位置など)を生成し、これらの視認位置の各々を、利点(例えば、その位置において外科医が手術シーンの標的領域をどの程度良好に視認できるか、または画像のうちの何パーセントを手術シーンの標的領域が占めるか)などの因子に従って重み付けすることができる。次いで、計算された重みが最も大きい画像取込特性(または、この例においては、位置)が、最も有利な画像取込特性と見なされ、手術シーンの所望の画像取込特性として選択される。
あるいは、画像取込装置の画像取込特性の重み付けは、画像取込装置の画像取込特性と画像取込装置の一組の目標画像取込特性との比較に基づく。画像取込装置の画像取込特性が目標画像取込特性に近いほど、重み係数が大きくなる。
制御ユニット:
ひとたび決定ユニットが画像取込装置の所望の画像取込特性を決定すると、制御ユニットは、画像取込装置を第1の時間インスタンスと第2の時間インスタンスとの間の第3の時間インスタンスにおいて画像取込装置の1つ以上の所望の画像取込特性に従って制御するように構成される。
ひとたび決定ユニットが画像取込装置の所望の画像取込特性を決定すると、制御ユニットは、画像取込装置を第1の時間インスタンスと第2の時間インスタンスとの間の第3の時間インスタンスにおいて画像取込装置の1つ以上の所望の画像取込特性に従って制御するように構成される。
したがって、この例において、装置800は、内視鏡装置5001を、第1の時間インスタンスと第2の時間インスタンスとの間の第3の時間インスタンスにおいて、内視鏡装置の1つ以上の所望の画像取込特性(すなわち、内視鏡装置が電磁スペクトルの赤外線部分を使用して画像を撮影する)に従って制御する。
図5Cに戻ると、第3の時間インスタンスT3(制御時点)が、タイムチャート上で現在の時点T1と第2の時点T2(霧が画像を不明瞭にすると予測される時期)との間の時点に示されている。したがって、装置800は、時点T3において、内視鏡装置が電磁スペクトルの赤外線部分を使用した画像の撮影に切り替わるように、内視鏡装置を制御する。タイムチャート上の時点T3の実際の位置は、それが現在の時点T1と予測の対象の時点T2との間にあり、かつ第2の時点T2に達する前に内視鏡装置の画像取込特性を決定された画像取込特性に相関するように装置800によって調整できるように充分に時点T2よりも前である限りにおいて、とくに限定されない。
したがって、この例においては、第2の時点T2に達した(外科医5067が予測どおりにエネルギー処置ツール5021の使用を開始した)とき、装置800は、内視鏡装置5001が電磁スペクトルの可視領域ではなくて電磁スペクトルの赤外線領域で画像を撮影するように、内視鏡装置5001をすでに制御している。したがって、時点T2において、内視鏡装置5001によって撮影される実際の画像は、エネルギー処置ツール5021の動作によって生じるミストおよび/または煙の存在にもかかわらず、手術部位5001の鮮明な画像を示す。時点T2において(すなわち、内視鏡装置5001の画像取込特性の制御後に)内視鏡装置5001によって取得された実際の画像の図が、図5Eに示されている。
いくつかの実施形態において、制御ユニットは、画像取込装置(内視鏡5001など)の現在の画像取込特性を、画像取込装置の所望の画像取込特性と比較し、その後に、これらの特性の比較を使用して、画像取込装置に所望の時間において所望の画像取込特性を達成させる画像コントローラ命令を生成するように構成される。例えば、画像取込装置の現在の位置と画像取込装置の所望の位置とを比較することで、制御ユニットは、画像取込装置を所望の位置へと移動させるために使用することができる対応する作動命令を決定することができる。
好都合な効果:
本開示の実施形態によれば、手術中に画像取込装置を制御するための装置は、コンピュータ支援手術システムがカメラの画像取込特性を予測的に最適化することを可能にし、したがって、手術シーンの予測可能な将来の変化の影響に、予測された変化が手術シーンにおいて実際に発生する前に、画像取込特性の調整および/または画像取込装置の構成によって対処することができる。このようにして、手術シーンの撮像に対する悪影響(例えば、外科医への重要な画像情報の提供が妨げられる)を、手術を遅延させることなく回避することができる。
本開示の実施形態によれば、手術中に画像取込装置を制御するための装置は、コンピュータ支援手術システムがカメラの画像取込特性を予測的に最適化することを可能にし、したがって、手術シーンの予測可能な将来の変化の影響に、予測された変化が手術シーンにおいて実際に発生する前に、画像取込特性の調整および/または画像取込装置の構成によって対処することができる。このようにして、手術シーンの撮像に対する悪影響(例えば、外科医への重要な画像情報の提供が妨げられる)を、手術を遅延させることなく回避することができる。
当然ながら、本開示は、これらの好都合な技術的効果にとくに限定されず、本開示を検討することで当業者にとって明らかになるとおり、他の効果も存在し得る。
さらなる変更:
画像取込装置が、状況に応じて必要されるとおりの任意の医療画像取込装置を含んでよいことを、理解できるであろう。すなわち、装置800の構成を本開示の図5~図6を参照して上述したが、本開示の実施形態が、この特定の例に限定されないことを、理解できるであろう。例えば、本開示の実施形態を内視鏡撮像装置を参照して説明してきたが、本開示の実施形態は、必要に応じて、望遠鏡撮像装置、顕微鏡撮像装置、エクソスコープ撮像装置、などにも適用可能である。さらに、装置の構成に対するいくつかのさらなる変更を、以下で説明する。
画像取込装置が、状況に応じて必要されるとおりの任意の医療画像取込装置を含んでよいことを、理解できるであろう。すなわち、装置800の構成を本開示の図5~図6を参照して上述したが、本開示の実施形態が、この特定の例に限定されないことを、理解できるであろう。例えば、本開示の実施形態を内視鏡撮像装置を参照して説明してきたが、本開示の実施形態は、必要に応じて、望遠鏡撮像装置、顕微鏡撮像装置、エクソスコープ撮像装置、などにも適用可能である。さらに、装置の構成に対するいくつかのさらなる変更を、以下で説明する。
コンテクスト検知システム:
シーンの予測アピアランスを生成するために決定ユニットによって使用される上述の方法は、取得された画像データを利用して予測を生成するが、本開示がこれに関してとくに限定されないことを、理解できるであろう。むしろ、予測データの生成および画像取込装置の1つ以上の所望の画像取込特性の決定において、特定の追加情報が装置800によって使用されてよい。この追加情報は、特定の例において、装置800の予測能力をさらに高めるコンテクスト情報を提供することができる。
シーンの予測アピアランスを生成するために決定ユニットによって使用される上述の方法は、取得された画像データを利用して予測を生成するが、本開示がこれに関してとくに限定されないことを、理解できるであろう。むしろ、予測データの生成および画像取込装置の1つ以上の所望の画像取込特性の決定において、特定の追加情報が装置800によって使用されてよい。この追加情報は、特定の例において、装置800の予測能力をさらに高めるコンテクスト情報を提供することができる。
いくつかの例においては、シーンの予測画像の生成を支援するために、コンテクスト情報を生成ユニットに提供することができる。例えば、シーン予測アルゴリズムは、シーンの変化の描写を生成するために、コンテクスト情報からのキューに依存することができ、複数のデータソースを使用して予測画像データの任意の特定の例を生成することができる。あるいは、コンテクスト検知システムを、コンテクスト情報の分析を実行するように構成することができ、この分析が、画像取込装置の所望の画像取込特性を決定するときに決定ユニット820によって使用される。さらなる代案として、コンテクスト情報を決定ユニットに直接提供し、決定ユニットがコンテクスト情報を自身の分析に取り入れてもよい。
したがって、随意により、本開示の実施形態によれば、取得ユニット810は、手術シーンにおいて生じる変化に関連し得る手術のコンテクストに関する追加情報を収集するように構成されたコンテクスト検知システム850を含むことができる。これが、本開示の図6Aに示されている。
コンテクスト検知システムは、外科医によって実行されている手術に関するコンテクスト情報を収集するように構成された、いくつかのコンテクスト検知手段(種々の別個のカメラおよびセンサを含む)を含むことができる。コンテクスト検知手段によって取得されるコンテクスト情報は、シーン内の物体の位置、シーン内の物体の動き、シーン内に存在する物体の種類、および/またはシーン内の人物によって実行されている動作のうちの少なくとも1つを含むことができる。
しかしながら、コンテクスト検知システム850の構成はとくに限定されず、本開示の実施形態が適用される特定の状況に応じてさまざまである。
コンテクスト検知システム850のコンテクスト検知手段によって取得することができるコンテクスト情報のいくつかの具体例が、以下に提示される。
いくつかの例において、コンテクスト検知システム850は、手術室内かつ患者の体外のカメラおよび/またはマイクロフォンを含むことができる。カメラおよび/またはマイクロフォンは、手術室内かつ患者の体外で発生するイベントを監視する。マイクロフォンからの音声記録が、コンテクスト検知システムによる手術室内の会話(「鉗子を渡してください」または「出血があります」などの外科医からの指示を含む)の監視を可能にできる。あるいは、コンテクスト検知システムのカメラからの画像が、コンテクスト検知システムによる手術台の向き、室内照明、手術室内のスタッフの相対位置、などの判断を可能にできる。あるいは、マイクロフォンおよびカメラからのデータを、手術スタッフに関するストレスレベルまたは現在のタスクレベルなどの手術室内のスタッフの状態を判断するために、コンテクスト検知ユニットによって使用することができる。
したがって、カメラおよび/またはマイクロフォンを使用して患者の体外の環境を監視することにより、装置800は、手術の進行についてより深いコンテクスト認識を得ることができ、これは、生成ユニット820aの予測能力および決定ユニット820による画像取込特性の選択の両方を向上させることができる。
これに代え、あるいはこれに加えて、コンテクスト検知システムは、血圧、呼吸、および心拍センサなどの患者センサを含むことができる。これらのセンサは、手術中の患者の状態に関する追加のコンテクスト情報を提供することができる。例えば、患者の血圧の低下が、出血の発生を知らせている可能性があり、この情報を、生成ユニット820aおよび決定ユニット820によって予測画像および所望の画像取込特性を生成するときに使用することで、手術シーンの鮮明な画像を維持する装置800の能力をさらに向上させることができる。あるいは、組織運動に関連する律動(心拍など)、呼吸サイクル、気腹圧、などに関するコンテクスト情報を、コンテクスト検知システム850の個別のセンサによって監視することで、装置800による画像取込装置の画像取込特性の決定をさらに改善することができる。
これに代え、あるいはこれに加えて、現在のツールの動作状態または他のパラメータを通信するツールを、コンテクスト検知システムに組み合わせることができる。例えば、コンテクスト検知システムを、手術ツール(エネルギー処置ツール5021など)から状態更新を受信するように構成することができる。有線または無線インターフェースによって受信されてよいこれらの状態更新は、ツールが作動中であるか否かをコンテクスト検知システムに通知することができる。エネルギー処置ツールの例において、コンテクスト検知システム850は、エネルギー処置ツールが作動しているときに、患者の体腔内でミストおよび/または煙の量が増加する可能性があることを知ることができる。したがって、装置800は、これに応じて画像取込装置の所望の画像取込特性を決定することができる。
あるいは、コンテクストシステム850は、手術の次の段階で使用するために補佐の外科医がどのツールを準備しているか、特定の時間期間内に発生したツール交換回数、ツールの種類の情報(ツールが外科医によってどのように操作されるかに関する情報を含む)、ツールの速度および軌跡などのツール運動情報、外科医または補助スタッフがツールをどのように保持しているかについての情報、差し迫る視覚的変化に関係し得るツール状態および動作設定に関する情報(例えば、吸引/灌注/吸入の量)などを判断するように構成された1つ以上のセンサおよび/または回路を含むことができる。
この追加のコンテクスト情報を、画像取込装置の画像取込特性の決定において装置800を支援するために使用することができる。例えば、コンテクスト検知ユニットは、ツールから受信した情報を、生成ユニット820aによって生成されるシーンの予測画像の精度を高めるために使用されるキューとして使用することができる。
これに代え、あるいはこれに加えて、コンテクスト検知システム850を、外科医または他の医療スタッフによる手動入力を受け取るように構成することができる。手動入力を、コンテクスト検知システム850は、例えばタッチスクリーンデバイスまたはコンピュータキーボードの操作を介して受け取ることができる。この情報を、手術の現在の段階(例えば、「第2段階に入る」)を装置800に知らせるために使用することができる。このやり方での手術の段階の判断は、画像取込装置の画像取込特性の決定において装置800の助けとなる。例えば、手術のどの段階が開始されたかを知ることによって、装置800は、どのツールが手術シーンに導入され、あるいは手術シーンから取り除かれる可能性が高いかを、より正確に判断および予測することができる。
仮想カメラユニット:
いくつかの例において、装置800は、仮想視点システム860をさらに含むことができる。仮想視点システム860を、カメラ位置とは別であってよい3D空間内の座標位置(すなわち、仮想カメラ位置)を有する仮想視点を生成するために使用することができる。換言すると、合成による仮想視点が、画像取込装置の移動の間に撮影された画像を通じて生成され、仮想視点は、所与の時間インスタンスにおける画像取込装置の実際の位置とは別個かつオフセットされている。仮想視点を生成するために、仮想視点システム860は、当技術分野で知られている画像スティッチングおよび視点仮想化アルゴリズムを使用して、画像取込装置の動きからの画像データを組み合わせるように構成される。
いくつかの例において、装置800は、仮想視点システム860をさらに含むことができる。仮想視点システム860を、カメラ位置とは別であってよい3D空間内の座標位置(すなわち、仮想カメラ位置)を有する仮想視点を生成するために使用することができる。換言すると、合成による仮想視点が、画像取込装置の移動の間に撮影された画像を通じて生成され、仮想視点は、所与の時間インスタンスにおける画像取込装置の実際の位置とは別個かつオフセットされている。仮想視点を生成するために、仮想視点システム860は、当技術分野で知られている画像スティッチングおよび視点仮想化アルゴリズムを使用して、画像取込装置の動きからの画像データを組み合わせるように構成される。
このようにして、人間であるコントローラが仮想カメラ位置を制御する一方で、仮想視点システム860が、画像取込装置の実際のカメラ位置を制御するために自律的に動作することができる。いくつかの例においては、仮想カメラ位置を完全に自律的に制御することができ、人間の視覚系の画像安定性目標を満たしつつ、画像取込装置の自律制御を使用してデータを迅速に収集することができる。
仮想カメラ視点が使用されている例においては、外科医によるシーンの視認に有利な改善された仮想カメラ視点を装置800によって予測することができる。さらに、仮想視点を生成するために必要な実際のカメラの動きを、画像取込装置の1つ以上の所望の画像取込特性として決定ユニット820によって決定することができる。
能力検知ユニット:
いくつかの例において、装置800は、能力検知ユニット870をさらに含むことができる。能力検知ユニット870を、決定ユニット820および制御ユニット830とやり取りして、所望の画像取込特性の所与の組に対して達成することができる最適な画像取込特性を決定するように構成することができる。すなわち、能力検知ユニット870は、画像取込装置または手術環境の1つ以上の制限または限界ゆえに、画像取込装置が決定ユニット820によって決定された所望の画像取込特性を必要とされる時間フレーム内に達成することができないと判断することができる。この場合、能力検知ユニット870は、画像取込装置にとって達成可能な最適な画像取込特性を制御ユニット830に指示する。換言すると、能力検知ユニットは、画像取込装置の所望の/最適な画像取込特性を決定するときに、画像取込装置の限界を考慮する。
いくつかの例において、装置800は、能力検知ユニット870をさらに含むことができる。能力検知ユニット870を、決定ユニット820および制御ユニット830とやり取りして、所望の画像取込特性の所与の組に対して達成することができる最適な画像取込特性を決定するように構成することができる。すなわち、能力検知ユニット870は、画像取込装置または手術環境の1つ以上の制限または限界ゆえに、画像取込装置が決定ユニット820によって決定された所望の画像取込特性を必要とされる時間フレーム内に達成することができないと判断することができる。この場合、能力検知ユニット870は、画像取込装置にとって達成可能な最適な画像取込特性を制御ユニット830に指示する。換言すると、能力検知ユニットは、画像取込装置の所望の/最適な画像取込特性を決定するときに、画像取込装置の限界を考慮する。
画像取込装置の所望の画像取込特性が、所望の画像取込位置である例を考える。これが、本開示の図6Bに示されている。この例において、装置800は、将来の時点Tにおいて画像を撮影するための画像取込装置の所望の位置L1を生成済みである。所望の位置が(決定ユニット820によって)決定されると、能力検知ユニット870は、画像取込装置の能力(画像取込装置の現在位置L0、および画像取込装置の最大速度Vを含む)を評価して、画像取込装置が時点T(Δtだけ将来の時点)までに所望の位置L1を達成することができるか否かを判定する。
しかしながら、この例において、能力検知ユニットは、画像取込装置が時点Tまでに位置L1を達成しないと判定する。むしろ、画像取込装置の能力に基づくと、画像取込装置は時点Tまでに位置L2を達成するにすぎない。したがって、能力検知ユニットは、画像取込装置が時点Tまでに位置L1を達成できないと判定する。
しかしながら、位置L2は、位置L1と比較して時点Tにおける最適位置ではない。すなわち、L1とは対照的に、位置L2は、シーンの明瞭な視認を提供できない可能性がある。したがって、能力検知ユニットが、決定ユニット820とやり取りし、時間ステップΔt内に達成することができる画像取込装置の移動範囲内の画像取込装置の最適位置を決定する。これに基づき、位置L3が、時間ステップΔt内に達成することができる(すなわち、時点Tまでに達成することができる)画像取込装置の最適位置であると判定される。
したがって、画像取込装置の能力の限界ゆえに画像取込装置が所望の位置L1を達成できないと判定されるため、画像取込装置の能力の範囲内の第2の所望の位置L3が決定される。これにより、画像取込装置が、必要な時間内に所望の位置L1を達成することができないがゆえに最適ではない位置L2に到達してしまう事態が回避される。
さらに、能力検知ユニットが、画像取込装置が所望の画像取込特性を達成することができるかどうかを判定するときに、環境上の制限などの他の制限も考慮できることを、理解できるであろう。例えば、能力検知ユニットは、患者の組織または外科医の手術ツールなどとの衝突の可能性ゆえに、画像取込装置が所望の画像取込位置を達成することができないと判定することができる。
随意により、能力検知ユニット870を、手術シナリオの1つ以上のルールに従って実装することができる。すなわち、装置は、取得された画像データおよび/または取得されたコンテクストデータを通じて、特定の手術シナリオ(心臓手術など)を認識することができる。次いで、手術シナリオの認識を使用して、画像取込装置の可能な動きまたは所望の画像取込特性に適用され得る所定の制約のルックアップテーブルを照会することができる。例えば、心臓手術において、心臓の特定の部分が画像取込装置の視野内に保持されること、または画像取込装置の位置が心臓の特定の部分にアクセスする外科医の能力を妨げないことが、制約であり得る。
本開示の実施形態の例において、能力検知手段870および/または制御ユニット830を、シーン内に存在する1つ以上の物体の位置に従って所望の画像取込位置への移動パターンを決定するように構成することができる。これにより、画像取込装置が所望の位置への途中でシーン内の物体と衝突しないことが保証される。
具体的には、いくつかの実施形態において、ひとたび所望の画像取込位置への移動パターンが決定されると、制御ユニットは、画像取込装置を所望の位置へと、所望の位置への経路において手術シーンに(例えば、シーン内の物体との衝突によって)悪影響を及ぼすことなく効率的に移動させるために、決定された移動パターンに従って画像取込装置を支持する関節アームの位置および/または向きを制御するように構成される。
当然ながら、画像取込装置の能力を所望の位置に関して説明したが、能力検知ユニットを、必要に応じて画像取込装置の他の所望の画像取込特性にも適用できることを、理解できるであろう。
例示的な構成:
本開示の実施形態によるコンピュータ支援手術システムの例示的な構成を、本開示の図7Aを参照して説明する。この例示的な構成を、例えば、(本開示の図1を参照して説明したような)内視鏡手術の状況において使用することができる。
本開示の実施形態によるコンピュータ支援手術システムの例示的な構成を、本開示の図7Aを参照して説明する。この例示的な構成を、例えば、(本開示の図1を参照して説明したような)内視鏡手術の状況において使用することができる。
この例示的な構成において、ロボットカメラシステム1100が提供される。このロボットカメラシステムは、画像取込装置1102および駆動システム1104を含む。画像取込装置は、支持アーム1106によって駆動システムに結合する。換言すると、駆動システム1104は、画像取込装置によって手術シーンの画像を撮影するように画像取込装置1102を位置決めするために、支持アーム1106を動かすために使用される。
画像取得ユニット(図示せず)は、画像取込装置から画像データを取得し、この画像データをシーン予測ユニット(装置800の生成ユニット820aなど)に提供する。さらに、コンテクスト検知ユニット1100は、手術シーンのコンテクスト情報を取得し、このコンテクスト情報をシーン予測ユニット1108に提供する。
次いで、シーン予測ユニット1108は、この情報に基づいて、将来の時点Tにおける(すなわち、ロボットカメラシステムの画像取込装置によって画像データが取得された時点よりも前の時点Tにおける)手術シーンのアピアランスを表す予測画像データを生成する。
この予測画像データは、カメラ位置決めユニット1112(装置800の決定ユニット820など)に提供される。また、カメラ位置決めユニット1112は、(画像取込装置1100から受信した画像データに基づいて生成された)仮想視点システム1114からの仮想カメラ位置を受け取る。
この情報(さらには、ロボットカメラシステム1100の支持アームの現在位置)に基づいて、カメラ位置決めユニット1112は、撮像装置の所望の移動を計算する。これが、ロボットカメラシステムを時点Tよりも前に所望の位置へと移動させるために、ロボットカメラシステムの駆動ユニットへともたらされる一連の駆動コマンドを設計する駆動設計ユニット1116(装置800の制御ユニット830など)に提供される。
このようにして、ロボットカメラシステムの位置を、ロボットカメラシステムが時点Tよりも前に所望の位置を達成するように、制御することができる。これにより、コンピュータ支援手術システムは、手術シーンの予測可能な将来の変化の影響が、変化が生じる前のカメラシステムの移動によって補償されるように、カメラの位置を予測的に最適化することができる。
このコンピュータ支援手術システムの手術シナリオへの適用の例示的な図が、図7Bを参照して示される。図7Bにおいて、外科医1120が、患者1124の標的領域1122に対してコンピュータ支援外科手術を実行中である。外科医1120は、ロボットカメラシステム1126によって撮影された手術シーンの画像を、ディスプレイ(図示せず)上で観察する。ロボットカメラシステムの視野は、図7Bの線1128によって囲まれた領域によって示されている。ロボットカメラシステム1126からの画像は、図7Aに示されるようにシーン予測ユニット1108にも提供される。
この例において、外科医1120が外科用メス1130を手術シーンにちょうど導入したところであると考える。この段階で、シーン予測ユニット(装置800の生成ユニットであってよい)は、後続のビデオフレームにおいて、2秒の時間内に、外科医1120が吸引管1132を手術シーンに導入すると予測する。これが図7Cに示されている。予測画像の分析により、予測される手術シーン内の吸引管1132の配置が、ロボットカメラシステム1126を遮り、したがってシーンの鮮明な画像が得られないことが明らかになる。
したがって、予測画像の時間ステップ(すなわち、現在の時点の2秒先)に鑑み、図7Aのカメラ位置決めユニット1112は、ロボットカメラシステム1126によって達成することができ、かつ標的領域1122の鮮明な画像を提供するロボットカメラシステム1126を取り囲む三次元ボリューム内の可能な動きを計算する。これが図7Dに示されている。
最後に、ひとたびロボットカメラシステムの所望の画像取込位置が決定されると、駆動設計ユニット1116および駆動ユニット1104が相互作用して、外科医1120が吸引管1132を手術シーンへと実際に配置する前に標的領域1122の鮮明な視野を維持するためにロボットカメラシステム1126が自身の位置および角度を調整するように、ロボットカメラシステム1126を制御する。これが図7Eに示されている。
方法:
本開示の実施形態によれば、手術中に画像取込装置を制御する方法が提供される。本開示の実施形態による手術中に画像取込装置を制御する方法の説明が、図8に示されている。
本開示の実施形態によれば、手術中に画像取込装置を制御する方法が提供される。本開示の実施形態による手術中に画像取込装置を制御する方法の説明が、図8に示されている。
手術中に医療画像取込装置などの画像取込装置を制御する方法は、S1200で開始し、ステップS1202に進む。
ステップS1202において、本方法は、医療画像取込装置から第1の画像データを取得することを含み、第1の画像データは、第1の時間インスタンスにおける手術シーンのアピアランスである。
ひとたび第1の画像データが取得されると、本方法は、ステップS1204に進む。
ステップS1204において、本方法は、第1の画像データに基づく第1の時間インスタンスの後の第2の時間インスタンスにおける手術シーンの予測アピアランスに基づいて、医療画像取込装置の1つ以上の所望の画像取込特性を決定することを含む。
ひとたび画像取込装置の1つ以上の所望の画像取込特性が決定されると、本方法は、ステップS1206に進む。
ステップS1206において、本方法は、画像取込装置を第1の時間インスタンスと第2の時間インスタンスとの間の第3の時間インスタンスにおいて医療画像取込装置の1つ以上の所望の画像取込特性に従って制御することを含む。
ひとたび画像取込装置が第3の時間インスタンスにおいて制御されると、本方法はステップS1208に進み、ステップS1208で終了する。
いくつかの状況において、画像取込装置の所望の画像取込特性が、画像取込装置がすでに有する画像取込特性であってもよいことを、理解できるであろう。この場合、画像取込装置の現在の画像取込特性に対する変更は、行われない。
さらに、いくつかの状況において、ステップS1206が完了すると本方法はステップS1202に戻ることを、理解できるであろう。このようにして、画像取込装置の所望の画像取込特性が継続的または定期的に評価され、必要に応じて更新される。
コンピューティング装置:
ここで図9を参照すると、本開示の実施形態によるコンピューティング装置1300が示されている。コンピューティング装置1300は、手術中に画像取込装置を制御するためのコンピューティング装置であってよい。典型的には、コンピューティング装置は、パーソナルコンピュータまたはサーバに接続された端末などのデバイスであってよい。実際に、いくつかの実施形態において、コンピューティング装置はサーバであってもよい。コンピューティング装置1300は、マイクロプロセッサまたは他の処理回路1302を使用して制御される。
ここで図9を参照すると、本開示の実施形態によるコンピューティング装置1300が示されている。コンピューティング装置1300は、手術中に画像取込装置を制御するためのコンピューティング装置であってよい。典型的には、コンピューティング装置は、パーソナルコンピュータまたはサーバに接続された端末などのデバイスであってよい。実際に、いくつかの実施形態において、コンピューティング装置はサーバであってもよい。コンピューティング装置1300は、マイクロプロセッサまたは他の処理回路1302を使用して制御される。
処理回路1302は、コンピュータ命令を実行するマイクロプロセッサであってよく、あるいは特定用途向け集積回路であってよい。コンピュータ命令は、磁気的に読み取り可能な媒体、光学的に読み取り可能な媒体、またはソリッドステート型回路であってよい記憶媒体1304に格納される。記憶媒体1304は、(図示のように)コンピューティング装置1300に統合されてよく、あるいはコンピューティング装置1300とは別個であって、有線または無線のいずれかの接続を使用してコンピューティング装置1300に接続されてよい。コンピュータ命令を、プロセッサ回路1302にロードされたときに本開示の実施形態による手術中に画像取込装置を制御する方法を実行するようにコンピューティング装置1300のプロセッサ回路1302を構成するコンピュータ可読コードを含むコンピュータソフトウェアとして具現化することができる。
プロセッサ回路1302には、ユーザ入力部(図示せず)がさらに接続される。ユーザ入力部は、タッチスクリーンであってよく、あるいはマウスまたはスタイリスト型の入力装置であってよい。ユーザ入力部は、キーボードまたはこれらの装置の任意の組み合わせであってもよい。
ネットワーク接続部1306が、プロセッサ回路1302にさらに組み合わせられる。ネットワーク接続部1306は、ローカルエリアネットワークあるいはインターネットまたは仮想プライベートネットワークなどのワイドエリアネットワークへの接続部であってよい。ネットワーク接続部1306を、他の医療装置と通信して関連データを取得し、あるいは他の医療装置に関連データを提供することをプロセッサ回路1302にとって可能にする医療装置インフラストラクチャに接続することができる。ネットワーク接続部1306を、ファイアウォールまたは何らかの他の形態のネットワークセキュリティの背後に配置することができる。
さらに、処理回路1302に表示装置1308が組み合わせられる。表示装置は、コンピューティング装置1300に統合されて図示されているが、さらにコンピューティング装置1300とは別個であってもよく、システムの動作の視覚化をユーザにとって可能にするモニタまたは何らかの種類の装置であってよい。さらに、表示装置1300は、コンピューティング装置1300によって生成される関連情報のユーザまたは第三者(医療支援アシスタントなど)による閲覧を可能にするプリンタまたは何らかの他の装置であってもよい。
上記は、「マスタースレーブ」型のロボットシステムに関連して説明されているが、本開示はそのように限定されない。いくつかの事例において、手術ロボットは、人間の外科医が監視者の立場で存在する状態で、人間の外科医とは独立して働くことができる。さらに、内視鏡検査または腹腔鏡検査において、スコピストがロボットであってよく、人間の外科医がロボットを監督する。いくつかの実施形態において、ロボットシステムは、主外科医がロボット外科医を使用し、補佐の外科医が補助ロボットアームを遠隔操作するマルチロボット手術システムであってよい。ロボットシステムは、手術器具を保持する1対の協働する自律型ロボットアームからなる単独手術システムであってもよい。この場合、人間の外科医は、マスタースレーブ構成を使用することができる。
<例示的なシステム>
図10が、本技術を適用することができるコンピュータ支援手術システム11260の一例を概略的に示している。コンピュータ支援手術システムは、自律アーム11000および1つ以上の外科医制御アーム11010を組み込んだマスタースレーブシステムである。自律アームは、撮像装置11020(例えば、内視鏡、顕微鏡、またはエクソスコープなどの医療用スコープ)を保持する。1つ以上の外科医制御アーム11010は、手術装置11030(例えば、切削ツールなど)をそれぞれ保持する。自律アームの撮像装置が、外科医にとって視認可能な電子ディスプレイ11100に手術シーンの画像を出力する。自律アームは、外科医が1つ以上の外科医制御アームを使用して手術を実行しているときに撮像装置の視界を自律的に調整して、外科医が手術シーンをリアルタイムで適切に視認できるようにする。
図10が、本技術を適用することができるコンピュータ支援手術システム11260の一例を概略的に示している。コンピュータ支援手術システムは、自律アーム11000および1つ以上の外科医制御アーム11010を組み込んだマスタースレーブシステムである。自律アームは、撮像装置11020(例えば、内視鏡、顕微鏡、またはエクソスコープなどの医療用スコープ)を保持する。1つ以上の外科医制御アーム11010は、手術装置11030(例えば、切削ツールなど)をそれぞれ保持する。自律アームの撮像装置が、外科医にとって視認可能な電子ディスプレイ11100に手術シーンの画像を出力する。自律アームは、外科医が1つ以上の外科医制御アームを使用して手術を実行しているときに撮像装置の視界を自律的に調整して、外科医が手術シーンをリアルタイムで適切に視認できるようにする。
外科医は、マスタコンソール11040を使用して、1つ以上の外科医制御アーム11010を制御する。マスタコンソールは、マスタコントローラ11050を含む。マスタコントローラ11050は、1つ以上の力センサ11060(例えば、トルクセンサ)、1つ以上の回転センサ11070(例えば、エンコーダ)、および1つ以上のアクチュエータ11080を含む。マスタコンソールは、1つ以上の関節部を有するアーム(図示せず)と、操作部とを含む。外科医が操作部を把持して動かすことで、アームを1つ以上の関節部を中心にして動かすことができる。1つ以上の力センサ11060は、外科医が1つ以上の関節部を中心にしてアームの操作部へともたらす力を検出する。1つ以上の回転センサは、アームの1つ以上の関節部の回転角度を検出する。アクチュエータ11080は、アームを1つ以上の関節部を中心にして駆動することで、アームが外科医に触覚フィードバックを提供することを可能にする。マスタコンソールは、外科医から入力情報を受け取り、さらには外科医に出力情報を提供するための自然なユーザインターフェース(NUI)入力部/出力部を含む。NUI入力部/出力部は、(外科医が入力情報を提供するために動かし、さらには触覚フィードバックを出力情報として外科医に提供する)アームを含む。NUI入力部は、音声入力、視線入力、および/またはジェスチャ入力を含むこともできる。マスタコンソールは、撮像装置11020によって撮影された画像を出力するための電子ディスプレイ11100を含む。
マスタコンソール11040は、ロボット制御システム11110を介して自律アーム11000および1つ以上の外科医制御アーム11010の各々と通信する。ロボット制御システムは、有線または無線接続11230、11240、および11250によってマスタコンソール11040、自律アーム11000、および1つ以上の外科医制御アーム11010に接続される。接続11230、11240、および11250は、マスタコンソール、自律アーム、および1つ以上の外科医制御アームの間の有線または無線信号の交換を可能にする。
ロボット制御システムは、制御プロセッサ11120およびデータベース11130を含む。制御プロセッサ11120は、1つ以上の力センサ11060および1つ以上の回転センサ11070から受信した信号を処理して、制御信号を出力し、制御信号に応答して、1つ以上のアクチュエータ11160が1つ以上の外科医制御アーム11010を駆動する。このようにして、マスタコンソール11040の操作部の動きが、1つ以上の外科医制御アームの対応する動きを生じさせる。
さらに、制御プロセッサ11120は、制御信号を出力し、制御信号に応答して1つ以上のアクチュエータ11160が自律アーム11000を駆動する。自律アームへと出力される制御信号は、マスタコンソール11040、1つ以上の外科医制御アーム11010、自律アーム11000、および任意の他の信号源(図示せず)のうちの1つ以上から受信した信号に応答して、制御プロセッサ11120によって決定される。受信信号は、撮像装置11020によって適切な視野の画像を撮影するための自律アームの適切な位置を示す信号である。データベース11130は、受信信号の値および対応する自律アームの位置を記憶する。
例えば、マスタコントローラの1つ以上の力センサ11060および回転センサ11070から受信した信号(これは、結果的に、1つ以上の外科医制御アーム11010の対応する動きを表す)の値の所与の組み合わせについて、自律アーム11000の対応する位置が、撮像装置11020によって撮影される画像が1つ以上の外科医制御アーム11010によって遮られることがないように設定される。
別の例として、自律アームの1つ以上の力センサ11170(例えば、トルクセンサ)によって出力された信号が、自律アームが抵抗(例えば、自律アームの経路内の障害物に起因する)に直面していることを示す場合、自律アームの対応する位置が、画像が撮像装置11020によって別の視野(例えば、自律アームが障害物を含まない別の経路に沿って移動することができる視野)から取得されるように設定される。
自律アームの適切な位置を示す他の種類の受信信号が存在してもよいことを、理解できるであろう。
制御プロセッサ11120は、受信信号の値をデータベース11130において参照し、対応する自律アーム11000の位置を指示する情報を取得する。次いで、この情報が処理されて、さらなる信号が生成され、さらなる信号に応答して自律アームのアクチュエータ11160が自律アームを指示された位置に移動させる。
自律アーム11000および1つ以上の外科医制御アーム11010の各々は、アームユニット11140を含む。アームユニットは、アーム(図示せず)と、制御ユニット11150と、1つ以上のアクチュエータ11160と、1つ以上の力センサ11170(例えば、トルクセンサ)とを含む。アームは、アームの動きを可能にする1つ以上のリンクおよび関節部を含む。制御ユニット11150は、ロボット制御システム11110へと信号を送信し、ロボット制御システム11110から信号を受信する。
ロボット制御システムから受信した信号に応答して、制御ユニット11150は、アームを1つ以上の関節部を中心にして駆動して適切な位置へと動かすために、1つ以上のアクチュエータ11160を制御する。1つ以上の外科医制御アーム11010に関して、受信信号は、(例えば、外科医がマスタコンソールのアームを制御することによる)マスタコンソール11040から受信した信号に基づいて、ロボット制御システムによって生成される。自律アーム11000に関して、受信信号は、ロボット制御システムがデータベース11130内の適切な自律アーム位置情報を検索することによって生成される。
1つ以上の関節部を中心にして1つ以上の力センサ11170によって出力された信号に応答して、制御ユニット11150は、ロボット制御システムに信号を出力する。例えば、これにより、ロボット制御システムは、1つ以上の外科医制御アーム11010が直面している抵抗を表す信号をマスタコンソール11040に送信し、対応する触覚フィードバックを外科医にもたらすことができる(例えば、1つ以上の外科医制御アームが直面する抵抗により、マスタコンソールのアクチュエータ11080がマスタコンソールのアームに対応する抵抗を生じさせるように)。別の例として、ロボット制御システムは、(例えば、1つ以上の力センサ11170が障害物が自律アームの経路内に存在することを示す場合に、自律アームの代替位置を見つけるために)データベース11130において適切な自律アーム位置情報を検索することができる。
自律アーム11000の撮像装置11020は、カメラ制御ユニット11180と、撮像ユニット11190とを含む。カメラ制御ユニットは、撮像ユニットを制御して画像を撮影し、ズームレベル、露出値、ホワイトバランス、などの撮影画像の種々のパラメータを制御する。撮像ユニットは、手術シーンの画像を撮影する。撮像ユニットは、1つ以上のレンズおよびイメージセンサ(図示せず)を含む画像の撮影に必要なすべての構成要素を含む。画像が撮影される手術シーンの視野は、自律アームの位置に依存する。
1つ以上の外科医制御アームの手術装置11030は、装置制御ユニット11200、マニピュレータ11210(例えば、1つ以上のモータおよび/またはアクチュエータを含む)、および1つ以上の力センサ11220(例えば、トルクセンサ)を含む。
装置制御ユニット11200は、ロボット制御システム11110から受信した信号に応答して物理的動作(例えば、手術装置11030が切削ツールである場合の切削動作)を実行するようにマニピュレータを制御する。信号は、外科医が手術装置を制御すべくNUI入力部/出力部11090に情報を入力することによって生成されるマスタコンソール11040から受信される信号に応答して、ロボット制御システムによって生成される。例えば、NUI入力部/出力部は、手術装置に所定の動作(例えば、手術装置が切削ツールである場合に電気ブレードをオンまたはオフにする)を実行させるために外科医が操作することができるマスタコンソールのアームの操作部の一部として含まれる1つ以上のボタンまたはレバーを含む。
さらに、装置制御ユニット11200は、1つ以上の力センサ11220から信号を受信する。受信信号に応答して、装置制御ユニットは、対応する信号をロボット制御システム11110に提供し、ロボット制御システムは、対応する信号をマスタコンソール11040に提供する。マスタコンソールは、NUI入力部/出力部11090を介して外科医に触覚フィードバックを提供する。したがって、外科医は、手術装置11030ならびに1つ以上の外科医制御アーム11010から触覚フィードバックを受け取る。例えば、手術装置が切削ツールである場合、触覚フィードバックは、1つ以上の力センサ11220からの信号が切削ツールに大きな力が加わっていることを示す場合(例えば、骨などの硬い材料を切削するときに生じる)に、切削ツールを操作するボタンまたはレバーが操作に対してより大きな抵抗をもたらし、1つ以上の力センサ11220からの信号が切削ツールに加わる力が小さいことを示す場合(例えば、筋肉などのより柔らかい材料を切断するときに生じる)に、操作に対する抵抗を小さくすることを、含むことができる。NUI入力部/出力部11090は、ロボット制御システム11110から受信した信号に応答して触覚フィードバックを提供するための1つ以上の適切なモータ、アクチュエータ、などを含む。
図11が、本技術を適用することができるコンピュータ支援手術システム12090の別の例を概略的に示している。コンピュータ支援手術システム12090は、外科医がマスタースレーブシステム11260を介してタスクを実行し、コンピュータ化された手術装置12000が自律的にタスクを実行する手術システムである。
マスタースレーブシステム11260は図10と同じであるため、説明は省略する。しかしながら、システムは、代替の実施形態において図10のシステムとは異なるシステムであってよく、あるいは完全に省略されてもよい(この場合、システム12090は、外科医が従来からの手術を実行しているときに自律的に動作する)。
コンピュータ化された手術装置12000は、ロボット制御システム12010と、ツールホルダアーム装置12100とを含む。ツールホルダアーム装置12100は、アームユニット12040と、手術装置12080とを含む。アームユニットは、アーム(図示せず)と、制御ユニット12050と、1つ以上のアクチュエータ12060と、1つ以上の力センサ12070(例えば、トルクセンサ)とを含む。アームは、アームの動きを可能にする1つ以上の関節部を含む。ツールホルダアーム装置12100は、有線または無線接続12110を介してロボット制御システム12010と信号を送信および受信する。ロボット制御システム12010は、制御プロセッサ12020およびデータベース12030を含む。別個のロボット制御システムとして図示されているが、ロボット制御システム12010およびロボット制御システム11110は、1つの同じロボット制御システムであってもよい。手術装置12080は、手術装置11030と同じ構成要素を有する。これらは図11には示されていない。
ロボット制御システム12010から受信した制御信号に応答して、制御ユニット12050は、アームを1つ以上の関節部を中心にして駆動して適切な位置へと動かすために、1つ以上のアクチュエータ12060を制御する。さらに、手術装置12080の動作は、ロボット制御システム12010から受信される制御信号によって制御される。制御信号は、アームユニット12040、手術装置12080、および任意の他の信号源(図示せず)のうちの1つ以上から受信される信号に応答して、制御プロセッサ12020によって生成される。他の信号源として、手術シーンの画像を撮影する撮像装置(例えば、マスタースレーブシステム11260の撮像装置11020)を挙げることができる。制御プロセッサ12020によって受信された信号の値は、対応するアーム位置および/または手術装置動作状態情報と共にデータベース12030に格納された信号値と比較される。制御プロセッサ12020は、受信信号の値に関連するアーム位置および/または手術装置動作状態情報をデータベース12030から検索する。次いで、制御プロセッサ12020は、検索されたアーム位置および/または手術装置動作状態情報を使用して、制御ユニット12050および手術装置12080に送信される制御信号を生成する。
例えば、手術シーンの画像を撮影する撮像装置から受信した信号が(例えば、ニューラルネットワーク画像分類プロセスなどを介して)所定の手術シナリオを示す場合に、この所定の手術シナリオがデータベース12030において検索され、この所定の手術シナリオに関連付けられたアーム位置情報および/または手術装置動作状態情報がデータベースから読み出される。別の例として、信号がアームユニット12040の1つ以上の関節部を中心にして1つ以上の力センサ12070によって測定された抵抗の値を示す場合に、この抵抗の値がデータベース12030において検索され、この抵抗の値に関連付けられたアーム位置情報および/または手術装置動作状態情報がデータベースから読み出される(例えば、アームの経路内の障害物に対応して抵抗が増大した場合に、アームの位置を代替位置に変更できるようにするため)。次いで、いずれの場合も、制御プロセッサ12020は、アームの位置を読み出されたアーム位置情報によって示される位置へと変更するように1つ以上のアクチュエータ12060を制御する信号を制御ユニット12050に送信し、かつ/または読み出された動作状態情報によって示される動作状態に入る(例えば、手術装置12080が切削ツールである場合に電気ブレードを「オン」状態または「オフ」状態にする)ように手術装置12080を制御する信号を手術装置12080に送信する。
図12が、本技術を適用することができるコンピュータ支援手術システム13000の別の例を概略的に示している。コンピュータ支援手術システム13000は、自律アーム11000が撮像装置11020(例えば、内視鏡、顕微鏡、またはエクソスコープなどの医療用スコープ)を保持するコンピュータ支援医療スコープシステムである。自律アームの撮像装置が、外科医にとって視認可能な電子ディスプレイ(図示せず)に手術シーンの画像を出力する。自律アームは、外科医が手術を実行しているときに撮像装置の視界を自律的に調整して、外科医が手術シーンをリアルタイムで適切に視認できるようにする。自律アーム11000は図10の自律アームと同じであるため、説明は省略する。しかしながら、この場合、自律アームは、図10のマスタースレーブシステム11260の一部としてではなく、スタンドアロンのコンピュータ支援医療スコープシステム13000の一部として提供される。したがって、自律アーム11000を、例えば腹腔鏡手術(医療用スコープが内視鏡である)および開放手術を含む多数のさまざまな手術環境で使用することができる。
コンピュータ支援医療スコープシステム13000は、自律アーム11000を制御するためのロボット制御システム13020をさらに含む。ロボット制御システム13020は、制御プロセッサ13030およびデータベース13040を含む。有線または無線信号が、接続13010を介してロボット制御システム13020と自律アーム11000との間で交換される。
ロボット制御システム13020から受信される制御信号に応答して、制御ユニット11150は、自律アーム11000を駆動して、適切な視野の画像を撮像装置11020によって撮影するための適切な位置へと動かすために、1つ以上のアクチュエータ11160を制御する。制御信号は、アームユニット11140、撮像装置11020、および任意の他の信号源(図示せず)のうちの1つ以上から受信される信号に応答して、制御プロセッサ13030によって生成される。制御プロセッサ13030によって受信された信号の値は、対応するアーム位置情報と共にデータベース13040に格納された信号値と比較される。制御プロセッサ13030は、受信信号の値に関連するアーム位置情報をデータベース13040から検索する。次いで、制御プロセッサ13030は、検索されたアーム位置情報を使用して、制御ユニット11150に送信される制御信号を生成する。
例えば、撮像装置11020から受信した信号が(例えば、ニューラルネットワーク画像分類プロセスなどを介して)所定の手術シナリオを示す場合に、この所定の手術シナリオがデータベース13040において検索され、この所定の手術シナリオに関連付けられたアーム位置情報がデータベースから読み出される。別の例として、信号がアームユニット11140の1つ以上の力センサ11170によって測定された抵抗の値を示す場合に、この抵抗の値がデータベース12030において検索され、この抵抗の値に関連付けられたアーム位置情報がデータベースから読み出される(例えば、アームの経路内の障害物に対応して抵抗が増大した場合に、アームの位置を代替位置に変更できるようにするため)。次いで、いずれの場合も、制御プロセッサ13030は、1つ以上のアクチュエータ1116を制御して、アームの位置を読み出されたアーム位置情報によって示される位置に変更するように、制御ユニット11150に信号を送信する。
図13が、本技術を適用することができるコンピュータ支援手術システム14000の別の例を概略的に示している。システムは、撮像ユニット11020を有する1つ以上の自律アーム11000と、手術装置12100を有する1つ以上の自律アーム12100とを含む。1つ以上の自律アーム11000および1つ以上の自律アーム12100は、前述した自律アームと同じである。各々の自律アーム11000および12100は、制御プロセッサ14090およびデータベース14100を含むロボット制御システム14080によって制御される。有線または無線信号が、それぞれ接続14110および14120を介してロボット制御システム14080と各々の自律アーム11000および12100との間で伝送される。ロボット制御システム14080は、自律アーム11000の各々を制御するための前述のロボット制御システム11110および/または13020の機能を実行し、自律アーム12100の各々を制御するための前述のロボット制御システム12010の機能を実行する。
自律アーム11000および12100は、(例えば、システム14000が開放手術システムである場合に)手術の少なくとも一部を完全に自律的に行う。ロボット制御システム14080は、手術の現在の段階および/または手術において生じているイベントを表す入力情報に基づいて、手術中に所定の動作を実行するように自律アーム11000および12100を制御する。例えば、入力情報は、画像取込装置11000によって撮影された画像を含む。さらに、入力情報は、マイクロフォン(図示せず)によって取り込まれた音、手術器具(図示せず)に含まれる動きセンサに基づく使用中の手術器具の検出、および/または任意の他の適切な入力情報を含むことができる。
入力情報は、機械学習ベースの手術計画装置14020によって実装される適切な機械学習(ML)アルゴリズム(例えば、適切な人工ニューラルネットワーク)を使用して分析される。計画装置14020は、機械学習プロセッサ14030と、機械学習データベース14040と、トレーナ14050とを備える。
機械学習データベース14040は、手術段階(例えば、切開を行うこと、臓器を除去すること、または縫合を施すこと)および/または手術事象(例えば、出血または患者パラメータが所定の範囲から外れること)の分類を示す情報と、それらの分類に対応する事前に知られた入力情報(例えば、各々の分類の手術段階および/または手術事象の際に撮像装置11020によって撮影された1つ以上の画像)とを含む。機械学習データベース14040に、訓練段階において各々の分類を示す情報および対応する入力情報をトレーナ14050に提供することによってデータが追加される。次いで、トレーナ14050は、この情報を使用して機械学習アルゴリズムを(例えば、情報を使用して適切な人工ニューラルネットワークパラメータを決定することによって)訓練する。機械学習アルゴリズムは、機械学習プロセッサ14030によって実現される。
ひとたび訓練されると、以前は見られなかった入力情報(例えば、新たに撮影された手術シーンの画像)を機械学習アルゴリズムによって分類して、その入力情報に関連する手術段階および/または手術事象を決定することができる。さらに、機械学習データベースは、機械学習データベースに格納された各々の手術段階および/または手術事象に応答して各々の自律アーム11000および12100が行うべき動作(例えば、「切開を行う」という手術段階に関して関連の位置に切開を形成するように自律アーム12100を制御し、「出血」という手術事象に関して適切な焼灼を実行するように自律アーム12100を制御する)を示す動作情報を含む。したがって、機械学習ベースの手術計画部14020は、機械学習アルゴリズムによって出力された手術段階および/または手術事象分類に応答して自律アーム11000および/または12100が行うべき関連動作を決定することができる。関連動作を示す情報は、ロボット制御システム14080に提供され、ロボット制御システムは、関連動作を実行させるための信号を自律アーム11000および/または12100へともたらす。
計画装置14020は、ロボット制御システム14080を有する制御ユニット14010に含まれてよく、これにより、計画装置14020とロボット制御システム14080との間の直接的な電子通信が可能になる。これに代え、あるいはこれに加えて、ロボット制御システム14080は、通信ネットワーク14050(例えば、インターネット)を介して他の装置14070から信号を受信することができる。これにより、これらの他の装置14070によって実行される処理に基づいて自律アーム11000および12100を遠隔制御することが可能になる。一例において、装置14070は、複雑な機械学習アルゴリズムを迅速に実行することによってより信頼できる手術段階および/または手術事象の分類に到達するための充分な処理能力を有するクラウドサーバである。異なる機械学習アルゴリズムを、異なるそれぞれの装置14070によって、これらの装置の各々にとってアクセス可能な外部の(例えば、クラウドベースの)機械学習データベース14060に格納された同じ訓練用データを使用して実施することができる。したがって、各々の装置14070は、(計画装置14020の機械学習データベース14040のような)自身の固有の機械学習データベースを必要とせず、訓練用データを中央において更新し、すべての装置14070に利用可能にすることができる。各々の装置14070は、そのそれぞれの機械学習アルゴリズムを実施するために、(トレーナ14050のような)トレーナおよび(機械学習プロセッサ14030のような)機械学習プロセッサをさらに含む。
図14が、アームユニット11140の一例を示している。アームユニット12040は、同じやり方で構成される。この例において、アームユニット11140は、撮像装置11020としての内視鏡を支持する。しかしながら、他の例においては、他の撮像装置11020あるいは手術装置11030(アームユニット11140の場合)または12080(アームユニット12040の場合)が支持される。
アームユニット11140は、土台7100と、土台7100から延びるアーム7200とを含む。アーム7200は、複数の能動関節部721a~721fを含み、アーム7200の遠位端に内視鏡11020を支持する。リンク722a~722fは、実質的に棒状の部材である。複数のリンク722a~722fの端部が、能動関節部721a~721f、受動スライド機構7240、および受動関節部7260によって互いに接続される。土台ユニット7100は、アーム形状が土台7100から延びるように支点として機能する。
アーム7200の能動関節部721a~721fに設けられたアクチュエータを駆動および制御することによって、内視鏡11020の位置および姿勢が制御される。この例によれば、内視鏡11020の遠位端が処置部位である患者の体腔へと進入し、処置部位の画像を撮影する。しかしながら、内視鏡11020は、他の撮像装置または手術装置などの他の装置であってもよい。より一般的には、アーム7200の端部に保持された装置は、遠位ユニットまたは遠位装置と呼ばれる。
ここで、アームユニット7200は、図14に示されるように座標軸を定義することによって以下のように説明される。さらに、座標軸に従って、鉛直方向、長手方向、および水平方向が定義される。換言すると、床面に設置された土台7100に対する鉛直方向が、z軸方向および鉛直方向と定義される。さらに、z軸と直交する方向であって、アーム7200が土台7100から延びる方向(換言すると、土台7100に対して内視鏡11020が位置する方向)が、y軸方向および長手方向と定義される。さらに、y軸およびz軸と直交する方向が、x軸方向および水平方向と定義される。
能動関節部721a~721fは、リンク同士を互いに回転可能に接続する。能動関節部721a~721fは、アクチュエータを有し、アクチュエータの駆動によって所定の回転軸を中心に回転駆動される各々の回転機構を有する。各々の能動関節部721a~721fの回転駆動が制御されるとき、例えばアームユニット7200を伸ばし、あるいは収縮させる(折り畳む)ように、アーム7200の駆動を制御することができる。
受動スライド機構7240は、受動形態変更機構の一態様であり、リンク722cとリンク722dとを所定の方向に沿って前後に移動可能に接続する。受動スライド機構7240は、例えばユーザによって前後に移動するように操作され、リンク722cの一端側の能動関節部721cと受動関節部7260との間の距離を変更することができる。この構成により、アームユニット7200の全体の形態を変化させることができる。
受動関節部7360は、受動形態変更機構の一態様であり、リンク722dとリンク722eとを互いに回動可能に接続する。受動関節部7260は、例えばユーザによって回転操作され、リンク722dとリンク722eとの間に形成される角度を変更することができる。この構成により、アームユニット7200の全体の形態を変化させることができる。
一実施形態において、アームユニット11140は、6つの能動関節部721a~721fを有し、アーム7200の駆動に関して6自由度が実現される。すなわち、アームユニット11140の駆動制御が、6つの能動関節部721a~721fの駆動制御によって実現される一方で、受動スライド機構7260および受動関節部7260は、駆動制御の対象ではない。
具体的には、図14に示されるように、能動関節部721a、721d、および721fは、接続されたリンク722aおよび722eの各々の長軸方向ならびに接続された内視鏡11020の取込方向を回転軸方向として有するように設けられる。能動関節部721b、721c、および721eは、接続されたリンク722a~722c、722e、および722f、ならびに内視鏡11020の各々の接続角度がy-z平面(y軸とz軸とで規定される平面)内で変更される方向であるx軸方向を回転軸方向として有するように設けられる。このようにして、能動関節部721a、721d、および721fは、いわゆるヨーイングを行う機能を有し、能動関節部421b、421c、および421eは、いわゆるピッチングを行う機能を有する。
アームユニット11140のアーム7200の駆動に関して6自由度が実現されるため、アーム7200の可動範囲内において内視鏡11020を自由に移動させることが可能である。図14は、内視鏡11020の可動範囲の一例として半球を示している。半球の中心点RCM(Remote Center of Motion)が内視鏡11020によって撮影される処置部位の撮影中心であるとすると、内視鏡11020の撮影中心を半球の中心点に固定した状態で、内視鏡11020を半球の球面上で移動させることにより、処置部位を様さまざまな角度から撮影することができる。
本開示の実施形態は、以下の番号の条項によっても定義される。
(1)
手術中に医療画像取込装置を制御するためのシステムであって、
第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、前記医療画像取込装置から取得し、
前記第1の画像データに基づく前記第1の時間インスタンスの後の第2の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の1つ以上の所望の画像取込特性を決定し、
前記医療画像取込装置の前記1つ以上の所望の画像取込特性に従って、前記第1の時間インスタンスと前記第2の時間インスタンスとの間の第3の時間インスタンスにおいて前記医療画像取込装置を制御する
ように構成された回路を含んでいるシステム。
(2)
前記医療画像取込装置を制御することは、前記医療画像取込装置を支持する関節アームの位置を制御することを含む、条項1に記載のシステム。
(3)
前記回路は、前記手術シーンの前記予測アピアランスに基づいて、前記医療画像取込装置の前記1つ以上の所望の画像取込特性のうちの1つとして前記医療画像取込装置の所望の位置を決定するように構成されている、条項1または2に記載のシステム。
(4)
前記回路は、前記シーン内に存在する1つ以上の物体の位置に応じて前記所望の画像取込位置への移動パターンを決定し、前記決定された移動パターンに従って前記医療画像取込装置を支持する関節アームの位置および/または向きを制御するようにさらに構成されている、条項2または3に記載のシステム。
(5)
前記回路は、前記医療画像取込装置の前記1つ以上の所望の画像取込特性のうちの1つとして、前記画像取込装置の所望の撮像条件を決定するように構成されている、条項1~3のいずれかに記載のシステム。
(6)
前記所望の撮像条件は、光学画像システム条件および画像処理条件のうちの1つ以上を含む、条項5に記載のシステム。
(7)
前記光学画像システム条件および前記画像処理条件は、前記医療画像取込装置の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および/または画像輝度のうちの少なくとも1つを含む、条項6に記載のシステム。
(8)
前記回路は、前記第1の画像データに従って、前記第2の時間インスタンスにおける前記手術シーンの前記予測アピアランスである第2の画像データを生成するようにさらに構成されている、請求項1~7のいずれかに記載のシステム。
(9)
前記回路は、前記第1の画像データおよび前記シーンの現在の状態に関する情報に従って、前記第2の画像データを生成するようにさらに構成されている、条項8に記載のシステム。
(10)
前記回路は、前記シーン内の物体の位置、前記シーン内の物体の動き、前記シーン内に存在する物体の種類、および/または前記シーン内の人物が実行している動作のうちの少なくとも1つを含む前記シーンの現在の状態に関する情報を取得するようにさらに構成されている、条項9に記載のシステム。
(11)
前記回路は、内視鏡、顕微鏡、またはエクソスコープのうちの1つである前記医療画像取込装置を制御するように構成されている、条項1~10のいずれかに記載のシステム。
(12)
前記回路は、前記医療画像取込装置の前記所望の画像取込特性を決定するときに、前記医療画像取込装置の制約を考慮するようにさらに構成されている、条項1~11のいずれかに記載のシステム。
(13)
前記回路は、手術シナリオにおいて得られた手術データで訓練された機械学習システムを使用して前記手術シーンの前記予測アピアランスを生成するようにさらに構成されている、条項1~12のいずれかに記載のシステム。
(14)
前記手術シナリオにおいて得られた手術データは、過去の手術シナリオの画像、手術シナリオの検証済みのシミュレーション、ならびに/あるいは以前の手術シナリオにおいて外科医が行った動作に関する現在の手術シナリオ情報の先行の画像、および/または以前の手術シナリオにおいて使用された医療画像取込装置の画像取込特性のうちの1つ以上を含む、条項13に記載のシステム。
(15)
前記回路は、前記医療画像取込装置の画像取込特性について該画像取込特性に関する1つ以上の因子に従って重みを計算し、重み係数が最も大きい画像取込特性を前記医療画像取込装置の前記所望の画像取込特性として決定するように構成されている、条項1~14のいずれかに記載のシステム。
(16)
前記回路は、前記第3の時間インスタンスと前記第2の時間インスタンスとの間の時間で完了できる動きの範囲を計算し、該計算に従って前記医療画像取込装置の前記所望の画像取込特性を決定するように構成されている、条項1~15のいずれかに記載のシステム。
(17)
手術中に医療画像取込装置を制御する方法であって、
第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、前記医療画像取込装置から取得するステップと、
前記第1の画像データに基づく前記第1の時間インスタンスの後の第2の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の1つ以上の所望の画像取込特性を決定するステップと、
前記医療画像取込装置の前記1つ以上の所望の画像取込特性に従って、前記第1の時間インスタンスと前記第2の時間インスタンスとの間の第3の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
を含む方法。
(18)
命令を含んでいるコンピュータプログラム製品であって、
前記命令は、前記プログラムがコンピュータによって実行されたときに、医療画像取込装置を制御する方法を前記コンピュータに実行させ、
前記方法は、
第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、前記医療画像取込装置から取得するステップと、
前記第1の画像データに基づく前記第1の時間インスタンスの後の第2の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の1つ以上の所望の画像取込特性を決定するステップと、
前記医療画像取込装置の前記1つ以上の所望の画像取込特性に従って、前記第1の時間インスタンスと前記第2の時間インスタンスとの間の第3の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
を含む、コンピュータプログラム製品。
(1)
手術中に医療画像取込装置を制御するためのシステムであって、
第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、前記医療画像取込装置から取得し、
前記第1の画像データに基づく前記第1の時間インスタンスの後の第2の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の1つ以上の所望の画像取込特性を決定し、
前記医療画像取込装置の前記1つ以上の所望の画像取込特性に従って、前記第1の時間インスタンスと前記第2の時間インスタンスとの間の第3の時間インスタンスにおいて前記医療画像取込装置を制御する
ように構成された回路を含んでいるシステム。
(2)
前記医療画像取込装置を制御することは、前記医療画像取込装置を支持する関節アームの位置を制御することを含む、条項1に記載のシステム。
(3)
前記回路は、前記手術シーンの前記予測アピアランスに基づいて、前記医療画像取込装置の前記1つ以上の所望の画像取込特性のうちの1つとして前記医療画像取込装置の所望の位置を決定するように構成されている、条項1または2に記載のシステム。
(4)
前記回路は、前記シーン内に存在する1つ以上の物体の位置に応じて前記所望の画像取込位置への移動パターンを決定し、前記決定された移動パターンに従って前記医療画像取込装置を支持する関節アームの位置および/または向きを制御するようにさらに構成されている、条項2または3に記載のシステム。
(5)
前記回路は、前記医療画像取込装置の前記1つ以上の所望の画像取込特性のうちの1つとして、前記画像取込装置の所望の撮像条件を決定するように構成されている、条項1~3のいずれかに記載のシステム。
(6)
前記所望の撮像条件は、光学画像システム条件および画像処理条件のうちの1つ以上を含む、条項5に記載のシステム。
(7)
前記光学画像システム条件および前記画像処理条件は、前記医療画像取込装置の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および/または画像輝度のうちの少なくとも1つを含む、条項6に記載のシステム。
(8)
前記回路は、前記第1の画像データに従って、前記第2の時間インスタンスにおける前記手術シーンの前記予測アピアランスである第2の画像データを生成するようにさらに構成されている、請求項1~7のいずれかに記載のシステム。
(9)
前記回路は、前記第1の画像データおよび前記シーンの現在の状態に関する情報に従って、前記第2の画像データを生成するようにさらに構成されている、条項8に記載のシステム。
(10)
前記回路は、前記シーン内の物体の位置、前記シーン内の物体の動き、前記シーン内に存在する物体の種類、および/または前記シーン内の人物が実行している動作のうちの少なくとも1つを含む前記シーンの現在の状態に関する情報を取得するようにさらに構成されている、条項9に記載のシステム。
(11)
前記回路は、内視鏡、顕微鏡、またはエクソスコープのうちの1つである前記医療画像取込装置を制御するように構成されている、条項1~10のいずれかに記載のシステム。
(12)
前記回路は、前記医療画像取込装置の前記所望の画像取込特性を決定するときに、前記医療画像取込装置の制約を考慮するようにさらに構成されている、条項1~11のいずれかに記載のシステム。
(13)
前記回路は、手術シナリオにおいて得られた手術データで訓練された機械学習システムを使用して前記手術シーンの前記予測アピアランスを生成するようにさらに構成されている、条項1~12のいずれかに記載のシステム。
(14)
前記手術シナリオにおいて得られた手術データは、過去の手術シナリオの画像、手術シナリオの検証済みのシミュレーション、ならびに/あるいは以前の手術シナリオにおいて外科医が行った動作に関する現在の手術シナリオ情報の先行の画像、および/または以前の手術シナリオにおいて使用された医療画像取込装置の画像取込特性のうちの1つ以上を含む、条項13に記載のシステム。
(15)
前記回路は、前記医療画像取込装置の画像取込特性について該画像取込特性に関する1つ以上の因子に従って重みを計算し、重み係数が最も大きい画像取込特性を前記医療画像取込装置の前記所望の画像取込特性として決定するように構成されている、条項1~14のいずれかに記載のシステム。
(16)
前記回路は、前記第3の時間インスタンスと前記第2の時間インスタンスとの間の時間で完了できる動きの範囲を計算し、該計算に従って前記医療画像取込装置の前記所望の画像取込特性を決定するように構成されている、条項1~15のいずれかに記載のシステム。
(17)
手術中に医療画像取込装置を制御する方法であって、
第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、前記医療画像取込装置から取得するステップと、
前記第1の画像データに基づく前記第1の時間インスタンスの後の第2の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の1つ以上の所望の画像取込特性を決定するステップと、
前記医療画像取込装置の前記1つ以上の所望の画像取込特性に従って、前記第1の時間インスタンスと前記第2の時間インスタンスとの間の第3の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
を含む方法。
(18)
命令を含んでいるコンピュータプログラム製品であって、
前記命令は、前記プログラムがコンピュータによって実行されたときに、医療画像取込装置を制御する方法を前記コンピュータに実行させ、
前記方法は、
第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、前記医療画像取込装置から取得するステップと、
前記第1の画像データに基づく前記第1の時間インスタンスの後の第2の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の1つ以上の所望の画像取込特性を決定するステップと、
前記医療画像取込装置の前記1つ以上の所望の画像取込特性に従って、前記第1の時間インスタンスと前記第2の時間インスタンスとの間の第3の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
を含む、コンピュータプログラム製品。
上記の教示に照らして本開示の多数の修正および変更が可能であることは明らかである。したがって、添付の特許請求の範囲の技術的範囲において、本開示が本明細書に具体的に記載されているやり方以外のやり方で実施されてもよいことを、理解されたい。
本開示の実施形態がソフトウェアによって制御されるデータ処理装置によって少なくとも部分的に実施されるものとして説明されている限りにおいて、そのようなソフトウェアを担持する光ディスク、磁気ディスク、半導体メモリ、などの非一時的な機械可読媒体も本開示の実施形態を表すと見なされることを、理解できるであろう。
上記の説明が、分かりやすくするために、さまざまな機能ユニット、回路、および/またはプロセッサを参照して実施形態を説明していることを、理解できるであろう。しかしながら、実施形態を損なうことなく、種々の機能ユニット、回路、および/またはプロセッサ間の機能の任意の適切な分配を使用できることは、明らかであろう。
記載された実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む任意の適切な形態で実装されてよい。記載された実施形態は、随意により、少なくとも部分的に、1つ以上のデータプロセッサおよび/またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして実装されてよい。あらゆる実施形態の要素および構成要素は、任意の適切なやり方で物理的、機能的、および論理的に実装されてよい。実際に、機能を単一のユニットまたは複数のユニットに実装しても、他の機能ユニットの一部として実装してもよい。したがって、開示された実施形態は、単一のユニットに実装されても、異なるユニット、回路、および/またはプロセッサ間に物理的および機能的に分散されてもよい。
本開示をいくつかの実施形態に関連して説明してきたが、本明細書に記載の特定の形態への限定は意図されていない。さらに、或る特徴が特定の実施形態に関連して説明されているように見えるかもしれないが、記載された実施形態のさまざまな特徴を、本技術の実施に適した任意のやり方で組み合わせることができることを、当業者であれば理解できるであろう。
Claims (18)
- 手術中に医療画像取込装置を制御するためのシステムであって、
第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、前記医療画像取込装置から取得し、
前記第1の画像データに基づく前記第1の時間インスタンスの後の第2の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の1つ以上の所望の画像取込特性を決定し、
前記医療画像取込装置の前記1つ以上の所望の画像取込特性に従って、前記第1の時間インスタンスと前記第2の時間インスタンスとの間の第3の時間インスタンスにおいて前記医療画像取込装置を制御する
ように構成された回路を含んでいるシステム。 - 前記医療画像取込装置を制御することは、前記医療画像取込装置を支持する関節アームの位置を制御することを含む、請求項1に記載のシステム。
- 前記回路は、前記手術シーンの前記予測アピアランスに基づいて、前記医療画像取込装置の前記1つ以上の所望の画像取込特性のうちの1つとして前記医療画像取込装置の所望の位置を決定するように構成されている、請求項1に記載のシステム。
- 前記回路は、前記シーン内に存在する1つ以上の物体の位置に応じて前記所望の画像取込位置への移動パターンを決定し、前記決定された移動パターンに従って前記医療画像取込装置を支持する関節アームの位置および/または向きを制御するようにさらに構成されている、請求項2に記載のシステム。
- 前記回路は、前記医療画像取込装置の前記1つ以上の所望の画像取込特性のうちの1つとして、前記画像取込装置の所望の撮像条件を決定するように構成されている、請求項1、2、または3に記載のシステム。
- 前記所望の撮像条件は、光学画像システム条件および画像処理条件のうちの1つ以上を含む、請求項5に記載のシステム。
- 前記光学画像システム条件および前記画像処理条件は、前記医療画像取込装置の画像ズーム、画像フォーカス、画像絞り、画像コントラスト、および/または画像輝度のうちの少なくとも1つを含む、請求項6に記載のシステム。
- 前記回路は、前記第1の画像データに従って、前記第2の時間インスタンスにおける前記手術シーンの前記予測アピアランスである第2の画像データを生成するようにさらに構成されている、請求項1に記載のシステム。
- 前記回路は、前記第1の画像データおよび前記シーンの現在の状態に関する情報に従って、前記第2の画像データを生成するようにさらに構成されている、請求項8に記載のシステム。
- 前記回路は、前記シーン内の物体の位置、前記シーン内の物体の動き、前記シーン内に存在する物体の種類、および/または前記シーン内の人物が実行している動作のうちの少なくとも1つを含む前記シーンの現在の状態に関する情報を取得するようにさらに構成されている、請求項9に記載のシステム。
- 前記回路は、内視鏡、顕微鏡、またはエクソスコープのうちの1つである前記医療画像取込装置を制御するように構成されている、請求項1に記載のシステム。
- 前記回路は、前記医療画像取込装置の前記所望の画像取込特性を決定するときに、前記医療画像取込装置の制約を考慮するようにさらに構成されている、請求項1に記載のシステム。
- 前記回路は、手術シナリオにおいて得られた手術データで訓練された機械学習システムを使用して前記手術シーンの前記予測アピアランスを生成するようにさらに構成されている、請求項1に記載のシステム。
- 前記手術シナリオにおいて得られた手術データは、過去の手術シナリオの画像、手術シナリオの検証済みのシミュレーション、ならびに/あるいは以前の手術シナリオにおいて外科医が行った動作に関する現在の手術シナリオ情報の先行の画像、および/または以前の手術シナリオにおいて使用された医療画像取込装置の画像取込特性のうちの1つ以上を含む、請求項13に記載のシステム。
- 前記回路は、前記医療画像取込装置の画像取込特性について該画像取込特性に関する1つ以上の因子に従って重みを計算し、重み係数が最も大きい画像取込特性を前記医療画像取込装置の前記所望の画像取込特性として決定するように構成されている、請求項1に記載のシステム。
- 前記回路は、前記第3の時間インスタンスと前記第2の時間インスタンスとの間の時間で完了できる動きの範囲を計算し、該計算に従って前記医療画像取込装置の前記所望の画像取込特性を決定するように構成されている、請求項1に記載のシステム。
- 手術中に医療画像取込装置を制御する方法であって、
第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、前記医療画像取込装置から取得するステップと、
前記第1の画像データに基づく前記第1の時間インスタンスの後の第2の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の1つ以上の所望の画像取込特性を決定するステップと、
前記医療画像取込装置の前記1つ以上の所望の画像取込特性に従って、前記第1の時間インスタンスと前記第2の時間インスタンスとの間の第3の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
を含む方法。 - 命令を含んでいるコンピュータプログラム製品であって、
前記命令は、前記プログラムがコンピュータによって実行されたときに、医療画像取込装置を制御する方法を前記コンピュータに実行させ、
前記方法は、
第1の時間インスタンスにおける手術シーンのアピアランスである第1の画像データを、前記医療画像取込装置から取得するステップと、
前記第1の画像データに基づく前記第1の時間インスタンスの後の第2の時間インスタンスにおける前記手術シーンの予測アピアランスに基づいて、前記医療画像取込装置の1つ以上の所望の画像取込特性を決定するステップと、
前記医療画像取込装置の前記1つ以上の所望の画像取込特性に従って、前記第1の時間インスタンスと前記第2の時間インスタンスとの間の第3の時間インスタンスにおいて前記医療画像取込装置を制御するステップと
を含む、コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19218155.0 | 2019-12-19 | ||
EP19218155 | 2019-12-19 | ||
PCT/JP2020/046146 WO2021125056A1 (en) | 2019-12-19 | 2020-12-10 | Method, apparatus and system for controlling an image capture device during surgery |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023507063A true JP2023507063A (ja) | 2023-02-21 |
Family
ID=69185101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022525214A Pending JP2023507063A (ja) | 2019-12-19 | 2020-12-10 | 手術中に画像取込装置を制御するための方法、装置、およびシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220409326A1 (ja) |
EP (1) | EP4051080A1 (ja) |
JP (1) | JP2023507063A (ja) |
WO (1) | WO2021125056A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023044376A1 (en) * | 2021-09-16 | 2023-03-23 | Stryker Corporation | Methods and systems for generating simulated intraoperative imaging data of a subject |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4284001A3 (en) * | 2012-08-15 | 2024-01-17 | Intuitive Surgical Operations, Inc. | Methods and systems for optimizing video streaming |
US11020016B2 (en) * | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
US11701086B1 (en) * | 2016-06-21 | 2023-07-18 | Tissue Differentiation Intelligence, Llc | Methods and systems for improved nerve detection |
US11357575B2 (en) * | 2017-07-14 | 2022-06-14 | Synaptive Medical Inc. | Methods and systems for providing visuospatial information and representations |
US10999493B2 (en) * | 2017-12-22 | 2021-05-04 | Medtech S.A. | Scialytic light navigation |
US20190223961A1 (en) * | 2018-01-19 | 2019-07-25 | Verily Life Sciences Llc | Step-based system for providing surgical intraoperative cues |
US11010916B2 (en) * | 2019-08-05 | 2021-05-18 | Lg Electronics Inc. | Method of configuring camera position suitable for localization and robot implementing same |
-
2020
- 2020-12-10 WO PCT/JP2020/046146 patent/WO2021125056A1/en unknown
- 2020-12-10 EP EP20828152.7A patent/EP4051080A1/en active Pending
- 2020-12-10 JP JP2022525214A patent/JP2023507063A/ja active Pending
- 2020-12-10 US US17/777,618 patent/US20220409326A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220409326A1 (en) | 2022-12-29 |
EP4051080A1 (en) | 2022-09-07 |
WO2021125056A1 (en) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7003985B2 (ja) | 医療用支持アームシステムおよび制御装置 | |
US20230017738A1 (en) | Method, apparatus and system for controlling an image capture device during surgery | |
JP7376569B2 (ja) | ロボット操作手術器具の位置を追跡システムおよび方法 | |
WO2020196338A1 (en) | Medical arm system, control device, and control method | |
WO2017145475A1 (ja) | 医療用情報処理装置、情報処理方法、医療用情報処理システム | |
JP7480477B2 (ja) | 医療用観察システム、制御装置及び制御方法 | |
KR20140115575A (ko) | 수술 로봇 시스템 및 그 제어 방법 | |
KR20140139840A (ko) | 디스플레이 장치 및 그 제어방법 | |
US20230172438A1 (en) | Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs | |
CN113993478A (zh) | 医疗工具控制***、控制器和非暂时性计算机可读存储器 | |
JPWO2020080209A1 (ja) | 医療用観察システム、医療用観察装置及び医療用観察方法 | |
JP2018075218A (ja) | 医療用支持アーム及び医療用システム | |
US20230142404A1 (en) | Medical imaging apparatus, learning model generation method, and learning model generation program | |
US20220322919A1 (en) | Medical support arm and medical system | |
US20220096164A1 (en) | Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system | |
WO2021125056A1 (en) | Method, apparatus and system for controlling an image capture device during surgery | |
WO2018043205A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
WO2022219878A1 (ja) | 医療用観察システム、医療用画像処理方法及び情報処理装置 | |
WO2023017651A1 (ja) | 医療用観察システム、情報処理装置及び情報処理方法 | |
WO2021044900A1 (ja) | 施術システム、画像処理装置、画像処理方法、及びプログラム | |
WO2022269992A1 (ja) | 医療用観察システム、情報処理装置及び情報処理方法 | |
JP2024514640A (ja) | 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合 | |
CN115916482A (zh) | 信息处理装置、程序、学习模型以及学习模型生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231116 |