CN110636812A - 控制装置、控制方法和手术*** - Google Patents

控制装置、控制方法和手术*** Download PDF

Info

Publication number
CN110636812A
CN110636812A CN201880033052.5A CN201880033052A CN110636812A CN 110636812 A CN110636812 A CN 110636812A CN 201880033052 A CN201880033052 A CN 201880033052A CN 110636812 A CN110636812 A CN 110636812A
Authority
CN
China
Prior art keywords
camera
control device
control
operator
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880033052.5A
Other languages
English (en)
Other versions
CN110636812B (zh
Inventor
松浦加奈
前田毅
和田成司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110636812A publication Critical patent/CN110636812A/zh
Application granted granted Critical
Publication of CN110636812B publication Critical patent/CN110636812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本技术涉及能够使操作者在没有负担的情况下执行操作的控制装置、控制方法和手术***。控制单元控制手术器械的多种型式的操作，获取单元获得表示用户的动作的动作信息。此外，控制单元仅利用由用户执行的单一操作作为触发来并行地控制与由获取单元获得的动作信息相对应的相应型式的操作。本技术可以被用于手术***的控制装置。

Description

控制装置、控制方法和手术***
技术领域
本技术涉及控制装置、控制方法和手术***，特别地，涉及使操作者能够在没有负担的情况下进行手术的控制装置、控制方法和手术***。
背景技术
通常，存在其中摄像机和摄像机臂的每一个的操作与单个触发相关联的手术***。例如，摄像机的缩放控制和摄像机臂的驱动控制利用多个开关相结合的脚踏开关单元来执行。
此外，也已知使摄像机跟随手术***中的操作者的视线位置的技术。例如，专利文献1公开了基于用户和凝视点的运动改变摄像机的成像角度，而不改变摄像机和用户的凝视点之间的距离。
在这种手术***中，摄像机和摄像机臂的每一个的操作通过操作者的动作或移动来指定。
引用目录
专利文献
专利文献1：日本专利申请特许公开号2015-192697
发明内容
本发明要解决的问题
然而，在双手因为高级和微妙的操作例如手术过程而被占用的状态下强制操作者执行进一步的操作是不合适的。
本技术已经想到这种情况，并且其目的是使操作者能够在没有负担的情况下进行手术。
问题的解决方案
根据本技术的一种控制装置，其包括：控制单元，其控制手术器械的多种型式的操作，和获取单元，其获得表示用户的动作的动作信息，其中，所述控制单元仅利用由所述用户执行的单一操作作为触发并行地控制与由所述获取单元获得的所述动作信息相对应的各个型式的操作。
根据本技术的一种由控制装置执行的、控制手术器械的多种型式的操作的控制方法，其包括以下步骤：获得表示用户的动作的动作信息，并且仅利用由所述用户执行的单一操作作为触发并行地控制与所获得的动作信息相对应的各个型式的操作。
根据本技术的一种手术***，其包括：手术器械和控制所述手术器械的控制装置，其中所述控制装置包括控制单元，所述控制单元其控制所述手术器械的多种型式的操作，和获取单元，其获得表示用户的动作的动作信息，并且，所述控制单元仅利用由所述用户执行的单一操作作为触发并行地控制与由所述获取单元获得的所述动作信息相对应的各个型式的操作。
在本技术中，控制手术器械的多种型式的操作，获得表示用户的动作的动作信息，并且仅利用由用户执行的单一操作作为触发并行地控制与所获得的动作信息相对应的各个型式的操作。
发明效果
根据本技术，变得可以使操作者能够没有负担地进行操作。
请注意，本文描述的效果不必是限制性的，并且可以为本公开中所描述的任何效果。
附图说明
图1是示出用于手术的传统脚踏开关单元的外观的示例性配置的上视图。
图2是示出应用本技术的手术***的示例性配置的示图。
图3是示出手术视野摄像机和摄像机臂的操作型式的示图。
图4是示出操作手术视野摄像机和摄像机臂的方法的示图。
图5是操作可接受时期的示图。
图6是示出并行执行的示例性操作控制的示图。
图7是示出控制装置的示例性功能配置的方框图。
图8是示出手术***中控制过程的流程图。
图9是示出手术视野摄像机和摄像机臂的操作控制处理的细节的流程图。
具体实施方式
以下，将描述执行本公开的方式(以下简称实施方式)。请注意，将按照以下顺序描述。
1.用于手术的传统脚踏开关单元的示例性配置
2.手术***的概述
3.手术视野摄像机和摄像机臂的操作控制
4.控制装置的示例性功能配置
5.手术***中的控制处理流程
6.变型
<1.用于手术的传统脚踏开关单元的示例性配置>
图1是示出了用于手术的传统脚踏开关单元的外观的示例性配置的上视图。
图1中的脚踏开关单元1包括用杠杆撬动2、踏入部3和六个推动按钮4。
杠杆2配置为所谓的操纵杆，并且接收由操作者的脚进行的操作输入。例如通过在交叉方向上操作杠杆2，将摄像机进行定位。
踏入部3整体上配置为物理按钮，并且接收操作者的脚进行的操作输入。例如通过踩踏踏入部3的左上部分32、右上部分32b、左下部分32c和右下部分32d，按照所踩踏的部分执行摄像机的缩放控制或焦点控制。
推动按钮4的每一个配置为物理按钮，并且接收操作者的脚进行的操作输入。例如通过按压推动按钮4，执行预先编程的功能等等。
脚踏开关单元1整体上被配置为比操作者的脚的尺寸更大，并且操作者通过充分利用他的/她的整个脚部或手指操作杠杆2、踏入部3和推动按钮4。
顺便提及，在手术***中，在双手由于高级和微妙的操作例如手术过程而被占用的状态下强制操作者执行进一步的操作是不合适的。另外，复杂的操作往往引起操作失误，而失误可能导致意外事故。
具体地，在利用多种类型的单元的***中，例如图1的脚踏开关单元1，要求视觉确认以避免操作失误，这是效率低的。虽然一些操作者脱下他们的鞋以执行操作来用他们的脚底捕获脚踏开关单元的形状，但是本质上在手术室里拖掉他们的鞋是危险并且应该避免的。
此外，在要求频繁的切换操作的***中，例如模式切换，例如随着操作者用于操作的动作的增加，需要花费额外的时间。在涉及长时间操作的手术中操作需要额外的时间是不可取的。
鉴于上述情况，在应用本技术的手术***中，仅利用单一操作作为触发响应于操作者的自然动作而控制摄像机和摄像机臂，从而在对操作者没有负担的情况下进行操作。
<2.手术***概述>
图2是示出应用本技术的手术***的示例性配置的方框图。.
手术***10包括手术视野摄像机11、摄像机臂12、动作识别摄像机13、显示器14、控制装置15、手术台16、扩音器17和脚踏开关18。手术***10安装在手术室等等中，并且使得能相对于由手术视野摄像机11拍摄的图像进行例如手术等过程。
手术视野摄像机11是医疗器械装置，例如由摄像机臂12支撑的3D摄像机。手术视野摄像机11拍摄例如躺在手术台16上的病人21的手术视野的图像，并且将作为成像结果获得的3D图像作为手术视野图像发送至控制装置15。摄像机臂12支撑手术视野摄像机11，并且控制手术视野摄像机11的位置和角度。
动作识别摄像机13是例如2D摄像机，并且设置在显示器14上。动作识别摄像机13拍摄他的/她的头部22A上穿戴有扩音器17的操作者22(用户)的图像。动作识别摄像机13将作为成像结果获得的2D图像作为操作者图像发送至控制装置15。
显示器14是具有较小屏幕的3D显示器，并且布置在相对接近操作者22的位置处(图2的示例中接近于操作者22的手术台16上的位置)。显示器14显示从控制装置15发送的手术视野图像等。
控制装置15将手术***10的控制模式设定为人工模式或非手动(hands-free)模式。人工模式是其中基于操作者22进行的人工输入(例如，对摄像机臂12的力量施加和设置于各部分中的操作按钮(未示出)的操作等)来控制手术***10的模式。非手动模式是其中基于无接触输入(例如嗓音、视线、头部22A的动作和方向，以及操作者22非人工进行的手势，或通过腿部22B接触脚踏开关18进行的输入)来控制手术***的模式。
以下，主要描述在控制模式为非手动模式的情况下的操作。
控制装置15检测从动作识别摄像机13传送的操作者图像中头部22A的位置，从而识别头部22A的动作和方向。此外，控制装置15从操作者图像检测操作者22的视线的方向，并且基于该方向识别显示器14的屏幕上视线的位置。
请注意，虽然利用手术***10中动作识别摄像机13拍摄的操作者图像进行视线的检测，但是操作者22可以佩戴配备有视线检测装置的眼镜以便视线检测装置检测视线。
此外，虽然因为在手术***10中动作识别摄像机13和操作者22之间的距离近而从操作者图像中检测头部22A的动作和方向，但是操作者22可以佩戴标记器，并且可以根据操作者图像中标记器的位置来检测头部22A的动作和方向。
控制装置15接收从扩音器17传送来的语音，并对该语音执行语音识别。控制装置15接收从脚踏开关18传送过来的、表示对脚踏开关18进行的操作的操作信号，并基于该操作信号识别对脚踏开关18进行的操作的内容。
特别地，在控制模式是非手动模式的情况下，控制装置15将表示操作者22的动作(例如头部22A的动作和方向)的动作信息、操作者22的手势、表示显示14的屏幕上视线的位置的视线位置信息、语音识别结果和音量以及表示对脚踏开关18进行的操作的操作信息设定为输入信息。控制装置15基于输入信息识别来自操作者22的命令。
控制装置15控制由手术视野摄像机11执行的成像，控制摄像机臂12的驱动，控制显示器14的显示，或响应于来自操作者22的命令改变控制模式。
扩音器17附接至操作者22的头部22A。扩音器17获得包括操作者22的语音的周围语音，并将语音传送至控制装置15。
脚踏开关18是操作者22周围布置的输入单元，并且通过操作者22的腿部22B的接触来操作。
此外，脚踏开关18仅接收操作者22的腿部22B进行的单一操作。例如，虽然脚踏开关18可能具有多个按钮、踏板等等，但是在控制模式为非手动模式的情况下仅接受在踏板上的踩踏。对脚踏开关18的单一操作不限于在踏板上的踩踏，并且可以是多个按钮的任意一个的按压。脚踏开关18将表示操作者22的腿部22B进行的操作的操作信号传送至控制装置15。
在如上所述配置的手术***10中，操作者将病人21放置在16上，并且在观察显示器14上显示的手术视野图像的同时执行手术等。
此外，在改变手术视野摄像机11的成像条件、操作者22手术视野摄像机11的位置或角度、显示器14的显示等等的情况下，操作者22进行无接触输入或基于脚部接触的输入。所以，操作者22可以在把持手术器械(未示出)的同时进行输入，并且不需要在每次进行输入时执行灭菌处理。
请注意，可以采取任何方法作为检测视线的方法、检测操作者22的头部22A的动作和方向的方法、检测手势的方法和获得语音的方法。例如，视线检测装置或扩音器17可以不是可穿戴装置。
此外，在下文，显示器14的水平方向将被称为x方向，垂直方向将被称为y方向，垂直于显示14的屏幕的方向将被称为z方向。
<3.手术视野摄像机和摄像机臂的操作控制>
接下来，将描述手术***10中手术视野摄像机11和摄像机臂12的操作控制。
(手术视野摄像机和摄像机臂的操作型式)
图3是示出图1中手术视野摄像机11和摄像机臂12的操作型式的示图。
首先，如图3中所示，手术视野摄像机11可以在不改变其位置的情况下执行缩放操作。具体地，手术视野摄像机11可以通过执行缩放控制将待成像的手术视野的中心P进行按比例缩放。在手术视野摄像机11的缩放控制中，可以执行光学缩放控制，或可以执行数字缩放控制。
接下来，如图3的B所示，手术视野摄像机11可以在不改变成像中心的情况下执行改变成像角度的枢轴转动操作。具体地手术视野摄像机11可以基于摄像机臂12的驱动控制而移动，使得距离待成像的手术视野的中心P的距离一直不变。因此，手术视野摄像机11可以拍摄具有相同手术视野的中心P和不同成像角度的手术视野图像。
此外，如图3的C所示，手术视野摄像机11可以在x方向上执行移动操作用以在x方向上移动成像中心。具体地，手术视野摄像机11可以基于摄像机臂12的驱动控制在x方向上移动。因此，手术视野摄像机11可以在x方向上移动待成像的手术视野的中心P。
此外；虽然省略了示图，但是手术视野摄像机11还可以基于摄像机臂12的驱动控制在y方向或z方向上执行移动操作。在手术视野摄像机11在y方向上执行移动操作的情况下，手术视野摄像机11可以在y方向上移动待成像的手术视野的中心P。此外，在手术视野摄像机11在z方向上执行移动操作的情况下，手术视野摄像机11可以将成像范围进行按比例缩放。
请注意，虽然在本实施方式中通过摄像机臂12移动手术视野摄像机11来执行手术视野摄像机11的移动操作，但是可以通过摄像机臂12改变手术视野摄像机11的成像角度来执行。
(操作手术视野摄像机和摄像机臂的方法)
接下来，将参考图4描述控制上述手术视野摄像机11和摄像机臂12的各种型式的操作的操作方法。
首先，如图4所示，通过操作者22在z方向上移动头部22A和移动接近或远离显示器14来执行缩放操作。通过头部22A移动接近于显示器14来将手术视野图像按比例放大，通过头部22A远离显示器14移动来将手术视野图像按比例缩小。请注意，可以通过操作者22将头部22A在y方向上移动和进行仿点头动作来执行缩放操作。
接下来，如图4的B所示，通过操作者22在x方向上移动头部22A并且做出例如将头部向一侧倾斜或从一侧看向显示器14的动作来执行枢轴转动操作。手术视野图像的成像角度通过头部22A向右移动而向右移动，手术视野图像的成像角度通过头部向左移动而向左移动。
此外，如图4的C所示，通过操作者22注视显示器14上的一个点而执行移动操作。显示器14上显示的手术视野图像上操作者22的视线的位置移动到屏幕的中心。
请注意，用于控制手术视野摄像机11和摄像机臂12的各型式的操作(缩放、枢轴转动和移动)的操作(操作者22的动作)不限于参考图4所描述的那些，而且如果操作直观地对应手术视野摄像机11和摄像机臂12的各型式的操作则是足够的。
在本文，假定仅当检测到对脚踏开关18执行的单一操作的同时才接受用于相应缩放、枢轴转动和移动型式的操作的操作。
换言之，如图5所示，当通过例如脚踏开关18的踏板***作者22的腿部22B等等踩踏而开启脚踏开关18的时候接受用于控制相应缩放、枢轴转动和移动型式的操作的操作，并且并行地执行对应于该操作的操作控制。另一方面，当通过操作者22的腿部22B从脚踏开关18的踏板上移开来关闭脚踏开关18时，例如不接受用于控制相应缩放、枢轴转动和移动型式的操作的操作，并且不执行操作控制。
在本文，如图6的A所示，假定操作者22企图清楚地捕捉视野中的手术视野图像中映出的点P1。
在该情况下，当脚踏开关18的踏板被踩踏的同时，如图6的B所示，操作者22将视点设定在显示器14上的点P1对应的位置E1处，并且在将头部22A向右移动的同时将头部22A移动靠近显示器，从而并行地执行相应移动、枢轴转动和缩放型式的操作控制。
用这样的方式，操作者22利用对脚踏开关18执行的单一操作作为触发而做出动作以直观地对应于手术视野摄像机11和摄像机臂12的各型式的操作，从而可以在视野中清楚地捕捉手术视野图像中映出的任意点。
<4.控制装置的示例性功能配置>
图7是示出图2中控制装置15的示例性功能配置的方框图。
图7中示出的控制装置15包括获取单元51、控制单元52和和图像处理单元53。
获取单元51基于从动作识别摄像机13传送的操作者图像而识别操作者22的动作(头部22A的动作和操作者22的视线在显示器14的屏幕上的位置)，从而获得表示该动作的动作信息。将所获得的动作信息提供给控制单元52。
控制单元52控制手术视野摄像机11和摄像机臂12的多个型式的操作。在本示例中，控制单元52控制手术视野摄像机11和摄像机臂12的相应缩放、枢轴转动和移动型式的操作作为多个型式的操作。
控制单元52利用表示对脚踏开关18执行的单一操作的(从脚踏开关18获得的)操作信息作为触发来控制与来自获取单元51的动作信息相对应的型式，
例如，在动作信息表示与缩放操作相对应的操作(操作者22的动作)的情况下，控制单元52对手术视野摄像机11执行缩放控制，以在获得来自脚踏开关18的操作信息的同时执行缩放操作。
此外，在动作信息表示与枢轴转动操作相对应的操作(操作者22的动作)的情况下，控制单元52对摄像机臂12执行驱动控制以在获得来自脚踏开关18的操作信息的同时执行枢轴转动操作。
此外，在动作信息表示与移动操作相对应的操作(操作者22的动作)的情况下，控制单元52对摄像移动臂12执行驱动控制以在获得来自脚踏开关18的操作信息的同时执行移动操作。
图像处理单元53对手术视野摄像机11拍摄的手术视野图像应用例如各种用于显示图像的图像处理，并将该图像提供给显示器14。
请注意，控制装置15的硬件配置可以通过包括能够执行控制装置15的功能的电路的信息处理器来实现。包括在控制装置15中的信息处理器包括例如中央处理器(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、存储装置和用于连接至各种外部装置的接口(I/F)。控制装置15的功能通过例如CPU在RAM中预先装载记录下在ROM或存储装置中的程序、执行该程序并且通过I/F连接至各种外部装置来执行。
此外，信息处理器可以通过硬件例如现场可编程门阵列(FPGA)以及专用集成电路(ASIC)来配置。此外，可使用芯片(core)数量是CPU的100倍以上并且通过并行结构配置的图形处理单元(GPU)作为信息处理器。可以根据执行本实施方式的时间的技术水平来适当地改变所使用的硬件配置。
<5.手术***的控制处理流程>
接下来，将参考图8的流程图描述手术***10中的控制装置15的控制处理。
在步骤S11中，控制单元52基于来自脚踏开关18的操作信息的有无来确定是否以及操作了脚踏开关18。
重复步骤S11中的处理，直到确定已经操作了脚踏开关18。如果确定已经操作了脚踏开关18，那么处理进入步骤S12。
在步骤S12中，获取单元51基于来自动作识别摄像机13的操作者图像获得操作者22的动作信息。
在步骤S13中，控制单元52基于由获取单元51获得的动作信息对手术视野摄像机11和摄像机臂12执行操作控制处理。稍后将描述对手术视野摄像机11和摄像机臂12执行的操作控制处理的具体内容。
在步骤S14中，控制单元52基于来自脚踏开关18的操作信息的有无来确定是否正在操作脚踏开关18。
在步骤S14中确定正在操作脚踏开关18的同时，重复步骤S12和S13的处理，并且连续地执行基于动作信息的手术视野摄像机11和摄像机臂12的操作控制处理。
另一方面，在步骤S14中确定没有正在操作脚踏开关的情况下，处理进入步骤S15，并且控制单元52终止对手术视野摄像机11和摄像机臂12执行的操作控制。
接下来，将参考图9描述在图8的步骤S13中对手术视野摄像机11和摄像机臂12执行的操作控制处理的具体内容。
请注意，在图9的流程图中并行地执行步骤S31和S32的处理、步骤S33和S34的处理和步骤S35和S36的处理。
在步骤S31中，控制单元52基于由获取单元51获得的动作信息来确定操作者22的头部22A的位置在y方向上或z方向上的移动量是否等于或大于预定阈值。
在步骤S31中确定头部22A的位置在y方向上或z方向上的移动量等于或大于预定阈值的情况下，处理进入步骤S32，并且控制单元52对手术视野摄像机执行缩放控制使得执行对应于头部22A的位置的移动方向的缩放操作。
另一方面，在步骤S31中头部22A的位置在y方向或z方向上的移动量不等于或大于预定阈值的情况下，跳过步骤S32。换言之，在这种情况下不执行缩放操作。
此外，在步骤S33中，控制单元52基于由获取单元51获得的动作信息确定操作者22的头部22A的位置在x方向上的移动量是否等于或大于预定阈值。
在步骤S33中确定头部22A的位置在x方向上的移动量等于或大于预定阈值的情况下，处理进入步骤S34，并且控制单元52对摄像机臂12执行驱动控制使得执行与头部22A的位置的移动方向相对应的枢轴转动操作。
另一方面，在步骤S33中确定头22A的位置在x方向上的移动量不等于或大于预定阈值的情况下，跳过步骤S34。换言之，在这种情况下不执行枢枢轴转动操作。
此外，在步骤S35中，控制单元52基于由获取单元51获得的动作信息确定是否移动操作者22的视线的位置。
在步骤S35中确定移动视线的位置的情况下，处理进入步骤S36，并且控制单元52对摄像机臂12执行驱动控制，使得执行与视线的位置的移动相对应的移动操作。
另一方面，在步骤S35中确定没有视线的位置的移动的情况下，跳过步骤S36。换言之，在这种情况下不执行移动操作。
如上所述，基于动作信息并行地执行手术视野摄像机11和摄像机臂12的相应缩放、枢轴转动和移动型式的操作控制。
根据如上所述的处理，利用对脚踏开关18执行的单一操作作为触发，基于直观地与手术视野摄像机11和摄像机臂12的各型式的操作相对应的操作者22的动作来执行手术视野摄像机11和摄像机臂12的各型式的操作控制。所以，变得可以在对操作者没有负担并且没有复杂操作(例如单独地操纵按钮和用于手术视野摄像机11和摄像机臂12的各型式的操作控制的切换)的情况下执行操作。
此外，无需执行切换操作，例如手术视野摄像机11和摄像机臂12的各型式的操作的切换，从而可以减少用于操作的额外时间。此外，即使在发生操作错误的情况下，可以通过操作者直观地纠正错误的自然动作或通过将腿部从脚踏开关18移开来立即停止手术视野摄像机11和摄像机臂12的操作。
<6.变型>
在下文中，将描述如上所述的实施方式的变型。
(其他示例性触发)
虽然在如上所述的实施方式中使用对脚踏开关18执行的单一操作作为用于手术视野摄像机11和摄像机臂12的操作控制的触发，但是可以使用其他操作作为触发。例如，可以使用不由操作者22的脚部操作的开关、按钮、一种传感器等等的输入或语音识别的结果作为触发。
(其他示例性移动操作)
在如上所述的实施方式中，在移动操作中，基于操作者22的视线相对于手术视野图像的位置来执行摄像机臂12的随动操作，使得视线的位置成为屏幕的中心。因此，特别地在与枢轴转动操作或缩放操作并行地执行移动操作的情况下，操作者22可以在未察觉到用于移动操作的操作的情况下捕捉视野中的所需范围。
然而，在移动操作中，摄像机臂12的随动操作还可以执行为使得手术视野图像中的特征点(例如，手术器械的尖端等等)成为屏幕的中心。
(其他例性缩放操作)
虽然在如上所述的实施方式中基于手术视野摄像机11的光学缩放和数字缩放功能来执行缩放操作，但是可以控制摄像机臂12的驱动使得手术视野摄像机11本身移动靠近或远离对象以执行缩放操作。
(其他)
在如上所述的实施方式中，手术视野摄像机和摄像机臂12的操作可以不限于如上所述的相应缩放、枢轴转动和移动型式的操作，并且可以执行任何型式的操作。
此外，在上述描述中，由控制单元52控制的对象是手术视野摄像机11和摄像机臂12，并且并行地控制其多种型式的操作。然而，根据本公开的技术，也可以设定手术***中的任何手术器械作为由控制单元控制的对象，并且并行地控制手术器械的多种型式的操作。在那种情况下，如果例如基于由操作者非人工进行的输入来控制手术器械，并且除手术器械外包含用于手术或诊断的辅助工具的话，是足够的。
此外，虽然以上已经描述了将根据本公开的技术应用于使用手术视野摄像机的手术***的示例性情况，但是可以应用根据本公开的技术的***不限于该示例性情况。例如，可以将根据本公开的技术应用于内窥镜***或显微手术***。
此外，本技术的实施方式不限于如上所述的实施方式，并且在不偏离本技术的大意的情况可能有各种修改。
此外，本技术可以采用以下配置。
(1)一种控制装置，其包含：
控制单元，其控制手术器械的多种型式的操作；和
获取单元，其获得表示用户的动作的动作信息，其中所述控制单元仅利用由所述用户执行的单一操作作为触发并行地控制与由所述获取单元获得的所述动作信息相对应的各个型式的操作。
(2)根据(1)所述的控制装置，其中
所述控制单元仅在检测到所述单一操作的同时并行地控制与所述动作信息相对应的各个型式的操作。
(3)根据(2)所述的控制装置，其中
所述手术器械至少包括摄像机和支撑所述摄像机的摄像机臂，并且
所述控制单元基于所述摄像机的缩放控制和所述摄像机臂的驱动控制来执行多种型式的操作的控制。
(4)根据(3)所述的控制装置，其中
所述控制单元仅利用对脚踏开关执行的所述单一操作作为触发并行地控制与所述动作信息相对应的各个型式的操作。
(5)根据(3)或(4)所述的控制装置，其中
所述动作信息包括表示所述用户的头部的动作的信息。
(6)根据(3)至(5)中任一项所述的控制装置，其中
所述动作信息包括表示所述用户的视线的位置的信息。
(7)根据(6)所述的控制装置，其中
所述用户的视线的位置包括检测到的视线相对于其上显示有由所述摄像机拍摄的图像的显示器的位置。
(8)一种由控制装置执行的、控制手术器械的多种型式的操作的控制方法，所述方法包含以下步骤：
获得表示用户的动作的动作信息；和
仅利用由所述用户执行的单一操作作为触发并行地控制与所获得的所述动作信息相对应的各个型式的操作。
(9)一种手术***，其包含：
手术器械；和
控制装置，其控制所述手术器械，其中
所述控制装置包括：
控制单元，其控制所述手术器械的多种型式的操作；和
获取单元，其获得表示用户的动作的动作信息，并且
所述控制单元仅利用由所述用户执行的单一操作作为触发并行地控制与由所述获取单元获得的所述动作信息相对应的各个型式的操作。
参考符号列表
10 手术***
11 手术视野摄像机
12 摄像机臂
13 动作识别摄像机
14 显示器
15 控制装置
17 扩音器
18 脚踏开关
51 获取单元
52 控制单元
53 图像处理单元。

Claims (9)

1.一种控制装置，其包含：
控制单元，其控制手术器械的多种型式的操作；和
获取单元，其获得表示用户的动作的动作信息，其中所述控制单元仅利用由所述用户执行的单一操作作为触发并行地控制与由所述获取单元获得的所述动作信息相对应的各个型式的操作。
2.根据权利要求1所述的控制装置，其中
所述控制单元仅在检测到所述单一操作的同时并行地控制与所述动作信息相对应的各个型式的操作。
3.根据权利要求2所述的控制装置，其中
所述手术器械至少包括摄像机和支撑所述摄像机的摄像机臂，并且
所述控制单元基于所述摄像机的缩放控制和所述摄像机臂的驱动控制来执行多种型式的操作的控制。
4.根据权利要求3所述的控制装置，其中
所述控制单元仅利用对脚踏开关执行的所述单一操作作为触发并行地控制与所述动作信息相对应的各个型式的操作。
5.根据权利要求3所述的控制装置，其中
所述动作信息包括表示所述用户的头部的动作的信息。
6.根据权利要求3所述的控制装置，其中
所述动作信息包括表示所述用户的视线的位置的信息。
7.根据权利要求6所述的控制装置，其中
所述用户的视线的位置包括检测到的视线相对于其上显示有由所述摄像机拍摄的图像的显示器的位置。
8.一种由控制装置执行的、控制手术器械的多种型式的操作的控制方法，所述方法包含以下步骤：
获得表示用户的动作的动作信息；和
仅利用由所述用户执行的单一操作作为触发并行地控制与所获得的所述动作信息相对应的各个型式的操作。
9.一种手术***，其包含：
手术器械；和
控制装置，其控制所述手术器械，其中
所述控制装置包括：
控制单元，其控制所述手术器械的多种型式的操作；和
获取单元，其获得表示用户的动作的动作信息，并且
所述控制单元仅利用由所述用户执行的单一操作作为触发并行地控制与由所述获取单元获得的所述动作信息相对应的各个型式的操作。
CN201880033052.5A 2017-05-26 2018-05-11 控制装置、控制方法和手术*** Active CN110636812B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-104131 2017-05-26
JP2017104131A JP2018198685A (ja) 2017-05-26 2017-05-26 制御装置、制御方法、および手術システム
PCT/JP2018/018253 WO2018216501A1 (ja) 2017-05-26 2018-05-11 制御装置、制御方法、および手術システム

Publications (2)

Publication Number Publication Date
CN110636812A true CN110636812A (zh) 2019-12-31
CN110636812B CN110636812B (zh) 2023-01-31

Family

ID=64395523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033052.5A Active CN110636812B (zh) 2017-05-26 2018-05-11 控制装置、控制方法和手术***

Country Status (4)

Country Link
US (1) US11517395B2 (zh)
JP (1) JP2018198685A (zh)
CN (1) CN110636812B (zh)
WO (1) WO2018216501A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
US11633087B2 (en) * 2018-08-07 2023-04-25 The Chinese University Of Hong Kong Endoscope manipulator and method for controlling the same
US12016646B2 (en) * 2019-03-12 2024-06-25 Intuitive Surgical Operations, Inc. Layered functionality for a user input mechanism in a computer-assisted surgical system
US11048072B1 (en) * 2019-12-31 2021-06-29 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185212A1 (en) * 2007-07-02 2010-07-22 Mordehai Sholev System for positioning endoscope and surgical instruments
JP2012223363A (ja) * 2011-04-20 2012-11-15 Tokyo Institute Of Technology 手術用撮像システム及び手術用ロボット
US20170068081A1 (en) * 2014-03-31 2017-03-09 Sony Corporation Surgical control device, control method, and imaging control system
WO2017061294A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08299364A (ja) 1995-05-15 1996-11-19 Olympus Optical Co Ltd 手術用マニピュレータシステム
WO2013058890A1 (en) * 2011-10-20 2013-04-25 Alcon Research, Ltd. Haptic footswitch treadle
KR102310994B1 (ko) * 2014-11-25 2021-10-08 삼성전자주식회사 3차원 상호작용 컴퓨팅 장치 및 방법
EP3346368B1 (en) * 2015-09-04 2020-02-05 FUJIFILM Corporation Device, method and system for control of a target apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185212A1 (en) * 2007-07-02 2010-07-22 Mordehai Sholev System for positioning endoscope and surgical instruments
JP2012223363A (ja) * 2011-04-20 2012-11-15 Tokyo Institute Of Technology 手術用撮像システム及び手術用ロボット
US20170068081A1 (en) * 2014-03-31 2017-03-09 Sony Corporation Surgical control device, control method, and imaging control system
WO2017061294A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム

Also Published As

Publication number Publication date
US20200179077A1 (en) 2020-06-11
US11517395B2 (en) 2022-12-06
CN110636812B (zh) 2023-01-31
WO2018216501A1 (ja) 2018-11-29
JP2018198685A (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
CN110636812B (zh) 控制装置、控制方法和手术***
US11989930B2 (en) UI for head mounted display system
US10992857B2 (en) Input control device, input control method, and operation system
US20230355323A1 (en) Surgical microscope with gesture control and method for a gesture control of a surgical microscope
US10506913B2 (en) Apparatus operation device, apparatus operation method, and electronic apparatus system
JP5604739B2 (ja) 画像認識装置および操作判定方法並びにプログラム
CN108135658B (zh) 手术控制设备、手术控制方法及存储介质
JP2013069224A (ja) 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
US10666854B2 (en) Bending operation control for endoscope
US9323339B2 (en) Input device, input method and recording medium
US20220331038A1 (en) User interface for controlling a surgical system
JP6852612B2 (ja) 表示プログラム、情報処理装置、及び表示方法
US10747308B2 (en) Line-of-sight operation apparatus, method, and medical device
JP5887805B2 (ja) 眼科装置
CA3117533A1 (en) Ui for head mounted display system
JP7414590B2 (ja) 制御装置および医療用観察システム
KR20190011137A (ko) 움직임 감지를 이용한 수술 영상화 시스템 제어 장치 및 방법
JP2018055549A (ja) 画面操作方法及び画面操作装置
JP7367041B2 (ja) 頭部装着型ディスプレイシステムのためのｕｉ
WO2021116846A1 (en) Control system for an endoscopic device and method of controlling an endoscopy system
KR100969102B1 (ko) 차량용 표시수단 조작장치를 제어하기 위한 방법
CN114144140A (zh) 医疗观察***、控制装置和控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant