TWI782709B - 手術機械臂控制系統以及手術機械臂控制方法 - Google Patents

手術機械臂控制系統以及手術機械臂控制方法 Download PDF

Info

Publication number
TWI782709B
TWI782709B TW110134580A TW110134580A TWI782709B TW I782709 B TWI782709 B TW I782709B TW 110134580 A TW110134580 A TW 110134580A TW 110134580 A TW110134580 A TW 110134580A TW I782709 B TWI782709 B TW I782709B
Authority
TW
Taiwan
Prior art keywords
image
information
target
surgical
processor
Prior art date
Application number
TW110134580A
Other languages
English (en)
Other versions
TW202313290A (zh
Inventor
曾建嘉
楊昇宏
潘柏瑋
Original Assignee
財團法人金屬工業研究發展中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人金屬工業研究發展中心 filed Critical 財團法人金屬工業研究發展中心
Priority to TW110134580A priority Critical patent/TWI782709B/zh
Priority to US17/518,541 priority patent/US12011240B2/en
Application granted granted Critical
Publication of TWI782709B publication Critical patent/TWI782709B/zh
Publication of TW202313290A publication Critical patent/TW202313290A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/067—Measuring instruments not otherwise provided for for measuring angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明提出一種手術機械臂控制系統以及手術機械臂控制方法。手術機械臂控制系統包括機械臂、第一影像擷取單元、第二影像擷取單元以及處理器。機械臂具有多個關節軸。第一影像擷取單元用以取得場域影像。場域影像包括目標物件的第一目標影像。第二影像擷取單元設置在機械臂的末端位置，並且用以取得目標物件的第二目標影像。處理器分析場域影像，以取得機械臂移動資訊，並且根據機械臂移動資訊控制機械臂移動以靠近目標物件。處理器分析該目標影像，以取得機械臂旋轉資訊，並且根據機械臂旋轉資訊控制機械臂角度姿態以匹配目標物件。

Description

手術機械臂控制系統以及手術機械臂控制方法
本發明是有關於一種機械控制技術，且特別是有關於一種手術機械臂控制系統以及手術機械臂控制方法。
隨著醫療設備的演進，可有助於補助醫療人員的手術效率的可自動控制的相關醫療設備目前為此領域的重要發展方向之一。特別是，在手術過程中用於輔助或配合醫療人員(施術者)進行相關手術工作的手術機械臂更為重要。然而，在現有的手術機械臂設計中，為了使手術機械臂可實現自動控制功能，手術機械臂必須設置有多個感測器以及必須由使用者在每次手術過程中進行繁瑣的手動校正操作，才可使手術機械臂在移動過程迴避路徑中存在的障礙物，實現準確的自動移動以及自動操作結果。
有鑑於此，本發明提供一種手術機械臂控制系統以及手術機械臂控制方法，可有效地控制手術機械臂以對應的角度及姿態來移動並且靠近目標物件。
本發明的手術機械臂控制系統包括手術機械臂、第一影像擷取單元、第二影像擷取單元以及處理器。手術機械臂具有多個關節軸。第一影像擷取單元用以取得場域影像。場域影像包括目標物件的第一目標。影像第二影像擷取單元設置在手術機械臂的末端位置，並且用以取得目標物件的第二目標影像。處理器耦接手術機械臂、第一影像擷取單元以及第二影像擷取單元，並且用以執行多個模組。處理器分析場域影像，以取得機械臂移動資訊，並且根據機械臂移動資訊控制手術機械臂移動以靠近目標物件。處理器分析目標影像，以取得機械臂旋轉資訊，並且根據機械臂旋轉資訊控制手術機械臂的角度姿態以匹配目標物件。
本發明的手術機械臂控制方法包括以下步驟：透過第一影像擷取單元取得場域影像，其中場域影像包括目標物件的第一目標影像；透過第二影像擷取單元取得目標物件的第二目標影像，其中第二影像擷取單元設置在手術機械臂的末端位置；透過處理器分析場域影像，以取得機械臂移動資訊；透過處理器根據機械臂移動資訊控制手術機械臂移動以靠近目標物件；透過處理器分析目標影像，以取得機械臂旋轉資訊；以及透過處理器根據機械臂旋轉資訊控制手術機械臂的角度姿態以匹配目標物件。
基於上述，本發明的手術機械臂控制系統以及手術機械臂控制方法，可透過電腦視覺影像技術來自動控制手術機械臂移動並靠近目標物件，並且還可控制手術機械臂的角度姿態，使其匹配目標物件。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本揭示確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1是依照本發明的一實施例的手術機械臂控制系統的電路示意圖。參考圖1，手術機械臂控制系統100包括處理器110、儲存媒體120、手術機械臂130、第一影像擷取單元140以及第二影像擷取單元150。處理器110耦接儲存媒體120、手術機械臂130、第一影像擷取單元140以及第二影像擷取單元150。儲存媒體120可儲存場域定位模組121、物件偵測辨識模組122、空間辨識模組123以及物件角度辨識模組124。在本實施例中，手術機械臂控制系統100適用於操作在手術場景。第一影像擷取單元140以及第二影像擷取單元150可分別取得即時手術影像，並且提供至處理器110，以使處理器110可分析即時手術影像，以透過電腦視覺影像辨識的方式來辨識目標物件。
在本實施例中，處理器110可根據目標物件的辨識結果來對應地自動控制手術機械臂130移動，並且使手術機械臂130靠近目標物件。在本實施例中，目標物件可例如是手部物件或器械物件。手部物件是指醫療人員的手掌。器械物件是指醫療手術器械。對此，本實施例的手術機械臂130適於與醫療手術器械結合或連接，以輔助手術的進行。例如，手術機械臂130的末端例如具有勾環，並且手術機械臂130的勾環可勾住醫療手術器械，以使醫療手術器械以特定狀態來固定在手術對象上，或達成某種手術功能。因此，本實施例的手術機械臂控制系統100可操作手術機械臂130自動靠近醫療人員的手掌或醫療手術器械，以便於醫療人員抓取或使用手術機械臂130的末端，而使其與醫療手術器械結合或連接。並且，手術機械臂130在移動的過程中還可自動避開障礙物。因此，本實施例的手術機械臂控制系統100可實現自動化的手術輔助功能。
在本實施例中，處理器110可例如是中央處理單元(Central Processing Unit, CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor, DSP)、影像處理器(Image Processing Unit, IPU)、圖形處理器(Graphics Processing Unit, GPU)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)、其他類似處理裝置或這些裝置的結合。
在本實施例中，儲存媒體120可為記憶體(Memory)，例如動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)、快閃記憶體(Lash memory)或非揮發性隨機存取記憶體(Non-Volatile Random Access Memory, NVRAM)，而本發明並不加以限制。儲存媒體120可儲存場域定位模組121、物件偵測辨識模組122、空間辨識模組123以及物件角度辨識模組124的相關演算法，並且還可儲存影像資料、機械臂控制指令、機械臂控制軟體以及運算軟體等諸如此類用於實現本發明的手術機械臂控制功能的相關演算法、程式及數據。在本實施例中，場域定位模組121、物件偵測辨識模組122、空間辨識模組123以及物件角度辨識模組124可分別為實現對應功能的神經網路模組。
在本實施例中，場域定位模組121可例如執行攝像機標定(Camera calibration)運算，以實現手術機械臂130以及第一影像擷取單元140之間的座標系匹配功能。物件偵測辨識模組122可例如是執行全卷積網路(Fully Convolutional Network, FCN)的演算法來實現之。空間辨識模組123可例如是執行深度強化學習(Deep Q Network, DQN)、確定性策略梯度(Deep Deterministic Policy Gradient, DDPG)或非同步優勢動作評價(Asynchronous Advantage Actor-Critic, A3C)的演算法來實現之。
在本實施例中，手術機械臂130具有多個關節軸。手術機械臂130可為一種具有六個自由度(Six degree of freedom tracking，6DOF)的機械臂，並且處理器110可執行一種應用馬可夫決策過程的機器學習模組來控制手術機械臂130。在本實施例中，第一影像擷取單元140可例如是深度攝影機，並且可用以拍攝手術場域，以取得場域影像及其深度資訊。在本實施例中，第二影像擷取單元150可為攝影機，並且可設置在手術機械臂130的末端，以近距離地拍攝目標物件，而取得目標影像。
圖2是依照本發明的一實施例的手術機械臂控制方法的流程圖。參考圖1以及圖2，手術機械臂控制系統100可執行步驟S210~S260，以實現手術機械臂控制功能。先搭配參考圖3，圖3是依照本發明的一實施例的手術機械臂控制系統的架構示意圖。手術機械臂控制系統100可應用在如圖3的手術場域中。在本實施例中，手術機械臂控制系統100可設置於在手術平台160周圍。手術機械臂130、第一影像擷取單元140以及手術平台160之間具有固定位置關係。手術機械臂130的末端131可設置第二影像擷取單元150。
在本實施例中，第一影像擷取單元140可預先取得多個定位影像以及參考深度資訊，多個定位影像可包括定位物件。對此，使用者可例如將具有棋盤圖像的圖案的定位板作為定位物件，並且放置在手術平台160上，以使多個定位影像中可分別包括棋盤圖像的圖案。定位影像的數量可例如是5張。接著，處理器110可執行場域定位模組121，以透過場域定位模組121分析多個定位影像中分別的定位物件的定位座標資訊(多個空間座標)以及參考深度資訊，以使第一影像擷取單元140的攝影機座標系(空間座標系)與手術機械臂130的機械臂座標系(空間座標系)匹配。處理器110可根據固定位置關係、定位座標資訊以及參考深度資訊來匹配第一影像擷取單元140的攝影機座標系以及手術機械臂130的機械臂座標系。
接著，在第一影像擷取單元140與手術機械臂130之間座標系匹配後，手術機械臂控制系統100即可實施在手術情境。搭配參考圖4，圖4是依照本發明的一實施例的控制手術機械臂靠近目標物件的示意圖。在本實施例中，手術平台上可放置手術對象402，並且手部物件401可對手術對象402進行手術。手部物件401為醫療人員的手。搭配參考圖5，圖5是依照本發明的一實施例的場域影像的示意圖。在步驟S210，手術機械臂控制系統100可透過第一影像擷取單元140取得如圖5所示的場域影像500。場域影像500包括目標物件(手部物件401)的第一目標影像(對應於手部物件401的子影像)，並且還可包括手術機械臂130、第二影像擷取單元150以及手術對象402的影像。在本實施例中，手術機械臂控制系統100還可包括輸入單元。輸入單元耦接處理器110，以提供選擇信號，以使處理器110可根據選擇信號，從場域影像500選擇對應於目標物件的第一目標影像的影像範圍。接著，搭配參考圖6，圖6是依照本發明的一實施例的第二目標影像的示意圖。在步驟S220，手術機械臂控制系統100可透過第二影像擷取單元150取得如圖6所示的目標物件(手部物件401)的第二目標影像500。
在步驟S230，手術機械臂控制系統100可透過處理器110分析場域影像500，以取得機械臂移動資訊。在本實施例中，處理器110可執行物件偵測辨識模組122，以透過物件偵測辨識模組122分析場域影像500中的第一目標影像(對應於手部物件401的子影像)以及對應的目標深度資訊，以取得目標物件(手部物件401)的座標資訊(空間座標)。處理器110還進一步辨識場域影像500中的障礙物。處理器110可執行空間辨識模組123，以透過空間辨識模組123分析場域影像500中的第一目標影像(對應於手部物件401的子影像)、目標深度資訊、至少一障礙物影像以及至少一障礙物深度資訊，以取得有效空間特徵權重資訊。因此，處理器110可根據座標資訊以及有效空間特徵權重資訊來產生機械臂移動資訊。換言之，本實施例的處理器110可透過電腦視覺數位影像疊合及機器學習演算法，來辨識出手術環境中的有效空間徵特值及障礙物範圍，並且可預測出可迴避方向，而從中挑選出最佳化路徑，以使手術機械臂130可以自動閃避環境相關物件，到達指定目標位置(靠近目標物件)。
在步驟S240，手術機械臂控制系統100可透過處理器110根據機械臂移動資訊控制手術機械臂130移動以靠近目標物件(手部物件401)。在本實施例中，處理器110可透過電腦視覺投射手術空間範圍，推理出空間範圍內的手術機械臂130的可移動位置。並且，處理器110可利用神經網路運算來達成手術機械臂130的智慧決策效果。舉例而言，處理器110可執行物件影像處理/辨識模組、神經網絡相關演算法或手術空間影像處理模組，或是透過神經網路推理手術機械臂130的有效移動空間範圍、立體位置或相關變換矩陣(transformation matrix)等。因此，處理器110可有效地控制手術機械臂130移動且自動避開障礙物，以使穩定地靠近目標物件(手部物件401)。
在步驟S250，手術機械臂控制系統100可透過處理器110分析第二目標影像600，以取得機械臂旋轉資訊。在本實施例中，處理器110可執行物件角度辨識模組124，以透過物件角度辨識模組124分析第二目標影像600，以取得目標物件(手部物件401)的角度資訊，並且處理器110可根據角度資訊來產生機械臂旋轉資訊。處理器110可建立物件辦識模型，以依據第二影像擷取單元150(末端視角擷取單元)所取得的第二目標影像600，來根據其目標物件的形狀邊緣及面積大小，辦識出手術機械臂130所匹配的角度姿態。更詳細而言，如圖6所示，手部物件401的手掌位置可包括特徵區塊，其中特徵區塊可例如是繪製在手術手套上的具有特定形狀的圖案(例如長方形)。物件角度辨識模組124可分析第二目標影像600中的特徵區塊影像403的形狀，以透過特徵區塊影像403的形狀的形變分析結果(例如四個邊長變化以及四個角度變化等)來推測手部物件401的姿態，而取得對應於手部物件401的角度資訊(例如手掌朝上或朝下的角度)。
另外，物件偵測辨識模組122可根據場域影像500輸出多個第一特徵權重，並且物件角度辨識模組124可根據第二目標影像600輸出多個第二特徵權重。在本實施例中，處理器110可比較這些第一特徵權重以及這些第二特徵權重，以決定對應於目標物件的標準辨識資訊。詳細而言，多個第一特徵權重以及多個第二特徵權重可例如分別包括顏色、形狀及邊緣的特徵權重。處理器110可根據這些特徵權重來建立特徵權重表，以判斷例如大於0.9的索引，並將這些特徵權重分別進行排序而將最大的幾個特徵權重(例如3個)進行加總後，來將具有最大值的多個特徵權重作為決定標準辨識資訊。因此，本實施例的手術機械臂控制系統100可將物件偵測辨識模組122以及物件角度辨識模組124進行特徵性連結與共享，以同步識別同一個目標物件，而可有效減少誤判的情況。
在步驟S260，手術機械臂控制系統100可透過處理器110根據機械臂旋轉資訊控制手術機械臂130的角度姿態以匹配目標物件。在本實施例中，如圖5所示，處理器110可例如利用深度強化學習(Deep Q Network，DQN)模組來訓練手術機械臂130的未端131的原點位置可自動位移至目標物件(手部物件401)附近或是手術施術點的目標位置。因此，本實施例的手術機械臂控制系統100以及手術機械臂控制方法可實現醫療人員在對手術對象402進行手術的過程中，手術機械臂130可自動移動至目標物件(例如醫療人員的手掌)附近，以讓醫療人員可便利且快速地操作設置在手術機械臂130的末端的輔助醫療物件。輔助醫療物件可例如是手術過程中的相關手術器材，而本發明並不加以限制。本實施例的手術機械臂控制系統100以及手術機械臂控制方法可實現自動化且高效率的醫療手術輔助功能。
圖7是依照本發明的另一實施例的目標物件以及凹槽區段的示意圖。在本發明的另一實施例中，上述的目標物件亦可以是一種如圖7所示的器械物件701，並且器械物件701包括凹槽區段702及凹槽區段704。上述的第二目標影像亦可顯示如圖7所示的器械物件701。並且，圖1的物件角度辨識模組124可分析此第二目標影像中的括凹槽區段702及/或凹槽區段704的影像，以取得目標物件的角度資訊。處理器110可例如分析凹槽區段702及/或凹槽區段704的大小、方向及角度推測器械物件701的姿態。值得注意的是，器械物件701還可包括溝槽部703及溝槽部705。溝槽部703及溝槽部705的其中之一可用於勾扣手術部位。也就是說，在醫療人員對手術對象進行手術的過程中，手術機械臂可自動移動至器械物件701附近，以讓醫療人員可便利且快速地將手術機械臂扣住器械物件701的凹槽區段702或凹槽區段704，且可利用溝槽部703或溝槽部705勾扣手術部位的一側(手術部位的另一側也可例如由另一器械物件勾扣)，因此可撐開傷口，以提供輔助手術功能(例如撐開手術部位)。
綜上所述，本發明的手術機械臂控制系統以及手術機械臂控制方法，可透過兩個影像擷取單元來實現利用電腦視覺影像技術來自動控制手術機械臂移動並靠近目標物件，並且還可根據目標物件的當前姿態來控制手術機械臂的角度姿態，使其匹配目標物件，以適於醫療人員在手術過程中便利、快速且容易地使用手術機械臂來輔助手術的施作過程。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:手術機械臂控制系統 110:處理器 120:儲存媒體 121:場域定位模組 122:物件偵測辨識模組 123:空間辨識模組 124:物件角度辨識模組 130:手術機械臂 131:末端 140:第一影像擷取單元 150:第二影像擷取單元 160:手術平台 401:手部物件 402:手術對象 403:特徵區塊影像 500:場域影像 600:第二目標影像 701:器械物件 702、704:凹槽區段 703、705:溝槽部 S210~260:步驟
圖1是依照本發明的一實施例的手術機械臂控制系統的電路示意圖。 圖2是依照本發明的一實施例的手術機械臂控制方法的流程圖。 圖3是依照本發明的一實施例的手術機械臂控制系統的架構示意圖。 圖4是依照本發明的一實施例的控制手術機械臂靠近目標物件的示意圖。 圖5是依照本發明的一實施例的場域影像的示意圖。 圖6是依照本發明的一實施例的第二目標影像的示意圖。 圖7是依照本發明的另一實施例的目標物件以及凹槽區段的示意圖。
100:手術機械臂控制系統
110:處理器
120:儲存媒體
121:場域定位模組
122:物件偵測辨識模組
123:空間辨識模組
124:物件角度辨識模組
130:手術機械臂
140:第一影像擷取單元
150:第二影像擷取單元

Claims (18)

  1. 一種手術機械臂控制系統，包括：一手術機械臂，具有多個關節軸；一第一影像擷取單元，用以取得一場域影像，其中該場域影像包括一目標物件的一第一目標影像；一第二影像擷取單元，設置在該手術機械臂的一末端位置，並且用以取得該目標物件的一第二目標影像；以及一處理器，耦接該手術機械臂、該第一影像擷取單元以及該第二影像擷取單元，並且用以執行多個模組，其中該處理器分析該場域影像，以取得一機械臂移動資訊，並且根據該機械臂移動資訊控制該手術機械臂移動以靠近該目標物件，其中該處理器分析該第二目標影像，以取得一機械臂旋轉資訊，並且根據該機械臂旋轉資訊控制該手術機械臂的一角度姿態以匹配該目標物件；其中該第一影像擷取單元為一深度攝影機，並且該第一影像擷取單元預先取得一定位影像以及一參考深度資訊，該定位影像包括一定位物件，其中該處理器執行一場域定位模組，以透過該場域定位模組分析該定位影像中的該定位物件的一定位座標資訊以及該參考深度資訊，以使該深度攝影機的一攝影機座標系與該手術機械臂的一機械臂座標系匹配。
  2. 如請求項1所述的手術機械臂控制系統，其中該手術機械臂控制系統設置於在手術平台周圍，並且該手術機械臂、該第一影像擷取單元以及一手術平台之間具有一固定位置關係，以使該處理器根據該固定位置關係、該定位座標資訊以及該參考深度資訊來匹配該深度攝影機的該攝影機座標系以及該手術機械臂的該機械臂座標系。
  3. 如請求項1所述的手術機械臂控制系統，其中該處理器執行一物件偵測辨識模組，以透過該物件偵測辨識模組分析該場域影像中的該第一目標影像以及對應的一目標深度資訊，以取得該目標物件的一座標資訊。
  4. 如請求項3所述的手術機械臂控制系統，其中該處理器執行一空間辨識模組，以透過該空間辨識模組分析該場域影像中的該第一目標影像、該目標深度資訊、至少一障礙物影像以及至少一障礙物深度資訊，以取得一有效空間特徵權重資訊，並且該處理器根據該座標資訊以及該有效空間特徵權重資訊來產生該機械臂移動資訊。
  5. 如請求項3所述的手術機械臂控制系統，其中該處理器執行一物件角度辨識模組，以透過該物件角度辨識模組分析該第二目標影像，以取得該目標物件的一角度資訊，並且該處理器根據該角度資訊來產生該機械臂旋轉資訊。
  6. 如請求項5所述的手術機械臂控制系統，其中該目標物件為一手部物件，並且該手部物件包括一特徵區塊，其中該物件角度辨識模組分析該第二目標影像中的一特徵區塊影像，以取得該目標物件的該角度資訊。
  7. 如請求項5所述的手術機械臂控制系統，其中該目標物件為一器械物件，並且該器械物件包括一凹槽區段，其中該物件角度辨識模組分析該第二目標影像中的一凹槽區段影像，以取得該目標物件的該角度資訊。
  8. 如請求項5所述的手術機械臂控制系統，其中該物件偵測辨識模組根據該場域影像輸出多個第一特徵權重，並且該物件角度辨識模組根據該第二目標影像輸出多個第二特徵權重，其中該處理器比較該些第一特徵權重以及該些第二特徵權重，以決定對應於該目標物件的一標準辨識資訊。
  9. 如請求項1所述的手術機械臂控制系統，還包括：一輸入單元，耦接該處理器，以提供一選擇信號，以使該處理器根據該選擇信號，從該場域影像選擇對應於該目標物件的該第一目標影像的一影像範圍。
  10. 一種手術機械臂控制方法，包括：透過一第一影像擷取單元取得一場域影像，其中該場域影像包括一目標物件的一第一目標影像；透過一第二影像擷取單元取得該目標物件的一第二目標影像，其中該第二影像擷取單元設置在一手術機械臂的一末端位置； 透過一處理器分析該場域影像，以取得一機械臂移動資訊；透過該處理器根據該機械臂移動資訊控制該手術機械臂移動以靠近該目標物件；透過該處理器分析該第二目標影像，以取得一機械臂旋轉資訊；以及透過該處理器根據該機械臂旋轉資訊控制該手術機械臂的一角度姿態以匹配該目標物件；其中該第一影像擷取單元為一深度攝影機，其中該手術機械臂控制方法還包括：透過該第一影像擷取單元預先取得一定位影像以及一參考深度資訊，其中該定位影像包括一定位物件；透過該處理器執行一場域定位模組，以透過該場域定位模組分析該定位影像中的該定位物件的一定位座標資訊以及該參考深度資訊，以使該深度攝影機的一攝影機座標系與該手術機械臂的一機械臂座標系匹配。
  11. 如請求項10所述的手術機械臂控制方法，其中該手術機械臂控制系統設置於在手術平台周圍，並且該手術機械臂、該第一影像擷取單元以及一手術平台之間具有一固定位置關係，其中使該深度攝影機的該攝影機座標系與該手術機械臂的該機械臂座標系匹配的步驟包括：透過該處理器根據該固定位置關係、該定位座標資訊以及該參考深度資訊來匹配該深度攝影機的該攝影機座標系以及該手術 機械臂的該機械臂座標系。
  12. 如請求項10所述的手術機械臂控制方法，還包括：透過該處理器執行一物件偵測辨識模組，以透過該物件偵測辨識模組分析該場域影像中的該第一目標影像以及對應的一目標深度資訊，以取得該目標物件的一座標資訊。
  13. 如請求項12所述的手術機械臂控制方法，其中取得該機械臂移動資訊的步驟包括：透過該處理器執行一空間辨識模組，以透過該空間辨識模組分析該場域影像中的該第一目標影像、該目標深度資訊、至少一障礙物影像以及至少一障礙物深度資訊，以取得一有效空間特徵權重資訊；以及透過該處理器根據該座標資訊以及該有效空間特徵權重資訊來產生該機械臂移動資訊。
  14. 如請求項12所述的手術機械臂控制方法，其中取得該機械臂旋轉資訊的步驟包括：透過該處理器執行一物件角度辨識模組，以透過該物件角度辨識模組分析該第二目標影像，以取得該目標物件的一角度資訊；以及透過該處理器根據該角度資訊來產生該機械臂旋轉資訊。
  15. 如請求項14所述的手術機械臂控制方法，其中該目標物件為一手部物件，並且該手部物件包括一特徵區塊，其中取得該目標物件的該角度資訊的步驟包括：透過該物件角度辨識模組分析該第二目標影像中的一特徵區塊影像，以取得該目標物件的該角度資訊。
  16. 如請求項14所述的手術機械臂控制方法，其中該目標物件為一器械物件，並且該器械物件包括一凹槽區段，其中取得該目標物件的該角度資訊的步驟包括：透過該物件角度辨識模組分析該第二目標影像中的一凹槽區段影像，以取得該目標物件的該角度資訊。
  17. 如請求項14所述的手術機械臂控制方法，還包括：透過該物件偵測辨識模組根據該場域影像輸出多個第一特徵權重；透過該物件角度辨識模組根據該第二目標影像輸出多個第二特徵權重；以及透過該處理器比較該些第一特徵權重以及該些第二特徵權重，以決定對應於該目標物件的一標準辨識資訊。
  18. 如請求項10所述的手術機械臂控制方法，還包括：透過一輸入單元提供一選擇信號；以及透過該處理器根據該選擇信號，從該場域影像選擇對應於該 目標物件的該第一目標影像的一影像範圍。
TW110134580A 2021-09-16 2021-09-16 手術機械臂控制系統以及手術機械臂控制方法 TWI782709B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110134580A TWI782709B (zh) 2021-09-16 2021-09-16 手術機械臂控制系統以及手術機械臂控制方法
US17/518,541 US12011240B2 (en) 2021-09-16 2021-11-03 Surgical robotic arm control system and surgical robotic arm control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110134580A TWI782709B (zh) 2021-09-16 2021-09-16 手術機械臂控制系統以及手術機械臂控制方法

Publications (2)

Publication Number Publication Date
TWI782709B true TWI782709B (zh) 2022-11-01
TW202313290A TW202313290A (zh) 2023-04-01

Family

ID=85480317

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110134580A TWI782709B (zh) 2021-09-16 2021-09-16 手術機械臂控制系統以及手術機械臂控制方法

Country Status (2)

Country Link
US (1) US12011240B2 (zh)
TW (1) TWI782709B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802551A (zh) * 2009-05-29 2012-11-28 南洋理工大学 用于可曲式内窥镜术的机器人***
CN104661612A (zh) * 2012-11-30 2015-05-27 奥林巴斯株式会社 手术支持***和手术支持***的控制方法
CN107708598A (zh) * 2015-06-18 2018-02-16 奥林巴斯株式会社 医疗***
CN107981872A (zh) * 2017-08-31 2018-05-04 北京邮电大学 多自由度影像引导介入医疗机器人***

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8527094B2 (en) * 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6304050B1 (en) * 1999-07-19 2001-10-16 Steven B. Skaar Means and method of robot control relative to an arbitrary surface using camera-space manipulation
KR100415313B1 (ko) * 2001-12-24 2004-01-16 한국전자통신연구원 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
JP4167954B2 (ja) * 2003-09-02 2008-10-22 ファナック株式会社 ロボット及びロボット移動方法
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20070167702A1 (en) * 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
SE530384C2 (sv) * 2006-02-17 2008-05-20 Totalfoersvarets Forskningsins Metod för fjärrstyrning av en obemannad markfarkost med rörlig kamera samt en sådan markfarkost
FR2898824B1 (fr) * 2006-03-27 2009-02-13 Commissariat Energie Atomique Dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et procede de mise en oeuvre de ce dispositif
DE102007022686B3 (de) * 2007-05-11 2008-11-27 Khs Ag Verfahren und Vorrichtung zum Depalettieren und Fördern von Rollwagen
US9881520B2 (en) * 2008-01-08 2018-01-30 Immersion Medical, Inc. Virtual tool manipulation system
JP5181704B2 (ja) * 2008-02-07 2013-04-10 日本電気株式会社 データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム
US20100167248A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
EP2577642A4 (en) * 2010-05-26 2016-06-08 Health Research Inc METHOD AND SYSTEM FOR EXERCISING MINIMALLY INVASIVE SURGICAL PROCEDURES BY TRACKING DATA
KR101150350B1 (ko) * 2011-12-26 2012-06-08 윤치순 삼차원 내시경 수술장치
TW201328344A (zh) * 2011-12-27 2013-07-01 Hon Hai Prec Ind Co Ltd 控制無人飛行載具進行影像採集的系統及方法
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP5928114B2 (ja) * 2012-04-12 2016-06-01 セイコーエプソン株式会社 ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット
JP6527086B2 (ja) * 2013-03-15 2019-06-05 シナプティヴ メディカル （バルバドス） インコーポレイテッドＳｙｎａｐｔｉｖｅ Ｍｅｄｉｃａｌ （Ｂａｒｂａｄｏｓ） Ｉｎｃ． ハイパースペクトル手術用撮像システム
WO2015046081A1 (ja) 2013-09-24 2015-04-02 ソニー・オリンパスメディカルソリューションズ株式会社 医療用ロボットアーム装置、医療用ロボットアーム制御システム、医療用ロボットアーム制御方法及びプログラム
KR102016551B1 (ko) * 2014-01-24 2019-09-02 한화디펜스 주식회사 위치 추정 장치 및 방법
EP3103059A1 (de) * 2014-02-04 2016-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-bildanalysator zur blickrichtungsbestimmung
US20170017839A1 (en) * 2014-03-24 2017-01-19 Hitachi, Ltd. Object detection apparatus, object detection method, and mobile robot
US9857786B2 (en) * 2015-03-31 2018-01-02 Recognition Robotics, Inc. System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame
WO2016189878A1 (ja) * 2015-05-27 2016-12-01 京セラ株式会社 演算装置、カメラ装置、車両及びキャリブレーション方法
US10191495B2 (en) * 2015-12-17 2019-01-29 Board Of Trustees Of The University Of Arkansas Distributed ceiling-mounted smart cameras for multi-unmanned ground vehicle routing and coordination
US10901431B1 (en) * 2017-01-19 2021-01-26 AI Incorporated System and method for guiding heading of a mobile robotic device
US11449061B2 (en) * 2016-02-29 2022-09-20 AI Incorporated Obstacle recognition method for autonomous robots
FR3048872B1 (fr) 2016-03-21 2018-04-13 Medtech Sa Procede et dispositif de recalage automatise pour un robot chirurgical
JP2018094654A (ja) * 2016-12-09 2018-06-21 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
US10388025B2 (en) * 2017-05-25 2019-08-20 OnsiteIQ Inc. Interactive image based 3D panogragh
CN110691676B (zh) 2017-06-19 2023-02-03 谷歌有限责任公司 使用神经网络和几何感知对象表示的机器人抓取预测
US10579878B1 (en) * 2017-06-28 2020-03-03 Verily Life Sciences Llc Method for comparing videos of surgical techniques
JP7003463B2 (ja) * 2017-07-11 2022-01-20 セイコーエプソン株式会社 ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法
US10530997B2 (en) * 2017-07-13 2020-01-07 Zillow Group, Inc. Connecting and using building interior data acquired from mobile devices
CA3071332A1 (en) * 2017-07-25 2019-01-31 Mbl Limited Systems and methods for operations a robotic system and executing robotic interactions
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
US10999493B2 (en) * 2017-12-22 2021-05-04 Medtech S.A. Scialytic light navigation
US12019452B2 (en) * 2018-03-26 2024-06-25 Jabil Inc Apparatus, system, and method of using depth assessment for autonomous robot navigation
EP3774200B1 (en) * 2018-03-29 2022-07-06 Jabil Inc. Apparatus, system, and method of certifying sensing for autonomous robot navigation
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
JP2022500216A (ja) * 2018-09-14 2022-01-04 ニューラリンク コーポレーションNeuralink Corp. コンピュータ視覚技術
US11045075B2 (en) * 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11435305B2 (en) * 2018-12-19 2022-09-06 General Electric Company Thermographic inspection system mounted on motorized apparatus and methods of using same
US11357593B2 (en) * 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US20220079687A1 (en) * 2019-05-20 2022-03-17 Icahn School Of Medicine At Mount Sinai Robot mounted camera registration and tracking system for orthopedic and neurological surgery
US10925687B2 (en) * 2019-07-12 2021-02-23 Synaptive Medical Inc. System and method for optical axis calibration
US11737663B2 (en) * 2020-03-30 2023-08-29 Auris Health, Inc. Target anatomical feature localization
CN112618028B (zh) * 2021-01-06 2022-04-26 深圳市精锋医疗科技股份有限公司 手术机器人及其引导手术臂移动的方法、控制装置
CN115890638A (zh) * 2021-09-30 2023-04-04 台达电子工业股份有限公司 自动化机械手臂***
US20240062395A1 (en) * 2022-08-18 2024-02-22 Fusus, Inc. Crime center system providing video-based object tracking using an active camera and a 360-degree next-up camera set

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802551A (zh) * 2009-05-29 2012-11-28 南洋理工大学 用于可曲式内窥镜术的机器人***
CN104661612A (zh) * 2012-11-30 2015-05-27 奥林巴斯株式会社 手术支持***和手术支持***的控制方法
CN107708598A (zh) * 2015-06-18 2018-02-16 奥林巴斯株式会社 医疗***
CN107981872A (zh) * 2017-08-31 2018-05-04 北京邮电大学 多自由度影像引导介入医疗机器人***

Also Published As

Publication number Publication date
US12011240B2 (en) 2024-06-18
US20230081524A1 (en) 2023-03-16
TW202313290A (zh) 2023-04-01

Similar Documents

Publication Publication Date Title
US11338435B2 (en) Gripping system with machine learning
Flacco et al. A depth space approach for evaluating distance to objects: with application to human-robot collision avoidance
US9089971B2 (en) Information processing apparatus, control method thereof and storage medium
US9844881B2 (en) Robotic device including machine vision
JP7111114B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
Uecker et al. Automated instrument tracking in robotically assisted laparoscopic surgery
JP2008000884A (ja) ロボットの相互作用のためのビジュアル・プロト−オブジェクトの評価
US20220366594A1 (en) Systems and methods for mitigating collision of a robotic system
TWI782709B (zh) 手術機械臂控制系統以及手術機械臂控制方法
WO2021117479A1 (ja) 情報処理装置、方法およびプログラム
WO2019222480A1 (en) Confidence-based robotically-assisted surgery system
JP3953450B2 (ja) ３次元オブジェクト姿勢操作方法およびプログラム
US11559888B2 (en) Annotation device
JP2006007390A (ja) 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体
CN116635194A (zh) 干扰确定装置、机器人控制***以及干扰确定方法
Wang et al. Recognition and grasping of target position and pose of manipulator based on vision
Xie et al. Three-dimensional object recognition system for enhancing the intelligence of a KUKA robot
US20230149095A1 (en) Surgical robotic arm control system and control method thereof
KR101865691B1 (ko) 인간 로봇 상호작용 기반의 작업 수행 로봇 및 방법
TWI825499B (zh) 手術機械臂控制系統及其控制方法
JP7509534B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法
WO2022209578A1 (ja) ロボット制御システム、および制御装置
WO2024143417A1 (ja) 物体検出装置、ロボットシステム及び物体検出方法
WO2023243051A1 (ja) ワーク取り出しシステム
WO2021177159A1 (ja) 機械学習装置