TWI825499B - 手術機械臂控制系統及其控制方法 - Google Patents
手術機械臂控制系統及其控制方法 Download PDFInfo
- Publication number
- TWI825499B TWI825499B TW110139147A TW110139147A TWI825499B TW I825499 B TWI825499 B TW I825499B TW 110139147 A TW110139147 A TW 110139147A TW 110139147 A TW110139147 A TW 110139147A TW I825499 B TWI825499 B TW I825499B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- information image
- robot arm
- processor
- surgical
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000007613 environmental effect Effects 0.000 claims description 14
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- XULSCZPZVQIMFM-IPZQJPLYSA-N odevixibat Chemical compound C12=CC(SC)=C(OCC(=O)N[C@@H](C(=O)N[C@@H](CC)C(O)=O)C=3C=CC(O)=CC=3)C=C2S(=O)(=O)NC(CCCC)(CCCC)CN1C1=CC=CC=C1 XULSCZPZVQIMFM-IPZQJPLYSA-N 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本發明提出一種手術機械臂控制系統及其控制方法。手術機械臂控制系統包括手術機械臂、影像擷取單元以及處理器。手術機械臂具有多個關節軸。影像擷取單元取得第一影像。處理器執行空間環境辨識模組，以根據第一影像產生第一環境資訊影像、第一方向資訊影像以及第一深度資訊影像。處理器執行空間環境影像處理模組，以根據第一環境資訊影像、第一方向資訊影像以及第一深度資訊影像推算路徑資訊。處理器執行機械臂動作回饋模組，以根據路徑資訊來操作手術機械臂移動。
Description
本發明是有關於一種自動控制技術，且特別是有關於一種手術機械臂控制系統及其控制方法。
隨著醫療設備的演進，可有助於補助醫療人員的手術效率的可自動控制的相關醫療設備目前為此領域的重要發展方向之一。特別是，在手術過程中用於輔助或配合醫療人員(施術者)進行相關手術工作的手術機械臂更為重要。然而，在現有的手術機械臂設計中，為了使手術機械臂可實現自動控制功能，手術機械臂必須設置有多個感測器以及必須由使用者在每次手術過程中進行繁瑣的手動校正操作，才可使手術機械臂在移動過程迴避路徑中存在的障礙物，實現準確的自動移動以及自動操作結果。
本發明提供一種手術機械臂控制系統及其控制方法，可有效地控制手術機械臂進行自動移動。
本發明的手術機械臂控制系統包括手術機械臂、影像擷取單元以及處理器。手術機械臂具有多個關節軸。影像擷取單元取得第一影像。第一影像包括手術機械臂的機械臂末端影像。處理器耦接手術機械臂以及影像擷取單元。處理器執行空間環境辨識模組，以根據第一影像產生第一環境資訊影像、第一方向資訊影像以及第一深度資訊影像。處理器執行空間環境影像處理模組，以根據第一環境資訊影像、第一方向資訊影像以及第一深度資訊影像推算路徑資訊。處理器執行機械臂動作回饋模組，以根據路徑資訊來操作手術機械臂移動。
本發明的手術機械臂控制方法包括以下步驟：藉由影像擷取單元取得第一影像，其中第一影像包括手術機械臂的機械臂末端影像；藉由處理器執行空間環境辨識模組，以根據第一影像產生第一環境資訊影像、第一方向資訊影像以及第一深度資訊影像；藉由處理器執行空間環境影像處理模組，以根據第一環境資訊影像、第一方向資訊影像以及第一深度資訊影像推算路徑資訊；以及藉由處理器執行機械臂動作回饋模組，以根據路徑資訊來操作手術機械臂移動。
基於上述，本發明的手術機械臂控制系統及其控制方法，可透過腦視覺影像技術來自動控制手術機械臂移動，並且可自動迴避當前環境中的障礙物。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本揭示確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1是依照本發明的一實施例的手術機械臂控制系統的電路示意圖。參考圖1，手術機械臂控制系統100包括處理器110、儲存單元120、影像擷取單元130以及手術機械臂140。儲存單元120儲存空間環境辨識模組121、空間環境影像處理模組122以及機械臂動作回饋模組123。處理器110耦接儲存單元120、影像擷取單元130以及手術機械臂140。手術機械臂140具有多個關節軸。在本實施例中，影像擷取單元130可取得影像資料，並且提供至處理器110。處理器110可存取儲存單元120，以執行空間環境辨識模組121、空間環境影像處理模組122以及機械臂動作回饋模組123。在本實施例中，處理器110可將相關影像資料輸入至空間環境辨識模組121以及空間環境影像處理模組122，以產生路徑資訊，並且處理器110可根據路徑資訊來操作手術機械臂140移動。
在本實施例中，手術機械臂控制系統100可與手術平台的機構整合。影像擷取單元130可設置在手術平台的上方一側(正上方或偏移一角度的上方)，以朝向手術平台以及手術機械臂140進行拍攝。並且，手術機械臂140可設置在手術平台的一側。在本實施例中，手術機械臂控制系統100可控制手術機械臂140從手術平台的一側移動至手術平台的另一端，並且手術機械臂140及其機械臂末端可自動避開移動路徑上的障礙物。因此，手術人員可在手術平台的另一端快速地掌握手術機械臂140進行手術輔助功能。
在本實施例中，處理器110可例如是中央處理單元(Central Processing Unit, CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor, DSP)、影像處理器(Image Processing Unit, IPU)、圖形處理器(Graphics Processing Unit, GPU)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)、其他類似處理裝置或這些裝置的結合。
在本實施例中，儲存單元120可為記憶體(Memory)，例如動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)、快閃記憶體(Lash memory)或非揮發性隨機存取記憶體(Non-Volatile Random Access Memory, NVRAM)，而本發明並不加以限制。儲存單元120可儲存空間環境辨識模組121、空間環境影像處理模組122、機械臂動作回饋模組123以及本發明各實施例提及的各個模組的相關演算法，並且還可儲存影像資料、機械臂控制指令、機械臂控制軟體以及運算軟體等諸如此類用於實現本發明的手術機械臂控制功能的相關演算法、程式及數據。在本實施例中，空間環境辨識模組121以及空間環境影像處理模組122可分別為實現對應功能的神經網路模組。
在本實施例中，手術機械臂140可為一種具有六個自由度(Six degree of freedom tracking，6DOF)的機械臂，並且處理器110可執行一種應用馬可夫決策過程的機器學習模組來控制手術機械臂140。在本實施例中，影像擷取單元130可例如是深度攝影機，並且可用以拍攝手術場域，以取得場域影像及其深度資訊。在一實施例中，儲存單元120還可儲存全景環境場域定位模組。處理器110可執行全景環境場域定位模組，以進行攝影機標定(Camera calibration)運算，並且可實現影像擷取單元130以及手術機械臂140之間的座標系匹配功能。在本實施例中，影像擷取單元130可預先取得定位影像以及參考深度資訊，其中定位影像包括定位物件。處理器110可透過全景環境場域定位模組分析定位影像中的定位物件的定位座標資訊以及參考深度資訊，以使影像擷取單元130(深度攝影機)的攝影機座標系與手術機械臂140的機械臂座標系匹配。
具體而言，使用者可例如將具有棋盤圖像的圖案的定位板作為定位物件，並且放置在手術平台上，以使影像擷取單元130可拍攝多個定位影像，其中這些定位影像中可分別包括棋盤圖像的圖案。定位影像的數量可例如是5張。接著，處理器110可執行全景環境場域定位模組，以透過全景環境場域定位模組分析多個定位影像中分別的定位物件的定位座標資訊(多個空間座標)以及參考深度資訊，以使影像擷取單元130的攝影機座標系(空間座標系)與手術機械臂140的機械臂座標系(空間座標系)匹配。處理器110可根據固定位置關係、定位座標資訊以及參考深度資訊來匹配影像擷取單元130的攝影機座標系以及手術機械臂140的機械臂座標系。
圖2是依照本發明的一實施例的手術機械臂控制系統的操作示意圖。圖3是依照本發明的一實施例的手術機械臂控制方法的流程圖。圖4是依照本發明的一實施例的影像處理及影像分析的示意圖。參考圖1至圖4，影像擷取單元130可例如朝向手術平台進行拍攝，手術平台上可例如放置有手術對象200。在本實施例中，手術機械臂140可位於如圖2所示的手術對象200的一側，並且處理器110可控制手術機械臂140移動至手術對象200的手術區域201另一側，並且可自動避開在手術區域201中的移動路徑上的障礙物，其中所述障礙物可例如包括放置在手術對象200上的手術器械202~204。
在本實施例中，手術機械臂控制系統100可執行以下步驟S310~S340。在步驟S310，手術機械臂控制系統100可藉由影像擷取單元130取得第一影像401(當前幀(frame))，其中第一影像401包括手術機械臂140的機械臂末端影像。在本實施例中，儲存單元120還可儲存目標區域確認模組，並且手術機械臂控制系統100還可包括輸入單元。輸入單元可例如是滑鼠、觸控螢幕、使用者介面或系統設定模組等，並且可提供目標座標至處理器110。對此，處理器110可執行目標區域確認模組，以根據目標座標定義在第一影像401中的目標區域。對此，目標區域為空間區域(虛擬立方體)，並且可例如於第一影像401的手術對象的另一側。
在步驟S320，手術機械臂控制系統100可藉由處理器110執行空間環境辨識模組121，以根據第一影像401產生第一環境資訊影像411、第一方向資訊影像412以及第一深度資訊影像413。在步驟S330，手術機械臂控制系統100可藉由處理器110執行空間環境影像處理模組122，以根據第一環境資訊影像411、第一方向資訊影像412以及第一深度資訊影像413推算路徑資訊。在本實施例中，空間環境影像處理模組122可根據手術機械臂140的機械臂末端區域來從第一環境資訊影像411、第一方向資訊影像412以及第一深度資訊影像413分別擷取第二環境資訊影像421、第二深度資訊影像422以及第二方向資訊影像423(只擷取影像中的機械臂末端影像部分進行後續運算與分析)。對此，由於第二環境資訊影像421、第二深度資訊影像422以及第二方向資訊影像423為第一環境資訊影像411、第一方向資訊影像412以及第一深度資訊影像413分別的一部分，因此本發明的手術機械臂控制系統100可針對每一幀的影像的重點區域進行快速的影像運算與分析，而可有效節省運算資源且可快速推算以移動手術機械臂140至目標座標。
舉例而言，第一環境資訊影像411、第一方向資訊影像412以及第一深度資訊影像413可分別具有224×224像素的影像解析度，並且第二環境資訊影像421、第二深度資訊影像422以及第二方向資訊影像423可分別具有54×54像素的影像解析度。空間環境影像處理模組122將第二環境資訊影像421、第二深度資訊影像422以及第二方向資訊影像423輸入至全卷積網路模型122之前，空間環境影像處理模組122可先分別將第二環境資訊影像421、第二深度資訊影像422以及第二方向資訊影像423進行影像放大，其中影像放大可例如透過雙線性插值算法的方式。已放大的第二環境資訊影像431、已放大的第二深度資訊影像432以及已放大的第二方向資訊影像433可分別具有224×224像素的影像解析度。接著。空間環境影像處理模組122可將已放大的第二環境資訊影像431、已放大的第二深度資訊影像432以及已放大的第二方向資訊影像433輸入至全卷積網路模型122，以使全卷積網路模型122輸出特徵影像451。
全卷積網路模型122可包括稠密神經網路模組122-1(運算模型的上半部)以及特徵還原模組122-2(運算模型的下半部)。稠密神經網路模組122-1可先產生訓練結果的多個特徵值資料441-1~441-N、442-1~442-N、443-1~443-N。特徵值資料441-1~441-N可為已放大的第二環境資訊影像431的訓練結果。特徵值資料442-1~442-N可為已放大的第二深度資訊影像432的訓練結果。特徵值資料443-1~443-N可為已放大的第二方向資訊影像433的訓練結果。全卷積網路模型122可接著將特徵值資料441-1~441-N、442-1~442-N、443-1~443-N輸入至特徵還原模組122-2，以使特徵還原模組122-2可將特徵值資料441-1~441-N、442-1~442-N、443-1~443-N進行重組，以輸出特徵影像451。在本實施例中，空間環境影像處理模組122可分析特徵影像451，以推算路徑資訊。特徵影像451可例如具有對應於空間或移動平面中的各點位置的權重分布資訊(可移動權重或障礙物權重)。並且，處理器110可例如根據特徵影像451推算出手術機械臂140在當前幀(frame)中可移動的方向以及可移動的距離等資訊或參數。
在步驟S340，手術機械臂控制系統100可藉由處理器110執行機械臂動作回饋模組123，以根據路徑資訊來操作手術機械臂140移動至目標區域。在本實施例中，影像擷取單元130可連續取得多個幀的多個第一影像，以使處理器110根據這些第一影像疊代執行空間環境辨識模組121、空間環境影像處理模組122以及機械臂動作回饋模組123，以多次操作手術機械臂140移動直到處理器110判斷手術機械臂140的機械臂末端抵達目標座標。對此，當處理器110可判斷手術機械臂140的機械臂末端區域與目標區域重疊時(兩個虛擬立方體疊合)，處理器110可判斷手術機械臂140的機械臂末端抵達目標座標。機械臂末端區域可為處理器110基於機械臂末端的空間位置的中心點來以此為中心向外延伸而模擬出的立方體區域(區域中心點為機械臂末端的中心點)。因此，手術機械臂140可自動地迴避移動路徑上的手術器械202~204，以自動移動至手術對象200的另一側。
以下圖5至圖7實施例將分別詳細說明第二環境資訊影像421、第二深度資訊影像422以及第二方向資訊影像423的產生方式。
圖5是依照本發明的一實施例的產生第二環境資訊影像的示意圖。參考圖1以及圖5，影像擷取單元130可例如對於如圖5所示的手術場域501進行拍攝，以取得第一環境資訊影像502(即第一影像)。處理器110可對第一環境資訊影像502中對應於手術機械臂的機械臂末端的位置進行定義，以決定機械臂末端區域511的範圍(預設分析範圍)。對此，機械臂末端區域511的水平範圍可對應於在第一環境資訊影像502中的範圍512。接著，處理器110可根據此範圍512裁剪第一環境資訊影像502，以產生第二環境資訊影像421(RGB影像)。
圖6是依照本發明的一實施例的產生第二深度資訊影像的示意圖。參考圖1以及圖6，影像擷取單元130可例如對於如圖6所示的手術場域601進行拍攝，以取得具有深度資訊的第一深度資訊影像(即附帶有深度資訊的第一影像)。處理器110可對第一深度資訊影像中對應於手術機械臂的機械臂末端的位置進行定義，以決定以機械臂末端141的延伸軸611為基準的參考平面。第一深度資訊影像可包括對應於不同深度的多個第一深度平面影像602_1~602_N，其中N為正整數。所述不同深度可例如是指參考平面以及平行於參考平面的上方及下方的各5個垂直深度(例如-5、-4、-3、-2、-1、0、+1、+2、+3、+4、+5)的平面，但本發明並不限制深度平面影像的取樣數量。對此，機械臂末端141的機械臂末端區域(如同圖5的機械臂末端區域511)的水平範圍可對應於在多個第一深度平面影像602_1~602_N中的相同位置的範圍512。接著，處理器110可將這些第一深度平面影像602_1~602_N轉換為多個二值化影像603_1~603_N(例如有障礙物以數值“0”(純黑)代表，而無障礙物則以數值“1”代表(純白))，並且根據手術機械臂140的機械臂末端區域來從這些二值化影像603_1~603_N取得第二深度資訊影像中對應於不同深度的多個第二深度平面影像422_1~422_N。對此，手術機械臂控制系統100可根據第二深度平面影像422_1~422_N來獲得不同深度平面的障礙物分布資訊(例如其他手術器械的分布資訊)，以有效地推算出手術機械臂140不會撞到障礙物的移動路徑。
圖7是依照本發明的一實施例的產生第一方向資訊影像的示意圖。參考圖1以及圖7，影像擷取單元130可例如對於如圖7所示的手術場域701進行拍攝，以第一環境資訊影像702(即第一影像)。處理器110可對第一環境資訊影像702中對應於手術機械臂的機械臂末端進行定義，以決定以機械臂末端的端點作為當前幀的機械臂末端點P1。處理器110可對第一環境資訊影像702中的手術機械臂的機械臂末端進行定義，以決定機械臂末端區域的範圍(預設分析範圍)。並且，處理器110可根據輸入單元提供的目標選擇信號(例如由使用者選擇目標位置)來取得目標座標，以決定目標點P2。處理器110可沿著第一環境資訊影像702中的機械臂末端點P1至目標點P2的路徑並且朝目標點P2的距離不同而決定放射性漸層顏色參數，以產生第一方向資訊影像703。值得注意的是，第一方向資訊影像703的色彩變化方向平行於在第一方向資訊影像703上從機械臂末端點P1的機械臂末端座標至目標點P2的目標座標的方向。處理器110可根據範圍512裁剪第一方向資訊影像703，以產生第二方向資訊影像423。
綜上所述，本發明的手術機械臂控制系統及其控制方法，可透過影像擷取單元來實現利用電腦視覺影像技術來自動控制手術機械臂移動並靠近目標物件，並且可透過將運算資源集中在進行運算及分析影像擷取單元所提供的感測影像中重點區域來達到快速且準確的手術機械臂控制效果。因此，本發明的手術機械臂控制系統及其控制方法，可有效地使手術機械臂可自動移動至例如鄰近手術人員的手或手術對象的位置，來使手術人員可快速且有效率的使用手術機械臂來實現其手術輔助功能。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:手術機械臂控制系統
110:處理器
120:儲存單元
121:空間環境辨識模組
122:空間環境影像處理模組
122-1:稠密神經網路模組
122-2:特徵還原模組
123:機械臂動作回饋模組
130:影像擷取單元
140:手術機械臂
200:手術對象
201:手術區域
202~204:手術器械
401:第一影像
411、502、702:第一環境資訊影像
412、703:第一方向資訊影像
413:第一深度資訊影像
421:第二環境資訊影像
422:第二深度資訊影像
422_1~422_N:第二深度平面影像
423:第二方向資訊影像
431:已放大的第二環境資訊影像
432:已放大的第二深度資訊影像
433:已放大的第二方向資訊影像
441-1~441-N、442-1~442-N、443-1~443-N:特徵值資料
451:特徵影像
501、601、701:手術場域
511:機械臂末端區域
512:範圍
602_1~602_N:第一深度平面影像
603_1~603_N:二值化影像
611:延伸軸
P1:機械臂末端點
P2:目標點
S310~S340:步驟
圖1是依照本發明的一實施例的手術機械臂控制系統的電路示意圖。
圖2是依照本發明的一實施例的手術機械臂控制系統的操作示意圖。
圖3是依照本發明的一實施例的手術機械臂控制方法的流程圖。
圖4是依照本發明的一實施例的影像處理及影像分析的示意圖。
圖5是依照本發明的一實施例的產生第二環境資訊影像的示意圖。
圖6是依照本發明的一實施例的產生第二深度資訊影像的示意圖。
圖7是依照本發明的一實施例的產生第二方向資訊影像的示意圖。
100:手術機械臂控制系統
110:處理器
120:儲存單元
121:空間環境辨識模組
122:空間環境影像處理模組
123:機械臂動作回饋模組
130:影像擷取單元
140:手術機械臂
Claims (20)
- 一種手術機械臂控制系統，包括：一手術機械臂，具有多個關節軸；一影像擷取單元，用以取得一第一影像，其中該第一影像包括該手術機械臂的一機械臂末端影像；以及一處理器，耦接該手術機械臂以及該影像擷取單元，其中該處理器執行一空間環境辨識模組，以根據該第一影像產生一第一環境資訊影像、一第一方向資訊影像以及一第一深度資訊影像，並且該處理器執行一空間環境影像處理模組，以根據該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像推算一路徑資訊，其中該處理器執行一機械臂動作回饋模組，以根據該路徑資訊來操作該手術機械臂移動。
- 如請求項1所述的手術機械臂控制系統，其中該影像擷取單元為一深度攝影機，並且該影像擷取單元預先取得一定位影像以及一參考深度資訊，其中該定位影像包括一定位物件，其中該處理器執行一全景環境場域定位模組，以透過該全景環境場域定位模組分析該定位影像中的該定位物件的一定位座標資訊以及該參考深度資訊，以使該深度攝影機的一攝影機座標系與該手術機械臂的一機械臂座標系匹配。
- 如請求項1所述的手術機械臂控制系統，其中該處理器執行一目標區域確認模組，以根據一目標座標定義在該第一影 像中的一目標區域，並且該機械臂動作回饋模組操作該手術機械臂移動至該目標區域。
- 如請求項3所述的手術機械臂控制系統，其中該空間環境影像處理模組根據該手術機械臂的一機械臂末端區域來從該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像分別擷取一第二環境資訊影像、一第二方向資訊影像以及一第二深度資訊影像，並且將該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像輸入至一全卷積網路模型，以使該全卷積網路模型輸出一特徵影像，並且該處理器根據該特徵影像產生該路徑資訊，其中該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像為該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像分別的一部分。
- 如請求項4所述的手術機械臂控制系統，其中在該處理器將該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像輸入至該全卷積網路模型之前，該處理器先分別將該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像進行影像放大。
- 如請求項4所述的手術機械臂控制系統，其中該第一深度資訊影像包括對應於不同深度的多個第一深度平面影像，該處理器將該些第一深度平面影像轉換為多個二值化影像，並且根 據該手術機械臂的該機械臂末端區域來從該些二值化影像取得該第二深度資訊影像中對應於不同深度的多個第二深度平面影像。
- 如請求項4所述的手術機械臂控制系統，其中當該處理器判斷該手術機械臂的該機械臂末端區域與該目標區域重疊時，該處理器判斷該手術機械臂的該機械臂末端抵達該目標座標。
- 如請求項7所述的手術機械臂控制系統，其中該影像擷取單元連續取得多個第一影像，以使該處理器根據該些第一影像疊代執行該空間環境辨識模組、該空間環境影像處理模組以及該機械臂動作回饋模組，以多次操作該手術機械臂移動直到該處理器判斷該手術機械臂的該機械臂末端抵達該目標座標。
- 如請求項4所述的手術機械臂控制系統，其中該第二方向資訊影像的一色彩變化方向平行於在該第二方向資訊影像上從一機械臂末端座標至該目標座標的一方向。
- 如請求項3所述的手術機械臂控制系統，還包括：一輸入單元，耦接該處理器，並且提供一目標選擇信號至該處理器，以使該處理器根據該目標選擇信號產生該目標座標。
- 一種手術機械臂控制方法，包括：藉由一影像擷取單元取得一第一影像，其中該第一影像包括一手術機械臂的一機械臂末端影像；藉由一處理器執行一空間環境辨識模組，以根據該第一影像產生一第一環境資訊影像、一第一方向資訊影像以及一第一深度資訊影像； 藉由該處理器執行一空間環境影像處理模組，以根據該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像推算一路徑資訊；以及藉由該處理器執行一機械臂動作回饋模組，以根據該路徑資訊來操作該手術機械臂移動。
- 如請求項11所述的手術機械臂控制方法，其中該影像擷取單元為一深度攝影機，並且該影像擷取單元預先取得一定位影像以及一參考深度資訊，其中該定位影像包括一定位物件，其中該手術機械臂控制方法包括以下步驟：藉由該處理器執行一全景環境場域定位模組，以透過該全景環境場域定位模組分析該定位影像中的該定位物件的一定位座標資訊以及該參考深度資訊，以使該深度攝影機的一攝影機座標系與該手術機械臂的一機械臂座標系匹配。
- 如請求項11所述的手術機械臂控制方法，還包括：藉由該處理器執行一目標區域確認模組，以根據一目標座標定義在該第一影像中的一目標區域，並且該機械臂動作回饋模組操作該手術機械臂移動至該目標區域。
- 如請求項13所述的手術機械臂控制方法，其中藉由該處理器執行該空間環境影像處理模組，以根據該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像推算該路徑資訊的步驟包括： 藉由該空間環境影像處理模組根據該手術機械臂的一機械臂末端區域來從該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像分別擷取一第二環境資訊影像、一第二方向資訊影像以及一第二深度資訊影像；以及藉由該空間環境影像處理模組將該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像輸入至一全卷積網路模型，以使該全卷積網路模型輸出一特徵影像，並且藉由該處理器根據該特徵影像產生該路徑資訊，其中該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像為該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像分別的一部分。
- 如請求項14所述的手術機械臂控制方法，其中在該處理器將該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像輸入至該全卷積網路模型之前，該處理器先分別將該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像進行影像放大。
- 如請求項14所述的手術機械臂控制方法，其中該第一深度資訊影像包括對應於不同深度的多個第一深度平面影像，其中產生該第二深度資訊影像的步驟包括：藉由該處理器將該些第一深度平面影像轉換為多個二值化影像，並且根據該手術機械臂的該機械臂末端區域來從該些二值化影像取得該第二深度資訊影像中對應於不同深度的多個第二深度 平面影像。
- 如請求項14所述的手術機械臂控制方法，還包括：當該處理器判斷該手術機械臂的該機械臂末端區域與該目標區域重疊時，藉由該處理器判斷該手術機械臂的該機械臂末端抵達該目標座標。
- 如請求項17所述的手術機械臂控制方法，還包括：藉由該影像擷取單元連續取得多個第一影像，以使該處理器根據該些第一影像疊代執行該空間環境辨識模組、該空間環境影像處理模組以及該機械臂動作回饋模組，以多次操作該手術機械臂移動直到該處理器判斷該手術機械臂的該機械臂末端抵達該目標座標。
- 如請求項13所述的手術機械臂控制方法，其中該第二方向資訊影像的一色彩變化方向平行於在該第二方向資訊影像上從一機械臂末端座標至該目標座標的一方向。
- 如請求項13所述的手術機械臂控制方法，還包括：藉由一輸入單元提供一目標選擇信號至該處理器，以使該處理器根據該目標選擇信號產生該目標座標。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110139147A TWI825499B (zh) | 2021-10-21 | 2021-10-21 | 手術機械臂控制系統及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110139147A TWI825499B (zh) | 2021-10-21 | 2021-10-21 | 手術機械臂控制系統及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202317045A TW202317045A (zh) | 2023-05-01 |
| TWI825499B true TWI825499B (zh) | 2023-12-11 |
Family
ID=87378696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110139147A TWI825499B (zh) | 2021-10-21 | 2021-10-21 | 手術機械臂控制系統及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI825499B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763040A (zh) * | 2008-11-14 | 2010-06-30 | 苏州佳世达电通有限公司 | 一种可与音频产生互动的装置和方法 |
| CN106607920A (zh) * | 2015-10-23 | 2017-05-03 | 赵士野 | 整合成型机械与机械手臂的控制装置 |
| US20170182660A1 (en) * | 2015-12-29 | 2017-06-29 | Robomotive Laboratories LLC | Method of controlling devices with sensation of applied force |
| US20180354130A1 (en) * | 2015-10-30 | 2018-12-13 | Keba Ag | Method, control system and movement setting means for controlling the movements of articulated arms of an industrial robot |
| US20190224841A1 (en) * | 2018-01-24 | 2019-07-25 | Seismic Holdings, Inc. | Exosuit systems and methods for monitoring working safety and performance |
-
2021
- 2021-10-21 TW TW110139147A patent/TWI825499B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763040A (zh) * | 2008-11-14 | 2010-06-30 | 苏州佳世达电通有限公司 | 一种可与音频产生互动的装置和方法 |
| CN106607920A (zh) * | 2015-10-23 | 2017-05-03 | 赵士野 | 整合成型机械与机械手臂的控制装置 |
| US20180354130A1 (en) * | 2015-10-30 | 2018-12-13 | Keba Ag | Method, control system and movement setting means for controlling the movements of articulated arms of an industrial robot |
| US20170182660A1 (en) * | 2015-12-29 | 2017-06-29 | Robomotive Laboratories LLC | Method of controlling devices with sensation of applied force |
| US20190224841A1 (en) * | 2018-01-24 | 2019-07-25 | Seismic Holdings, Inc. | Exosuit systems and methods for monitoring working safety and performance |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202317045A (zh) | 2023-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110355754B (zh) | 机器人手眼***、控制方法、设备及存储介质 | |
| JP6198857B2 (ja) | ３次元の画像形成を行うための方法及びシステム | |
| US9235928B2 (en) | 3D body modeling, from a single or multiple 3D cameras, in the presence of motion | |
| CN108921907B (zh) | 一种运动测试评分的方法、装置、设备及存储介质 | |
| JP2019028843A (ja) | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 | |
| CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
| JP2018111165A (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
| JP2011175477A (ja) | ３次元計測装置、処理方法及びプログラム | |
| JP6836561B2 (ja) | 画像処理装置及び画像処理方法 | |
| US9008442B2 (en) | Information processing apparatus, information processing method, and computer program | |
| JP2008506953A5 (zh) | ||
| WO2021218542A1 (zh) | 基于视觉感知设备的机器人本体坐标系的空间标定方法、装置和存储介质 | |
| WO2021004416A1 (zh) | 一种基于视觉信标建立信标地图的方法、装置 | |
| WO2022040954A1 (zh) | 一种通过手势控制的ar空间可视三维重建方法 | |
| CN114004883A (zh) | 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质 | |
| JP6410411B2 (ja) | パターンマッチング装置及びパターンマッチング方法 | |
| JP2010112731A (ja) | ロボットの座標の結合方法 | |
| Dalvand et al. | High speed vision-based 3D reconstruction of continuum robots | |
| TWI825499B (zh) | 手術機械臂控制系統及其控制方法 | |
| CN114155288A (zh) | 一种通过手势控制的ar空间可视三维重建方法 | |
| JP2015135333A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| JP2021128592A5 (zh) | ||
| US20230149095A1 (en) | Surgical robotic arm control system and control method thereof | |
| Takarics et al. | Welding trajectory reconstruction based on the Intelligent Space concept | |
| KR101438514B1 (ko) | 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법 |