TWI765370B

TWI765370B - 應用虛擬實境的手術教學輔助系統及其方法

Info

Publication number: TWI765370B
Application number: TW109135190A
Authority: TW
Inventors: 劉偉民; 陳菁徽; 李宇倢; 沈易達
Original assignee: 臺北醫學大學
Priority date: 2020-10-12
Filing date: 2020-10-12
Publication date: 2022-05-21
Also published as: TW202214191A

Abstract

一種應用虛擬實境的手術教學輔助系統及其方法，透過在二維手術影像的基礎上以三維重建的方式建立虛擬實境的手術環境，並且預先設定相應的操作步驟、使用器具時點及參考訊息，當在虛擬實境中進行手術訓練時，持續偵測手術操作行為，並且在偵測到手術操作行為異常中止或遲滯時，根據手術訓練的進度觸發相應的輔助支援及引導，用以達到提高虛擬實境的手術學習成效之技術功效。

Description

應用虛擬實境的手術教學輔助系統及其方法

本發明涉及一種手術教學輔助系統及其方法，特別是應用虛擬實境的手術教學輔助系統及其方法。

近年來，隨著虛擬實境的普及與蓬勃發展，各種基於虛擬實境的應用便如雨後春筍般湧現，除了常見應用於遊戲之外，虛擬實境也常應用於教學中，例如：手術、航空飛行等模擬教學及訓練。

一般而言，傳統的手術訓練或教學方式是以大體或動物來進行，但此方式除了成本高昂之外，還具有無法恢復的問題。因此，便有廠商將虛擬實境應用在手術教學，例如：模擬人體器官或單純以虛擬實境演示手術過程。不過，對於教學、訓練或培訓而言，目前模擬的人體器官仍然不夠真實。另一方面，虛擬實境提供的手術操作的自由度也同樣不足，所以應用在手術教學的成效仍然有其侷限性。

有鑑於此，便有廠商提出提升擬真度和自由度的技術，用以增加沉浸式體驗。然而，高擬真度和自由度不見得能夠提高學習成效，舉例來說，當不知道下一步如何操作時，即便提供高擬真度和高自由度的操作環境，同樣仍然不知如何進行操作。因此，倘若能夠主動偵測是否需要提供幫助，並且適時介入輔助及引導，可以預期將會對提升手術學習成效有正面的助益。

綜上所述，可知先前技術中長期以來一直存在虛擬實境的手術學習成效不彰的問題，因此實有必要提出改進的技術手段，來解決此一問題。

本發明揭露一種應用虛擬實境的手術教學輔助系統及其方法。

首先，本發明揭露一種應用虛擬實境的手術教學輔助系統，其包含：手術影像資料庫、建立模組、訓練模組及支援模組。其中，手術影像資料庫儲存二維手術影像，所述二維手術影像各自對應有術式名稱、操作步驟、使用器具時點及參考訊息；建立模組連接手術影像資料庫，用以在進行手術訓練前，接收術式名稱以選擇載入相應的二維手術影像其中之一，並且根據載入的二維手術影像以三維重建方式建立虛擬實境的手術環境；訓練模組連接建立模組，用以在虛擬實境的手術環境建立完成後，允許進行手術訓練，並且在進行手術訓練時，持續偵測手術操作行為，當手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的時點訊息；以及支援模組連接訓練模組，用以根據產生的時點訊息播放載入的二維手術影像，以及同步顯示操作步驟、使用器具時點及參考訊息以進行輔助支援及引導。

另外，本發明還揭露一種應用虛擬實境的手術教學輔助方法，其步驟包括：提供多個二維手術影像，所述二維手術影像各自對應術式名稱、操作步驟、使用器具時點及參考訊息；在進行手術訓練前，接收術式名稱以選擇載入相應的所述二維手術影像其中之一，並且根據載入的二維手術影像以三維重建方式建立虛擬實境的手術環境；在虛擬實境的手術環境建立完成後，允許進行手術訓練，並且在進行手術訓練時，持續偵測手術操作行為，當手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的時點訊息；以及根據產生的時點訊息播放載入的二維手術影像，以及同步顯示操作步驟、使用器具時點及參考訊息以進行輔助支援及引導。

本發明所揭露之系統與方法如上，與先前技術的差異在於本發明是透過在二維手術影像的基礎上以三維重建的方式建立虛擬實境的手術環境，並且預先設定相應的操作步驟、使用器具時點及參考訊息，當在虛擬實境中進行手術訓練時，持續偵測手術操作行為，並且在偵測到手術操作行為異常中止或遲滯時，根據手術訓練的進度觸發相應的輔助支援及引導。

透過上述的技術手段，本發明可以達成提高虛擬實境的手術學習成效之技術功效。

以下將配合圖式及實施例來詳細說明本發明之實施方式，藉此對本發明如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。

首先，在說明本發明所揭露之應用虛擬實境的手術教學輔助系統及其方法之前，先對本發明所應用的環境作說明，本發明係應用在虛擬實境中，所述虛擬實境是指利用電腦類比產生一個三維空間的虛擬世界，提供使用者關於視覺等感官的模擬，讓使用者感覺彷彿身歷其境，可以即時、沒有限制地觀察三維空間內的事物。

以下配合圖式對本發明應用虛擬實境的手術教學輔助系統及其方法做進一步說明，請先參閱「第1圖」，「第1圖」為本發明應用虛擬實境的手術教學輔助系統的系統方塊圖，此系統包含：手術影像資料庫110、建立模組120、訓練模組130及支援模組140。其中，手術影像資料庫110用以儲存二維手術影像，所述二維手術影像各自對應有術式名稱、操作步驟、使用器具時點及參考訊息。舉例來說，假設有一個二維手術影像，其對應的術式名稱為「子宮肌瘤切除術」，那麼，這個二維手術影像還對應有操作步驟、使用器具時點及參考訊息等等。其中，操作步驟為此術式的執行步驟、使用器具時點係紀錄此術式需要使用的各種手術器具及其使用時點（或稱為「時間點」），以及參考訊息可紀錄進行此術式需要注意的各項資訊。

建立模組120連接手術影像資料庫110，用以在進行手術訓練前，接收術式名稱以選擇載入相應的所述二維手術影像其中之一，並且根據載入的二維手術影像以三維重建方式建立虛擬實境的手術環境。在實際實施上，所述三維重建（3D Reconstruction）是指利用二維投影或影像恢復物體三維訊息（形狀等）的數學過程和計算機技術，可透過光測度、幾何、深度學習等演算法來實現，用以將所述二維手術影像轉換為虛擬實境的三維訊息。

訓練模組130連接建立模組120，用以在虛擬實境的手術環境建立完成後，允許進行手術訓練，並且在進行手術訓練時，持續偵測手術操作行為，當手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的時點訊息。在實際實施上，可先將無異常中止或遲滯的手術操作行為輸入機器學習模型以進行訓練，並且在訓練完成後，再將偵測到的手術操作行為輸入此機器學習模型，以便辨識手術操作行為是否異常中止或遲滯。另外，所述手術操作行為可透過動作感測器、腕部穿戴式裝置、手部動態輸入裝置至少其中之一進行偵測。

支援模組140連接訓練模組130，用以根據產生的時點訊息播放載入的二維手術影像，以及同步顯示操作步驟、使用器具時點及參考訊息以進行輔助支援及引導。舉例來說，假設產生的時點訊息為「十分鐘三十秒」，支援模組140會從十分鐘三十秒開始播放載入的二維手術影像，以及同步顯示其相應的操作步驟、使用器具時點及參考訊息以進行輔助支援及引導。換句話說，當使用者的手術操作行為異常中止或遲滯時，支援模組140將即時顯示這個時間點（或簡稱為「時點」）及其後的手術操作步驟、使用手術器具的時間點，以及將在這個時間點的正常生理數據、注意事項等等作為參考訊息提供給使用者得知。

特別要說明的是，在實際實施上，本發明所述的模組皆可利用各種方式來實現，包含軟體、硬體或其任意組合，例如，在某些實施方式中，各模組可利用軟體及硬體或其中之一來實現，除此之外，本發明亦可部分地或完全地基於硬體來實現，例如，系統中的一個或多個模組可以透過積體電路晶片、系統單晶片（System on Chip, SoC）、複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）、現場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）等來實現。本發明可以是系統、方法及／或電腦程式。電腦程式可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令，電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體可以是但不限於電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：硬碟、隨機存取記憶體、唯讀記憶體、快閃記憶體、光碟、軟碟以及上述的任意合適的組合。此處所使用的電腦可讀儲存媒體不被解釋爲瞬時信號本身，諸如無線電波或者其它自由傳播的電磁波、通過波導或其它傳輸媒介傳播的電磁波（例如，通過光纖電纜的光信號）、或者通過電線傳輸的電信號。另外，此處所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算／處理設備，或者通過網路，例如：網際網路、區域網路、廣域網路及／或無線網路下載到外部電腦設備或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換器、集線器及／或閘道器。每一個計算／處理設備中的網路卡或者網路介面從網路接收電腦可讀程式指令，並轉發此電腦可讀程式指令，以供儲存在各個計算／處理設備中的電腦可讀儲存媒體中。執行本發明操作的電腦程式指令可以是組合語言指令、指令集架構指令、機器指令、機器相關指令、微指令、韌體指令、或者以一種或多種程式語言的任意組合編寫的原始碼或目的碼（Object Code），所述程式語言包括物件導向的程式語言，如：Common Lisp、Python、C++、Objective-C、Smalltalk、Delphi、Java、Swift、C#、Perl、Ruby與PHP等，以及常規的程序式（Procedural）程式語言，如：C語言或類似的程式語言。所述電腦程式指令可以完全地在電腦上執行、部分地在電腦上執行、作爲一個獨立的軟體執行、部分在客戶端電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。

請參閱「第2A圖」及「第2B圖」，「第2A圖」及「第2B圖」為本發明應用虛擬實境的手術教學輔助方法的方法流程圖，其步驟包括：提供多個二維手術影像，所述二維手術影像各自對應術式名稱、操作步驟、使用器具時點及參考訊息（步驟210）；在進行手術訓練前，接收術式名稱以選擇載入相應的所述二維手術影像其中之一，並且根據載入的二維手術影像以三維重建方式建立虛擬實境的手術環境（步驟220）；在虛擬實境的手術環境建立完成後，允許進行手術訓練，並且在進行手術訓練時，持續偵測手術操作行為，當手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的時點訊息（步驟230）；以及根據產生的時點訊息播放載入的二維手術影像，以及同步顯示操作步驟、使用器具時點及參考訊息以進行輔助支援及引導（步驟240）。透過上述步驟，即可透過在二維手術影像的基礎上以三維重建的方式建立虛擬實境的手術環境，並且預先設定相應的操作步驟、使用器具時點及參考訊息，當在虛擬實境中進行手術訓練時，持續偵測手術操作行為，並且在偵測到手術操作行為異常中止或遲滯時，根據手術訓練的進度觸發相應的輔助支援及引導。

另外，如「第2B圖」所示意，步驟230還可分為兩個步驟：在虛擬實境的手術環境建立完成後，允許進行手術訓練，並且在進行手術訓練時，持續偵測手術操作行為（步驟231）；以及將偵測到的手術操作行為輸入預先訓練完成的機器學習模型，用以通過此機器學習模型辨識偵測到的手術操作行為是否異常中止或遲滯，其中，訓練完成的機器學習模型的產生方式係預先將無異常中止或遲滯的手術操作行為持續輸入未訓練完成的機器學習模型進行訓練所產生（步驟232）。

以下配合「第3圖」及「第4圖」以實施例的方式進行如下說明，如「第3圖」所示意，「第3圖」為應用本發明以虛擬實境進行手術操作之示意圖。當使用者欲進行虛擬實境的手術操作之前，可先透過控制器310b輸入術式名稱，如：子宮肌瘤切除術，以便從手術影像資料庫110載入相應的二維手術影像。接著，建立模組120將載入的二維手術影像以三維重建方式建立虛擬實境的手術環境，當建立完成後，使用者可透過圖形使用者介面300中的第一顯示區塊301瀏覽虛擬的手術環境，並且可以透過操作控制器（310a、310b）來控制虛擬手術器具（311a、311b）進行手術訓練。此時，訓練模組130會持續偵測手術操作行為，並且在手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的時點訊息，以便支援模組140根據這個時點訊息播放載入的二維手術影像。舉例來說，假設手術訓練經過十分鐘三十秒時，偵測到手術操作行為異常中止或遲滯，則時點訊息便是十分鐘三十秒，支援模組140會從十分鐘三十秒播放載入的二維手術影像，以及同步顯示操作步驟、使用器具時點及參考訊息以進行輔助支援及引導。

請參閱「第4圖」，「第4圖」為應用本發明在偵測到手術操作行為異常或遲滯之示意圖。在實際實施上，當訓練模組130偵測到手術操作行為異常中止或遲滯時，將如「第4圖」所示意，顯示警示圖示302，並且同時顯示第一顯示區塊301、第二顯示區塊303及時點顯示區塊304。其中，第二顯示區塊303將用來顯示根據時點訊息播放載入的二維手術影像，以及同步顯示操作步驟、使用器具時點及參考訊息以進行輔助支援及引導；時點顯示區塊304則顯示時點訊息，如：十五分鐘可顯示為「15:00」。在實際實施上，還可根據使用器具時點依序顯示即將使用的手術器具圖示320，方便使用者有切換手術器具的心理準備。換句話說，當訓練模組130偵測到手術操作行為異常中止或遲滯時，不再單純顯示第一顯示區塊301及其中的虛擬手術環境，而是搭配各種訊息輔助支援及引導使用者，例如：以警示圖示302提醒使用者當前的手術操作行為異常中止或遲滯，並且以第二顯示區塊303顯示與發生異常中止或遲滯的時間點相對應的二維手術影像，以及在時點顯示區塊304顯示發生異常中止或遲滯的時間點，甚至根據此時間點依序顯示即將使用的手術器具圖示320。如此一來，當使用者不確定後續步驟或者完全不清楚後續步驟時，便能夠即時介入輔助及引導，大幅提升虛擬實境的手術學習成效。

綜上所述，可知本發明與先前技術之間的差異在於透過在二維手術影像的基礎上以三維重建的方式建立虛擬實境的手術環境，並且預先設定相應的操作步驟、使用器具時點及參考訊息，當在虛擬實境中進行手術訓練時，持續偵測手術操作行為，並且在偵測到手術操作行為異常中止或遲滯時，根據手術訓練的進度觸發相應的輔助支援及引導，藉由此一技術手段可以解決先前技術所存在的問題，進而達成提高虛擬實境的手術學習成效之技術功效。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

110:手術影像資料庫 120:建立模組 130:訓練模組 140:支援模組 300:圖形使用者介面 301:第一顯示區塊 302:警示圖示 303:第二顯示區塊 304:時點顯示區塊 310a,310b:控制器 311a,311b:虛擬手術器具 320:手術器具圖示步驟210:提供多個二維手術影像，所述二維手術影像各自對應一術式名稱、一操作步驟、一使用器具時點及一參考訊息步驟220:在進行手術訓練前，接收該術式名稱以選擇載入相應的所述二維手術影像其中之一，並且根據載入的所述二維手術影像以三維重建方式建立一虛擬實境的手術環境步驟230:在該虛擬實境的手術環境建立完成後，允許進行手術訓練，並且在進行手術訓練時，持續偵測一手術操作行為，當該手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的一時點訊息步驟231:在該虛擬實境的手術環境建立完成後，允許進行手術訓練，並且在進行手術訓練時，持續偵測該手術操作行為步驟232:將偵測到的該手術操作行為輸入預先訓練完成的一機器學習模型，用以通過該機器學習模型辨識偵測到的該手術操作行為是否異常中止或遲滯，其中，訓練完成的該機器學習模型的產生方式係預先將無異常中止或遲滯的手術操作行為持續輸入未訓練完成的該機器學習模型進行訓練所產生步驟240:根據產生的該時點訊息播放載入的所述二維手術影像，以及同步顯示該操作步驟、該使用器具時點及該參考訊息以進行輔助支援及引導

第1圖為本發明應用虛擬實境的手術教學輔助系統的系統方塊圖。第2A圖及第2B圖為本發明應用虛擬實境的手術教學輔助方法的方法流程圖。第3圖為應用本發明以虛擬實境進行手術操作之示意圖。第4圖為應用本發明在偵測到手術操作行為異常或遲滯之示意圖。

110:手術影像資料庫 120:建立模組 130:訓練模組 140:支援模組

Claims

一種應用虛擬實境的手術教學輔助系統，該系統包含：一手術影像資料庫，用以儲存多個二維手術影像，所述二維手術影像各自對應一術式名稱、一操作步驟、一使用器具時點及一參考訊息；一建立模組，連接該手術影像資料庫，用以在進行手術訓練前，接收該術式名稱以選擇載入相應的所述二維手術影像其中之一，並且根據載入的所述二維手術影像以三維重建方式建立一虛擬實境的手術環境；一訓練模組，連接該建立模組，用以在該虛擬實境的手術環境建立完成後，允許進行手術訓練，並且在進行手術訓練時，持續偵測一手術操作行為，當該手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的一時點訊息；以及一支援模組，連接該訓練模組，用以根據產生的該時點訊息播放載入的所述二維手術影像，以及同步顯示該操作步驟、該使用器具時點及該參考訊息以進行輔助支援及引導。
如請求項1之應用虛擬實境的手術教學輔助系統，其中所述三維重建係透過光測度、幾何及深度學習至少其中之一進行演算，用以將所述二維手術影像轉換為虛擬實境的三維訊息。
如請求項1之應用虛擬實境的手術教學輔助系統，其中該手術操作行為係透過動作感測器、腕部穿戴式裝置、手部動態輸入裝置至少其中之一進行偵測。
一種應用虛擬實境的手術教學輔助方法，其步驟包括：提供多個二維手術影像，所述二維手術影像各自對應一術式名稱、一操作步驟、一使用器具時點及一參考訊息；在進行手術訓練前，接收該術式名稱以選擇載入相應的所述二維手術影像其中之一，並且根據載入的所述二維手術影像以三維重建方式建立一虛擬實境的手術環境；在該虛擬實境的手術環境建立完成後，允許進行手術訓練，並且在進行手術訓練時，持續偵測一手術操作行為，當該手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的一時點訊息；以及根據產生的該時點訊息播放載入的所述二維手術影像，以及同步顯示該操作步驟、該使用器具時點及該參考訊息以進行輔助支援及引導。
如請求項4之應用虛擬實境的手術教學輔助方法，其中所述三維重建係透過光測度、幾何及深度學習至少其中之一進行演算，用以將所述二維手術影像轉換為虛擬實境的三維訊息。
如請求項4之應用虛擬實境的手術教學輔助方法，其中該手術操作行為係透過動作感測器、腕部穿戴式裝置、手部動態輸入裝置至少其中之一進行偵測。