TWM569887U - Augmented reality system - Google Patents

Abstract

一種擴增實境系統包括攝影模組、物件產生模組與影像處理模組。攝影模組產生第一影像，第一影像包括標記。物件產生模組產生第二影像，第二影像包括虛擬物件。影像處理模組訊號連接攝影模組與物件產生模組，影像處理模組接收第一影像與第二影像並將第一影像與第二影像合成以產生擴增實境影像，且擴增實境影像中的標記設置為可對應控制虛擬物件。

Description

擴增實境系統

本創作是關於一種擴增實境的技術，且特別是關於一種擴增實境系統。

現有的遠距醫療服務，多半是透過視訊方式建立起醫護端與患者端之間的遠距聯繫。此種遠距醫療服務需要在醫療院所建置攝影設備與通訊設備，而患者端也需配備有影音播放裝置與通訊設備，且醫療院所與患者端的通訊設備會透過網路加以連接。在進行遠距醫療服務時，醫療院所的攝影設備會即時拍攝醫護人員，此時醫護人員可針對患者的病況或任何醫療狀況加以說明，而攝影設備所拍攝的視訊（包括有影像與聲音訊號）會透過通訊設備傳遞至患者端，並藉由患者端的影音播放裝置即時播放出來，而患者則可藉由醫護人員的視訊即時了解自身病況。當然，患者與醫護人員也可透過這些設備進行互動，醫護人員可即時問診，以了解患者的當前狀況，達到遠距診斷的效果。

一般來說，在視訊進行中，醫護人員可搭配醫療影像進行解說。例如，醫護人員可搭配患者先前所拍攝的X光圖片或超音波圖片，依此進行解說。前述醫療影像可透過醫療院所現場的播放設備（如電腦螢幕）呈現，或者以印出的實體紙張呈現。

根據先前技術，在進行遠距醫療服務時，醫護人員雖然可搭配醫療影像進行解說，不過醫療影像是透過醫療院所現場的播放設備呈現或者以印出的實體紙張呈現，其呈現方式較為生硬，無論是醫護人員在解說上或患者在理解上都較為困難。

有鑑於此，本創作的目的在提出一種擴增實境系統，以期在進行遠距醫療服務時，可透過靈活的方式呈現出醫療影像，讓醫護人員在解說時能更加清楚，也讓患者更容易理解。

在本創作一實施例中，一種擴增實境系統包括攝影模組、物件產生模組與影像處理模組。攝影模組產生第一影像，第一影像包括標記。物件產生模組產生第二影像，第二影像包括虛擬物件。影像處理模組訊號連接攝影模組與物件產生模組，影像處理模組接收第一影像與第二影像並將第一影像與第二影像合成以產生擴增實境影像，且擴增實境影像中的標記設置為可對應控制虛擬物件。

在本創作一實施例中，影像處理模組分析並取得擴增實境影像中的標記的座標與虛擬物件的座標，以判斷擴增實境影像中的標記與虛擬物件是否彼此定位。

在本創作一實施例中，當擴增實境影像中的標記與虛擬物件彼此定位，影像處理模組根據標記的動態而移動、縮放或旋轉虛擬物件。

在本創作一實施例中，影像處理模組分析標記的動態以取得座標變化值，影像處理模組根據座標變化值而移動、縮放或旋轉虛擬物件。

在本創作一實施例中，虛擬物件為三維器官模型或二維器官圖像。

在本創作一實施例中，擴增實境系統更包括顯示模組，其中，顯示模組訊號連接影像處理模組，且顯示模組顯示擴增實境影像。

在本創作一實施例中，擴增實境系統更包括遠端通訊模組，其中，遠端通訊模組訊號連接影像處理模組，且遠端通訊模組將擴增實境影像傳送至客戶端。

在本創作一實施例中，擴增實境系統更包括診斷資料庫，其中，診斷資料庫訊號連接物件產生模組，且物件產生模組根據診斷資料庫中的人體醫學影像產生第二影像。

在本創作一實施例中，人體醫學影像包括電腦斷層掃描影像檔、超音波影像檔或X光影像檔。

在本創作一實施例中，標記有複數個。

綜上所述，藉由本創作各實施例的擴增實境系統，使得醫護人員與患者在進行遠距醫療服務時，醫護人員這一端可透過靈活的方式呈現出醫療影像，如此一來，醫護人員在解說時能更加清楚，也讓患者更容易理解。

以下在實施方式中詳細敘述本創作之詳細特徵以及優點，其內容足以使任何熟悉相關技藝者暸解本創作之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本創作相關之目的及優點。

請參照圖1，圖1所示為本創作一實施例的擴增實境系統100的方塊圖。在本實施例中，擴增實境系統100是一種運用了擴增實境（Augmented Reality，AR）技術的醫療裝置與系統，其可用於遠距醫療服務，但不限於此。在不同實施例中，擴增實境系統100亦可用於醫療院所的現場門診服務，也就是說，醫師在現場門診問診的過程中，亦可搭配擴增實境系統100向患者解說病情。並且，不論是遠距醫療服務或者是現場門診服務，都可藉由擴增實境系統100的擴增實境影像（如後述）讓醫護人員更容易解說患者的病況，且讓患者更容易理解自身的醫療狀況。在不同實施例中，擴增實境系統100亦可用於除了遠距醫療或現場門診以外的諸多領域，例如手術教育訓練、器械裝配教育訓練等；或者，擴增實境系統100也可應用於娛樂產業，例如遊戲的虛擬三維物件操作和在遊戲中跟虛擬三維物件的互動等。

如圖1所示，在本實施例中，擴增實境系統100包括攝影模組110、物件產生模組120與影像處理模組130，且影像處理模組130訊號連接攝影模組110與物件產生模組120。攝影模組110可設置於醫療院所中的適當位置，攝影模組110例如是攝影機與麥克風的組合，其可用於拍攝醫護人員的影像並接收現場的聲音。物件產生模組120與影像處理模組130可整合在一起，例如是整合在一台電腦設備中，而攝影模組110則透過線材連接到此電腦設備。

請同時參照圖2，圖2所示為本創作一實施例的擴增實境系統100的擴增實境影像330的合成示意圖。如圖1與圖2所示，攝影模組110拍攝位於醫療院所現場的醫護人員，並相應地產生第一影像310，第一影像310中呈現了被拍攝的醫護人員的影像（以下稱為解說者影像311）。並且，物件產生模組120會根據特定操作而產生第二影像320，第二影像320會包括虛擬物件321。舉例來說，醫護人員在進行遠距醫療服務時，認為需要針對患者的特定患部進行解說，因此有必要將特定患部的影像透過物件產生模組120產生出來，以便搭配特定患部的虛擬影像進行解說。醫護人員可操作電腦設備的界面，以選擇患者的相關資料來建立虛擬物件321並產生第二影像320。

如圖2所示，在本實施例中，第二影像320中的虛擬物件321即為前述患者的特定患部，此虛擬物件321例如是患者的心臟的三維建模影像。患者的心臟的三維建模影像可以是依據現有技術加以建立，舉例來說，患者在先前就醫過程中，已經透過醫療院所的電腦斷層設備進行胸腔掃描，掃描過程會建立一系列二維影像檔，接著經過現有技術將二維影像檔中的心臟部份分離出來，再透過二維轉換至三維的影像處理程序而建立患者的心臟的三維建模影像。

如圖1與圖2所示，在本實施例中，影像處理模組130會接收第一影像310與第二影像320，並進一步將第一影像310與第二影像320合成，以產生擴增實境影像330。在一些實施例中，擴增實境影像330可透過醫療院所與患者端的顯示設備呈現出來，讓醫護人員與患者在進行遠距醫療的過程中，雙方皆可看到擴增實境影像330。在擴增實境影像330中，解說者影像311的前方會呈現出虛擬物件321，因而醫護人員可直覺且方便地對擴增實境影像330中的虛擬物件321進行解說。

如圖1與圖2所示，在一些實施例中，為了能增加醫護人員在解說時的靈活性，以及醫護人員與擴增實境影像330中的虛擬物件321之間的互動性，醫護人員可進一步在擴增實境影像330中操作或控制虛擬物件321。

如圖2所示，在本實施例中，第一影像310可包括標記313，而在第一影像310與第二影像320合成為擴增實境影像330之後，第一影像310的標記313就會對應呈現在擴增實境影像330中，並且，擴增實境影像330中的標記313設置為可對應控制虛擬物件321。舉例來說，擴增實境影像330中的虛擬物件321可隨著標記313的移動而跟著移動。

如圖2所示，在本實施例中，標記313為複數個。在第一影像310與擴增實境影像330中，標記313呈現圓形影像並且分別位於解說者影像311的手指指尖。舉例來說，標記313可透過現有技術的影像處理的方式，在第一影像310中分離出解說者影像311中的手指指尖，並將圓形影像疊在解說者影像311的手指指尖上。在上述實施方式中，解說的醫護人員不須配戴手套或額外的標記裝置，只須透過攝影機拍攝，而影像處理的軟硬體可實時找出醫護人員在解說者影像311的手指指尖，以取得標記313，並分析其手勢與手部軌跡。在一些實施例中，上述實施方式還可搭配紅外線深度感測器來追蹤醫護人員的手勢與軌跡，增加整體可靠性。在一些實施例中，上述實施方式還可搭配微型雷射***來偵測醫護人員的手勢與手部軌跡。在一些實施例中，上述實施方式還可搭配人工智慧來追蹤其手勢與手部軌跡。在一些實施例中，醫護人員可配戴特製的手套，此種手套在其手指指尖的位置設置有發光元件，如此一來，影像處理時可更容易辨識出第一影像310或擴增實境影像330中的解說者影像311的手指指尖的位置。或者，此種手套在其手指指尖的位置也可設置有反光元件，並在紅外線的照射下，反光元件會在影像中反射紅外線，藉此在影像處理時也可容易辨識出手指指尖的位置。

舉例來說，影像處理模組130會持續且即時地分析擴增實境影像330，並取得擴增實境影像330中的標記313的座標與虛擬物件321的座標，以判斷擴增實境影像330中的標記313與虛擬物件321是否彼此定位。其中，標記313的座標可以是所述圓形影像的圓心處座標，而虛擬物件321的座標則是虛擬物件321的輪廓的複數座標。舉例來說，當擴增實境影像330中的標記313接觸到虛擬物件321的輪廓，也就是擴增實境影像330中的標記313的座標與虛擬物件321的輪廓的任一座標重疊，這表示標記313與虛擬物件321彼此定位。當擴增實境影像330中的標記313與虛擬物件321彼此定位，擴增實境影像330中的虛擬物件321就會根據標記313的動態而做出對應的動作，所述動作例如是移動、縮放或旋轉等。

舉例來說，醫護人員在擴增實境影像330中可用兩手的手指抓住虛擬物件321，並透過兩手的上下左右移動、兩手的張開與合併或兩手的旋轉，而使虛擬物件321在擴增實境影像330中跟著移動、縮放或旋轉。也就是說，如圖2所示，當擴增實境影像330中的解說者影像311的左、右兩群標記313接觸虛擬物件321的左、右兩側輪廓（即標記313與虛擬物件321彼此定位），此時隨著左、右兩群標記313的動態，虛擬物件321會相應地移動、縮放或旋轉。在一些實施例中，影像處理模組130會分析標記313的動態以取得座標變化值，且影像處理模組130根據此座標變化值而移動、縮放或旋轉虛擬物件321。舉例來說，當標記313於第一時間點位在第一座標，而於第二時間點時位在第二座標，則虛擬物件321會於第一時間點與第二時間點，隨著標記313的第一座標至第二座標的移動而跟著移動，此即虛擬物件321的移動會對應於第一座標與第二座標的座標變化值。

在本實施例中，虛擬物件321為三維器官模型（例如心臟的三維建模影像）。在其他實施例中，虛擬物件321也可以是二維器官圖像（例如胸腔的二維X光圖像）。在本實施例中，虛擬物件321為虛擬人體物件，例如肢體、骨骼或前述器官等。在其他實施例中，虛擬物件321不限於虛擬人體物件，例如在器材裝配教育訓練的應用中，虛擬物件321可以是需要施行訓練的器材。又例如在娛樂應用上，虛擬物件321可以是電玩遊戲中的角色或道具。

請參照圖3，圖3所示為本創作另一實施例的擴增實境系統100’的方塊圖，其中，擴增實境系統100’的相同標號的元件與其作用可參照前述擴增實境系統100。如圖3所示，在本實施例中，擴增實境系統100’更包括顯示模組140，其中，顯示模組140訊號連接影像處理模組130，且顯示模組140可顯示擴增實境影像330。舉例來說，顯示模組140是位在攝影模組110附近的顯示螢幕，顯示螢幕以線材連接具有物件產生模組120與影像處理模組130的電腦設備。當醫護人員正在被攝影模組110拍攝並進行遠距醫療服務時，醫護人員可即時地由顯示模組140上看到擴增實境影像330中的自己（即解說者影像311）與虛擬物件321，以便於根據顯示模組140的視覺回饋來操作擴增實境影像330的虛擬物件321，並加以解說。

如圖3所示，在本實施例中，擴增實境系統100’更包括遠端通訊模組150，其中，遠端通訊模組150訊號連接影像處理模組130，且遠端通訊模組150可將擴增實境影像330傳送至客戶端200。遠端通訊模組150例如是3G/4G通訊模組或者是網際網路通訊模組，影像處理模組130可將即時生成的擴增實境影像330，透過遠端通訊模組150，同步傳送給客戶端200。並且，客戶端200的顯示裝置（圖未示）可以顯示擴增實境影像330，使位於客戶端200的患者可即時看到擴增實境影像330。

如圖3所示，在本實施例中，擴增實境系統100’更包括診斷資料庫160，其中，診斷資料庫160訊號連接物件產生模組120。診斷資料庫160可儲存醫療院所的所有患者的所有診斷資料，所述診斷資料包括患者的人體醫學影像，所述人體醫學影像包括電腦斷層掃描影像檔、超音波影像檔或X光影像檔。也就是說，患者於醫療院所就診時，醫護人員利用電腦斷層設備、超音波設備或X光設備為患者實施檢查所取得的任何人體醫學影像都可儲存在診斷資料庫160中。物件產生模組120可根據診斷資料庫160中的人體醫學影像產生第二影像320，例如，物件產生模組120可根據診斷資料庫160中的患者的胸腔電腦斷層掃描影像檔而產生第二影像320，且第二影像320包括有患者的心臟的三維建模影像。

在一些實施例中，診斷資料庫160可以是位在雲端的伺服器中，也可以是位在本地端如診間的電腦設備中。在一些實施例中，物件產生模組120、影像處理模組130與診斷資料庫160可整合在同一台電腦設備中。

請參照圖4，圖4所示為圖3的擴增實境系統100’的使用狀態示意圖。如圖3與圖4所示，在本實施例中，擴增實境系統100’的物件產生模組120、影像處理模組130、遠端通訊模組150與診斷資料庫160整合在電腦設備400中。在本實施例中，顯示模組140有兩台，但不限於此。並且，電腦設備400、其中一台顯示模組140與攝影模組110是設置於醫療院所中，而此顯示模組140與攝影模組110以有線方式連接電腦設備400，而另一台顯示模組140則可設置於接受遠距醫療服務的客戶端200的所在處。在醫療院所處，顯示模組140與攝影模組110是設置為可讓進行遠距醫療服務的醫護人員面對此顯示模組140與攝影模組110。例如，此醫護人員（位於圖4中上方者）可被攝影模組110拍攝而產生圖2所示的解說者影像311，且顯示模組140可顯示擴增實境影像330，並讓此醫護人員透過顯示模組140觀看擴增實境影像330。而位於客戶端200所在處的另一台顯示模組140，可透過網際網路連接電腦設備400。並且，透過此位於客戶端200的顯示模組140，可讓位於客戶端200的相關人員如患者（位於圖4中下方者）同步觀看擴增實境影像330。

綜上所述，藉由本創作各實施例的擴增實境系統，使得醫護人員與患者在進行遠距醫療服務時，醫護人員這一端可透過靈活的方式呈現出擴增實境影像，並利用擴增實境影像中的虛擬物件加以解說，如此一來，醫護人員在解說時能更加清楚，也讓患者更容易理解自身的醫療狀況。

雖然本創作的技術內容已經以較佳實施例揭露如上，然其並非用以限定本創作，任何熟習此技藝者，在不脫離本創作之精神所作些許之更動與潤飾，皆應涵蓋於本創作的範疇內，因此本創作之保護範圍當視後附之申請專利範圍所界定者為準。

100、100’‧‧‧擴增實境系統
110‧‧‧攝影模組
120‧‧‧物件產生模組
130‧‧‧影像處理模組
140‧‧‧顯示模組
150‧‧‧遠端通訊模組
160‧‧‧診斷資料庫
200‧‧‧客戶端
310‧‧‧第一影像
311‧‧‧解說者影像
313‧‧‧標記
320‧‧‧第二影像
321‧‧‧虛擬物件
330‧‧‧擴增實境影像
400‧‧‧電腦設備

[圖1]所示為本創作一實施例的擴增實境系統的方塊圖； [圖2]所示為本創作一實施例的擴增實境系統的擴增實境影像的合成示意圖； [圖3]所示為本創作另一實施例的擴增實境系統的方塊圖；以及 [圖4]所示為圖3的擴增實境系統的使用狀態示意圖。

Claims (10)

1. 一種擴增實境系統，包括： 一攝影模組，產生一第一影像，該第一影像包括一標記； 一物件產生模組，產生一第二影像，該第二影像包括一虛擬物件；以及 一影像處理模組，訊號連接該攝影模組與該物件產生模組，該影像處理模組接收該第一影像與該第二影像並將該第一影像與該第二影像合成以產生一擴增實境影像，且該擴增實境影像中的該標記設置為可對應控制該虛擬物件。
2. 如申請專利範圍第1項所述之擴增實境系統，其中，該影像處理模組分析並取得該擴增實境影像中的該標記的座標與該虛擬物件的座標，以判斷該擴增實境影像中的該標記與該虛擬物件是否彼此定位。
3. 如申請專利範圍第2項所述之擴增實境系統，其中，當該擴增實境影像中的該標記與該虛擬物件彼此定位，該影像處理模組根據該標記的動態而移動、縮放或旋轉該虛擬物件。
4. 如申請專利範圍第3項所述之擴增實境系統，其中，該影像處理模組分析該標記的動態以取得一座標變化值，該影像處理模組根據該座標變化值而移動、縮放或旋轉該虛擬物件。
5. 如申請專利範圍第1項所述之擴增實境系統，其中，該虛擬物件為一三維器官模型或一二維器官圖像。
6. 如申請專利範圍第1項所述之擴增實境系統，更包括一顯示模組，其中，該顯示模組訊號連接該影像處理模組，且該顯示模組顯示該擴增實境影像。
7. 如申請專利範圍第1項所述之擴增實境系統，更包括一遠端通訊模組，其中，該遠端通訊模組訊號連接該影像處理模組，且該遠端通訊模組將該擴增實境影像傳送至一客戶端。
8. 如申請專利範圍第1項所述之擴增實境系統，更包括一診斷資料庫，其中，該診斷資料庫訊號連接該物件產生模組，且該物件產生模組根據該診斷資料庫中的一人體醫學影像產生該第二影像。
9. 如申請專利範圍第8項所述之擴增實境系統，其中，該人體醫學影像包括一電腦斷層掃描影像檔、一超音波影像檔或一X光影像檔。
10. 如申請專利範圍第1項所述之擴增實境系統，其中，該標記有複數個。