TWI482502B - 影像互動裝置、互動式影像操作系統、及相關互動式影像操作方法 - Google Patents

Description

影像互動裝置、互動式影像操作系統、及相關互動式影像操作方法

本發明揭露一種影像互動裝置、互動式影像操作系統、及相關之互動式影像操作方法，尤指一種將資料向量編碼於數位影像中來傳輸與該數位影像相關之資訊以進行遠端影像互動裝置間互動的影像互動裝置、互動式影像操作系統、及相關之互動式影像操作方法。

請參閱第1圖，其為一種一般互動式遊戲系統100的概略示意圖，其中互動式遊戲系統100包含一第一影像互動裝置110與一第二影像互動裝置120。在第1圖中，一使用者130使用第一影像互動裝置110與位於遠端之一使用者140所使用之第二影像互動裝置120來進行連線遊戲，其中第一影像互動裝置110與第二影像互動裝置120間具有一網路150，用來在第一影像互動裝置110與第二影像互動裝置120間傳遞訊息或影像，其中網路150可為內部網路或外部網路。

第一影像互動裝置110可藉由一動作偵測器112來偵測使用者130的外型輪廓與動作，以對應產生並顯示一數位影像114。第二影像互動裝置120亦可透過一動作偵測器122來偵測使用者140，以對應產生一數位影像116，並將數位影像116透過網路150傳輸至第一影像互動裝置110，以使第一影像互動裝置110可同時顯示數位影像116；同理，第二影像互動裝置140亦可同時顯示數位影像114與116。在第一影像互動裝置110與第二影像互動裝置120之間可另外傳輸使用者130對數位影像114下達的操作指令或使用者140對數位影像116下達的操作指令以進行互動遊戲。

然而，在進行上述互動遊戲的途中，由於需要藉由網路150來傳輸大量的數位影像與操作指令，以使得第一影像互動裝置110與第二影像互動裝置120可以同步進行該互動遊戲，因此會帶來可觀的資料傳輸量。若網路150無法負擔如此的資料傳輸量時，第一影像互動裝置110與第二影像互動裝置120之間進行的互動遊戲將會產生延遲而無法同步，並進而影響互動遊戲的進行與品質。

本發明揭露了一種影像互動裝置、一種互動式影像操作系統、以及一種相關之互動式影像操作方法，用來有效降低遠端影像互動裝置間的資料傳輸量，並據此克服先前技術中遠端影像互動裝置間因資料傳輸量過大以致互動遊戲產生延遲而無法同步進行的問題。

本發明所揭露之該影像互動裝置包含一影像擷取裝置、一影像處理模組、及一影像傳輸器。該影像擷取裝置用來擷取一物體之一數位影像。該影像處理模組用來根據該數位影像中所包含該物體之物理特徵資訊來產生一資料向量(Data vector)，並將該資料向量編碼於該數位影像，以產生一數位編碼影像。該影像傳輸器用來輸出該數位編碼影像至一網路，以使該網路所連接之一裝置可根據該數位編碼影像中包含之該資料向量來顯示該數位影像。

本發明揭露之互動式影像操作系統包含一第一影像互動裝置與一第二影像互動裝置。該第一影像互動裝置包含一影像擷取裝置、一第一影像處理模組、及一影像傳輸器。該影像擷取裝置用來擷取一物體之一數位影像。該第一影像處理模組用來根據該數位影像中所包含該物體之物理特徵資訊來產生一資料向量，並將該資料向量編碼於該數位影像，以產生一數位編碼影像。該影像傳輸器用來輸出該數位編碼影像。該第二影像互動裝置包含一接收器、一第二影像處理模組、及一顯示裝置。該接收器用來由該第一影像互動裝置接收該數位編碼影像。該第二影像處理模組用來對該數位編碼影像進行解碼，以還原出該資料向量及該數位影像。該顯示裝置用來根據該資料向量所包含該物體之物理特徵資訊，顯示該數位影像。

本發明所揭露之互動式影像操作方法包含：一第一影像互動裝置根據一物體之一數位影像中所包含該物體之物理特徵資訊來產生一資料向量。該第一影像互動裝置將該資料向量編碼於該數位影像，以產生一數位編碼影像。一第二影像互動裝置對該數位編碼影像進行解碼，以還原出該資料向量及該數位影像。該第二影像互動裝置根據該資料向量所包含該物體之物理特徵資訊，顯示該數位影像。

請參閱第2圖，其為根據本發明之一實施例所揭露之互動式影像操作系統200的概略示意圖。在第2圖中，使用者130使用第一影像互動裝置210與位於遠端之使用者140所使用之第二影像互動裝置220來進行連線遊戲，其中第一影像互動裝置210與第二影像互動裝置220間同樣的具有一網路150，其中網路150可為內部網路或外部網路。第2圖所示之互動式影像操作系統200與第1圖所示之互動式遊戲系統100不同的地方主要在於，第一影像互動裝置210與第二影像互動裝置220之間傳遞的是將包含了訊息的資料向量編碼於數位影像中所產生之數位編碼影像。

請參閱第3圖，其為第2圖所示之互動式影像操作系統200的功能方塊示意圖，用來詳細揭露互動式影像操作系統200所包含之元件及詳細運作方式。如第3圖所示，第一影像互動裝置210包含一影像擷取裝置212、一影像處理模組214、一輸入/輸出介面215、一顯示裝置216、一影像傳輸器218、及一接收器219，而第二影像互動裝置220包含一影像擷取裝置222、一影像處理模組224、一輸入/輸出介面225、一顯示裝置226、一影像傳輸器228、及一接收器229，其中第一影像互動裝置210與第二影像互動裝置220各自包含之元件與各元件間的連接關係及運作方式基本上相同。接下來有關於第3圖的敘述，主要揭露了以第一影像互動裝置210產生了一第一數位編碼影像並傳輸至第二影像互動裝置220，以使第二影像互動裝置220得以在顯示裝置226上同時顯示該第一數位編碼影像解碼所還原之一第一數位影像以及第二影像互動裝置220本身所產生之一第二數位影像，並用來顯示該第一數位影像與該第二數位影像的各種互動功能等細節。然而，請注意，實質上第二影像互動裝置220亦可產生一第二數位編碼影像並傳輸至第一影像互動裝置210，以使顯示裝置216同時顯示該第二數位影像及該第一數位影像與該第一數位影像與該第二數位影像的各種互動功能，只是為了簡化敘述而並未將此部份細節圖示於第3圖。

當第一影像互動裝置210與第二影像互動裝置220進行互動操作，例如一互動網路遊戲時，影像擷取裝置212會先行擷取與使用者130相關之該第一數位影像，並傳輸至影像處理模組214。影像處理模組214會分析該第一數位影像中與使用者130相關的物理特徵資訊，以產生一資料向量，影像處理模組214會將該資料向量直接編碼於該第一數位影像，以產生一第一數位編碼影像並傳輸至影像傳輸器218，其中影像處理模組214可以由軟體、硬體、或軟體及硬體的組合來實現。影像傳輸器218會再把該第一數位編碼影像透過網路150轉傳至第二影像互動裝置220。

當第二影像互動裝置220透過接收器229接收到該第一數位編碼影像後，接收器229會再將該第一數位編碼影像轉傳至影像處理模組224。影像處理模組224用來對該第一數位編碼影像進行解碼，以還原出原先被編碼於該第一數位編碼影像的資料向量以及該第一數位影像，並將該第一數位影像及該資料向量中包含之資訊傳送至顯示裝置226，其中影像處理模組224可以由軟體、硬體、或軟體及硬體的組合來實現；除此以外，影像擷取裝置222也會擷取與使用者140相關之該第二數位影像，並將所擷取到之該第二數位影像經過影像處理模組224的處理而傳送至顯示裝置226。最後，顯示裝置226會根據該資料向量中所包含使用者130的物理特徵資訊來顯示該第一數位影像，並同時顯示透過影像擷取裝置222與影像處理模組224所接收到之該第二數位影像，以使該第一數位影像與該第二數位影像可以彼此互動的方式被顯示於顯示裝置226；同理，顯示裝置216亦可同時以該第一數位影像與該第二數位影像彼此互動的方式來顯示該第一數位影像與該第二數位影像，如此一來，使用者130與使用者140便可透過互動式影像操作系統200所包含之第一影像互動裝置210與第二影像互動裝置220來進行互動。

在本發明之部分實施例中，影像處理模組214可包含動作偵測模組(Motion detector)、物體偵測模組(Object detector)、或物體追蹤模組(Object tracker)等可分析物體影像之裝置，影像處理模組214藉由分析該第一數位影像得到的使用者130相關物理特徵資訊可包含與使用者130相關的移動量(例如手部、腳部或身體的移動距離、移動速度或移動方向)、使用者130在該第一數位影像中的深度圖(Depthmap)、使用者130的骨架輪廓(Skeleton outline)、及/或使用者130為了對該第一數位影像進行操作所使用的手勢等，以作為互動遊戲的遊戲控制之用。

在本發明之部分實施例中，影像擷取裝置212與222可使用二維攝影機、三維攝影機、網路攝影機(IP Camara)等可拍攝物體影像之裝置來實施。如此一來，在考慮上述使用者相關物理特徵資訊的實施例時，該第一數位影像可為使用者130的真人數位可動影像，該第二數位影像亦可為使用者140的真人數位可動影像。

在本發明之部分實施例中，編碼於該第一編碼數位影像之該資料向量可另外包含用來設定該第一數位影像的顯示方式之外部指令及/或影像參數，其中使用者130可透過第一影像互動裝置210上安裝之輸入/輸出介面215連接於使用者130可操作之鍵盤、滑鼠、遙控器、或其他控制器等方式，對第一影像互動裝置210輸入該外部指令與該影像參數。該外部指令可為使用者130欲對該第一影像所下達之一部分操作指令，以使顯示裝置226可對應該操作指令更新該第一影像的顯示方式；例如當該第一影像代表一虛擬人物時，該第一影像可被使用者130命令更換一特定服裝，且顯示裝置226可對應該操作指令來顯示該第一影像更換該特定服裝。該影像參數可包含該第一影像的亮度、色階等設定參數。影像處理模組224可根據該外部指令及/或該影像參數來更新顯示裝置226對該第一數位影像的顯示方式。

在本發明之部分實施例中，影像處理模組214將該資料向量編碼於該第一數位影像的方式可包含將該資料向量隱藏在該第一數位影像之一特定位置，以該資料向量取代該特定位置的影像資料，並加上檔頭(Header)標示隱藏位置。舉例來說，可將資料向量隱藏於第一數位影像序列的前端、後端、影像高頻區域、影像低位元區域或以上位置的組合等任何形式的資料隱藏方式。由於被取代的影像資料位在較不易被使用者觀察到的位置，因此並不會影響使用者觀看第一數位影像品質。但本發明不限於將資料向量隱藏於第一數位影像序列的前端、後端、影像高頻區域、影像低位元區域，在其他實施例中，亦可在其他不容易被使用者察覺的位置隱藏資料向量。

在本發明之各實施例中，使用者130與使用者140亦可替換為人類以外的物體，例如可產生動作之機器人等。

藉由本發明於第2圖與第3圖所揭露之互動式影像操作系統200，當第一影像互動裝置210與第二影像互動裝置220之間傳輸的是編碼有資料向量的數位編碼影像，而非先前技術中的數位影像外加訊息時，則只會帶來與數位影像相同的資料傳輸量，而不會有訊息帶來的額外傳輸量。如此一來，可大幅降低影像互動裝置間進行連線互動操作時因資料傳輸量過大所引起的延遲，解決了先前技術中的問題。

請參閱第4圖，其為根據本發明之一實施例所示，用於第2圖與第3圖所示之互動式影像操作系統200的互動式影像操作方法之流程圖。如第4圖所示，該互動式影像操作方法包含步驟如下：

步驟402：第一影像互動裝置210根據使用者130之一第一數位影像中所包含該物體之物理特徵資訊來產生一資料向量。

步驟404：第一影像互動裝置210將該資料向量編碼於該第一數位影像，以產生一第一數位編碼影像。

步驟406：第二影像互動裝置220對該第一數位編碼影像進行解碼，以還原出該資料向量及該第一數位影像；及

步驟408：第二影像互動裝置220根據該資料向量所包含使用者130之物理特徵資訊，顯示該第一數位影像。

請注意，將第4圖中所示之步驟增加前述之各種限制條件所衍生之實施例，或是第4圖中步驟的合理排列組合所衍生之實施例，皆仍應視為本發明之實施例。

本發明揭露了一種影像互動裝置、應用該影像互動裝置之互動式影像操作系統，以及該互動式影像操作系統所使用之互動式影像操作方法。藉由本發明之揭露，當影像互動裝置之間需要傳輸大量的資訊或訊息時，可將該些資訊或訊息編碼至數位影像中，以減少影像互動裝置之間的資料傳輸量，並進而降低影像互動裝置之間的傳輸延遲，以達成影像互動裝置之間的即時互動操作。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100．．．互動式遊戲系統

110、210．．．第一影像互動裝置

112、122．．．動作偵測器

114、116．．．數位影像

120、220．．．第二影像互動裝置

130、140．．．使用者

150．．．網路

200．．．互動式影像操作系統

212、222．．．影像擷取裝置

214、224．．．影像處理模組

215、225．．．輸入/輸出介面

216、226．．．顯示裝置

218、228．．．影像傳輸器

219、229．．．接收器

402、404、406、408．．．步驟

第1圖為一種一般互動式遊戲系統的概略示意圖。

第2圖為根據本發明之一實施例所揭露之互動式影像操作系統的概略示意圖。

第3圖為第2圖所示之互動式影像操作系統的功能方塊示意圖。

第4圖為根據本發明之一實施例所示用於第2圖與第3圖所示之互動式影像操作系統的互動式影像操作方法之流程圖。

130、140．．．使用者

150．．．網路

200．．．互動式影像操作系統

210．．．第一影像互動裝置

215、225．．．輸入/輸出介面

220．．．第二影像互動裝置

212、222．．．影像擷取裝置

214、224．．．影像處理模組

216、226．．．顯示裝置

218、228．．．影像傳輸器

219、229．．．接收器

Claims (23)

1. 一種影像互動裝置，包含：一影像擷取裝置，用來擷取一物體之一數位影像；一影像處理模組，用來根據該數位影像中所包含該物體之物理特徵資訊來產生一資料向量，並將該資料向量編碼於該數位影像，以產生一數位編碼影像；及一影像傳輸器，用來輸出該數位編碼影像至一網路，以使該網路所連接之一裝置可根據該數位編碼影像中包含之該資料向量來顯示該數位影像。
2. 如請求項1所述之影像互動裝置，其中該物體之物理特徵資訊包含該物體之一移動距離、移動速度、移動方向、一深度圖、一骨架輪廓、及/或一手勢。
3. 如請求項1所述之影像互動裝置，其中該影像處理模組將該資料向量編碼於該數位影像，以產生該數位編碼影像的方式包含將該資料向量取代該數位影像之一特定位置的影像資料，並加上檔頭以標示該特定位置。
4. 如請求項3所述之影像互動裝置，其中該特定位置包含該數位影像的前端、後端、影像高頻區域、影像低位元區域或以上位置的組合。
5. 如請求項1所述之影像互動裝置，其中該影像擷取裝置係一二維攝影機、一三維攝影機、或一網路攝影機。
6. 如請求項1所述之影像互動裝置，另包含：一顯示裝置，用來顯示該數位影像。
7. 如請求項1所述之影像互動裝置，其中該資料向量另包含用來設定該數位影像的顯示方式之一外部指令及/或一影像參數。
8. 一種互動式影像操作系統，包含：一第一影像互動裝置，包含：一影像擷取裝置，用來擷取一物體之一數位影像；一第一影像處理模組，用來根據該數位影像中所包含該物體之物理特徵資訊來產生一資料向量，並將該資料向量編碼於該數位影像，以產生一數位編碼影像；及一影像傳輸器，用來輸出該數位編碼影像；一第二影像互動裝置，包含：一接收器，用來由該第一影像互動裝置接收該數位編碼影像；一第二影像處理模組，用來對該數位編碼影像進行解碼，以還原出該資料向量及該數位影像；及一顯示裝置，用來根據該資料向量所包含該物體之物理特徵資訊，顯示該數位影像。
9. 如請求項8所述之互動式影像操作系統，其中該物體之物理特徵資訊包含該物體之一移動距離、移動速度、移動方向、一深度圖、一骨架輪廓、及/或一手勢。
10. 如請求項8所述之互動式影像操作系統，其中該第一影像處理模組將該資料向量編碼於該數位影像，以產生該數位編碼影像的方式包含將該資料向量取代該數位影像之一特定位置的影像資料，並加上檔頭以標示該特定位置。
11. 如請求項10所述之互動式影像操作系統，其中該特定位置包含該數位影像的前端、後端、影像高頻區域、影像低位元區域或以上位置的組合。
12. 如請求項8所述之互動式影像操作系統，其中該影像擷取裝置係一二維攝影機、一三維攝影機、或一網路攝影機。
13. 如請求項8所述之互動式影像操作系統，其中該資料向量另包含用來設定該數位影像的顯示方式之一外部指令及/或一影像參數，且該顯示裝置係根據該外部指令或該影像參數來更新該數位影像之顯示方式。
14. 一種互動式影像操作方法，包含： 一第一影像互動裝置根據一物體之一數位影像中所包含該物體之物理特徵資訊來產生一資料向量；該第一影像互動裝置將該資料向量編碼於該數位影像，以產生一數位編碼影像；一第二影像互動裝置對該數位編碼影像進行解碼，以還原出該資料向量及該數位影像；及該第二影像互動裝置根據該資料向量所包含該物體之物理特徵資訊，顯示該數位影像。
15. 如請求項14所述之互動式影像操作方法，另包含：該第一影像互動裝置擷取該數位影像。
16. 如請求項14所述之互動式影像操作方法，另包含：該第一影像互動裝置將該數位編碼影像輸出至該第二影像互動裝置。
17. 如請求項14所述之互動式影像操作方法，其中該物體之物理特徵資訊包含該物體之一移動距離、移動速度、移動方向、一深度圖、一骨架輪廓、及/或一手勢。
18. 如請求項14所述之互動式影像操作方法，另包含：該第二影像互動裝置根據用來操作該數位影像之一外部指令或一影像參數，設定該數位影像之顯示方式。
19. 如請求項14所述之互動式影像操作方法，其中該第一影像互動裝置將該資料向量編碼於該數位影像，以產生該數位編碼影像係包含：該第一影像互動裝置將該資料向量取代該數位影像之一特定位置的影像資料，並加上檔頭以標示該特定位置，以產生該數位編碼影像。
20. 如請求項19所述之互動式影像操作方法，其中該特定位置包含該數位影像的前端、後端、影像高頻區域、影像低位元區域或以上位置的組合。
21. 一種影像互動裝置，包含：一影像擷取裝置，用來擷取一物體之一數位影像；一影像處理模組，用來根據該數位影像中所包含該物體之物理特徵資訊來產生一資料向量，將該資料向量取代該數位影像之一特定位置的影像資料，並加上檔頭以標示該特定位置，以產生一數位編碼影像，其中該特定位置包含該數位影像的前端、後端、影像高頻區域、影像低位元區域或以上位置的組合；及一影像傳輸器，用來輸出該數位編碼影像至一網路，以使該網路所連接之一裝置可根據該數位編碼影像中包含之該資料向量來顯示該數位影像。
22. 一種互動式影像操作系統，包含：一第一影像互動裝置，包含：一影像擷取裝置，用來擷取一物體之一數位影像；一第一影像處理模組，用來根據該數位影像中所包含該物體之物理特徵資訊來產生一資料向量，將該資料向量取代該數位影像之一特定位置的影像資料，並加上檔頭以標示該特定位置，以產生一數位編碼影像，其中該特定位置包含該數位影像的前端、後端、影像高頻區域、影像低位元區域或以上位置的組合；及一影像傳輸器，用來輸出該數位編碼影像；一第二影像互動裝置，包含：一接收器，用來由該第一影像互動裝置接收該數位編碼影像；一第二影像處理模組，用來對該數位編碼影像進行解碼，以還原出該資料向量及該數位影像；及一顯示裝置，用來根據該資料向量所包含該物體之物理特徵資訊，顯示該數位影像。
23. 一種互動式影像操作方法，包含：一第一影像互動裝置根據一物體之一數位影像中所包含該物體之物理特徵資訊來產生一資料向量；該第一影像互動裝置將該資料向量取代該數位影像之一特定位置的影像資料，並加上檔頭以標示該特定位置，以產生一數 位編碼影像，其中該特定位置包含該數位影像的前端、後端、影像高頻區域、影像低位元區域或以上位置的組合；一第二影像互動裝置對該數位編碼影像進行解碼，以還原出該資料向量及該數位影像；及該第二影像互動裝置根據該資料向量所包含該物體之物理特徵資訊，顯示該數位影像。