TWI454140B - 與影片互動之方法與比賽模擬系統 - Google Patents

與影片互動之方法與比賽模擬系統 Download PDF

Info

Publication number
TWI454140B
TWI454140B TW099137552A TW99137552A TWI454140B TW I454140 B TWI454140 B TW I454140B TW 099137552 A TW099137552 A TW 099137552A TW 99137552 A TW99137552 A TW 99137552A TW I454140 B TWI454140 B TW I454140B
Authority
TW
Taiwan
Prior art keywords
movie
interacting
foreground
foreground objects
state
Prior art date
Application number
TW099137552A
Other languages
English (en)
Other versions
TW201145994A (en
Inventor
Shao Yi Chien
Jui Hsin Lai
Original Assignee
Univ Nat Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan filed Critical Univ Nat Taiwan
Priority to TW099137552A priority Critical patent/TWI454140B/zh
Publication of TW201145994A publication Critical patent/TW201145994A/zh
Application granted granted Critical
Publication of TWI454140B publication Critical patent/TWI454140B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011—Ball

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Processing Or Creating Images (AREA)

Description

與影片互動之方法與比賽模擬系統
本發明係有關一種互動方法與模擬系統，尤指一種與影片互動的方法與比賽模擬系統。
大多數人透過電視或電腦觀看運動比賽，已成為時下流行的娛樂之一，然而，現今運動比賽的轉播，人們往往只能單方面接受轉播單位所提供的影片內容，並不能與影片內容進行互動，故看完影片後不免有些失落。
為了使影片有更多層面的應用，逐漸發展出分離影片的技術，以對影片作適當的編輯。為了分離圖像的背景和前景，通常會使用Bayesian Matting技術來達成。然而，使用者必須針對每一圖像，指定出前景部份，才能正確的分割出前景物件。具體來說，使用者需手動切割出前景物件的約略輪廓，界定出背景區域、前景區域、以及前景背景交接部分的灰色區域後，如此再根據上述三個區域(Trimap)，帶入公式將前景物件分離出來。若整部影片都須利用上述繁雜的手動影像編輯程序來進行分離，實在是既費時且效率低。
因此，如何可提供觀眾一客製化、簡單製作及具互動性的比賽影片，並讓觀眾從中得到更大的娛樂效果，將會是本發明欲達到的 目標。
有鑑於此，本發明之一目的在於提供一種可與影片內容互動的方法，俾能與影片內容進行互動性操作，藉此增加觀賞上的樂趣。
本發明之另一目的在於提供一種可與影片內容互動的方法，俾能自動分離影片中的前景和背景，進而簡化影像處理的操作手續。
為達成上述目的，本發明提供一種與影片互動之方法，其藉由至少一動態偵測裝置與一影片進行互動。該方法之步驟包括：首先，執行一影片內容分解程序，用以將該影片分解出一背景場景以及複數個前景物件：接著，依據上述前景物件的狀態來分類成至少一事件資料庫；最後，根據使用者操作動態偵測裝置所偵測到的動態，從事件資料庫中選出適當的前景物件來顯示。其中，上述前景物件會依據動態偵測裝置所偵測到的動態依序顯示於背景場景上。
本發明之再一目的在於提供一種比賽模擬系統，可藉由分析不同參賽者之比賽近況，藉以模擬出各個參賽者彼此間的比賽勝負。
為達成此一目的，本發明提供一種比賽模擬系統，其包含一資料庫與一處理單元。此一處理單元將至少一參賽者之至少一比賽影片分解出複數個前景物件，並根據這些前景物件之動向，分類出參賽者之動向類別以儲存於資料庫，藉此根據資料庫中至少一參賽者與至少另一參賽者之動向類別，模擬這些參賽者之比賽結果。
以上之概述與接下來的詳細說明及附圖，皆是為了能進一步說明本發明為達成預定目的所採取之方式、手段及功效。而有關本發 明的其他目的及優點，將在後續的說明及圖式中加以闡述。
1‧‧‧影片傳輸架構
11‧‧‧傳送端
13‧‧‧接收端
15‧‧‧影片
17‧‧‧使用者
19‧‧‧控制器
151‧‧‧背景場景
153,71,73,721,723‧‧‧前景物件
Th‧‧‧高門檻值
Tl‧‧‧低門檻值
33‧‧‧畫面
31‧‧‧背景畫面
CF1,CF2‧‧‧連續畫面片段
4‧‧‧前景資料庫
41‧‧‧發球資料庫
43‧‧‧閒置資料庫
45‧‧‧打擊資料庫
47‧‧‧移動資料庫
A‧‧‧起始位置
B‧‧‧目的位置
P1,P2,Pn‧‧‧路徑
P‧‧‧中繼點
75‧‧‧鏡頭
S801-S825‧‧‧步驟
第一圖係為本發明所揭示之影片傳輸架構之示意圖。
第二圖係為本發明所揭示之前景與背景分開傳送之示意圖。
第三圖係為本發明所揭示之自動分離前景背景之演算法示意圖。
第四圖係為本發明所揭示之前景資料庫之示意圖。
第五圖係為本發明所揭示之力道表之示意圖。
第六圖係為本發明所揭示之移動路徑趨近之示意圖。
第七A圖係為本發明所揭示之動作平滑化之示意圖。
第七B圖係為本發明所揭示之三維架構之示意圖。
第八圖係為本發明所揭示之與影片互動之方法之一具體實施例之步驟流程圖。
首先，請參考第一圖，係為本發明所揭示之影片傳輸架構之示意圖。影片傳輸架構1包含一傳送端11以及至少一接收端13。傳送端11可藉由網路或有/無線傳輸方式傳送一影片15到接收端13，位於接收端13的一使用者17可依據一動態偵測裝置所偵測到的動態來與影片15中的內容進行互動，所述之動態偵測裝置可以是人工操作控制器(user-operated controller)、動態感測器(motion sensor)、影像感測器(image sensor)及上述之組合，而動態感測器又可包含Xbox 360動態感測器，且人工操作控制器亦可包含一控制器(remote controller)19。 控制器19的輸入操作包括鍵盤的指令輸入、滑鼠的指令輸入、搖桿的指令輸入、WiimoteTM的動態輸入、PlayStation® Move的動態輸入或其組合。具體來說，接收端13可以是桌上型電腦、筆記型電腦、或電視等。
本發明之一具體實施例中，影片15在傳輸過程中，係將影片15中的背景及前景物件分開傳送。以下以網球比賽的影片為例，如第二圖所示，影片15中的背景場景151，如球場場地(stadium)、觀眾席(未於圖中顯示)等等，以及前景物件153，如球員或網球，是被分開傳送至接收端13儲存。針對如何分解影片的前景與背景之技術，請詳見台灣專利申請案號98111457、98118748與美國專利申請案號12/458,042、12/556,214，於此將不予以贅述。
有鑑於習知技術為了分離前景背景，而需要手動切割前景輪廓之缺失，本發明係事先設定代表像素差異量的門檻值來自動界定出前景和背景。請參考第三圖，該圖係為本發明所揭示之自動分離前景和背景之演算法示意圖。如第三圖所示，本發明預先設定一高門檻值Th、一低門檻值Tl，並將影片15中的每一畫面(frame)33一一與背景畫面31比較其差異量。若畫面33與背景畫面31之差異量小於低門檻值Tl的部份，則歸類為背景區域(background region)；差異量大於高門檻值Th的部份，則歸類為前景區域(foreground region)；而差異量介於高門檻值Th以及低門檻值Tl之間的範圍，則歸類為待確定的灰色區域(unknown or gray region)，其通常為前景物件153的邊緣，如此便自動定義出三個區域(Trimap)。之後再利用公式(1)將灰色區域的每一像素與一透明參數值α進行權重運算，以獲得前景物件的邊緣顏色C。最後再藉由公式(2)將邊緣顏色C代入運算後，進而獲得精確的前景物件之輪廓。其中，公 式(1)、(2)常運用於影像擷取技術(Matting Procedure)，故詳細之變數定義與其理論請參閱Jui-Hsin Lai等人(同於本申請案之發明人)所揭露之文獻”Tennis Real Play”，其於西元2010年4月10日投稿ACM Transactions on Multimedia Computing,Communication and Applications。
C=αF+(1-α)B, (1)
接著，請參考第四圖，該圖係為本發明所揭示之前景資料庫之示意圖。如第四圖所示，影片15係由複數個連續畫面片段CF1,CF2,…組成，每一連續畫面片段CF1,CF2,…又由複數個畫面組成。在傳送過程中，分離出來的每一張前景物件153會依據所對應的連續畫面片段CF1,CF2,…之時間軸而連續地儲存於一前景資料庫4中。其中，前景資料庫4可設置於接收端13或傳送端11。本發明提出一個模仿人類行為的模型，其包括了影片中人物可能具有的行為狀態，一具體實施例中，前景資料庫4會依據所儲存的前景物件153的狀態或動作來分類成至少一事件資料庫，以網球影片為例，影片中的球員不外乎係進行發球(serving)、閒置(standby)、打擊(hit)、移動(moving)等行為狀態，故可依據上述狀態將前景資料庫4分為發球資料庫41、閒置資料庫43、打擊資料庫45以及移動資料庫47等四種事件資料庫，分別儲存相關狀態的前景物件153。在實作上，事件資料庫可藉由指標指到前景資料庫4中相關的前景物件153來進行分類，或是另外獨立地儲存。且事件資料庫會依照影片內容的種類而儲存各種狀態的動作，故不以揭露者為限。
建構完整的事件資料庫後，便可根據動態偵測裝置所偵測到的動態，從事件資料庫中選出符合遊戲情境的前景物件153，並依序 顯示於背景場景151上，其中所偵測到的動態可包含使用者17直接以肢體呈現的體感操作(例如Xbox 360的動態感測)，或使用者17藉由操控控制器19呈現的體感操作(例如WiimoteTM、PlayStation® Move的動態輸入)，其中上述之體感操作可包含指向定位、動作感應及其組合。。一較佳實施例中，由於分離出來的前景物件153之大小不一，故須對事件資料庫進行正規化程序，以調整前景物件153顯示於背景場景151上的位置以及大小，使能自然呈現。詳細的正規化資料庫之技術，請參見台灣專利申請案號98111457、98118748與美國專利申請案號12/458,042、12/556,214，於此將不予以贅述。
為了能逼真地與影片15互動，本發明更進一步地分析並紀錄每一個前景物件153之運動方向及速度。以網球影片為例，根據影片15中的擊球音量或球運動的速度，可分析每一張分離出來的球員影像原本在影片15中的正反手拍之擊球力道、擊球角度等資訊，並統計上述資訊的對應關係來產生一力道表，如第五圖所示。力道表統計了球員的正、反手拍在各角度下的擊球力道，當使用者17揮手或揮動控制器19來擊球時，除了依據使用者17本身的揮動力道，更可依據使用者17的揮動角度來查詢力道表中相對應的擊球力道，進而控制擊出球的運動方向及速度。如此在與影片互動時，除了根據使用者揮動控制器的力道，亦考量到該名球員的運動習慣，將兩者加以權重計算後，即可決定球擊出時的方向與速度，而增添了逼真效果。
值得一提的是，除了上述分析並紀錄影片15中球員的擊球力道及方向外，影片15裡面球員(前景物件153)表現出來的特性，如跑步路徑、擊球動作、擊球習性等，都可根據比賽影片內容分析得知，故不以揭露者為限。如此在與影片互動時，會根據先前分析的前景物 件153(球員)之特性，選出適當的前景物件153來顯示，因此畫面中呈現的人物不只在視覺效果栩栩如生，其動作也會根據原本球員之特徵習性來微調，進而增加了真實感。再者，有了影片中各球員的特性分析資訊，我們亦可讓兩球員彼此對打，根據所分析的各球員(前景物件153)的特性來預測球員彼此之間對打時的勝敗結果。
再來，請參考第六圖，該圖係為本發明所揭示之移動路徑趨近之示意圖。在遊戲進行中，若背景場景151上的前景物件153欲從起始位置A移動到目的位置B，原則上應要顯示前景物件153直接從起始位置A到目的位置B的最短路徑，才符合遊戲、畫面的真實性與流暢度。然而，當無法從移動資料庫47中找出單一連續畫面片段即符合上述最短路徑時，則必須藉由串連不同的連續畫面片段，以顯示出最趨近A B直線的路徑。如第六圖所示，本發明欲從移動資料庫47中找出趨近於從起始位置A到目的位置B的路徑之至少一組連續的前景物件153，並依序顯示之。具體來說，以起始位置的前景物件153為基本，一一比對移動資料庫47的連續畫面片段(亦即複數條的路徑P1,P2,…Pn)，進而決定一中繼點P，其中，藉由加權計算中繼點P到目的位置B的距離D1、中繼點P到A B直線的距離D2以及連續畫面片段之畫面張數，以判斷路徑P1,P2,…Pn中何者為較趨近A B直線的最佳路徑。當D1與D2越短，即為選定之路徑越趨近A B直線。當連續畫面片段之畫面張數越多，表示此一連續畫面片段中前景物件153移動的距離越長，亦即越接近目的位置B，因此藉由較少之連續畫面片段即可完整顯示起始位置A到目的位置B的路徑，並且顯示出的前景物件153之移動亦越流暢。如第六圖所示，P1路徑即為最趨近A B直線之路徑。之後再將中繼點P設為新的起始 位置，並找出更趨近於直線P B的移動路徑，如此重複上述步驟，直到找到所有趨近於直線A B的路徑A-A1,A1-A2,A2-B後，就把上述路徑所對應的前景物件153片段依序顯示於背景場景151上。
一較佳實施例中，可事先簡化前景物件153的移動方向，例如，設計每30度一個路徑，進而限制前景物件153最多只有12個移動方向，如此可節省運算時間和系統資源。另外，因為在單一連續畫面片段中，連續的前景物件153彼此間之動作具有連貫性，然而一連續畫面片段與另一連續畫面片段彼此間的前景物件153動作卻不連貫，因此，用以趨近路徑A B之連續畫面片段個數越少越好，以儘可能避免在切換顯示不同連續畫面片段時，彼此間前景物件153不連貫所導致的動作不協調。換言之，經上述運算後決定的中繼點P與起始位置A之間的連續前景物件153是愈多張愈好，因為當單一連續畫面片段中的連續前景物件153愈多，亦即單一連續畫面片段中前景物件153連續移動的距離越長，如此就可用最少數目的連續畫面片段來趨近路徑A B，進而增加顯示出的前景物件153之動作流暢度。
本發明會依據所偵測到的動態，如使用者17直接以肢體呈現或藉由操控控制器19呈現的體感操作，來將適當的前景物件153依序顯示於背景場景151上，當使用者17改變動作之狀態(動態)時，會從狀態所對應的事件資料庫中選擇適當的前景物件153顯示。具體來說，當使用者17欲發球時，會從發球資料庫41找出適當的前景物件153顯示；而進行擊球時，會從打擊資料庫45找出適當的前景物件153顯示；以此類推。藉由本發明提出的人物行為模型及其相對應之事件資料庫，即使畫面上的人物在切換狀態時，一樣可以很順場的連接畫出來。
一具體實施例中，本發明的前景物件153具有一材質屬 性(texture)以及一輪廓屬性(shape)，分別包括前景物件153的衣著顏色和形體相對關係等資訊，如此可根據目前顯示的前景物件153之材質屬性以及輪廓屬性之相似度，來決定下一張顯示的前景物件153，因而提高了畫面的流暢感。然而，當畫面中的人物從一個狀態跳到另一個狀態時，例如從閒置狀態到打擊狀態時，前後顯示的前景物件153之輪廓會差距較大，而造成視覺上的不適。因此本發明會從兩張前後顯示的前景物件153的畫面之間內插至少一平滑畫面，用以提高顯示畫面的流暢感。請參考第七A圖，該圖係為本發明所揭示之動作平滑化之示意圖。如第七A圖所示，前景物件71、73係原本儲存於事件資料庫，當計算出前景物件73欲顯示於前景物件71之後，由於兩前景物件71、73的材質屬性和輪廓屬性差異較大，為了自然銜接兩畫面，會模擬相似於兩前景物件71、73的平滑畫面，而在顯示畫面時，即將前景物件721、723內插於其中，如此便可提高整個遊戲的流暢性。
除了考量前景物件153的流暢性，繪示出逼真的背景場景151，也是增加整體視覺效果的關鍵之一。為了將從原本影片15中分解出來的二維背景場景151切換到各種不同視角顯示，本發明提出了一種影像生成技術，係結合了3D繪圖技術來達到場景能逼真地在各種視角下呈現。請參考第七B圖，該圖係為本發明所揭示之三維架構之示意圖。如第七B圖所示，二維的背景場景151可分成複數個區域，以網球背景為例，約略可分成(1)~(7)的區域，分別表示地板、遠端之下方觀眾區、遠端之上方觀眾區、左邊之下方觀眾區、左邊之上方觀眾區、右邊之下方觀眾區以及右邊之上方觀眾區等區域，輪廓出以上區域便可建構出三維架構(3D structure)。之後再帶入公式(3)，將鏡頭75所看出去三維架構中的各點座標[X Y Z 1轉換成二維座標[x y 1]，進而建構出二維 的背景場景151。其中，f0表示鏡頭75的焦距，[xO,yO]係座標的偏移(offset)參數，而[R | t]表示鏡頭75的旋轉(rotation)及轉換(translation)之矩陣參數，因此在遊戲進行時，當任意切換到不同視角(如切換到第一人稱視角)來打球或觀看球賽時，可藉由三維架構來獲得目前鏡頭75下所應呈現的二維場景畫面，因此帶來新穎視覺效果。
最後，請參考第八圖，該圖係為本發明所揭示之與影片互動之方法之一具體實施例之步驟流程圖，以下以網球比賽影片為例。其中相關之系統架構及其演算法概念請同時參閱第一圖至第七圖。如第八圖所示，此互動方法包括下列步驟：
首先，傳送端11執行一影片內容分解程序，用以將欲傳送的影片15分解出一背景場景151以及複數個前景物件153後，依序傳至接收端13(步驟S801)；在傳送的過程中，傳送端11會判斷每一分離出的前景物件153之狀態，由接收端13依據前景物件153的狀態來分別儲存至相對應的事件資料庫(步驟S803)；傳送端11亦會根據影片15中的擊球音量或球運動的速度，來統計前景物件153的運動方向及速度，進而產生力道表(步驟S805)。一具體實施例中，傳送端11亦可傳送完整的影片15至接收端13後，由接收端13執行影片內容分解程序；而分離出來的前景物件之狀態，亦可由接收端13進行判斷後進行分類，且可由接收端13分析每一前景物件153來產生力道表，故不以揭露者為限。
接著，當影片接收完成(步驟S807)，所有的資料庫及相關資訊皆建構完成後，使用者17便可根據所偵測到的動態來與影片15互 動，例如，使用者17操控控制器19，開始進行網球比賽遊戲，與原本的影片15互動(步驟S809)。遊戲一開始，會先從發球資料庫4找出一張前景物件153(球員)顯示於畫面上的背景場景151(網球場)上，之後便根據所偵測到的動態，如使用者17藉由晃動或輸入控制器19而下達的操作指令，從事件資料庫中選出欲顯示之適當的前景物件153(步驟S811)，例如，當使用者17作勢要把迎面而來的球打回去時，便從打擊資料庫45找出最符合當時擊球角度的前景物件153來顯示，其中，擊球力道除了根據使用者17揮動的力道外，亦會一併參考力道表來控制球移動的方向和速度。
由於原本分離出的前景物件153會因為與鏡頭的距離而大小不一，故從事件資料庫中選擇出欲顯示的前景物件153後，須先執行一正規化程序，來調整前景物件153位於背景場景151上的位置於大小(步驟S813)，才能顯示正規化後的前景物件153(步驟S815)。
再來，會根據所偵測到的動態，如使用者17或控制器19的操作情形來判斷畫面中的前景物件153是否進入移動狀態(步驟S817)；若否，則繼續根據所偵測到的動態或控制器19而下達的操作指令，選出適當的前景物件153來顯示(步驟S811)；若是，則執行一移動路徑趨近程序，用以找出趨近於移動路徑之連續的前景物件來顯示(步驟S819)，具體來說，會先偵測目前顯示的前景物件153所在的起始位置以及預設前景物件153之後欲移至的目的位置後，就從移動資料庫47找出趨近於從起始位置到目的位置的路徑之至少一組連續的前景物件153，再依序顯示所找到的連續前景物件153之畫面片段。
在顯示前景物件153的過程中，會隨時判斷下一張欲顯示的前景物件153與目前顯示的前景物件153的差異是否過大(步 驟S821)，例如差異量超過一預設的臨界值。若否，則繼續根據控制器19而下達的操作指令，選出適當的前景物件153來顯示(步驟S811)；若是，則執行一動作平滑程序，係於下一張欲顯示的前景物件153之前內插至少一平滑畫面，來銜接畫面的流暢感(步驟S823)。
最後，判斷使用者17是否欲結束遊戲(步驟S825)，若否，則繼續步驟S811之程序；若是，則完成這一輪的互動遊戲。
值得注意的是，上述判斷前後顯示的前景物件153之差異量及其相關處理(步驟S821-S823)亦可於執行移動路徑趨近程序(步驟S817-S819)之步驟之前進行，故不以揭露者為限。
藉由以上實例詳述，當可知悉本發明之與影片互動之方法，係將影片內容進行分離後，利用上述介紹的演算法來將前景物件依據玩家的操作情形與遊戲情境，適當地依序顯示於背景上，進而達到與影片互動的效果，增加了觀賞影片的娛樂性。且本發明亦利用門檻值來自動界定出前景和背景，如此避免須手動割出每一前景的輪廓來進行分離程序，故大大提高了影像處理的效率及便利性。
根據前述內容，本發明更提出一種比賽模擬系統，以期達到預測比賽勝負之目的。其中相關之方法請參考上述第一圖至第八圖的說明。此一系統包含一資料庫(如前景資料庫4)與一處理單元。此一處理單元將至少一參賽者之至少一比賽影片分解出複數個前景物件153，並根據這些前景物件153之動向，分類出此一參賽者之動向類別以儲存於資料庫中，藉此根據資料庫中此一參賽者與至少另一參賽者之動向類別，模擬這些參賽者彼此競賽之比賽結果。
同理，上述之另一參賽者之動向類別亦可藉由處理單元將另一參賽者之至少一比賽影片分解出複數個前景物件153，並根據這些 前景物件153之動向，分類出另一參賽者之動向類別以儲存於資料庫中。另外，上述之比賽可包含一對一比賽(例如網球、桌球、拳擊、跆拳)、多對多比賽(例如雙打網球、籃球、足球)、一對多比賽(例如棒球)。
以拳擊、跆拳之類的格鬥比賽而言，上述之前景物件153即包含對打之參賽者，並且這些前景物件153之動向包含這些參賽者之運動方向、運動速度與位移距離。再者，處理單元統計這些前景物件之運動方向、運動速度與位移距離，以產生分別對應於這些參賽者之力道表，藉此判斷這些參賽者之攻擊力道，而上述之動向類別包含揮拳狀態、踢腿狀態、防禦狀態與移動狀態，並且各狀態儲存於資料庫中分別與之對應的事件資料庫。
以跆拳比賽為例，處理單元將一參賽者A最近一場(或多場)跆拳比賽影片分解出複數個前景物件，並且根據前景物件之動向(參賽者A之運動方向、運動速度與位移距離)產生參賽者A之動向類別(揮拳狀態、踢腿狀態、防禦狀態、移動狀態等等)。前述之各種狀態儲存於資料庫中，並且每一種狀態分別儲存於對應該狀態之事件資料庫，例如處理單元根據參賽者A之手、腳的運動方向、運動速度與位移距離分析出複數個揮拳狀態，並將這些揮拳狀態儲存於資料庫之揮拳資料庫。當然，資料庫更可包含踢腿、防禦、移動資料庫等等。同理，處理單元亦可將另一參賽者B最近一場(或多場)跆拳比賽影片分析出各種運動狀態，藉此處理單元即可根據參賽者A、B之各種動向類別(揮拳狀態、踢腿狀態、防禦狀態、移動狀態等等)模擬出兩者之比賽結果，其中當處理單元模擬某一參賽者之揮拳狀態、踢腿狀態時，將根據該參賽者之力道表模擬出揮拳、踢腿之攻擊力道。
再以網球比賽為例，處理單元分別將球員A、B(亦即參賽者)最近一場(或多場)網球比賽影片分解出複數個前景物件，並且根據前景物件153之動向(球員A、B與一網球之運動方向、運動速度、位移距離)分別產生球員A、B之動向類別(發球狀態、閒置狀態、打擊狀態、移動狀態等等)。同樣地，前述之各種狀態分別儲存於對應該狀態之事件資料庫中。另外，處理單元更依據前景物件之動向產生分別對應於球員A、B之力道表，並根據球員A、B之各種動向類別判斷球員A、B發球、打擊時的擊球力道，以藉由綜合所有動向類別與擊球力道等參數模擬出該場網球比賽之勝負結果。
由於一般市面上的遊戲，都是遊戲開發工程師動用很多人力去繪畫遊戲裡面的球員、場景等物件，故往往一款遊戲需要耗費很多時間與人力來完成。然而透過本發明提出的與影片互動方式及比賽模擬系統，可利用影片來輕易生成任何一種遊戲。亦即，一場影片一旦播放完畢，便可藉由本發明所揭示的方法來將影片內容取出以產生遊戲，觀賞者馬上可以享受最新的遊戲內容，而毋需耗費人力來建構人物模型或是繪畫球場。上述嶄新的遊戲生成方式，是目前遊戲廠商無法達成的目標，除了節省許多人力物力，更增添了娛樂生活的趣味性。
惟，以上所述，僅為本發明的具體實施例之詳細說明及圖式而已，並非用以限制本發明，本發明之所有範圍應以下述之申請專利範圍為準，任何熟悉該項技藝者在本發明之領域內，可輕易思及之變化或修飾皆可涵蓋在以下本案所界定之專利範圍。
S801-S825‧‧‧步驟

Claims (28)

  1. 一種與影片互動之方法，係藉由至少一運動偵測器的動作與一影片進行互動，其步驟包括：執行一影片內容分解程序，用以將該影片分解出一背景場景以及複數個前景物件；依據該些前景物件的狀態來分類儲存於至少一事件資料庫；及根據該運動偵測器所偵測到的一動作，從該事件資料庫中選出適當的該前景物件來顯示；其中，該些前景物件會依據該運動偵測器所偵測到的該動作依序顯示於該背景場景上，並且其中每一該前景物件具有一材質屬性以及一輪廓屬性，根據該材質屬性以及該輪廓屬性之相似度，來決定下一張顯示的該前景物件。
  2. 如申請專利範圍第1項所述之與影片互動之方法，其中該影片係由複數個連續畫面片段組成，且分解出的該些前景物件係依據所對應的該些連續畫面片段之時間軸而連續地儲存於該事件資料庫中。
  3. 如申請專利範圍第2項所述之與影片互動之方法，更包括執行一移動路徑趨近程序，包括以下步驟：偵測目前該前景物件所在的一起始位置；預測該前景物件欲移動的一目的位置；及從該事件資料庫中找出趨近於從該起始位置到該目的位置的路徑之至少一組連續的該些前景物件，並顯示之。
  4. 如申請專利範圍第3項所述之與影片互動之方法，其中該影片內容分解程序更包括以下步驟： 設定一高門檻值、一低門檻值以及一透明參數值；比較該背景場景以及該影片的差異；及將該背景場景與該影片之差異介於該高門檻值以及該低門檻值之間的範圍，與該透明參數值進行權重運算，進而切割出該些前景物件的輪廓。
  5. 如申請專利範圍第4項所述之與影片互動之方法，更包括以下步驟：執行一統計程序，其統計該影片中的該些前景物件的運動方向及速度，來產生一與之對應的力道表；其中，當偵測到該動作時，會一併根據該力道表來控制該前景物件顯示於該背景場景的運動方向及速度。
  6. 如申請專利範圍第4項所述之與影片互動之方法，更包括以下步驟：執行一正規化程序，用以調整該前景物件顯示於該背景場景上的位置以及大小。
  7. 如申請專利範圍第4項所述之與影片互動之方法，更包括以下步驟：執行一路徑簡化程序，將該些前景物件的移動方向進行簡化。
  8. 如申請專利範圍第1項所述之與影片互動之方法，更包括執行一動作平滑程序，係於兩張顯示該些前景物件的畫面之間內插至少一平滑畫面，用以提高顯示畫面的流暢感。
  9. 如申請專利範圍第1項所述之與影片互動之方法，其中當改變該動作之狀態時，會從狀態所對應的該事件資料庫中選擇適當的該前景物件顯示。
  10. 如申請專利範圍第9項所述之與影片互動之方法，其中該些前景物件的狀態包括一發球狀態、一閒置狀態、一打擊狀態以及一移動狀態，其分別儲存於所對應之該些事件資料庫中。
  11. 如申請專利範圍第1項所述之與影片互動之方法，其中該背景場景為一球場場地，該前景物件為一球及至少一個球員。
  12. 如申請專利範圍第1項所述之與影片互動之方法，其中該運動偵測器包含人工操作控制器(user-operated controller)、運動感測器(motion sensor)、影像感測器(image sensor)及其組合。
  13. 如申請專利範圍第1項所述之與影片互動之方法，其中所述之運動感測器係為一Xbox 360運動感測器。
  14. 如申請專利範圍第12項所述之與影片互動之方法，其中該人工操作控制器的輸入動作至少包括下列之一或其組合：鍵盤的指令輸入、滑鼠的指令輸入、搖桿的指令輸入、WiimoteTM的動態輸入、PlayStation® Move的動態輸入。
  15. 如申請專利範圍第1項所述之與影片互動之方法，更包括：根據所儲存之該些前景物件之特性，選出適當的該些前景物件來顯示。
  16. 如申請專利範圍第15項所述之與影片互動之方法，其中該影片為一網球影片。
  17. 如申請專利範圍第16項所述之與影片互動之方法，其中該些前景物件之特性包括該網球影片中球員的跑步路徑、擊球動作、擊球習性之特性。
  18. 如申請專利範圍第17項所述之與影片互動之方法，更包 括：根據該些前景物件的特性來預測與該些前景物件相關之球員的勝敗結果。
  19. 如申請專利範圍第1項所述之與影片互動之方法，更包括：從該背景場景中建構出一三維架構；及根據該三維架構轉換出不同視角的二維畫面。
  20. 一種比賽模擬系統，包含：一資料庫；及一處理單元，將至少一參賽者之至少一比賽影片分解出複數個前景物件，並根據該些前景物件之動向，分類出該參賽者之動向類別以儲存於該資料庫，藉此根據該資料庫之該參賽者與至少另一參賽者之動向類別，模擬該些參賽者之比賽結果。
  21. 如申請專利範圍第20項所述之比賽模擬系統，其中上述之另一參賽者之動向類別可藉由該處理單元將另一參賽者之至少一比賽影片分解出複數個前景物件，並根據該些前景物件之動向，分類出另一參賽者之動向類別以儲存於該資料庫。
  22. 如申請專利範圍第20項所述之比賽模擬系統，其中上述之該些參賽者之比賽包含一對一比賽、多對多比賽、一對多比賽。
  23. 如申請專利範圍第20項所述之比賽模擬系統，其中上述之前景物件包含該些參賽者，其中該些前景物件之動向包含該些參賽者之運動方向、運動速度與位移距離。
  24. 如申請專利範圍第23項所述之比賽模擬系統，其中上述之前景物件之動向更包含該些參賽者之攻擊力道，其中該處理單元統計該些前景物件之運動方向、運動速度與位移距離，以產生分別對 應於該些參賽者之力道表，藉此判斷該些參賽者之攻擊力道。
  25. 如申請專利範圍第20項所述之比賽模擬系統，其中上述之動向類別包含揮拳狀態、踢腿狀態、防禦狀態與移動狀態，並且各狀態儲存於該資料庫中分別與之對應的事件資料庫。
  26. 如申請專利範圍第23項所述之比賽模擬系統，其中上述之前景物件更包含一球，其中該些前景物件之動向更包含該球之運動方向、運動速度與位移距離。
  27. 如申請專利範圍第26項所述之比賽模擬系統，其中上述之前景物件之動向更包含該些參賽者之擊球力道，其中該處理單元統計該些前景物件之運動方向、運動速度與位移距離，以產生分別對應於該些參賽者之力道表，藉此判斷該些參賽者之擊球力道。
  28. 如申請專利範圍第26項所述之比賽模擬系統，其中上述之動向類別包含發球狀態、閒置狀態、打擊狀態與移動狀態，並且各狀態儲存於該資料庫中分別與之對應的事件資料庫。
TW099137552A 2010-06-08 2010-11-01 與影片互動之方法與比賽模擬系統 TWI454140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW099137552A TWI454140B (zh) 2010-06-08 2010-11-01 與影片互動之方法與比賽模擬系統

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW99118563 2010-06-08
TW099137552A TWI454140B (zh) 2010-06-08 2010-11-01 與影片互動之方法與比賽模擬系統

Publications (2)

Publication Number Publication Date
TW201145994A TW201145994A (en) 2011-12-16
TWI454140B true TWI454140B (zh) 2014-09-21

Family

ID=45064869

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099137552A TWI454140B (zh) 2010-06-08 2010-11-01 與影片互動之方法與比賽模擬系統

Country Status (2)

Country Link
US (1) US20110300933A1 (zh)
TW (1) TWI454140B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101593344B1 (ko) * 2011-11-10 2016-02-18 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 이력 플레이어 데이터를 이용한 추론적인 렌더링
WO2013084078A1 (en) 2011-12-09 2013-06-13 Empire Technology Development Llc Predictive caching of game content data
TWI464696B (zh) * 2012-09-12 2014-12-11 Ind Tech Res Inst 動作比對方法與動作比對系統
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9354794B2 (en) 2014-07-07 2016-05-31 Google Inc. Method and system for performing client-side zooming of a remote video feed
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
KR101728408B1 (ko) 2014-09-22 2017-04-19 (주)에프엑스기어 방향 예측을 이용한 저 레이턴시 시뮬레이션 장치 및 방법과, 이를 위한 컴퓨터 프로그램
US9009805B1 (en) 2014-09-30 2015-04-14 Google Inc. Method and system for provisioning an electronic device
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
WO2018237256A1 (en) 2017-06-22 2018-12-27 Centurion VR, LLC SIMULATION OF VIRTUAL REALITY
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080015031A1 (en) * 2006-05-01 2008-01-17 Nintendo Co., Ltd., Game program and game apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60143081D1 (de) * 2000-04-07 2010-10-28 Dartfish Sa Automatisiertes stroboskop-verfahren für videosequenzen
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080015031A1 (en) * 2006-05-01 2008-01-17 Nintendo Co., Ltd., Game program and game apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jui-Hsin Lai 1 and Shao-Yi Chien, "Tennis Video Enrichment with Content Layer Separation and Real-Time Rendering in Sprite Plane", MMSP 2008 Jui-Hsin Lai 1 and Shao-Yi Chien, "Baseball and Tennis Video Annotation with Temporal Structure Decomposition", MMSP 2008 *
Jui-Hsin Lai 1 and Shao-Yi Chien, "TENNIS VIDEO WITH SEMANTIC SCALABILITY", 2009 IEEE Jui-Hsin Lai, Chieh-Chi Kao, and Shao-Yi Chien, "SUPER-RESOLUTION SPRITE WITH FOREGROUND REMOVAL", ICME 2009 *

Also Published As

Publication number Publication date
TW201145994A (en) 2011-12-16
US20110300933A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
TWI454140B (zh) 與影片互動之方法與比賽模擬系統
US11836929B2 (en) Systems and methods for determining trajectories of basketball shots for display
US10821347B2 (en) Virtual reality sports training systems and methods
Miles et al. A review of virtual environments for training in ball sports
US20240100445A1 (en) Virtual reality simulation of a live-action sequence
CN102947777B (zh) 用户跟踪反馈
CN101049545B (zh) 用于控制游戏进行的方法
US20100203969A1 (en) Game device, game program and game object operation method
CN102918489A (zh) 限制化身姿势显示
JPWO2009028690A1 (ja) ゲーム装置、ゲームプログラム及びゲーム装置の制御方法
US20220401841A1 (en) Use of projectile data to create a virtual reality simulation of a live-action sequence
KR102495213B1 (ko) 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법
KR20070033127A (ko) 체감형 볼 스포츠 게임 장치
Min et al. Development of a virtual pitching system in screen baseball game
Park et al. AR table tennis: A video-based augmented reality sports game
WO2022013561A1 (en) Extended reality emulation of a real-life sporting event
CN117065363A (zh) 一种基于深度学习的足球游戏及比赛实时预测***
NZ753620B2 (en) Virtual reality simulation
Katz et al. Sport Technology Research Laboratory, University of Calgary
JP2012179128A (ja) プログラム、情報記憶媒体、ゲーム装置及びサーバシステム