TWI411292B - 實景虛擬化的編碼方法 - Google Patents

Description

實景虛擬化的編碼方法

本發明為一種將實景加以編碼的方法，達成實景播放與互動者的同步化，實景的資訊包含影格所對應的里程計、地面傾斜度、各個感測器的數值，互動者包含使用者的動作或使用者所操作器具的動作。

習知的虛擬實境都是由電腦模擬軟體來進行建模繪製與設計，可以對實際的風景進行三維建模，然而其所花費的時 間、人力與費用不但多，而且其逼真度究竟不如實際拍攝的景物。因此有一種技術是採用實際拍攝的環景照片來取代風景的建模，然則這樣的風景照片究竟無法產生連續感，例如GOOGLE MAP所提供的街景。因此利用實際拍攝風景的影片成為實景，並且使其具有類似虛擬實境可以與觀看者或使用者互動的特性，確實是一種值得開發的技術與產品。

本發明的目的之一，是利用實際拍攝風景的影片成為實景，並且使其具有類似虛擬實境可以與觀看者或使用者互動的特性。

本發明的另一目的，在拍攝實景時，同時提供拍攝地點的其他資訊，例如經緯度座標、海拔高度、氣味或空氣成分(例如海風的味道、魚腥味等)、風速、溫度、溼度等，因為藉由提供更多的感測器，例如氣體感測器、溫濕度計、風速計、全球定位系統(GPS)、高度計等，加到攝影機，可以達到更完整的紀錄。

本發明的另一目的，是提供一種將實景加以編碼的方法，達成實景播放與互動者的同步化，實景的資訊包含影格(frame)所對應的里程計、地面或水面傾斜度、各個感測器的數值，互動者包含使用者的動作或使用者所操作器具的動作。

本發明的另一目的，是提供將實景影片片段加以編碼後，與作動者互動時，可以對該段實景提供可追溯的使用履 歷，方便統計熱門路線與推薦路線或人氣路線，或各種排行榜，提供後來者運動時參考。另外，也可紀錄運動者的生理狀況與體能進步性，對於每一路段可以分別紀錄個人的達成的難易程度，例如平均速度、完成時間、心跳等等。

本發明的另一目的，是提供將實景影片片段加以頭尾編碼，各片段可以依照頭尾編碼順序銜接，並且可以處理多重岔路的銜接，讓作動者進行選擇多重岔路的任一條路徑，因此可以將真正的道路網絡建立，讓使用者深入大街小巷。

為達上述目的，本發明對拍攝實景進行編碼的方法其步驟如圖一所示，步驟一1、影片拍攝，取得實景與對應的地理與環境感測資訊；步驟二2、影片片段編碼，將剪接過的影片片段依據連續影格 的數目或是岔路口設定為分段點；步驟三3、影格編碼，將影片片段之各影格與對應的地理與環境感測資訊按順序變成陣列資料檔；步驟四4、影片片段使用履歷紀錄。

步驟一1、影片拍攝

在移動拍攝寬廣視野時，可以採用環景拍攝或至少是一台攝影機，或是立體攝影機等，有助於虛擬化的後製，同時 也利用里程計與全球定位系統(GPS)提供拍攝位置等，此外還要提供拍攝地點的其他資訊，例如氣味或空氣成分(例如海風的味道、魚腥味等)、風速、溫度、溼度等，所以本發明提供更多的感測器，例如氣體感測器、溫濕度計、麥克風、風速計、高度計、照度計等，加到攝影機，就能達到更完整的紀錄。

此步驟之進行需要注意拍攝時，各個感測器的取樣頻率可能會有所不同，例如GPS每隔1秒取樣一次，主要取得經緯度資訊，影格可能的取樣頻率從每秒30-1000張，而里程計則為每秒20次，另外加速度計或傾斜計則為每秒30次等，其他感測器則有不同的取樣頻率，基本上取樣頻率需要涵蓋該感測訊號的頻寬，之後於步驟三3可以藉由內插進行依照影格為單元的編碼，完成陣列資料。

步驟二2、影片片段編碼

對拍攝的影片作剪接，去掉模糊不清或因紅燈暫停所拍的影片段，依據連續影格的數目或是岔路口設定分段點；若依據連續影格的數目為分段點，則影片片段長度基本上為固定，例如1-10 Mbyte。影片片段的資料格式如圖二所示，包括辨識碼(ID)、片段長度、影片格式、名稱、起始點經緯座標、結束點經緯座標、第一銜接影片片段的辨識碼(ID)、第二銜接影片片段的辨識碼(ID)等。此處要強調的是每一影片 片段的辨識碼(ID)都是唯一的，其編碼方式可以利用無線射頻辨識技術(RFID)的編碼方式來進行。藉由唯一性的辨識碼，可以有效管理數量龐大的影片片段，無論追蹤每一影片片段的拍攝履歷與被使用的履歷，都更為精準迅速。

實景影片分段的目的在於讓使用者能深入大街小巷，建立接近真實且雙向互通的道路網，提供多人競賽或共同參預使用。由於真實道路網常有多重岔路，所以利用分割技術，將實景影片分割成一固定長度的片段，而多重岔路的環景影片則自成一片段，片段加以頭尾編碼，亦即第一銜接點ID(向前銜接之影片片段的辨識碼)、第二銜接點ID(向後銜接之影片片段的辨識碼)，各片段依照頭尾編碼順序銜接，用來處理多重岔路銜接各分支路段，則使用合成技術。如此一來就能讓作動者進行選擇多重岔路的任一條路徑，將真正的道路網絡建立。

影片發送可以透過網路來下載，或是經由訂購或通路提供全區影片光碟，或是分區影片光碟給使用者或消費者。當影片載入電腦的記憶體內之後，基本上，由電腦提供一堆疊，可存放運動者所在之處為中心的多個影片片段。堆疊依照靠近運動者所在之處的距離遠近排序，其中前銜接點的影片為第一優先，後銜接點為第二優先，其餘依序排列其優先順序。

將前後銜接點的影片片段，裝置於堆疊裡。若遇到岔路時，銜接點一律為岔路口的環景片段。互動式影片播放或電 視播放，銜接點主要是影片片段前後的GPS經緯度資訊。

另外，實景影片分段的另一目的是對於播放器的播放內容，經由網路線上來操控。若是將影片片段切割成一小段，例如一分鐘，則如果沒有專屬的硬體解碼，是無法將影片連貫播放的，再者也可以在檔名上加密編碼，使得一般人不易破解。

步驟三3、實景影格編碼

實景影格編碼的格式如圖三所示，其中的影格序號就是每一影片片段所有影格按照拍攝順序加以排列或是依照剪接的順序加以排列，每一影格分別給予拍攝時其里程計測得的里程數、GPS所取得的經緯度座標、傾斜計所量測的地面傾斜度、由麥克風實際收錄的聲音或後製時所配的音樂或聲音、風速與風向計實際所量到或後製的風速與風向、氣體感測器所辨識或後製的氣味與濃度、照度計實際所量到或後製的照明、高度計所量測到的海拔高度、溫濕度計所量測到的溫濕度等。須要注意此處的影格內容，可以是至少一個攝影機所拍攝的組合影像，或是環景攝影機所拍攝的環景影像，或是立體攝影機所拍攝的立體影像。

對於連續的影格資料，可以直接複製在DVD的光碟片或其他儲存媒介如SD卡等之內，而其他的配對資料則藉由網路中控伺服器來解鎖傳送，如此一來，即使將該影片複製也無 法單獨使用，也就是說，對於影片可以分開去加以複製並傳播，而其他資料的配對可以分開由網路或經過認證的配送，以進行管制與有償的服務。

上述的影格的資料並非需要全部送出，而是要看使用者購買的機種是否有相關的配備來決定。在連上網路時，可由伺服器進行認證判斷上網的機種其配備的項目：例如三軸運動平台可模擬地面的起伏與傾斜；負載可因上下坡而調整；喇叭可撥放聲音或配樂；風扇可提供風速；合成氣體可提供氣味；可調燈光提供明暗；噴霧器可提供溼度或空調提供環境的溫溼度等。

步驟四4、影片片段使用履歷紀錄

對於運動者使用本發明之實景的狀況與紀錄，可以提供下列服務：將實景路段加以編碼後，與作動者互動時，可以對該段實景提供可追溯的使用履歷，方便統計熱門路線與推薦路線或人氣路線，或各種排行榜，提供後來者運動時參考。另外，也可紀錄運動者的生理狀況與體能進步性，對於每一路段可以分別紀錄個人的達成的難易程度，例如平均速度、完成時間、心跳等等。若有多人參與，也可加以紀錄其使用者辨識碼(USER ID)。利用使用者辨識碼(USER ID)可以減少隱私權的議題。圖四為利用類如無線射頻辨識系統(RFID)的唯一編碼技術追蹤影片片段使用履歷資料格式。

由於影片片段可搭配橢圓機、踏步機、跑步機、腳踏車、騎馬機、賽車、划船機等使用，因此機台辨識碼(Machine ID)必須提供給中控伺服器才可以分別判斷與進行分類比較。關於機台辨識碼(Machine ID)的內容，如圖五所示。

實施例一 互動式運動

對於散步、跑步、騎腳踏車、騎馬、賽車等運動，本發明可以搭配橢圓機、跑步機、自行車機、騎馬機、賽車機等健身器材來實現，利用一介面卡來與影片互動，本發明的實景虛擬較佳實施的硬體組成如圖六所示，包含健身器材11(另含速度、轉向器、負載)；情境模擬裝置12如喇叭、空調、可調照明、氣味產生機、電扇等；控制介面卡13可紀錄心跳、速度、轉向等、可調控負載變化、解碼播放、顯示、提供按鍵或觸控輸入，並利用USB介面與電腦15(PC or Netbook,or Notebook or Smartbook or MID)連接；或是利用無線方式例如藍牙或Wi-Fi等介面與電腦連線，多軸運動平台14可提供1-6軸的姿態變化，較常見的為偏擺(yaw)，前後傾斜(pitch)與滾轉(roll)三軸旋轉運動或是另加X、Y、Z三軸直線運動；DVD 16或SD卡等資料儲存媒介存放編碼實景影片或是固態的隨身碟存放編碼實景影片；投影機Projector 17可以提供大型螢幕投射與實景比 例相符的影片，當然投影機也可以大型電視螢幕替代；中控伺服器電腦18(PC or Netbook,or Notebook)則負責提供多人連線競賽的資訊交換以及管控互動資料檔。

以腳踏車為例，將圖六的模組透過網路聯機，可以提供多人共騎的體驗，多人共遊的體驗，或增加各種競賽的可能，例如環法大賽、環台大賽、環鎮大賽、環縣大賽等。利用本發明的技術，虛擬比賽容易舉行，不怕颳風下雨、白天黑夜都可以舉行，安全、不需要交通管制，不會有意外發生，車手不會互相碰撞，且公平不會有作弊。

實施例二 旅遊介紹或導覽

配合電視或投影機播放本發明所製作的數位內容於遊覽車上，其用途可以將街景或風景時光隧道化，溯及既往，望及未來。因為不同國家的節慶有不同景象，或是春夏秋冬各有美景，旅遊季節未必趕得上。例如在平日旅遊時，將某街道過年時人山人海的景象，或是將聖誕節的街景等同步播放於電視或投影機。或是白天時，播放夜晚的燈火通明的特殊景象。或是播放櫻花開滿街道的景象，或下雪的街景，或楓紅的街景。若是播放城市改建前，過去的街景，可以讓遊客了解與緬懷旅遊地的歷史。若是播放城市改建後，未來的街景，可以對遊客推銷旅遊城市與國家的遠景。

此實施例除了需要本發明已經事先拍攝的影片編碼之 外，載送旅客的運輸工具應配備精準定位系統，此定位系統可以全球定位系統(GPS)與地理資訊系統(GIS)的組合，但其精密應達0.5公尺以內，或是於車上加裝里程計，此里程計乃是附著於車輪，可利用電磁式或光電式或霍爾感測來達成。

由於原本的編碼影片即已具備精準的定位索引，所以可以同步播放與窗外所在地點相同的景物，但卻為不同的景象。由於乘坐大型運輸工具多半分成左邊與右邊，因此所提供的編碼影片可以在拍攝時就是至少270度的拍攝，不管旅遊者坐在前方、左邊、或右邊，都可以有對應的編碼影片可以對照。

因為人的眼睛有視覺暫留，所以影片1秒至少需要30影格，人所看到的影片內容才會平順；因此機台必須固定每1/30秒，就必須傳送里程給所對應的影格，以播放影片。

實施例三 『廣告***的影片片段』

將廣告片段視同影片片段，也是具有前後銜接點，因此當使用者抵達該廣告商店或風景名勝附近時，中控伺服器即可讀取光碟片或載入記憶體中的廣告片段，預先在畫面上與地圖上顯示該商店或風景名勝敦促使用者點選，之後，影片就會出現導引箭頭，讓使用者循箭頭指標前往參觀或消費，這些廣告片段基本上採用線上下載方式，導引箭頭也是線上提供，方便隨時更新。

實景虛擬化影片播放器，是可以對廣告計價，可以隨時***跑馬字幕，提醒運動者前往參觀選購，並以計算運動者觀看廣告的時間，作為收取費用的依據。

進一步，對於廣告之特殊景點(文化、特產販售等)可以利用視訊會議來達成網路購物的功能，也就是使用者選取特殊景點處的網路監控攝影機(IP Camera)與使用者自己的網路攝影機，透過SKYPE等視訊會議軟體的影像與對話來跟遠方的商店互動，例如觀看商品與詢價等，使用者還可以藉由踏步機，甚至WII的壓力踩踏板，前進與左右旋轉，當原地踏步，就表示於商店實景中行進；如果原地停止，則表示停留於商店實景的某處；如果原地轉向，則實景就會改變方向。一旦想購物，即可停下來透過SKYPE等視訊會議軟體的影像與對話來觀看遠方商店的商品與詢價等。如此一來，使用者透過此系統可以在家裡隨時到全世界購物去。

實施例四 多元化的多媒體地理

國家地理雜誌在拍攝各地風土人情，並未提供拍攝地點的其他資訊，例如世界座標、氣味或空氣成分(例如海風的味道、魚腥味等)、風速、溫度、溼度等，因此並不算完整的紀錄。如果我們提供更多的感測器，例如氣體感測器、溫濕度計、風速計、GPS、高度計等，加到攝影機，就能達到更完整的紀錄。如果能在不同季節或天氣之下，多次拍攝，這必然 可以讓紀錄更周全，同時可以讓互動導覽更為真實，人們可以更深入體驗。

另外本發明紀錄多路徑的風景，可以讓使用者有再探索的樂趣，例如對於多數人而言，去國外遊覽的地方，因為時間有限，經常是走馬看花，如果回國後，還想再仔細去回味或更深入了解，可以透過本發明的技術，邊運動邊回味，或是將一些來不及走完的行程，可以事後利用本發明的技術加以完成。如此一來，世界更會縮小其距離，人們更親近。

實施例五 預覽新環境

對於一個新城市的了解，可以在前往之前，先行加以模擬，可以減少陌生感。另外是搬到一個新城市，如果要自由行，也可以透過本發明的技術，來達成更快的熟悉這個新城市。

1‧‧‧步驟一--影片拍攝

2‧‧‧步驟二--影片片段編碼

3‧‧‧步驟三--影格編碼

4‧‧‧步驟四--影片片段使用履歷紀錄

11‧‧‧健身器材(另含速度、轉向器、負載)

12‧‧‧情境模擬裝置

13‧‧‧控制介面卡

14‧‧‧多軸運動平台

15‧‧‧電腦

16‧‧‧DVD存放編碼實景影片

17‧‧‧投影機(Projector)

18‧‧‧中控伺服器電腦

圖一 實景虛擬的影格資料格式

圖二 利用類如無線射頻辨識系統(RFID)的唯一編碼技術產生之實景虛擬的影片片段資料格式

圖三 實景虛擬化的影格資料格式

圖四 利用類如無線射頻辨識系統(RFID)的唯一編碼技術追蹤影片片段使用履歷的資料格式

圖五 實景虛擬的影格資料格式

圖六 本發明的實景虛擬較佳實施的硬體組成

1‧‧‧步驟一--影片拍攝

2‧‧‧步驟二--影片片段編碼

3‧‧‧步驟三--影格編碼

4‧‧‧步驟四--影片片段使用履歷紀錄

Claims (16)

1. 一種將實景多媒體加以編碼的方法，達成實景多媒體播放與互動者的動作同步化，其步驟包含步驟一、影片拍攝，取得實景影片與對應的地理/環境感測資訊，包含影格(frame)，每秒30-1000張、其所對應取得之經緯度座標、里程、地面或水面傾斜度、各個環境感測器的數值；步驟二、影片片段編碼，將已取得實景影片剪接成影片片段依據連續影格的數目或是岔路口設定分段點；步驟三、影格編碼，將已編碼的影片片段之每一影格分別給予內插或補間拍攝時其里程計測得的里程數與對應的地理/環境感測資訊按順序變成具有定位索引的陣列資料檔；步驟四、實景多媒體播放與互動者的動作同步化，乃是於每一固定取樣周期，取得互動者的動作產生的里程，到步驟三的陣列資料檔尋找該里程對應的影格將其播放。
2. 如申請專利範圍1所述的方法，進一步包含另一步驟：影片片段使用履歷紀錄，該履歷紀錄包含使用者辨識碼(USER ID)、使用者使用實景的狀況與紀錄，熱門路線與推薦路線或人氣路線的統計，或各種排行榜，提供後來者運動時參考；又，也可紀錄運動者的生理狀況與體能進步性，對於每一路段可以分別紀錄個人的達成的難易程度，包含平均速度、完成時間、心跳等等。
3. 如申請專利範圍1所述的方法，其中的里程計其精密度應達0.5公尺以內，附著於實景拍攝載具的車輪，可利用電磁式或光電式或霍爾感測來達成。
4. 如申請專利範圍1所述的方法，其中的環境感測器係至少包含氣體感測器、溫濕度計、風速計風向計、照度計、高度計等之一。
5. 如申請專利範圍1所述的方法，其中的互動者包含使用者或使用者所操作的器具。
6. 如申請專利範圍5所述的方法，其中使用者所操作器具是指至少為橢圓機、跑步機、自行車機、騎馬機、賽車機、划船機、滑雪機、滑翔機等健身器材之一。
7. 如申請專利範圍1所述的方法，其中實景影片播放與互動者動作的同步化實現，是利用一控制介面卡來讓使用者所操作器具與影片播放系統互動，透過原本的編碼影片即已具備精準的里程定位索引，所以可以同步播放與互動者動作產生里程對應所在地點相同的景物，控制介面卡可紀錄使用者心跳、速度、轉向等、可調控負載變化、解碼播放、顯示、提供按鍵或觸控輸入。
8. 如申請專利範圍7所述的方法，其中各影片播放系統進一步與中控伺服器電腦透過網路相連，以提供多人連線競賽的資訊交換以及管控互動資料檔，各別使用者的實景影片播放與各別使用者動作的同步化實現，仍是利用一各別使用者處的控制介面 卡來讓使用者所操作器具與影片播放系統互動，透過原本的編碼影片即已具備精準的里程定位索引，分別同步播放與各別使用者動作產生里程對應所在地點相同的景物。
9. 如申請專利範圍1所述的方法，其中的影片片段編碼是利用分割與合成的技術將實景影片片段加以頭尾編碼，各片段依照頭尾編碼順序銜接，用來處理多重岔路的銜接，讓作動者進行選擇多重岔路的任一條路徑，將真正的道路網絡建立。
10. 一種將實景多媒體加以編碼的方法，使該實景多媒體成為旅遊介紹或導覽多媒體地理資訊，配合電視或投影機播放該實景於載送乘客的運輸工具上需要已經事先拍攝的影片編碼之外，該載送乘客的運輸工具應配備精準定位系統，此定位系統可以全球定位系統(GPS)與地理資訊系統(GIS)的組合，其精密應達0.5公尺以內，或是於車上加裝里程計，此里程計乃是附著於車輪，可利用電磁式或光電式或霍爾感測來達成，由於原本的編碼影片即已具備精準的定位索引，所以可以同步播放與窗外所在地點相同的景物，但卻為不同的景象。
11. 如申請專利範圍10所述的方法，其中的編碼內容包含一、影片拍攝，取得實景影片與對應的地理與環境感測資訊；二、影片片段編碼，將剪接過的影片片段依據連續影格的數目或是岔路口作為分段點；三、影格編碼，將影片片段之各影格與對應的地理與環境感測資訊按順序變成陣列資料檔。
12. 如申請專利範圍10所述的方法，其中乘客多半分成左邊與右邊乘坐運輸工具，所提供的編碼影片在拍攝時至少為270度的拍攝，不管乘客坐在前方、左邊、或右邊，都有對應的編碼影片可以對照觀看。
13. 一種與實景多媒體虛擬互動的系統，其組成包含編碼過的實景多媒體，包含影格(frame)，每秒30-1000張、其所對應取得之經緯度座標、里程、地面或水面傾斜度、各個環境感測器的數值，該實景的每一影格對應的里程數精密應達0.5公尺以內；與該實景多媒體互動的硬體裝置包括健身器材，將使用者的運動狀況例如心跳、速度、轉向等傳送給控制介面卡，並接收控制介面卡提供的負載調控訊號；情境模擬裝置，將編碼過的實景多媒體中的溫溼度、氣味、風速、照度、聲音等訊息加以實施；電腦，有網路功能，與控制介面卡連接，播放編碼過的實景影片；控制介面卡，可紀錄使用者的心跳、速度、轉向等、可調控負載變化、解碼播放、顯示、提供按鍵或觸控輸入，並利用串列或USB介面或無線方式例如藍牙或Wi-Fi等介面與電腦連線；顯示裝置，顯示實景影片。
14. 如申請專利範圍13的系統，其中健身器材至少為橢圓機、跑 步機、自行車機、騎馬機、賽車機、划船器滑雪機滑翔翼等健身器材之一。
15. 如申請專利範圍13的系統，進一步加入多軸運動平台乘載運動健身器材，提供1-6軸的姿態變化，為至少偏擺(yaw)，前後傾斜(pitch)與滾轉(roll)三軸旋轉運動與X、Y、Z三軸直線運動之一。
16. 如申請專利範圍13的系統，進一步加入中控伺服器電腦，負責提供多人連線競賽的資訊交換以及管控互動資料檔。