TWI836141B - 即時三維影像顯示的直播方法 - Google Patents

Abstract

本發明公開一種即時三維影像顯示功能的直播方法，其包括：對一實體進行取像，並獲取實體的一三維影像；通過一三維直播演算模組，進行三維影像的影像處理；根據一用戶終端的至少一視頻選擇條件，通過一人工智慧學習模組，產生一視頻調配組合；根據視頻調配組合與直播系統的使用環境，對三維影像進行優化；以及將優化後的三維影像，並配合用戶終端的視頻調配組合，將對應的三維影像顯示給用戶終端中。

Description

即時三維影像顯示的直播方法

本發明涉及一種直播方法，特別是涉及一種即時三維影像顯示功能的直播方法。

自從即時通訊軟體發明以來，經過許多年的發展及技術進步，已經從一開始的純文字雙方溝通、聊天，到現在已經進入到視訊加文字的溝通聊天方式，漸漸成為現代人們生活的一部分，除了傳統的即時通訊功能以外，經過一段時間的發展，已經產生了許多的應用，如直播購物、網路即時會議、直播娛樂等等。即時通訊的聊天方式在表情、自拍、濾鏡的表達方式進化到“將一切都圖片化、視頻化”的社交趨勢後，直播這個自我表達的新領域便順勢誕生了。

網路直播的購物方式特點在於現場直播，並經過後台很短的時間差距即刻將產品介紹內容廣播出去到網路上，所以用戶終端或是觀看者可即時的看到產品介紹內容，並可以與直播主進行即時的互動。如圖1所示，其顯示通過直播主12透過行動裝置的軟體(APP)在網路上向用戶終端11直播販售貨品的示意圖，這種交易與交流的方式，不同於傳統的電視購物及網電購物，電視購物採用預錄製再擇時播放的方式，所以購物並不是即時的；而傳統網店則是採用網上置放產品介紹圖片的掛網，再配合網店經營者的即時服務完成產品交易。

直播的可視性及即時的互動方式，漸漸受到現代人們追捧，因此，當這種方式應用在網路的購物方式上，可以大量的節省人們在外採購物品所耗費的時間，並且在購物的過程中，充滿了娛樂的樂趣，也提高了購物的即時性。但是這種網路即時觀看即時購物的方式，雖然有主持人或是專業人員在直播現場介紹產品，購物者在遠端的室內環境或是移動的情境中觀看顯示螢幕上的2D產品顯像而決定是否購物，由於不是在產品現場觀看，透過用戶終端的手機或是智能型電視機所看到的2D產品介紹影像，會產生與實際的物品有落差，等到消費終端收到實物產品時候，發現與心理的期待有不小的差異。

直播聊天、娛樂、購物的方式之所以會受到人們的喜歡及流行，除了即時、生動畫面的可看性，直播主的氣氛帶動之外，觀賞者更可以與直播主進行互動或是留言，顯示螢幕上可以直接顯示出觀賞者及直播主的文字互動結果，這種互動式的行為模式，可以很大的縮短雙方的溝通成本，在直播購物的應用例子中，就可以縮短購物者及銷售方的距離，並且這種方式也適合於手持行動裝置，例如手機、平板電腦等等。所以直播可應用的平台範圍相較於過去的各種即時通訊軟體、電視購物、平面式的網路購物更廣泛也更直接，也打破了過去的平台之間的界線。

但是目前的這種直播系統10，如圖1所示，仍然是依靠在傳統的二維(2D)視頻及影像顯示技術基礎上，因此如觀眾或購物的用戶終端11對於主播12的認識、直播購物依然存在與真實的世界有很大的理解差異。舉例來說，直播方或是銷售方在進行化妝品的說明場景，如圖2所示，由於傳統2D視頻上所廣播的影像20不具備深度的立體訊息，銷售方在直播現場已經塗抹了化妝品的顏色及形狀，在遠端的觀看者卻因為影像形成的限制，很難感受到直播現場光亮立體的色彩及光澤感，這對於產品的展示效果大大的打了折扣。這是因為這類的產品在展示時，沒有透過具備深度訊息的三維立體光影、及三維影像，無法表現出產品的完整特色。類似這樣的應用例子，在目前的二維影像顯示上，已經產生了很多限制。

故，如何通過設計的改良，來解決直播系統的平面顯示限制，並可以提高交流以及溝通的效率，已成為該項事業所欲解決的重要課題之一。

本發明所要解決的技術問題在於，針對現有技術的不足提供一種可以顯示三維影像的直播方法，且這種直播方法不會造成影像品質的低落或使用者觀看時的延遲問題產生。

為了解決上述的技術問題，本發明所採用的其中一技術方案是提供一種即時三維影像顯示功能的直播方法，其包括：對一實體進行取像，並獲取實體的一三維影像；通過一三維直播演算模組，進行三維影像的影像處理；根據一用戶終端的至少一視頻選擇條件，通過一人工智慧學習模組，產生一視頻調配組合；以及 根據視頻調配組合，對三維影像進行優化；以及將優化後的三維影像，並配合用戶終端的視頻調配組合，將對應的三維影像顯示在所述用戶終端中。

本發明的其中一有益效果在於，本發明所提供的直播系統與直播方法，為減少資料的即時流量，採用影像的二維與三維並存，混合編輯的方法，這樣觀看者可以把焦點放置在需要關注的產品或人物身上，以觀賞到最佳及最需要的三維影像，並且這種二維與三維影像並存的方式可以在使用者介面上進行選擇設置二維影像觀賞，或是三維影像觀賞，亦即表示使用者可以隨時變更需要觀看的三維影像位置，可以設置在區域性，或是全圖三維顯示。二維影像可以選擇三維左右式影像中的左影像或是右影像作為二維影像的顯示圖。另外，除了用戶終端裝置的立體顯示方式外，主播端或是雲端後台的控制端，也可以放置立體顯示裝置，以提供主播端的立體顯示預覽，及與用戶終端的互動立體顯示。另外，更可以讓用戶終端或直播主端通過三維直播影像的橫向縱向控制裝置可以容易選擇橫放或縱放的方式來進行三維直播顯示。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明所公開有關“即時三維影像顯示的直播方法”的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不背離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

[本發明直播方法實施例]

圖3顯示本發明之即時三維影像顯示的直播方法的步驟流程圖，圖4A為本發明的三維影像的影像調整的示意圖，圖4B為本發明的人工智慧學習模組學習用戶終端的使用習慣的示意圖，圖5為本發明的即時三維影像顯示功能的直播系統的系統方塊圖。

如圖3所示，並參考圖5的元件標示，本發明實施例提供一種即時三維影像顯示的直播方法包括下列步驟。在步驟S301中，對一實體進行取像，並獲取實體的一三維影像，應用一影像擷取模組51對直播主進行攝影，影像擷取模組51可以是三維影像機或二維影像機等，任何可以攝影的電子裝置都可以本發明的影像擷取模組51。

在本發明的較佳實施例中，影像擷取模組51為三維攝影機，要解決三維影像顯示訊息的不足，在本發明的較佳實施例中利用了三維影像的拍攝及編制，在此所述的三維影像拍攝，是採用即時的內嵌式三維的雙鏡頭攝影機擷取三維影像。或者，在不同實施例中，可以應用二維攝影機，先取得直播主的二維影像，再透過二維轉三維的影像轉換技術，將二維影像轉換為三維影像，如何擷取三維影像或如何將二維影像轉換為三維影像的技術為本領域具有通常知識者所熟知，在此不再贅述。為減少資料的即時流量，採用影像的二維與三維並存，混合編輯的方法，這樣用戶終端在觀看時可以把焦點放置需要關注的產品或人物身上，以觀賞到最佳及最需要的三維影像，並且這種二維與三維影像並存的方式，可以在使用者介面上進行選擇設置二維影像觀賞，或是三維影像觀賞，亦即表示用戶終端可以隨時變更需要觀看的三維影像位置，可以設置在區域性，或是全圖三維顯示。另外，在此需要說明的是，三維影像所需傳輸的資料量大於二維影像所需傳輸的資料量，本發明通過在影像中同時包括三維的圖像與二維的圖像的方式，可以在影像撥放時，傳輸相較於全圖三維顯示時較少的資料量，因此，可以維持直播時撥放的順暢度以及降低資料傳輸延遲(lag)的產生。

在步驟S302中，通過一三維直播演算模組52進行三維影像的影像處理。當本發明的影像擷取模組51接收到三維影像40後，會進行影像處理，因為用戶終端所使用的行動裝置並非相同，且用戶終端所在的位置或環境也不相同，不同的行動裝置會有不同的資料傳輸速度，且所在位置不同，其資料傳輸的速度也不同，因此在三維影像進行優化的步驟中，對三維影像進行切割調整，並根據視頻調配組合，通過人工智慧學習模組54，對三維影像進行優化。

本發明的即時三維影像顯示功能的直播方法會根據不同的資料傳輸速度調整影像。在現有的立體視覺技術上，都是將一整幅影像進行處理，因此往往產生至少二倍於二維影像的資料量，這樣的資料傳輸量對於即時傳輸的直播系統產生了相當大的障礙，最常碰到的情況便是影像掉禎(frame)、馬賽克或是延遲嚴重，降低了使用的樂趣及耐心。因此，本發明對於影像進行了自動偵測，並做前景、後景以及影像分割做適配效果外，如圖4A所示，更進一步將三維影像40進行影像容錯及校正，並偵測與分離三維影像40中的多個物體。若物體為人，對物體進行影像柔和濾光、背景虛化、濾鏡效果或美顏美肌等影像處理；若物體為物，對物體進行背景剝離、邊緣強化、增強對比或影像放大等影像處理；若物體同為人與物，對影像進行顏色、美顏、圖形邊緣最適化的計算。背景剝離是將三維影像40中的背景從影像中分離出來，因此可以在後續的步驟中根據用戶終端的使用習慣替換不同的背景。最後，輸出最佳化、經過影像處理後的三維影像40。

另外，在本發明的直播方法更包括對至少一用戶終端進行取像以獲取用戶終端的三維影像，進而執行多人互動的一立體顯示模式。本發明的直播方法除了可以三維顯示外，更可以使用直播主廣播的一對多的顯示模式，除了一般的一對一模式，還可以多人同時同步互動的立體顯示模式，因此本發明的直播方法除了可以提供直觀性，更可以提高娛樂的樂趣，對於避免購物的錯誤以外，可以增進人類生活的愉悅感。

透過本發明的三維影像的影像處理，除了可以給用戶終端一眼即可見到目標顯示區域，同時對於網路頻寬的資料裝載量可以有效的減少，本發明的直播方法對於即時的直播系統更是可以提高用戶終端的視訊體驗感，才不致產生視頻卡頓現象。在本發明中，三維影像可通過一三維直播演算模組52來達到影像處理的目的。本發明三維影像的影像處理，對網路頻寬的資料裝載量可以有效減少的原因在於，局部的三維影像資料相較於傳統的全圖三維資料量小很多，加上資料壓縮的技術，僅會比一般全圖二維影像的資料多些位元組(bytes)~幾千位元組的資料。

在步驟S303中，根據一用戶終端的至少一視頻選擇條件，通過一人工智慧學習模組54，產生一視頻調配組合。用戶終端的至少一視頻選擇條件為用戶終端對一直播系統的使用慣性，每個用戶終端的使用習慣都不相同，本發明的直播方法通過一人工智慧學習模組54，根據每個用戶終端在使用本發明的直播軟體時的使用慣性，顯示用戶終端最喜歡的撥放模式。隨著用戶終端的習慣，亦被人工智慧學習模組54的學習模式所記錄，下次用戶終端在開啟相同或是類似畫面，可以自動的顯示用戶終端習慣的區域或是以全圖的立體畫面顯示。

進一步來說，每個用戶終端都會有個人的使用習慣，因此，當用戶終端觀看直播時，本發明的人工智慧學習模組54會記錄每個用戶終端在觀看直播時的使用習慣。舉例來說，如圖4B所示，當用戶終端在觀看直播時，人工智慧學習模組54會記錄用戶終端的使用模式，例如，該用戶終端喜歡發送哪種禮物，用戶終端會針對那個特定的人、物或人與物進行二維影像與三維影像之間的切換。本發明的直播方法會記錄每個用戶終端在觀看直播時的使用習慣，並在人工智慧學習模組54中根據所記錄的每個用戶終端的觀看直播的使用習慣，當該用戶終端在下一次觀看直播時，人工智慧學習模組54會根據所記錄的使用習慣，顯示特定的直播畫面給該用戶終端，讓該用戶終端有較佳的直播觀看的使用經驗。

另外，在步驟S304中，根據視頻調配組合與直播系統的使用環境，對三維影像進行優化。對三維影像進行優化可以是根據直播系統的使用環境，例如觀眾數量與網路速度等，對三維影像進行優化。另外，在本發明的直播方法中，在拍攝的人物或是產品時，除了即時拍攝，也可以透過預先錄製的後台背景即時加入，增加虛擬現實的使用場景，方便用戶終端藉由使用場景變更，來提高環境使用愉悅體感。在本發明的直播方法中，除了針對每個用戶終端提供不同的視頻調配組合，產生優化後的三維影像外，還可以根據不同的用戶終端選擇不同的背景圖案。而且，本發明的直播方法為避免錯誤或是不恰當的影像或是視頻流放到終端，因此不論用戶終端是與直播主進行聊天或交流，甚至是欣賞直播主的節目表演，或是直播主銷售產品，在影像以相機即時攝入人體或物體以後，除了即時的影像三維編輯壓縮外，都會在直播雲端的後台上，經過人工智慧的自動檢查，或是人工檢查，檢查完成後，才會根據用戶終端的設定或是需求，與後台系統的正確對應後，發送出相對應的碼流(Data Streaming)到用戶終端的手機或是終端交互裝置上，用戶便可以看到該終端所設置及需求相對應的顯示結果。

在步驟S305中，優化後的三維影像，並配合用戶終端的至少一視頻選擇條件，將對應的三維影像顯示在用戶終端中。本發明的直播方法除了根據用戶終端的設置，在後台端提供用戶終端所需要的前述前景、後景的切割及顯示設置以外，亦會根據用戶終端的設置及需求，將相對應的三維影像發送到用戶終端的裝置上。舉例來說，用戶終端進行了禮物的購買支付，直播系統便會根據用戶終端購買的對應禮物，將該禮物的立體顯示影像或視頻，發送到直播主的裝置上，這樣直播主便可以在其裝置的顯示螢幕上，觀看到對應的立體禮物的視頻或影像。

通過本發明即時三維影像顯示功能的直播方法，除了可以根據不同的資料傳輸速度可以調整影像的輸出品質，還可以根據不同的用戶終端提供不同的體驗感受，讓每個用戶終端都獲得較佳的觀看經驗或購物經驗。

[本發明直播系統實施例]

圖5顯示本發明即時三維影像顯示的直播系統的系統方塊圖。如圖5所示，本發明之即時三維影像顯示的直播系統50包括一影像擷取模組51、一三維直播演算模組52、一直播系統伺服器53、一人工智慧學習模組54、一三維解碼器55與一三維顯示器56。

影像擷取模組51可以是三維影像機或二維影像機等，任何可以攝影的電子裝置都可以本發明的影像擷取模組51。在本發明的較佳實施例中，影像擷取模組51為三維攝影機，要解決三維影像顯示訊息的不足，在本發明的較佳實施例中利用了三維影像的拍攝及編制，在此所述的三維影像拍攝，是採用即時的內嵌式三維雙鏡頭攝影機擷取三維影像，這種內嵌於直播主所使用裝置內或是用戶終端的裝置(例如智能手機、平板電腦等)內的攝影機，由於是內嵌式，所以相機是內置在電子裝置上，兩個三維攝影機透過介面，如移動工業處理器介面(Mobile Industry Process Interface，MIPI)、串列介面等，與手持裝置端直接連接，再透過本發明的三維直播演算模組52及直播系統伺服器53連接，即時發送三維影像及視頻至用戶終端。對於個人電腦端或手持裝置，假如沒有裝設內嵌三維攝影機，可以採用外接式的單眼攝影機，或是雙眼立體相機，透過通用序列匯流排(USB)介面，或是無線(WIFI)方式，與主機連接，當連接到本發明的直播系統後，便根據二維轉三維或是立體相機的處理方式或流程進行資料處理。

或者，在不同實施例中，可以應用二維攝影機，先取得直播主的二維影像，再透過二維轉三維的影像轉換技術，將二維影像轉換為三維影像，如何擷取三維影像或如何將二維影像轉換為三維影像的技術為本領域具有通常知識者所熟知，在此不再贅述。影像擷取模組51可以安裝在直播主以及用戶終端的裝置上，可以同時取得直播主以及用戶終端的三維影像，以便於進行後續的直播主與至少一用戶終端的一對一模式或一對多的立體顯示模式。

三維直播演算模組52連接影像擷取模組51，其用於接收三維影像，並對三維影像進行優化，三維直播演算模組52可以是設置直播主或用戶終端的直播軟體中，或者三維直播演算模組52也可以安裝在直播系統伺服器53中，在此並不侷限。進一步來說，如圖6所示，並參考圖5，三維直播演算模組52包括一影像校正單元521、一影像分離單元522、一影像合成單元523、一影像修正單元524、一影像調配單元525、一影像管理單元526以及一視訊編碼單元527。影像校正單元521連接影像擷取模組51，接收三維影像，用於將所接收的三維影像做影像的校正，在擷取三維影像或影像在進行二維轉三維的過程中，都會產生些許的影像誤差或影音不同步的問題，通過影像校正單元521修正三維影像在擷取時或轉換時所產生的錯誤。影像分離單元522連接影像校正單元521，針對校正後的三維影像中的前景、後景、人或物進行分割，因此可以對於三維影像中的任何人或物進行特定的影像處理，舉例來說，將三維影像中的後景切割，因此可以在後續的影像處理中，在背景中加入特定的背景圖案，或者，在特定的直播動作中，將特定的物或影像進行三維顯示。

影像合成單元523連接影像分離單元522，分離後的三維影像，可以分別對於特定的圖案、人或物進行影像處理，處理後的特定圖案、人或物可以通過影像合成單元523進行結合，影像合成單元523並非只是將原本的三維影像還原，而是可以將個別立體化的圖案、人或物與其他的二維影像結合，更可以通過影像合成單元523在背景中加入特定的背景圖案。影像修正單元524連接影像調配單元525，影像修正單元524會根據不同圖案的取像選擇調整影像的視角，或者，影像修正單元524可以將三維影像中的禮物影像進行影像特效渲染效果，影像修正單元524也包括一般的影像邊緣強化、影像轉向、影像背景虛化、濾鏡效果或影像區域放大等功能。

影像調配單元525連接影像修正單元524，影像調配單元525會根據不同的網速或移動裝置的性能，調整三維影像的影像輸出。舉例來說，當網速較快，三維影像可以完整的輸出，當網速較慢時，可以局部顯示三維影像，其餘的影像以二維顯示。影像管理單元526連接影像調配單元525，將經過影像處理後的三維影像整合並輸出，視訊編碼單元527連接影像管理單元526，通過視訊編碼單元527將三維影像轉換為資料訊號，進而可將具有三維影像的資料訊號以有線或無線的方式傳送至直播系統伺服器53。

直播系統伺服器53無線連接三維直播演算模組52，其也可稱之為直播系統雲端，直播系統伺服器53用於接收具有三維影像的資料訊號，換句話說，每個直播主所直播的內容都會傳送至直播系統伺服器53，然後再透過直播系統伺服器53推播至用戶終端的裝置上。人工智慧學習模組54連接直播系統伺服器53，在本發明的較佳實施例中，人工智慧學習模組54可以設置在直播系統伺服器53，或者在不同實施例中，人工智慧學習模組54可以設置在不同的伺服器或電腦主機上，然後再以無線或有線連接的方式連接直播系統伺服器53，在此並不侷限。每個用戶終端的視屏選擇條件或稱使用習慣都會被人工智慧學習模組54的學習模式所記錄，並輸出一視頻調配組合。當下次用戶終端開啟相同或是類似畫面，人工智慧學習模組54可根據視頻選擇條件自動輸出視頻調配組合，換句話說，顯示用戶終端所習慣的顯示區域或是以全圖的立體畫面顯示。

因此，不論是用戶終端與直播主進行聊天、交流，或是欣賞直播主的節目表演，或是觀看直播主銷售產品，在影像以相機即時攝入人體或物體以後，除了即時的影像三維編輯、壓縮以外，都會在直播系統伺服器53的後台上，經過人工智慧學習模組54的自動檢查，檢查完成後，才會根據用戶終端的設定或是需求，與後台系統的正確對應後，發送出相對應的碼流(Data Streaming)到用戶終端的手機或是終端交互裝置上，用戶終端便可以看到該終端所設置及需求相對應的顯示結果。

三維解碼器55連接直播系統伺服器53，或者三維解碼器55也可以安裝在直播系統伺服器53上，且連接人工智慧學習模組54，透過三維解碼器55可將三維影像進行編碼以及解碼，在本發明的直播系統50中，可以應用三維解碼器55讓直播主可以跟多個用戶終端進行互動的立體顯示模式。直播系統50便會根據用戶終端購買的對應禮物，如圖7A所示，在直播主71的行動裝置72上，將禮物73的立體顯示影像或視頻顯示出來，這樣直播主71便可以在其行動裝置72的顯示螢幕74上，觀看到對應的立體禮物73的視頻或影像。三維顯示器56設置在直播主以及用戶終端的裝置上，直播主以及用戶終端的裝置以無線傳輸的方式接收從直播系統伺服器53所推播的三維影像，並透過三維顯示器56顯示在直播主以及用戶終端的裝置上。透過三維解碼器55讓本發明的直播系統50具有三維立體雙向編解碼技術，如圖7B所示，在行動裝置72上，除了直播主71可以發送立體視頻、圖像，給用戶終端75接收觀看立體視頻、圖像以外，用戶終端75也可以透過雙向立體顯像技術，對直播主71發送立體圖像或是視頻，使直播主71也可以即時收到用戶終端75的立體圖像訊息，可以快速的判斷出用戶終端75的需求，達成即時互動的目的。

另外，請參閱圖6，在用戶終端上，同樣包括在直播主端的三維影像的顯示功能，在用戶終端的裝置上，同樣包括本發明之直播系統50的功能，因為在觀看直播時，用戶終端也可以直播自己的影像給直播主看，或者，用戶終端也可以在接收到直播主端的視頻時，自動或手動切換二維與三維之間的轉換。因此，當用戶終端接收到二維或三維影像時，若接收到二維影像可轉換為三維影像，用戶終端的三維影像同樣會通過影像校正單元521、影像分離單元522、影像合成單元523、影像修正單元524、影像調配單元525以及影像管理單元526等元件，將三維影像進行影像處理，讓在用戶終端的三維影像同樣可以做全景三維影像的顯示，或者可以針對特定的人、物或人與物做三維影像的顯示，二維或三維影像的顯示在客戶終端上可以主動或手動的方式進行切換。如何通過三維直播演算模組52進行影像處理已於前面章節介紹過，因此，相關的影像處理細節在此不再贅述。

舉例來說，當用戶終端的資料傳輸速度不快，三維直播演算模組52會自動只顯示部分的三維影像在用戶終端的三維顯示器56上，而不會顯示全景的三維影像，或者，當網速過低時，三維直播演算模組52甚至會自動將三維影像切換至二維影像。另外，用戶終端的三維影像除了可以自動切換外，三維影像也可以手動切換，用戶終端可以手動指定特定的人、物或人與物做三維影像的顯示。換句話說，本發明的三維影像並不局限於全圖的三維影像，本發明的三維影像也可以是局部的三維影像，所謂局部的三維影像就是在影像中，特定的物件(人、物或人與物)是以三維顯示的方式呈現，其餘的圖像則是以二維顯示的方式呈現。通過這樣的影像呈現方式，可以降低在直播時資料的傳輸量，並可以降低直播顯示延遲的產生機率。

[本發明三維直播影像的橫向或者縱向顯示實施例]

另外，在本發明的較佳實施例中，更可以在直播主以及用戶終端的裝置上設置一三維直播影像的橫向縱向控制裝置80。因應用戶終端使用的裝置可能有習慣性的使用縱向顯示觀賞或是橫向直播顯示觀賞，本發明也提供三維直播影像的橫向縱向控制裝置80，對於移動裝置的顯示方向設定，這個顯示方向的設定可以在用戶終端的APP軟體上自動偵測或是人工設定，也適用在直播主的顯示終端及雲端的監測顯示上。因此，本發明的三維直播影像的橫向縱向控制裝置80包括一方向偵測器81與一控制介面82。

在自動偵測直播顯示方向上，方向偵測器81具備可以感測行動裝置或手持裝置內部的陀螺儀或是方向感測器的訊號，在直播主或用戶終端的裝置便會根據終端裝置回饋的方向訊號，對於直播顯示的方向進行調變。這個方向的調變會配合三維直播影像或視頻經過轉向後，進行了三維直播影像的顯示轉換，這個顯示轉換包括螢幕顯示的長、寬比或交織的配比(Interlace)的調整，以及軟體按鍵與功能顯示位置的調整，諸如此類跟3D立體直播顯示相關的轉向設置。前述的設定也包括了對於三維顯示器56的直播顯示功能設定。控制介面82設置在直播主與用戶終端的行動裝置或手持裝置上，進一步來說，控制介面82可以是控制器如一按鍵等，或者控制介面82也可以是一軟體使用介面，其包括控制器的功能。直播主或用戶終端可以透過方向偵測器81自動翻轉螢幕直播顯示，或者也可以透過控制介面82自行翻轉螢幕直播顯示，達到縱向直播顯示觀賞或是橫向直播顯示觀賞。

本發明的三維直播影像的橫向縱向控制裝置80具備有橫向與縱向兩方向皆可以顯示三維直播影像的功能，且具備自動或是人工轉向偵測及顯示調適。對於只有支持單方向的立體顯示終端，本發明在三維直播影像的橫向縱向控制裝置80更包括一直播影像調整器83，直播影像調整器83連接方向偵測器81，直播影像調整器83的判斷是否調整三維直播顯示的步驟可以如圖9所示，在步驟S901中，方向偵測器81偵測到行動裝置的擺設方向改變，或者，在步驟S902中，使用者通過控制介面82進行直播影像旋轉，在步驟S903中，直播影像調整器83判斷行動裝置是否橫向或縱向支持三維直播顯示，若否，在步驟S904中，直播影像調整器83可以提醒用戶終端，告知不支持轉向後的立體顯示，並透過直播影像調整器83改以二維的平面直播顯示方式在用戶終端的顯示器上，直到用戶終端再次轉向到可以顯示立體直播顯示，用戶終端便可以看到立體直播顯示。反之，在步驟S905中，直播影像調整器83調整轉向後的最佳化的三維直播影像。

[實施例的有益效果]

本發明的其中一有益效果在於，本發明所提供的直播系統與直播方法，為減少資料的即時流量，採用影像的二維與三維並存，混合編輯的方法，這樣觀看者可以把焦點放置需要關注的產品或人物身上，以觀賞到最佳及最需要的三維影像，並且這種二維與三維影像並存的方式，可以在使用者介面上進行選擇設置二維影像觀賞，或是三維影像觀賞，亦即表示使用者可以隨時變更需要觀看的三維影像位置，可以設置在區域性，或是全圖三維顯示。二維影像可以選擇三維左右式影像中的左影像或是右影像作為二維影像的顯示圖。另外，除了用戶終端裝置的立體顯示方式外，主播端或是雲端後台的控制端，也可以放置立體顯示裝置，以提供主播端的立體顯示預覽，及與用戶終端的互動立體顯示。另外，更可以讓用戶終端或直播主端通過三維直播影像的橫向縱向控制裝置可以容易選擇橫放或縱放的方式來進行三維直播顯示。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

10:直播系統 11:用戶終端 12:直播主 APP:軟體 20:影像 S301-S305:步驟 40:三維影像 50:直播系統 51:影像擷取模組 52:三維直播演算模組 521:影像校正單元 522:影像分離單元 523:影像合成單元 524:影像修正單元 525:影像調配單元 526:影像管理單元 527:視訊編碼單元 53:直播系統伺服器 54:人工智慧學習模組 55:三維解碼器 56:三維顯示器 71:直播主 72:行動裝置 73:禮物 74:顯示螢幕 75:用戶終端 80:三維直播影像的橫向縱向控制裝置 81:方向偵測器 82:控制介面 83:直播影像調整器 S901-S905:步驟

圖1為現有直播系統的示意圖。

圖2為現有直播軟體執行的示意圖。

圖3為本發明的即時三維影像顯示功能的直播方法的步驟流程圖。

圖4A為本發明的三維影像的影像調整的示意圖。

圖4B為本發明的人工智慧學習模組學習用戶終端的使用習慣的示意圖。

圖5為本發明的即時三維影像顯示功能的直播系統的系統方塊圖。

圖6為本發明的三維直播演算模組的影像處理的示意圖。

圖7A為應用本發明的直播系統顯示三維影像的示意圖。

圖7B為應用本發明的直播系統使直播主與用戶終端互動的示意圖。

圖8為本發明三維直播影像控制裝置的方塊圖。

圖9為本發明三維直播影像控制裝置的影像二維與三維直播轉換的判斷步驟流程圖。

S301-S305:步驟

Claims (10)

1. 一種即時三維影像顯示的直播方法，其包括：對當前的一實體進行取像，並獲取所述實體的一即時三維影像；通過一三維直播演算模組，進行所述即時三維影像的影像處理；根據一用戶終端的至少一視頻選擇條件，通過一人工智慧學習模組，產生一視頻調配組合；根據所述視頻調配組合與所述用戶終端的一使用環境，對所述即時三維影像進行優化；以及優化後的所述即時三維影像，配合所述用戶終端的至少一所述視頻選擇條件，將對應的優化後的所述即時三維影像顯示在所述用戶終端中；其中，所述即時三維影像為全圖三維影像或局部三維影像。
2. 如請求項1所述的即時三維影像顯示的直播方法，其中，在對當前的所述實體進行取像的步驟中，先透過至少一鏡頭取得二維影像，再將所述二維影像透過一三維影像模擬模組轉換為所述三維影像。
3. 如請求項1所述的即時三維影像顯示的直播方法，其中，在對當前的所述實體進行取像的步驟中，是直接透過多個鏡頭取得所述三維影像。
4. 如請求項1所述的即時三維影像顯示的直播方法，其中，在進行所述三維影像的影像處理的步驟中，是將所述即時三維影像進行影像容錯及校正，並偵測與分離所述即時三維影像中的多個物體。
5. 如請求項4所述的即時三維影像顯示的直播方法，其中，若所述物體為人，對所述物體進行影像柔和濾光、背景虛化、 濾鏡效果或美顏美肌。
6. 如請求項4所述的即時三維影像顯示的直播方法，其中，若所述物體為物，對所述物體進行背景剝離、邊緣強化、增強對比或影像放大。
7. 如請求項1所述的即時三維影像顯示的直播方法，其中，所述用戶終端的至少一所述視頻選擇條件為所述用戶終端對一直播系統的使用慣性。
8. 如請求項1所述的即時三維影像顯示的直播方法，其中，在對所述即時三維影像進行優化的步驟中，是根據所述直播系統的觀眾數量與網路速度，對所述即時三維影像進行優化。
9. 如請求項1所述的即時三維影像顯示的直播方法，更包括：對至少一所述用戶終端進行取像以獲取所述用戶終端的所述即時三維影像，進而執行多人互動的一立體顯示模式。
10. 如請求項1所述的即時三維影像顯示的直播方法，其中，在對所述即時三維影像進行優化的步驟中，是對所述即時三維影像進行切割調整，並根據所述視頻調配組合，通過所述人工智慧學習模組，對所述即時三維影像進行優化。

Images