TW201913300A - 人機互動方法及系統 - Google Patents

Abstract

本發明提供一種人機互動方法及系統，包括：自包含指定對象的圖片和/或視頻數據中獲取指定對象的至少一個外形特徵；利用外形特徵生成一虛擬角色；自包含指定對象的音頻和/或視頻數據中獲取指定對象的至少一個語音特徵；識別用戶的語音指示，在一本地或雲端資料庫中查詢該對應該語音指示的回覆語句；以及透過虛擬角色以指定對象的語音特徵及回覆語句與用戶進行互動。

Description

人機互動方法及系統

本發明係有關於人機互動領域，尤其係有關於一種人機互動方法及系統。

目前，智慧設備的發展越來越迅速，人機互動成為了重點研究的重點之一。現有的智慧設備透過智慧應用，如Siri，來實現人機互動。然而這些虛擬角色僅僅提供語音的回饋，且語音的語調、節奏以及口音非常單一，不會變化。

此外，在當前社會背景下，智慧陪護機器人的需求越來越多，無論是對於老人還是小孩的陪護，僅僅透過單一的語音的互動和回饋，對於被陪護人員而言是遠遠不夠的。

本發明為了克服上述現有技術存在的缺點，提供一種人機互動方法及系統，其可實現形象化的虛擬角色互動。

根據本發明的一個方面，提供一種人機互動方法，包括：自包含指定對象的圖片和/或視頻數據中獲取指定對象的至少一個外形特徵；利用外形特徵生成一虛擬角色；自包含指定對象的音頻和/或視頻數據中獲取指定對象的至少一個語音特徵；識別用戶的語音指示，在一本地或雲端資料庫中查詢該對應該語音指示的回覆語句；以及透過虛擬角色以指定對象的語音特徵及回覆語句與所述用戶進行互動。

選擇性地，自包含指定對象的音頻和/或視頻數據中識別一個或多個對話，每個對話包括語音指示及回覆語句，將至少一個所述對話與虛擬角色關聯地儲存在本地或雲端資料庫中。按所述對話的出現頻率進行排序，將出現頻率最高的N個對話與虛擬角色關聯地儲存在本地或雲端資料庫中，N為大於0的整數。每個所述對話還包括語音特徵，不同的語音指示對應不同的語音特徵。

選擇性地，還包括：識別用戶的語音指示查詢相對應的回覆動作；虛擬角色以該回覆動作進行互動。自包含指定對象的視頻數據中識別至少一個對話，每個對話包括語音指示、回覆語句及回覆動作，將一個或多個所述對話與所述虛擬角色關聯地儲存在所述本地或雲端資料庫中。顯示虛擬角色還包括將虛擬角色顯示於一虛擬場景中。自包含指定對象的視頻數據中識別至少一個對話，每個所述對話包括語音指示、回覆語句及形成虛擬場景的場景特徵，將至少一個對話與虛擬角色關聯地儲存在本地或雲端資料庫中。場景特徵包括時間、地點、天氣中的一項或多項。

選擇性地，虛擬角色的外形特徵和語音特徵經由更新的圖片、音頻、視頻數據而擴增。外形特徵包括性別、年齡、身材比例、服裝樣式、髮型以及五官中的至少一項。語音特徵包括語調、節奏以及口音中的至少一項。

本發明還提供一種人機互動系統，包括：分析模組，配置成：自包含指定對象的圖片和/或視頻數據中獲取指定對象的至少一個外形特徵；利用外形特徵生成一虛擬角色；自包含所述指定對象的音頻和/或視頻數據中獲取指定對象的一個或多個語音特徵；顯示模組，配置成顯示所述虛擬角色，所述虛擬角色具有所述指定對象的外形特徵；語音處理模組，配置成識別用戶的語音輸入中的語音指示，在一本地或雲端資料庫中查詢該對應該語音指示的回覆語句，並透過虛擬角色以所述指定對象的語音特徵及回覆語句與用戶進行互動。

與現有技術相比，本發明具有如下優勢：

(1)透過圖片、音頻、視頻數據中識別指定對象的外形特徵以及語音特徵，以實現對應指定對象的虛擬角色的全息投影和會話回饋。

(2)除了採用本地或雲端資料庫中通用的會話情況，透過圖片、音頻、視頻數據還可以識別當前虛擬角色對於語音指示的回覆語句、回覆動作及相關的虛擬場景，使得虛擬角色更貼近指定對象。

(3)透過多次輸入的圖片、音頻、視頻數據或文字數據，可對虛擬對象的外形特徵及語音特徵進行更新和完善。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

現在將參考附圖更全面地描述實施例實施方式。然而，實施例實施方式能夠以多種形式實施，且不應被理解為限於在此闡述的實施方式；在圖中相同的附圖標記表示相同或類似的結構，因而將省略對它們的重複描述。

下面結合附圖描述本發明提供的多個實施例。

下面首先參見第1圖，第1圖顯示了根據本發明實施例的人機互動方法的流程圖，包含下列步驟：

步驟S101：自包含指定對象的圖片和/或視頻數據中獲取所述指定對象的一個或多個外形特徵。

具體而言，外形特徵可以包括性別、年齡、身材比例、服裝樣式、髮型以及五官中的一項或多項。無法從圖片和/或視頻數據中識別出的特徵，可透過用戶手動輸入或者向用戶提供模板以供選擇。

在一些變化例中，可以供一模板庫，在包含指定對象的圖片和/或視頻數據中識別外形特徵的參數，按照參數與模板庫進行匹配，將相似度最高的模板作為最終決定的外形特徵。例如，對於眼睛，可從圖片和/或視頻數據中識別指定對象的眼睛的參數，包括：寬度、高度、寬度與臉長的比例、高度與臉長的比例、內眼瞼和外眼瞼的高度差等。依據這些參數可在模板庫中匹配到相應的眼型，例如桃花眼、瑞鳳眼、睡鳳眼、柳葉眼、杏眼、狐狸眼、銅鈴眼、龍眼、丹鳳眼和小鹿眼等等。利用模板庫中該眼型的數據作為外形特徵。

步驟S102：利用外形特徵進行3D人物建模以生成一虛擬角色。

具體而言，利用上述識別的、輸入的、選擇的外形特徵，於3D建模軟體中進行人物建模，以生成一虛擬角色。該虛擬角色具有指定對象的外形特徵。

步驟S103：自包含指定對象的音頻和/或視頻數據中獲取指定對象的一個或多個語音特徵。

具體而言，語音特徵包括語調、節奏以及口音中的一項或多項。進一步地，可透過包含指定對象的音頻和/或視頻數據識別指定對象的語音波形圖。依據波形圖中的頻率、強度、振幅等信息獲得語調、節奏以及口音等語音特徵。具體而言，語調可依據聲波圖中的頻率來確定。節奏可透過超過某一設定振幅與下一次超過某一設定振幅的時間差來確定。口音可透過不同口音的模板匹配來確定。

進一步地，虛擬角色的外形特徵和語音特徵經由更新的圖片、音頻、視頻數據而增加或更新。

步驟S104：全息投影虛擬角色，虛擬角色具有對應指定對象的外形特徵。

步驟S105：識別用戶的語音指示，在一本地或雲端資料庫中查詢該對應該語音指示的回覆語句。

在一些實施例中，本地或雲端資料庫中儲存有通用的回覆語句。在一些變化例中，可自步驟S101和步驟S103中的音頻和/或視頻數據識別一個或多個對話，每個對話包括語音指示及回覆語句，將一個或多個對話與虛擬角色關聯地儲存在本地或雲端資料庫中。較佳地，按對話的出現頻率進行排序，將出現頻率最高的N個對話與所述虛擬角色關聯地儲存在本地或雲端資料庫中，N為大於0的整數。由此，可直接透過構建虛擬角色的數據來儲存與該虛擬角色互動時可能出現的會話，這樣可以使得虛擬角色更貼近指定對象。

步驟S106：所述虛擬角色以指定對象的語音特徵回饋所述回覆語句以與用戶進行互動。

在一個變化例中，可自步驟S101和步驟S103中的音頻和/或視頻數據識別的對話還可以包括語音特徵，不同的語音指示對應不同的語音特徵。例如，某些語音指示對應的語音特徵節奏較快，語調較高，虛擬人物應以該較快的節奏和較高的語調來播放回覆語句，以表示愉快的情緒；某些語音指示對應的語音特徵節奏較慢，語調較低，虛擬人物應以該較慢的節奏和較低的語調來播放回覆語句，以表示低落的情緒。

在另一個變化例中，虛擬對象在回饋回覆語句的同時還可進行回覆動作。回覆動作可以包括虛擬對象的動作、表情等。具體而言，當識別用戶的語音指示，還需在一本地或雲端資料庫中查詢該對應該語音指示的回覆語句及回覆動作。虛擬角色以指定對象的外形特徵回饋回覆動作，並以指定對象的語音特徵回饋回覆語句以與用戶進行互動。可自步驟S101和步驟S103中的音頻和/或視頻數據識別一個或多個對話，每個對話包括語音指示、回覆語句及回覆動作，將一個或多個對話與虛擬角色關聯地儲存在本地或雲端資料庫中，以使虛擬對象在播放回覆語句時更為生動。

在另一個變化例中，在全息投影虛擬角色時還可使虛擬角色位於一虛擬場景中。該虛擬場景的場景特徵可以包括時間、地點、天氣中的一項或多項，且場景特徵可由用戶指定，也可自動生成或變換。

具體而言，當識別用戶的語音指示，還可在一本地或雲端資料庫中查詢對應該語音指示的回覆語句及虛擬場景。虛擬角色位於虛擬場景中並以指定對象的語音特徵回饋回覆語句以與用戶進行互動。與上述實施例類似，本變化例可自包含指定對象的視頻數據中識別一個或多個對話，每個對話包括語音指示、回覆語句及形成虛擬場景的場景特徵，將一個或多個對話與虛擬角色關聯地儲存在本地或雲端資料庫中。進一步地，虛擬場景的場景特徵可自包含指定對象的視頻數據中識別的各語句中出現與時間、地點、天氣相關的詞，則將該詞作為虛擬場景的場景特徵。虛擬場景的場景特徵也可自包含指定對象的視頻數據中識別光線方向、明暗或者環境對象（例如，建築、傢俱、道路等可以判斷大致地點的環境對象）來確定。在另一些變化例中，用戶還可輸入用戶與該指定對象的關係，例如，朋友、家人等。

在上述實施例的又一個變化例中，將上述步驟應用在一遊戲的應用場景中。具體而言，用戶首先打開第一設備（例如電腦），並在電腦上運行第一應用程式，該第一應用程式可以是一遊戲程式。該遊戲程式可具有多個角色，用戶可在該多個角色中選取一個或多個角色進行控制。在對角色的控制中，該角色的運行參數會發生變化，例如，角色在運行中獲取的金幣數量、裝備的武器、由於裝備武器進而改變的各項屬性值等等。當用戶在第一設備上運行該第一應用程式時，於第二設備上開啟第二應用程式，該第二應用程式與該第一應用程式關聯，並即時獲取該第一應用程式的數據。具體而言，當用戶打開第二應用程式時，第二應用程式可獲取用戶當前在第一應用程式中所選擇的角色，將該角色作為指定對象。第二應用程式可自第一應用程式獲得該指定對象的音視頻數據以生成虛擬角色，並在第二設備上顯示。用戶可向虛擬角色發出語音指示，語音指示例如可以是詢問指定對象當前獲得的金幣數量、詢問指定對象當前在隊伍中金幣數量的排名、詢問指定對象當前攻擊力、詢問指定對象敵對隊伍某一角色的攻擊力等等。這些語音指示的回覆語句可即時抓取第一應用程式中指定對象的運行參數，以向用戶回覆上述信息。由此，用戶可在遊戲過程中實現即時對話以獲取即時數據，並且該即時數據無需用戶在第一應用程式中進行額外的操作，以妨礙用戶在第一應用程式中對角色的控制。以上僅僅是本發明的一個具體應用場景，本領域技術人員可以實現更多的變化例，本發明並非以此為限。

下面參見第2圖，第2圖顯示了根據本發明實施例的建立或更新虛擬角色的流程圖。用戶開始進行虛擬角色的設置(步驟S201)。新建一虛擬角色(步驟S202)。獲取用戶輸入的虛擬角色的名稱。可以該虛擬角色的名稱來命名後續儲存的與該虛擬角色相關的特徵數據的文件(步驟S204)。可透過話筒、攝影機等輸入裝置採集指定對象的圖片、音視頻數據，或者可透過檔案傳輸來獲取包含指定對象的圖片、音視頻數據(步驟S205)。依據包含指定對象的圖片、音視頻數據分析獲得指定對象的外形特徵和語音特徵(步驟S206)。依據這些外形特徵和語音特徵構建一虛擬角色，使虛擬角色具有指定對象的外形特徵和語音特徵(步驟S207)。將分析獲得的指定對象的外形特徵和語音特徵與虛擬角色（例如虛擬角色的名稱）關聯地儲存在本地或雲端資料庫中(步驟S208)。

此外，在步驟S201之後，還可以執行步驟S203，修改虛擬角色。步驟S203之後，執行步驟S204至步驟S208以更新或增加已有虛擬角色的外形特徵和語音特徵。

第3圖顯示了根據本發明實施例的投影虛擬角色的流程圖。首先，顯示虛擬角色列表(步驟S301)。可以理解，該虛擬角色列表中的角色可以是在本地創建的，或其他用戶創建後上傳至雲端資料庫的。用戶在該虛擬角色的列表中選擇一虛擬角色，獲取用戶的選擇(步驟S302)。判斷本地資料庫中是否存在該虛擬角色(步驟S303)。若有，則執行步驟S304，在本地資料庫中獲取該虛擬角色的數據。若沒有，則執行步驟S305，在雲端資料庫中獲取該虛擬角色的數據。之後，執行步驟S306，利用全息投影，投影該虛擬角色。並在步驟S307中開始對話。

下面參見第4圖，第4圖顯示了根據本發明實施例的與虛擬角色互動的流程圖。首先是步驟S401，接收用戶的語音信息。步驟S402，自該語音信息中識別語音指示。語音指示可以是用戶所說的一句話。之後步驟S403，判斷本地資料庫中是否存在該語音指示的回覆語句。若存在，則執行步驟S404，自本地資料庫中獲取該回覆語句。若不存在，則執行步驟S405，在雲端資料庫中搜索語音指示，以獲取回覆語句。具體而言，上述語音指示的查詢，可以透過先查詢語音指示中的詞語，如果有多個查詢結果，再從結果中和語音指示的完整句子比較，選擇最接近的。如果都沒有查詢到則可將「對不起，我沒聽懂」或者「對不起，我不知道該如何回答」作為答覆語句。之後執行步驟S406，使虛擬角色根據語音特徵播放回覆語句以與用戶完成對話和互動。

下面參見第5圖，第5圖顯示了根據本發明實施例的人機互動系統的示意圖。人機互動系統500包括分析模組501、顯示模組503及語音處理模組505。

分析模組501配置成自包含指定對象的圖片和/或視頻數據中獲取所述指定對象的一個或多個外形特徵。分析模組501還配置成利用所述外形特徵生成一虛擬角色。分析模組501還配置成自包含所述指定對象的音頻和/或視頻數據中獲取指定對象的一個或多個語音特徵。顯示模組503配置成顯示所述虛擬角色，所述虛擬角色具有所述指定對象的外形特徵。語音處理模組505配置成識別用戶的語音輸入中的語音指示，在一本地或雲端資料庫中查詢該對應該語音指示的回覆語句，並使所述虛擬角色以所述指定對象的語音特徵回饋所述回覆語句以與所述用戶進行互動。

人機互動系統500還可以包括移動模組502、網路通訊模組504、感測器模組506及本地儲存模組507中的一個或多個模組。移動模組502可控制人機互動系統500進行移動。網路通訊模組504控制人機互動系統500與雲端資料庫相通訊。感測器模組506可以包括距離感測器、溫度感測器、攝影鏡頭等，以增加人機互動系統500的其他功能。本地儲存模組507可作為本地資料庫儲存虛擬角色的信息和會話式數據。

本發明提供的人機互動系統500可作為具有聊天功能的陪伴機器人，本提案所述之聊天機器人可以透過顯示模組503將虛擬人物顯示出來，例如透過投影的方式將虛擬人物投射成平面或立體圖像，用戶在使用陪伴機器人前，可以設定對象人物的外形、語音等特徵，達到不同用戶，在不同時間都有不同的聊天互動體驗。這樣的情感陪伴機器人應用相當廣泛，可以代替子女陪伴獨居老人，甚至可以使已經離世的親人或朋友音容再現，本發明的應用場景並非以此為限。

與現有技術相比，本發明具有如下優勢：

(1)透過圖片、音頻、視頻數據中識別指定對象的外形特徵以及語音特徵，以實現對應指定對象的虛擬角色的全息投影和會話回饋。

(2)除了採用本地或雲端資料庫中通用的會話情況，透過圖片、音頻、視頻數據還可以識別當前虛擬角色對於語音指示的回覆語句、回覆動作及相關的虛擬場景，使得虛擬角色更貼近指定對象。

(3)透過多次輸入的圖片、音頻、視頻數據或文字數據可對虛擬對象的外形特徵及語音特徵進行更新和完善。

綜上所述，雖然本發明已揭露實施例如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

S101～S106、S201～S208、S301～S307、S401～S406‧‧‧流程步驟

500‧‧‧人機互動系統

501‧‧‧分析模組

502‧‧‧移動模組

503‧‧‧顯示模組

504‧‧‧網路通訊模組

505‧‧‧語音處理模組

506‧‧‧感測器模組

507‧‧‧本地儲存模組

透過參照附圖詳細描述其示例實施方式，本發明的上述和其它特徵及優點將變得更加明顯。 第1圖顯示了根據本發明實施例的人機互動方法的流程圖。 第2圖顯示了根據本發明實施例的建立或更新虛擬角色的流程圖。 第3圖顯示了根據本發明實施例的投影虛擬角色的流程圖。 第4圖顯示了根據本發明實施例的與虛擬角色互動的流程圖。 第5圖顯示了根據本發明實施例的人機互動系統的示意圖。

Claims (10)

1. 一種人機互動方法，包括： 自包含指定對象的圖片和/或視頻數據中獲取所述指定對象的一個或多個外形特徵； 利用所述外形特徵生成一虛擬角色； 自包含所述指定對象的音頻和/或所述視頻數據中獲取所述指定對象的一個或多個語音特徵； 識別用戶的語音指示，在一本地或雲端資料庫中查詢對應該語音指示的回覆語句；以及 顯示所述虛擬角色並以該回覆語句與所述用戶進行互動，其中所述虛擬角色具有所述指定對象的至少一個所述外形特徵及至少一個所述語音特徵。
2. 如申請專利範圍第1項所述的人機互動方法，更包含： 自所述指定對象的所述音頻和/或所述視頻數據中識別一個或多個對話，各所述對話包括所述語音指示及所述回覆語句，將出現頻率最高的N個對話與所述虛擬角色關聯地儲存在所述本地或雲端資料庫中，N為大於0的整數。
3. 如申請專利範圍第2項所述的人機互動方法，其中各所述對話更包括所述語音特徵，用以對應不同的語音指示。
4. 如申請專利範圍第1項所述的人機互動方法，更包括： 識別所述用戶的所述語音指示，在所述本地或雲端資料庫中查詢對應該語音指示的所述回覆語句及回覆動作；以及 所述虛擬角色以所述指定對象的所述外形特徵回饋所述回覆動作，並以所述指定對象的所述語音特徵回饋所述回覆語句以與所述用戶進行互動。
5. 如申請專利範圍第1項所述的人機互動方法，其中顯示所述虛擬角色包括： 顯示所述虛擬角色，使所述虛擬角色位於虛擬場景中； 識別用戶的語音指示，在所述本地或雲端資料庫中查詢該對應該語音指示的回覆語句及所述虛擬場景；以及 所述虛擬角色位於所述虛擬場景中並以所述指定對象的語音特徵回饋所述回覆語句以與所述用戶進行互動。
6. 如申請專利範圍第5項所述的人機互動方法，更包括： 自所述指定對象的視頻數據中識別一個或多個對話，每個所述對話包括所述語音指示、所述回覆語句及形成虛擬場景的場景特徵，將一個或多個所述對話與所述虛擬角色關聯地儲存在所述本地或雲端資料庫中。
7. 如申請專利範圍第6項所述的人機互動方法，其中所述場景特徵包括時間、地點、天氣中的一項或多項。
8. 如申請專利範圍第1至7項中任一項所述的人機互動方法，其中所述虛擬角色的外形特徵和語音特徵經由更新的圖片、音頻、視頻數據而增加或更新。
9. 如申請專利範圍第1至7項中任一項所述的人機互動方法，其中所述語音特徵包括語調、節奏以及口音中的一項或多項。
10. 一種人機互動系統，包括： 一分析模組，配置成： 自包含指定對象的圖片和/或視頻數據中獲取所述指定對象的至少一個外形特徵； 利用所述外形特徵生成一虛擬角色；以及 自包含所述指定對象的音頻和/或所述視頻數據中獲取所述指定對象的一個或多個語音特徵； 一顯示模組，配置成顯示所述虛擬角色，所述虛擬角色具有所述指定對象的外形特徵；以及 一語音處理模組，配置成識別用戶的語音輸入中的語音指示，在一本地或雲端資料庫中查詢對應該語音指示的回覆語句，並使所述虛擬角色以所述指定對象的所述語音特徵回饋所述回覆語句以與所述用戶進行互動。