TW201833903A

TW201833903A - 對話生成方法、裝置及儲存介質

Info

Publication number: TW201833903A
Application number: TW107106863A
Authority: TW
Inventors: 陳立
Original assignee: 大陸商騰訊科技（深圳）有限公司
Priority date: 2017-03-02
Filing date: 2018-03-01
Publication date: 2018-09-16
Also published as: CN106951468B; WO2018157700A1; CN106951468A

Abstract

本揭示實施例公開了一種對話生成方法、裝置及儲存介質。所述方法包括：獲取訓練對話語料以及對訓練對話語料的第一實體標注結果；根據訓練對話語料以及第一實體標注結果，訓練第一參數模型；基於第一參數模型，對訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料；根據訓練對話語料、第一實體標注結果、得到的重組擴展對話語料以及對重組擴展對話語料的第二實體標注結果，訓練第二參數模型，其中，第二參數模型用於識別使用者提問意圖；基於第一參數模型和第二參數模型生成對話。

Description

對話生成方法、裝置及儲存介質

本揭示涉及互聯網技術領域，特別涉及一種對話生成方法、裝置及儲存介質。

隨著科學技術以及經濟水準的快速發展，當今社會正在逐步往服務型社會轉變，以更好地為使用者提供服務。時下流行的智慧對話系統正是基於上述理念產生的。其中，智慧對話系統在接收到使用者終端發起的提問後，可以自動對該提問進行回答，在一來一往的提問與回答過程中，便形成了人與機器之間的對話。

本揭示實施例提供了一種對話生成方法，應用於一計算設備，所述方法包括：獲取訓練對話語料以及對所述訓練對話語料的第一實體標注結果；根據所述訓練對話語料以及所述第一實體標注結果，訓練第一參數模型；基於所述第一參數模型，對所述訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料；根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展對話語料以及對所述重組擴展對話語料的第二實體標注結果，訓練第二參數模型，其中，所述第二參數模型用於識別使用者提問意圖；基於所述第一參數模型和所述第二參數模型生成對話。

本揭示實施例提供了一種對話生成裝置，所述裝置包括處理器以及與所述處理器相連接的記憶體，所述記憶體中儲存有可由所述處理器執行的機器可讀指令模組，所述機器可讀指令模組包括：第一獲取模組，用於獲取訓練對話語料以及對所述訓練對話語料的第一實體標注結果；第一訓練模組，用於根據所述訓練對話語料以及所述第一實體標注結果，訓練第一參數模型；處理模組，用於基於所述第一參數模型，對所述訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料；第二訓練模組，用於根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展對話語料以及對所述重組擴展對話語料的第二實體標注結果，訓練第二參數模型，其中，所述第二參數模型用於識別使用者提問意圖；生成模組，用於基於所述第一參數模型和所述第二參數模型生成對話。

本揭示實施例還提供了一種非易失性電腦可讀儲存介質，所述儲存介質中儲存有機器可讀指令，所述機器可讀指令可以由處理器執行以完成以下操作：獲取訓練對話語料以及對所述訓練對話語料的第一實體標注結果；根據所述訓練對話語料以及所述第一實體標注結果，訓練第一參數模型；基於所述第一參數模型，對所述訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料；根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展對話語料以及對所述重組擴展對話語料的第二實體標注結果，訓練第二參數模型，其中，所述第二參數模型用於識別使用者提問意圖；基於所述第一參數模型和所述第二參數模型生成對話。

1‧‧‧計算設備

2‧‧‧使用者終端

3‧‧‧網路

11‧‧‧對話生成平臺

701‧‧‧第一獲取模組

702‧‧‧第一訓練模組

703‧‧‧處理模組

704‧‧‧第二訓練模組

705‧‧‧生成模組

706‧‧‧收集模組

707‧‧‧儲存模組

708‧‧‧第二獲取模組

709‧‧‧發送模組

800‧‧‧伺服器

822‧‧‧中央處理器

828‧‧‧電源

830‧‧‧儲存介質

832‧‧‧記憶體

842‧‧‧應用程式

844‧‧‧資料

850‧‧‧有線或無線網路介面

858‧‧‧輸入輸出介面

301~304‧‧‧對話

201~203‧‧‧步驟

201a~201e‧‧‧步驟

為了更清楚地說明本揭示實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹：圖1A是本揭示實施例提供的對話生成裝置的實施環境示意圖；圖1B是本揭示實施例提供的一種對話生成平臺的結構示意圖；圖2A是本揭示實施例提供的一種對話生成方法的流程圖；圖2B是本揭示實施例提供的參數必要依賴模型及狀態跳轉模型的訓練過程的流程圖；圖3是本揭示實施例提供的一種對話生成的過程示意圖；圖4是本揭示實施例提供的一種參數必要依賴模型以及狀態跳轉模型的訓練過程的流程圖；圖5是本揭示實施例提供的一種意圖參數識別模型的訓練過程的流程圖；圖6是本揭示實施例提供的一種對話生成以及主動學習的過程示意圖；圖7A是本揭示實施例提供的一種對話生成裝置的結構示意圖；圖7B是本揭示實施例提供的一種對話生成裝置的結構示意圖；圖7C是本揭示實施例提供的一種對話生成裝置的結構示意圖；圖8是本揭示實施例提供的一種伺服器設備的結構示意圖。

請參照圖式，其中相同的元件符號代表相同的元件或是相似的元件，本揭示的原理是以實施在適當的運算環境中來舉例說明。以下的說明是基於所例示的本揭示具體實施例，其不應被視為限制本揭示未在此詳述的其它具體實施例。

為使本揭示的目的、技術方案和優點更加清楚，下面將結合附圖對本揭示實施方式作進一步地詳細描述。

在實際應用中，主要通過兩類智慧對話系統實現人機對話生成，一類為智慧客服，另一類為智慧平臺。其中，智慧客服為了實現人機對話功能，通常會收集海量的對話語料以進行模型訓練，進而基於訓練出的線性模型以及簡單的上下文特徵對使用者的提問進行回答，從而產生對話。而智慧平臺為了實現人機對話功能，同樣也需收集海量的對話語料以進行模型訓練，進而基於訓練出的模型以及簡單的上下文對用戶的提問進行回答，從而產生對話。

無論針對上述哪一類智慧對話系統來說，均需要收集海量的對話語料以進行模型訓練，而收集海量的對話語料通常需消耗大量的人力以及時間，不但成本較高，而且影響了對話生成的效率。而且，儲存海量的對話語料也會佔用大量的計算設備的儲存資源，在海量的對話語料中進行問答匹配也降低了計算設備的處理速度和性能。

有鑑於此，本揭示實施例提出了一種對話生成方法及裝置，除了可基於訓練對話語料以及對訓練對話語料的實體標注結果自動進行第一參數模型訓練外，還可基於得到的第一參數模型對訓練對話語料進行重組擴展處理，進而結合重組擴展對話語料完成對第二參數模型的訓練，從而基於第一參數模型和第二參數模型實現人機對話。本揭示實施例在模型訓練過程中由於對訓練對話語料進行了重組擴展處理，因此可大大減少訓練初始階段收集的訓練對話語料的數量以及實體標注數量，有效地節約了人力和時間，不但成本較低，而且提升了對話生成的效率；同時，儲存較少的訓練對話語料也節省了計算設備的儲存資源，提高了計算設備的處理性能。

在對本揭示實施例進行詳細地解釋說明之前，先對本揭示實施例可能涉及到的一些名詞進行解釋說明。

任務導向：源自“任務驅動”，它強調任務的導向和調控作用。比如，任務導向在遊戲中是指用任務來貫穿整個遊戲流程，引導使用者成長。本揭示實例所涉及的人機對話場景便是基於任務導向的。同樣，任務導向在人機對話場景下也是用任務來貫穿整個對話過程，用以引導使用者。

狀態跳轉：通常來講，狀態之間的跳轉關係以狀態跳轉圖進行體現。一個狀態跳轉圖一般側重於描述某個物件在生命週期中的狀態變化，包括物件在各個不同的狀態間的跳轉以及觸發這些跳轉的外部事件。在本揭示實施例所涉及的人機對話場景下，狀態跳轉指的是每當使用者提出一個使用者問答消息後，接下來對話生成平臺應該返回給使用者一個與使用者問答消息匹配的系統問答消息。這個由使用者提出的使用者問答消息到對話生成平臺給出的一個系統問答消息便可稱之為一次狀態跳轉。

接下來，對本揭示實施例提供的對話生成方法所涉及的實施環境架構進行簡單的介紹。

圖1A是本揭示實施例提供的對話生成裝置的實施環境示意圖。其中，計算設備1集成有本揭示任一實施例提供的對話生成平臺11(也稱為對話生成裝置或對話生成系統)。該計算設備1與使用者終端2之間通過網路3連接，所述網路3可以是有線網路，也可以是無線網路。

本揭示實施例提供的對話生成方法應用于對話生成平臺，用以提供任務導向的對話生成服務，可應用于諸如搭車、訂餐、網店客服等多個場景，而不局限于一個單一場景，也即本揭示實施例為實現人機對話功能所構建的參數模型屬於通用模型，基於構建的通用模型，對話生成平臺可廣泛應用在眾多場景下，因此可有效解放人力，提高生產力。

在實際產品上，提供一個對話生成平臺以及相應的對話生成API(Application Programming Interface，應用程式設計發展介面)。其中，對話生成API提供給使用者，用以接人具體服務以生成對話。對話生成平臺基於卷積神經網路與增強學習技術等建立基於任務導向的參數模型，並使用對話語料對參數模型進行訓練，然後基於訓練出的參數模型以及諸如CRF(Conditional Random Field，條件隨機場域)等的NLU(Natural Language Understanding，自然語言理解)技術實現自我調整對話生成。與此同時，基於DQN(Deep Q Network，深度強化學習網路)技術，根據使用者使用產生的對話主動實現動態對話學習。

參見圖1B，對話生成平臺11主要包括以下部分：1)對話語料參數解析器111，用於根據訓練對話語料以及對訓練對話語料的實體標注結果，建立參數必要依賴模型以及狀態跳轉模型；2)意圖參數識別器112，用於根據訓練對話語料與對話語料參數解析器111生成的參數模型，訓練意圖參數識別模型；3)對話生成系統113，用於根據對話語料參數解析器111和意圖參數識別器112所生成的模型生成對話，並使用session(會話控制)管理器管理對話；4)主動學習系統114，用於根據線上人機對話產生的對話，進行主動探索學習，以提高參數模型精度及增加對話拓展性。

其中，關於對話生成平臺各部分的詳細解釋說明請參見下述實施例。

圖2A是本揭示實施例提供的一種對話生成方法的流程圖。本揭示實施例提供的對話生成方法可應用於圖1A中所示的計算設備1。參見圖2A，本揭示實施例提供的方法流程包括以下步驟。

步驟201、獲取訓練對話語料以及對訓練對話語料的第一實體標注結果，並根據訓練對話語料以及第一實體標注結果，訓練第一參數模型。

其中，訓練對話語料中包括多個對話，每一個對話由至少一個使用者問答消息和至少一個系統問答消息構成，這多個對話可來源於收集于網路的自然對話。此外，訓練對話語料中的每一個對話均被進行了實體標注，即以key(鍵)-value(值)的形式將對話中的實體標注出來。

在本揭示實施例中，所述至少一個在數量上表示一個或多個。

參見圖3，以與使用者1之間的對話為例，針對301：“我要搭車去A廣場”這一句話，將“A廣場”進行實體標注“dst：A廣場”，其中目的地參數“dst”為key，“A廣場”為value；針對303：“B社區”這一句話，將“B社區”進行實體標注“ori：B社區”，其中出發地參數“ori”為key，“B社區”為value；針對304：“已呼叫從B社區到A廣場的車”這一句話，將“A廣場”和“B社區”進行實體標注為“dst：A廣場”和“ori：B社區”。針對與使用者2之間的對話，將305：“幫我預定個明早8點到機場的車”這一句話，對“明早8點”和“機場”進行實體標注為“time：明早8點”，其中時間參數“time”為key，“明早8點”為value；目的地參數“dst”為key，“機場”為value。搭車例如是乘坐出租的車輛。

在本揭示實施例中，第一參數模型包括參數必要依賴模型以及狀態跳轉模型。其中，參數必要依賴模型用於識別對話中的必要參數以及參數之間依賴關係，狀態跳轉模型用於確定對話的狀態跳轉關係。

需要說明的是，對話中的必要參數指的是一個對話所必不可少的參數。例如，用戶想要搭車去A廣場，因此與對話生成平臺進行人機對話，對於這個搭車場景所產生的對話來說，使用者的目的地參數(其取值為“A廣場”)便是對話中的必要參數。而使用者的出發地參數便是對話中的可選參數，因為時下智慧終端機基本上均具備定位功能，可自動上報用戶當前所在位置。

此外，在一個對話中，有時參數之間是存在相互關聯的，而不是相互孤立的，這便引入了參數之間的依賴關係。仍然以上述搭車場景為例，如果用戶想要去的A廣場在多個城市中均存在，那麼對話生成平臺可建立使用者的出發地參數與目的地參數之間的參數依賴關係，從而根據出發地參數鎖定當前使用者是想去哪一個城市的A廣場。

對話的狀態跳轉關係實質上就是用來規定當使用者提出一個使用者問答消息後，對話生成平臺應該返回與這個使用者問答消息匹配的系統問答消息。這個系統問答消息是針對使用者問答消息做出的提問所給予的回復。例如，當用戶提出一句“我要搭車去A廣場”，那麼根據對話的狀態跳轉關係，此時對話生成平臺應該返回給用戶一句諸如“請問你所在位置”這樣的系統問答消息，而不是一句“今天天氣晴”這樣的系統問答消息。

其中，在根據訓練對話語料以及第一實體標注結果，訓練參數必要依賴模型及狀態跳轉模型時，可採取下述方式實現，如圖2B所示：

步驟201a、根據訓練對話語料以及第一實體標注結果，訓練CRF模型。

其中，CRF模型是一種無向圖模型，可用於分詞、詞性標注和命名實體識別、資料分割等序列標注任務中。通過對訓練對話語料以及第一實體標注結果進行模型訓練，即通過對已標注的訓練對話語料進行特徵抽取並基於抽取到的特徵進行訓練，便可得到CRF模型中各個參數的取值，即完成CRF模型的訓練。進而基於訓練出的CRF模型對新的對話進行實體標注、資料分割、詞性標注等。需要說明的是，在訓練CRF模型之前，還需將CRF模型中的各個參數進行初始化，而在訓練CRF模型的過程中，還可使用隨機梯度下降和前向後向傳播方法等來優化CRF模型中的各個參數，以盡可能地減少CRF模型的誤差。

步驟201b、將訓練對話語料拆分為至少一個系統問答消息與使用者問答消息的匹配對。

在本揭示實施例中，在收集到訓練對話語料後，對話語料參數解析器111首先將訓練對話語料拆分為系統問答消息與使用者問答消息的匹配對(pair)。其中，訓練對話語料中的一個對話可以拆分出來至少一個系統問答消息與使用者問答消息的匹配對。一個匹配對中包括一問和一答。例如，參見圖3，“請問你所在位置”與“B社區”便是一個系統問答消息與使用者問答消息的匹配對，“幫我預定個明早8點到機場的車”與“已為您預定”也是一個系統問答消息與使用者問答消息的匹配對。

步驟201c、基於CRF模型，對得到的至少一個匹配對中包含的系統問答消息和使用者問答消息進行分析處理，得到訓練對話語料的目標參數序列。

由於收集到的訓練對話語料僅進行了簡單的實體標注，因此訓練對話語料中還存在未標注的部分。在得到CRF模型後，還需基於CRF模型，對得到的至少一個匹配對中包含的系統問答消息和使用者問答消息進行分析處理，一方面完成對訓練對話語料中未標注實體的標注，另一方面分析出匹配對中包含的進行模型訓練所必不可少的目標參數序列。

其中，目標參數序列中包括至少一個實體參數以及至少一個實體參數的取值。以圖3為例，針對使用者1來說，目標參數序列包括ori參數和dst參數這兩個實體參數，這兩個實體參數的取值分別為“B社區”和“A廣場”。針對使用者2來說，目標參數序列包括time參數和dst參數這兩個實體參數，這兩個實體參數的取值分別為“明早8點”和“機場”。

步驟201d、基於目標參數序列，對初始參數必要依賴模型進行訓練，得到訓練後的參數必要依賴模型。

在本揭示實施例中，初始參數必要依賴模型可為採用CNN(Convolutional Neural Network，卷積神經網路)、LSTM(Long Short-Term Memory，長短期記憶網路)以及LR(Logistic Regression，邏輯回歸)網路中至少兩個相結合的模型。而為了保證訓練出的模型的性能，可採取上述三個網路相結合的方式。換句話說，初始參數必要依賴模型為一種混合模型，比如初始參數必要依賴模型包括CNN網路所涉及的CNN層，還包括LSTM網路所涉及的LSTM層，還包括LS網路所涉及的LS層。

其中，LSTM是RNN(Recurrent neural Network，迴圈神經網路)的一種變種，屬於人工神經網路領域的回饋神經網路，能夠學習長期依賴關係。其中，RNN用來處理序列資料。在傳統的神經網路模型中，是從輸入層到隱藏層再到輸出層，層與層之間是全連接的，每層的節點之間是不需連線的。但是這種普通的神經網路模型卻不能應用在諸如預測句子的下一個單詞是什麼的場景下。在這種場景下，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以被稱為迴圈神經網路，就是因為一個序列當前的輸出與前面的輸出也有關。具體的表現形式為會對前面的輸出進行記憶並將前面的輸出應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

其中，在訓練參數必要依賴模型時，將目標參數序列作為初始參數必要依賴模型的訓練樣本，其中初始參數必要依賴模型中各個參數均對應一個初始化值。而初始參數必要依賴模型對目標參數序列進行特徵抽取以進行模型的訓練，從而得到參數必要依賴模型中各個參數的最佳取值，完成參數必要依賴模型的訓練。

步驟201e、基於參數必要依賴模型，對目標參數序列進行特徵抽取處理，得到目標參數的特徵資訊，基於該特徵資訊對初始狀態跳轉模型進行訓練，得到訓練後的狀態跳轉模型。

其中，初始狀態跳轉模型是採用LSTM網路的模型。基於該特徵資訊對初始狀態跳轉模型進行訓練，即以該特徵資訊作為初始狀態跳轉模型的輸入，不斷地優化初始狀態跳轉模型中各個參數的取值，從而得到各個參數的最佳取值，完成狀態跳轉模型的訓練。

綜上所述，關於參數必要依賴模型的生成過程可以用圖4中所示的左邊分支進行描述。而關於狀態跳轉模型的生成過程可以用圖4中所示的右邊分支進行描述。

步驟202、基於第一參數模型，對訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料，根據訓練對話語料、第一實體標注結果、重組擴展對話語料以及對重組擴展對話語料的第二實體標注結果，訓練第二參數模型，其中，所述第二參數模型用於識別使用者提問意圖。

在本揭示實施例中，為了減少收集的訓練對話語料的數量以及減少對訓練對話語料的標注量，還會基於第一參數模型，對訓練對話語料執行對話語料重組擴展處理，通過這種重組擴展的方式來豐富對話語料的數量，而不是一開始便收集海量的訓練對話語料。其中，執行對話語料重組擴展處理可採取下述方式實現：首先，將訓練對話語料拆分為至少一個系統問答消息-使用者問答消息的匹配對；之後，對於得到的至少一個匹配對中的每一個匹配對，基於第一參數模型以及除了該匹配對之外的其他匹配對，自動擴展與該匹配對中包含的使用者問答消息匹配的系統問答消息，得到重組擴展對話語料。

舉一個例子來說，假設由訓練對話語料拆分得到1000個系統問答消息-使用者問答消息的匹配對，那麼在進行對話語料重組擴展時，對於一個匹配對中的使用者問答消息來說，基於第一參數模型在剩餘的999個匹配對中檢測是否存在可與其組成新的匹配對的系統問答消息；如果存在這樣的系統問答消息，則新生成一個所述系統問答消息與使用者問答消息的匹配對，實現對話語料的重組擴展。比如，針對“我要搭車去A廣場”這一使用者問答消息來說，除了“請問你所在位置”這一系統問答消息與其匹配外，其與“請問你什麼時候出發”這一系統問答消息在一定程度上也是匹配的，因此，可新生成如“我要搭車去A廣場”-“請問你什麼時候出發”這樣的使用者問答消息與系統問答消息的匹配對。此外，還可只基於該使用者問答消息所涉及的場景而不依據其他匹配對來對該使用者問答消息的系統問答消息進行擴展，本揭示實施例對此不進行具體限定。

在本步驟中，對重組擴展對話語料進行實體標注的過程可參考前述步驟201中所述，在此不再贅述。

之後，如圖5所示，根據訓練對話語料、第一實體標注結果、重組擴展對話語料以及對重組擴展對話語料的第二實體標注結果，對初始第二參數模型進行訓練，得到訓練後的第二參數模型，也即意圖參數識別模型。其中，意圖參數識別模型用於識別使用者提出的每一個使用者問答消息的意圖以及該意圖中隱含的參數。例如，針對“我要搭車去A廣場”這一個使用者問答消息來說，意圖參數識別模型需要分析出使用者這是在構建目的地dst參數，並且參數的取值為“A廣場”。

其中，初始第二參數模型為CNN、RNN以及DNN(Deep Neural Network，深度神經網路)中至少兩個相結合的模型。而為了保證訓練出的模型的性能，可採取上述三個網路相結合的方式。即初始第二參數模型也是一種混合模型，比如初始第二參數模型包括CNN所涉及的CNN層，還包括RNN所涉及的RNN層，還包括DNN所涉及的DNN層。其中，DNN與CNN、RNN的區別在於DNN特指全連接的神經元結構，並不包含卷積單元或是時間上的關聯。

其中，通過對訓練對話語料、第一實體標注結果、重組擴展對話語料、第二實體標注結果進行模型訓練，即通過對已標注的訓練檔進行特徵抽取並基於抽取到的特徵對初始第二參數模型進行訓練，便可得到初始第二參數模型中各個參數的取值，即完成意圖參數識別模型的訓練。

需要說明的是，在通過上述步驟201和步驟202完成參數模型的訓練後，對話生成平臺便可基於得到的參數模型線上上與使用者進行對話交互，詳見下述步驟203。

步驟203、基於第一參數模型和第二參數模型生成對話。

在本揭示實施例中，基於第一參數模型和第二參數模型生成對話，即每當接收到使用者終端發送的一個使用者問答消息後，基於第一參數模型和第二參數模型，獲取與使用者問答消息匹配的第一系統問答消息，並將第一系統問答消息發送至使用者終端。通過這樣一來一往的過程，使用者問答消息與系統問答消息便形成了對話。

如圖6所示，對話生成系統(也即對話生成平臺)每當接收到使用者終端發送的一個使用者問答消息後，便基於上述步驟201和步驟202得到的第一參數模型和第二參數模型，獲取與接收到的使用者問答消息匹配的第一系統問答消息，並將第一系統問答消息返回給使用者終端。比如，在接收到“我要去A廣場”這樣的使用者問答消息後，便返回“請問你所在位置”這樣的系統問答消息。以此類推，在一來一往的提問與回答過程中便形成了人機對話。其中，本揭示實施例採用session管理器進行對話管理。

在本揭示另一個實施例中，參見圖6，本揭示實施例還會進行日誌收集處理。其中，作為日誌收集到的資料包括使用者提出的使用者問答消息以及與使用者問答消息匹配的系統問答消息。即，對話生成系統會收集接收到的使用者問答消息以及與收集到的使用者問答消息匹配的各個系統問答消息，並將收集到的各個使用者問答消息以及與收集到的使用者問答消息匹配的各個系統問答消息作為日誌進行儲存。

需要說明的是，在本揭示實施例中之所以進行日誌收集，主要基於兩個方面的考量，一方面主動學習系統通過收集到的日誌進行進一步地學習，以不斷優化上述步驟201和步驟202得到的參數模型，從而提高模型精准度。另一方面，可採用DQN技術根據收集到的日誌影響對話生成，即主動學習系統還具備主動探索學習機制，可動態拓展對話，詳細過程如下：在接收到使用者終端發送的使用者問答消息後，主動學習系統可在儲存的日誌中獲取與這個使用者問答消息匹配的第二系統問答消息，並將第二系統問答消息發送至使用者終端，等待使用者回饋。

在本揭示實施例中，第一系統問答消息預設為是與這個使用者問答消息關聯度最高的。而第二系統問答消息與使用者問答消息的關聯度小於第一系統問答消息與使用者問答消息的關聯度。

根據本揭示一實施例，對於用戶提出的一個使用者問答消息，一般會將與這個使用者問答消息匹配的系統問答消息列成一個List(清單)，這個List中的系統問答消息是依據與該使用者問答消息的關聯度進行排序的，比如關聯度最高的第一系統問答消息排在第一位，以此類推。這個主動探索學習機制就是在返回系統問答消息時，嘗試返回給使用者終端除了第一系統問答消息之外的其他系統問答消息，以嘗試進行對話拓展。

之後，主動學習系統獲取使用者終端發送的對第二系統問答消息的回饋消息；若基於該回饋消息確定第二系統問答消息符合使用者提問意圖，則可將第一系統問答消息和第二系統問答消息均作為與該使用者問答消息匹配的系統問答消息。比如繼續以“我要搭車去A廣場”為例，除了諸如“請問你所在位置”的第一系統問答消息外，諸如“請問你什麼時候出發”的第二系統問答消息一定程度上也是符合用戶提問意圖的，比如若針對第二系統問答消息使用者返回了諸如“現在”或“8點”等回饋消息，那麼可以確定“請問你什麼時候出發”的第二系統問答消息符合使用者提問意圖，因此可將內容為“請問你所在位置”的第一系統問答消息和內容為“請問你什麼時候出發”的第二系統問答消息均作為與內容為“我要搭車去A廣場”的使用者問答消息匹配的系統問答消息。而這個使用者問答消息與第二系統問答消息組成的匹配對便作為新拓展出來的對話。

本揭示實施例提供的方法，除了可基於訓練對話語料以及對訓練對話語料的實體標注結果自動進行第一參數模型訓練外，還可基於得到的第一參數模型對訓練對話語料進行重組擴展處理得到重組擴展對話語料，進而結合重組擴展對話語料完成對第二參數模型的訓練，從而基於第一參數模型和第二參數模型實現人機對話。本揭示實施例在模型訓練過程中由於對訓練對話語料進行了重組擴展處理，因此可大大減少訓練初始階段收集的訓練對話語料的數量以及實體標注數量，有效地節約了人力和時間，不但成本較低，而且提升了對話生成的效率；同時，儲存較少的訓練對話語料也節省了計算設備的儲存資源，提高了計算設備的處理性能。

此外，通過結合至少兩種網路模型完成第一參數模型和第二參數模型的訓練過程，使得第一參數模型和第二參數模型具備了良好的性能，進而保證了對話生成平臺的狀態跳轉功能，可實現多輪的提問與回答，智慧性較佳。

另外，還可通過收集到的日誌，主動進行線上自動學習，增強了訓練的參數模型的精准性和對話的拓展性，同時進一步地減少了對訓練對話語料的數量需求，進而節省了計算設備的儲存資源以及提高了計算設備的處理性能。

圖7A是本揭示實施例提供的一種對話生成裝置的結構示意圖。參見圖7A，該裝置包括：第一獲取模組701，用於獲取訓練對話語料以及對訓練對話語料的第一實體標注結果；第一訓練模組702，用於根據訓練對話語料以及第一實體標注結果，訓練第一參數模型；處理模組703，用於基於第一參數模型，對訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料；第二訓練模組704，用於根據訓練對話語料、第一實體標注結果、重組擴展對話語料以及對重組擴展對話語料的第二實體標注結果，訓練第二參數模型，其中，第二參數模型用於識別使用者提問意圖；生成模組705，用於基於第一參數模型和第二參數模型生成對話。

在本揭示另一個實施例中，第一參數模型包括參數必要依賴模型以及狀態跳轉模型，所述參數必要依賴模型用於識別對話中的必要參數以及參數之間的依賴關係，所述狀態跳轉模型用於確定對話的狀態跳轉關係；第一訓練模組702，用於根據訓練對話語料以及第一實體標注結果，訓練參數必要依賴模型；及，根據訓練對話語料以及第一實體標注結果，訓練狀態跳轉模型。

在本揭示另一個實施例中，訓練對話語料包含多個對話，每一個對話由至少一個使用者問答消息和至少一個系統問答消息構成；第一訓練模組702，用於根據訓練對話語料以及第一實體標注結果，訓練CRF模型；將訓練對話語料拆分為至少一個系統問答消息與使用者問答消息的匹配對；基於CRF模型，對得到的至少一個匹配對中包含的系統問答消息和使用者問答消息進行分析處理，得到訓練對話語料的目標參數序列，目標參數序列中包括至少一個實體參數以及至少一個實體參數的取值；基於目標參數序列，對初始參數必要依賴模型進行訓練，得到訓練後的參數必要依賴模型。

在本揭示另一個實施例中，第一訓練模組702，用於基於參數必要依賴模型，對目標參數序列進行特徵抽取處理，得到目標參數的特徵資訊；及，基於特徵資訊對初始狀態跳轉模型進行訓練，得到訓練後的狀態跳轉模型。

在本揭示另一個實施例中，處理模組703，用於將訓練對話語料拆分為至少一個系統問答消息與使用者問答消息的匹配對；對於得到的至少一個匹配對中的每一個匹配對，基於第一參數模型以及除了該匹配對之外的其他匹配對，擴展與該匹配對中包含的使用者問答消息匹配的系統問答消息，得到重組擴展對話語料；第二訓練模組704，用於根據訓練對話語料、第一實體標注結果、重組擴展訓練語料以及第二實體標注結果，對初始第二參數模型進行訓練，得到訓練後的第二參數模型。

在本揭示另一個實施例中，如圖7B所示，該裝置還包括：收集模組706，用於收集接收到的使用者問答消息以及與收集到的使用者問答消息匹配的系統問答消息；儲存模組707，用於將收集到的使用者問答消息以及與收集到的使用者問答消息匹配的系統問答消息作為日誌進行儲存。

在本揭示另一個實施例中，所述生成模組705還用於在接收到使用者終端發送的使用者問答消息後，基於所述第一參數模型和所述第二參數模型，獲取與所述使用者問答消息匹配的第一系統問答消息，將所述第一系統問答消息發送至所述使用者終端。根據本揭示實施例，如圖7C所示，該裝置還包括：第二獲取模組708，用於在接收到使用者終端發送的使用者問答消息後，在儲存的日誌中獲取與使用者問答消息匹配的第二系統問答消息，第二系統問答消息與使用者問答消息的關聯度小於第一系統問答消息與使用者問答消息的關聯度；發送模組709，用於將第二系統問答消息發送至使用者終端；第二獲取模組708，還用於獲取使用者終端發送的對第二系統問答消息的回饋消息；若基於回饋消息確定第二系統問答消息符合使用者提問意圖，則將第一系統問答消息和第二系統問答消息均作為與使用者問答消息匹配的系統問答消息。

本揭示實施例提供的裝置，除了可基於訓練對話語料以及對訓練對話語料的實體標注結果自動進行第一參數模型訓練外，還可基於得到的第一參數模型對訓練對話語料進行重組擴展處理得到重組擴展對話語料，進而結合重組擴展對話語料完成對第二參數模型的訓練，從而基於第一參數模型和第二參數模型實現人機對話。本揭示實施例在模型訓練過程中由於對訓練對話語料進行了重組擴展處理，因此可大大減少訓練初始階段收集的訓練對話語料的數量以及實體標注數量，有效地節約了人力和時間，不但成本較低，而且提升了對話生成的效率；同時，儲存較少的訓練對話語料也節省了計算設備的儲存資源，提高了計算設備的處理性能。

此外，通過結合多種網路模型完成第一參數模型和第二參數模型的訓練過程，使得第一參數模型和第二參數模型具備了良好的性能，進而保證了對話生成平臺的狀態跳轉功能，可實現多輪的提問與回答，智慧性較佳。

圖8是根據本揭示一實施例示出的一種伺服器設備，該伺服器設備可以用於實施上述任一實施例示出的對話生成方法。具體來講：參見圖8，該伺服器800可因配置或性能不同而產生比較大的差異，可以包括一個或一個以***處理器(Central Processing Unit，CPU)822(例如，一個或一個以上處理器)和記憶體832，一個或一個以上儲存應用程式842或資料844的儲存介質830(例如一個或一個以上海量存放裝置)。其中，記憶體832和儲存介質830可以是短暫儲存或持久儲存。儲存在記憶體832或儲存介質830中的程式可以包括一個或一個以上機器可讀指令模組(圖中沒標出)，所述機器可讀指令模組可由處理器822執行以實現如前述實施例所述的對話生成方法。

伺服器800還可以包括一個或一個以上電源828，一個或一個以上有線或無線網路介面850，一個或一個以上輸入輸出介面858，和/或，一個或一個以上作業系統841，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。一個或者一個以上程式儲存於記憶體832或儲存介質830中，且經配置以由一個或者一個以上處理器822執行上述一個或者一個以上套裝程式含的用於執行本揭示任一實施例所述的對話生成方法的機器可讀指令。

需要說明的是：上述實施例提供的對話生成裝置在生成對話時，僅以上述各功能模組的劃分進行舉例說明，實際應用中，可以根據需要而將上述功能分配由不同的功能模組完成，即將裝置的內部結構劃分成不同的功能模組，以完成以上描述的對話生成裝置的全部或者部分功能。另外，上述實施例提供的對話生成裝置與對話生成方法實施例屬於同一構思，其具體實現過程詳見方法實施例，這裡不再贅述。

本揭示所屬技術領域中具有通常知識者可以理解實現上述實施例的全部或部分步驟可以通過硬體來完成，也可以通過程式來指令相關的硬體完成，所述的程式可以儲存于一種非易失性電腦可讀儲存介質中，上述提到的儲存介質可以是唯讀記憶體，磁片或光碟等。基於這樣的理解，本揭示實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台終端設備(可以是手機，個人電腦，伺服器，或者網路設備等)執行本揭示各個實施例所述的對話生成方法。

雖然本揭示已用較佳實施例揭露如上，然其並非用以限定本揭示，本揭示所屬技術領域中具有通常知識者，在不脫離本揭示之精神和範圍內，當可作各種之更動與潤飾，因此本揭示之保護範圍當視後附之申請專利範圍所界定者為準。

Claims

一種對話生成方法，應用於一計算設備，所述方法包括：獲取訓練對話語料以及對所述訓練對話語料的第一實體標注結果；根據所述訓練對話語料以及所述第一實體標注結果，訓練第一參數模型；基於所述第一參數模型，對所述訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料；根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展對話語料以及對所述重組擴展對話語料的第二實體標注結果，訓練第二參數模型，其中，所述第二參數模型用於識別使用者提問意圖；基於所述第一參數模型和所述第二參數模型生成對話。
如申請專利範圍第1項所述的方法，其中所述第一參數模型包括參數必要依賴模型以及狀態跳轉模型，所述參數必要依賴模型用於識別對話中的必要參數以及參數之間的依賴關係，所述狀態跳轉模型用於確定對話的狀態跳轉關係；所述根據所述訓練對話語料以及所述第一實體標注結果，訓練第一參數模型，包括：根據所述訓練對話語料以及所述第一實體標注結果，訓練所述參數必要依賴模型；及根據所述訓練對話語料以及所述第一實體標注結果，訓練所述狀態跳轉模型。
如申請專利範圍第2項所述的方法，其中所述訓練對話語料包含多個對話，每一個對話由至少一個使用者問答消息和至少一個系統問答消息構成；所述根據所述訓練對話語料以及所述第一實體標注結果，訓練所述參數必要依賴模型，包括：根據所述訓練對話語料以及所述第一實體標注結果，訓練條件隨機場(Conditional Random Field，CRF)模型；將所述訓練對話語料拆分為至少一個系統問答消息與使用者問答消息的匹配對；基於所述CRF模型，對得到的至少一個匹配對中包含的系統問答消息和使用者問答消息進行分析處理，得到所述訓練對話語料的目標參數序列，所述目標參數序列中包括至少一個實體參數以及所述至少一個實體參數的取值；基於所述目標參數序列，對初始參數必要依賴模型進行訓練，得到訓練後的所述參數必要依賴模型。
如申請專利範圍第3項所述的方法，其中所述根據所述訓練對話語料以及所述第一實體標注結果，訓練所述狀態跳轉模型，包括：基於所述參數必要依賴模型，對所述目標參數序列進行特徵抽取處理，得到目標參數的特徵資訊；及基於所述特徵資訊對初始狀態跳轉模型進行訓練，得到訓練後的所述狀態跳轉模型。
如申請專利範圍第3項所述的方法，其中所述初始參數必要依賴模型為卷積神經網路(Convolutional Neural Network，CNN)、長短期記憶(Long Short-Term Memory，LSTM)網路以及邏輯回歸(Logistic Regression，LR)網路中至少兩個相結合的模型。
如申請專利範圍第4項所述的方法，所述初始狀態跳轉模型為採用長短期記憶(Long Short-Term Memory，LSTM)網路的模型。
如申請專利範圍第1項所述的方法，其中所述基於所述第一參數模型，對所述訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料，包括：將所述訓練對話語料拆分為至少一個系統問答消息與使用者問答消息的匹配對；對於得到的所述至少一個匹配對中的每一個匹配對，基於所述第一參數模型以及除了所述匹配對之外的其他匹配對，擴展與所述匹配對中包含的使用者問答消息匹配的系統問答消息，得到所述重組擴展對話語料；所述根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展對話語料以及對所述重組擴展對話語料的第二實體標注結果，訓練第二參數模型，包括：根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展訓練語料以及所述第二實體標注結果，對初始第二參數模型進行訓練，得到訓練後的所述第二參數模型。
如申請專利範圍第7項所述的方法，其中所述初始第二參數模型為卷積神經網路(Convolutional Neural Network，CNN)、迴圈神經網路(Recurrent neural Network，RNN)以及深度神經網路(Deep Neural Network，DNN)中至少兩個相結合的模型。
如申請專利範圍第1至8任一項所述的方法，其中所述方法還包括：收集接收到的使用者問答消息以及與所述收集到的使用者問答消息匹配的系統問答消息；將所述收集到的使用者問答消息以及與所述收集到的使用者問答消息匹配的系統問答消息作為日誌進行儲存。
如申請專利範圍第9項所述的方法，其中所述基於所述第一參數模型和所述第二參數模型生成對話，包括：在接收到使用者終端發送的使用者問答消息後，基於所述第一參數模型和所述第二參數模型，獲取與所述使用者問答消息匹配的第一系統問答消息，將所述第一系統問答消息發送至所述使用者終端；所述方法還包括：在接收到所述使用者終端發送的使用者問答消息後，在儲存的日誌中獲取與所述使用者問答消息匹配的第二系統問答消息，所述第二系統問答消息與所述使用者問答消息的關聯度小於所述第一系統問答消息與所述使用者問答消息的關聯度；將所述第二系統問答消息發送至所述使用者終端；獲取所述使用者終端發送的對所述第二系統問答消息的回饋消息；若基於所述回饋消息確定所述第二系統問答消息符合使用者提問意圖，則將所述第一系統問答消息和所述第二系統問答消息均作為與所述使用者問答消息匹配的系統問答消息。
一種對話生成裝置，所述裝置包括處理器以及與所述處理器相連接的記憶體，所述記憶體中儲存有可由所述處理器執行的機器可讀指令模組，所述機器可讀指令模組包括：第一獲取模組，用於獲取訓練對話語料以及對所述訓練對話語料的第一實體標注結果；第一訓練模組，用於根據所述訓練對話語料以及所述第一實體標注結果，訓練第一參數模型；處理模組，用於基於所述第一參數模型，對所述訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料；第二訓練模組，用於根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展對話語料以及對所述重組擴展對話語料的第二實體標注結果，訓練第二參數模型，其中，所述第二參數模型用於識別使用者提問意圖；生成模組，用於基於所述第一參數模型和所述第二參數模型生成對話。
如申請專利範圍第11項所述的裝置，其中所述第一參數模型包括參數必要依賴模型以及狀態跳轉模型，所述參數必要依賴模型用於識別對話中的必要參數以及參數之間的依賴關係，所述狀態跳轉模型用於確定對話的狀態跳轉關係；所述第一訓練模組，用於根據所述訓練對話語料以及所述第一實體標注結果，訓練所述參數必要依賴模型，及，根據所述訓練對話語料以及所述第一實體標注結果，訓練所述狀態跳轉模型。
如申請專利範圍第12項所述的裝置，其中所述訓練對話語料包含多個對話，每一個對話由至少一個使用者問答消息和至少一個系統問答消息構成；所述第一訓練模組，用於根據所述訓練對話語料以及所述第一實體標注結果，訓練條件隨機場(Conditional Random Field，CRF)模型；將所述訓練對話語料拆分為至少一個系統問答消息與使用者問答消息的匹配對；基於所述CRF模型，對得到的至少一個匹配對中包含的系統問答消息和使用者問答消息進行分析處理，得到所述訓練對話語料的目標參數序列，所述目標參數序列中包括至少一個實體參數以及所述至少一個實體參數的取值；基於所述目標參數序列，對初始參數必要依賴模型進行訓練，得到訓練後的所述參數必要依賴模型。
如申請專利範圍第13項所述的裝置，其中所述第一訓練模組，用於基於所述參數必要依賴模型，對所述目標參數序列進行特徵抽取處理，得到目標參數的特徵資訊；及，基於所述特徵資訊對初始狀態跳轉模型進行訓練，得到訓練後的所述狀態跳轉模型。
如申請專利範圍第11項所述的裝置，其中所述處理模組，用於將所述訓練對話語料拆分為至少一個系統問答消息與使用者問答消息的匹配對；對於得到的所述至少一個匹配對中的每一個匹配對，基於所述第一參數模型以及除了所述匹配對之外的其他匹配對，擴展與所述匹配對中包含的使用者問答消息匹配的系統問答消息，得到所述重組擴展對話語料；所述第二訓練模組，用於根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展訓練語料以及所述第二實體標注結果，對初始第二參數模型進行訓練，得到訓練後的所述第二參數模型。
如申請專利範圍第11至15任一項所述的裝置，其中所述機器可讀指令模組還包括：收集模組，用於收集接收到的使用者問答消息以及與所述收集到的使用者問答消息匹配的系統問答消息；儲存模組，用於將所述收集到的使用者問答消息以及與所述收集到的使用者問答消息匹配的系統問答消息作為日誌進行儲存。
如申請專利範圍第16項所述的裝置，其中：所述生成模組還用於在接收到使用者終端發送的使用者問答消息後，基於所述第一參數模型和所述第二參數模型，獲取與所述使用者問答消息匹配的第一系統問答消息，將所述第一系統問答消息發送至所述使用者終端；所述機器可讀指令模組還包括：第二獲取模組，用於在接收到所述使用者終端發送的使用者問答消息後，在儲存的日誌中獲取與所述使用者問答消息匹配的第二系統問答消息，所述第二系統問答消息與所述使用者問答消息的關聯度小於所述第一系統問答消息與所述使用者問答消息的關聯度；發送模組，用於將所述第二系統問答消息發送至所述使用者終端；所述第二獲取模組，還用於獲取所述使用者終端發送的對所述第二系統問答消息的回饋消息；若基於所述回饋消息確定所述第二系統問答消息符合使用者提問意圖，則將所述第一系統問答消息和所述第二系統問答消息均作為與所述使用者問答消息匹配的系統問答消息。
一種非易失性電腦可讀儲存介質，其中所述儲存介質中儲存有機器可讀指令，所述機器可讀指令可以由處理器執行以完成以下操作：獲取訓練對話語料以及對所述訓練對話語料的第一實體標注結果；根據所述訓練對話語料以及所述第一實體標注結果，訓練第一參數模型；基於所述第一參數模型，對所述訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料；根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展對話語料以及對所述重組擴展對話語料的第二實體標注結果，訓練第二參數模型，其中，所述第二參數模型用於識別使用者提問意圖；基於所述第一參數模型和所述第二參數模型生成對話。
如申請專利範圍第18項所述的儲存介質，其中所述第一參數模型包括參數必要依賴模型以及狀態跳轉模型，所述參數必要依賴模型用於識別對話中的必要參數以及參數之間的依賴關係，所述狀態跳轉模型用於確定對話的狀態跳轉關係；所述根據所述訓練對話語料以及所述第一實體標注結果，訓練第一參數模型，包括：根據所述訓練對話語料以及所述第一實體標注結果，訓練所述參數必要依賴模型；及根據所述訓練對話語料以及所述第一實體標注結果，訓練所述狀態跳轉模型。
如申請專利範圍第19項所述的儲存介質，其中所述訓練對話語料包含多個對話，每一個對話由至少一個使用者問答消息和至少一個系統問答消息構成；所述根據所述訓練對話語料以及所述第一實體標注結果，訓練所述參數必要依賴模型，包括：根據所述訓練對話語料以及所述第一實體標注結果，訓練條件隨機場(Conditional Random Field，CRF)模型；將所述訓練對話語料拆分為至少一個系統問答消息與使用者問答消息的匹配對；基於所述CRF模型，對得到的至少一個匹配對中包含的系統問答消息和使用者問答消息進行分析處理，得到所述訓練對話語料的目標參數序列，所述目標參數序列中包括至少一個實體參數以及所述至少一個實體參數的取值；基於所述目標參數序列，對初始參數必要依賴模型進行訓練，得到訓練後的所述參數必要依賴模型。
如申請專利範圍第20項所述的儲存介質，其中所述根據所述訓練對話語料以及所述第一實體標注結果，訓練所述狀態跳轉模型，包括：基於所述參數必要依賴模型，對所述目標參數序列進行特徵抽取處理，得到目標參數的特徵資訊；及基於所述特徵資訊對初始狀態跳轉模型進行訓練，得到訓練後的所述狀態跳轉模型。
如申請專利範圍第18項所述的儲存介質，其中所述基於所述第一參數模型，對所述訓練對話語料執行對話語料重組擴展處理，得到重組擴展對話語料，包括：將所述訓練對話語料拆分為至少一個系統問答消息與使用者問答消息的匹配對；對於得到的所述至少一個匹配對中的每一個匹配對，基於所述第一參數模型以及除了所述匹配對之外的其他匹配對，擴展與所述匹配對中包含的使用者問答消息匹配的系統問答消息，得到所述重組擴展對話語料；所述根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展對話語料以及對所述重組擴展對話語料的第二實體標注結果，訓練第二參數模型，包括：根據所述訓練對話語料、所述第一實體標注結果、所述重組擴展訓練語料以及所述第二實體標注結果，對初始第二參數模型進行訓練，得到訓練後的所述第二參數模型。
如申請專利範圍第18至22任一項所述的儲存介質，其中所述機器可讀指令可以由處理器執行以完成以下操作：收集接收到的使用者問答消息以及與所述收集到的使用者問答消息匹配的系統問答消息；將所述收集到的使用者問答消息以及與所述收集到的使用者問答消息匹配的系統問答消息作為日誌進行儲存。
如申請專利範圍第23項所述的儲存介質，其中所述基於所述第一參數模型和所述第二參數模型生成對話，包括：在接收到使用者終端發送的使用者問答消息後，基於所述第一參數模型和所述第二參數模型，獲取與所述使用者問答消息匹配的第一系統問答消息，將所述第一系統問答消息發送至所述使用者終端；所述機器可讀指令可以由處理器執行以完成以下操作：在接收到所述使用者終端發送的使用者問答消息後，在儲存的日誌中獲取與所述使用者問答消息匹配的第二系統問答消息，所述第二系統問答消息與所述使用者問答消息的關聯度小於所述第一系統問答消息與所述使用者問答消息的關聯度；將所述第二系統問答消息發送至所述使用者終端；獲取所述使用者終端發送的對所述第二系統問答消息的回饋消息；若基於所述回饋消息確定所述第二系統問答消息符合使用者提問意圖，則將所述第一系統問答消息和所述第二系統問答消息均作為與所述使用者問答消息匹配的系統問答消息。