TWI809335B

TWI809335B - 個人化語音辨識方法及語音辨識系統

Info

Publication number: TWI809335B
Application number: TW109143838A
Authority: TW
Inventors: 莊郁強
Original assignee: 中華電信股份有限公司
Priority date: 2020-12-11
Filing date: 2020-12-11
Publication date: 2023-07-21
Also published as: TW202223875A

Abstract

本發明提供一種個人化語音辨識方法及語音辨識系統。所述方法包括：反應於取得語音輸入訊息，將語音輸入訊息轉發至雲端語音辨識系統；從雲端語音辨識系統接收對應於語音輸入訊息的特定聲學辨識資訊及特定語音辨識結果；採用專屬於語音辨識模組的個人化語音辨識模型以基於特定聲學辨識資訊將特定語音辨識結果修正為第一語音辨識結果。

Description

個人化語音辨識方法及語音辨識系統

本發明是有關於一種語音辨識技術，且特別是有關於一種個人化語音辨識方法及語音辨識系統。

現今語音辨識大多透過雲端語音辨識系統來進行語音辨識，而所述雲端語音辨識系統主要係透過預先設定使用語言來進行語音辨識。然而，當使用者的語音訊息包含中英混雜、同音異字與特殊領域名詞等情形時，語音辨識結果常不如預期。

在此情況下，為修正語音辨識結果，使用者需將相關的個人資料/資訊上傳至雲端語音辨識系統來建立個人化語音辨識模型。然而，現今個人資料保護意識抬頭，收集個人資料相關資訊用以進行語音辨識結果修正將有違反個人資料隱私與資料利用合理性的疑慮。

有鑑於此，本發明提供一種個人化語音辨識方法及語音辨識系統，其可用於解決上述技術問題。

本發明提供一種個人化語音辨識方法，適於一第一語音辨識模組，包括：反應於取得一語音輸入訊息，將語音輸入訊息轉發至一雲端語音辨識系統，其中雲端語音辨識系統因應於語音輸入訊息而產生對應於語音輸入訊息的一特定聲學辨識資訊及一特定語音辨識結果；從雲端語音辨識系統接收對應於語音輸入訊息的特定聲學辨識資訊及特定語音辨識結果；採用專屬於第一語音辨識模組的一第一個人化語音辨識模型以基於特定聲學辨識資訊將特定語音辨識結果修正為一第一語音辨識結果。

本發明提供一種語音辨識系統，其包括第一語音辨識模組。第一語音辨識模組經配置以：反應於取得一語音輸入訊息，將語音輸入訊息轉發至一雲端語音辨識系統，其中雲端語音辨識系統因應於語音輸入訊息而產生對應於語音輸入訊息的一特定聲學辨識資訊及一特定語音辨識結果；從雲端語音辨識系統接收對應於語音輸入訊息的特定聲學辨識資訊及特定語音辨識結果；採用專屬於第一語音辨識模組的一第一個人化語音辨識模型以基於特定聲學辨識資訊將特定語音辨識結果修正為一第一語音辨識結果。

請參照圖1，其是依據本發明第一實施例繪示的語音辨識系統及雲端語音辨識系統示意圖。在本發明的實施例中，語音辨識系統110可以是各式智慧型裝置、語音助理或是任何具有語音辨識功能的電子裝置，但可不限於此。

在圖1中，語音辨識系統110可包括語音辨識模組111，而其可記錄有專屬於第一使用者的一第一個人化語音辨識模型。在本發明的實施例中，第一個人化語音辨識模型係基於專屬於第一使用者的多個第一個人資訊而訓練，其中上述第一個人資訊可包括第一使用者的通訊錄、網頁瀏覽資訊、社群軟體文章、通訊軟體對話的至少其中之一，但可不限於此。

在一實施例中，在語音辨識模組111取得第一使用者的上述第一個人資訊之後，可將各第一個人資訊轉換為對應的多個特徵向量，以作為第一個人化語音辨識模型的多個訓練資料。之後，語音辨識模組111可再基於上述訓練資料訓練第一個人化語音辨識模型。藉此，第一個人化語音辨識模型即可習得第一使用者的用字習慣、慣用發音習慣等特徵，藉以作為後續修正語音辨識結果的依據，但可不限於此。

此外，如圖1所示，語音辨識系統110可連接於雲端語音辨識系統120。在本發明的實施例中，雲端語音辨識系統120可儲存有一通用語音辨識模型。然而，如先前所言，當使用者的語音訊息包含中英混雜、同音異字與特殊領域名詞等情形時，此種通用語音辨識模型所提供的語音辨識結果常不如預期，而本發明的語音辨識系統110即可藉由執行圖2的個人化語音辨識方法來改善此情形。

請參照圖2，其是依據本發明之一實施例繪示的個人化語音辨識方法流程圖。本實施例的方法可由圖1的語音辨識系統110執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。

在本發明的實施例中，假設第一使用者欲藉由向語音辨識系統110發出語音輸入訊息VS的方式來控制語音辨識系統110執行特定操作。

在此情況下，在步驟S210中，反應於取得語音輸入訊息VS，語音辨識模組111可將語音輸入訊息VS轉發至雲端語音辨識系統120。相應地，雲端語音辨識系統120（的通用語音辨識模型）例如可因應於語音輸入訊息VS而產生對應於語音輸入訊息的特定聲學辨識資訊AR及特定語音辨識結果VR，並可將特定聲學辨識資訊AR及特定語音辨識結果VR回傳至語音辨識系統110。

相應地，在步驟S220中，語音辨識模組111可從雲端語音辨識系統120接收對應於語音輸入訊息VS的特定聲學辨識資訊AR及特定語音辨識結果VR。

之後，在步驟S230中，語音辨識模組111可採用專屬於語音辨識模組的第一個人化語音辨識模型以基於特定聲學辨識資訊AR將特定語音辨識結果VR修正為語音辨識結果VO1。

並且，在取得語音辨識結果VO1之後，語音辨識系統110還可執行對應於語音辨識結果VO1的特定操作。

為使上述概念更易於理解，以下將另輔以數個應用情境作進一步說明。

在第一應用情境中，假設第一使用者發出的語音輸入訊息VS為「打給王曉銘」（王曉銘例如是第一使用者的通訊錄中的聯絡人）。相應地，雲端語音辨識系統120可因應於語音輸入訊息VS所提供的特定聲學辨識資訊AR及特定語音辨識結果VR分別可以是「d a3 d i4 e4 nn4 h u4 a4 g e3 i3 u2 a2 ng2 x i3 a3 u3 m i2 ng2」及「打給王小明」。

在此情況下，若語音辨識模組111直接基於特定語音辨識結果VR（即，「打給王小明」）而執行後續操作的話，將會產生無法進行正確撥號的結果。

因此，在本實施例中，在語音辨識模組111接收上述特定聲學辨識資訊AR及特定語音辨識結果VR之後，例如可採用第一個人化語音辨識模型以基於特定聲學辨識資訊AR將特定語音辨識結果VR（即，「打給王小明」）修正為「打給王曉銘」的語音辨識結果VO1。

具體而言，由於第一個人化語音辨識模型已基於第一使用者的各種第一個人資訊（包括通訊錄）進行訓練，故第一個人化語音辨識模型可基於特定聲學辨識資訊AR而得知「王小明」一詞實質上應為第一使用者通訊錄中的聯絡人「王曉銘」，並可據以產生上述語音辨識結果VO1。

藉此，語音辨識系統110即可基於語音辨識結果VO1而正確地執行第一使用者所需的特定操作（例如撥號給王曉銘）。

在第二應用情境中，假設第一使用者發出的語音輸入訊息VS為「電鍋啟動」，但其中的「電鍋」二字係因第一使用者的腔調/發音習慣（例如，慣用台語）而導致其音調較接近於「點歌」，但「啟動」二字則為正確發音。相應地，雲端語音辨識系統120可因應於語音輸入訊息VS所提供的特定聲學辨識資訊AR及特定語音辨識結果VR分別可以是「d i3 e3 nn3 g er1 q i3 d o4 ng4」及「點歌啟動」。

在此情況下，若語音辨識模組111直接基於特定語音辨識結果VR（即，「點歌啟動」）而執行後續操作的話，將可能無法正確地執行啟動電鍋的操作。

因此，在本實施例中，在語音辨識模組111接收上述特定聲學辨識資訊AR及特定語音辨識結果VR之後，例如可採用第一個人化語音辨識模型以基於特定聲學辨識資訊AR將特定語音辨識結果VR（即，「點歌啟動」）修正為「電鍋啟動」的語音辨識結果VO1。

具體而言，由於第一使用者平時可能慣用台語，故其相關的網頁瀏覽資訊可能包括大量的台語網頁（例如台語影音網頁）。在此情況下，第一個人化語音辨識模型已基於第一使用者的各種第一個人資訊（包括上述網頁瀏覽資訊）進行訓練，故第一個人化語音辨識模型可基於特定聲學辨識資訊AR而得知「點歌」一詞實質上應為「電鍋」，並可據以產生上述語音辨識結果VO1。

藉此，語音辨識系統110即可基於語音辨識結果VO1而正確地執行第一使用者所需的特定操作（例如啟動電鍋）。

由上可知，本發明的方法可讓語音辨識模組基於專屬於第一使用者的第一個人化語音辨識模型而將特定語音辨識結果修正為第一語音辨識結果。由於第一語音辨識結果較貼近於第一使用者的發音/用字習慣，故可讓語音辨識模組相應地執行較為正確的操作。另外，由於上述技術手段未涉及將第一使用者的任何第一個人資訊上傳至雲端語音辨識系統的手段，故還可達到保護個人資料的效果。

在其他實施例中，上述第一語音辨識結果還可進一步與其他語音辨識模組所提供的語音辨識結果進行整合，以產生對應於某特定群體的整合語音辨識結果。

請參照圖3，其是依據本發明第二實施例繪示的語音辨識系統及雲端語音辨識系統示意圖。在圖3中，語音辨識系統110可包括多個語音辨識模組111~11N，其中語音辨識模組111~11N個別可專屬於對應的使用者。為便於理解，以下以語音辨識系統110中僅包括語音辨識模組111及112的實施例進行說明，但本發明可不限於此。

在第二實施例中，語音辨識模組111的相關細節可參照第一實施例中的說明，於此不另贅述。另外，語音辨識模組112可記錄有專屬於第二使用者的一第二個人化語音辨識模型，其中第二使用者與第一使用者可屬於同一個特定群體（例如同一間辦公室的成員、同一間實驗室的成員、同一個團隊的成員等）。

在本發明的實施例中，第二個人化語音辨識模型係基於專屬於第二使用者的多個第二個人資訊而訓練，其中上述第二個人資訊可包括第二使用者的通訊錄、網頁瀏覽資訊、社群軟體文章、通訊軟體對話的至少其中之一，但可不限於此。

在第二實施例中，在語音辨識模組112取得第二使用者的上述第二個人資訊之後，可將各第二個人資訊轉換為對應的多個特徵向量，以作為第二個人化語音辨識模型的多個訓練資料。之後，語音辨識模組112可再基於上述訓練資料訓練第二個人化語音辨識模型。藉此，第二個人化語音辨識模型即可習得第二使用者的用字習慣、慣用發音習慣等特徵，藉以作為後續修正語音辨識結果的依據，但可不限於此。

在第二實施例中，假設屬於上述特定群體的第一/第二使用者欲藉由向語音辨識系統110發出語音輸入訊息VS的方式來控制語音辨識系統110執行特定操作。

在此情況下，語音辨識系統110可依據先前的教示將語音輸入訊息VS轉發至雲端語音辨識系統120，而雲端語音辨識系統120可相應地回傳對應於語音輸入訊息VS的特定聲學辨識資訊AR及特定語音辨識結果VR。

之後，語音辨識模組111可基於先前實施例的教示而採用第一個人化語音辨識模型將特定語音辨識結果VR修正為語音辨識結果VO1。

此外，在語音辨識模組112取得對應於語音輸入訊息VS的特定聲學辨識資訊AR及特定語音辨識結果VR之後，可採用專屬於語音辨識模組112的第二個人化語音辨識模型以基於特定聲學辨識資訊AR將特定語音辨識結果VR修正為語音辨識結果VO2。亦即，第二個人化語音辨識模型可基於第二使用者的用字/發音習慣將特定語音辨識結果VR修正為語音辨識結果VO2，但可不限於此。

之後，語音辨識系統110可基於語音辨識結果VO1及VO2產生對應於上述特定群體的整合語音辨識結果VO。

由此可知，基於上述教示所產生的整合語音辨識結果VO即可較符合上述特定群體中成員的用字/發音習慣，進而得到較佳的語音辨識效果。並且，由於上述技術手段未涉及將特定群體中任何成員的個人資訊上傳至雲端語音辨識系統的手段，故還可達到保護各成員的個人資料的效果。

在一實施例中，語音辨識系統110可基於對應於第一使用者及第二使用者的多個權重將語音辨識結果VO1及VO2整合為對應於上述特定群體的整合語音辨識結果VO。

舉例而言，假設第一使用者為上述特定群體的領導者/管理者，而第二使用者為上述特定群體的一般成員。在此情況下，第一使用者對應的權重可經設定為高於第二使用者的權重。因此，在語音辨識系統110將語音辨識結果VO1及VO2進行整合時，所產生的整合語音辨識結果VO例如可較貼近於第一使用者的用字/發音習慣，但本發明可不限於此。

此外，在其他實施例中，若上述特定群體共包括N個成員，則語音辨識系統110可調整為如圖3所示的態樣。亦即，語音辨識系統110可包括分別對應於所述N個成員的語音辨識模組111~11N。在此情況下，當語音辨識系統110接收特定聲學辨識資訊AR及特定語音辨識結果VR之後，語音辨識模組111~11N可分別採用對應的個人化語音辨識模型將特定語音辨識結果VR修正為語音辨識結果VO1~VON。之後，語音辨識結果VO1~VON可再經上述教示整合而產生整合語音辨識結果VO。藉此，可讓整合語音辨識結果VO更符合上述特定群體的用字/發音習慣，從而能夠讓語音辨識系統110更為正確地執行上述特定群體所需的特定操作，但可不限於此。

請參照圖4，其是依據本發明之一實施例繪示的第一個人化語音辨識模型的示意圖。在本實施例中，專屬於上述第一使用者的第一個人化語音辨識模型400例如是一傳統語言模型(Back-off N-gram Language Models)或遞迴式類神經網路語言模型(Recurrent Neural Network Language Modeling，RNNLM)，但可不限於此。

如圖4所示，假設第一個人化語音辨識模型400包括輸入層401、隱藏層402及輸出層403。在本實施例中，在語音辨識模型111經第一使用者的授權而取得第一使用者的某個個人資訊（例如通訊軟體對話、網頁瀏覽資訊、通訊錄、常用語言與使用地點等）之後，語音辨識模型111可將此個人資訊轉換為特徵向量，並輸入至輸入層401。另，在本實施例中，隱藏層402例如包括50層，每層例如包括512個節點。此外，輸出層403可輸出一機率，而語音辨識模型111可將此機率以反向傳遞演算法求解出第一個人化語音辨識模型400的相關參數。

之後，透過經訓練而得的第一個人化語音辨識模型400（即下述公式中的P(W)）對特定語音辨識結果VR進行修正或重新評分，選擇第一個人化語音辨識模型400中的較高機率組合，作為最終的語音辨識結果VO1，但可不限於此。

在上式中，O係表徵語音輸入訊息，其可包括語音特徵向量序列[o1 , o2 ,..., oT]。另外，經雲端語音辨識系統120辨識而得的特定語音辨識結果VR可以對應的文字序列表示，其例如包括一連串詞（例如[w1, w2, ... , wm]。在本發明的實施例中，第一個人化語音辨識模型400所進行的操作可理解為找出具有最大事後(Maximum A Posteriori, MAP)機率的詞序列，也就是O最有可能的對應輸出文字序列。

在本實施例中，p(W|O)例如是在給定語音輸入訊息O時，文字序列W的發生事後機率，而其可進一步表示為P(W)、p(O|W)與p(O)，其中p(O|W)代表聲學模型(Acoustic Model)產生O（即，語音輸入訊息）的機率密度函數，用以估計語音輸入訊息O發生在文字序列W對應的聲學模型相似度。另，P(W)代表第一個人化語音辨識模型400產生文字序列W的機率，用於評估文字序列W於訓練語料的合理性並修正聲學模型中文字混淆的結果，使最終的第一語音辨識結果符合第一使用者的預期。

綜上所述，本發明至少具備以下特點：（1）可在保護個人隱私的條件下，使用授權後的個人資訊，於本地端的語音辨識系統訓練個人化語音辨識模型，並透過此個人化語音辨識模型進行語音辨識結果修正；（2）可應用個人化語音辨識模型於其他語音辨識應用情境；（3）可根據應用情境，進行個人、特定領域或特定群體的語音辨識模型整合。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

110:語音辨識系統 111~11N:語音辨識模組 120:雲端語音辨識系統 400:第一個人化語音辨識模型 401:輸入層 402:隱藏層 403:輸出層 VO1~VON:語音辨識結果 VO:整合語音辨識結果 AR:特定聲學辨識資訊 VR:特定語音辨識結果 VS:語音輸入訊息 S210~S230:步驟

圖1是依據本發明第一實施例繪示的語音辨識系統及雲端語音辨識系統示意圖。圖2是依據本發明之一實施例繪示的個人化語音辨識方法流程圖。圖3是依據本發明第二實施例繪示的語音辨識系統及雲端語音辨識系統示意圖。圖4是依據本發明之一實施例繪示的第一個人化語音辨識模型的示意圖。

S210~S230:步驟

Claims

一種個人化語音辨識方法，適於一第一語音辨識模組，包括：反應於取得一語音輸入訊息，將該語音輸入訊息轉發至一雲端語音辨識系統，其中該雲端語音辨識系統因應於該語音輸入訊息而產生對應於該語音輸入訊息的一特定聲學辨識資訊及一特定語音辨識結果；從該雲端語音辨識系統接收對應於該語音輸入訊息的該特定聲學辨識資訊及該特定語音辨識結果；採用專屬於該第一語音辨識模組的一第一個人化語音辨識模型以基於該特定聲學辨識資訊將該特定語音辨識結果修正為一第一語音辨識結果，其中該第一個人化語音辨識模型包括對應於該語音輸入訊息的聲學模型，且該第一個人化語音辨識模型對該特定語音辨識結果進行評分並找出具有最大事後機率的詞序列作為該第一語音辨識結果。
如請求項1所述的方法，其中該第一個人化語音辨識模型係基於專屬於一第一使用者的多個第一個人資訊而訓練。
如請求項2所述的方法，其中該些第一個人資訊包括該第一使用者的通訊錄、網頁瀏覽資訊、社群軟體文章、通訊軟體對話的至少其中之一。
如請求項2所述的方法，更包括：將各該第一個人資訊轉換為對應的多個特徵向量，以作為該第一個人化語音辨識模型的多個訓練資料；基於該些訓練資料訓練該第一個人化語音辨識模型。
如請求項1所述的方法，更包括基於該第一語音辨識結果執行一特定操作。
一種語音辨識系統，包括：一第一語音辨識模組，其經配置以：反應於取得一語音輸入訊息，將該語音輸入訊息轉發至一雲端語音辨識系統，其中該雲端語音辨識系統因應於該語音輸入訊息而產生對應於該語音輸入訊息的一特定聲學辨識資訊及一特定語音辨識結果；從該雲端語音辨識系統接收對應於該語音輸入訊息的該特定聲學辨識資訊及該特定語音辨識結果；採用專屬於該第一語音辨識模組的一第一個人化語音辨識模型以基於該特定聲學辨識資訊將該特定語音辨識結果修正為一第一語音辨識結果，其中該第一個人化語音辨識模型包括對應於該語音輸入訊息的聲學模型，且該第一個人化語音辨識模型對該特定語音辨識結果進行評分並找出具有最大事後機率的詞序列作為該第一語音辨識結果。
如請求項6所述的語音辨識系統，其中該第一個人化語音辨識模型係基於專屬於一第一使用者的多個第一個人資訊而訓練，且該第一使用者屬於一特定群體。
如請求項7所述的語音辨識系統，更包括一第二語音辨識模組，其經配置以：從該雲端語音辨識系統接收對應於該語音輸入訊息的該特定聲學辨識資訊及該特定語音辨識結果；採用專屬於該第二語音辨識模組的一第二個人化語音辨識模型以基於該特定聲學辨識資訊將該特定語音辨識結果修正為一第二語音辨識結果。
如請求項8所述的語音辨識系統，其中該第二個人化語音辨識模型係基於專屬於一第二使用者的多個第二個人資訊而訓練。
如請求項9所述的語音辨識系統，其中該語音辨識系統基於該第一語音辨識結果及該第二語音辨識結果產生對應於該特定群體的一整合語音辨識結果。
如請求項10所述的語音辨識系統，其中該語音辨識系統基於對應於該第一使用者及該第二使用者的多個權重將該第一語音辨識結果及該第二語音辨識結果整合為對應於該特定群體的該整合語音辨識結果。