TWI771858B

TWI771858B - 結合影像辨識及語音辨識之智慧語言學習方法及其系統

Info

Publication number: TWI771858B
Application number: TW110100223A
Authority: TW
Inventors: 廖奕雯; 蘇家輝; 趙囿威; 許家蓁; 陳縉酩; 徐鼎恩; 駱思綺
Original assignee: 正修學校財團法人正修科技大學
Priority date: 2021-01-05
Filing date: 2021-01-05
Publication date: 2022-07-21
Also published as: TW202228096A

Abstract

一種結合影像辨識及語音辨識之智慧語言學習方法及其系統，其中，該系統包含：一影像處理模組；一語音處理模組；一功能操作模組，該功能操作模組包含一模式選擇單元、一圖像辨識學習單元及一口語辨識學習單元；及一雲端資料庫模組，用以儲存複數種類語言文字、語音資料、物件圖片及測驗題庫。一種結合影像辨識及語音辨識之智慧語言學習方法，包含：透過一影像處理模組擷取一欲辨識影像，並藉由一雲端資料庫模組將該欲辨識影像資訊進行影像內容辨識比對，比對成功後給予該欲辨識影像對應之一語音訊號及文字內容；及將分別將該語音訊號透過一語音播放單元播放及將該文字內容透過一顯示器顯示。

Description

結合影像辨識及語音辨識之智慧語言學習方法及其系統

本發明係關於一種智慧語言學習方法及其系統，尤其是一種具有結合影像辨識及語音辨識之智慧語言學習方法及其系統，本發明藉由分析輸入圖像並分析圖像內容後顯示圖像內物件之外語文字及播放其讀音，並可辨識使用者外語口語發音是否正確來提生外語學習興趣及外語能力。

學習外語是現代學生或社會人士的興趣與需求，方便閱讀更多外國資訊及工作或商業商之需求，目前有很多語言學習軟體及學習管道，例如透過社群媒體的外語學習頻道。

習知技術中華民國公告第M594780號係一種互動式課程學習機器人包含一問句接收模組、一課程資料庫、一自然語言處理模組、一深度神經網路及一人機介面，藉由該互動式課程學習機器人以人工智慧理解使用者的提問，並以最合適的答案進行回覆，而可隨時地答覆使用者的提問，讓使用者的學習不間斷且有趣，由於該互動式課程學習機器人不須設置人力而可大幅地降低線上即時答覆地設置成本。

習知技術中華民國公告第M590718號揭露一種運用圖文辨識之翻譯作業系統，包含一處理模組、一影像拍攝模組、一影像接收模組、一資料庫模組、一圖文辨識模組、一通訊模組、一顯示模組、一輸入控制模組及一聲音輸出模組。該創作運用圖文辨識之翻譯作業系統可以將影片或圖片中的物體圖像與文字影像解析成對應的單字或字詞，從而藉由特定線上翻譯平台轉換成不同語言的單字或字詞。

習知技術中華民國公告第M443231號係一種以鏡頭擷取影像中文字的自動翻譯導覽裝置，能提供使用者隨身攜帶，並包含一設定界面、一影像感測單元、一文字擷取單元、一文字辨識單元、一翻譯單元，及一播放單元。該設定界面用於設定使用者所需的語言種類。該影像感測單元用於擷取外界影像並對應輸出一影像畫面。該文字擷取單元接收該影像畫面，並擷取出該影像畫面內的一文字畫面。該文字辨識單元接收該文字畫面，並進行文字辨識產生一文字資料，該翻譯單元接收該文字資料，並翻譯成該設定界面所設定的語言種類而產生一翻譯資料，該播放單元以語音播放出該翻譯資料。

惟，上述習知技術並未揭露具有結合影像辨識及語音辨識功能，及透過人工智慧互動方式的語言學習方法及其系統，無法達成圖像物件自動辨識提供使用者立即學習及互動式確認使用者的外語發音是否正確之功能，此外，也無學習檢測功能，無法提高學習樂趣及學習效果，因此有必要加以改善。

本發明之一目的在提供一種結合影像辨識及語音辨識之智慧語言學習方法及其系統，具有分析辨識圖像上物件並確定為何種物件後再顯示該物件之外語單字及發出單字讀音的功能。

本發明之再一目的在提供一種結合影像辨識及語音辨識之智慧語言學習方法及其系統，具有針對使用者進行口說語音辨識，確認發音正確與否的功能。

本發明之另一目的在提供一種結合影像辨識及語音辨識之智慧語言學習方法及其系統，具有透過互動式測驗檢測學習結果的功能。

為達成上述及其他目的，本發明之結合影像辨識及語音辨識之智慧語言學習系統，包含：一影像處理模組，包含一影像擷取單元及一影像辨識單元，該影像擷取單元用以擷取一欲辨識影像，該影像辨識單元用以分析該欲辨識影像，使該影像處理模組產生一對應資料表單，該對應資料表單包含該欲辨識影像內容說明；一語音處理模組，包含一語音收錄單元、一語音辨識單元及一語音播放單元，該語音收錄單元用以收錄一欲辨識語音訊號，該語音辨識單元用以分析該欲辨識語音信號，該語音播放單元用以播放語音訊號；一功能操作模組，包含一模式選擇單元、一圖像辨識學習單元及一口語辨識學習單元，用以提供使用者進行功能模式設定，其中，該圖像辨識學習單元用以將輸入之照片內容物顯示其外語單字及發出單字讀音，該口語辨識學習單元用以針對使用者進行口說語音辨識，且該功能操作模組分別電性連接該影像處理模組及該語音處理模組；及一雲端資料庫模組，用以儲存複數種類語言文字、語音資料、物件圖片及測驗題庫，且該雲端資料庫模組與該功能操作模組電性連接。

為達成上述及其他目的，本發明之結合影像辨識及語音辨識之智慧語言學習方法，包含：透過一影像擷取單元擷取一欲辨識影像；將該欲辨識影像經由一影像辨識單元與一雲端資料庫模組將該欲辨識影像資訊進行影像內容辨識比對，其中，該雲端資料庫模組儲存複數種類語言文字、語音資料、物件圖片及測驗題庫；當辨識比對成功後給予該欲辨識影像對應之一語音訊號及一說明文字；及分別將該語音訊號透過一語音播放單元播放及將該說明文字透過一顯示器顯示給使用者參閱。

為達成上述及其他目的，本發明之結合影像辨識及語音辨識之智慧語言學習方法，包含：提供一指示圖卡供使用者進行口說練習；透過一語音處理模組擷取使用者的口說語音並進行語音辨識；及產生一語音辨識結果報告，其中，若使用者的發音正確，則該語音辨識結果報告顯示發音正確，若發音不正確，則透過一語音播放單元撥放錯誤通知訊息並播放出正確唸法。

為達成上述及其他目的，本發明之結合影像辨識及語音辨識之智慧語言學習方法，包含：透過一語音擷取單元擷取一使用者口說之語音訊號並經由一語音辨識單元進行語音辨識確認語音內容；確認使用者所說之語音訊號後提供對應之一外語語音訊號；及透過一語音播放單元播放該外語語音訊號供使用者聆聽。

在本發明的一些實施例中，其中，該圖像辨識學習單元透過該影像擷取單元將照片輸入，再經由該影像辨識單元與該雲端資料庫協同運作將輸入之照片內容進行辨識，並確定為何種物件後再顯示該物件之外語單字及發出單字讀音。

在本發明的一些實施例中，其中，該口語辨識學習單元針對使用者進行口說語音辨識時，該功能操作模組顯示練習物件圖卡，供使用者唸出該練習物件圖卡的外語發音，該語音處理模組收到音訊後進行辨識發音正確與否

在本發明的一些實施例中，其中，該功能操作模組另包含一學習檢測單元，該學習檢測單元用以提供一測驗表單，該測驗表單包含外語翻譯中文測驗選單及中文翻譯外語測驗選單。

在本發明的一些實施例中，其中，該功能操作模組另包含一圖卡學習單元，該圖卡學習單元提供使用者點擊顯示畫面上之圖卡影像，使該語音播放單元播放使用者所選定之圖卡影像的外語讀音

在本發明的一些實施例中，其中，該功能操作模組另包含一電子書單元，該電子書單元依據不同主題之圖片、語音、單字及句子的組合供使用者觀看聆聽

在本發明的一些實施例中，其中，若該欲辨識影像辨識比對失敗，則透過該顯示器顯示比對失敗，並提供使用者輸入該欲辨識影像之中文名稱且與該欲辨識影像一併儲存於該雲端資料庫模組並註記比對狀態，以供後續增加補充對應之外語資訊。

10:影像處理模組

11:影像擷取單元

12:影像辨識單元

20:語音處理模組

21:語音收錄單元

22:語音辨識單元

23:語音播放單元

30:功能操作模組

31:模式選擇單元

32:圖像辨識學習單元

33:口語辨識學習單元

34:學習檢測單元

35:圖卡學習單元

36:電子書單元

40:雲端資料庫模組

S10:影像擷取步驟

S11:影像辨識步驟

S12:辨識回傳步驟

S13:影音播放步驟

S130:錯誤警示步驟

S20:圖卡導引步驟

S21:語音分析步驟

S22:語音辨識回報步驟

S30:提問接收步驟

S31:提問解析步驟

S32:解析回傳步驟

S33:答案播放步驟

圖1為本發明之結合影像辨識及語音辨識之智慧語言學習系統之一實施例架構圖；圖2為本發明之結合影像辨識及語音辨識之智慧語言學習系統之另一實施例架構圖；圖3為本發明之結合影像辨識及語音辨識之智慧語言學習系統之另一實施例流程圖；圖4為本發明之結合影像辨識及語音辨識之智慧語言學習方法之一實施例流程圖；圖5為本發明之結合影像辨識及語音辨識之智慧語言學習方法之另一實施例流程圖；圖6為本發明之結合影像辨識及語音辨識之智慧語言學習方法之再一實施例流程圖。

圖1為本發明之結合影像辨識及語音辨識之智慧語言學習系統之一實施例架構圖，請參考圖1。本發明之結合影像辨識及語音辨識之智慧語言學習系統，包含：一影像處理模組10、一語音處理模組20、一功能操作模組30及一雲端資料庫模組40，且該功能操作模組30分別與該影像處理模組10、該語音處理模組20及該雲端資料庫模組40電性連接，該影像處理模組10、該語音處理模組20及該功能操作模組30較佳可為設置於智慧手機中之軟體，該影像處理模組10包含一影像擷取元11及一影像辨識單元12，該影像擷取單元11用以擷取一欲辨識影像，使用者透過該影像擷取單元11取得一照片影像，在本實施例中，例如使用者拍攝一張「蘋果」照片，而該影像辨識單元11用以分析該欲辨識影像，將該蘋果照片之圖像資料經由有線或無線網路方式透過該雲端資料庫模組40進行影像分析辨識，其中，該雲端資料庫模組40係用以儲存複數種類語言文字、語音資料、物件圖片及測驗題庫，因此，若該雲端資料庫模組40中已儲存有蘋果圖片相關資料，則該影像處理模組10將產生一對應資料表單，該對應資料表單包含該欲辨識影像及其相關內容說明，在本實施例中，該對應資料表單則出現所拍攝蘋果照片及外語文字，例如：英文「APPLE」或法文「POMME」。

該語音處理模組20包含一語音收錄單元21、一語音辨識單元22及一語音播放單元23，該語音收錄單元21用以收錄一欲辨識語音訊號，該語音辨識單元22用以分析該欲辨識語音信號，該語音播放單元23用以播放語音訊號，舉例來說，使用者說一句話「疫苗的英文」，該語音收錄單元21收錄後轉成數位語音訊號傳送給該語音辨識單元22，則該語音辨識單元22會將該句「疫苗的英文」拆解成「疫苗」「的」「英文」等三個單詞，經由有線或無線網路方式透過該雲端資料庫模組40進行語音辨識，並將「疫苗」的英文「VACCINE」傳回由該語音播放單元23播放出來，並發出「V-A-C-C-I-N-E」的字母以讓使用者練習聽力及學習單字。

該功能操作模組30包含一模式選擇單元31、一圖像辨識學習單元32及一口語辨識學習單元33，用以提供使用者進行功能模式設定，其中，該模式選擇單元31可以提供使用者進行各種語言的學習選擇及練習模式設定，例如中文、英文、日文、法文...等，本實施例以中文/英文模式為學習模式，可透過中文提問模式來進行英文學習。

該圖像辨識學習單元32用以將輸入之照片內容物經過分析辨識後顯示其外語單字及發出單字讀音，該口語辨識學習單元33用以針對使用者進行口說語音辨識，其中，該圖像辨識學習單元32係透過該影像處理模組10進行照片內容物的外語學習，選擇該圖像辨識學習單元32後，則透過該影像擷取元11拍攝擷取一照片及透過該影像辨識單元12針對該照片內容物進行分析，例如照片內容物為「蘋果」，則最後由一顯示器顯示其外語單字，例如：英語單字「APPLE」供使用者學習。

較佳地，該圖像辨識學習單元32透過該影像擷取單元11將照片輸入，再經由該影像辨識單元12與該雲端資料庫40協同運作將輸入之照片內容進行辨識確認後，由該語音播放單元23發出對應之外語單字讀音，例如：英語「APPLE」之讀音，可以讓使用者同時看到圖片、單字說明及聽到單字讀音，加強學習效果。

該口語辨識學習單元33係透過該語音處理模組20處理使用者的口說語音內容進行分析並給予練習模式，提供口語問答的外文學習方式，使用者選擇該口語辨識學習單元33後，系統透過該語音收錄單元21對使用者說出的語音進行收錄，接著，將收錄到的語音轉換成數位語音訊號並移除雜訊後送至該語音辨識單元22進行語音辨識，拆解語音訊號中的單字詞彙透過該雲端資料庫模組40進行語音辨識，並將辨識確認後之語音訊號傳回，藉由該語音播放單元23播放。舉例來說，使用者說一句話「捷運的英文怎麼說」，由該語音收錄單元21收錄後轉換成數位語音訊號傳送給該語音辨識單元22，該語音辨識單元22經由有線或無線網路方式透過該雲端資料庫模組40進行語音辨識，並將「捷運」的英文「METRO」傳回由該語音播放單元23播放出來，並發出「M-E-T-R-O」的字母以讓使用者練習聽力及學習單字。

較佳地，該口語辨識學習單元33針對使用者進行口說語音辨識時，該口語辨識學習單元33顯示練習物件圖卡，供使用者唸出該練習物件圖卡的外語發音，該語音處理模組20收到音訊後進行辨識發音正確與否，例如：該口語辨識學習單元33執行時可以自動隨機提供一練習標的之文字或圖片，供使用者念出練習標的英語，使用者依據所看到的內容念出英語後，該語音處理模組20即開始執行語音辨識，同時確認使用者的發音是否正確並給予回饋正確與否，例如顯示出「口罩」圖片，使用者看到口罩圖片後正確念出「MASK」，然後該語音處理模組20進行語音辨識，並發出「正確，恭喜你答對了」，若該語音處理模組20辨識發音錯誤或是在限時期間內沒有收到語音訊號，則發出「發音錯誤，正確讀音為MASK」，或是發出「請說出口罩的英文」，藉此增加學習的互動性與樂趣。

該雲端資料庫模組40用以儲存複數種類語言文字、語音資料、物件圖片及測驗題庫，該雲端資料庫模組40係作為影像辨識及語音辨識的參考資料庫及各種學習檢測的資料來源，提供系統遠端資料儲存及進行圖像及語音之辨識比對，並且具有使用者端可以自行增加物件圖片的功能，提供管理端增加新的圖像及語音參考範本及共享學習的方式，增加學習內容的豐富性。

較佳地，該功能操作模組30另包含一學習檢測單元34，該學習檢測單元34用以提供一測驗表單，該測驗表單包含外語翻譯中文測驗選項及中文翻譯外語測驗選項，例如當使用者選擇中文翻譯英文，則該學習檢測單元34透過該雲端資料庫40抓取題庫供使用者練習，例如：「病毒的英文為何？(a)virus (b)virgo(c)viacle」，使用者可以用點選顯示器的方式回答完所有題目，該學習檢測單元34會統計正確與錯誤的結果供使用者參考自己所得的分數。

圖2為本發明之本發明之結合影像辨識及語音辨識之智慧語言學習系統之另一實施例架構圖，請參考圖2，較佳地，該功能操作模組30另包含一圖卡學習單元35，該圖卡學習單元35提供使用者點擊顯示畫面上之圖卡影像，使該語音播放單元23播放使用者所選定之圖卡影像的外語讀音，該圖卡學習單元35係由該雲端資料庫40取得圖卡資料，使用者可以選擇英語或其他語言模式，若使用者選擇英語，則該圖卡學習單元35所顯示之圖卡經過使用者透過顯示器點選時，該圖卡會顯示其所代表的英語單字並由該語音播放單元23播放該英語單字的讀音，供使用者看圖學英語的方式，加深學習映像。

較佳地，該功能操作模組30另包含一電子書單元36，該電子書單元36依據不同主題之圖片、語音、單字及句子的組合供使用者觀看聆聽，該電子書單元36係提供動態圖片搭配外語單字及語音說明讓使用者可以用看故事或電影的方式從中學習外語單字及句子，且可以隨時暫停或繼續播放，提供互動的學習方式。

請參考圖3，本發明之利用前述結合影像辨識及語音辨識之智慧語言學習系統之結合影像辨識及語音辨識之智慧語言學習方法，包含：一影像擷取步驟S10，透過一影像擷取單元擷取一欲辨識影像，該影像擷取單元可以為智慧手機上之相機，使用者可以拍攝欲學習之物件的照片，例如：拍攝一張「水蜜桃」的照片，並選定英語模式。

一影像辨識步驟S11，將該欲辨識影像經由一影像辨識單元與一雲端資料庫模組將該欲辨識影像資訊進行影像內容辨識比對，其中，該雲端資料庫模組儲存有複數種類語言文字、語音資料、物件圖片及測驗題庫，該影像辨識步驟S11係將所拍之照片，例如：「水蜜桃」照片，分析後將數據傳至該雲端資料庫模組中與物件圖片進行照片內容之比對，從該雲端資料庫模組中找到「水蜜桃」對應的資料。

一辨識回傳步驟S12，當辨識比對成功後給予該欲辨識影像對應之一語音訊號及一說明文字，當辨識比對結束後，該雲端資料庫模組將對應之資料傳回，在本實施例中，該傳回資料包含「水蜜桃」的英語單字「PEACH」及英語讀音訊號。

及一影音播放步驟S13，分別將該語音訊號透過一語音播放單元播放及將該說明文字透過一顯示器顯示給使用者參閱，使用者透過拍攝物品的照片即可馬上透過分析該照片內容的物件取得其外語單字說明及讀音語音訊號，非常具有效率及趣味性，可以提升學習的效率。

請參考圖4，較佳地，在該辨識回傳步驟S12後另包含一錯誤警示步驟S130，若該欲辨識影像辨識比對失敗，則透過該顯示器顯示「辨識比對失敗」，表示照片中的物件在該雲端資料庫模組中並未儲存相關資料，或是拍攝的照片有問題，如不清楚無法辨識或是有兩種以上的主要物件，使得該影像辨識單元無法辨識，若是該雲端資料庫模組中並未儲存相關資料，則此時該錯誤警示步驟S130提供使用者輸入該欲辨識影像之中文名稱，並連同該欲辨識影像一併儲存於該雲端資料庫模組並註記比對狀態，以供後續增加補充對應之外語資訊，有利於下次若其他使用者查詢同一物件時，可以提供對應資訊供使用者學習，若是拍攝的照片有問題，則該錯誤警示步驟S130顯示一警示訊號，例如：「請重新拍攝」，使用者依據指示重新拍攝照片，該錯誤警示步驟S130可以讓使用者與該雲端資料庫模組間增加互動回饋的概念，可以由不同的使用者提供該雲端資料庫模組的資料量及內容，增加更多元學習方式。

請參考圖5，在另一實施例中，本發明之利用前述結合影像辨識及語音辨識之智慧語言學習系統之結合影像辨識及語音辨識之智慧語言學習方法，包含：一圖卡導引步驟S20，提供一指示圖卡供使用者進行口說練習，該圖卡中會顯示一物件並要求使用者念出其指定之外語讀音，例如：圖卡為一汽車照片，顯示英語為「CAR」。

一語音分析步驟S21，透過一語音處理模組擷取使用者的口說語音並進行語音辨識，其中，該語音處理模組包含有一語音收錄單元、一語音辨識單元及一語音播放單元，該語音收錄單元用以收錄使用者的口說語音訊號，該語音辨識單元用以分析使用者的口說語音訊號並與一雲端資料庫模組協同運作進行語音語義分析，該語音播放單元用以播放語音訊號。

及一語音辨識回報步驟S22，該語音辨識回報步驟S22產生一語音辨識結果報告，其中，若使用者的發音「CAR」正確，則該語音播放單元播放「正確」，若發音不正確，則透過該語音播放單元撥放錯誤通知訊息「發音錯誤，請重新念出」，若發音被判定仍不正確，則播放正確「CAR」的唸法供讀者參考練習。

請參考圖6，在另一實施例中，本發明之利用前述結合影像辨識及語音辨識之智慧語言學習系統之結合影像辨識及語音辨識之智慧語言學習方法，包含：一提問接收步驟S30，透過一語音擷取單元擷取一使用者口說之語音訊號，例如：使用者說出「居家隔離的英文怎麼說」，此時，該句「居家隔離的英文怎麼說」轉成數位號後會被收錄傳送至一語音辨識單元，本實施例可以提供使用者直接向系統提問的功能。

一提問解析步驟S31，使用者口說之語音訊號經由該語音辨識單元進行語音辨識，例如：「居家隔離的英文怎麼說」；會被拆解成「居家隔離」、「的英文」及「怎麼說」然後該語音數位訊號傳送至一雲端資料庫模組進行辨識比對。

一解析回傳步驟S32，確認使用者所說之語音訊號後提供對應之一外語語音訊號，當使用者的口說提問確認後，該雲端資料庫模組回傳一對應之外語語音訊號，即「islotate at home」的數位語音訊號。

及一答案播放步驟S33，透過一語音播放單元播放該外語語音訊號供使用者聆聽，該語音播放單元接收到「islotate at home」的數位語音訊號後播放出給使用者聽，如此，使用者可以隨時知道想學習的外語單字如何發音。

以上所述之實施例僅係為說明本發明之技術思想及特徵，其目的在使熟習此項技藝之人士均能了解本發明之內容並據以實施，當不能以此限定本發明之專利範圍，凡依本發明之精神及說明書內容所作之均等變化或修飾，皆應涵蓋於本發明專利範圍內。

10 影像處理模組 11 影像擷取單元 12 影像辨識單元 20 語音處理模組 21 語音收錄單元 22 語音辨識單元 23 語音播放單元 30 功能操作模組 31 模式選擇單元 32 圖像辨識學習單元 33 口語辨識學習單元 40 雲端資料庫模組

Claims

一種結合影像辨識及語音辨識之智慧語言學習方法，包含：透過一影像擷取單元擷取一欲辨識影像；將該欲辨識影像經由一影像辨識單元與一雲端資料庫模組將該欲辨識影像資訊進行影像內容辨識比對，其中，該雲端資料庫模組儲存複數種類語言文字、語音資料、物件圖片或測驗題庫；當辨識比對成功後給予該欲辨識影像對應之一語音訊號及一說明文字；分別將該語音訊號透過一語音播放單元播放及將該說明文字透過一顯示器顯示給使用者參閱；及若該欲辨識影像辨識比對失敗，則透過該顯示器顯示比對失敗，並提供使用者輸入該欲辨識影像之中文名稱且與該欲辨識影像一併儲存於該雲端資料庫模組並註記比對狀態，以供後續增加補充對應之外語資訊。
如請求項1所述之結合影像辨識及語音辨識之智慧語言學習方法，其中，另包含：提供一指示圖卡供使用者進行口說練習；透過一語音處理模組擷取使用者的口說語音並進行語音辨識；及產生一語音辨識結果報告，其中，若使用者的發音正確，則該語音辨識結果報告顯示發音正確，若發音不正確，則透過一語音播放單元撥放錯誤通知訊息並播放出正確唸法。
如請求項1所述之結合影像辨識及語音辨識之智慧語言學習方法，其中，另包含：透過一語音擷取單元擷取一使用者口說之語音訊號；經由一語音辨識單元進行語音辨識確認語音內容；確認使用者所說之語音訊號後提供對應之一外語語音訊號；及透過一語音播放單元播放該外語語音訊號供使用者聆聽。