TWI727395B - 語言發音學習系統及方法 - Google Patents
語言發音學習系統及方法 Download PDFInfo
- Publication number
- TWI727395B TWI727395B TW108129081A TW108129081A TWI727395B TW I727395 B TWI727395 B TW I727395B TW 108129081 A TW108129081 A TW 108129081A TW 108129081 A TW108129081 A TW 108129081A TW I727395 B TWI727395 B TW I727395B
- Authority
- TW
- Taiwan
- Prior art keywords
- pronunciation
- standard
- user
- facial
- model
- Prior art date
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
本發明公開一種語言發音學習系統及方法。資料庫模組儲存不同的多個標準聲音資訊,以及以標準臉型分別發出多個標準聲音資訊的多個口腔結構資訊。標準臉型建模模組依據發出標準聲音資訊的口腔結構資訊,以建立標準臉型發音模型。影像擷取建模模組擷取使用者的臉部的多個特徵,比對多個特徵與口腔結構資訊,以調整標準臉型發音模型為個人臉型發音模型。處理模組提供使用者欲發出的標準聲音資訊的個人臉型發音模型,以及影像擷取建模模組所擷取的使用者的臉部影像,以供使用者練習發音。
Description
本發明涉及語言學習,特別是涉及一種可依據使用者的臉型提供不同發音教學模型的語言發音學習系統及方法。
英語的學習的目的是進行語言交際。英語學習是包括聽、說、讀、寫四項技能的綜合性學習,其中說的能力尤為重要。在英語學習中,英語語音教學的必要性是很顯而易見的,因為在日常生活中大部分的交際都是通過口頭語言實現的。要提高英語口語交際能力,離不開大量的口語練習。語音是口語練習的基礎,語音的準確性是衡量口語水準的重要因素。英語是拼音文字,發音應當是這門語言中最基本的依託點,它貫穿於整個英語學習過程,發音也是語言學習中不可分割的組成部分,語音的準確性和規律性都會直接影響到單詞的拼寫和記憶,進而影響到語言的交際性。
目前,在英語的教學過程中,教師基本上只能通過口述的方式教導學生進行語音練習,這種方式並不能使學生快速的學會音標及單詞的正確發音,再加上教師對音標及單詞發音的重視成都不夠,使得學生很難學會標準的英語發音,其結果就是無法靠語音去認識和掌握英語中的詞彙,而只能靠死記硬背去記憶眾多的英語單詞,使學英語的難度翻到百倍千倍,大大降低了學生對英語的學習興趣,因此,現在急需一種可有效幫助學生直觀清楚的瞭解英語正確發音的工具。現有的英語教學展示板的樣式種類雖然豐富,但無論哪一種展示板都移動不方便,並且只具有展示的作用,無法針對個人的臉型(包含嘴型)提供適合的發音教學示範,具有較低的適用性,不利於學習掌握,導致使用者的發音練習成效不彰。
本發明所要解決的技術問題在於,針對現有技術的不足提供一種語言發音學習系統,包含資料庫模組、標準臉型建模模組、影像擷取建模模組以及處理模組。資料庫模組儲存不同的多個標準聲音資訊,以及以標準臉型分別發出多個標準聲音資訊的多個口腔結構資訊。標準臉型建模模組連接資料庫模組,依據發出各標準聲音資訊的口腔結構資訊,以建立標準臉型發音模型。影像擷取建模模組連接標準臉型建模模組,擷取使用者的臉部影像,並從臉部影像取得多個特徵,比對多個特徵與口腔結構資訊,調整各標準臉型發音模型為個人臉型發音模型。處理模組連接影像擷取建模模組,提供使用者欲發出的標準聲音資訊的個人臉型發音模型,與使用者練習發音時的臉部影像重疊,以供使用者練習發音。
在一態樣中,處理模組提供個人臉型發音模型以及臉部影像顯示在電子裝置上,判斷個人臉型發音模型與臉部影像的輪廓的重疊程度符合預設程度時,提示使用者發聲。
在一態樣中,處理模組判斷個人臉型發音模型與臉部影像的輪廓重疊,但判斷使用者的發音與標準聲音資訊不符合時,提示使用者調整嘴型後發聲。
在一態樣中,處理模組判斷個人臉型發音模型與臉部影像的外圍輪廓重疊,以及判斷使用者的發音與標準聲音資訊符合,但使用者發音的嘴型與個人臉型發音模型的嘴型不符合時,修正個人臉型發音模型,並記錄在資料庫模組。
在一態樣中,所述語言發音學習系統更包含發音練習測驗模組,連接資料庫模組,依據資料庫模組所記錄的使用者練習發音的學習歷程,提供發音測驗試題,以供使用者反覆練習和校正錯誤發音。
另外,本發明提供一種語言發音學習方法,包含以下步驟:利用資料庫模組儲存不同的多個標準聲音資訊以及以標準臉型分別發出多個標準聲音資訊的多個口腔結構資訊;利用標準臉型建模模組依據發出各標準聲音資訊的口腔結構資訊以建立標準臉型發音模型;利用影像擷取建模模組擷取使用者的一臉部影像,並從該臉部影像取得多個特徵;利用影像擷取建模模組比對多個特徵與口腔結構資訊,調整各標準臉型發音模型為個人臉型發音模型;以及利用處理模組提供使用者欲發出的標準聲音資訊的個人臉型發音模型與使用者練習發音時的臉部影像重疊,以供使用者練習發音。
在一態樣中,所述語言發音學習方法更包含以下步驟:利用處理模組,提供個人臉型發音模型以及臉部影像顯示在電子裝置上;以及利用處理模組,判斷個人臉型發音模型與臉部影像的輪廓的重疊程度符合預設程度時,提示使用者發聲。
在一態樣中,所述語言發音學習方法更包含以下步驟:利用處理模組,判斷個人臉型發音模型與臉部影像的輪廓重疊,但判斷使用者的發音與標準聲音資訊不符合時,提示使用者調整嘴型後發聲。
在一態樣中,所述語言發音學習方法更包含以下步驟:利用處理模組判斷個人臉型發音模型與臉部影像的外圍輪廓重疊,判斷使用者的發音與標準聲音資訊符合,但使用者發音的嘴型與個人臉型發音模型的嘴型不符合時,修正個人臉型發音模型,並記錄在資料庫模組。
在一態樣中,所述語言發音學習方法更包含以下步驟:利用發音練習測驗模組,依據資料庫模組所記錄的使用者練習發音的學習歷程,提供發音測驗試題,以供使用者反覆練習和校正錯誤發音。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與圖式,然而所提供的圖式僅用於提供參考與說明,並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明所公開的實施方式,本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節也可基於不同觀點與應用,在不悖離本發明的構思下進行各種修改與變更。另外,本發明的附圖僅為簡單示意說明,並非依實際尺寸的描繪,事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所公開的內容並非用以限制本發明的保護範圍。
應當可以理解的是,雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者訊號,但這些元件或者訊號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件,或者一訊號與另一訊號。另外,本文中所使用的術語“或”,應視實際情況可能包含相關聯的列出項目中的任一個或者多個的組合。
[第一實施例]
請參閱圖1、圖2,圖1為本發明實施例的語言發音學習系統的方塊圖;圖2為本發明實施例的語言發音學習系統的細部方塊圖。如圖1所示,語言發音學習系統1包含資料庫模組10、標準臉型建模模組20、影像擷取建模模組30、處理模組40以及發音練習測驗模組50。
資料庫模組10連接標準臉型建模模組20、處理模組40以及發音練習測驗模組50。影像擷取建模模組30連接標準臉型建模模組20以及處理模組40。發音練習測驗模組50連接處理模組40。
如圖2所示,資料庫模組10儲存不同的多個標準聲音資訊11,例如26個英文字母A到Z及其正確發音,或其他各國語言文字的發音。另外,資料庫模組10可儲存以一標準臉型分別發出多個標準聲音資訊11的多個口腔結構資訊12,例如以嘴巴呈微笑形狀的標準嘴型發出英文字母E。口腔結構資訊12可包含口腔外型、唇型/嘴型、開口大小、舌型、牙齒和舌頭的位置、唇部和嘴角的弧度等臉部相關資訊。
標準臉型建模模組20從資料庫模組10取得多個標準聲音資訊11以及分別對應的多個口腔結構資訊12,並依據發出每一標準聲音資訊11的口腔結構資訊12,以建立例如3維或2維的標準臉型發音模型21。舉例來說,其中一個標準臉型發音模型21包含一個單字例如英文字母A的標準發音以及以一標準臉型發出此標準發音的一個口腔結構資訊12。在本實施例中,是以標準臉型發音模型21為一個單字的標準發音模型為例,實務上若有需要,可由多個標準臉型發音模型21組成為一個字詞或由多個字詞組成的字串/句子的標準發音模型。
應理解,不同的臉型(涵蓋臉部整體、五官的形狀、輪廓和大小等),發出相同的標準發音時的口腔結構資訊12可能有所不同。因此,在本實施例中,影像擷取建模模組30擷取使用者的臉部影像32,通過習知演算法(如ASM、ERT演算法等)定位在使用者的臉部上的多個特徵點的位置,並擷取每個特徵點的特徵FT。接著,影像擷取建模模組30比對使用者的臉部的多個特徵FT與標準臉型的臉部的多個標準特徵,並根據其之間的特徵差異,調整每一標準臉型發音模型21為例如3維或2維的個人臉型發音模型31。
在個人臉型發音模型31建立完成之後,使用者可開始進行發音練習。首先,影像擷取建模模組30可持續擷取/錄影使用者的臉部影像32。處理模組40可同時提供使用者練習發音時的臉部影像32以及使用者欲練習發出的標準聲音資訊11的個人臉型發音模型31,以供使用者在練習發音的過程中,查看發音時的嘴型是否符合標準,並據以調整嘴型,直到發出標準聲音資訊11指示的正確發音。
為提高使用性和發音練習的效果,本實施例的語言發音學習系統1可提供更多功能,例如處理模組40可控制本實施例的語言發音學習系統1所包含的其他模組以及處理這些模組的資訊或影像等,如下具體描述。
本實施例的語言發音學習系統1可下載、安裝使用者持有的電子裝置例如行動裝置內。當使用者欲練習發音時,語言發音學習系統1的處理模組40可提供影像擷取建模模組30擷取的臉部影像32以及個人臉型發音模型31同時顯示、重疊在電子裝置的螢幕上。
在電子裝置的螢幕中,個人臉型發音模型31位於臉部影像32上。處理模組40可自動比對臉部影像32的多個特徵FT與個人臉型發音模型31的多個特徵是否對準,若否,處理模組40可自動移動個人臉型發音模型31的位置,直到兩者對準。然而,若處理模組40不提供或使用者不採用此自動對準功能,可由使用者自行調整臉部相對於影像擷取建模模組30的位置,使臉部影像32與個人臉型發音模型31的臉部整體和五官的輪廓重疊。在此過程中,處理模組40比對使用者的臉部影像32與個人臉型發音模型31相互的特徵點例如輪廓的重疊程度。當處理模組40判斷此重疊程度符合一預設程度例如達到99%時時,輸出提示訊號41提示使用者發聲,以開始練習發音。
在使用者練習發音的過程中,使用者持有的電子裝置或本實施例的語言發音學習系統1所包含的語音接收模組,可持續接收使用者的聲音。處理模組40可比對從語音接收模組所接收到的使用者發出的每一個聲音是否與欲發出的標準發音(即標準聲音資訊11)相符合,並控制資料庫模組10紀錄使用者練習發音的學習歷程,包含欲發出的標準聲音、發音的正確性或正確率、發聲的次數、練習發音的時間、時間長度等相關資訊。
發音練習測驗模組50依據資料庫模組10所記錄的使用者練習發音的學習歷程,例如整合使用者曾經或多次練習後仍發音錯誤的標準聲音資訊11,提供發音測驗試題51,並可提供學習上的建議,以供使用者反覆練習和校正錯誤發音。例如,發音練習測驗模組50依據發音錯誤的次數,決定此發音錯誤的標準發音在發音測驗試題51中的試題數。
舉例而言,發音練習測驗模組50可將發音錯誤的多個標準發音的排列在發音測驗試題51中,例如將相近發音的多個標準發音排列在一起,或依據發音錯誤的多個標準發音的字義串成字詞或句子,以提供使用者練習發音的成效。又或者,發音練習測驗模組50可預先儲存不同的多個句子、段落或文章的發音測驗試題51,依據使用者發音錯誤的多個標準發音,選擇提供給使用者的發音測驗試題51,以供使用者練習發音。
請參閱圖3,其為本發明實施例的語言發音學習方法的建立個人臉型發音模型的步驟流程圖。本實施例的語言發音學習方法包含如圖3所示的步驟,適用於如圖1、圖2所示的語言發音學習系統1,具體說明如下。
首先,在步驟S301,利用資料庫模組10儲存不同的多個標準聲音資訊11,以及以標準臉型分別發出多個標準聲音資訊11的多個口腔結構資訊12。接著,在步驟S303,利用標準臉型建模模組20依據發出標準聲音資訊11的口腔結構資訊12,以建立標準臉型發音模型21。在步驟S305,利用影像擷取建模模組30擷取使用者的臉部的多個特徵FT。在步驟S307,比對多個特徵FT與口腔結構資訊12,調整標準臉型發音模型21為個人臉型發音模型31,即調整為以使用者的臉型欲發出標準聲音資訊11應有的口腔結構資訊12。
在如上述步驟S301~S307完成個人臉型發音模型31的建立之後,執行步驟S309,利用影像擷取建模模組30擷取使用者的臉部影像32。在步驟S311,利用處理模組40提供使用者欲發出的標準聲音資訊11的個人臉型發音模型31,以及使用者練習發音時的臉部影像32,以供使用者練習發音。
請參閱圖4,其為本發明實施例的語言發音學習方法的提示使用者發聲以及提供發音測驗試題的步驟流程圖。在執行如圖3所示的步驟S311後,可接著執行如圖4所示的步驟,具體說明如下。
在步驟S401,利用處理模組40提供個人臉型發音模型31以及使用者練習發音時的臉部影像32顯示在使用者的電子裝置的螢幕上。
在步驟S403,利用處理模組40判斷個人臉型發音模型31與臉部影像32的輪廓的重疊程度是否符合預設程度。若否,執行下一步驟S405,提示使用者調整臉部相對於影像擷取建模模組30的位置,進而調整臉部影像32顯示在電子裝置的螢幕上的位置。若是,直接接著執行步驟S407,利用處理模組40提示使用者發聲。
在步驟S409,利用處理模組40判斷使用者的發音是否標準,即是否符合標準聲音資訊11。若否,再次執行步驟S407,提示使用者變換嘴型重新發聲。若是,執行步驟S411。
在步驟S411中,利用處理模組40判斷使用者發聲時的嘴型是否與個人臉型發音模型31指示的發出標準聲音資訊11的個人口腔結構資訊例如口腔外型、唇型/嘴型、開口大小、舌型和舌頭的位置唇部、嘴角的弧度等臉部相關資訊是否相符合。若否,執行步驟S413~S419。若否,直接接著執行步驟S417、S419。
在步驟S413,利用處理模組40修正個人臉型發音模型31,以產生個人理想化發音臉型模型42。接著,在步驟S415中,資料庫模組10記錄理想化發音臉型模型42。
在步驟S417,利用資料庫模組10紀錄個人臉型發音模型31以及使用者練習發音的學習歷程例如動態學習成果。在步驟S419,利用發音練習測驗模組50依據資料庫模組10所記錄的使用者練習發音的學習歷程/歷史資料,以產生個人學習履歷並可儲存在資料庫模組10中,並可據以提供發音測驗試題51,以供使用者反覆練習和校正錯誤發音。
請一併參閱圖1~圖8,其中圖5為本發明實施例的語言發音學習系統及方法的標準臉型模型的示意圖;圖6為本發明實施例的語言發音學習系統及方法的標準臉型發音模型的示意圖;圖7為本發明實施例的語言發音學習系統及方法的使用者的臉部影像的示意圖;圖8為本發明實施例的語言發音學習系統及方法的個人臉型發音模型的示意圖。
如圖5所示,資料庫模組10可儲存具有一標準臉型的標準臉型模型STM。在標準臉型模型STM上的標準嘴唇STMH為未發音時的閉合狀態。如圖6所示,標準臉型建模模組20依據資料庫模組10所儲存的標準聲音資訊11以及發出標準聲音資訊11時的標準臉型模型STM的口腔結構資訊12,以建立標準臉型發音模型21,其中口腔結構資訊12可包含標準發音嘴唇STMHP的開口大小、形狀和弧度等資訊。
影像擷取建模模組30擷取如圖7所示的使用者的臉部影像32,其與如圖5所示的標準臉型模型STM的臉型顯然不同,特別是嘴唇UIA的形狀、大小與如圖5所示的標準嘴唇STMH不同。因此,影像擷取建模模組30比對使用者的臉部影像32上的臉部的多個特徵FT與標準臉型發音模型21的口腔結構資訊12,調整如圖6所示的標準臉型發音模型21,以建立如圖8所示的個人臉型發音模型31,包含使用者練習發音時的個人化理想嘴型。本實施例僅舉例發出一標準發音例如英文字母O的標準嘴唇STMH調整為個人理想發音嘴唇UMP,應理解,其他標準發音的個人臉型發音模型以相同或相似之方式建立。
請參閱圖1~圖10,其中圖9為本發明實施例的語言發音學習系統及方法提供個人臉型發音模型在電子裝置的螢幕上顯示以供使用者練習發音的使用示意圖;圖10為本發明實施例的語言發音學習系統及方法提供的個人臉型發音模型的示意圖。
如圖9所示,電子裝置PH例如行動裝置的螢幕可顯示如圖1、2所示的語言發音學習系統1的影像擷取建模模組30在使用者USER欲練習發音時所擷取(例如錄影)的使用者USER的臉部影像32。影像擷取建模模組30可例如為如圖9所示的電子裝置PH內建的照相機CMA。
如圖10所示,電子裝置PH可顯示處理模組40建立的個人臉型發音模型31,與使用者USER的臉部影像32的輪廓相互重疊。個人臉型發音模型31與使用者USER的臉部影像32的輪廓相互重疊至一預設程度,舉例而言,除了臉部影像32中未開口發音的使用者USER的嘴唇UIA未與作為發出標準聲音資訊11的個人臉型發音模型31的個人理想發音嘴唇UMP完全重疊外,臉部影像32與個人臉型發音模型31的臉上的其他五官的輪廓基本上相互重疊。此時,使用者USER可開始開口發出聲音,以進行發音的練習。
在練習過程中,可查看電子裝置PH上所顯示的臉部影像32的嘴唇UIA與個人臉型發音模型31的個人理想發音嘴唇UMP的差異以調整嘴型,進而調整發音至與標準聲音資訊11相符。
更進一步地,若處理模組40判斷使用者USER的發音與標準聲音資訊11相符,但使用者USER的臉部影像32的嘴唇UIA的形狀、大小、弧度等未與個人理想發音嘴唇UMP的形狀、大小、弧度相符時,可執行圖4的步驟S411~S419,調整個人臉型發音模型31以建立個人理想化發音臉型模型42。
[實施例的有益效果]
綜上所述,本發明的有益效果在於,本發明所提供語言發音學習系統及方法,其在語言學習的發聲校正程序中,藉由使用者的臉部影像與針對使用者的臉型所建立的個人理想化發音模型重疊的導覽方式,以作為發音調整的依據,提供使用者自我反覆調整唇型、舌頭和牙齒位置等,以有效的協助使用者校正發音。此個人理想化發音模型是針對每個使用者不同的臉型所產生的發出標準發音的模型,因此不易產生模型不適用的情況,具有絕佳的學習與校正效果。
再者,語言發音學習系統可蒐集並分析學習歷程資訊給予使用者回饋,例如針對錯誤發音提供測驗試題,督促使用者反覆加強練習,以增強發音學習效果,如此可以大幅提生學習的速度與效果。
從另一角度而言,本發明所提供的語言發音學習系統的組成架構簡單,搭配人人皆有的電子裝置例如手持式設備輔以即可達成良好的發音校正效果,不僅相關技術成熟,成本低廉、且效果顯著,因而極具應用與推廣價值。
以上所公開的內容僅為本發明的優選可行實施例,並非因此侷限本發明的申請專利範圍,所以凡是運用本發明說明書及圖式內容所做的等效技術變化,均包含於本發明的申請專利範圍內。
1:語言發音學習系統
10:資料庫模組
20:標準臉型建模模組
30:影像擷取建模模組
40:處理模組
50:發音練習測驗模組
11:標準聲音資訊
12:口腔結構資訊
21:標準臉型發音模型
31:個人臉型發音模型
32:影像
FT:特徵
41:提示訊號
42:個人理想化發音臉型模型
51:發音測驗試題
S301~S311、S401~S419:步驟
STM:標準臉型模型
STMH:標準嘴唇
STMHP:標準發音嘴唇
UIA:嘴唇
UMP:個人理想發音嘴唇
PH:電子裝置
CMA:照相機
USER:使用者
圖1為本發明實施例的語言發音學習系統的方塊圖。
圖2為本發明實施例的語言發音學習系統的細部方塊圖。
圖3為本發明實施例的語言發音學習方法的建立個人臉型發音模型的步驟流程圖。
圖4為本發明實施例的語言發音學習方法的提示使用者發聲以及提供發音測驗試題的步驟流程圖。
圖5為本發明實施例的語言發音學習系統及方法的標準臉型模型的示意圖。
圖6為本發明實施例的語言發音學習系統及方法的標準臉型發音模型的示意圖。
圖7為本發明實施例的語言發音學習系統及方法的使用者的臉部影像的示意圖。
圖8為本發明實施例的語言發音學習系統及方法的個人臉型發音模型的示意圖。
圖9為本發明實施例的語言發音學習系統及方法提供個人臉型發音模型在電子裝置的螢幕上顯示以供使用者練習發音的使用示意圖。
圖10為本發明實施例的語言發音學習系統及方法提供的個人臉型發音模型的示意圖。
步驟:S301~S311
Claims (6)
- 一種語言發音學習系統,包含:一資料庫模組,儲存不同的多個標準聲音資訊,以及以一標準臉型分別發出該多個標準聲音資訊的多個口腔結構資訊;一標準臉型建模模組,連接該資料庫模組,依據發出各該標準聲音資訊的該口腔結構資訊,以建立一標準臉型發音模型;一影像擷取建模模組,連接該標準臉型建模模組,擷取使用者的一臉部影像,並從該臉部影像取得多個特徵,比對該多個特徵與該口腔結構資訊,調整各該標準臉型發音模型為一個人臉型發音模型;一處理模組,連接該影像擷取建模模組,提供使用者欲發出的該標準聲音資訊的該個人臉型發音模型與使用者練習發音時的該臉部影像重疊,當該處理模組判斷該個人臉型發音模型與該臉部影像的一重疊程度符合一預設程度時,輸出一提示訊號提示使用者發聲以開始練習發音,該處理模組比對從該語音接收模組所接收到的使用者發出的每一個聲音是否與欲發出的各該標準聲音資訊相符合,以控制該資料庫模組紀錄使用者練習發音的一學習歷程;以及一發音練習測驗模組,連接該資料庫模組,配置以依據該資料庫模組所記錄的使用者練習發音的該學習歷程,整合使用者多次練習後仍發音錯誤的該多個標準聲音資訊,依據各該標準聲音資訊發音錯誤的次數,以決定發音錯誤的該多個標準聲音資訊的多個標準發音在一發音測驗試題中的試題數,將發音錯誤的該多個標準發音資訊的該多個標準發音排列在該發音測驗試題中,相近發音的該多個標準發音排列在一起或是依據發音錯誤的該多個標準發音的字義串成字詞或句子,以提供該發音測驗試題給使用者反覆練習和校正錯誤發音,或是該發音練習測 驗模組預先儲存具有多個句子、段落或文章的多個該發音測驗試題,並依據使用者發音錯誤的該多個標準發音資訊,選擇其中一該發音測驗試題提供給使用者。
- 如申請專利範圍第1項所述的語言發音學習系統,其中該處理模組判斷該個人臉型發音模型與該臉部影像的輪廓重疊,但判斷使用者的發音與該標準聲音資訊不符合時,提示使用者調整嘴型後發聲。
- 如申請專利範圍第1項所述的語言發音學習系統,其中該處理模組判斷該個人臉型發音模型與該臉部影像的外圍輪廓重疊,以及判斷使用者的發音與該標準聲音資訊符合,但使用者發音的嘴型與該個人臉型發音模型的嘴型不符合時,修正該個人臉型發音模型,並記錄在該資料庫模組。
- 一種語言發音學習方法,包含以下步驟:儲存不同的多個標準聲音資訊,以及以一標準臉型分別發出該多個標準聲音資訊的多個口腔結構資訊;依據發出各該標準聲音資訊的該口腔結構資訊,以建立一標準臉型發音模型;擷取使用者的一臉部影像,並從該臉部影像取得多個特徵;比對該多個特徵與該口腔結構資訊,調整各該標準臉型發音模型為一個人臉型發音模型;以及提供使用者欲發出的該標準聲音資訊的該個人臉型發音模型;將該個人臉型發音模型調整至與使用者練習發音時的該臉部影像重疊;判斷該個人臉型發音模型與該臉部影像的一重疊程度是否符合一預設程度,若否,回到上一步驟,提示使用者調整位置,若是,提示使用者發聲以開始練習發音;比對使用者發出的每一個聲音與欲發出的各該標準聲音資訊以 判斷使用者的發音正確性,紀錄在使用者練習發音的一學習歷程;依據所記錄的使用者練習發音的該學習歷程,整合使用者多次練習後仍發音錯誤的該多個標準聲音資訊;依據各該標準聲音資訊發音錯誤的次數,以決定發音錯誤的該多個標準聲音資訊的多個標準發音在一發音測驗試題中的試題數;將發音錯誤的該多個標準發音資訊的該多個標準發音排列在該發音測驗試題中,將相近發音的該多個標準發音排列在一起或是依據發音錯誤的該多個標準發音的字義串成字詞或句子,或是依據使用者發音錯誤的該多個標準發音資訊,從預先儲存的具有多個句子、段落或文章的多個該發音測驗試題選擇其中一該發音測驗試題;以及提供該發音測驗試題給使用者反覆練習和校正錯誤發音。
- 如申請專利範圍第4項所述的語言發音學習方法,更包含以下步驟:判斷該個人臉型發音模型與該臉部影像的輪廓重疊,但判斷使用者的發音與該標準聲音資訊不符合時,提示使用者調整嘴型後發聲。
- 如申請專利範圍第4項所述的語言發音學習方法,更包含以下步驟:判斷該個人臉型發音模型與該臉部影像的外圍輪廓重疊,判斷使用者的發音與該標準聲音資訊符合,但使用者發音的嘴型與該個人臉型發音模型的嘴型不符合時,修正該個人臉型發音模型,並記錄在該資料庫模組。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108129081A TWI727395B (zh) | 2019-08-15 | 2019-08-15 | 語言發音學習系統及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108129081A TWI727395B (zh) | 2019-08-15 | 2019-08-15 | 語言發音學習系統及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202109474A TW202109474A (zh) | 2021-03-01 |
TWI727395B true TWI727395B (zh) | 2021-05-11 |
Family
ID=76035631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108129081A TWI727395B (zh) | 2019-08-15 | 2019-08-15 | 語言發音學習系統及方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI727395B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113223555A (zh) * | 2021-04-30 | 2021-08-06 | 北京有竹居网络技术有限公司 | 视频生成方法、装置、存储介质及电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963841B2 (en) * | 2000-04-21 | 2005-11-08 | Lessac Technology, Inc. | Speech training method with alternative proper pronunciation database |
TW201039291A (en) * | 2009-04-28 | 2010-11-01 | Chih-Chung Hsieh | System and device for pronunciation learning and correction |
US20100304342A1 (en) * | 2005-11-30 | 2010-12-02 | Linguacomm Enterprises Inc. | Interactive Language Education System and Method |
CN102169642A (zh) * | 2011-04-06 | 2011-08-31 | 李一波 | 具有智能纠错功能的交互式虚拟教师*** |
US20180277117A1 (en) * | 2017-03-23 | 2018-09-27 | Alex Lauren HERGENROEDER | Method and Apparatus for Speech Interaction with Children |
WO2019032996A1 (en) * | 2017-08-10 | 2019-02-14 | Facet Labs, Llc | ORAL COMMUNICATION DEVICE AND COMPUTER ARCHITECTURE FOR PROCESSING DATA AND DELIVERING USER FEEDBACK OUTPUT, AND ASSOCIATED METHODS |
JP2019049683A (ja) * | 2017-09-11 | 2019-03-28 | 株式会社空間概念研究所 | スピーキング版言語学習システムおよびプログラム。 |
CN110096966A (zh) * | 2019-04-10 | 2019-08-06 | 天津大学 | 一种融合深度信息汉语多模态语料库的语音识别方法 |
US20190243447A1 (en) * | 2015-01-31 | 2019-08-08 | Brian Lee Moffat | Control of computer via distortions of facial geometry |
-
2019
- 2019-08-15 TW TW108129081A patent/TWI727395B/zh active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963841B2 (en) * | 2000-04-21 | 2005-11-08 | Lessac Technology, Inc. | Speech training method with alternative proper pronunciation database |
US20100304342A1 (en) * | 2005-11-30 | 2010-12-02 | Linguacomm Enterprises Inc. | Interactive Language Education System and Method |
TW201039291A (en) * | 2009-04-28 | 2010-11-01 | Chih-Chung Hsieh | System and device for pronunciation learning and correction |
CN102169642A (zh) * | 2011-04-06 | 2011-08-31 | 李一波 | 具有智能纠错功能的交互式虚拟教师*** |
US20190243447A1 (en) * | 2015-01-31 | 2019-08-08 | Brian Lee Moffat | Control of computer via distortions of facial geometry |
US20180277117A1 (en) * | 2017-03-23 | 2018-09-27 | Alex Lauren HERGENROEDER | Method and Apparatus for Speech Interaction with Children |
WO2019032996A1 (en) * | 2017-08-10 | 2019-02-14 | Facet Labs, Llc | ORAL COMMUNICATION DEVICE AND COMPUTER ARCHITECTURE FOR PROCESSING DATA AND DELIVERING USER FEEDBACK OUTPUT, AND ASSOCIATED METHODS |
JP2019049683A (ja) * | 2017-09-11 | 2019-03-28 | 株式会社空間概念研究所 | スピーキング版言語学習システムおよびプログラム。 |
CN110096966A (zh) * | 2019-04-10 | 2019-08-06 | 天津大学 | 一种融合深度信息汉语多模态语料库的语音识别方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202109474A (zh) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9786199B2 (en) | System and method for assisting language learning | |
US11145222B2 (en) | Language learning system, language learning support server, and computer program product | |
CN104681037B (zh) | 发音指导方法、装置及点读机 | |
CN109036464A (zh) | 发音检错方法、装置、设备及存储介质 | |
US20060110712A1 (en) | System and method for programmatically evaluating and aiding a person learning a new language | |
JPH04501617A (ja) | 言語練習 | |
JP2001159865A (ja) | 対話型語学指導のための方法および装置 | |
US8221126B2 (en) | System and method for performing programmatic language learning tests and evaluations | |
CN108806719A (zh) | 交互式语言学习***及其方法 | |
KR102212332B1 (ko) | 외국어 교육을 위한 발음 정확도 평가 장치 및 방법 | |
WO2006064295A2 (en) | Computerised system and method for teaching handwriting and reading | |
TWI727395B (zh) | 語言發音學習系統及方法 | |
KR20130068598A (ko) | 외국어 학습자의 발음 평가 장치 및 방법 | |
KR20140087956A (ko) | 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법 | |
KR101142945B1 (ko) | 음성인식과 영상의 상호작용을 통한 외국어 학습장치 및 그 학습방법 | |
JP2007148170A (ja) | 外国語学習支援システム | |
KR20140107067A (ko) | 이미지 데이터와 원어민 발음 데이터를 이용한 단어 학습장치 및 방법 | |
Strik et al. | Speech technology for language tutoring | |
TWI281649B (en) | System and method of dictation learning for correcting pronunciation | |
CN111508523A (zh) | 一种语音训练提示方法及*** | |
TWI724649B (zh) | 語言學習系統 | |
KR20150036954A (ko) | 어플을 이용한 받아쓰기 학습 및 채점방법 | |
KR20140082127A (ko) | 단어의 어원 및 원어민의 발음 데이터를 이용한 단어 학습장치 및 방법 | |
KR20140079245A (ko) | 언어 데이터 및 원어민의 발음 데이터를 이용한 리듬 패턴 학습장치 및 방법 | |
CN109671308B (zh) | 一种发音口型矫正***的生成方法 |