TWI739286B - 互動學習系統 - Google Patents
互動學習系統 Download PDFInfo
- Publication number
- TWI739286B TWI739286B TW109102198A TW109102198A TWI739286B TW I739286 B TWI739286 B TW I739286B TW 109102198 A TW109102198 A TW 109102198A TW 109102198 A TW109102198 A TW 109102198A TW I739286 B TWI739286 B TW I739286B
- Authority
- TW
- Taiwan
- Prior art keywords
- unit
- audio output
- content
- voice
- voice message
- Prior art date
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 27
- 230000001186 cumulative effect Effects 0.000 claims abstract description 8
- 230000008909 emotion recognition Effects 0.000 claims description 30
- 230000002996 emotional effect Effects 0.000 claims description 30
- 230000008451 emotion Effects 0.000 claims description 23
- 206010049976 Impatience Diseases 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 239000003102 growth factor Substances 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 230000036651 mood Effects 0.000 description 9
- 241000219357 Cactaceae Species 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 235000011468 Albizia julibrissin Nutrition 0.000 description 2
- 241000282836 Camelus dromedarius Species 0.000 description 2
- 235000005206 Hibiscus Nutrition 0.000 description 2
- 235000007185 Hibiscus lunariifolius Nutrition 0.000 description 2
- 244000284380 Hibiscus rosa sinensis Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 240000005852 Mimosa quadrivalvis Species 0.000 description 2
- 241000272171 Scolopacidae Species 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical group O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- OSGAYBCDTDRGGQ-UHFFFAOYSA-L calcium sulfate Chemical compound [Ca+2].[O-]S([O-])(=O)=O OSGAYBCDTDRGGQ-UHFFFAOYSA-L 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 235000012907 honey Nutrition 0.000 description 2
- 240000004246 Agave americana Species 0.000 description 1
- 241001116389 Aloe Species 0.000 description 1
- 241000257303 Hymenoptera Species 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 241001278834 Rosa stellata Species 0.000 description 1
- 235000012253 Rosa stellata subsp abyssa Nutrition 0.000 description 1
- 235000007072 Rosa stellata subsp mirifica Nutrition 0.000 description 1
- 235000001634 Rosa stellata subsp stellata Nutrition 0.000 description 1
- 235000004483 Rosa stellata var. erlansoniae Nutrition 0.000 description 1
- 235000010976 Rosa stellata var. mirifica Nutrition 0.000 description 1
- 235000011399 aloe vera Nutrition 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 229910052602 gypsum Inorganic materials 0.000 description 1
- 239000010440 gypsum Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000002772 monosaccharides Chemical class 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 229940098465 tincture Drugs 0.000 description 1
- 241001148471 unidentified anaerobic bacterium Species 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
- G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Electrically Operated Instructional Devices (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Entrepreneurship & Innovation (AREA)
Abstract
一種互動學習系統包含一音訊輸入單元、一語音辨識單元、一儲存單元、一音訊輸出單元、及一處理單元。該處理單元根據該語音辨識單元所產生的一輸入內容，當判斷不符合對應一目標答案的多個屬性特徵之其中任一者或該目標答案時，控制該音訊輸出單元輸出否定語意的該語音訊息，且當累計判斷不符合的次數達一預定次數時，選擇對應該目標答案的另一提示內容，並控制該音訊輸出單元輸出對應的該語音訊息。且當判斷符合該目標答案時，控制該音訊輸出單元輸出正確語意的該語音訊息，藉此而能夠提高使用者的互動性。
Description
本發明是有關於一種學習系統，特別是指一種演繹(Deductive)互動方式的互動學習系統。
隨著工業社會的生活步調緊湊，父母往往需要花費很長的時間在工作上，導致無法擁有足夠的時間陪伴小朋友學習或成長。在另一方面，由於科技的發展與進步都促使各種以電腦作為小朋友的學習工具的應用也逐漸普及與獲得採用。然而，現有的各種觀看電腦或電視所提供的各種影音內容的學習方式，通常都是單方面的自主學習，也就較難引起使用者(即小朋友)的興趣，因此仍然存有不少的改善空間。
因此，本發明的目的，即在提供一種演繹互動方式的互動學習系統。
於是，根據本發明提供一種互動學習系統，適用於一使用者，並包含一音訊輸入單元、一語音辨識單元、一儲存單元、一
音訊輸出單元、及一處理單元。
該音訊輸入單元接收該使用者說話的聲音，以產生一語音輸入資料。該語音辨識單元電連接該音訊輸入單元，以將該語音輸入資料作語音辨識，進而產生對應的一輸入內容。該儲存單元預先儲存多個候選答案、對應每一該候選答案的N個提示內容、及對應每一該候選答案的多個屬性特徵，N為正整數，且大於等於3。該音訊輸出單元用於輸出一語音訊息，使得該使用者能夠聆聽。
該處理單元電連接該語音辨識單元、該儲存單元、及該音訊輸出單元，並選擇該儲存單元所儲存的該等候選答案之其中一者，作為一目標答案，再選擇對應該目標答案的該N個提示內容之其中一者，並控制該音訊輸出單元輸出對應其中該者的該語音訊息。
接著，該處理單元根據該語音辨識單元所產生對應該語音輸入資料的該輸入內容，判斷是否符合對應該目標答案的該等屬性特徵之其中任一者或該目標答案。當判斷符合該等屬性特徵之其中任一者時，控制該音訊輸出單元輸出肯定語意的該語音訊息，而當判斷不符合該等屬性特徵之其中任一者或該目標答案時，控制該音訊輸出單元輸出否定語意的該語音訊息，且當累計判斷不符合的次數達一預定次數時，選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元輸出對應其中該另一者的該語音
訊息。
當該處理單元根據該語音辨識單元所產生對應該語音輸入資料的該輸入內容，判斷符合該目標答案時，控制該音訊輸出單元輸出正確語意的該語音訊息。當該處理單元輪流選擇對應該目標答案的該N個提示內容之其中每一者，且分別累計判斷不符合的次數都達該預定次數時，控制該音訊輸出單元輸出對應該目標答案的該語音訊息。
在一些實施態樣中，其中，該等屬性特徵包括相關該候選答案的一功能、一內貌、一外觀、一內顏色、一外顏色、一生長因素、及一生長環境之其中至少一者。
在另一些實施態樣中，其中，該預定次數是三次。
在另一些實施態樣中，其中，當該處理單元根據該語音辨識單元所產生對應該語音輸入資料的該輸入內容，判斷符合該目標答案時，控制該音訊輸出單元輸出正確語意的該語音訊息之後，該處理單元選擇該儲存單元所儲存的該等候選答案之其中另一者，作為另一目標答案，再選擇對應該另一目標答案的該N個提示內容之其中一者，並控制該音訊輸出單元輸出對應其中該者的該語音訊息。
在一些實施態樣中，該互動學習系統還包含一影像擷取單元及一情緒辨識單元。該影像擷取單元用於擷取包含該使用者的
一即時影像。該情緒辨識單元電連接該處理單元、該語音辨識單元、及該影像擷取單元，並根據該輸入內容及該即時影像，判斷該使用者的一情緒狀態。其中，該儲存單元還儲存對應每一該情緒狀態的至少一回饋內容，該處理單元還根據該情緒狀態，控制該音訊輸出單元輸出對應該情緒狀態的該至少一回饋內容之其中一者的該語音訊息。
在一些實施態樣中，其中，該至少一回饋內容包括對應一開心與興奮情緒且關於再次挑戰的一提問內容。當情緒辨識單元判斷該情緒狀態是該開心與興奮情緒時，且當該處理單元根據該輸入內容，判斷符合該目標答案，以控制該音訊輸出單元輸出正確語意的該語音訊息之後，該處理單元還先控制該音訊輸出單元輸出對應該提問內容的該語音訊息，並在根據該輸入內容判斷出肯定語意時，才控制該音訊輸出單元輸出對應該另一目標答案的該N個提示內容之其中該者的該語音訊息。
在另一些實施態樣中，其中，該至少一回饋內容包括對應一不耐煩與生氣情緒的一鼓勵內容、一音樂內容、及一笑話內容。當情緒辨識單元判斷該情緒狀態是該不耐煩與生氣情緒時，該處理單元還控制該音訊輸出單元輸出對應該至少一回饋內容之其中一者的該語音訊息，或者，該處理單元選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元輸出對應其中
該另一者的該語音訊息。
在另一些實施態樣中，其中，該至少一回饋內容包括對應一悲傷與挫折情緒的一鼓勵內容及一笑話內容。當情緒辨識單元判斷該情緒狀態是該悲傷與挫折情緒時，該處理單元還控制該音訊輸出單元輸出對應該至少一回饋內容之其中一者的該語音訊息，或者，該處理單元選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元輸出對應其中該另一者的該語音訊息。
在另一些實施態樣中，其中，當情緒辨識單元判斷該情緒狀態是一困惑情緒時，該處理單元選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元輸出對應其中該另一者的該語音訊息。
在另一些實施態樣中，其中，該至少一回饋內容包括對應一自信情緒且關於再次挑戰的一提問內容。當情緒辨識單元判斷該情緒狀態是該自信情緒時，且當該處理單元根據該輸入內容，判斷符合該目標答案，以控制該音訊輸出單元輸出正確語意的該語音訊息之後，該處理單元還先控制該音訊輸出單元輸出對應該提問內容的該語音訊息，並在根據該輸入內容判斷出肯定語意時，才控制該音訊輸出單元輸出對應該另一目標答案的該N個提示內容之其中該者的該語音訊息。
本發明的功效在於：藉由該音訊輸入單元及該語音辨識
單元記錄並產生該使用者說話的該輸入內容，並藉由該音訊輸出單元輸出該語音訊息，使得該處理單元將預先儲存於該儲存單元且對應該目標答案的該等提示內容，依照該使用者提問與回覆的正確程度，依序提供給該使用者，讓使用者能夠以演繹的方式逐步推敲該目標答案，進而能夠增加該使用者在學習上的互動性。
100:互動學習系統
1:處理單元
2:儲存單元
3:音訊輸入單元
4:音訊輸出單元
5:語音辨識單元
6:情緒辨識單元
7:影像擷取單元
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，說明本發明互動學習系統的一實施例。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，本發明互動學習系統100之一實施例，適用於一使用者，並包含一音訊輸入單元3、一語音辨識單元5、一儲存單元2、一音訊輸出單元4、一處理單元1、一情緒辨識單元6、及一影像擷取單元7。該使用者例如是一小朋友，藉由使用該互動學習系統100，以增進詞彙與推理的能力及程度。
該音訊輸入單元3接收該使用者說話的聲音，以產生一語
音輸入資料。舉例來說，該音訊輸入單元3包括一麥克風及一錄音模組。該語音辨識單元5例如是一單晶片或一晶片中的運算模組，並電連接該音訊輸入單元3，以將該語音輸入資料作語音辨識，進而產生對應該語音輸入資料的一輸入內容。該音訊輸出單元4用於輸出一語音訊息，使得該使用者能夠聆聽。舉例來說，該音訊輸出單元4包括一接收語音資料的驅動電路，及受到該驅動電路驅動的一喇叭或一擴音器，以產生該語音訊息。
該儲存單元2例如是一記憶體或一磁碟等儲存媒介，並預先儲存多個候選答案、對應每一該候選答案的N個提示內容、及對應每一該候選答案的多個屬性特徵，N為正整數，且大於等於3。在本實施例中，N等於3。該等屬性特徵包括相關該候選答案的一功能、一內貌、一外觀、一內顏色、一外顏色、一生長因素、及一生長環境之其中至少一者。
該處理單元1例如是一中央處理器、一微控制器等等的運算元件或模組，且電連接該語音辨識單元5、該儲存單元2、及該音訊輸出單元4，並選擇該儲存單元2所儲存的該等候選答案之其中一者，作為一目標答案，再選擇對應該目標答案的該N個提示內容之其中一者，並控制該音訊輸出單元4輸出對應其中該者的該語音訊息。舉例來說，該等候選***含仙人掌、咖啡、蜂蜜、玻璃、石膏、牙刷、鷸駝、駱駝、木槿、含羞草、門得列夫。對應仙人掌的
該三個提示內容依照順序是「生長在沙漠」、「是種多肉植物」、「葉子退化成短小的刺」；對應咖啡的該三個提示內容依照順序是「重要經濟作物」、「提神作用」、「豆子經烘培」；對應蜂蜜的該三個提示內容依照順序是「單醣」、「厭氧菌」、「蜜蜂」。
對應玻璃的該三個提示內容依照順序是「透明、脆斷」、「非晶體」、「主成分為二氧化矽」；對應石膏的該三個提示內容依照順序是「可改良鹼性土壤」、「用於模型製作」、「硫酸鈣」；對應牙刷的該三個提示內容依照順序是「衛生用品」、「清潔口腔」、「高密度刷毛」；對應鷸駝的該三個提示內容依照順序是「無法飛行」、「雄鳥負責孵卵」、「紐西蘭的國鳥」；對應駱駝的該三個提示內容依照順序是「胃可以儲水」、「鼻孔能開閉」、「沙漠之舟」；對應木槿的該三個提示內容依照順序是「落葉灌木」、「花朵朝開暮謝」、「南韓國花」；對應含羞草的該三個提示內容依照順序是「葉子對生」、「葉面閉合」、「膨壓作用」；對應門得列夫的該三個提示內容依照順序是「發明焦珂羅酊」、「俄國科學家」、「製作第一張元素週期表」。
接著，該處理單元1根據該語音辨識單元5所產生對應該語音輸入資料的該輸入內容，判斷是否符合對應該目標答案的該等屬性特徵之其中任一者或該目標答案。當判斷符合該等屬性特徵之其中任一者時，控制該音訊輸出單元4輸出肯定語意的該語音訊
息，而當判斷不符合該等屬性特徵之其中任一者或該目標答案時，控制該音訊輸出單元4輸出否定語意的該語音訊息，且當累計判斷不符合的次數達一預定次數時，選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元4輸出對應其中該另一者的該語音訊息。在本實施例中，該預定次數是3次。
此外，當該處理單元1根據該語音辨識單元5所產生對應該語音輸入資料的該輸入內容，判斷符合該目標答案時，控制該音訊輸出單元4輸出正確語意的該語音訊息。而當該處理單元1輪流選擇對應該目標答案的該N個提示內容之其中每一者，例如依照前述的順序提供該三個提示內容，且分別累計判斷不符合的次數都達該預定次數時，控制該音訊輸出單元4輸出對應該目標答案的該語音訊息。再者，當該處理單元1根據該語音辨識單元5所產生對應該語音輸入資料的該輸入內容，判斷符合該目標答案時，控制該音訊輸出單元4輸出正確語意的該語音訊息之後，該處理單元1選擇該儲存單元2所儲存的該等候選答案之其中另一者，作為另一目標答案，再選擇對應該另一目標答案的該N個提示內容之其中一者，並控制該音訊輸出單元4輸出對應其中該者的該語音訊息。
舉例來說，該目標答案是仙人掌。該音訊輸出單元4先輸出「生長在沙漠」的該語音訊息，即第一個該提示內容；該使用者回答：「是動物嗎？」該處理單元1判斷動物不是對應仙人掌(即該
候選答案)的其中一個該屬性特徵，則該音訊輸出單元4輸出「不是」(即否定語意)的該語音訊息；要特別強調的是：該處理單元1判斷該輸入內容是否符合對應該目標答案的該等屬性特徵之其中任一者或該目標答案時，是判斷文義內容是否相符合，而不是以每個字元是否都相符合作判斷標準。接著，該使用者回答：「是植物嗎？」；則該音訊輸出單元4輸出「是」(即肯定語意)的該語音訊息；該使用者回答：「是龍舌蘭嗎？」；則該音訊輸出單元4輸出「不是」，同時，該處理單元1累計判斷不符合的次數為一次；該使用者回答：「是蘆薈嗎？」；則該音訊輸出單元4輸出「不是」，同時，該處理單元1累計判斷不符合的次數為二次；該使用者回答：「是斑紋犀角嗎？」；則該音訊輸出單元4輸出「不是」，同時，該處理單元1累計判斷不符合的次數為三次；導致該處理單元1控制該音訊輸出單元4輸出「是種多肉植物」的該語音訊息，即第二個該提示內容。
接著，該使用者回答：「是沙漠玫瑰嗎？」；則該音訊輸出單元4輸出「不是」，且累計判斷不符合的次數為一次；該使用者回答：「是綠之鈴嗎？」；則該音訊輸出單元4輸出「不是」，且累計判斷不符合的次數為二次；該使用者回答：「是大犀角嗎？」；則該音訊輸出單元4輸出「不是」，且累計判斷不符合的次數為三次；導致該處理單元1控制該音訊輸出單元4輸出「葉子退化成短小的刺」的該語音訊息，即第三個該提示內容。該使用者回答：「會
開花嗎？」；則該音訊輸出單元4輸出「是」；該使用者回答：「是仙人掌嗎？」；則該音訊輸出單元4輸出「是」或「正確」(即正確語意)的該語音訊息。
另外，在本實施例中，該處理單元1還能夠根據該情緒辨識單元6的辨識結果，以控制該音訊輸出單元4所輸出的內容。更詳細地說，該影像擷取單元7例如是一攝影機或一攝影模組，並用於擷取包含該使用者的一即時影像，該情緒辨識單元6例如是一單晶片或一晶片中的運算模組，並具備影像辨識的功能，且電連接該處理單元1、該語音辨識單元5、及該影像擷取單元7，並根據該輸入內容及該即時影像，判斷該使用者的一情緒狀態。該儲存單元2還儲存對應每一該情緒狀態的至少一回饋內容。使得該處理單元1還根據該情緒狀態，控制該音訊輸出單元4輸出對應該情緒狀態的該至少一回饋內容之其中一者的該語音訊息。
舉例來說，該情緒狀態包括一開心與興奮情緒、一不耐煩與生氣情緒、一悲傷與挫折情緒、一困惑情緒、及一自信情緒。該情緒辨識單元6根據對應該語音輸入資料的該輸入內容，例如該使用者的笑聲、歌聲、特定詞語的使用(如YES)、且答題速度變快(如計算間隔時間)，及該即時影像中該使用者的表情(如微笑)等其中多者的綜合判斷，來判斷該使用者處於的該開心與興奮狀態。再者，該情緒辨識單元6例如根據該使用者的音量變大、語調超出平
均值、且答題速度變快，及該使用者皺眉、眨眼、或眼動，且當該互動學習系統100是整合在一行動裝置上時，還例如根據該行動裝置被該使用者晃動的程度與觸控輸入的位置不正確等其中多者的綜合判斷，來判斷該使用者處於該不耐煩與生氣情緒。
該情緒辨識單元6例如根據該使用者回答的錯誤比率超過一閥值與哭聲，且當該互動學習系統100是整合在該行動裝置上時，還例如根據觸控輸入的速度、點擊特定按鍵(如離開鍵)、觸控輸入的位置(如點擊在非預定的輸入位置)等其中多者的綜合判斷，來判斷該使用者處於該悲傷與挫折情緒。再者，該情緒辨識單元6例如根據該使用者的特定詞語的使用(如嗯嗯...)、該使用者皺眉、及該使用者保持未回應的時間(即停滯或待機的情形)等其中多者的綜合判斷，來判斷該使用者處於該困惑情緒。再者，該情緒辨識單元6例如根據該使用者的聲音(如平穩的語氣)，且當該互動學習系統100是整合在該行動裝置上時，還例如根據觸控輸入的點擊壓力植，及觸控輸入的間隔時間(如答題時間的間隔)等其中多者的綜合判斷，來判斷該使用者處於該自信情緒。
該至少一回饋內容包括對應該開心與興奮情緒且關於再次挑戰的一提問內容(如「要不要再作進階題」)，對應一不耐煩與生氣情緒的一鼓勵內容(如「再加油喔」)、一困惑情緒的提醒內容(如詢問需要幫忙嗎)、一音樂內容(如輕鬆的音樂)、與一笑話內容，
對應該悲傷與挫折情緒的該鼓勵內容(如「再加油喔」)與該笑話內容，及對應該自信情緒且關於再次挑戰的該提問內容(如「要不要再作進階題」)。
承續前例，在該處理單元1是還根據該情緒辨識單元6所辨識的該情緒狀態的情況下：當情緒辨識單元6判斷該情緒狀態是該開心與興奮情緒時，且當該處理單元1根據該輸入內容，判斷符合該目標答案，以控制該音訊輸出單元4輸出正確語意的該語音訊息之後，該處理單元1還先控制該音訊輸出單元4輸出對應該提問內容的該語音訊息，並在根據該輸入內容判斷出肯定語意時，才控制該音訊輸出單元4輸出對應該另一目標答案的該N個提示內容之其中該者的該語音訊息。
當情緒辨識單元6判斷該情緒狀態是該不耐煩與生氣情緒時，該處理單元1還控制該音訊輸出單元4輸出對應該至少一回饋內容之其中一者的該語音訊息，或者，該處理單元1選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元4輸出對應其中該另一者的該語音訊息。
當情緒辨識單元6判斷該情緒狀態是該悲傷與挫折情緒時，該處理單元1還控制該音訊輸出單元4輸出對應該至少一回饋內容之其中一者的該語音訊息，或者，該處理單元1選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元4輸
出對應其中該另一者的該語音訊息。
當情緒辨識單元6判斷該情緒狀態是該困惑情緒時，該處理單元1選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元4輸出對應其中該另一者的該語音訊息。
當情緒辨識單元6判斷該情緒狀態是該自信情緒時，且當該處理單元1根據該輸入內容，判斷符合該目標答案，以控制該音訊輸出單元4輸出正確語意的該語音訊息之後，該處理單元1還先控制該音訊輸出單元4輸出對應該提問內容的該語音訊息，並在根據該輸入內容判斷出肯定語意時，才控制該音訊輸出單元4輸出對應該另一目標答案的該N個提示內容之其中該者的該語音訊息。
綜上所述，藉由該音訊輸入單元3及該語音辨識單元5記錄並產生該使用者說話的該輸入內容，並藉由該音訊輸出單元4輸出該語音訊息，使得該處理單元1將預先儲存於該儲存單元2且對應該目標答案的該等提示內容，依照該使用者提問與回覆的正確程度，依序提供給該使用者，讓使用者能夠以演繹的方式逐步推敲該目標答案，進而能夠增加該使用者在學習上的互動性。此外，該處理單元1還能夠根據該情緒辨識單元6所辨識的該情緒狀態，產生對應的該語音訊息或提供下一個該提示內容，而更能夠在考量該使用者的學習情緒時作出更佳的互動性，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此
限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
100:互動學習系統
1:處理單元
2:儲存單元
3:音訊輸入單元
4:音訊輸出單元
5:語音辨識單元
6:情緒辨識單元
7:影像擷取單元
Claims (10)
- 一種互動學習系統，適用於一使用者，並包含：一音訊輸入單元，接收該使用者說話的聲音，以產生一語音輸入資料；一語音辨識單元，電連接該音訊輸入單元，以將該語音輸入資料作語音辨識，進而產生對應的一輸入內容；一儲存單元，預先儲存多個候選答案、對應每一該候選答案的N個提示內容、及對應每一該候選答案的多個屬性特徵，N為正整數，且大於等於3；一音訊輸出單元，用於輸出一語音訊息，使得該使用者能夠聆聽；及一處理單元，電連接該語音辨識單元、該儲存單元、及該音訊輸出單元，並選擇該儲存單元所儲存的該等候選答案之其中一者，作為一目標答案，再選擇對應該目標答案的該N個提示內容之其中一者，並控制該音訊輸出單元輸出對應該N個提示內容之其中該者的該語音訊息，接著，該處理單元根據該語音辨識單元所產生對應該語音輸入資料的該輸入內容，判斷是否符合對應該目標答案的該等屬性特徵之其中任一者或該目標答案，當判斷符合該等屬性特徵之其中任一者時，控制該音訊輸出單元輸出表示肯定語意的該語音訊息，而當判斷不符合該等屬性特徵之其中任一者或該目標答案時，控制該音訊輸出單元輸出表示否定語意的該語音訊息，且當累計判斷不符合的次數達一預定次數時，選擇對應該目標答案的該N個提示 內容之其中另一者，並控制該音訊輸出單元輸出對應其中該另一者的該語音訊息，當該處理單元根據該語音辨識單元所產生對應該語音輸入資料的該輸入內容，判斷符合該目標答案時，控制該音訊輸出單元輸出表示正確語意的該語音訊息，當該處理單元輪流選擇對應該目標答案的該N個提示內容之其中每一者，且分別累計判斷不符合的次數都達該預定次數時，控制該音訊輸出單元輸出對應該目標答案的該語音訊息。
- 如請求項1所述的互動學習系統，其中，該等屬性特徵包括相關該候選答案的一功能、一內貌、一外觀、一內顏色、一外顏色、一生長因素、及一生長環境之其中至少一者。
- 如請求項1所述的互動學習系統，其中，該預定次數是三次。
- 如請求項1所述的互動學習系統，其中，當該處理單元根據該語音辨識單元所產生對應該語音輸入資料的該輸入內容，判斷符合該目標答案時，控制該音訊輸出單元輸出表示正確語意的該語音訊息之後，該處理單元選擇該儲存單元所儲存的該等候選答案之其中另一者，作為另一目標答案，再選擇對應該另一目標答案的該N個提示內容之其中一者，並控制該音訊輸出單元輸出對應該N個提示內容之其中該者的該語音訊息。
- 如請求項4所述的互動學習系統，還包含：一影像擷取單元，用於擷取包含該使用者的一即時影 像；及一情緒辨識單元，電連接該處理單元、該語音辨識單元、及該影像擷取單元，並根據該輸入內容及該即時影像，判斷該使用者的一情緒狀態，其中，該儲存單元還儲存對應每一該情緒狀態的至少一回饋內容，該處理單元還根據該情緒狀態，控制該音訊輸出單元輸出對應該情緒狀態的該至少一回饋內容之其中一者的該語音訊息。
- 如請求項5所述的互動學習系統，其中，該至少一回饋內容包括對應一開心與興奮情緒且關於再次挑戰的一提問內容，當情緒辨識單元判斷該情緒狀態是該開心與興奮情緒時，且當該處理單元根據該輸入內容，判斷符合該目標答案，以控制該音訊輸出單元輸出表示正確語意的該語音訊息之後，該處理單元還先控制該音訊輸出單元輸出對應該提問內容的該語音訊息，並在根據對應該提問內容的該輸入內容判斷出表示肯定語意時，才控制該音訊輸出單元輸出對應該另一目標答案的該N個提示內容之其中該者的該語音訊息。
- 如請求項5所述的互動學習系統，其中，該至少一回饋內容包括對應一不耐煩與生氣情緒的一鼓勵內容、一音樂內容、及一笑話內容，當情緒辨識單元判斷該情緒狀態是該不耐煩與生氣情緒時，該處理單元還控制該音訊輸出單元輸出對應該至少一回饋內容之其中一者的該語音訊息，或者，該處理單元選擇對應該目標答案的該N個提示內容之 其中另一者，並控制該音訊輸出單元輸出對應該N個提示內容之其中該另一者的該語音訊息。
- 如請求項5所述的互動學習系統，其中，該至少一回饋內容包括對應一悲傷與挫折情緒的一鼓勵內容及一笑話內容，當情緒辨識單元判斷該情緒狀態是該悲傷與挫折情緒時，該處理單元還控制該音訊輸出單元輸出對應該至少一回饋內容之其中一者的該語音訊息，或者，該處理單元選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元輸出對應該N個提示內容之其中該另一者的該語音訊息。
- 如請求項5所述的互動學習系統，其中，當該情緒辨識單元判斷該情緒狀態是一困惑情緒時，該處理單元選擇對應該目標答案的該N個提示內容之其中另一者，並控制該音訊輸出單元輸出對應其中該另一者的該語音訊息。
- 如請求項5所述的互動學習系統，其中，該至少一回饋內容包括對應一自信情緒且關於再次挑戰的一提問內容，當該情緒辨識單元判斷該情緒狀態是該自信情緒時，且當該處理單元根據該輸入內容，判斷符合該目標答案，以控制該音訊輸出單元輸出表示正確語意的該語音訊息之後，該處理單元還先控制該音訊輸出單元輸出對應該提問內容的該語音訊息，並在根據對應該提問內容的該輸入內容判斷出表示肯定語意時，才控制該音訊輸出單元輸出對應該另一目標答案的該N個提示內容之其中該者的該語音訊息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109102198A TWI739286B (zh) | 2020-01-21 | 2020-01-21 | 互動學習系統 |
| US17/010,244 US20210225190A1 (en) | 2020-01-21 | 2020-09-02 | Interactive education system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109102198A TWI739286B (zh) | 2020-01-21 | 2020-01-21 | 互動學習系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202129629A TW202129629A (zh) | 2021-08-01 |
| TWI739286B true TWI739286B (zh) | 2021-09-11 |
Family
ID=76856334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109102198A TWI739286B (zh) | 2020-01-21 | 2020-01-21 | 互動學習系統 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20210225190A1 (zh) |
| TW (1) | TWI739286B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7488440B1 (ja) | 2023-08-18 | 2024-05-22 | 特定非営利活動法人ロジカ・アカデミー | 非認知能力向上支援システムおよび非認知能力向上支援方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW468120B (en) * | 2000-04-24 | 2001-12-11 | Inventec Corp | Talk to learn system and method of foreign language |
| TW469739B (en) * | 1998-11-02 | 2001-12-21 | United Video Properties Inc | Interactive program guide with continuous data stream and client-server data supplementation |
| TW530490B (en) * | 2000-04-10 | 2003-05-01 | United Video Properties Inc | Interactive media guide with media guidance interface |
| TW201241822A (en) * | 2011-04-15 | 2012-10-16 | Hon Hai Prec Ind Co Ltd | An interactive speech recognition electronic apparatus and method |
| TW201432638A (zh) * | 2013-02-15 | 2014-08-16 | Colvard Learning Systems Llc | 互動式學習系統 |
| TWI591501B (zh) * | 2016-10-19 | 2017-07-11 | The book content digital interaction system and method | |
| TWI611336B (zh) * | 2014-03-10 | 2018-01-11 | 宏達國際電子股份有限公司 | 提示產生方法、行動電子裝置及電腦可讀取媒體 |
| TWI651714B (zh) * | 2017-12-22 | 2019-02-21 | 隆宸星股份有限公司 | 語音選項選擇系統與方法以及使用其之智慧型機器人 |
| TW201941085A (zh) * | 2018-03-26 | 2019-10-16 | 美商蘋果公司 | 自然助理互動 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6061782A (ja) * | 1983-09-12 | 1985-04-09 | シロニ− カンパニ− リミテツド | 計算機援用学習システムの教材プログラム編集方式 |
| US5035625A (en) * | 1989-07-24 | 1991-07-30 | Munson Electronics, Inc. | Computer game teaching method and system |
| USRE38432E1 (en) * | 1998-01-29 | 2004-02-24 | Ho Chi Fai | Computer-aided group-learning methods and systems |
| US6482011B1 (en) * | 1998-04-15 | 2002-11-19 | Lg Electronics Inc. | System and method for improved learning of foreign languages using indexed database |
| US7357640B2 (en) * | 2003-07-02 | 2008-04-15 | Drb Lit Ltd. | Lock-In Training system |
| JP2006221127A (ja) * | 2005-01-17 | 2006-08-24 | Fujitsu Ltd | 学習プログラム、方法及び装置 |
| US20080126319A1 (en) * | 2006-08-25 | 2008-05-29 | Ohad Lisral Bukai | Automated short free-text scoring method and system |
| KR100978091B1 (ko) * | 2010-01-07 | 2010-08-25 | 주식회사 유비온 | 온라인 테스트 평가 관리 시스템 및 방법 |
| US10388178B2 (en) * | 2010-08-27 | 2019-08-20 | Arthur Carl Graesser | Affect-sensitive intelligent tutoring system |
| US20140324749A1 (en) * | 2012-03-21 | 2014-10-30 | Alexander Peters | Emotional intelligence engine for systems |
| US10388177B2 (en) * | 2012-04-27 | 2019-08-20 | President And Fellows Of Harvard College | Cluster analysis of participant responses for test generation or teaching |
| US9799228B2 (en) * | 2013-01-11 | 2017-10-24 | Educational Testing Service | Systems and methods for natural language processing for speech content scoring |
| US20140272905A1 (en) * | 2013-03-15 | 2014-09-18 | Adapt Courseware | Adaptive learning systems and associated processes |
| US9818307B2 (en) * | 2014-07-28 | 2017-11-14 | Sparkting Llc | Communication device interface for a semantic-based creativity assessment |
| US11086920B2 (en) * | 2017-06-22 | 2021-08-10 | Cerego, Llc. | System and method for automatically generating concepts related to a target concept |
| US10942991B1 (en) * | 2018-06-22 | 2021-03-09 | Kiddofy, LLC | Access controls using trust relationships and simplified content curation |
| US11150923B2 (en) * | 2019-09-16 | 2021-10-19 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for providing manual thereof |
-
2020
- 2020-01-21 TW TW109102198A patent/TWI739286B/zh active
- 2020-09-02 US US17/010,244 patent/US20210225190A1/en not_active Abandoned
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW469739B (en) * | 1998-11-02 | 2001-12-21 | United Video Properties Inc | Interactive program guide with continuous data stream and client-server data supplementation |
| TW530490B (en) * | 2000-04-10 | 2003-05-01 | United Video Properties Inc | Interactive media guide with media guidance interface |
| TW468120B (en) * | 2000-04-24 | 2001-12-11 | Inventec Corp | Talk to learn system and method of foreign language |
| TW201241822A (en) * | 2011-04-15 | 2012-10-16 | Hon Hai Prec Ind Co Ltd | An interactive speech recognition electronic apparatus and method |
| TWI539440B (zh) * | 2011-04-15 | 2016-06-21 | 鴻海精密工業股份有限公司 | 互動式語音識別電子裝置及方法 |
| TW201432638A (zh) * | 2013-02-15 | 2014-08-16 | Colvard Learning Systems Llc | 互動式學習系統 |
| TWI611336B (zh) * | 2014-03-10 | 2018-01-11 | 宏達國際電子股份有限公司 | 提示產生方法、行動電子裝置及電腦可讀取媒體 |
| TWI591501B (zh) * | 2016-10-19 | 2017-07-11 | The book content digital interaction system and method | |
| TWI651714B (zh) * | 2017-12-22 | 2019-02-21 | 隆宸星股份有限公司 | 語音選項選擇系統與方法以及使用其之智慧型機器人 |
| TW201941085A (zh) * | 2018-03-26 | 2019-10-16 | 美商蘋果公司 | 自然助理互動 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210225190A1 (en) | 2021-07-22 |
| TW202129629A (zh) | 2021-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10957325B2 (en) | Method and apparatus for speech interaction with children | |
| Clark et al. | First language acquisition | |
| Dishion et al. | The Family Process Code: A multidimensional system for observing family interaction | |
| JP2020507835A (ja) | ロボット、サーバおよびヒューマン・マシン・インタラクション方法 | |
| Gallagher et al. | Vibrations in place: Sound and language in early childhood literacy practices | |
| US20060160060A1 (en) | Educational children's video | |
| TWI739286B (zh) | 互動學習系統 | |
| de Graaf | Living with robots: investigating the user acceptance of social robots in domestic environments | |
| Copenhaver | Running out of time: Rushed read-alouds in a primary classroom | |
| Kucirkova et al. | Digital media and young children’s learning: How early is too early and why? Review of research on 0–2-year-olds | |
| Tarvainen | Democratizing singing: Somaesthetic reflections on vocality, deaf voices, and listening | |
| Degotardi | I think–I can”: Acknowledging and promoting agency during educator-infant play | |
| CN112402044A (zh) | 一种电动牙刷音视频儿童教育方法 | |
| Sole | Songs from the crib: Toddlers' private bedtime vocalizations. A collective case study | |
| McKnight | What is the Emerging Church? | |
| Quinn | Learning to play and playing to learn: the role of symbolic play in language acquisition | |
| CN112863267B (zh) | 一种英语人机对话***及学习方法 | |
| Aszodi | Voicing subjectivity: Artistic research in the realization of new vocal music | |
| Klein | An afternoon’s conversation at Elsa’s | |
| Arsanti et al. | Children's Language Acquisition with Islamic Animated Video Media" Nussa" on Two-Year-Old Kid (Qualitative Study on Nareshwara) | |
| Green | Leading the Play: Development of a Method Supporting Expression and Control with Adults with Dementia | |
| Carroll | Children’s peer talk in an early childhood centre as a vehicle for learning language | |
| Cochran | Learning Internet from tone of voice | |
| Ningsih | SPEAKING SKILL | |
| Lathey et al. | What to Do when Your Child Isn't Talking: Expert Strategies to Help Your Baby Or Toddler Talk, Overcome Speech Delay, and Build Language Skills for Life |