TWI684159B - 用於互動式線上教學的即時監控方法 - Google Patents

用於互動式線上教學的即時監控方法 Download PDF

Info

Publication number
TWI684159B
TWI684159B TW107109476A TW107109476A TWI684159B TW I684159 B TWI684159 B TW I684159B TW 107109476 A TW107109476 A TW 107109476A TW 107109476 A TW107109476 A TW 107109476A TW I684159 B TWI684159 B TW I684159B
Authority
TW
Taiwan
Prior art keywords
lecturer
teaching
student
server
condition
Prior art date
Application number
TW107109476A
Other languages
English (en)
Other versions
TW201941152A (zh
Inventor
楊正大
Original Assignee
麥奇數位股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 麥奇數位股份有限公司 filed Critical 麥奇數位股份有限公司
Priority to TW107109476A priority Critical patent/TWI684159B/zh
Priority to CN201810391146.1A priority patent/CN110312098A/zh
Priority to US16/215,815 priority patent/US20190295430A1/en
Priority to JP2019002339A priority patent/JP2019179235A/ja
Publication of TW201941152A publication Critical patent/TW201941152A/zh
Application granted granted Critical
Publication of TWI684159B publication Critical patent/TWI684159B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種用於互動式線上教學的即時監控方法，藉由一伺服端及經由一通訊網路連接該伺服端且分別呈現授課內容給一授課者與一學員的一授課端與一學員端來執行。該授課端持續將藉由拍攝該授課者所在空間所獲得的一影像資料即時傳送至該伺服端，以使該伺服端將該影像資料傳送至該學員端以供其顯示。該伺服端在根據該影像資料判定出該影像含有一對應於該授課者胸部以上部位的影像部分且判定出該授課者臉部的表情/位置/動作或該授課者下巴至前胸的部分匹配於一預定情況時，經由該通訊網路傳送一相關於該預定情況的通知訊息至該授課端以供其顯示。

Description

用於互動式線上教學的即時監控方法
本發明是有關於互動式線上教學，特別是指一種用於互動式線上教學的即時監控方法。
近年來，由於物聯網的興起，因而線上教學(即利用網際網路來進行授課的教學方式)也逐漸普及，特別是互動式線上教學能模擬出授課者對於學員當面授課的效果。
然而，在現有互動式線上教學中，當授課者的授課狀況或學員的上課狀況出現異常時，往往無法對於異常狀況作出即時的處理，因而無法確保學員的學習成效。因此，現有互動式線上教學仍存在有改良的空間。
因此，本發明之目的，即在提供一種用於互動式線上教學的即時監控方法，能克服現有的互動式線上教學的至少一個缺陷。
於是，本發明用於互動式線上教學的即時監控方法，藉由一線上教學系統來執行，該線上教學系統包含一呈現授課內容給一授課者的授課端、一呈現該授課內容給一學員的學員端、及一經由一通訊網路連接該授課端及該學員端的伺服端，該授課端持續拍攝該授課者所在空間的一第一影像以獲得第一影像資料，並將該第一影像資料經由該通訊網路即時地傳送至該伺服端，以使得該伺服端將來自於該授課端的該第一影像資料經由該通訊網路即時地傳送至該學員端，以供其顯示出該第一影像，該即時監控方法包含：
藉由該伺服端，在根據接收自該授課端的該第一影像資料而判定出該第一影像含有一對應於該授課者胸部以上部位的第一影像部分時，根據該第一影像資料的一對應於該第一影像部分的資料部分，利用影像辨識技術，判定該授課者臉部的表情/位置/動作或者該授課者下巴至前胸的部分是否匹配於一第一預定情況；
藉由該伺服端，在判定出該授課者臉部的表情/位置/動作或者該授課者下巴至前胸的部分匹配於該第一預定情況時，經由該通訊網路傳送一相關於該第一預定情況的第一通知訊息至該授課端，以供該授課端顯示。
本發明之功效在於：當伺服端判定出該授課者臉部的動作/表情或者該授課者下巴至前胸的部分匹配於該第一預定情況時，該伺服端傳送相關於該第一預定情況的該第一提示訊息至該授課端，以使得該授課端顯示接收自該伺服端的該第一提示訊息以便提示該授課者，藉此，該授課者能即時地回應於該第一提示訊息做出對應的處理來提升授課功效。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
圖1示例地說明一種線上教學系統100，其被用來執行本發明用於互動式線上教學的即時監控方法的實施例，並包含多個授課端1(圖1僅顯示一個)、多個學員端2(圖1僅顯示一個)、一使用端3、及一伺服端4。每一授課端1及每一學員端2經由一通訊網路5連接該伺服端4，以便與該伺服端4相互通訊。值得注意的是，每一授課端1(提供給一授課者來使用)與一個或多個對應的學員端2(提供給一個或多個學員來使用)相關於一對應的教學課程。每一授課端1例如為個人電腦或筆記型電腦的一電腦裝置，且包含一影像拍攝模組11、及一使用者輸入輸出介面12(例如包含鍵盤、滑鼠、顯示幕、喇叭等)。每一學員端2，相似於該授課端1，包含一影像拍攝模組21、及一使用者輸入輸出介面22。該使用端3例如為一供一監控者使用的電腦裝置，並且例如是以有線連接的方式連接該伺服端4，但不以此為限。然而，該使用端3也可經由該通訊網路5連接該伺服端4，或者經由一另一通訊網路(圖未示)連接該伺服端4。該伺服端4包含一影像分析處理單元41。
為方便說明起見，僅就該等授課端1其中的一個授課端1(以下簡稱該授課端1)及對應於該授課端1的一個學員端2(以下簡稱該學員端2)、以及相關的對應教學課程(以下簡稱該教學課程)來進一步說明該實施例。
值得注意的是，在該教學課程開始之前，該授課端1相對於該授課者所在空間被適當地放置，以使得該影像拍攝模組11能拍攝到該授課者所在空間的影像，特別是能拍攝到該授課者的上半身的影像。同樣地，該學員端2相對於該學員所在空間被適當地放置，以使得該影像拍攝模組21能拍攝到該學員所在空間的影像，特別是能拍攝到包含該學員上半身的影像。
此外，在該教學課程開始之前，該線上教學系統100還須藉由例如該授課者姿勢的調整來進行一定位程序。舉例來說，如圖2所示，在該定位程序中，該授課端1須確保該影像拍攝該模組11拍攝該授課者所獲得的一影像I被顯示在該顯示幕中的一視窗W中並且確保所顯示的該影像I中的該授課者臉部大部分位於該視窗中所定義出的一定位框F，藉此確保該影像拍攝模組11能清楚拍攝到該授課者的胸部以上的部分的影像。
接著，該學習課程的課程內容例如是預先下載自該伺服端4並會在一預定授課期間(例如，2018年1月31日19點至20點15分)，被同時呈現於該授課端1及該學員端2。在該預定授課期間內，該授課端1的該影像拍攝模組11持續拍攝該授課者所在空間的一第一影像以獲得第一影像資料，並將該第一影像資料經由該通訊網路5即時地傳送至該伺服端4，以使得該伺服端4將來自於該授課端1的該第一影像資料經由該通訊網路5即時地傳送至該學員端2，以供該學員端2顯示出該第一影像。理想地，如圖3所示，若該授課者保持在該定位程序所調整的適當姿勢，在此情況下，該學員端2的顯示幕會以不同視窗的方式顯示出含有該授課者的胸部以上的部份的該第一影像，例如圖3的視窗W所呈現的影像I 1，以及該授課內容，例如圖3的視窗W’所呈現的內容C。換言之，該學員不僅可藉由該學員端2觀看該授課內容，還可經由該學員端2所顯示的該第一影像即時看見該授課者的臉部表情，藉此模擬出該授課者對於該學員當面授課的效果。另一方面，在該預定授課期間內，該學員端2的該影像拍攝模組21亦持續拍攝該學員所在空間的一第二影像以獲得第二影像資料，並將該第二影像資料經由該通訊網路5即時地傳送至該伺服端4。
以下參閱圖1及圖4，示例性地說明該線上教學系統100如何在該預定授課期間內執行本發明用於互動式線上教學的即時監控方法的該實施例。該即時監控方法包含以下步驟。
在步驟S1中，該伺服端4持續接收來自該授課端1的該第一影像資料及來自該學員端2的該第二影像資料。接著，步驟S2-S4同時被進行。
在步驟S2中，該伺服端4執行一第一監控程序。於該第一監控程序，該伺服端4根據接收自該授課端1的該第一影像資料判斷該第一影像是否含有一對應於該授課者胸部以上部位的第一影像部分。若該伺服端4判定出在該授課者因姿勢改變而偏離該授課端1的該影像拍攝模組11的拍攝範圍的情況下所拍攝的該第一影像不含有該第一影像部分時，則該伺服端4經由該通訊網路5傳送一警告訊息至該授課端1，以供該授課端1顯示。舉例來說，在該授課者完全離開該影像拍攝模組11的拍攝範圍的情況下，如圖5所示，該授課端1的顯示幕的視窗W呈現出影像I 2(該第一影像)，且該伺服端4在判定出該影像I 2不含有該第一影像部分時所傳送至該授課端1並且被顯示於該授課端1的顯示幕的另一視窗W 1中的該警告訊息例如至少指示出「Don’t go anywhere! Things are just starting to get interesting!」文字內容，但不在此限，藉此警告或提醒該授課者應回復適當姿勢。另一方面，當該伺服端4判定出該第一影像含有該第一影像部分時，該伺服端4還根據該第一影像資料其中的一對應於該第一影像部分的資料部分，利用影像辨識技術，判定該授課者臉部的表情/位置/動作或者該授課者下巴至前胸的部分是否匹配於一第一預定情況。在本實施例中，該第一預定情況例如包含一第一條件至一第六條件，但不以此為限。在本實施例中，當該伺服端4判斷出該授課者臉部的表情/位置/動作或者該授課者下巴至前胸的部分匹配該等第一條件至第六條件其中至少一者時，即判定該授課者臉部的表情/位置/動作或者該授課者下巴至前胸的部分匹配於該第一預定情況。
當該伺服端4判定出該授課者臉部的表情/位置/動作或者該授課者下巴至前胸的部分匹配於該第一預定情況時，該伺服端4經由該通訊網路5傳送一相關於該第一預定情況的第一通知訊息至該授課端1，且產生一指示出該授課者及其所匹配的該第一預定情況的監控訊息(圖未示)，並將該監控訊息傳送至該使用端3，以供該使用端3顯示該監控訊息。舉例來說，該監控訊息指示出該授課者的姓名以及該授課者所匹配的該等第一條件至第六條件其中至少一者。
以下示例性地列舉該六個條件，並進一步配合圖6至圖9說明由該授課端1所顯示的該第一通知訊息之內容如何對應於該等條件來變化。
參閱圖6，當該授課者臉部的表情相關於該授課者眼睛的動作時，該第一條件例如是該授課者持續閉眼的期間達到一第一預定期間。在本實施例中，該第一預定期間例如為3秒，但不以此為限。當該伺服端4根據該第一影像資料判定出該第一影像(例如圖6中於視窗W內的影像I 3)中的該授課者持續閉眼的期間達到該第一預定期間時，該伺服端4傳送至該授課端1並且被顯示於該授課端1的顯示幕的視窗W 1中的對應於該第一條件的該第一通知訊息例如至少指示出「Resting your eyes? Remember to take a break after the session!」文字內容，但不在此限。藉此警告或提醒該授課者應回復適當表情。在本實施例中，關於該第一條件之判定，該伺服端4例如是藉由追蹤第一影像中該授課者的分佈於每一眼睛的上、下眼皮及兩個眼角多個特徵點並判斷每一眼睛的上、下眼皮之間的最大距離相對於兩個眼角之間的距離的比例的方式來判斷該授課者是否閉眼，並不以此為限。
參閱圖7，當該授課者臉部的表情相關於該授課者臉部的位置時，該第二條件例如是該授課者臉部的所在位置持續超出一預定範圍的期間達到一第二預定期間。在本實施例中，該預定範圍例如是該定位框F(見圖2)所環繞的範圍。在本實施例中，該第二預定期間例如為3秒，但不以此為限。當該伺服端4根據該第一影像資料判定出該第一影像(例如圖7中在視窗W中的影像I 4)中的該授課者臉部的所在位置持續超出該預定範圍的期間達到該第二預定期間時，該伺服端4傳送至該授課端1並且被顯示於該授課端1的顯示幕的視窗W 1中的對應於該第二條件的該第一通知訊息例如至少指示出「A little to left, a little to right, we want to see your face on the centerfold!」文字內容。藉此警告或提醒該授課者應回復適當姿勢。
當該授課者臉部的表情相關於該授課者嘴巴的動作時，該第三條件例如是該授課者嘴巴持續呈現打呵欠嘴形的期間達到一第三預定期間。在本實施例中，該第三預定期間例如為1秒，但不以此為限。關於該第三條件之判定，該伺服端4例如是藉由追蹤第一影像中該授課者的分佈於嘴巴的上、下嘴唇及兩個嘴角的多個特徵點並判斷上、下嘴唇之間的最大距離相對於兩個嘴角之間的距離的比例的方式來判斷該授課者是否呈現打呵欠嘴形。
參閱圖8，當該授課者臉部的表情相關於該授課者臉部的動作時，該第四條件例如是該授課者臉部持續處於側臉的期間達到一第四預定期間。在本實施例中，該第四預定期間例如為3秒，但不以此為限。當該伺服端4根據該第一影像資料判定出該第一影像(例如圖8中視窗W中的影像I 5)中的該授課者臉部持續處於側臉的期間達到該第四預定期間時，該伺服端4傳送至該授課端1並且被顯示於該授課端1的顯示幕的視窗W 1中的對應於該第四條件的該第一通知訊息例如至少指示出「Remember to make eye contact with your students!」文字內容，藉此警告或提醒該授課者應回復適當表情。在本實施例中，關於該第四條件之判定，該伺服端4例如是藉由追蹤該第一影像中該授課者的臉部的多個特徵點並且判斷該臉部的滾動角(Rolling angle)是否不小於一第一預定角度(例如為26度)、該臉部的偏航角(Yaw angle)是否不小於一第二預定角度(例如為33度)、或該臉部的俯仰角(Pitch angle)是否不小於一第三預定角度(例如為10度)的方式來判斷該授課者臉部是否處於側臉。
該第五條件例如是該授課者下巴至前胸的部分當中的暴露的皮膚區域相對於該授課者下巴至前胸的部分的整體區域的比值大於一預定比值。在本實施例中，該伺服端4例如是將該授課者下巴至前胸的部分的整體區域當中具有近似於臉部部分的顏色的部份作為暴露的皮膚部份。在本實施例中，該預定比值例如為70%，但不以此為限。而當該伺服端4根據該第一影像資料判定出該第一影像中的授課者下巴至前胸的部分當中的暴露的皮膚區域對於該授課者下巴至前胸的部分的整體區域的比值大於該預定比值時，該伺服端4傳送至該授課端1並且被顯示於該授課端1的顯示幕的視窗中的對應於該第五條件的該第一通知訊息例如至少指示出「Please confirm your dress!」文字內容(圖未示) ，藉此警告或提醒該授課者應穿著適當。
參閱圖9，該第六條件例如是該第一預定情況包括在該授課者臉部持續不笑達到一第五預定期間。在本實施例中，該第五預定期間例如為60秒，但不以此為限。而當該伺服端4根據該第一影像資料判定出該第一影像(例如圖9中視窗W中的影像I 6)中的該授課者臉部持續不笑達到該第五預定期間時，如圖9所示，該伺服端4傳送至該授課端1並且被顯示於該授課端1的顯示幕的視窗W 1中的對應於該第六條件的該第一通知訊息例如至少指示出「More smiles」文字內容，藉此警告或提醒該授課者應回復適當表情。在本實施例中，該伺服端4例如是藉由追蹤第一影像中該授課者的嘴唇邊緣的多個特徵點的方式來判斷該授課者是否呈現笑的嘴形，例如，當由該等特徵點所構成的嘴部曲線呈現開口朝上的期間超過1秒即判斷為笑臉。
於步驟S3中，該伺服端4執行一第二監控程序。在該第二監控程序中，該伺服端4根據接收自該學員端2的該第二影像資料，並利用影像辨識技術，判定該學員臉部的動作/表情是否匹配於一第二預定情況。在本實施例中，該第二預定情況例如包含一第七條件、一第八條件及一第九條件，但不以此為限。在本實施例中，當該伺服端4判斷出學員臉部的動作/表情匹配該等第七條件至第九條件其中至少一者時，即判定該學員臉部的動作/表情匹配於該第二預定情況。
該伺服端4在判定出該學員臉部的動作/表情匹配於該第二預定情況時，經由該通訊網路5將該第二影像資料及一相關於該第二預定情況的第二通知訊息傳送至該授課端1以供該授課端1顯示。該授課端1在接收到來自該伺服端4的該第二通知訊息時，同時顯示該第二影像及該第二通知訊息。
以下示例性地列舉該等第七條件至第九條件，並進一步配合圖10說明由該授課端1所顯示的該第二通知訊息之內容如何對應於該等條件來變化。
當該學員臉部的表情相關於該學員眼睛的動作時，該該第七條件例如是該學員持續閉眼的期間達到一第六預定期間。在本實施例中，該第六預定期間相同於該第一預定期間，但不以此為限。
當該學員臉部的表情相關於該學員嘴巴的動作時，該第八條件例如是該學員嘴巴持續呈現打呵欠嘴形的期間達到一第七預定期間。在本實施例中，該第七預定期間相同於該第三預定期間，但不以此為限。當該伺服端4根據該第二影像資料判定出該第二影像中的該學員嘴巴持續呈現打呵欠嘴形的期間達到該第七預定期間時，如圖10所示，該伺服端4傳送至該授課端1並且被顯示於該授課端1的顯示幕的視窗W 2中的對應於該第八條件的該第二通知訊息例如至少指示出「Student yawned 3 times」、「Student maybe falling asleep」、「please raise student engagement」等文字內容，且該授課端1同時顯示該第二影像(例如圖10中視窗W 3中的影像I 7)，藉此警告或提醒該授課者應引起該學員的關注。
該第九條件例如是該學員臉部持續不笑達到一第八預定期間。在本實施例中，該第八預定期間相同於該第五預定期間，但不以此為限。
此外，於步驟S3中，該伺服端4在執行該第二監控程序時，還計算在該預定授課期間內該學員臉部的動作/表情匹配於該第二預定情況的累計次數。舉例來說，對應於該學員的累計次數為閉眼2次及打呵欠1次。
當該預定授課期間結束，且於步驟S4中，該伺服端4接收到來自該授課端1的一個相關於該學員並且對應於該預定授課期間的一評分資料時，流程進入步驟S5。在本實施例中，該評分資料是由該授課端1經人為操作(理想情況是由該授課者操作)所產生且相關於該學員對應於該預定授課期間並包含一評分分數的評分資料，並且是由該授課端1將該評分資料傳送至該伺服端4。該評分分數例如是由該授課者根據觀察該學員在該預定授課期間的表現所決定，分數越高意謂著表現越好。舉例來說，該評分分數例如為8.0分。
在步驟S5中，該伺服端4產生一相關於該學員且對應於該預定授課期間的評核結果，並將該評核結果傳送至該使用端3，以供該使用端3顯示。該使用端3在接收到來自該伺服端4的該評核結果時，該使用端3顯示該評核結果(圖未示)，評核結果該指示出在該預定授課期間內由該伺服端4所判定出的該學員所匹配的該第二預定情況、該累計次數、及該評分分數。延續前例，該評核結果指示出在該預定授課期間內該學員閉眼2次及打呵欠1次，且被評分為8.0分。該使用端3更可根據該評核結果執行後續判斷，例如推估該學員是否為潛在的退費客戶，藉此，該監控人員能針對該學員進行關懷。
值得注意的是，為方便說明之目的，上述是以該線上教學系統100的一個較為單純的使用情境(一個授課端1及一個學員端2配合該使用端3及該伺服端4)來說明本實施例之執行，但本實施例之執行不受限於此使用情境。在該線上教學系統100的其他的使用情境中，同時間可進行多個教學課程，且每個教學課程可由一個授課端1及多數個學員端2配合該使用端3及該伺服端4來進行。在此使用情境下，對應於每一教學課程，該伺服端4也能對來自該授課端1的該第一影像資料執行該第一監控程序，且對來自於每一學員端2的該等第二影像資料執行該第二監控程序。
綜上所述，當伺服端4判定出該授課者臉部的動作/表情或者該授課者下巴至前胸的部分匹配於該第一預定情況時，或判定出該學員臉部的動作/表情匹配於該第二預定情況時，該伺服端4傳送相關於該第一/二預定情況的該第一/二提示訊息至該授課端1，以使得該授課端1顯示接收自該伺服端4的該第一/二提示訊息以便提示該授課者，藉此，該授課者能即時地回應於該第一/二提示訊息做出對應的處理來提升授課功效，故確實能達成本發明之目的。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
 
100····· 線上教學系統 1········ 授課端 11······ 影像拍攝模組 12······ 使用者輸入輸出介面 2········ 學員端 21······ 影像拍攝模組 22······ 使用者輸入輸出介面  3······· 使用端 4········ 伺服端 41······ 影像分析模組 5········ 通訊網路 S1~S5步驟 F········ 定位框 W，W’，W 1~ W 3視窗 I ，I 1~ I 7影像 C······· 授課內容
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一方塊圖，示例性地說明一用來執行本發明用於互動式線上教學的即時監控方法的一實施例的線上學習系統； 圖2是一示意圖，示例性地說明該線上學習系統的一授課端在一定位程序中所顯示的供授課者調整姿勢的定位畫面； 圖3是一示意圖，示例性地說明該線上學習系統的一學員端在一預定授課期間所顯示的第一影像以及授課內容； 圖4是一流程圖，示例性地說明該實施例； 圖5是一示意圖，示例性地說明該實施例中在該預定授課期間內該授課端所顯示的一警告訊息； 圖6至圖9為示意圖，其分別示例性地說明該實施例中在該預定授課期間內該授課端所顯示的多種不同的第一通知訊息；及 圖10是一示意圖，示例性地說明該實施例中在該預定授課期間內該授課端所顯示的一第二通知訊息。
S1~S5步驟
 

Claims (8)

  1. 一種用於互動式線上教學的即時監控方法，藉由一線上教學系統來執行，該線上教學系統包含一呈現授課內容給一授課者的授課端、一呈現該授課內容給一學員的學員端、及一經由一通訊網路連接該授課端及該學員端的伺服端，該授課端持續拍攝該授課者所在空間的一第一影像以獲得第一影像資料，並將該第一影像資料經由該通訊網路即時地傳送至該伺服端，以使得該伺服端將來自於該授課端的該第一影像資料經由該通訊網路即時地傳送至該學員端，以供其顯示出該第一影像，該即時監控方法包含： 藉由該伺服端，在根據接收自該授課端的該第一影像資料而判定出該第一影像含有一對應於該授課者胸部以上部位的第一影像部分時，根據該第一影像資料其中的一對應於該第一影像部分的資料部分，利用影像辨識技術，判定該授課者臉部的表情/位置/動作或者該授課者下巴至前胸的部分是否匹配於一第一預定情況； 藉由該伺服端，在判定出該授課者臉部的表情/位置/動作或者該授課者下巴至前胸的部分匹配於該第一預定情況時，經由該通訊網路傳送一相關於該第一預定情況的第一通知訊息至該授課端，以供該授課端顯示。
  2. 如請求項1所述的用於互動式線上教學的即時監控方法，其中： 該第一預定情況包括一第一條件、一第二條件、一第三條件、一第四條件、一第五條件及一第六條件其中至少一者； 該第一條件為當該授課者臉部的表情相關於該授課者眼睛的動作時，該授課者持續閉眼的期間達到一第一預定期間； 第二條件為該授課者臉部的所在位置持續超出一預定範圍的期間達到一第二預定期間； 該第三條件為當該授課者臉部的表情相關於該授課者嘴巴的動作時，該第一預定情況包括該授課者嘴巴持續呈現打呵欠嘴形的期間達到一第三預定期間； 該第四條件為該第一預定情況包括該授課者臉部持續處於側臉的期間達到一第四預定期間； 該第五條件為該授課者下巴至前胸的部分當中的暴露的皮膚區域對於該授課者下巴至前胸的部分的整體區域的比值大於一預定比值；及 該第六條件為在該授課者臉部持續不笑達到一第五預定期間。
  3. 如請求項1所述的用於互動式線上教學的即時監控方法，還包含： 藉由該伺服端，在根據該第一影像資料而判斷出該第一影像未含有該第一影像部分時，經由該通訊網路傳送一警告訊息至該授課端，以供該授課端顯示。
  4. 如請求項1至3任一項所述的用於互動式線上教學的即時監控方法，還包含： 藉由該學員端，持續地拍攝該學員臉部的一第二影像以獲得第二影像資料，並即時地將該第二影像資料傳送至該伺服端； 藉由該伺服端，根據接收自該學員端的該第二影像資料，利用影像辨識技術，判定該學員臉部的動作/表情是否匹配於一第二預定情況； 藉由該伺服端，在判定出該學員臉部的動作/表情匹配於該第二預定情況時，經由該通訊網路將一相關於該第二預定情況的第二通知訊息傳送至該授課端，以供該授課端顯示。
  5. 如請求項4所述的用於互動式線上教學的即時監控方法，其中，該伺服端在判定出該學員臉部的動作/表情匹配該第二預定情況時，不僅將該第二通知訊息傳送至該授課端，還將該第二影像資料傳送至該授課端，以使得該授課端在接收到來自該伺服端的該第二通知訊息及該第二影像資料時，同時顯示出該第二通知訊息及該第二影像。
  6. 如請求項5所述的用於互動式線上教學的即時監控方法，其中： 該第二預定情況包括一第七條件、一第八條件、一第九條件其中至少一者； 該第七條件為當該學員臉部的表情相關於該學員眼睛的動作時，該第二預定情況包括該學員持續閉眼的期間達到一第六預定期間； 該第八條件為當該學員臉部的表情相關於該學員嘴巴的動作時，該第二預定情況包括該授課者嘴巴持續呈現打呵欠嘴形的期間達到一第七預定期間；及 該第九條件為該學員臉部持續不笑達到一第八預定期間。
  7. 如請求項4所述的用於互動式線上教學的即時監控方法，該線上教學系統還包含一連接該伺服端的使用端，該方法還包含： 藉由該伺服端，在判定出該授課者臉部的表情/位置/動作或者該授課者下巴至前胸的部分匹配於該第一預定情況時，產生一指示出該授課者及其所匹配的該第一預定情況的監控訊息，並將該監控訊息傳送至該使用端，以供該使用端顯示該監控訊息。
  8. 如請求項7所述的用於互動式線上教學的即時監控方法，還包含： 藉由該伺服端，在該課程內容被呈現於該授課端及該學員端的一預定授課期間內，計算該學員臉部的動作/表情匹配於該第二預定情況的累計次數； 藉由該授課端，經人為操作產生相關於該學員對應於該預定授課期間且包含一評分分數的評分資料，並將該評分資料傳送至該伺服端； 藉由該伺服端，在接收到來自該授課端的該評分資料時，產生一相關於該學員且對應於該預定授課期間的評核結果，並將該評核結果傳送至該使用端，以供該使用端顯示，該評核結果指示出在該預定授課期間內該學員所匹配的該第二預定情況、該累計次數、及該評分分數。
TW107109476A 2018-03-20 2018-03-20 用於互動式線上教學的即時監控方法 TWI684159B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW107109476A TWI684159B (zh) 2018-03-20 2018-03-20 用於互動式線上教學的即時監控方法
CN201810391146.1A CN110312098A (zh) 2018-03-20 2018-04-27 用于互动式线上教学的即时监控方法
US16/215,815 US20190295430A1 (en) 2018-03-20 2018-12-11 Method of real-time supervision of interactive online education
JP2019002339A JP2019179235A (ja) 2018-03-20 2019-01-10 インタラクティブ型のオンライン教育のリアルタイム監視の方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107109476A TWI684159B (zh) 2018-03-20 2018-03-20 用於互動式線上教學的即時監控方法

Publications (2)

Publication Number Publication Date
TW201941152A TW201941152A (zh) 2019-10-16
TWI684159B true TWI684159B (zh) 2020-02-01

Family

ID=67983682

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109476A TWI684159B (zh) 2018-03-20 2018-03-20 用於互動式線上教學的即時監控方法

Country Status (4)

Country Link
US (1) US20190295430A1 (zh)
JP (1) JP2019179235A (zh)
CN (1) CN110312098A (zh)
TW (1) TWI684159B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514805B2 (en) * 2019-03-12 2022-11-29 International Business Machines Corporation Education and training sessions
CN111709362B (zh) * 2020-06-16 2023-08-08 百度在线网络技术（北京）有限公司 用于确定重点学习内容的方法、装置、设备及存储介质
CN112270231A (zh) * 2020-10-19 2021-01-26 北京大米科技有限公司 一种确定目标视频属性特征的方法、存储介质、电子设备
CN112395950B (zh) * 2020-10-22 2023-12-19 浙江蓝鸽科技有限公司 教室智能考勤方法及***
CN112419809A (zh) * 2020-11-09 2021-02-26 江苏创设未来教育发展有限公司 一种基于云数据在线教育的智能教学监测***
CN116757524B (zh) * 2023-05-08 2024-02-06 广东保伦电子股份有限公司 一种教师授课质量评价方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201430753A (zh) * 2013-01-25 2014-08-01 jing-yi Zeng 双向影音教學教育傳導行銷系統
TW201624397A (zh) * 2014-12-26 2016-07-01 Univ China Technology 職業養成線上教學平台及其方法
CN105869091A (zh) * 2016-05-12 2016-08-17 深圳市时尚德源文化传播有限公司 一种互联网教学方法及***
TWM546564U (zh) * 2017-02-21 2017-08-01 Ba Fei Qing Co Ltd 課程互動交易信息的處理平台系統

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004129703A (ja) * 2002-10-08 2004-04-30 Nec Soft Ltd 睡眠認識装置及び認識方法、並びに、睡眠状態通知装置及びこれを用いた遠隔教育システム
KR20100016696A (ko) * 2008-08-05 2010-02-16 주식회사 리얼맨토스 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
JP2010204926A (ja) * 2009-03-03 2010-09-16 Softbank Bb Corp モニタリングシステム、モニタリング方法、およびプログラム
JP5441071B2 (ja) * 2011-09-15 2014-03-12 国立大学法人 大阪教育大学 顔分析装置、顔分析方法、及びプログラム
CN102572356B (zh) * 2012-01-16 2014-09-03 华为技术有限公司 记录会议的方法和会议***
JP2013156707A (ja) * 2012-01-26 2013-08-15 Nissan Motor Co Ltd 運転支援装置
CN104915646B (zh) * 2015-05-30 2018-09-04 广东欧珀移动通信有限公司 一种会议管理的方法及终端
JP6810515B2 (ja) * 2015-11-02 2021-01-06 株式会社フォトロン 手書き情報処理装置
CN105577789A (zh) * 2015-12-22 2016-05-11 上海翼师网络科技有限公司 一种教学服务***及客户端
CN106599853B (zh) * 2016-12-16 2019-12-13 北京奇虎科技有限公司 远程教学过程中进行形体姿态纠正的方法及其设备
CN106652605A (zh) * 2017-03-07 2017-05-10 佛山市金蓝领教育科技有限公司 一种远程情感教学方法
CN106851216B (zh) * 2017-03-10 2019-05-28 山东师范大学 一种基于人脸和语音识别的课堂行为监控***及方法
CN107085721A (zh) * 2017-06-26 2017-08-22 厦门劢联科技有限公司 一种基于人像识别的智能巡课管理***
CN107742450A (zh) * 2017-10-23 2018-02-27 华蓥市双河第三小学 实现远程教育的教学方式

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201430753A (zh) * 2013-01-25 2014-08-01 jing-yi Zeng 双向影音教學教育傳導行銷系統
TW201624397A (zh) * 2014-12-26 2016-07-01 Univ China Technology 職業養成線上教學平台及其方法
CN105869091A (zh) * 2016-05-12 2016-08-17 深圳市时尚德源文化传播有限公司 一种互联网教学方法及***
TWM546564U (zh) * 2017-02-21 2017-08-01 Ba Fei Qing Co Ltd 課程互動交易信息的處理平台系統

Also Published As

Publication number Publication date
US20190295430A1 (en) 2019-09-26
TW201941152A (zh) 2019-10-16
JP2019179235A (ja) 2019-10-17
CN110312098A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
TWI684159B (zh) 用於互動式線上教學的即時監控方法
CN107292271B (zh) 学习监控方法、装置及电子设备
Ochoa et al. The RAP system: Automatic feedback of oral presentation skills using multimodal analysis and low-cost sensors
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估***
US20180308114A1 (en) Method, device and system for evaluating product recommendation degree
CN111008542A (zh) 对象专注度分析方法、装置、电子终端及存储介质
US20200090536A1 (en) Classroom assistance system
KR20200012355A (ko) Clm과 가버 웨이블렛을 이용한 얼굴 인증 과정을 구비한 온라인 강의 모니터링 방법
CN111353363A (zh) 一种教学效果检测方法及装置、电子设备
TWM562459U (zh) 用於互動式線上教學的即時監控系統
Wang et al. Automated student engagement monitoring and evaluation during learning in the wild
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、***及介质
CN111967350A (zh) 远程课堂专注度分析方法、装置、计算机设备及存储介质
JP2020173787A (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
CN113536893A (zh) 一种在线教学学习专注度识别方法、装置、***及介质
KR102122021B1 (ko) 가상현실을 이용한 인지 개선 장치 및 방법
US20230360548A1 (en) Assist system, assist method, and assist program
US20180232625A1 (en) Avatar relationships
WO2022158160A1 (ja) 支援システム、支援方法、及びプログラム
CN115359155A (zh) 虚拟医疗会诊中虚拟形象的驱动方法及装置
Sakthivel et al. Online Education Pedagogy Approach
WO2020039152A2 (fr) Système multimédia comportant un équipement matériel d'interaction homme-machine et un ordinateur
US12002287B2 (en) Computing device attention determination
Ito et al. Detecting Concentration of Students Using Kinect in E-learning
Anishchenko et al. Mobile tutoring system in facial expression perception and production for children with autism spectrum disorder