JP6892558B2 - 教学補助方法およびその方法を採用する教学補助システム - Google Patents
教学補助方法およびその方法を採用する教学補助システム Download PDFInfo
- Publication number
- JP6892558B2 JP6892558B2 JP2020522765A JP2020522765A JP6892558B2 JP 6892558 B2 JP6892558 B2 JP 6892558B2 JP 2020522765 A JP2020522765 A JP 2020522765A JP 2020522765 A JP2020522765 A JP 2020522765A JP 6892558 B2 JP6892558 B2 JP 6892558B2
- Authority
- JP
- Japan
- Prior art keywords
- student
- recognition
- image
- module
- classroom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 230000008921 facial expression Effects 0.000 claims description 62
- 230000009471 action Effects 0.000 claims description 23
- 230000006399 behavior Effects 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 10
- 230000002547 anomalous effect Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 150000003839 salts Chemical class 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009931 harmful effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003931 cognitive performance Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Educational Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Entrepreneurship & Innovation (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Description
採集モジュールにより教室の画像を随時に採集して認識モジュールに送信するステップs1と、
前記認識モジュールにより前記教室の画像を分析しかつ前記教室の画像中に行為が異常である学生がいるかを判断するステップs2と、
通知モジュールにより前記認識モジュールが認識した結果を授業の先生に伝達するステップs3とを含む。
前記ステップs2は前記認識モジュールは設定済のデプステンソルトレーンネットワークモデルを用いることにより前記受業中の学生の行為を検出するステップs21を含む。
畳み込みニューラルネットワーク分類装置により検出された前記フェース区域の表情を認識するステップs222とを含む。
前記画像採集モジュールは教室の学生全員の上半身の画像を採集することを目標とするステップs12とを含む。
前記学生の電子ファイルにより学生の授業の状態の曲線を作成し、授業の先生は授業の内容と試験の成績により学生を適当に指導するステップs42とを含む。
データベースを作成するステップq1と、
前記デプステンソルトレーンネットワークモデルの設定をするステップq2と更に含む。
異常な行為をしている学生の画像を選択してラベルをつけるステップq12とを含む。
前記出力される予測値と前記学生画像中の異常な行為をする学生の実際の評価値との間の誤差により損失函数を構成するステップq22と、
前記損失函数でネットワークのパラメーターを調節することにより設定済のデプステンソルトレーンネットワークモデルを獲得するステップq23とを含む。
前記採集モジュールは教室の画像を随時に採集して認識モジュールに送信し、
前記認識モジュールは前記授業画像を分析することにより前記教室の画像に異常な行為をしている学生がいるかを判断し、前記認識モジュールは行為認識ユニットを含み、前記行為認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記教室の画像中の学生の行為を認識し、
前記通知モジュールは前記認識モジュールの認識の結果を授業中の先生に知らせる。
前記認識モジュールは表情認識ユニットを更に含み、
表情認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像において学生の表情を認識し、
前記表情認識ユニットはフェース認識サブユニットと畳み込みニューラルネットワーク分類装置を含む。
また、本発明において設定済のデプステンソルトレーンネットワークモデルを採用することにより前記教室中の学生の表情を認識し、その教学補助システムにより授業中の学生の異常の行為を認識する精度を一層向上させることができる。
前記教学補助方法を採用する教学補助システムによっても同じな発明の効果を獲得することができる。
図1に示される教学補助方法は順に実施される下記ステップを含む。
ステップs1において、採集モジュールは教室の画像を随時に採集して認識モジュールに送信する。
ステップs2において、前記認識モジュールは前記教室の画像を分析し、かつ前記教室の画像中に行為が異常である学生がいるかを判断する。
ステップs3において、通知モジュールは前記認識モジュールが認識した結果を授業中の先生に伝達する。
前記ステップs2は下記ステップを含む。
ステップs21において、前記認識モジュールは設定済のデプステンソル(Depth tensor)トレーンネットワークモデルを用いることにより前記受業中の学生の行為を検出する。
ステップs22において、前記認識モジュールは設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像を検出することにより学生の表情を認識する。
ステップs221において、フェース認識サブユニットにより前記採集モジュールが採集した前記教室の画像において各学生のフェース区域を検出する。
ステップs222において、畳み込みニューラルネットワーク(Convolutional Neural Networks)分類装置により検出される前記フェース区域の表情を認識する。
ステップs11において、前記採集モジュールの画像採集モジュールを教室の前方の左側、中央、右側にそれぞれ取り付ける。
具体的な実施例において、受業をしている学生の行為と表情の特徴は上半身の画像によって検出して認識することができるので、上半身の画像を採集することを目標とすることにより被写体の特徴が集まっている区域を撮影することができる。
本実施例において、認識結果を同時記憶させることにより認識結果を全面的に分析し利用することができる。認識結果により授業の効果を分析評価し、かつ学生の学習の状態を分析することにより、需要に対応する適当な対策をとり、次の教学の作業をより有効に管理し、教学のレベルと品質を全面的に向上させることができる。
ステップs41において、各学生に対応する前記認識結果を分類することにより各クラスの学生の電子ファイルを作成する。
それにより各学生の受業の状態を検出しかつ認識結果を統計して分析し、学生が学校で授業をする状態を主動的に把握することができ、学生の成績にのみにより学生の授業の状態を判断する従来の受動的な判断方法の弊害を避けることができる。
また、学生の電子ファイルと教師の教学の評価により、学生の成績にのみにより授業の品質を判断するときそれを全面的に判断することができない弊害を避けることができる。
ステップq1においてデータベースを作成する。
具体的な実施例において、行為を検出するデータベースと表情を認識するデータベースをそれぞれ作成することができる。
画像採集モジュールが採集した教室の画像において学生のフェースを正確に検出するため、教室中の学生のフェースを検出する小型データベースを作成する。画像採集モジュールにより複数の教室において教室の授業の状況を長く撮影することにより教室の画像を獲得する。その画像にラベルをつけ、画像中のフェースの位置を把握し、画像を簡単に処理し、所定のサイズを入力して画像を適当なモデルに調節することにより、ネットワークモデルのテストをするとき用いることができる。
先生が授業をするとき学生が教室で受業をする状態を正確に把握し、聴講中の学生の表情を認識するため、学生が教室で受業をする場合により聴講中の学生の表情に関するデータベースを構成する。採集した教室の画像において学生のフェースの表情のピクチャーブロック(Picture block)を検出するため、聴講を真面目にする程度により表情ラベル、例えば集中していること、興味を持っていること、思考していること、困惑すること、ぼんやりすること、いらだつこと等を作成する。それにより授業をする先生は各学生が聴講をする状態と授業を把握した状態を正確に理解し、授業を適当に処理または調節することができる。
具体的に実施例において、行為の検出と表情の認識をする設定をそれぞれ実施する。相違点は異なるデータにより設定をする。
ステップq11において、前記採集モジュールは教室を長く撮影してえた前記教室の画像を記憶させる。
ステップq12において、異常な行為をする学生の画像にラベルをつける。
ステップq21において、ニューラルネットワークモデルの多層の畳み込み層によりラベルがつけられる前記学生の画像において異常の特徴を検出し、異常の特徴と分解後の完全接続層のウエートマトリックス演算により出力される予測値を獲得する。
1、ネットワークモデルのパラメーターの初期化をする。
2、教室の学生の行為に関するデータが集中された画像を前記モデルに入力して設定をする。
3、画像に対してConvoluted and pooledをし、最下層の畳み込み層においてS×S×mであるテンソルを出力する。すなわち元の画像をS×S個のユニットに分割し、各ユニットを元の教室の画像の一部分に対応させ、各ユニット中の画像の特徴を前記テンソル中の一個のm次元のベクトルに対応させる。
4、改良後の完全接続により1個のS×S×(5a)のテンソルを出力する。すなわち各ユニットに対応するa個の異常な行為をする学生によりバウンダリーフレームの座標(x、y、w、h)とフレームにおいて異常な行為をする学生のコンフィデンスレベル(confidence level)を検出する。xとyは異常な行為をする学生の認識フレームの中心の座標であり、wとhは異常な行為をする学生の認識フレームの幅と高さであり、座標を一体にすることによりそれが0から1の間に入るようにする。
1、図5に示すとおり、完全接続層のウエートマトリックスの行と列をいずれもd個のバーチャルの次元に折り畳み(are all folded into)、ネットワークモデルにおいてS=4、m=50、n=49であると仮定する。画像採集モジュールが撮影してえた教室の画像の各層に対してConvoluted and pooledをすることにより4x4x50=800個の特徴を検出し、下層の隠蔽層には4x4x49=784個のハイデーンノード(hidden node)が含まれ、前記完全接続層のウエートのパラメーターは800x784個のマトリックスである。図面に示すとおり、表示を簡単にするため、d=3にし、完全接続層のウエートマトリックスの行と列を3個のバーチャルの次元にする。
2、図5に示すとおり、行列に対応するバーチャルの次元を結合させる。すなわち完全接続層のウエートマトリックスをd階のテンソルに変換させる。前記実施例の方法により元の800x784のウエートマトリックスを700x32x28の3階のテンソルに変換させる。
3、図6に示すとおり、前記d階のテンソルのテンソルトレーンランク(tensor train rank)rを定義する。この場合、
ステップq23において、損失函数でネットワークのパラメーターを調節することにより設定済のデプステンソルトレーンネットワークモデルを獲得する。
1、表情認識ネットワークモデルのパラメーターの初期化をする。
2、学生の聴講中の表情に関するデータにおいて表情ラベルが付いている学生のフェースのピクチャーブロックを表情認識分類装置に入力して設定をする。
3、学生のフェースのピクチャーブロックに対してConvoluted and pooledをすることによりフェースの表情の特徴を検出する。
4、改良後の完全接続により予測される学生のフェースのピクチャーブロックの表情ラベルを出力する。この場合も完全接続層のウエートマトリックスに対してTT分解をする。具体的な過程は行為認識サブモジュール(4)中の詳細な説明を参照することができるので、ここで再び説明しなし。
5、逆伝播アルゴリズムを用い、出力される予測値と表情ラベルがついている誤差により構成される損失函数Lにより、ネットワークのパラメーターを調節し、精度の所定のレベルまで向上させた後、そのネットワークのパラメーターを記憶させる。
認識モジュールは前記授業画像を分析することにより前記教室の画像に異常な行為をしている学生がいるかを判断する。認識モジュールは具体的に下記行為認識ユニットを含む。
行為認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記授業画像中の学生の行為を認識する。
表情認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像において学生の表情を認識する。
前記表情認識ユニットはフェース認識サブユニットと畳み込みニューラルネットワーク分類装置を含む。
Claims (10)
- 順に実施される下記ステップ、すなわち
採集モジュールにより教室の画像を随時に採集して認識モジュールに送信するステップs1と、
前記認識モジュールにより前記教室の画像を分析しかつ前記教室の画像中に行為が異常である学生がいるかを判断するステップs2と、
通知モジュールにより前記認識モジュールが認識した結果を授業の先生に伝達するステップs3とを含む教学補助方法であって、
前記ステップs2は前記認識モジュールは設定済のデプステンソルトレーンネットワークモデルを用いることにより前記受業中の学生の行為を検出するステップs21を含み、
前記教学補助方法は、ステップs1前に実施される下記ステップ、すなわちデータベースを作成するステップq1と、前記デプステンソルトレーンネットワークモデルの設定をするステップq2と更に含むことを特徴とする教学補助方法。 - 前記ステップs2は前記認識モジュールが設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像において学生の表情を認識するステップs22を更に含むことを特徴とする請求項1に記載の教学補助方法。
- 前記ステップs22は、具体的に、フェース認識サブユニットにより前記採集モジュールが採集した前記教室の画像において各学生のフェース区域を検出するステップs221と、
畳み込みニューラルネットワーク分類装置により検出される前記フェース区域の表情を認識するステップs222とを含むことを特徴とする請求項2に記載の教学補助方法。 - 前記ステップs1は、前記採集モジュールの画像採集モジュールを教室の前方の左側、中央、右側にそれぞれ取り付けるステップs11と、
前記画像採集モジュールは教室の学生全員の上半身の画像を採集することを目標とするステップs12とを含むことを特徴とする請求項1に記載の教学補助方法。 - 前記教学補助方法は記憶モジュールに前記認識結果を同時記憶させるステップs4を更に含むことを特徴とする請求項1に記載の教学補助方法。
- 前記ステップs4は、各学生に対応する前記認識結果を分類することにより各クラスの学生の電子ファイルを作成するステップs41と、
前記学生の電子ファイルにより学生の授業の状態の曲線を作成し、授業の先生が授業の内容と試験の成績により学生を適当に指導するように提示するステップs42とを含むことを特徴とする請求項5に記載の教学補助方法。 - 前記ステップq1は、前記採集モジュールが教室を長く撮影してえた前記教室の画像を記憶させるステップq11と、
異常な行為をしている学生の画像を選択してラベルをつけるステップq12とを含むことを特徴とする請求項1に記載の教学補助方法。 - 前記ステップq2は、ニューラルネットワークモデルの多層の畳み込み層によりラベルがつけられる前記学生の画像において異常の特徴を検出し、異常の特徴と分解後の完全接続層のウエートマトリックス演算によってえた予測値を出力するステップq21と、
前記出力される予測値と前記学生画像中の異常な行為をする学生の実際の評価値との間の誤差により損失函数を構成するステップq22と、
前記損失函数でネットワークのパラメーターを調節することにより設定済のデプステンソルトレーンネットワークモデルを獲得するステップq23とを含むことを特徴とする請求項7に記載の教学補助方法。 - 教学補助システムであって、その教学補助システムには、採集モジュールと、前記採集モジュールに接続される認識モジュールと、前記認識モジュールに接続される通知モジュールとが設けられ、
前記採集モジュールは教室の画像を随時に採集して認識モジュールに送信し、
前記認識モジュールは前記授業画像を分析することにより前記教室の画像に異常な行為をしている学生がいるかを判断し、前記認識モジュールは行為認識ユニットを含み、前記行為認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記教室の画像中の学生の行為を認識し、
前記通知モジュールは前記認識モジュールの認識の結果を授業中の先生に知らせ、
前記認識モジュールは表情認識ユニットは設定済のデプステンソルトレーンネットワークモデルにより前記受業中の学生の画像において学生の表情を認識する表情認識ユニットを更に含み、
前記表情認識ユニットはフェース認識サブユニットと畳み込みニューラルネットワーク分類装置を含むことを特徴とする教学補助システム。 - 前記教学補助システムは前記認識モジュールに接続される記憶モジュールを更に含み、前記記憶モジュールは前記認識の結果を同時に記憶させかつそれを分類して編集することを特徴とする請求項9に記載の教学補助システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/096217 WO2019028592A1 (zh) | 2017-08-07 | 2017-08-07 | 一种教学辅助方法及采用该方法的教学辅助*** |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020525965A JP2020525965A (ja) | 2020-08-27 |
JP6892558B2 true JP6892558B2 (ja) | 2021-06-23 |
Family
ID=65273159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020522765A Active JP6892558B2 (ja) | 2017-08-07 | 2017-08-07 | 教学補助方法およびその方法を採用する教学補助システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11270526B2 (ja) |
JP (1) | JP6892558B2 (ja) |
WO (1) | WO2019028592A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11037330B2 (en) * | 2017-04-08 | 2021-06-15 | Intel Corporation | Low rank matrix compression |
CN111723617B (zh) * | 2019-03-20 | 2023-10-27 | 顺丰科技有限公司 | 动作识别的方法、装置、设备及存储介质 |
CN110119702B (zh) * | 2019-04-30 | 2022-12-06 | 西安理工大学 | 基于深度学习先验的人脸表情识别方法 |
CN110647807A (zh) * | 2019-08-14 | 2020-01-03 | 中国平安人寿保险股份有限公司 | 异常行为确定方法、装置、计算机设备和存储介质 |
CN110728194A (zh) * | 2019-09-16 | 2020-01-24 | 中国平安人寿保险股份有限公司 | 基于微表情和动作识别的智能培训方法、装置及存储介质 |
CN112580910A (zh) * | 2019-09-29 | 2021-03-30 | 鸿富锦精密电子(天津)有限公司 | 教学调查问卷分析方法、电子装置及存储介质 |
CN111027584A (zh) * | 2019-10-23 | 2020-04-17 | 宋飞 | 一种课堂行为识别方法及设备 |
CN111079554A (zh) * | 2019-11-25 | 2020-04-28 | 恒安嘉新(北京)科技股份公司 | 分析学生课堂表现的方法、装置、电子设备、及存储介质 |
CN111126302A (zh) * | 2019-12-26 | 2020-05-08 | 上海金桥信息股份有限公司 | 一种移动终端的多面部识别方法 |
CN111476690B (zh) * | 2020-05-15 | 2023-04-14 | 重庆医药高等专科学校 | 一种多模式家校沟通***及方法 |
CN111898473B (zh) * | 2020-07-10 | 2023-09-01 | 华南农业大学 | 一种基于深度学习的司机状态实时监测方法 |
CN111967350A (zh) * | 2020-07-30 | 2020-11-20 | 广州光大教育软件科技股份有限公司 | 远程课堂专注度分析方法、装置、计算机设备及存储介质 |
CN111857010A (zh) * | 2020-07-31 | 2020-10-30 | 重庆电子工程职业学院 | 一种用于实训场所运维管控的辅助支持*** |
CN111950708B (zh) * | 2020-08-11 | 2023-10-03 | 华中师范大学 | 一种发现大学生日常生活习惯的神经网络结构与方法 |
CN112396923B (zh) * | 2020-11-25 | 2023-09-19 | 贵州轻工职业技术学院 | 一种市场营销的教学模拟*** |
CN112598550B (zh) * | 2020-12-24 | 2024-03-26 | 苏州大学 | 基于行为分析的学生活动多维管理***及管理方法 |
CN113052041B (zh) * | 2021-03-17 | 2024-04-30 | 广东骏杰科技有限公司 | 一种具备智能化教学***和监测方法 |
CN113486700A (zh) * | 2021-05-08 | 2021-10-08 | 北京科技大学 | 一种教学场景下基于注意力机制的面部表情分析方法 |
CN113239915B (zh) * | 2021-07-13 | 2021-11-30 | 北京邮电大学 | 一种课堂行为的识别方法、装置、设备及存储介质 |
CN113569761B (zh) * | 2021-07-30 | 2023-10-27 | 广西师范大学 | 一种基于深度学习的学生视点估计方法 |
CN113792626A (zh) * | 2021-08-30 | 2021-12-14 | 华中师范大学 | 一种基于教师非言语行为的教学过程评价方法 |
CN114140282B (zh) * | 2021-11-19 | 2023-03-24 | 武汉东信同邦信息技术有限公司 | 一种基于深度学习的普教课堂答题快速评审方法及装置 |
CN114332007B (zh) * | 2021-12-28 | 2024-06-28 | 福州大学 | 一种基于Transformer的工业缺陷检测和识别方法 |
CN114419861A (zh) * | 2022-01-20 | 2022-04-29 | 牡丹江师范学院 | 一种基于互联网大学教学用英语智能教学辅助*** |
CN114898460B (zh) * | 2022-04-22 | 2024-04-26 | 华中师范大学 | 一种基于图卷积神经网络的教师非言语行为检测方法 |
CN115050100A (zh) * | 2022-06-29 | 2022-09-13 | 海南大学 | 基于图像分析的课堂行为识别方法、***、终端及介质 |
CN114898449B (zh) * | 2022-07-13 | 2022-10-04 | 电子科技大学成都学院 | 一种基于大数据的外语教学辅助方法及装置 |
CN115909152B (zh) * | 2022-11-16 | 2023-08-29 | 北京师范大学 | 一种基于群体行为的教学场景智能分析*** |
CN116682052A (zh) * | 2023-04-20 | 2023-09-01 | 北京北水融智教育科技有限公司 | 一种基于云服务的教学服务平台 |
CN117152688A (zh) * | 2023-10-31 | 2023-12-01 | 江西拓世智能科技股份有限公司 | 一种基于人工智能的智慧课堂行为分析方法及*** |
CN117649702B (zh) * | 2024-01-30 | 2024-05-07 | 山东诚海电子科技有限公司 | 一种基于人体姿态的教学辅助方法、设备及介质 |
CN117711132A (zh) * | 2024-02-05 | 2024-03-15 | 青岛培诺教育科技股份有限公司 | 一种学生安全监测方法、装置、电子设备及存储介质 |
CN117972438B (zh) * | 2024-03-31 | 2024-06-28 | 浪潮电子信息产业股份有限公司 | 一种数据处理方法、***、设备及存储介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8491311B2 (en) * | 2002-09-30 | 2013-07-23 | Mind Research Institute | System and method for analysis and feedback of student performance |
CN102945624A (zh) * | 2012-11-14 | 2013-02-27 | 南京航空航天大学 | 基于云计算模型和表情信息反馈的智能化视频教学*** |
US9666088B2 (en) * | 2013-08-07 | 2017-05-30 | Xerox Corporation | Video-based teacher assistance |
US9730643B2 (en) * | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
CN103559812B (zh) * | 2013-11-07 | 2016-01-20 | 大连东方之星信息技术有限公司 | 一种教育督导评价报告生成*** |
US10460194B2 (en) * | 2014-03-07 | 2019-10-29 | Lior Wolf | System and method for the detection and counting of repetitions of repetitive activity via a trained network |
US9641585B2 (en) * | 2015-06-08 | 2017-05-02 | Cisco Technology, Inc. | Automated video editing based on activity in video conference |
US9792492B2 (en) * | 2015-07-07 | 2017-10-17 | Xerox Corporation | Extracting gradient features from neural networks |
US9916522B2 (en) * | 2016-03-11 | 2018-03-13 | Kabushiki Kaisha Toshiba | Training constrained deconvolutional networks for road scene semantic segmentation |
GB201613138D0 (en) * | 2016-07-29 | 2016-09-14 | Unifai Holdings Ltd | Computer vision systems |
CN106097790A (zh) * | 2016-08-31 | 2016-11-09 | 王翠丽 | 一种教学辅助装置 |
CN106778539A (zh) | 2016-11-25 | 2017-05-31 | 鲁东大学 | 教学效果信息获取方法及装置 |
US10332001B2 (en) * | 2016-12-15 | 2019-06-25 | WaveOne Inc. | Enhanced coding efficiency with progressive representation |
CN106778745A (zh) | 2016-12-23 | 2017-05-31 | 深圳先进技术研究院 | 一种车牌识别方法及装置、用户设备 |
US11301944B2 (en) * | 2017-04-13 | 2022-04-12 | International Business Machines Corporation | Configuring classroom physical resources |
US11120127B2 (en) * | 2017-12-27 | 2021-09-14 | Nec Corporation | Reconstruction-based anomaly detection |
WO2020019236A1 (en) * | 2018-07-26 | 2020-01-30 | Intel Corporation | Loss-error-aware quantization of a low-bit neural network |
-
2017
- 2017-08-07 JP JP2020522765A patent/JP6892558B2/ja active Active
- 2017-08-07 US US16/623,397 patent/US11270526B2/en active Active
- 2017-08-07 WO PCT/CN2017/096217 patent/WO2019028592A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2020525965A (ja) | 2020-08-27 |
US20200175264A1 (en) | 2020-06-04 |
WO2019028592A1 (zh) | 2019-02-14 |
US11270526B2 (en) | 2022-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6892558B2 (ja) | 教学補助方法およびその方法を採用する教学補助システム | |
CN108399376B (zh) | 学生课堂学习兴趣智能分析方法及*** | |
CN205334563U (zh) | 一种学生课堂参与度检测*** | |
CN108073888A (zh) | 一种教学辅助方法及采用该方法的教学辅助*** | |
CN109117731A (zh) | 一种课堂教学认知负荷测量*** | |
WO2021047185A1 (zh) | 基于人脸识别的监测方法、装置、存储介质及计算机设备 | |
CN107609517A (zh) | 一种基于计算机视觉的课堂行为检测*** | |
CN106650619A (zh) | 一种人体动作识别方法 | |
CN111915148A (zh) | 一种基于信息技术的课堂教学评价方法和*** | |
CN110009210A (zh) | 一种基于关注度和专注度的学生听课水平综合评估方法 | |
CN105869085A (zh) | 一种成绩录入***及图像处理的方法 | |
WO2015153266A1 (en) | Method and system for analyzing exam-taking behavior and improving exam-taking skills | |
CN111523445A (zh) | 一种基于改进的Openpose模型和面部微表情的考试行为检测方法 | |
CN113139481A (zh) | 基于yolov3的教室人数统计方法 | |
CN114898460B (zh) | 一种基于图卷积神经网络的教师非言语行为检测方法 | |
CN110740298A (zh) | 分布式教室违纪行为检测***、方法及介质 | |
CN113239794B (zh) | 一种面向在线学习的学习状态自动识别方法 | |
Tang et al. | Automatic facial expression analysis of students in teaching environments | |
CN113989608A (zh) | 基于顶部视觉的学生实验课堂行为识别方法 | |
Dimitriadou et al. | Using Student Action Recognition to Enhance the Efficiency of Tele-education. | |
CN111199378B (zh) | 学员管理方法、装置、电子设备及存储介质 | |
CN106651689A (zh) | 一种智能考试*** | |
CN115829234A (zh) | 基于课堂检测的自动化督导***及其工作方法 | |
Saurav et al. | AI Based Proctoring | |
CN107832698A (zh) | 基于阵列镜头的学习兴趣测试方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191231 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6892558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |