TWI670628B - 動作評量模型生成裝置及其動作評量模型生成方法 - Google Patents

動作評量模型生成裝置及其動作評量模型生成方法 Download PDF

Info

Publication number
TWI670628B
TWI670628B TW106139489A TW106139489A TWI670628B TW I670628 B TWI670628 B TW I670628B TW 106139489 A TW106139489 A TW 106139489A TW 106139489 A TW106139489 A TW 106139489A TW I670628 B TWI670628 B TW I670628B
Authority
TW
Taiwan
Prior art keywords
action
standard
model
algorithm
original data
Prior art date
Application number
TW106139489A
Other languages
English (en)
Other versions
TW201923517A (zh
Inventor
江振國
盧允中
陳柏年
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW106139489A priority Critical patent/TWI670628B/zh
Priority to CN201711225173.3A priority patent/CN109784133B/zh
Priority to US15/831,387 priority patent/US11397471B2/en
Publication of TW201923517A publication Critical patent/TW201923517A/zh
Application granted granted Critical
Publication of TWI670628B publication Critical patent/TWI670628B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一種動作評量模型生成裝置及其動作評量模型生成方法。動作評量模型生成裝置儲存複數原始資料集及其對應之複數標準動作標籤。動作評量模型生成裝置基於機器學習演算法，運算該等原始資料集，以進行一監督式學習而生成一特徵向量產生模型及一分類器模型。動作評量模型生成裝置透過隨機產生複數動作特徵向量，並將其輸入至分類器模型，以決定各標準動作標籤之一代表動作特徵向量。動作評量模型生成裝置基於特徵向量產生模型、分類器模型及對應至該等標準動作標籤之該等代表動作特徵向量，生成一動作評量模型。

Description

動作評量模型生成裝置及其動作評量模型生成方法
本發明係關於動作評量模型生成裝置及其動作評量模型生成方法。具體而言，本發明之動作評量模型生成裝置經由機器學習演算法生成動作評量模型。
隨著科技的快速發展，智慧型手機及各種穿戴式裝置已充斥於人們的日常生活中，帶來不同的應用(例如：電玩上、運動上等)。舉例而言，目前穿戴式裝置大多裝載著移動感測器(motion sensor)(例如：重力感測器)，因此穿戴式裝置可針對使用者的動作進行辨識，以進行相應的操作。然而，目前的辨識技術僅能提供動作分類，而無法同時提供動作分類與動作評分，進而造成實際的應用受限。
有鑑於此，如何建立一種用於穿戴式裝置之一動作評量模型，以同時提供動作分類與動作評分，乃是業界亟待解決的問題。
本發明之目的在於提供一種適用於穿戴式裝置之動作評量模型，其基於機器學習演算法，經由監督式學習訓練所生成，以有效地同時提供動作分類與動作評分的功能。
為達上述目的，本發明揭露一種動作評量模型生成裝置，其包含一儲存器及一處理器。該儲存器用以儲存複數原始資料集及複數標準動作標籤。各該原始資料集包含複數原始資料，且各該原始資料係由一感測(sensing)裝置所產生。各該原始資料集對應至複數標準動作標籤其中之一。該處理器電性連結至該儲存器，用以執行以下操作：基於一第一階段機器學習演算法，運算各該原始資料集之該等原始資料，以產生複數標準動作特徵向量；基於一第二階段機器學習演算法，運算該等標準動作特徵向量，以產生複數標準動作類別向量；基於該等原始資料集與其對應之該等標準動作標籤，進行該第一階段機器學習演算法及該第二階段機器學習演算法之一監督式學習，以生成一特徵向量產生模型及一分類器模型，其中該監督式學習係使得各該標準動作標籤所對應之該原始資料集之該等原始資料，輸入至該特徵向量產生模型及該分類器模型後所產生之該等標準動作類別向量具有一特定分量值；隨機產生複數動作特徵向量，並將該等動作特徵向量輸入至該分類器模型，以產生複數動作類別向量；根據該等動作類別向量，自該等動作特徵向量中選擇對應至各該標準動作標籤之一代表動作特徵向量，各該代表動作特徵向量所對應之該動作類別向量具有一相對分量極大值；以及基於該特徵向量產生模型、該分類器模型及對應至該等標準動作標籤之該等代表動作特徵向量，生成一動作評量模型。
此外，本發明更揭露一種用於一動作評量模型生成裝置之動作評量模型生成方法。該動作評量模型生成裝置包含一儲存器以及一處理器。該儲存器用以儲存複數原始資料集及複數標準動作標籤。各該原始資料集包含複數原始資料，且各該原始資料係由一感測(sensing)裝置所產生。 各該原始資料集對應至複數標準動作標籤其中之一。該動作評量模型生成方法由該處理器執行且包含下列步驟：基於一第一階段機器學習演算法，運算各該原始資料集之該等原始資料，以產生複數標準動作特徵向量；基於一第二階段機器學習演算法，運算該等標準動作特徵向量，以產生複數標準動作類別向量；基於該等原始資料集與其對應之該等標準動作標籤，進行該第一階段機器學習演算法及該第二階段機器學習演算法之一監督式學習，以生成一特徵向量產生模型及一分類器模型，其中該監督式學習係使得各該標準動作標籤所對應之該原始資料集之該等原始資料，輸入至該特徵向量產生模型及該分類器模型後所產生之該等標準動作類別向量具有一特定分量值；隨機產生複數動作特徵向量，並將該等動作特徵向量輸入至該分類器模型，以產生複數動作類別向量；根據該等動作類別向量，自該等動作特徵向量中選擇對應至各該標準動作標籤之一代表動作特徵向量，各該代表動作特徵向量所對應之該動作類別向量具有一相對分量極大值；以及基於該特徵向量產生模型、該分類器模型及對應至該等標準動作標籤之該等代表動作特徵向量，生成一動作評量模型。
在參閱圖式及隨後描述之實施方式後，此技術領域具有通常知識者便可瞭解本發明之其他目的，以及本發明之技術手段及實施態樣。
1‧‧‧動作評量模型生成裝置
11‧‧‧儲存器
13‧‧‧處理器
15‧‧‧網路介面
RDS‧‧‧原始資料集
SAL‧‧‧標準動作標籤
RD‧‧‧原始資料
FV‧‧‧動作特徵向量
CV‧‧‧動作類別向量
CM‧‧‧分類器模型
SFV‧‧‧標準動作特徵向量
SCV‧‧‧標準動作類別向量
FVM‧‧‧特徵向量產生模型
FMA‧‧‧第一階段機器學習演算法
SMA‧‧‧第二階段機器學習演算法
UED‧‧‧待評量資料
UEFV‧‧‧待評量動作特徵向量
UECV‧‧‧待評量動作類別向量
IM‧‧‧動作及分數等級辨識模組
SM‧‧‧分數計算模組
AID‧‧‧動作識別碼
AEM‧‧‧動作評量模型
IR‧‧‧辨識結果
SV‧‧‧分數值
A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3‧‧‧分量
S501-S511、S601、S603‧‧‧步驟
第1A圖係描繪本發明動作評量模型生成裝置1之示意圖；第1B圖係描繪本發明動作評量模型生成裝置1之另一示意圖；第2A圖係描繪本發明動作評量模型生成裝置1進行模型訓練之示意 圖；第2B圖係描繪本發明動作評量模型生成裝置1決定對應至各標準動作標籤之一代表動作特徵向量的示意圖；第3圖係描繪本發明動作評量模型生成裝置1進行模型訓練之示意圖；第4圖係描繪本發明動作評量模型生成裝置1所生成之動作評量模型進行動作評量之示意圖；第5圖係本發明一實施例之動作評量模型生成方法之流程圖；第6A圖係本發明另一實施例之動作評量模型生成方法之流程圖；以及第6B圖係本發明另一實施例之動作評量模型生成方法之流程圖。
以下將透過實施例來解釋本發明內容，本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此，關於實施例之說明僅為闡釋本發明之目的，而非用以限制本發明。需說明者，以下實施例及圖式中，與本發明非直接相關之元件已省略而未繪示，且圖式中各元件間之尺寸關係僅為求容易瞭解，並非用以限制實際比例。
本發明第一實施例請參考第1-3圖。第1圖係描繪本發明動作評量模型生成裝置1之示意圖。動作評量模型生成裝置1包含一儲存器11及一處理器13。動作評量模型生成裝置1可為一雲端伺服器、一個人電腦或任一具有運算處理能力之裝置。處理器13電性連結至儲存器11。儲存器11用以儲存複數原始資料集RDS及複數標準動作標籤SAL。各原始資料集RDS包含複數原始資料RD，且各原始資料RD係由一感測(sensing)裝置(例如：一 穿戴式裝置所裝載之一移動感測器(motion sensor))所產生。各原始資料集RDS對應至該等標準動作標籤SAL其中之一。換言之，各原始資料RD係因應感測裝置感測一動作而產生，且對應至該等標準動作標籤SAL其中之一。
第2A圖係描繪本發明動作評量模型生成裝置1進行模型訓練之示意圖。處理器13基於一第一階段機器學習演算法FMA，運算各原始資料集RDS之該等原始資料RD，以產生複數標準動作特徵向量SFV。舉例而言，第一階段機器學習演算法FMA包含一卷積神經網路(Convolutional Neural Network；CNN)演算法，其可用於擷取各原始資料RD之時間序列的特徵，以及一長短期記憶(Long Short-Term Memory；LSTM)演算法，其可用於記憶不定時間長度的數值，並決定輸入的資料是否重要而需被記錄及輸出，以強化第一階段機器學習演算法FMA的整體神經網路。於產生該等標準動作特徵向量SFV後，處理器13更基於一第二階段機器學習演算法SMA(例如：一支援向量機(support vector machine；SVM)演算法、一神經網路(Neural Network；NN)演算法、一決策樹(Decision Tree；DT)演算法、一隨機樹(Random Tree；RT)演算法、一提升方法(Boosting)、一貝氏(Bayes)演算法、一最大期望(Expectation-Maximization；EM)演算法或一K最鄰近(K-Nearest Neighbors；KNN)演算法)，運算該等標準動作特徵向量SFV，以產生複數標準動作類別向量SCV。
如第3圖所示，假設各原始資料RD為3*250大小的矩陣形式表示。各原始資料RD經由第一階段機器學習演算法FMA(例如：CNN演算法與LSTM演算法之組合)運算後會產生對應之128*1大小的標準動作特徵 向量SFV，而標準動作特徵向量SFV再經由第二階段機器學習演算法SMA(例如：SVM演算法)運算後會產生對應之18*1大小的標準動作類別向量SCV。各標準動作類別向量SCV的各分量A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3分別對應至動作A、B、C、D、E、F及其分數等級。例如，分量A1、A2、A3分別代表A動作的三個等級(好、普通、差)，分量B1、B2、B3分別代表B動作的三個等級(好、普通、差)，以此類推。換言之，各標準動作類別向量SCV具有複數分量值，各分量值與該等標準動作標籤其中之一相關聯且代表一分數等級。
接著，處理器13更基於該等原始資料RD與其對應之該等標準動作標籤SAL，進行第一階段機器學習演算法FMA及第二階段機器學習演算法SMA之一監督式學習，以生成一特徵向量產生模型FVM及一分類器模型CM。監督式學習使得各標準動作標籤SAL所對應之原始資料集RDS之該等原始資料RD，輸入至特徵向量產生模型FVM及分類器模型CM後所產生之該等標準動作類別向量SCV具有一特定分量值。
舉例而言，儲存器11儲存對應至該等原始資料RD的該等標準動作標籤SAL有6個，其分別對應至動作A、B、C、D、E、F。換言之，各原始資料RD對應至動作A、B、C、D、E、F其中之一。上述之監督式學習的訓練目標係欲使得對應至動作A之該等原始資料RD所產生之標準動作類別向量SCV的分量A1具有特定分量值(例如：標準化後的特定分量值為1)，而其餘分量A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3之分量值與分量A1之分量值間具有明顯差距(例如：差距大於30%，即其餘分量之分量值小於0.7)，使得對應至動作B之該等原 始資料RD所產生之標準動作類別向量SCV的分量B1具有特定分量值(例如：標準化後的特定分量值為1)，而其餘分量A1、A2、A3、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3之分量值與分量B1之分量值間具有明顯差距(例如：差距大於30%，即其餘分量之分量值小於0.7)，以此類推。由於所屬技術領域中具有通常知識者可瞭解前述關於機器學習演算法的訓練目標可藉由設定目標函數來達成，故在此不再加以贅述。
經由上述監督式學習之訓練，處理器13即可獲得第一階段機器學習演算法FMA所需的神經網路之參數，並據以生成特徵向量產生模型FVM。類似地，經由上述監督式學習之訓練，處理器13即可獲得第二階段機器學習演算法SMA所需的神經網路之參數，並據以生成分類器模型CM。由於所屬技術領域中具有通常知識者基於前述說明可以瞭解如何經由監督式學習之訓練獲得機器學習演算法所需的神經網路之參數，並據以生成模型，故在此不再加以贅述。
於生成特徵向量產生模型FVM及分類器模型CM後，處理器13隨機產生大量的動作特徵向量FV，並將該等動作特徵向量FV輸入至分類器模型CM，以產生複數動作類別向量CV，如第2B圖所示。同樣地，各動作類別向量CV亦具有分量A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3，其分別對應至動作A、B、C、D、E、F及其分數等級。接著，處理器13根據該等動作類別向量CV，自該等動作特徵向量FV中選擇對應至各標準動作標籤SAL之一代表動作特徵向量，其中各代表動作特徵向量所對應之動作類別向量CV具有一相對分量極大值。
詳細而言，以挑選對應動作A之標準動作標籤SAL的代表動 作特徵向量作為說明，處理器13自該等動作特徵向量FV中選擇一動作特徵向量，其對應之動作類別向量CV滿足分量A1的分量值遠大於其餘分量A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3的分量值(例如：基於一目標函數(objective function)來決定)之條件。因此，處理器13可自該等動作特徵向量FV中決定各動作A、B、C、D、E、F之代表動作特徵向量。最後，處理器13基於特徵向量產生模型FVM、分類器模型CM及對應至該等標準動作標籤SAL之該等代表動作特徵向量，生成一動作評量模型。
舉例而言，前述之目標函數可表示如以下公式： 其中，CV表示動作類別向量，c表示動作的數量(例如：六個動作A、B、C、D、E、F，則c=6)、e表示分數等級數量(例如：3個等級，則e=3)，CPx表示動作類別向量的第x個分量值(例如：CP1為分量A1的分量值、CP4為分量B1的分量值)。因此，以動作A作為說明(即第i個動作，i=1)，處理器13係可基於目標函數，自該等動作類別向量CV中選擇一動作類別向量CV，其CP1分別減去CP2至CP18的值的總和為最大者(即目標函數值為最大者)所對應之動作特徵向量FV作為代表動作特徵向量。
須說明者，於本實施例中，第一階段機器學習演算法FMA係以CNN演算法與LSTM演算法之組合作為舉例說明，以及第二階段機器學習演算法SMA係以SVM演算法作為舉例說明。然而，於其他實施例中，其他可產生標準動作特徵向量SFV之機器學習演算法亦可套用至本發明之第一 階段機器學習演算法FMA，以及其他可產生標準動作類別向量SCV之機器學習演算法亦可套用至本發明之第二階段機器學習演算法SMA。
此外，於其他實施例中，如第1B圖所示，當動作評量模型生成裝置1為一雲端伺服器時，則動作評量模型生成裝置1更包含一網路介面15，其連線至一網路，且用以自一外部裝置接收該等原始資料集RDS及該等標準動作標籤SAL。在此網路介面15可為一有線網路介面、一無線網路介面或其組合，且網路可為一行動通訊網路、一網際網路、一區域網路等，或是前述各種網路之組合。此外部裝置可為一個人電腦、一手機、一穿戴式裝置或任一具有通訊能力之裝置。另外，處理器13可基於動作評量模型，產生一軟體開發套件(Software Development Kit；SDK)，以供一外部裝置下載。
舉例而言，當使用者為一運動教練時，其可自行透過穿戴式裝置(例如：智慧型手環)所裝載之移動感測器(motion sensor)，針對不同標準運動動作產生多個原始資料RD，並標示這些原始資料RD所對應標準運動動作，以產生對應之該等標準動作標籤SAL。隨後，運動教練可將該等原始資料RD及該等標準動作標籤SAL上傳至本發明之動作評量模型生成裝置1，使得動作評量模型生成裝置1因應生成動作評量模型，並產生一軟體開發套件供下載。因此，運動教練可將此軟體開發套件提供給學員，讓學員將其安裝至穿戴式裝置上，以供學員在平時運動時，對其各個動作進行評量。
此外，軟體開發套件亦可安裝與智慧型手機、平板、個人電腦或任一可自穿戴式裝置讀取移動感測器所產生之原始資料的裝置上，以基於所讀取的原始資料，對其所對應之動作進行評量。再者，本發明之動作評量模型生成裝置1亦可直接提供雲端動作評量之服務。動作評量模型生成 裝置1可自一外部裝置接收移動感測器所產生之原始資料，並基於所接收的原始資料，使用動作評量模型對原始資料所對應之動作進行評量。換言之，本發明動作評量模型之動作辨識及評量可於服務商之雲端伺服器上或使用者端之裝置(例如：智慧型手機、平板、個人電腦、穿戴式裝置等)上實現。
本發明之第二實施例如第4圖所示，其係描繪本發明動作評量模型生成裝置1所生成之動作評量模型AEM進行動作評量之示意圖。第二實施例係為第一實施例之進一步延伸。為簡化說明，以下假設本發明之動作評量模型係透過軟體開發套件安裝於穿戴式裝置(例如：智慧型手環)上作為舉例說明。然而，如先前所述，本發明之動作評量模型AEM之動作辨識及評量亦可於服務商之雲端伺服器或使用者端之裝置(例如：智慧型手機、平板、個人電腦、穿戴式裝置等)上實現。動作評量模型AEM可由一電腦程式實現，其係被穿戴式裝置之處理器執行，以達到對各個動作進行評量。
如第4圖所示，當一學員進行運動時，智慧型手環之移動感測器會因應學員之一運動動作產生一待評量資料UED(即，原始資料)。隨後，待評量資料UED經由特徵向量產生模型FVM運算後，產生待評量動作特徵向量UEFV。接著，待評量動作特徵向量UEFV經由分類器模型CM運算後，產生待評量動作類別向量UECV。
於產生待評量動作類別向量UECV後，動作及分數等級辨識模組IM可判斷待評量動作類別向量UECV之分量A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3中的哪個分量值最大，以辨識出動作及分數等級。舉例而言，假設待評量動作類別向量UECV中分量B1的值最大，因此動作及分數等級辨識模組IM，產生辨識結果IR， 其指示待評量資料UED所對應之動作為動作B，且此動作的分數等級為「好」。另一方面，動作及分數等級辨識模組IM於辨識動作B後，將動作B之動作識別碼AID傳送給分數計算模組SM。
分數計算模組SM根據動作識別碼AID，將動作B之代表動作特徵向量與待評量動作特徵向量UEFV進行內積計算，以產生一分數值SV。換言之，分數計算模組SM係計算待評量動作特徵向量UEFV於代表動作特徵向量上的投影量，將投影量與代表動作特徵向量之大小間之百分比，作為分數值IR。如此一來，智慧型手環可將辨識結果IR及分數值SV呈現於其螢幕上供學員參考。智慧型手環亦可將辨識結果IR及分數值SV傳送至所連線之智慧型手機、平板電腦、個人電腦或雲端伺服器，以記錄保存。
須說明者，於本實施例中，動作評量模型AEM係包含動作及分數等級辨識模組IM及分數計算模組SM。然而，於其他實施例中，動作評量模型AEM可不包含動作及分數等級辨識模組IM及分數計算模組SM。在此情況下，動作及分數等級辨識模組IM及分數計算模組SM係可運行於與智慧型手環所連線之裝置(例如：智慧型手機、平板電腦、個人電腦或雲端伺服器)。據此，於智慧型手環將待評量動作特徵向量UEFV及待評量動作類別向量UECV傳送至所連線之裝置後，裝置將可據以產生辨識結果IR及分數值SV。
此外，前述舉例說明係以運動動作作為動作評量的標的；然而，所屬技術領域中具有通常知識者可瞭解本發明之動作評量模型AEM亦適用於其他活動的動作評量(例如：機械的操作等)，故各種活動的動作評量皆屬於本發明保護的範疇。
本發明第三實施例請參考第5圖，其係為本發明動作評量模型生成方法之流程圖。動作評量模型生成方法適用於一動作評量模型生成裝置(例如：第一實施例之動作評量模型生成裝置1)，其包含一儲存器以及一處理器。儲存器用以儲存複數原始資料集及複數標準動作標籤。各原始資料集包含複數原始資料，且各原始資料係由一感測(sensing)裝置所產生。各原始資料集對應至複數標準動作標籤其中之一。
動作評量模型生成方法由處理器執行。首先，於步驟S501中，基於一第一階段機器學習演算法，運算各原始資料集之該等原始資料，以產生複數標準動作特徵向量。於步驟S503中，基於一第二階段機器學習演算法，運算該等標準動作特徵向量，以產生複數標準動作類別向量。接著，於步驟S505中，基於該等原始資料集與其對應之該等標準動作標籤，進行第一階段機器學習演算法及第二階段機器學習演算法之一監督式學習，以生成一特徵向量產生模型及一分類器模型。監督式學習係使得各標準動作標籤所對應之原始資料集之該等原始資料，輸入至特徵向量產生模型及分類器模型後所產生之該等標準動作類別向量具有一特定分量值。
隨後，於步驟S507中，隨機產生複數動作特徵向量，並將該等動作特徵向量輸入至分類器模型，以產生複數動作類別向量。於步驟S509中，根據該等動作類別向量，自該等動作特徵向量中選擇對應至各標準動作標籤之一代表動作特徵向量。各代表動作特徵向量所對應之動作類別向量具有一相對分量極大值。最後，於步驟S511中，基於特徵向量產生模型、分類器模型及對應至該等標準動作標籤之該等代表動作特徵向量，生成一動作評量模型。
於其他實施例中，第一階段機器學習演算法包含一卷積神經網路(Convolutional Neural Network；CNN)演算法及一長短期記憶(Long Short-Term Memory；LSTM)演算法，以及第二階段機器學習演算法係一支援向量機(Support Vector Machine；SVM)演算法、一神經網路(Neural Network；NN)演算法、一決策樹(Decision Tree；DT)演算法、一隨機樹(Random Tree；RT)演算法、一提升方法(Boosting)、一貝氏(Bayes)演算法、一最大期望(Expectation-Maximization；EM)演算法或一K最鄰近(K-Nearest Neighbors；KNN)演算法。
此外，於其他實施例中，各標準動作類別向量具有複數分量值，各分量值與該等標準動作標籤其中之一相關聯且代表一分數等級。於一實施例中，感測裝置係被裝載於一穿戴式裝置，且包含一移動感測器(motion sensor)，由感測裝置所產生之一待評量資料經由動作評量模型之特徵向量產生模型而產生之待評量動作特徵向量係與該等代表動作特徵向量其中之一進行一內積運算，以產生一分數值。
於其他實施例中，動作評量模型生成裝置可為一雲端伺服器，其更包含一網路介面，連線至一網路。在此情況下，如第6A圖所示，本發明之動作評量模型生成方法更包含步驟S601：透過網路介面，自一外部裝置接收該等原始資料集及該等標準動作標籤。另外，於其他實施例中，如第6B圖所示，本發明之動作評量模型生成方法更包含步驟S603：基於動作評量模型，產生一軟體開發套件(Software Development Kit；SDK)，以供一外部裝置下載。
綜上所述，本發明提供之適用於穿戴式裝置之動作評量模 型，其基於機器學習演算法，以及經由監督式學習訓練所生成。本發明之動作評量模型可有效地同時提供動作分類與動作評分的功能，以增加穿戴式裝置的應用，提供多元資訊。
前述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之保護範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。

Claims (16)

  1. 一種動作評量模型生成裝置，包含：一儲存器，用以儲存複數原始資料集及複數標準動作標籤，各該原始資料集包含複數原始資料，各該原始資料係由一感測裝置所產生，各該原始資料集對應至複數標準動作標籤其中之一；以及一處理器，電性連結至該儲存器，用以執行以下操作：基於一第一階段機器學習演算法，運算各該原始資料集之該等原始資料，以產生複數標準動作特徵向量；基於一第二階段機器學習演算法，運算該等標準動作特徵向量，以產生複數標準動作類別向量；基於該等原始資料集與其對應之該等標準動作標籤，進行該第一階段機器學習演算法及該第二階段機器學習演算法之一監督式學習，以生成一特徵向量產生模型及一分類器模型，其中該監督式學習係使得各該標準動作標籤所對應之該原始資料集之該等原始資料，輸入至該特徵向量產生模型及該分類器模型後所產生之該等標準動作類別向量具有一特定分量值；隨機產生複數動作特徵向量，並將該等動作特徵向量輸入至該分類器模型，以產生複數動作類別向量；根據該等動作類別向量，自該等動作特徵向量中選擇對應至各該標準動作標籤之一代表動作特徵向量，各該代表動作特徵向量所對應之該動作類別向量具有一相對分量極大值；以及基於該特徵向量產生模型、該分類器模型及對應至該等標準動 作標籤之該等代表動作特徵向量，生成一動作評量模型。
  2. 如請求項1所述之動作評量模型生成裝置，其中該第一階段機器學習演算法包含一卷積神經網路演算法及一長短期記憶演算法。
  3. 如請求項1所述之動作評量模型生成裝置，其中該第二階段機器學習演算法係一支援向量機演算法、一神經網路演算法、一決策樹演算法、一隨機樹演算法、一提升方法、一貝氏演算法、一最大期望演算法及一K最鄰近演算法其中之一。
  4. 如請求項1所述之動作評量模型生成裝置，其中各該標準動作類別向量具有複數分量值，各該分量值與該等標準動作標籤其中之一相關聯且代表一分數等級。
  5. 如請求項4所述之動作評量模型生成裝置，其中由該感測裝置所產生之一待評量資料經由該動作評量模型之該特徵向量產生模型而產生之待評量動作特徵向量係與該等代表動作特徵向量其中之一進行一內積運算，以產生一分數值。
  6. 如請求項1所述之動作評量模型生成裝置，更包含一網路介面，連線至一網路，且用以自一外部裝置接收該等原始資料集及該等標準動作標籤。
  7. 如請求項1所述之動作評量模型生成裝置，其中該感測裝置係被裝載於一穿戴式裝置，且包含一移動感測器。
  8. 如請求項1所述之動作評量模型生成裝置，更包含一網路介面，連線至一網路，其中該處理器基於該動作評量模型，產生一軟體開發套件，以供一外部裝置下載。
  9. 一種用於一動作評量模型生成裝置之動作評量模型生成方法，該動作評 量模型生成裝置包含一儲存器以及一處理器，該儲存器用以儲存複數原始資料集及複數標準動作標籤，各該原始資料集包含複數原始資料，各該原始資料係由一感測裝置所產生，各該原始資料集對應至複數標準動作標籤其中之一，該動作評量模型生成方法由該處理器執行且包含下列步驟：基於一第一階段機器學習演算法，運算各該原始資料集之該等原始資料，以產生複數標準動作特徵向量；基於一第二階段機器學習演算法，運算該等標準動作特徵向量，以產生複數標準動作類別向量；基於該等原始資料集與其對應之該等標準動作標籤，進行該第一階段機器學習演算法及該第二階段機器學習演算法之一監督式學習，以生成一特徵向量產生模型及一分類器模型，其中該監督式學習係使得各該標準動作標籤所對應之該原始資料集之該等原始資料，輸入至該特徵向量產生模型及該分類器模型後所產生之該等標準動作類別向量具有一特定分量值；隨機產生複數動作特徵向量，並將該等動作特徵向量輸入至該分類器模型，以產生複數動作類別向量；根據該等動作類別向量，自該等動作特徵向量中選擇對應至各該標準動作標籤之一代表動作特徵向量，各該代表動作特徵向量所對應之該動作類別向量具有一相對分量極大值；以及基於該特徵向量產生模型、該分類器模型及對應至該等標準動作標籤之該等代表動作特徵向量，生成一動作評量模型。
  10. 如請求項9所述之動作評量模型生成方法，其中該第一階段機器學習演算法包含一卷積神經網路演算法及一長短期記憶演算法。
  11. 如請求項9所述之動作評量模型生成方法，其中該第二階段機器學習演算法係一支援向量機演算法、一神經網路演算法、一決策樹演算法、一隨機樹演算法、一提升方法、一貝氏演算法、一最大期望演算法及一K最鄰近演算法其中之一。
  12. 如請求項9所述之動作評量模型生成方法，其中各該標準動作類別向量具有複數分量值，各該分量值與該等標準動作標籤其中之一相關聯且代表一分數等級。
  13. 如請求項12所述之動作評量模型生成方法，其中由該感測裝置所產生之一待評量資料經由該動作評量模型之該特徵向量產生模型而產生之待評量動作特徵向量係與該等代表動作特徵向量其中之一進行一內積運算，以產生一分數值。
  14. 如請求項9所述之動作評量模型生成方法，其中該動作評量模型生成裝置更包含一網路介面，其連線至一網路，以及該動作評量模型生成方法更包含以下步驟：透過該網路介面，自一外部裝置接收該等原始資料集及該等標準動作標籤。
  15. 如請求項9所述之動作評量模型生成方法，其中該感測裝置係被裝載於一穿戴式裝置，且包含一移動感測器。
  16. 如請求項9所述之動作評量模型生成方法，該動作評量模型生成裝置更包含一網路介面，其連線至一網路，以及該動作評量模型生成方法更包含 以下步驟：基於該動作評量模型，產生一軟體開發套件，以供一外部裝置下載。
TW106139489A 2017-11-15 2017-11-15 動作評量模型生成裝置及其動作評量模型生成方法 TWI670628B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106139489A TWI670628B (zh) 2017-11-15 2017-11-15 動作評量模型生成裝置及其動作評量模型生成方法
CN201711225173.3A CN109784133B (zh) 2017-11-15 2017-11-29 动作评量模型生成装置及其动作评量模型生成方法
US15/831,387 US11397471B2 (en) 2017-11-15 2017-12-04 Action evaluation model building apparatus and action evaluation model building method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106139489A TWI670628B (zh) 2017-11-15 2017-11-15 動作評量模型生成裝置及其動作評量模型生成方法

Publications (2)

Publication Number Publication Date
TW201923517A TW201923517A (zh) 2019-06-16
TWI670628B true TWI670628B (zh) 2019-09-01

Family

ID=66433237

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106139489A TWI670628B (zh) 2017-11-15 2017-11-15 動作評量模型生成裝置及其動作評量模型生成方法

Country Status (3)

Country Link
US (1) US11397471B2 (zh)
CN (1) CN109784133B (zh)
TW (1) TWI670628B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676034B2 (en) * 2019-06-27 2023-06-13 The Nielsen Company (Us), Llc Initialization of classification layers in neural networks
CN110648404B (zh) * 2019-09-30 2023-06-09 恒信东方文化股份有限公司 一种互动学习方法及其***
CN110782481B (zh) * 2019-10-18 2023-09-05 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 无人艇智能决策方法及***
US11482047B2 (en) * 2020-01-06 2022-10-25 Kaia Health Software GmbH ML model arrangement and method for evaluating motion patterns
CN117542121B (zh) * 2023-12-06 2024-06-28 融视数字科技集团有限公司 基于计算机视觉的智能化训练考核***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
CN106446844A (zh) * 2016-09-29 2017-02-22 北京市商汤科技开发有限公司 姿势估计方法和装置、计算机***
CN106991372A (zh) * 2017-03-02 2017-07-28 北京工业大学 一种基于混合深度学习模型的动态手势识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133813B (zh) * 2014-08-11 2017-02-15 南通大学 一种基于Kinect的海军旗语训练方法
US11089146B2 (en) * 2015-12-28 2021-08-10 The Mitre Corporation Systems and methods for rehabilitative motion sensing
US9977968B2 (en) * 2016-03-04 2018-05-22 Xerox Corporation System and method for relevance estimation in summarization of videos of multi-step activities
CN106611153B (zh) * 2016-05-12 2020-01-14 简极科技有限公司 一种智能球训练动作识别***及方法
CN107016347A (zh) * 2017-03-09 2017-08-04 腾讯科技（深圳）有限公司 一种体感动作识别方法、装置以及***
CN107291232A (zh) * 2017-06-20 2017-10-24 深圳市泽科科技有限公司 一种基于深度学习与大数据的体感游戏交互方法及***
CN107293175A (zh) * 2017-08-04 2017-10-24 华中科技大学 一种基于体感技术的机车手信号操作训练方法
TWI651664B (zh) * 2017-11-15 2019-02-21 財團法人資訊工業策進會 模型生成伺服器及其模型生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
CN106446844A (zh) * 2016-09-29 2017-02-22 北京市商汤科技开发有限公司 姿势估计方法和装置、计算机***
CN106991372A (zh) * 2017-03-02 2017-07-28 北京工业大学 一种基于混合深度学习模型的动态手势识别方法

Also Published As

Publication number Publication date
TW201923517A (zh) 2019-06-16
US20190146590A1 (en) 2019-05-16
CN109784133B (zh) 2021-11-02
CN109784133A (zh) 2019-05-21
US11397471B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
TWI670628B (zh) 動作評量模型生成裝置及其動作評量模型生成方法
Wen et al. Multilabel image classification via feature/label co-projection
CN109388807B (zh) 电子病历命名实体识别的方法、装置及存储介质
CN109800325A (zh) 视频推荐方法、装置和计算机可读存储介质
CN110363084A (zh) 一种上课状态检测方法、装置、存储介质及电子
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN102741840B (zh) 用于对个性化场景建模的方法和装置
CN111737586B (zh) 信息推荐方法、装置、设备及计算机可读存储介质
CN110414550B (zh) 人脸识别模型的训练方法、装置、***和计算机可读介质
CN108629608A (zh) 用户数据处理方法及装置
CN111126347B (zh) 人眼状态识别方法、装置、终端及可读存储介质
JP2020507159A (ja) ピクチャプッシュの方法、移動端末および記憶媒体
JP2022502758A (ja) 符号化方法、装置、機器およびプログラム
CN111737439B (zh) 一种问题生成方法及装置
US20190251355A1 (en) Method and electronic device for generating text comment about content
CN116229530A (zh) 图像处理方法、装置、存储介质及电子设备
KR20230068989A (ko) 멀티-태스크 모델의 학습을 수행하는 방법 및 전자 장치
Thiruthuvanathan et al. Engagement Detection through Facial Emotional Recognition Using a Shallow Residual Convolutional Neural Networks.
CN112434746B (zh) 基于层次化迁移学习的预标注方法及其相关设备
CN116186295B (zh) 基于注意力的知识图谱链接预测方法、装置、设备及介质
JP6947460B1 (ja) プログラム、情報処理装置、及び方法
CN111177493B (zh) 数据处理方法、装置、服务器和存储介质
CN112446360A (zh) 目标行为检测方法、装置及电子设备
CN113239915A (zh) 一种课堂行为的识别方法、装置、设备及存储介质
CN113010687A (zh) 一种习题标签预测方法、装置、存储介质以及计算机设备