TWI776176B - 手部作業動作評分裝置、方法及電腦可讀取存儲介質 - Google Patents

手部作業動作評分裝置、方法及電腦可讀取存儲介質 Download PDF

Info

Publication number
TWI776176B
TWI776176B TW109122169A TW109122169A TWI776176B TW I776176 B TWI776176 B TW I776176B TW 109122169 A TW109122169 A TW 109122169A TW 109122169 A TW109122169 A TW 109122169A TW I776176 B TWI776176 B TW I776176B
Authority
TW
Taiwan
Prior art keywords
hand
data
image
model
preset
Prior art date
Application number
TW109122169A
Other languages
English (en)
Other versions
TW202201275A (zh
Inventor
范亮
張橋
林定遠
陳淑如
謝巧琳
陳怡靜
危清清
Original Assignee
大陸商富泰華工業（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商富泰華工業（深圳）有限公司 filed Critical 大陸商富泰華工業（深圳）有限公司
Publication of TW202201275A publication Critical patent/TW202201275A/zh
Application granted granted Critical
Publication of TWI776176B publication Critical patent/TWI776176B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

一種手部作業動作評分裝置、方法及電腦可讀存儲介質，所述方法包括：將獲取之手部作業圖像幀轉換為HSV圖像，以從中獲取皮膚所在區域之二值化圖像及手部所在區域之多個矩形框；根據多個矩形框從二值化圖像中分割出第一手部圖像並輸入至第一預設模型；基於第一預設模型之分析結果構建隨跟蹤時間累積之跟蹤資料；若第一預設模型分析得到之手部關鍵點座標不可靠，則調用預設手部系列檢測模型對手部作業圖像幀進行檢測；利用第二預設模型為跟蹤資料中之每一手部分配手部標籤，以進行資料分類；對分類後之跟蹤資料進行預處理得到每一手部之精資料；根據該精資料及基準精資料對每一手部之作業動作進行評分。

Description

手部作業動作評分裝置、方法及電腦可讀取存儲介質
本發明涉及資料處理技術領域，尤其涉及一種手部作業動作評分裝置、方法及電腦可讀存儲介質。
近年來，隨著深度學習技術之發展，習知手部識別技術一般是採用基於卷積神經網路之各種架構得到之手部檢測模型來進行手部識別。該等模型一般要求輸入之圖片中僅能存於一個手部，具有一定之局限性。
現代工廠中，工人手部作業動作之準確性可對產線之良率、生產效率造成一定之影響。習知之工人手部作業動作之評判方式一般是由評核人員直接對工人手部作業動作進行即時觀察與評分，評判準確性受評核人員之人為因素影響，準確性無法保證。
有鑑於此，有必要提供一種手部作業動作評分裝置、方法及電腦可讀存儲介質，可智慧分析出工人手部作業動作與標準作業動作差異，並給出相應評分。
本發明一實施方式提供一種手部作業動作評分方法，所述方法包括：獲取手部作業影像，並對所述手部作業影像進行解碼得到手部作業圖像幀； 將所述手部作業圖像幀轉換為HSV圖像，並從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框；根據多個所述矩形框從所述二值化圖像中分割出第一手部圖像並利用第一預設模型對所述第一手部圖像進行分析；基於所述第一預設模型之分析結果構建一隨跟蹤時間累積之跟蹤資料；利用第二預設模型監測所述跟蹤資料並為所述跟蹤資料中之每一手部分配手部標籤，以基於所述手部標籤對所述跟蹤資料進行分類，其中每一所述手部對應唯一之手部標籤；對所述分類後之跟蹤資料進行預處理，以得到每一所述手部之精資料；及根據每一所述手部之精資料及基準手部作業之精資料對每一所述手部之作業動作進行評分。
本發明一實施方式提供一種手部作業動作評分裝置，所述裝置包括處理器及記憶體，所述記憶體上存儲有複數電腦程式，所述處理器用於執行記憶體中存儲之電腦程式時實現如下步驟：獲取手部作業影像，並對所述手部作業影像進行解碼得到手部作業圖像幀；將所述手部作業圖像幀轉換為HSV圖像，並從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框；根據多個所述矩形框從所述二值化圖像中分割出第一手部圖像並利用第一預設模型對所述第一手部圖像進行分析；基於所述第一預設模型之分析結果構建一隨跟蹤時間累積之跟蹤資料；利用第二預設模型監測所述跟蹤資料並為所述跟蹤資料中之每一手部分配手部標籤，以基於所述手部標籤對所述跟蹤資料進行分類，其中每一所述手部對應唯一之手部標籤；對所述分類後之跟蹤資料進行預處理，以得到每一所述手部之精資料；及根據每一所述手部之精資料及基準手部作業之精資料對每一所述手部之作業動作進行評分。
本發明一實施方式提供一種電腦可讀取存儲介質，所述電腦可讀取存儲介質存儲有多條指令，多條所述指令可被一個或者多個處理器執行，以實現如下步驟：獲取手部作業影像，並對所述手部作業影像進行解碼得到手部 作業圖像幀；將所述手部作業圖像幀轉換為HSV圖像，並從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框；根據多個所述矩形框從所述二值化圖像中分割出第一手部圖像並利用第一預設模型對所述第一手部圖像進行分析；基於所述第一預設模型之分析結果構建一隨跟蹤時間累積之跟蹤資料；利用第二預設模型監測所述跟蹤資料並為所述跟蹤資料中之每一手部分配手部標籤，以基於所述手部標籤對所述跟蹤資料進行分類，其中每一所述手部對應唯一之手部標籤；對所述分類後之跟蹤資料進行預處理，以得到每一所述手部之精資料；及根據每一所述手部之精資料及基準手部作業之精資料對每一所述手部之作業動作進行評分。
與習知技術相比，上述手部作業動作評分裝置、方法及電腦可讀存儲介質，可對被評測者之手部作業動作之即時影像進行處理，準確定位手部作業過程中之手部關鍵點特徵，並與標準手部作業動作進行比對，智慧分析出被評測者之手部作業動作與標準作業動作之差異，並給出相應評分，有利於對工人進行評價考察，提升產線之良率與效率。
10:記憶體
20:處理器
30:手部作業動作評分程式
101:獲取模組
102:第一檢測模組
103:分析模組
104:跟蹤模組
105:第二檢測模組
106:整理模組
107:校正模組
108:評分模組
100:手部作業動作評分裝置
S500、S502、S504、S506、S508、S510、S512:步驟
圖1是本發明一實施方式之手部作業動作評分裝置之功能模組圖。
圖2是本發明一實施方式之手部作業動作評分程式之功能模組圖。
圖3是本發明一實施方式之手部作業動作評分程式之功能模組之交互示意圖。
圖4是本發明一實施方式之評分模組之模組圖。
圖5是本發明一實施方式之手部作業動作評分方法之流程圖。
請參閱圖1，為本發明手部作業動作評分裝置較佳實施例之示意圖。
手部作業動作評分裝置100可實現對工人手部作業動作進行分析，並藉由與基準手部作業動作進行比對，來實現對工人手部作業動作進行評分。手部作業動作評分裝置100可包括記憶體10、處理器20以及存儲於記憶體10中並可於處理器20上運行之手部作業動作評分程式30。處理器20執行手部作業動作評分程式30時實現手部作業動作評分方法實施例中之步驟，例如圖5所示之步驟S500~S512。或者，所述處理器20執行手部作業動作評分程式30時實現圖2中各模組之功能，例如模組101~108。
手部作業動作評分程式30可被分割成一個或多個模組，所述一個或者多個模組被存儲於記憶體10中，並由處理器20執行，以完成本發明。所述一個或多個模組可是能夠完成特定功能之一系列電腦程式指令段，所述指令段用於描述手部作業動作評分程式30於手部作業動作評分裝置100中之執行過程。例如，手部作業動作評分程式30可被分割成圖2中之獲取模組101、第一檢測模組102、分析模組103、跟蹤模組104、第二檢測模組105、整理模組106、校正模組107及評分模組108。各模組具體功能參見下圖2中各模組之功能。
本領域技術人員可理解，所述示意圖僅是手部作業動作評分裝置100之示例，並不構成對手部作業動作評分裝置100之限定，可包括比圖示更多或更少之部件，或者組合某些部件，或者不同之部件，例如手部作業動作評分裝置100還可包括輸入顯示裝置、通信模組、匯流排等。
處理器20可是中央處理單元(Central Processing Unit，CPU)，還可是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門 或者電晶體邏輯器件、分立硬體元件等。通用處理器可是微處理器或者處理器20亦可是任何常規之處理器等，處理器20可利用各種介面與匯流排連接手部作業動作評分裝置100之各個部分。
記憶體10可用於存儲手部作業動作評分程式30與/或模組，處理器20藉由運行或執行存儲於記憶體10內之電腦程式與/或模組，以及調用存儲於記憶體10內之資料，實現手部作業動作評分裝置100之各種功能。記憶體10可包括高速隨機存取記憶體，還可包括非易失性記憶體，例如硬碟機、記憶體、插接式硬碟機，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
圖2為本發明手部作業動作評分程式較佳實施例之功能模組圖。
參閱圖2與圖3所示，手部作業動作評分程式30可包括獲取模組101、第一檢測模組102、分析模組103、跟蹤模組104、第二檢測模組105、整理模組106、校正模組107及評分模組108。於一實施方式中，上述模組可為存儲於記憶體10中且可被處理器20調用執行之可程式化軟體指令。可理解之是，於其他實施方式中，上述模組亦可為固化於處理器20中之程式指令或固件(firmware)。
獲取模組101用於獲取手部作業影像，並對所述手部作業影像進行解碼得到手部作業圖像幀。
於一實施方式中，可利用影像記錄設備(比如，攝像頭)來記錄指定生產線上之一個或多個指定工人(被評測者)於進行手部作業時之手部作業影像。所述手部作業動作評分裝置100可與該影像記錄設備進行通信，進而獲取模組101可獲取所述手部作業影像。當獲取模組101獲取到所述手部作業影像時，可對所述手部作業影像進行解碼得到依序排列之多個手部作業圖像幀。
於一實施方式中，所述手部作業圖像幀可包括一個或多個手部，獲取模組101可將每一所述手部作業圖像幀依次傳至第一檢測模組102進行分析。
第一檢測模組102用於將所述手部作業圖像幀轉換為HSV(Hue,Saturation,Value)圖像，並從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框。
於一實施方式中，第一檢測模組102可將獲取模組101傳送之手部作業圖像幀轉換為HSV圖像，再從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之一系列矩形框，該些矩形框可傳至分析模組103，以進行手部關鍵點分析。
於一實施方式中，第一檢測模組102根據動態之H通道之上下限值、動態之S通道之上下限值及動態之V通道之上下限值從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框，進而實現避免由於HSV三通道(即H通道、S通道及V通道)之上下限值為固定值，無法適應多種不同情形之手部檢測之問題，避免出現手部漏檢或誤檢之情況。第一檢測模組102可動態更新自身之HSV三通道之上下限值，具體地，第一檢測模組102可根據分析模組103之回饋結果來更新HSV三通道之上下限值，比如當分析模組103給出之回饋結果為積極結果時，第一檢測模組102可根據預設更新規則更新H通道之上下限值、S通道之上下限值及V通道之上下限值；當分析模組103給出之回饋結果為消極結果時，第一檢測模組102不會更新HSV三通道之上下限值。所述預設更新規則可根據實際使用需求進行預先設定，該預設更新規則預先定義有每一HSV通道之上下限值之調整規則。
可理解，第一檢測模組102根據分析模組103輸出之當前手部作業圖像幀之回饋結果來更新HSV三通道之上下限值，更新後之HSV三通道之上下 限值用以對下一手部作業圖像幀進行檢測，以獲取下一手部作業圖像幀之表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框。
於一實施方式中，當所述手部作業圖像幀為起始幀圖像時，第一檢測模組102可採用預設之HSV三通道之上下限值從HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框。即於所述手部作業圖像幀為起始幀圖像時，所述H通道之上下限值為第一內定上下限值，所述S通道之上下限值為第二內定上下限值，所述V通道之上下限值為第三內定上下限值。
於一實施方式中，於獲取被評測者之手部作業影像時，可能會一併將被評測者之周圍環境拍攝下來。第一檢測模組102藉由分析圖像中之膚色圖元值與環境圖元值之差異來實現檢測手部。當環境中存於與膚色圖元值相近之其他物體時，或者當被評測者之膚色不於內定之HSV三通道之上下限值範圍內時，亦或者環境中存於其他光照等情形下，均將可能發生手部之誤識別。因此，藉由引入分析模組103來更新預設之HSV三通道之上下限值。
分析模組103用於根據多個所述矩形框從所述二值化圖像中分割出第一手部圖像並利用第一預設模型對所述第一手部圖像進行分析。
於一實施方式中，分析模組103可根據多個所述矩形框從所述二值化圖像中分割出需進行分析之圖像區域，該分割下來之圖像區域即為所述第一手部圖像，再將所述第一手部圖像輸入到所述第一預設模型行分析。所述第一預設模型可是預先訓練之手部關鍵點分析模型，對於每一所述矩形框，所述手部關鍵點分析模型可分析得到21個手部關鍵點座標、置信度及手部特徵向量。所述置信度表徵了所述手部關鍵點分析模型之魯棒性。所述手部關鍵點分析模型分析得到之手部關鍵點座標與置信度可傳至跟蹤模組104，手部特徵向量可傳至第二預設模型(整理模組106)。
於一實施方式中，所述手部關鍵點分析模型可基於預設手部關鍵點訓練資料集訓練得到，所述手部關鍵點分析模型可由2個級聯之Hourglass網路、數個殘差模組以及至少一卷積層組成。於進行模型訓練時，模型之輸入圖像可為[256,256,3]之彩色RGB三通道手部圖像，輸出可為[21,64,64]之通道數為21之熱度圖像，再根據該熱度圖像，模型可得到該輸入圖像中之21個關鍵點位置，即輸入之手部圖像之21個手部關鍵點座標。
於一實施方式中，所述手部關鍵點分析模型還可根據每一所述矩形框對應之置信度計算得到一置信度均值，並判斷所述置信度均值是否大於預設值，以返回積極結果或消極結果給所述第一檢測模組102。具體地，若所述置信度均值大於所述預設值，所述手部關鍵點分析模型輸出積極結果並回饋至所述第一檢測模組102，進而第一檢測模組102會根據該積極結果更新HSV三通道之上下限值。若所述置信度均值不大於所述預設值，所述手部關鍵點分析模型輸出消極結果並回饋至所述第一檢測模組102，進而第一檢測模組102本次不會更新HSV三通道之上下限值。所述預設值可根據實際需求進行設定與調整，於此不作限定。
跟蹤模組104用於基於所述第一預設模型之分析結果構建一隨跟蹤時間累積之跟蹤資料。
於一實施方式中，所述第一預設模型可為手部關鍵點分析模型，所述第一預設模型之分析結果包括手部關鍵點座標與置信度，跟蹤模組104可根據手部關鍵點分析模型得到之手部關鍵點座標與置信度構建並維護隨跟蹤時間累積之跟蹤資料。所述跟蹤資料為包含手部關鍵點座標與置信度之結構體。
於一實施方式中，跟蹤模組104於構建並維護跟蹤資料之過程中，對於所述手部關鍵點分析模型接收並處理之每一手部作業圖像幀之資料，跟蹤模組104會基於置信度判斷基於本次手部作業圖像幀所生成之之跟蹤資料是否 可靠，如果可靠，跟蹤模組104會將基於本次手部作業圖像幀所生成之跟蹤資料添加到其維護之跟蹤資料中，如果不可靠，跟蹤模組104調用第二檢測模組105來對本次手部作業圖像幀進行再次檢測，第二檢測模組105可包括至少一個預設手部系列檢測模型，比如包括預先訓練得到之YOLO模型及SSD模型。每一預設手部系列檢測模型均分別對本次手部作業圖像幀進行檢測，各自可得到一系列矩形框，並輸入到手部關鍵點分析模型中進行分析，得到各自之手部關鍵點座標與置信度。跟蹤模組104會綜合比對每組處理方式對應之手部關鍵點座標與置信度，選擇與當前跟蹤資料最匹配之一組手部關鍵點座標與置信度，以維護到跟蹤模組104所構建之跟蹤資料中。
於一實施方式中，跟蹤模組104基於置信度判斷基於本次手部作業圖像幀所生成之之跟蹤資料是否可靠之方式可是：計算置信度均值，並判斷置信度均值是否超過預設閾值，若超過，則判定基於本次手部作業圖像幀所生成之之跟蹤資料可靠，否則判定為不可靠。所述預設閾值可根據實際需求進行設定與調整。跟蹤模組104選擇與當前跟蹤資料最匹配之一組手部關鍵點座標與置信度之規則可包括以下任意一種：a.置信度均值最高之一組；b.由在於連續之手部作業圖像幀之手部關鍵點座標之變化應該變化不大，手部關鍵點座標與前後手部作業圖像幀之關鍵點座標最匹配(比如，手部關鍵點座標之間之歐式距離最小)之一組；c.規則a與規則b之結合，藉由為規則a與規則b設定不同之權重係數，根據規則a與規則b之綜合結果來選定。
舉例而言，第二檢測模組105包括YOLO模型及SSD模型，則跟蹤模組104綜合比對之是2組處理方式對應之手部關鍵點座標與置信度。第一組為藉由YOLO模型對手部作業圖像幀進行檢測得到之一系列矩形框，第二組為藉由SSD模型對手部作業圖像幀進行檢測得到之一系列矩形框。
於一實施方式中，當跟蹤模組104基於置信度判斷基於本次手部 作業圖像幀所生成之之跟蹤資料不可靠時，跟蹤模組104亦可直接調用第二檢測模組105中之YOLO模型或SSD模型來對本次手部作業圖像幀進行再次檢測，得到對應之手部關鍵點座標與置信度，並維護到跟蹤資料中(即不綜合比對YOLO模型與SSD模型對應之手部關鍵點座標與置信度)。
於一實施方式中，跟蹤模組104於基於所述手部關鍵點分析模型得到之手部關鍵點座標與置信度構建得到隨所述跟蹤時間累積之跟蹤資料時，還可基於每一所述矩形框對應之置信度判斷所述手部關鍵點分析模型對本次手部作業圖像幀之第一手部圖像進行分析得到之手部關鍵點座標是否可靠，若判定為不可靠，則跟蹤模組104會調用第二檢測模組105中之多個預設手部系列檢測模型分別對所述手部作業圖像幀進行檢測得到表示手部所在區域之多個矩形框，以分割得到與多個所述預設手部系列檢測模型對應之多個第二手部圖像。所述手部關鍵點分析模型再對每一所述第二手部圖像進行分析得到與每一所述預設手部系列檢測模型對應之手部關鍵點座標、置信度及手部特徵向量。跟蹤模組104綜合比對所述手部關鍵點分析模型所分析得到之每一組手部關鍵點座標與置信度，以選取與所述跟蹤資料最匹配之一組手部關鍵點座標與置信度來更新其先前生成之跟蹤資料。
可理解，所述第一手部圖像對應有一組手部關鍵點座標與置信度，每一所述第二手部圖像均分別對應有一組手部關鍵點座標與置信度。
可理解，第二檢測模組105是可省略。當被評測者之兩隻手交叉或是僅出現部分手部區域等情形下，可能會導致分析模組103得到之手部關鍵點之置信度偏低，此時需要利用第二檢測模組105中之YOLO模型與/或SSD模型作為輔助檢測。
整理模組106用於利用第二預設模型監測所述跟蹤資料並為所述跟蹤資料中之每一手部分配手部標籤，以基於所述手部標籤對所述跟蹤資料進 行分類。
於一實施方式中，每一所述手部對應唯一之手部標籤。所述第二預設模型可是預先訓練得到之手部ReID模型。整理模組106可利用所述手部ReID模型監測所述跟蹤資料並根據來源於手部關鍵點分析模型之手部特徵向量為所述跟蹤資料中之每一手部分配所述手部標籤，使得同一僅手部能夠擁有同一手部ID(手部標籤)。所述手部ReID模型將跟蹤資料按照手部ID進行整理，使得同一手部ID之資料能夠被整理到同一資料集中，實現基於手部ID對所述跟蹤資料進行分類，經過分類整理後之跟蹤資料可被稱之為“ReID資料”。
於一實施方式中，可預先錄製多個包含不同人之手部之影像作為手部ReID模型之訓練資料，並將手部關鍵點分析模型中之第二個Hourglass網路之輸出作為手部ReID模型之輸入，即不同人之手部之圖像幀輸入至2個級聯之Hourglass網路，並利用第二個Hourglass網路之輸出作為手部ReID模型之輸入資料。同時使用Triplet Loss損失函數來訓練所述ReID模型。
於一實施方式中，當於拍攝被評測者之手部作業影像過程中出現手部移除畫面外，之後又重新回到畫面內之情形時，整理模組106會利用第二預設模型監測所述跟蹤資料並為所述跟蹤資料中之手部分配手部標籤，以基於該手部標籤對所述跟蹤資料進行分類。
校正模組107用於對所述分類後之跟蹤資料進行預處理，以得到每一所述手部之精資料。
於一實施方式中，所述分類後之跟蹤資料即為ReID資料，所述預處理可是預先設定之資料處理方式，比如所述預處理包括：採用預設異常點剔除演算法剔除所述ReID資料之異常資料，並使用預設插值法對剔除之異常資料所在之節點進行回歸處理。經過校正模組107處理後之資料可被稱之為“精資料”。
於一實施方式中，所述異常資料可是明顯偏離預設正常資料值區間之資料。由於跟蹤資料是基於跟蹤時間累積之資料，為避免異常資料被剔除後造成資料空缺，校正模組107可使用預設插值法對剔除之異常資料所在之節點進行回歸處理，實現將近似資料補充到異常資料所在之節點。
評分模組108用於根據每一所述手部之精資料及基準手部作業之精資料對每一所述手部之作業動作進行評分。
於一實施方式中，評分模組108可實現基於標準作業流程之手部精資料與被測試者作業流程之手部精資料來為被試者手部作業進行評分。評分模組108可採用DTW演算法來對時間序列之精資料進行對齊，並根據對齊後之所有手部作業圖像幀之手部關鍵點座標之歐式距離進行評分。所述DTW演算法可藉由計算標準作業流程之手部作業動作與被測試者作業流程之手部作業動作之間之歐式距離，來比較兩者之間之相似度，歐式距離越低，相似度越高，得分越高，歐式距離越高，相似度越低，得分越低。
具體地，評分模組108採用DTW演算法將每一所述手部之精資料與所述基準手部作業之精資料進行對齊，再分別計算每一所述手部之精資料中之手部關鍵點座標與所述基準手部作業之精資料中之手部關鍵點座標之歐式距離，最後根據每一所述手部之歐式距離計算結果對每一所述手部之作業動作進行評分。該種手部作業動作評分方式有利於對工人手部作業動作進行評價考察，確保產線之良率、效率，且可應用於新進工人手部作業動作之培訓等，同時亦可根據使用者實際需求應用到其他之場景中。
於一實施方式中，評分模組108採用DTW演算法能夠實現對時間序列資料進行對齊，並將被評測者之作業流程之時長相比於基準作業流程之時長之時間差納入評分考慮，可根據對齊後之所有圖像幀之所有關鍵點之歐式距離進行評分，距離越低之得分越高，距離越高之得分越低。然若歐式距離差值 之變化呈現對數之趨勢，同時隨著兩段作業流程差異越大，關鍵點之歐式距離計算出之距離差值擾動亦會越大，因此還可根據數十組被評測者之測試資料與基準作業流程之手部資料經過歐式距離差計算，得到歐式距離差值之上界與下界，並透過對數變換，將距離差值映射到0到100分之分數，讓越逼近距離差值上界之分數越接近零分，越逼近距離差值下界之分數越接近滿分(100分)。
如圖4所示，於一實施方式中，評分模組108可被細分成預處理單元、三維空間座標對齊單元、動態時間規整單元及對數變換單元。所述預處理單元可對被評測者之手部之精資料與基準手部作業之精資料進行長度中心化處理，具體可是：基準手部作業之每一幀出現之左右手關鍵點資料，每一段關鍵點長度於每一幀中需要確保一致，可將整個基準作業流程中之所有幀出現之關鍵點之間之長度(比如，共20段長度)取平均值，再將每一幀之關鍵點長度規整到平均值之長度，以使得基準手部作業之每一幀之每段關鍵點長度均是相同同理，被試者之手部作業亦使用相同之處理方式，確保被評測者之手部作業之每一幀之每段關鍵點長度均是相同可解決不同之視角問題，接著將被評測者之手部作業中之每一幀出現之左右手關鍵點長度調整到與基準手部作業之關鍵點長度相同，調整過後之左右手各21個關鍵點座標會有所變化，且被評測者之手部作業之每一幀均須做此處理，實現克服不同人之手指長度所造成之關鍵點座標偏差之問題。三維空間座標對齊單元可實現將基準手部作業與被評測者之手部作業之第零個關鍵點資料(起始關鍵點資料，比如定義手心之關鍵點座標為第零個關鍵點資料)對齊到世界座標系統之原點(x,y,z)=(0,0,0)，如此可過濾掉雙手位移之影響，實現純粹針對手部作業手勢進行評分。動態時間規整單元可利用DTW演算法對時間序列資料(被評測者之手部之精資料與基準手部作業之精資料)進行對齊，並計算對齊後之所有圖像幀之所有關鍵點之歐式距離差。對數變換單元用於採用對數變換將歐式距離差值映射到0到100分之分數，實現為 被試者手部作業進行評分。
圖5為本發明一實施方式中手部作業動作評分方法之流程圖。根據不同之需求，所述流程圖中步驟之順序可改變，某些步驟可省略。
步驟S500，獲取手部作業影像，並對所述手部作業影像進行解碼得到手部作業圖像幀。
於一實施方式中，可利用影像記錄設備(比如，攝像頭)來記錄指定生產線上之一個或多個指定工人(被評測者)於進行手部作業時之手部作業影像。可藉由與該影像記錄設備進行通信，進而實現獲取所述手部作業影像。當獲取到所述手部作業影像時，可對所述手部作業影像進行解碼得到依序排列之多個手部作業圖像幀。
於一實施方式中，所述手部作業圖像幀可包括一個或多個手部。
步驟S502，將所述手部作業圖像幀轉換為HSV圖像，並從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框。
於一實施方式中，可先將所述手部作業圖像幀轉換為HSV圖像，再從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之一系列矩形框。
於一實施方式中，可根據動態之H通道之上下限值、動態之S通道之上下限值及動態之V通道之上下限值從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框，進而實現避免由於HSV三通道(即H通道、S通道及V通道)之上下限值為固定值，無法適應多種不同情形之手部檢測之問題，避免出現手部漏檢或誤檢之情況。HSV三通道之上下限值可被動態更新，具體地，可根據下述之第一預設模型之回饋結果來更新HSV三通道之上下限值，比如當第一預設模型給出之回饋結果為積極結果時， 根據預設更新規則更新H通道之上下限值、S通道之上下限值及V通道之上下限值；當第一預設模型給出之回饋結果為消極結果時，不對HSV三通道之上下限值進行更新。所述預設更新規則可根據實際使用需求進行預先設定，該預設更新規則預先定義有每一HSV通道之上下限值之調整規則。
可理解，HSV三通道之上下限值是根據第一預設模型輸出之當前手部作業圖像幀之回饋結果來選擇進行更新，更新後之HSV三通道之上下限值用以對下一手部作業圖像幀進行檢測，以獲取下一手部作業圖像幀之表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框。
於一實施方式中，當所述手部作業圖像幀為起始幀圖像時，可採用預設之HSV三通道之上下限值從HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框。即於所述手部作業圖像幀為起始幀圖像時，所述H通道之上下限值為第一內定上下限值，所述S通道之上下限值為第二內定上下限值，所述V通道之上下限值為第三內定上下限值。
於一實施方式中，於獲取被評測者之手部作業影像時，可能會一併將被評測者之周圍環境拍攝下來。藉由分析圖像中之膚色圖元值與環境圖元值之差異來實現檢測手部。當環境中存於與膚色圖元值相近之其他物體時，或者當被評測者之膚色不於內定之HSV三通道之上下限值範圍內時，亦或者環境中存於其他光照等情形下，均將可能發生手部之誤識別。因此，採用第一預設模型(手部關鍵點分析模型)輸出之當前手部作業圖像幀之回饋結果來更新內定之HSV三通道之上下限值。
步驟S504，根據多個所述矩形框從所述二值化圖像中分割出第一手部圖像並利用第一預設模型對所述第一手部圖像進行分析。
於一實施方式中，可根據多個所述矩形框從所述二值化圖像中分割出需進行分析之圖像區域，該分割下來之圖像區域即為所述第一手部圖像， 再將所述第一手部圖像輸入到所述第一預設模型行分析。所述第一預設模型可是預先訓練之手部關鍵點分析模型，對於每一所述矩形框，所述手部關鍵點分析模型可分析得到21個手部關鍵點座標、置信度及手部特徵向量。所述置信度表徵了所述手部關鍵點分析模型之魯棒性。
於一實施方式中，所述手部關鍵點分析模型可基於預設手部關鍵點訓練資料集訓練得到，所述手部關鍵點分析模型可由2個級聯之Hourglass網路、數個殘差模組以及至少一卷積層組成。於進行模型訓練時，模型之輸入圖像可為[256,256,3]之彩色RGB三通道手部圖像，輸出可為[21,64,64]之通道數為21之熱度圖像，再根據該熱度圖像，模型可得到該輸入圖像中之21個關鍵點位置，即輸入之手部圖像之21個手部關鍵點座標。
於一實施方式中，所述手部關鍵點分析模型還可根據每一所述矩形框對應之置信度計算得到一置信度均值，並判斷所述置信度均值是否大於預設值，以返回積極結果或消極結果。具體地，若所述置信度均值大於所述預設值，所述手部關鍵點分析模型輸出積極結果，進而可根據該積極結果更新HSV三通道之上下限值。若所述置信度均值不大於所述預設值，所述手部關鍵點分析模型輸出消極結果，進而本次不會更新HSV三通道之上下限值。所述預設值可根據實際需求進行設定與調整，於此不作限定。
步驟S506，基於所述第一預設模型之分析結果構建一隨跟蹤時間累積之跟蹤資料。
於一實施方式中，所述第一預設模型可為手部關鍵點分析模型，所述第一預設模型之分析結果包括手部關鍵點座標與置信度，跟可根據手部關鍵點分析模型得到之手部關鍵點座標與置信度構建並維護隨跟蹤時間累積之跟蹤資料。所述跟蹤資料為包含手部關鍵點座標與置信度之結構體。
於一實施方式中，於構建並維護跟蹤資料之過程中，對於所述手 部關鍵點分析模型接收並處理之每一手部作業圖像幀之資料，還會基於置信度判斷基於本次手部作業圖像幀所生成之之跟蹤資料是否可靠，如果可靠，則將基於本次手部作業圖像幀所生成之跟蹤資料添加到其維護之跟蹤資料中，如果不可靠，會調用多個預設手部系列檢測模型來對本次手部作業圖像幀進行再次檢測，該多個預設手部系列檢測模型可包括預先訓練得到之YOLO模型及SSD模型。每一預設手部系列檢測模型均分別對本次手部作業圖像幀進行檢測，各自可得到一系列矩形框，並輸入到手部關鍵點分析模型中進行分析，得到各自之手部關鍵點座標與置信度。可藉由綜合比對每組處理方式對應之手部關鍵點座標與置信度，選擇與當前跟蹤資料最匹配之一組手部關鍵點座標與置信度，以維護到所構建之跟蹤資料中。
於一實施方式中，基於置信度判斷基於本次手部作業圖像幀所生成之之跟蹤資料是否可靠之方式可是：計算置信度均值，並判斷置信度均值是否超過預設閾值，若超過，則判定基於本次手部作業圖像幀所生成之之跟蹤資料可靠，否則判定為不可靠。所述預設閾值可根據實際需求進行設定與調整。選擇與當前跟蹤資料最匹配之一組手部關鍵點座標與置信度之規則可包括以下任意一種：a.置信度均值最高之一組；b.由在於連續之手部作業圖像幀之手部關鍵點座標之變化應該變化不大，手部關鍵點座標與前後手部作業圖像幀之關鍵點座標最匹配(比如，手部關鍵點座標之間之歐式距離最小)之一組；c.規則a與規則b之結合，藉由為規則a與規則b設定不同之權重係數，根據規則a與規則b之綜合結果來選定。
舉例而言，以多個預設手部系列檢測模型包括YOLO模型及SSD模型為例，藉由綜合比對之是2組處理方式對應之手部關鍵點座標與置信度。第一組為藉由YOLO模型對手部作業圖像幀進行檢測得到之一系列矩形框，第二組為藉由SSD模型對手部作業圖像幀進行檢測得到之一系列矩形框。
於一實施方式中，當基於置信度判斷基於本次手部作業圖像幀所生成之之跟蹤資料不可靠時，亦可直接調用YOLO模型或SSD模型來對本次手部作業圖像幀進行再次檢測，得到對應之手部關鍵點座標與置信度，並維護到跟蹤資料中(即不綜合比對YOLO模型與SSD模型對應之手部關鍵點座標與置信度)。
於一實施方式中，於基於所述手部關鍵點分析模型得到之手部關鍵點座標與置信度構建得到隨所述跟蹤時間累積之跟蹤資料時，還可基於每一所述矩形框對應之置信度判斷所述手部關鍵點分析模型對本次手部作業圖像幀之第一手部圖像進行分析得到之手部關鍵點座標是否可靠，若判定為不可靠，則調用多個預設手部系列檢測模型分別對所述手部作業圖像幀進行檢測得到表示手部所在區域之多個矩形框，以分割得到與多個所述預設手部系列檢測模型對應之多個第二手部圖像。所述手部關鍵點分析模型再對每一所述第二手部圖像進行分析得到與每一所述預設手部系列檢測模型對應之手部關鍵點座標、置信度及手部特徵向量。藉由綜合比對所述手部關鍵點分析模型所分析得到之每一組手部關鍵點座標與置信度，以選取與所述跟蹤資料最匹配之一組手部關鍵點座標與置信度來更新其先前生成之跟蹤資料。
可理解，所述第一手部圖像對應有一組手部關鍵點座標與置信度，每一所述第二手部圖像均分別對應有一組手部關鍵點座標與置信度。
可理解，當被評測者之兩隻手交叉或是僅出現部分手部區域等情形下，可能會導致手部關鍵點分析模型得到之手部關鍵點之置信度偏低，此時需要利用YOLO模型與SSD模型作為輔助檢測。
步驟S508，利用第二預設模型監測所述跟蹤資料並為所述跟蹤資料中之每一手部分配手部標籤，以基於所述手部標籤對所述跟蹤資料進行分類。
於一實施方式中，每一所述手部對應唯一之手部標籤。所述第二預設模型可是預先訓練得到之手部ReID模型。可利用所述手部ReID模型監測所述跟蹤資料並根據來源於手部關鍵點分析模型之手部特徵向量為所述跟蹤資料中之每一手部分配所述手部標籤，使得同一僅手部能夠擁有同一手部ID(手部標籤)。所述手部ReID模型將跟蹤資料按照手部ID進行整理，使得同一手部ID之資料能夠被整理到同一資料集中，實現基於手部ID對所述跟蹤資料進行分類，經過分類整理後之跟蹤資料可被稱之為“ReID資料”。
於一實施方式中，可預先錄製多個包含不同人之手部之影像作為手部ReID模型之訓練資料，並將手部關鍵點分析模型中之第二個Hourglass網路之輸出作為手部ReID模型之輸入，即不同人之手部之圖像幀輸入至2個級聯之Hourglass網路，並利用第二個Hourglass網路之輸出作為手部ReID模型之輸入資料。同時使用Triplet Loss損失函數來訓練所述ReID模型。
於一實施方式中，當於拍攝被評測者之手部作業影像過程中出現手部移除畫面外，之後又重新回到畫面內之情形時，會利用第二預設模型監測所述跟蹤資料並為所述跟蹤資料中之手部分配手部標籤，以基於該手部標籤對所述跟蹤資料進行分類。
步驟S510，對所述分類後之跟蹤資料進行預處理，以得到每一所述手部之精資料。
於一實施方式中，所述分類後之跟蹤資料即為ReID資料，所述預處理可是預先設定之資料處理方式，比如所述預處理包括：採用預設異常點剔除演算法剔除所述ReID資料之異常資料，並使用預設插值法對剔除之異常資料所在之節點進行回歸處理。經過剔除與回歸處理後之資料可被稱之為“精資料”。
於一實施方式中，所述異常資料可是明顯偏離預設正常資料值區間之資料。由於跟蹤資料是基於跟蹤時間累積之資料，為避免異常資料被剔除 後造成資料空缺，可使用預設插值法對剔除之異常資料所在之節點進行回歸處理，實現將近似資料補充到異常資料所在之節點。
步驟S512，根據每一所述手部之精資料及基準手部作業之精資料對每一所述手部之作業動作進行評分。
於一實施方式中，對每一所述手部之作業動作進行評分可是指對每一評測者之兩隻手部作業動作進行評分。可基於標準作業流程之手部精資料與被測試者作業流程之手部精資料來為被試者手部作業進行評分。可採用DTW演算法來對時間序列之精資料進行對齊，並根據對齊後之所有手部作業圖像幀之手部關鍵點座標之歐式距離進行評分。所述DTW演算法可藉由計算標準作業流程之手部作業動作與被測試者作業流程之手部作業動作之間之歐式距離，來比較兩者之間之相似度，歐式距離越低，相似度越高，得分越高，歐式距離越高，相似度越低，得分越低。
具體地，可採用DTW演算法將每一所述手部之精資料與所述基準手部作業之精資料進行對齊，再分別計算每一所述手部之精資料中之手部關鍵點座標與所述基準手部作業之精資料中之手部關鍵點座標之歐式距離，最後根據每一所述手部之歐式距離計算結果對每一所述手部之作業動作進行評分。
於一實施方式中採用DTW演算法能夠實現對時間序列資料進行對齊，並將被評測者之作業流程之時長相比於基準作業流程之時長之時間差納入評分考慮，可根據對齊後之所有圖像幀之所有關鍵點之歐式距離進行評分，距離越低之得分越高，距離越高之得分越低。然若歐式距離差值之變化呈現對數之趨勢，同時隨著兩段作業流程差異越大，關鍵點之歐式距離計算出之距離差值擾動亦會越大，因此還可根據數十組被評測者之測試資料與基準作業流程之手部資料經過歐式距離差計算，得到歐式距離差值之上界與下界，並透過對數變換，將距離差值映射到0到100分之分數，讓越逼近距離差值上界之分數越接 近零分，越逼近距離差值下界之分數越接近滿分(100分)。
於一實施方式中，具體可藉由以下步驟實現對每一評測者之兩隻手部之作業動作進行評分：a.基準手部作業之每一幀出現之左右手關鍵點資料，每一段關鍵點長度於每一幀中需要確保一致，可將整個基準作業流程中之所有幀出現之關鍵點之間之長度(比如，共20段長度)取平均值，再將每一幀之關鍵點長度規整到平均值之長度，以使得基準手部作業之每一幀之每段關鍵點長度均是相同同理，被試者之手部作業亦使用相同之處理方式，確保被評測者之手部作業之每一幀之每段關鍵點長度均是相同可解決不同之視角問題，接著將被評測者之手部作業中之每一幀出現之左右手關鍵點長度調整到與基準手部作業之關鍵點長度相同，調整過後之左右手各21個關鍵點座標會有所變化，且被評測者之手部作業之每一幀均須做此處理，實現克服不同人之手指長度所造成之關鍵點座標偏差之問題；b.將基準手部作業與被評測者之手部作業之第零個關鍵點資料(起始關鍵點資料，比如定義手心之關鍵點座標為第零個關鍵點資料)對齊到世界座標系統之原點(x,y,z)=(0,0,0)，如此可過濾掉雙手位移之影響，實現純粹針對手部作業手勢進行評分；c.利用DTW演算法對時間序列資料(被評測者之手部之精資料與基準手部作業之精資料)進行對齊，並計算對齊後之所有圖像幀之所有關鍵點之歐式距離差；d.採用對數變換將歐式距離差值映射到0到100分之分數，實現為被試者手部作業進行評分。
上述手部作業動作評分裝置、方法及電腦可讀存儲介質，可對被評測者之手部作業動作之即時影像進行處理，準確定位手部作業過程中之手部關鍵點特徵，並與標準手部作業動作進行比對，智慧分析出被評測者之手部作業動作與標準作業動作之差異，並給出相應評分，有利於對工人進行評價考察，提升產線之良率與效率。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，本發明之範圍並不以上述實施方式為限，舉凡熟悉本案技藝之人士爰依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。
S500、S502、S504、S506、S508、S510、S512:步驟

Claims (11)

  1. 一種手部作業動作評分方法，所述方法包括：獲取手部作業影像，並對所述手部作業影像進行解碼得到手部作業圖像幀；將所述手部作業圖像幀轉換為HSV圖像，並根據H通道之上下限值、S通道之上下限值及V通道之上下限值從所述HSV圖像中獲取表示皮膚所在區域之二值化圖像及表示手部所在區域之多個矩形框；根據多個所述矩形框從所述二值化圖像中分割出第一手部圖像並利用第一預設模型對所述第一手部圖像進行分析；基於所述第一預設模型之分析結果構建一隨跟蹤時間累積之跟蹤資料；利用第二預設模型監測所述跟蹤資料並為所述跟蹤資料中之每一手部分配手部標籤，以基於所述手部標籤對所述跟蹤資料進行分類，其中每一所述手部對應唯一之手部標籤；對所述分類後之跟蹤資料進行預處理，以得到每一所述手部之精資料；及根據每一所述手部之精資料及基準手部作業之精資料對每一所述手部之作業動作進行評分。
  2. 如請求項1所述之手部作業動作評分方法，其中若所述手部作業圖像幀為起始幀圖像，則所述H通道之上下限值為第一內定上下限值，所述S通道之上下限值為第二內定上下限值，及所述V通道之上下限值為第三內定上下限值。
  3. 如請求項2所述之手部作業動作評分方法，其中所述第一預設模型為預先訓練之手部關鍵點分析模型，所述利用第一預設模型對所述第一手部圖像進行分析之步驟包括：利用所述手部關鍵點分析模型對所述第一手部圖像進行分析得到與每一所 述矩形框對應之手部關鍵點座標、置信度及手部特徵向量。
  4. 如請求項3所述之手部作業動作評分方法，還包括：根據每一所述矩形框對應之置信度計算得到一置信度均值；判斷所述置信度均值是否大於預設值；若所述置信度均值大於所述預設值，則基於預設更新規則更新所述H通道之上下限值、所述S通道之上下限值及所述V通道之上下限值；及若所述置信度均值不大於所述預設值，則不對所述H通道之上下限值、所述S通道之上下限值及所述V通道之上下限值進行更新。
  5. 如請求項3所述之手部作業動作評分方法，其中所述基於所述第一預設模型之分析結果構建一隨跟蹤時間累積之跟蹤資料之步驟包括：基於所述手部關鍵點分析模型得到之手部關鍵點座標與置信度構建隨所述跟蹤時間累積之跟蹤資料。
  6. 如請求項5所述之手部作業動作評分方法，還包括：基於每一所述矩形框對應之置信度判斷所述手部關鍵點分析模型對所述第一手部圖像進行分析得到之手部關鍵點座標是否可靠；若分析得到之手部關鍵點座標被判定為不可靠，則調用多個預設手部系列檢測模型分別對所述手部作業圖像幀進行檢測得到表示手部所在區域之多個矩形框，以分割得到與多個所述預設手部系列檢測模型對應之多個第二手部圖像，其中多個所述預設手部系列檢測模型至少包括YOLO模型及SSD模型；利用所述手部關鍵點分析模型對每一所述第二手部圖像進行分析得到與每一所述預設手部系列檢測模型對應之手部關鍵點座標、置信度及手部特徵向量；及比對所述手部關鍵點分析模型所分析得到之每一組手部關鍵點座標與置信度，以選取與所述跟蹤資料最匹配之一組手部關鍵點座標與置信度來更新所述 跟蹤資料；其中，每一所述第二手部圖像均分別對應有一組手部關鍵點座標與置信度。
  7. 如請求項3所述之手部作業動作評分方法，其中所述第二預設模型為預先訓練之手部ReID模型，所述利用第二預設模型監測所述跟蹤資料並為所述跟蹤資料中之每一手部分配手部標籤之步驟包括：利用所述手部ReID模型監測所述跟蹤資料並根據所述手部特徵向量為所述跟蹤資料中之每一手部分配所述手部標籤。
  8. 如請求項1所述之手部作業動作評分方法，其中所述預處理包括：採用預設異常點剔除演算法剔除所述跟蹤資料中之異常資料，並使用預設插值法對剔除之異常資料所在之節點進行回歸處理。
  9. 如請求項1所述之手部作業動作評分方法，其中所述根據每一所述手部之精資料及基準手部作業之精資料對每一所述手部之作業動作進行評分之步驟包括：將每一所述手部之精資料與所述基準手部作業之精資料進行對齊；分別計算每一所述手部之精資料中之手部關鍵點座標與所述基準手部作業之精資料中之手部關鍵點座標之歐式距離；及根據每一所述手部之歐式距離計算結果對每一所述手部之作業動作進行評分。
  10. 一種手部作業動作評分裝置，所述裝置包括處理器及記憶體，所述記憶體上存儲有複數電腦程式，所述處理器用於執行記憶體中存儲之電腦程式時實現如請求項1至9中任一項所述之手部作業動作評分方法之步驟。
  11. 一種電腦可讀取存儲介質，所述電腦可讀取存儲介質存儲有多條指令，多條所述指令可被一個或者多個處理器執行，以實現如請求項1至9 中任一項所述之手部作業動作評分方法之步驟。
TW109122169A 2020-06-24 2020-06-30 手部作業動作評分裝置、方法及電腦可讀取存儲介質 TWI776176B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010591925.3A CN111860196B (zh) 2020-06-24 2020-06-24 手部作业动作评分装置、方法及计算机可读存储介质
CN202010591925.3 2020-06-24

Publications (2)

Publication Number Publication Date
TW202201275A TW202201275A (zh) 2022-01-01
TWI776176B true TWI776176B (zh) 2022-09-01

Family

ID=72988191

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109122169A TWI776176B (zh) 2020-06-24 2020-06-30 手部作業動作評分裝置、方法及電腦可讀取存儲介質

Country Status (2)

Country Link
CN (1) CN111860196B (zh)
TW (1) TWI776176B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446313A (zh) * 2020-11-20 2021-03-05 山东大学 一种基于改进动态时间规整算法的排球动作识别方法
CN114282795B (zh) * 2021-12-21 2022-09-16 北京永信至诚科技股份有限公司 网络靶场人员技能评估方法、装置、设备及可读存储介质
TWI797014B (zh) * 2022-05-16 2023-03-21 國立虎尾科技大學 桌球姿勢分類方法及桌球互動系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201113819A (en) * 2009-10-13 2011-04-16 Tatung Co Embedded device capable real-time recognizing the unspecific gesture and its recognizing method
US20140147035A1 (en) * 2011-04-11 2014-05-29 Dayaong Ding Hand gesture recognition system
CN108563995A (zh) * 2018-03-15 2018-09-21 西安理工大学 基于深度学习的人机协作***手势识别控制方法
CN110738135A (zh) * 2019-09-25 2020-01-31 艾普工华科技（武汉）有限公司 一种工人作业工步规范视觉识别判定与指导方法及***
CN110956099A (zh) * 2019-11-14 2020-04-03 哈尔滨工程大学 一种动态手势指令识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108707A (zh) * 2017-12-29 2018-06-01 北京奇虎科技有限公司 基于视频数据的手势处理方法及装置、计算设备
CN108764120B (zh) * 2018-05-24 2021-11-09 杭州师范大学 一种人体规范动作评价方法
CN111291749B (zh) * 2020-01-20 2024-04-23 深圳市优必选科技股份有限公司 手势识别方法、装置及机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201113819A (en) * 2009-10-13 2011-04-16 Tatung Co Embedded device capable real-time recognizing the unspecific gesture and its recognizing method
US20140147035A1 (en) * 2011-04-11 2014-05-29 Dayaong Ding Hand gesture recognition system
CN108563995A (zh) * 2018-03-15 2018-09-21 西安理工大学 基于深度学习的人机协作***手势识别控制方法
CN110738135A (zh) * 2019-09-25 2020-01-31 艾普工华科技（武汉）有限公司 一种工人作业工步规范视觉识别判定与指导方法及***
CN110956099A (zh) * 2019-11-14 2020-04-03 哈尔滨工程大学 一种动态手势指令识别方法

Also Published As

Publication number Publication date
CN111860196A (zh) 2020-10-30
TW202201275A (zh) 2022-01-01
CN111860196B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN110738101B (zh) 行为识别方法、装置及计算机可读存储介质
US20200167554A1 (en) Gesture Recognition Method, Apparatus, And Device
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
US9092662B2 (en) Pattern recognition method and pattern recognition apparatus
CN111062239A (zh) 人体目标检测方法、装置、计算机设备及存储介质
KR102649930B1 (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
US8542912B2 (en) Determining the uniqueness of a model for machine vision
WO2019026104A1 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
EP3333757B1 (en) Predictive anomaly detection
AU2014350727A1 (en) Face positioning method and device
US11887331B2 (en) Information processing apparatus, control method, and non-transitory storage medium
JPWO2013122009A1 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP2010231254A (ja) 画像解析装置、画像解析方法およびプログラム
US8542905B2 (en) Determining the uniqueness of a model for machine vision
CN113780145A (zh) ***形态检测方法、装置、计算机设备和存储介质
KR101313879B1 (ko) 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
JP2013015891A (ja) 画像処理装置、画像処理方法及びプログラム
US20160253570A1 (en) Feature vector extraction device
RU2768797C1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео
CN114742850A (zh) 基于ugnx模型分析的电极形体自动识别的实现方法
CN112528937A (zh) 一种视频抽油机启停的检测方法
WO2022185481A1 (ja) 検査装置、検査方法、及び、記録媒体
WO2021049119A1 (ja) 学習装置、学習方法及び学習プログラムが格納された非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent