TWI839583B - 生產線監視方法及其監視系統 - Google Patents

Abstract

一種生產線監視方法及其監視系統。監視系統用於：獲取操作者之複數影像；基於影像辨識模型，判斷複數影像之操作者之動作類型；決定動作類型之發生時間及動作週期；以及記錄動作類型之發生時間及動作週期。

Description

生產線監視方法及其監視系統

本發明係關於一種生產線監視方法及其監視系統，更特定言之，係關於一種基於機器學習技術之生產線監視方法及其監視系統。

傳統工業產品之製作流程中，各種裝置之零件組裝仍需要人工之協助。具體而言，單一裝置多需配置許多零件，而不同零件於裝置上之組裝，通常於工廠之生產線之各站台上，經由操作員人工完成。

惟人工操作之失誤或各種因素產生之延遲，常常造成生產線輸出之瓶頸，因此，生產線上需要監視裝置來記錄並確定造成生產線輸出瓶頸之原因，以利後續效率之改善。

然而，習知之監視裝置多僅有影像記錄之功能，因此，當得知生產線上發生狀況時，一般仍需針對記錄此生產線之影像，透過人工的方式對影像進行搜尋並判斷失誤或延遲之因素。

本發明之一些實施例提供了一種用於監視系統之生產線監視方法，包含：獲取操作者之複數影像；基於影像辨識模型，判斷複數影像之操作者之動作類型；決定動作類型之發生時間及動作週期；以及記錄動作類型、發生時間及動作週期。

本發明之一些實施例提供了一種用於監視系統之生產線監視方法，包含：獲取視訊，其中，視訊包含複數視訊片段；基於影像辨識模型，判斷各視訊片段之動作類型；接收使用者設定以變更複數視訊片段之第一視訊片段之動作類型；以及根據第一視訊片段之動作類型調整影像辨識模型。

本發明之一些實施例提供了一種用於生產線監視之監視系統，包含處理器以及儲存單元。儲存單元儲存程式以及影像辨識模型。程式執行時，使處理器：獲取操作者之複數影像；基於影像辨識模型，判斷複數影像之操作者之動作類型；決定動作類型之發生時間及動作週期；以及記錄動作類型、發生時間及動作週期。

上述已經相當廣泛地概述了本發明的特徵及技術優點，以便可以更好地理解本發明的以下實施方式。下文中將對本發明的另外的特徵及優點進行描述，並且該等特徵及優點形成本發明的申請專利範圍的主題。熟習此項技術者應當理解的是，所揭示的概念及具體實施例可以容易地用作修改或設計用於實現本發明的相同目的的其他結構或製程的基礎。熟習此項技術者還應該認識到，此類等同的構造不脫離如所附申請專利範圍中所闡述的本發明的精神及範疇。

1:監視系統

11:處理器

13:儲存單元

130:程式

132:影像辨識模型

17:通信匯流排

2:監視系統

21:處理器

23:儲存單元

230:程式

232:影像辨識模型

234:訓練資料

25:輸入裝置

27:通信匯流排

3:監視系統

31:處理器

33:儲存單元

330:程式

332A:影像辨識模型

332B:影像辨識模型

334:訓練資料

35:輸入裝置

37:通信匯流排

70A:監視區域

70B:監視區域

71:影像擷取裝置

710:視訊

72:生產線機台

73:操作者

74:物件

80A:監視區域

81:影像擷取裝置

810:視訊

812:視訊

82:生產線機台

83:操作者

91:影像擷取裝置

910:影像

92:生產線機台

93:操作者

S401~S404:步驟

S501~S518:步驟

當與附圖一起閱讀以下實施方式時，可以根據以下實施方式最好地理解本發明的各態樣。應注意，根據行業中的標準實踐，各種特徵不是按比例繪製的。實際上，為了討論的清晰起見，可以任意地增大或減小各種特徵的尺寸。

當結合附圖考慮時，可以藉由參考實施方式及申請專利範圍得出對本發明更徹底的理解，其中貫穿附圖，相似的參考數字係指類似 的元件。

圖1A係本發明之一些實施例之監視系統之方塊圖。

圖1B係本發明之一些實施例之監視系統之使用示意圖。

圖2A係本發明之一些實施例之監視系統之方塊圖。

圖2B係本發明之一些實施例之監視系統之使用示意圖。

圖2C至2F係本發明之一些實施例之影像擷取裝置所擷取之畫面之示意圖。

圖3A係本發明之一些實施例之監視系統之方塊圖。

圖3B係本發明之一些實施例之監視系統之使用示意圖。

圖3C至3F係本發明之一些實施例之影像擷取裝置所擷取之畫面之示意圖。

圖4A至4B係本發明之一些實施例之生產線監視方法之流程圖。

圖5A至5G係本發明之一些實施例之生產線監視方法之流程圖。

現在使用特定語言描述了附圖中展出的本發明的實施例或實例。應當理解的是，在此不意欲限制本發明的範疇。對於本發明所關聯的一般熟習此項技術者，所描述的實施例的任何改變或修改以及本文件所描述的原理的任何進一步應用都被認為是通常發生的。參考數字可以在整個實施例中重複，但這並不一定意味著一個實施例的一或多個特徵適用於另一個實施例，即使此等實施例共用相同的參考數字。

應當理解，儘管本文可以使用術語第一、第二、第三等來描述各種元件、組件、區域、層或部分，但是此等元件、組件、區域、層 或部分不受此等術語的限制。相反，此等術語僅用於將一個元件、組件、區域、層或部分與另一個元件、組件、區域、層或部分進行區分。因此，在不脫離本發明構思的教導的情況下，下文所討論的第一元件、組件、區域、層或部分可以被稱為第二元件、組件、區域、層或部分。

本文所使用的術語只是為了描述特定示例實施例並且不意欲限制本發明構思。如這裏所使用的，除非上下文另外清楚地指明，否則單數形式「一個/種(a/an)」及「該(the)」意欲還包括複數形式。應進一步理解的是，當在本說明書中使用時，術語「包含(comprises及comprising)」指出所陳述的特徵、整數、步驟、操作、元件或組件的存在，但不排除存在或添加一或多個其他特徵、整數、步驟、操作、元件、組件或其組。

生產線上人工操作之失誤或其他因素造成之延遲，常導致生產線輸出之瓶頸，惟習知生產線上之監視裝置僅為單純影像記錄，因此，仍需透過人工的方式搜尋影像以找出失誤或延遲之因素，而此種偵錯方式之效率以及使用彈性非常低，並無法有效地改善生產線輸出之瓶頸。據此，為了更快速且精確地找出造成生產線上失誤或延遲之因素，進而提升生產線輸出之效率，需要創新的監視方法及監視系統。

請參考圖1A，其係本發明之一些實施例之監視系統1之方塊圖。監視系統1包括處理器11及儲存單元13。儲存單元13儲存程式130以及影像辨識模型132。其中，影像辨識模型132可以包含機器學習(machine learning)技術相關之模型。進一步來說，影像辨識模型132主要係根據機器學習演算法，利用複數訓練資料產生之機器學習模型。

具體而言，於一些實施例中，一些影像資料以及此些影像資料所實際對應之動作類型可做為訓練資料，用以基於機器學習演算法訓練影像辨識模型132(亦即產生影像辨識模型132)。如此一來，影像辨識 模型132便可用於接收影像資料，並輸出影像中操作者之動作類型。舉例來說，影像辨識模型132於接收操作者之影像序列後，判斷操作者正在進行"拾起"或"放下"之動作，並輸出動作類型為"拾起"或"放下"。

處理器11及儲存單元13經由通信匯流排(communication bus)17電性連接。透過通信匯流排17，處理器11可執行儲存於儲存單元13中的程式130。程式130執行時可以產生一或多個中斷(interrupt)，例如：軟體中斷(software interrupt)，以使處理器11執行具有生產線監視功能之程式130。下文將進一步描述程式130之功能。

請參考圖1B，其係本發明之一些實施例之監視系統1之使用示意圖。詳言之，當生產線機台92之操作需要被監視及分析時，可將影像擷取裝置91裝設於生產線機台92所在之環境，用以擷取與生產線機台92相關之影像。其中，監視系統1可透過網路連線(有線網路或無線網路)與影像擷取裝置91連線。

於一些實施例中，當操作者93於生產線機台92上進行操作時，影像擷取裝置91可針對生產線機台92之位置，擷取操作者93之複數影像910，並透過網路將複數影像910傳送至監視系統1。換言之，監視系統1可透過網路自影像擷取裝置91獲取操作者93之複數影像910。

接著，利用前述產生並儲存於儲存單元13之影像辨識模型132，監視系統1之處理器11可判斷複數影像910之操作者93之動作類型。其中，由於複數影像910帶有時間戳記(timestamp)之相關資訊，因此，處理器11可判斷複數影像910之擷取時間，並進一步地決定複數影像910所代表之動作類型之發生時間以及動作週期。處理器11可將動作類型、發生時間以及動作週期記錄於儲存單元13，俾利後續使用。

請參考圖2A，其係本發明之一些實施例之監視系統2之方 塊圖。監視系統2包括處理器21、儲存單元23以及輸入裝置25。儲存單元23儲存程式230、影像辨識模型232以及訓練資料234。其中，影像辨識模型232可以包含機器學習技術相關之模型，用於接收視訊資料(即影像序列資料)，並輸出視訊中操作者之動作類型。

處理器21、儲存單元23以及輸入裝置25經由通信匯流排27電性連接。透過通信匯流排27，處理器21可執行儲存於儲存單元23中的程式230。程式230執行時可以產生一或多個中斷，例如：軟體中斷，以使處理器21執行具有生產線監視功能之程式230。下文將進一步描述程式230之功能。

於一些實施例中，影像辨識模型232主要係根據機器學習演算法，利用複數訓練資料234產生之機器學習模型。詳言之，一些視訊資料以及此些視訊資料所實際對應之動作類型可做為訓練資料，用以基於機器學習演算法訓練影像辨識模型232(亦即產生影像辨識模型232)。

更詳細來說，每一訓練資料234可以包括：(1)視訊資料；及(2)與此視訊資料相對應之動作類型，而程式230執行時，使處理器21自儲存單元23中擷取訓練資料234，並利用機器學習演算法，根據複數訓練資料234訓練影像辨識模型232。

換句話說，複數訓練資料234之視訊資料可以在訓練階段期間用作訓練輸入資料，複數訓練資料234之動作類型可以在訓練階段期間用作訓練輸出資料。在處理器21產生影像辨識模型232之後，可將影像辨識模型232儲存於儲存單元23中以待後續使用。

須說明，在一些實施例中，機器學習演算法主要係引入卷積神經網路(Convolutional Neural Network,CNN)演算法，以基於訓練資料234構建用於判斷動作類型之影像辨識模型232。於一些範例中，CNN 演算法可包含YOLO(you only look once)演算法、R3D(ResNet 3D)演算法等影像處理及影像辨識演算法，惟其並非用以限制本發明中機器學習演算法之態樣。

於一些實施例中，在用於訓練影像辨識模型232之CNN演算法之程式碼中，存在用於訓練影像辨識模型232之訓練函式(function)。在影像辨識模型232之訓練期間，訓練函式可以包括用於接收訓練資料234之部分。

進一步地，視訊資料可以用作訓練輸入資料，與視訊資料相對應之動作類型可以用作訓練輸出資料。接著，可以在執行CNN演算法之程式碼之主函式(main function)後執行訓練函式，以訓練影像辨識模型232。在基於CNN演算法並利用訓練資料產生影像辨識模型232之後，影像辨識模型232可以用於判斷輸入視訊所對應之動作類型。

請參考圖2B，其係本發明之一些實施例之監視系統2之使用示意圖。詳言之，當生產線機台82之操作需要被監視及分析時，可將影像擷取裝置81裝設於生產線機台82所在之環境，用以擷取與生產線機台82相關之視訊。其中，監視系統2可透過網路連線(有線網路或無線網路)與影像擷取裝置81連線。

於一些實施例中，當操作者83於生產線機台82上進行操作時，影像擷取裝置81可針對生產線機台82之位置，即時(real-time)擷取操作者83之視訊810(例如：視訊串流)，並透過網路將視訊810傳送至監視系統2。換言之，監視系統2可透過網路自影像擷取裝置81獲取操作者83之視訊810。

於一些實施例中，為了增加影像辨識模型232轉換之準確度，可利用生產機台82現場攝得之視訊作為反饋資料調整影像辨識模型 232。詳細來說，視訊810可包含多個視訊片段，利用前述產生並儲存於儲存單元23之影像辨識模型232，監視系統2之處理器21可判斷每一視訊片段之操作者83之動作類型。

當處理器21利用影像辨識模型232判斷完視訊810之每一視訊片段之操作者83之動作類型後，監視系統2可將視訊片段以及相應之動作類型提供予使用者，俾利使用者判斷是否有影像辨識模型232之轉換偏誤。於一些實施例中，監視系統2可透過顯示器(未繪示)以及圖形使用者介面(graphical user interface,GUI)提供視訊片段以及相應之動作類型提供予使用者。

接著，若使用者判斷特定視訊片段及其相應之動作類型係影像辨識模型232之轉換偏誤，使用者便可透過輸入裝置25輸入使用者設定，藉以將此特定視訊片段之動作類型變更為正確之動作。

隨後，處理器21便可利用此特定視訊片段以及更正後動作類型更新訓練資料234，並重新利用更新後之複數訓練資料234產生影像辨識模型232。更詳細來說，處理器21可利用原有之訓練資料234、至少一特定視訊片段、相應於此至少一特定視訊片段之至少一動作類型，基於機器學習演算法產生影像辨識模型232。

如此一來，由於影像辨識模型232重新用以進行之訓練資料中，包含針對生產線機台82以及操作者83之相關資料(即至少一特定視訊片段及相應於此至少一特定視訊片段之至少一動作類型)，則更新後之影像辨識模型232應用於生產線機台82之環境時將有更高之轉換準確度。

利用生產機台82現場攝得之視訊作為反饋資料調整影像辨識模型232之技術，可透過下述範例更清楚地理解。舉例來說，視訊810包含十個視訊片段"C1~C10"，利用前述產生並儲存於儲存單元23之影像 辨識模型232，監視系統2之處理器21可判斷視訊片段"C1~C10"中每一視訊片段之操作者83之動作類型(例如："拾起"動作或"放下"動作)。

當處理器21利用影像辨識模型232判斷完視訊片段"C1~C10"之動作類型後，監視系統2便將視訊片段"C1~C10"及其各自相應之動作類型，透過顯示器以及GUI提供予使用者，俾利使用者判斷是否有影像辨識模型232之轉換偏誤。

於此範例中，視訊片段"C1"及"C8"之動作類型分別被監視系統2判斷為"拾起動作"及"放下動作"。惟使用者判斷視訊片段"C1"及"C8"之動作類型應分別為"放下動作"及"拾起動作"，因此，使用者透過輸入裝置25輸入使用者設定，分別將視訊片段"C1"及"C8"之動作類型修正為"放下動作"及"拾起動作"。隨後，處理器21將視訊片段"C1"及"C8"以及更正後動作類型更新訓練資料234，並重新利用更新後之複數訓練資料234產生影像辨識模型232。

於一些實施例中，透過前述步驟更新影像辨識模型232後，當操作者83於生產線機台82上持續進行操作時，影像擷取裝置81可針對生產線機台82之位置，擷取操作者83之視訊812，並透過網路將視訊812傳送至監視系統2。換言之，監視系統2可透過網路自影像擷取裝置81獲取操作者83之視訊812。其中，視訊812包含複數視訊片段。

接著，利用前述已更新並儲存於儲存單元23之影像辨識模型232，監視系統2之處理器21可判斷視訊812之每一視訊片段之動作類型。其中，由於每一視訊片段帶有時間戳記之相關資訊，因此，處理器21可判斷各視訊片段之擷取時間，並進一步地決定各視訊片段所代表之動作類型之發生時間以及動作週期。處理器21可將動作類型以及動作週期記錄於儲存單元23，俾利後續使用。

於一些實施例中，處理器21可針對所有儲存於儲存單元23之每一視訊片段，判斷相應之動作類型之動作週期是否超過週期門檻值。若是，則標註此動作類型及相應之視訊片段，並將此視訊片段相應之動作類型、發生時間以及發生週期記錄於記錄檔中。如此一來，使用者便可利用記錄檔，有效率地於視訊812中調出被標註之視訊片段，並進一步理解此些視訊片段中動作類型之動作週期超過週期門檻值之原因，以快速地排除造成延遲之因素。

舉例來說，預設"拾起"動作應在3秒內完成，則處理器21針對所有相應於"拾起"之動作之視訊片段，判斷其動作週期是否超過3秒值。若是，則標註此動作類型及相應之視訊片段，並將此視訊片段相應之動作類型、發生時間以及發生週期記錄於記錄檔中。則使用者便可利用記錄檔，有效率地於視訊812中調出被標註之視訊片段，並進一步理解此些視訊片段中動作類型之動作週期超過3秒之原因，以快速地排除造成延遲之因素。

於一些實施例中，處理器21可針對所有儲存於儲存單元23之連續二視訊片段，判斷相應之二動作類型之發生時間之時間差是否超過時間門檻值。若是，則標註此二動作類型及相應之二視訊片段，並將此二視訊片段相應之動作類型、發生時間以及發生週期記錄於記錄檔中。如此一來，使用者便可利用記錄檔，有效率地於視訊812中調出被標註之二視訊片段，並進一步理解相應之二動作類型之發生時間之時間差超過時間門檻值之原因，以快速地排除造成延遲之因素。

舉例來說，預設連續發生之"拾起"動作以及"放下"動作間，相關之零件配置操作應在10秒內完成，則處理器21針對連續發生之"拾起"動作以及"放下"動作之二視訊片段，判斷時間差是否超過10秒。若是， 則標註此二動作類型及相應之二視訊片段，並將此二視訊片段相應之動作類型、發生時間以及發生週期記錄於記錄檔中。如此一來，使用者便可利用記錄檔，有效率地於視訊812中調出被標註之二視訊片段，並進一步理解相應之二動作類型之發生時間之時間差超過10秒之原因，以快速地排除造成延遲之因素。

請參考圖2C，其係本發明之一些實施例之影像擷取裝置81所擷取之畫面之示意圖。於一些實施例中，由於影像擷取裝置81所擷取之影像或視訊範圍較大，因此，處理器21利用影像辨識模型232處理影像或視訊時，將花費較多之硬體資源以及時間。

惟影像擷取裝置81所擷取之影像或視訊並非全部需要被監視，因此，可針對所擷取之影像或視訊，定義需要監視之較小範圍之區域，而處理器21僅需針對較小範圍之區域，利用影像辨識模型232進行影像或視訊之處理，如此，便可大幅加快處理速度。

請參考圖2D，其係本發明之一些實施例之影像擷取裝置81所擷取之畫面之另一示意圖。具體而言，使用者可以透過輸入裝置25輸入使用者設定，用以於影像擷取裝置81所擷取之影像範圍上定義監視區域80A，而處理器21僅需針對監視區域80A之影像或視訊，利用影像辨識模型232進行處理。如此一來，由於監視區域80A之影像或視訊尺寸較小，因此，便可大幅可加快監視系統2之處理速度。

於一些實施例中，當生產線機台82現場之環境發生變動時(例如：影像擷取裝置81角度被調整、操作員配置變動、操作員位置變動等等)，可能造成原本欲監測之範圍偏離監視區域80A，並導致影像辨識模型232轉換誤差提升。此時，使用者可直接調整監視區域80A之位置，以降低生產線機台82現場之環境變動帶來之偏差。

請參考圖2E，其係本發明之一些實施例之影像擷取裝置81所擷取之畫面之另一示意圖。具體而言，由於生產線機台82現場之環境發生變動，使得監視區域80A內之影像或視訊並非需要監視之內容，因此，可能導致影像辨識模型232之轉換誤差提升。

請參考圖2F，其係本發明之一些實施例之影像擷取裝置81所擷取之畫面之另一示意圖。具體而言，使用者可以透過輸入裝置25輸入另一使用者設定，用以於影像擷取裝置81所擷取之影像範圍上移動監視區域80A，使需要監視之區域恢復正常。

於一些實施例中，影像擷取裝置81所擷取之畫面，可先傳送至監視系統2。隨後，監視系統2可透過一般顯示器(未繪示)顯示此些畫面，並透過如鍵盤或滑鼠之輸入裝置25接收使用者設定，俾利監視系統2完成相關操作。

於一些實施例中，影像擷取裝置81所擷取之畫面，可先傳送至監視系統2。隨後，監視系統2可透過網路將畫面傳送至遠端顯示器(例如：手持智慧裝置、筆記型電腦等)此些畫面，並透過如網路介面之輸入裝置25接收使用者設定，俾利監視系統2完成相關操作。

請參考圖3A，其係本發明之一些實施例之監視系統3之方塊圖。監視系統3包括處理器31、儲存單元33以及輸入裝置35。儲存單元33儲存程式330、影像辨識模型332A、影像辨識模型332B以及訓練資料334A、334B。其中，影像辨識模型332A、332B可以包含機器學習技術相關之模型，用於判斷視訊資料(即影像序列資料)中操作者之動作類型或物品之數量變化。

處理器31、儲存單元33以及輸入裝置35經由通信匯流排37電性連接。透過通信匯流排37，處理器31可執行儲存於儲存單元33 中的程式330。程式330執行時可以產生一或多個中斷，例如：軟體中斷，以使處理器31執行具有生產線監視功能之程式330。下文將進一步描述程式330之功能。

於一些實施例中，影像辨識模型332A主要係根據機器學習演算法，利用複數訓練資料334A產生之機器學習模型。詳言之，一些視訊資料以及此些視訊資料所實際對應之動作類型可做為訓練資料，用以基於機器學習演算法訓練影像辨識模型332A(亦即產生影像辨識模型332A)。

更詳細來說，每一訓練資料334A可以包括：(1)視訊資料；及(2)與此視訊資料相對應之動作類型，而程式330執行時，使處理器31自儲存單元33中擷取訓練資料334A，並利用機器學習演算法，根據複數訓練資料334A訓練影像辨識模型332A。

換句話說，複數訓練資料334A之視訊資料可以在訓練階段期間用作訓練輸入資料，複數訓練資料334A之動作類型可以在訓練階段期間用作訓練輸出資料。在處理器31產生影像辨識模型332A之後，可將影像辨識模型332A儲存於儲存單元33中以待後續使用。

於一些實施例中，複數訓練資料334A中，用作訓練輸入資料之視訊資料，包含操作員之動作之影像資料。而與視訊資料相對應之動作類型可以用作訓練輸出資料。接著，可以執行CNN演算法之程式碼以訓練影像辨識模型332A。在基於CNN演算法並利用訓練資料產生影像辨識模型332A之後，影像辨識模型332A可以用於判斷輸入視訊所對應之動作類型。

於一些實施例中，影像辨識模型332B主要係根據機器學習演算法，利用複數訓練資料334B產生之機器學習模型。詳言之，一些視 訊資料以及此些視訊資料所實際對應之物件數量變化可做為訓練資料，用以基於機器學習演算法訓練影像辨識模型332B(亦即產生影像辨識模型332B)。

更詳細來說，每一訓練資料334B可以包括：(1)視訊資料；及(2)與此視訊資料相對應之物件數量變化(例如：增加或減少)，而程式330執行時，使處理器31自儲存單元33中擷取訓練資料334B，並利用機器學習演算法，根據複數訓練資料334B訓練影像辨識模型332B。

換句話說，複數訓練資料334B之視訊資料可以在訓練階段期間用作訓練輸入資料，複數訓練資料334B之物件數量變化可以在訓練階段期間用作訓練輸出資料。在處理器31產生影像辨識模型332B之後，可將影像辨識模型332B儲存於儲存單元33中以待後續使用。

於一些實施例中，複數訓練資料334B中，用作訓練輸入資料之視訊資料，包含物件數量變動之影像資料。而與視訊資料相對應之物件數量變化可以用作訓練輸出資料。接著，可以執行CNN演算法之程式碼以訓練影像辨識模型332B。在基於CNN演算法並利用訓練資料產生影像辨識模型332B之後，影像辨識模型332B可以用於判斷輸入視訊所對應之物件數量變化。

更詳細來說，視訊資料紀錄特定物件(例如：產品零組件)之數量變化，而特定物件之數量變化可代表不同之動作行為。舉例而言，當特定物件之數量在此視訊資料中發生減少之變化時，代表操作員之動作係"拾起"特定物件之機率較高。當特定物件之數量在此視訊資料中發生增加之變化時，代表操作員之動作係"放下"特定物件之機率較高。據此，利用影像資料中特定物件之數量變化，可協助提升動作類型判斷結果之準確率。

請參考圖3B，其係本發明之一些實施例之監視系統3之使用示意圖。詳言之，當生產線機台72之操作需要被監視及分析時，可將影像擷取裝置71裝設於生產線機台72所在之環境，用以擷取與生產線機台72相關之視訊。其中，監視系統3可透過網路連線(有線網路或無線網路)與影像擷取裝置71連線。

於一些實施例中，當操作者73於生產線機台72上進行操作時，影像擷取裝置71可針對生產線機台72之位置，即時擷取操作者73之視訊710(例如：視訊串流)，並透過網路將視訊710傳送至監視系統3。換言之，監視系統3可透過網路自影像擷取裝置71獲取操作者73之視訊710。其中，視訊710包含複數視訊片段。

接著，使用者可以透過輸入裝置35輸入使用者設定，用以於影像擷取裝置71所擷取之影像範圍上定義監視區域70A以及70B，而處理器31僅需針對監視區域70A以及70B之影像或視訊，利用影像辨識模型332A、332B進行處理。

隨後，利用前述儲存於儲存單元33之影像辨識模型332A，監視系統3之處理器31可判斷視訊710之每一視訊片段中，監視區域70A以及70B之動作類型。其中，由於每一視訊片段帶有時間戳記之相關資訊，因此，處理器31可判斷各視訊片段之擷取時間，並進一步地決定各視訊片段中，監視區域70A以及70B所代表之動作類型之發生時間以及動作週期。處理器31可將動作類型以及動作週期記錄於儲存單元33，俾利後續使用。

於一些實施例中，針對每一視訊片段之監視區域70A以及70B，監視系統3之處理器31可進一步利用影像辨識模型332B判斷物件數量之變化，並據以更新操作者73之動作類型。請參考圖3C至圖3D， 其係本發明之一些實施例之影像擷取裝置71所擷取之畫面之示意圖。舉例而言，針對特定視訊片段之監視區域70A，監視系統3之處理器31可先利用影像辨識模型332A判斷動作類型為"拾起"。

接著，針對此特定視訊片段之監視區域70A，監視系統3之處理器31可進一步利用影像辨識模型332B判斷視訊片段中物件74數量減少。據此，由於監視區域70A中，特定視訊片段之動作類型為"拾起"，且物件74數量之減少確實為"拾起"導致，因此，可將特定動作類型準確地確認為"拾起"。

需說明，針對特定視訊片段之監視區域70A，當監視系統3之處理器31利用影像辨識模型332A判斷動作類型為"放下"，惟利用影像辨識模型332B判斷視訊片段中物件74數量減少時，表示影像辨識模型332A之判斷可能有誤。據此，基於利用影像辨識模型332B判斷視訊片段中物件74數量減少，監視系統3之處理器31可將相應特定視訊片段之動作類型由"放下"更新為"拾起"。

請參考圖3E至圖3F，其係本發明之一些實施例之影像擷取裝置71所擷取之畫面之示意圖。舉例而言，針對特定視訊片段之監視區域70B，監視系統3之處理器31可先利用影像辨識模型332A判斷動作類型為"放下"。

接著，針對此特定視訊片段之監視區域70B，監視系統3之處理器31可進一步利用影像辨識模型332B判斷視訊片段中物件74數量增加。據此，由於監視區域70B中，特定視訊片段之動作類型為"放下"，且物件74數量之增加確實為"放下"導致，因此，可將特定動作類型準確地確認為"放下"。

同樣地，針對特定視訊片段之監視區域70B，當監視系統3 之處理器31利用影像辨識模型332A判斷動作類型為"拾起"，惟利用影像辨識模型332B判斷視訊片段中物件74數量增加時，表示影像辨識模型332A之判斷可能有誤。據此，基於利用影像辨識模型332B判斷視訊片段中物件74數量增加，監視系統3之處理器31可將相應特定視訊片段之動作類型由"拾起"更新為"放下"。

需特別說明，前述實施例中，處理器使用影像辨識模型判斷影像或視訊資料之動作類型時，主要可先利用影像辨識模型辨識並追蹤操作者之手部，並進一步透過操作者之手部之動作，判斷影像或視訊之操作者之動作類型。

本發明之一些實施例包含生產線監視方法，其流程圖如圖4A至4B所示。這些實施例之生產線監視方法由一監視系統(如前述實施例之監視系統)實施。方法之詳細操作如下。

首先，由監視系統執行步驟S401，獲取操作者之複數影像。其中，監視系統可由設置於生產線機台之影像擷取裝置獲取操作者之複數影像。由監視系統執行步驟S402，基於影像辨識模型，判斷複數影像之操作者之動作類型。其中，影像辨識模型可以包含機器學習技術相關之模型，用於接收影像資料並輸出影像中操作者之動作類型。

接著，由於複數影像可帶有時間戳記之相關資訊，因此，監視系統執行步驟S403，根據複數影像之操作者之動作類型，決定動作類型之發生時間及動作週期。由監視系統執行步驟S404，記錄動作類型、發生時間及動作週期，俾利後續使用。

於一些實施例中，於步驟S402後，為了增加判斷準確度，監視系統可執行步驟S402’，基於另一影像辨識模型，根據複數影像之物件數量變化更新動作類型。

本發明之一些實施例包含生產線監視方法，其流程圖如圖5A至5F所示。這些實施例之生產線監視方法由一監視系統(如前述實施例之監視系統)實施。方法之詳細操作如下。

於一些實施例中，生產線監視方法須提供包含機器學習技術相關之影像辨識模型，用於接收影像資料並輸出影像中操作者之動作類型，因此，需先利用訓練資料訓練並產生影像辨識模型。

請參考圖5A，其係本發明之一些實施例之生產線監視方法之影像辨識模型產生之流程圖。由監視系統執行步驟S501，基於機器學習演算法，利用複數訓練資料產生影像辨識模型。其中，每一訓練資料包含訓練輸入及訓練輸出。訓練輸入包含訓練視訊片段，訓練輸出包含與訓練視訊片段相對應之訓練動作類型。由監視系統執行步驟S502，儲存影像辨識模型，俾利後續使用。

於一些實施例中，為了增加影像辨識模型之準確度，可利用生產機台現場攝得之視訊作為反饋調整影像辨識模型。請參考圖5B，其係本發明之一些實施例之生產線監視方法之影像辨識模型更新之流程圖。由監視系統執行步驟S503，獲取視訊。其中，監視系統可由設置於生產線機台之影像擷取裝置獲取操作者之視訊，且視訊包含複數視訊片段。

由監視系統執行步驟S504，基於前述產生之影像辨識模型，判斷各視訊片段之操作者之動作類型。由監視系統執行步驟S505，將視訊片段以及相應之動作類型提供予使用者，俾利使用者判斷是否有影像辨識模型之轉換偏誤。

當使用者判斷有影像辨識模型之轉換偏誤，導致特定視訊片段與其相應之動作類型不符，使用者便可針對特定視訊片段及其相應之動作類型進行變更。由監視系統執行步驟S506，接收使用者設定以變更此 視訊片段之動作類型。

針對所有視訊片段判斷完畢後，由監視系統執行步驟S507，根據特定視訊片段及變更後之動作類型調整影像辨識模型。詳言之，監視系統根據原有之訓練資料、特定視訊片段、相應於特定視訊片段之動作類型以及機器學習演算法產生影像辨識模型。

如此一來，由於影像辨識模型重新進行之訓練具有針對生產線機台以及操作者之相關資訊(即特定視訊片段及相應於此特定視訊片段之動作類型)，則更新後之影像辨識模型應用於生產線機台之判斷時將有更高之準確度。

於一些實施例中，可基於更新後之影像辨識模型監視生產線機台狀態。請參考圖5C，其係本發明之一些實施例之生產線監視方法之流程圖。由監視系統執行步驟S508，獲取生產線機台之操作者之視訊。其中，視訊包含複數視訊片段。由監視系統執行步驟S509，基於影像辨識模型，判斷各視訊片段之操作者之動作類型。

接著，由於複數視訊片段可帶有時間戳記之相關資訊，因此，監視系統執行步驟S510，根據各視訊片段之操作者之動作類型，決定動作類型之發生時間及動作週期。由監視系統執行步驟S511，記錄動作類型、發生時間及動作週期，俾利後續使用。

於一些實施例中，監視系統可判斷視訊之動作是否發生延遲。請參考圖5D，其係本發明之一些實施例之生產線監視方法之流程圖。由監視系統執行步驟S512，針對各視訊片段之操作者之動作類型，判斷動作週期是否超過週期門檻值。若是，監視系統執行步驟S513，標註此動作類型及相應之視訊片段，並將此視訊片段相應之動作類型、發生時間以及發生週期記錄於記錄檔中，俾利使用者利用記錄檔有效率地於視訊中調出 被標註之視訊片段。若否，監視系統重複執行步驟S512，針對下一視訊片段之操作者之動作類型，判斷動作週期是否超過週期門檻值。

於一些實施例中，監視系統可判斷視訊之動作與動作間是否發生延遲。請參考圖5E，其係本發明之一些實施例之生產線監視方法之流程圖。由監視系統執行步驟S514，計算二視訊片段之動作類型之發生時間之時間差。由監視系統執行步驟S515，判斷時間差是否超過時間門檻值。若是，監視系統執行步驟S516，標註此動作類型及相應之二視訊片段，並將此二視訊片段相應之動作類型、發生時間以及發生週期記錄於記錄檔中，俾利使用者利用記錄檔有效率地於視訊中調出被標註之視訊片段。若否，監視系統重複執行步驟S514，針對下一對視訊片段計算相應動作類型之發生時間之時間差，判斷動作週期是否超過週期門檻值。

於一些實施例中，可選擇性地增加以下步驟，以加速影像處理之速度及效率。請參考圖5F，其係本發明之一些實施例之生產線監視方法之流程圖。由監視系統執行步驟S517，接收使用者設定，用以於所需擷取之視訊上定義監視區域。換句話說，使用者設定係用以於影像擷取裝置所擷取之影像範圍上定義監視區域。其中，由於監視區域之影像或視訊尺寸較小，因此，可大幅可加快監視系統之處理速度。

於一些實施例中，可選擇性地增加以下步驟，以降低生產線機台現場之環境變動帶來之偏差。請參考圖5G，其係本發明之一些實施例之生產線監視方法之流程圖。由監視系統執行步驟S518，接收使用者設定，用以移動監視區域。換句話說，使用者設定係用以於影像擷取裝置所擷取之影像範圍上移動監視區域。

前述本發明之監視系統及生產線監視方法，可透過自動化及人工智慧之方式，更快速且精確地找出造成生產線上失誤或延遲之因 素，進而提升生產線輸出之效率，並有效地改善生產線輸出之瓶頸。

應當特別理解，上述實施例中提到的處理器可以是中央處理單元(CPU)、能夠執行相關指令的其他硬體電路元件或者熟習此項技術者基於上文揭示內容熟知的計算電路的組合。此外，上述實施例中提到的儲存單元可以包括用於儲存資料的記憶體(諸如ROM、RAM等)或儲存裝置(諸如快閃記憶體、HDD、SSD等)。

進一步地，上述實施例中提到的通信匯流排可以包括用於在諸如處理器、儲存單元、輸入裝置等元件之間傳輸資料的通信介面，並且可以包括電匯流排介面、光學匯流排介面或者甚至無線匯流排介面。然而，此類描述並不意欲限制本發明的硬體實施方案實施例。

儘管已經對本發明及其優點進行詳細說明，但是應當理解的是，在不背離由所附申請專利範圍定義的本發明的精神及範疇的前提下，本文可以作出各種改變、替換及替代。例如，上文所討論的許多製程可以以不同的方法實施，並且由其他製程或其組合代替。

此外，本申請的範疇並不意欲限於本說明書中描述的製程、機器、製造、物質組合物、構件、方法及步驟的具體實施例。如一般熟習此項技術者將自本發明的揭示內容容易地理解，可以根據本發明利用執行與本文所述的對應實施例中的功能基本上相同的功能或實現與本文所述的對應實施例中的結果基本上相同的結果的當前存在或隨後待開發的製程、機器、製造、物質組合物、構件、方法或步驟。因此，所附申請專利範圍意欲在其範疇內包括此類製程、機器、製造、物質組合物、構件、方法或步驟。

S401~S404:步驟

Claims (16)

1. 一種用於監視系統之生產線監視方法，包含：基於一機器學習(Machine Learning)演算法，利用複數訓練資料產生一影像辨識模型，其中每一訓練資料包含一訓練輸入及一訓練輸出，該訓練輸入包含複數訓練影像，該訓練輸出包含與該等訓練影像相對應之一訓練動作類型；獲取一操作者之複數影像；基於該影像辨識模型，判斷該等影像之該操作者之一動作類型；基於另一影像辨識模型，根據該等影像之一物件數量變化更新該等影像之該操作者之該動作類型；決定根據該等影像之該物件數量變化而更新之該動作類型之一發生時間及一動作週期；以及記錄該動作類型、該發生時間及該動作週期。
2. 如請求項1之生產線監視方法，更包含：判斷該動作週期是否超過一週期門檻值；當該動作週期超過該週期門檻值，標記該動作類型。
3. 如請求項1之生產線監視方法，更包含：計算該動作類型之該發生時間與另一動作類型之發生時間之一時間差；判斷該時間差是否超過一時間門檻值；當該時間差超過該時間門檻值，標記該動作類型以及該另一動作類 型。
4. 如請求項1之生產線監視方法，更包含：接收一使用者設定，用以於該等影像上定義一監視區域；其中，基於該影像辨識模型判斷該等影像之該操作者之該動作類型之步驟更包含：基於該影像辨識模型，判斷該等影像之該監視區域內之該動作類型。
5. 如請求項4之生產線監視方法，更包含：接收另一使用者設定，用以移動該等影像上定義之該監視區域。
6. 如請求項4之生產線監視方法，其中，該等影像具有一影像尺寸，該監視區域具有一區域尺寸，該監視區域尺寸係小於該影像尺寸。
7. 如請求項1之生產線監視方法，更包含：基於該影像辨識模型，辨識該等影像之該操作者之至少一手部，並判斷該操作者之該至少一手部之該動作類型。
8. 一種用於監視系統之生產線監視方法，包含：利用複數訓練資料以及一機器學習(Machine Learning)演算法產生一影像辨識模型，其中，每一訓練資料包含一訓練輸入及一訓練輸出，該訓練輸入包含一訓練視訊片段，該訓練輸出包含與該訓練視訊片段相對應之一訓練動作類型；獲取一視訊，其中，該視訊包含複數視訊片段； 基於該影像辨識模型，判斷各該視訊片段之一動作類型；基於另一影像辨識模型，根據各該視訊片段之一物件數量變化更新各該視訊片段之該動作類型；接收一使用者設定以變更該等視訊片段之一第一視訊片段之根據各該視訊片段之該物件數量變化而更新之該動作類型；以及根據該第一視訊片段之該動作類型調整該影像辨識模型。
9. 如請求項8之生產線監視方法，其中，根據該第一視訊片段之該動作類型調整該影像辨識模型之步驟更包含：利用該等訓練資料、該第一視訊片段、相應於該第一視訊片段之該動作類型以及該機器學習演算法產生該影像辨識模型。
10. 一種用於生產線監視之監視系統，包含：一處理器；以及一儲存單元，儲存一程式，該程式執行時使該處理器：基於一機器學習(Machine Learning)演算法，利用複數訓練資料產生一影像辨識模型，並將該影像辨識模型儲存於該儲存單元，其中每一訓練資料包含一訓練輸入及一訓練輸出，該訓練輸入包含複數訓練影像，該訓練輸出包含與該等訓練影像相對應之一訓練動作類型；獲取一操作者之複數影像；基於該影像辨識模型，判斷該等影像之該操作者之一動作類型；基於另一影像辨識模型，根據該等影像之一物件數量變化更新該等影像之該操作者之該動作類型；決定根據該等影像之該物件數量變化而更新之該動作類型之一發 生時間及一動作週期；以及記錄該動作類型、該發生時間及該動作週期。
11. 如請求項10之監視系統，其中，該程式被執行時進一步使該處理器：判斷該動作週期是否超過一週期門檻值；當該動作週期超過該週期門檻值，標記該動作類型。
12. 如請求項10之監視系統，其中，該程式被執行時進一步使該處理器：計算該動作類型之該發生時間與另一動作類型之發生時間之一時間差；判斷該時間差是否超過一時間門檻值；當該時間差超過該該時間門檻值，標記該動作類型以及該另一動作類型。
13. 如請求項10之監視系統，更包含：一輸入裝置，用以接收一使用者設定；其中，該程式被執行時進一步使該處理器：根據該使用者設定於該等影像上定義一監視區域；基於該影像辨識模型，判斷該等影像之該監視區域內之該動作類型。
14. 如請求項13之監視系統，其中，該輸入裝置更用以接收另一使用者設定，該程式被執行時進一步使該處理器：根據該另一使用者設定移動該等影像上定義之該監視區域。
15. 如請求項10之監視系統，更包含：一輸入裝置，用以接收一使用者設定；其中，該程式被執行時進一步使該處理器：根據該使用者設定變更該等影像之該操作者之該動作類型；根據該等影像之該操作者之該動作類型調整該影像辨識模型。
16. 如請求項10之監視系統，其中，該程式被執行時進一步使該處理器：基於該機器學習演算法，利用該等訓練資料、該等影像以及相應於該等影像之該操作者之該動作類型產生該影像辨識模型。

Images