TWI740361B

TWI740361B - 智慧操作輔助系統及智慧操作輔助方法

Info

Publication number: TWI740361B
Application number: TW109102552A
Authority: TW
Inventors: 陳文彬
Original assignee: 國眾電腦股份有限公司
Priority date: 2020-01-22
Filing date: 2020-01-22
Publication date: 2021-09-21
Also published as: TW202129483A

Abstract

一種智慧操作輔助系統包括可攜式裝置以及人工智慧操作輔助平台。可攜式裝置包括攝像模組、無線通訊模組、處理器及顯示模組。攝像模組取得具有目標物件的環境影像。無線通訊模組發送環境影像，並接收操作訊號。處理器控制無線通訊模組發送環境影像，並依據操作訊號產生操作圖層。顯示模組呈現操作圖層。人工智慧操作輔助平台通訊連接無線通訊模組。人工智慧操作輔助平台接收環境影像並執行辨識程序以辨識目標物件，並依據目標物件及物件資料庫產生並發送操作訊號。

Description

智慧操作輔助系統及智慧操作輔助方法

本發明涉及影像辨識，特別是一種基於混合實境（Mixed Reality，MR）技術與高速通訊網路的智慧操作輔助系統及其方法。

在石化業或化工業的廠房中具有複雜的管線、種類繁多的設備及各式各樣的儀表，為了維護廠房內各項資產設備的安全，勢必配置足夠的人員進行巡檢，以便於進行日常的設備指標數據監測，同時針對緊急事件進行排除。

然而，對於新進巡檢人員而言，由於無法立刻熟悉所有設備的操作方式及故障排除機制，經常有操作錯誤的狀況發生。即使巡檢人員採用對講機與中控中心互相通話以得到關於操作上的指示，仍有可能因為雙方語意表達不夠明確而導致巡檢人員操作錯誤，進而造成故障無法被排除或設備無法運作，如此將可能導致工廠難以估計的損失。

有鑑於此，本發明提出一種智慧操作輔助系統及智慧操作輔助方法，在第五代行動通訊技術（5 ^thGeneration mobile networks，5G）專用頻譜之企業專網布建而成的高速通訊環境底下實現石化業廠區內的設備操作輔助引導，可有效讓新進的巡檢人員面對石化業廠房中複雜的設備及儀表時仍能正確操作，降低人為失誤的可能性。

依據本發明一實施例敘述的一種智慧操作輔助系統，包括可攜式裝置以及人工智慧操作輔助平台。可攜式裝置包括攝像模組、無線通訊模組、處理器及顯示模組。攝像模組用以取得環境影像。環境影像中具有目標物件。無線通訊模組用以發送環境影像，並接收操作訊號。處理器電性連接無線通訊模組及攝像模組。處理器控制無線通訊模組發送環境影像，並依據操作訊號產生操作圖層。顯示模組用以呈現操作圖層。人工智慧操作輔助平台，通訊連接無線通訊模組，人工智慧操作輔助平台用以接收環境影像並執行一辨識程序以辨識目標物件，人工智慧操作輔助平台更用以依據目標物件及物件資料庫產生並發送操作訊號。

依據本發明一實施例敘述的一種智慧操作輔助方法，包括：可攜式裝置之攝像模組取得環境影像，環境影像中具有目標物件；可攜式裝置之處理器控制可攜式裝置之無線通訊模組發送環境影像；人工智慧操作輔助平台接收環境影像並執行辨識程序以辨識目標物件；人工智慧操作輔助平台依據目標物件及物件資料庫產生並發送操作訊號；可攜式裝置之無線通訊模組接收操作訊號；可攜式裝置之處理器依據操作訊號產生操作圖層；以及可攜式裝置之一顯示模組呈現操作圖層。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

請參考圖1，其繪示本發明一實施例的智慧操作輔助系統100的方塊架構圖。所述的智慧操作輔助系統100適用於已佈建高速行動通訊網路N的石化業廠房。在一實施例中，高速行動通訊網路N由多個無線存取點AP及基地台所組成，這些無線存取點AP係透過第五代行動通訊技術（5 ^thGeneration mobile networks，5G）專用頻譜之企業專網彼此互相連接。如圖1所示，智慧操作輔助系統100包括：可攜式裝置3及人工智慧操作輔助平台5。可攜式裝置3係透過前述無線存取點AP其中一者通訊連接至人工智慧操作輔助平台5。

如圖1所示，用於傳送巡檢人員目視到的環境影像的可攜式裝置3包括攝像模組32、無線通訊模組34、處理器36及顯示模組38。處理器36電性連接至攝像模組32、無線通訊模組34及顯示模組38。人工智慧操作輔助平台5通訊連接無線通訊模組34以接收環境影像。在一實施例中，人工智慧操作輔助平台5係一伺服器或伺服器叢集，並且通訊連接至以5G實現的高速行動通訊網路N。藉此，人工智慧操作輔助平台5可在較小延遲的條件下接收到每個可攜式裝置3回傳的環境影像。

請參考圖2，其繪示本發明一實施例敘述的可攜式裝置3的外觀示意圖。在一實施例中，可攜式裝置3為供巡檢人員配戴的一智慧型頭盔。因攝像模組32的設置鄰近於配戴智慧型頭盔型態的可攜式裝置3的巡檢人員的眼部位置，故巡檢人員可輕易地透過攝像模組32收集其所看到的廠房內各種設備的影像。在其他實施例中，可攜式裝置3的外觀型態亦可以是智慧型眼鏡、具有攝像模組32的智慧型手機、具有攝像模組32的平板電腦或具有攝像模組32的個人數位助理（Personal Digital Assistant，PDA）等。本發明對於可攜式裝置3的外觀或硬體類型並未加以限制。

在圖2繪示的實施例中，顯示模組38設置於鏡片的位置。顯示模組38係具有透明度的小型螢幕，因此，巡檢人員的視線可穿過顯示模組38而看到前方的廠房內部設備。與此同時，巡檢人員也可以看到呈現在鏡片形式上的小型螢幕上的顯示圖層，故在此實施例中，顯示模組38可提供混合實境（Miexed Reality，MR）或擴增實境（Augemented Reality，AR）形式呈現的疊合影像供巡檢人員檢視。在另一實施例中，顯示模組38例如係一般螢幕，如平板電腦的顯示面板，使用者可在顯示模組38上看到由攝像模組32拍攝到的實境影像，或是看到由人工智慧操作輔助平台5發送過來的三維物件影像。本發明並不限制顯示模組38的硬體類型。

請參考圖3，其繪示本發明一實施例敘述的智慧操作輔助方法的流程圖。所述的智慧操作輔助方法適用於前述的智慧操作輔助系統100。以下結合圖3繪示的智慧操作輔助方法的流程，進一步說明智慧操作輔助系統100中各項元件的組成及實現方式。

請參考步驟S1，可攜式裝置3之攝像模組32取得並發送環境影像。環境影像中具有目標物件。所述目標物件泛指可供巡檢人員操作的設備或儀器。舉例來說，配戴著如圖2繪示的可攜式裝置3的巡檢人員到達指定座標點後開始檢視或操作該座標點周圍的石化管線、設備或儀表。首先由可攜式裝置3之攝像模組32取得具有目標物件的環境影像，然後，透過前述的以5G企業專網實現的高速行動通訊網路N，可攜式裝置3之處理器36控制可攜式裝置3之無線通訊模組34將具有目標物件的環境影像發送至人工智慧操作輔助平台5。

請參考步驟S2，人工智慧操作輔助平台5辨識環境影像中的目標物件。在一實施例中，人工智慧操作輔助平台5可執行一影像辨識程序，並載入一物件資料庫，藉此對環境影像中的目標物件進行辨識。所述的物件資料庫係包括石化業廠房中所有設備的影像資訊，這些影像資訊例如為電腦輔助設計（CAD）檔的形式。因此，無論巡檢人員以何種視角觀看目標物件，人工智慧操作輔助平台5皆可以辨識出環境影像中的目標物件為何種類型。

在步驟S2的又一實施例中，當目標物件具有可讀取數值（例如管線上的儀表）時，人工智慧操作輔助平台5所執行的辨識程序更包括確認此可讀取數值。舉例來說，巡檢人員自行確認可讀取數值後再透過可攜式裝置3的輸入元件輸入此可讀取數值並回傳至人工智慧操作輔助平台5。或者，巡檢人員也可以透過其他儀器讀取此數值再回傳到人工智慧操作輔助平台5。或者，該儀表屬於智慧物聯網（AIoT）類型，其每隔一固定週期便透過高速通訊網路N將可讀取數值自動回傳至人工智慧操作輔助平台5。或者，人工智慧操作輔助平台5直接從攝像模組32拍攝到的環境影像中辨識出此可讀取數值。承上所述，本發明對於認為智慧操作輔助平台5確認可讀取數值的方式不予限制。

在步驟S2的再一實施例中，在人工智慧操作輔助平台5執行辨識程序辨識目標物件之前，更包括辨識目標物件週邊的其可辨識物件。舉例來說，人工智慧操作輔助平台5載入三維模型資料庫，再依據環境影像及三維模型資料庫執行辨識程序以找出環境影像中所有可供辨識的物件，根據這些可辨識物件的分佈，人工智慧操作輔助平台5比對三維模型資料庫中儲存的物件分佈資訊，以確認巡檢人員當前所在的位置的座標點。若人工智慧操作輔助平台5判斷巡檢人員所在的座標點週邊確實有有此目標物件，則人工智慧操作輔助平台5可發送通知訊號，藉此指示巡檢人員的視線朝向目標物件所在的位置。關於前述的三維模型資料庫，其包括一或多個電腦輔助設計（Computer Aided Design，CAD）檔案及多個座標點。舉例來說，可取用石化業廠房在設計時的CAD檔建立此三維模型資料庫。在其他實施例中，可運用雷射掃描或石化廠詳細施工圖來逆向建立管路與其他設備的三維模型資料庫。舉例來說，利用三維掃瞄儀器取得管路或設備表面的空間資訊，並利用點雲辨識軟體將其轉換為具有實體意義的立體模型。舉另一例來說，根據詳細施工圖找出管線的起迄點或參考點的座標，然後藉由CAD軟體系統半自動地建立三維模型資料庫。承前所述，在確認巡檢人員且其視線方向朝向目標物件之後，人工智慧操作輔助平台5才依據環境影像及位置資訊執行辨識程序以辨識目標物件。由於石化業廠房內的管線、設備及儀表等設置位置基本上固定不動，透過上述機制，可預先篩選出屬於該位置資訊的所有設備，因此可減少辨識程序辨識出目標物件的時間。

請參考步驟S3，人工智慧操作輔助平台5依據目標物件及物件資料庫產生並發送操作訊號。詳言之，在步驟S2確認目標物件之後，人工智慧操作輔助平台5進一步依據目標物件及物件資料庫輸出該目標物件適用的操作訊號。在一實施例中，物件資料庫不僅儲存所有目標物件的影像，此外更儲存每個目標物件所適用的目標物件狀態判斷模型。實務上，人工智慧操作輔助平台5預先收集多個關聯於目標物件之狀態參數，這些狀態參數例如該目標物件的出廠規格，可供調整的數值項目，以及該目標物件在不同時間點所應呈現的狀態（如溫度、壓力或儀表讀數等）。人工智慧操作輔助平台5將上述收集的關聯於目標物件的狀態參數作為輸出層，並代入一類神經網路演算法，藉此產生一目標物件狀態判斷模型，其輸出即為前述的操作參數。所述的類神經網路演算法例如係多層感知機（MultiLayer Perceptron，MLP）、長短期記憶網路（Long Short-Term Memory，LSTM）、卷積神經網路（Convolutional neural network，CNN）。

在又一實施例中，人工智慧操作輔助平台5依據可讀取數值設置操作參數。舉例來說，設置操作參數的範例如：當設備的溫度超過一第一閾值時，將設備上關聯於溫度控制的操作閥旋轉指定角度以調節溫度，或是當設備的壓力儀表低於一第二閾值時，啟動設備上的升壓開關。需注意的是，本發明的人工智慧操作輔助平台5，可依據設備當前的狀態，動態地調整操作參數的配置值，以使操作訊號適用於巡檢人員當前的情況。

請參考步驟S4及步驟S5，可攜式裝置3接收並依據操作訊號產生操作圖層，且可攜式裝置3之顯示模組38呈現操作圖層。詳言之，可攜式裝置3之處理器36依據操作訊號及其中的操作參數產生操作圖層。所述的操作圖層例如為文字訊息，或者是圖形訊息。在其他實施例中，處理器36更依據操作訊號產生一操作語音，並透過可攜式裝置3上之揚聲器播放此語音。

在一實施例中，顯示模組38係一非透明顯示面板，其用以呈現操作圖層與環境影像之一疊合影像，此處所述的環境影像可以是攝像模組32拍攝到的實景影像，操作圖層覆蓋在此實景影像上形成疊合影像，因此可達到擴增實境（AR）的效果。所述的環境也可以是人工智慧操作輔助平台5發送的目標物件的三維物件影像，操作圖層覆蓋在此虛擬影像上形成疊合影像，因此可達到虛擬實境（VR）或混合實境（MR）的效果。在另一實施例中，顯示模組38係一具有透明度的顯示面板，其用以呈現操作圖層疊合於實體目標物件之一畫面。在上述實施例中，可攜式裝置3更包括一慣性測量單元（Inertial Measurement Unit，IMU），其用以感測巡檢人員目視目標物件的視線角度，並將此角度反饋至處理器36中。處理器36更用以依據此視線角度調整操作圖層呈現的型態，以使顯示模組38呈現的虛擬影像與目標物件能夠以較佳型態互相呈現。

請參考圖4，其繪示巡檢人員透過顯示模組38觀看本發明一實施例的操作圖層L的示意圖。如圖4所示，巡檢人員透過透明鏡片的顯示模組38可看到實體的目標物件（包含管線71、儀表73、球閥75及把手77），並可同時觀看到顯示模組38以混合實境（Mixed Reality）呈現在實體裝置71~77上方的操作圖層L（顯示模組38例如以半透明型態呈現此操作圖層），然後遵循操作訊號的指示，將把手77由操作起始位置A旋轉到操作結束位置B。

綜上所述，本發明提出的智慧操作輔助系統可提升巡檢人員操作設備的正確率，提高工安安全性。並且依據設備的當前狀態，動態地調整操作指示，並進行巡檢資訊收集回饋，及石化廠房內資產設備的監控管理。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

100…智慧操作輔助系統 3…可攜式裝置 32…攝像模組 34…無線通訊模組 36…處理器 38…顯示模組 5…人工智慧操作輔助平台 N…高速行動通訊網路 AP…無線存取點 S1~S5…步驟 A …操作起始位置 B…操作結束位置 71…管線 73…儀表 75…球筏 77…把手 L…操作圖層

圖1係依據本發明一實施例繪示的智慧操作輔助系統的方塊架構圖。圖2係依據本發明一實施例繪示的可攜式裝置的外觀示意圖。圖3係依據本發明一實施例繪示的智慧操作輔助方法的流程圖。圖4係依據本發明一實施例繪示的操作圖層的示意圖。

100…智慧操作輔助系統 3…可攜式裝置 32…攝像模組 34…無線通訊模組 36…處理器 38…顯示模組 5…人工智慧操作輔助平台 N…高速行動通訊網路 AP…無線存取點

Claims

一種智慧操作輔助系統，包括：一可攜式裝置，包括：一攝像模組，用以取得一環境影像，該環境影像中具有一目標物件；一無線通訊模組，用以發送該環境影像，並接收一操作訊號；一慣性測量單元，用以取得該攝像模組之一拍攝角度；一處理器，電性連接該無線通訊模組及該攝像模組，該處理器控制該無線通訊模組發送該環境影像，並依據該操作訊號及該拍攝角度產生一操作圖層；及一顯示模組，電性連接該處理器，該顯示模組用以呈現該操作圖層；以及一人工智慧操作輔助平台，通訊連接該無線通訊模組，該人工智慧操作輔助平台用以接收該環境影像並執行一辨識程序以辨識該目標物件及該目標物件週邊的多個可辨識物件，該人工智慧操作輔助平台更用以依據該目標物件及一物件資料庫產生並發送該操作訊號；該人工智慧操作輔助平台更依據該些可辨識物件及一物件分布資訊確認該可攜式裝置之座標位置，且依據該座標位置判斷是否具有該目標物件；其中該目標物件具有一可讀取數值，該操作訊號更包括一操作參數，且該辨識程序更用以辨識該可讀取數值，該人工智慧操作輔助平台更用以依據該可讀取數值設置該操作參數；該人工智慧操作輔助平台更用以收集多個關聯於該目標物件之狀態參數，並依據該些狀態參數及一類神經網路演算法產生一目標物件狀態判斷模型，且該目標物件狀態判斷模型之輸出為該操作參數。
如請求項1所述的智慧操作輔助系統，適用於一高速網路環境，該高速網路環境包括多個無線存取點，該些無線存取點應用第五代行動通訊技術(5^th Generation mobile networks，5G)專用頻譜之企業專網彼此互相連接，且該無線通訊模組係透過該些無線存取點其中一者通訊連接至該人工智慧操作輔助平台。
如請求項1所述的智慧操作輔助系統，其中該顯示模組更用以呈現該操作圖層與該環境影像之一疊合影像。
一種智慧操作輔助方法，包括：以一可攜式裝置之一攝像模組取得一環境影像，該環境影像中具有一目標物件；以該可攜式裝置之一慣性測量單元取得該攝像模組之一拍攝角度；以該可攜式裝置之一處理器控制該可攜式裝置之一無線通訊模組發送該環境影像；以一人工智慧操作輔助平台接收該環境影像並執行一辨識程序以辨識該目標物件；以該人工智慧操作輔助平台依據該目標物件及一物件資料庫產生並發送一操作訊號；以該可攜式裝置之該無線通訊模組接收該操作訊號；以該可攜式裝置之該處理器依據該操作訊號及該拍攝角度產生一操作圖層；以及以該可攜式裝置之一顯示模組呈現該操作圖層；其中該目標物件具有一可讀取數值，該操作訊號更包括一操作參數，且該辨識程序更用以辨識該可讀取數值，該人工智慧操作輔助平台更用以依據該可讀取數值設置該操作參數；該人工智慧操作輔助平台更用以收集多個關聯於該目標物件之狀態參數，並依據該些狀態參數及一類神經網路演算法產生一目標物件狀態判斷模型，且該目標物件狀態判斷模型之輸出為該操作參數；在以該人工智慧操作輔助平台接收該環境影像並執行該辨識程序以辨識該目標物件之前，更包括：以該人工智慧操作輔助平台執行該辨識程序辨識該目標物件週邊的多個可辨識物件；以該人工智慧操作輔助平台依據該些可辨識物件及一物件分布資訊確認該可攜式裝置之座標位置，且依據該座標位置判斷是否具有該目標物件。
如請求項4所述的智慧操作輔助方法，適用於一高速網路環境，該高速網路環境包括多個無線存取點，該些無線存取點應用第五代行動通訊技術(5^th Generation mobile networks，5G)專用頻譜之企業專網彼此互相連接，且該無線通訊模組係透過該些無線存取點其中一者通訊連接至該人工智慧操作輔助平台。
如請求項4所述的智慧操作輔助方法，其中在以該可攜式裝置之該處理器控制該可攜式裝置之該無線通訊模組發送該環境影像之後，更包括：以該人工智慧操作輔助平台載入一三維模型資料庫；以及以該人工智慧操作輔助平台依據該環境影像及該三維模型資料庫執行該辨識程序以獲取一位置資訊；其中以該人工智慧操作輔助平台執行該辨識程序係依據該環境影像及該位置資訊辨識該目標物件。