TWI650638B - 架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組 - Google Patents

Abstract

本發明係提供一種架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，係應用於機台控制器，該系統模組之影像擷取裝置為可接收機台控制器所輸出原始的操作畫面，並傳送至非侵入式資料擷取系統及高速影像處理單元擷取操作畫面中的資訊，使軟體控制系統在基於非侵入式資料擷取系統的架構下，可以即時擷取機台控制器的操作資訊，藉以建構機台操作流程產生對應的機台模擬操作畫面，且影像輸出裝置輸出至機台控制器之螢幕，同時藉由高速影像處理單元的輔助提供現場操作人員即時獲得機台相關操作資訊，包含目前所執行的操作畫面、滑鼠游標的定位與彈出式視窗的檢測，也可利用信號接收裝置及人機介面模擬裝置提供更精確的機台操控程序。

Description

架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組

本發明係提供一種架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，尤指基於非侵入式資料擷取系統的架構下，系統模組可即時擷取機台控制器的操作資訊，並提供現場操作人員一個模擬的原始機台操作畫面，以即時獲得機台相關的操作資訊。

按，現今製造產業面臨勞工短缺及環保意識的高漲、人工與經營成本的提高，並由勞力密集而轉型成技術性密集的壓力，業者大都是運用生產線自動化技術及治具等輔助製造，以達到縮減人力、節省製造工時而提高產能之目的，並在生產線自動化的作業中，係應用廠區不同工站的加工機具或機台進行各種加工、檢驗、清洗、組裝、品管、倉儲與搬送等生產流程，以製造出所需的零組件及完成品。

再者，隨著生產線自動化技術的發展，必須運用更快速的設備及開放的架構來滿足使用需求，所以廠商便開發出各種適用於工業控制的工業電腦，並作為自動化設備的機台與主控裝置間之控制，不過在自動化設備製造的過程中，老舊的機台控制器若要更新升級為具備聯網功能的設備有其困難性，這類機台控制器升級的困難同時出現在硬體設備的擴充與軟體系統的修改上，因此，為了能夠維持這類老舊機台正常地運作， 多採用非侵入式資料擷取系統(Non-invasive Data-extraction System)獲取控制機台的資訊。

請參閱第十圖所示，係為習用非侵入式資料擷取系統架構之示意圖，由圖中可清楚看出，傳統的非侵入式資料擷取系統多使用機台控制器輸出的顯示畫面作為資料的來源，並將顯示畫面同時傳輸給資料擷取系統與機台控制器的螢幕上，即可透過影像辨識進行感興趣區域的擷取〔ROI(Region of Interest)Extraction〕，以及光學字元辨識(Optical Character Recognition，OCR)將螢幕畫面上所顯示的資訊轉換成數位資訊，且機台控制器的操控係透過多電腦切換器(KVM Switch)在資料擷取系統與機台控制器的鍵盤/滑鼠間進行切換，但因其所需資訊可能分佈在機台控制器不同的操作畫面，便需要快速地切換機台控制器的操作畫面，藉以擷取相關的機台狀態與資料，然而，在這樣的情境下，現場操作人員所看到的機台操作畫面多是高速的頁面切換，並在即時擷取機台控制器的資料同時，也使得機台進入無法操控的狀態，便會造成整體功能上受到一定的限制；換言之，當現場操作人員需要操控機台時，便需要先將資料擷取系統暫停後，才可以透過機台控制器操控機台，導致資料擷取系統無法擷取機台控制器的資料，現場操作人員反而無法即時的檢視機台的狀態與資料，則有待從事此行業者重新設計來加以有效解決。

故，發明人有鑑於上述之習用資料擷取系統擷取機台控制 器所輸出操作畫面資料的同時，現場操作人員便無法透過機台控制器操控機台之問題與缺失，乃搜集相關資料經由多方評估及考量，並利用從事於此行業之多年研發經驗不斷試作與修改，始有此種架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組發明專利誕生。

本發明之主要目的乃在於在機台控制器之機台操作程式可產生操控機台原始顯示的操作畫面，而系統模組之影像擷取裝置則可接收機台控制器所輸出原始的操作畫面，並傳送至非侵入式資料擷取系統及高速影像處理單元擷取操作畫面中的資訊，使軟體控制系統在基於非侵入式資料擷取系統的架構下，可以即時擷取機台控制器的操作資訊，藉以建構機台操作流程產生對應的機台模擬操作畫面，且影像輸出裝置輸出至機台控制器之螢幕，同時藉由高速影像處理單元的輔助提供現場操作人員即時獲得機台相關操作資訊，包含目前所執行的操作畫面、滑鼠游標的定位與彈出式視窗的檢測，也可利用信號接收裝置及人機介面模擬裝置傳送對應的控制信號至機台控制器提供更精確的機台操控程序。

本發明之次要目的乃在於高速影像處理單元可以即時的提供包含下列之資訊：辨識出原始的操作畫面中的機台畫面特徵，並將辨識結果的Page-ID附註於操作畫面的影像資料內，使軟體控制系統依據Page-ID週期性更新所對應的操作頁面；高速比對操作畫面中的滑鼠游標圖示影像，並在回傳至軟體控制系統解析的同時，也可定位出滑鼠游標所在的座標，藉以確認滑鼠游標的移動是否符合軟體控制系統所操控的位置；以及定義影像變化的臨界值，可由巨量的影像變化中檢測彈出式視窗的出現，並利用彈出式視窗的檢測將對應的錯誤、報警/警告對話 框或其他相關警報訊息回報至外部中央監控系統，藉以回報有錯誤或異常狀況等警報訊息的發生。

本發明之另一目的乃在於軟體控制系統包含編輯模式與執行模式的二種運作模式，編輯模式主要用於建構機台控制器的操作流程，並由操作流程描述機台操作畫面中各個操作頁面間之關係，對於每一個操作畫面的規劃包含下列之資訊：機台操作畫面中的Page-ID，用以代表其所對應的操作頁面；操作畫面的影像，係比對機台操作畫面中所內嵌的控制元件，藉以建構機台操作流程；一般控制元件的座標與範圍，係標示出切換至其他操作頁面的控制元件；以及首頁/上一頁控制元件的座標與範圍，係標示出切換至首頁或上一頁所使用的控制元件，其中該軟體控制系統可在機台操作畫面自動標示出控制元件，並由預先定義的特徵影像查詢出首頁/上一頁的控制元件，且可透過人機介面模擬裝置對機台控制器傳送控制元件對應的指令，再以樹遍歷演算法逐一的瀏覽機台操作畫面中各個操作頁面，藉以建構機台操作程式的操作流程圖，最後操作流程圖便會記錄所有機台操作程式的操作頁面、所有內嵌在每個操作頁面的控制元件及其所切換對應的操作頁面。

本發明之再一目的乃在於軟體控制系統之執行模式則是共生於非侵入式資料擷取系統中，並由軟體控制系統結合信號接收裝置與機台操作流程得以解析現場操作人員對機台的操作資訊，藉此可產生對應的機台模擬操作畫面；當必要時，軟體控制系統亦可利用人機介面模擬裝置反應控制元件產生的控制信號，下達控制信號傳送給機台控制程式執行現場操作人員輸入的指令。

本發明之又一目的乃在於系統模組基於非侵入式資料擷取系統可以提供現場操作人員一個模擬原始的機台操作畫面，當現場操作人員即時的檢視機台的狀態及資料時，機台的資料擷取不會中斷；系統模組之高速影像處理單元除了可以減低軟體控制系統之中央處理器(CPU)的負擔外，還可以保證其影像處理的即時性，並在回傳機台控制器操作畫面的影像時會附上影像處理的結果，使軟體控制系統可依據此結果採取對應的處理程序；高速影像處理單元回傳的滑鼠游標圖示則可以取代原本人眼的功能，並確認滑鼠游標的移動是否符合軟體控制系統所操控的位置，以完成滑鼠閉迴路控制；軟體控制系統可依據高速影像處理單元所回傳滑鼠游標座標與操作畫面影像辨識的結果，以提供更精確的機台控制程序，且鍵盤/滑鼠所輸入的控制信號會先由軟體控制系統處理，可提供客製化的過濾器設定功能的控制項，避免現場操作人員的誤動作。

1‧‧‧機台控制器

11‧‧‧電腦主機

111‧‧‧鍵盤/滑鼠

12‧‧‧螢幕

2‧‧‧非侵入式資料擷取系統

21‧‧‧感興趣區域的擷取

22‧‧‧光學字元辨識

3‧‧‧系統模組

31‧‧‧影像擷取裝置

32‧‧‧高速影像處理單元

33‧‧‧軟體控制系統

331‧‧‧依據Page-ID週期性更新其所對應的操作頁面

332‧‧‧機台控制器的操作流程

333‧‧‧切換對應的操作頁面

334‧‧‧依據滑鼠按鍵點擊的位置查詢操作流程中所對應的控制元件

34‧‧‧影像輸出裝置

35‧‧‧信號接收裝置

36‧‧‧人機介面模擬裝置

第一圖 係為本發明系統模組透過非侵入式資料擷取系統擷取機台控制器資料輸出機台模擬操作畫面之方塊圖。

第二圖 係為本發明機台控制器執行的機台操作程式之架構圖。

第三圖 係為本發明系統模組建構機台模擬操作畫面之操作流程圖。

第四圖 係為本發明機台模擬操作畫面之主畫面圖。

第五圖 係為本發明校模畫面之操作頁面圖。

第六圖 係為本發明程式編輯畫面之操作頁面圖。

第七圖 係為本發明執行加工監視畫面之操作頁面圖。

第八圖 係為本發明警報顯示畫面之操作頁面圖。

第九圖 係為本發明參數設定之操作頁面圖。

第十圖 係為習用非侵入式資料擷取系統架構之示意圖。

為達成上述目的及功效，本發明所採用之技術手段及其構造，茲繪圖就本發明之較佳實施例詳加說明其構造與功能如下，俾利完全瞭解。

請參閱第一、二、三圖所示，係分別為本發明系統模組透過非侵入式資料擷取系統擷取機台控制器資料輸出機台模擬操作畫面之方塊圖、機台控制器執行的機台操作程式之架構圖及系統模組建構機台模擬操作畫面之操作流程圖，由圖中可清楚看出，本發明之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，係應用於一機台控制器1，該機台控制器1為內建有多頁面控制程式之機台操作程式，而機台控制器1電性連接有包含但不限於桌上型電腦、工作站、伺服器、筆記型電腦或其他用於操控機台運作之控制台，並於控制台具有一電腦主機11，且電腦主機11電性連接有一螢幕12及一鍵盤/滑鼠111。

在本實施例中之機台控制器1電性連接之機台係以多軸細孔或深孔放電加工機為說明，但於實際應用時，並不以此為限，亦可為半導體、印刷電路板、精密電子及光電、機械製造等產業所使用之自動化設備或加工機具，而機台控制器1則可執行機台操作程式，並由機台操作程式產生機台原始顯示的操作畫面，若以放電加工機的操作畫面為說明時，其操作畫面包含可以依序是主畫面、校模畫面、程式編輯畫面、執行加工 監視畫面、警報顯示畫面及系統參數設定畫面之操作頁面，亦可依設計或作業需求在上述之操作畫面中加入有如座標系統畫面、診斷功能畫面等之操作頁面，如第四、五、六、七、八、九圖所示，係分別為上述之操作畫面實施例的主畫面與其他操作頁面，便可根據操作畫面呈現機台運作和生產狀態等資料，例如工作模式、工作座標、加工深度、時間、電流、脈寬等參數之數據，惟該機台控制器1之機台操作程式依據操控的機台具有不同的操作畫面，並於螢幕12顯示之操作畫面可為機台原始的操作畫面，所以在以下說明書中皆一起進行說明，合予陳明。

再者，本發明之機台控制器1電性連接有架構於非侵入式資料擷取系統2之系統模組3，而系統模組3包含一影像擷取裝置31、一高速影像處理單元32、一軟體控制系統33、一影像輸出裝置34、一信號接收裝置35及一人機介面(Human Interface Device，HID)模擬裝置36，其中該軟體控制系統33可驅動影像擷取裝置31接收機台控制器1所輸出之機台操作程式原始顯示的操作畫面影像同時傳送至非侵入式資料擷取系統2，以及高速影像處理單元32進行處理，主要作為光學字元辨識軟體(OCR Software)的影像資料來源，並由非侵入式資料擷取系統2對操作畫面的影像進行感興趣區域的擷取21，以及光學字元辨識22將該影像所顯示的資訊轉換成數位資訊，而高速影像處理單元32則為影像擷取裝置31所擷取的機台操作畫面影像的後級處理單元，並將相關的影像處理演算法建構於其包含現場可程式邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路( Application-Specific Integrated Circuit，ASIC)/特定用途晶片(Application-Specific Standard Product，ASSP)或微處理器等晶片或電路內部，便可提供高速影像辨識、比對、運動偵測及滑鼠游標位置的定位等功能，以及週期性更新上述機台操作畫面中所對應的操作頁面。

然而，上述之非侵入式資料擷取系統2主要用於擷取操作畫面中的資訊，並於系統模組3之軟體控制系統33係接收非侵入式資料擷取系統2所擷取的數位資訊，同時藉由高速影像處理單元32先辨識出原始的操作畫面中的機台畫面特徵(Specific Page-Pattern)資訊，再將辨識結果所得到Page-ID(頁面識別)屬性資料附註或標示於操作畫面的影像資料內，使軟體控制系統33可依據Page-ID得以在每一個週期正確的週期性更新所對應的操作頁面331，並將影像擷取裝置31所擷取的機台操作畫面影像儲存於軟體控制系統33內建的暫存器(Buffer)內，且機台操作畫面為影像輸出裝置34所輸出至機台控制器1的暫存影像，例如典型的客戶端(Producer)-服務端(Consumer)工作模式，係利用暫存器作為資料緩存的功能，而軟體控制系統33則可接收非侵入式資料擷取系統2所擷取的全部或部分數位資訊，並解析高速影像處理單元32回傳的機台操作資訊，並經過後製處理以產生機台模擬操作畫面，例如可在機台操作畫面中加上滑鼠游標及鍵盤輸入等效果，或者是機台操作畫面中各個操作頁面可內嵌有對話框(Dialog Box)、按鍵( Button)或資料列表(Data List)等控制元件，並為其控制元件連結特定的處理函式。

此外，信號接收裝置35係用於接收來自實體鍵盤/滑鼠111所輸入的控制信號，並將控制信號透過HID數據緩衝器(HID Data Buffer)，以及HID檢測(Detection)/數據轉寄(Data Forwarder)功能傳送至軟體控制系統33進行處理，再依據滑鼠按鍵點擊(Mouse-Clicking)的位置查詢操作流程中所對應的控制元件334，也可暫存鍵盤輸入(Key-in)的資料，而人機介面模擬裝置36則可以軟體控制系統33之微控制器(MCU)模擬鍵盤/滑鼠傳送對應的控制信號，並由HID數據緩衝器暫存控制信號，以及HID檢測/數據轉寄功能依據滑鼠游標移動(Mouse-Moving)與滑鼠點擊位置反應鍵盤/滑鼠輸入的控制信號，使軟體控制系統33可利用人機介面模擬裝置36將反應滑鼠游標移動與滑鼠點擊控制元件產生的控制信號傳送至機台控制器1之電腦主機11，並在軟體控制系統33依據控制元件切換至其所對應的操作頁面時，可利用鍵盤進行實際的資料輸入。

在本實施例中之高速影像處理單元32可以即時的提供包含下列之資訊：辨識出原始的操作畫面中的機台畫面特徵，並將辨識結果的Page-ID附註於操作畫面的影像資料內，使軟體控制系統33依據Page-ID週期性更新其所對應的操作頁面331；高速比對操作畫面中的滑鼠游標圖示影像，並在回傳至軟體控制系統33解析的同時，也可定位出滑鼠游標(Mouse Cursor Lacator)所 在的座標，藉以確認滑鼠游標的移動是否符合軟體控制系統33所操控的位置；以及定義影像變化的臨界值，可由巨量的影像變化中檢測彈出式視窗的出現，並利用彈出式視窗的檢測(Pop-Up Window Detection)將對應的錯誤、報警/警告對話框(Alarm/Warning Message-Box)或其他相關的警報訊息回報至外部中央監控系統〔如電腦整合製造(Computer Integrated Manufacturing，CIM)、製造執行系統(Manufacturing Execution System，MES)或其他電腦製成整合系統〕，藉以回報有錯誤或異常狀況等警報訊息的發生；其中該機台畫面特徵指的是使用者依據每個機台操作畫面所預先設定足以代表該操作畫面的特徵影像，並於單一畫面(如主畫面、操作頁面等)可以有多個特徵影像，對於影像擷取裝置31所擷取的機台操作畫面，高速影像處理單元32可將該些特徵影像回傳至軟體控制系統33來解析現場操作人員透過機台控制器1對機台的控制；而影像變化的臨界值指的是用來界定操作畫面的影像是否趨於穩定的臨界值，例如可以檢測彈出式視窗的出現，並避免高速影像處理單元32擷取正在“換頁中”的機台操作畫面產生非預期的誤動作。

如上所述，軟體控制系統33包含編輯模式與執行模式的二種運作模式，其中該編輯模式主要用於建構機台控制器1的操作流程332，並由操作流程可描述機台操作畫面中各個操作頁面間之關係，對於每一個操作畫面需事先規劃包含下列之資訊：機台操作畫面中的Page -ID，用以代表其所對應的操作頁面；操作畫面的影像，係比對機台操作畫面中內嵌的控制元件，藉以建構機台操作流程的關係；一般控制元件的座標與範圍，係標示出切換至其他操作頁面的控制元件；以及首頁(Home)/上一頁(Return)控制元件的座標與範圍，係標示出切換至首頁或上一頁所使用的特殊控制元件；其中該軟體控制系統33係利用影像擷取裝置31擷取機台操作畫面的影像，以及高速影像處理單元32所回傳的機台操作資訊，使軟體控制系統33可透過影像識別、比對、分析等方式，在機台操作畫面中自動標示出可能的控制元件，例如按鍵、顯示燈號等，並由預先定義的特徵影像(Image Pattern)可以查詢出首頁/上一頁的控制元件，且可利用人機介面模擬裝置36對機台控制器1傳送反應滑鼠游標移動與滑鼠點擊控制元件對應的指令，再以樹遍歷演算法(Tree Traversal Algorithm)對樹狀資料結構所有節點進行逐一訪問，便可完整的瀏覽機台操作畫面中各個操作頁面，藉以建構整個機台操作程式的操作流程圖，最後，操作流程圖便會記錄所有機台操作程式的操作頁面、所有內嵌在每個操作頁面的控制元件及其所切換對應的操作頁面333，且可解析高速影像處理單元32所回傳影像處理後的機台操作資訊，得以更新軟體控制系統33狀態。

而軟體控制系統33之執行模式則是共生於非侵入式資料擷取系統2中，並利用影像擷取裝置31擷取機台控制器1之機台控制程式所輸出機台操作畫面的影像，且非侵入式資料擷取系統2擷取操作畫面中的資訊，再依據高速影像處理單元32回傳的Page-ID週期性更 新其所對應的操作頁面331，便可藉由軟體控制系統33結合信號接收裝置35與機台操作流程得以解析現場操作人員對機台的操作資訊，藉此產生對應的機台模擬操作畫面；當必要時，軟體控制系統33亦可利用人機介面模擬裝置36將反應滑鼠游標移動與滑鼠點擊控制元件產生的控制信號傳送至機台控制器1，用以下達控制信號的指令傳送給機台控制程式執行現場操作人員輸入的指令。

如第二、三圖所示，在本實施例中之機台控制器1於機台操作程式所產生之操作畫面間的切換都有對應的按鍵/熱鍵，因此，每一個操作畫面需要記錄與其他操作頁面的關係，例如在主畫面中，對於系統參數設定畫面(如第九圖所示)除了需要記錄所使用的熱鍵(F6)外，同時也需要標記所對應該按鍵的座標與範圍，而完整的機台操作畫面與其他操作頁面的標示，如第二、三圖所示，當軟體控制系統33經由信號接收裝置35接收到來自電腦主機11之鍵盤/滑鼠111的控制信號時，例如滑鼠按鍵點擊或鍵盤按壓之熱鍵等，便可藉由比對高速影像處理單元32回傳機台操作資訊中每個操作頁面所標示的資料，採取對應的處理，例如首頁/上一頁的控制元件切換操作頁面，當每個操作頁面與其他操作頁面的關係都能明確的定義後，使用者就能依據該些操作頁面間的關係，為軟體控制系統33規劃出一條可完整的瀏覽機台操作畫面中各個操作頁面的途徑，即為軟體控制系統33對機台控制器1所建構整個機台操作程式的操作流程圖；再者，上述之機台操作畫面中切換各個操作畫面所使用對應的按鍵/熱鍵包含但不限於按鍵一~七、熱鍵F1~F7，且各操作畫面實際上使用對應的按鍵/熱鍵及其依序切換的方式等，亦可依據特定 的使用狀況或權限進行相關的設定，所以在本說明書中僅作一簡單敘述，不因圖式第二至九圖中所揭露之示例性實施例而限制。

在本實施例中，當現場操作人員在操作電腦主機11之鍵盤/滑鼠111時，可由信號接收裝置35接收實體鍵盤/滑鼠111輸入的控制信號，並將輸入的資料傳送至軟體控制系統33接收進行處理，如果僅是操作頁面的轉換，軟體控制系統33負責由儲存於其暫存器內的機台操作畫面影像取出對應的機台操作畫面，若是涉及機台參數設定畫面的設定時，除了反應在軟體控制系統33的輸入控制項外，其所輸入的數據資料會先暫存於軟體控制系統33的暫存器內，並在軟體控制系統33將機台操作畫面切換至目標操作頁面時，便可利用人機介面模擬裝置36對機台控制器1之機台控制程式進行傳送控制信號的指令，以執行現場操作人員實際的資料輸入。

在本實施例中，軟體控制系統33係利用下列之操作程序來實現機台控制器1對機台操作模擬的功能：在每次非侵入式資料擷取系統2週期性擷取操作畫面資訊的循環中，可以儲存影像擷取裝置31所擷取的機台操作畫面；解析高速影像處理單元32所回傳的機台操作資訊，更新軟體控制系統33的狀態，包含滑鼠游標位置的定位、機台操控程式目前所執行操作畫面中的操作頁面、對應機台操作流程在每個操作頁面的控制元件記錄；當檢測到彈出式視窗出現時，可將對應的錯誤、警告對話框等警報訊息回報至外部中央監控系統，亦可利用人機介面模擬裝置36解除錯誤/警告對話框，使非侵入式資料擷取系統2持續進行機台操作畫面資料擷取的程序；接收信號接收裝置35所傳送的控制信號，係對應現 場操作人員進行的滑鼠按鍵點擊比對機台操作流程中控制元件的範圍與點擊的座標位置，並依據機台操作流程確認出滑鼠點擊的位置在控制元件有效範圍內，則可利用影像輸出裝置34來將控制元件所連結的機台模擬操作畫面輸出至機台控制器1之螢幕12；利用信號接收裝置35暫存對應現場操作人員進行的鍵盤輸入資料，並在切換至對應的操作頁面時，可利用人機介面模擬裝置36對機台控制器1進行實際的資料輸入。

由於現場操作人員經由機台控制器1所輸入的鍵盤的控制信號，可利用信號接收裝置35接收傳送至軟體控制系統33進行處理，並由人機介面模擬裝置36再轉發給機台控制器1，因此，可依據特定的使用狀況或權限設定軟體控制系統33上的控制項，例如對設備工程師僅開放機台參數設定的功能；而對作業員的權限，則可以過濾所有設定功能的控制項，只允許作業員瀏覽機台狀態及資料。

是以，本發明主要針對機台控制器1之機台操作程式可以產生機台原始的操作畫面，基於非侵入式資料擷取系統2的架構下，可利用系統模組3之影像擷取裝置31接收機台控制器1所輸出的操作畫面，並傳送至非侵入式資料擷取系統2及高速影像處理單元32擷取操作畫面中的資訊，使軟體控制系統33可以即時擷取機台控制器1的操作資訊，藉以建構機台操作流程產生對應的機台模擬操作畫面，且影像輸出裝置34輸出至機台控制器1之螢幕12，同時藉由高速影像處理單元32的輔助可提供現場操作人員即時獲得機台相關的操作資訊，包含目前所執行的操作畫面、滑鼠游標的定位與彈出式視窗的檢測，也可利用信號接收裝置34及人機介面模擬裝置35提供更精確的機台操控程序。

上述詳細說明為針對本發明一種較佳之可行實施例說明而已，惟該實施例並非用以限定本發明之申請專利範圍，凡其他未脫離本發明所揭示之技藝精神下所完成之均等變化與修飾變更，均應包含於本發明所涵蓋之專利範圍中。

綜上所述，本發明上述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組於使用時為確實能達到其功效及目的，故本發明誠為一實用性優異之發明，實符合發明專利之申請要件，爰依法提出申請，盼 審委早日賜准本案，以保障發明人之辛苦發明，倘若 鈞局有任何稽疑，請不吝來函指示，發明人定當竭力配合，實感德便。

Claims (14)

1. 一種架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，係應用於一機台控制器，用以操控機台，該系統模組包含：一影像擷取裝置，用於接收該機台控制器之機台控制程式輸出原始的機台操作畫面，並傳送至該非侵入式資料擷取系統擷取該機台操作畫面中的資訊；一高速影像處理單元，係接收該機台操作畫面，用於提供影像處理後的機台操作資訊，包含：辨識出該機台操作畫面中的機台畫面特徵，並將辨識結果的Page-ID附註於該機台操作畫面的影像資料內；高速比對該機台操作畫面中的滑鼠游標圖示，並定位該滑鼠游標圖示所在的座標；以及定義影像變化的臨界值，用於檢測彈出式視窗的出現；一軟體控制系統，係接收該非侵入式資料擷取系統的資訊，並解析該高速影像處理單元所回傳的該機台操作資訊，包含：依據該Page-ID週期性更新該機台操作畫面中所對應的操作頁面，比對該操作頁面中所內嵌控制元件的座標與範圍，藉以建構該機台控制器的操作流程產生對應的機台模擬操作畫面；當該高速影像處理單元檢測到該彈出式視窗的出現時回報對應的警報訊息；一影像輸出裝置，用於將該控制元件所連結的該機台模擬操作畫面輸出至該機台控制器之螢幕；一信號接收裝置，用於將該機台控制器所輸入之鍵盤/滑鼠控制信號傳送至該軟體控制系統進行處理，並依據滑鼠按鍵點擊的位置查詢該 機台控制器的操作流程中所對應的該控制元件；以及一人機介面模擬裝置，用於模擬鍵盤/滑鼠傳送對應的控制信號至該機台控制器執行輸入的指令。
2. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該機台控制器具有一電腦主機及其電性連接之該螢幕，且該電腦主機電性連接有該鍵盤/滑鼠。
3. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該機台控制器為內建有機台操作程式，並由該機台操作程式產生原始顯示的該機台操作畫面，且該機台操作畫面包含可以是主畫面、校模畫面、程式編輯畫面、執行加工監視畫面、警報顯示畫面及系統參數設定畫面之操作頁面。
4. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該非侵入式資料擷取系統用於接收該機台控制器所輸出之該機台控制程式原始的該機台操作畫面，並對該機台操作畫面的影像進行感興趣區域的擷取，以及光學字元辨識來將影像所顯示的資訊轉換成數位資訊。
5. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該系統模組之該影像擷取裝置擷取的該機台操作畫面影像為儲存於該軟體控制系統內建的暫存器內，係該影像輸出裝置所輸出至該機台控制器的暫存影像。
6. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該系統模組之該高速影像處理單元為該 影像擷取裝置所擷取的該機台操作畫面影像的後級處理單元，並將影像處理演算法建構於包含現場可程式邏輯閘陣列、特殊應用積體電路/特定用途晶片或微處理器內。
7. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該系統模組之該高速影像處理單元辨識的該機台畫面特徵係使用者依據每個該機台操作畫面預先設定的特徵影像，並將該些特徵影像回傳至該軟體控制系統解析現場操作人員透過該機台控制器對該機台的控制，而該影像變化的臨界值係用來界定該機台操作畫面的影像是否趨於穩定的臨界值，藉以檢測該彈出式視窗的出現。
8. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該系統模組之該軟體控制系統包含編輯模式與執行模式，編輯模式用於建構該機台控制器的操作流程，並由該機台控制器的操作流程描述該機台操作畫面中各個該些操作頁面間之關係，而執行模式則是共生於該非侵入式資料擷取系統中，並由該軟體控制系統結合該信號接收裝置與該機台控制器的操作流程得以解析現場操作人員對該機台的操作資訊，藉此產生對應的該機台模擬操作畫面，也可利用該人機介面模擬裝置反應該控制元件產生的該控制信號傳送至該機台控制器。
9. 如申請專利範圍第8項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該軟體控制系統之編輯模式對於每一個該機台操作畫面規劃包含下列之資訊：該機台操作畫面中的該Pag e-ID，用以代表其所對應的操作頁面；操作畫面的影像，係比對該機台操作畫面中所內嵌的該控制元件，藉以建構該機台控制器的操作流程；一般控制元件的座標與範圍，係標示出切換至其他操作頁面的控制元件；以及首頁/上一頁控制元件的座標與範圍，係標示出切換至首頁或上一頁所使用的控制元件。
10. 如申請專利範圍第9項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該軟體控制系統可在機台操作畫面自動標示出該控制元件，並由預先定義的特徵影像可查詢出該首頁/上一頁控制元件，且該人機介面模擬裝置對該機台控制器傳送該控制元件對應的指令，再以樹遍歷演算法逐一的瀏覽該機台操作畫面中各個該些操作頁面，藉以建構該機台操作程式的該操作流程圖，最後該操作流程圖便會記錄所有機台操作程式的該些操作頁面、所有內嵌在每個該些操作頁面的該控制元件及其所切換對應的該操作頁面。
11. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該系統模組之該軟體控制系統可儲存該影像擷取裝置所擷取的機台操作畫面，並解析該高速影像處理單元回傳的該機台操作資訊更新狀態，包含滑鼠游標位置的定位、機台操控程式目前執行操作畫面中的該操作頁面、對應該機台控制器的操作流程每個該些操作頁面的該控制元件記錄。
12. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該系統模組之該軟體控制系統在該 高速影像處理單元檢測到該彈出式視窗的出現時，可將對應的錯誤、警告對話框之警報訊息回報至外部中央監控系統有錯誤或狀況的發生，且可利用該人機介面模擬裝置解除警報訊息，使該非侵入式資料擷取系統持續進行機台操作畫面資料擷取的程序。
13. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該系統模組之該軟體控制系統可接收該信號接收裝置所傳送的控制信號，係對應現場操作人員進行的該滑鼠按鍵點擊比對該機台控制器的操作流程中該控制元件的範圍與點擊的座標位置，並依據該機台控制器的操作流程確認滑鼠點擊的位置在該控制元件有效範圍內，則可利用該影像輸出裝置將該控制元件所連結的該機台模擬操作畫面輸出至該機台控制器之螢幕。
14. 如申請專利範圍第1項所述之架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組，其中該系統模組之該軟體控制系統可由該信號接收裝置暫存對應現場操作人員進行的鍵盤輸入資料，並在切換至對應的該操作頁面時，可利用該人機介面模擬裝置對該機台控制器進行實際的資料輸入。