TWI798514B - 人工智慧輔助擴增實境系統與方法、電腦程式產品 - Google Patents

人工智慧輔助擴增實境系統與方法、電腦程式產品 Download PDF

Info

Publication number
TWI798514B
TWI798514B TW108147691A TW108147691A TWI798514B TW I798514 B TWI798514 B TW I798514B TW 108147691 A TW108147691 A TW 108147691A TW 108147691 A TW108147691 A TW 108147691A TW I798514 B TWI798514 B TW I798514B
Authority
TW
Taiwan
Prior art keywords
augmented reality
reality device
field
checkpoint
artificial intelligence
Prior art date
Application number
TW108147691A
Other languages
English (en)
Other versions
TW202125391A (zh
Inventor
蘇愷宏
羅一欽
陳泳岑
林永祥
Original Assignee
亞達科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 亞達科技股份有限公司 filed Critical 亞達科技股份有限公司
Priority to TW108147691A priority Critical patent/TWI798514B/zh
Priority to US16/846,395 priority patent/US11386624B2/en
Priority to GB2007217.9A priority patent/GB2590741B/en
Priority to NL2025739A priority patent/NL2025739B1/en
Publication of TW202125391A publication Critical patent/TW202125391A/zh
Application granted granted Critical
Publication of TWI798514B publication Critical patent/TWI798514B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明提出一種新的標準作業流程軟體編輯工具。以擴增實境裝置(augmented reality，AR)為載體，整合了3D立體模型、語音提示、視訊、照片比對、提示框以及文字說明等資源，並導入AI人工智慧以及輔以3D空間位置導引機制跟模擬作業實境，讓標準作業流程的編輯更易於使用與直觀。

Description

人工智慧輔助擴增實境系統與方法、電腦 程式產品
本發明是將標準作業流程的編輯與使用導入AI人工智慧與AR擴增實境裝置，以一種截然不同的方式來執行標準作業流程。
一般工作場域作業，需仰賴於員工的專業能力來對應於複雜的工作內容。對於員工的技術養成不外乎基礎訓練、專長訓練、職業內訓練(on job training，OTJ)。常理上通過以上訓練的人員，在工作一段時間後應該可以將人為錯誤控制在一定比例下，但實際上常常發生因無效訓練導致的人為錯誤。此外，員工所執行的作業有時需要標準作業程序(Standard Operating Procedures，SOP)。工業場域中，對於各種維修和組裝，一直都是圖文搭配的描述，來對作業的操作進行流程說明，但不同撰寫維修手冊的人基於各自的認知、習性、與背景知識，即便對相同物件的描述方式也可能不同。此外，全球各地的閱讀者各自有不同的文化、教育和環境差異， 因此閱讀後的理解和行為也有極大的差異。然而在高度精密複雜的環境中，因為上述的差異所造成的失誤成本，代價極為高昂；傳統的做法，就是以標準作業流程文件當教材來對員工做教育訓練，或者一邊操作時，一邊停下來了解內容，這些都是時間的浪費。
本發明的實施例提出一種人工智慧輔助擴增實境系統，包括擴增實境裝置與電腦系統。電腦系統用以提供使用者介面以建立一專案，此專案用以編輯立體場景、位於立體場景之中的檢查點、與對應至檢查點的提示內容。電腦系統用以根據專案產生軟體模組給擴增實境裝置。擴增實境裝置用以執行軟體模組並判斷擴增實境裝置在真實空間的位置。當擴增實境裝置在真實空間的位置對應至檢查點時，擴增實境裝置提供提示內容。
在一些實施例中，電腦系統還用以載入標準作業程序檔案並且建立結構性資料集，此結構性資料集包括多個欄位，這些欄位包括核心欄位、工具欄位、規範欄位與連接欄位。電腦系統用以分析標準作業程序檔案以從標準作業程序檔案中取得多個字詞以填入欄位以產生提示內容所包含的祈使句。
在一些實施例中，上述的祈使句屬於多個組合的其中之一，這些組合包括：第一組合，由核心欄位所組成；第二組合，由核心欄位以及工具欄位、規範欄位和連接欄位的其中之一所組成；第三組合，由核心欄位以及工具欄位、規範欄 位和連接欄位的其中之二所組成；以及第四組合，由核心欄位、工具欄位、規範欄位和連接欄位所組成。
在一些實施例中，上述的祈使句包括動詞與名詞，電腦系統還用以根據多個候選介係詞的機率以及候選介係詞與動詞或名詞的條件機率來選擇其中一個候選介係詞以做為祈使句的一介系詞。
在一些實施例中，當擴增實境裝置在真實空間的位置不對應至檢查點時，擴增實境裝置根據檢查點與位置之間的相對距離與相對方向顯示導引物件。當擴增實境裝置的位置靠近檢查點時，擴增實境裝置放大導引物件，當擴增實境裝置的位置遠離檢查點時，擴增實境裝置縮小導引物件。因此，擴增實境裝置能在真實空間中根據檢查點的位置提供導引物件來導引使用者至檢查點位置。
在一些實施例中，擴增實境裝置還用以顯示橫軸與縱軸，橫軸上顯示目前水平位置與對應至檢查點的目標水平位置，縱軸上顯示目前垂直位置與對應至檢查點的目標垂直位置。
在一些實施例中，上述的提示內容包括關於物件的標準參照畫面。擴增實境裝置用以擷取即時影像，辨識即時影像中的物件，並將標準參照畫面加入即時影像或顯示於透明顯示器中以混和物件與標準參照畫面。
在一些實施例中，上述的提示內容還包括音訊、影片、文字或關於物件的視角畫面。
以另外一個角度來說，本發明的實施例還提出一 種人工智慧輔助擴增實境方法，適用於電腦系統。此人工智慧輔助擴增實境方法包括：提供使用者介面以建立專案，此專案用以編輯立體場景、位於立體場景之中的檢查點、與對應至檢查點的提示內容；根據專案產生軟體模組給擴增實境裝置，此擴增實境裝置用以執行軟體模組並判斷擴增實境裝置在真實空間的位置；以及當擴增實境裝置在真實空間的位置對應至檢查點時，透過擴增實境裝置提供提示內容。
以另外一個角度來說，本發明的實施例還提出一種電腦程式產品，被載入至一電腦系統以執行多個步驟：提供使用者介面以建立專案，此專案用以編輯立體場景、位於立體場景之中的檢查點、與對應至檢查點的提示內容；根據專案產生軟體模組給擴增實境裝置，其中擴增實境裝置用以執行軟體模組並判斷擴增實境裝置在真實空間的位置，當擴增實境裝置在真實空間的位置對應至檢查點時，擴增實境裝置提供提示內容。
在上述的方法中，使用者可以透過使用者介面來編輯標準作業流程，並不需要自己寫程式，並且透過擴增實境系統的操作可以釋放使用者的雙手。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧人工智慧輔助擴增實境系統
110‧‧‧電腦系統
111‧‧‧擴增實境裝置
112‧‧‧標準作業程序模組
113‧‧‧人工智慧模組
120‧‧‧擴增實境裝置
130、140、150‧‧‧伺服器
131‧‧‧專家系統
132‧‧‧特徵資料收集策略模組
133‧‧‧訓練器
134‧‧‧人工智慧模型
142‧‧‧ADB資料
143‧‧‧儀表板介面
151‧‧‧標準作業程序升級工程機器人模組
160‧‧‧遠端裝置
ADA‧‧‧資料庫代理人
AO‧‧‧組織模組
ASP‧‧‧標準作業程序列印模組
ADB‧‧‧人工智慧輔助擴增實境標準作業流程開發工具
AD‧‧‧佈署模組
AU‧‧‧更新器
AMB‧‧‧人工智慧模型生成工具
300‧‧‧使用者介面
310、320、330‧‧‧欄位
321‧‧‧檢查點
341‧‧‧導引物件
350‧‧‧橫軸
351‧‧‧目前水平位置
352‧‧‧目標水平位置
360‧‧‧縱軸
361‧‧‧目前垂直位置
362‧‧‧目標垂直位置
370‧‧‧文字框
380‧‧‧標準參照畫面
400‧‧‧結構性資料集
410‧‧‧核心欄位
420‧‧‧工具欄位
430‧‧‧規範欄位
440‧‧‧連接欄位
601~603‧‧‧步驟
[圖1]是根據一實施例繪示人工智慧輔助擴增實境系統的示意圖。
[圖2]是根據一實施例繪示人工智慧輔助擴增實境標準作業流程開發工具ADB的應用示意圖。
[圖3A]是根據一實施例繪示使用者介面的示意圖。
[圖3B]是根據一實施例繪示導引物件的示意圖。
[圖3C]是根據一實施例繪示在擴增實境裝置上所看到的虛實疊合場景的示意圖。
[圖4]是根據一實施例繪示結構性資料集的示意圖。
[圖5]是根據一實施例繪示多種句型的範例表格。
[圖6]是根據一實施例繪示人工智慧輔助擴增實境方法的流程圖。
關於本文中所使用之『第一』、『第二』、...等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。
本揭露提出的技術將人工智慧(artificial intelligence，AI)與擴增實境(augmented reality，AR)兩領域結合，亦可稱為AIR。以下揭露的實施例包括了人工智慧輔助擴增實境標準作業流程開發工具(AIR design builder，ADB)，使用者可以利用這個工具去定義標準作業程序跟標準作業程序裡的三維數值模型、導航資訊、作業流程、遠端監測、異常偵測細節，將標準作業程序輸出到擴增實境裝置上應用在 不同場域。這個工具結合標準作業程序升級工程機器人(SOP Upgrade Program Engineering Robot，SUPER)與人工智慧模型開發工具(AI Model builder，AMB)功能可提供人工智慧流程最佳化機器人，也就是把AI影像辨識功能結合到標準作業流程的步驟中，功效在於對標準作業程序進行認知負荷最低化，減少人為錯誤發生的機會。
圖1是根據一實施例繪示人工智慧輔助擴增實境系統的示意圖。請參照圖1，人工智慧輔助擴增實境系統100包括了電腦系統110與擴增實境裝置120。電腦系統110可以包括一或多個伺服器與資料庫。舉例來說，電腦系統110包括了資料庫111、資料庫代理人ADA、組織模組AO、標準作業程序模組112、佈署模組AD與人工智慧模組113。在此所稱的每個模組可以包括一或多個程序、函式庫或雲端服務，由電腦系統110中的伺服器所執行。
資料庫代理人ADA用以提供一個介面，讓電腦系統110中其他的模組存取資料庫111。組織模組AO用以組織資料庫111中的資料。佈署模組AD是用以將最終建立好的軟體模組佈署在資料庫111中，這個軟體模組是用以傳送至擴增實境裝置120上執行。在一些實施例中，遠端裝置160中包括了更新器AU，用以存取或更新資料庫111中的資料。
標準作業程序模組112包括了標準作業程序列印模組ASP與人工智慧輔助擴增實境標準作業流程開發工具ADB，其功能將詳細描述如下。
人工智慧模組113包括了人工智慧模型生成工具 AMB，其中包括了伺服器130、140與150。伺服器130是用以訓練出人工智慧模型134(亦稱機器學習模型)，伺服器130包括了專家系統131、特徵資料收集策略模組132與訓練器133。特徵資料收集策略模組132是用以基於可量測物理量列出所有可量測標籤，考慮資料可取得性與數量，決定資料集收集策略。伺服器140是用以做推論(inference)，其中包括了人工智慧模型134、ADB資料142與儀表板介面143。伺服器150包括了標準作業程序升級工程機器人模組151，用以提供上述的SUPER功能。
圖2是根據一實施例繪示人工智慧輔助擴增實境標準作業流程開發工具ADB的應用示意圖。請參照圖2，人工智慧模型生成工具AMB是用以建立並管理一或多個人工智慧模型134，這些人工智慧模型134可用以偵測物件、偵測異常事件、辨識根本原因(root cause)、執行自然語言處理(natural language processing)等，本發明並不在此限。人工智慧模型生成工具AMB提供了這些人工智慧模型134給人工智慧輔助擴增實境標準作業流程開發工具ADB。人工智慧輔助擴增實境標準作業流程開發工具ADB另外提供使用者介面，讓使用者建立一個專案，此專案是要讀取或建立標準作業程序，並根據標準作業程序提供一或多個軟體模組給擴增實境裝置120，這些軟體模組可以包括程式碼、函式庫或軟體包等。
擴增實境裝置120可以實作為一個智慧型眼鏡、智慧型手機、平板電腦、監視系統等，其中至少包括了顯示器、處理器、慣性量測單元、深度感測器或其組合。舉例來說，當 擴增實境裝置120為智慧型眼鏡時，智慧型眼鏡包括了一個透明顯示器讓使用者可以看見真實場景，而透明顯示器上會顯示文字或圖示等虛擬物件以產生虛實疊合影像。當擴增實境裝置120為智慧型手機或平板電腦時，擴增實境裝置120還包括影像感測器以擷取真實場景，真實場景與虛擬物件會一起顯示在顯示器上。擴增實境裝置120還可以透過慣性感測單元計算出自身在真實空間的位置，此位置也可以透過影像辨識的方式予以校正，例如擷取真實空間的點雲，將此點雲與資料庫中的點雲進行配對來校正位置。擴增實境裝置120執行上述的軟體模組時可以提供導航、語音提示、文字提示、影像提示、辨識異常狀況、物件偵測等功能。
以下將詳細描述人工智慧輔助擴增實境標準作業流程開發工具ADB所提供的使用者介面，為了簡化起見，以下將人工智慧輔助擴增實境標準作業流程開發工具ADB執行的操作以及標準作業程序升級工程機器人模組151執行的操作一併稱由電腦系統110所執行。圖3A是根據一實施例繪示使用者介面的示意圖。請參照圖3A，使用者介面300包括欄位310、320、330。使用者可以建立新的專案或是讀取舊專案，這些專案是用以編輯標準作業程序，此編輯標準作業程序可觀於工具機的操作、維修、檢查、安裝等等，本發明並不限制標準作業程序的內容。使用者可以編輯的資訊包括：程序名稱、程序目的、機器型號、工作情境、次模組、軟體釋出版本等。使用者也可以匯入BOM(bill of material)檔案、OPC(Open Packaging Conventions)檔案或任意合適的檔案。
欄位310是用以編輯標準作業程序中各步驟的順序與名稱，使用者可以自行輸入各步驟或者由電腦系統110載入一個標準作業程序檔案並自動地產生各步驟的文字描述(將以祈使句的形式呈現，以下再詳細描述)。欄位310中包括了兩項資訊：步驟名稱與步驟描述，使用者可以在欄位310中增加步驟、刪除步驟、***步驟、調整步驟順序等等。
在欄位320是以三維方式呈現一個立體場景，此立體場景是對應到真實空間(例如工廠或實驗室)。使用者可以讀取並匯入現有工業標準三維數值模型檔案以為建構步驟，在步驟編輯時呈現三維數值模型、擴增實境裝置資訊、及其他與該步驟有關的三維物件。三維物件包括三維數值模型、重疊的E影像(overlapping E-Image，OEI)、導航目標、E影像(E-Image Aside，EIA)。使用者可以加入三維物件、刪除三維物件、移動三維物件、旋轉三維物件、放大/縮小、編輯三維物件參數，包含位置、旋轉角度、比例。欄位320還包括以三維物件呈現的檢查點321，使用者可以用滑鼠拖拉物件的方式編輯檢查點321在此立體場景的三維相對位置，代表使用者必須在真實空間內移動到此檢查點所對應的位置以進行標準作業程序。
欄位330則可以進行攝影機視角設定，如俯視、上視、側視，在此攝影機視角指的是擴增實境裝置120的視角。欄位330也可以用以編輯擴增實境裝置120所要顯示的影像或文字，也可用以編輯.eia檔案、編輯導航座標、載入三維數值模型、載入影片等等。在欄位330中也可以將所有OEI及所有 導航目標各輸出成一個總表，同時也編輯擴增實境裝置顯示的文字內容與指派圖片檔。如果使用者需要設定跳步驟程序也可以在這個功能設定當程序執行到特定步驟時，跳躍到指定的步驟。以另一個角度來說，欄位330可用以編輯每個檢查點321的提示內容，此提示內容包括了標準作業程序中一個步驟的內容，提示內容的形式可以是音訊、影片、文字、影像等，當擴增實境裝置120判斷自身在真實空間的位置對應至一個檢查點時，擴增實境裝置120會顯示此檢查點所對應的提示內容。
在一些實施例中，對於每一個檢查點電腦系統110都會建立一個導引物件，此導引物件會顯示在擴增實境裝置120的顯示器上。當擴增實境裝置120在真實空間的位置不對應至檢查點321時，擴增實境裝置120會根據檢查點321與本身的相對距離與相對方向顯示此導引物件，當自身的位置靠近檢查點時，擴增實境裝置120會放大此導引物件341(如圖3B的左圖所示)；當擴增實境裝置120自己的位置遠離檢查點時，擴增實境裝置120會縮小導引物件341(如圖3B的右圖所示)。如此一來，導引物件341可以導引使用者走向檢查點。在一些實施例中，導引物件341為黃色的球形圖示，但在其他實施例中也可以具有其他形狀與顏色，本發明並不在此限。
圖3C是根據一實施例繪示擴增實境裝置120所顯示的虛實疊合場景。在圖3C的實施例中，擴增實境裝置120會顯示橫軸350、縱軸360、文字框370與一個標準參照畫面380。橫軸350上顯示一目前水平位置351與對應至檢查點的目標水平位置352，據此使用者可以知道檢查點在自身位置的右側(或 左側)。縱軸360上顯示目前垂直位置361與對應至檢查點的目標垂直位置362，據此使用者可以知道自己必須抬頭(或低頭)。
在一些實施例中，擴增實境裝置120用以透過一影像感測器擷取即時影像，辨識即時影像中的一特定物件，取得此特定物件所對應的標準參照畫面380，並將標準參照畫面380加入即時影像中或顯示於一透明顯示器中以混和此物件與標準參照畫面380。如圖3C所示，使用者可以比對真實空間內的物件與標準參照畫面380內顯示的物件是否相同，在此例子中是要判斷眼前機台的線路是否連接至正確的位置。在一些實施例中，擴增實境裝置120也可以顯示物件的另一個視角畫面，例如使用者正看到物件的正面，而擴增實境裝置120可以顯示物件的背面或側面。
文字框370可用以顯示標準作業程序中的各個步驟，並且透過改變亮度、顏色、文字框370大小等方式提示使用者目前執行到哪個步驟。如此一來使用者可以明瞭目前已完成以及尚未完成的步驟。
以下將說明電腦系統110如何自動分析標準作業程序檔案，在此，標準作業程序檔案可以是pdf檔案、word檔案、純文字檔或是影像檔。電腦系統110可以直接或透過光學字元辨識等手段從標準作業程序檔案中取得文字。此外，電腦系統110也從這些文字中取得多個字詞並將這些字詞分類為動詞、名詞、形容詞、受詞、副詞等等。在此，電腦系統110可以採用任意關於自然語言處理的演算法或函式庫。例如，在此採用的演算法是關於字詞切割(word segmentation)、標記 (tagging)與解析(parsing)，採用的函式庫例如為CKIP(CHINESE KNOWLEDGE AND INFORMATION PROCESSING)、結巴中文分詞(Jieba)等等，本發明並不在此限。
此外，請參照圖4，電腦系統110還會建立一個結構性資料集400，此結構性資料集400包括多個欄位，例如包括核心欄位410、工具欄位420、規範欄位430與連接欄位440，這些欄位中的字詞又稱為語意角色(semantic role)，欄位的組合稱為語意句型，語意角色和語意句型構成語意網路(semantic network)。電腦系統110會從標準作業程序檔案中取得多個字詞以填入欄位410、420、430、440以產生一祈使句以做為上述提示內容的一部份。具體來說，核心欄位410紀錄了名詞、動詞、副詞與形容詞，這些是語句的必要角色。工具欄位420紀錄了完成核心的工具。規範欄位430紀錄了工具、連接、或是核心的規範。連接欄位440紀錄了連接物與被組物，由於連接物必定伴隨被組物出現，故將兩者視為一組，代表透過連接物將組物附著於被組物上。
上述產生的祈使句中核心欄位為必要角色、但其餘三個欄位可以選擇性輸入，因此根據這三個欄位的個數可以產生多種組合。第一組合是由核心欄位所組成。第二組合是由核心欄位加上一個參數(工具欄位、規範欄位和連接欄位的其中之一)所組成。第三組合是由核心欄位加上兩個參數所組成。第四組合是由核心欄位、工具欄位、規範欄位和連接欄位所組成。圖5是根據一實施例繪示多種句型的範例表格。在圖5 中用[Core]表示核心欄位、[Tool]表示工具欄位、[Spec]表示規範欄位、[Conj]表示連接物、[Base]表示被組物，其中第一組合具有1種句型，第二組合具有3種句型，第三組合具有3種句型，第四組合具有1種句型。
產生祈使句的步驟如下。第一步是選擇句型，電腦系統110可根據標準作業程序檔案中一個句子內的字詞挑選對應的句型。例如，如果一個句子內只有動詞跟受詞，則挑選第一句型，以此類推。第二步是生成短語，在此採用的生成策略為「由小而大」，即先針對每個語意角色生成短語，再逐步生成完整的句子。例如：輸入名詞“screw”和動詞“tighten”，則生成的短語為“tighten the screw”。第三步是重組短語，每個語意角色的短語生成後，如有需要，可根據句型定義的角色順序進行調整。第四步是詞彙選擇，考慮短語前後文選擇匹配機率最高的介系詞，完成句子生成。
在一些實施例中，上述第四步的詞彙選擇是根據多個候選介係詞的機率以及候選介係詞與祈使句中動詞或名詞的條件機率來選擇其中一個候選介係詞以做為祈使句中的介係詞。在此簡介貝式理論(Bayes’theorem)，事後機率(posterior probability)是由事前機率(prior)與條件機率(likelihood)來計算，如以下方程式(1)所示。
Figure 108147691-A0101-12-0013-1
其中x表示句子中除了介係詞以外的動詞以及/或者名詞，例如x=(noun,verb)、x=(noun)、或者x=(verb)，其中noun表示名詞，verb表示動詞，這裡的名詞是指工具欄位、 規範欄位以及連接欄位裡面的字詞。p(prep)表示一個候選介係詞出現的機率，prep可以是“for”、“on”等介係詞。值得注意的是，上述方程式(1)是用以排序各個候選介係詞的事後機率，但由於p(x)為固定不影響排序，因此電腦系統110只需要計算方程式(1)中分子的部分。在此共有6種模型來計算事後機率。第一種模型只考慮介係詞在各句型出現之機率，也就是根據p(prep)來排序候選介係詞。第二種模型考慮動詞與介系詞搭配的機率，也就是根據p(verb|prep)來排序候選介係詞。第三種模型是根據p(verb|prep)×p(prep)來排序候選介係詞。第四種模型只考慮名詞與介系詞搭配的機率，也就是根據p(noun|prep)來排序候選介係詞。第五種模型是根據p(noun|prep)×p(prep)來排序候選介係詞。第六種模型是同時考慮動詞、名詞與介系詞搭配的機率，也就是根據p(verb,noun|prep)×p(prep)來排序候選介係詞。
在一些實施例中，上述六種模型的優先順序是先考慮第六模型，再來是第五模型或第三模型，最後才是第一模型。具體來說，在把標準作業程序檔案中的字詞填入結構性資料集400以後，電腦系統110會偵測結構性資料集400中的欄位，當偵測到所有資訊時(動詞+名詞)，選擇第六模型，當輸入的動詞未曾見過，簡化為第五模型，當輸入的名詞未曾見過，簡化為第三模型，當輸入的動詞及名詞皆未曾見過，簡化為第一模型。
在上述的實施例中，所產生的祈使句是由自然語言處理器產出結構一致的標穩作業程序以降低使用者的認知 負荷。而較低的認知負荷加上人工智慧異常判斷以及擴增實境輸出標準作業程序，可以降低人為錯誤。
圖6是根據一實施例繪示人工智慧輔助擴增實境方法的流程圖。請參照圖6，在步驟601中，提供使用者介面以建立專案，此專案用以編輯立體場景、位於立體場景之中的檢查點、與對應至檢查點的提示內容。在步驟602中，根據專案產生軟體模組給擴增實境裝置，此擴增實境裝置用以執行軟體模組並判斷擴增實境裝置在真實空間的位置。在步驟603中，當擴增實境裝置在真實空間的位置對應至檢查點時，透過擴增實境裝置提供提示內容。然而，圖6中各步驟已詳細說明如上，在此便不再贅述。圖6的方法可以搭配以上實施例使用，也可以單獨使用，換言之圖6的各步驟之間也可以加入其他的步驟。以另外一個角度來說，本發明也提出了一電腦程式產品，此產品可由任意的程式語言及/或平台所撰寫，當此電腦程式產品被載入至電腦系統110並執行時，可執行上述的方法。
本揭露提出了針對擴增實境裝置指引(三維數值模型)、場域導航、標準作業流程、人工智慧異常判斷等功能的整合性一站式開發工具。本工具橫向可應用在所有顯示終端裝置上，用於高價值關鍵設備的人為機器操作維修作業或是生產作業。縱向方面則是擴增實境裝置指引(三維數值模型)、場域導航、作業流程、人工智慧異常判斷等功能。本揭露的功效至少包括了：1)可以將一份SOP的內容進行精煉與優化，將冗長非必要的資訊排除，只留下需要的重要資訊，以此大幅提升SOP內容扼要且精準的程度；2)能夠依據內文意涵，自動推薦 適當的動詞以及連接詞，避免使用者產生不必要的誤會，進而造成操作的錯誤；3)最後只要針對各個物件進行定義，ADB即可利用自然語言處理技術，自動生成人類可以理解且明確的詞句。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
120‧‧‧擴增實境裝置
134‧‧‧人工智慧模型
ADB‧‧‧人工智慧輔助擴增實境標準作業流程開發工具
AMB‧‧‧人工智慧模型生成工具

Claims (8)

  1. 一種人工智慧輔助擴增實境系統，包括：一擴增實境裝置；以及一電腦系統，提供一使用者介面以建立一專案，該專案用以編輯一立體場景、位於該立體場景之中的一檢查點、與對應至該檢查點的一提示內容，其中該電腦系統用以根據該專案產生至少一軟體模組給該擴增實境裝置，其中該擴增實境裝置用以執行該至少一軟體模組並判斷該擴增實境裝置在一真實空間的一位置，當該擴增實境裝置在該真實空間的該位置對應至該檢查點時，該擴增實境裝置提供該提示內容，其中該電腦系統還用以載入一標準作業程序檔案並且建立一結構性資料集，該結構性資料集包括多個欄位，該些欄位包括一核心欄位、一工具欄位、一規範欄位與一連接欄位，該電腦系統用以分析該標準作業程序檔案以從該標準作業程序檔案中取得多個字詞以填入該些欄位以產生該提示內容所包含的一祈使句，其中該連接欄位紀錄了連接物與被組物，其中該祈使句包括一動詞與一名詞，該電腦系統還用以根據多個候選介係詞的機率以及每一該些候選介係詞與該動詞或該名詞的條件機率來選擇該些候選介係詞的其中之一以 做為該祈使句的一介系詞。
  2. 如申請專利範圍第1項所述之人工智慧輔助擴增實境系統，其中該祈使句屬於多個組合的其中之一，該些組合包括：第一組合，由該核心欄位所組成；第二組合，由該核心欄位以及該工具欄位、該規範欄位和該連接欄位的其中之一所組成；第三組合，由該核心欄位以及該工具欄位、該規範欄位和該連接欄位的其中之二所組成；以及第四組合，由該核心欄位、該工具欄位、該規範欄位和該連接欄位所組成。
  3. 如申請專利範圍第1項所述之人工智慧輔助擴增實境系統，其中當該擴增實境裝置在該真實空間的該位置不對應至該檢查點時，該擴增實境裝置根據該檢查點與該位置之間的相對距離與相對方向顯示一導引物件，當該位置靠近該檢查點時，該擴增實境裝置放大該導引物件，當該位置遠離該檢查點時，該擴增實境裝置縮小該導引物件。
  4. 如申請專利範圍第3項所述之人工智慧輔助擴增實境系統，其中該擴增實境裝置還用以顯示一橫軸與一 縱軸，該橫軸上顯示一目前水平位置與對應至該檢查點的一目標水平位置，該縱軸上顯示一目前垂直位置與對應至該檢查點的一目標垂直位置。
  5. 如申請專利範圍第4項所述之人工智慧輔助擴增實境系統，其中該提示內容包括關於一物件的一標準參照畫面，其中該擴增實境裝置用以擷取一即時影像，辨識該即時影像中的該物件，並將該標準參照畫面加入該即時影像或顯示於一透明顯示器中以混和該物件與該標準參照畫面。
  6. 如申請專利範圍第5項所述之人工智慧輔助擴增實境系統，其中該提示內容還包括音訊、影片、文字或關於該物件的一視角畫面。
  7. 一種人工智慧輔助擴增實境方法，適用於一電腦系統，該人工智慧輔助擴增實境方法包括：提供一使用者介面以建立一專案，該專案用以編輯一立體場景、位於該立體場景之中的一檢查點、與對應至該檢查點的一提示內容；載入一標準作業程序檔案並且建立一結構性資料集，該結構性資料集包括多個欄位，該些欄位包括一核心欄位、一工具欄位、一規範欄位與一連接欄位；分析該標準作業程序檔案以從該標準作業程序檔案中 取得多個字詞以填入該些欄位以產生該提示內容所包含的一祈使句，其中該連接欄位紀錄了連接物與被組物，該祈使句包括一動詞與一名詞；根據多個候選介係詞的機率以及每一該些候選介係詞與該動詞或該名詞的條件機率來選擇該些候選介係詞的其中之一以做為該祈使句的一介系詞；根據該專案產生至少一軟體模組給一擴增實境裝置，其中該擴增實境裝置用以執行該至少一軟體模組並判斷該擴增實境裝置在一真實空間的一位置；以及當該擴增實境裝置在該真實空間的該位置對應至該檢查點時，透過該擴增實境裝置提供該提示內容。
  8. 一種電腦程式產品，被載入至一電腦系統以執行多個步驟：提供一使用者介面以建立一專案，該專案用以編輯一立體場景、位於該立體場景之中的一檢查點、與對應至該檢查點的一提示內容；載入一標準作業程序檔案並且建立一結構性資料集，該結構性資料集包括多個欄位，該些欄位包括一核心欄位、一工具欄位、一規範欄位與一連接欄位；分析該標準作業程序檔案以從該標準作業程序檔案中取得多個字詞以填入該些欄位以產生該提示內容所包含的一祈使句，其中該連接欄位紀錄了連接物與被組物，該祈使句包括一動詞與一名詞；以及 根據多個候選介係詞的機率以及每一該些候選介係詞與該動詞或該名詞的條件機率來選擇該些候選介係詞的其中之一以做為該祈使句的一介系詞；根據該專案產生至少一軟體模組給一擴增實境裝置，其中該擴增實境裝置用以執行該至少一軟體模組並判斷該擴增實境裝置在一真實空間的一位置，當該擴增實境裝置在該真實空間的該位置對應至該檢查點時，該擴增實境裝置提供該提示內容。
TW108147691A 2019-12-25 2019-12-25 人工智慧輔助擴增實境系統與方法、電腦程式產品 TWI798514B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW108147691A TWI798514B (zh) 2019-12-25 2019-12-25 人工智慧輔助擴增實境系統與方法、電腦程式產品
US16/846,395 US11386624B2 (en) 2019-12-25 2020-04-12 Artificial intelligence and augmented reality system and method
GB2007217.9A GB2590741B (en) 2019-12-25 2020-05-15 Artificial Intelligence and Augmented Reality System and Method
NL2025739A NL2025739B1 (en) 2019-12-25 2020-06-03 Artificial intelligence and augmented reality system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108147691A TWI798514B (zh) 2019-12-25 2019-12-25 人工智慧輔助擴增實境系統與方法、電腦程式產品

Publications (2)

Publication Number Publication Date
TW202125391A TW202125391A (zh) 2021-07-01
TWI798514B true TWI798514B (zh) 2023-04-11

Family

ID=71135250

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108147691A TWI798514B (zh) 2019-12-25 2019-12-25 人工智慧輔助擴增實境系統與方法、電腦程式產品

Country Status (4)

Country Link
US (1) US11386624B2 (zh)
GB (1) GB2590741B (zh)
NL (1) NL2025739B1 (zh)
TW (1) TWI798514B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240233569A9 (en) * 2022-10-19 2024-07-11 Google Llc Dynamically Adjusting Instructions in an Augmented-Reality Experience

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106230628A (zh) * 2016-07-29 2016-12-14 山东工商学院 一种设备辅助检修方法和***
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
CN109559381A (zh) * 2018-11-06 2019-04-02 国网福建省电力有限公司 一种基于ar空间测量技术的变电站验收方法
CN109859538A (zh) * 2019-03-28 2019-06-07 中广核工程有限公司 一种基于混合现实的关键设备培训***及方法
TWM582191U (zh) * 2019-03-28 2019-08-11 游輝陞 Supervisory device
CN110400388A (zh) * 2019-07-02 2019-11-01 上海德衡数据科技有限公司 一种基于增强现实的智能巡检***
TWM594733U (zh) * 2019-12-25 2020-05-01 亞達科技股份有限公司 人工智慧輔助擴增實境系統

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10388075B2 (en) 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10347030B2 (en) * 2017-05-15 2019-07-09 Envisics Ltd Adjusting depth of augmented reality content on a heads up display
KR101996441B1 (ko) * 2017-10-18 2019-07-03 (주)네오인터넷 모바일 증강현실 기반 여행 가이드 서비스 방법
US10768605B2 (en) * 2018-07-23 2020-09-08 Accenture Global Solutions Limited Augmented reality (AR) based fault detection and maintenance
CN109726481B (zh) * 2018-12-29 2023-08-04 深圳市优必选科技有限公司 一种机器人搭建的辅助方法、装置及终端设备
US10846899B2 (en) * 2019-04-17 2020-11-24 Honeywell International Inc. Methods and systems for augmented reality safe visualization during performance of tasks
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN110718043B (zh) * 2019-10-17 2021-07-30 辽宁中航信诺科技有限公司 基于ar人工智能设备的危险区域的检查报警方法
US11263570B2 (en) * 2019-11-18 2022-03-01 Rockwell Automation Technologies, Inc. Generating visualizations for instructional procedures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
CN106230628A (zh) * 2016-07-29 2016-12-14 山东工商学院 一种设备辅助检修方法和***
CN109559381A (zh) * 2018-11-06 2019-04-02 国网福建省电力有限公司 一种基于ar空间测量技术的变电站验收方法
CN109859538A (zh) * 2019-03-28 2019-06-07 中广核工程有限公司 一种基于混合现实的关键设备培训***及方法
TWM582191U (zh) * 2019-03-28 2019-08-11 游輝陞 Supervisory device
CN110400388A (zh) * 2019-07-02 2019-11-01 上海德衡数据科技有限公司 一种基于增强现实的智能巡检***
TWM594733U (zh) * 2019-12-25 2020-05-01 亞達科技股份有限公司 人工智慧輔助擴增實境系統

Also Published As

Publication number Publication date
US20210201582A1 (en) 2021-07-01
GB2590741A8 (en) 2021-08-04
US11386624B2 (en) 2022-07-12
TW202125391A (zh) 2021-07-01
NL2025739B1 (en) 2021-09-09
GB2590741A (en) 2021-07-07
GB202007217D0 (en) 2020-07-01
GB2590741B (en) 2022-03-23

Similar Documents

Publication Publication Date Title
US9678949B2 (en) Vital text analytics system for the enhancement of requirements engineering documents and other documents
Jo et al. A Unified Framework for Augmented Reality and Knowledge-Based Systems in Maintaining Aircra
US8229735B2 (en) Grammar checker for visualization
WO2021041755A1 (en) Semantically supported object recognition to provide knowledge transfer
Krishnaswamy et al. Multimodal semantic simulations of linguistically underspecified motion events
Rouly et al. Usability and suitability survey of features in visual ides for non-programmers
Walczak et al. Semantic modeling of virtual reality training scenarios
TWM594733U (zh) 人工智慧輔助擴增實境系統
CN115273569A (zh) 一种智能光影引导***
TWI798514B (zh) 人工智慧輔助擴增實境系統與方法、電腦程式產品
Zoleykani et al. Extended reality (XR) technologies in the construction safety: systematic review and analysis
Baxter et al. Roboworld: Verification of robotic systems with environment in the loop
US20230343042A1 (en) Methods and systems using mixed-reality for the creation of insitu cad models
Wood et al. A guide to the assessment of software development methods
Laird et al. A case study of knowledge integration across multiple memories in Soar
Gonzalez et al. Introducing Bidirectional Programming in Constructive Solid Geometry-Based CAD
US11756272B2 (en) Somatic and somatosensory guidance in virtual and augmented reality environments
Ye et al. Towards Automatic Animated Storyboarding.
Tang et al. Development of an augmented reality approach to mammographic training: overcoming some real world challenges
Siu Advancing Accessible 3D Design for the Blind and Visually-Impaired via Tactile Shape Displays
Ruiz-Rube et al. Model-driven development of augmented reality-based editors for domain specific languages.
Ohene-Djan et al. Drawing for blind learners: Assistive technology for graphical design
Cannavò Interfaces for human-centered production and use of computer graphics assets.
CN114997140B (zh) 校验语义的方法和装置
WANG An Integrated Augmented Reality Method to Assembly Simulation and Guidance