TW202234184A - 使用從視覺感測器的輸出得到之三維位置資訊的模擬裝置 - Google Patents

Abstract

本發明的模擬裝置具備模擬執行部，其實施機器人裝置的動作的模擬，推估機器人的動作路徑。模擬裝置具備位置資訊生成部，其根據拍攝實際的工件的視覺感測器的輸出，來生成工件的表面的三維位置資訊。顯示部將工件的表面的三維位置資訊，重疊於機器人裝置模型的圖像、工件模型的圖像及機器人的動作路徑來顯示。

Description

使用從視覺感測器的輸出得到之三維位置資訊的模擬裝置

發明領域

本發明是有關一種使用從視覺感測器的輸出得到之三維位置資訊的模擬裝置。

發明背景

具備機器人及作業工具的機器人裝置藉由變更機器人的位置及姿勢，來變更作業工具的位置及姿勢。機器人裝置可進行變更作業工具的位置及姿勢的各種作業。機器人的位置及姿勢是根據進行作業前生成的動作程式來變更。於動作程式，設定有決定機器人的位置及姿勢的教示點。

以機器人裝置進行新作業時，必須製作動作程式。可驅動實際的機器人來教示機器人在教示點的位置及機器人的姿勢。又，習知一種實施機器人裝置的動作的模擬的模擬裝置(例如日本特開2015-93345號公報)。於模擬裝置能以圖像確認機器人裝置的動作。作業人員可藉由以模擬裝置進行機器人裝置的動作的模擬，來教示教示點。

又，於以往的技術中，習知於機器人安裝三維視覺感測器，藉由處理以三維視覺感測器取得的位置的資訊，來檢測對象物相對於機器人的位置，進行各種作業(例如日本特開2006-35384號公報)。

進而言之，習知一種控制，其於機器人安裝二維感測器或三維感測器，實際驅動機器人裝置來修正教示點(例如日本特開平7-84631號公報及日本特開2004-255547號公報)。在此類裝置中，例如於實際的工件配置有標記(marker)。根據視覺感測器的輸出來取得實際的工件上的標記的位置。可根據實際的標記的位置，來修正動作程式中的教示點的位置。 先行技術文獻 專利文獻

專利文獻1：日本特開2015-93345號公報 專利文獻2：日本特開2006-35384號公報 專利文獻3：日本特開平7-84631號公報 專利文獻4：日本特開2004-255547號公報

發明概要 發明欲解決之課題

於模擬裝置，宜對於作為作業對象的工件，決定正確的機器人的位置及姿勢。然而，機器人裝置配置於設置面時的設置位置及支撐工件的架台等周邊機器的設置位置甚少如所期望的設計值。特別是周邊機器的設置位置的偏離會對應於配置工件的位置的偏離。實際的機器人的設置位置及配置工件的位置大多會偏離模擬的位置。因此，宜將教示點的位置及機器人在教示點的姿勢也稍微挪移。

於以往的技術中，將以模擬裝置製作的動作程式輸入於實際的機器人裝置的控制裝置。作業人員實際驅動機器人，修正動作程式中的教示點的位置及機器人在教示點的姿勢。

但，於模擬裝置，難以考慮實際的機器人的設置位置及配置工件的位置，來調整教示點的位置及機器人在教示點的姿勢。亦即，有難以預測機器人的設置位置或固定工件的周邊機器的設置位置是以什麼方式偏離，於模擬裝置難以修正動作程式的問題。

於實際的工件的表面配置標記，以視覺感測器檢測標記位置的控制中，有必須使模擬中設定於工件的標記位置與配置於實際的工件的標記位置一致的問題。又，於標記檢測失敗時，無法識別標記的位置。因此，必須製作容易藉由視覺感測器的輸出來檢測工件的標記。 用以解決課題之手段

本揭示的第1態樣的模擬裝置實施具備機器人的機器人裝置的動作的模擬。模擬裝置具備模型生成部，前述模型生成部根據機器人裝置的三維形狀資料及工件的三維形狀資料，來生成模擬中的機器人裝置模型及工件模型。模擬裝置具備顯示部，前述顯示部顯示機器人裝置模型的圖像及工件模型的圖像之。模擬裝置具備動作資訊設定部，前述動作資訊設定部生成包含教示點的動作程式。模擬裝置具備模擬執行部，前述模擬執行部根據教示點實施機器人裝置的動作的模擬，以推估機器人的動作路徑。模擬裝置具備位置資訊生成部，前述位置資訊生成部根據拍攝實際的工件的視覺感測器的輸出，來生成工件的表面的三維位置資訊。顯示部將工件的表面的三維位置資訊，重疊於機器人裝置模型的圖像、工件模型的圖像及機器人的動作路徑來顯示。

本揭示的第2態樣的模擬裝置實施具備機器人的機器人裝置的動作的模擬。模擬裝置具備模型生成部，前述模型生成部根據機器人裝置的三維形狀資料及工件的三維形狀資料，來生成模擬中的機器人裝置模型及工件模型。模擬裝置具備模擬執行部，前述模擬執行部實施機器人裝置的動作的模擬。模擬裝置具備動作資訊設定部，前述動作資訊設定部根據機器人裝置的動作的模擬，來設定決定於動作程式中的動作資訊。模擬裝置具備位置資訊生成部與位置檢測部，前述位置資訊生成部根據拍攝實際的工件的視覺感測器的輸出，來生成工件的表面的三維位置資訊，前述位置檢測部藉由進行工件的基準資料與工件的表面的三維位置資訊的匹配，來檢測實際的工件的位置。動作資訊設定部根據模擬中的工件模型的位置、及以位置檢測部檢測到的實際的工件的位置，來修正動作程式所包含的動作資訊，以使其對應於實際的工件的位置。 發明效果

若依據本揭示的一態樣，可提供一種模擬裝置，其可容易辨別或修正機器人的位置及姿勢的偏離。

用以實施發明之形態

參考圖1至圖10來說明實施形態的模擬裝置。本實施形態的模擬裝置實施具備機器人的機器人裝置的動作的模擬。本實施形態的模擬裝置處理三維視覺感測器的輸出。三維視覺感測器取得有關作為作業對象物的工件的表面的資訊。本實施形態的模擬裝置將工件的表面的位置資訊，與模擬的模型一同顯示，或是根據工件的表面的位置資訊，來修正模擬中決定的教示點。

圖1是本實施形態的第1機器人裝置的立體圖。圖2是本實施形態的第1機器人系統的方塊圖。參考圖1及圖2，第1機器人系統具備第1機器人裝置3及第1模擬裝置4。第1機器人裝置3實施點熔接。第1機器人裝置3具備作為作業工具的熔接槍5、及變更熔接槍5的位置及姿勢的機器人1。機器人裝置3具備控制機器人1及熔接槍5的控制裝置2。第1機器人系統具備視覺感測器30，前述視覺感測器30取得有關作為作業對象物的工件65的表面的資訊。

本實施形態的第1工件65是板狀構件。第1工件65具有對應於熔接點68a～68c而形成的凸部65a。第1工件65具有表面65b。第2工件66是具有與第1工件65同一平面形狀的板狀構件。機器人裝置3在3處熔接點68a～68c實施點熔接。第1工件65與第2工件66被相互固定。工件65、66由架台69支撐。

本實施形態的機器人1是包含複數個關節部的多關節機器人。機器人1包含上部臂11及下部臂12。下部臂12是由迴旋基座13支撐。迴旋基座13是由基座14支撐。機器人1包含連結於上部臂11的端部的腕部15。腕部15包含固定熔接槍5的凸緣16。本實施形態的機器人1具有6個驅動軸，但不限於此形態。機器人可採用可移動作業工具的任意機器人。

本實施形態的機器人1包含驅動上部臂11等構成構件的機器人驅動裝置21。機器人驅動裝置21包含用以驅動上部臂11、下部臂12、迴旋基座13及腕部15的複數個驅動馬達。熔接槍5包含驅動熔接槍5的工具驅動裝置22。本實施形態的工具驅動裝置22包含相對於熔接槍5的固定電極驅動可動電極的馬達。

控制裝置2具備運算處理裝置24(電腦)，前述運算處理裝置24包含作為處理器的CPU(Central Processing Unit(中央處理單元))。運算處理裝置24具有透過匯流排相互連接於CPU的RAM(Random Access Memory(隨機存取記憶體))及ROM(Read Only Memory(唯讀記憶體))等。機器人裝置3根據預先製作的動作程式，來驅動機器人1及熔接槍5。本實施形態的機器人裝置3對於工件65、66，在熔接點68a～68c自動實施點熔接。

控制裝置2的運算處理裝置24包含記憶部42，前述記憶部42記憶有關機器人裝置3的控制的資訊。記憶部42能以可記憶資訊之非暫時性記憶媒體來構成。例如記憶部42能以揮發性記憶體、非揮發性記憶體、磁性記憶媒體或光記憶媒體等記憶媒體來構成。機器人裝置3用以進行點熔接作業的動作程式記憶於記憶部42。

運算處理裝置24包含送出動作指令的動作控制部43。動作控制部43將用以根據動作程式驅動機器人1的動作指令，送出到機器人驅動部44。機器人驅動部44包含驅動驅動馬達的電路。機器人驅動部44根據動作指令，供給電力給機器人驅動裝置21。又，動作控制部43將驅動工具驅動裝置22的動作指令，送出到作業工具驅動部45。作業工具驅動部45包含使電力流入電極的電路、及驅動可動電極的馬達的電路。作業工具驅動部45根據動作指令，將電力供給給工具驅動裝置22。

動作控制部43相當於按照機器人裝置的動作程式進行驅動的處理器。處理器藉由讀入動作程式，實施決定於動作程式中的控制，來作為動作控制部43發揮功能。

機器人1包含用以檢測機器人1的位置及姿勢的狀態檢測器。本實施形態的狀態檢測器包含旋轉角檢測器23，前述旋轉角檢測器23安裝於機器人驅動裝置21的各驅動軸的驅動馬達。旋轉角檢測器23是由例如編碼器構成。藉由旋轉角檢測器23的輸出來檢測機器人1的位置及姿勢。

控制裝置2包含教示操作盤49，前述教示操作盤49作為供作業人員以手動操作機器人裝置3的操作盤。教示操作盤49包含輸入部49a，前述輸入部49a可輸入有關機器人1、熔接槍5及視覺感測器30的資訊。輸入部49a是由鍵盤及撥號盤等操作構件所構成。教示操作盤49包含顯示部49b，前述顯示部49b顯示有關機器人裝置3的控制的資訊。顯示部49b是以液晶顯示面板等顯示面板構成。

於本實施形態的機器人裝置3，設定有在機器人1的位置及姿勢變化時不動的機器人座標系統71。於圖1所示之例，於機器人1的基座14，配置有機器人座標系統71的原點。機器人座標系統71亦稱為世界座標系統或基準座標系統。機器人座標系統71的原點位置固定，座標軸的方向固定。即使機器人1的位置及姿勢變化，機器人座標系統71的位置及姿勢仍不變化。

於機器人裝置3，設定有工具座標系統72，前述工具座標系統72具有設定在作業工具的任意位置的原點。工具座標系統72的位置及姿勢隨著熔接槍5變化。於本實施形態，工具座標系統72的原點設定於工具前端點(固定電極的前端點)。機器人1的位置對應於工具前端點的位置(工具座標系統72的原點的位置)。又，機器人1的姿勢對應於工具座標系統72相對於機器人座標系統71的姿勢。

本實施形態的視覺感測器30是可取得對象物的表面的三維位置資訊的三維照相機。本實施形態的視覺感測器30是包含第1照相機31及第2照相機32的立體照相機。照相機31、32分別是可拍攝二維圖像的二維照相機。2台照相機31、32的相對位置已預先決定。本實施形態的視覺感測器30包含投影器33，前述投影器33朝向工件65的表面65b，投影條紋圖樣等的圖案光。

第1模擬裝置4模擬機器人裝置3的動作。模擬裝置4將機器人1的三維模型、熔接槍5的三維模型及工件65、66的三維模型，配置於同一虛擬空間，實施機器人裝置3的動作的模擬。

本實施形態的模擬裝置4是以包含作為處理器的CPU的運算處理裝置構成。模擬裝置4具備記憶有關機器人裝置3的模擬的任意資訊的記憶部53。記憶部53能以可記憶資訊之非暫時性記憶媒體來構成。例如記憶部53能以揮發性記憶體、非揮發性記憶體、磁性記憶媒體或光記憶媒體等記憶媒體來構成。用以實施機器人裝置的模擬的程式記憶於記憶部53。

於模擬裝置4，已輸入機器人1、熔接槍5及工件65、66的三維形狀資料50。於三維形狀資料50，包含用以進行機器人裝置的模擬的機器人、作業工具、周邊機器及工件的三維形狀資料。作為三維形狀資料50，可使用例如從CAD(Computer Aided Design(電腦輔助設計))裝置輸出的資料。三維形狀資料50記憶於記憶部53。

模擬裝置4包含輸入部51，前述輸入部51可輸入有關機器人裝置3的模擬的資訊。輸入部51是由鍵盤、滑鼠及撥號盤等操作構件所構成。模擬裝置4包含顯示部52，前述顯示部52顯示有關機器人裝置3的模擬的資訊。如後述，顯示部52顯示機器人裝置3的模型的圖像及工件65、66的模型的圖像。顯示部52是以液晶顯示面板等顯示面板構成。再者，模擬裝置具備觸控面板式的顯示面板時，顯示面板是作為輸入部及顯示部發揮功能。

模擬裝置4包含處理部54，前述處理部54為了機器人裝置3的模擬而進行運算處理。又，處理部54具有處理以視覺感測器30取得的資訊的功能。處理部54包含模型生成部55，前述模型生成部55根據包含機器人裝置3的三維形狀資料及工件65、66的三維形狀資料的三維形狀資料50，來生成機器人裝置的模型即機器人裝置模型及工件的模型即工件模型。

處理部54包含模擬執行部56，前述模擬執行部56實施機器人裝置3的動作的模擬。模擬執行部56具有因應由作業人員進行的輸入部51的操作，在畫面上移動機器人裝置模型的功能。或者，模擬執行部56根據預先生成的教示點，來實施機器人裝置3的動作的模擬。例如模擬執行部56根據包含教示點的動作程式41，來實施機器人裝置3的動作的模擬。

處理部54包含位置資訊生成部59，前述位置資訊生成部59根據拍攝實際的工件65、66的視覺感測器30的輸出，來生成工件65的表面的三維位置資訊。處理部54包含動作資訊設定部57，前述動作資訊設定部57根據機器人裝置3的動作的模擬，來設定決定於機器人裝置3的動作程式41中的動作資訊。動作資訊設定部57生成包含教示點的動作程式。於機器人裝置3的動作資訊，包含教示點的位置及機器人1在教示點的姿勢。

處理部54包含顯示控制部58，前述顯示控制部58控制顯示於顯示部52的圖像。處理部54包含距離算出部60，前述距離算出部60於顯示於顯示部52的圖像中，藉由指定任意2點來算出2點彼此之間的距離。距離算出部60可算出工件模型的圖像中的點、與配置於工件的表面的三維點的點群所包含的1個三維點的距離。

處理部54相當於按照模擬的程式進行驅動的處理器。預先製作模擬的程式並記憶於記憶部53。處理器藉由讀入模擬的程式，實施決定於程式中的控制，來作為處理部54發揮功能。又，包含於處理部54的模型生成部55、模擬執行部56、動作資訊設定部57、顯示控制部58、位置資訊生成部59及距離算出部60相當於按照模擬的程式進行驅動的處理器。處理器藉由實施決定於程式中的控制，來作為各個單元發揮功能。

於圖3表示顯示於模擬裝置的顯示部的圖像例。於圖像81表示已實施機器人裝置3的模擬之後的狀態。模型生成部55生成三維的模型。模型生成部55生成機器人裝置模型3M。模型生成部55根據機器人1的三維形狀資料，來生成機器人模型1M。模型生成部55根據熔接槍5的三維形狀資料，來生成熔接槍模型5M。模型生成部55根據工件65、66的三維形狀資料，來生成工件模型65M、66M。

顯示控制部58顯示機器人模型1M、熔接槍模型5M及工件模型65M、66M的圖像。處理部54可於配置機器人裝置模型3M及工件模型65M、66M的虛擬空間，設定設定於實際的機器人裝置3的機器人座標系統71。可與實際的機器人裝置3同樣使用機器人座標系統71，於模擬中指定機器人的位置及姿勢及工件的位置及姿勢。

設置機器人1的設置位置及配置工件65、66的位置可由作業人員以輸入部51輸入設計值。或者，機器人1的設置位置及工件65、66的位置包含於三維形狀資料50亦無妨。於此，輸入架台的設置位置及工件相對於架台的位置，來作為工件的位置亦無妨。

模擬執行部56因應輸入部51的操作，使圖像81中的機器人模型1M的位置及姿勢變化。作業人員操作輸入部51，使熔接槍模型5M成為期望的位置及姿勢。作業人員指定用以進行熔接作業的教示點89a～89h。於各個教示點89a～89h，調整機器人模型1M的位置及姿勢。於此，於3處實施點熔接。教示點89b、89e、89g對應於實施點熔接的熔接點68a、68b、68c。

作業人員設定教示點89a、89b，使熔接槍模型5M如箭頭101所示前往實施第1個點熔接的點。作業人員設定教示點89c、89d、89e，使其如箭頭102所示前往實施第2個點熔接的點。作業人員設定教示點89f、89g，使其如箭頭103所示前往實施第3個點熔接的點。作業人員設定教示點89h，使熔接槍模型5M如箭頭104所示從實施第3個點熔接的點退避。作業人員指定移動於教示點89a～89h之間的機器人的位置的移動方法。於此，指定機器人的位置在教示點彼此之間呈直線移動。

模擬執行部56按照由作業人員指定的教示點89a～89h的位置、機器人在各個教示點89a～89h的姿勢及機器人的位置的移動方法，來實施模擬。模擬執行部56可根據教示點89a～89h，來使圖像81中的機器人模型1M的位置及姿勢變化。然後，模擬執行部56可根據模擬的結果，來推估動作路徑86a。動作路徑86a是機器人裝置3的工具前端點移動的路徑。顯示控制部58將動作路徑86a重疊於機器人裝置模型3M及工件模型65M、66M的圖像來顯示。

如此，作業人員可操作輸入部51，來變更圖像81中的機器人模型1M的位置及姿勢，以設定教示點89a～89h。或者，作業人員可預先製作決定有教示點的動作程式41，並輸入於模擬裝置4。模擬執行部56根據動作程式41，實施機器人模型1M動作的模擬，算出動作路徑86a。然後，顯示控制部58除了顯示機器人裝置模型3M及工件模型65M、66M的圖像以外，還可顯示動作路徑86a。

作業人員在圖像81移動機器人裝置模型3M，確認機器人裝置的狀態。然後，作業人員可修正教示點的位置及機器人在教示點的姿勢。在確認到機器人裝置模型3M以期望的狀態驅動時，動作資訊設定部57在動作程式中設定教示點的位置及機器人在教示點的姿勢作為動作資訊。亦即，動作資訊設定部57可生成動作程式。

順帶一提，虛擬空間中的機器人模型1M的位置及工件模型65M、66M的位置是以作為期望值的設計值來指定。例如作業人員可使用機器人座標系統71，來將機器人模型1M的位置及工件模型65M、66M的位置指定為期望值。

於此，實際的機器人1的設置位置及固定於架台69的工件65、66的位置大多會偏離期望的設計值。其結果，工件65、66相對於機器人1的設置位置之位置大多會偏離期望的位置。於模擬中，難以推估工件模型65M、66M相對於機器人裝置模型3M的正確位置。如此，於模擬中，配置各個裝置及構件的位置會產生誤差。

第1模擬裝置4實施控制，以利用視覺感測器30拍攝實際的工件65、66，並以對應於實際的工件65的位置的方式，將工件65的表面的三維位置資訊顯示於模擬的圖像。以可得知工件65的配置位置相對於機器人1的設置位置的偏離的方式，顯示工件65的表面的三維位置資訊。

於圖4，表示使用視覺感測器拍攝實際的工件時的機器人及工件的立體圖。參考圖2及圖4，於本實施形態，在生成動作程式時，將視覺感測器30安裝於機器人1。機器人裝置3在實際實施點熔接時會卸下視覺感測器30。視覺感測器30可固定於機器人1的任意位置。於本實施形態，視覺感測器30是透過支撐構件固定於凸緣16。視覺感測器30是以位置及姿勢會變化的方式支撐於機器人1。

作業人員將作為基準的工件65、66固定於架台69。作為基準的工件65、66可選定製造誤差小的工件。又，作業人員在架台69上的作為基準的位置，固定工件65、66。宜以工件65、66在架台69上的位置的誤差變小的方式，固定工件65、66。

於機器人裝置3，對於視覺感測器30設定感測器座標系統73。感測器座標系統73是原點固定於視覺感測器30的任意位置的座標系統。感測器座標系統73的位置及姿勢是與視覺感測器30一同變化。本實施形態的感測器座標系統73設定為Z軸與包含於視覺感測器30的照相機的光軸呈平行。

視覺感測器30能以攝像範圍35拍攝。於本實施形態，視覺感測器30從工件65、66的上方拍攝工件65、66。視覺感測器30拍攝與視覺感測器30相對向的工件65的表面65b。處理部54的位置資訊生成部59可根據視覺感測器30的輸出，在配置於攝像範圍35中視覺感測器30的對焦範圍的工件65的表面65b，設定複數個三維點。

位置資訊生成部59根據以第1照相機31拍攝的圖像與以第2照相機32拍攝的圖像的視差，來算出從視覺感測器30到對象物的表面上的一點的距離。對於由第1照相機31得到的圖像的像素全區進行該計算來得到距離圖像。位置資訊生成部59針對距離圖像的各點，從視覺感測器的位置資訊得到三維點作為任意座標系統上的座標值。於此之例，位置資訊生成部59是在感測器座標系統73設定三維點。

若機器人1的位置及姿勢變化，則感測器座標系統73的位置及姿勢會變化。本實施形態的模擬裝置4根據機器人1的位置及姿勢進行校正，使感測器座標系統73的三維點的位置的座標值可轉換成機器人座標系統71的座標值。亦即，根據視覺感測器30的輸出進行校正，以便可算出設定於工件65的表面65b的三維點的機器人座標系統71的座標值。

位置資訊生成部59能以三維地圖的形式，來生成對象物的表面的三維位置資訊。三維地圖是以對象物的表面的三維點的座標值(x,y,z)的集合，來表現對象物的表面的位置資訊。此時的座標值能以感測器座標系統或機器人座標系統等任意座標系統來表現。或者，位置資訊生成部59能以距離圖像生成三維位置資訊。距離圖像是藉由二維的圖像來表現對象物的表面的位置資訊。於距離圖像，可藉由各個像素的濃度或色彩，來表現從視覺感測器30到三維點的距離。

本實施形態的位置資訊生成部59配置於運算處理裝置24的處理部54，但不限於此形態。位置資訊生成部配置於視覺感測器的內部亦無妨。亦即，視覺感測器包含具有CPU等處理器的運算處理裝置，視覺感測器的處理器作為位置資訊生成部發揮功能亦無妨。此情況下，從視覺感測器輸出三維位置資訊。

於本實施形態，工件65具有在視覺感測器30配置於攝像位置時大於攝像範圍的形狀。由於工件65相對於視覺感測器30的攝像範圍35較大，因此無法以一次的攝像拍攝工件65的表面65b整體。因此，於本實施形態，機器人1變更位置及姿勢，藉此變更視覺感測器30的位置，分成複數次拍攝工件65的表面65b整體。

如箭頭105所示，使工件65上的攝像範圍35的位置變化，實施複數次攝像。此時，以前次攝像的攝像範圍35的一部分與本次攝像的攝像範圍35的一部分會重疊的方式拍攝。亦即，一面一點一點地挪移攝像範圍35的位置一面拍攝，以便於前次拍攝及本次拍攝中會拍攝工件65的相同部分。藉由前次攝像取得的三維位置資訊及藉由本次攝像取得的三維位置資訊也包含共同的部分。

位置資訊生成部59是以三維位置資訊的共同的部分會重疊的方式，接合藉由視覺感測器30的輸出取得的複數個三維位置資訊。位置資訊生成部59生成工件65的表面65b整體的三維位置資訊。特言之，位置資訊生成部59是對從視覺感測器30可看到的表面65b生成三維位置資訊。藉由進行該控制，可使用攝像範圍相對於工件尺寸較小的視覺感測器30，來取得工件65整體的三維位置資訊。

針對視覺感測器的移動，為了攝像可預先製作機器人裝置的動作程式，自動驅動機器人來實施複數次攝像。或者，作業人員以手動變更機器人的位置及姿勢來進行複數次攝像亦無妨。例如作業人員可藉由操作教示操作盤來變更機器人的位置及姿勢。或者，可如直接教示，於機器人安裝力量感測器，並實施以追隨施加於機器人的外力的方式變更機器人的位置及姿勢的控制。作業人員亦可藉由直接推拉機器人，來透過力量感測器變更機器人的位置及姿勢。

於圖5，表示顯示了以視覺感測器取得的作為三維位置資訊的三維點的點群時的圖像。顯示控制部58以三維點87a來表示工件65的表面65b的三維位置資訊。於圖像82，除了複數個三維點87a以外，還以虛線表示圍住三維點87a的三維點的點群87。顯示控制部58可根據位置資訊生成部59所取得的三維點87a的座標值，來顯示三維點87a。三維點87a對應於實際的工件65的表面65b的位置。三維點87a配置於相對於機器人的實際的相對位置。

於此之例，顯示控制部58顯示藉由模擬所算出的動作路徑86a。可知動作路徑86a偏離對應於工件65的表面65b的點群87的位置。作業人員可修正各個教示點89a～89h的位置及機器人在各個教示點89a～89h的姿勢，使其對應於點群87的位置及姿勢。作業人員可操作輸入部51，一面改變機器人模型1M的位置及姿勢，一面修正教示點。

例如作業人員可操作輸入部51，將對應於熔接點68a的教示點89b修正為教示點90b。將對應於熔接點68b的教示點89e修正為教示點90e。又，將對應於熔接點68c的教示點89g修正為教示點90g。亦可配合點群87的位置及姿勢來修正其他教示點89a、89c、89d、89f、89h。

如此，於本實施形態的模擬裝置，可將實際的工件的三維位置資訊，重疊於以模擬所顯示的機器人模型及工件模型的圖像來顯示。因此，可容易確認設定於實際的工件的教示點的偏離。然後，可使用模擬裝置來修正教示點的位置及機器人在教示點的姿勢。

動作資訊設定部57可修正動作程式41中的動作資訊。亦即，動作資訊設定部57可修正教示點的位置及機器人在教示點的姿勢。如此，動作資訊設定部57可根據修正後的教示點，來修正動作程式。

再者，作業人員除了修正動作程式中的教示點以外，修正實際的機器人的設置位置、支撐工件的周邊機器的設置位置或周邊機器中的工件的位置亦無妨。例如作業人員亦可修正固定工件65、66的架台69的設置位置、或架台69上的作為工件65、66的基準的位置。

於圖6，表示顯示了本實施形態的機器人裝置模型、工件模型及三維點的點群的圖像。作業人員可選定機器人等之模型、動作路徑及三維位置資訊中要顯示於顯示部52的資訊。於圖像83，藉由作業人員的操作，顯示機器人裝置模型3M、三維點87a的點群87及工件模型65M、66M。

處理部54的距離算出部60可算出模擬的圖像所包含的工件模型65M、66M中的任意點與1個三維點87a的實際距離。於此之例，作業人員指定工件模型65M的表面的角的點65Ma、及配置於點群87的角的三維點87aa。點65Ma及三維點87aa相互對應。點65Ma及三維點87aa是對應於工件65的表面65b的角的點。

距離算出部60取得點65Ma的座標值及三維點87aa的座標值。例如取得機器人座標系統71的座標值。然後，距離算出部60算出點65Ma與三維點87aa之間的距離。顯示控制部58可於圖像83，顯示以距離算出部60算出的距離。如此，距離算出部60可算出模型中的任意點與三維位置資訊中的任意點的距離並顯示。作業人員可取得模擬中的任意2點彼此的距離。例如作業人員可得知工作模型相對於機器人模型的位置偏離實際的工件相對於機器人的位置到什麼程度。

上述實施形態的位置資訊生成部可取得從視覺感測器可看到的架台的表面及設置面的三維點。於本實施形態，位置資訊生成部從對象物的表面的三維點，排除設定於架台的表面及設置面的三維點。例如位置資訊生成部可根據從視覺感測器起算的距離的判定值，來選擇配置於工件的表面的三維點。

顯示於顯示部的三維點不限於此形態。例如於模擬的圖像中顯示配置於架台的表面的三維點亦無妨。亦即，將設定於機器人的周邊機器的表面的三維點，顯示於模擬的圖像亦無妨。

進而言之，於上述實施形態是取得工件65的上表面的三維位置資訊，但不限於此形態。可藉由變更機器人1的位置及姿勢，從各種方向拍攝工件65、66來取得表面的三維位置資訊。例如取得設定於工件65、66的側面的三維點的位置亦無妨。然後，顯示控制部58將設定於工件65、66的側面的三維點顯示於顯示部亦無妨。

於上述實施形態，由於工件相對於視覺感測器的攝像範圍較大，因此變更機器人的位置及姿勢進行複數次攝像，但不限於此形態。工件相對於攝像範圍較小時，可由視覺感測器進行1次攝像，來拍攝工件整體。此情況下，將視覺感測器固定於架台等亦無妨。例如將視覺感測器固定於工件上方，以1次攝像來取得工件的上表面整體的三維位置資訊亦無妨。

於圖7，表示本實施形態的第2機器人系統的方塊圖。第2機器人系統具備第1機器人裝置3及第2模擬裝置8。第2模擬裝置8根據從視覺感測器30的輸出取得的三維位置資訊，來檢測實際的工件的位置。然後，第2模擬裝置8自動修正動作程式所包含的動作資訊，以使其對應於實際的工件的位置。

第2模擬裝置8是處理部63的構成與第1模擬裝置4的處理部54的構成不同。第2模擬裝置8的處理部63具備位置檢測部61，前述位置檢測部61藉由進行工件的基準資料與工件的表面的三維位置資訊的匹配，來檢測實際的工件的位置。位置檢測部61相當於按照模擬的程式進行驅動的處理器。處理器藉由實施決定於程式中的控制，來作為位置檢測部61發揮功能。

又，動作資訊設定部57在動作程式中，修正包含教示點的資訊的動作資訊。動作資訊設定部57根據模擬中的工件模型的位置、及以位置檢測器61檢測到的實際的工件的位置來修正動作程式，以使其對應於實際的工件的位置。

於圖8，表示顯示了從視覺感測器的輸出取得的三維點的點群的圖像。參考圖7及圖8，於圖像84是藉由以視覺感測器30拍攝工件65、66來顯示作為三維位置資訊的三維點87a的點群87。於圖像84，顯示了機器人裝置模型3M、工件模型65M、66M、三維點87a的點群87及動作路徑86a。動作路徑86a是根據工件模型65M、66M的位置，藉由模擬所生成的路徑。對應於實際的工件65的表面65b的位置的點群87偏離工件模型65M的上表面。其結果，動作路徑86a亦偏離三維點87a的點群87的位置。

位置檢測部61藉由對於工件65的基準資料進行點群87的匹配，來檢測出對應於點群87的實際的工件的位置。於匹配中，工件的基準資料可使用從CAD裝置等輸出的工件的三維形狀資料。

作為匹配，例如位置檢測部61從許多三維點87a生成複數個網格的資訊。亦可對於該網格的資訊，將從工件的三維形狀資料生成的網格的資訊進行匹配，藉此來檢測實際的工件的位置。

或者，可選定工件中具有特徵性形狀的特徵部位，對於三維點的點群進行特徵部位的三維形狀資料的匹配。可特定出三維點的點群中的特徵部位，檢測特徵部位的位置。可根據複數個特徵部位的位置，來檢測出實際的工件的位置。例如選定工件65的凸部65a作為特徵部位。藉由以凸部65a的三維形狀資料作為基準資料，對於三維點的點群進行匹配，可特定出點群中的複數個凸部的位置。或者，亦可從三維點的點群推估出工件的輪廓，與工件的三維形狀資料中的輪廓進行匹配。

於本實施形態，為了決定工件的位置及姿勢而預先設定有：在工件的表面具有原點，且對於工件具有預先決定好的姿勢的座標系統(使用者座標系統)。於本實施形態，該座標系統稱為工件座標系統。工件座標系統是對工件固定的座標系統。

於工件模型65M的上表面設定有工件座標系統74a。於本實施形態，於工件65的表面65b的一個角，配置有工件座標系統的原點。然後，沿著表面65b的邊緣的延伸方向，設定有工件座標系統的X軸及Y軸。例如工件的位置相當於工件座標系統的原點的位置，能以機器人座標系統71的座標值(x,y,z)表示。又，工件的姿勢相當於工件座標系統的方向，能以工件座標系統71的座標值(w,p,r)表示。

決定於動作程式中的動作資訊可藉由以下來指定：以機器人座標系統表現的工件座標系統的位置及姿勢、及以工件座標系統表現的教示點的位置及機器人在教示點的姿勢。

位置檢測部61藉由進行包含三維點87a的點群87與工件的基準資料的匹配，來檢測出對應於點群87的工件65的位置。位置檢測部61算出對應於工件的上表面的角的點，以該點成為原點的方式設定工件座標系統74b。又，以X軸及Y軸沿著點群87的邊緣延伸的方式，設定工件座標系統74b。對應於實際的工件65的位置及姿勢的工件座標系統74b的位置及姿勢能以機器人座標系統71來算出。又，顯示控制部58可顯示以位置檢測部61設定的工件座標系統74b。

動作資訊設定部57實施控制，而於動作程式中，修正在模擬中設定於工件模型65M的工件座標系統74a的位置及姿勢，以使其對應於藉由三維點87a的點群87所算出的工件座標系統74b的位置及姿勢。如此，動作資訊設定部57可修正動作程式中的動作資訊。於此，可修正動作資訊中的工件座標系統的位置及姿勢。

圖9是顯示動作程式中的動作資訊經修正後的動作路徑、機器人模型、工件模型及三維點的點群的圖像。藉由修正作為動作資訊的工件座標系統的位置及姿勢，來修正各個教示點的位置及機器人在教示點的姿勢。各個教示點89b、89e、89g如箭頭106所示地移動，而被設定為修正後的教示點90b、90e、90g。又，模擬執行部56實施模擬，藉此顯示修正後的動作路徑86b。

於第2模擬裝置，可自動修正工件65、66相對於機器人1的相對位置及相對姿勢的偏離。更具體而言，可根據從視覺感測器的輸出取得的三維位置資訊，自動修正動作程式所包含的動作資訊，以便對應於實際的工件的位置。

又，藉由於工件的表面設定工件座標系統，以工件座標系統決定教示點的位置及機器人在教示點的姿勢，可使修正動作程式的控制簡化。於動作程式，無須變更以工件座標系統表現的教示點的位置及機器人在教示點的姿勢，藉由變更工件座標系統的位置及姿勢即可修正動作資訊。

於上述實施形態，動作資訊設定部實施控制以修正動作程式中工件座標系統的位置及姿勢，但不限於此形態。動作資訊設定部能以任意控制來修正動作程式中的動作資訊。

例如能以機器人座標系統的座標值，來指定決定於動作程式中的作為動作資訊的教示點的位置及機器人在教示點的姿勢。此情況下，動作資訊設定部算出：設定於三維點的點群的工件座標系統相對於設定在工件模型的工件座標系統的相對位置及相對姿勢。工件座標系統的移動方向及移動量相當於工件的位置及姿勢的誤差。因此，動作資訊設定部可根據工件座標系統的相對位置及相對姿勢，來修正以機器人座標系統表現的教示點的位置及機器人在教示點的姿勢。

於此，動作資訊設定部57可具有針對模擬中的1個點，將1個座標系統的座標值轉換成其他座標系統的座標值的功能。例如可根據機器人的位置及姿勢，將以設定於工件模型的工件座標系統表現的一個點的座標值，轉換成以機器人座標系統表現的座標值。或者，可將以機器人座標系統表現的1個座標值，轉換成以工件座標系統表現的座標值。或者，根據機器人的位置及姿勢，將感測器座標系統的座標值轉換成機器人座標系統的座標值亦無妨。

於上述實施形態，熔接槍作為作業工具安裝於機器人，但不限於此形態。可採用因應機器人裝置所進行的作業的任意的作業工具。本實施形態的模擬裝置可適用於進行任意的作業的機器人裝置。接著，說明進行點熔接以外的作業的機器人裝置例。

於圖10，表示本實施形態的第2機器人裝置的立體圖。第2機器人裝置9具備安裝於機器人1之作為作業工具的手部6。手部6形成為可握持或放開工件67。第2機器人裝置9具備搬送工件67的輸送機7作為機器人1的周邊機器。輸送機7將工件67往箭頭107所示的方向搬送。第2機器人裝置9實施從預先決定的位置搬送工件67，並載置於輸送機7上的作業。

於第2機器人裝置9，機器人1的設置位置及輸送機7的設置位置有時亦產生誤差。於第2機器人裝置9的模擬裝置，作為基準的工件67亦載置於輸送機7的作為基準的位置。藉由以安裝於機器人等之視覺感測器拍攝工件，來取得工件的表面的三維位置資訊。於模擬裝置，除了顯示機器人裝置模型及工件模型等之圖像以外，還可顯示三維位置資訊。作業人員可於模擬裝置，修正動作程式的動作資訊。又，模擬裝置可根據從視覺感測器的輸出取得的三維位置資訊，來修正動作程式所包含的動作資訊。例如可修正機器人裝置用以在輸送機上放開工件的教示點。

本實施形態的視覺感測器是包含複數個二維照相機的立體照相機，但不限於此形態。作為視覺感測器，可採用能取得對象物的表面的三維位置資訊的任意感測器。作為視覺感測器，可採用例如TOF(Time of Flight(飛行時間))照相機，前述TOF照相機根據光的飛行時間來取得三維點的位置資訊。或者，作為視覺感測器，亦可採用使雷射偵距儀掃描預定的區域，來檢測對象物的表面的位置的裝置等。

本實施形態的模擬裝置的處理部是以獨立於機器人的控制裝置的運算處理裝置構成，但不限於此形態。機器人的控制裝置具有模擬裝置的功能亦無妨。亦即，控制裝置的運算處理裝置的處理器作為處理部發揮功能亦無妨。進而言之，於教示操作盤包含具有處理器的運算處理裝置時，教示操作盤具有模擬裝置的功能亦無妨。亦即，教示操作盤的處理器作為處理部發揮功能亦無妨。

可適當組合上述實施形態。於上述各個控制中，可在不變更功能及作用的範圍內適當變更步驟的順序。於上述各個圖中，對同一或相等的部分附上同一符號。再者，上述實施形態為例示，不用以限定發明。又，於實施形態包含申請專利範圍所示的實施形態的變更。

1:機器人 1M:機器人模型 2:控制裝置 3,9:機器人裝置 3:第1機器人裝置 3M:機器人裝置模型 4,8:模擬裝置 4:第1模擬裝置 5:熔接槍 5M:熔接槍模型 6:手部 7:輸送機 8:第2模擬裝置 9:第2機器人裝置 11:上部臂 12:下部臂 13:迴旋基座 14:基座 15:腕部 16:凸緣 21:機器人驅動裝置 22:工具驅動裝置 23:旋轉角檢測器 24:運算處理裝置 30:視覺感測器 31:第1照相機 32:第2照相機 33:投影器 35:攝像範圍 41:動作程式 42,53:記憶部 43:動作控制部 44:機器人驅動部 45:作業工具驅動部 49:教示操作盤 49a,51:輸入部 49b,52:顯示部 50:三維形狀資料 54,63:處理部 55:模型生成部 56:模擬執行部 57:動作資訊設定部 58:顯示控制部 59:位置資訊生成部 60:距離算出部 61:位置檢測部 65,66,67:工件 65:第1工件 65a:凸部 65b:表面 65M,66M:工件模型 65Ma:點 66:第2工件 68a~68c:熔接點 69:架台 71:機器人座標系統 72:工具座標系統 73:感測器座標系統 74a,74b:工件座標系統 81~84:圖像 86a,86b:動作路徑 87:點群 87a,87aa:三維點 89a~89h,90b,90e,90g:教示點 101~107:箭頭 CAD:電腦輔助設計 CPU:中央處理單元 RAM:隨機存取記憶體 ROM:唯讀記憶體 TOF:飛行時間 X,Y,Z:軸

圖1是實施形態的第1機器人裝置的立體圖。 圖2是實施形態的具備第1機器人裝置及第1模擬裝置的第1機器人系統的方塊圖。 圖3是以動作程式實施模擬時的圖像。 圖4是以視覺感測器拍攝工件時的機器人裝置及工件的立體圖。 圖5是顯示機器人裝置模型的圖像及由視覺感測器檢測到的三維點的點群的圖像。 圖6是顯示機器人裝置模型的圖像、工件模型的圖像及由視覺感測器檢測到的三維點的點群的圖像。 圖7是實施形態的具備第1機器人裝置及第2模擬裝置的第2機器人系統的方塊圖。 圖8是顯示用以說明設定於工件模型的工件座標系統的機器人裝置模型的圖像、工件模型的圖像及三維點的點群的圖像。 圖9是顯示動作程式中的動作資訊經修正後的動作路徑、機器人裝置模型的圖像、工件模型的圖像及三維點的點群的圖像。 圖10是實施形態的第2機器人裝置的立體圖。

1:機器人

2:控制裝置

3:第1機器人裝置

4:第1模擬裝置

5:熔接槍

21:機器人驅動裝置

22:工具驅動裝置

23:旋轉角檢測器

30:視覺感測器

31:第1照相機

32:第2照相機

33:投影器

41:動作程式

42,53:記憶部

43:動作控制部

45:作業工具驅動部

44:機器人驅動部

49:教示操作盤

49a,51:輸入部

49b,52:顯示部

50:三維形狀資料

54:處理部

55:模型生成部

56:模擬執行部

57:動作資訊設定部

58:顯示控制部

59:位置資訊生成部

60:距離算出部

Claims (6)

1. 一種模擬裝置，其實施具備機器人的機器人裝置的動作的模擬，前述模擬裝置具備： 模型生成部，其根據機器人裝置的三維形狀資料及工件的三維形狀資料，來生成模擬中的機器人裝置模型及工件模型； 顯示部，其顯示機器人裝置模型的圖像及工件模型的圖像； 動作資訊設定部，其生成包含教示點的動作程式； 模擬執行部，其根據教示點實施機器人裝置的動作的模擬，以推估機器人的動作路徑；及 位置資訊生成部，其根據拍攝實際的工件的視覺感測器的輸出，來生成工件的表面的三維位置資訊； 前述顯示部將工件的表面的三維位置資訊，重疊於機器人裝置模型的圖像、工件模型的圖像及機器人的動作路徑來顯示。
2. 如請求項1之模擬裝置，其中三維位置資訊是以設定於工件的表面的複數個三維點來構成， 前述模擬裝置進一步具備算出工件模型中的點與1個三維點的距離的距離算出部。
3. 如請求項1或2之模擬裝置，其中工件具有在視覺感測器配置於攝像位置時大於攝像範圍的形狀， 前述位置資訊生成部藉由生成以變化攝像位置的複數次攝像所取得的複數個三維位置資訊，並接合複數個三維位置資訊，來生成工件的表面的三維位置資訊。
4. 一種模擬裝置，其實施具備機器人的機器人裝置的動作的模擬，前述模擬裝置具備： 模型生成部，其根據機器人裝置的三維形狀資料及工件的三維形狀資料，來生成模擬中的機器人裝置模型及工件模型； 模擬執行部，其實施機器人裝置的動作的模擬； 動作資訊設定部，其根據機器人裝置的動作的模擬，來設定決定於動作程式中的動作資訊； 位置資訊生成部，其根據拍攝實際的工件的視覺感測器的輸出，來生成工件的表面的三維位置資訊；及 位置檢測部，其藉由進行工件的基準資料與工件的表面的三維位置資訊的匹配，來檢測出實際的工件的位置； 前述動作資訊設定部根據模擬中的工件模型的位置、及以位置檢測器檢測到的實際的工件的位置，來修正動作程式所包含的動作資訊，以使其對應於實際的工件的位置。
5. 如請求項4之模擬裝置，其中預先設定有工件座標系統，前述工件座標系統對於工件設定有原點， 決定於動作程式中的動作資訊包含：工件座標系統的位置及姿勢；及以工件座標系統決定的教示點的位置及機器人在教示點的姿勢； 前述動作資訊設定部修正在模擬中設定於工件模型的工件座標系統的位置及姿勢，以使其對應於從三維位置資訊所算出之實際的工件的工件座標系統的位置及姿勢。
6. 如請求項4或5之模擬裝置，其中前述動作資訊設定部具有針對模擬中的一個點，將其在一個座標系統中的座標值轉換成在其他座標系統中的座標值的功能。

Images