TW202315725A - 位置姿勢計測系統 - Google Patents

Abstract

本發明提供一種可以簡單的教示與較短的計測時間，正確地計測計測對象物之三維位置姿勢的系統。一種位置姿勢計測系統，具備：已校正之視覺感測器；位置姿勢移動部，可移動計測對象物或視覺感測器之三維位置姿勢；校正資料記憶部；圖像處理部，對計測對象物之拍攝圖像進行處理；位置姿勢計測部，使用圖像處理結果計測計測對象物之三維位置姿勢；攝像位置補正部，執行至少一次的補正處理，前述補正處理是使用計測出的三維位置姿勢，藉由位置姿勢移動部使視覺感測器或計測對象物移動後，依序進行圖像處理與三維位置姿勢之計測；及攝像位置補正結束部，在判定為不結束補正處理時，再度執行補正處理，在判定為要結束補正處理時，採用在最後或中途計測出的任一個三維位置姿勢，作為使用於機器人的控制的三維位置姿勢。

Description

位置姿勢計測系統

本揭示是關於位置姿勢計測系統。

背景技術

先前，藉由載置在台車等搬送裝置上之機器人進行工件的加工。機器人利用搬送裝置移動至工件的附近後，執行工件的加載/卸載、或工具的更換、工件的加工等各種作業。然而，當機器人之停止位置或停止姿勢改變時，機器人相對於作業空間的位置或姿勢亦會改變，故存在機器人無法單純藉由每次進行相同動作而適切地作業之情形。因此，需要計測機器人相對於作業空間之位置或姿勢的偏離，對機器人的動作進行補正。

例如有人提出如下技術：使用安裝於機器人之手指等的視覺感測器，檢測設置在作業空間中之複數個基準點之三維位置，算出從相對於作業空間之機器人的基準位置或基準姿勢起算的偏離量作為補正量，對機器人的動作施加補正(例如參照專利文獻1及2)。 先行技術文獻 專利文獻

[專利文獻1]日本特開平11-156764號公報 [專利文獻2]日本特開2019-093481號公報

發明概要 發明欲解決之課題

然而，在專利文獻1及2之技術中，存在如下課題：由拍攝圖像求出的計測對象物的三維位置姿勢的偏差較大、或為了拍攝配置在複數處的複數個計測對象物，而攝像位置之教示點之數量變多，教示及計測所需的時間亦變長。因此，先前技術無法使用在要求以較短的教示時間與計測時間安裝工件等精密的動作的用途上。

本揭示之目的是提供一種位置姿勢計測系統，其可以比先前更簡單的教示與更短的計測時間，正確地計測計測對象物之三維位置姿勢。 用以解決課題之手段

本揭示之一態樣係一種位置姿勢計測系統，其計測使用於機器人的控制之計測對象物之三維位置姿勢，前述位置姿勢計測系統具備：已校正(calibration)之視覺感測器；位置姿勢移動部，可移動前述計測對象物或前述視覺感測器之三維位置姿勢；校正資料記憶部，預先記憶執行前述視覺感測器之校正時所獲得的校正資料；圖像處理部，對藉由前述視覺感測器拍攝前述計測對象物而獲得的拍攝圖像進行處理；位置姿勢計測部，使用前述圖像處理部之圖像處理結果，計測前述計測對象物之三維位置姿勢；攝像位置補正部，執行至少一次的補正處理，前述補正處理是使用由前述位置姿勢計測部計測出的前述計測對象物之三維位置姿勢，藉由前述位置姿勢移動部使前述視覺感測器或前述計測對象物移動後，依序進行前述圖像處理部之圖像處理與前述位置姿勢計測部之計測；及攝像位置補正結束部，判定是否結束前述攝像位置補正部之前述補正處理，在判定為不結束時，再度執行前述補正處理，在判定為要結束時，採用由前述位置姿勢計測部在最後或中途計測出的任一個的前述計測對象物之三維位置姿勢，作為使用於前述機器人的控制之前述計測對象物之三維位置姿勢。 發明效果

根據本揭示之一態樣，可提供一種位置姿勢計測系統，其可以比先前更簡單的教示與更短的計測時間，正確地計測計測對象物之三維位置姿勢。

用以實施發明之形態

以下，參照圖式說明本揭示之實施形態。再者，於各實施形態之說明中，對於與第1實施形態共同的構成賦予相同符號，適當省略其說明。

[第1實施形態] 本揭示之第1實施形態之位置姿勢計測系統，是使用以已校正之視覺感測器拍攝計測對象物之拍攝圖像及校正資料，計測使用於機器人的動作的控制之計測對象物之三維位置姿勢(X,Y,Z,W,P,R)的系統。更詳細而言，第1實施形態之位置姿勢計測系統是如下的系統：藉由進行使現在的攝像位置與計測對象物的相對位置接近機器人之基準位置設定時之攝像位置與計測對象物的相對位置之補正，而與未進行補正時相比，可抑制計測之偏差，可比先前更正確地計測計測對象物之三維位置姿勢。

此處，所謂機器人之基準位置是指作為用以進行補正的基準的位置。藉由求出該基準位置設定時之計測對象物之位置(基準位置)與補正時之計測對象物之位置的差分，將該差分施加於要施加補正的動作，而進行補正。差分以齊次轉換矩陣表現，藉由將其施加於三維位置(向量)，而求出補正後的位置。亦可藉由預先記憶基準位置設定時之計測對象物之三維位置，將該位置作為基準的座標系統來教示機器人的動作，以計測時之對象物之位置重寫座標系統，來進行相同的補正。

圖1是顯示第1實施形態之機器人系統100之構成的圖。如圖1所示，機器人系統100包含第1實施形態之位置姿勢計測系統1而構成。機器人系統100具備：機器人2、視覺感測器4、視覺感測器控制裝置20、機器人控制裝置10及計測對象物7。機器人系統100例如基於以視覺感測器4拍攝的工件的拍攝圖像，辨識工件的三維位置姿勢，執行工件之處理或加工等預定作業。

於機器人2之機器人臂3之前端部，經由凸緣5安裝有手指的工具6。機器人2藉由機器人控制裝置10之控制執行工件之處理或加工等預定作業。又，於機器人2之機器人臂3之前端部，經由凸緣5安裝有視覺感測器4。藉此，視覺感測器4可移動三維位置姿勢。

視覺感測器4由視覺感測器控制裝置20進行控制，拍攝工件、校正治具或標記等的計測對象物7。視覺感測器4使用已校正的視覺感測器。關於視覺感測器4，可使用一般的二維相機，亦可使用立體相機等三維相機。

視覺感測器控制裝置20控制視覺感測器4，並對視覺感測器4之拍攝圖像進行圖像處理。又，視覺感測器控制裝置20從以視覺感測器4拍攝的拍攝圖像中，檢測出計測對象物7之三維位置姿勢。

機器人控制裝置10執行機器人2之動作程式，控制機器人2之動作。此時，機器人控制裝置10基於由視覺感測器控制裝置20檢測出的計測對象物7的三維位置姿勢，對機器人2的動作進行補正，以讓機器人2執行預定作業。

又，機器人控制裝置10在視覺感測器4之拍攝時，控制機器人2之位置及姿勢，以控制視覺感測器4之位置及姿勢。如此，機器人控制裝置10藉由將計測對象物7之位置及姿勢設為固定，並控制視覺感測器4之位置及姿勢，而控制計測對象物7與視覺感測器4之相對位置。

圖2是顯示第1實施形態之位置姿勢計測系統1之構成的方塊圖。如圖2所示，第1實施形態之位置姿勢計測系統1具備：視覺感測器控制裝置20、及機器人控制裝置10。視覺感測器控制裝置20具備：圖像處理部21、校正資料記憶部22、及圖像取得部23。機器人控制裝置10具備：位置姿勢計測部11、攝像位置補正部12、攝像位置補正結束部13、及位置姿勢移動部14。

圖像取得部23取得使用視覺感測器4拍攝的拍攝圖像作為輸入圖像。圖像取得部23將取得的輸入圖像傳送至圖像處理部21。

圖像處理部21對自圖像取得部23傳送來的輸入圖像進行圖像處理。更具體而言，圖像處理部21例如使用預先記憶的模型圖案(model pattern)，在基於與該模型圖案之一致度的檢測分數為預定的閾值以上時，從輸入圖像中檢測出計測對象物7。又，圖像處理部21從輸入圖像與記憶在後述的校正資料記憶部22中的校正資料，求出以視覺感測器4為基準的計測對象物7的三維位置姿勢。

再者，關於從使用已校正的視覺感測器4拍攝的輸入圖像中的校正治具等計測對象物7的位置資訊，求出以視覺感測器4為基準的計測對象物7的三維位置姿勢的原理，眾所周知有例如松山隆司著的「電腦視覺、技術評論與將來展望」等。即，已經求出視覺感測器4內部之幾何變換特性、及物體存在的三維空間與二維圖像平面之幾何關係，進而獲得複數個成對資訊，前述成對資訊是校正治具等所顯示之複數個圓點等的特徵的二維圖像上的位置與三維空間上的位置；藉此可無歧異地決定視覺感測器4與計測對象物7之相對位置。因此，可從使用已校正的視覺感測器4拍攝的輸入圖像中的計測對象物7的位置資訊，求出以視覺感測器4為基準的計測對象物7的三維位置姿勢。

視覺感測器控制裝置20中之圖像處理部21、及機器人控制裝置10，例如由DSP(Digital Signal Processor，數位訊號處理器)、FPGA(Field-Programmable Gate Array，現場可程式閘陣列)等運算處理器構成。視覺感測器控制裝置20中之圖像處理部21、及機器人控制裝置10之各種功能，例如藉由執行預定的軟體(程式、應用程式)而實現。視覺感測器控制裝置20中之圖像處理部21、及機器人控制裝置10之各種功能，亦可以硬體與軟體的協同合作來實現，亦可僅以硬體(電子電路)來實現。

校正資料記憶部22預先記憶執行視覺感測器4之校正時獲得的校正資料。視覺感測器控制裝置20中之校正資料記憶部22，例如以EEPROM(Electrically Erasable Programmable Read-Only Memory，電子可抹除可程式唯讀記憶體)等可重寫的記憶體構成。

於視覺感測器4之校正資料中記憶有視覺感測器4之內部參數與外部參數。關於視覺感測器4之內部參數，可舉例：透鏡畸變差或焦點距離等參數。關於視覺感測器4之外部參數，可舉例：以機器人2之基準位置設定時的機器人2的基準位置作為基準的視覺感測器4的三維位置姿勢、或以凸緣5之位置作為基準的視覺感測器4的三維位置姿勢。

位置姿勢計測部11使用圖像處理部21之圖像處理結果，計測計測對象物7之三維位置姿勢。具體而言，位置姿勢計測部11從拍攝時之以機器人2之基準位置作為基準的視覺感測器4的三維位置姿勢(即，視覺感測器4之現在位置姿勢)、與以圖像處理部21求得的以視覺感測器4作為基準的計測對象物7的三維位置姿勢，求出拍攝時之以機器人2之基準位置作為基準的計測對象物7的三維位置姿勢。

關於拍攝時之以機器人2之基準位置作為基準的視覺感測器4的三維位置姿勢，以如下方式求出。本實施形態之視覺感測器4由於為手持相機等，故當機器人2進行動作，視覺感測器4之位置亦會連動改變。因此，首先在安裝視覺感測器4後，從記憶在校正資料記憶部22之校正資料，取得以不會隨著機器人2的動作而改變的凸緣5作為基準的視覺感測器4的三維位置姿勢。又，取得經常可從生成對機器人2的動作指令的機器人控制裝置10取得的、拍攝時之以機器人2之基準位置作為基準的凸緣5的三維位置姿勢。然後，基於所取得的以凸緣5作為基準的視覺感測器4的三維位置姿勢、與所取得的拍攝時之以機器人2之基準位置作為基準的凸緣5的三維位置姿勢，來計算並求得拍攝時之以機器人2之基準位置作為基準的視覺感測器4的三維位置姿勢。

攝像位置補正部12使用由位置姿勢計測部11計測出的計測對象物7的三維位置姿勢，利用後述的位置姿勢移動部14使視覺感測器4移動後，依序執行圖像處理部21之圖像處理與位置姿勢計測部11之計測。攝像位置補正部12執行至少一次這樣的補正處理，前述補正處理由視覺感測器4的移動、拍攝圖像處理、及三維位置姿勢計測構成。

又，攝像位置補正部12較佳為使機器人2動作至機器人位置後，執行上述補正處理，前述機器人位置是可使視覺感測器4接近從基準位置設定時之計測對象物7看視覺感測器4的位置之位置。

藉由該攝像位置補正部12之補正處理，現在的攝像位置與計測對象物7的相對位置，會接近機器人2之基準位置設定時之攝像位置與計測對象物7之相對位置。藉此，可抑制位置姿勢計測部11計測計測對象物7的三維位置姿勢的偏差。即，先前，如果從拍攝圖像求出的計測對象物的三維位置姿勢的偏差較大、計測對象物與要施加補正的位置距離很大，就有補正誤差變大的問題，然而本實施形態可解決此問題。因此，本實施形態亦可適用在要求安裝工件等的精密動作的用途上。

攝像位置補正結束部13判定是否結束攝像位置補正部12之補正處理。本實施形態之攝像位置補正結束部13根據攝像位置補正部12之補正處理是否執行預定次數，來判定是否結束補正處理。關於預定次數，例如設定為三次。

具體而言，攝像位置補正結束部13在判定為攝像位置補正部12之補正處理未執行預定次數，不結束補正處理時，再度執行攝像位置補正部12之補正處理。

又，攝像位置補正結束部13在判定為攝像位置補正部12之補正處理已執行預定次數，要結束補正處理時，採用由位置姿勢計測部11在最後或中途計測出的任一個的計測對象物7的三維位置姿勢，作為要使用於機器人2的控制的計測對象物7的三維位置姿勢。

於補正處理中，由位置姿勢計測部11最後計測出的以機器人2之基準位置作為基準的計測對象物7的三維位置姿勢，為抑制了計測偏差的正確的三維位置姿勢。因此，藉由使用由攝像位置補正結束部13採用的以機器人2之基準位置作為基準的計測對象物7的三維位置姿勢來控制機器人2的動作，可進行機器人2之正確的動作控制。

又，在補正處理中視覺感測器4之移動量非常小時(例如小於預定的移動量閾值時)，機器人2本身的移動精度對補正誤差的影響變大。因此，此時，採用在補正處理之中途所計測出的任一個的計測對象物7的三維位置姿勢之中、例如最後一個之前一個計測的三維位置姿勢，有時可更加抑制補正誤差。

例如，除了可使用由攝像位置補正結束部13採用的以機器人2之基準位置作為基準的計測對象物7的三維位置姿勢，來控制機器人2相對於安裝有計測對象物7的物體的動作外，還可設定用於控制機器人2的座標系統。此時，可將以設定的座標系統與位於基準位置的基準座標系統重疊之方式將座標系統本身進行移動、旋轉而藉此求出的座標系統的移動量作為偏離量即補正量，對機器人2的動作進行補正。此外，亦可使用於用以設定機器人2之教示位置的座標系統等。於圖1所示之例中，計測對象物7載置於台T上，此時使用於機器人2的控制之座標系統設定在台T上之計測對象物7。

位置姿勢移動部14使視覺感測器4之三維位置姿勢移動。具體而言，位置姿勢移動部14藉由控制機器人2的動作，而使視覺感測器4之三維位置姿勢移動。上述的攝像位置補正部12藉由利用該位置姿勢移動部14使視覺感測器4移動，而執行補正處理。

參照圖3詳細地說明具備以上構成之第1實施形態之位置姿勢計測系統1之處理。圖3是顯示第1實施形態之位置姿勢計測系統1之處理順序的流程圖。

首先，於步驟S11取得輸入圖像。具體而言，藉由視覺感測器4拍攝計測對象物7，藉此於圖像取得部23取得輸入圖像。然後，前進到步驟S12。

接著，於步驟S12，計測計測對象物7之三維位置姿勢。具體而言，於位置姿勢計測部11中，使用圖像處理部21之輸入圖像之圖像處理結果，計測計測對象物7之三維位置姿勢。更詳細來說，於位置姿勢計測部11中，從拍攝時之以機器人2之基準位置作為基準的視覺感測器4的三維位置姿勢、與由圖像處理部21求得的以視覺感測器4作為基準的計測對象物7的三維位置姿勢，求出拍攝時之以機器人2之基準位置作為基準的計測對象物7的三維位置姿勢。然後，前進到步驟S13。

接著，於步驟S13，使視覺感測器4移動至機器人2之基準位置設定時的位置。具體而言，於攝像位置補正部12中，使用由位置姿勢計測部11計測出的計測對象物7的三維位置姿勢使機器人2動作，使視覺感測器4移動至機器人2之基準位置設定時的視覺感測器4的位置。然後，前進到步驟S14。

接著，於步驟S14取得輸入圖像。具體而言，藉由於步驟S13移動後的視覺感測器4再度拍攝計測對象物7，藉此於圖像取得部23取得輸入圖像。然後，前進到步驟S15。

接著，於步驟S15，計測計測對象物7之三維位置姿勢。具體而言，使用於步驟S13移動後的視覺感測器4於步驟S14拍攝的計測對象物7的輸入圖像的利用圖像處理部21獲得之圖像處理結果，以位置姿勢計測部11計測計測對象物7之三維位置姿勢。再者，位置姿勢計測部11中之計測對象物7之三維位置姿勢之計測順序與步驟S12相同。然後，前進到步驟S16。

接著，於步驟S16判定是否已進行預定次數、例如三次的攝像位置的補正。若該判別為否，返回步驟S13，再度執行由視覺感測器4的移動、拍攝圖像處理、及三維位置姿勢計測構成的攝像位置補正部12之補正處理。若該判別為是，前進至步驟S17。

接著，於步驟S17，採用於位置姿勢計測部11最後計測出之計測對象物7之三維位置姿勢，作為用以控制機器人2相對於安裝有計測對象物7的物體的動作之計測對象物7的三維位置姿勢。之後，結束本處理。

再者，於圖3之流程圖之例中，雖然於步驟S17採用最後計測出的計測對象物的位置姿勢，但如上所述，在補正處理中視覺感測器4之移動量非常小時，由機器人2本身的移動精度對補正誤差的影響的觀點來看，例如亦可採用在最後一個之前一個計測出的三維位置姿勢。

圖4是顯示移動攝像位置時之輸入圖像之變化的圖。於圖4中顯示重複執行三次攝像位置補正部12之補正處理時的輸入圖像的變化。又，於圖4中，顯示使用校正治具作為計測對象物7之例。

此處，就校正治具詳細地說明。關於校正治具，可使用可用於校正視覺感測器4之先前公知的校正治具。校正治具是藉由以視覺感測器4拍攝配置於平面上之圓點圖案而用以取得視覺感測器4之校正上所需的資訊的治具，關於圓點圖案滿足以下三個必要條件：(1)圓點圖案的網格點間距為已知、(2)存在一定數量以上的網格點、(3)可以無歧異地特定出各網格點對應哪個網格點。校正治具不限於如圖4所示之預定的圓點圖案等特徵配置於二維平面者，亦可為特徵配置成三維立體者，只要是能夠獲得除了二維位置資訊(X方向、Y方向)外，亦包含高度方向(Z方向)的位置資訊的三維位置資訊者即可。又，該校正治具可與執行視覺感測器4之校正時所使用者為相同者，亦可為不同者。再者，為了從利用視覺感測器4拍攝的圓點圖案計算以視覺感測器4作為基準的圓點圖案的三維位置姿勢，使用上述的校正資料的內部參數。

如圖4所示，由於若藉由攝像位置補正部12執行補正處理，攝像位置與計測對象物7之相對位置會改變，故可知輸入圖像中之計測對象物7之三維位置姿勢慢慢改變。然後，可知藉由重複補正處理之次數，視覺感測器4之移動量會接近0，輸入圖像中之計測對象物7之位置收斂至輸入圖像中的中央。

又，圖5是顯示攝像位置移動前之計測對象物7的位置與基準位置設定時之計測對象物7的位置S的圖。圖6是顯示攝像位置移動後之計測對象物7的位置與基準位置設定時之計測對象物7的位置S的圖。由此等圖5及圖6可知，藉由攝像位置補正部12執行補正處理，輸入圖像中之計測對象物7之位置收斂至輸入圖像中之中央之基準位置設定時之計測對象物7的位置S。即，可知現在的攝像位置與計測對象物7的相對位置接近機器人2之基準位置設定時之攝像位置與計測對象物7之相對位置。

根據第1實施形態之位置姿勢計測系統1，可發揮以下效果。

於本實施形態之位置姿勢計測系統1中設置有攝像位置補正部12，前述攝像位置補正部12執行至少一次的補正處理，前述補正處理是使用由位置姿勢計測部11計測出的計測對象物7的三維位置姿勢，利用位置姿勢移動部14使機器人2動作至機器人2之位置後，依序進行圖像處理部21之圖像處理與位置姿勢計測部11之計測，前述機器人2之位置是可使視覺感測器4接近從基準位置設定時之計測對象物7看視覺感測器4的位置之位置。又，於本實施形態之位置姿勢計測系統1中設置有攝像位置補正結束部13，前述攝像位置補正結束部13在判定為攝像位置補正部12之補正處理未執行預定次數，不結束補正處理時，再度執行補正處理，在判定為補正處理已執行預定次數，要結束補正處理時，採用由位置姿勢計測部11在最後或中途計算出的任一個的計測對象物7的三維位置姿勢，作為使用於機器人2的控制之計測對象物7的三維位置姿勢。

藉此，藉由攝像位置補正部12之補正處理，現在的攝像位置與計測對象物7的相對位置會接近機器人2之基準位置設定時之攝像位置與計測對象物7之相對位置。因此，根據本實施形態，由於可抑制藉由位置姿勢計測部11計測計測對象物7的三維位置姿勢的偏差，故可以比先前更簡單的教示與更短的計測時間，正確地計測計測對象物7之三維位置姿勢。此外，根據本實施形態，可將所計測出的計測對象物7的三維位置姿勢使用在需要機器人2之精密動作的作業。

[第1實施形態之變形例] 第1實施形態之變形例之位置姿勢計測系統與第1實施形態之位置姿勢計測系統1相比，除了攝像位置補正結束部13之構成不同以外，其餘為與第1實施形態相同的構成。具體而言，第1實施形態之變形例之攝像位置補正結束部，是根據攝像位置補正部12之補正處理中之視覺感測器4之移動量，來判定是否結束補正處理。即，第1實施形態之變形例之攝像位置補正結束部在攝像位置補正部12之視覺感測器4之移動量大於預定的閾值時判定為不結束補正處理，在視覺感測器4之移動量小於預定的閾值時判定為要結束補正處理。

圖7是顯示第1實施形態之變形例之位置姿勢計測系統之處理順序的流程圖。圖7中之步驟S21~步驟S25與第1實施形態中之步驟S11~步驟S15相同。

於步驟S26中，判別視覺感測器4之移動量是否小於預定的閾值。具體而言，判別步驟S23中之視覺感測器4之移動量是否小於預定的閾值。視覺感測器4之移動量可從機器人2之移動量求出。若該判別為否，返回步驟S23，再度執行由視覺感測器4的移動、拍攝圖像處理及三維位置姿勢計測構成的攝像位置補正部12之補正處理。若該判別為是，前進至步驟S27。

接著，於步驟S27，與第1實施形態之步驟S17相同，採用於位置姿勢計測部11最後計測出之計測對象物7之三維位置姿勢，作為使用於機器人2的控制之計測對象物7的三維位置姿勢。之後，結束本處理。

再者，於圖7之流程圖之例中，雖然於步驟S27採用最後計測出的計測對象物的位置姿勢，但與第1實施形態相同，在補正處理中視覺感測器4之移動量非常小時，由機器人2本身的移動精度對補正誤差的影響的觀點來看，例如亦可採用在最後一個之前一個計測出的三維位置姿勢。

又，亦可構成為在視覺感測器4之移動量不小於預定的閾值時，發出警報通知使用者。此時，最好預先設定補正處理次數的上限值。

根據第1實施形態之變形例之位置姿勢計測系統，可發揮與第1實施形態之位置姿勢計測系統1相同的效果。此外，根據本變形例，在視覺感測器4之移動量從第一次的補正處理開始就很小時，可以比第1實施形態短的時間執行補正處理。

[第2實施形態] 圖8是顯示第2實施形態之位置姿勢計測系統1A之構成的方塊圖。如圖8所示，第2實施形態之位置姿勢計測系統1A與第1實施形態之位置姿勢計測系統1相比，除了視覺感測器控制裝置20A之構成不同以外，其餘為與第1實施形態相同的構成。具體而言，第2實施形態之位置姿勢計測系統1A中，視覺感測器控制裝置20A進而具備計測對象亮度判定部24及計測對象亮度調整部25。

計測對象亮度判定部24測定於圖像處理部21處理後的拍攝圖像中的計測對象物7的亮度。又，計測對象亮度判定部24判定測定出的亮度與機器人2之基準位置設定時之拍攝圖像中之計測對象物7的亮度的差是否大於預定的第1閾值。

在計測對象亮度判定部24判定為亮度的差大於預定的第1閾值時，計測對象亮度調整部25以使計測對象物7的亮度接近機器人2的基準位置設定時的亮度之方式進行調整。具體而言，計測對象亮度調整部25改變視覺感測器4之曝光條件、或將視覺感測器4之曝光條件不同的複數個拍攝圖像進行合成，來使計測對象物7的亮度接近機器人2的基準位置設定時的亮度。

再者，計測對象亮度判定部24及計測對象亮度調整部25之處理與攝像位置補正部12之補正處理一起執行。即，與視覺感測器4之移動後、拍攝圖像處理及三維位置姿勢計測，並行地執行計測對象亮度判定部24及計測對象亮度調整部25之處理。

圖9是顯示移動攝像位置且調整亮度時之輸入圖像之變化的圖。於圖9所示之例中，相對於基準位置設定時之輸入圖像中之計測對象物7的亮度，第一次的攝像位置移動後的輸入圖像中之計測對象物7之亮度較低，其等的亮度的差分超過第1閾值。因此，藉由計測對象亮度調整部25進行第二次的攝像位置移動且改變曝光條件，而調整亮度。其結果，可知第二次的攝像位置移動後之輸入圖像中之計測對象物7之亮度，與基準位置設定時之輸入圖像中之計測對象物7之亮度相等。

根據第2實施形態之位置姿勢計測系統1A，在移動後的攝像位置進行拍攝時，會以使拍攝圖像內之計測對象物7之亮度、即明亮度接近基準位置設定時之明亮度之方式，自動調整視覺感測器4之曝光條件。或者，此時由拍攝的複數張亮度不同的拍攝圖像來合成圖像。圖像合成藉由先前公知之HDR合成等進行。藉此，可使拍攝圖像內之計測對象物7之明亮度在基準位置設定時與視覺感測器4移動後之拍攝時接近，可抑制因計測對象物7之明亮度與基準位置設定時之明亮度的不同所導致的計測對象物7的三維位置姿勢的計測誤差增大。

[第3實施形態] 圖10是顯示第3實施形態之位置姿勢計測系統1B之構成的方塊圖。如圖10所示，第3實施形態之位置姿勢計測系統1B與第1實施形態之位置姿勢計測系統1相比，不同點在於視覺感測器控制裝置20B之構成不同且進一步具備介面裝置30，其餘為與第1實施形態相同之構成。

具體而言，第3實施形態之位置姿勢計測系統1B中，視覺感測器控制裝置20B進而具備計測對象亮度判定部24。該計測對象亮度判定部24基本上為與第2實施形態相同的構成。

計測對象亮度判定部24測定於圖像處理部21處理後的拍攝圖像中的計測對象物7的亮度。又，計測對象亮度判定部24判定與機器人2之基準位置設定時之拍攝圖像中之計測對象物7的亮度的差是否大於預定的第2閾值。此處，關於預定的第2閾值，可設為與上述的第1閾值相同的值，亦可設定與第1閾值不同的值。

介面裝置30具備計測對象資訊提示部31。計測對象資訊提示部31在計測對象亮度判定部24判定為亮度的差大於預定的第2閾值時，向使用者提示計測對象物7的亮度與機器人2之基準位置設定時的亮度有很大不同。例如計測對象資訊提示部31可於介面裝置30之顯示畫面上以彈出形式顯示「計測對象物(標記)之明亮度與基準位置設定時之明亮度有很大不同。建議改變照明環境。」。

再者，計測對象資訊提示部31不限於設置在介面裝置30之構成。例如亦可取代介面裝置30，做成於視覺感測器控制裝置20B之顯示部設置計測對象資訊提示部之構成。

又，計測對象亮度判定部24及計測對象資訊提示部31之處理與攝像位置補正部12之補正處理一起執行。即，與視覺感測器4之移動後、拍攝圖像處理及三維位置姿勢計測，並行地執行計測對象亮度判定部24及計測對象資訊提示部31之處理。

圖11是顯示判定為攝像位置之移動前後的計測對象物的亮度的差比第2閾值大時的介面裝置30的顯示畫面的圖。於圖11所示例中，相對於基準位置設定時之輸入圖像中之計測對象物7之亮度，攝像位置移動後之輸入圖像中之計測對象物7之亮度較低，其等亮度的差分超過第2閾值。因此，可知藉由計測對象資訊提示部31於介面裝置30之顯示畫面上以彈出形式顯示「標記之明亮度與基準設定時之明亮度有很大不同。建議改變照明環境。」。

根據第3實施形態之位置姿勢計測系統1B，可在計測對象物7之明亮度與基準位置設定時之明亮度有很大不同時，向使用者提示該資訊。藉此，除了可促使使用者改變照明環境外，亦可促使使用者以手動改變視覺感測器4之曝光條件，可抑制因外部因素改變照明條件所導致的計測對象物7的三維位置姿勢的計測誤差增大。

[第4實施形態] 圖12是顯示第4實施形態之位置姿勢計測系統1C之構成的方塊圖。如圖12所示，第4實施形態之位置姿勢計測系統1C與第1實施形態之位置姿勢計測系統1相比，不同點在於視覺感測器控制裝置20C之構成不同且進一步具備介面裝置30，其餘為與第1實施形態相同的構成。

具體而言，第4實施形態之位置姿勢計測系統1C中，視覺感測器控制裝置20C進一步具備計測對象無法檢測範圍判定部26。計測對象無法檢測範圍判定部26測定於圖像處理部21處理後之拍攝圖像中之計測對象物7之無法檢測範圍，判定該測定值是否大於預定的無法檢測閾值。

此處，所謂拍攝圖像中之計測對象物7之無法檢測範圍，是指例如因灰塵或任何遮蔽物、設置在視覺感測器4之照明等所引起的反射或暈光而無法檢測計測對象物7的範圍。關於計測對象物7之無法檢測範圍的測定，例如可由計測對象物7之無法檢測範圍之面積相對於拍攝圖像全體之面積的比率來測定。

介面裝置30具備計測對象資訊提示部31。計測對象資訊提示部31在計測對象無法檢測範圍判定部26判定為無法檢測範圍的測定值大於預定的無法檢測閾值時，向使用者提示無法檢測範圍很大。例如計測對象資訊提示部31可於介面裝置30之顯示畫面上以彈出形式顯示「計測對象物(標記)之無法檢測範圍很大。請改變照明環境或確認計測對象物是否被遮蔽物遮擋。」。

再者，計測對象資訊提示部31不限於設置在介面裝置30之構成。例如亦可取代介面裝置30，做成於視覺感測器控制裝置20C之顯示部設置計測對象資訊提示部之構成。

又，計測對象無法檢測範圍判定部26及計測對象資訊提示部31之處理與攝像位置補正部12之補正處理一起執行。即，與視覺感測器4之移動後、拍攝圖像處理及三維位置姿勢計測，並行地執行計測對象無法檢測範圍判定部26及計測對象資訊提示部31之處理。

圖13是顯示判定為攝像位置之移動後的輸入圖像中的計測對象物7的無法檢測範圍大於無法檢測閾值時的介面裝置30的顯示畫面的圖。於圖13所示之例中，在攝像位置移動後之輸入圖像中之計測對象物7上重疊了遮蔽物8、9，無法檢測範圍超過無法檢測閾值。因此，可知藉由計測對象資訊提示部31於介面裝置30之顯示畫面上以彈出形式顯示「標記之無法檢測範圍很大。請改變照明環境或確認標記是否被遮蔽物遮擋。」。

根據第4實施形態之位置姿勢計測系統1C，在計測對象物7之一部分因灰塵或任何遮蔽物等外部因素被遮擋時、或因照明引起的反射或暈光等而於拍攝圖像內無法檢測的狀態時，測定該無法檢測的範圍，在大於預定的無法檢測閾值時，提示引起使用者注意的資訊。藉此，除了可促使使用者改變照明環境以縮小計測對象物7之無法檢測範圍外，亦可促使使用者去除外部因素。因此，根據本實施形態，可進一步抑制因為計測對象物7之無法檢測範圍變大所導致的計測對象物7的三維位置姿勢的計測誤差增大。

再者，本揭示不限於上述各態樣，可達成本揭示之目的之範圍內的變形、改良包含於本揭示中。

例如對於與上述實施形態不同的、由機器人2把持計測對象物7且將視覺感測器4安裝在工具機的系統，亦可應用本揭示之位置姿勢計測系統。此時，攝像位置補正部12藉由利用位置姿勢移動部14使計測對象物7移動，而執行補正處理。又，攝像位置補正結束部13基於計測對象物7之移動量，執行補正處理之結束判定。

又，例如亦可於不同的機器人的手部安裝視覺感測器4，使用該視覺感測器4以二台機器人執行本揭示之位置姿勢計測系統。

又，亦可將上述實施形態之攝像位置補正部12構成為執行至少一次基於以下步驟的上述補正處理：使視覺感測器4或計測對象物7移動而接近表示計測對象物7之基準姿勢的第1位置姿勢(即，設定作為用以進行補正之基準的位置時之位置姿勢)後，進行圖像處理部21之圖像處理與位置姿勢計測部11之計測。此時，可將上述實施形態中之攝像位置補正結束部13構成為，基於攝像位置補正部12之補正處理中的、由位置姿勢計測部11計測出的計測對象物7的第2位置姿勢(即，利用補正處理而由位置姿勢計測部11計測出的任一個的位置姿勢)，判定是否結束補正處理。

1,1A,1B,1C:位置姿勢計測系統 2:機器人 3:機器人臂 4:視覺感測器 5:凸緣 6:手指的工具 7:計測對象物 8,9:遮蔽物 10:機器人控制裝置 11:位置姿勢計測部 12:攝像位置補正部 13:攝像位置補正結束部 14:位置姿勢移動部 20,20A,20B,20C:視覺感測器控制裝置 21:圖像處理部 22:校正資料記憶部 23:圖像取得部 24:計測對象亮度判定部 25:計測對象亮度調整部 26:計測對象無法檢測範圍判定部 30:介面裝置 31:計測對象資訊提示部 100:機器人系統 S:基準位置設定時的位置 T:台 S11~S17:步驟 S21~S27:步驟 X,Y,Z:方向

圖1是顯示第1實施形態之機器人系統之構成的圖。 圖2是顯示第1實施形態之位置姿勢計測系統之構成的方塊圖。 圖3是顯示第1實施形態之位置姿勢計測系統之處理順序的流程圖。 圖4是顯示移動攝像位置時之輸入圖像之變化的圖。 圖5是顯示攝像位置移動前之計測對象物的位置與基準位置設定時之計測對象物的位置的圖。 圖6是顯示攝像位置移動後之計測對象物的位置與基準位置設定時之計測對象物的位置的圖。 圖7是顯示第1實施形態之變形例之位置姿勢計測系統之處理順序的流程圖。 圖8是顯示第2實施形態之位置姿勢計測系統之構成的方塊圖。 圖9是顯示移動攝像位置且調整亮度時之輸入圖像之變化的圖。 圖10是顯示第3實施形態之位置姿勢計測系統之構成的方塊圖。 圖11是顯示判定為攝像位置之移動前後的計測對象物的亮度差比第2閾值大時的介面裝置的顯示畫面的圖。 圖12是顯示第4實施形態之位置姿勢計測系統之構成的方塊圖。 圖13是顯示判定為攝像位置之移動後的輸入圖像的無法檢測範圍大於無法檢測閾值時的介面裝置的顯示畫面的圖。

1:位置姿勢計測系統

10:機器人控制裝置

11:位置姿勢計測部

12:攝像位置補正部

13:攝像位置補正結束部

14:位置姿勢移動部

20:視覺感測器控制裝置

21:圖像處理部

22:校正資料記憶部

23:圖像取得部

Claims (8)

1. 一種位置姿勢計測系統，是計測使用於機器人的控制之計測對象物之三維位置姿勢，前述位置姿勢計測系統具備： 已校正之視覺感測器； 位置姿勢移動部，可移動前述計測對象物或前述視覺感測器之三維位置姿勢； 校正資料記憶部，預先記憶執行前述視覺感測器之校正時所獲得的校正資料； 圖像處理部，對藉由前述視覺感測器拍攝前述計測對象物而獲得的拍攝圖像進行處理； 位置姿勢計測部，使用前述圖像處理部之圖像處理結果，計測前述計測對象物之三維位置姿勢； 攝像位置補正部，執行至少一次的補正處理，前述補正處理是使用由前述位置姿勢計測部計測出的前述計測對象物之三維位置姿勢，藉由前述位置姿勢移動部使前述視覺感測器或前述計測對象物移動後，依序進行前述圖像處理部之圖像處理與前述位置姿勢計測部之計測；及 攝像位置補正結束部，判定是否結束前述攝像位置補正部之前述補正處理，在判定為不結束時，再度執行前述補正處理，在判定為要結束時，採用由前述位置姿勢計測部在最後或中途計測出的任一個的前述計測對象物之三維位置姿勢，作為使用於前述機器人的控制之前述計測對象物之三維位置姿勢。
2. 如請求項1之位置姿勢計測系統，其中前述攝像位置補正部在使前述機器人動作至前述機器人的位置後，執行前述補正處理，前述機器人的位置是可使前述視覺感測器接近從設定作為用以進行補正之基準的位置時之前述計測對象物看前述視覺感測器的位置之位置。
3. 如請求項1或2之位置姿勢計測系統，其中前述攝像位置補正結束部在前述攝像位置補正部之前述補正處理已執行預定次數時，判定為要結束前述補正處理。
4. 如請求項1或2之位置姿勢計測系統，其中前述攝像位置補正結束部在前述攝像位置補正部之前述視覺感測器或前述計測對象物之移動量小於預定的閾值時，判定為要結束前述補正處理。
5. 如請求項1或2之位置姿勢計測系統，其進而具備： 計測對象亮度判定部，測定於前述圖像處理部處理後的拍攝圖像中之前述計測對象物的亮度，判定與前述機器人之基準位置設定時之拍攝圖像中之前述計測對象物的亮度的差是否大於預定的第1閾值；及 計測對象亮度調整部，在前述計測對象亮度判定部判定為前述亮度的差大於前述預定的第1閾值時，以使前述計測對象物的亮度接近前述機器人之基準位置設定時的亮度之方式進行調整。
6. 如請求項1或2之位置姿勢計測系統，其進而具備： 計測對象亮度判定部，測定於前述圖像處理部處理後的拍攝圖像中之前述計測對象物的亮度，判定與前述機器人之基準位置設定時之拍攝圖像中之前述計測對象物的亮度的差是否大於預定的第2閾值；及 計測對象資訊提示部，在前述計測對象亮度判定部判定為前述亮度的差大於前述預定的第2閾值時，向使用者提示前述計測對象物的亮度與前述機器人之基準位置設定時的亮度有很大不同。
7. 如請求項1或2之位置姿勢計測系統，其進而具備： 計測對象無法檢測範圍判定部，測定於前述圖像處理部處理後之拍攝圖像中之前述計測對象物之無法檢測範圍，判定前述無法檢測範圍是否大於預定的無法檢測閾值；及 計測對象資訊提示部，在前述計測對象無法檢測範圍判定部判定為前述無法檢測範圍大於前述預定的無法檢測閾值時，向使用者提示前述計測對象物的無法檢測範圍很大。
8. 一種位置姿勢計測系統，具備： 已校正之視覺感測器； 圖像處理部，對藉由前述視覺感測器拍攝計測對象物而獲得的拍攝圖像進行處理； 位置姿勢計測部，使用前述圖像處理部之圖像處理結果，計測前述計測對象物之位置姿勢； 攝像位置補正部，執行至少一次基於以下步驟的補正處理：使前述視覺感測器或前述計測對象物移動而接近表示前述計測對象物之基準姿勢的第1位置姿勢後，進行前述圖像處理部之圖像處理與前述位置姿勢計測部之計測；及 攝像位置補正結束部，基於前述攝像位置補正部之前述補正處理中由前述位置姿勢計測部計測出的前述計測對象物的第2位置姿勢，判定是否結束前述補正處理。

Images