TWI244427B - Image processing device - Google Patents

Description

1244427 九、發明說明： 【發明所屬之技術領域】 理壯本《明係關於—種檢測對象物之位置、姿勢的影像處 二置▲。尤其是關於識別檢測雜亂堆積且其位置、姿勢呈 變化之同一形狀之對象物的姿勢之影像處理裝置。 【先前技術】 在機ϋ人等之自動機财，為了處 工件），—般㈣從拍攝對象物所得之影像來識別其 -1、ί勢的方法。但是，要識別拍攝呈堆積狀態之3次 、^之位置、安勢而得的對象物之位置、姿勢非常困 雞0 囚此 利特開2000-288974號公報所記載之技 事先記憶從各種方向關對象物而得之複數個影傳 :為=模型之影像’比較對照該記憶之教示模型的影 阳及檢測拍攝對象物之位置、姿勢而得的輸入影像，以 選擇與該拍攝影像最，也去Α __ ρ 、 夕m 教不杈型。然後，根據該選擇 之教不Μ型求出對象物之位置、姿勢 對象物的位置、姿勢Μ 出之 — 吏視見戍測的私動至可識別對象物 你署ί勢’㈣用該視覺感測器正確地識騎象物之 位置、安勢。 號公報所記載之技術， I置構成影像切出識別 ，利用第1影像輸入機 又’曰本專利特開平8-153198 係以對象物學習裝置及對象物識別 t置。然後’在對象物學習裝置中 315740 6 1244427 構從各種方向拍攝對象物並從所得之影像資料中抽出對象 物之區域，藉由將該抽出之對象物之區域的影像資料值規 格化以獲得影像處資料。藉由將該影像處理資料之 :種又更以k仔學g影像資料集合。然後，從該學習影像 f料集合、與自該學習影像資料集合求出的固有向量，計 =樣體之形狀。另—方面，在對象物識㈣置中，從利 用弟2影像輸人機構所得的影像資料中抽出對象物之區 域，並從將該抽出之區域的影像資料值規格化 上述固有向量及上述多樣體之形狀，計算距離值，、並 輸出對象物之位置、方向及大小。 值亚 =辑利特開2〇〇〇_288974號公報所記載之技 ^ 、用於逐絲出純堆積之同—形狀的對象之作 ί型=#從各種方向拍攝對象物而事先求出複數個教示 、生之衫像。然後，比較對照該等教 攝堆積之幾個對象物所得的於入旦1 〜像及拍 德异t , 輸人辣，以選擇與該拍攝影 ，取，似之教示模型的影像。然後’使用該選擇之教 尘以，、出對象物之3次元位置、 對象物的3次元位置、姿勢，使視覺相==之 對象物之位置、姿勢，而利用該二識别 象物之位置、姿勢。在此技㈣’二對 就越能正確地識別對象物之位E、姿冑。 夕， 對象之情況，在恨多對象物堆積之狀態，該各個 象各種的3次元姿勢。為了更正確識別如此之對 置、妥勢，就必須對應對象物之可攝得的所有姿 315740 7 1244427 勢而準備更多的（更細的）教示模型之影像。 但是，為了取得多數之教示模型的影像而會增大時間 及記憶該教示模型之影像用的記憶機構。更且，在想翻 :對象物之位置、姿勢時’由於想要比較對照之教：模^ f像的數量多，所以會有要花時間在該比較對照上的問 題。 【發明内容】 本發明之影像處理裝置，係利用拍攝對象物而得 入影像與對㈣之教示模型的比較對照來朗上述對象：# ，姿勢。此影像處理裝置包括：帛！教示模型，包含有以 離散地涵蓋上述對象物之可攝得的可見形態的全範圍之方 式’從複數個方向拍攝對象物時之方向及對應於該方向之 拍，影像；第2教示模型，包含有只針對上述對象物之可 攝得的可見形態的局部範圍，從方向變化刻度比第】教干 模型小的複數個方向進行拍攝時的方向及對應於該方向^ 弟1比較對照機構，其進行利用拍攝機構拍攝· 上述對象物而得之第1輸入影像與第i教示模型之各影像 父對照，·拍攝機構之相對位置、姿勢變更機構，其根 ^弟1比較對照機構之比較對照結果，而以使上述對象物 兵上述拍攝機構之相對位置、姿勢在第2教示模型之可見 範圍内之方式變更上述對象物與上述拍攝機構之相 J置、要勢；以及第2比較對照機構，其利用第2教示 孓進仃與上述拍攝機構在變更後之相對位置、姿勢中拍 攝上述對象物所得之第2輸人影像的比較對昭。 315740 8 1244427 π。玄衫像處理I置中’相對位置、姿勢變更機構可為機· 為人。第1、第2比較對照機構之比較對照可藉由是否匹、 配（matching)來進行。又，第】、第2比較對照機構之比較 對照可利用輸入影像與複數個可見形態影像之正交轉換的‘ 中間影像彼此間之比較對照來進行。 依據本發明，可提供一種用數量少的教示模型，即能~ 高精度識別寬範圍之對象物的姿勢之影像處理裝置。 、本發明之剛述、其他目的及特徵可從參照所附圖式之 以下之實施例的說明而明瞭。 ⑩ 【實施方式】 第1圖係本發明之—實施形態之影像處理裝置所適; 之機器人系統的系統構成圖。 機器人控制裝置3與影像處理裝置1係透過通訊介d ::目連接。在機器人本體2之手臂前端上，安裝有用以才 攝對象物(工件)6的照相機4(拍攝機構)，該照相機4㈣

^處理裝置！係以訊號線相連接，由照相機4拍攝的影^ 輸入至影像處理裝置i。 …機器人控制裝置3與影像處理裝置丨，係互相收發資 :並-，取得同步而-面執行整體的系統動作。關於^發 “’機器人控制裝置3 ’係將該機器人控制裝置3掌握之 =人的現在位置發送至料處縣置卜又，對影像處 衣置1輸出拍攝指令。另一方面’影像處理裝置^接受 :自機器人控制裝置3之拍攝指令並以照相機4拍攝工件 。更且’影像處理裝置i將該影像處理褒置…決定的機 315740 9 1244427 的人，目標動作位置發送至機器人控制裝置3。另一方 面機人控制裝置3驅動控制用以驅動機器人本體2 U機構相伺服馬料驅動源，以使機器人本體 構部定位在目標動作位置。另外，第i圖中之元件符3 係安裳於機器人手臂前端的手。 饤袁5 …第2圖係比較對照從複數個不同方向拍攝工件6 之稷數個教不模型的影像、與以照相機4拍攝而輪入的$ 像以識別工件6之位置、姿勢之方法的說明圖。 首先，從各方向拍攝想要識別位置、姿勢之工件，並 使各影像與取得該影像時之拍攝方向資料相對應而當作= "丈不模型記憶在影像處理裝置1内。第2圖所示之例中， 同方向拍攝工件所得的影像1〇··.作為各教 ” 像。㈣’為了識別以各種姿勢堆積之工件6 的各自之3次元位置、姿勢，比較對照拍攝該工件6而輸 ^之影像9與8個教示模型之影像的各個，以選擇與輸入 影像9類似度最高的教示模型。 該比較對照’隸係採料行影像彼此間之亮度相關 的匹配（matchmg)、或傅立葉轉換、離散餘弦轉換等之正交 轉換’並利用正交轉換之中間影像彼此間之比較而計曾類 似度當作部分空間内之距離的方法等。與藉由進行該:交 轉換，而在影像彼此間進行直接相關計算的情況相較，由 資料之次元，所以有可減少類似影像之比較對照 之計异置的效果。 第2圖係顯示該比較對昭之处 了…、之、、、口果，亦即因輸入影像9 315740 1244427 與8個教示模型10·..中之教示模型i〇a最為類似而選擇 示模型10a之例。 j述教不模型之影像與輸入之影像的比較對照以往 雖如:面所述之日本專利特開Μ.288”4號公報等所示 地進打，但是本發明之特徵點係將該比較對照分 來進行。 A丨白仅 弟3圖係取得進行第1階段之比較對照用之第i教干 模型之各影像的方法之說明圖。 弟1教不 進行第1階段之比較對照用的第1教示模型之各旦,< c著要識別的工件之姿勢變化： 的方式’而從不同方向拍攝工件所求出。因 q“之姿勢以:’:=照相機事先固定’而改變 i八μ 以改受工件相對於照相機4之相對姿勢， 再分:攝得工件6之姿勢之全區域而拍攝複數個 系的=角Γ3圖所示，將與工件6所置放之基準座標| 照相機4之：：：度至45度之刻度，-面在各方向改變 拍攝而得之夂f牛6之姿勢而-面拍攝工件6,並將 像處理F置^ 作弟1教不模型之各影像而記憶在影 攝之工2=記憶機構中。此時’使照相機4對所拍 資料而事先攝方向與拍攝影像相對應並當作教示 第1教示模Ζ Μ處理裝置1内之記憶機構中以作為 更且’為了第2階段之比較對照而求出第2教示模型 315740 11 1244427 之影像，並記憶在影像處理步 2教示模型之影像，係在工:6内之記憶機構中。該第 之區域，以比第！射_ P 之可見形態内之局部範圍 相對型之拍攝方向變化刻度細的刻度 相對地改變照相機4相對於 W度 出。 仵6之拍攝方向並拍攝而求 例如，如第4圖所示’只在進行拍攝之照相 舁鉛直方向（Z軸方向）所成之角度 1Q ώ: ^ , 又為-3 0度的乾圍内，以 摄^^ 、交方向而進行拍攝’再使該拍攝影像20盘拍 記憶’並當作第2教示模型之影像而 事先=¼在衫像處理裝置〗内之記憶機構中。 第5圖係求出本實施形態之機器人系統中之 置、姿勢之處理的流程圖。 首先，機器人控制裝置3，係驅動機器人本體2之各 軸而使安裝於機器人手前端的照相機4，移動至與可求出 堆積之3次元位置、姿勢的工件相對之拍攝位置上並予以 定位（步驟100)。然後在將該照相機之3次元位置發送至 像處理裝置之同時發送拍攝指令（步驟1〇1)。 X ^ 影像處理裝置！之處理器，係記憶從機器人控制裝置 3送來的照相機4之3次it位置，同時接受拍攝指令並以 照相機4拍攝工件6以取入影像（第丨輸入影像K步驟 102)。利用是否匹配等進行所取入之影像與記憶^記憶機 構中之第1教示模型之各教示模型之影像的比較對照。該 比較對照處理之詳細，已詳細記載於前述之日本專利特^ 2000-288974號公報中，由於其已為公知所以省略其★羊細 315740 12 1244427 說明。 者（步1斷:4取二影像有無與各第1教示模型之影像類似 則、n 右沒有類似者則結束該處理，若有類似者， 則透擇其中最類似之教示模型。從記 型中之照相機對工件6的拍攝方向， f不核 勢（步驟105)。麸後，從牛驟 〆…、相對安 κ 步驟101中記憶之照相機4的3 人置（機器人之現在位置）、與在步驟ι〇5中求出之日刀 、目二ΐ工件之相對姿勢，求出照相機4之目標移動位置、、 ::出至機器人控制裝置3(步驟1〇6)。該 ⑨ 移動位置’係指為了將與第2階段之 目 對照用的影像取入照相機4 不旲1之比較 件移動時的目標位置。 ㈣遠照相機4相對於工 機器人控制裝置3係驅動機_ 於機器人手前端之照相機4移動 =各軸而使安裝 (步驟1〇7)。然後，對影像處理装置欠的目標移動位置 108)。 輪出拍攝指令（步驟 影像處理裝置丨係接受該拍攝指入， 攝工件6而獲得影像(第2輸入：以照相機4拍 教示模型之影像的比較對昭相 1〇9)。以與第1 像與第2教示模型之各影像二 示模型。無法從第2教示模型中於、/'、，而選擇類似之教 似之教示模型的情況，就結束該：二出預定基準以上之類 ^型的情況，則選擇類似度最=示=有類似之教示 ill)。 俱型（步驟110、 315740 13 1244427 攝方向求出昭：：擇之教不核型中之照相機4對工件的拍 照相機4的相對姿驟112)，然後從所求出之 驟咖中求出的目機4的3次元位置（步 (步驟113) ㈣動位置），求出工件6之位置、姿勢 t以切述，由於根據第i教示模型而從 勢中求出工件6之姿勢，並從該求出之工件; ，W使照相機4成為工件6之可見形能的預定^ 圍内的指定位置、姿勢之方一見幵〜的預疋軌 盥第2 # _ ^吏a相機4移動至可取入 俊，i 較對照㈣影像之位置，並取入影 各炎傻^仃以細刻度記憶工件6之姿勢的第2教示模型之 1所取入之影像的比較對照’以求出工件6之位 文所以可從較少之教示模型中高精度地 6之位置、姿勢。 τ 在如此高精度地識別工件之位置、姿勢之後，進行以 手5把持取出該識別之工件6等的處理。 依據本發明，則如以上說明，可以較少之教示模型高 精度地識別工件之姿勢。 【圖式簡單說明】 第1圖係本發明之影像處理裝置所適用之機器人系統 的構成圖。 第2圖係識別所拍攝之影像與教示模型之比較對照的 位置、姿勢之方法的說明圖。 第3圖係為了實施所拍攝之影像與教*模型之比較對 315740 14 1244427 照的第1階段，而使用第丨圖之機器人系統取得第1教示 模型的影像之方法的說明圖。 乐4圖係為了貫施所拍攝之影像與 照的第2階段，而使用第i圖之 、之比車乂十 模型的影像之方法的說明圖。°° ”統取得第2教示 弟5圖係利用第1圖之機器人 姿勢之處理的流程圖。 ’、、、/出工件之位置、 【主要元件符號說明】 影像處理裝置 2 機器人本體 3 機器人控制裝置 4 照相機 5 手 b 工件 9 輸入影像 10 教示模型 1 〇 a 教不模型 315740 15

Claims (1)

1244427 十、申請專利範圍·· L=影像處理裝置，其係利用拍攝對象 f之教示模—照來朗上述對象/ 之至少姿勢者，包括： 卿 可摄：1教示模型，包含有以離散地涵蓋上述對象物之 對：：：可見形態的全範圍之方式，從複數個方向拍攝 、物日寸之方向及對應於該方向之拍攝影像； 第2教示模型，包含有只針對上述對象物之可攝得 、σ見形態的局部範圍，從方向變化刻度 =複數個方向進行拍攝時的方向及對應於該方向 之拍攝影像； f比較對照機構，其進行利用拍攝機構拍攝上述 比較^得之第1輸入影像與第1教示模型之各影像的 拍攝機構之相對位置、姿勢變更機構，其 比較對照機構之比較對照結果，而以使上述對象物盥上 述拍攝機構之相對位置、姿勢在第2教示模型之可^ 的範圍内之方式變更上述對象物與上述拍攝機構之7 相對位置、姿勢；以及 、第2比較對照機構，其利用第2教示模型進行與上 述拍攝機構在變更後之相對位置、姿勢中拍攝上述對象 物所得之第2輸入影像的比較對照。 2.如申請專利範圍# !項之影像處理裝置，Λ中上述相對 315740 16 1244427 位置、姿勢變更機構係機器人 3·如申請專利範圍第〗項之参禮杏 心像處理裝置，JL中卜、十、给 卜第2比較對照機構之比 ^中^ 行。 …、你稭由疋否匹配來進 4· ΓΛ请專利範圍第1項之影像處理裝置，其中上述第 、弟2比較對照機構之比較對照係利用輸入影像與複 欠個可見形態影像之正交轉換的中間影像彼 較對照來進行。 315740 17