JP5322206B2 - ３次元形状の計測方法および装置 - Google Patents
３次元形状の計測方法および装置 Download PDFInfo
- Publication number
- JP5322206B2 JP5322206B2 JP2008121246A JP2008121246A JP5322206B2 JP 5322206 B2 JP5322206 B2 JP 5322206B2 JP 2008121246 A JP2008121246 A JP 2008121246A JP 2008121246 A JP2008121246 A JP 2008121246A JP 5322206 B2 JP5322206 B2 JP 5322206B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- workpiece
- dimensional shape
- measuring
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、３次元形状の計測方法および装置に関し、例えば、（Ａ）ロボットなどが物体をハンドリングする場合に、物体の位置や形状を計測する３次元視覚センサーや、（Ｂ）洗濯物のように柔軟で形状が可変なシート状物品の３次元形状計測方法に関する。
なお、本明細書における「洗濯物」とは、特に断りのない限り、２つ以上の角部を有する形状のあらゆる洗濯物を意味しており、具体例としては、シーツ、包布、タオル等の方形状の布類が挙げられる。
なお、本明細書における「洗濯物」とは、特に断りのない限り、２つ以上の角部を有する形状のあらゆる洗濯物を意味しており、具体例としては、シーツ、包布、タオル等の方形状の布類が挙げられる。
従来の３元視覚センサーとしては、パターン光を投影し、光切断法による距離計測によりカメラパラメータを厳密に決定することで、光の当たった位置の３次元座標を計測するものがある。しかしながら、図１に示すように、透明容器の内側にある苗の形状と位置を認識し、茎の把持位置を把握する場合に、通常のステレオ処理では透明容器の存在により３次元形状が正しく求まらなかった。そこで、発明者らは、ますスリット状の数本の光を投影し、左右のカメラでの対応位置を確定しておいて、そこからの相対視差で３次元形状を求める方法を提言した（特許文献１および非特許文献１参照）。しかしながら、この方法は、苗の茎のように２次元形状そのものを抽出し易く、対応点候補が確定し難い場合には有効であったが、平面上に置かれた無地の布のように、形状が不定であり、かつ、対応点が見つけ難い物体の３次元形状の抽出はできなかった。
ところで、上記のような形状計測装置を用いて柔軟物ワークのハンドリングを行う場合に、容易に変形する柔軟物の端部特徴部を探索し、その位置や状態を識別することが行われている。前述のクローン苗の計測結果による移植システム等が提案されているが、シート状の柔軟物のワークを展開仕上げするために必要な識別技術がなかった。
また、ワークの３次元形状を計測し、既知のワーク形状とマッチングをおこないワークを取り出すビンピッキングのための技術が近年提言されているが、ワークが柔軟物の場合にはその形状が変化するため、マッチングを行うことができないという問題があった。
また、ワークの３次元形状を計測し、既知のワーク形状とマッチングをおこないワークを取り出すビンピッキングのための技術が近年提言されているが、ワークが柔軟物の場合にはその形状が変化するため、マッチングを行うことができないという問題があった。
従来のランドリー工場における選択工程は次の手順で行われる。まず、入荷した汚れた方形状布片を集めて一緒にして水または洗浄剤によって洗濯または洗浄する洗濯工程で該布片の汚れを落とした後、脱水工程に導入し、脱水機で該布片を脱水し、互いの布片が絡みつき塊状となった布片の絡みを解いて布片を山積とする。ここで、該布片は柔軟で形を崩しやすい性質のために布片を自動的に折り畳むための機械化が困難で該布片の山積から該布片の一枚を取出して展開し折畳むには、手で広げて折り畳むか、もしくは、該布片を人手によって広げた後、布片の縁（辺）を揃えて折畳み装置に供給して折り畳むかしかなかった。
しかし、高温多湿の悪環境の下で人手によって山積みとなった該布片の中から一枚一枚取り上げ広げて折畳み装置に揃えるには重労働となり、その上、手間がかかるので作業能率が悪くコスト高となる等の問題点があった。
そこで、布片を折り畳む装置が考え出されたが、洗濯脱水後の布片を山積みにし、山積みとなった布片から一枚一枚を掴み上げて、布片の対角の角部を稜として折り畳む手段を機械化した装置（例えば、特許文献２）があるが、従来の装置は操作が複雑で手間が掛かり、折り畳みの精度が悪いといった問題点があった。
そこで、布片を折り畳む装置が考え出されたが、洗濯脱水後の布片を山積みにし、山積みとなった布片から一枚一枚を掴み上げて、布片の対角の角部を稜として折り畳む手段を機械化した装置（例えば、特許文献２）があるが、従来の装置は操作が複雑で手間が掛かり、折り畳みの精度が悪いといった問題点があった。
そこで、出願人の関連会社によって、方形状布片の任意の部分を掴んで吊し、吊された布片の角部の一つを掴んで吊す方法および装置が提言された（特許文献３）。
また、出願人の関連会社により、おしぼり等の方形状布片を三角形状に折り畳んで吊す装置が提言された（特許文献４）。
また、出願人の関連会社により、おしぼり等の方形状布片を三角形状に折り畳んで吊す装置が提言された（特許文献４）。
非特許文献２には、図２のような構成で、明暗の縞パターンの組み合わせを変えながら何度も投影し、観察点の明るさの変化の組み合わせを利用して、対応点を決定する方法が提言されている。
非特許文献２にはパターン光投影によるステレオ視覚処理が開示される。しかしながら、非特許文献２に開示される方法は、複数回のパターン投影が必要であるため高速処理ができないこと、ロボットの腕のように動きのあるものの上にセンサーを取り付けられないこと、などの問題があった。
また、複数のパターンを投影することを前提とするが、パターンが単純な場合には、布のように形状が不定の物体の３次元形状計測ができないという問題がある一方、パターンが複雑にするとステレオ画像の対応付けができなくなるという問題点がある。
また、複数のパターンを投影することを前提とするが、パターンが単純な場合には、布のように形状が不定の物体の３次元形状計測ができないという問題がある一方、パターンが複雑にするとステレオ画像の対応付けができなくなるという問題点がある。
ところで、クリーニング業界では、タオル等のリネン類を大量に洗濯し、展開して折りたたみ、スタックしてパッケージにしてリースする業態があるが、これらの作業を機械により自動化したいという強いニーズがある。これらの作業を自動化するためには、洗濯したリネン類を１枚ずつ取り出したり、端部を探索して把持し、展張する技術が必要である。すなわち、積み重なった柔軟物であるリネン類の山から、絡み無く１つずつリネン類をピックアップするためにその最高点の３次元座標を計測すること、および、一枚ないしは数枚のタオルを展開するため端部を探索することが必要である。
本発明は、可変シート状物品等のワークに対して行う作業を自動化するために、その３次元形状を高速かつ高分解能に取得することを解決すべき課題とし、より具体的には、例えば、山積みされた洗濯物を整形加工するために、画像認識により把持位置を判定し、その把持位置をロボットハンドにより把持し、シート状物品を整形することを解決すべき課題とする。
本発明の技術思想は、３次元形状抽出のためには空間的に密なパターンを用い、それと組み合わせて対応点決定のために、粗なパターンを配置することに特徴がある。このような特徴を有するパターンの例を、図３に示す。このパターンは、対象物体（ワーク）に投影されたとき、平面上に現れるパターンであり、下記の特徴を持つ。
［i］模様無しワークの形状を正確に計測できるよう、調密なパターンを配置し、さらに位置決め用の単純パターンを配置した。
［ii］調密パターンとしては格子パターンを用い、左右カメラが対応位置を取れるようにするため、格子を構成する線の方向を斜め４５度に設定した。
［iii］粗位置決め用のパターンとしては、パターンマッチング時に変形の影響を受けにくい円形のドット状パターンとした。
［iv］円形のドット状パターンの間隔は、視覚センサーの考えている動作範囲内では、対応点が別のドットと重ならない様に設計した。
［i］模様無しワークの形状を正確に計測できるよう、調密なパターンを配置し、さらに位置決め用の単純パターンを配置した。
［ii］調密パターンとしては格子パターンを用い、左右カメラが対応位置を取れるようにするため、格子を構成する線の方向を斜め４５度に設定した。
［iii］粗位置決め用のパターンとしては、パターンマッチング時に変形の影響を受けにくい円形のドット状パターンとした。
［iv］円形のドット状パターンの間隔は、視覚センサーの考えている動作範囲内では、対応点が別のドットと重ならない様に設計した。
上記と同様な考え方に基づくものであるが、さらに模様のない不定形３次元凹凸形状を簡便に調べるのに効果的な、一方向縞のパターン例を図４に示す。このパターンは、縦方向の段差などを計測するのに効果的な縦縞パターンと、対応付けを行うためのドット状パターンからなる。ドット状パターンは縦縞パターンを構成する直線の間に配置している。ここでは、想定される動作範囲内で左右のカメラ間で誤対応が起きないよう、ドット間隔をその範囲内で計算される視差よりも大に設定することが好ましい。
なお、異なる幅の線、異なる間隔の線、曲線、および、これらの組み合わせにより第２のパターンを構成できることは言うまでもない。この際、線を重ね合わせてもよいし、また、カラープロジェクタにより、異なる色の線によりパターンを構成してもよい。
なお、異なる幅の線、異なる間隔の線、曲線、および、これらの組み合わせにより第２のパターンを構成できることは言うまでもない。この際、線を重ね合わせてもよいし、また、カラープロジェクタにより、異なる色の線によりパターンを構成してもよい。
以上の技術思想に基づく課題を解決するための手段を下記に記載する。
［１］ステレオカメラの撮像領域に配置されたワークにパターンを投影し、ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する方法であって、前記投影パターンは、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものであることを特徴とする３次元形状の計測方法。
［２］前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、を含むことを特徴とする［１］に記載の３次元形状の計測方法。
［３］前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置することを特徴とする［１］または［２］に記載の３次元形状の計測方法。
［４］前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置することを特徴とする［１］または［２］に記載の３次元形状の計測方法。
［５］前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［１］ないし［４］のいずれかに記載の３次元形状の計測方法。
［６］前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［１］ないし［４］のいずれかに記載の３次元形状の計測方法。
［７］前記ワークが、シート状の柔軟物であることを特徴とする［１］ないし［６］のいずれかに記載の３次元形状の計測方法。
［８］ステレオカメラを構成する一対の撮像素子と、前記ステレオカメラの撮像領域に配置されたワークにパターンを投影する投影装置と、前記ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する制御部とを備える３次元形状の計測装置であって、前記投影装置は、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものである投影パターンを投影可能であることを特徴とする３次元形状の計測装置。
［９］前記制御部は、前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、を含むことを特徴とする［８］に記載の３次元形状の計測装置。
［１０］前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置した投影パターンを投影可能であることを特徴とする［８］または［９］に記載の３次元形状の計測装置。
［１１］前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置した投影パターンを投影可能であることを特徴とする［８］または［９］に記載の３次元形状の計測装置。
［１２］前記制御部は、前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［８］ないし［１１］のいずれかに記載の３次元形状の計測装置。
［１３］前記制御部は、前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［８］ないし［１１］のいずれかに記載の３次元形状の計測装置。
［１４］前記投影装置は、前記一対の撮像素子の間に配置され、前記一対の撮像素子は、あおり光学系を構成することを特徴とする請求項［８］ないし［１３］のいずれかに記載の３次元形状の計測装置。
［１］ステレオカメラの撮像領域に配置されたワークにパターンを投影し、ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する方法であって、前記投影パターンは、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものであることを特徴とする３次元形状の計測方法。
［２］前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、を含むことを特徴とする［１］に記載の３次元形状の計測方法。
［３］前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置することを特徴とする［１］または［２］に記載の３次元形状の計測方法。
［４］前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置することを特徴とする［１］または［２］に記載の３次元形状の計測方法。
［５］前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［１］ないし［４］のいずれかに記載の３次元形状の計測方法。
［６］前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［１］ないし［４］のいずれかに記載の３次元形状の計測方法。
［７］前記ワークが、シート状の柔軟物であることを特徴とする［１］ないし［６］のいずれかに記載の３次元形状の計測方法。
［８］ステレオカメラを構成する一対の撮像素子と、前記ステレオカメラの撮像領域に配置されたワークにパターンを投影する投影装置と、前記ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する制御部とを備える３次元形状の計測装置であって、前記投影装置は、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものである投影パターンを投影可能であることを特徴とする３次元形状の計測装置。
［９］前記制御部は、前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、を含むことを特徴とする［８］に記載の３次元形状の計測装置。
［１０］前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置した投影パターンを投影可能であることを特徴とする［８］または［９］に記載の３次元形状の計測装置。
［１１］前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置した投影パターンを投影可能であることを特徴とする［８］または［９］に記載の３次元形状の計測装置。
［１２］前記制御部は、前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［８］ないし［１１］のいずれかに記載の３次元形状の計測装置。
［１３］前記制御部は、前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［８］ないし［１１］のいずれかに記載の３次元形状の計測装置。
［１４］前記投影装置は、前記一対の撮像素子の間に配置され、前記一対の撮像素子は、あおり光学系を構成することを特徴とする請求項［８］ないし［１３］のいずれかに記載の３次元形状の計測装置。
本発明によれば、可変シート状物品の３次元形状を取得することが可能となる。より詳細には、例えば、無地の布のハンドリングなど、対応点が取れないために、ステレオ画像処理で３次元形状が求められない場合においても、３次元形状を高分解能に取得することが可能となる。
また、模様や色彩が不鮮明な可変シート状物品の３次元形状を把握し、その２つの角部をロボットハンドにより掴むことが可能となる。
また、画像処理の対象領域を限定することにより、高速処理を実現することができる。
また、模様や色彩が不鮮明な可変シート状物品の３次元形状を把握し、その２つの角部をロボットハンドにより掴むことが可能となる。
また、画像処理の対象領域を限定することにより、高速処理を実現することができる。
本発明の方法は、プロジェクタによりパターンが投影された可変シート状物品をステレオ撮像して一対のパターン付き画像を取得し、該パターン付き画像をステレオマッチングすることにより可変シート状物品の３次元形状を取得する可変シート状物品の形状認識方法であり、好ましくは、前記パターンは、複数のドット部を有する格子状のパターンであること、より好ましくは、前記ステレオマッチングは、一対の画像中の対応するドットのペアリングを行い、該ドット近傍の格子ラインのペアリングを行い、該格子ラインの三次元座標を計算することにより行われること、さらに好ましくは、パターンが投影されていない可変シート状物品をステレオ撮像したパターン無し画像を取得する工程と、前記パターン付き画像と前記パターン無し画像との差分画像を得る工程と、前記差分画像を２値化した２値化画像を取得する工程と、を含み、前記２値化画像をステレオマッチングすることを特徴とし、特に、前記可変シート状物品が、模様および色彩が不鮮明な洗濯物である場合に顕著な効果を奏する。
本発明の装置は、一定間隔に配置された複数の撮像素子と、該撮像素子の視野にパターンを投影する投影装置とを備えるステレオ撮像機構であり、好ましくは、前記投影装置は、複数のドット部を有する格子状のパターンを投影可能であること、より好ましくは、前記撮像素子が、前記投影装置を挟んで対称に配置されることを特徴とする。
本発明の装置は、一定間隔に配置された複数の撮像素子と、該撮像素子の視野にパターンを投影する投影装置とを備えるステレオ撮像機構であり、好ましくは、前記投影装置は、複数のドット部を有する格子状のパターンを投影可能であること、より好ましくは、前記撮像素子が、前記投影装置を挟んで対称に配置されることを特徴とする。
最良の形態の本発明を、山積みされた無地の布のハンドリングを行う場合の例で説明する。
図５に示すように、ロボットハンドによりワークの山６から１つずつワーク５を取り出す作業を行う場合、ワークの山６の撮像画像に対してステレオ画像処理を施し、ワークの山６の最高点を抽出する必要がある。しかしながら、ワーク５が無地の布のように特徴部位を把握しにくい場合には、対応点を見つけることが困難であることが少なくない。そこで、本発明では、図６に示す視覚センサー３を用いることにより、対応点を高精度に（誤り率を低く）自動抽出することを可能としている。
図５に示すように、ロボットハンドによりワークの山６から１つずつワーク５を取り出す作業を行う場合、ワークの山６の撮像画像に対してステレオ画像処理を施し、ワークの山６の最高点を抽出する必要がある。しかしながら、ワーク５が無地の布のように特徴部位を把握しにくい場合には、対応点を見つけることが困難であることが少なくない。そこで、本発明では、図６に示す視覚センサー３を用いることにより、対応点を高精度に（誤り率を低く）自動抽出することを可能としている。
本発明の視覚センサー３は、左右にカメラを配置したステレオ視覚系の中央にパターン投影機を置き、所定のパターンを投影し、ワーク５にパターンを写して、それを模様としてステレオ画像処理を行うことで、３次元形状を抽出する。
図７は、上記の視覚センサー３の具体的な構成の一態様を示すものである。図７に示すように、本発明の視覚センサー３は、中央にプロジェクタ３１が配置され、その両側部にカメラ３２，３３が配置されている。プロジェクタ３１は、ＬＥＤを光源とし、ガラス板等に所定のパターンを焼き付けたパターン基板を装着し、レンズで拡大投影する。ワーク５上に投影されたパターンを、左右のカメラ３２，３３で撮像し、カメラ間のパターンの対応付けを行い、ステレオ画像処理することで３次元形状を計算可能としている。左右のカメラ３２，３３のレンズは、左右それぞれの撮像素子と、布の山の中央を結ぶ直線上に有るように配置したあおり光学系とし、好ましくは中央よりにシフトを行う機能を持たせる（特許文献１参照）。ここで、あおり光学系とは、一般のステレオ光学系で近接した物体を見る場合、カメラを傾けるため遠近収差が発生するため、撮像面とレンズの平行度を保ったままレンズを中央にずらして配置することで、遠近収差の無い同一視野の画像を撮像することができる光学系である。ステレオ視覚センサー３をこのように構成することで、ステレオ対応付けの時、左右の画像間での同一点近傍の画像変形が少なく、対応付け処理が容易になる。
図７は、上記の視覚センサー３の具体的な構成の一態様を示すものである。図７に示すように、本発明の視覚センサー３は、中央にプロジェクタ３１が配置され、その両側部にカメラ３２，３３が配置されている。プロジェクタ３１は、ＬＥＤを光源とし、ガラス板等に所定のパターンを焼き付けたパターン基板を装着し、レンズで拡大投影する。ワーク５上に投影されたパターンを、左右のカメラ３２，３３で撮像し、カメラ間のパターンの対応付けを行い、ステレオ画像処理することで３次元形状を計算可能としている。左右のカメラ３２，３３のレンズは、左右それぞれの撮像素子と、布の山の中央を結ぶ直線上に有るように配置したあおり光学系とし、好ましくは中央よりにシフトを行う機能を持たせる（特許文献１参照）。ここで、あおり光学系とは、一般のステレオ光学系で近接した物体を見る場合、カメラを傾けるため遠近収差が発生するため、撮像面とレンズの平行度を保ったままレンズを中央にずらして配置することで、遠近収差の無い同一視野の画像を撮像することができる光学系である。ステレオ視覚センサー３をこのように構成することで、ステレオ対応付けの時、左右の画像間での同一点近傍の画像変形が少なく、対応付け処理が容易になる。
左右の画像の対応付けにあたり、ステレオカメラを構成する２台のカメラ３２，３３を、同じ台上に間隔を開けて水平に設置した構成におけるステレオ対応の考え方を、図８を参照しながら説明する。図８中、左カメラ３２の撮像素子の１画素Ｐ１が見ている方向は、Ｐ１の視線をのばした一本の直線上である。ここで、その直線を右カメラ３３で見たときに、もし仮想的な視線直線が空間中にあるとすると、右画像中に写り込む直線は図８に符号３４で示す直線となる。この直線３４のことを、エピポーララインと呼ぶ。
ステレオ視覚センサー３で観測する物体が高さＺ１とＺ２の間に有るとき、エピポーラライン３４上でステレオ対応点が現れる位置は、右カメラの視点ｅ２とＺ１、Ｚ２を結ぶ線が画面と交わる点、Ｑ１とＱ２の間に限られる。この長さは、光学系の設計が決まると、計算で求めることができる。そこで、粗く配置した粗パターン６１（例えば、ドット状パターン）の投影時の間隔ｈαをＱ１−Ｑ２の間隔よりも長くしておけば、ステレオ対応を行うとき、誤対応を起こすことが無い。本発明のステレオ視覚センサー３は、このような投影パターン６０をワーク５またはワークの山６に投影することにより、安定なステレオ対応を行うことを可能としている。発明者による度重なる試行の結果、図３および図４に示す投影パターンを用いてステレオ対応を行うとき、ドット状パターンは安定に対応づけられることが確認できた。
投影パターン６０は、例えば、ガラス基板、或いはフィルムでマスクパターンとして精度良く製作した。ここでパターンの全体サイズやドット、格子線のサイズは下記式１を用いて決定した。
（数１）P＝V×f／L
V(mm)：ステレオカメラの視野
L(mm)：カメラからターゲット（ワーク）までの作動距離
f(mm)：投影レンズの焦点距離
P(mm)：Vへの投影をカバーするマスクパターンのサイズ
マスクパターン上でのドットの直径や格子線の幅は、ターゲット面に投影するサイズに上記の式１を適用した値を用いる。
なお、上記の「ドット状」には、円、三角形、正方形、長方形、多角形、並びに、これらの重ね合わせおよび／または組み合わせてできる簡単な標識なども含まれる。
ステレオ視覚センサー３で観測する物体が高さＺ１とＺ２の間に有るとき、エピポーラライン３４上でステレオ対応点が現れる位置は、右カメラの視点ｅ２とＺ１、Ｚ２を結ぶ線が画面と交わる点、Ｑ１とＱ２の間に限られる。この長さは、光学系の設計が決まると、計算で求めることができる。そこで、粗く配置した粗パターン６１（例えば、ドット状パターン）の投影時の間隔ｈαをＱ１−Ｑ２の間隔よりも長くしておけば、ステレオ対応を行うとき、誤対応を起こすことが無い。本発明のステレオ視覚センサー３は、このような投影パターン６０をワーク５またはワークの山６に投影することにより、安定なステレオ対応を行うことを可能としている。発明者による度重なる試行の結果、図３および図４に示す投影パターンを用いてステレオ対応を行うとき、ドット状パターンは安定に対応づけられることが確認できた。
投影パターン６０は、例えば、ガラス基板、或いはフィルムでマスクパターンとして精度良く製作した。ここでパターンの全体サイズやドット、格子線のサイズは下記式１を用いて決定した。
（数１）P＝V×f／L
V(mm)：ステレオカメラの視野
L(mm)：カメラからターゲット（ワーク）までの作動距離
f(mm)：投影レンズの焦点距離
P(mm)：Vへの投影をカバーするマスクパターンのサイズ
マスクパターン上でのドットの直径や格子線の幅は、ターゲット面に投影するサイズに上記の式１を適用した値を用いる。
なお、上記の「ドット状」には、円、三角形、正方形、長方形、多角形、並びに、これらの重ね合わせおよび／または組み合わせてできる簡単な標識なども含まれる。
ところで、物体の３次元形状を調密に計測する必要がある場合、高い分解能で計測する必要がある場合、或いは、３次元座標を計測する場合には、粗パターン６１のみでは粗すぎるため、調密パターン６２の各ラインについても対応付けを行わなくてはならない。図３の場合、まずドット状パターン周りで一定の規則でラインに番号付けを行い、対応するドットの周りで、同じ番号付けが行われたラインを対応付けすることで、ステレオ対応が行われる。本発明の番号付けの処理方法の一態様を、図９を参照しながら説明する。
図９に示す処理方法においては、右上ブロック、右下ブロック、左上ブロック、左下ブロックの４領域に分けて処理される。まず、ドット状パターンに一番近い直線上の点Ｐ１を求め、Ｐ１を含む直線を直線１とする。直線１上で、ドット状パターンに近い交点を５つ探し、Ｐ２〜Ｐ６とする。これらの交点をもとに、各交点を含む直線１に交わる直線を直線６〜１０とする。そして、直線６〜１０に交わる直線として、直線１に平行な直線２〜５とする。
左右のカメラ３２，３３で対応が取れたドット状パターンの周りで、上記と同じ規則を適用して番号付けを行う。同じ番号付けが行われた直線郡を、対応直線とすることで、ステレオ対応を行うことができる。これにより、無地で積層された積層したワークの山６の３Ｄ形状を、調密に求めることができる。
図９に示す処理方法においては、右上ブロック、右下ブロック、左上ブロック、左下ブロックの４領域に分けて処理される。まず、ドット状パターンに一番近い直線上の点Ｐ１を求め、Ｐ１を含む直線を直線１とする。直線１上で、ドット状パターンに近い交点を５つ探し、Ｐ２〜Ｐ６とする。これらの交点をもとに、各交点を含む直線１に交わる直線を直線６〜１０とする。そして、直線６〜１０に交わる直線として、直線１に平行な直線２〜５とする。
左右のカメラ３２，３３で対応が取れたドット状パターンの周りで、上記と同じ規則を適用して番号付けを行う。同じ番号付けが行われた直線郡を、対応直線とすることで、ステレオ対応を行うことができる。これにより、無地で積層された積層したワークの山６の３Ｄ形状を、調密に求めることができる。
図１０から図１３までを参照しながら、最高位置を算出する手順を説明する。
まず、図１０に示すように、パターン投影画像を左右カメラで取得する。次に、ドット状パターンで対応付けを行い、各ドットのそれぞれについてステレオ対応計算をし、３次元位置を求める。このドット状パターンの投影された位置の３次元位置データから、積層された布の形状を粗く求めると、図１１のような出力が得られる。図１１に示すドット状パターンのデータから、最高位置にあるドットを算出することができる。
続いて、図１２に示すように、最高位置にあるドットの周りの領域を取り出す。この同じドット状パターンの周りの画像を、ドット状パターンの位置で重ねると、図１３のような出力が得られる。そして、各直線の重なりのずれをもとに、ドット状パターンの位置からの相対高さを公知の手法により算出する。ここで、相対高さの算出手法については、特許文献１などに開示されるが、一例をあげると、計測対象上の基準点から計測対象までの高さｈを、撮像手段から計測対象上の基準点までの高さＨと、画像のずれ量ｄと、撮像手段間の距離Ｗから、下記式２で算出することができる。
（数２）ｈ＝Ｈｄ／（Ｗ＋ｄ）
相対高さを算出することにより、ワーク５が重なりあった全体のうちで、一番高い点を正確に求めることができる。その座標位置を計算し、ロボットハンドでその位置をつかむことで、１枚のワーク５をつかみ上げることができる。
まず、図１０に示すように、パターン投影画像を左右カメラで取得する。次に、ドット状パターンで対応付けを行い、各ドットのそれぞれについてステレオ対応計算をし、３次元位置を求める。このドット状パターンの投影された位置の３次元位置データから、積層された布の形状を粗く求めると、図１１のような出力が得られる。図１１に示すドット状パターンのデータから、最高位置にあるドットを算出することができる。
続いて、図１２に示すように、最高位置にあるドットの周りの領域を取り出す。この同じドット状パターンの周りの画像を、ドット状パターンの位置で重ねると、図１３のような出力が得られる。そして、各直線の重なりのずれをもとに、ドット状パターンの位置からの相対高さを公知の手法により算出する。ここで、相対高さの算出手法については、特許文献１などに開示されるが、一例をあげると、計測対象上の基準点から計測対象までの高さｈを、撮像手段から計測対象上の基準点までの高さＨと、画像のずれ量ｄと、撮像手段間の距離Ｗから、下記式２で算出することができる。
（数２）ｈ＝Ｈｄ／（Ｗ＋ｄ）
相対高さを算出することにより、ワーク５が重なりあった全体のうちで、一番高い点を正確に求めることができる。その座標位置を計算し、ロボットハンドでその位置をつかむことで、１枚のワーク５をつかみ上げることができる。
《システムの構成例》
本発明のステレオ視覚センサー３を用いたシステムの構成例を図２７に示す。このシステムは、ＣＰＵ、記憶部等が組み込まれたコンピュータ（ＰＣ）からなる制御装置２０１と、制御装置２０１に接続されたカメラとの通信インターフェース部２０２と、外部制御機器の制御を行うインターフェース２３４，２３５と、ステレオカメラ２３２，２３３と、プロジェクタ２３１と、プロジェクタ光源２３６の制御電源２０２と、カメラインターフェースケーブル２０４（ＩＥＥＥ−１３９４）と、プロジェクタ光源の制御ケーブル２０５（ＴＴＬ）と、電源ケーブル２０６とを備えている。
制御装置２０１は、カメラに撮像命令を送信し、カメラからの画像情報を記憶部に記憶する。また、パターン光の点灯制御を行うためにＰＩＯコネクタであるインターフェースポート２３４を有し、電源と制御ケーブル２０５を介して通信し、ＴＴＬレベルでの光源制御を行うことができる。電源２０２は、プロジェクタ２３１が安全かつ高輝度に点灯するための電力を供給する。
図２７の構成例では、カメラの内部または近傍に制御電源を配置しカメラからＴＴＬケーブルを接続し、カメラが持つ点灯制御機能をもちいてステレオ同期撮像している。ここで、ＰＩＯインターフェースを、制御装置２０１の内部に備える構成としてもよいし、ＰＩＯインターフェースを有するカメラを利用してもよい。かかる構成によれば、制御装置２０１とカメラ間のＰＩＯケーブルが不要となり、ＩＥＥＥ−１３９４ケーブルだけですむこととなる。
本発明のステレオ視覚センサー３を用いたシステムの構成例を図２７に示す。このシステムは、ＣＰＵ、記憶部等が組み込まれたコンピュータ（ＰＣ）からなる制御装置２０１と、制御装置２０１に接続されたカメラとの通信インターフェース部２０２と、外部制御機器の制御を行うインターフェース２３４，２３５と、ステレオカメラ２３２，２３３と、プロジェクタ２３１と、プロジェクタ光源２３６の制御電源２０２と、カメラインターフェースケーブル２０４（ＩＥＥＥ−１３９４）と、プロジェクタ光源の制御ケーブル２０５（ＴＴＬ）と、電源ケーブル２０６とを備えている。
制御装置２０１は、カメラに撮像命令を送信し、カメラからの画像情報を記憶部に記憶する。また、パターン光の点灯制御を行うためにＰＩＯコネクタであるインターフェースポート２３４を有し、電源と制御ケーブル２０５を介して通信し、ＴＴＬレベルでの光源制御を行うことができる。電源２０２は、プロジェクタ２３１が安全かつ高輝度に点灯するための電力を供給する。
図２７の構成例では、カメラの内部または近傍に制御電源を配置しカメラからＴＴＬケーブルを接続し、カメラが持つ点灯制御機能をもちいてステレオ同期撮像している。ここで、ＰＩＯインターフェースを、制御装置２０１の内部に備える構成としてもよいし、ＰＩＯインターフェースを有するカメラを利用してもよい。かかる構成によれば、制御装置２０１とカメラ間のＰＩＯケーブルが不要となり、ＩＥＥＥ−１３９４ケーブルだけですむこととなる。
システムの制御は、ステレオカメラの同期シャッター制御に合わせて高輝度光源の発光タイミングをコントロールする手法を採用することが好ましい。高コントラストのパターン画像を取得し、識別性を高めるためである。
また、２台のステレオカメラの間にプロジェクタを組み込むと、カメラの作動距離と視野に合わせて、その視野をカバーする投光パターン範囲を決定することが容易である。
また、投影レンズの焦点距離、イメージサークル、その他光学仕様からレンズ取り付け面からパターン設置部までの距離を計算し、本発明のパターン構成方法にもとづき設計されたパターンの大きさや間隔が、校正面上で設計通りになるようにマスクパターンを実装することが好ましい。
また、２台のステレオカメラの間にプロジェクタを組み込むと、カメラの作動距離と視野に合わせて、その視野をカバーする投光パターン範囲を決定することが容易である。
また、投影レンズの焦点距離、イメージサークル、その他光学仕様からレンズ取り付け面からパターン設置部までの距離を計算し、本発明のパターン構成方法にもとづき設計されたパターンの大きさや間隔が、校正面上で設計通りになるようにマスクパターンを実装することが好ましい。
光源２３６は、基板上に高輝度ＬＥＤを１個もしくは多数個配置して、これを専用電源でカメラの撮像タイミングをカバーするように点灯させることが好ましい。作動時の熱によるダメージを抑えることでＬＥＤの寿命が延び、しかもオーバードライブできるので撮像時の明るさが増し、良好な画像が得られるからである。なお、熱によるダメージが懸念される場合には、ヒートシンクを基板裏に配置するのが好ましい。
ＬＥＤを多数個実装するときは、ＬＥＤの配置を周辺部に多く配置するのが好ましい。一般にレンズの軸周辺に配置すると照度が高くなり、斜めにレンズに入光させると、投影面での照度が下がるからである。また、撮像レンズでも同様に画像の中央部が明るく、周辺部が暗くなる傾向があるので、得られる画像がさらに中央部と周辺部で輝度値が変動しやすくなるからである。また、周辺部に多く配置することで、画像中央部と周辺部との照度差変化を抑えることもできる。
ＬＥＤを多数個実装するときは、ＬＥＤの配置を周辺部に多く配置するのが好ましい。一般にレンズの軸周辺に配置すると照度が高くなり、斜めにレンズに入光させると、投影面での照度が下がるからである。また、撮像レンズでも同様に画像の中央部が明るく、周辺部が暗くなる傾向があるので、得られる画像がさらに中央部と周辺部で輝度値が変動しやすくなるからである。また、周辺部に多く配置することで、画像中央部と周辺部との照度差変化を抑えることもできる。
なお、撮像した画像のコントラストが不足する場合には、常時点灯型の高輝度光源を配置し、シャッタータイミング制御装置を光路上に配置してステレオカメラの同期シャッター制御に合わせて投影パターン発光する構成としてもよい。ここで用いる光源としてはメタルハライド光源やハロゲン光源等が例示される。放電灯は高輝度の光を効率よく出力できるが、同期撮像するには点灯制御が必要となるところ、このような制御は一般に困難である。そのため、メカニカルなシャッター機能を光路上に配置してこれを制御することにより高輝度な光での計測を可能することが好ましい。
以下では本発明の詳細を実施例で説明するが、本発明は実施例によって何ら限定されるものではない。
実施例１は、洗濯されたタオル等の布類のハンドリングシステムに関する。
本実施例のハンドリングシステムは、図１４に示すように、図示しない搬送装置により目的地に落下されたワーク５が構成した山６を、第１のロボットハンド１０および第２のロボットハンド２０により折畳機４に自動投入することができる。
本実施例のハンドリングシステムは、プルアップハンド２、ステレオ視覚センサー３、認識用台７、第１のロボットハンド１０、および第２のロボットハンド２０を実質的な構成要素とする。
本実施例のハンドリングシステムは、図１４に示すように、図示しない搬送装置により目的地に落下されたワーク５が構成した山６を、第１のロボットハンド１０および第２のロボットハンド２０により折畳機４に自動投入することができる。
本実施例のハンドリングシステムは、プルアップハンド２、ステレオ視覚センサー３、認識用台７、第１のロボットハンド１０、および第２のロボットハンド２０を実質的な構成要素とする。
《プルアップハンド２》
プルアップハンド２は、昇降スライダと、昇降スライダに取り付けられた把持部（チャック）とを備える。把持部によりワーク５を把持し、上方から吊り下げることができる。
プルアップハンド２は、昇降スライダと、昇降スライダに取り付けられた把持部（チャック）とを備える。把持部によりワーク５を把持し、上方から吊り下げることができる。
《ステレオ視覚センサー３，４》
ワークの山６の上方位置には、ステレオ視覚センサー３（全体撮像機構３）が設けられている。ステレオ視覚センサー３は、レンズと撮像素子が平行に構成されたあおり光学系を利用した相対ステレオ視覚センサーである（図７参照）。本実施例のステレオ視覚センサー３の観察視野は、概ね１２００×１０００ｍｍである。
ステレオ視覚センサー３は、投影パターン６０を投射するためのプロジェクタ３１を有している。格子模様を有する投影パターンを投影することにより、レンズの歪みに起因する画像の歪みを取り除くこと、すなわち歪み補正をすることを容易にしている。
本実施例のステレオ視覚センサー３により、ミリメートル単位の凹凸を計測できることが確認できた。
ワークの山６の上方位置には、ステレオ視覚センサー３（全体撮像機構３）が設けられている。ステレオ視覚センサー３は、レンズと撮像素子が平行に構成されたあおり光学系を利用した相対ステレオ視覚センサーである（図７参照）。本実施例のステレオ視覚センサー３の観察視野は、概ね１２００×１０００ｍｍである。
ステレオ視覚センサー３は、投影パターン６０を投射するためのプロジェクタ３１を有している。格子模様を有する投影パターンを投影することにより、レンズの歪みに起因する画像の歪みを取り除くこと、すなわち歪み補正をすることを容易にしている。
本実施例のステレオ視覚センサー３により、ミリメートル単位の凹凸を計測できることが確認できた。
また、本実施例では、ロボットハンド１０および２０に、観察視野が概ね２００×２００ｍｍの小型のステレオ視覚センサー４（手先撮像機構４）をそれぞれ搭載し、ロボットハンドの手先に位置するワーク５の要部の３次元形状を計測するようにしている。図１６は、手先撮像機構４の外観斜視図であり、図１７は、手先撮像機構４の内部構成図である。
手先撮像機構４は、シフト調整機構３１１、ライズ調整機構３１２、および、回転調整機構３１３を備えており、撮像視野をＸＹ方向およびθ方向に対して調整可能に構成されている。
図１６では、パターン基板３０６の背後に隣接してＬＥＤ光源３３６を配置して照明系を構成しているが、光源とパターンの間に集光レンズを配置し光源の発光体の像を投影レンズの絞りに結像させるケラー照明系を用いて構成することもできる。
手先撮像機構４は、シフト調整機構３１１、ライズ調整機構３１２、および、回転調整機構３１３を備えており、撮像視野をＸＹ方向およびθ方向に対して調整可能に構成されている。
図１６では、パターン基板３０６の背後に隣接してＬＥＤ光源３３６を配置して照明系を構成しているが、光源とパターンの間に集光レンズを配置し光源の発光体の像を投影レンズの絞りに結像させるケラー照明系を用いて構成することもできる。
《ロボットハンド１０，２０》
ロボットハンド１０，２０は、ワーク５を把持するためのフィンガー機構と、６軸の関節からなるアームとをそれぞれ備える。
ところで、従来、視覚認識センサーによりワーク特徴部のポーズを識別し、そのワークポーズ（ワーク姿勢）に対する手先部分のポーズを動作表現することで、ばら積みされた既知形状のワークを正確に把持できることが知られている。出現するワークポーズの方向性に対して対応するためには、従来６自由度のマニピュレータが使用されている。
なお、６自由度ではワーク姿勢に対応する手先部分のポーズを表現するための関節角の計算が比較的容易であるが、表現できない特異姿勢を到達範囲内に含んでいるためそのポーズの表現ができないことがある。したがって、計算の容易性やロボットハンドのコストの観点を捨象すれば、７軸の関節からなるアームを備えることが好ましい。
ロボットハンド１０，２０は、ワーク５を把持するためのフィンガー機構と、６軸の関節からなるアームとをそれぞれ備える。
ところで、従来、視覚認識センサーによりワーク特徴部のポーズを識別し、そのワークポーズ（ワーク姿勢）に対する手先部分のポーズを動作表現することで、ばら積みされた既知形状のワークを正確に把持できることが知られている。出現するワークポーズの方向性に対して対応するためには、従来６自由度のマニピュレータが使用されている。
なお、６自由度ではワーク姿勢に対応する手先部分のポーズを表現するための関節角の計算が比較的容易であるが、表現できない特異姿勢を到達範囲内に含んでいるためそのポーズの表現ができないことがある。したがって、計算の容易性やロボットハンドのコストの観点を捨象すれば、７軸の関節からなるアームを備えることが好ましい。
《１．作業工程の概要》
図１４を参照しながら、本実施例のハンドリングシステムにおける作業工程の概要を説明する。
(a)最高点の検出
この工程では、ステレオ視覚センサー３での撮像データに基づき、ワークの山６の最高点を検出する。ここで、ワークの山６は、洗濯後、脱水された状態で積層された無模様単色のタオルの山である。ワークの山６の最高点をロボットハンド１０または２０により掴む。なお、ワークの山６の最高点を検出するための具体的な処理については後述する。
(b)ワークの端部の把持
(i)ロボットハンドにより掴んだワーク５を、平らな認識用台７の上に展開する。
(ii)手先撮像機構４によりワークの一方の概略端点を判定し、フィンガー機構により概略端点の近傍を掴む。
図１４を参照しながら、本実施例のハンドリングシステムにおける作業工程の概要を説明する。
(a)最高点の検出
この工程では、ステレオ視覚センサー３での撮像データに基づき、ワークの山６の最高点を検出する。ここで、ワークの山６は、洗濯後、脱水された状態で積層された無模様単色のタオルの山である。ワークの山６の最高点をロボットハンド１０または２０により掴む。なお、ワークの山６の最高点を検出するための具体的な処理については後述する。
(b)ワークの端部の把持
(i)ロボットハンドにより掴んだワーク５を、平らな認識用台７の上に展開する。
(ii)手先撮像機構４によりワークの一方の概略端点を判定し、フィンガー機構により概略端点の近傍を掴む。
(c)ワークの角部の把持
フィンガー機構で掴んだワークをプルアップハンド２に受け渡す。プルアップハンド２により吊されたワークの角部を手先撮像機構４により判定し、フィンガー機構によりワークの角部を把持する。
(d)ワークの他の角部の把持
ワークの角部を把持した状態で、ロボットハンドによりワークを上方に引き上げる。すると、他の角部がワークの下方に位置される。ワークの他の角部を手先撮像機構４により判定し、もう一方のロボットハンドのフィンガー機構によりワークの他の角部を把持する。
(e)ワークの折畳機への投入
２つの角部を掴まれたワークは、２つのロボットハンドにより展張された状態で、折畳機のコンベア上に載置される。折畳機によりワークは所定の折り数で折り畳まれる。
フィンガー機構で掴んだワークをプルアップハンド２に受け渡す。プルアップハンド２により吊されたワークの角部を手先撮像機構４により判定し、フィンガー機構によりワークの角部を把持する。
(d)ワークの他の角部の把持
ワークの角部を把持した状態で、ロボットハンドによりワークを上方に引き上げる。すると、他の角部がワークの下方に位置される。ワークの他の角部を手先撮像機構４により判定し、もう一方のロボットハンドのフィンガー機構によりワークの他の角部を把持する。
(e)ワークの折畳機への投入
２つの角部を掴まれたワークは、２つのロボットハンドにより展張された状態で、折畳機のコンベア上に載置される。折畳機によりワークは所定の折り数で折り畳まれる。
《２．フィンガー機構による把持》
図１６は、フィンガー機構によりワークを把持する手順の流れ図である。
まず、ユーザーにより、パーソナルコンピュータ等の入力手段から、ワーク５の把持位置情報が入力される（ＳＴＥＰ１）。本実施例では、ワーク５の角部を撮像するための設定情報を入力する。
手先撮像機構によりワーク５を撮像し（ＳＴＥＰ２）、その撮像データに画像処理を施すことにより把持位置の判定が行われる。より詳細には、特徴点としての端点（Ｐ１）、長辺点（Ｐ２）、短辺点（Ｐ３）が検出される箇所を把持位置とする（ＳＴＥＰ３）。本実施例では、特徴点のＸＹＺ座標をそれぞれ測定し、ワーク５の姿勢を算出可能としている。
ワーク５の把持位置が確定すると、把持位置までのロボットハンドの経路の計算が行われる（ＳＴＥＰ４）。続いて、算出したロボットハンドの経路に、特異点が含まれるなどにより実現が不可能でないかのチェックが行われる（ＳＴＥＰ５）。経路に不具合がある場合には、経路に不具合が含まれないことが確認されるまで経路の再計算が行われる。経路が確定すると、ロボットハンドへ経路情報が送信される（ＳＴＥＰ６）。
図１６は、フィンガー機構によりワークを把持する手順の流れ図である。
まず、ユーザーにより、パーソナルコンピュータ等の入力手段から、ワーク５の把持位置情報が入力される（ＳＴＥＰ１）。本実施例では、ワーク５の角部を撮像するための設定情報を入力する。
手先撮像機構によりワーク５を撮像し（ＳＴＥＰ２）、その撮像データに画像処理を施すことにより把持位置の判定が行われる。より詳細には、特徴点としての端点（Ｐ１）、長辺点（Ｐ２）、短辺点（Ｐ３）が検出される箇所を把持位置とする（ＳＴＥＰ３）。本実施例では、特徴点のＸＹＺ座標をそれぞれ測定し、ワーク５の姿勢を算出可能としている。
ワーク５の把持位置が確定すると、把持位置までのロボットハンドの経路の計算が行われる（ＳＴＥＰ４）。続いて、算出したロボットハンドの経路に、特異点が含まれるなどにより実現が不可能でないかのチェックが行われる（ＳＴＥＰ５）。経路に不具合がある場合には、経路に不具合が含まれないことが確認されるまで経路の再計算が行われる。経路が確定すると、ロボットハンドへ経路情報が送信される（ＳＴＥＰ６）。
《３．ステレオ対応》
模様や色彩が不鮮明（無模様、単色含む）なタオル等においては、その３次元形状を把握することは困難である。ステレオ視の原理により物体の空間座標を把握する際には、左右の撮像素子により得られた画像間で対応する箇所（対応点）を見つけることが必要となるが、模様や色彩が不鮮明なタオル等の画像において対応点を見つけやすい特徴的な箇所を抽出することは容易ではない。そこで、本実施例では、ワーク５に投影パターン６０を投影することで、対応点の抽出を容易にすることを可能としている。
本実施例では、左右の撮像素子の間にプロジェクタを配置することで、撮像素子の視野に所定のパターンを投影することを可能としている。ただし、撮像素子とプロジェクタの配置は、この組み合わせに限られず、当業者が適宜変更することが可能である。
本実施例の投影パターン６０は、図３と同一であり、複数の粗パターン６１と調密パターン６２との組み合わせからなる。投影パターン６０は、対応点の検出が容易なものであれば、本実施例のパターンに限定されないことは言うまでもない。
模様や色彩が不鮮明（無模様、単色含む）なタオル等においては、その３次元形状を把握することは困難である。ステレオ視の原理により物体の空間座標を把握する際には、左右の撮像素子により得られた画像間で対応する箇所（対応点）を見つけることが必要となるが、模様や色彩が不鮮明なタオル等の画像において対応点を見つけやすい特徴的な箇所を抽出することは容易ではない。そこで、本実施例では、ワーク５に投影パターン６０を投影することで、対応点の抽出を容易にすることを可能としている。
本実施例では、左右の撮像素子の間にプロジェクタを配置することで、撮像素子の視野に所定のパターンを投影することを可能としている。ただし、撮像素子とプロジェクタの配置は、この組み合わせに限られず、当業者が適宜変更することが可能である。
本実施例の投影パターン６０は、図３と同一であり、複数の粗パターン６１と調密パターン６２との組み合わせからなる。投影パターン６０は、対応点の検出が容易なものであれば、本実施例のパターンに限定されないことは言うまでもない。
左側の撮像素子３２により投影パターンが投影されたタオルを撮像した画像（以下、「左側画像」という。）と、右側の撮像素子３３により投影パターンが投影されたタオルを撮像した画像（以下、「右側画像」という。）を取得する。最高点の抽出にあたっては、まず、左側画像におけるドットの抽出が行われる。続いて、左側画像のドットと対応する右側画像のドットが、通常のパターンマッチングの手法により決定される。対応するドットの探索は、左側画像のドットと、右側画像のドットのエピポーラ線の水平化により行われる。
左右の画像の対応するドットのペアが決定されると、格子パターンを構成するラインのナンバリングが実行される。ここで、ドットと最も近いラインに１が付され、隣接するラインに連続する番号（例えば、２，３，４・・・）を付していく。続いて、番号が付されたラインと交叉するラインに、連続する番号（例えば、６，７，８・・・）を付する。
ナンバリングをすることで、同じ番号が付されたドットのペアについての３次元位置座標が計算可能となる。
左右の画像の対応するドットのペアが決定されると、格子パターンを構成するラインのナンバリングが実行される。ここで、ドットと最も近いラインに１が付され、隣接するラインに連続する番号（例えば、２，３，４・・・）を付していく。続いて、番号が付されたラインと交叉するラインに、連続する番号（例えば、６，７，８・・・）を付する。
ナンバリングをすることで、同じ番号が付されたドットのペアについての３次元位置座標が計算可能となる。
《４．最高点の探索》
最高点の探索は、次の［１］〜［５］に記載されるアルゴリズムで行われる。
［１］本実施例では安定したイメージを得るために、背景差分法によるパターン抽出を行い、画像処理が行われた加工済み画像を用いて最高点の探索を行う。すなわち、投影パターンが投影されたイメージ（図１８(i)参照）から、投影パターンが投影されていないイメージ（図１８(ii)参照）を減算し、差分イメージ（図１８(iii)参照）を取得する。
［２］投影画像のクリアーなイメージを取得するために、上記［１］で得られた差分イメージを２値化する。本実施例では、この処理に浮動閾値を使用した。
［３］２値化された差分イメージにおいて、ドット状パターンが検出され、ステレオ画像処理が行われる。これにより、ワークの山６の最高点のラフな分析が可能となり、最も高いドットを見つけることができる（図１１参照）。
［４］最も高いドットの周辺の格子パターンのラインにより、方向の分析が行われる（図１９参照）。
［５］対応するラインのペアについて、ステレオ画像処理が行われ、格子ラインの３次元座標が計算される。この様子を示したのが図２０であり、同図中(i)は最も高いドットであり、(ii)は最高点である。このように、ドット状パターンの周辺の格子ラインについてのみ３次元位置座標を計算することにより、ワークの山６の最高点を高速に探索することが可能となる。
最高点の探索は、次の［１］〜［５］に記載されるアルゴリズムで行われる。
［１］本実施例では安定したイメージを得るために、背景差分法によるパターン抽出を行い、画像処理が行われた加工済み画像を用いて最高点の探索を行う。すなわち、投影パターンが投影されたイメージ（図１８(i)参照）から、投影パターンが投影されていないイメージ（図１８(ii)参照）を減算し、差分イメージ（図１８(iii)参照）を取得する。
［２］投影画像のクリアーなイメージを取得するために、上記［１］で得られた差分イメージを２値化する。本実施例では、この処理に浮動閾値を使用した。
［３］２値化された差分イメージにおいて、ドット状パターンが検出され、ステレオ画像処理が行われる。これにより、ワークの山６の最高点のラフな分析が可能となり、最も高いドットを見つけることができる（図１１参照）。
［４］最も高いドットの周辺の格子パターンのラインにより、方向の分析が行われる（図１９参照）。
［５］対応するラインのペアについて、ステレオ画像処理が行われ、格子ラインの３次元座標が計算される。この様子を示したのが図２０であり、同図中(i)は最も高いドットであり、(ii)は最高点である。このように、ドット状パターンの周辺の格子ラインについてのみ３次元位置座標を計算することにより、ワークの山６の最高点を高速に探索することが可能となる。
《５．概略端点の抽出》
最高点を把持されたワーク５は、認識用台７の上に展開して載置される。認識用台７の上に載置されたワーク５の概略端点の抽出は、単純な２値化処理により行われる。図２１(i)は、ワーク５の端部を撮像した画像であり、(ii)は(i)の画像を２値化した画像である。２値化した画像に画像処理を施して把持位置を算出し、ロボットハンドのフィンガー機構により把持位置を掴む（図１４(b)参照）。
最高点を把持されたワーク５は、認識用台７の上に展開して載置される。認識用台７の上に載置されたワーク５の概略端点の抽出は、単純な２値化処理により行われる。図２１(i)は、ワーク５の端部を撮像した画像であり、(ii)は(i)の画像を２値化した画像である。２値化した画像に画像処理を施して把持位置を算出し、ロボットハンドのフィンガー機構により把持位置を掴む（図１４(b)参照）。
概略端点の抽出作業を、図２２を参照しながら詳細に説明する。
まず、左右のパターン無し画像を取得し、背景差分法によりパターン抽出し、２値化処理を行う。続いて、２値化処理を行った画像に対しラベリングを行う。ラベリングは、画像を左上から右下にかけてラスタ走査を行う過程で横方向に一定の規則をもってラベル番号を振り、ラベル番号が振られた各画素にグループ番号を振り、各グループ番号に対してソートを行うとともに面積、重心の計算をする工程である。
次に、２値化された画像に対して、ワーク５の輪郭を抽出するためのトラッキングを行う。トラッキングデータを利用し、任意の距離の三点の情報をもとにベクトルのなす角の計算を行うことで概略端点位置を決定する。任意の距離の三点が構成する角が、例えば、９０度以下である場合には端点と判定し、把持位置の候補とする。但し、本実施例では、端点が無しと判定された場合には、輪郭の最も端にある位置を把持位置する例外処理を行っている。実際にハンドリングする際は、ワーク５の端点を把持すると、ワーク５を損傷したりするなどの問題があるため、２値化した画像における端点よりもやや内側の部分を把持位置とする。
まず、左右のパターン無し画像を取得し、背景差分法によりパターン抽出し、２値化処理を行う。続いて、２値化処理を行った画像に対しラベリングを行う。ラベリングは、画像を左上から右下にかけてラスタ走査を行う過程で横方向に一定の規則をもってラベル番号を振り、ラベル番号が振られた各画素にグループ番号を振り、各グループ番号に対してソートを行うとともに面積、重心の計算をする工程である。
次に、２値化された画像に対して、ワーク５の輪郭を抽出するためのトラッキングを行う。トラッキングデータを利用し、任意の距離の三点の情報をもとにベクトルのなす角の計算を行うことで概略端点位置を決定する。任意の距離の三点が構成する角が、例えば、９０度以下である場合には端点と判定し、把持位置の候補とする。但し、本実施例では、端点が無しと判定された場合には、輪郭の最も端にある位置を把持位置する例外処理を行っている。実際にハンドリングする際は、ワーク５の端点を把持すると、ワーク５を損傷したりするなどの問題があるため、２値化した画像における端点よりもやや内側の部分を把持位置とする。
《６．角部の抽出》
端部をフィンガー機構により掴まれたワーク５は、プルアップハンド２に受け渡され、プルアップハンド２の把持部が上昇することで、吊り下げられた状態となる。概略的な端部を保持し吊り下げたタオル等の布を展開する場合、布の両端部を保持して拡げるためには、隣り合う２つ角部を識別し、その位置情報や姿勢情報を取得する必要がある。ここで位置情報については、ワークの端点の一点のデカルト座標で示される位置が分かればよい。また、姿勢情報については、ワークの端点のデカルト座標値と、長辺上および短辺上に適当な距離を離れて位置する長辺上の点および短辺上の点のデカルト座標値とを組み合わせることで算出できる。
端部をフィンガー機構により掴まれたワーク５は、プルアップハンド２に受け渡され、プルアップハンド２の把持部が上昇することで、吊り下げられた状態となる。概略的な端部を保持し吊り下げたタオル等の布を展開する場合、布の両端部を保持して拡げるためには、隣り合う２つ角部を識別し、その位置情報や姿勢情報を取得する必要がある。ここで位置情報については、ワークの端点の一点のデカルト座標で示される位置が分かればよい。また、姿勢情報については、ワークの端点のデカルト座標値と、長辺上および短辺上に適当な距離を離れて位置する長辺上の点および短辺上の点のデカルト座標値とを組み合わせることで算出できる。
角部の抽出作業を、図２３から図２５までを参照しながら詳細に説明する。
まず、プルアップハンド２により吊されたワークの角部に投影パターンを投影し、左右のパターン無し画像を取得する。そして、背景差分法によりパターン抽出し、２値化処理を行う。ここまでは、上記《５》に記載した概略端点の抽出作業と同様である。続いて、上記《３》に記載したステレオ画像処理の手法により、ドット状パターンの対応付けおよび格子パターンの対応付けが行われ、３次元形状の抽出が行われる。
次に、上記《５》に記載した手法によりワーク５の輪郭を抽出するためのトラッキングを行い、曲率分析を実行して角部の候補を決定する（ＳＴＥＰ１１、図２４(i)参照）。ここで、ワーク５に重なりが無い場合には、単純な２次元画像のトラッキングデータの曲率判定により角部を決定することができるが、ワーク５がタオル等の場合には重なりが生じることを避けられない。そこで、３次元の等高分析により、３次元の高さの分析を行い、奥行き段差の有無を判定する（ＳＴＥＰ１２）。続いて、角部候補について角部の判定が行われる（ＳＴＥＰ１３）。本実施例では、背景との輪郭線を曲率判定して得る角部候補と、３次元計測して得られた段差部分のエッジをトラッキングして得る角部候補のうち曲率が小さいものを選択する。このとき、ワーク５の姿勢がカメラの反対側に降り曲がっている場合には、そこは特徴点ではないと判定する。そして、その特徴点近傍の面の向きがカメラの方に向いた端点を特徴点として識別し、その端点周辺の３点の位置情報を識別する。以上により、角部の位置情報および姿勢情報が把握される（図２４(ii)参照）。
まず、プルアップハンド２により吊されたワークの角部に投影パターンを投影し、左右のパターン無し画像を取得する。そして、背景差分法によりパターン抽出し、２値化処理を行う。ここまでは、上記《５》に記載した概略端点の抽出作業と同様である。続いて、上記《３》に記載したステレオ画像処理の手法により、ドット状パターンの対応付けおよび格子パターンの対応付けが行われ、３次元形状の抽出が行われる。
次に、上記《５》に記載した手法によりワーク５の輪郭を抽出するためのトラッキングを行い、曲率分析を実行して角部の候補を決定する（ＳＴＥＰ１１、図２４(i)参照）。ここで、ワーク５に重なりが無い場合には、単純な２次元画像のトラッキングデータの曲率判定により角部を決定することができるが、ワーク５がタオル等の場合には重なりが生じることを避けられない。そこで、３次元の等高分析により、３次元の高さの分析を行い、奥行き段差の有無を判定する（ＳＴＥＰ１２）。続いて、角部候補について角部の判定が行われる（ＳＴＥＰ１３）。本実施例では、背景との輪郭線を曲率判定して得る角部候補と、３次元計測して得られた段差部分のエッジをトラッキングして得る角部候補のうち曲率が小さいものを選択する。このとき、ワーク５の姿勢がカメラの反対側に降り曲がっている場合には、そこは特徴点ではないと判定する。そして、その特徴点近傍の面の向きがカメラの方に向いた端点を特徴点として識別し、その端点周辺の３点の位置情報を識別する。以上により、角部の位置情報および姿勢情報が把握される（図２４(ii)参照）。
図２６(i)は、角部の候補についての評価の様子を示す図面である。ここでは、全ての角部について、表面の平らさの評価（３次元平面度評価）が行われ、角部が選択される。より詳細には、曲がっている部分が角部の候補から外され、ロボットハンドに最も近い角部が選択される。選択された角部を把持するために、角部の３次元位置情報および方向が計算される。これら値を算出するために、選択された端点および端点を囲む２つのポイントが３次元格子データから抽出され、その情報がロボットハンドに送信される。選択された角部を構成する端点および端点を囲む２つのポイントを図２６(ii)に示す。
上記に説明した本実施例のハンドリングシステムによれば、高い成功率をもって洗濯したタオルのハンドリングを行うことができる。
１ フレーム
２ プルアップハンド（吊し用ハンド）
３ ステレオ視覚センサー（ステレオ撮像機構）
４ ハンド用ステレオ視覚センサー（手先撮像機構）
５ ワーク（布類）
６ ワークの山
７ 認識用台
８ 折畳機
１０ 第１のロボットハンド
２０ 第２のロボットハンド
３１，４１ プロジェクタ（投影装置）
３２，３３，４２，４３ カメラ（撮像素子）
３４ エピポーラライン
５１ 長辺
５２ 短辺
６０ 投影パターン
６１ 粗パターン
６２ 調密パターン
１１０ ロボットハンド
１２１ ガラス容器
１２２ 幼芽
１２３ スリット光
１３１ スリット光投影系
１３２，１３３ カメラ
１４１ プロジェクタ
１４２ カメラ
３０１ 投影レンズ
３０２，３０３ 撮像レンズ
３０５ 鏡筒
３０６ パターン基板
３０７ パターン取付リング
３１１ ライズ調整機構
３１２ シフト調整機構
３１３ 回転調整機構
３３６ ＬＥＤ光源
３４２，３４３ 撮像素子
２ プルアップハンド（吊し用ハンド）
３ ステレオ視覚センサー（ステレオ撮像機構）
４ ハンド用ステレオ視覚センサー（手先撮像機構）
５ ワーク（布類）
６ ワークの山
７ 認識用台
８ 折畳機
１０ 第１のロボットハンド
２０ 第２のロボットハンド
３１，４１ プロジェクタ（投影装置）
３２，３３，４２，４３ カメラ（撮像素子）
３４ エピポーラライン
５１ 長辺
５２ 短辺
６０ 投影パターン
６１ 粗パターン
６２ 調密パターン
１１０ ロボットハンド
１２１ ガラス容器
１２２ 幼芽
１２３ スリット光
１３１ スリット光投影系
１３２，１３３ カメラ
１４１ プロジェクタ
１４２ カメラ
３０１ 投影レンズ
３０２，３０３ 撮像レンズ
３０５ 鏡筒
３０６ パターン基板
３０７ パターン取付リング
３１１ ライズ調整機構
３１２ シフト調整機構
３１３ 回転調整機構
３３６ ＬＥＤ光源
３４２，３４３ 撮像素子
Claims (14)
- ステレオカメラの撮像領域に配置されたワークにパターンを投影し、ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する方法であって、
前記投影パターンは、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものであることを特徴とする３次元形状の計測方法。 - 前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、
第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、
を含むことを特徴とする請求項１に記載の３次元形状の計測方法。 - 前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置することを特徴とする請求項１または２に記載の３次元形状の計測方法。
- 前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置することを特徴とする請求項１または２に記載の３次元形状の計測方法。
- 前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、
前記工程により抽出したワークの端部候補からワークの端部を選定する工程、
前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、
を含むことを特徴とする請求項１ないし４のいずれかに記載の３次元形状の計測方法。 - 前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、
前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、
上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、
前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、
を含むことを特徴とする請求項１ないし４のいずれかに記載の３次元形状の計測方法。 - 前記ワークが、シート状の柔軟物であることを特徴とする請求項１ないし６のいずれかに記載の３次元形状の計測方法。
- ステレオカメラを構成する一対の撮像素子と、
前記ステレオカメラの撮像領域に配置されたワークにパターンを投影する投影装置と、
前記ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する制御部とを備える３次元形状の計測装置であって、
前記投影装置は、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものである投影パターンを投影可能であることを特徴とする３次元形状の計測装置。 - 前記制御部は、前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、
第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、
を含むことを特徴とする請求項８に記載の３次元形状の計測装置。 - 前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置した投影パターンを投影可能であることを特徴とする請求項８または９に記載の３次元形状の計測装置。
- 前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置した投影パターンを投影可能であることを特徴とする請求項８または９に記載の３次元形状の計測装置。
- 前記制御部は、
前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、
前記工程により抽出したワークの端部候補からワークの端部を選定する工程、
前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、
を含むことを特徴とする請求項８ないし１１のいずれかに記載の３次元形状の計測装置。 - 前記制御部は、
前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、
前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、
上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、
前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、
を含むことを特徴とする請求項８ないし１１のいずれかに記載の３次元形状の計測装置。 - 前記投影装置は、前記一対の撮像素子の間に配置され、
前記一対の撮像素子は、あおり光学系を構成することを特徴とする請求項８ないし１２のいずれかに記載の３次元形状の計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008121246A JP5322206B2 (ja) | 2008-05-07 | 2008-05-07 | ３次元形状の計測方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008121246A JP5322206B2 (ja) | 2008-05-07 | 2008-05-07 | ３次元形状の計測方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009270915A JP2009270915A (ja) | 2009-11-19 |
| JP5322206B2 true JP5322206B2 (ja) | 2013-10-23 |
Family
ID=41437604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008121246A Active JP5322206B2 (ja) | 2008-05-07 | 2008-05-07 | ３次元形状の計測方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5322206B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10593053B2 (en) | 2016-10-06 | 2020-03-17 | Fanuc Corporation | Projection pattern creation apparatus and three-dimensional measuring apparatus |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011209019A (ja) | 2010-03-29 | 2011-10-20 | Sony Corp | ロボット装置及びロボット装置の制御方法 |
| JP5161936B2 (ja) * | 2010-08-11 | 2013-03-13 | 株式会社パスコ | データ解析装置、データ解析方法、及びプログラム |
| JP5845581B2 (ja) * | 2011-01-19 | 2016-01-20 | セイコーエプソン株式会社 | 投写型表示装置 |
| JP2014122789A (ja) * | 2011-04-08 | 2014-07-03 | Sanyo Electric Co Ltd | 情報取得装置、投射装置および物体検出装置 |
| JP5138116B2 (ja) * | 2011-04-19 | 2013-02-06 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
| JP2014167387A (ja) * | 2011-06-24 | 2014-09-11 | Sanyo Electric Co Ltd | 物体検出装置および情報取得装置 |
| CN102506758B (zh) * | 2011-10-12 | 2012-12-12 | 北京航空航天大学 | 物体表面三维形貌多传感器柔性动态视觉测量***和方法 |
| JP6023415B2 (ja) * | 2011-10-17 | 2016-11-09 | キヤノン株式会社 | 三次元計測装置、三次元計測装置の制御方法およびプログラム |
| JP5696643B2 (ja) * | 2011-10-26 | 2015-04-08 | トヨタ自動車株式会社 | 歪測定装置、線膨張係数測定方法、及び、サーモビュアの補正係数測定方法 |
| JP6112769B2 (ja) * | 2012-03-05 | 2017-04-12 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| US8634020B2 (en) * | 2012-03-30 | 2014-01-21 | Mitsubishi Electric Research Laboratories, Inc. | Structured light projection and acquisition |
| JP6009206B2 (ja) * | 2012-04-23 | 2016-10-19 | シャープ株式会社 | ３次元計測装置 |
| US11455737B2 (en) * | 2012-12-06 | 2022-09-27 | The Boeing Company | Multiple-scale digital image correlation pattern and measurement |
| JP6011473B2 (ja) * | 2013-06-17 | 2016-10-19 | トヨタ自動車株式会社 | 排気系部品の寿命予測装置 |
| WO2015034049A1 (ja) * | 2013-09-05 | 2015-03-12 | アルプス電気株式会社 | ３次元形状計測方法及び３次元形状計測装置 |
| JP6360747B2 (ja) * | 2014-08-22 | 2018-07-18 | 西部電機株式会社 | 不定形***置推定方法、不定形***置推定装置及びプログラム |
| JP6452361B2 (ja) * | 2014-09-10 | 2019-01-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| JP6847712B2 (ja) * | 2017-03-03 | 2021-03-24 | 三菱航空機株式会社 | ３次元位置計測システム及び方法 |
| CN107202554B (zh) * | 2017-07-06 | 2018-07-06 | 杭州思看科技有限公司 | 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪*** |
| JP6633140B2 (ja) * | 2018-06-20 | 2020-01-22 | 株式会社フォーディーアイズ | 常時キャリブレーションシステム及びその方法 |
| JP7098486B2 (ja) * | 2018-09-05 | 2022-07-11 | 川崎重工業株式会社 | 作業支援システムおよび作業支援方法 |
| JP6841297B2 (ja) * | 2019-05-31 | 2021-03-10 | 株式会社デンソー | ビジュアルサーボシステム |
| CN111089548A (zh) * | 2019-12-16 | 2020-05-01 | 天津大学 | 一种具有高分辨率纹理的中远距离三维成像*** |
| US20230298193A1 (en) * | 2020-08-14 | 2023-09-21 | Nec Corporation | Photographing apparatus, photographing unit, image analysis apparatus, and three-dimensional shape measuring system |
| CN113049184A (zh) * | 2021-04-06 | 2021-06-29 | 中国人民解放军63853部队 | 一种质心测量方法、设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2692603B2 (ja) * | 1994-07-13 | 1997-12-17 | 村田機械株式会社 | 三次元計測方法 |
| JPH0942940A (ja) * | 1995-08-03 | 1997-02-14 | Canon Inc | ３次元物体の形状計測方法及び装置 |
| JP2921496B2 (ja) * | 1996-07-15 | 1999-07-19 | 三菱電機株式会社 | 画像処理装置および物体移載装置 |
| JP2003058869A (ja) * | 2001-08-20 | 2003-02-28 | Minolta Co Ltd | 対応点探索方法および撮影システム |
| JP4226550B2 (ja) * | 2002-07-25 | 2009-02-18 | ソリューショニックス コーポレーション | 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法 |
| JP2006003263A (ja) * | 2004-06-18 | 2006-01-05 | Hitachi Ltd | 視覚情報処理装置および適用システム |
| JP4433907B2 (ja) * | 2004-07-06 | 2010-03-17 | 富士ゼロックス株式会社 | ３次元形状測定装置および方法 |
| JP2006042686A (ja) * | 2004-08-04 | 2006-02-16 | Kagawa Univ | 植物の自動分離・植込システム |
| JP4577126B2 (ja) * | 2005-07-08 | 2010-11-10 | オムロン株式会社 | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| CN101870108B (zh) * | 2006-01-13 | 2011-09-28 | 松下电器产业株式会社 | 机械手臂的控制装置 |
-
2008
- 2008-05-07 JP JP2008121246A patent/JP5322206B2/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10593053B2 (en) | 2016-10-06 | 2020-03-17 | Fanuc Corporation | Projection pattern creation apparatus and three-dimensional measuring apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009270915A (ja) | 2009-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5322206B2 (ja) | ３次元形状の計測方法および装置 | |
| US9920470B2 (en) | Method for capturing an item of laundry | |
| JP5788460B2 (ja) | バラ積みされた物品をロボットで取出す装置及び方法 | |
| JP5564349B2 (ja) | 画像処理装置及び外観検査方法 | |
| JP6461369B2 (ja) | 視覚光、および、赤外の投射されるパターンを検出するためのイメージャ | |
| JP5458885B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
| JP7174074B2 (ja) | 画像処理装置、作業ロボット、基板検査装置および検体検査装置 | |
| JP2019063984A (ja) | 情報処理装置、方法及びロボットシステム | |
| JP5544320B2 (ja) | 立体視ロボットピッキング装置 | |
| WO2006098258A1 (ja) | ３次元計測のためのキャリブレーション方法およびその方法を用いた３次元計測システム | |
| JP2015172575A (ja) | プログラマブルデジタル機械画像検査システム | |
| JP5952136B2 (ja) | 布片の縁部の自動検出方法とその装置、および、該装置を有する布片展開送り装置 | |
| CN102741881B (zh) | 布料制品识别装置和布料制品抓持*** | |
| JP7453762B2 (ja) | 画像処理装置、撮像装置、ロボット及びロボットシステム | |
| JP2017116482A (ja) | 測定装置、宅配ボックス装置 | |
| US20220180499A1 (en) | System and method for determining 3d surface features and irregularities on an object | |
| JP2012177671A (ja) | 微細非周期パターン投影装置および方法とそれを用いた三次元計測装置 | |
| JP2018146347A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| WO2020158340A1 (ja) | 検査装置、及び、検査方法 | |
| US9977948B2 (en) | Method for the localization of gripping points of objects | |
| JP4409467B2 (ja) | 眼鏡レンズの吸着治具取付装置 | |
| JP2020040193A (ja) | 情報処理装置及びピッキングシステム | |
| JP2021102253A (ja) | 画像処理装置、ロボットシステム、及び画像処理方法 | |
| Sansoni et al. | Combination of 2D and 3D vision systems into robotic cells for improved flexibility and performance | |
| JP4729143B2 (ja) | 眼鏡レンズの吸着治具取付装置、及び吸着治具取付位置決定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110329 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110329 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121011 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20121011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130711 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5322206 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |