JP7499967B2 - 搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム - Google Patents

Description

本開示は物品の搬送に関し、より特定的には、第１領域に積層された物品を第２領域に整列して配置する技術に関する。

リサイクルプラントに搬入される洗濯機やエアコンその他の廃棄された家庭用電化製品（以下「廃家電」という。）は、家電の種類ごとに積層された状態でコンテナに搬入される。コンテナに搬入された各廃家電は、それぞれの大きさや重さが異なる不定形ワークであることに加えて、取り出した廃棄物を配置する方向（単に「取り置き方向」ということもある）を統一する必要がある。そのため、作業者が各廃家電を取り出し、解体場所まで当該廃家電を搬送する。

しかし、多くの廃家電は重いため、作業者への負担が大きくなり、このような搬送業務に従事する作業者を継続して確保することが困難になりつつある。そこで、コンテナに積層されたワークを認識し、ロボットに取り出しをさせる搬送装置が求められている。

このような搬送装置に関し、たとえば、特許第６７８５３９３号（特許文献１）は、「コンテナ等の受入場所に配置されたリサイクル洗濯機をロボットにより解体場所へ搬送することができるリサイクル洗濯機搬送システム」を開示している（［要約］参照）。このリサイクル洗濯機搬送システムは、「リサイクル洗濯機５を撮像する撮像装置と、リサイクル洗濯機５の位置情報及び姿勢情報を生成する認識部と、リサイクル洗濯機５を保持可能なハンド３１を有するロボットと、リサイクル洗濯機５を受入場所から解体場所に搬送するように、ロボットを制御する制御部とを具備し、ハンド３１は、真空源３３に連通する複数の真空引き孔３４ａを有する本体部３４と、本体部３４に取り付けられ、複数の真空引き孔３４ａに対応する複数の吸着孔３５ａを有し、本体部３４よりも軟質なパッド部３５とを備える」（以上「要約」参照）。このリサイクル洗濯機搬送システムは、「オペレータからの教示及びカメラが取得した画像情報に基づいて、識別部が洗濯機を縦型全自動洗濯機とドラム式洗濯機に分類している」というものである（段落００４２）。

特許第６７８５３９３号

特許文献１に開示されたリサイクル洗濯機搬送システムによれば、ワークの認識にオペレータの教示という人作業が介在する都合上、作業者を排除できないという問題が生じる。また、学習機を使う場合であれば、数万枚単位の学習用画像の準備に加えて、それに付随する作業者のアノテーションといった手間が生じる。さらに、洗濯機以外の廃家電へ適応する場合は、再学習が必要なため、汎用性に欠けるという問題も生じる。

さらに、特許文献１によれば、「リサイクル洗濯機５の位置情報及び姿勢情報（３次元形状）は、例えば位相シフト法により計測される」（段落００１７）。廃家電は大きさや重さが異なる不定形ワークであるため、このような３次元形状を用いる方法では、モデルマッチングを適用できないという問題点もある。加えて、ワークを認識して取り出しを行う搬送装置にあっては、位置情報及び姿勢情報（３次元形状）の生成の前処理となるワーク認識を高速で行わなければ、所望のサイクルタイムを実現できない。

したがって、作業者による関与を極力減らせる技術が必要とされている。また、特定の廃家電に限られない汎用性のある技術が必要とされている。さらに、サイクルタイムを短くできる技術が必要とされている。

本開示は上述のような背景に鑑みてなされたものであって、ある局面に従うと、事前トレーニングなしで、人作業が介在しない汎用性の高い搬送技術が開示される。

ある実施の形態に従うと、搬送システムが提供される。この搬送システムは、第１領域に積層された複数の物品を３次元計測することにより得られた複数の物品の三次元情報の入力を受け付ける入力部と、第１領域から、第１領域と異なる第２領域に物品を搬送するための搬送部と、搬送部を制御するための制御装置とを備える。制御装置は、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、三次元情報に基づいて、搬送対象となる物品の上面または底面を識別し、位置姿勢情報と、上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定し、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第２領域に配置するように搬送部を制御する。

ある実施の形態に従うと、事前トレーニングなしで、人作業が介在しない汎用性の高い搬送システムが提供される。

この開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの開示に関する次の詳細な説明から明らかとなるであろう。

搬送システム１０の一構成の概要を例示する図である。 複数の物品１０６がコンテナ１０７に積層された状態を上方から表わした図である。 ある実施の形態に従う制御用装置１０２によって実現される機能の構成を表わすブロック図である。 制御用装置１０２として機能するコンピュータ４００のハードウェア構成を表わすブロック図である。 コンピュータ４００のＣＰＵ１が実行するメイン処理の一部を表わすフローチャートである。 ＣＰＵ１によって実行される物品認識処理（Ｓ５５０）の詳細を表わすフローチャートである。 ＣＰＵ１による処理が実行されている場合に取得される画像を模式的に表わした図である。 同種の二つの物品８１０ａ，８１０ｂが並んだ状態を表わす図である。 高さ方向の閾値処理が行なわれる場合にＣＰＵ１に取得されるデータを模式的に表わした図である。 廃棄された物品１０６が側面を上にして（横方向に）配置された状態を表わす図である。 物品１０６の表面をＸ方向に走査することにより得られたプロファイルを表わす図である。 実施の形態２に従う搬送システムのコンテナにおける物品の状態を表わす図である。 実施の形態３に従う搬送システム１３００の構成の一例を表わす図である。

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

実施の形態１．
［搬送システム１０の概要］
図１を参照して、ある実施の形態に従う搬送システム１０について説明する。図１は、搬送システム１０の一構成の概要を例示する図である。

搬送システム１０は、三次元計測機としての撮像装置１０１と、制御用装置１０２と、ロボット１０３と、ロボットコントローラ１０４と、コンベア１０９とを備える。ロボット１０３は、その先端にハンド１０５を有する。

撮像装置１０１と、制御用装置１０２と、ロボットコントローラ１０４とは、通信ケーブル等の有線通信手段またはＷｉＦｉ（登録商標：Wireless Fidelity）その他の無線通信手段によって、互いに通信できるように接続されている。

撮像装置１０１は、コンテナ１０７の上方に配置されている。ある局面において、コンテナ１０７は、同種類の１または複数の物品１０６を収容する。なお、以下では、ある局面において、一つの物品を物品１０６と示す場合があり、他の局面において、複数の物品を総称する場合に物品１０６と示す場合もある。また、複数の物品のそれぞれについて説明する場合は、各物品を区別して、例えば、物品１０６－１，１０６－２等とも表わす。

ある実施の形態において、物品１０６は、例えば、廃棄された家庭用電化製品（「廃家電」）であり、あるいは、他の局面において、リサイクルまたはリユースの目的で回収された家庭用電化製品であり、さらに他の局面において、リコールにより回収された家庭用電化製品を含み得る。家庭用電化製品は、冷蔵庫、洗濯機、エアコン等のように作業者が運ぶには比較的大きくあるいは重い製品であり、ロボット１０３による機械搬送が望ましい製品である。

コンテナ１０７の上部は解放されている。したがって、撮像装置１０１は、コンテナ１０７の内部を撮影できる。複数の物品１０６がコンテナ１０７に積層されている場合は、撮像装置１０１は、最上段に置かれた物品１０６の表面を撮影することになる。物品１０６が冷蔵庫や洗濯機のように略直方体の形状を有する場合、物品１０６は、通常の使用時とは異なり横に向けられた状態で配置されることがある。この場合、撮像装置１０１によって撮影される表面は、物品１０６の側面となる。

ある局面において、１または複数の物品１０６は、コンテナ１０７に搬入されて順次積層される。図１には、ＸＹＺの直交３軸座標系が示されており、Ｚ方向は、コンテナ１０７の底面に対して鉛直方向を示し、Ｘ方向及びＹ方向は、当該底面に平行な水平方向を示す。Ｚ方向は、物品１０６が積層される方向に対応する。Ｘ方向およびＹ方向は、各物品１０６が並べられる方向に対応し得る。

撮像装置１０１は、固定用架台１０８に取り付けられており、視野方向に対する三次元領域内の三次元情報を取得する。撮像装置１０１の構成として、例えば、ある局面において２台のカメラを使用するステレオカメラ方式、他の局面において、レーザ変位計と単眼カメラとを用いる方式、さらに他の局面において、位相シフト法を用いたプロジェクターと単眼カメラとを用いる方式等が挙げられるが、これらに限られず、三次元情報を取得可能なその他の方式も使用され得る。

撮像装置１０１の測定範囲は、コンテナ１０７が占有する三次元領域全てを含む必要があるが、測定範囲が大きすぎると、測定分解能は低下する。したがって、ある局面において、測定範囲は、ロボット１０３で物品１０６を取り出す際に必要な精度に合わせた測定分解能から選定するが好ましい。なお、図１では、撮像装置１０１はコンテナ１０７の中央部上方の固定用架台１０８に配置されているが、他の局面において、撮像装置１０１は、ロボット１０３の先端部に取り付けられてもよい。

撮像装置１０１によって取得された三次元情報は、三次元点群データ、またはデプス画像といった方式で表現される。ある実施の形態において、三次元点群データとは、測定された三次元座標値（ｘ，ｙ，ｚ）のような三次元の点の集合として三次元情報を表現したものである。一例として、三次元の点の集合では、撮影された画像上の画素の座標値（ｘ，ｙ）ごとに高さ情報ｚが付与されている。

一方、デプス画像とは、二次元画像に三次元情報を付与した画像であり、画像内の各画素の色や輝度値により、コンテナ１０７の底面からの高さを取得できる画像であり、または、撮像装置１０１からの距離を取得できる画像である。

制御用装置１０２は、撮像装置１０１によって取得された三次元情報に基づいて、物品１０６の位置姿勢情報を導出する。本実施の形態において、位置姿勢情報とは、物品１０６の重心位置の座標値（ｘ，ｙ，ｚ）と、定義されたＸＹＺ座標系に対する物品１０６の傾きの座標値（φ，θ，ψ）との組み合わせである。取り出しの対象となる物品１０６の座標値（ｘ，ｙ，ｚ）および（φ，θ，ψ）がロボット１０３に通知されると、ロボット１０３は、そのハンド１０５を当該座標値に移動させて物品１０６を把持できる。

制御用装置１０２は、物品１０６の側面の三次元点群データに基づいて物品１０６の底面を判定し、物品１０６をコンテナ１０７から取り出す順序とコンベア１０９に配置する方向とを決定する。さらに、制御用装置１０２は、その決定した順序と方向とに基づいて、ロボットコントローラ１０４を制御する。

ロボット１０３は、例えば多関節のアームマニピュレータであり、所定のワーキングエリア内で６自由度の位置及び姿勢を制御できるように構成されている。ロボット１０３は、そのハンド１０５を用いて物品１０６を把持して所望の位置まで物品１０６を移送できる。なお、ロボット１０３は、多関節のアームマニピュレータに限定されず、ほかのロボットであってもよい。

ロボットコントローラ１０４は、制御用装置１０２から入力された動作指令に基づいて、各駆動軸モータ（図示しない）に駆動信号を送信し、ロボット１０３の動作を制御する。

ハンド１０５は、例えば、真空（負圧）を利用した吸着パッド（図示しない）、あるいは、吸引ノズル（図示しない）を備える。ハンド１０５は、位置および姿勢が検出された物品１０６の表面に接触して、物品１０６を１つずつ把持することで、コンベア１０９の位置まで移送できる。

［コンテナ１０７における物品の積層状態］
図２を参照して、ある実施の形態に従う物品の配置について説明する。図２は、複数の物品がコンテナ１０７に積層された状態を上方から表わした図である。例えば、物品１０６－１は物品１０６－２の上に配置されている。また、物品１０６－５は物品１０６－４の上に配置されており、物品１０６－４は物品１０６－３の上に配置されている。

物品１０６－１は、その側面１０６ｃが上を向いた状態となるようにコンテナ１０７に搬入されて積層される。この場合、物品１０６－１が撮像装置１０１によって撮影されると、上面１０６ａおよび底面１０６ｂは、画像からは判別しにくい状態となる。図２は、コンテナ１０７を上方から見た画像であり、この画像は、撮像装置１０１によって撮像された画像情報にそのまま相当する。図２に示されるＸＹＺ座標系は、ロボット１０３の動作座標系（図１に示されるＸＹＺ座標）にマッチングされる。

［制御用装置１０２の機能構成］
図３および図４を参照して、制御用装置１０２の構成について説明する。図３は、ある実施の形態に従う制御用装置１０２によって実現される機能の構成を表わすブロック図である。図４は、ある実施の形態に従って制御用装置１０２を実現するコンピュータ４００のハードウェア構成を表わすブロック図である。

図３に示されるように、制御用装置１０２は、入力部３１０と、記憶部３２０と、制御部３３０と、表示部３４０とを備える。制御部３３０は、解析部３３１と、識別部３３２と、動作計画部３３３と、取出制御部３３４と、終了判定部３３５とを含む。

入力部３１０は、制御用装置１０２の外部からの信号の入力を受け付ける。入力される信号は、撮像装置１０１によって撮影された画像信号、搬送システム１０の管理者による操作信号、搬送システム１０以外のシステムから送信された信号等を含む。入力部３１０は、アナログ端子およびデジタル端子のいずれでもよい。

記憶部３２０は、制御用装置１０２の外部から入力された情報、および、制御用装置１０２によって生成されたデータを保持する。記憶部３２０は、たとえば、ある局面において、三次元情報３２１と、コンテナ内高さ情報３２２とを格納する。記憶部３２０は、ハードディスク、ＳＳＤ（Solid State Device）その他の不揮発性メモリやＲＡＭ（Random Access Memory）その他の揮発性メモリによって実現される。

制御部３３０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＣＵ（Micro Controller Unit）その他の汎用プロセッサによって、または、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）その他の専用プロセッサによって実現され得る。

制御部３３０において、解析部３３１は、撮像装置１０１によって取得された三次元情報に基づいて、物品１０６の位置姿勢情報を出力する。当該位置姿勢情報は、一例として、物品１０６の重心位置の座標値（ｘ，ｙ，ｚ）と、定義されたＸＹＺ座標系に対する物品１０６の傾きの座標値（φ、θ、ψ）との組み合わせである。

識別部３３２は、物品１０６の側面の三次元情報に基づいて、物品１０６の上面と底面とを識別し、底面の場所を示す情報を出力する。当該情報は、例えば、物品１０６を撮影した画像において、底面が当該画像に含まれる物品１０６の画像の右側又は左側のいずれに位置するか、若しくは、物品１０６の画像の上側又は下側のいずれに位置するかを表わす情報である。

動作計画部３３３は、解析部３３１から出力される物品１０６の位置姿勢情報と、識別部３３２によって識別される物品１０６の底面の場所を示す情報とに基づいて、コンテナ１０７から物品１０６を取り出す順序（単に「取り出し順」ともいう。）と、取り出された物品１０６のコンベア１０９に対する配置方向（「取り置き方向」ともいう。）を決定する。

取出制御部３３４は、動作計画部３３３から出力される情報、すなわち、取り出し順と配置方向とに基づいて、ロボットコントローラに動作指令を送信する。

終了判定部３３５は、コンテナ１０７内の高さ情報３２２と、取出制御部３３４からの出力結果とに基づいて、コンテナ１０７からの物品１０６の取り出しを終了するべきか否かを判定する。判定結果は、解析部３３１に送られる。

［コンピュータ４００の構成］
図４を参照して、コンピュータ４００の構成について説明する。図４は、制御用装置１０２として機能するコンピュータ４００のハードウェア構成を表わすブロック図である。

コンピュータ４００は、主たる構成要素として、プログラムを実行するＣＰＵ１と、コンピュータ４００のユーザーによる指示の入力を受けるマウス２およびキーボード３と、ＣＰＵ１によるプログラムの実行により生成されたデータ、又はマウス２若しくはキーボード３を介して入力されたデータを揮発的に格納するＲＡＭ４と、データを不揮発的に格納する記憶装置５と、通信インターフェイス（Ｉ／Ｆ）７と、モニタ８とを含む。各構成要素は、相互にデータバスによって接続されている。

コンピュータ４００における処理は、各ハードウェアおよびＣＰＵ１により実行されるソフトウェアの協働によって実現される。このようなソフトウェアは、記憶装置５に予め記憶されている場合がある。また、ソフトウェアは、ＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）その他の記録媒体に格納されて、コンピュータプログラムとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なアプリケーションプログラムとして提供される場合もある。このようなソフトウェアは、光ディスク駆動装置（図示しない）その他の読取装置によりその記録媒体から読み取られて、あるいは、通信インターフェイス７を介してダウンロードされた後、記憶装置５に一旦格納される。そのソフトウェアは、ＣＰＵ１によって記憶装置５から読み出され、ＲＡＭ４に実行可能なプログラムの形式で格納される。ＣＰＵ１は、そのプログラムを実行する。

図４に示されるコンピュータ４００を構成する各構成要素は、一般的なものである。したがって、本開示に係る技術思想の本質的な部分の一つは、ＲＡＭ４、記憶装置５、ＣＤ－ＲＯＭその他の記録媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。当該記録媒体は、一時的でない（不揮発性の）、コンピュータ読取可能なデータ記録媒体を含み得る。なお、コンピュータ４００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、記録媒体としては、ＣＤ－ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

［制御構造］
図５および図６を参照して、ある実施の形態に従う搬送システム１０の制御構造について説明する。図５は、制御用装置１０２として機能するコンピュータ４００のＣＰＵ１が実行するメイン処理の一部を表わすフローチャートである。図５に示される処理は、例えば、搬送システム１０が動作を開始するトリガとして、撮像装置１０１が、撮像開始指令を受信すると開始する。撮像開始指令は、一例として、ロボット１０３がコンテナ１０７の範囲から退避した状態になった際に、ロボットコントローラ１０４から制御用装置１０２に送信されると、制御用装置１０２から撮像装置１０１に送信される。

図５を参照して、ステップＳ５１０にて、ＣＰＵ１は、三次元情報として三次元点群データを撮影画像から取得する。より具体的には、ＣＰＵ１は、撮像開始指令を撮像装置１０１に送信する。撮像装置１０１は、撮像開始指令の受信に応答して、コンテナ１０７に積層された物品１０６を撮像して、三次元情報を三次元点群データとして取得する。一例として撮像装置１０１がステレオカメラで構成される場合、三次元点群データの算出は、三角測量の原理に基づいたステレオマッチングにより取得される。ステレオマッチングの方式として、たとえば、注目点に対して４５度ずつに分けられた８方向から候補点を探索するＳＧＭ（Semi Global Matching）方式などが挙げられるが、ステレオマッチングは、公知の手法であるので、さらに詳細な説明は述べない。

ステップＳ５２０にて、ＣＰＵ１は、取得した三次元点群データから、物品１０６の取り出し制御に不要な三次元点群データを除去する。ステップＳ５２０において取得された三次元点群データは、コンテナ１０７の範囲外（コンテナ１０７の周辺）の三次元点群データまで含み得るため、不要な点群データを除去する必要がある。除去する手法としては、ロボット１０３の動作座標系（図１中のＸＹＺ座標）上でコンテナ１０７の範囲を表わす三次元座標値を予め定義しておき、ＣＰＵ１は、取得された三次元点群データから、コンテナ１０７の範囲を示す当該三次元座標に対応する三次元点群データを抽出することにより、コンテナ１０７の範囲外に相当する三次元点群データを除去できる。

ステップＳ５３０にて、ＣＰＵ１は、デプス画像を出力する。デプス画像は、一例として、１画素が２５６通りの階調をもつグレースケール画像であり、撮像装置１０１に近いものほど黒く、遠いものほど白く表される。

ステップＳ５４０にて、ＣＰＵ１は、デプス画像からノイズを除去する。ノイズを除去する手法は、例えば、メディアンフィルタ、スペックルフィルタなどを用いたフィルタリングによる手法である。メディアンフィルタやスペックルフィルタは、周知のフィルタ処理であるので、さらに詳細な説明は繰り返さない。

ステップＳ５５０にて、ＣＰＵ１は、後述する物品認識処理を実行して、同じ段に積まれている物品を認識して、当該物品の位置および姿勢を推定する。この処理の詳細は、後述する（図６）。

ステップＳ５６０にて、ＣＰＵ１は、物品１０６の画像の面積が予め定められた面積以下であるか否かを判断する。本実施の形態において、予め定められた面積とは、画像上で一つの物品１０６が取り得る面積を予め定義した値である。このような定義は、例えば、撮像装置１０１からコンテナ１０７の収容面までの距離と、物品１０６の寸法データとに基づいて定義される。ＣＰＵ１は、物品１０６の画像の面積が予め定められた面積以下であると判断すると（ステップＳ５６０にてＹＥＳ）、物品１０６の輪郭を抽出した画像と、物品１０６の位置姿勢情報とを出力し、その後、処理を終了する。そうでない場合には（ステップＳ５６０にてＮＯ）、ＣＰＵ１は、制御をステップＳ５７０に切り替える。

ステップＳ５７０にて、ＣＰＵ１は、高さ方向の閾値処理を実行する。すなわち、物品１０６の画像が予め定められた面積より大きいと判断された場合には、ＣＰＵ１は、物品１０６と、物品１０６に隣接する他の物品とを１台として誤認識した可能性がある。そこで、ＣＰＵ１は、物品１０６と隣接する他の物品とを区別するために、誤認識した領域に対して高さ方向の閾値処理をする。この処理の詳細は、後述する（図８，図９）。

図６は、ＣＰＵ１によって実行される物品認識処理（Ｓ５５０）の詳細を表わすフローチャートである。

ステップＳ６１０にて、ＣＰＵ１は、デプス画像の二値化処理を実行する。より具体的には、以降の処理を行うために、ＣＰＵ１は、入力画像となるデプス画像に対して二値化処理を実行し、検出したい物品１０６の領域が黒となり、それ以外の領域が白となるような画像を生成する。このとき、ＣＰＵ１は、物品１０６が積層される段の高さに相当する輝度値を二値化の閾値として設定する。例えば、図１に例示されるように、コンテナ１０７内に物品１０６が３段に積まれる場合、１段目と２段目と３段目との各段数が取り得る高さの輝度値が事前に定義され得る。ＣＰＵ１は、この輝度値を二値化の閾値に設定することで、取り出しの対象となる最上段の物品１０６のみを抽出できる。なお、当該輝度値以外の値が当該閾値として設定されてもよい。

ステップＳ６２０にて、ＣＰＵ１は、二値化画像の色反転処理を実行する。より具体的には、ＣＰＵ１は、後述する処理を行うために、二値化画像の色反転を行い、検出したい物品１０６の領域が白となり、それ以外の領域が黒となるような画像を生成する。

ステップＳ６３０にて、ＣＰＵ１は、収縮処理を実行する。ＣＰＵ１は、反転した二値化画像上のノイズである白領域を除去するために、収縮処理を行う。本実施の形態において、ＣＰＵ１は、収縮処理として、注目画素の周辺に１画素でも黒い画素があれば黒に置き換える。この処理が実行されることにより、物品１０６に隣接する他の物品を切り分ける効果も期待できる。この処理が実行された場合の画像の一例は後述する。

ステップＳ６４０にて、ＣＰＵ１は、収縮された物品１０６の領域を元の大きさに戻すために、膨張処理を行う。本実施の形態において、ＣＰＵ１は、膨張処理として、注目画素の周辺に１画素でも白い画素があれば、当該注目画素の色を白に置き換える。ＣＰＵ１は、収縮処理を行った後に膨張処理を行うことで、ノイズを除去しつつ、物品１０６のみを切り分けた状態の画像を得ることができる。

ステップＳ６５０にて、ＣＰＵ１は、ラベリング処理を実行して物品１０６の輪郭を抽出する。より具体的には、まず、ＣＰＵ１は、ラベリング処理を行ない画像上の各物品を１つのオブジェクトとして検出する。次に、ＣＰＵ１は、ラベリング処理により検出されたオブジェクトに対して、外接矩形を導出して描画することにより、物品１０６の輪郭を抽出した画像を得ることができる。ＣＰＵ１は、この画像を表示部３４０としてのモニタ８に表示することで、物品１０６を認識していることを作業者に知らせることができる。

本実施の形態におけるラベリング処理は、注目画素の周辺に同じ画素値を有する画素がある領域を１つのオブジェクトとしてラベル付けを行なう処理をいう。例えば、検出された物品１０６の領域が白で表示される場合、ＣＰＵ１は、白い画素に着目することでラベル付けを行なうことができる。また、ＣＰＵ１は、ラベル付けされたオブジェクトから、当該オブジェクトの重心の位置を算出できる。この重心の位置は、認識された物品１０６の重心の座標値（ｘ，ｙ）となる。

デプス画像は、コンテナ１０７の底面からの高さに相当する高さ情報ｚを有する。したがって、算出された重心の位置を表わす座標値（ｘ，ｙ，ｚ）をロボット１０３の動作座標系に変換した座標値が、物品１０６の位置情報をロボット１０３に通知するために与えられる値となる。なお、Ｘ軸、Ｙ軸およびＺ軸の周りの各回転角度を（φ，θ，ψ）と定義すると、ＣＰＵ１は、ラベル付けされたオブジェクトの輪郭情報と、デプス画像の高さ情報とを用いることで、角度（φ，θ，ψ）を算出できる。位置情報と同様に、ＣＰＵ１は、算出した角度をロボット１０３の動作座標系に変換することにより、物品１０６の姿勢を示す情報を導出する。当該情報がロボット１０３に送信されると、ロボット１０３は、その情報に基づいてハンド１０５の動作を制御し得る。

ステップＳ６５０の後、制御はメイン処理に戻される。図６に示される処理が完了すると、ラベリング処理後の画像と、物品１０６の位置姿勢情報とが生成される。

図７を参照して、画像処理により抽出される画像について説明する。図７は、ＣＰＵ１による上記の処理が実行されている場合に取得される画像を模式的に表わした図である。複数の物品１０６は、図１に示されるように、２段または３段に積層されている。図７は、コンテナ１０７を上方から見た場合を示しているため、２段または３段の区別がつかない状態である。そこで、ＣＰＵ１は、上述のような画像処理を行ない、取り出しの対象となる物品、すなわち、最上段に積層されている物品を認識する。

画像７１０は、図２に示される画像をデプス画像として表示した画像である。画像７１０において、画像７１０ａと画像７１０ｂとは、近い色で表示されている。従って、ＣＰＵ１は、画像７１０ａに対応する物品と、画像７１０ｂに対応する物品とが、同じ高さに配置されていると判断し得る。また、ＣＰＵ１は、それ以外の４つの画像７１０ｃ，７１０ｄ，７１０ｅ，７１０ｆが同じ高さに配置されていると判定し得る。この場合、画像７１０ｃ，７１０ｄ，７１０ｅ，７１０ｆに相当する物品は、図１に示されるように、最上段（三段目）に配置されている物品に相当するため、これらの物品に相当する画像は、画像７１０ａ，７１０ｂよりも濃い色を有するデプス画像として表示されている。その後、ＣＰＵ１は、画像７１０に対して二値化処理（ステップＳ６１０）を行ない、画像７２０を抽出する。

画像７２０は、コンテナ１０７の最上段に配置された４つの物品に対応する画像７２０ｃ，７２０ｄ，７２０ｅ，７２０ｆを含む。デプス画像では、高さに応じ適度値が変わるため、物品が積層されている高さ（１段、２段、３段など）に応じた輝度値を閾値として予め設定しておくことにより、ＣＰＵ１は、二値化処理を行なうときに最上段に配置されている物品に相当する画像を抽出できる。

その後、ＣＰＵ１は、画像７２０に対する色反転処理を行ない（ステップＳ６２０）、画像７３０を導出する。画像７３０では、検出したい物品の領域が白色で示され、その他の領域が黒色で示されている。

次に、ＣＰＵ１は、画像７３０について収縮処理を行ない（ステップＳ６３０）、画像７４０を導出する。例えば、ＣＰＵ１は、画素７３０ａ，７３０ｂのように周辺が黒色で囲まれた白い領域がノイズであると見なして、当該白い領域を黒に置き換えて、当該ノイズを除去する。

さらに、ＣＰＵ１は、画像７４０に対して膨張処理を行ない（ステップＳ６４０）、収縮された領域が元の大きさの領域に戻された画像７５０を導出する。画像７５０は、画像７３０と違ってノイズが除去された状態を示している。

その後、ＣＰＵ１は、画像７５０に対してラベリング処理を行なってオブジェクトを抽出し（ステップＳ６５０）、画像７６０に示されるように、当該オブジェクトに外接する矩形領域７６０ａ，７６０ｂ，７６０ｃ，７６０ｄを決定する。

［高さ方向の閾値処理］
図８および図９を参照して、高さ方向の閾値処理の詳細について説明する。図８は、同種の二つの物品８１０ａ，８１０ｂが並んだ状態を表わす図である。図９は、高さ方向の閾値処理が行なわれる場合にＣＰＵ１に取得されるデータを模式的に表わした図である。

図８には、同種の物品として、廃棄された洗濯機が例示されているが、当該物品は洗濯機に限られず、エアコン、冷蔵庫その他の電化製品であってもよい。また、物品は廃棄されたものに限られず、リサイクルあるいはリユースされるものであってもよい。

ある局面において、複数の物品８１０ａ，８１０ｂは、互いに密接した状態でコンテナ１０７に配置される場合がある。この場合、物品８１０ａと物品８１０ｂとは、隙間がない状態で配置されることもあり得る。デプス画像は、２５６通りの階調でしか高さを表現できないため、ＣＰＵ１は、解析部３３１として、物品８１０ａ，８１０ｂを一つの物品として認識する場合もあり得る。

例えば、図９（Ａ）を参照して、ＣＰＵ１は、ラベリング処理の結果、矩形領域９１１，９１２，９１３を抽出している。矩形領域９１２，９１３は、それぞれ、一つの物品に対応する領域としてラベル付けされている。これに対して、矩形領域９１１は、二つの物品（例、洗濯機）の画像に対応する領域９１１ａ，９１１ｂを含むが、ＣＰＵ１は、矩形領域９１１を一つの物品に対応する領域として認識する。

そこで、ＣＰＵ１は、誤認識した領域に対してのみ、高さ方向の閾値処理を行い、一つの物品を二つの物品に切り分ける処理を行なう。

より具体的には、図９（Ｂ）に示されるように、ＣＰＵ１は、Ｚ方向の最小値ｚ_ｍｉｎに高さ方向のオフセット値ｚ_{ｏｆｆｓｅｔ}を加算した値を、高さ方向の閾値として設定する。このためには、ＣＰＵ１は、三次元点群データを参照して、隙間部の高さに相当する最小値ｚ_ｍｉｎを得る必要がある。

まず、図８のＸ方向に対して、任意のＹ座標値における物品８１０ａ，８１０ｂの表面（側面）を走査して、物品８１０ａ，８１０ｂの高さプロファイル９２０を取得する。隙間部の最小値ｚ_ｍｉｎは、取得された高さプロファイル９２０の最小値に相当する。

次に、高さ方向のオフセット値ｚ_{ｏｆｆｓｅｔ}については、隙間部の最小値ｚ_ｍｉｎと、物品８１０ａ，８１０ｂの側面の高さｚ_{ｐｌａｎｅ}との間の値が予め設定されている。ＣＰＵ１は、このようにして算出された高さ方向の閾値を用いて、Ｚ方向に閾値処理を行う。このとき、ＣＰＵ１は、当該閾値以下の三次元点群データをデプス画像上の白に相当する高さｚに置き換えることで、デプス画像上の隙間部を白で表すことができる。すなわち、図９（Ｃ）に示される画像９３０に含まれる画像９３１ａ，９３０ｂのように、ＣＰＵ１は、一つの物品として誤認識した物品８１０ａ，８１０ｂを二つの物品として正しく認識することができる。

ここで図２を再び参照して、ＣＰＵ１は、識別部３３２として、撮像装置１０１によって撮影された画像から、コンテナ１０７に積層された物品１０６の底面と上面とを識別する。ＣＰＵ１は、物品１０６の底面を識別して、当該底面がコンベア１０９において同一方向を向くようにロボット１０３による物品１０６の搬送および配置を制御することで、各物品１０６が配置される向き（物品１０６の姿勢）を統一できる。例えば、コンテナ１０７から取り出された各物品１０６は、その上面または底面が揃えられてコンベア１０９に配置される。

これにより、作業者がコンベア１０９に載せられた物品１０６を解体する工程では、同種の物品１０６は同じ方向を向いていた方が解体作業を効率よく行うことができる。これは、例えば、物品１０６が洗濯機である場合、トップカバーや運転操作パネルは、当該洗濯機の上面に取り付けられているため、各洗濯機が同じ方向に並べられていれば、解体作業を行う作業者は、その上面側に位置することで、上面側に移動する手間が省けるからである。また、物品１０６から一部の部品を取り外すために設備や工具が使用される場合も、上面側のみに設置しておくことで、設備や工具をコンベア１０９の両方に配置する必要がなくなる。

［底面の識別］
そこで、図１０および図１１を参照して、物品の底面の識別について説明する。図１０は、廃棄された物品１０６が側面を上にして（横方向に）配置された状態を表わす図である。図１１は、物品１０６の表面をＸ方向に走査することにより得られたプロファイルを表わす図である。ある局面において、物品の底面の識別は、当該物品の側面にある取っ手の三次元形状に基づいて行なわれる。

一例として、図１０に示されるように、廃棄された物品１０６に対して、撮像装置１０１は、Ｘ方向に走査すると、ＣＰＵ１は、物品１０６の高さ情報として、高さプロファイルを取得できる。

例えば、物品１０６の取っ手が、ｙ軸方向に、物品１０６の側面の端から１００ｍｍ≦ｙ≦２００ｍｍの範囲で設けられているとする。この場合、図１１（Ａ）に示されるように、ＣＰＵ１は、解析部３３１から出力された物品の領域に対して、ｙ＝０から順に高さプロファイルを取得していく。取っ手が存在しない範囲（すなわち、０≦ｙ＜１００ｍｍ、および、２００＜ｙ≦Ｙｍａｘ（物品１０６の最大の幅））では、高さプロファイル１１１０のように物品１０６の側面に沿った直線上のプロファイルが得られる。

一方、図１１（Ｂ）に示されるように、ＣＰＵ１は、取っ手が存在する部分について、Ｘ方向に走査すると、高さプロファイル１１２０を得る。高さプロファイル１１２０では、取っ手の幅（高さ）に相当する部分１１３０は、切り欠き形状のように示される。これは、人が廃家電を持ち上げやすくなるように、取っ手には廃家電側面に対して一定の傾きを有しているからである。

つまり、物品１０６が取っ手を有する場合は、ＣＰＵ１は、ＸＺ平面上の取っ手に相当する直線の傾きｔａｎθを算出することで、物品１０６の底面を識別できる。取っ手の存在の判定は、たとえば、取得した高さプロファイル１１２０の最小値Ｚ_ｍｉｎと最大値Ｚ_ｍａｘと差が予め設定された閾値を超えたことに基づいて、あるいは、取っ手（の開口部の高さ）に相当する長さを有する直線部と、取っ手に相当する傾きとが検出されたことに基づいて行なわれる。

高さプロファイル１１２０のように、取っ手に相当する直線部とＸ軸の正の向きとがなす角度θが、０度から９０度である場合は、廃家電を持ち上げる向きがＸ軸の負の向きと一致するので、ＣＰＵ１は、物品１０６の底面は右端に存在すると判定し得る。一方、取っ手に相当する直線とＸ軸の正の向きとがなす角度θが、９０度から１８０度の範囲に含まれる場合には、物品１０６を持ち上げる向き、すなわち、取っ手に作用する向きがＸ軸の正の向きと一致するので、ＣＰＵ１は、物品１０６の底面が左端にあると判定し得る。

また、他の局面において、ＣＰＵ１は、物品１０６の側面にある取っ手の三次元位置情報に基づいて、物品１０６の底面を識別してもよい。一般的に、物品１０６の取っ手は、搬送時の安定性の観点から、重心位置よりも上部に取り付けられることが多い。そのため、ＣＰＵ１は、上述のプロファイルを用いて取っ手の位置を認識した後に、取っ手の位置が、（Ｘ軸に沿った）高さプロファイル１１２０において真ん中よりも左側にある場合は、ＣＰＵ１は、物品１０６の底面が右端にあると判定し得る。一方、取っ手の位置が高さプロファイル１１２０において真ん中よりも右側にある場合は、ＣＰＵ１は、物品１０６の底面が左端にあると判定し得る。

このように、ＣＰＵ１は、物品１０６の取っ手の三次元形状や位置を認識することで、物品１０６の側面の三次元情報に基づいて、その底面を認識できる。ＣＰＵ１は、識別部３３２として、物品１０６の識別された底面の情報（底面が右側あるいは左側のいずれにあるか等）を生成する。

ＣＰＵ１は、動作計画部３３３として、解析部３３１として算出した物品１０６の位置姿勢情報に基づいて物品１０６の取り出し順序を決定する。さらに、ＣＰＵ１は、識別部３３２として算出した物品１０６の底面の情報に基づいて、物品１０６の取り置き方向（上面あるいは底面をどちらに揃えるかといった配置方向）を決定する。取り出し順序を決める際は、好ましくは、ＣＰＵ１は、同じ段数に積層された物品１０６の中でも最も高い位置にあるものやロボット１０３から距離が近いものを優先して決める。取り置き方向を決める際は、ＣＰＵ１は、コンベア１０９に対して、物品１０６の底面が同一方向を向くように決定し得る。ＣＰＵ１は、動作計画部３３３として、決定した取り出し順序に基づいて、物品１０６の位置姿勢情報と、取り置き方向を示す情報とを、取出制御部３３４に出力する。

取出制御部３３４は、物品１０６の位置姿勢情報と取り置き方向を示す情報とに基づいて、ロボット１０３を制御するように、ロボットコントローラ１０４に動作指令を送る。取出制御部３３４は、同じ段数に積まれている物品１０６の取り出しが完了したと判断すると、取り出し完了トリガを終了判定部３３５に出力する。

ＣＰＵ１は、終了判定部３３５として、コンテナ１０７に物品１０６が残っているか否かを判定し、物品１０６が残っていないと判断すると、搬送の処理を終了する。例えば、物品１０６がコンテナに３段に積まれている場合、最上段である３段目から取り出しが行われるため、取出制御部３３４による１度目の取り出し処理が終了した段階では、コンテナ１０７には２段分の物品１０６が残っていることになる。そこで、ＣＰＵ１は、終了判定部３３５として、コンテナ１０７内の高さ情報を参照し、物品１０６を取り出す段数がまだ残っている場合は、解析部３３１として上述の処理を再度実行し、物品１０６の取り出しを継続する。

なお、上述の実施の形態では、各物品１０６は、側面が上を向く状態でコンテナ１０７に配置されている場合にロボット１０３による搬出が行なわれる場合が例示された。他の局面において、コンテナ１０７に置かれた物品１０６の一部が、他の物品１０６により生じた段差によって傾いている場合があり得る。このような場合に備えて、撮像装置１０１によって撮影された画像を用いて物品１０６が傾いているか否かが判定されてもよい。例えば、物品１０６が傾いている場合は、上面又は底面と二つの側面という３つの面に相当する領域が画像で認識され得る。そこで、ＣＰＵ１は、撮影された画像から３つの面に相当する領域を検出した場合には物品１０６が傾いて配置されていると判定し得る。あるいは、他の局面において、物品の認識をした際に取得される傾きの座標値（φ、θ、ψ）に対して閾値処理が行なわれてもよい。この場合、ＣＰＵ１は、当該座標値が閾値を超えた場合に、物品を取り出しできない傾きで配置されているとして判定し得る。

実施の形態２．
実施の形態１において、コンテナ１０７の側面部の位置情報、具体的にはコンテナの柵にあたる部分の三次元座標値を予めロボットコントローラ１０４に登録し、ハンド１０５がコンテナ１０７に接触する前に取り出し動作を中止する機能を備える。この機能により、ハンド１０５がコンテナ１０７の側面部と接触し、破損することを防ぐことができる。なお、実施の形態２に従う搬送システムのハードウェア構成は、実施の形態１に従う搬送システム１０のハードウェア構成と同じである。従って、ハードウェア構成の説明は繰り返さない。

図１２は、実施の形態２に従う搬送システムのコンテナにおける物品の状態を表わす図である。より詳しくは、図１２（Ａ）は、物品１０６の吸着面の大きさが、ハンド１０５よりも小さく、かつ物品１０６がコンテナ１０７に接近している場合を示している。この場合、ハンド１０５がコンテナ１０７と接触するため、搬送システムは、搬送動作を中止する。図１２（Ｂ）は、物品１０６の吸着面の大きさが、ハンド１０５よりも小さいが、物品１０６がコンテナ１０７から一定距離離れている場合を示している。この場合、搬送システムは搬送動作を継続することができる。コンテナ１０７の設置位置がばらつく場合には、搬送システムは、コンテナ１０７を設置した直後に、撮像装置１０１を用いてコンテナ１０７の側面情報、具体的にはコンテナの柵に当たる部分の三次元座標値を測定し、測定した三次元座標値を制御部１０２に送信する。コンテナ１０７の側面部の三次元座標値と、物品１０６の吸着位置の三次元座標値との関係から、搬送システムは、搬送の継続または中止の判断を行なってもよい。

実施の形態３．
図１３を参照して、実施の形態３について説明する。図１３は、実施の形態３に従う搬送システム１３００の構成の一例を表わす図である。搬送システム１３００は、実施の形態１に従う搬送システム１０の構成に対して、ハンド１０５がエアブロー１３１０を備える点で搬送システム１０と異なる。その他の構成は、搬送システム１０のハードウェア構成と同じである。したがって、同じハードウェア構成の説明は繰り返さない。

搬送システム１３００は、コンテナ１０７内の物品１０６を吸着する直前で、吸着する面に付着した水滴、ほこりなどの異物をエアブロー１３１０で除去し、吸着面を清掃する。これにより、吸着力の低下や吸着ヘッドの詰まりが、抑制され得る。

以上開示された技術的特徴は、以下のように要約され得る。
［構成１］ある実施の形態に従う搬送システム１０は、第１領域（たとえば、コンテナ１０７）に積層された複数の物品１０６を３次元計測することにより得られた複数の物品の三次元情報の入力を受け付ける入力部（たとえば、入力端子）と、第１領域から、第１領域と異なる第２領域（たとえば、コンベア１０９）に物品を搬送するための搬送部（たとえば、ロボット１０３）と、搬送部を制御するための制御装置（たとえば、制御用装置１０２、ＣＰＵ１）とを備える。制御装置は、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、三次元情報に基づいて、搬送対象となる物品１０６の上面１０６ａまたは底面１０６ｂを識別し、位置姿勢情報と、上面１０６ａまたは底面１０６ｂの識別結果とに基づいて、物品１０６の取り出し順序および配置方向を決定し、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第２領域に配置するように搬送部を制御する。

このようにすることで、二次元画像の情報のみから上面と底面を識別するよりも、より高精度な識別が可能となるため、物品の上面または底面を安定させた状態で搬送部に物品を供給することができる。

［構成２］ある局面において、位置姿勢情報を取得することは、三次元情報から不要なデータを除去することと、不要なデータが除去された三次元情報に基づいて物品を認識することと、認識された物品の領域の面積と予め定められた面積とを比較して、物品の領域の面積が予め定められた面積以下であることに基づいて、認識された物品が一つの物品であると判定することとを含む。

このようにすることで、テンプレート画像の準備や３次元モデルの登録なしで物品を認識できるため、大きさや形状が微妙に異なるような物品に対しても、ロバストに物品を認識することができることに加えて、準備の手間を抑えることができる。さらに、テンプレートマッチングのような、１～２秒の処理時間を要するような処理負荷の高い処理を行う必要がなくなるため、高速化が求められるワーク搬送において優位である。

［構成３］ある局面において、位置姿勢情報を取得することは、物品の領域の面積が予め定められた面積より大きい場合に、三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む。

このようにすることで、取出しを行いたい高さにある物品のみを認識することができるため、床面のような背景の情報を除去できることに加えて、複数の物品が積み重なるような状況下においても、対象の物品だけを認識することができる。

［構成４］ある局面において、制御装置は、さらに、二つの物品を一つの物品として誤認識したか否かを判断し、二つの物品を一つの物品として誤認識したとの判断に基づいて、複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識する。

このようにすることで、二次元画像の情報のみから物品を認識するよりも、より高精度に隣接する物品の分割を行うことができるため、認識エラー率を引き下げることが可能である。

［構成５］ある局面において、二つの物品を一つの物品として誤認識したか否かの判断は、三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、認識された画像の面積が側面の面積よりも大きいか否かを判断することと、複数の物品の表面を走査して表面を輪郭として表わすプロファイルを取得し、物品の高さとして予め設定された高さよりも小さい高さがプロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む。

［構成６］ある局面において、各物品は、その側面に取っ手を有している。上面または底面を識別することは、三次元情報に基づいて取っ手の位置を判断することと、取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む。

［構成７］ある局面において、搬送システム（たとえば、搬送１３００）は、物品の吸着面を清掃するための清掃手段（たとえば、エアブロー１３１０）をさらに備える。

［構成８］ある局面において、制御装置は、第１領域の外周情報（たとえば、コンテナ１０７の内側側面の輪郭を表わす情報）を登録し、搬送部（たとえば、ロボット１０３）と外周情報とが干渉するか否かを判定し、搬送部と外周情報とが干渉すると判断したことに基づいて、搬送動作を停止させる。

［構成９］他の実施の形態に従うと、物品の搬送を制御するためにコンピュータ４００で実行される方法が提供される。この方法は、ＣＰＵ１が、第１領域（たとえば、コンテナ１０７）に積層された複数の物品を３次元計測することにより得られた複数の物品の三次元情報の入力を受け付けるステップと、ＣＰＵ１が、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得するステップと、ＣＰＵ１が、三次元情報に基づいて、搬送対象となる物品の上面または底面を識別するステップと、ＣＰＵ１が、位置姿勢情報と、上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定するステップと、ＣＰＵ１が、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第１領域とは異なる第２領域に配置するように搬送部（ロボット１０３）を制御するステップとを含む。

［構成１０］さらに他の実施の形態に従うと、上記の方法をコンピュータ４００に実行させるプログラムが提供される。

＜まとめ＞
以上の次第で、開示された搬送システム１０は、画像処理によるルールベースで物品の認識を行うため、パラメータを変更することで、認識したい物品１０６の種類（たとえば、廃棄された洗濯機、冷蔵庫、エアコン等）を容易に切り替えることができる。また、搬送システム１０は、モデルマッチングや機械学習機を用いないため、事前のトレーニングが必要ないので、汎用性の高い物品認識が可能となる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ 搬送システム、１０１ 撮像装置、１０２ 制御用装置、１０３ ロボット、１０４ ロボットコントローラ、１０６，１０６－１，１０６－２，１０６－３，１０６－４，１０６－５，８１０ａ，８１０ｂ 物品、１０６ａ 上面、１０６ｂ 底面、１０６ｃ 側面、１０７ コンテナ、１０８ 固定用架台、１０９ コンベア、３１０ 入力部、３２０ 記憶部、３２１ 三次元情報、３２２，高さ情報、３３０ 制御部、３３１ 解析部、３３２ 識別部、３３３ 動作計画部、３３４ 取出制御部、３３５ 終了判定部、３４０ 表示部、４００ コンピュータ、７１０，７１０ａ，７１０ｂ，７１０ｃ，７１０ｄ，７１０ｅ，７１０ｆ，７２０，７２０ｃ，７２０ｄ，７２０ｅ，７２０ｆ，７３０，７４０，７５０，７６０，９３０，９３０ｂ，９３１ａ 画像、７３０ａ，７３０ｂ 画素、７６０ａ，７６０ｂ，７６０ｃ，７６０ｄ，９１１，９１２，９１３ 矩形領域、９１１ａ，９１１ｂ 領域、９２０，１１１０，１１２０ プロファイル。

Claims (15)

1. 第１領域に積層された複数の物品を３次元計測することにより得られた前記複数の物品の三次元情報の入力を受け付ける入力部と、
   前記第１領域から、前記第１領域と異なる第２領域に物品を搬送するための搬送部と、
   前記搬送部を制御するための制御装置とを備え、
   前記制御装置は、
   前記三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、
   前記三次元情報に基づいて、前記搬送対象となる物品の上面または底面を識別し、
   前記位置姿勢情報と、前記上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定し、
   決定された取り出し順序に従って前記搬送対象となる物品を取り出して、前記配置方向に従って前記取り出された物品の上面または底面を、他の物品の上面または底面に揃えて前記第２領域に配置するように前記搬送部を制御し、
   前記位置姿勢情報を取得することは、
   前記三次元情報に基づいて物品を認識することと、
   前記認識された物品の領域の面積と予め定められた面積とを比較して、前記物品の領域の面積が前記予め定められた面積以下であることに基づいて、前記認識された物品が一つの物品であると判定することとを含む、搬送システム。
2. 前記位置姿勢情報を取得することは、前記三次元情報から不要なデータを除去することをさらに含み、
   前記三次元情報に基づいて物品を認識することは、前記不要なデータが除去された三次元情報に基づいて物品を認識することを含む、請求項１に記載の搬送システム。
3. 前記位置姿勢情報を取得することは、
   前記物品の領域の面積が前記予め定められた面積より大きい場合に、前記三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む、請求項１または２に記載の搬送システム。
4. 前記制御装置は、さらに、
   二つの物品を一つの物品として誤認識したか否かを判断し、
   二つの物品を一つの物品として誤認識したとの判断に基づいて、前記複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識する、請求項１または２に記載の搬送システム。
5. 二つの物品を一つの物品として誤認識したか否かの判断は、
   前記三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、前記認識された画像の面積が前記側面の面積よりも大きいか否かを判断することと、
   前記複数の物品の表面を走査して前記表面を輪郭として表わすプロファイルを取得し、
   物品の高さとして予め設定された高さよりも小さい高さが前記プロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む、請求項４に記載の搬送システム。
6. 各物品は、その側面に取っ手を有しており、
   前記上面または底面を識別することは、
   前記三次元情報に基づいて前記取っ手の位置を判断することと、
   前記取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む、請求項１または２に記載の搬送システム。
7. 前記物品の吸着面を清掃するための清掃手段をさらに備える、請求項１または２に記載の搬送システム。
8. 前記制御装置は、
   前記第１領域の外周情報を登録し、
   前記搬送部と前記外周情報とが干渉するか否かを判定し、
   前記搬送部と前記外周情報とが干渉すると判断したことに基づいて、搬送動作を停止させる、請求項１または２に記載の搬送システム。
9. 物品の搬送を制御するためにコンピュータで実行される方法であって、
   第１領域に積層された複数の物品を３次元計測することにより得られた前記複数の物品の三次元情報の入力を受け付けるステップと、
   前記三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得するステップと、
   前記三次元情報に基づいて、前記搬送対象となる物品の上面または底面を識別するステップと、
   前記位置姿勢情報と、前記上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定するステップと、
   決定された取り出し順序に従って前記搬送対象となる物品を取り出して、前記配置方向に従って前記取り出された物品の上面または底面を、他の物品の上面または底面に揃えて前記第１領域とは異なる第２領域に配置するように搬送部を制御するステップとを含み、
   前記位置姿勢情報を取得することは、
   前記三次元情報に基づいて物品を認識することと、
   前記認識された物品の領域の面積と予め定められた面積とを比較して、前記物品の領域の面積が前記予め定められた面積以下であることに基づいて、前記認識された物品が一つの物品であると判定することとを含む、方法。
10. 前記位置姿勢情報を取得することは、前記三次元情報から不要なデータを除去することをさらに含み、
    前記三次元情報に基づいて物品を認識することは、前記不要なデータが除去された三次元情報に基づいて物品を認識することを含む、請求項９に記載の方法。
11. 前記位置姿勢情報を取得することは、
    前記物品の領域の面積が前記予め定められた面積より大きい場合に、前記三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む、請求項９または１０に記載の方法。
12. 二つの物品を一つの物品として誤認識したか否かを判断するステップと、
    二つの物品を一つの物品として誤認識したとの判断に基づいて、前記複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識するステップとをさらに含む、請求項９または１０に記載の方法。
13. 二つの物品を一つの物品として誤認識したか否かの判断は、
    前記三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、前記認識された画像の面積が前記側面の面積よりも大きいか否かを判断することと、
    前記複数の物品の表面を走査して前記表面を輪郭として表わすプロファイルを取得し、物品の高さとして予め設定された高さよりも小さい高さが前記プロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む、請求項１２に記載の方法。
14. 各物品は、その側面に取っ手を有しており、
    前記上面または底面を識別することは、
    前記三次元情報に基づいて前記取っ手の位置を判断することと、
    前記取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む、請求項９または１０に記載の方法。
15. 請求項９または１０に記載の方法をコンピュータに実行させるプログラム。

Images