JP7486986B2 - Control device and program - Google Patents
Control device and program Download PDFInfo
- Publication number
- JP7486986B2 JP7486986B2 JP2020045226A JP2020045226A JP7486986B2 JP 7486986 B2 JP7486986 B2 JP 7486986B2 JP 2020045226 A JP2020045226 A JP 2020045226A JP 2020045226 A JP2020045226 A JP 2020045226A JP 7486986 B2 JP7486986 B2 JP 7486986B2
- Authority
- JP
- Japan
- Prior art keywords
- item
- items
- priority
- unit
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 61
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
本発明の実施形態は、制御装置及びプログラムに関する。 An embodiment of the present invention relates to a control device and a program.
従来、ロボットアーム等の移動装置を用いることで荷物等の物品の荷役（移動）が行われている。例えば、移動対象の物品が置かれた場所を撮像することで得られた画像から物品の位置、形状及び姿勢を認識し、周囲がクリアな物品から順番に把持を行う技術が知られている。 Conventionally, items such as luggage are handled (moved) using a moving device such as a robot arm. For example, a technology is known in which the location where the item to be moved is placed is photographed, the position, shape, and orientation of the item are recognized from the obtained image, and the item is picked up in order starting with the item with a clear surrounding area.
しかしながら、従来の技術では、把持対象（移動対象）の物品と当該物品の周囲に存在する他の物品との距離に基づき順番を決定するため、物品全体の位置関係を考慮することはできず、効率性の観点から更なる改善の余地がある。 However, in conventional technology, the order is determined based on the distance between the item to be grasped (moved) and other items around it, so it is not possible to take into account the relative positions of all the items, and there is room for further improvement in terms of efficiency.
本発明が解決しようとする課題は、物品の移動を効率的に行うことが可能な制御装置及びプログラムを提供することである。 The problem that this invention aims to solve is to provide a control device and program that can efficiently move items.
実施形態の制御装置は、第１の接続部と、第２の接続部と、制御部とを備える。第１の接続部は、載置部に載置された物品を把持して当該物品の移動を行う荷役装置に接続される。第２の接続部は、前記載置部を上方から撮像する撮像装置に接続される。制御部は、前記撮像装置で撮像された画像を前記第２の接続部を介して取得し、取得した前記画像から前記載置部に載置された前記物品を認識する認識処理を実行し、前記認識処理で認識された前記物品の物品間の離間距離を算出し、前記離間距離に基づいて移動順序に係る優先度を前記物品に設定し、前記第１の接続部を介して前記荷役装置を制御することで、前記優先度に応じた順序で前記物品を移動させる。 The control device of the embodiment includes a first connection unit, a second connection unit, and a control unit. The first connection unit is connected to a loading device that grasps an item placed on a loading section and moves the item. The second connection unit is connected to an imaging device that images the loading section from above. The control unit acquires an image captured by the imaging device via the second connection unit, executes a recognition process that recognizes the item placed on the loading section from the acquired image, calculates a distance between the items recognized in the recognition process, sets a priority for the order of movement for the items based on the distance, and controls the loading device via the first connection unit to move the items in an order according to the priority.
以下、実施形態に係る制御装置及び荷役システムを、図面を参照して説明する。 The control device and loading/unloading system according to the embodiment will be described below with reference to the drawings.
（第１の実施形態）
図１は、第１の実施形態に係る荷役システムの構成の一例を示す図である。
First Embodiment
FIG. 1 is a diagram showing an example of the configuration of a cargo handling system according to the first embodiment.
図１に示すように、荷役システム１は、荷役装置１０と、カメラ２０と、制御装置３０とを有する。ここで、荷役装置１０及びカメラ２０と、制御装置３０とは、例えばシリアルケーブルやＬＡＮ（Local Area Network）等を介して接続される。
As shown in FIG. 1, the loading and
荷役装置１０は、荷役装置の一例である。荷役装置１０は、パレット２の上面２ａに載置された物品Ｗを目的位置に荷役（移動）するための装置である。物品Ｗの目的位置は、物品Ｗの移動先であればよく、例えばコンベアとすることができる。パレット２は、載置部の一例であり、例えば水平な床面Ｇに配置される。物品Ｗは、例えば定形又は不定形の立体物であり、パレット２の上面２ａに１又は複数個載置される。なお、本実施形態では、物品Ｗをパレット２に載置した例を示しているが、これに限らず、例えば床面Ｇ上に載置される形態としてもよい。この場合、物品Ｗが載置される床面Ｇ上の領域が載置部に対応することになる。
The
荷役装置１０は、基台１１１と、基台１１１に支持されたアーム部１１２と、アーム部１１２の先端に設けられた把持部１１３とを備える。基台１１１は、床面Ｇに固定された筐体である。以下では、床面Ｇと平行な方向、すなわち重力の作用する方向に直交する方向を水平方向ともいう。また、床面Ｇに直交する方向、すなわち重力の作用する方向及びその逆方向を上下方向ともいう。
The loading and
アーム部１１２は、一例として多関節ロボットアームである。アーム部１１２は、把持部１１３によって保持された物品Ｗを上下方向に移動する動作、及び水平方向に移動する動作を実行可能に構成されている。
The
例えば、アーム部１１２は、１軸又は２軸回りに回動可能な複数の関節により連結された３つの可動部１１２ａ～１１２ｃで構成される。可動部１１２ａは、基台１１１から延出している。可動部１１２ｂは、可動部１１２ａから延出している。可動部１１２ｃは、可動部１１２ｂから延出している。
For example, the
アーム部１１２（可動部１１２ｃ）の先端には、把持部１１３が取り付けられている。把持部１１３は、物品Ｗを挟み込んで把持する。なお、物品Ｗの把持は、挟持による把持方法に限定されない。例えば、把持部１１３に代えて、負圧によって物品Ｗを吸着把持する吸着部を用いてもよい。以下、把持部１１３によって物品Ｗを把持する動作、又は物品Ｗを把持する動作及び当該物品Ｗをアーム部１１２によって目的位置まで移動する動作を「ピッキング」ともいう。なお、アーム部１１２や把持部１１３には、物品Ｗのピッキング状態を検出するためのセンサ装置（例えば、接触センサ、重量センサ等）が設けられているものとする。
The
カメラ２０は、撮像装置の一例である。カメラ２０は、パレット２の上方に設けられ、パレット２の上面２ａを上方から撮像する。カメラ２０は、ＲＧＢカメラ２１と、３次元カメラ２２とを有する。なお、ＲＧＢカメラ２１及び３次元カメラ２２の何れも、パレット２を撮像範囲（図中の破線範囲）に含むものとする。
The
ＲＧＢカメラ２１は、２次元画像を撮像する第１の撮像装置の一例である。ＲＧＢカメラ２１は、カラー画像を撮像することが可能な撮像装置である。ＲＧＢカメラ２１は、撮像によって得られた２次元画像（以下、ＲＧＢ画像ともいう）を制御装置３０に出力する。かかるＲＧＢ画像には、パレット２の上面２ａに載置された物品Ｗを上方から見た状態が写し出されることになる。なお、２次元画像は、ＲＧＢ画像に限らず、グレースケールの画像であってもよい。
The
３次元カメラ２２は、第２の撮像装置の一例である。３次元カメラ２２は、ステレオカメラや３Ｄレーザスキャナ装置等によって構成される。３次元カメラ２２は、パレット２の上面２ａを上方から撮像（又は計測）することで、パレット２の上面２ａに載置された物品Ｗの高さや形状を３次元的に表した３次元情報を取得する。
The three-
また、３次元カメラ２２は、取得した３次元情報からデプス（Depth）画像と点群データ（point cloud）とを生成し、制御装置３０に出力する。ここで、デプス画像は、３次元カメラ２２からパレット２の上面２ａに載置された物品Ｗまでの距離情報を画像に変換したものである。また、点群データは、パレット２の上面２ａに載置された物品Ｗの表面の形状を３次元の点群で表したデータである。以下、デプス画像及び点群データを総称して３次元画像ともいう。
The three-
ＲＧＢカメラ２１及び３次元カメラ２２は、制御装置３０からの撮像要求に応じて撮像を実行し、当該撮像によって得られたＲＧＢ画像及び３次元画像を制御装置３０に送信する。また、ＲＧＢカメラ２１及び３次元カメラ２２の一方を指定した撮像要求も可能となっており、この場合には、指定されたカメラ側が撮像を個別に実行する。
The
なお、本実施形態では、３次元画像の生成を３次元カメラ２２が行う構成とするが、これに限らず、制御装置３０で３次元画像の生成を行う構成としてもよい。この場合、３次元カメラ２２は、撮像によって取得した３次元情報を制御装置３０に出力することで、３次元画像の生成が制御装置３０によって行われる。
In this embodiment, the three-dimensional image is generated by the three-
制御装置３０は、本実施形態における制御装置の一例である。制御装置３０は、カメラ２０の撮像結果に基づいて、荷役装置１０の動作を制御する。具体的には、制御装置３０は、カメラ２０から入力されるＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに載置された物品Ｗの各々を認識し、認識した各物品Ｗのピッキング順序を決定する。そして、制御装置３０は、荷役装置１０の動作を制御することで、パレット２の上面２ａに載置された物品Ｗの各々を、決定したピッキング順序で目的位置まで移動させる。
The
なお、本実施形態では、制御装置３０を荷役装置１０と別体としたが、荷役装置１０と制御装置３０とを一体的に構成する形態としてもよい。この場合、荷役装置１０と制御装置３０とを、荷役装置と定義してもよい。また、荷役装置１０及び制御装置３０に、カメラ２０を含めた構成を荷役装置と定義してもよい。
In this embodiment, the
次に、上述した制御装置３０ハードウェア構成について説明する。図２は、制御装置３０のハードウェア構成の一例を示す図である。
Next, the hardware configuration of the
図２に示すように、制御装置３０は、プロセッサ３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３、カメラインタフェース３４、荷役装置インタフェース３５及び記憶部３６を備える。
As shown in FIG. 2, the
プロセッサ３１は、制御部及びコンピュータの一例である。プロセッサ３１は、制御装置３０の動作を統括的に制御する。プロセッサ３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現することができる。
The
ＲＯＭ３２は、プロセッサ３１が実行する各種のプログラムや設定情報等を記憶する。ＲＡＭ３３は、プロセッサ３１のワークエリアとして使用される。
The
カメラインタフェース３４は、第２の接続部の一例である。カメラインタフェース３４は、カメラ２０を接続するための通信インタフェースである。カメラインタフェース３４は、カメラ２０と通信可能に接続され、プロセッサ３１の制御の下、自装置とカメラ２０との間の通信を制御する。
The camera interface 34 is an example of a second connection unit. The camera interface 34 is a communication interface for connecting the
例えば、プロセッサ３１は、カメラインタフェース３４を介して、カメラ２０（ＲＧＢカメラ２１、３次元カメラ２２）に撮像要求を送信する。また、プロセッサ３１は、カメラインタフェース３４を介して、カメラ２０から送信されるＲＧＢ画像及び３次元画像を取得する。
For example, the
荷役装置インタフェース３５は、第１の接続部の一例である。荷役装置インタフェース３５は、荷役装置１０を接続するための通信インタフェースである。荷役装置インタフェース３５は、荷役装置１０と通信可能に接続され、プロセッサ３１の制御の下、自装置と荷役装置１０との間の通信を制御する。
The loading/unloading device interface 35 is an example of a first connection unit. The loading/unloading device interface 35 is a communication interface for connecting the loading/
例えば、プロセッサ３１は、荷役装置インタフェース３５を介し、荷役装置１０の動作を制御する。また、プロセッサ３１は、荷役装置インタフェース３５を介して、荷役装置１０のピッキング状態を示すセンシング結果を取得する。
For example, the
記憶部３６は、例えば、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部３６は、プロセッサ３１が実行する各種のプログラムや設定情報等を記憶する。また、記憶部３６は、荷役装置１０の上下方向及び水平方向の移動限界位置や、荷役装置１０の可動範囲、荷役装置１０が把持可能な物品の寸法の上限及び下限等を示した限界情報を記憶する。かかる限界情報は、例えば、後述する移動計画の導出に用いられる。
The
次に、図３を参照して、制御装置３０が備える機能構成について説明する。図３は、制御装置３０の機能構成の一例を示す図である。
Next, the functional configuration of the
図３に示すように、制御装置３０は、取得部３１１と、認識部３１２と、計画部３１３と、計画実行部３１４とを機能部として備える。これら機能部の一部又は全ては、プロセッサ３１が、ＲＯＭ３２又は記憶部３６に記憶されたプログラムを実行することで実現されるソフトウェア構成であってもよい。また、上述した機能部の一部又は全ては、プロセッサ３１が備える専用回路によって実現されるハードウェア構成であってもよい。このように、本実施形態においてはプロセッサ３１が制御部の一例として機能する。
As shown in FIG. 3, the
取得部３１１は、カメラインタフェース３４を介して、カメラ２０で撮像されたＲＧＢ画像及び３次元画像を取得する。具体的には、取得部３１１は、認識部３１２からの指示に応じて、ＲＧＢカメラ２１及び３次元カメラ２２の各々に対し撮像要求を送信する。そして、取得部３１１は、ＲＧＢカメラ２１及び３次元カメラ２２の各々から送信されたＲＧＢ画像と３次元画像とを取得する。
The
なお、３次元カメラ２２から三次元情報が出力される場合には、取得部３１１は、カメラインタフェース３４を介して、３次元カメラ２２で取得された３次元情報を取得する。
When three-dimensional information is output from the three-
認識部３１２は、ＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに載置された物品Ｗの位置、形状、姿勢等を認識する。具体的には、認識部３１２は、計画部３１３からの認識要求に応じて、取得部３１１に対し画像の取得を指示する信号を送信する。そして、認識部３１２は、取得部３１１が取得したＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに存在する物品Ｗ各々の位置、形状、姿勢等を認識する。
The
物品Ｗの認識方法は特に問わず、公知の技術を用いることができる。例えば、認識部３１２は、ＲＧＢ画像とデプス画像とに基づいて、パレット２の上面２ａに存在する各物品Ｗの位置（水平方向の位置）及び高さ（上下方向の高さ）等を認識する。また、認識部３１２は、点群データに基づいて、パレット２の上面２ａに存在する各物品Ｗの形状や姿勢等を認識する。
The method for recognizing the items W is not particularly limited, and known techniques can be used. For example, the
なお、取得部３１１が３次元情報を取得した場合には、認識部３１２は、３次元情報に基づきデプス画像や点群データを生成する。そして、認識部３１２は、ＲＧＢ画像とともに、生成したデプス画像や点群データを用いて、パレット２の上面２ａに載置された物品Ｗの各々を認識する。
When the
計画部３１３は、認識部３１２の認識結果に基づいて、パレット２の上面２ａに載置された各物品Ｗを目的位置まで移動させるための移動計画を導出する。
The
具体的には、計画部３１３は、取得部３１１に対し画像の取得を指示する信号を送信することで、パレット２の上面２ａに存在する物品Ｗの認識を認識部３１２に指示する。計画部３１３は、認識部３１２で認識された物品Ｗの物品間の離間距離を算出し、算出した離間距離に基づいて、ピッキング順序に係る優先度を物品Ｗに設定する。そして、計画部３１３は、優先度に応じた順序で物品Ｗを目的位置まで移動させるための移動計画を導出する。
Specifically, the
ここで、図４～図６を用いて、計画部３１３が物品Ｗに優先度を設定する際の動作例について説明する。
Here, an example of the operation of the
図４～図６は、計画部３１３の動作を説明するための図であり、認識部３１２によって認識された物品Ｗの状態を模式的に表している。同図において、物品Ｗの末尾に示す番号１～４は、認識部３１２の認識によって付された各物品Ｗを識別するためのアイテム番号を意味する。以下では、物品Ｗを特定する場合には、物品Ｗとアイテム番号とを組み合わせた物品Ｗｎ（ｎはアイテム番号）と表記する。
Figures 4 to 6 are diagrams for explaining the operation of the
まず、計画部３１３は、認識部３１２によりパレット２の上面２ａに存在する物品Ｗが認識されると、認識された物品Ｗの中から、最初のピッキング対象となる物品Ｗを選定する。具体的には、計画部３１３は、以下に示す２つの条件の一方又は両方を充足する物品Ｗを、最初のピッキング対象に選定する。
First, when the
第１の条件は、高さが最大の物品Ｗであることである。第２の条件は、複数の物品Ｗで複数存在する場合の条件であり、物品Ｗ群の端部又は角部に存在する物品Ｗであることである。ここで、第１の条件は、物品Ｗを上方からピッキングする際の取りやすさを考慮したものである。また、第２の条件は、後述する処理において、ピッキング対象となる物品Ｗ間の離間距離をより大きく確保するための条件である。 The first condition is that the item W is the one with the greatest height. The second condition is for the case where there are multiple items W, and that the item W is located at an end or corner of the group of items W. Here, the first condition takes into consideration the ease of picking the item W from above. The second condition is a condition for ensuring a larger distance between the items W to be picked in the process described below.
例えば、図４に示した物品Ｗ１～物品Ｗ４のうち、左上の端部（角部）に位置する物品Ｗ１の高さが最大であるとすると、計画部３１３は、物品Ｗ１を最初にピッキングするため最上位の優先度１を設定する。なお、図４では、優先度の設定対象となった物品Ｗを識別するため、物品Ｗ１に縦線のハッチングを施している（以下同様）。
For example, if item W1, located at the top left corner, has the greatest height among items W1 to W4 shown in FIG. 4, the
図４の例の場合、計画部３１３は、優先度１を設定した物品Ｗ１を最初にピッキングすることを指示した移動計画を導出することで、後述する計画実行部３１４の制御により、物品Ｗ１のピッキングが最初に実行される。
In the example of Figure 4, the
また、計画部３１３は、次にピッキングする物品Ｗを選定するため、優先度１を設定した物品Ｗ１と、他の物品Ｗ２～Ｗ４の各々との間の離間距離を算出する。なお、図５では、ピッキング済の物品Ｗを識別するため、物品Ｗ１に斜線のハッチングを施している（以下同様）。
The
具体的には、計画部３１３は、図５に示すように、認識部３１２で認識された物品Ｗ１～Ｗ４の形状に基づき、物品Ｗ１～Ｗ４の各々に外接する円（以下、外接円ともいう）Ｃ１～Ｃ４をそれぞれ設定する。ここで「外接円」は、物品Ｗを包含し、且つ当該物品の外縁の少なくとも２点に接（外接）する円を意味する。
Specifically, as shown in FIG. 5, the
次いで、計画部３１３は、先の処理で優先度が設定された物品Ｗ１を基点とし、その外接円Ｃ１の中心から、他の物品Ｗ２～Ｗ４の各々に係る外接円Ｃ２～Ｃ４の中心までの中心間距離ｄ１２、ｄ１３、ｄ１４を離間距離としてそれぞれ算出する。以下、物品Ｗ間の離間距離を中心間距離とも表記する。
The
また、計画部３１３は、物品Ｗ１に係る外接円Ｃ１の半径ｒ１と、他の外接円Ｃ２～Ｃ４の半径ｒ２～ｒ４とをそれぞれ加算することで、半径和ｒ１２（＝ｒ１＋ｒ２）、ｒ１３（＝ｒ１＋ｒ３）、ｒ１４（＝ｒ１＋ｒ４）をそれぞれ算出する。
The
計画部３１３は、物品Ｗ２～Ｗ４毎に中心間距離と半径和とを比較し、中心間距離が半径和よりも大きな物品Ｗを抽出する。例えば、図５の場合、物品Ｗ３は、中心間距離ｄ１３が半径和ｒ１３よりも大きいため、計画部３１３は、物品Ｗ３をピッキング候補として抽出する。また、物品Ｗ４も、中心間距離ｄ１４が半径和ｒ１４よりも大きいため、計画部３１３は、物品Ｗ４をピッキング候補として抽出する。また、物品Ｗ２は、中心間距離ｄ１２が半径和ｒ１２以下となるため、計画部３１３は、この物品Ｗ２をピッキング対象から除外する。
The
ここで、中心間距離が半径和以下の物品Ｗ２は、基点とした物品Ｗ１のピッキングの際に接触等の影響を受けた（或いは受ける）可能性がある。この場合、物品Ｗ２を次のピッキング対象としても、認識処理で認識された物品Ｗ２の位置や姿勢からズレが発生している可能性があるため、ピッキングを正常に完了できない可能性がある。そのため、物品Ｗ２をピッキング対象から除外しておくことで、複数の物品Ｗを連続してピッキングする際の動作を円滑に行うことができる。 Here, item W2, whose center-to-center distance is equal to or less than the sum of the radii, may have been (or may be) affected by contact or other factors when picking item W1, which was used as the base point. In this case, even if item W2 is selected as the next picking target, there is a possibility that the position or posture of item W2 recognized in the recognition process may be deviated, and therefore picking may not be completed successfully. Therefore, by excluding item W2 from the picking targets, the operation of picking multiple items W in succession can be performed smoothly.
なお、認識部３１２で新たな認識が行われるまでの間、物品Ｗ２に対する除外設定は維持される。また、ピッキング済の物品Ｗについても、ピッキング対象から除外されるものとする。
The exclusion setting for item W2 will be maintained until new recognition is performed by the
続いて、計画部３１３は、ピッキング候補として抽出した物品Ｗ３と物品Ｗ４との間で中心間距離ｄ１３、ｄ１４を比較し、中心間距離がより大きな物品Ｗ、つまり中心間距離が最大の物品Ｗを一つ選定する。図５の例では、物品Ｗ４に係る中心間距離ｄ１４の方が、物品Ｗ３に係る中心間距離ｄ１３よりも大きいため、計画部３１３は、物品Ｗ４を選定する。そして、計画部３１３は、選定した物品Ｗ４に対し次位の優先度２を設定する。この場合、計画部３１３は、優先度２を設定した物品Ｗ２をピッキングすることを指示した移動計画を導出する。
The
さらに、計画部３１３は、優先度２を設定した物品Ｗ４を基点とし、上述と同様の処理を行うことで、物品Ｗ３に対し次位の優先度３を設定する。そして、計画部３１３は、優先度３を設定した物品Ｗ３をピッキングすることを指示した移動計画を導出する。
The
図６は、図４及び図５で説明した物品Ｗ１～Ｗ４に対する優先度の設定結果を示している。上述したように、物品Ｗ１、物品Ｗ３、物品Ｗ４のそれぞれに対し、優先度１、優先度３、優先度２が設定される。この場合、図中矢印で示すように、優先度の順、つまり物品Ｗ１→物品Ｗ４→物品Ｗ３の順にピッキングが行われることになる。なお、図６では、ピッキング候補から除外された物品Ｗを識別するため、物品Ｗ２に対し×印を付している。
Figure 6 shows the results of setting the priorities for items W1 to W4 as described in Figures 4 and 5. As described above,
なお、計画部３１３は、上述の処理において、ピッキング候補の物品Ｗが存在しないと判断した場合には、認識部３１２に対し認識要求を出力することで、カメラ２０で撮像される新たなＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。そして、計画部３１３は、認識部３１２によって取得された新たな認識結果に基づき優先度の設定を再度行う。
When the
このように、計画部３１３は、上位の優先度を設定した物品Ｗとの離間距離が最大となる他の物品Ｗに次位の優先度を順次設定する。つまり、計画部３１３は、先にピッキングを行う物品Ｗから最も離れた位置に存在する他の物品Ｗを、次のピッキング対象に設定する。これにより、物品Ｗのピッキング時に、当該物品Ｗの周辺に存在する他の物品Ｗに把持部１１３等が接触したような場合であっても、次にピッキング対象の物品Ｗへの影響を抑えることができる。したがって、計画部３１３は、複数の物品Ｗを連続してピッキングする動作を効率的に行うことができる。
In this way, the
また、計画部３１３が離間距離の算出に用いる物品Ｗの外接円は、荷役装置１０が物品Ｗを把持する際の重心位置や回転範囲を規定するものとなる。具体的には、荷役装置１０の把持部１１３が物品Ｗを把持する際の重心位置は、物品Ｗの外接円の中心に略対応する。また、荷役装置１０が物品Ｗをピッキングする際に物品Ｗを水平方向に回転させる場合があるが、その回転範囲は物品Ｗの外接円に略対応する。そのため、外接円の中心間距離や半径和を基準にピッキング候補の選定と除外とを行うことで、ピッキング時に発生する接触や荷崩れ等の影響を低減化した順序で物品Ｗのピッキングを行うことができる。また、例えば物品Ｗ４のように不定形の物品Ｗをピッキングする場合であっても、当該物品Ｗの重心位置や回転範囲を規定することができるため、当該物品Ｗのピッキングを効率的に行うことができる。
The circumscribing circle of the item W used by the
また、計画部３１３は、一度の認識処理で得られた認識結果からピッキング候補を抽出できなくなるまでの間、当該認識結果を継続して用いることで、複数の物品Ｗの移動計画を導出する。これにより、制御装置３０では、カメラ２０によるＲＧＢ画像及び３次元画像の撮像回数や、認識部３１２が実行する認識処理の実行回数を抑えることができるため、処理負荷を低減するとともにピッキングの高速化を図ることができる。
The
なお、計画部３１３は、荷役装置１０から通知される物品Ｗのピッキング状態を監視し、ピッキング状態の異常を検出した場合には、上記と同様、認識部３１２に認識要求を送信することで、新たなＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。ここで、ピッキング状態の異常とは、例えば、予定された物品Ｗをピッキングできない場合や、物品Ｗの脱落等、ピッキングが失敗した場合等が挙げられる。
The
図３に戻り、計画実行部３１４は、計画部３１３で導出された移動計画に基づいて、荷役装置１０の動作（駆動機構）を制御する。具体的には、計画実行部３１４は、移動計画に基づき荷役装置１０の動作を制御することで、パレット２の上面に載置されたピッキング対象の物品Ｗを把持させ、当該物品Ｗを目的位置まで移動させる。
Returning to FIG. 3, the
上述した機能構成により、制御装置３０は、パレット２の上面２ａに載置された物品Ｗを、荷役装置１０を用いて目的位置まで移動させることができる。より詳細には、制御装置３０は、パレット２の上面２ａに載置された物品Ｗの各々を、設定した優先度の順に目的位置まで順次移動させることができる。
With the above-described functional configuration, the
以下、上述した制御装置３０の動作例について説明する。ここで、図７は、制御装置３０が実行する処理の一例を示すフローチャートである。
An example of the operation of the
まず、計画部３１３は、認識部３１２を介し取得部３１１に撮像要求を送信させることで、カメラ２０で撮像されたＲＧＢ画像及び３次元画像を取得部３１１に取得させる（ステップＳ１１）。認識部３１２は、取得されたＲＧＢ画像及び３次元画像に基づき、物品Ｗを認識するための認識処理を実行する（ステップＳ１２）。
First, the
続いて、計画部３１３は、優先度の値を規定するインデックスｎを１に設定する（ステップＳ１３）。次いで、計画部３１３は、ステップＳ１２の認識結果に基づき、物品Ｗが存在するか否かを判定する（ステップＳ１４）。より詳細には、計画部３１３は、認識結果の中にピッキング済とされた物品Ｗ以外の物品Ｗが存在するか否かを判定する。
Then, the
物品Ｗが存在すると判定した場合（ステップＳ１４；Ｙｅｓ）、計画部３１３は、インデックスｎの値が１か否かを判定する（ステップＳ１５）。ここで、ｎ＝１と判定した場合（ステップＳ１５；Ｙｅｓ）、計画部３１３は、ステップＳ１２の認識処理で認識された物品Ｗの中から、上述した第１の条件及び第２の条件の何れか一方又は両方に該当する物品Ｗを一つ選定する（ステップＳ１６）。次いで、計画部３１３は、ステップＳ１６で選定した物品Ｗに優先度ｎ、つまり優先度１を設定した後（ステップＳ１７）、ステップＳ２２に移行する。
If it is determined that an item W exists (step S14; Yes), the
続くステップＳ２２において、計画部３１３は、優先度ｎを設定した物品Ｗの移動計画を導出する（ステップＳ２２）。次いで、計画実行部３１４は、ステップＳ２２で導出された移動計画に基づき荷役装置１０を動作させることで、優先度ｎが設定された物品Ｗのピッキングを開始する（ステップＳ２３）。
In the next step S22, the
計画部３１３は、荷役装置１０から送信されるセンシング結果に基づいてピッキングの状態を監視する。計画部３１３は、ピッキング状態の異常を検出すると（ステップＳ２４；Ｙｅｓ）、ステップＳ１１に処理を戻すことで、新たに撮像されるＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。
The
荷役装置１０によるピッキングが正常に完了した場合には（ステップＳ２４；Ｎｏ）、計画部３１３は、認識結果に含まれた物品Ｗのうち、直近の処理で優先度ｎを設定した物品Ｗの状態をピッキング済に変更する消し込み処理を行う（ステップＳ２５）。次いで、計画部３１３は、インデックスｎの値を１インクリメントし（ステップＳ２６）、ステップＳ１４に処理を戻す。
If picking by the loading and unloading
一方、ステップＳ１５で、ｎ≠１と判定した場合、つまりｎの値が２以上の場合（ステップＳ１５；Ｎｏ）、計画部３１３は、直前の処理で優先度ｎ－１を設定した物品Ｗを基点に、他の物品Ｗとの中心間距離及び半径和を算出する（ステップＳ１８）。
On the other hand, if it is determined in step S15 that n ≠ 1, that is, if the value of n is 2 or more (step S15; No), the
続いて、計画部３１３は、ステップＳ１８の算出結果に基づき、中心間距離が半径和以下となる物品Ｗをピッキング候補から除外する（ステップＳ１９）。次いで、計画部３１３は、ピッキング済（又は優先度設定済）の物品Ｗ及びステップＳ１９で除外した物品Ｗ以外の残りの物品Ｗの中に、中心間距離が半径和よりも大きい物品Ｗが存在するか否かを判定する（ステップＳ２０）。ここで、存在しないと判定した場合には（ステップＳ２０；Ｎｏ）、計画部３１３は、ステップＳ１１に処理を戻すことで、新たに撮像されるＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。
Next, based on the calculation result of step S18, the
また、中心間距離が半径和よりも大きい物品Ｗが存在すると判定した場合（ステップＳ２０；Ｙｅｓ）、計画部３１３は、中心間距離が最大の物品Ｗに優先度ｎを設定し（ステップＳ２１）、ステップＳ２２に移行する。
If it is determined that there is an item W whose center-to-center distance is greater than the sum of radii (step S20; Yes), the
上述したステップＳ１６～Ｓ２１の処理により、一度の認識処理で認識された物品Ｗの各々に対し優先度が順次設定される。また、物品Ｗに優先度が設定される毎に、当該物品Ｗの移動計画の導出とピッキングとが実行されることで、優先度の順に物品Ｗのピッキングが行われる。 By the processing of steps S16 to S21 described above, a priority is sequentially set for each item W recognized in one recognition process. In addition, each time a priority is set for an item W, the movement plan for that item W is derived and the item W is picked, so that the items W are picked in order of priority.
そして、計画部３１３は、全ての物品Ｗを移動した等の理由により、ステップＳ１４で物品Ｗが存在しないと判定すると（ステップＳ１４；Ｙｅｓ）、本処理を終了する。
Then, if the
ここで、図８を参照して、上述した図７の処理の動作例を説明する。なお、図８は、制御装置３０の動作例を説明するための図であり、認識部３１２によって認識されたパレット２の上面２ａでの物品Ｗの状態を模式的に示している。なお、図８では、図４及び図５と同様に、新たに優先度が設定された物品Ｗを縦線のハッチングで表し、ピッキングが完了した物品Ｗ、つまり消し込み処理が完了した物品Ｗ１１を斜線のハッチングで表している。
Now, referring to FIG. 8, an example of the operation of the process in FIG. 7 described above will be described. Note that FIG. 8 is a diagram for explaining an example of the operation of the
図８（ａ）に示すように、認識部３１２の認識結果に物品Ｗが存在する場合、計画部３１３は、上述した第１の条件及び第２の条件に基づき、最初のピッキング対象となる物品Ｗを選定する。例えば、計画部３１３は、図８（ａ）に示した１１個の物品Ｗ（Ｗ１１～Ｗ２１）の中から、左上端部（角度）の物品Ｗ１１を選定すると、この物品Ｗ１１に最上位の優先度１を設定する。優先度１が設定された物品Ｗ１１は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。
As shown in FIG. 8(a), if item W is present in the recognition result of the
なお、計画部３１３は、物品Ｗ１１のピッキングが正常に完了した後も、認識部３１２の認識結果を継続して利用するため、物品Ｗ１１の存在は認識結果に残ることになる。そのため、計画部３１３は、続く図８（ｂ）に示すように、認識結果に存在する物品Ｗ１１の状態をピッキング済に変更するための消し込み処理を行う。
The
続いて、計画部３１３は、図８（ｂ）に示すように、直前の処理で優先度を設定した物品Ｗ１１を基点に、他の物品との中心間距離及び半径和をそれぞれ算出する。ここで、物品Ｗ１１と物品Ｗ２１との中心間距離が最大であるとすると、計画部３１３は、この物品Ｗ２１に対し次位の優先度２を設定する。優先度２が設定された物品Ｗ２１は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。
Next, as shown in FIG. 8(b), the
物品Ｗ２１のピッキングが正常に完了すると、計画部３１３は、図８（ｃ）示すように、物品Ｗ２１の消し込み処理を実行する。次いで、計画部３１３は、直前の処理で優先度を設定した物品Ｗ２１を基点に、物品Ｗ１１を除いた他の物品との中心間距離及び半径和をそれぞれ算出する。ここで、物品Ｗ２０に係る中心間距離が半径和以下であったとすると、計画部３１３は、この物品Ｗ２０をピッキング対象から除外する。また、物品Ｗ２１と物品Ｗ１８との中心間距離が最大であるとすると、計画部３１３は、この物品Ｗ１８に対し次位の優先度３を設定する。優先度３が設定された物品Ｗ１８は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。
When picking of item W21 is completed normally, the
物品Ｗ１８のピッキングが正常に完了すると、計画部３１３は、図８（ｄ）示すように、物品Ｗ１８の消し込み処理を実行する。次いで、計画部３１３は、直前の処理で優先度を設定した物品Ｗ１８を基点に、物品Ｗ１１及びＷ２１を除いた他の物品との中心間距離及び半径和をそれぞれ算出する。なお、図８（ｄ）では、前回の処理（図８（ｃ））でピッキング対象から除外された物品Ｗ２０を×印で表している。
When picking of item W18 is completed successfully, the
ここで、物品Ｗ１８と物品Ｗ１４との中心間距離が最大であるとすると、計画部３１３は、この物品Ｗ１４に対し次位の優先度４を設定する。優先度４が設定された物品Ｗ１４は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。
If the center-to-center distance between item W18 and item W14 is the maximum, the
以降、計画部３１３は、残りの物品Ｗに対し同様の処理を繰り返し行うことで、図８（ｅ）、図８（ｆ）に示すように、物品Ｗ１９、物品Ｗ１２のピッキングが順次行われる。また、処理を経ることでピッキング対象から除外された物品Ｗも累積し、図８（ｇ）の状態では、ピッキング済の物品Ｗ（Ｗ１１、Ｗ１２、Ｗ１４、Ｗ１８、Ｗ１９、Ｗ２１）以外の残りの物品Ｗ（Ｗ１３、Ｗ１５、Ｗ１６、Ｗ１７、Ｗ２０）が、全てピッキング対象から除外された状態となる。
Then, the
この場合、計画部３１３は、ステップＳ２０の処理において、中心間距離が半径和より大きな物品が存在しないと判断することで、ステップＳ１１へと処理を戻す。これにより、カメラ２０による撮像が新たに行われるため、認識部３１２が新たに行う認識処理の認識結果には、図８（ｈ）に示すように、残りの物品Ｗ１３、Ｗ１５、Ｗ１６、Ｗ１７及びＷ２０が存在することになる。
In this case, the
そして、計画部３１３は、図８（ｈ）の認識結果に基づき、各物品Ｗ１３、Ｗ１５、Ｗ１６、Ｗ１７及びＷ２０の各々に優先度を設定する処理を新たに開始することで、当該優先度の順にピッキングを行わせることができる。
Then, the
以上のように、制御装置３０によれば、カメラ２０で撮像された画像（ＲＧＢ画像、３次元画像）からパレット２に載置された物品Ｗを認識する認識処理を実行し、認識処理で認識された物品Ｗの物品間の離間距離を算出し、算出した離間距離に基づいて移動順序に係る優先度を物品Ｗに設定し、荷役装置１０を制御することで、優先度に応じた順序で物品Ｗを移動させる。また、制御装置３０は、上記の優先度の設定に際し、上位の優先度を設定した前記物品との離間距離が最大となる他の物品に次位の優先度を順次設定する。
As described above, the
上記の構成により、制御装置３０は、パレット２の上面２ａに載置された物品Ｗ全体の位置関係からピッキングを行う順序を決定することができるため、先にピッキングを行う物品Ｗと、次にピッキングを行う物品Ｗとの離間距離を大きく確保することができる。これにより、制御装置３０では、先のピッキングにより生じる影響が、次のピッキング対象の物品Ｗに及ぶことを抑えることができるため、複数の物品Ｗを連続してピッキングする際の動作を効率的に行うことができる。したがって、制御装置３０では、物品Ｗのピッキングを効率的に行うことができる。
With the above configuration, the
また、制御装置３０では、一度の認識処理で得られた認識結果から、複数の物品の優先度を順次設定し、当該優先度の順にピッキングを行わせることができる。これにより、制御装置３０では、カメラ２０によるＲＧＢ画像及び３次元画像の撮像回数や、認識部３１２が実行する認識処理の実行回数を抑えることができるため、処理負荷を低減するとともにピッキングの高速化を図ることができる。したがって、制御装置３０では、物品Ｗのピッキングを効率的に行うことができる。
The
以上説明した実施形態は、上述の各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。 The above-described embodiment can be modified as appropriate by changing a portion of the configuration or function of each of the above-described devices. Therefore, below, some modified examples of the above-described embodiment will be described as other embodiments. Note that below, differences from the above-described embodiment will be mainly described, and detailed descriptions of commonalities with the contents already described will be omitted. Also, the modified examples described below may be implemented individually or in appropriate combination.
（変形例１）
上述の実施形態では、基点となる物品Ｗとの中心間距離が最大となる他の物品Ｗを次のピッキング対象とする形態を説明したが、ピッキング対象の選定条件はこれに限らず、更なる条件を付加してもよい。
(Variation 1)
In the above embodiment, a form was described in which the next picking target is another item W that has the largest center-to-center distance from the base item W, but the selection conditions for the picking target are not limited to this and further conditions may be added.
例えば、基点となる物品Ｗとの中心間距離が最大となる他の物品Ｗを特定した後、当該他の物品Ｗとその周辺に存在する物品Ｗ（以下、周辺物品ともいう）との配置関係が所定の条件を満たす場合にのみ、特定した他の物品Ｗをピッキング対象に選定する構成としてもよい。以下、図９を参照して、本変形例の選定条件について説明する。 For example, after identifying another item W with the greatest center-to-center distance from the base item W, the identified other item W may be selected as a picking target only if the positional relationship between the other item W and items W present in its vicinity (hereinafter also referred to as surrounding items) satisfies a predetermined condition. The selection conditions of this modified example are described below with reference to FIG. 9.
図９は、変形例１に係る選定条件を説明するための図である。ここで、図９に示す物品Ｗ３１、Ｗ３２、Ｗ３３の各々は、何れも認識部３１２によって認識された物品Ｗである。また、計画部３１３は、物品Ｗ３１を基点に、物品Ｗ３２及び物品Ｗ３３との中心間距離をそれぞれ算出し、中心間距離が最大の物品Ｗ３３を特定済みであるとする。
Figure 9 is a diagram for explaining the selection conditions according to the first modified example. Here, each of the items W31, W32, and W33 shown in Figure 9 is an item W recognized by the
上述した実施形態では、計画部３１３は、特定した物品Ｗ３３に次位の優先度を設定することで、次のピッキング対象に選定する。しかしながら、この場合、物品Ｗ３３と当該物品Ｗ３３周辺の周辺物品との関係は考慮されていない。そのため、例えば、図９に示すように、物品Ｗ３３の一部に物品Ｗ３２が重畳して配置されているような場合には、物品Ｗ３３のピッキングを行うことで、物品Ｗ３２への接触や物品Ｗ３２の荷崩れが発生する可能性がある。
In the above-described embodiment, the
そこで、計画部３１３は、物品Ｗ３３を特定した後、その物品Ｗ３３と、周辺物品である物品Ｗ３２との配置関係が所定の条件を満たすか否かを判定し、荷崩れ等の可能性がないことが確認できた場合にのみ、物品Ｗ３３を次のピッキング対象に選定する。
Therefore, after identifying item W33, the
ここで、判定条件は、任意に設定できるものとする。例えば、物品Ｗ３３と物品Ｗ３２との中心間距離がその半径和より大きいことを判定条件としてもよい。また、例えば、特定した物品Ｗ３３の高さが、物品Ｗ３２よりも高いことを判定条件としてもよい。このような判定条件を付加することで、周辺物品との接触や荷崩れが発生する可能性が低い物品Ｗを、次のピッキング対象に選定することができる。 The judgment conditions can be set arbitrarily. For example, the judgment condition may be that the center-to-center distance between item W33 and item W32 is greater than the sum of their radii. Also, for example, the judgment condition may be that the height of the identified item W33 is greater than that of item W32. By adding such judgment conditions, an item W that is unlikely to come into contact with surrounding items or to collapse can be selected as the next item to be picked.
なお、中心間距離に基づき特定した物品Ｗが上記の判定条件を充足しない場合、計画部３１３は、物品Ｗ３１との中心間距離が最大となった物品Ｗ３３に次位の優先度を設定することなく、当該物品Ｗ３３（及び物品Ｗ３２）をピッキング対象から除外する。この場合、計画部３１３は、物品Ｗ３３及び物品Ｗ３２を除いた残りの物品Ｗ（図示せず）の中から、物品Ｗ３１との中心間距離が最大となる物品Ｗを選定し、当該物品Ｗに次位の優先度を設定するものとする。
If the item W identified based on the center-to-center distance does not satisfy the above judgment conditions, the
（変形例２）
上述の実施形態では、優先度を設定する毎に移動計画を導出してピッキングを行わせる形態を説明したが、これに限定されるものではない。例えば、計画部３１３は、認識された各物品Ｗの優先度を先に設定した後、その優先度に応じた順序でピッキングを行わせるための移動計画を一度に導出する形態としてもよい。
(Variation 2)
In the above embodiment, a movement plan is derived for each priority setting, and picking is performed, but the present invention is not limited to this. For example, the
具体的には、計画部３１３は、上述したステップＳ１６及びＳ１７の処理を実行することで一の物品Ｗに優先度１を選定した後、インデックスｎを１インクリメントしながら、上述したステップＳ１８～Ｓ２１の処理を繰り返し実行する。これにより、認識された物品Ｗの各々に優先度を順次設定することができる。
Specifically, the
そして、計画部３１３は、例えば中心間距離が半径和より大きな物品が存在しないと判定した場合に（ステップＳ２０；Ｎｏ）、それまでに設定した各物品Ｗの優先度に基づき、優先度に応じた順序でピッキングを行わせるための移動計画を導出する。なお、ピッキング最中に異常が検出された場合には、移動計画を破棄した後、ステップＳ１１に処理を戻すものとする。
Then, when the
このような構成とすることで、上述の実施形態と同様の効果を奏することができるため、上述の実施形態と同様に物品Ｗのピッキングを効率的に行うことができる。 This configuration can achieve the same effect as the above-described embodiment, and therefore item W can be picked efficiently in the same manner as the above-described embodiment.
（第２の実施形態）
次に第２の実施形態について説明する。本実施形態では、ピッキング前後の物品Ｗの状態を比較することで、荷崩れ等の発生を検出することが可能な形態について説明する。なお、第１の実施形態と同様の構成については同一の符号を付与し説明を省略する。
Second Embodiment
Next, a second embodiment will be described. In this embodiment, a mode capable of detecting the occurrence of a collapse of cargo or the like by comparing the state of the item W before and after picking will be described. Note that the same reference numerals will be given to the same components as those in the first embodiment, and the description thereof will be omitted.
図１０は、第２の実施形態に係る制御装置３０ａの機能構成の一例を示す図である。図１０に示すように、制御装置３０ａは、取得部３１１と、認識部３１２と、計画部３１３ａと、計画実行部３１４とを機能部として備える。
FIG. 10 is a diagram showing an example of the functional configuration of the
ここで、計画部３１３ａは、第１の実施形態の計画部３１３に対応する機能部であり、計画部３１３と同様の機能を備える。また、計画部３１３ａは、計画部３１３にはない固有の機能として、荷役装置１０によるピッキングが完了した場合に、認識部３１２を介して、ＲＧＢ画像の撮像をカメラ２０に要求する。計画部３１３ａは、取得部３１１により新たに取得されたＲＧＢ画像と、認識部３１２の認識で使用された前回のＲＧＢ画像とに基づき、ピッキングの前後で生じた物品Ｗに係る変化量を検出する差分チェックを行う。
The
具体的には、計画部３１３ａは、前回のＲＧＢ画像と新たなＲＧＢ画像とで、物品Ｗの各々が存在する画像上の領域の変化量を検出し、当該変化量が閾値を上回る場合に差分ありと判定する。なお、差分の有無の判定方法は特に問わず、公知の技術を用いることが可能である。例えば、新旧の両ＲＧＢ画像において、同一画素位置の画素毎に画素値の差分を算出し、算出した差分の平均値と、予め定めた閾値とを比較することで差分の有無を判定してもよい。また、例えば、２つの画像（画像領域）から両画像間の差分の有無を出力（推論）するよう機能付けられた機械学習モデルを用いることで、差分の有無を判定してもよい。
Specifically, the
なお、計画部３１３ａは、認識部３１２で認識された物品Ｗのうち、消し込み処理が実行済の物品Ｗ、つまりピッキングが完了した物品Ｗについては差分チェックの対象から除外し、残りの物品Ｗを差分チェックの対象とする。具体的には、計画部３１３ａは、認識結果等に記録されたピッキング済の状態か否かを示す状態情報に基づいて、ピッキングが未完了の物品Ｗを特定し、特定した物品Ｗを差分チェックの対象とする。また、本実施形態において、差分なしの状態とは、新旧のＲＧＢ画像で完全に一致する状態に限らず、ある程度の誤差を許容する略同等の状態を含む概念である。
The
差分チェックで差分ありと判定された場合、物品Ｗの配置位置や姿勢がピッキングの前後で変化したことを意味する。これは、物品Ｗをピッキングした際に他の物品Ｗに接触した可能性や荷崩れが発生した可能性があることを意味する。このような場合、前回の認識結果を基に導出した移動計画では、物品Ｗの位置を捕捉することができないため正常にピッキングを行うことができない可能性がある。 If the difference check determines that there is a difference, it means that the placement position or posture of the item W has changed before and after picking. This means that the item W may have come into contact with other items W when picked, or that the item may have collapsed. In such a case, the movement plan derived based on the previous recognition result may not be able to capture the position of the item W, and therefore it may not be possible to pick the item correctly.
そこで、計画部３１３ａは、差分チェックで差分ありと判定した場合、認識部３１２を介して、３次元画像の撮像をカメラ２０に要求する。次いで、計画部３１３ａは、取得部３１１により新たに取得された３次元画像と、先に取得しておいたＲＧＢ画像とを用いて認識部３１２に認識処理を実行させる。そして、計画部３１３ａは、新たな認識結果に基づき、認識された物品Ｗの各々の移動計画を導出する。
Therefore, if the
以下、上述した制御装置３０ａの動作例について説明する。ここで、図１１は、制御装置３０ａが実行する処理の一例を示すフローチャートである。なお、ステップＳ３１～Ｓ４４の処理は、第１の実施形態で説明した図７のステップＳ１１～Ｓ２４の処理と同様であるため説明を省略する。
An example of the operation of the
ステップＳ４４において、ピッキングが正常に完了すると（ステップＳ４４；Ｎｏ）、計画部３１３ａは、認識部３１２を介して取得部３１１にＲＧＢ画像の撮像要求を送信させることで、ＲＧＢカメラ２１で撮像されたＲＧＢ画像を取得部３１１に取得させる（ステップＳ４５）。
In step S44, when picking is completed successfully (step S44; No), the
続いて、計画部３１３ａは、ステップＳ４５で取得されたＲＧＢ画像と、ステップＳ３１で取得されたＲＧＢ画像（前回のＲＧＢ画像）と、ステップＳ３２の認識結果（前回の認識結果）とに基づき、ピッキング前後の物品Ｗの状態を比較する差分チェックを実行する（ステップＳ４６）。次いで、計画部３１３は、差分チェックの結果に基づき、差分の有無を判定する（ステップＳ４７）。
Then, the
ここで、「差分なし」と判定した場合には（ステップＳ４７；Ｎｏ）、計画部３１３ａは、ステップＳ４８、Ｓ４９の処理を実行した後、ステップＳ３４に処理を戻す。なお、ステップＳ４８及びＳ４９の処理は、第１の実施形態で説明した図７のステップＳ２５、Ｓ２６と同様であるため説明を省略する。
If it is determined that there is no difference (step S47; No), the
一方、「差分あり」と判定した場合（ステップＳ４７；Ｙｅｓ）、計画部３１３ａは、認識部３１２を介して取得部３１１に３次元画像の撮像要求を送信させることで、３次元カメラ２２で撮像された３次元画像を取得部３１１に取得させる（ステップＳ５０）。続いて、計画部３１３ａは、ステップＳ３２に処理を戻し、ステップＳ４５で取得されたＲＧＢ画像とステップＳ５０で取得された３次元画像とに基づき、認識部３１２に認識処理を実行させる。
On the other hand, if it is determined that there is a difference (step S47; Yes), the
以上のように、制御装置３０ａは、物品Ｗのピッキングが完了した後、ピッキング後に撮像された新たなＲＧＢ画像と、認識処理で使用されたＲＧＢ画像及び当該認識処理の認識結果とに基づいて、ピッキングの前後で生じた変化を検出する差分チェックを実行する。そして、制御装置３０ａは、差分チェックの結果、変化あり（差分あり）と判定すると、新たなＲＧＢ画像及び３次元画像を用いて認識処理を新たに行い、当該認識処理の認識結果に基づいて優先度の設定を行う。
As described above, after picking of the item W is completed, the
これにより、制御装置３０ａでは、ピッキング時の接触や荷崩れ等の発生によりパレット２の上面２ａに載置された物品Ｗの状態が変化した場合であっても、変化後の状態を反映した認識結果に基づき物品Ｗのピッキングを継続させることができる。したがって、制御装置３０では、物品Ｗのピッキングを効率的に行うことができる。
As a result, even if the state of the item W placed on the
以上説明した実施形態は、上述の各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。 The above-described embodiment can be modified as appropriate by changing a portion of the configuration or function of each of the above-described devices. Therefore, below, some modified examples of the above-described embodiment will be described as other embodiments. Note that below, differences from the above-described embodiment will be mainly described, and detailed descriptions of commonalities with the contents already described will be omitted. Also, the modified examples described below may be implemented individually or in appropriate combination.
（変形例１）
上述の実施形態では、図１１で説明したステップＳ４７の処理において、差分ありと判定されたことを条件に３次元画像の撮像要求を行う形態を説明した。しかしながら、３次元画像を取得するタイミングはこれに限らず、ステップＳ４４～Ｓ４７の任意のタイミングで撮像要求を行う形態としてもよい。一例として、ステップＳ４５でＲＧＢ画像の撮像要求を行ったタイミングで３次元画像の撮像要求を行ってもよい。
(Variation 1)
In the above embodiment, a request to capture a three-dimensional image is made on the condition that it is determined that there is a difference in the process of step S47 described in Fig. 11. However, the timing of acquiring a three-dimensional image is not limited to this, and the request to capture an image may be made at any timing in steps S44 to S47. As an example, the request to capture a three-dimensional image may be made at the same time as the request to capture an RGB image is made in step S45.
上記の処理内容とすることで、ステップＳ４７で差分ありと判定された場合に、より速やかに、新たなＲＧＢ画像及び３次元画像を用いた認識処理に移行することができる。なお、ステップＳ４７で差分なしと判定された場合には、取得した３次元画像は破棄されるものとする。 By performing the above process, if it is determined in step S47 that there is a difference, it is possible to move more quickly to recognition processing using a new RGB image and a 3D image. Note that if it is determined in step S47 that there is no difference, the acquired 3D image is discarded.
以上、本発明のいくつかの実施形態（変形例）を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments (variations) of the present invention have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be embodied in various other forms, and various omissions, substitutions, and modifications can be made without departing from the gist of the invention. These embodiments and their variations are included in the scope and gist of the invention, and are included in the scope of the invention and its equivalents as set forth in the claims.
１ 荷役システム
１０ 荷役装置
２０ カメラ
２１ ＲＧＢカメラ
２２ ３次元カメラ
３０ 制御装置
３１１ 取得部
３１２ 認識部
３１３ 計画部
３１４ 計画実行部
Claims (10)
前記載置部を上方から撮像する撮像装置に接続される第２の接続部と、
前記撮像装置で撮像された画像を前記第２の接続部を介して取得し、取得した前記画像から前記載置部に載置された前記物品を認識する認識処理を実行し、前記認識処理で認識された前記物品の物品間の離間距離を算出し、前記離間距離に基づいて移動順序に係る優先度を前記物品に設定し、前記第１の接続部を介して前記荷役装置を制御することで、前記優先度に応じた順序で前記物品を移動させる制御部と、
を備え、
前記制御部は、前記優先度の設定において、上位の優先度を設定した前記物品との離間距離が最大となる他の物品に次位の優先度を順次設定する、制御装置。 A first connection portion connected to a loading device that grasps an article placed on the placement portion and moves the article;
A second connection portion connected to an imaging device that images the placement portion from above;
a control unit that acquires an image captured by the imaging device via the second connection unit, executes a recognition process to recognize the items placed on the placement unit from the acquired image, calculates a distance between the items recognized in the recognition process, sets priorities for the items in a moving order based on the distance, and controls the loading and unloading device via the first connection unit to move the items in an order according to the priorities;
Equipped with
The control unit, in setting the priority, sequentially sets a next highest priority to another item that is the greatest distance away from the item for which a higher priority has been set.
前記制御部は、前記第１の撮像装置及び前記第２の撮像装置で撮像された前記２次元画像及び前記３次元画像に基づき、前記載置部に載置された前記物品の位置、形状及び姿勢を認識する請求項１乃至８の何れか一項に記載の制御装置。 the second connection unit is connected to a first imaging device that captures a two-dimensional image and a second imaging device that captures a three-dimensional image;
The control device according to any one of claims 1 to 8, wherein the control unit recognizes the position, shape and posture of the item placed on the placement unit based on the two-dimensional image and the three-dimensional image captured by the first imaging device and the second imaging device.
前記撮像装置で撮像された画像を前記第２の接続部を介して取得する取得ステップと、
前記取得ステップで取得した前記画像から前記載置部に載置された前記物品を認識する認識処理を実行する認識ステップと、
前記認識ステップで認識された前記物品の物品間の離間距離を算出する算出ステップと、
前記離間距離に基づいて移動順序に係る優先度を前記物品に設定し、前記優先度の設定において、上位の優先度を設定した前記物品との離間距離が最大となる他の物品に次位の優先度を順次設定する設定ステップと、
前記第１の接続部を介して前記荷役装置を制御することで、前記優先度に応じた順序で前記物品を移動させる制御ステップと、
を実行させるためのプログラム。 A computer of a control device including a first connection part connected to a loading device that grasps an article placed on the placement part and moves the article, and a second connection part connected to an imaging device that images the placement part from above,
an acquisition step of acquiring an image captured by the imaging device via the second connection part;
a recognition step of executing a recognition process for recognizing the article placed on the placement section from the image acquired in the acquisition step;
a calculation step of calculating a distance between the articles recognized in the recognition step;
a setting step of setting a priority for the item in a moving order based on the distance , and sequentially setting a second priority to another item that is the longest distance away from the item for which a higher priority has been set ;
a control step of moving the articles in an order according to the priority by controlling the loading device via the first connection unit;
A program for executing the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020045226A JP7486986B2 (en) | 2020-03-16 | 2020-03-16 | Control device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020045226A JP7486986B2 (en) | 2020-03-16 | 2020-03-16 | Control device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021146403A JP2021146403A (en) | 2021-09-27 |
| JP7486986B2 true JP7486986B2 (en) | 2024-05-20 |
Family
ID=77850331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020045226A Active JP7486986B2 (en) | 2020-03-16 | 2020-03-16 | Control device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7486986B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7505677B2 (en) | 2021-03-04 | 2024-06-25 | 国立研究開発法人農業・食品産業技術総合研究機構 | Picking method and picking system |
| JP7505675B2 (en) | 2021-03-04 | 2024-06-25 | 国立研究開発法人農業・食品産業技術総合研究機構 | Picking method and picking system |
| JP7505676B2 (en) | 2021-03-04 | 2024-06-25 | 国立研究開発法人農業・食品産業技術総合研究機構 | Picking method and picking system |
| KR102649596B1 (en) * | 2023-10-12 | 2024-03-20 | 라온피플 주식회사 | Apparatus and method for providing operating data controlling robot |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017097847A (en) | 2015-11-12 | 2017-06-01 | 株式会社東芝 | Transport device, transport system and transport method |
| JP2018051684A (en) | 2016-09-28 | 2018-04-05 | ファナック株式会社 | Carrier device for taking out objects one by one by optimal route |
| JP2019150904A (en) | 2018-03-01 | 2019-09-12 | 株式会社東芝 | Information processing device and sorting system |
-
2020
- 2020-03-16 JP JP2020045226A patent/JP7486986B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017097847A (en) | 2015-11-12 | 2017-06-01 | 株式会社東芝 | Transport device, transport system and transport method |
| JP2018051684A (en) | 2016-09-28 | 2018-04-05 | ファナック株式会社 | Carrier device for taking out objects one by one by optimal route |
| JP2019150904A (en) | 2018-03-01 | 2019-09-12 | 株式会社東芝 | Information processing device and sorting system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021146403A (en) | 2021-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7486986B2 (en) | Control device and program | |
| JP7466150B2 (en) | Robotic system with automatic package registration mechanism and method of operation thereof | |
| US10839261B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US11400598B2 (en) | Information processing apparatus, method, and robot system | |
| US11285603B2 (en) | Information processing apparatus, control method, robot system, and storage medium | |
| JP4087874B2 (en) | Work picking device | |
| CN101152720B (en) | Workpiece picking apparatus | |
| JP6444499B1 (en) | Control device, picking system, distribution system, program, and control method | |
| JP6325174B1 (en) | Control device, picking system, distribution system, program, control method, and production method | |
| JP6258557B1 (en) | Control device, picking system, distribution system, program, control method, and production method | |
| JP6258556B1 (en) | Control device, picking system, distribution system, program, control method, and production method | |
| JP7191569B2 (en) | gripping device | |
| CN111483750A (en) | Control method and control device for robot system | |
| JP6363294B1 (en) | Information processing apparatus, picking system, distribution system, program, and information processing method | |
| CN114670189B (en) | Storage medium, and method and system for generating control program of robot | |
| JP6948033B1 (en) | Method and calculation system for performing grip area detection | |
| CN113269112A (en) | Method and device for identifying capture area, electronic equipment and storage medium | |
| JP7481867B2 (en) | Control device and program | |
| CN111470244B (en) | Control method and control device for robot system | |
| US20230030852A1 (en) | Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system | |
| JP2023063110A (en) | Picking system, picking device, control device, program and method | |
| JP7286524B2 (en) | Picking robot, picking method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240508 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7486986 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |