JP7499967B2 - Transport system, computer-implemented method for controlling transport of an article, and program for causing a computer to execute said method - Google Patents
Transport system, computer-implemented method for controlling transport of an article, and program for causing a computer to execute said method Download PDFInfo
- Publication number
- JP7499967B2 JP7499967B2 JP2023529687A JP2023529687A JP7499967B2 JP 7499967 B2 JP7499967 B2 JP 7499967B2 JP 2023529687 A JP2023529687 A JP 2023529687A JP 2023529687 A JP2023529687 A JP 2023529687A JP 7499967 B2 JP7499967 B2 JP 7499967B2
- Authority
- JP
- Japan
- Prior art keywords
- item
- area
- items
- article
- dimensional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 36
- 238000003384 imaging method Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 28
- 238000005406 washing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 9
- 238000002372 labelling Methods 0.000 description 9
- 230000005484 gravity Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008602 contraction Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000002699 waste material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000004064 recycling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G59/00—De-stacking of articles
- B65G59/02—De-stacking from the top of the stack
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/02—Devices for feeding articles or materials to conveyors
- B65G47/04—Devices for feeding articles or materials to conveyors for feeding articles
- B65G47/12—Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/50—Reuse, recycling or recovery technologies
- Y02W30/82—Recycling of waste of electrical or electronic equipment [WEEE]
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Description
本開示は物品の搬送に関し、より特定的には、第1領域に積層された物品を第2領域に整列して配置する技術に関する。 The present disclosure relates to the transport of items, and more specifically to a technique for aligning and placing items stacked in a first area in a second area.
リサイクルプラントに搬入される洗濯機やエアコンその他の廃棄された家庭用電化製品(以下「廃家電」という。)は、家電の種類ごとに積層された状態でコンテナに搬入される。コンテナに搬入された各廃家電は、それぞれの大きさや重さが異なる不定形ワークであることに加えて、取り出した廃棄物を配置する方向(単に「取り置き方向」ということもある)を統一する必要がある。そのため、作業者が各廃家電を取り出し、解体場所まで当該廃家電を搬送する。 Washing machines, air conditioners, and other discarded household electrical appliances (hereafter referred to as "waste appliances") that are brought to a recycling plant are stacked by type of appliance and brought into containers. In addition to the fact that each waste appliance brought into the container is an irregular workpiece with different sizes and weights, it is necessary to standardize the direction in which the removed waste is placed (sometimes simply referred to as the "placement direction"). For this reason, workers remove each waste appliance and transport it to the dismantling site.
しかし、多くの廃家電は重いため、作業者への負担が大きくなり、このような搬送業務に従事する作業者を継続して確保することが困難になりつつある。そこで、コンテナに積層されたワークを認識し、ロボットに取り出しをさせる搬送装置が求められている。However, many discarded home appliances are heavy, which places a heavy burden on workers, and it is becoming difficult to continually secure workers to carry out this type of transportation work. Therefore, there is a demand for a transportation device that can recognize the workpieces stacked in the container and have a robot remove them.
このような搬送装置に関し、たとえば、特許第6785393号(特許文献1)は、「コンテナ等の受入場所に配置されたリサイクル洗濯機をロボットにより解体場所へ搬送することができるリサイクル洗濯機搬送システム」を開示している([要約]参照)。このリサイクル洗濯機搬送システムは、「リサイクル洗濯機5を撮像する撮像装置と、リサイクル洗濯機5の位置情報及び姿勢情報を生成する認識部と、リサイクル洗濯機5を保持可能なハンド31を有するロボットと、リサイクル洗濯機5を受入場所から解体場所に搬送するように、ロボットを制御する制御部とを具備し、ハンド31は、真空源33に連通する複数の真空引き孔34aを有する本体部34と、本体部34に取り付けられ、複数の真空引き孔34aに対応する複数の吸着孔35aを有し、本体部34よりも軟質なパッド部35とを備える」(以上「要約」参照)。このリサイクル洗濯機搬送システムは、「オペレータからの教示及びカメラが取得した画像情報に基づいて、識別部が洗濯機を縦型全自動洗濯機とドラム式洗濯機に分類している」というものである(段落0042)。Regarding such a conveying device, for example, Japanese Patent No. 6785393 (Patent Document 1) discloses a "recycled washing machine conveying system capable of conveying recycled washing machines arranged in a receiving place such as a container to a dismantling place by a robot" (see [Abstract]). This recycled washing machine conveying system "includes an imaging device that captures an image of a recycled
特許文献1に開示されたリサイクル洗濯機搬送システムによれば、ワークの認識にオペレータの教示という人作業が介在する都合上、作業者を排除できないという問題が生じる。また、学習機を使う場合であれば、数万枚単位の学習用画像の準備に加えて、それに付随する作業者のアノテーションといった手間が生じる。さらに、洗濯機以外の廃家電へ適応する場合は、再学習が必要なため、汎用性に欠けるという問題も生じる。
The recycling washing machine transport system disclosed in
さらに、特許文献1によれば、「リサイクル洗濯機5の位置情報及び姿勢情報(3次元形状)は、例えば位相シフト法により計測される」(段落0017)。廃家電は大きさや重さが異なる不定形ワークであるため、このような3次元形状を用いる方法では、モデルマッチングを適用できないという問題点もある。加えて、ワークを認識して取り出しを行う搬送装置にあっては、位置情報及び姿勢情報(3次元形状)の生成の前処理となるワーク認識を高速で行わなければ、所望のサイクルタイムを実現できない。Furthermore, according to
したがって、作業者による関与を極力減らせる技術が必要とされている。また、特定の廃家電に限られない汎用性のある技術が必要とされている。さらに、サイクルタイムを短くできる技術が必要とされている。 Therefore, there is a need for technology that can minimize the involvement of workers. There is also a need for general-purpose technology that is not limited to specific types of discarded home appliances. Furthermore, there is a need for technology that can shorten the cycle time.
本開示は上述のような背景に鑑みてなされたものであって、ある局面に従うと、事前トレーニングなしで、人作業が介在しない汎用性の高い搬送技術が開示される。 This disclosure has been made in light of the above-mentioned background, and in accordance with one aspect, discloses a highly versatile transportation technology that does not require prior training and does not involve human intervention.
ある実施の形態に従うと、搬送システムが提供される。この搬送システムは、第1領域に積層された複数の物品を3次元計測することにより得られた複数の物品の三次元情報の入力を受け付ける入力部と、第1領域から、第1領域と異なる第2領域に物品を搬送するための搬送部と、搬送部を制御するための制御装置とを備える。制御装置は、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、三次元情報に基づいて、搬送対象となる物品の上面または底面を識別し、位置姿勢情報と、上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定し、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第2領域に配置するように搬送部を制御する。According to one embodiment, a conveying system is provided. The conveying system includes an input unit that receives input of three-dimensional information of a plurality of items obtained by three-dimensionally measuring a plurality of items stacked in a first area, a conveying unit for conveying the items from the first area to a second area different from the first area, and a control device for controlling the conveying unit. The control device acquires position and orientation information indicating the position and orientation of the items to be conveyed from the three-dimensional information, identifies the top or bottom surface of the items to be conveyed based on the three-dimensional information, determines the order of removal and arrangement direction of the items based on the position and orientation information and the identification result of the top or bottom surface, removes the items to be conveyed according to the determined order of removal, and controls the conveying unit to arrange the top or bottom surface of the items removed according to the arrangement direction in the second area in alignment with the top or bottom surfaces of other items.
ある実施の形態に従うと、事前トレーニングなしで、人作業が介在しない汎用性の高い搬送システムが提供される。 In accordance with one embodiment, a versatile transport system is provided that does not require prior training and does not require human intervention.
この開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの開示に関する次の詳細な説明から明らかとなるであろう。 The above and other objects, features, aspects and advantages of this disclosure will become apparent from the following detailed description of this disclosure taken in conjunction with the accompanying drawings.
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。Hereinafter, an embodiment of the present disclosure will be described with reference to the drawings. In the following description, identical parts are given the same symbols. Their names and functions are also the same. Therefore, detailed descriptions thereof will not be repeated.
実施の形態1.
[搬送システム10の概要]
図1を参照して、ある実施の形態に従う搬送システム10について説明する。図1は、搬送システム10の一構成の概要を例示する図である。
[Overview of the transport system 10]
A
搬送システム10は、三次元計測機としての撮像装置101と、制御用装置102と、ロボット103と、ロボットコントローラ104と、コンベア109とを備える。ロボット103は、その先端にハンド105を有する。The
撮像装置101と、制御用装置102と、ロボットコントローラ104とは、通信ケーブル等の有線通信手段またはWiFi(登録商標:Wireless Fidelity)その他の無線通信手段によって、互いに通信できるように接続されている。The
撮像装置101は、コンテナ107の上方に配置されている。ある局面において、コンテナ107は、同種類の1または複数の物品106を収容する。なお、以下では、ある局面において、一つの物品を物品106と示す場合があり、他の局面において、複数の物品を総称する場合に物品106と示す場合もある。また、複数の物品のそれぞれについて説明する場合は、各物品を区別して、例えば、物品106-1,106-2等とも表わす。
The
ある実施の形態において、物品106は、例えば、廃棄された家庭用電化製品(「廃家電」)であり、あるいは、他の局面において、リサイクルまたはリユースの目的で回収された家庭用電化製品であり、さらに他の局面において、リコールにより回収された家庭用電化製品を含み得る。家庭用電化製品は、冷蔵庫、洗濯機、エアコン等のように作業者が運ぶには比較的大きくあるいは重い製品であり、ロボット103による機械搬送が望ましい製品である。In one embodiment, the
コンテナ107の上部は解放されている。したがって、撮像装置101は、コンテナ107の内部を撮影できる。複数の物品106がコンテナ107に積層されている場合は、撮像装置101は、最上段に置かれた物品106の表面を撮影することになる。物品106が冷蔵庫や洗濯機のように略直方体の形状を有する場合、物品106は、通常の使用時とは異なり横に向けられた状態で配置されることがある。この場合、撮像装置101によって撮影される表面は、物品106の側面となる。The top of the
ある局面において、1または複数の物品106は、コンテナ107に搬入されて順次積層される。図1には、XYZの直交3軸座標系が示されており、Z方向は、コンテナ107の底面に対して鉛直方向を示し、X方向及びY方向は、当該底面に平行な水平方向を示す。Z方向は、物品106が積層される方向に対応する。X方向およびY方向は、各物品106が並べられる方向に対応し得る。In one aspect, one or
撮像装置101は、固定用架台108に取り付けられており、視野方向に対する三次元領域内の三次元情報を取得する。撮像装置101の構成として、例えば、ある局面において2台のカメラを使用するステレオカメラ方式、他の局面において、レーザ変位計と単眼カメラとを用いる方式、さらに他の局面において、位相シフト法を用いたプロジェクターと単眼カメラとを用いる方式等が挙げられるが、これらに限られず、三次元情報を取得可能なその他の方式も使用され得る。The
撮像装置101の測定範囲は、コンテナ107が占有する三次元領域全てを含む必要があるが、測定範囲が大きすぎると、測定分解能は低下する。したがって、ある局面において、測定範囲は、ロボット103で物品106を取り出す際に必要な精度に合わせた測定分解能から選定するが好ましい。なお、図1では、撮像装置101はコンテナ107の中央部上方の固定用架台108に配置されているが、他の局面において、撮像装置101は、ロボット103の先端部に取り付けられてもよい。The measurement range of the
撮像装置101によって取得された三次元情報は、三次元点群データ、またはデプス画像といった方式で表現される。ある実施の形態において、三次元点群データとは、測定された三次元座標値(x,y,z)のような三次元の点の集合として三次元情報を表現したものである。一例として、三次元の点の集合では、撮影された画像上の画素の座標値(x,y)ごとに高さ情報zが付与されている。The three-dimensional information acquired by the
一方、デプス画像とは、二次元画像に三次元情報を付与した画像であり、画像内の各画素の色や輝度値により、コンテナ107の底面からの高さを取得できる画像であり、または、撮像装置101からの距離を取得できる画像である。
On the other hand, a depth image is an image in which three-dimensional information is added to a two-dimensional image, and from the color and brightness value of each pixel in the image, the height from the bottom of the
制御用装置102は、撮像装置101によって取得された三次元情報に基づいて、物品106の位置姿勢情報を導出する。本実施の形態において、位置姿勢情報とは、物品106の重心位置の座標値(x,y,z)と、定義されたXYZ座標系に対する物品106の傾きの座標値(φ,θ,ψ)との組み合わせである。取り出しの対象となる物品106の座標値(x,y,z)および(φ,θ,ψ)がロボット103に通知されると、ロボット103は、そのハンド105を当該座標値に移動させて物品106を把持できる。The
制御用装置102は、物品106の側面の三次元点群データに基づいて物品106の底面を判定し、物品106をコンテナ107から取り出す順序とコンベア109に配置する方向とを決定する。さらに、制御用装置102は、その決定した順序と方向とに基づいて、ロボットコントローラ104を制御する。The
ロボット103は、例えば多関節のアームマニピュレータであり、所定のワーキングエリア内で6自由度の位置及び姿勢を制御できるように構成されている。ロボット103は、そのハンド105を用いて物品106を把持して所望の位置まで物品106を移送できる。なお、ロボット103は、多関節のアームマニピュレータに限定されず、ほかのロボットであってもよい。The
ロボットコントローラ104は、制御用装置102から入力された動作指令に基づいて、各駆動軸モータ(図示しない)に駆動信号を送信し、ロボット103の動作を制御する。
The
ハンド105は、例えば、真空(負圧)を利用した吸着パッド(図示しない)、あるいは、吸引ノズル(図示しない)を備える。ハンド105は、位置および姿勢が検出された物品106の表面に接触して、物品106を1つずつ把持することで、コンベア109の位置まで移送できる。The
[コンテナ107における物品の積層状態]
図2を参照して、ある実施の形態に従う物品の配置について説明する。図2は、複数の物品がコンテナ107に積層された状態を上方から表わした図である。例えば、物品106-1は物品106-2の上に配置されている。また、物品106-5は物品106-4の上に配置されており、物品106-4は物品106-3の上に配置されている。
[Stacking state of items in container 107]
The arrangement of articles according to an embodiment will be described with reference to Fig. 2. Fig. 2 is a top view of a state in which a plurality of articles are stacked in a
物品106-1は、その側面106cが上を向いた状態となるようにコンテナ107に搬入されて積層される。この場合、物品106-1が撮像装置101によって撮影されると、上面106aおよび底面106bは、画像からは判別しにくい状態となる。図2は、コンテナ107を上方から見た画像であり、この画像は、撮像装置101によって撮像された画像情報にそのまま相当する。図2に示されるXYZ座標系は、ロボット103の動作座標系(図1に示されるXYZ座標)にマッチングされる。
Item 106-1 is carried into
[制御用装置102の機能構成]
図3および図4を参照して、制御用装置102の構成について説明する。図3は、ある実施の形態に従う制御用装置102によって実現される機能の構成を表わすブロック図である。図4は、ある実施の形態に従って制御用装置102を実現するコンピュータ400のハードウェア構成を表わすブロック図である。
[Functional configuration of the control device 102]
The configuration of the
図3に示されるように、制御用装置102は、入力部310と、記憶部320と、制御部330と、表示部340とを備える。制御部330は、解析部331と、識別部332と、動作計画部333と、取出制御部334と、終了判定部335とを含む。3, the
入力部310は、制御用装置102の外部からの信号の入力を受け付ける。入力される信号は、撮像装置101によって撮影された画像信号、搬送システム10の管理者による操作信号、搬送システム10以外のシステムから送信された信号等を含む。入力部310は、アナログ端子およびデジタル端子のいずれでもよい。The
記憶部320は、制御用装置102の外部から入力された情報、および、制御用装置102によって生成されたデータを保持する。記憶部320は、たとえば、ある局面において、三次元情報321と、コンテナ内高さ情報322とを格納する。記憶部320は、ハードディスク、SSD(Solid State Device)その他の不揮発性メモリやRAM(Random Access Memory)その他の揮発性メモリによって実現される。The
制御部330は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MCU(Micro Controller Unit)その他の汎用プロセッサによって、または、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)その他の専用プロセッサによって実現され得る。The
制御部330において、解析部331は、撮像装置101によって取得された三次元情報に基づいて、物品106の位置姿勢情報を出力する。当該位置姿勢情報は、一例として、物品106の重心位置の座標値(x,y,z)と、定義されたXYZ座標系に対する物品106の傾きの座標値(φ、θ、ψ)との組み合わせである。In the
識別部332は、物品106の側面の三次元情報に基づいて、物品106の上面と底面とを識別し、底面の場所を示す情報を出力する。当該情報は、例えば、物品106を撮影した画像において、底面が当該画像に含まれる物品106の画像の右側又は左側のいずれに位置するか、若しくは、物品106の画像の上側又は下側のいずれに位置するかを表わす情報である。The identification unit 332 identifies the top and bottom surfaces of the
動作計画部333は、解析部331から出力される物品106の位置姿勢情報と、識別部332によって識別される物品106の底面の場所を示す情報とに基づいて、コンテナ107から物品106を取り出す順序(単に「取り出し順」ともいう。)と、取り出された物品106のコンベア109に対する配置方向(「取り置き方向」ともいう。)を決定する。The
取出制御部334は、動作計画部333から出力される情報、すなわち、取り出し順と配置方向とに基づいて、ロボットコントローラに動作指令を送信する。The
終了判定部335は、コンテナ107内の高さ情報322と、取出制御部334からの出力結果とに基づいて、コンテナ107からの物品106の取り出しを終了するべきか否かを判定する。判定結果は、解析部331に送られる。The
[コンピュータ400の構成]
図4を参照して、コンピュータ400の構成について説明する。図4は、制御用装置102として機能するコンピュータ400のハードウェア構成を表わすブロック図である。
[Configuration of computer 400]
The configuration of the
コンピュータ400は、主たる構成要素として、プログラムを実行するCPU1と、コンピュータ400のユーザーによる指示の入力を受けるマウス2およびキーボード3と、CPU1によるプログラムの実行により生成されたデータ、又はマウス2若しくはキーボード3を介して入力されたデータを揮発的に格納するRAM4と、データを不揮発的に格納する記憶装置5と、通信インターフェイス(I/F)7と、モニタ8とを含む。各構成要素は、相互にデータバスによって接続されている。
The main components of the
コンピュータ400における処理は、各ハードウェアおよびCPU1により実行されるソフトウェアの協働によって実現される。このようなソフトウェアは、記憶装置5に予め記憶されている場合がある。また、ソフトウェアは、CD-ROM(Compact Disc Read-Only Memory)その他の記録媒体に格納されて、コンピュータプログラムとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なアプリケーションプログラムとして提供される場合もある。このようなソフトウェアは、光ディスク駆動装置(図示しない)その他の読取装置によりその記録媒体から読み取られて、あるいは、通信インターフェイス7を介してダウンロードされた後、記憶装置5に一旦格納される。そのソフトウェアは、CPU1によって記憶装置5から読み出され、RAM4に実行可能なプログラムの形式で格納される。CPU1は、そのプログラムを実行する。
Processing in
図4に示されるコンピュータ400を構成する各構成要素は、一般的なものである。したがって、本開示に係る技術思想の本質的な部分の一つは、RAM4、記憶装置5、CD-ROMその他の記録媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。当該記録媒体は、一時的でない(不揮発性の)、コンピュータ読取可能なデータ記録媒体を含み得る。なお、コンピュータ400の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
Each of the
なお、記録媒体としては、CD-ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。 Note that recording media are not limited to CD-ROMs, FDs (Flexible Disks), and hard disks, but may also include media that carry programs in a fixed manner, such as magnetic tapes, optical disks (MOs (Magnetic Optical Discs)/MDs (Mini Discs)/DVDs (Digital Versatile Discs)), IC (Integrated Circuit) cards (including memory cards), optical cards, mask ROMs, EPROMs (Electronically Programmable Read-Only Memory), EEPROMs (Electronically Erasable Programmable Read-Only Memory), flash ROMs, and other semiconductor memories.
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。 The term "program" here refers not only to programs that can be executed directly by the CPU, but also to programs in source program format, compressed programs, encrypted programs, etc.
[制御構造]
図5および図6を参照して、ある実施の形態に従う搬送システム10の制御構造について説明する。図5は、制御用装置102として機能するコンピュータ400のCPU1が実行するメイン処理の一部を表わすフローチャートである。図5に示される処理は、例えば、搬送システム10が動作を開始するトリガとして、撮像装置101が、撮像開始指令を受信すると開始する。撮像開始指令は、一例として、ロボット103がコンテナ107の範囲から退避した状態になった際に、ロボットコントローラ104から制御用装置102に送信されると、制御用装置102から撮像装置101に送信される。
[Control Structure]
A control structure of the
図5を参照して、ステップS510にて、CPU1は、三次元情報として三次元点群データを撮影画像から取得する。より具体的には、CPU1は、撮像開始指令を撮像装置101に送信する。撮像装置101は、撮像開始指令の受信に応答して、コンテナ107に積層された物品106を撮像して、三次元情報を三次元点群データとして取得する。一例として撮像装置101がステレオカメラで構成される場合、三次元点群データの算出は、三角測量の原理に基づいたステレオマッチングにより取得される。ステレオマッチングの方式として、たとえば、注目点に対して45度ずつに分けられた8方向から候補点を探索するSGM(Semi Global Matching)方式などが挙げられるが、ステレオマッチングは、公知の手法であるので、さらに詳細な説明は述べない。
With reference to FIG. 5, in step S510, the
ステップS520にて、CPU1は、取得した三次元点群データから、物品106の取り出し制御に不要な三次元点群データを除去する。ステップS520において取得された三次元点群データは、コンテナ107の範囲外(コンテナ107の周辺)の三次元点群データまで含み得るため、不要な点群データを除去する必要がある。除去する手法としては、ロボット103の動作座標系(図1中のXYZ座標)上でコンテナ107の範囲を表わす三次元座標値を予め定義しておき、CPU1は、取得された三次元点群データから、コンテナ107の範囲を示す当該三次元座標に対応する三次元点群データを抽出することにより、コンテナ107の範囲外に相当する三次元点群データを除去できる。In step S520,
ステップS530にて、CPU1は、デプス画像を出力する。デプス画像は、一例として、1画素が256通りの階調をもつグレースケール画像であり、撮像装置101に近いものほど黒く、遠いものほど白く表される。In step S530, the
ステップS540にて、CPU1は、デプス画像からノイズを除去する。ノイズを除去する手法は、例えば、メディアンフィルタ、スペックルフィルタなどを用いたフィルタリングによる手法である。メディアンフィルタやスペックルフィルタは、周知のフィルタ処理であるので、さらに詳細な説明は繰り返さない。In step S540, the
ステップS550にて、CPU1は、後述する物品認識処理を実行して、同じ段に積まれている物品を認識して、当該物品の位置および姿勢を推定する。この処理の詳細は、後述する(図6)。In step S550, the
ステップS560にて、CPU1は、物品106の画像の面積が予め定められた面積以下であるか否かを判断する。本実施の形態において、予め定められた面積とは、画像上で一つの物品106が取り得る面積を予め定義した値である。このような定義は、例えば、撮像装置101からコンテナ107の収容面までの距離と、物品106の寸法データとに基づいて定義される。CPU1は、物品106の画像の面積が予め定められた面積以下であると判断すると(ステップS560にてYES)、物品106の輪郭を抽出した画像と、物品106の位置姿勢情報とを出力し、その後、処理を終了する。そうでない場合には(ステップS560にてNO)、CPU1は、制御をステップS570に切り替える。In step S560,
ステップS570にて、CPU1は、高さ方向の閾値処理を実行する。すなわち、物品106の画像が予め定められた面積より大きいと判断された場合には、CPU1は、物品106と、物品106に隣接する他の物品とを1台として誤認識した可能性がある。そこで、CPU1は、物品106と隣接する他の物品とを区別するために、誤認識した領域に対して高さ方向の閾値処理をする。この処理の詳細は、後述する(図8,図9)。In step S570,
図6は、CPU1によって実行される物品認識処理(S550)の詳細を表わすフローチャートである。
Figure 6 is a flowchart showing details of the item recognition process (S550) executed by
ステップS610にて、CPU1は、デプス画像の二値化処理を実行する。より具体的には、以降の処理を行うために、CPU1は、入力画像となるデプス画像に対して二値化処理を実行し、検出したい物品106の領域が黒となり、それ以外の領域が白となるような画像を生成する。このとき、CPU1は、物品106が積層される段の高さに相当する輝度値を二値化の閾値として設定する。例えば、図1に例示されるように、コンテナ107内に物品106が3段に積まれる場合、1段目と2段目と3段目との各段数が取り得る高さの輝度値が事前に定義され得る。CPU1は、この輝度値を二値化の閾値に設定することで、取り出しの対象となる最上段の物品106のみを抽出できる。なお、当該輝度値以外の値が当該閾値として設定されてもよい。In step S610, the
ステップS620にて、CPU1は、二値化画像の色反転処理を実行する。より具体的には、CPU1は、後述する処理を行うために、二値化画像の色反転を行い、検出したい物品106の領域が白となり、それ以外の領域が黒となるような画像を生成する。In step S620,
ステップS630にて、CPU1は、収縮処理を実行する。CPU1は、反転した二値化画像上のノイズである白領域を除去するために、収縮処理を行う。本実施の形態において、CPU1は、収縮処理として、注目画素の周辺に1画素でも黒い画素があれば黒に置き換える。この処理が実行されることにより、物品106に隣接する他の物品を切り分ける効果も期待できる。この処理が実行された場合の画像の一例は後述する。In step S630,
ステップS640にて、CPU1は、収縮された物品106の領域を元の大きさに戻すために、膨張処理を行う。本実施の形態において、CPU1は、膨張処理として、注目画素の周辺に1画素でも白い画素があれば、当該注目画素の色を白に置き換える。CPU1は、収縮処理を行った後に膨張処理を行うことで、ノイズを除去しつつ、物品106のみを切り分けた状態の画像を得ることができる。In step S640,
ステップS650にて、CPU1は、ラベリング処理を実行して物品106の輪郭を抽出する。より具体的には、まず、CPU1は、ラベリング処理を行ない画像上の各物品を1つのオブジェクトとして検出する。次に、CPU1は、ラベリング処理により検出されたオブジェクトに対して、外接矩形を導出して描画することにより、物品106の輪郭を抽出した画像を得ることができる。CPU1は、この画像を表示部340としてのモニタ8に表示することで、物品106を認識していることを作業者に知らせることができる。In step S650,
本実施の形態におけるラベリング処理は、注目画素の周辺に同じ画素値を有する画素がある領域を1つのオブジェクトとしてラベル付けを行なう処理をいう。例えば、検出された物品106の領域が白で表示される場合、CPU1は、白い画素に着目することでラベル付けを行なうことができる。また、CPU1は、ラベル付けされたオブジェクトから、当該オブジェクトの重心の位置を算出できる。この重心の位置は、認識された物品106の重心の座標値(x,y)となる。The labeling process in this embodiment refers to a process of labeling an area in which there are pixels with the same pixel value around a pixel of interest as one object. For example, if the area of the detected
デプス画像は、コンテナ107の底面からの高さに相当する高さ情報zを有する。したがって、算出された重心の位置を表わす座標値(x,y,z)をロボット103の動作座標系に変換した座標値が、物品106の位置情報をロボット103に通知するために与えられる値となる。なお、X軸、Y軸およびZ軸の周りの各回転角度を(φ,θ,ψ)と定義すると、CPU1は、ラベル付けされたオブジェクトの輪郭情報と、デプス画像の高さ情報とを用いることで、角度(φ,θ,ψ)を算出できる。位置情報と同様に、CPU1は、算出した角度をロボット103の動作座標系に変換することにより、物品106の姿勢を示す情報を導出する。当該情報がロボット103に送信されると、ロボット103は、その情報に基づいてハンド105の動作を制御し得る。The depth image has height information z corresponding to the height from the bottom surface of the
ステップS650の後、制御はメイン処理に戻される。図6に示される処理が完了すると、ラベリング処理後の画像と、物品106の位置姿勢情報とが生成される。After step S650, control is returned to the main process. When the process shown in FIG. 6 is completed, an image after the labeling process and position and orientation information of the
図7を参照して、画像処理により抽出される画像について説明する。図7は、CPU1による上記の処理が実行されている場合に取得される画像を模式的に表わした図である。複数の物品106は、図1に示されるように、2段または3段に積層されている。図7は、コンテナ107を上方から見た場合を示しているため、2段または3段の区別がつかない状態である。そこで、CPU1は、上述のような画像処理を行ない、取り出しの対象となる物品、すなわち、最上段に積層されている物品を認識する。
With reference to Figure 7, an image extracted by image processing will be described. Figure 7 is a schematic diagram of an image acquired when the above processing is being executed by
画像710は、図2に示される画像をデプス画像として表示した画像である。画像710において、画像710aと画像710bとは、近い色で表示されている。従って、CPU1は、画像710aに対応する物品と、画像710bに対応する物品とが、同じ高さに配置されていると判断し得る。また、CPU1は、それ以外の4つの画像710c,710d,710e,710fが同じ高さに配置されていると判定し得る。この場合、画像710c,710d,710e,710fに相当する物品は、図1に示されるように、最上段(三段目)に配置されている物品に相当するため、これらの物品に相当する画像は、画像710a,710bよりも濃い色を有するデプス画像として表示されている。その後、CPU1は、画像710に対して二値化処理(ステップS610)を行ない、画像720を抽出する。
画像720は、コンテナ107の最上段に配置された4つの物品に対応する画像720c,720d,720e,720fを含む。デプス画像では、高さに応じ適度値が変わるため、物品が積層されている高さ(1段、2段、3段など)に応じた輝度値を閾値として予め設定しておくことにより、CPU1は、二値化処理を行なうときに最上段に配置されている物品に相当する画像を抽出できる。
その後、CPU1は、画像720に対する色反転処理を行ない(ステップS620)、画像730を導出する。画像730では、検出したい物品の領域が白色で示され、その他の領域が黒色で示されている。
次に、CPU1は、画像730について収縮処理を行ない(ステップS630)、画像740を導出する。例えば、CPU1は、画素730a,730bのように周辺が黒色で囲まれた白い領域がノイズであると見なして、当該白い領域を黒に置き換えて、当該ノイズを除去する。Next,
さらに、CPU1は、画像740に対して膨張処理を行ない(ステップS640)、収縮された領域が元の大きさの領域に戻された画像750を導出する。画像750は、画像730と違ってノイズが除去された状態を示している。Furthermore,
その後、CPU1は、画像750に対してラベリング処理を行なってオブジェクトを抽出し(ステップS650)、画像760に示されるように、当該オブジェクトに外接する矩形領域760a,760b,760c,760dを決定する。Then,
[高さ方向の閾値処理]
図8および図9を参照して、高さ方向の閾値処理の詳細について説明する。図8は、同種の二つの物品810a,810bが並んだ状態を表わす図である。図9は、高さ方向の閾値処理が行なわれる場合にCPU1に取得されるデータを模式的に表わした図である。
[Height Threshold Processing]
The details of the threshold processing in the height direction will be described with reference to Fig. 8 and Fig. 9. Fig. 8 is a diagram showing two
図8には、同種の物品として、廃棄された洗濯機が例示されているが、当該物品は洗濯機に限られず、エアコン、冷蔵庫その他の電化製品であってもよい。また、物品は廃棄されたものに限られず、リサイクルあるいはリユースされるものであってもよい。 In Figure 8, a discarded washing machine is shown as an example of an item of the same type, but the item is not limited to a washing machine and may be an air conditioner, a refrigerator, or other electrical appliance. Also, the item is not limited to being discarded, but may be something that can be recycled or reused.
ある局面において、複数の物品810a,810bは、互いに密接した状態でコンテナ107に配置される場合がある。この場合、物品810aと物品810bとは、隙間がない状態で配置されることもあり得る。デプス画像は、256通りの階調でしか高さを表現できないため、CPU1は、解析部331として、物品810a,810bを一つの物品として認識する場合もあり得る。In some situations,
例えば、図9(A)を参照して、CPU1は、ラベリング処理の結果、矩形領域911,912,913を抽出している。矩形領域912,913は、それぞれ、一つの物品に対応する領域としてラベル付けされている。これに対して、矩形領域911は、二つの物品(例、洗濯機)の画像に対応する領域911a,911bを含むが、CPU1は、矩形領域911を一つの物品に対応する領域として認識する。For example, referring to FIG. 9A,
そこで、CPU1は、誤認識した領域に対してのみ、高さ方向の閾値処理を行い、一つの物品を二つの物品に切り分ける処理を行なう。Therefore,
より具体的には、図9(B)に示されるように、CPU1は、Z方向の最小値zminに高さ方向のオフセット値zoffsetを加算した値を、高さ方向の閾値として設定する。このためには、CPU1は、三次元点群データを参照して、隙間部の高さに相当する最小値zminを得る必要がある。
9B, the
まず、図8のX方向に対して、任意のY座標値における物品810a,810bの表面(側面)を走査して、物品810a,810bの高さプロファイル920を取得する。隙間部の最小値zminは、取得された高さプロファイル920の最小値に相当する。
First, the surfaces (side surfaces) of the
次に、高さ方向のオフセット値zoffsetについては、隙間部の最小値zminと、物品810a,810bの側面の高さzplaneとの間の値が予め設定されている。CPU1は、このようにして算出された高さ方向の閾値を用いて、Z方向に閾値処理を行う。このとき、CPU1は、当該閾値以下の三次元点群データをデプス画像上の白に相当する高さzに置き換えることで、デプス画像上の隙間部を白で表すことができる。すなわち、図9(C)に示される画像930に含まれる画像931a,930bのように、CPU1は、一つの物品として誤認識した物品810a,810bを二つの物品として正しく認識することができる。
Next, for the offset value z offset in the height direction, a value between the minimum value z min of the gap and the height z plane of the side surface of the
ここで図2を再び参照して、CPU1は、識別部332として、撮像装置101によって撮影された画像から、コンテナ107に積層された物品106の底面と上面とを識別する。CPU1は、物品106の底面を識別して、当該底面がコンベア109において同一方向を向くようにロボット103による物品106の搬送および配置を制御することで、各物品106が配置される向き(物品106の姿勢)を統一できる。例えば、コンテナ107から取り出された各物品106は、その上面または底面が揃えられてコンベア109に配置される。2 again,
これにより、作業者がコンベア109に載せられた物品106を解体する工程では、同種の物品106は同じ方向を向いていた方が解体作業を効率よく行うことができる。これは、例えば、物品106が洗濯機である場合、トップカバーや運転操作パネルは、当該洗濯機の上面に取り付けられているため、各洗濯機が同じ方向に並べられていれば、解体作業を行う作業者は、その上面側に位置することで、上面側に移動する手間が省けるからである。また、物品106から一部の部品を取り外すために設備や工具が使用される場合も、上面側のみに設置しておくことで、設備や工具をコンベア109の両方に配置する必要がなくなる。As a result, in the process in which workers dismantle the
[底面の識別]
そこで、図10および図11を参照して、物品の底面の識別について説明する。図10は、廃棄された物品106が側面を上にして(横方向に)配置された状態を表わす図である。図11は、物品106の表面をX方向に走査することにより得られたプロファイルを表わす図である。ある局面において、物品の底面の識別は、当該物品の側面にある取っ手の三次元形状に基づいて行なわれる。
[Bottom Identification]
Now, the identification of the bottom surface of an article will be described with reference to Fig. 10 and Fig. 11. Fig. 10 is a diagram showing a state in which a discarded
一例として、図10に示されるように、廃棄された物品106に対して、撮像装置101は、X方向に走査すると、CPU1は、物品106の高さ情報として、高さプロファイルを取得できる。As an example, as shown in FIG. 10, when the
例えば、物品106の取っ手が、y軸方向に、物品106の側面の端から100mm≦y≦200mmの範囲で設けられているとする。この場合、図11(A)に示されるように、CPU1は、解析部331から出力された物品の領域に対して、y=0から順に高さプロファイルを取得していく。取っ手が存在しない範囲(すなわち、0≦y<100mm、および、200<y≦Ymax(物品106の最大の幅))では、高さプロファイル1110のように物品106の側面に沿った直線上のプロファイルが得られる。For example, suppose that the handle of the
一方、図11(B)に示されるように、CPU1は、取っ手が存在する部分について、X方向に走査すると、高さプロファイル1120を得る。高さプロファイル1120では、取っ手の幅(高さ)に相当する部分1130は、切り欠き形状のように示される。これは、人が廃家電を持ち上げやすくなるように、取っ手には廃家電側面に対して一定の傾きを有しているからである。
On the other hand, as shown in Fig. 11(B), when the
つまり、物品106が取っ手を有する場合は、CPU1は、XZ平面上の取っ手に相当する直線の傾きtanθを算出することで、物品106の底面を識別できる。取っ手の存在の判定は、たとえば、取得した高さプロファイル1120の最小値Zminと最大値Zmaxと差が予め設定された閾値を超えたことに基づいて、あるいは、取っ手(の開口部の高さ)に相当する長さを有する直線部と、取っ手に相当する傾きとが検出されたことに基づいて行なわれる。
That is, if the
高さプロファイル1120のように、取っ手に相当する直線部とX軸の正の向きとがなす角度θが、0度から90度である場合は、廃家電を持ち上げる向きがX軸の負の向きと一致するので、CPU1は、物品106の底面は右端に存在すると判定し得る。一方、取っ手に相当する直線とX軸の正の向きとがなす角度θが、90度から180度の範囲に含まれる場合には、物品106を持ち上げる向き、すなわち、取っ手に作用する向きがX軸の正の向きと一致するので、CPU1は、物品106の底面が左端にあると判定し得る。Like
また、他の局面において、CPU1は、物品106の側面にある取っ手の三次元位置情報に基づいて、物品106の底面を識別してもよい。一般的に、物品106の取っ手は、搬送時の安定性の観点から、重心位置よりも上部に取り付けられることが多い。そのため、CPU1は、上述のプロファイルを用いて取っ手の位置を認識した後に、取っ手の位置が、(X軸に沿った)高さプロファイル1120において真ん中よりも左側にある場合は、CPU1は、物品106の底面が右端にあると判定し得る。一方、取っ手の位置が高さプロファイル1120において真ん中よりも右側にある場合は、CPU1は、物品106の底面が左端にあると判定し得る。In another aspect, the
このように、CPU1は、物品106の取っ手の三次元形状や位置を認識することで、物品106の側面の三次元情報に基づいて、その底面を認識できる。CPU1は、識別部332として、物品106の識別された底面の情報(底面が右側あるいは左側のいずれにあるか等)を生成する。In this way, by recognizing the three-dimensional shape and position of the handle of the
CPU1は、動作計画部333として、解析部331として算出した物品106の位置姿勢情報に基づいて物品106の取り出し順序を決定する。さらに、CPU1は、識別部332として算出した物品106の底面の情報に基づいて、物品106の取り置き方向(上面あるいは底面をどちらに揃えるかといった配置方向)を決定する。取り出し順序を決める際は、好ましくは、CPU1は、同じ段数に積層された物品106の中でも最も高い位置にあるものやロボット103から距離が近いものを優先して決める。取り置き方向を決める際は、CPU1は、コンベア109に対して、物品106の底面が同一方向を向くように決定し得る。CPU1は、動作計画部333として、決定した取り出し順序に基づいて、物品106の位置姿勢情報と、取り置き方向を示す情報とを、取出制御部334に出力する。The
取出制御部334は、物品106の位置姿勢情報と取り置き方向を示す情報とに基づいて、ロボット103を制御するように、ロボットコントローラ104に動作指令を送る。取出制御部334は、同じ段数に積まれている物品106の取り出しが完了したと判断すると、取り出し完了トリガを終了判定部335に出力する。The
CPU1は、終了判定部335として、コンテナ107に物品106が残っているか否かを判定し、物品106が残っていないと判断すると、搬送の処理を終了する。例えば、物品106がコンテナに3段に積まれている場合、最上段である3段目から取り出しが行われるため、取出制御部334による1度目の取り出し処理が終了した段階では、コンテナ107には2段分の物品106が残っていることになる。そこで、CPU1は、終了判定部335として、コンテナ107内の高さ情報を参照し、物品106を取り出す段数がまだ残っている場合は、解析部331として上述の処理を再度実行し、物品106の取り出しを継続する。The
なお、上述の実施の形態では、各物品106は、側面が上を向く状態でコンテナ107に配置されている場合にロボット103による搬出が行なわれる場合が例示された。他の局面において、コンテナ107に置かれた物品106の一部が、他の物品106により生じた段差によって傾いている場合があり得る。このような場合に備えて、撮像装置101によって撮影された画像を用いて物品106が傾いているか否かが判定されてもよい。例えば、物品106が傾いている場合は、上面又は底面と二つの側面という3つの面に相当する領域が画像で認識され得る。そこで、CPU1は、撮影された画像から3つの面に相当する領域を検出した場合には物品106が傾いて配置されていると判定し得る。あるいは、他の局面において、物品の認識をした際に取得される傾きの座標値(φ、θ、ψ)に対して閾値処理が行なわれてもよい。この場合、CPU1は、当該座標値が閾値を超えた場合に、物品を取り出しできない傾きで配置されているとして判定し得る。In the above embodiment, the
実施の形態2.
実施の形態1において、コンテナ107の側面部の位置情報、具体的にはコンテナの柵にあたる部分の三次元座標値を予めロボットコントローラ104に登録し、ハンド105がコンテナ107に接触する前に取り出し動作を中止する機能を備える。この機能により、ハンド105がコンテナ107の側面部と接触し、破損することを防ぐことができる。なお、実施の形態2に従う搬送システムのハードウェア構成は、実施の形態1に従う搬送システム10のハードウェア構成と同じである。従って、ハードウェア構成の説明は繰り返さない。
In the first embodiment, position information of the side surface of the
図12は、実施の形態2に従う搬送システムのコンテナにおける物品の状態を表わす図である。より詳しくは、図12(A)は、物品106の吸着面の大きさが、ハンド105よりも小さく、かつ物品106がコンテナ107に接近している場合を示している。この場合、ハンド105がコンテナ107と接触するため、搬送システムは、搬送動作を中止する。図12(B)は、物品106の吸着面の大きさが、ハンド105よりも小さいが、物品106がコンテナ107から一定距離離れている場合を示している。この場合、搬送システムは搬送動作を継続することができる。コンテナ107の設置位置がばらつく場合には、搬送システムは、コンテナ107を設置した直後に、撮像装置101を用いてコンテナ107の側面情報、具体的にはコンテナの柵に当たる部分の三次元座標値を測定し、測定した三次元座標値を制御部102に送信する。コンテナ107の側面部の三次元座標値と、物品106の吸着位置の三次元座標値との関係から、搬送システムは、搬送の継続または中止の判断を行なってもよい。12 is a diagram showing the state of an object in a container of a conveying system according to
実施の形態3.
図13を参照して、実施の形態3について説明する。図13は、実施の形態3に従う搬送システム1300の構成の一例を表わす図である。搬送システム1300は、実施の形態1に従う搬送システム10の構成に対して、ハンド105がエアブロー1310を備える点で搬送システム10と異なる。その他の構成は、搬送システム10のハードウェア構成と同じである。したがって、同じハードウェア構成の説明は繰り返さない。
A third embodiment will be described with reference to Fig. 13. Fig. 13 is a diagram showing an example of a configuration of a
搬送システム1300は、コンテナ107内の物品106を吸着する直前で、吸着する面に付着した水滴、ほこりなどの異物をエアブロー1310で除去し、吸着面を清掃する。これにより、吸着力の低下や吸着ヘッドの詰まりが、抑制され得る。Just before picking up the
以上開示された技術的特徴は、以下のように要約され得る。
[構成1]ある実施の形態に従う搬送システム10は、第1領域(たとえば、コンテナ107)に積層された複数の物品106を3次元計測することにより得られた複数の物品の三次元情報の入力を受け付ける入力部(たとえば、入力端子)と、第1領域から、第1領域と異なる第2領域(たとえば、コンベア109)に物品を搬送するための搬送部(たとえば、ロボット103)と、搬送部を制御するための制御装置(たとえば、制御用装置102、CPU1)とを備える。制御装置は、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、三次元情報に基づいて、搬送対象となる物品106の上面106aまたは底面106bを識別し、位置姿勢情報と、上面106aまたは底面106bの識別結果とに基づいて、物品106の取り出し順序および配置方向を決定し、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第2領域に配置するように搬送部を制御する。
The technical features disclosed above can be summarized as follows.
[Configuration 1] A conveying
このようにすることで、二次元画像の情報のみから上面と底面を識別するよりも、より高精度な識別が可能となるため、物品の上面または底面を安定させた状態で搬送部に物品を供給することができる。 This allows for more accurate identification of the top and bottom surfaces than would be possible if the top and bottom surfaces were identified solely from two-dimensional image information, so the item can be supplied to the conveying section with its top or bottom surface stabilized.
[構成2]ある局面において、位置姿勢情報を取得することは、三次元情報から不要なデータを除去することと、不要なデータが除去された三次元情報に基づいて物品を認識することと、認識された物品の領域の面積と予め定められた面積とを比較して、物品の領域の面積が予め定められた面積以下であることに基づいて、認識された物品が一つの物品であると判定することとを含む。 [Configuration 2] In one aspect, acquiring position and orientation information includes removing unnecessary data from three-dimensional information, recognizing an object based on the three-dimensional information from which the unnecessary data has been removed, and comparing the area of the recognized object region with a predetermined area and determining that the recognized object is a single object based on the area of the object region being less than or equal to the predetermined area.
このようにすることで、テンプレート画像の準備や3次元モデルの登録なしで物品を認識できるため、大きさや形状が微妙に異なるような物品に対しても、ロバストに物品を認識することができることに加えて、準備の手間を抑えることができる。さらに、テンプレートマッチングのような、1~2秒の処理時間を要するような処理負荷の高い処理を行う必要がなくなるため、高速化が求められるワーク搬送において優位である。 This allows objects to be recognized without preparing a template image or registering a 3D model, so not only can objects with subtle differences in size and shape be recognized robustly, but it also reduces the amount of preparation work required. Furthermore, it eliminates the need for high-processing load processes such as template matching, which require 1-2 seconds of processing time, making it advantageous for workpiece transport, where high speed is required.
[構成3]ある局面において、位置姿勢情報を取得することは、物品の領域の面積が予め定められた面積より大きい場合に、三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む。 [Configuration 3] In one aspect, acquiring position and orientation information further includes recognizing one item from multiple items based on whether or not the height direction of the three-dimensional information is within a predetermined threshold range when the area of the item region is larger than a predetermined area.
このようにすることで、取出しを行いたい高さにある物品のみを認識することができるため、床面のような背景の情報を除去できることに加えて、複数の物品が積み重なるような状況下においても、対象の物品だけを認識することができる。 This allows the system to recognize only the items at the height at which it is desired to remove them, eliminating background information such as the floor surface. In addition, it is possible to recognize only the target item even in situations where multiple items are stacked on top of each other.
[構成4]ある局面において、制御装置は、さらに、二つの物品を一つの物品として誤認識したか否かを判断し、二つの物品を一つの物品として誤認識したとの判断に基づいて、複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識する。 [Configuration 4] In one aspect, the control device further determines whether two objects have been erroneously recognized as one object, and based on a determination that the two objects have been erroneously recognized as one object, recognizes the erroneously recognized object as two objects by emphasizing a gap in the middle of the scanning path of the multiple objects.
このようにすることで、二次元画像の情報のみから物品を認識するよりも、より高精度に隣接する物品の分割を行うことができるため、認識エラー率を引き下げることが可能である。 In this way, adjacent objects can be separated with greater accuracy than if the objects were recognized from two-dimensional image information alone, thereby reducing the recognition error rate.
[構成5]ある局面において、二つの物品を一つの物品として誤認識したか否かの判断は、三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、認識された画像の面積が側面の面積よりも大きいか否かを判断することと、複数の物品の表面を走査して表面を輪郭として表わすプロファイルを取得し、物品の高さとして予め設定された高さよりも小さい高さがプロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む。 [Configuration 5] In one aspect, determining whether two objects have been erroneously recognized as one object includes either comparing the area of an image recognized based on three-dimensional information with an area preset as the area of the side of an object to determine whether the area of the recognized image is greater than the area of the side, or scanning the surfaces of multiple objects to obtain a profile that represents the surface as an outline, and determining that two adjacent objects have been erroneously recognized as one object based on the presence of a height in the middle of the profile that is smaller than a height preset as the height of the objects.
[構成6]ある局面において、各物品は、その側面に取っ手を有している。上面または底面を識別することは、三次元情報に基づいて取っ手の位置を判断することと、取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む。[Configuration 6] In one aspect, each object has a handle on a side thereof. Identifying the top or bottom surface includes determining a position of the handle based on the three-dimensional information and identifying a position of the top or bottom surface of the object based on the position of the handle.
[構成7]ある局面において、搬送システム(たとえば、搬送1300)は、物品の吸着面を清掃するための清掃手段(たとえば、エアブロー1310)をさらに備える。 [Configuration 7] In one aspect, the conveying system (e.g., conveyor 1300) further includes a cleaning means (e.g., air blower 1310) for cleaning the suction surface of the article.
[構成8]ある局面において、制御装置は、第1領域の外周情報(たとえば、コンテナ107の内側側面の輪郭を表わす情報)を登録し、搬送部(たとえば、ロボット103)と外周情報とが干渉するか否かを判定し、搬送部と外周情報とが干渉すると判断したことに基づいて、搬送動作を停止させる。 [Configuration 8] In one aspect, the control device registers outer periphery information of the first area (e.g., information representing the outline of the inner side of the container 107), determines whether or not there is interference between the conveying unit (e.g., robot 103) and the outer periphery information, and stops the conveying operation based on the determination that there is interference between the conveying unit and the outer periphery information.
[構成9]他の実施の形態に従うと、物品の搬送を制御するためにコンピュータ400で実行される方法が提供される。この方法は、CPU1が、第1領域(たとえば、コンテナ107)に積層された複数の物品を3次元計測することにより得られた複数の物品の三次元情報の入力を受け付けるステップと、CPU1が、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得するステップと、CPU1が、三次元情報に基づいて、搬送対象となる物品の上面または底面を識別するステップと、CPU1が、位置姿勢情報と、上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定するステップと、CPU1が、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第1領域とは異なる第2領域に配置するように搬送部(ロボット103)を制御するステップとを含む。
[Configuration 9] According to another embodiment, a method executed by a
[構成10]さらに他の実施の形態に従うと、上記の方法をコンピュータ400に実行させるプログラムが提供される。
[Configuration 10] According to yet another embodiment, a program is provided that causes a
<まとめ>
以上の次第で、開示された搬送システム10は、画像処理によるルールベースで物品の認識を行うため、パラメータを変更することで、認識したい物品106の種類(たとえば、廃棄された洗濯機、冷蔵庫、エアコン等)を容易に切り替えることができる。また、搬送システム10は、モデルマッチングや機械学習機を用いないため、事前のトレーニングが必要ないので、汎用性の高い物品認識が可能となる。
<Summary>
As described above, the disclosed conveying
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。The embodiments disclosed herein should be considered to be illustrative and not restrictive in all respects. The scope of the present disclosure is indicated by the claims, not the above description, and is intended to include all modifications within the meaning and scope of the claims.
10 搬送システム、101 撮像装置、102 制御用装置、103 ロボット、104 ロボットコントローラ、106,106-1,106-2,106-3,106-4,106-5,810a,810b 物品、106a 上面、106b 底面、106c 側面、107 コンテナ、108 固定用架台、109 コンベア、310 入力部、320 記憶部、321 三次元情報、322,高さ情報、330 制御部、331 解析部、332 識別部、333 動作計画部、334 取出制御部、335 終了判定部、340 表示部、400 コンピュータ、710,710a,710b,710c,710d,710e,710f,720,720c,720d,720e,720f,730,740,750,760,930,930b,931a 画像、730a,730b 画素、760a,760b,760c,760d,911,912,913 矩形領域、911a,911b 領域、920,1110,1120 プロファイル。10 Conveying system, 101 Imaging device, 102 Control device, 103 Robot, 104 Robot controller, 106, 106-1, 106-2, 106-3, 106-4, 106-5, 810a, 810b Item, 106a Top surface, 106b Bottom surface, 106c Side surface, 107 Container, 108 Fixing stand, 109 Conveyor, 310 Input unit, 320 Memory unit, 321 Three-dimensional information, 322 Height information, 330 Control unit, 331 Analysis unit, 332 Identification unit, 333 Motion planning unit, 334 Take-out control unit, 335 End determination unit, 340 Display unit, 400 Computers, 710, 710a, 710b, 710c, 710d, 710e, 710f, 720, 720c, 720d, 720e, 720f, 730, 740, 750, 760, 930, 930b, 931a Images, 730a, 730b Pixels, 760a, 760b, 760c, 760d, 911, 912, 913 Rectangular areas, 911a, 911b Areas, 920, 1110, 1120 Profiles.
Claims (15)
前記第1領域から、前記第1領域と異なる第2領域に物品を搬送するための搬送部と、
前記搬送部を制御するための制御装置とを備え、
前記制御装置は、
前記三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、
前記三次元情報に基づいて、前記搬送対象となる物品の上面または底面を識別し、
前記位置姿勢情報と、前記上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定し、
決定された取り出し順序に従って前記搬送対象となる物品を取り出して、前記配置方向に従って前記取り出された物品の上面または底面を、他の物品の上面または底面に揃えて前記第2領域に配置するように前記搬送部を制御し、
前記位置姿勢情報を取得することは、
前記三次元情報に基づいて物品を認識することと、
前記認識された物品の領域の面積と予め定められた面積とを比較して、前記物品の領域の面積が前記予め定められた面積以下であることに基づいて、前記認識された物品が一つの物品であると判定することとを含む、搬送システム。 an input unit that receives input of three-dimensional information of the plurality of articles obtained by three-dimensionally measuring the plurality of articles stacked in the first region;
a conveying section for conveying an article from the first area to a second area different from the first area;
A control device for controlling the transport unit,
The control device includes:
obtaining position and orientation information indicating a position and orientation of an object to be conveyed from the three-dimensional information;
Identifying a top surface or a bottom surface of the object to be conveyed based on the three-dimensional information;
determining a pick-up order and a placement direction of the article based on the position and orientation information and the identification result of the top surface or the bottom surface;
control the conveying unit to pick up the objects to be conveyed according to the determined pick-up order, and to arrange the objects in the second area so that the top or bottom surfaces of the objects picked up according to the arrangement direction are aligned with the top or bottom surfaces of other objects ;
The acquiring of the position and orientation information includes:
recognizing an article based on the three-dimensional information; and
A conveying system comprising: comparing an area of the recognized item region with a predetermined area, and determining that the recognized item is a single item based on the area of the item region being less than or equal to the predetermined area.
前記三次元情報に基づいて物品を認識することは、前記不要なデータが除去された三次元情報に基づいて物品を認識することを含む、請求項1に記載の搬送システム。 obtaining the position and orientation information further includes removing unnecessary data from the three-dimensional information;
The transport system according to claim 1 , wherein recognizing the article based on the three-dimensional information includes recognizing the article based on the three-dimensional information from which unnecessary data has been removed.
前記物品の領域の面積が前記予め定められた面積より大きい場合に、前記三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む、請求項1または2に記載の搬送システム。 The acquiring of the position and orientation information includes:
The conveying system of claim 1 or 2, further comprising: when an area of the object region is larger than the predetermined area, recognizing one object from a plurality of objects based on whether a height direction of the three-dimensional information is within a predetermined threshold range.
二つの物品を一つの物品として誤認識したか否かを判断し、
二つの物品を一つの物品として誤認識したとの判断に基づいて、前記複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識する、請求項1または2に記載の搬送システム。 The control device further comprises:
Determine whether two items were mistakenly recognized as one item,
A conveying system as described in claim 1 or 2, wherein, based on a determination that two objects have been mistakenly recognized as one object, the one object that has been mistakenly recognized is recognized as two objects by emphasizing a gap in the middle of the scanning path of the multiple objects.
前記三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、前記認識された画像の面積が前記側面の面積よりも大きいか否かを判断することと、
前記複数の物品の表面を走査して前記表面を輪郭として表わすプロファイルを取得し、
物品の高さとして予め設定された高さよりも小さい高さが前記プロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む、請求項4に記載の搬送システム。 The determination of whether two items were mistakenly recognized as one item is
comparing an area of the image recognized based on the three-dimensional information with an area that is preset as an area of a side surface of an article, and determining whether or not the area of the recognized image is larger than the area of the side surface;
scanning surfaces of the plurality of articles to obtain profiles representative of the surfaces;
and determining that two adjacent objects have been erroneously recognized as a single object based on the presence of a height in the profile that is smaller than a preset height as the object height.
前記上面または底面を識別することは、
前記三次元情報に基づいて前記取っ手の位置を判断することと、
前記取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む、請求項1または2に記載の搬送システム。 Each item has a handle on its side;
Identifying the top or bottom surface comprises:
determining a position of the handle based on the three-dimensional information; and
and identifying a position of a top surface or a bottom surface of the item based on the position of the handle.
前記第1領域の外周情報を登録し、
前記搬送部と前記外周情報とが干渉するか否かを判定し、
前記搬送部と前記外周情報とが干渉すると判断したことに基づいて、搬送動作を停止させる、請求項1または2に記載の搬送システム。 The control device includes:
registering perimeter information of the first region;
determining whether or not the conveying unit and the outer periphery information interfere with each other;
The conveying system according to claim 1 , further comprising: a conveying operation stop circuit configured to stop a conveying operation when it is determined that the conveying unit and the outer periphery information interfere with each other.
第1領域に積層された複数の物品を3次元計測することにより得られた前記複数の物品の三次元情報の入力を受け付けるステップと、
前記三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得するステップと、
前記三次元情報に基づいて、前記搬送対象となる物品の上面または底面を識別するステップと、
前記位置姿勢情報と、前記上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定するステップと、
決定された取り出し順序に従って前記搬送対象となる物品を取り出して、前記配置方向に従って前記取り出された物品の上面または底面を、他の物品の上面または底面に揃えて前記第1領域とは異なる第2領域に配置するように搬送部を制御するステップとを含み、
前記位置姿勢情報を取得することは、
前記三次元情報に基づいて物品を認識することと、
前記認識された物品の領域の面積と予め定められた面積とを比較して、前記物品の領域の面積が前記予め定められた面積以下であることに基づいて、前記認識された物品が一つの物品であると判定することとを含む、方法。 1. A computer-implemented method for controlling the conveyance of an article, comprising:
receiving an input of three-dimensional information of the plurality of articles obtained by three-dimensionally measuring the plurality of articles stacked in a first area;
acquiring position and orientation information indicating a position and orientation of an object to be transported from the three-dimensional information;
identifying a top surface or a bottom surface of the object to be conveyed based on the three-dimensional information;
determining a pick-up order and arrangement direction of the article based on the position and orientation information and the identification result of the top surface or the bottom surface;
and controlling the conveying unit to pick up the items to be conveyed according to the determined pick-up order, and to arrange the top or bottom surface of the picked-up item in a second area different from the first area so as to align the top or bottom surface of the item with the top or bottom surface of another item according to the arrangement direction,
The acquiring of the position and orientation information includes:
recognizing an article based on the three-dimensional information; and
and comparing an area of the recognized object region with a predetermined area and determining that the recognized object is a single object based on the area of the object region being less than or equal to the predetermined area.
前記三次元情報に基づいて物品を認識することは、前記不要なデータが除去された三次元情報に基づいて物品を認識することを含む、請求項9に記載の方法。 obtaining the position and orientation information further includes removing unnecessary data from the three-dimensional information;
The method of claim 9 , wherein recognizing an article based on the three-dimensional information comprises recognizing an article based on the three-dimensional information from which the unnecessary data has been removed.
前記物品の領域の面積が前記予め定められた面積より大きい場合に、前記三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む、請求項9または10に記載の方法。 The acquiring of the position and orientation information includes:
The method according to claim 9 or 10, further comprising recognizing one item from a plurality of items based on whether a height direction of the three-dimensional information is within a range of a preset threshold when an area of the area of the item is larger than the predetermined area.
二つの物品を一つの物品として誤認識したとの判断に基づいて、前記複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識するステップとをさらに含む、請求項9または10に記載の方法。 determining whether two items have been erroneously recognized as one item;
The method of claim 9 or 10, further comprising a step of recognizing the misrecognized single item as two items by emphasizing a gap in the middle of the scanning path of the plurality of items based on a determination that the two items have been misrecognized as one item.
前記三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、前記認識された画像の面積が前記側面の面積よりも大きいか否かを判断することと、
前記複数の物品の表面を走査して前記表面を輪郭として表わすプロファイルを取得し、物品の高さとして予め設定された高さよりも小さい高さが前記プロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む、請求項12に記載の方法。 The determination of whether two items were mistakenly recognized as one item is
comparing an area of the image recognized based on the three-dimensional information with an area that is preset as an area of a side surface of an article, and determining whether or not the area of the recognized image is larger than the area of the side surface;
13. The method of claim 12, further comprising: scanning the surfaces of the plurality of articles to obtain a profile that represents the surface as an outline; and determining that two adjacent articles have been erroneously recognized as a single article based on the presence of a height in the profile that is smaller than a preset height as the height of the article.
前記上面または底面を識別することは、
前記三次元情報に基づいて前記取っ手の位置を判断することと、
前記取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む、請求項9または10に記載の方法。 Each item has a handle on its side;
Identifying the top or bottom surface comprises:
determining a position of the handle based on the three-dimensional information; and
and identifying a location of a top or bottom surface of the item based on the position of the handle.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021099309 | 2021-06-15 | ||
JP2021099309 | 2021-06-15 | ||
PCT/JP2022/020246 WO2022264726A1 (en) | 2021-06-15 | 2022-05-13 | Transport system, method executed by computer for controlling transport of articles, and program for causing computer to execute this method |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022264726A1 JPWO2022264726A1 (en) | 2022-12-22 |
JPWO2022264726A5 JPWO2022264726A5 (en) | 2023-08-23 |
JP7499967B2 true JP7499967B2 (en) | 2024-06-14 |
Family
ID=84526177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023529687A Active JP7499967B2 (en) | 2021-06-15 | 2022-05-13 | Transport system, computer-implemented method for controlling transport of an article, and program for causing a computer to execute said method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7499967B2 (en) |
WO (1) | WO2022264726A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009523623A (en) | 2006-01-23 | 2009-06-25 | ジェローム グロボア, | Method and apparatus for automatic workpiece gripping |
JP2020040149A (en) | 2018-09-07 | 2020-03-19 | 株式会社日立物流 | Robot system and control method therefor |
US10807808B1 (en) | 2019-04-22 | 2020-10-20 | Amazon Technologies, Inc. | Systems and methods for automated item separation and presentation |
JP2021013996A (en) | 2019-07-12 | 2021-02-12 | キヤノン株式会社 | Control method of robot system, manufacturing method of articles, control program, recording medium, and robot system |
-
2022
- 2022-05-13 JP JP2023529687A patent/JP7499967B2/en active Active
- 2022-05-13 WO PCT/JP2022/020246 patent/WO2022264726A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009523623A (en) | 2006-01-23 | 2009-06-25 | ジェローム グロボア, | Method and apparatus for automatic workpiece gripping |
JP2020040149A (en) | 2018-09-07 | 2020-03-19 | 株式会社日立物流 | Robot system and control method therefor |
US10807808B1 (en) | 2019-04-22 | 2020-10-20 | Amazon Technologies, Inc. | Systems and methods for automated item separation and presentation |
JP2021013996A (en) | 2019-07-12 | 2021-02-12 | キヤノン株式会社 | Control method of robot system, manufacturing method of articles, control program, recording medium, and robot system |
Also Published As
Publication number | Publication date |
---|---|
WO2022264726A1 (en) | 2022-12-22 |
JPWO2022264726A1 (en) | 2022-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9327406B1 (en) | Object segmentation based on detected object-specific visual cues | |
JP5458885B2 (en) | Object detection method, object detection apparatus, and robot system | |
CN108182689A (en) | The plate workpiece three-dimensional recognition positioning method in polishing field is carried applied to robot | |
CN110926330B (en) | Image processing apparatus, image processing method, and program | |
US20090080699A1 (en) | 3D Beverage Container Localizer | |
JP2016091053A (en) | Information processing apparatus, container shape estimation method, work-piece picking system, and program | |
US9361695B2 (en) | Method of recognizing a position of a workpiece from a photographed image | |
US20220292702A1 (en) | Image processor, imaging device, robot and robot system | |
US20230297068A1 (en) | Information processing device and information processing method | |
JP2022160363A (en) | Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium | |
JP7499967B2 (en) | Transport system, computer-implemented method for controlling transport of an article, and program for causing a computer to execute said method | |
JP2010184300A (en) | Attitude changing device and attitude changing method | |
JP2018146347A (en) | Image processing device, image processing method, and computer program | |
JP6041710B2 (en) | Image recognition method | |
EP4245480A1 (en) | Measuring system, measuring device, measuring method, and measuring program | |
EP4070922A2 (en) | Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium | |
JPH0953915A (en) | Method for recognizing overlapping state | |
JP6908908B2 (en) | Robot arm path generator and path generator | |
WO2021220346A1 (en) | Elevator 3-d data processing device | |
CN116188559A (en) | Image data processing method, device, electronic equipment and storage medium | |
CN116175542A (en) | Grabbing control method, grabbing control device, electronic equipment and storage medium | |
WO2021220345A1 (en) | Elevator 3d data processing device | |
Sansoni et al. | Combination of 2D and 3D vision systems into robotic cells for improved flexibility and performance | |
US20230150141A1 (en) | Training data generation device, training data generation method using the same and robot arm system using the same | |
JP7191352B2 (en) | Method and computational system for performing object detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240604 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7499967 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |