JP7499967B2 - Transport system, computer-implemented method for controlling transport of an article, and program for causing a computer to execute said method - Google Patents

Transport system, computer-implemented method for controlling transport of an article, and program for causing a computer to execute said method Download PDF

Info

Publication number
JP7499967B2
JP7499967B2 JP2023529687A JP2023529687A JP7499967B2 JP 7499967 B2 JP7499967 B2 JP 7499967B2 JP 2023529687 A JP2023529687 A JP 2023529687A JP 2023529687 A JP2023529687 A JP 2023529687A JP 7499967 B2 JP7499967 B2 JP 7499967B2
Authority
JP
Japan
Prior art keywords
item
area
items
article
dimensional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023529687A
Other languages
Japanese (ja)
Other versions
JPWO2022264726A5 (en
JPWO2022264726A1 (en
Inventor
進介 勝又
誠司 高木
徹弥 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022264726A1 publication Critical patent/JPWO2022264726A1/ja
Publication of JPWO2022264726A5 publication Critical patent/JPWO2022264726A5/ja
Application granted granted Critical
Publication of JP7499967B2 publication Critical patent/JP7499967B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/02—Devices for feeding articles or materials to conveyors
    • B65G47/04—Devices for feeding articles or materials to conveyors for feeding articles
    • B65G47/12—Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/50—Reuse, recycling or recovery technologies
    • Y02W30/82—Recycling of waste of electrical or electronic equipment [WEEE]

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Description

本開示は物品の搬送に関し、より特定的には、第１領域に積層された物品を第２領域に整列して配置する技術に関する。 The present disclosure relates to the transport of items, and more specifically to a technique for aligning and placing items stacked in a first area in a second area.

リサイクルプラントに搬入される洗濯機やエアコンその他の廃棄された家庭用電化製品（以下「廃家電」という。）は、家電の種類ごとに積層された状態でコンテナに搬入される。コンテナに搬入された各廃家電は、それぞれの大きさや重さが異なる不定形ワークであることに加えて、取り出した廃棄物を配置する方向（単に「取り置き方向」ということもある）を統一する必要がある。そのため、作業者が各廃家電を取り出し、解体場所まで当該廃家電を搬送する。 Washing machines, air conditioners, and other discarded household electrical appliances (hereafter referred to as "waste appliances") that are brought to a recycling plant are stacked by type of appliance and brought into containers. In addition to the fact that each waste appliance brought into the container is an irregular workpiece with different sizes and weights, it is necessary to standardize the direction in which the removed waste is placed (sometimes simply referred to as the "placement direction"). For this reason, workers remove each waste appliance and transport it to the dismantling site.

しかし、多くの廃家電は重いため、作業者への負担が大きくなり、このような搬送業務に従事する作業者を継続して確保することが困難になりつつある。そこで、コンテナに積層されたワークを認識し、ロボットに取り出しをさせる搬送装置が求められている。However, many discarded home appliances are heavy, which places a heavy burden on workers, and it is becoming difficult to continually secure workers to carry out this type of transportation work. Therefore, there is a demand for a transportation device that can recognize the workpieces stacked in the container and have a robot remove them.

このような搬送装置に関し、たとえば、特許第６７８５３９３号（特許文献１）は、「コンテナ等の受入場所に配置されたリサイクル洗濯機をロボットにより解体場所へ搬送することができるリサイクル洗濯機搬送システム」を開示している（［要約］参照）。このリサイクル洗濯機搬送システムは、「リサイクル洗濯機５を撮像する撮像装置と、リサイクル洗濯機５の位置情報及び姿勢情報を生成する認識部と、リサイクル洗濯機５を保持可能なハンド３１を有するロボットと、リサイクル洗濯機５を受入場所から解体場所に搬送するように、ロボットを制御する制御部とを具備し、ハンド３１は、真空源３３に連通する複数の真空引き孔３４ａを有する本体部３４と、本体部３４に取り付けられ、複数の真空引き孔３４ａに対応する複数の吸着孔３５ａを有し、本体部３４よりも軟質なパッド部３５とを備える」（以上「要約」参照）。このリサイクル洗濯機搬送システムは、「オペレータからの教示及びカメラが取得した画像情報に基づいて、識別部が洗濯機を縦型全自動洗濯機とドラム式洗濯機に分類している」というものである（段落００４２）。Regarding such a conveying device, for example, Japanese Patent No. 6785393 (Patent Document 1) discloses a "recycled washing machine conveying system capable of conveying recycled washing machines arranged in a receiving place such as a container to a dismantling place by a robot" (see [Abstract]). This recycled washing machine conveying system "includes an imaging device that captures an image of a recycled washing machine 5, a recognition unit that generates position information and posture information of the recycled washing machine 5, a robot having a hand 31 capable of holding the recycled washing machine 5, and a control unit that controls the robot so as to convey the recycled washing machine 5 from the receiving place to the dismantling place, and the hand 31 includes a main body part 34 having a plurality of vacuum holes 34a communicating with a vacuum source 33, and a pad part 35 attached to the main body part 34, having a plurality of suction holes 35a corresponding to the plurality of vacuum holes 34a, and being softer than the main body part 34" (see "Abstract" above). In this recycled washing machine conveying system, "the identification unit classifies the washing machines into vertical fully automatic washing machines and drum washing machines based on instructions from an operator and image information acquired by the camera" (paragraph 0042).

特許第６７８５３９３号Patent No. 6785393

特許文献１に開示されたリサイクル洗濯機搬送システムによれば、ワークの認識にオペレータの教示という人作業が介在する都合上、作業者を排除できないという問題が生じる。また、学習機を使う場合であれば、数万枚単位の学習用画像の準備に加えて、それに付随する作業者のアノテーションといった手間が生じる。さらに、洗濯機以外の廃家電へ適応する場合は、再学習が必要なため、汎用性に欠けるという問題も生じる。 The recycling washing machine transport system disclosed in Patent Document 1 has the problem that workers cannot be removed because the recognition of the work requires human intervention, such as operator instruction. Furthermore, if a learning machine is used, in addition to the preparation of tens of thousands of learning images, the associated work of annotation by the worker is also time-consuming. Furthermore, when applying to discarded home appliances other than washing machines, re-learning is required, which causes the problem of lack of versatility.

さらに、特許文献１によれば、「リサイクル洗濯機５の位置情報及び姿勢情報（３次元形状）は、例えば位相シフト法により計測される」（段落００１７）。廃家電は大きさや重さが異なる不定形ワークであるため、このような３次元形状を用いる方法では、モデルマッチングを適用できないという問題点もある。加えて、ワークを認識して取り出しを行う搬送装置にあっては、位置情報及び姿勢情報（３次元形状）の生成の前処理となるワーク認識を高速で行わなければ、所望のサイクルタイムを実現できない。Furthermore, according to Patent Document 1, "the position information and posture information (three-dimensional shape) of the recycled washing machine 5 are measured, for example, by a phase shift method" (paragraph 0017). Because discarded home appliances are amorphous workpieces with different sizes and weights, there is a problem in that model matching cannot be applied to methods that use such three-dimensional shapes. In addition, in a conveying device that recognizes and removes workpieces, the desired cycle time cannot be achieved unless workpiece recognition, which is a preprocessing step for generating the position information and posture information (three-dimensional shape), is performed at high speed.

したがって、作業者による関与を極力減らせる技術が必要とされている。また、特定の廃家電に限られない汎用性のある技術が必要とされている。さらに、サイクルタイムを短くできる技術が必要とされている。 Therefore, there is a need for technology that can minimize the involvement of workers. There is also a need for general-purpose technology that is not limited to specific types of discarded home appliances. Furthermore, there is a need for technology that can shorten the cycle time.

本開示は上述のような背景に鑑みてなされたものであって、ある局面に従うと、事前トレーニングなしで、人作業が介在しない汎用性の高い搬送技術が開示される。 This disclosure has been made in light of the above-mentioned background, and in accordance with one aspect, discloses a highly versatile transportation technology that does not require prior training and does not involve human intervention.

ある実施の形態に従うと、搬送システムが提供される。この搬送システムは、第１領域に積層された複数の物品を３次元計測することにより得られた複数の物品の三次元情報の入力を受け付ける入力部と、第１領域から、第１領域と異なる第２領域に物品を搬送するための搬送部と、搬送部を制御するための制御装置とを備える。制御装置は、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、三次元情報に基づいて、搬送対象となる物品の上面または底面を識別し、位置姿勢情報と、上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定し、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第２領域に配置するように搬送部を制御する。According to one embodiment, a conveying system is provided. The conveying system includes an input unit that receives input of three-dimensional information of a plurality of items obtained by three-dimensionally measuring a plurality of items stacked in a first area, a conveying unit for conveying the items from the first area to a second area different from the first area, and a control device for controlling the conveying unit. The control device acquires position and orientation information indicating the position and orientation of the items to be conveyed from the three-dimensional information, identifies the top or bottom surface of the items to be conveyed based on the three-dimensional information, determines the order of removal and arrangement direction of the items based on the position and orientation information and the identification result of the top or bottom surface, removes the items to be conveyed according to the determined order of removal, and controls the conveying unit to arrange the top or bottom surface of the items removed according to the arrangement direction in the second area in alignment with the top or bottom surfaces of other items.

ある実施の形態に従うと、事前トレーニングなしで、人作業が介在しない汎用性の高い搬送システムが提供される。 In accordance with one embodiment, a versatile transport system is provided that does not require prior training and does not require human intervention.

この開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの開示に関する次の詳細な説明から明らかとなるであろう。 The above and other objects, features, aspects and advantages of this disclosure will become apparent from the following detailed description of this disclosure taken in conjunction with the accompanying drawings.

搬送システム１０の一構成の概要を例示する図である。FIG. 1 is a diagram illustrating an example of an outline of a configuration of a conveyance system 10. 複数の物品１０６がコンテナ１０７に積層された状態を上方から表わした図である。The figure shows a plurality of items 106 stacked in a container 107 from above. ある実施の形態に従う制御用装置１０２によって実現される機能の構成を表わすブロック図である。A block diagram showing a configuration of functions realized by a control device 102 according to an embodiment. 制御用装置１０２として機能するコンピュータ４００のハードウェア構成を表わすブロック図である。FIG. 4 is a block diagram showing the hardware configuration of a computer 400 functioning as the control device 102. コンピュータ４００のＣＰＵ１が実行するメイン処理の一部を表わすフローチャートである。1 is a flowchart showing a part of a main process executed by a CPU 1 of a computer 400. ＣＰＵ１によって実行される物品認識処理（Ｓ５５０）の詳細を表わすフローチャートである。11 is a flowchart showing details of an article recognition process (S550) executed by the CPU 1. ＣＰＵ１による処理が実行されている場合に取得される画像を模式的に表わした図である。10A and 10B are diagrams each showing a schematic representation of an image acquired when a process is being executed by a CPU 1; 同種の二つの物品８１０ａ，８１０ｂが並んだ状態を表わす図である。This is a diagram showing two items 810a and 810b of the same type arranged side by side. 高さ方向の閾値処理が行なわれる場合にＣＰＵ１に取得されるデータを模式的に表わした図である。11 is a diagram showing a schematic representation of data acquired by a CPU 1 when threshold processing in the height direction is performed; FIG. 廃棄された物品１０６が側面を上にして（横方向に）配置された状態を表わす図である。The figure shows the discarded item 106 placed side up (horizontally). 物品１０６の表面をＸ方向に走査することにより得られたプロファイルを表わす図である。1 is a diagram showing a profile obtained by scanning the surface of an article 106 in the X-direction. 実施の形態２に従う搬送システムのコンテナにおける物品の状態を表わす図である。13A and 13B are diagrams showing the state of articles in a container of the transport system according to the second embodiment. 実施の形態３に従う搬送システム１３００の構成の一例を表わす図である。FIG. 13 illustrates an example of a configuration of a transfer system 1300 according to a third embodiment.

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。Hereinafter, an embodiment of the present disclosure will be described with reference to the drawings. In the following description, identical parts are given the same symbols. Their names and functions are also the same. Therefore, detailed descriptions thereof will not be repeated.

実施の形態１．
［搬送システム１０の概要］
図１を参照して、ある実施の形態に従う搬送システム１０について説明する。図１は、搬送システム１０の一構成の概要を例示する図である。 Embodiment 1.
[Overview of the transport system 10]
A transport system 10 according to an embodiment will be described with reference to Fig. 1. Fig. 1 is a diagram illustrating an example of an outline of a configuration of the transport system 10.

搬送システム１０は、三次元計測機としての撮像装置１０１と、制御用装置１０２と、ロボット１０３と、ロボットコントローラ１０４と、コンベア１０９とを備える。ロボット１０３は、その先端にハンド１０５を有する。The transport system 10 includes an imaging device 101 as a three-dimensional measuring device, a control device 102, a robot 103, a robot controller 104, and a conveyor 109. The robot 103 has a hand 105 at its tip.

撮像装置１０１と、制御用装置１０２と、ロボットコントローラ１０４とは、通信ケーブル等の有線通信手段またはＷｉＦｉ（登録商標：Wireless Fidelity）その他の無線通信手段によって、互いに通信できるように接続されている。The imaging device 101, the control device 102, and the robot controller 104 are connected so as to be able to communicate with each other via a wired communication means such as a communication cable or via WiFi (registered trademark: Wireless Fidelity) or other wireless communication means.

撮像装置１０１は、コンテナ１０７の上方に配置されている。ある局面において、コンテナ１０７は、同種類の１または複数の物品１０６を収容する。なお、以下では、ある局面において、一つの物品を物品１０６と示す場合があり、他の局面において、複数の物品を総称する場合に物品１０６と示す場合もある。また、複数の物品のそれぞれについて説明する場合は、各物品を区別して、例えば、物品１０６－１，１０６－２等とも表わす。 The imaging device 101 is disposed above the container 107. In one aspect, the container 107 stores one or more items 106 of the same type. Note that in the following, in one aspect, a single item may be referred to as item 106, and in other aspects, multiple items may be collectively referred to as items 106. Furthermore, when describing each of the multiple items, the items are distinguished from one another and are referred to as, for example, items 106-1, 106-2, etc.

ある実施の形態において、物品１０６は、例えば、廃棄された家庭用電化製品（「廃家電」）であり、あるいは、他の局面において、リサイクルまたはリユースの目的で回収された家庭用電化製品であり、さらに他の局面において、リコールにより回収された家庭用電化製品を含み得る。家庭用電化製品は、冷蔵庫、洗濯機、エアコン等のように作業者が運ぶには比較的大きくあるいは重い製品であり、ロボット１０３による機械搬送が望ましい製品である。In one embodiment, the item 106 may be, for example, a discarded household appliance ("waste appliance"), or in another aspect, a household appliance collected for the purpose of recycling or reuse, or in yet another aspect, may include a household appliance collected through a recall. The household appliance is a product such as a refrigerator, washing machine, air conditioner, etc. that is relatively large or heavy for a worker to carry, and for which mechanical transportation by the robot 103 is desirable.

コンテナ１０７の上部は解放されている。したがって、撮像装置１０１は、コンテナ１０７の内部を撮影できる。複数の物品１０６がコンテナ１０７に積層されている場合は、撮像装置１０１は、最上段に置かれた物品１０６の表面を撮影することになる。物品１０６が冷蔵庫や洗濯機のように略直方体の形状を有する場合、物品１０６は、通常の使用時とは異なり横に向けられた状態で配置されることがある。この場合、撮像装置１０１によって撮影される表面は、物品１０６の側面となる。The top of the container 107 is open. Therefore, the imaging device 101 can capture an image of the inside of the container 107. If multiple items 106 are stacked in the container 107, the imaging device 101 captures an image of the surface of the item 106 placed on the topmost layer. If the item 106 has a roughly rectangular shape, such as a refrigerator or washing machine, the item 106 may be placed facing sideways, unlike when it is normally used. In this case, the surface captured by the imaging device 101 is the side of the item 106.

ある局面において、１または複数の物品１０６は、コンテナ１０７に搬入されて順次積層される。図１には、ＸＹＺの直交３軸座標系が示されており、Ｚ方向は、コンテナ１０７の底面に対して鉛直方向を示し、Ｘ方向及びＹ方向は、当該底面に平行な水平方向を示す。Ｚ方向は、物品１０６が積層される方向に対応する。Ｘ方向およびＹ方向は、各物品１０６が並べられる方向に対応し得る。In one aspect, one or more items 106 are loaded into a container 107 and stacked in sequence. FIG. 1 shows an XYZ orthogonal three-axis coordinate system, with the Z direction indicating a vertical direction relative to the bottom surface of the container 107, and the X and Y directions indicating horizontal directions parallel to the bottom surface. The Z direction corresponds to the direction in which the items 106 are stacked. The X and Y directions may correspond to the direction in which each item 106 is arranged.

撮像装置１０１は、固定用架台１０８に取り付けられており、視野方向に対する三次元領域内の三次元情報を取得する。撮像装置１０１の構成として、例えば、ある局面において２台のカメラを使用するステレオカメラ方式、他の局面において、レーザ変位計と単眼カメラとを用いる方式、さらに他の局面において、位相シフト法を用いたプロジェクターと単眼カメラとを用いる方式等が挙げられるが、これらに限られず、三次元情報を取得可能なその他の方式も使用され得る。The imaging device 101 is attached to a fixed stand 108 and acquires three-dimensional information within a three-dimensional area relative to the viewing direction. The imaging device 101 may be configured in a variety of ways, including, for example, a stereo camera system using two cameras in one aspect, a system using a laser displacement meter and a monocular camera in another aspect, and a system using a projector and a monocular camera using a phase shift method in yet another aspect, but is not limited to these, and other systems capable of acquiring three-dimensional information may also be used.

撮像装置１０１の測定範囲は、コンテナ１０７が占有する三次元領域全てを含む必要があるが、測定範囲が大きすぎると、測定分解能は低下する。したがって、ある局面において、測定範囲は、ロボット１０３で物品１０６を取り出す際に必要な精度に合わせた測定分解能から選定するが好ましい。なお、図１では、撮像装置１０１はコンテナ１０７の中央部上方の固定用架台１０８に配置されているが、他の局面において、撮像装置１０１は、ロボット１０３の先端部に取り付けられてもよい。The measurement range of the imaging device 101 needs to include the entire three-dimensional area occupied by the container 107, but if the measurement range is too large, the measurement resolution will decrease. Therefore, in some aspects, it is preferable to select the measurement range based on the measurement resolution that matches the accuracy required when the robot 103 picks up the item 106. Note that in FIG. 1, the imaging device 101 is disposed on a fixed stand 108 above the center of the container 107, but in other aspects, the imaging device 101 may be attached to the tip of the robot 103.

撮像装置１０１によって取得された三次元情報は、三次元点群データ、またはデプス画像といった方式で表現される。ある実施の形態において、三次元点群データとは、測定された三次元座標値（ｘ，ｙ，ｚ）のような三次元の点の集合として三次元情報を表現したものである。一例として、三次元の点の集合では、撮影された画像上の画素の座標値（ｘ，ｙ）ごとに高さ情報ｚが付与されている。The three-dimensional information acquired by the imaging device 101 is represented in a format such as three-dimensional point cloud data or a depth image. In one embodiment, three-dimensional point cloud data represents three-dimensional information as a set of three-dimensional points such as measured three-dimensional coordinate values (x, y, z). As an example, in a set of three-dimensional points, height information z is assigned to each coordinate value (x, y) of a pixel on the captured image.

一方、デプス画像とは、二次元画像に三次元情報を付与した画像であり、画像内の各画素の色や輝度値により、コンテナ１０７の底面からの高さを取得できる画像であり、または、撮像装置１０１からの距離を取得できる画像である。 On the other hand, a depth image is an image in which three-dimensional information is added to a two-dimensional image, and from the color and brightness value of each pixel in the image, the height from the bottom of the container 107 can be obtained, or the distance from the imaging device 101 can be obtained.

制御用装置１０２は、撮像装置１０１によって取得された三次元情報に基づいて、物品１０６の位置姿勢情報を導出する。本実施の形態において、位置姿勢情報とは、物品１０６の重心位置の座標値（ｘ，ｙ，ｚ）と、定義されたＸＹＺ座標系に対する物品１０６の傾きの座標値（φ，θ，ψ）との組み合わせである。取り出しの対象となる物品１０６の座標値（ｘ，ｙ，ｚ）および（φ，θ，ψ）がロボット１０３に通知されると、ロボット１０３は、そのハンド１０５を当該座標値に移動させて物品１０６を把持できる。The control device 102 derives position and orientation information of the item 106 based on the three-dimensional information acquired by the imaging device 101. In this embodiment, the position and orientation information is a combination of the coordinate values (x, y, z) of the center of gravity of the item 106 and the coordinate values (φ, θ, ψ) of the inclination of the item 106 with respect to a defined XYZ coordinate system. When the coordinate values (x, y, z) and (φ, θ, ψ) of the item 106 to be picked up are notified to the robot 103, the robot 103 can move its hand 105 to the coordinate values and grasp the item 106.

制御用装置１０２は、物品１０６の側面の三次元点群データに基づいて物品１０６の底面を判定し、物品１０６をコンテナ１０７から取り出す順序とコンベア１０９に配置する方向とを決定する。さらに、制御用装置１０２は、その決定した順序と方向とに基づいて、ロボットコントローラ１０４を制御する。The control device 102 determines the bottom surface of the item 106 based on the three-dimensional point cloud data of the side surface of the item 106, and determines the order in which the items 106 are removed from the container 107 and the direction in which they are placed on the conveyor 109. Furthermore, the control device 102 controls the robot controller 104 based on the determined order and direction.

ロボット１０３は、例えば多関節のアームマニピュレータであり、所定のワーキングエリア内で６自由度の位置及び姿勢を制御できるように構成されている。ロボット１０３は、そのハンド１０５を用いて物品１０６を把持して所望の位置まで物品１０６を移送できる。なお、ロボット１０３は、多関節のアームマニピュレータに限定されず、ほかのロボットであってもよい。The robot 103 is, for example, a multi-joint arm manipulator, and is configured to be able to control the position and orientation with six degrees of freedom within a predetermined working area. The robot 103 can grasp an item 106 using its hand 105 and transport the item 106 to a desired position. Note that the robot 103 is not limited to a multi-joint arm manipulator, and may be another type of robot.

ロボットコントローラ１０４は、制御用装置１０２から入力された動作指令に基づいて、各駆動軸モータ（図示しない）に駆動信号を送信し、ロボット１０３の動作を制御する。 The robot controller 104 transmits drive signals to each drive axis motor (not shown) based on the operation commands input from the control device 102, thereby controlling the operation of the robot 103.

ハンド１０５は、例えば、真空（負圧）を利用した吸着パッド（図示しない）、あるいは、吸引ノズル（図示しない）を備える。ハンド１０５は、位置および姿勢が検出された物品１０６の表面に接触して、物品１０６を１つずつ把持することで、コンベア１０９の位置まで移送できる。The hand 105 is equipped with, for example, a suction pad (not shown) that utilizes vacuum (negative pressure) or a suction nozzle (not shown). The hand 105 can move the articles 106 one by one to the position of the conveyor 109 by contacting the surface of the article 106 whose position and orientation have been detected and grasping the articles 106 one by one.

［コンテナ１０７における物品の積層状態］
図２を参照して、ある実施の形態に従う物品の配置について説明する。図２は、複数の物品がコンテナ１０７に積層された状態を上方から表わした図である。例えば、物品１０６－１は物品１０６－２の上に配置されている。また、物品１０６－５は物品１０６－４の上に配置されており、物品１０６－４は物品１０６－３の上に配置されている。 [Stacking state of items in container 107]
The arrangement of articles according to an embodiment will be described with reference to Fig. 2. Fig. 2 is a top view of a state in which a plurality of articles are stacked in a container 107. For example, article 106-1 is arranged on article 106-2. Also, article 106-5 is arranged on article 106-4, and article 106-4 is arranged on article 106-3.

物品１０６－１は、その側面１０６ｃが上を向いた状態となるようにコンテナ１０７に搬入されて積層される。この場合、物品１０６－１が撮像装置１０１によって撮影されると、上面１０６ａおよび底面１０６ｂは、画像からは判別しにくい状態となる。図２は、コンテナ１０７を上方から見た画像であり、この画像は、撮像装置１０１によって撮像された画像情報にそのまま相当する。図２に示されるＸＹＺ座標系は、ロボット１０３の動作座標系（図１に示されるＸＹＺ座標）にマッチングされる。 Item 106-1 is carried into container 107 and stacked with its side surface 106c facing upwards. In this case, when item 106-1 is photographed by imaging device 101, the top surface 106a and bottom surface 106b are difficult to distinguish from the image. Figure 2 is an image of container 107 viewed from above, and this image directly corresponds to the image information captured by imaging device 101. The XYZ coordinate system shown in Figure 2 is matched to the operating coordinate system of robot 103 (XYZ coordinates shown in Figure 1).

［制御用装置１０２の機能構成］
図３および図４を参照して、制御用装置１０２の構成について説明する。図３は、ある実施の形態に従う制御用装置１０２によって実現される機能の構成を表わすブロック図である。図４は、ある実施の形態に従って制御用装置１０２を実現するコンピュータ４００のハードウェア構成を表わすブロック図である。 [Functional configuration of the control device 102]
The configuration of the control device 102 will be described with reference to Figures 3 and 4. Figure 3 is a block diagram showing a configuration of functions realized by the control device 102 according to an embodiment. Figure 4 is a block diagram showing a hardware configuration of a computer 400 that realizes the control device 102 according to an embodiment.

図３に示されるように、制御用装置１０２は、入力部３１０と、記憶部３２０と、制御部３３０と、表示部３４０とを備える。制御部３３０は、解析部３３１と、識別部３３２と、動作計画部３３３と、取出制御部３３４と、終了判定部３３５とを含む。3, the control device 102 includes an input unit 310, a memory unit 320, a control unit 330, and a display unit 340. The control unit 330 includes an analysis unit 331, an identification unit 332, an operation planning unit 333, a removal control unit 334, and an end determination unit 335.

入力部３１０は、制御用装置１０２の外部からの信号の入力を受け付ける。入力される信号は、撮像装置１０１によって撮影された画像信号、搬送システム１０の管理者による操作信号、搬送システム１０以外のシステムから送信された信号等を含む。入力部３１０は、アナログ端子およびデジタル端子のいずれでもよい。The input unit 310 accepts input of signals from outside the control device 102. The input signals include image signals captured by the imaging device 101, operation signals by an administrator of the conveying system 10, signals transmitted from systems other than the conveying system 10, etc. The input unit 310 may be either an analog terminal or a digital terminal.

記憶部３２０は、制御用装置１０２の外部から入力された情報、および、制御用装置１０２によって生成されたデータを保持する。記憶部３２０は、たとえば、ある局面において、三次元情報３２１と、コンテナ内高さ情報３２２とを格納する。記憶部３２０は、ハードディスク、ＳＳＤ（Solid State Device）その他の不揮発性メモリやＲＡＭ（Random Access Memory）その他の揮発性メモリによって実現される。The memory unit 320 holds information input from outside the control device 102 and data generated by the control device 102. In one aspect, the memory unit 320 stores, for example, three-dimensional information 321 and container interior height information 322. The memory unit 320 is realized by a hard disk, a solid state device (SSD) or other non-volatile memory, or a random access memory (RAM) or other volatile memory.

制御部３３０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＣＵ（Micro Controller Unit）その他の汎用プロセッサによって、または、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）その他の専用プロセッサによって実現され得る。The control unit 330 may be realized by a CPU (Central Processing Unit), GPU (Graphics Processing Unit), MCU (Micro Controller Unit) or other general-purpose processor, or by an FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit) or other dedicated processor.

制御部３３０において、解析部３３１は、撮像装置１０１によって取得された三次元情報に基づいて、物品１０６の位置姿勢情報を出力する。当該位置姿勢情報は、一例として、物品１０６の重心位置の座標値（ｘ，ｙ，ｚ）と、定義されたＸＹＺ座標系に対する物品１０６の傾きの座標値（φ、θ、ψ）との組み合わせである。In the control unit 330, the analysis unit 331 outputs position and orientation information of the article 106 based on the three-dimensional information acquired by the imaging device 101. As an example, the position and orientation information is a combination of the coordinate values (x, y, z) of the center of gravity position of the article 106 and the coordinate values (φ, θ, ψ) of the inclination of the article 106 with respect to a defined XYZ coordinate system.

識別部３３２は、物品１０６の側面の三次元情報に基づいて、物品１０６の上面と底面とを識別し、底面の場所を示す情報を出力する。当該情報は、例えば、物品１０６を撮影した画像において、底面が当該画像に含まれる物品１０６の画像の右側又は左側のいずれに位置するか、若しくは、物品１０６の画像の上側又は下側のいずれに位置するかを表わす情報である。The identification unit 332 identifies the top and bottom surfaces of the item 106 based on the three-dimensional information of the side surface of the item 106, and outputs information indicating the location of the bottom surface. The information indicates, for example, whether the bottom surface is located on the right or left side of the image of the item 106 included in the image captured of the item 106, or whether the bottom surface is located on the upper or lower side of the image of the item 106.

動作計画部３３３は、解析部３３１から出力される物品１０６の位置姿勢情報と、識別部３３２によって識別される物品１０６の底面の場所を示す情報とに基づいて、コンテナ１０７から物品１０６を取り出す順序（単に「取り出し順」ともいう。）と、取り出された物品１０６のコンベア１０９に対する配置方向（「取り置き方向」ともいう。）を決定する。The operation planning unit 333 determines the order in which the items 106 are removed from the container 107 (also referred to simply as the "removal order") and the direction in which the removed items 106 are placed relative to the conveyor 109 (also referred to as the "placement direction") based on the position and orientation information of the items 106 output from the analysis unit 331 and information indicating the location of the bottom surface of the items 106 identified by the identification unit 332.

取出制御部３３４は、動作計画部３３３から出力される情報、すなわち、取り出し順と配置方向とに基づいて、ロボットコントローラに動作指令を送信する。The removal control unit 334 sends operation commands to the robot controller based on the information output from the operation planning unit 333, i.e., the removal order and placement direction.

終了判定部３３５は、コンテナ１０７内の高さ情報３２２と、取出制御部３３４からの出力結果とに基づいて、コンテナ１０７からの物品１０６の取り出しを終了するべきか否かを判定する。判定結果は、解析部３３１に送られる。The end determination unit 335 determines whether or not to end the removal of the items 106 from the container 107 based on the height information 322 inside the container 107 and the output result from the removal control unit 334. The result of the determination is sent to the analysis unit 331.

［コンピュータ４００の構成］
図４を参照して、コンピュータ４００の構成について説明する。図４は、制御用装置１０２として機能するコンピュータ４００のハードウェア構成を表わすブロック図である。 [Configuration of computer 400]
The configuration of the computer 400 will be described with reference to Fig. 4. Fig. 4 is a block diagram showing the hardware configuration of the computer 400 that functions as the control device 102.

コンピュータ４００は、主たる構成要素として、プログラムを実行するＣＰＵ１と、コンピュータ４００のユーザーによる指示の入力を受けるマウス２およびキーボード３と、ＣＰＵ１によるプログラムの実行により生成されたデータ、又はマウス２若しくはキーボード３を介して入力されたデータを揮発的に格納するＲＡＭ４と、データを不揮発的に格納する記憶装置５と、通信インターフェイス（Ｉ／Ｆ）７と、モニタ８とを含む。各構成要素は、相互にデータバスによって接続されている。 The main components of the computer 400 are a CPU 1 that executes a program, a mouse 2 and a keyboard 3 that receive instructions input by a user of the computer 400, a RAM 4 that volatilely stores data generated by the execution of the program by the CPU 1 or data input via the mouse 2 or keyboard 3, a storage device 5 that non-volatilely stores data, a communication interface (I/F) 7, and a monitor 8. The components are mutually connected by a data bus.

コンピュータ４００における処理は、各ハードウェアおよびＣＰＵ１により実行されるソフトウェアの協働によって実現される。このようなソフトウェアは、記憶装置５に予め記憶されている場合がある。また、ソフトウェアは、ＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）その他の記録媒体に格納されて、コンピュータプログラムとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なアプリケーションプログラムとして提供される場合もある。このようなソフトウェアは、光ディスク駆動装置（図示しない）その他の読取装置によりその記録媒体から読み取られて、あるいは、通信インターフェイス７を介してダウンロードされた後、記憶装置５に一旦格納される。そのソフトウェアは、ＣＰＵ１によって記憶装置５から読み出され、ＲＡＭ４に実行可能なプログラムの形式で格納される。ＣＰＵ１は、そのプログラムを実行する。 Processing in computer 400 is realized by the cooperation of each piece of hardware and software executed by CPU 1. Such software may be pre-stored in storage device 5. In addition, the software may be stored on a CD-ROM (Compact Disc Read-Only Memory) or other recording medium and distributed as a computer program. Alternatively, the software may be provided as a downloadable application program by an information provider connected to the Internet. Such software is read from the recording medium by an optical disk drive (not shown) or other reading device, or downloaded via communication interface 7, and then temporarily stored in storage device 5. The software is read from storage device 5 by CPU 1 and stored in RAM 4 in the form of an executable program. CPU 1 executes the program.

図４に示されるコンピュータ４００を構成する各構成要素は、一般的なものである。したがって、本開示に係る技術思想の本質的な部分の一つは、ＲＡＭ４、記憶装置５、ＣＤ－ＲＯＭその他の記録媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。当該記録媒体は、一時的でない（不揮発性の）、コンピュータ読取可能なデータ記録媒体を含み得る。なお、コンピュータ４００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。 Each of the components constituting computer 400 shown in FIG. 4 is general. Therefore, one of the essential parts of the technical idea of the present disclosure can be said to be software stored in RAM 4, storage device 5, CD-ROM or other recording medium, or software that can be downloaded via a network. The recording medium may include a non-transitory (non-volatile) computer-readable data recording medium. Note that the operation of each piece of hardware in computer 400 is well known, so a detailed description will not be repeated.

なお、記録媒体としては、ＣＤ－ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。 Note that recording media are not limited to CD-ROMs, FDs (Flexible Disks), and hard disks, but may also include media that carry programs in a fixed manner, such as magnetic tapes, optical disks (MOs (Magnetic Optical Discs)/MDs (Mini Discs)/DVDs (Digital Versatile Discs)), IC (Integrated Circuit) cards (including memory cards), optical cards, mask ROMs, EPROMs (Electronically Programmable Read-Only Memory), EEPROMs (Electronically Erasable Programmable Read-Only Memory), flash ROMs, and other semiconductor memories.

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。 The term "program" here refers not only to programs that can be executed directly by the CPU, but also to programs in source program format, compressed programs, encrypted programs, etc.

［制御構造］
図５および図６を参照して、ある実施の形態に従う搬送システム１０の制御構造について説明する。図５は、制御用装置１０２として機能するコンピュータ４００のＣＰＵ１が実行するメイン処理の一部を表わすフローチャートである。図５に示される処理は、例えば、搬送システム１０が動作を開始するトリガとして、撮像装置１０１が、撮像開始指令を受信すると開始する。撮像開始指令は、一例として、ロボット１０３がコンテナ１０７の範囲から退避した状態になった際に、ロボットコントローラ１０４から制御用装置１０２に送信されると、制御用装置１０２から撮像装置１０１に送信される。 [Control Structure]
A control structure of the transport system 10 according to an embodiment will be described with reference to Fig. 5 and Fig. 6. Fig. 5 is a flowchart showing a part of a main process executed by the CPU 1 of the computer 400 functioning as the control device 102. The process shown in Fig. 5 is started, for example, when the imaging device 101 receives an imaging start command as a trigger for the transport system 10 to start operating. As an example, when the robot 103 is in a state of being evacuated from the range of the container 107, the imaging start command is transmitted from the robot controller 104 to the control device 102, and then transmitted from the control device 102 to the imaging device 101.

図５を参照して、ステップＳ５１０にて、ＣＰＵ１は、三次元情報として三次元点群データを撮影画像から取得する。より具体的には、ＣＰＵ１は、撮像開始指令を撮像装置１０１に送信する。撮像装置１０１は、撮像開始指令の受信に応答して、コンテナ１０７に積層された物品１０６を撮像して、三次元情報を三次元点群データとして取得する。一例として撮像装置１０１がステレオカメラで構成される場合、三次元点群データの算出は、三角測量の原理に基づいたステレオマッチングにより取得される。ステレオマッチングの方式として、たとえば、注目点に対して４５度ずつに分けられた８方向から候補点を探索するＳＧＭ（Semi Global Matching）方式などが挙げられるが、ステレオマッチングは、公知の手法であるので、さらに詳細な説明は述べない。 With reference to FIG. 5, in step S510, the CPU 1 acquires three-dimensional point cloud data as three-dimensional information from the captured image. More specifically, the CPU 1 transmits an image capture start command to the image capture device 101. In response to receiving the image capture start command, the image capture device 101 captures images of the items 106 stacked in the container 107 and acquires the three-dimensional information as three-dimensional point cloud data. As an example, when the image capture device 101 is configured with a stereo camera, the calculation of the three-dimensional point cloud data is acquired by stereo matching based on the principle of triangulation. As a method of stereo matching, for example, an SGM (Semi Global Matching) method that searches for candidate points from eight directions divided by 45 degrees with respect to a point of interest, etc., can be mentioned, but since stereo matching is a well-known method, further detailed explanation will not be given.

ステップＳ５２０にて、ＣＰＵ１は、取得した三次元点群データから、物品１０６の取り出し制御に不要な三次元点群データを除去する。ステップＳ５２０において取得された三次元点群データは、コンテナ１０７の範囲外（コンテナ１０７の周辺）の三次元点群データまで含み得るため、不要な点群データを除去する必要がある。除去する手法としては、ロボット１０３の動作座標系（図１中のＸＹＺ座標）上でコンテナ１０７の範囲を表わす三次元座標値を予め定義しておき、ＣＰＵ１は、取得された三次元点群データから、コンテナ１０７の範囲を示す当該三次元座標に対応する三次元点群データを抽出することにより、コンテナ１０７の範囲外に相当する三次元点群データを除去できる。In step S520, CPU 1 removes from the acquired three-dimensional point cloud data three-dimensional point cloud data that is not necessary for controlling the removal of item 106. The three-dimensional point cloud data acquired in step S520 may include three-dimensional point cloud data outside the range of container 107 (around container 107), so it is necessary to remove the unnecessary point cloud data. As a removal method, three-dimensional coordinate values that represent the range of container 107 on the operating coordinate system of robot 103 (XYZ coordinates in FIG. 1) are defined in advance, and CPU 1 extracts three-dimensional point cloud data corresponding to the three-dimensional coordinates that represent the range of container 107 from the acquired three-dimensional point cloud data, thereby removing the three-dimensional point cloud data that corresponds to the range outside container 107.

ステップＳ５３０にて、ＣＰＵ１は、デプス画像を出力する。デプス画像は、一例として、１画素が２５６通りの階調をもつグレースケール画像であり、撮像装置１０１に近いものほど黒く、遠いものほど白く表される。In step S530, the CPU 1 outputs a depth image. The depth image is, for example, a grayscale image in which each pixel has 256 different gradations, and objects closer to the imaging device 101 are displayed as black and objects further away are displayed as white.

ステップＳ５４０にて、ＣＰＵ１は、デプス画像からノイズを除去する。ノイズを除去する手法は、例えば、メディアンフィルタ、スペックルフィルタなどを用いたフィルタリングによる手法である。メディアンフィルタやスペックルフィルタは、周知のフィルタ処理であるので、さらに詳細な説明は繰り返さない。In step S540, the CPU 1 removes noise from the depth image. The method for removing noise is, for example, a filtering method using a median filter, a speckle filter, or the like. The median filter and the speckle filter are well-known filter processes, so further detailed explanation will not be repeated.

ステップＳ５５０にて、ＣＰＵ１は、後述する物品認識処理を実行して、同じ段に積まれている物品を認識して、当該物品の位置および姿勢を推定する。この処理の詳細は、後述する（図６）。In step S550, the CPU 1 executes the item recognition process described below to recognize items stacked on the same level and estimate the position and orientation of the items. Details of this process will be described later (Figure 6).

ステップＳ５６０にて、ＣＰＵ１は、物品１０６の画像の面積が予め定められた面積以下であるか否かを判断する。本実施の形態において、予め定められた面積とは、画像上で一つの物品１０６が取り得る面積を予め定義した値である。このような定義は、例えば、撮像装置１０１からコンテナ１０７の収容面までの距離と、物品１０６の寸法データとに基づいて定義される。ＣＰＵ１は、物品１０６の画像の面積が予め定められた面積以下であると判断すると（ステップＳ５６０にてＹＥＳ）、物品１０６の輪郭を抽出した画像と、物品１０６の位置姿勢情報とを出力し、その後、処理を終了する。そうでない場合には（ステップＳ５６０にてＮＯ）、ＣＰＵ１は、制御をステップＳ５７０に切り替える。In step S560, CPU 1 determines whether the area of the image of item 106 is equal to or smaller than a predetermined area. In this embodiment, the predetermined area is a value that predefines the area that one item 106 can occupy on the image. Such a definition is defined, for example, based on the distance from imaging device 101 to the storage surface of container 107 and the dimensional data of item 106. When CPU 1 determines that the area of the image of item 106 is equal to or smaller than the predetermined area (YES in step S560), it outputs an image in which the contour of item 106 is extracted and the position and orientation information of item 106, and then ends the process. If not (NO in step S560), CPU 1 switches control to step S570.

ステップＳ５７０にて、ＣＰＵ１は、高さ方向の閾値処理を実行する。すなわち、物品１０６の画像が予め定められた面積より大きいと判断された場合には、ＣＰＵ１は、物品１０６と、物品１０６に隣接する他の物品とを１台として誤認識した可能性がある。そこで、ＣＰＵ１は、物品１０６と隣接する他の物品とを区別するために、誤認識した領域に対して高さ方向の閾値処理をする。この処理の詳細は、後述する（図８，図９）。In step S570, CPU 1 performs threshold processing in the height direction. That is, if it is determined that the image of item 106 is larger than a predetermined area, CPU 1 may have erroneously recognized item 106 and other items adjacent to item 106 as one unit. Therefore, CPU 1 performs threshold processing in the height direction on the erroneously recognized area in order to distinguish item 106 from other items adjacent to it. Details of this processing will be described later (Figures 8 and 9).

図６は、ＣＰＵ１によって実行される物品認識処理（Ｓ５５０）の詳細を表わすフローチャートである。 Figure 6 is a flowchart showing details of the item recognition process (S550) executed by CPU 1.

ステップＳ６１０にて、ＣＰＵ１は、デプス画像の二値化処理を実行する。より具体的には、以降の処理を行うために、ＣＰＵ１は、入力画像となるデプス画像に対して二値化処理を実行し、検出したい物品１０６の領域が黒となり、それ以外の領域が白となるような画像を生成する。このとき、ＣＰＵ１は、物品１０６が積層される段の高さに相当する輝度値を二値化の閾値として設定する。例えば、図１に例示されるように、コンテナ１０７内に物品１０６が３段に積まれる場合、１段目と２段目と３段目との各段数が取り得る高さの輝度値が事前に定義され得る。ＣＰＵ１は、この輝度値を二値化の閾値に設定することで、取り出しの対象となる最上段の物品１０６のみを抽出できる。なお、当該輝度値以外の値が当該閾値として設定されてもよい。In step S610, the CPU 1 performs binarization processing of the depth image. More specifically, in order to perform the subsequent processing, the CPU 1 performs binarization processing on the depth image that is the input image, and generates an image in which the area of the item 106 to be detected is black and the other areas are white. At this time, the CPU 1 sets a brightness value corresponding to the height of the tier on which the items 106 are stacked as the binarization threshold. For example, as illustrated in FIG. 1, when the items 106 are stacked in three tiers in the container 107, the brightness values of the possible heights of the first tier, the second tier, and the third tier can be defined in advance. The CPU 1 sets this brightness value as the binarization threshold, thereby being able to extract only the topmost item 106 to be removed. Note that a value other than the brightness value may be set as the threshold.

ステップＳ６２０にて、ＣＰＵ１は、二値化画像の色反転処理を実行する。より具体的には、ＣＰＵ１は、後述する処理を行うために、二値化画像の色反転を行い、検出したい物品１０６の領域が白となり、それ以外の領域が黒となるような画像を生成する。In step S620, CPU 1 performs color inversion processing of the binary image. More specifically, in order to perform the processing described below, CPU 1 performs color inversion of the binary image to generate an image in which the area of the item 106 to be detected is white and the other areas are black.

ステップＳ６３０にて、ＣＰＵ１は、収縮処理を実行する。ＣＰＵ１は、反転した二値化画像上のノイズである白領域を除去するために、収縮処理を行う。本実施の形態において、ＣＰＵ１は、収縮処理として、注目画素の周辺に１画素でも黒い画素があれば黒に置き換える。この処理が実行されることにより、物品１０６に隣接する他の物品を切り分ける効果も期待できる。この処理が実行された場合の画像の一例は後述する。In step S630, CPU 1 executes a contraction process. CPU 1 performs the contraction process to remove white areas that are noise on the inverted binary image. In this embodiment, CPU 1 performs the contraction process by replacing any black pixels around the pixel of interest with black. This process is expected to have the effect of separating other objects adjacent to object 106. An example of an image when this process is performed will be described later.

ステップＳ６４０にて、ＣＰＵ１は、収縮された物品１０６の領域を元の大きさに戻すために、膨張処理を行う。本実施の形態において、ＣＰＵ１は、膨張処理として、注目画素の周辺に１画素でも白い画素があれば、当該注目画素の色を白に置き換える。ＣＰＵ１は、収縮処理を行った後に膨張処理を行うことで、ノイズを除去しつつ、物品１０６のみを切り分けた状態の画像を得ることができる。In step S640, CPU 1 performs an expansion process to return the contracted area of object 106 to its original size. In this embodiment, CPU 1 performs the expansion process by replacing the color of the target pixel with white if there is even one white pixel around the target pixel. By performing the expansion process after the contraction process, CPU 1 can obtain an image in which only object 106 has been separated while removing noise.

ステップＳ６５０にて、ＣＰＵ１は、ラベリング処理を実行して物品１０６の輪郭を抽出する。より具体的には、まず、ＣＰＵ１は、ラベリング処理を行ない画像上の各物品を１つのオブジェクトとして検出する。次に、ＣＰＵ１は、ラベリング処理により検出されたオブジェクトに対して、外接矩形を導出して描画することにより、物品１０６の輪郭を抽出した画像を得ることができる。ＣＰＵ１は、この画像を表示部３４０としてのモニタ８に表示することで、物品１０６を認識していることを作業者に知らせることができる。In step S650, CPU 1 executes a labeling process to extract the contour of item 106. More specifically, CPU 1 first executes a labeling process to detect each item on the image as a single object. Next, CPU 1 derives and draws a circumscribing rectangle for the object detected by the labeling process, thereby obtaining an image in which the contour of item 106 has been extracted. CPU 1 can inform the operator that it has recognized item 106 by displaying this image on monitor 8 as display unit 340.

本実施の形態におけるラベリング処理は、注目画素の周辺に同じ画素値を有する画素がある領域を１つのオブジェクトとしてラベル付けを行なう処理をいう。例えば、検出された物品１０６の領域が白で表示される場合、ＣＰＵ１は、白い画素に着目することでラベル付けを行なうことができる。また、ＣＰＵ１は、ラベル付けされたオブジェクトから、当該オブジェクトの重心の位置を算出できる。この重心の位置は、認識された物品１０６の重心の座標値（ｘ，ｙ）となる。The labeling process in this embodiment refers to a process of labeling an area in which there are pixels with the same pixel value around a pixel of interest as one object. For example, if the area of the detected item 106 is displayed in white, the CPU 1 can perform labeling by focusing on the white pixels. Furthermore, the CPU 1 can calculate the position of the center of gravity of the labeled object from the object. This position of the center of gravity becomes the coordinate values (x, y) of the center of gravity of the recognized item 106.

デプス画像は、コンテナ１０７の底面からの高さに相当する高さ情報ｚを有する。したがって、算出された重心の位置を表わす座標値（ｘ，ｙ，ｚ）をロボット１０３の動作座標系に変換した座標値が、物品１０６の位置情報をロボット１０３に通知するために与えられる値となる。なお、Ｘ軸、Ｙ軸およびＺ軸の周りの各回転角度を（φ，θ，ψ）と定義すると、ＣＰＵ１は、ラベル付けされたオブジェクトの輪郭情報と、デプス画像の高さ情報とを用いることで、角度（φ，θ，ψ）を算出できる。位置情報と同様に、ＣＰＵ１は、算出した角度をロボット１０３の動作座標系に変換することにより、物品１０６の姿勢を示す情報を導出する。当該情報がロボット１０３に送信されると、ロボット１０３は、その情報に基づいてハンド１０５の動作を制御し得る。The depth image has height information z corresponding to the height from the bottom surface of the container 107. Therefore, the coordinate values obtained by converting the calculated coordinate values (x, y, z) representing the position of the center of gravity into the motion coordinate system of the robot 103 are the values given to inform the robot 103 of the position information of the item 106. If the rotation angles around the X-axis, Y-axis, and Z-axis are defined as (φ, θ, ψ), the CPU 1 can calculate the angles (φ, θ, ψ) by using the contour information of the labeled object and the height information of the depth image. As with the position information, the CPU 1 derives information indicating the posture of the item 106 by converting the calculated angle into the motion coordinate system of the robot 103. When the information is transmitted to the robot 103, the robot 103 can control the operation of the hand 105 based on the information.

ステップＳ６５０の後、制御はメイン処理に戻される。図６に示される処理が完了すると、ラベリング処理後の画像と、物品１０６の位置姿勢情報とが生成される。After step S650, control is returned to the main process. When the process shown in FIG. 6 is completed, an image after the labeling process and position and orientation information of the item 106 are generated.

図７を参照して、画像処理により抽出される画像について説明する。図７は、ＣＰＵ１による上記の処理が実行されている場合に取得される画像を模式的に表わした図である。複数の物品１０６は、図１に示されるように、２段または３段に積層されている。図７は、コンテナ１０７を上方から見た場合を示しているため、２段または３段の区別がつかない状態である。そこで、ＣＰＵ１は、上述のような画像処理を行ない、取り出しの対象となる物品、すなわち、最上段に積層されている物品を認識する。 With reference to Figure 7, an image extracted by image processing will be described. Figure 7 is a schematic diagram of an image acquired when the above processing is being executed by CPU 1. As shown in Figure 1, a number of items 106 are stacked in two or three layers. As Figure 7 shows the container 107 as viewed from above, it is not possible to distinguish between two and three layers. Therefore, CPU 1 performs the image processing described above to recognize the item to be removed, i.e., the item stacked on the top layer.

画像７１０は、図２に示される画像をデプス画像として表示した画像である。画像７１０において、画像７１０ａと画像７１０ｂとは、近い色で表示されている。従って、ＣＰＵ１は、画像７１０ａに対応する物品と、画像７１０ｂに対応する物品とが、同じ高さに配置されていると判断し得る。また、ＣＰＵ１は、それ以外の４つの画像７１０ｃ，７１０ｄ，７１０ｅ，７１０ｆが同じ高さに配置されていると判定し得る。この場合、画像７１０ｃ，７１０ｄ，７１０ｅ，７１０ｆに相当する物品は、図１に示されるように、最上段（三段目）に配置されている物品に相当するため、これらの物品に相当する画像は、画像７１０ａ，７１０ｂよりも濃い色を有するデプス画像として表示されている。その後、ＣＰＵ１は、画像７１０に対して二値化処理（ステップＳ６１０）を行ない、画像７２０を抽出する。 Image 710 is an image in which the image shown in FIG. 2 is displayed as a depth image. In image 710, images 710a and 710b are displayed in similar colors. Therefore, CPU 1 may determine that the item corresponding to image 710a and the item corresponding to image 710b are arranged at the same height. CPU 1 may also determine that the other four images 710c, 710d, 710e, and 710f are arranged at the same height. In this case, the items corresponding to images 710c, 710d, 710e, and 710f correspond to the items arranged on the top row (third row) as shown in FIG. 1, so the images corresponding to these items are displayed as depth images having darker colors than images 710a and 710b. Then, CPU 1 performs binarization processing (step S610) on image 710 to extract image 720.

画像７２０は、コンテナ１０７の最上段に配置された４つの物品に対応する画像７２０ｃ，７２０ｄ，７２０ｅ，７２０ｆを含む。デプス画像では、高さに応じ適度値が変わるため、物品が積層されている高さ（１段、２段、３段など）に応じた輝度値を閾値として予め設定しておくことにより、ＣＰＵ１は、二値化処理を行なうときに最上段に配置されている物品に相当する画像を抽出できる。Image 720 includes images 720c, 720d, 720e, and 720f corresponding to the four items arranged on the top layer of container 107. In a depth image, the value changes according to the height, so by presetting a brightness value according to the height at which the items are stacked (one layer, two layers, three layers, etc.) as a threshold value, CPU 1 can extract an image corresponding to the item arranged on the top layer when performing binarization processing.

その後、ＣＰＵ１は、画像７２０に対する色反転処理を行ない（ステップＳ６２０）、画像７３０を導出する。画像７３０では、検出したい物品の領域が白色で示され、その他の領域が黒色で示されている。CPU 1 then performs color inversion processing on image 720 (step S620) to derive image 730. In image 730, the area of the item to be detected is shown in white, and the other areas are shown in black.

次に、ＣＰＵ１は、画像７３０について収縮処理を行ない（ステップＳ６３０）、画像７４０を導出する。例えば、ＣＰＵ１は、画素７３０ａ，７３０ｂのように周辺が黒色で囲まれた白い領域がノイズであると見なして、当該白い領域を黒に置き換えて、当該ノイズを除去する。Next, CPU 1 performs a contraction process on image 730 (step S630) to derive image 740. For example, CPU 1 considers white areas surrounded by black, such as pixels 730a and 730b, to be noise, and replaces the white areas with black to remove the noise.

さらに、ＣＰＵ１は、画像７４０に対して膨張処理を行ない（ステップＳ６４０）、収縮された領域が元の大きさの領域に戻された画像７５０を導出する。画像７５０は、画像７３０と違ってノイズが除去された状態を示している。Furthermore, CPU 1 performs an expansion process on image 740 (step S640) to derive image 750 in which the contracted area is returned to the original size. Unlike image 730, image 750 shows a state in which noise has been removed.

その後、ＣＰＵ１は、画像７５０に対してラベリング処理を行なってオブジェクトを抽出し（ステップＳ６５０）、画像７６０に示されるように、当該オブジェクトに外接する矩形領域７６０ａ，７６０ｂ，７６０ｃ，７６０ｄを決定する。Then, CPU 1 performs a labeling process on image 750 to extract objects (step S650) and determines rectangular regions 760a, 760b, 760c, and 760d that circumscribe the objects, as shown in image 760.

［高さ方向の閾値処理］
図８および図９を参照して、高さ方向の閾値処理の詳細について説明する。図８は、同種の二つの物品８１０ａ，８１０ｂが並んだ状態を表わす図である。図９は、高さ方向の閾値処理が行なわれる場合にＣＰＵ１に取得されるデータを模式的に表わした図である。 [Height Threshold Processing]
The details of the threshold processing in the height direction will be described with reference to Fig. 8 and Fig. 9. Fig. 8 is a diagram showing two articles 810a and 810b of the same kind arranged side by side. Fig. 9 is a diagram showing data obtained by the CPU 1 when the threshold processing in the height direction is performed.

図８には、同種の物品として、廃棄された洗濯機が例示されているが、当該物品は洗濯機に限られず、エアコン、冷蔵庫その他の電化製品であってもよい。また、物品は廃棄されたものに限られず、リサイクルあるいはリユースされるものであってもよい。 In Figure 8, a discarded washing machine is shown as an example of an item of the same type, but the item is not limited to a washing machine and may be an air conditioner, a refrigerator, or other electrical appliance. Also, the item is not limited to being discarded, but may be something that can be recycled or reused.

ある局面において、複数の物品８１０ａ，８１０ｂは、互いに密接した状態でコンテナ１０７に配置される場合がある。この場合、物品８１０ａと物品８１０ｂとは、隙間がない状態で配置されることもあり得る。デプス画像は、２５６通りの階調でしか高さを表現できないため、ＣＰＵ１は、解析部３３１として、物品８１０ａ，８１０ｂを一つの物品として認識する場合もあり得る。In some situations, multiple items 810a, 810b may be placed in container 107 in close proximity to each other. In this case, items 810a and 810b may be placed without any gaps between them. Since a depth image can only represent height in 256 different gradations, CPU 1, as analysis unit 331, may recognize items 810a, 810b as a single item.

例えば、図９（Ａ）を参照して、ＣＰＵ１は、ラベリング処理の結果、矩形領域９１１，９１２，９１３を抽出している。矩形領域９１２，９１３は、それぞれ、一つの物品に対応する領域としてラベル付けされている。これに対して、矩形領域９１１は、二つの物品（例、洗濯機）の画像に対応する領域９１１ａ，９１１ｂを含むが、ＣＰＵ１は、矩形領域９１１を一つの物品に対応する領域として認識する。For example, referring to FIG. 9A, CPU 1 extracts rectangular regions 911, 912, and 913 as a result of the labeling process. Rectangular regions 912 and 913 are each labeled as regions corresponding to one item. In contrast, rectangular region 911 includes regions 911a and 911b that correspond to images of two items (e.g., a washing machine), but CPU 1 recognizes rectangular region 911 as a region corresponding to one item.

そこで、ＣＰＵ１は、誤認識した領域に対してのみ、高さ方向の閾値処理を行い、一つの物品を二つの物品に切り分ける処理を行なう。Therefore, CPU 1 performs threshold processing in the height direction only on the area that has been misrecognized, and performs processing to divide one item into two items.

より具体的には、図９（Ｂ）に示されるように、ＣＰＵ１は、Ｚ方向の最小値ｚｍｉｎに高さ方向のオフセット値ｚｏｆｆｓｅｔを加算した値を、高さ方向の閾値として設定する。このためには、ＣＰＵ１は、三次元点群データを参照して、隙間部の高さに相当する最小値ｚｍｉｎを得る必要がある。 9B, the CPU 1 sets the value obtained by adding the height offset value z offset to the Z minimum value z min as the height threshold value. To this end, the CPU 1 needs to obtain the minimum value z min corresponding to the height of the gap by referring to the three-dimensional point cloud data.

まず、図８のＸ方向に対して、任意のＹ座標値における物品８１０ａ，８１０ｂの表面（側面）を走査して、物品８１０ａ，８１０ｂの高さプロファイル９２０を取得する。隙間部の最小値ｚｍｉｎは、取得された高さプロファイル９２０の最小値に相当する。 First, the surfaces (side surfaces) of the articles 810a and 810b at any Y coordinate value are scanned in the X direction in Fig. 8 to obtain height profiles 920 of the articles 810a and 810b. The minimum value z min of the gap corresponds to the minimum value of the obtained height profile 920.

次に、高さ方向のオフセット値ｚｏｆｆｓｅｔについては、隙間部の最小値ｚｍｉｎと、物品８１０ａ，８１０ｂの側面の高さｚｐｌａｎｅとの間の値が予め設定されている。ＣＰＵ１は、このようにして算出された高さ方向の閾値を用いて、Ｚ方向に閾値処理を行う。このとき、ＣＰＵ１は、当該閾値以下の三次元点群データをデプス画像上の白に相当する高さｚに置き換えることで、デプス画像上の隙間部を白で表すことができる。すなわち、図９（Ｃ）に示される画像９３０に含まれる画像９３１ａ，９３０ｂのように、ＣＰＵ１は、一つの物品として誤認識した物品８１０ａ，８１０ｂを二つの物品として正しく認識することができる。 Next, for the offset value z offset in the height direction, a value between the minimum value z min of the gap and the height z plane of the side surface of the items 810a and 810b is set in advance. The CPU 1 performs threshold processing in the Z direction using the height threshold calculated in this way. At this time, the CPU 1 can represent the gap in the depth image in white by replacing the three-dimensional point cloud data below the threshold with a height z corresponding to white on the depth image. That is, as in the images 931a and 930b included in the image 930 shown in FIG. 9C, the CPU 1 can correctly recognize the items 810a and 810b that were erroneously recognized as one item as two items.

ここで図２を再び参照して、ＣＰＵ１は、識別部３３２として、撮像装置１０１によって撮影された画像から、コンテナ１０７に積層された物品１０６の底面と上面とを識別する。ＣＰＵ１は、物品１０６の底面を識別して、当該底面がコンベア１０９において同一方向を向くようにロボット１０３による物品１０６の搬送および配置を制御することで、各物品１０６が配置される向き（物品１０６の姿勢）を統一できる。例えば、コンテナ１０７から取り出された各物品１０６は、その上面または底面が揃えられてコンベア１０９に配置される。2 again, CPU 1, as identification unit 332, identifies the bottom and top surfaces of items 106 stacked in container 107 from the image captured by imaging device 101. CPU 1 identifies the bottom surfaces of items 106 and controls the transport and placement of items 106 by robot 103 so that the bottom surfaces face the same direction on conveyor 109, thereby making it possible to standardize the orientation in which each item 106 is placed (the posture of items 106). For example, each item 106 removed from container 107 is placed on conveyor 109 with its top or bottom surface aligned.

これにより、作業者がコンベア１０９に載せられた物品１０６を解体する工程では、同種の物品１０６は同じ方向を向いていた方が解体作業を効率よく行うことができる。これは、例えば、物品１０６が洗濯機である場合、トップカバーや運転操作パネルは、当該洗濯機の上面に取り付けられているため、各洗濯機が同じ方向に並べられていれば、解体作業を行う作業者は、その上面側に位置することで、上面側に移動する手間が省けるからである。また、物品１０６から一部の部品を取り外すために設備や工具が使用される場合も、上面側のみに設置しておくことで、設備や工具をコンベア１０９の両方に配置する必要がなくなる。As a result, in the process in which workers dismantle the items 106 placed on the conveyor 109, the dismantling work can be performed more efficiently if the same type of items 106 are facing the same direction. For example, if the items 106 are washing machines, the top cover and operation panel are attached to the top surface of the washing machine, so if the washing machines are lined up in the same direction, the worker performing the dismantling work can position himself on the top side, thereby saving the trouble of moving to the top side. Also, even if equipment or tools are used to remove some parts from the items 106, by installing them only on the top side, it becomes unnecessary to place the equipment or tools on both sides of the conveyor 109.

［底面の識別］
そこで、図１０および図１１を参照して、物品の底面の識別について説明する。図１０は、廃棄された物品１０６が側面を上にして（横方向に）配置された状態を表わす図である。図１１は、物品１０６の表面をＸ方向に走査することにより得られたプロファイルを表わす図である。ある局面において、物品の底面の識別は、当該物品の側面にある取っ手の三次元形状に基づいて行なわれる。 [Bottom Identification]
Now, the identification of the bottom surface of an article will be described with reference to Fig. 10 and Fig. 11. Fig. 10 is a diagram showing a state in which a discarded article 106 is placed sideways (horizontally). Fig. 11 is a diagram showing a profile obtained by scanning the surface of the article 106 in the X direction. In one aspect, the identification of the bottom surface of an article is performed based on the three-dimensional shape of a handle on the side of the article.

一例として、図１０に示されるように、廃棄された物品１０６に対して、撮像装置１０１は、Ｘ方向に走査すると、ＣＰＵ１は、物品１０６の高さ情報として、高さプロファイルを取得できる。As an example, as shown in FIG. 10, when the imaging device 101 scans the discarded item 106 in the X direction, the CPU 1 can obtain a height profile as height information of the item 106.

例えば、物品１０６の取っ手が、ｙ軸方向に、物品１０６の側面の端から１００ｍｍ≦ｙ≦２００ｍｍの範囲で設けられているとする。この場合、図１１（Ａ）に示されるように、ＣＰＵ１は、解析部３３１から出力された物品の領域に対して、ｙ＝０から順に高さプロファイルを取得していく。取っ手が存在しない範囲（すなわち、０≦ｙ＜１００ｍｍ、および、２００＜ｙ≦Ｙｍａｘ（物品１０６の最大の幅））では、高さプロファイル１１１０のように物品１０６の側面に沿った直線上のプロファイルが得られる。For example, suppose that the handle of the item 106 is located in the y-axis direction in the range of 100 mm≦y≦200 mm from the edge of the side of the item 106. In this case, as shown in FIG. 11A, the CPU 1 acquires height profiles for the area of the item output from the analysis unit 331, starting from y=0. In the range where no handle exists (i.e., 0≦y<100 mm and 200<y≦Ymax (maximum width of the item 106)), a linear profile along the side of the item 106 is obtained, as in height profile 1110.

一方、図１１（Ｂ）に示されるように、ＣＰＵ１は、取っ手が存在する部分について、Ｘ方向に走査すると、高さプロファイル１１２０を得る。高さプロファイル１１２０では、取っ手の幅（高さ）に相当する部分１１３０は、切り欠き形状のように示される。これは、人が廃家電を持ち上げやすくなるように、取っ手には廃家電側面に対して一定の傾きを有しているからである。 On the other hand, as shown in Fig. 11(B), when the CPU 1 scans the part where the handle is present in the X direction, it obtains a height profile 1120. In the height profile 1120, a part 1130 corresponding to the width (height) of the handle is shown as having a notched shape. This is because the handle has a certain inclination with respect to the side of the discarded home appliance so that a person can easily lift the discarded home appliance.

つまり、物品１０６が取っ手を有する場合は、ＣＰＵ１は、ＸＺ平面上の取っ手に相当する直線の傾きｔａｎθを算出することで、物品１０６の底面を識別できる。取っ手の存在の判定は、たとえば、取得した高さプロファイル１１２０の最小値Ｚｍｉｎと最大値Ｚｍａｘと差が予め設定された閾値を超えたことに基づいて、あるいは、取っ手（の開口部の高さ）に相当する長さを有する直線部と、取っ手に相当する傾きとが検出されたことに基づいて行なわれる。 That is, if the article 106 has a handle, the CPU 1 can identify the bottom surface of the article 106 by calculating the inclination tan θ of a straight line that corresponds to the handle on the XZ plane. The presence of a handle is determined, for example, based on the difference between the minimum value Z min and the maximum value Z max of the acquired height profile 1120 exceeding a preset threshold value, or based on the detection of a straight line portion having a length corresponding to the handle (the height of the opening of the handle) and an inclination corresponding to the handle.

高さプロファイル１１２０のように、取っ手に相当する直線部とＸ軸の正の向きとがなす角度θが、０度から９０度である場合は、廃家電を持ち上げる向きがＸ軸の負の向きと一致するので、ＣＰＵ１は、物品１０６の底面は右端に存在すると判定し得る。一方、取っ手に相当する直線とＸ軸の正の向きとがなす角度θが、９０度から１８０度の範囲に含まれる場合には、物品１０６を持ち上げる向き、すなわち、取っ手に作用する向きがＸ軸の正の向きと一致するので、ＣＰＵ１は、物品１０６の底面が左端にあると判定し得る。Like height profile 1120, when the angle θ between the straight line corresponding to the handle and the positive direction of the X-axis is between 0 and 90 degrees, the direction in which the discarded home appliance is lifted coincides with the negative direction of the X-axis, so CPU 1 can determine that the bottom surface of item 106 is at the right end. On the other hand, when the angle θ between the straight line corresponding to the handle and the positive direction of the X-axis is within the range of 90 to 180 degrees, the direction in which item 106 is lifted, i.e., the direction acting on the handle, coincides with the positive direction of the X-axis, so CPU 1 can determine that the bottom surface of item 106 is at the left end.

また、他の局面において、ＣＰＵ１は、物品１０６の側面にある取っ手の三次元位置情報に基づいて、物品１０６の底面を識別してもよい。一般的に、物品１０６の取っ手は、搬送時の安定性の観点から、重心位置よりも上部に取り付けられることが多い。そのため、ＣＰＵ１は、上述のプロファイルを用いて取っ手の位置を認識した後に、取っ手の位置が、（Ｘ軸に沿った）高さプロファイル１１２０において真ん中よりも左側にある場合は、ＣＰＵ１は、物品１０６の底面が右端にあると判定し得る。一方、取っ手の位置が高さプロファイル１１２０において真ん中よりも右側にある場合は、ＣＰＵ１は、物品１０６の底面が左端にあると判定し得る。In another aspect, the CPU 1 may identify the bottom surface of the item 106 based on the three-dimensional position information of the handle on the side of the item 106. Generally, the handle of the item 106 is often attached above the center of gravity from the viewpoint of stability during transportation. Therefore, after the CPU 1 recognizes the position of the handle using the above-mentioned profile, if the position of the handle is to the left of the center in the height profile 1120 (along the X-axis), the CPU 1 may determine that the bottom surface of the item 106 is at the right end. On the other hand, if the position of the handle is to the right of the center in the height profile 1120, the CPU 1 may determine that the bottom surface of the item 106 is at the left end.

このように、ＣＰＵ１は、物品１０６の取っ手の三次元形状や位置を認識することで、物品１０６の側面の三次元情報に基づいて、その底面を認識できる。ＣＰＵ１は、識別部３３２として、物品１０６の識別された底面の情報（底面が右側あるいは左側のいずれにあるか等）を生成する。In this way, by recognizing the three-dimensional shape and position of the handle of the item 106, the CPU 1 can recognize the bottom surface of the item 106 based on the three-dimensional information of the side surface of the item 106. The CPU 1, as the identification unit 332, generates information on the identified bottom surface of the item 106 (such as whether the bottom surface is on the right or left side).

ＣＰＵ１は、動作計画部３３３として、解析部３３１として算出した物品１０６の位置姿勢情報に基づいて物品１０６の取り出し順序を決定する。さらに、ＣＰＵ１は、識別部３３２として算出した物品１０６の底面の情報に基づいて、物品１０６の取り置き方向（上面あるいは底面をどちらに揃えるかといった配置方向）を決定する。取り出し順序を決める際は、好ましくは、ＣＰＵ１は、同じ段数に積層された物品１０６の中でも最も高い位置にあるものやロボット１０３から距離が近いものを優先して決める。取り置き方向を決める際は、ＣＰＵ１は、コンベア１０９に対して、物品１０６の底面が同一方向を向くように決定し得る。ＣＰＵ１は、動作計画部３３３として、決定した取り出し順序に基づいて、物品１０６の位置姿勢情報と、取り置き方向を示す情報とを、取出制御部３３４に出力する。The CPU 1, as the operation planning unit 333, determines the order of taking out the items 106 based on the position and orientation information of the items 106 calculated as the analysis unit 331. Furthermore, the CPU 1 determines the placement direction of the items 106 (the arrangement direction, such as whether the top or bottom faces are aligned) based on the information of the bottom faces of the items 106 calculated as the identification unit 332. When determining the order of taking out, the CPU 1 preferably gives priority to the items 106 that are in the highest position among the items 106 stacked in the same number of layers or that are closest to the robot 103. When determining the placement direction, the CPU 1 may determine that the bottom faces of the items 106 face the same direction relative to the conveyor 109. The CPU 1, as the operation planning unit 333, outputs the position and orientation information of the items 106 and information indicating the placement direction to the take-out control unit 334 based on the determined order of taking out.

取出制御部３３４は、物品１０６の位置姿勢情報と取り置き方向を示す情報とに基づいて、ロボット１０３を制御するように、ロボットコントローラ１０４に動作指令を送る。取出制御部３３４は、同じ段数に積まれている物品１０６の取り出しが完了したと判断すると、取り出し完了トリガを終了判定部３３５に出力する。The removal control unit 334 sends an operation command to the robot controller 104 to control the robot 103 based on the position and orientation information of the item 106 and information indicating the placement direction. When the removal control unit 334 determines that removal of the items 106 stacked in the same tier has been completed, it outputs a removal completion trigger to the end determination unit 335.

ＣＰＵ１は、終了判定部３３５として、コンテナ１０７に物品１０６が残っているか否かを判定し、物品１０６が残っていないと判断すると、搬送の処理を終了する。例えば、物品１０６がコンテナに３段に積まれている場合、最上段である３段目から取り出しが行われるため、取出制御部３３４による１度目の取り出し処理が終了した段階では、コンテナ１０７には２段分の物品１０６が残っていることになる。そこで、ＣＰＵ１は、終了判定部３３５として、コンテナ１０７内の高さ情報を参照し、物品１０６を取り出す段数がまだ残っている場合は、解析部３３１として上述の処理を再度実行し、物品１０６の取り出しを継続する。The CPU 1, functioning as the end determination unit 335, determines whether any items 106 remain in the container 107, and ends the transport process if it determines that no items 106 remain. For example, if the items 106 are stacked in three layers in the container, removal will begin from the top layer, the third layer, so that when the first removal process by the removal control unit 334 is completed, two layers of items 106 remain in the container 107. Therefore, the CPU 1, functioning as the end determination unit 335, refers to height information within the container 107, and if there are still layers remaining from which to remove the items 106, executes the above-mentioned process again as the analysis unit 331 to continue removing the items 106.

なお、上述の実施の形態では、各物品１０６は、側面が上を向く状態でコンテナ１０７に配置されている場合にロボット１０３による搬出が行なわれる場合が例示された。他の局面において、コンテナ１０７に置かれた物品１０６の一部が、他の物品１０６により生じた段差によって傾いている場合があり得る。このような場合に備えて、撮像装置１０１によって撮影された画像を用いて物品１０６が傾いているか否かが判定されてもよい。例えば、物品１０６が傾いている場合は、上面又は底面と二つの側面という３つの面に相当する領域が画像で認識され得る。そこで、ＣＰＵ１は、撮影された画像から３つの面に相当する領域を検出した場合には物品１０６が傾いて配置されていると判定し得る。あるいは、他の局面において、物品の認識をした際に取得される傾きの座標値（φ、θ、ψ）に対して閾値処理が行なわれてもよい。この場合、ＣＰＵ１は、当該座標値が閾値を超えた場合に、物品を取り出しできない傾きで配置されているとして判定し得る。In the above embodiment, the robot 103 removes each of the objects 106 when the object is placed in the container 107 with its side facing up. In other aspects, a part of the object 106 placed in the container 107 may be tilted due to a step caused by another object 106. In preparation for such a case, the image captured by the imaging device 101 may be used to determine whether the object 106 is tilted. For example, when the object 106 is tilted, an area corresponding to three surfaces, the top or bottom surface and two side surfaces, may be recognized in the image. Thus, when the CPU 1 detects an area corresponding to three surfaces from the captured image, the CPU 1 may determine that the object 106 is placed at an angle. Alternatively, in other aspects, threshold processing may be performed on the coordinate values (φ, θ, ψ) of the tilt acquired when the object is recognized. In this case, when the coordinate values exceed the threshold, the CPU 1 may determine that the object is placed at an angle at which it cannot be removed.

実施の形態２．
実施の形態１において、コンテナ１０７の側面部の位置情報、具体的にはコンテナの柵にあたる部分の三次元座標値を予めロボットコントローラ１０４に登録し、ハンド１０５がコンテナ１０７に接触する前に取り出し動作を中止する機能を備える。この機能により、ハンド１０５がコンテナ１０７の側面部と接触し、破損することを防ぐことができる。なお、実施の形態２に従う搬送システムのハードウェア構成は、実施の形態１に従う搬送システム１０のハードウェア構成と同じである。従って、ハードウェア構成の説明は繰り返さない。 Embodiment 2.
In the first embodiment, position information of the side surface of the container 107, specifically, the three-dimensional coordinate values of the portion of the container that corresponds to the fence, is registered in advance in the robot controller 104, and the removal operation is stopped before the hand 105 comes into contact with the container 107. This function makes it possible to prevent the hand 105 from coming into contact with the side surface of the container 107 and damaging it. The hardware configuration of the transport system according to the second embodiment is the same as the hardware configuration of the transport system 10 according to the first embodiment. Therefore, description of the hardware configuration will not be repeated.

図１２は、実施の形態２に従う搬送システムのコンテナにおける物品の状態を表わす図である。より詳しくは、図１２（Ａ）は、物品１０６の吸着面の大きさが、ハンド１０５よりも小さく、かつ物品１０６がコンテナ１０７に接近している場合を示している。この場合、ハンド１０５がコンテナ１０７と接触するため、搬送システムは、搬送動作を中止する。図１２（Ｂ）は、物品１０６の吸着面の大きさが、ハンド１０５よりも小さいが、物品１０６がコンテナ１０７から一定距離離れている場合を示している。この場合、搬送システムは搬送動作を継続することができる。コンテナ１０７の設置位置がばらつく場合には、搬送システムは、コンテナ１０７を設置した直後に、撮像装置１０１を用いてコンテナ１０７の側面情報、具体的にはコンテナの柵に当たる部分の三次元座標値を測定し、測定した三次元座標値を制御部１０２に送信する。コンテナ１０７の側面部の三次元座標値と、物品１０６の吸着位置の三次元座標値との関係から、搬送システムは、搬送の継続または中止の判断を行なってもよい。12 is a diagram showing the state of an object in a container of a conveying system according to embodiment 2. More specifically, FIG. 12(A) shows a case where the size of the suction surface of the object 106 is smaller than that of the hand 105 and the object 106 is approaching the container 107. In this case, the hand 105 comes into contact with the container 107, and the conveying system stops the conveying operation. FIG. 12(B) shows a case where the size of the suction surface of the object 106 is smaller than that of the hand 105, but the object 106 is a certain distance away from the container 107. In this case, the conveying system can continue the conveying operation. If the installation position of the container 107 varies, the conveying system uses the imaging device 101 to measure side information of the container 107, specifically, the three-dimensional coordinate value of the part of the container that hits the fence, immediately after installing the container 107, and transmits the measured three-dimensional coordinate value to the control unit 102. The transport system may determine whether to continue or stop transport based on the relationship between the three-dimensional coordinate values of the side surface of the container 107 and the three-dimensional coordinate values of the suction position of the article 106.

実施の形態３．
図１３を参照して、実施の形態３について説明する。図１３は、実施の形態３に従う搬送システム１３００の構成の一例を表わす図である。搬送システム１３００は、実施の形態１に従う搬送システム１０の構成に対して、ハンド１０５がエアブロー１３１０を備える点で搬送システム１０と異なる。その他の構成は、搬送システム１０のハードウェア構成と同じである。したがって、同じハードウェア構成の説明は繰り返さない。 Embodiment 3.
A third embodiment will be described with reference to Fig. 13. Fig. 13 is a diagram showing an example of a configuration of a transport system 1300 according to the third embodiment. The transport system 1300 differs from the transport system 10 according to the first embodiment in that the hand 105 includes an air blower 1310. The other configuration is the same as the hardware configuration of the transport system 10. Therefore, the description of the same hardware configuration will not be repeated.

搬送システム１３００は、コンテナ１０７内の物品１０６を吸着する直前で、吸着する面に付着した水滴、ほこりなどの異物をエアブロー１３１０で除去し、吸着面を清掃する。これにより、吸着力の低下や吸着ヘッドの詰まりが、抑制され得る。Just before picking up the item 106 in the container 107, the conveying system 1300 uses the air blower 1310 to remove water droplets, dust, and other foreign matter adhering to the pick-up surface, cleaning the pick-up surface. This can prevent a decrease in the pick-up force and clogging of the pick-up head.

以上開示された技術的特徴は、以下のように要約され得る。
［構成１］ある実施の形態に従う搬送システム１０は、第１領域（たとえば、コンテナ１０７）に積層された複数の物品１０６を３次元計測することにより得られた複数の物品の三次元情報の入力を受け付ける入力部（たとえば、入力端子）と、第１領域から、第１領域と異なる第２領域（たとえば、コンベア１０９）に物品を搬送するための搬送部（たとえば、ロボット１０３）と、搬送部を制御するための制御装置（たとえば、制御用装置１０２、ＣＰＵ１）とを備える。制御装置は、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、三次元情報に基づいて、搬送対象となる物品１０６の上面１０６ａまたは底面１０６ｂを識別し、位置姿勢情報と、上面１０６ａまたは底面１０６ｂの識別結果とに基づいて、物品１０６の取り出し順序および配置方向を決定し、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第２領域に配置するように搬送部を制御する。 The technical features disclosed above can be summarized as follows.
[Configuration 1] A conveying system 10 according to an embodiment includes an input unit (e.g., an input terminal) that receives input of three-dimensional information of a plurality of articles obtained by three-dimensionally measuring a plurality of articles 106 stacked in a first area (e.g., a container 107), a conveying unit (e.g., a robot 103) for conveying the articles from the first area to a second area (e.g., a conveyor 109) different from the first area, and a control device (e.g., a control device 102, a CPU 1) for controlling the conveying unit. The control device acquires position and orientation information indicating the position and orientation of the article to be conveyed from the three-dimensional information, identifies the top surface 106a or the bottom surface 106b of the article 106 to be conveyed based on the three-dimensional information, determines the order of removal and arrangement direction of the article 106 based on the position and orientation information and the identification result of the top surface 106a or the bottom surface 106b, removes the articles to be conveyed according to the determined order of removal, and controls the conveying unit to arrange the top surface or bottom surface of the article removed according to the arrangement direction in the second area so as to be aligned with the top surface or bottom surface of another article.

このようにすることで、二次元画像の情報のみから上面と底面を識別するよりも、より高精度な識別が可能となるため、物品の上面または底面を安定させた状態で搬送部に物品を供給することができる。 This allows for more accurate identification of the top and bottom surfaces than would be possible if the top and bottom surfaces were identified solely from two-dimensional image information, so the item can be supplied to the conveying section with its top or bottom surface stabilized.

［構成２］ある局面において、位置姿勢情報を取得することは、三次元情報から不要なデータを除去することと、不要なデータが除去された三次元情報に基づいて物品を認識することと、認識された物品の領域の面積と予め定められた面積とを比較して、物品の領域の面積が予め定められた面積以下であることに基づいて、認識された物品が一つの物品であると判定することとを含む。 [Configuration 2] In one aspect, acquiring position and orientation information includes removing unnecessary data from three-dimensional information, recognizing an object based on the three-dimensional information from which the unnecessary data has been removed, and comparing the area of the recognized object region with a predetermined area and determining that the recognized object is a single object based on the area of the object region being less than or equal to the predetermined area.

このようにすることで、テンプレート画像の準備や３次元モデルの登録なしで物品を認識できるため、大きさや形状が微妙に異なるような物品に対しても、ロバストに物品を認識することができることに加えて、準備の手間を抑えることができる。さらに、テンプレートマッチングのような、１～２秒の処理時間を要するような処理負荷の高い処理を行う必要がなくなるため、高速化が求められるワーク搬送において優位である。 This allows objects to be recognized without preparing a template image or registering a 3D model, so not only can objects with subtle differences in size and shape be recognized robustly, but it also reduces the amount of preparation work required. Furthermore, it eliminates the need for high-processing load processes such as template matching, which require 1-2 seconds of processing time, making it advantageous for workpiece transport, where high speed is required.

［構成３］ある局面において、位置姿勢情報を取得することは、物品の領域の面積が予め定められた面積より大きい場合に、三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む。 [Configuration 3] In one aspect, acquiring position and orientation information further includes recognizing one item from multiple items based on whether or not the height direction of the three-dimensional information is within a predetermined threshold range when the area of the item region is larger than a predetermined area.

このようにすることで、取出しを行いたい高さにある物品のみを認識することができるため、床面のような背景の情報を除去できることに加えて、複数の物品が積み重なるような状況下においても、対象の物品だけを認識することができる。 This allows the system to recognize only the items at the height at which it is desired to remove them, eliminating background information such as the floor surface. In addition, it is possible to recognize only the target item even in situations where multiple items are stacked on top of each other.

［構成４］ある局面において、制御装置は、さらに、二つの物品を一つの物品として誤認識したか否かを判断し、二つの物品を一つの物品として誤認識したとの判断に基づいて、複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識する。 [Configuration 4] In one aspect, the control device further determines whether two objects have been erroneously recognized as one object, and based on a determination that the two objects have been erroneously recognized as one object, recognizes the erroneously recognized object as two objects by emphasizing a gap in the middle of the scanning path of the multiple objects.

このようにすることで、二次元画像の情報のみから物品を認識するよりも、より高精度に隣接する物品の分割を行うことができるため、認識エラー率を引き下げることが可能である。 In this way, adjacent objects can be separated with greater accuracy than if the objects were recognized from two-dimensional image information alone, thereby reducing the recognition error rate.

［構成５］ある局面において、二つの物品を一つの物品として誤認識したか否かの判断は、三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、認識された画像の面積が側面の面積よりも大きいか否かを判断することと、複数の物品の表面を走査して表面を輪郭として表わすプロファイルを取得し、物品の高さとして予め設定された高さよりも小さい高さがプロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む。 [Configuration 5] In one aspect, determining whether two objects have been erroneously recognized as one object includes either comparing the area of an image recognized based on three-dimensional information with an area preset as the area of the side of an object to determine whether the area of the recognized image is greater than the area of the side, or scanning the surfaces of multiple objects to obtain a profile that represents the surface as an outline, and determining that two adjacent objects have been erroneously recognized as one object based on the presence of a height in the middle of the profile that is smaller than a height preset as the height of the objects.

［構成６］ある局面において、各物品は、その側面に取っ手を有している。上面または底面を識別することは、三次元情報に基づいて取っ手の位置を判断することと、取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む。[Configuration 6] In one aspect, each object has a handle on a side thereof. Identifying the top or bottom surface includes determining a position of the handle based on the three-dimensional information and identifying a position of the top or bottom surface of the object based on the position of the handle.

［構成７］ある局面において、搬送システム（たとえば、搬送１３００）は、物品の吸着面を清掃するための清掃手段（たとえば、エアブロー１３１０）をさらに備える。 [Configuration 7] In one aspect, the conveying system (e.g., conveyor 1300) further includes a cleaning means (e.g., air blower 1310) for cleaning the suction surface of the article.

［構成８］ある局面において、制御装置は、第１領域の外周情報（たとえば、コンテナ１０７の内側側面の輪郭を表わす情報）を登録し、搬送部（たとえば、ロボット１０３）と外周情報とが干渉するか否かを判定し、搬送部と外周情報とが干渉すると判断したことに基づいて、搬送動作を停止させる。 [Configuration 8] In one aspect, the control device registers outer periphery information of the first area (e.g., information representing the outline of the inner side of the container 107), determines whether or not there is interference between the conveying unit (e.g., robot 103) and the outer periphery information, and stops the conveying operation based on the determination that there is interference between the conveying unit and the outer periphery information.

［構成９］他の実施の形態に従うと、物品の搬送を制御するためにコンピュータ４００で実行される方法が提供される。この方法は、ＣＰＵ１が、第１領域（たとえば、コンテナ１０７）に積層された複数の物品を３次元計測することにより得られた複数の物品の三次元情報の入力を受け付けるステップと、ＣＰＵ１が、三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得するステップと、ＣＰＵ１が、三次元情報に基づいて、搬送対象となる物品の上面または底面を識別するステップと、ＣＰＵ１が、位置姿勢情報と、上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定するステップと、ＣＰＵ１が、決定された取り出し順序に従って搬送対象となる物品を取り出して、配置方向に従って取り出された物品の上面または底面を、他の物品の上面または底面に揃えて第１領域とは異なる第２領域に配置するように搬送部（ロボット１０３）を制御するステップとを含む。 [Configuration 9] According to another embodiment, a method executed by a computer 400 for controlling the transportation of an article is provided. This method includes the steps of: a CPU 1 receiving input of three-dimensional information of a plurality of articles obtained by three-dimensionally measuring a plurality of articles stacked in a first area (e.g., a container 107); a CPU 1 acquiring position and orientation information indicating the position and orientation of the article to be transported from the three-dimensional information; a CPU 1 identifying the top or bottom surface of the article to be transported based on the three-dimensional information; a CPU 1 determining a pick-up order and arrangement direction of the article based on the position and orientation information and the identification result of the top or bottom surface; and a CPU 1 controlling a transport unit (robot 103) to pick up the article to be transported according to the determined pick-up order, and align the top or bottom surface of the article picked according to the arrangement direction with the top or bottom surface of another article and arrange it in a second area different from the first area.

［構成１０］さらに他の実施の形態に従うと、上記の方法をコンピュータ４００に実行させるプログラムが提供される。 [Configuration 10] According to yet another embodiment, a program is provided that causes a computer 400 to execute the above method.

＜まとめ＞
以上の次第で、開示された搬送システム１０は、画像処理によるルールベースで物品の認識を行うため、パラメータを変更することで、認識したい物品１０６の種類（たとえば、廃棄された洗濯機、冷蔵庫、エアコン等）を容易に切り替えることができる。また、搬送システム１０は、モデルマッチングや機械学習機を用いないため、事前のトレーニングが必要ないので、汎用性の高い物品認識が可能となる。 <Summary>
As described above, the disclosed conveying system 10 recognizes objects on a rule-based basis using image processing, so that the type of object 106 to be recognized (for example, discarded washing machines, refrigerators, air conditioners, etc.) can be easily switched by changing parameters. In addition, the conveying system 10 does not use model matching or machine learning machines, so no prior training is required, enabling highly versatile object recognition.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。The embodiments disclosed herein should be considered to be illustrative and not restrictive in all respects. The scope of the present disclosure is indicated by the claims, not the above description, and is intended to include all modifications within the meaning and scope of the claims.

１０ 搬送システム、１０１ 撮像装置、１０２ 制御用装置、１０３ ロボット、１０４ ロボットコントローラ、１０６，１０６－１，１０６－２，１０６－３，１０６－４，１０６－５，８１０ａ，８１０ｂ 物品、１０６ａ 上面、１０６ｂ 底面、１０６ｃ 側面、１０７ コンテナ、１０８ 固定用架台、１０９ コンベア、３１０ 入力部、３２０ 記憶部、３２１ 三次元情報、３２２，高さ情報、３３０ 制御部、３３１ 解析部、３３２ 識別部、３３３ 動作計画部、３３４ 取出制御部、３３５ 終了判定部、３４０ 表示部、４００ コンピュータ、７１０，７１０ａ，７１０ｂ，７１０ｃ，７１０ｄ，７１０ｅ，７１０ｆ，７２０，７２０ｃ，７２０ｄ，７２０ｅ，７２０ｆ，７３０，７４０，７５０，７６０，９３０，９３０ｂ，９３１ａ 画像、７３０ａ，７３０ｂ 画素、７６０ａ，７６０ｂ，７６０ｃ，７６０ｄ，９１１，９１２，９１３ 矩形領域、９１１ａ，９１１ｂ 領域、９２０，１１１０，１１２０ プロファイル。10 Conveying system, 101 Imaging device, 102 Control device, 103 Robot, 104 Robot controller, 106, 106-1, 106-2, 106-3, 106-4, 106-5, 810a, 810b Item, 106a Top surface, 106b Bottom surface, 106c Side surface, 107 Container, 108 Fixing stand, 109 Conveyor, 310 Input unit, 320 Memory unit, 321 Three-dimensional information, 322 Height information, 330 Control unit, 331 Analysis unit, 332 Identification unit, 333 Motion planning unit, 334 Take-out control unit, 335 End determination unit, 340 Display unit, 400 Computers, 710, 710a, 710b, 710c, 710d, 710e, 710f, 720, 720c, 720d, 720e, 720f, 730, 740, 750, 760, 930, 930b, 931a Images, 730a, 730b Pixels, 760a, 760b, 760c, 760d, 911, 912, 913 Rectangular areas, 911a, 911b Areas, 920, 1110, 1120 Profiles.

Claims (15)

第１領域に積層された複数の物品を３次元計測することにより得られた前記複数の物品の三次元情報の入力を受け付ける入力部と、
前記第１領域から、前記第１領域と異なる第２領域に物品を搬送するための搬送部と、
前記搬送部を制御するための制御装置とを備え、
前記制御装置は、
前記三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得し、
前記三次元情報に基づいて、前記搬送対象となる物品の上面または底面を識別し、
前記位置姿勢情報と、前記上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定し、
決定された取り出し順序に従って前記搬送対象となる物品を取り出して、前記配置方向に従って前記取り出された物品の上面または底面を、他の物品の上面または底面に揃えて前記第２領域に配置するように前記搬送部を制御し、
前記位置姿勢情報を取得することは、
前記三次元情報に基づいて物品を認識することと、
前記認識された物品の領域の面積と予め定められた面積とを比較して、前記物品の領域の面積が前記予め定められた面積以下であることに基づいて、前記認識された物品が一つの物品であると判定することとを含む、搬送システム。 an input unit that receives input of three-dimensional information of the plurality of articles obtained by three-dimensionally measuring the plurality of articles stacked in the first region;
a conveying section for conveying an article from the first area to a second area different from the first area;
A control device for controlling the transport unit,
The control device includes:
obtaining position and orientation information indicating a position and orientation of an object to be conveyed from the three-dimensional information;
Identifying a top surface or a bottom surface of the object to be conveyed based on the three-dimensional information;
determining a pick-up order and a placement direction of the article based on the position and orientation information and the identification result of the top surface or the bottom surface;
control the conveying unit to pick up the objects to be conveyed according to the determined pick-up order, and to arrange the objects in the second area so that the top or bottom surfaces of the objects picked up according to the arrangement direction are aligned with the top or bottom surfaces of other objects ;
The acquiring of the position and orientation information includes:
recognizing an article based on the three-dimensional information; and
A conveying system comprising: comparing an area of the recognized item region with a predetermined area, and determining that the recognized item is a single item based on the area of the item region being less than or equal to the predetermined area. 前記位置姿勢情報を取得することは、前記三次元情報から不要なデータを除去することをさらに含み、
前記三次元情報に基づいて物品を認識することは、前記不要なデータが除去された三次元情報に基づいて物品を認識することを含む、請求項１に記載の搬送システム。 obtaining the position and orientation information further includes removing unnecessary data from the three-dimensional information;
The transport system according to claim 1 , wherein recognizing the article based on the three-dimensional information includes recognizing the article based on the three-dimensional information from which unnecessary data has been removed. 前記位置姿勢情報を取得することは、
前記物品の領域の面積が前記予め定められた面積より大きい場合に、前記三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む、請求項１または２に記載の搬送システム。 The acquiring of the position and orientation information includes:
The conveying system of claim 1 or 2, further comprising: when an area of the object region is larger than the predetermined area, recognizing one object from a plurality of objects based on whether a height direction of the three-dimensional information is within a predetermined threshold range. 前記制御装置は、さらに、
二つの物品を一つの物品として誤認識したか否かを判断し、
二つの物品を一つの物品として誤認識したとの判断に基づいて、前記複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識する、請求項１または２に記載の搬送システム。 The control device further comprises:
Determine whether two items were mistakenly recognized as one item,
A conveying system as described in claim 1 or 2, wherein, based on a determination that two objects have been mistakenly recognized as one object, the one object that has been mistakenly recognized is recognized as two objects by emphasizing a gap in the middle of the scanning path of the multiple objects. 二つの物品を一つの物品として誤認識したか否かの判断は、
前記三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、前記認識された画像の面積が前記側面の面積よりも大きいか否かを判断することと、
前記複数の物品の表面を走査して前記表面を輪郭として表わすプロファイルを取得し、
物品の高さとして予め設定された高さよりも小さい高さが前記プロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む、請求項４に記載の搬送システム。 The determination of whether two items were mistakenly recognized as one item is
comparing an area of the image recognized based on the three-dimensional information with an area that is preset as an area of a side surface of an article, and determining whether or not the area of the recognized image is larger than the area of the side surface;
scanning surfaces of the plurality of articles to obtain profiles representative of the surfaces;
and determining that two adjacent objects have been erroneously recognized as a single object based on the presence of a height in the profile that is smaller than a preset height as the object height. 各物品は、その側面に取っ手を有しており、
前記上面または底面を識別することは、
前記三次元情報に基づいて前記取っ手の位置を判断することと、
前記取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む、請求項１または２に記載の搬送システム。 Each item has a handle on its side;
Identifying the top or bottom surface comprises:
determining a position of the handle based on the three-dimensional information; and
and identifying a position of a top surface or a bottom surface of the item based on the position of the handle. 前記物品の吸着面を清掃するための清掃手段をさらに備える、請求項１または２に記載の搬送システム。 The transport system according to claim 1 or 2 , further comprising a cleaning means for cleaning the suction surface of the article. 前記制御装置は、
前記第１領域の外周情報を登録し、
前記搬送部と前記外周情報とが干渉するか否かを判定し、
前記搬送部と前記外周情報とが干渉すると判断したことに基づいて、搬送動作を停止させる、請求項１または２に記載の搬送システム。 The control device includes:
registering perimeter information of the first region;
determining whether or not the conveying unit and the outer periphery information interfere with each other;
The conveying system according to claim 1 , further comprising: a conveying operation stop circuit configured to stop a conveying operation when it is determined that the conveying unit and the outer periphery information interfere with each other. 物品の搬送を制御するためにコンピュータで実行される方法であって、
第１領域に積層された複数の物品を３次元計測することにより得られた前記複数の物品の三次元情報の入力を受け付けるステップと、
前記三次元情報から、搬送対象となる物品の位置および姿勢を示す位置姿勢情報を取得するステップと、
前記三次元情報に基づいて、前記搬送対象となる物品の上面または底面を識別するステップと、
前記位置姿勢情報と、前記上面または底面の識別結果とに基づいて、当該物品の取り出し順序および配置方向を決定するステップと、
決定された取り出し順序に従って前記搬送対象となる物品を取り出して、前記配置方向に従って前記取り出された物品の上面または底面を、他の物品の上面または底面に揃えて前記第１領域とは異なる第２領域に配置するように搬送部を制御するステップとを含み、
前記位置姿勢情報を取得することは、
前記三次元情報に基づいて物品を認識することと、
前記認識された物品の領域の面積と予め定められた面積とを比較して、前記物品の領域の面積が前記予め定められた面積以下であることに基づいて、前記認識された物品が一つの物品であると判定することとを含む、方法。 1. A computer-implemented method for controlling the conveyance of an article, comprising:
receiving an input of three-dimensional information of the plurality of articles obtained by three-dimensionally measuring the plurality of articles stacked in a first area;
acquiring position and orientation information indicating a position and orientation of an object to be transported from the three-dimensional information;
identifying a top surface or a bottom surface of the object to be conveyed based on the three-dimensional information;
determining a pick-up order and arrangement direction of the article based on the position and orientation information and the identification result of the top surface or the bottom surface;
and controlling the conveying unit to pick up the items to be conveyed according to the determined pick-up order, and to arrange the top or bottom surface of the picked-up item in a second area different from the first area so as to align the top or bottom surface of the item with the top or bottom surface of another item according to the arrangement direction,
The acquiring of the position and orientation information includes:
recognizing an article based on the three-dimensional information; and
and comparing an area of the recognized object region with a predetermined area and determining that the recognized object is a single object based on the area of the object region being less than or equal to the predetermined area. 前記位置姿勢情報を取得することは、前記三次元情報から不要なデータを除去することをさらに含み、
前記三次元情報に基づいて物品を認識することは、前記不要なデータが除去された三次元情報に基づいて物品を認識することを含む、請求項９に記載の方法。 obtaining the position and orientation information further includes removing unnecessary data from the three-dimensional information;
The method of claim 9 , wherein recognizing an article based on the three-dimensional information comprises recognizing an article based on the three-dimensional information from which the unnecessary data has been removed. 前記位置姿勢情報を取得することは、
前記物品の領域の面積が前記予め定められた面積より大きい場合に、前記三次元情報のうちの高さ方向が予め設定された閾値の範囲内であるか否かに基づいて、複数の物品から一つの物品を認識することをさらに含む、請求項９または１０に記載の方法。 The acquiring of the position and orientation information includes:
The method according to claim 9 or 10, further comprising recognizing one item from a plurality of items based on whether a height direction of the three-dimensional information is within a range of a preset threshold when an area of the area of the item is larger than the predetermined area. 二つの物品を一つの物品として誤認識したか否かを判断するステップと、
二つの物品を一つの物品として誤認識したとの判断に基づいて、前記複数の物品の走査経路の途中における隙間を強調することにより、誤認識した一つの物品を二つの物品として認識するステップとをさらに含む、請求項９または１０に記載の方法。 determining whether two items have been erroneously recognized as one item;
The method of claim 9 or 10, further comprising a step of recognizing the misrecognized single item as two items by emphasizing a gap in the middle of the scanning path of the plurality of items based on a determination that the two items have been misrecognized as one item. 二つの物品を一つの物品として誤認識したか否かの判断は、
前記三次元情報に基づいて認識された画像の面積と、一つの物品の側面の面積として予め設定された面積とを比較して、前記認識された画像の面積が前記側面の面積よりも大きいか否かを判断することと、
前記複数の物品の表面を走査して前記表面を輪郭として表わすプロファイルを取得し、物品の高さとして予め設定された高さよりも小さい高さが前記プロファイルの途中に存在することに基づいて、隣接した二つの物品を一つの物品として誤認識したと判断することと、のいずれかを含む、請求項１２に記載の方法。 The determination of whether two items were mistakenly recognized as one item is
comparing an area of the image recognized based on the three-dimensional information with an area that is preset as an area of a side surface of an article, and determining whether or not the area of the recognized image is larger than the area of the side surface;
13. The method of claim 12, further comprising: scanning the surfaces of the plurality of articles to obtain a profile that represents the surface as an outline; and determining that two adjacent articles have been erroneously recognized as a single article based on the presence of a height in the profile that is smaller than a preset height as the height of the article. 各物品は、その側面に取っ手を有しており、
前記上面または底面を識別することは、
前記三次元情報に基づいて前記取っ手の位置を判断することと、
前記取っ手の位置に基づいて、当該物品の上面または底面の位置を識別することとを含む、請求項９または１０に記載の方法。 Each item has a handle on its side;
Identifying the top or bottom surface comprises:
determining a position of the handle based on the three-dimensional information; and
and identifying a location of a top or bottom surface of the item based on the position of the handle. 請求項９または１０に記載の方法をコンピュータに実行させるプログラム。 A program causing a computer to execute the method according to claim 9 or 10 .
JP2023529687A 2021-06-15 2022-05-13 Transport system, computer-implemented method for controlling transport of an article, and program for causing a computer to execute said method Active JP7499967B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021099309 2021-06-15
JP2021099309 2021-06-15
PCT/JP2022/020246 WO2022264726A1 (en) 2021-06-15 2022-05-13 Transport system, method executed by computer for controlling transport of articles, and program for causing computer to execute this method

Publications (3)

Publication Number Publication Date
JPWO2022264726A1 JPWO2022264726A1 (en) 2022-12-22
JPWO2022264726A5 JPWO2022264726A5 (en) 2023-08-23
JP7499967B2 true JP7499967B2 (en) 2024-06-14

Family

ID=84526177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023529687A Active JP7499967B2 (en) 2021-06-15 2022-05-13 Transport system, computer-implemented method for controlling transport of an article, and program for causing a computer to execute said method

Country Status (2)

Country Link
JP (1) JP7499967B2 (en)
WO (1) WO2022264726A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009523623A (en) 2006-01-23 2009-06-25 ジェローム グロボア， Method and apparatus for automatic workpiece gripping
JP2020040149A (en) 2018-09-07 2020-03-19 株式会社日立物流 Robot system and control method therefor
US10807808B1 (en) 2019-04-22 2020-10-20 Amazon Technologies, Inc. Systems and methods for automated item separation and presentation
JP2021013996A (en) 2019-07-12 2021-02-12 キヤノン株式会社 Control method of robot system, manufacturing method of articles, control program, recording medium, and robot system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009523623A (en) 2006-01-23 2009-06-25 ジェローム グロボア， Method and apparatus for automatic workpiece gripping
JP2020040149A (en) 2018-09-07 2020-03-19 株式会社日立物流 Robot system and control method therefor
US10807808B1 (en) 2019-04-22 2020-10-20 Amazon Technologies, Inc. Systems and methods for automated item separation and presentation
JP2021013996A (en) 2019-07-12 2021-02-12 キヤノン株式会社 Control method of robot system, manufacturing method of articles, control program, recording medium, and robot system

Also Published As

Publication number Publication date
WO2022264726A1 (en) 2022-12-22
JPWO2022264726A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
US9327406B1 (en) Object segmentation based on detected object-specific visual cues
JP5458885B2 (en) Object detection method, object detection apparatus, and robot system
CN108182689A (en) The plate workpiece three-dimensional recognition positioning method in polishing field is carried applied to robot
CN110926330B (en) Image processing apparatus, image processing method, and program
US20090080699A1 (en) 3D Beverage Container Localizer
JP2016091053A (en) Information processing apparatus, container shape estimation method, work-piece picking system, and program
US9361695B2 (en) Method of recognizing a position of a workpiece from a photographed image
US20220292702A1 (en) Image processor, imaging device, robot and robot system
US20230297068A1 (en) Information processing device and information processing method
JP2022160363A (en) Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium
JP7499967B2 (en) Transport system, computer-implemented method for controlling transport of an article, and program for causing a computer to execute said method
JP2010184300A (en) Attitude changing device and attitude changing method
JP2018146347A (en) Image processing device, image processing method, and computer program
JP6041710B2 (en) Image recognition method
EP4245480A1 (en) Measuring system, measuring device, measuring method, and measuring program
EP4070922A2 (en) Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium
JPH0953915A (en) Method for recognizing overlapping state
JP6908908B2 (en) Robot arm path generator and path generator
WO2021220346A1 (en) Elevator 3-d data processing device
CN116188559A (en) Image data processing method, device, electronic equipment and storage medium
CN116175542A (en) Grabbing control method, grabbing control device, electronic equipment and storage medium
WO2021220345A1 (en) Elevator 3d data processing device
Sansoni et al. Combination of 2D and 3D vision systems into robotic cells for improved flexibility and performance
US20230150141A1 (en) Training data generation device, training data generation method using the same and robot arm system using the same
JP7191352B2 (en) Method and computational system for performing object detection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240604

R150 Certificate of patent or registration of utility model

Ref document number: 7499967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150