JP7097799B2 - 画像情報処理装置、把持システム、および画像情報処理方法 - Google Patents
画像情報処理装置、把持システム、および画像情報処理方法 Download PDFInfo
- Publication number
- JP7097799B2 JP7097799B2 JP2018218556A JP2018218556A JP7097799B2 JP 7097799 B2 JP7097799 B2 JP 7097799B2 JP 2018218556 A JP2018218556 A JP 2018218556A JP 2018218556 A JP2018218556 A JP 2018218556A JP 7097799 B2 JP7097799 B2 JP 7097799B2
- Authority
- JP
- Japan
- Prior art keywords
- storage container
- search frame
- hand mechanism
- image information
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 89
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000007246 mechanism Effects 0.000 claims description 199
- 238000013459 approach Methods 0.000 claims description 181
- 238000001514 detection method Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 description 25
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical group C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 24
- 238000012545 processing Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Description
本発明は、複数の指部を有するハンド機構によって対象物を把持する把持システム、および、該把持システムにおいて該対象物を含む画像情報を処理するための画像情報処理装置、画像情報処理方法に関する。
従来、複数の指部を有するハンド機構によって対象物を把持する把持システムが開発されている。また、把持システムとして、対象物を含む画像を撮像する撮像装置を備えたものが知られている。このような撮像装置を備えた把持システムでは、該撮像装置によって取得された画像情報に基づいて対象物を認識する。さらに、認識された対象物を把持すべく、画像情報に基づいてハンド機構を制御する。
例えば、特許文献1には、複数の箱状ワークを上方から撮影して全体画像を取得する単眼カメラを備えたピッキングシステム(把持システム)が開示されている。この特許文献1に記載のピッキングシステムは、単眼カメラに加えて、複数の箱状ワーク全体の三次元形状を計測する距離センサを備えている。そして、単眼カメラが取得した全体画像から箱状ワークのエッジ部分を検出し、検出されたエッジ部分を境界として、該エッジ部分に対応する、距離センサによる計測点の点群を抽出する。さらに、抽出された点群に基づいて、距離センサによって計測された三次元形状から各箱状ワークの位置と姿勢とを認識する。その上で、ピッキングの対象となる箱状ワークの位置と姿勢を出力する。
ハンド機構によって対象物を把持しようとした場合、先ずは、該ハンド機構の指部を該対象物にアプローチさせた上で、該指部を該対象物に接触させる必要がある。しかしながら、対象物の載置状況によっては、該対象物において、ハンド機構の指部をアプローチさせることが困難な部分が生じる場合がある。つまり、対象物におけるいずれかの部分が、他の対象物、または、該対象物を収容する収容容器に接触した状態で、該対象物が載置されている場合、その接触部分にハンド機構の指部をアプローチさせることは困難である。また、対象物におけるいずれかの部分が、他の対象物または収容容器に接触はしていない場合であっても、その部分と他の対象物または収容容器との間の距離(間隔)が小さすぎる場合は、やはり、その部分にハンド機構の指部をアプローチさせることは困難である。したがって、ハンド機構によって対象物を把持しようとした場合、該対象物において、ハンド機構の指部をアプローチさせることが可能な部分を把握する必要がある。
本発明は、上記問題に鑑みてなされたものであって、ハンド機構による把持の対象となる対象物において、該ハンド機構の指部をアプローチさせることが可能な部分を把握することが可能な技術を提供することを目的とする。
本発明に係る画像情報処理装置は、収容容器に収容された対象物を、複数の指部を有するハンド機構によって把持する把持システムであって、該収容容器と、該収容容器に収容された少なくとも一つの該対象物と、を含んだ画像を撮像する撮像装置を有する把持シス
テムに適用され、該撮像装置によって取得された画像情報を処理する画像情報処理装置において、予め記憶された、前記収容容器の形状情報と、前記対象物の形状情報と、に基づいて、前記撮像装置によって撮像された画像から、前記収容容器探索用の探索枠である第1探索枠を用いて前記収容容器を探索し、前記対象物探索用の探索枠である第2探索枠を用いて前記対象物を探索する探索部と、前記収容容器に収容された一の対象物において、前記ハンド機構の前記指部をアプローチさせることが可能な部分を、前記探索部による探索結果から得られる、一の対象物と、他の対象物および前記収容容器それぞれとの接触状態に基づいて検出する検出部と、を備え、前記第2探索枠における所定の位置に複数の判定ポイントが予め設定されており、且つ、各判定ポイントに対して所定のアプローチ方向が設定されており、前記検出部が、前記第2探索枠内に存在する一の対象物について、該第2探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された前記所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることが可能か否かを判定する。
テムに適用され、該撮像装置によって取得された画像情報を処理する画像情報処理装置において、予め記憶された、前記収容容器の形状情報と、前記対象物の形状情報と、に基づいて、前記撮像装置によって撮像された画像から、前記収容容器探索用の探索枠である第1探索枠を用いて前記収容容器を探索し、前記対象物探索用の探索枠である第2探索枠を用いて前記対象物を探索する探索部と、前記収容容器に収容された一の対象物において、前記ハンド機構の前記指部をアプローチさせることが可能な部分を、前記探索部による探索結果から得られる、一の対象物と、他の対象物および前記収容容器それぞれとの接触状態に基づいて検出する検出部と、を備え、前記第2探索枠における所定の位置に複数の判定ポイントが予め設定されており、且つ、各判定ポイントに対して所定のアプローチ方向が設定されており、前記検出部が、前記第2探索枠内に存在する一の対象物について、該第2探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された前記所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることが可能か否かを判定する。
本発明によれば、ハンド機構による把持の対象となる対象物において、該ハンド機構の指部をアプローチさせることが可能な部分を把握することができる。
本発明に係る把持システムは、収容容器に収容された対象物を、複数の指部を有するハンド機構によって把持するシステムである。この把持システムは、収容容器と、該収容容器に収容された少なくとも一つの対象物と、を含んだ画像を撮像する撮像装置を有している。そして、本発明に係る画像情報処理装置では、探索部が、収容容器の形状情報と対象物の形状情報とに基づいて、撮像装置によって撮像された画像から、該収容容器と該対象物とを探索する。さらに、画像情報処理装置では、検出部が、収容容器に収容された一の対象物において、ハンド機構の指部をアプローチさせることが可能な部分を、一の対象物と、他の対象物および収容容器それぞれとの接触状態に基づいて検出する。
より詳細には、画像情報処理装置には、収容容器の形状情報と対象物の形状情報とが予め記憶されている。なお、それぞれの形状情報には、収容容器または対象物の形状に関する情報のみならず、その寸法に関する情報も含まれている。そして、探索部が、これらの形状情報に基づいて、撮像装置によって撮像された画像上において収容容器と対象物とを探索する。このとき、探索部は、第1探索枠を用いて収容容器を探索し、第2探索枠を用いて対象物を探索する。第1探索枠は収容容器探索用の探索枠であり、第2探索枠は対象物探索用の探索枠である。より詳しくは、探索部は、第1探索枠によって画像上を探索したときに、該第1探索枠内に、収容容器の形状情報と合致する形状が検出された場合に、該第1探索枠内に収容容器が存在すると認識する。なお、第1探索枠は、収容容器における対象物を収容する部分を探索するための探索枠であってもよい。また、探索部は、第2探索枠によって画像上を探索したときに、該第2探索枠内に、対象物の形状情報と合致する形状が検出された場合に、該第2探索枠内に対象物が存在すると認識する。
また、第2探索枠には、その所定の位置に複数の判定ポイントが予め設定されている。さらに、各判定ポイントに対して所定のアプローチ方向が設定されている。ここで、各判定ポイントは、第2探索枠内に存在する一の対象物(つまり、第2探索枠によって画像上においてその存在が認識された対象物)において、ハンド機構の指部をアプローチさせることが可能か否かを判定すべき位置を示している。また、所定のアプローチ方向は、第2探索枠内に存在する一の対象物における各判定ポイントに対応する部分にハンド機構の指部をアプローチさせるときのアプローチ方向を示している。
そして、検出部は、第2探索枠内に存在する一の対象物について、該第2探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された所定のアプローチ方向からハンド機構の指部をアプローチさせることが可能か否かを判定する。このように、第2探索枠に複数設定されている判定ポイントそれぞれについて、該第2探索枠内に存在する一の対象物における各判定ポイントに対応する部分へのハンド機構の指部のアプローチが可能か否かを判定することで、一の対象物において、該ハンド機構の該指部をアプローチさせることが可能な部分を検出することができる。
その結果、一の対象物における、ハンド機構の指部をアプローチさせることが可能な部分の検出結果に基づいて、一の対象物に対してハンド機構をアプローチさせるときのハンド機構の形態や、一の対象物をハンド機構によって把持する際の把持態様を決定することができる。これにより、ハンド機構によって対象物を把持する際の安定性やタクトタイムの向上を図ることができる。
以下、本発明の具体的な実施例について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
<実施例1>
ここでは、本発明を、ロボットアームを備えた把持システムに適用した場合について説明する。図1は、本実施例に係る把持システムの概略構成を示す図である。把持システム100は、ロボットアーム1と撮像装置8とを含んでいる。撮像装置8は、例えばカメラである。撮像装置8は、収容容器11と、該収容容器11に収容された少なくとも一つの対象物10と、を含んだ画像を撮像する。このとき、撮像装置8は、収容容器11と、該収容容器11に収容された対象物10と、が含まれる画像を所定の方向から撮像する。なお、撮像装置8は、必ずしも、図1に示すようにロボットアーム1と別体で設けられる必要はない。つまり、撮像装置8は、ロボットアーム1に取り付けられていてもよい。また、ロボットアーム1は、対象物10を把持するためのハンド機構2、アーム機構3、および台座部4を備えている。ここで、ロボットアーム1における、アーム機構3、ハンド機構2、および台座部4の詳細な構成について説明する。
ここでは、本発明を、ロボットアームを備えた把持システムに適用した場合について説明する。図1は、本実施例に係る把持システムの概略構成を示す図である。把持システム100は、ロボットアーム1と撮像装置8とを含んでいる。撮像装置8は、例えばカメラである。撮像装置8は、収容容器11と、該収容容器11に収容された少なくとも一つの対象物10と、を含んだ画像を撮像する。このとき、撮像装置8は、収容容器11と、該収容容器11に収容された対象物10と、が含まれる画像を所定の方向から撮像する。なお、撮像装置8は、必ずしも、図1に示すようにロボットアーム1と別体で設けられる必要はない。つまり、撮像装置8は、ロボットアーム1に取り付けられていてもよい。また、ロボットアーム1は、対象物10を把持するためのハンド機構2、アーム機構3、および台座部4を備えている。ここで、ロボットアーム1における、アーム機構3、ハンド機構2、および台座部4の詳細な構成について説明する。
(アーム機構)
図2は、ロボットアーム1の概略構成を示す図である。アーム機構3の一端にはハンド機構2が取り付けられている。また、アーム機構3の他端は台座部4に取り付けられている。アーム機構3は、第1アームリンク部31、第2アームリンク部32、第3アームリンク部33、第4アームリンク部34、第5アームリンク部35、および接続部材36を備えている。そして、ハンド機構2のベース部20が、アーム機構3の第1アームリンク部31の一端側に形成された第1関節部30aに接続されている。第1関節部30aには、第1アームリンク部31に対してハンド機構2を該第1アームリンク部31の軸周りに回転させるためのモータ(図示略)が設けられている。第1アームリンク部31の他端側は、第2関節部30bで第2アームリンク部32の一端側に接続されている。第1アームリンク部31と第2アームリンク部32とはその中心軸が垂直に交わるように接続されている。そして、第2関節部30bには、第2アームリンク部32に対して、第1アームリンク部31を、その他端側を中心に該第2アームリンク部32の軸周りに回転させるためのモータ(図示略)が設けられている。また、第2アームリンク部32の他端側は、第3関節部30cで第3アームリンク部33の一端側に接続されている。第3関節部30cには、第3アームリンク部33に対して第2アームリンク部32を相対的に回転させるためのモータ(図示略)が設けられている。
図2は、ロボットアーム1の概略構成を示す図である。アーム機構3の一端にはハンド機構2が取り付けられている。また、アーム機構3の他端は台座部4に取り付けられている。アーム機構3は、第1アームリンク部31、第2アームリンク部32、第3アームリンク部33、第4アームリンク部34、第5アームリンク部35、および接続部材36を備えている。そして、ハンド機構2のベース部20が、アーム機構3の第1アームリンク部31の一端側に形成された第1関節部30aに接続されている。第1関節部30aには、第1アームリンク部31に対してハンド機構2を該第1アームリンク部31の軸周りに回転させるためのモータ(図示略)が設けられている。第1アームリンク部31の他端側は、第2関節部30bで第2アームリンク部32の一端側に接続されている。第1アームリンク部31と第2アームリンク部32とはその中心軸が垂直に交わるように接続されている。そして、第2関節部30bには、第2アームリンク部32に対して、第1アームリンク部31を、その他端側を中心に該第2アームリンク部32の軸周りに回転させるためのモータ(図示略)が設けられている。また、第2アームリンク部32の他端側は、第3関節部30cで第3アームリンク部33の一端側に接続されている。第3関節部30cには、第3アームリンク部33に対して第2アームリンク部32を相対的に回転させるためのモータ(図示略)が設けられている。
同じように、第3アームリンク部33の他端側は、第4関節部30dで第4アームリンク部34の一端側に接続されている。また、第4アームリンク部34の他端側は、第5関節部30eで第5アームリンク部35に接続されている。そして、第4関節部30dには、第4アームリンク部34に対して第3アームリンク部33を相対的に回転させるためのモータ(図示略)が設けられている。また、第5関節部30eには、第5アームリンク部35に対して第4アームリンク部34を相対的に回転させるためのモータ(図示略)が設けられている。さらに、第5アームリンク部35は、台座部4から垂直に配置された接続部材36に第6関節部30fで接続されている。第5アームリンク部35と接続部材36とは、それぞれの中心軸が同軸となるように接続されている。そして、第6関節部30fには、第5アームリンク部35を、該第5アームリンク部35および接続部材36の軸回りに回転させるためのモータ(図示略)が設けられている。アーム機構3をこのような構成とすることで、例えば、該アーム機構3を6自由度の自由度を有する機構とすることができる。
(ハンド機構)
次に、ハンド機構2の構成について図3から図6に基づいて説明する。図3はハンド機構2の斜視図である。図4はハンド機構2の上面図である。なお、図4において、矢印は、各指部21の回転可動範囲を示している。ハンド機構2は、アーム機構3に接続されるベース部20と、該ベース部20に設けられた4本の指部21とを備えている。また、図3および図4に示すように、ハンド機構2においては、ベース部20に4本の指部21が、ハンド機構2の長手方向(図4において紙面に垂直な方向)の軸を中心とした円周上に、等角度間隔(すなわち90deg間隔)に配置されている。また、4本の指部21は全て同一の構造を有し且つ同一の長さである。但し、各指部21の動作は、それぞれ独立して制御される。
次に、ハンド機構2の構成について図3から図6に基づいて説明する。図3はハンド機構2の斜視図である。図4はハンド機構2の上面図である。なお、図4において、矢印は、各指部21の回転可動範囲を示している。ハンド機構2は、アーム機構3に接続されるベース部20と、該ベース部20に設けられた4本の指部21とを備えている。また、図3および図4に示すように、ハンド機構2においては、ベース部20に4本の指部21が、ハンド機構2の長手方向(図4において紙面に垂直な方向)の軸を中心とした円周上に、等角度間隔(すなわち90deg間隔)に配置されている。また、4本の指部21は全て同一の構造を有し且つ同一の長さである。但し、各指部21の動作は、それぞれ独立して制御される。
図3に示すとおり、各指部21は、第1指リンク部211、第2指リンク部212、および基端部213を有している。そして、指部21の基端部213がベース部20に接続されている。ここで、基端部213は、図4において矢印で示すように、ベース部20に対して指部21の長手方向(図4において紙面に垂直な方向)の軸回りに回転可能に接続されている。また、指部21において、基端部213に第2指リンク部212の一端が接続されている。そして、この第2指リンク部212と基端部213との接続部に第2関節部23が形成されている。ベース部20の内部には、基端部213を回転駆動させるモータ、および、第2指リンク部212を基端部213に対して相対的に回転駆動させるモータが設けられている。このような構成により、基端部213が回転駆動され、それに伴って、図4において矢印で示す範囲で指部21全体が回転駆動される。また、図5に示すように、第2関節部23が屈曲および伸展可能に形成されている。
また、図3、図5、および図6に示すように、指部21においては、第2指リンク部212の他端に第1指リンク部211の一端が接続されている。そして、この第1指リンク部211と第2指リンク部212との接続部に第1関節部22が形成されている。第2指リンク部212の内部には、第1指リンク部211を第2指リンク部212に対して相対的に回転駆動させるモータが設けられている。このような構成により、図6に示すように、第1関節部22は屈曲および伸展可能に形成されている。
また、図3に示すように、本実施例では、指部21の第1指リンク部211の先端側に感圧センサ70が設けられている。感圧センサ70は、第1指リンク部211の先端部に作用する外力(圧力)を検出するセンサである。
(台座部)
次に、台座部4に内蔵された、アーム制御装置42、ハンド制御装置43、および画像情報処理装置44の構成について図7に基づいて説明する。アーム制御装置42はロボットアーム1のアーム機構3を制御するための制御装置である。ハンド制御装置43はロボットアーム1のハンド機構2を制御するための制御装置である。画像情報処理装置44は、撮像装置8によって収容容器11および対象物10を含む画像が撮像されることで取得される画像情報を処理するための処理装置である。図7は、アーム制御装置42、ハンド制御装置43、および画像情報処理装置44に含まれる各機能部を示すブロック図である。
次に、台座部4に内蔵された、アーム制御装置42、ハンド制御装置43、および画像情報処理装置44の構成について図7に基づいて説明する。アーム制御装置42はロボットアーム1のアーム機構3を制御するための制御装置である。ハンド制御装置43はロボットアーム1のハンド機構2を制御するための制御装置である。画像情報処理装置44は、撮像装置8によって収容容器11および対象物10を含む画像が撮像されることで取得される画像情報を処理するための処理装置である。図7は、アーム制御装置42、ハンド制御装置43、および画像情報処理装置44に含まれる各機能部を示すブロック図である。
アーム制御装置42は、アーム機構3の各関節部に設けられたモータを駆動するための駆動信号を生成する複数のドライバを含み、各ドライバからの駆動信号が対応する各モータに供給されるように構成される。また、アーム制御装置42は、演算処理装置及びメモリを有するコンピュータを含んでいる。そして、アーム制御装置42は、機能部として、アーム制御部420およびモータ状態量取得部421を有している。これらの機能部は、アーム制御装置42に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。
アーム制御部420は、ハンド制御装置43が有する機能部である後述の対象物情報取得部430によって取得された対象物情報に基づいて各ドライバから駆動信号を供給することで、アーム機構3の各関節部30a、30b、30c、30d、30e、30fに設けられたモータを制御する。そして、アーム制御部420は、各モータを制御することでアーム機構3を動かし、それによって、ハンド機構2の位置を所望の位置(ハンド機構2によって対象物10を把持することが可能な位置)に移動させる。また、アーム機構3の各関節部30a、30b、30c、30d、30e、30fに設けられたモータには、それぞれの回転状態に関する状態量(モータの回転軸の回転位置や回転速度等)を検出するエンコーダ(図示略)が設けられている。そして、各モータのエンコーダによって検出された各モータの状態量が、アーム制御装置42のモータ状態量取得部421に入力される。そして、アーム制御部420は、モータ状態量取得部421に入力された各モータの状態量に基づいて、ハンド機構2が所望の位置に移動するように各モータをサーボ制御する。
また、ハンド制御装置43は、ハンド機構2に設けられた各モータを駆動するための駆動信号を生成する複数のドライバを含み、各ドライバからの駆動信号が対応する各モータに供給されるように構成される。また、ハンド制御装置43は、演算処理装置及びメモリを有するコンピュータを含んでいる。そして、ハンド制御装置43は、機能部として、対象物情報取得部430、ハンド制御部431、モータ状態量取得部432、およびセンサ情報取得部433を有している。これらの機能部は、ハンド制御装置43に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。
対象物情報取得部430は、ハンド機構2によって把持すべき対象物に関する情報である対象物情報を画像情報処理装置44から取得する。また、ハンド制御部431は、対象物情報取得部430によって取得された対象物情報に基づいて各ドライバから駆動信号を供給することで、ハンド機構2の各指部21を駆動させる各モータを制御する。これにより、ハンド機構2の複数の指部21によって対象物10が把持される。また、ハンド機構2の各モータには、それぞれの回転状態に関する状態量(モータの回転軸の回転位置や回転速度等)を検出するエンコーダ(図示略)が設けられている。そして、各モータのエンコーダによって検出された各モータの状態量が、ハンド制御装置43のモータ状態量取得部432に入力される。そして、ハンド制御部431は、モータ状態量取得部432に入力された各モータの状態量に基づいて、複数の指部21によって対象物を把持するように、各指部21における各モータをサーボ制御する。
さらに、ハンド制御装置43はセンサ情報取得部(図示略)を有している。センサ情報取得部には、ハンド機構2の各指部21の第1指リンク部211に設けられた感圧センサ70の検出値が入力される。そして、ハンド制御部431は、各感圧センサ70によって、各指部21の対象物への接触が検知された場合に、その検知信号に基づいて各指部21における各モータを制御することもできる。
画像情報処理装置44は、演算処理装置及びメモリを有するコンピュータを含んでいる。そして、画像情報処理装置44は、機能部として、画像情報取得部440、探索部441、および検出部442を有している。これらの機能部は、画像情報処理装置44に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。さらに、画像情報処理装置44は記憶部443を有している。記憶部443は、収容容器11の形状情報および対象物10の形状情報等を記憶する手段である。記憶部443によって記憶される収容容器11の形状情報および対象物10の形状情報はユーザによって予め登録される。なお、それぞれの形状情報には、収容容器11または対象物10の形状に関する情報のみならず、その寸法に関する情報も含まれている。また、画像情報処理装置44に
よる画像情報の処理結果が対象物情報としてハンド制御部431の対象物情報取得部430に入力される。なお、画像情報処理装置44における各機能部が果たす機能については後述する。
よる画像情報の処理結果が対象物情報としてハンド制御部431の対象物情報取得部430に入力される。なお、画像情報処理装置44における各機能部が果たす機能については後述する。
なお、図7では、把持システムに含まれる制御装置として、アーム制御装置42とハンド制御装置43とが区別して示されているが、別法として、各機能部が、両装置が一体化された一の制御装置内に形成される構成を採用することもできる。また、把持システムに含まれる制御装置が、アーム制御装置42とハンド制御装置43とに区別される場合でも、図7に示す各機能部は、技術的な齟齬が生じない限りにおいて実質的に何れかの制御装置内に形成されればよく、必要に応じてアーム制御装置42とハンド制御装置43との間で適切な情報の授受を行うことができる。また、アーム制御装置42またはハンド制御装置43における各機能部のうちの一部が、アーム制御装置42およびハンド制御装置43とは別体の制御装置内に形成される構成を採用することもできる。
(把持形態)
ここで、本実施例に係る把持システム100において、ロボットアーム1のハンド機構2によって対象物10を把持する際に実現される把持形態の具体例について図8~図13に基づいて説明する。図8は、対象物10を載置された状態のままでハンド機構2によって把持する把持形態である直接把持について説明するための図である。また、図9~図11は、対象物10を傾倒させてからハンド機構2によって把持する把持形態である傾倒把持について説明するための図である。図12および図13は、対象物10の位置をずらしてからハンド機構2によって把持する把持形態であるずらし把持について説明するための図である。なお、ここでは、ハンド機構2の各指部21を、それぞれ、第1指部21A、第2指部21B、第3指部21C、第4指部21Dと称する。
ここで、本実施例に係る把持システム100において、ロボットアーム1のハンド機構2によって対象物10を把持する際に実現される把持形態の具体例について図8~図13に基づいて説明する。図8は、対象物10を載置された状態のままでハンド機構2によって把持する把持形態である直接把持について説明するための図である。また、図9~図11は、対象物10を傾倒させてからハンド機構2によって把持する把持形態である傾倒把持について説明するための図である。図12および図13は、対象物10の位置をずらしてからハンド機構2によって把持する把持形態であるずらし把持について説明するための図である。なお、ここでは、ハンド機構2の各指部21を、それぞれ、第1指部21A、第2指部21B、第3指部21C、第4指部21Dと称する。
図8は、直接把持によって対象物10を把持したときのハンド機構2および該対象物10の状態を示している。図8に示すように、直接把持では、載置された対象物10を、そのままの状態でハンド機構2の指部21によって挟み込んで把持する。なお、必ずしもハンド機構2の4本の指部21全てで対象物10を挟み込む必要はなく、少なくとも2本の指部21で対象物10を挟み込むことが可能であれば直接把持が成立する。このような直接把持による対象物10の把持は、該対象物10において互いに対向する部分それぞれにハンド機構2の指部21を接触させることが可能な状況であれば実施可能である。
また、図9および図10は、傾倒把持によって対象物10を把持すべく、ハンド機構2の第1指部21Aによって該対象物10を傾倒させる際の動作を示している。また、図11は、ハンド機構2の第2指部21B、第3指部21C、および第4指部21Dによって対象物10を把持した状態を示している。
より詳細には、図9では、対象物10が隣接する他の対象物10´と接触した状態で並んで載置されている。このような場合でも、対象物10の上面S1にはハンド機構2の指部21を接触させることができる。そこで、先ず、図9に示すように、第1指部21Aの第1指リンク部211Aを対象物10の上面S1に接触させる。なお、このときに、第1指部21Aを対象物10の上面S1に接触させた状態では、ハンド機構2における他の指部21B、21C、21Dは、対象物10には接触していない。そして、次に、図10に示すように、第1指部21Aによって、その第1指リンク部211Aを対象物10の上面S1に接触させた状態で、該対象物10を手前に傾ける。このように、第1指部21Aによって対象物10の姿勢を変更することで、該対象物10と、隣接する対象物10´との間隔を大きくすることができる。これにより、対象物10において、隣接する対象物10´と接触しており、載置された状態のままでは、ハンド機構2の指部21を接触させることができなかった側面にも、該ハンド機構2の指部21を接触させることが可能な状況と
なる。そして、次に、図11に示すように、第1指部21Aによって対象物10を傾倒させた状態で、第2指部21B、第3指部21C、および第4指部21Dによって該対象物10を挟み込んで把持する。このような傾倒把持による対象物10の把持は、該対象物10が、互いに対抗する部分それぞれにハンド機構2の指部21を接触させることができない状態であっても、該ハンド機構2によって該対象物10を傾倒させることが可能な状態であれば実施可能である。
なる。そして、次に、図11に示すように、第1指部21Aによって対象物10を傾倒させた状態で、第2指部21B、第3指部21C、および第4指部21Dによって該対象物10を挟み込んで把持する。このような傾倒把持による対象物10の把持は、該対象物10が、互いに対抗する部分それぞれにハンド機構2の指部21を接触させることができない状態であっても、該ハンド機構2によって該対象物10を傾倒させることが可能な状態であれば実施可能である。
また、図12および図13は、ずらし把持によって対象物10を把持すべく、ハンド機構2の第1指部21Aによって該対象物10の位置をずらす際の動作を示している。
より詳細には、図12では、対象物10が隣接する他の対象物10´と接触した状態で並んで載置されている。このような場合でも、対象物10における、他の対象物10´と接触している側面S3と対向する側面S2にはハンド機構2の指部21を接触させることができる。そこで、先ず、図12に示すように、第1指部21Aの第1指リンク部211Aを、対象物10の側面S2に接触させる。そして、そのまま、第1指部21Aによって対象物10の側面S2を押圧することで該対象物10を他の対象物10´に押し当てつつ、該第1指部21Aによって該対象物10の位置を白抜き矢印で示す方向にずらす。
これにより、図13に示すように、対象物10の位置が上方に移動し、その結果、該対象物10が、他の対象物10´の上面S1の高さよりも上方に突出した状態となる。つまり、対象物10において、他の対象物10´と接触している側面S3の上方部分が露出した状態となる。これにより、対象物10における側面S2のみならず、該側面S2と対抗している側面S3にも、ハンド機構2の指部21(第1指部21A以外の指部21)を接触させることが可能となる。そこで、図16に示すような状態となった対象物10に対して、ハンド機構2の指部21を側面S2および側面S3それぞれに接触させて、該対象物10を挟み込んで把持する。このような傾倒把持による対象物10の把持は、該対象物10が、互いに対抗する部分それぞれにハンド機構2の指部21を接触させることができない状態であっても、該ハンド機構2によって該対象物10の位置をずらすことが可能な状態であれば実施可能である。
上記のように、本実施例に係る把持システム100では、ハンド機構2によって実現される直接把持、傾倒把持、およびずらし把持を含む様々な把持形態によって対象物10を把持することができる。なお、図8~図13では、対象物10の形状が直方体となっているが、対象物10が他の形状であっても、直接把持のみならず、傾倒把持やずらし把持は実施可能である。
そして、上記のような様々な把持形態によって対象物10を把持するためには、いずれにしても、該対象物10に対してハンド機構2の指部21を接触させる必要がある。そのためには、収容容器11に収容されている対象物10において、ハンド機構2の指部21をアプローチさせることが可能な部分(以下、「アプローチ可能部分」と称する場合もある。)を把握する必要がある。そこで、本実施例に係る把持システム100では、画像情報処理装置44において、撮像装置8によって収容容器11および対象物10を含む画像が撮像されることで取得される画像情報を処理することで、収容容器11に収容された対象物10におけるアプローチ可能部分を検出する。
(画像情報処理)
以下、画像情報処理装置44において行われる画像情報処理の具体例について説明する。先ず、第1の具体例について図14~図18に基づいて説明する。図14は、第1の具体例における、収容容器11と、該収容容器11に収容された複数の対象物10とを撮像装置8によって撮像したときの画像を示す図である。図14に示すように、本具体例では
、収容容器11が、前方部分(前方側面)および上方部分(天面)が開放された箱型の形状を有している。また、対象物10の形状は直方体である。そして、収容容器11内に12個の対象物10が隙間なく並んで収容されている。なお、上述したように、収容容器11の形状情報および対象物10の形状情報は、画像情報処理装置44の記憶部443に予め記憶されている。
以下、画像情報処理装置44において行われる画像情報処理の具体例について説明する。先ず、第1の具体例について図14~図18に基づいて説明する。図14は、第1の具体例における、収容容器11と、該収容容器11に収容された複数の対象物10とを撮像装置8によって撮像したときの画像を示す図である。図14に示すように、本具体例では
、収容容器11が、前方部分(前方側面)および上方部分(天面)が開放された箱型の形状を有している。また、対象物10の形状は直方体である。そして、収容容器11内に12個の対象物10が隙間なく並んで収容されている。なお、上述したように、収容容器11の形状情報および対象物10の形状情報は、画像情報処理装置44の記憶部443に予め記憶されている。
把持システム100では、上記のような状態の収容容器11および対象物10を含む画像を、その前面が見える方向から撮像装置8によって撮像する。図15は、撮像装置8によって撮像された画像を、収容容器11の前方からの視点で投影した画像(すなわち、図14における白抜き矢印の方向からの投影画像)を示す図である。図15に示すように、この投影画像には、収容容器11と、該収容容器11内における最も前方の部分に配置されていた3個の対象物10a~10cが含まれることになる。
画像情報処理装置44においては、図14に示すような画像が画像情報として画像情報取得部440によって取得される。そして、画像情報処理装置44では、探索部441によって、図15に示すような、撮像装置8によって撮像された画像を元に得られる投影画像から、収容容器11および対象物10が探索される。図16は、図15に示す投影画像から収容容器11および対象物10が探索された様子を示す図である。
画像情報処理装置44において、探索部441は、収容容器探索用の探索枠である第1探索枠を用いて収容容器11を探索し、対象物探索用の探索枠である第2探索枠を用いて対象物10を探索する。図16においては、二点鎖線で示す枠f1が第1探索枠を示しており、一点鎖線で示す枠f2が第2探索枠を示している。ここで、第1探索枠f1は、記憶部443に登録された収容容器11の形状情報に基づいて設定される。なお、図16に示すように、第1探索枠f1は、収容容器11における対象物10を収容する部分を探索するための探索枠として設定されている。また、第2探索枠f2は、記憶部443に登録された対象物10の形状情報に基づいて設定される。なお、図16に示すように、第2探索枠f2は、対象物10の画像上の大きさ(すなわち、対象物10を前方から見たときの該対象物10の外周の大きさ)に応じて設定される。また、第1探索枠f1および第2探索枠f2は、いずれも四角形状である。ただし、第1探索枠f1および第2探索枠f2は、必ずしも四角形状である必要はなく、他の多角形状であってもよい。
そして、図16に示すように、探索部441は、第1探索枠f1によって画像上を探索したときに、該第1探索枠f1内に、収容容器11における対象物10を収容する部分について形状情報と合致する形状が検出された場合に、該第1探索枠f1内に、該収容容器11における対象物10を収容する部分が存在すると認識する。また、探索部441は、第2探索枠f2によって画像上を探索したときに、該第2探索枠f2内に、対象物10の形状情報と合致する形状が検出された場合に、該第2探索枠f2内に対象物10が存在すると認識する。このような探索部441による探索の結果、画像情報処理装置44においては、収容容器11内において3個の対象物10a~10cが隙間なく並んで配置されていることが認識されることになる。
また、第2探索枠f2には、その所定の位置に複数の判定ポイントが予め設定されている。さらに、各判定ポイントに対して所定のアプローチ方向が設定されている。図17は、第2探索枠f2に設定された複数の判定ポイント、および、各判定ポイントに対して設定された所定のアプローチ方向を示す図である。
ここで、各判定ポイントは、第2探索枠f2内に存在する一の対象物10において、ハンド機構2の指部21をアプローチさせることが可能か否かを判定すべき位置を示している。図17では、第2探索枠f2の各黒丸が判定ポイントを示している。図17に示すよ
うに、判定ポイントは、第2探索枠f2における、各頂点、および、各辺上に二箇所ずつ、計12箇所に設定されている。また、所定のアプローチ方向は、第2探索枠f2内に存在する一の対象物10における各判定ポイントに対応する部分にハンド機構2の指部21をアプローチさせるときのアプローチ方向を示している。図17では、各黒丸に対して設定されている矢印が所定のアプローチ方向を示している。図17に示すように、第2探索枠f2の各辺上に設定されている判定ポイントに対しては、各辺に直交する方向が所定のアプローチ方向に設定されている。また、第2探索枠f2の各頂点に設定されている判定ポイントに対しては、各頂点を形成する二辺それぞれに対して直交する二方向が所定のアプローチ方向に設定されている。
うに、判定ポイントは、第2探索枠f2における、各頂点、および、各辺上に二箇所ずつ、計12箇所に設定されている。また、所定のアプローチ方向は、第2探索枠f2内に存在する一の対象物10における各判定ポイントに対応する部分にハンド機構2の指部21をアプローチさせるときのアプローチ方向を示している。図17では、各黒丸に対して設定されている矢印が所定のアプローチ方向を示している。図17に示すように、第2探索枠f2の各辺上に設定されている判定ポイントに対しては、各辺に直交する方向が所定のアプローチ方向に設定されている。また、第2探索枠f2の各頂点に設定されている判定ポイントに対しては、各頂点を形成する二辺それぞれに対して直交する二方向が所定のアプローチ方向に設定されている。
そして、画像情報処理装置44においては、探索部441による探索の結果、図16に示すように画像上においてその存在が認識された各対象物10について、アプローチ可能部分が検出部442によって検出される。このとき、検出部442は、一の対象物10におけるアプローチ可能部分を、探索部441による探索の結果から得られる、一の対象物10と、他の対象物10および収容容器11それぞれとの接触状態に基づいて検出する。
より詳細には、検出部442は、第2探索枠f2内に存在する一の対象物10について、該第2探索枠f2に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された所定のアプローチ方向からハンド機構2の指部21をアプローチさせることが可能か否かを判定する。以下においては、このような検出部442によって行われる判定処理を「アプローチ判定処理」と称する場合もある。また、アプローチ判定処理についての説明の便宜上、該アプローチ判定処理において、対象物10における判定ポイントに対応する部分に、該判定ポイントに対して設定された所定のアプローチ方向からハンド機構2の指部21をアプローチさせることが可能と判定された場合のことを、「アプローチベクトルが成立」と称する場合もある。また、アプローチ判定処理において、対象物10における判定ポイントに対応する部分に、該判定ポイントに対して設定された所定のアプローチ方向からハンド機構2の指部21をアプローチさせることが不可能と判定された場合のことを、「アプローチベクトルが不成立」と称する場合もある。
図18は、検出部442によって行われたアプローチ判定処理の結果の一部を示す図である。図18では、図16に示す対象物10b、10cそれぞれについて行われたアプローチ判定処理の結果が示されている。図18において、所定のアプローチ方向を示す矢印上の丸印は、アプローチベクトルが成立していることを示している。また、図18において、所定のアプローチ方向を示す矢印上の×印は、アプローチベクトルが不成立であることを示している。なお、実線の×印は、探索枠f2内に存在する一の対象物10が収容容器11と接触していることでアプローチベクトルが不成立となっていることを示している。また、一点鎖線の×印は、探索枠f2内に存在する一の対象物10が他の対象物10と接触していることでアプローチベクトルが不成立となっていることを示している。上述したように、本実施例では、探索部441が、収容容器11と対象物10とをそれぞれ探索する。そして、検出部442は、この探索部441による探索結果に基づいて各対象物10についてアプローチ判定処理を実行する。そのため、探索枠f2内に存在する一の対象物10の接触相手が収容容器11であるのか他の対象物10であるのかを区別することができる。
上述したように、収容容器11内においては、3個の対象物10a~10cが隙間なく並んで配置されている。したがって、図18に示すように、対象物10b、10cのいずれにおいても、該対象物10b、10cの下面および側面に対応する位置に設定されている各判定ポイントについては、アプローチベクトルが不成立となっている。つまり、アプローチ判定処理においては、第2探索枠f2内に存在する一の対象物10における該第2探索枠f2に設定された判定ポイントに対応する部分に対して、該判定ポイントに設定さ
れた所定のアプローチ方向から、他の対象物10または収容容器11が接触していれば、検出部442は、一の対象物10における該判定ポイントに対応する部分に該所定のアプローチ方向からハンド機構2の指部21をアプローチさせることは不可能であると判定する。
れた所定のアプローチ方向から、他の対象物10または収容容器11が接触していれば、検出部442は、一の対象物10における該判定ポイントに対応する部分に該所定のアプローチ方向からハンド機構2の指部21をアプローチさせることは不可能であると判定する。
一方で、対象物10b、10cのいずれにおいても、該対象物10b、10cの上面に対応する位置に設定されている各判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向については、基本的には、アプローチベクトルが成立している。つまり、対象物10b、10cにおいては、いずれも、探索枠f2の上辺上に設定された二箇所の判定ポイントについてアプローチベクトルが成立している。
また、対象物10bにおいては、探索枠f2の上辺の両端となっている二つの頂点に設定された判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向についても、アプローチベクトルが成立している。また、対象物10cにおいては、探索枠f2の上辺の両端となっている二つの頂点のうち、対象物10b側(図18において向って左側)の頂点に設定された判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが成立している。ただし、対象物10cにおいては、探索枠f2の上辺の両端となっている二つの頂点のうち、収容容器11の側壁側(図18において向って右側)の頂点に設定された判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが不成立となっている。これは、図14、図15に示すように、対象物10cの高さよりも、該対象物10cが接触している収容容器11の側壁の高さが高いためである。この場合、収容容器11の上方が開放されていても、対象物10cの上面における収容容器11の側壁側の端部には、該収容容器11の側壁が障害となるために、ハンド機構2の指部21を接触させることが出来ない。そのため、上記のように、対象物10cにおいては、探索枠f2の上辺の両端となっている二つの頂点のうち収容容器11の側壁側の頂点に設定された判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが不成立となる。
つまり、アプローチ判定処理においては、一の対象物10の画像上の外周における、収容容器11と接触している辺と他の辺とで形成される頂点については、検出部442が、該頂点に対応する第2探索枠f2の頂点に設定された判定ポイントに対して設定されている二方向の所定のアプローチ方向のいずれからも、ハンド機構2の指部21をアプローチさせることが不可能であると判定する。
次に、第2の具体例について図19~図22に基づいて説明する。図19は、第2の具体例における、収容容器11と、該収容容器11に収容された複数の対象物10とを撮像装置8によって撮像したときの画像を示す図である。図19に示すように、本具体例では、収容容器11が、上方部分(天面)のみが開放された箱型の形状を有している。また、対象物10の形状は、第1の具体例と同様、直方体である。そして、収容容器11内には9個の対象物10が並んで収容されている。ここで、収容容器11内においては、9個との対象物10が前方側に詰めて収容されている。そのため、収容容器11内における9個の対象物10が収容されている部分では、対象物10同士、および、対象物10と収容容器11との間に隙間は形成されていない。ただし、収容容器11内における後方部分には、対象物10が載置されていない空間が形成されている。なお、上述したように、本具体例においても、収容容器11の形状情報および対象物10の形状情報は、画像情報処理装置44の記憶部443に予め記憶されている。
把持システム100では、上記のような状態の収容容器11および対象物10を含む画像を、その上面が見える方向から撮像装置8によって撮像する。図20は、撮像装置8に
よって撮像された画像を、収容容器11の上方からの視点で投影した画像(すなわち、図19における白抜き矢印の方向からの投影画像)を示す図である。図20に示すように、この投影画像には、収容容器11と、該収容容器11に収容された9個の対象物10a~10iが含まれることになる。
よって撮像された画像を、収容容器11の上方からの視点で投影した画像(すなわち、図19における白抜き矢印の方向からの投影画像)を示す図である。図20に示すように、この投影画像には、収容容器11と、該収容容器11に収容された9個の対象物10a~10iが含まれることになる。
画像情報処理装置44においては、図19に示すような画像が画像情報として画像情報取得部440によって取得される。そして、画像情報処理装置44では、探索部441によって、図20に示すような、撮像装置8によって撮像された画像を元に得られる投影画像から、収容容器11および対象物10が探索される。図21は、図20に示す投影画像から収容容器11および対象物10が探索された様子を示す図である。
第1の具体例と同様、本具体例においても、探索部441が、収容容器探索用の探索枠である第1探索枠f1を用いて収容容器11を探索し、対象物探索用の探索枠である第2探索枠f2を用いて対象物10を探索する。また、図21に示すように、第1探索枠f1は、収容容器11における対象物10を収容する部分を探索するための探索枠として設定されている。また、図21に示すように、第2探索枠f2は、対象物10の画像上の大きさ(すなわち、対象物10を上方から見たときの該対象物10の外周の大きさ)に応じて設定される。そして、探索部441による探索の結果、画像情報処理装置44においては、収容容器11内の前方部分において9個の対象物10a~10iが隙間なく並んで配置されていることが認識されることになる。
また、本具体例においても、第2探索枠f2には、第1の具体例と同様に、複数の判定ポイントが設定されており、且つ、各判定ポイントに対しては、第1の具体例と同様に、所定のアプローチ方向が設定されている。そして、本具体例においても、探索部441による探索の結果から得られる、一の対象物10と、他の対象物10および収容容器11それぞれとの接触状態に基づいて、検出部442によってアプローチ判定処理が行われる。
図22は、検出部442によって行われたアプローチ判定処理の結果の一部を示す図である。図22では、図21に示す対象物10b、10cそれぞれについて行われたアプローチ判定処理の結果が示されている。なお、図18と同様、図22では、第2探索枠f2の各黒丸が判定ポイントを示している。また、図22では、各黒丸に対して設定されている矢印が所定のアプローチ方向を示している。また、図22において、所定のアプローチ方向を示す矢印上の丸印は、アプローチベクトルが成立していることを示している。また、図22において、所定のアプローチ方向を示す矢印上の×印は、アプローチベクトルが不成立であることを示している。なお、実線の×印は、探索枠f2内に存在する一の対象物10が収容容器11と接触していることでアプローチベクトルが不成立となっていることを示している。また、一点鎖線の×印は、探索枠f2内に存在する一の対象物10が他の対象物10と接触していることでアプローチベクトルが不成立となっていることを示している。
上述したように、収容容器11内においては、その前方部分に9個の対象物10a~10iが隙間なく並んで配置されている。したがって、図22に示すように、対象物10b、10cのいずれにおいても、該対象物10b、10cの前方側面、右側側面、および左側側面に対応する位置に設定されている各判定ポイントについては、アプローチベクトルが不成立となっている。
一方で、図21に示すように、収容容器11内において、対象物10a~10cより後方部分には空間が形成されている。そのため、対象物10b、10cのいずれにおいても、該対象物10b、10cの後方側面に対応する位置に設定されている各判定ポイントにおける、後方からのアプローチを示す所定のアプローチ方向については、基本的には、ア
プローチベクトルが成立している。つまり、対象物10b、10cにおいては、いずれも、探索枠f2の後方の辺上に設定された二箇所の判定ポイントについてアプローチベクトルが成立している。
プローチベクトルが成立している。つまり、対象物10b、10cにおいては、いずれも、探索枠f2の後方の辺上に設定された二箇所の判定ポイントについてアプローチベクトルが成立している。
また、対象物10bにおいては、探索枠f2の後方の辺の両端となっている二つの頂点に設定された判定ポイントにおける、後方からのアプローチを示す所定のアプローチ方向についても、アプローチベクトルが成立している。また、対象物10cにおいては、探索枠f2の後方の辺の両端となっている二つの頂点のうち、対象物10b側(図22において向って左側)の頂点に設定された判定ポイントにおける、後方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが成立している。ただし、対象物10cにおいては、探索枠f2の後方の辺の両端となっている二つの頂点のうち、収容容器11の側壁側(図22において向って右側)の頂点に設定された判定ポイントにおける、後方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが不成立となっている。これは、図21に示すように、収容容器11内における対象物10a~10cより後方部分には空間が形成されていても、対象物10cの後方側面における収容容器11の側壁側の端部には、該収容容器11の側壁が障害となるために、ハンド機構2の指部21を接触させることが出来ないためである。
なお、上述した第1および第2の具体例では、第2探索枠f2内に存在する一の対象物10に対して、他の対象物10または収容容器11が接触している場合に、アプローチベクトルが不成立であると判定した。しかしながら、一の対象物10と、他の対象物10または収容容器11とが接触していなくとも、両者の間の間隔が小さすぎる部分においては、ハンド機構2の指部21を一の対象物に10に対してアプローチさせることは出来ない。そこで、アプローチ判定処理においては、第2探索枠f2内に存在する一の対象物10における該第2探索枠f2に設定された判定ポイントに対応する部分と、他の対象物10または収容容器11との間の、該判定ポイントに対して設定された所定のアプローチ方向における距離(以下、「判定距離」と称する場合もある。)が所定の閾値以下であれば、一の対象物10における該判定ポイントに対応する部分に該所定のアプローチ方向からハンド機構2の指部21をアプローチさせることは不可能であると判定してもよい。
次に、第3の具体例について図23~図28に基づいて説明する。図23は、第3の具体例における、収容容器11と、該収容容器11に収容された複数の対象物10とを撮像装置8によって撮像したときの画像を示す図である。図23に示すように、本具体例では、収容容器11が、上方部分(天面)のみが開放された箱型の形状を有している。また、対象物10の形状は円柱形である。そして、収容容器11内には、9個の対象物10が、隣り合う対象物10同士が互いに接触した状態で並んで収容されている。また、収容容器11内において、該収容容器11の側壁と隣り合う位置に配置されている各対象物10は該収容容器11とも接触した状態となっている。なお、上述したように、本具体例においてでも、収容容器11の形状情報および対象物10の形状情報は、画像情報処理装置44の記憶部443に予め記憶されている。
把持システム100では、上記のような状態の収容容器11および対象物10を含む画像を、その上面が見える方向から撮像装置8によって撮像する。図24は、撮像装置8によって撮像された画像を、収容容器11の上方からの視点で投影した画像(すなわち、図23における白抜き矢印の方向からの投影画像)を示す図である。図24に示すように、この投影画像には、収容容器11と、該収容容器11に収容された9個の対象物10a~10iが含まれることになる。
画像情報処理装置44においては、図23に示すような画像が画像情報として画像情報取得部440によって取得される。そして、画像情報処理装置44では、探索部441に
よって、図24に示すような、撮像装置8によって撮像された画像を元に得られる投影画像から、収容容器11および対象物10が探索される。図25は、図24に示す投影画像から収容容器11および対象物10が探索された様子を示す図である。
よって、図24に示すような、撮像装置8によって撮像された画像を元に得られる投影画像から、収容容器11および対象物10が探索される。図25は、図24に示す投影画像から収容容器11および対象物10が探索された様子を示す図である。
第1の具体例と同様、本具体例においても、探索部441が、収容容器探索用の探索枠である第1探索枠f1を用いて収容容器11を探索し、対象物探索用の探索枠である第2探索枠f2を用いて対象物10を探索する。また、図25に示すように、第1探索枠f1は、収容容器11における対象物10を収容する部分を探索するための探索枠として設定されている。また、図25に示すように、第2探索枠f2は、対象物10の画像上の大きさ(すなわち、対象物10を上方から見たときの該対象物10の外周の大きさ)に応じて設定される。なお、本具体例においては、対象物10の形状は円柱状であるため、図25に示すように、該対象物10を上方からみたときの該対象物10の外周の形状は円形となる。ただし、この場合でも、第2探索枠f2は四角形状である。なお、この場合でも、第2探索枠f2は、四角形状以外の他の多角形状であってもよい。
そして、探索部441による探索の結果、画像情報処理装置44においては、収容容器11内に、9個の対象物10a~10iが、隣り合う対象物10同士が互いに接触した状態で並んで収容されており、且つ、該収容容器11の側壁と隣り合う位置に配置されている各対象物10a~10d、10f~10iは該収容容器11とも接触した状態となっていることが認識されることになる。
また、本具体例においても、第2探索枠f2には、第1の具体例と同様に、複数の判定ポイントが設定されている。さらに、各判定ポイントに対して所定のアプローチ方向が設定されている。ただし、本具体例では、対象物10の形状が円柱状であるために、判定ポイントに対する所定のアプローチ方向の設定のされ方が、第1の具体例とは一部異なっている。具体的には、第2探索枠f2の頂点に設定された判定ポイントに対して設定される所定のアプローチ方向が、第1の具体例とは異なっている。
図26は、第2探索枠f2に設定された複数の判定ポイント、および、各判定ポイントに対して設定された所定のアプローチ方向を示す図である。図17と同様、図26では、第2探索枠f2の各黒丸が判定ポイントを示している。また、図26では、各黒丸に対して設定されている矢印が所定のアプローチ方向を示している。図26に示すように、本具体例においても、第1の具体例と同様、判定ポイントは、第2探索枠f2における、各頂点、および、各辺上に二箇所ずつ、計12箇所に設定されている。また、図26に示すように、第2探索枠f2の各辺上に設定されている判定ポイントに対しては、各辺に直交する方向が所定のアプローチ方向に設定されている。そして、第2探索枠f2の各頂点に設定されている判定ポイントに対しては、各頂点から延びる対角線の方向が所定のアプローチ方向に設定されている。
そして、本具体例においても、探索部441による探索の結果から得られる、一の対象物10と、他の対象物10および収容容器11それぞれとの接触状態に基づいて、検出部442によってアプローチ判定処理が行われる。ただし、本具体例では、対象物10の形状が円柱状であるために、一の対象物10における判定ポイントに対応する部分は、他の対象物10または収容容器11と接触はしていない。しかしながら、上述したように、一の対象物10と、他の対象物10または収容容器11とが接触していなくとも、両者の間の間隔が小さすぎる部分においては、ハンド機構2の指部21を一の対象物に10に対してアプローチさせることは出来ない。そこで、本具体例では、各判定ポイントについての判定距離に基づいてアプローチ判定処理が行われる。
図27は、判定距離の具体例について説明するための図である。ここでは、図25に示
す対象物10fを例に挙げて判定距離について説明する。図27は、対象物10fがその枠内に存在する第2探索枠f2の一部を拡大した図である。この拡大部分には、判定ポイントP1、P2、P3が含まれている。上述したように、判定距離は、第2探索枠f2内に存在する一の対象物10における該第2探索枠f2に設定された判定ポイントに対応する部分と、他の対象物10または収容容器11との間の、該判定ポイントに対して設定された所定のアプローチ方向における距離である。したがって、図27に示す判定ポイントP1についての判定距離は、対象物10fと収容容器11の側壁との間の所定のアプローチ方向における距離であるd1となる。また、図27に示す判定ポイントP2についての判定距離は、対象物10fと収容容器11の側壁との間の所定のアプローチ方向における距離であるd2となる。図27に示す判定ポイントP3についての判定距離は、対象物10fと、隣接する対象物10iとの間の所定のアプローチ方向における距離であるd3となる。そして、第2探索枠f2の頂点に設定されている判定ポイントP1についての判定距離d1は、該第2探索枠f2の各辺上に設定されている判定ポイントP2、P3についての判定距離d2、d3よりも大きい。そのために、判定距離d1は所定の閾値よりも大きくなっている。また、判定距離d2および判定距離d3は所定の閾値以下となっている。したがって、アプローチ判定処理においては、判定ポイントP1についてはアプローチベクトルが成立していると判定され、判定ポイントP2、P3についてはアプローチベクトルが不成立であると判定される。
す対象物10fを例に挙げて判定距離について説明する。図27は、対象物10fがその枠内に存在する第2探索枠f2の一部を拡大した図である。この拡大部分には、判定ポイントP1、P2、P3が含まれている。上述したように、判定距離は、第2探索枠f2内に存在する一の対象物10における該第2探索枠f2に設定された判定ポイントに対応する部分と、他の対象物10または収容容器11との間の、該判定ポイントに対して設定された所定のアプローチ方向における距離である。したがって、図27に示す判定ポイントP1についての判定距離は、対象物10fと収容容器11の側壁との間の所定のアプローチ方向における距離であるd1となる。また、図27に示す判定ポイントP2についての判定距離は、対象物10fと収容容器11の側壁との間の所定のアプローチ方向における距離であるd2となる。図27に示す判定ポイントP3についての判定距離は、対象物10fと、隣接する対象物10iとの間の所定のアプローチ方向における距離であるd3となる。そして、第2探索枠f2の頂点に設定されている判定ポイントP1についての判定距離d1は、該第2探索枠f2の各辺上に設定されている判定ポイントP2、P3についての判定距離d2、d3よりも大きい。そのために、判定距離d1は所定の閾値よりも大きくなっている。また、判定距離d2および判定距離d3は所定の閾値以下となっている。したがって、アプローチ判定処理においては、判定ポイントP1についてはアプローチベクトルが成立していると判定され、判定ポイントP2、P3についてはアプローチベクトルが不成立であると判定される。
図28は、検出部442によって行われたアプローチ判定処理の結果の一部を示す図である。図28では、図25に示す対象物10fについて行われたアプローチ判定処理の結果が示されている。なお、図18と同様、図28において、所定のアプローチ方向を示す矢印上の丸印は、アプローチベクトルが成立していることを示している。また、図28において、所定のアプローチ方向を示す矢印上の×印は、アプローチベクトルが不成立であることを示している。また、実線の×印は、探索枠f2内に存在する対象物10fと収容容器11との間の判定距離が所定の閾値以下であることでアプローチベクトルが不成立となっていることを示している。また、一点鎖線の×印は、探索枠f2内に存在する対象物10fと他の対象物10との間の判定距離が所定の閾値以下であることでアプローチベクトルが不成立となっていることを示している。
上述したように、収容容器11内においては、9個の対象物10a~10iが、隣り合う対象物10同士が互いに接触した状態で並んで収容されており、且つ、該収容容器11の側壁と隣り合う位置に配置されている各対象物10a~10d、10f~10iは該収容容器11とも接触した状態となっている。したがって、判定距離が所定の閾値より大きくなるのは、第2探索枠f2の頂点に設定されている判定ポイントについての判定距離のみである。そのため、図28に示すように、対象物10fにおいては、第2探索枠f2の各頂点に設定された判定ポイントについてのみアプローチベクトルが成立している。そして、第2探索枠f2の各辺上に設定されている各判定ポイントについては、アプローチベクトルが不成立となっている。
上述した第1~第3の具体例ように、第2探索枠f2に複数設定されている判定ポイントそれぞれについて、該第2探索枠f2内に存在する一の対象物10における各判定ポイントに対応する部分へのハンド機構2の指部21のアプローチが可能か否かを判定することで、一の対象物10において、該ハンド機構2の該指部21をアプローチさせることが可能な部分を検出することができる。
(画像情報処理のフロー)
次に、画像情報処理装置44において行われる画像情報処理のフローについて図29に示すフローチャートに基づいて説明する。この画像情報処理のフローは、画像情報処理装置44において所定の処理プログラムが実行されることで実現される。本フローでは、先
ずS101において、画像情報取得部440によって撮像装置8から画像情報が取得される。
次に、画像情報処理装置44において行われる画像情報処理のフローについて図29に示すフローチャートに基づいて説明する。この画像情報処理のフローは、画像情報処理装置44において所定の処理プログラムが実行されることで実現される。本フローでは、先
ずS101において、画像情報取得部440によって撮像装置8から画像情報が取得される。
次に、S102において、探索部441によって、撮像装置8によって撮像された画像から収容容器11および対象物10が探索される。ここでは、上述したように、記憶部443に記憶されている収容容器11の形状情報および対象物10の形状情報に基づいて収容容器11および対象物10の探索が行われる。また、撮像装置8によって撮像された画像に複数の対象物10が含まれていれば、探索部441は、該複数の対象物10を個々に認識する。
次に、S103において、探索部441によって探索された各対象物10について、検出部442によって、上述したようなアプローチ判定処理が実行される。その結果、各対象物10について、図18、図22、図28に例示するような、アプローチ判定処理の結果が導出される。これにより、各対象物10におけるアプローチ可能部分を検出することができる。
(ハンド制御)
次に、ハンド機構2によって対象物10を把持する際にハンド制御装置43によって行われるハンド制御のフローについて、図30に示すフローチャートに基づいて説明する。このハンド制御のフローは、ハンド制御装置43において所定の処理プログラムが実行されることで実現される。
次に、ハンド機構2によって対象物10を把持する際にハンド制御装置43によって行われるハンド制御のフローについて、図30に示すフローチャートに基づいて説明する。このハンド制御のフローは、ハンド制御装置43において所定の処理プログラムが実行されることで実現される。
本フローでは、先ずS201において、対象物10に関する情報である対象物情報が画像情報処理装置44から取得される。このときに取得される対象物情報には、対象物10の形状情報のみならず、画像情報処理装置44の検出部442による、収容容器11に収容されている各対象物10におけるアプローチ可能部分の検出結果(すなわち、上記の画像情報処理によって導出される、各対象物10についてのアプローチ判定処理の結果)が含まれている。
次に、S202において、画像情報処理装置44から取得された対象物情報に基づいて、収容容器11に収容された一の対象物10をハンド機構2によって把持する際の把持形態が決定される。さらに、S203において、画像情報処理装置44から取得された対象物情報に基づいて、収容容器11に収容された一の対象物10をハンド機構2によって把持する際に、一の対象物10において該ハンド機構2の指部21を接触させる部分が決定される。
例えば、画像情報処理装置44の検出部442によるアプローチ可能部分の検出結果が、上述した画像情報処理の第1の具体例で説明したような結果だった場合、図15に示す画像に含まれる対象物10b、10cについては、その上面にハンド機構2の指部21をアプローチさせることが可能と判断できる。さらには、対象物10bまたは対象物10cの上面にハンド機構2の指部21を接触させた上で、対象物10bまたは対象物10cを手前に傾けることで、これらに対して傾倒把持を行うことが可能であると判断できる。そこで、この場合は、ハンド制御において、対象物10bまたは対象物10cをハンド機構2によって把持する際の把持態様が傾倒把持に決定される。また、対象物10bまたは対象物10cに対して傾倒把持を行う際に、これらにおいてハンド機構2の指部21を接触させる部分が、その上面に決定される。
また、例えば、画像情報処理装置44の検出部442によるアプローチ可能部分の検出結果が、上述した画像情報処理の第2の具体例で説明したような結果だった場合、図20に示す画像に含まれる対象物10b、10cについては、その後方側面にハンド機構2の
指部21をアプローチさせることが可能と判断できる。さらには、対象物10bまたは対象物10cの後方側面にハンド機構2の指部21を接触させた上で、対象物10bまたは対象物10cをその前方に載置された他の対象物10(すなわち、対象物10eまたは対象物10f)に押し当てつつ、対象物10bまたは対象物10cの位置を上方にずらすことで、これらに対してずらし把持を行うことが可能であると判断できる。そこで、この場合は、ハンド制御において、対象物10bまたは対象物10cをハンド機構2によって把持する際の把持態様がずらし把持に決定される。また、対象物10bまたは対象物10cに対してずらし把持を行う際に、これらにおいてハンド機構2の指部21を接触させる部分が、その後方側面に決定される。
指部21をアプローチさせることが可能と判断できる。さらには、対象物10bまたは対象物10cの後方側面にハンド機構2の指部21を接触させた上で、対象物10bまたは対象物10cをその前方に載置された他の対象物10(すなわち、対象物10eまたは対象物10f)に押し当てつつ、対象物10bまたは対象物10cの位置を上方にずらすことで、これらに対してずらし把持を行うことが可能であると判断できる。そこで、この場合は、ハンド制御において、対象物10bまたは対象物10cをハンド機構2によって把持する際の把持態様がずらし把持に決定される。また、対象物10bまたは対象物10cに対してずらし把持を行う際に、これらにおいてハンド機構2の指部21を接触させる部分が、その後方側面に決定される。
また、例えば、画像情報処理装置44の検出部442によるアプローチ可能部分の検出結果が、上述した画像情報処理の第3の具体例で説明したような結果だった場合、図24に示す画像に含まれる対象物10fについては、その側面における互いに対向する部分にハンド機構2の指部21をアプローチさせることが可能と判断できる。そのため、対象物10fに対しては直接把持を行うことが可能であると判断できる。そこで、この場合は、ハンド制御において、対象物10fをハンド機構2によって把持する際の把持態様が直接把持に決定される。また、対象物10fに対して直接把持を行う際に、これにおいてハンド機構2の指部21を接触させる部分が、その側面における互いに対向する部分に決定される。
このように、ハンド制御においては、画像情報処理装置44の検出部442によるアプローチ可能部分の検出結果を取得することで、収容容器11に収容された一の対象物10をハンド機構2によって把持する際の、把持形態、および、一の対象物10において該ハンド機構2の指部21を接触させる部分を決定することが可能となる。
<変形例>
次に、本実施例に係る、ハンド制御装置によって行われるハンド制御の変形例について図31~図33に基づいて説明する。図31は、本変形例における、収容容器11と、該収容容器11に収容された二個の対象物10a、10bとの様子を示す図である。本変形例では、収容容器11が、上方部分のみが開放された箱型の形状を有している。また、対象物10a、10bの形状は直方体である。なお、図31は、収容容器11、および、該収容容器11に収容された二個の対象物10a、10bを、上方から見た場合の様子を示している。
次に、本実施例に係る、ハンド制御装置によって行われるハンド制御の変形例について図31~図33に基づいて説明する。図31は、本変形例における、収容容器11と、該収容容器11に収容された二個の対象物10a、10bとの様子を示す図である。本変形例では、収容容器11が、上方部分のみが開放された箱型の形状を有している。また、対象物10a、10bの形状は直方体である。なお、図31は、収容容器11、および、該収容容器11に収容された二個の対象物10a、10bを、上方から見た場合の様子を示している。
また、図32は、図31に示す対象物10aを把持する際に、該対象物10aに対してハンド機構2の指部21をアプローチさせるときの該ハンド機構2の形態を示している。以下においては、図32に示すハンド機構2の形態を「第1アプローチ形態」と称する場合もある。また、図33は、図31に示す対象物10bを把持する際に、該対象物10bに対してハンド機構2の指部21をアプローチさせるときの該ハンド機構2の形態を示している。以下においては、図33に示すハンド機構2の形態を「第2アプローチ形態」と称する場合もある。なお、図32、図33では、便宜上、第1指部21Aおよび第3指部21Cのみを図示し、第2指部21Bおよび第4指部21Dの図示は省略する。
また、以下においては、ハンド機構2の形態を、図32に示す第1アプローチ形態、または、図33に示す第2アプローチ形態としたときの、第3指部31Cにおける、その先端部(第1指リンク部211Cの先端部)と、その第1関節部22Cの外側部との間の距離を、「指幅」と称する場合もある。なお、図32においては、第1アプローチ形態における指幅をdf1で示している。また、図33においては、第1アプローチ形態における指幅をdf2で示している。
図31に示すように、本変形例においては、収容容器11内において、二個の対象物10a、10bは、いずれも、その左側側面S2および右側側面S3が該収容容器11の側壁から離間した状態で載置されている。そのため、画像情報処理装置44において行われる画像情報処理では、対象物10a、10bについて、その左側側面S2および右側側面S3がアプローチ可能部分として検出される。その結果、ハンド制御装置43によって行われるハンド制御においては、対象物10a、10bをハンド機構2によって把持する際の把持態様が直接把持に決定される。また、対象物10a、10bに対して直接把持を行う際に、これらにおいてハンド機構2の指部21を接触させる部分が、その左側側面S2および右側側面S3に決定される。
ここで、図31に示すように、収容容器11内において、対象物10aは、該収容容器11の横方向の略中央部分に載置されている。つまり、対象物10aの左側側面S2から収容容器11の側壁までの距離dL1と、対象物10aの右側側面S3から収容容器11の側壁までの距離dR1は略等しくなっている。したがって、対象物10aについては、その左側側面S2および右側側面S3のいずれも、収容容器11の側壁から距離が十分に確保されている。そのため、ハンド制御装置43は、対象物10aに対してハンド機構2の指部21をアプローチさせるときの該ハンド機構2の形態を、図32に示す第1アプローチ形態に決定する。この第1アプローチ形態では、図32に示すように、対象物10aを把持する際に、該対象物10aの左側側面S2に接触させる第1指部21Aと、該対象物10aの右側側面S3に接触させる第3指部21Cとが、略左右対称の形状に開かれた状態となっている。
なお、ハンド機構2の第1指部21Aおよび第3指部21Cによって対象物10a(または対象物10b)を挟み込んで把持すべく、該ハンド機構2の第1指部21Aおよび第3指部21Cを対象物10a(または対象物10b)にアプローチさせる場合、第1指部21Aおよび第3指部21Cのそれぞれの先端部(第1指部21Aの第1指リンク部211Aの先端部と第3指部21Cの第1指リンク部211Cの先端部)の互いの間隔W2を、対象物10a(または対象物10b)における左側側面S2と右側側面S3との間の幅W1よりも大きく広げた状態とする。
一方、図31に示すように、収容容器11内において、対象物10bは、該収容容器11の右側の側壁に近い位置に載置されている。したがって、対象物10bの左側側面S2から収容容器11の側壁までの距離dL2は、対象物10aの左側側面S2から収容容器11の側壁までの距離dL1よりもかなり大きくなっている。また、対象物10bの右側側面S3から収容容器11の側壁までの距離dR2は、対象物10aの右側側面S3から収容容器11の側壁までの距離dR1よりもかなり小さくなっている。
そのために、対象物10bの右側側面S3から収容容器11の側壁までの距離dR2が、図32に示す第1アプローチ形態における指幅df1よりも小さくなっている。したがって、ハンド機構2の形態を、図32に示す第1アプローチ形態とした状態では、対象物10bに対して該ハンド機構2の指部21を対象物10bにアプローチさせることができない。
そこで、ハンド制御装置43は、対象物10bに対してハンド機構2の指部21をアプローチさせるときの該ハンド機構2の形態を、図33に示す第2アプローチ形態に決定する。この第2アプローチ形態では、図33に示すように、対象物10bを把持する際に、該対象物10bの左側側面S2に接触させる第1指部21Aと、該対象物10bの右側側面S3に接触させる第3指部21Cとが、左右非対称の形状に開かれた状態となっている。そして、この第2アプローチ形態では、指幅df2が、対象物10bの右側側面S3から収容容器11の側壁までの距離dR2よりも小さくなっている。ただし、第2アプロー
チ形態においても、第1指部21Aおよび第3指部21Cのそれぞれの先端部の互いの間隔W2は、図32に示す第1アプローチ形態における該間隔W2と同等に維持されている。ハンド機構2の形態を、このような第2アプローチ形態とすることで、対象物10bに対して該ハンド機構2の指部21をアプローチさせることが可能となる。
チ形態においても、第1指部21Aおよび第3指部21Cのそれぞれの先端部の互いの間隔W2は、図32に示す第1アプローチ形態における該間隔W2と同等に維持されている。ハンド機構2の形態を、このような第2アプローチ形態とすることで、対象物10bに対して該ハンド機構2の指部21をアプローチさせることが可能となる。
以上説明したように、本変形例では、把持対象の対象物10においてハンド機構2の指部21を接触させる部分と収容容器11(または他の対象物10)との間の距離の大きさに基づいて、ハンド制御装置43が、該対象物10に対して該ハンド機構2の指部21をアプローチさせるときの該ハンド機構2の形態を決定する。これによって、収容容器11内における把持対象の対象物10の載置状況に応じた形態で、ハンド機構2の指部21を該対象物10にアプローチさせることが可能となる。
なお、該ハンド機構2の指部21をアプローチさせるときの該ハンド機構2の形態は、図32に示す第1アプローチ形態、および、図33に示す第2アプローチ形態に限られるものではなく、該ハンド機構2において取り得る形態であればどのような形態であってもよい。
<構成の具体例>
図34~図41は、本発明に係るロボットアームの具体的な構成の一例を示す図である。図34は、ロボットアームの平面側斜視図である。図35は、ロボットアームの底面側斜視図である。図36は、ロボットアームの正面図である。図37は、ロボットアームの背面図である。図38は、ロボットアームの平面図である。図39は、ロボットアームの底面図である。図40は、ロボットアームの右側面図である。図41は、ロボットアームの左側面図である。
図34~図41は、本発明に係るロボットアームの具体的な構成の一例を示す図である。図34は、ロボットアームの平面側斜視図である。図35は、ロボットアームの底面側斜視図である。図36は、ロボットアームの正面図である。図37は、ロボットアームの背面図である。図38は、ロボットアームの平面図である。図39は、ロボットアームの底面図である。図40は、ロボットアームの右側面図である。図41は、ロボットアームの左側面図である。
図42~図49は、本発明に係るハンド機構の具体的な構成の一例を示す図である。図42は、ハンド機構の正面側斜視図である。図43は、ハンド機構の背面側斜視図である。図44は、ハンド機構の正面図である。図45は、ハンド機構の背面図である。図46は、ハンド機構の平面図である。図47は、ハンド機構の底面図である。図48は、ハンド機構の右側面図である。図49は、ハンド機構の左側面図である。
図50~図57は、本発明に係る台座部の具体的な構成の一例を示す図である。図50は、台座部の平面側斜視図である。図51は、台座部の底面側斜視図である。図52は、台座部の正面図である。図53は、台座部の背面図である。図54は、台座部の平面図である。図55は、台座部の底面図である。図56は、台座部の右側面図である。図57は、台座部の左側面図である。
1・・・ロボットアーム、2・・・ハンド機構、8・・・撮像装置、20・・・ベース部、21・・・指部、22・・・第1関節部、23・・・第2関節部、211・・・第1指リンク部、212・・・第2指リンク部、213・・・基端部、3・・・アーム機構、30a・・・第1関節部、30b・・・第2関節部、30c・・・第3関節部、30d・・・第4関節部、30e・・・第5関節部、30f・・・第6関節部、31・・・第1アームリンク部、32・・・第2アームリンク部、33・・・第3アームリンク部、34・・・第4アームリンク部、35・・・第5アームリンク部、36・・・接続部材、4・・・台座部、42・・・アーム制御装置、420・・・アーム制御部、421・・・モータ状態量取得部、43・・・ハンド制御装置、430・・・対象物情報取得部、431・・・ハンド制御部、432・・・モータ状態量取得部、44・・・画像情報処理装置、440・・・画像情報取得部、441・・・探索部、442・・・検出部、443・・・記憶部、70・・・感圧センサ、100・・・把持システム
Claims (13)
- 収容容器に収容された対象物を、複数の指部を有するハンド機構によって把持する把持システムであって、該収容容器と、該収容容器に収容された少なくとも一つの該対象物と、を含んだ画像を撮像する撮像装置を有する把持システムに適用され、該撮像装置によって取得された画像情報を処理する画像情報処理装置において、
予め記憶された、前記収容容器の形状情報と、前記対象物の形状情報と、に基づいて、前記撮像装置によって撮像された画像から、前記収容容器探索用の探索枠である第1探索枠を用いて前記収容容器を探索し、前記対象物探索用の探索枠である第2探索枠を用いて前記対象物を探索する探索部と、
前記収容容器に収容された一の対象物において、前記ハンド機構の前記指部をアプローチさせることが可能な部分を、前記探索部による探索結果から得られる、一の対象物と、他の対象物および前記収容容器それぞれとの接触状態に基づいて検出する検出部と、を備え、
前記第2探索枠における所定の位置に複数の判定ポイントが予め設定されており、且つ、各判定ポイントに対して所定のアプローチ方向が設定されており、
前記検出部が、前記第2探索枠内に存在する一の対象物について、該第2探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された前記所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることが可能か否かを判定する画像情報処理装置。 - 前記第2探索枠内に存在する一の対象物における該第2探索枠に設定された判定ポイントに対応する部分に対して、該判定ポイントに設定された前記所定のアプローチ方向から、他の対象物または前記収容容器が接触していれば、前記検出部が、一の対象物における該判定ポイントに対応する部分に該所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることは不可能であると判定する請求項1に記載の画像情報処理装置。
- 前記第2探索枠内に存在する一の対象物における該第2探索枠に設定された判定ポイントに対応する部分と、他の対象物または前記収容容器との間の、該判定ポイントに対して設定された前記所定のアプローチ方向における距離が所定の閾値以下であれば、前記検出部が、一の対象物における該判定ポイントに対応する部分に該所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることは不可能であると判定する請求項1に記載の画像情報処理装置。
- 前記第2探索枠が、前記対象物の前記画像上の外周の大きさに応じて設定される多角形の枠であって、
前記第2探索枠における、各辺上および各頂点に前記判定ポイントが設定されている請求項1から3のいずれか一項に記載の画像情報処理装置。 - 前記対象物の前記画像上の外周の形状が四角形である場合、該対象物の該外周の頂点に対応する前記第2探索枠の頂点に設定された前記判定ポイントに対しては、該第2探索枠の頂点を形成する二辺それぞれに対して直交する二方向が前記所定のアプローチ方向に設定される請求項4に記載の画像情報処理装置。
- 前記第2探索枠内に存在する一の対象物が前記収容容器と接触している場合、前記検出部が、一の対象物の前記画像上の外周における、前記収容容器と接触している辺と他の辺とで形成される頂点については、該頂点に対応する前記第2探索枠の頂点に設定された前記判定ポイントに対して設定されている二方向の前記所定のアプローチ方向のいずれからも、前記ハンド機構の前記指部をアプローチさせることが不可能であると判定する請求項5に記載の画像情報処理装置。
- 前記対象物の前記画像上の外周の形状が円形である場合、前記第2探索枠の頂点に設定された前記判定ポイントに対しては、該頂点から延びる対角線の方向が前記所定のアプローチ方向に設定される請求項4に記載の画像情報処理装置。
- 前記ハンド機構と、
前記撮像装置と、
請求項1から7のいずれか一項に記載の画像情報処理装置と、
前記収容容器に収容された一の対象物を前記ハンド機構によって把持する際の把持形態を、前記画像情報処理装置の前記検出部による検出結果に基づいて決定するハンド制御装置と、を備える把持システム。 - 前記ハンド機構と、
前記撮像装置と、
請求項1から7のいずれか一項に記載の画像情報処理装置と、
前記収容容器に収容された一の対象物を前記ハンド機構によって把持する際に、一の対象物において該ハンド機構の前記指部を接触させる部分を、前記画像情報処理装置の前記検出部による検出結果に基づいて決定するハンド制御装置と、を備える把持システム。 - 一の対象物において該ハンド機構の前記指部を接触させる部分と、他の対象物または前記収容容器との間の距離の大きさに基づいて、前記ハンド制御装置が、一の対象物に対して該ハンド機構の指部をアプローチさせるときの該ハンド機構の形態を決定する請求項8に記載の把持システム。
- 収容容器に収容された対象物を、複数の指部を有するハンド機構によって把持する把持システムにおいて、該収容容器と、該収容容器に収容された少なくとも一つの該対象物と、を含んだ画像を撮像する撮像装置によって取得された画像情報を処理する画像情報処理方法であって、
予め記憶された、前記収容容器の形状情報と、前記対象物の形状情報と、に基づいて、前記撮像装置によって撮像された画像から、前記収容容器探索用の探索枠である第1探索枠を用いて前記収容容器を探索し、前記対象物探索用の探索枠である第2探索枠を用いて前記対象物を探索する探索ステップと、
前記収容容器に収容された一の対象物において、前記ハンド機構の前記指部をアプローチさせることが可能な部分を、前記探索部による探索結果から得られる、一の対象物と他の対象物および前記収容容器それぞれとの接触状態に基づいて検出する検出ステップと、を有し、
前記第2探索枠における所定の位置に複数の判定ポイントが予め設定されており、且つ、各判定ポイントに対して所定のアプローチ方向が設定されており、
前記検出ステップにおいて、前記第2探索枠内に存在する一の対象物について、該第2探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された前記所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることが可能か否かを判定する画像情報処理方法。 - 前記検出ステップにおいて、前記第2探索枠内に存在する一の対象物における該第2探索枠に設定された判定ポイントに対応する部分に対して、該判定ポイントに設定された前記所定のアプローチ方向から、他の対象物または前記収容容器が接触していれば、一の対象物における該判定ポイントに対応する部分に該所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることは不可能であると判定する請求項11に記載の画像情報処理方法。
- 前記検出ステップにおいて、前記第2探索枠内に存在する一の対象物における該第2探索枠に設定された判定ポイントに対応する部分と、他の対象物または前記収容容器との間の、該判定ポイントに対して設定された前記所定のアプローチ方向における距離が所定の閾値以下であれば、一の対象物における該判定ポイントに対応する部分に該所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることは不可能であると判定する請求項11に記載の画像情報処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018218556A JP7097799B2 (ja) | 2018-11-21 | 2018-11-21 | 画像情報処理装置、把持システム、および画像情報処理方法 |
US17/295,681 US11607803B2 (en) | 2018-11-21 | 2019-10-04 | Image information processing device, gripping system, and image information processing method |
DE112019005825.8T DE112019005825B4 (de) | 2018-11-21 | 2019-10-04 | Bildinformationen-Verarbeitungseinrichtung, Greifsystem und Bildinformationen-Verarbeitungsverfahren |
CN201980076548.5A CN113165187B (zh) | 2018-11-21 | 2019-10-04 | 图像信息处理装置、把持***以及图像信息处理方法 |
PCT/JP2019/039298 WO2020105295A1 (ja) | 2018-11-21 | 2019-10-04 | 画像情報処理装置、把持システム、および画像情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018218556A JP7097799B2 (ja) | 2018-11-21 | 2018-11-21 | 画像情報処理装置、把持システム、および画像情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020082253A JP2020082253A (ja) | 2020-06-04 |
JP7097799B2 true JP7097799B2 (ja) | 2022-07-08 |
Family
ID=70774165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018218556A Active JP7097799B2 (ja) | 2018-11-21 | 2018-11-21 | 画像情報処理装置、把持システム、および画像情報処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11607803B2 (ja) |
JP (1) | JP7097799B2 (ja) |
CN (1) | CN113165187B (ja) |
DE (1) | DE112019005825B4 (ja) |
WO (1) | WO2020105295A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230028764A1 (en) * | 2020-02-17 | 2023-01-26 | Fanuc Corporation | Hand device and workpiece handling system |
JP7313310B2 (ja) * | 2020-03-31 | 2023-07-24 | 日本碍子株式会社 | セラミックス製の柱状ハニカム構造体の検査方法及び検査装置 |
CN115643800A (zh) * | 2021-05-18 | 2023-01-24 | 牧今科技 | 用于物体大小测量的机器人*** |
WO2024009408A1 (ja) * | 2022-07-05 | 2024-01-11 | 川崎重工業株式会社 | ロボットシステム、ロボット制御方法及びロボット制御プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013184278A (ja) | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
JP2014161965A (ja) | 2013-02-26 | 2014-09-08 | Toyota Industries Corp | 物品取り出し装置 |
JP2016108057A (ja) | 2014-12-02 | 2016-06-20 | 富士電機機器制御株式会社 | 物品供給装置、物品取り出しシステム |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5429614B1 (ja) | 1970-06-15 | 1979-09-25 | ||
US4957320A (en) * | 1988-08-31 | 1990-09-18 | Trustees Of The University Of Pennsylvania | Methods and apparatus for mechanically intelligent grasping |
JPH11333770A (ja) * | 1998-03-20 | 1999-12-07 | Kobe Steel Ltd | 積荷位置姿勢認識装置 |
CN100372660C (zh) * | 2002-06-24 | 2008-03-05 | 松下电器产业株式会社 | 多关节驱动机构及其制造方法、使用该机构的把持手和机器人 |
WO2004028753A2 (en) * | 2002-09-26 | 2004-04-08 | Barrett Technology, Inc. | Intelligent, self-contained robotic hand |
JP3886471B2 (ja) * | 2003-05-20 | 2007-02-28 | ファナック株式会社 | 画像処理装置 |
JP3973614B2 (ja) * | 2003-10-14 | 2007-09-12 | オリンパス株式会社 | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 |
JP5105147B2 (ja) * | 2006-08-28 | 2012-12-19 | 株式会社安川電機 | ロボットおよび制御方法 |
US8231158B2 (en) * | 2006-11-03 | 2012-07-31 | President And Fellows Of Harvard College | Robust compliant adaptive grasper and method of manufacturing same |
NL2001479C2 (nl) * | 2008-04-14 | 2009-10-19 | Ronald Zeelen | Werkwijze en inrichting voor het verwijderen van een blad. |
JP5429614B2 (ja) | 2009-04-16 | 2014-02-26 | 株式会社Ihi | 箱状ワーク認識装置および方法 |
US8936289B1 (en) * | 2010-03-15 | 2015-01-20 | Telefactor Robotics LLC | Robotic finger assemblies |
US8489224B2 (en) * | 2011-02-28 | 2013-07-16 | Solidcam Ltd. | Computerized tool path generation |
JP5953842B2 (ja) * | 2012-03-14 | 2016-07-20 | オムロン株式会社 | 画像検査方法および検査領域設定方法 |
US8936290B1 (en) * | 2012-08-29 | 2015-01-20 | Sandia Corporation | Robotic hand with modular extensions |
DE112013006908B4 (de) * | 2013-04-04 | 2021-09-16 | Thk Co., Ltd. | Gelenkmechanismus, Finger und Hand |
JP6167760B2 (ja) * | 2013-08-26 | 2017-07-26 | 株式会社ダイフク | 物品位置認識装置 |
JP6271953B2 (ja) * | 2013-11-05 | 2018-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN103778433B (zh) * | 2014-01-15 | 2017-02-22 | 广东华中科技大学工业技术研究院 | 基于点到直线距离的广义点集匹配方法 |
JP2015147256A (ja) | 2014-02-04 | 2015-08-20 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置、及び制御方法 |
JP6338421B2 (ja) | 2014-03-31 | 2018-06-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム |
US9486921B1 (en) * | 2015-03-26 | 2016-11-08 | Google Inc. | Methods and systems for distributing remote assistance to facilitate robotic object manipulation |
CN104773427B (zh) * | 2015-04-10 | 2017-03-08 | 无锡职业技术学院 | 一种工业机器人技术实训*** |
US9802317B1 (en) * | 2015-04-24 | 2017-10-31 | X Development Llc | Methods and systems for remote perception assistance to facilitate robotic object manipulation |
JP6632224B2 (ja) | 2015-06-02 | 2020-01-22 | キヤノン株式会社 | 把持制御装置、把持制御方法及びプログラム |
JP2018034242A (ja) | 2016-08-31 | 2018-03-08 | セイコーエプソン株式会社 | ロボット制御装置、ロボット、及びロボットシステム |
CN206395485U (zh) * | 2016-09-14 | 2017-08-11 | 东莞市联匠机械零部件有限公司 | 物料抓取*** |
JP6438512B2 (ja) | 2017-03-13 | 2018-12-12 | ファナック株式会社 | 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法 |
KR102352559B1 (ko) * | 2017-05-15 | 2022-01-19 | 티에치케이 가부시끼가이샤 | 파지 시스템 |
JP7155479B2 (ja) * | 2017-05-15 | 2022-10-19 | Thk株式会社 | ハンド機構、把持システム、および把持プログラム |
JP2019018280A (ja) * | 2017-07-14 | 2019-02-07 | Thk株式会社 | 把持システム |
WO2019031502A1 (ja) * | 2017-08-10 | 2019-02-14 | Thk株式会社 | ハンド機構および把持システム |
JP7126817B2 (ja) * | 2017-11-15 | 2022-08-29 | Thk株式会社 | 把持システムおよび把持方法 |
-
2018
- 2018-11-21 JP JP2018218556A patent/JP7097799B2/ja active Active
-
2019
- 2019-10-04 US US17/295,681 patent/US11607803B2/en active Active
- 2019-10-04 WO PCT/JP2019/039298 patent/WO2020105295A1/ja active Application Filing
- 2019-10-04 DE DE112019005825.8T patent/DE112019005825B4/de active Active
- 2019-10-04 CN CN201980076548.5A patent/CN113165187B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013184278A (ja) | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
JP2014161965A (ja) | 2013-02-26 | 2014-09-08 | Toyota Industries Corp | 物品取り出し装置 |
JP2016108057A (ja) | 2014-12-02 | 2016-06-20 | 富士電機機器制御株式会社 | 物品供給装置、物品取り出しシステム |
Also Published As
Publication number | Publication date |
---|---|
DE112019005825T5 (de) | 2021-08-12 |
US11607803B2 (en) | 2023-03-21 |
CN113165187A (zh) | 2021-07-23 |
WO2020105295A1 (ja) | 2020-05-28 |
US20220009092A1 (en) | 2022-01-13 |
CN113165187B (zh) | 2023-07-21 |
DE112019005825B4 (de) | 2023-07-27 |
JP2020082253A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7097799B2 (ja) | 画像情報処理装置、把持システム、および画像情報処理方法 | |
JP7410270B2 (ja) | ロボット動作計画方法、経路計画方法、把持方法及びその装置 | |
US10967507B2 (en) | Positioning a robot sensor for object classification | |
US20200376656A1 (en) | Mobile Robot Morphology | |
US20180290307A1 (en) | Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method | |
JP2023116741A (ja) | 未知の物体の自律的ピックアンドプレース | |
JP4001105B2 (ja) | ロボットによる任意形状物体の把持方法 | |
JP6450960B2 (ja) | ロボット、ロボットシステム及び教示方法 | |
US11298818B2 (en) | Gripping system | |
US11273551B2 (en) | Grasping control device, grasping system, and computer program product | |
CN114072255B (zh) | 移动机器人传感器配置 | |
WO2021039775A1 (ja) | 画像処理装置、撮像装置、ロボット及びロボットシステム | |
JP2019042853A (ja) | 画像情報処理装置、把持システム、および画像情報処理方法 | |
WO2023187006A1 (en) | Controlling a robotic manipulator for packing an object | |
JP7149267B2 (ja) | 把持システム | |
JPWO2018212194A1 (ja) | 把持システム | |
JP7069512B2 (ja) | 把持システムおよびその制御方法 | |
JPWO2019102913A1 (ja) | 把持システム | |
WO2022030414A1 (ja) | ロボットの構成部材の干渉を検出するロボット装置 | |
WO2024023934A1 (ja) | ワーク取出し装置、ワーク取出し方法及び制御装置 | |
JP7014497B2 (ja) | 把持システム | |
CN116197887A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
Macias | Visual and gesture guided robotic block stacking | |
JPH0947991A (ja) | 産業ロボット用視覚情報処理方法とその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7097799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |