JP7424800B2 - 制御装置、その制御方法、及び制御システム - Google Patents
制御装置、その制御方法、及び制御システム Download PDFInfo
- Publication number
- JP7424800B2 JP7424800B2 JP2019201210A JP2019201210A JP7424800B2 JP 7424800 B2 JP7424800 B2 JP 7424800B2 JP 2019201210 A JP2019201210 A JP 2019201210A JP 2019201210 A JP2019201210 A JP 2019201210A JP 7424800 B2 JP7424800 B2 JP 7424800B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- color
- robot
- workpiece
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000000295 complement effect Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 7
- 230000032258 transport Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
例えば、特許文献1には、バラ積みされたワークが搭載されている作業空間を、撮像部を用いて三次元計測し、取得した三次元計測データに基づいて、ワークの背景領域部分を除外したワークの形状を示すワークモデルを生成することの記載がある。また、特許文献1には、モデル座標系を設定し、ワークモデルの把持位置及びロボットの把持部の姿勢で構成される把持データを設定し、ワークの姿勢を順次変更しつつ、モデル座標系の設定及び把持データの設定を繰り返し、複数の把持データをワークモデルごとに対応付けて記憶することの記載がある。そして、特許文献1には、取得した三次元計測データに対して三次元サーチ処理を行い、ワークモデルに設定された把持データに基づいてロボットの把持部の動作を制御することの記載がある。
特許文献2には、距離画像および輝度画像の双方を生成するに際し、高解像度の輝度画像を生成できるようにする測距装置が記載されている。具体的には、特許文献2には、測距光照射部が、所定周期にて強度変調された測距光を被写体(対象物となる)に照射し、複数の受光素子が配列されたCCDが被写体による測距光の反射光を受光し、受光光量に応じた信号を出力することの記載がある。この際、撮像制御部は、所定数の受光素子からなる受光素子単位にて、測距光の変調周期における互いに異なる複数の位相において反射光をそれぞれ受光して、複数の位相毎に信号を取得するようCCDを制御する。距離画像生成部は、複数の位相毎の信号に基づいて、受光素子単位にて被写体までの距離を表す距離情報を算出し、距離情報を各画素の情報とする距離画像を生成する。輝度画像生成部が、複数の位相毎の信号に基づいて、受光素子単位にて被写体の輝度を表す輝度情報を複数算出し、各輝度情報を各画素の情報とする輝度画像を生成する。
これらの誤認識をなくすために、対象物を検出する機能の検索パラメータの閾値、例えば輪郭パターンがどの程度一致するかの閾値を高く設定することができるが、閾値を高くしすぎると対象物を検出することが難しくなる。
また、誤認識をなくすために画像フィルタを用いることができるが、画像フィルタを用いると対象物自体の画像にも影響を与える。
よって、カメラ画像で対象物と対象物の背景とを簡易な構成又は方法で明確に切り分けることが望まれる。
前記対象物を含む被写体の3次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得するセンサ信号取得部と、
前記3次元点群データから得られる前記被写体の高さが所定値より低い領域を取得する領域取得部と、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定する対象物外領域設定部と、
前記対象物外領域の色に、前記対象物の色の補色を設定する補色設定部と、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記被写体に対する前記対象物の位置を認識する対象物位置認識部と、
少なくとも前記位置を用いて前記機械又はロボットの動作を制御する動作制御部と、
を備えた制御装置である。
上記(1)に記載の制御装置と、
該制御装置により対象物を取り扱う動作が制御されるロボットと、
前記対象物を含む被写体の3次元点群データとこれに対応するカメラ画像とを前記制御装置に出力するセンサと、
を備えた制御システムである。
前記対象物を含む被写体の3次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得し、
前記3次元点群データから得られる前記被写体の高さが所定値より低い領域を取得し、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定し、
前記対象物外領域の色に、前記対象物の色の補色を設定し、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記対象物の位置を認識し、
少なくとも前記位置を用いて前記機械又はロボットの動作を制御する、制御方法である。
図1に示すように、ロボットシステム10は、被写体の3次元点群と2次元カメラ画像を取得するセンサ100、ロボット200、センサ100から出力される3次元点群と2次元カメラ画像に基づいてロボット200を制御する制御装置300、パレット400、及びパレット400上に置かれたワーク500を備える。センサ100のカメラ画像の被写体はワーク500が置かれたパレット400となる。ロボット200はアームに装着されるハンドでワーク500を掴んで搬送を行う。ワーク500はロボット200によって取り扱われる対象物となる。
制御装置300は、センサ100及びロボット200と通信可能に接続されている。
ワーク500は、ロボット200のアームに装着されたハンドで把持可能なものであればよく、その形状等は特に限定されない。
センサ100は、パレット400上に一定距離をおいて配置され、ワーク500が置かれたパレット400の3次元点群データと2次元カメラ画像を取得して、制御装置300に送る。2次元カメラ画像はカラー画像でもグレースケール画像でもよい。コンベアにワーク500が置かれる場合、3次元点群データと2次元カメラ画像を同じタイミングで取得するため、コンベアを一旦停止して、3次元点群データと2次元カメラ画像を取得することが好ましい。
そして、制御装置300は、予め保存されたワーク500の色を取得し、カメラ画像のワーク外領域の色をワーク500の色の補色に設定する。補色とは、色相環(color circle)で反対に位置する関係の色であるが、反対に位置する色に近い色、例えば色相環で反対に位置する色に隣接する色も含まれるものとする。
また、補色は、一般的にはワーク500の色が白色、灰色、黒色等の無彩色の場合は存在しないとされるが、白色の補色を黒色、黒色の補色を白色として扱う。なお、白色の補色には黒色に近い灰色、黒色の補色には白色に近い灰色も含まれる。具体的には、ワーク500の色が白色又は白色に近い灰色のときは、ワーク外領域の色は黒色又は黒色に近い灰色とし、ワーク500の色が黒色又は黒色に近い灰色のときは、ワーク外領域の色は白色又は白色に近い灰色とする。
また、制御装置300は、3次元点群データからワーク500の高さを認識し、ロボット200のハンドがワーク500を掴む高さを設定する。
そして、ロボット200は、制御装置300の生成した制御信号に基づいてワーク500をハンドで掴んで、ワーク500の搬送を行う。
以上、ロボットシステム10の全体構成及び動作の概略について説明した。次に、ロボットシステム10に含まれる、センサ100、ロボット200及び制御装置300について詳細に説明を行う。
ロボット200は、制御装置300が出力する制御信号に応じて、アーム又はハンドを駆動して、ハンドをワーク500の置かれた位置まで移動させて、ワーク500を把持して搬送する。
なお、ロボット200はワーク500の搬送を行うロボットに限らず、部品の組み立て、ワークの加工等を行うロボットであってもよい。
ロボット200の具体的な構成については、当業者によく知られているので、詳細な説明を省略する。
画像処理部310は、センサ信号取得部311、領域取得部312、ワーク外領域設定部313、補色設定部314、ワーク位置認識部315及びワーク色保存部316を備える。
領域取得部312は、3次元点群データから所定の高さ以上の領域がある場合は、3次元点群データから所定の高さより低い3次元点の領域を取得して、所定の高さより低い3次元点の領域の特定情報と、2次元カメラ画像と、3次元点群データとをワーク外領域設定部313に出力する。
ワーク色保存部316には予めワーク500の色が保存されている。
図5に示す2次元カメラ画像P1は、図4と同様に、ワーク領域P11の色は黒色に近い灰色、ワーク外領域P12は網目である。
補色設定部314は、図5に示す2次元カメラ画像P1の網目のワーク外領域P12を白色のワーク外領域P13に変えて、図5に示す2次元カメラ画像P2とする。
図6に示す2次元カメラ画像P3は、ワーク500の色が白色で、ワーク領域P31の色は白色、ワーク外領域P32は網目である。
補色設定部314は、ワーク外領域に該当する画像領域の色が補色とされた2次元カメラ画像及び3次元点群データをワーク位置認識部315に出力する。
なお、補色設定部314では3次元点群データを用いた処理を行わないので、ワーク外領域設定部313は後述するワーク位置認識部315に補色設定部314を介さずに3次元点群データを出力してもよい。
ワーク位置認識部315は、2次元カメラ画像から、パレット400に対するワーク500の位置を認識する。
また、ワーク位置認識部315は、3次元点群データからワーク500の高さを認識し、ロボット200のハンドがワーク500を掴む高さを設定する。
ワーク位置認識部315は、パレット400に対するワーク500の位置と、ロボット200のハンドがワーク500を掴む高さとを、ロボット制御部320の動作制御部321に出力する。
ロボット制御部320は、図2に示すように、動作制御部321を備える。
動作制御部321は、ワーク位置認識部315から出力される、パレット400に対するワーク500の位置と、ロボット200のハンドがワーク500を掴む高さとから、ロボット200のアーム及びハンドを制御する制御信号を生成し、制御信号をロボット200に送る。
なお、動作制御部321は、予め行われたキャリブレーションにより、ロボット200を制御するための機械座標系と、ワーク500の位置を示すカメラ座標系とを対応付けているものとする。
表示部330は、図5に示す2次元カメラ画像P1とP2、又は図6に示す2次元カメラ画像P3とP4を画面に表示する。表示部330は例えば、液晶表示装置である。ユーザは表示部330の画面を見て、ワーク領域が正確に認識され、ワーク外領域の色がワーク500の色の補色に変えられているかを確認することができる。表示部330は、2次元カメラ画像P2、又は図6に示す2次元カメラ画像P4のみを画面に表示してもよい。この場合、ユーザは、ワーク外領域の色がワーク500の色の補色であるかどうかを確認することができる。
なお、表示部330は、ユーザが画像の確認を行わない場合には設けなくともよい。
これらの機能ブロックを実現するために、制御装置300は、CPU(Central Processing Unit)等の演算処理装置を備える。また、画像処理装置10aは、アプリケーションソフトウェアやOS(Operating System)等の各種の制御用プログラムを格納したHDD(Hard Disk Drive)等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのRAM(Random Access Memory)といった主記憶装置も備える。
ただし、制御装置300は、演算量が多い場合、例えば、コンピュータにGPU(Graphics Processing Units)を搭載し、GPGPU(General-Purpose computing on Graphics Processing Units)と呼ばれる技術により、GPUを演算処理に利用するようにすると高速処理できるようになるのでよい。また、コンピュータにFPGA(Field-Programmable Gate Array)を搭載し、FPGAを演算処理に利用するようにすると高速処理できるようになるのでよい。
次に、図7のフローチャートを参照して、本実施形態の制御装置の動作について説明をする。図7は本実施形態の制御装置の動作を示すフローチャートである。
3次元点群データから所定の高さ以上の領域がある場合(YESの場合)は、ステップS12に移る。
なお、上記のロボットシステムに含まれる各装置のそれぞれは、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のロボットシステムに含まれる各装置のそれぞれの協働により行なわれる制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
そのため、制御システムはロボットシステムに限定されず、工作機械システム又は産業機械システムにも適用される。
前記対象物を含む被写体の3次元点群データとこれに対応するカメラ画像とを出力するセンサ(例えば、センサ100)からの信号を取得するセンサ信号取得部(例えば、センサ信号取得部311)と、
前記3次元点群データから得られる前記被写体の高さが所定値より低い領域を取得する領域取得部(例えば、領域取得部312)と、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定する対象物外領域設定部(例えば、ワーク外領域設定部313)と、
前記対象物外領域の色に、前記対象物の色の補色を設定する補色設定部(例えば、補色設定部314)と、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記被写体に対する前記対象物の位置を認識する対象物位置認識部(例えば、ワーク位置認識部315)と、
少なくとも前記位置を用いて前記機械又はロボット(例えば、ロボット200)の動作を制御する動作制御部(例えば、動作制御部321)と、
を備えた制御装置である。
本開示の制御装置によれば、カメラ画像で対象物と対象物の背景とを簡易な方法で明確に切り分けることができる。
前記補色設定部は、前記保存部に保存された前記対象物の色に基づいて前記対象物の色の補色を設定する上記(1)から(3)のいずれかに記載の制御装置。
該制御装置により対象物を取り扱う動作が制御される機械又はロボット(例えば、ロボット200)と、
前記対象物を含む被写体の3次元点群データとこれに対応するカメラ画像とを前記制御装置に出力するセンサ(例えば、センサ100)と、
を備えた制御システムである。
本開示の制御システムによれば、カメラ画像で対象物と対象物の背景とを簡易な方法で明確に切り分けることができ、機械又はロボットの対象物に対する動作を正確に行うことができる。
前記対象物を含む被写体の3次元点群データとこれに対応するカメラ画像とを出力するセンサ(例えば、センサ100)からの信号を取得し、
前記3次元点群データから得られる前記被写体の高さが所定値より低い領域を取得し、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定し、
前記対象物外領域の色に、前記対象物の色の補色を設定し、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記対象物の位置を認識し、
少なくとも前記位置を用いて前記機械又はロボット(例えば、ロボット200)の動作を制御する、制御方法である。
本開示の制御方法によれば、カメラ画像で対象物と対象物の背景とを簡易な方法で明確に切り分けることができる。
100 センサ
200 ロボット
300 制御装置
310 画像処理部
311 センサ信号取得部
312 領域取得部
313 ワーク外領域設定部
314 補色設定部
315 ワーク位置認識部
316 ワーク色保存部
320 ロボット制御部
321 動作制御部
330 表示部
400 パレット
500 ワーク(対象物)
Claims (6)
- 対象物の位置を認識して、前記対象物を取り扱うロボットの動作を制御する制御装置であって、
前記対象物を含む被写体の3次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得するセンサ信号取得部と、
前記被写体の前記3次元点群データから、所定値以上の高さを有する領域があるかどうかを判断し、前記所定値以上の高さを有する領域がある場合は、前記被写体上に前記対象物が存在すると判定して、前記3次元点群データから得られる前記被写体の高さが前記所定値より低い領域を取得する領域取得部と、
前記所定値より低い領域に対応する前記カメラ画像の領域を対象物外領域として設定する対象物外領域設定部と、
前記対象物外領域の色に、前記対象物の色の補色を設定する補色設定部と、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記被写体に対する前記対象物の位置を認識し、前記3次元点群データから前記対象物の高さを認識し、前記ロボットが前記対象物を把持する高さを設定する対象物位置認識部と、
少なくとも前記位置及び前記把持する高さを用いて前記ロボットの動作を制御する動作制御部と、
を備えた制御装置。 - 前記対象物は被加工物であり、前記被写体は前記被加工物が置かれたパレット又はコンベアである請求項1に記載の制御装置。
- 前記領域取得部は、前記3次元点群データの取得できていない箇所について、周囲の3次元点群データに基づいて高さを推定する請求項1又は2に記載の制御装置。
- 前記対象物の色を保存する保存部を備え、
前記補色設定部は、前記保存部に保存された前記対象物の色に基づいて前記対象物の色の補色を設定する請求項1から3のいずれか1項に記載の制御装置。 - 請求項1から4のいずれか1項に記載の制御装置と、
該制御装置により対象物を取り扱う動作が制御されるロボットと、
前記対象物を含む被写体の3次元点群データとこれに対応するカメラ画像とを前記制御装置に出力するセンサと、
を備えた制御システム。 - 対象物の位置を認識して、前記対象物を取り扱うロボットの動作を制御する制御装置の制御方法であって、
前記対象物を含む被写体の3次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得し、
前記被写体の前記3次元点群データから、所定値以上の高さを有する領域があるかどうかを判断し、前記所定値以上の高さを有する領域がある場合は、前記被写体上に前記対象物が存在すると判定して、前記3次元点群データから得られる前記被写体の高さが前記所定値より低い領域を取得し、
前記所定値より低い領域に対応する前記カメラ画像の領域を対象物外領域として設定し、
前記対象物外領域の色に、前記対象物の色の補色を設定し、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記対象物の位置を認識し、
前記3次元点群データから前記対象物の高さを認識し、前記ロボットが前記対象物を把持する高さを設定し、
少なくとも前記位置及び前記把持する高さを用いて前記ロボットの動作を制御する、制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019201210A JP7424800B2 (ja) | 2019-11-06 | 2019-11-06 | 制御装置、その制御方法、及び制御システム |
DE102020126519.0A DE102020126519A1 (de) | 2019-11-06 | 2020-10-09 | Steuereinheit, steuerverfahren mit hilfe der steuereinheit und steuersystem |
US17/073,983 US11717970B2 (en) | 2019-11-06 | 2020-10-19 | Controller, control method using controller, and control system |
CN202011164574.4A CN112775961A (zh) | 2019-11-06 | 2020-10-27 | 控制装置、控制装置的控制方法以及控制*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019201210A JP7424800B2 (ja) | 2019-11-06 | 2019-11-06 | 制御装置、その制御方法、及び制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021074799A JP2021074799A (ja) | 2021-05-20 |
JP7424800B2 true JP7424800B2 (ja) | 2024-01-30 |
Family
ID=75485559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019201210A Active JP7424800B2 (ja) | 2019-11-06 | 2019-11-06 | 制御装置、その制御方法、及び制御システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11717970B2 (ja) |
JP (1) | JP7424800B2 (ja) |
CN (1) | CN112775961A (ja) |
DE (1) | DE102020126519A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114986521B (zh) * | 2022-08-01 | 2022-11-15 | 深圳市信润富联数字科技有限公司 | 物体抓取方法、装置、电子设备及可读存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000076454A (ja) | 1998-08-31 | 2000-03-14 | Minolta Co Ltd | 3次元形状データ処理装置 |
JP2007148663A (ja) | 2005-11-25 | 2007-06-14 | Sony Corp | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
JP2013184278A (ja) | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
JP2015123534A (ja) | 2013-12-26 | 2015-07-06 | トヨタ自動車株式会社 | 載置判断方法、載置方法、載置判断装置及びロボット |
JP2015145055A (ja) | 2014-02-04 | 2015-08-13 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置および制御方法 |
JP2015197312A (ja) | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム |
JP2018134698A (ja) | 2017-02-21 | 2018-08-30 | ファナック株式会社 | ワーク取出システム |
JP2018144144A (ja) | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP2019054449A (ja) | 2017-09-15 | 2019-04-04 | 浜松ホトニクス株式会社 | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP2019098431A (ja) | 2017-11-29 | 2019-06-24 | 株式会社東芝 | 情報処理装置及び仕分システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268532A (ja) | 2000-03-23 | 2001-09-28 | Fuji Xerox Co Ltd | 画像通信装置 |
JP2009085705A (ja) | 2007-09-28 | 2009-04-23 | Fujifilm Corp | 測距装置および測距方法並びにプログラム |
CN114879598A (zh) * | 2016-08-19 | 2022-08-09 | 整形工具股份有限公司 | 用于共享工具制造和设计数据的***、方法和装置 |
JP2019205111A (ja) * | 2018-05-25 | 2019-11-28 | セイコーエプソン株式会社 | 画像処理装置、ロボット、及び、ロボットシステム |
US11184561B2 (en) * | 2018-12-31 | 2021-11-23 | Aaron M. Benzel | Method for improved acquisition of images for photogrammetry |
US11741566B2 (en) * | 2019-02-22 | 2023-08-29 | Dexterity, Inc. | Multicamera image processing |
US11657527B2 (en) * | 2019-05-28 | 2023-05-23 | X Development Llc | Robotic control based on 3D bounding shape, for an object, generated using edge-depth values for the object |
US10510155B1 (en) * | 2019-06-11 | 2019-12-17 | Mujin, Inc. | Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera |
US10762371B1 (en) * | 2019-11-14 | 2020-09-01 | Capital One Services, Llc | Object detection techniques using colorspace conversions |
-
2019
- 2019-11-06 JP JP2019201210A patent/JP7424800B2/ja active Active
-
2020
- 2020-10-09 DE DE102020126519.0A patent/DE102020126519A1/de active Pending
- 2020-10-19 US US17/073,983 patent/US11717970B2/en active Active
- 2020-10-27 CN CN202011164574.4A patent/CN112775961A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000076454A (ja) | 1998-08-31 | 2000-03-14 | Minolta Co Ltd | 3次元形状データ処理装置 |
JP2007148663A (ja) | 2005-11-25 | 2007-06-14 | Sony Corp | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
JP2013184278A (ja) | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
JP2015123534A (ja) | 2013-12-26 | 2015-07-06 | トヨタ自動車株式会社 | 載置判断方法、載置方法、載置判断装置及びロボット |
JP2015145055A (ja) | 2014-02-04 | 2015-08-13 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置および制御方法 |
JP2015197312A (ja) | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム |
JP2018134698A (ja) | 2017-02-21 | 2018-08-30 | ファナック株式会社 | ワーク取出システム |
JP2018144144A (ja) | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP2019054449A (ja) | 2017-09-15 | 2019-04-04 | 浜松ホトニクス株式会社 | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP2019098431A (ja) | 2017-11-29 | 2019-06-24 | 株式会社東芝 | 情報処理装置及び仕分システム |
Also Published As
Publication number | Publication date |
---|---|
DE102020126519A1 (de) | 2021-05-06 |
JP2021074799A (ja) | 2021-05-20 |
CN112775961A (zh) | 2021-05-11 |
US11717970B2 (en) | 2023-08-08 |
US20210129342A1 (en) | 2021-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11511421B2 (en) | Object recognition processing apparatus and method, and object picking apparatus and method | |
JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
CN111844019B (zh) | 一种机器抓取位置确定方法、设备、电子设备和存储介质 | |
US11176655B2 (en) | System and method for determining 3D surface features and irregularities on an object | |
JP6648135B2 (ja) | 丸太走査システム | |
JP4309439B2 (ja) | 対象物取出装置 | |
JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
TWI566204B (zh) | 三維物件識別技術 | |
US10477160B2 (en) | Information processing apparatus, and information processing method | |
WO2019177539A1 (en) | Method for visual inspection and apparatus thereof | |
JP2019192248A (ja) | 物体の連続的な画像をつなぎ合わせるためのシステムおよび方法 | |
JP5342413B2 (ja) | 画像処理方法 | |
CN109341591A (zh) | 一种基于手持式三维扫描仪的边缘检测方法及*** | |
US20150003685A1 (en) | Information processing apparatus, assembly apparatus, information processing method, and storage medium | |
US20220180499A1 (en) | System and method for determining 3d surface features and irregularities on an object | |
JP7424800B2 (ja) | 制御装置、その制御方法、及び制御システム | |
CN114092428A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
CN114037595A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
CN113059560B (zh) | 机械臂控制方法、装置、电子设备以及烹饪*** | |
Xu et al. | A vision-guided robot manipulator for surgical instrument singulation in a cluttered environment | |
CN110310336B (zh) | 一种触控投影***及图像处理方法 | |
JPWO2020090897A1 (ja) | 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム | |
US11022432B2 (en) | Monitoring the scan volume of a 3D scanner | |
JP2021026599A (ja) | 画像処理システム | |
CN114022342A (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7424800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |