JP6945209B1 - 物体検出のために安全ボリュームリストを生成するための方法および計算システム - Google Patents
物体検出のために安全ボリュームリストを生成するための方法および計算システム Download PDFInfo
- Publication number
- JP6945209B1 JP6945209B1 JP2021078862A JP2021078862A JP6945209B1 JP 6945209 B1 JP6945209 B1 JP 6945209B1 JP 2021078862 A JP2021078862 A JP 2021078862A JP 2021078862 A JP2021078862 A JP 2021078862A JP 6945209 B1 JP6945209 B1 JP 6945209B1
- Authority
- JP
- Japan
- Prior art keywords
- object recognition
- matching
- image
- template
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 418
- 238000004364 calculation method Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 72
- 238000003860 storage Methods 0.000 claims description 53
- 230000003993 interaction Effects 0.000 claims description 36
- 239000012636 effector Substances 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 18
- 230000001052 transient effect Effects 0.000 claims description 6
- 239000000956 alloy Substances 0.000 claims 3
- 229910045601 alloy Inorganic materials 0.000 claims 3
- 230000003313 weakening effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31304—Identification of workpiece and data for control, inspection, safety, calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
Description
実施形態1は、計算システム、および計算システムによって実施される方法に関する。方法は、非一時的コンピュータ可読媒体上に記憶された命令に基づいて実施されうる。計算システムは、通信インターフェースおよび少なくとも1つの処理回路を含みうる。通信インターフェースは、ロボット、およびカメラ視野を有するカメラと通信するように構成されてもよい。少なくとも1つの処理回路は、物体がカメラ視野の中にある、またはあったときに、物体を表す画像情報を受信することであって、画像情報が、カメラによって生成されることと、1つ以上の合致する物体認識テンプレートのセットを識別することであって、1つ以上の合致する物体認識テンプレートが、画像情報と比較されるときに、所定のテンプレート合致条件を満たす1つ以上の物体認識テンプレートであり、1つ以上の合致する物体認識テンプレートのセットが、1つ以上の検出仮説のセットに関連付けられていて、1つ以上の検出仮説のセットが、どの物体または物体タイプが画像情報によって表されるかの1つ以上のそれぞれの推定であることと、1つ以上の検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、一次検出仮説が、1つ以上の合致する物体認識テンプレートのセットの合致する物体認識テンプレートに関連付けられており、一次検出仮説として選択された検出仮説が、1つ以上のそれぞれの信頼値のセットの中で最も高い信頼値を有しており、1つ以上のそれぞれの信頼値のセットが、1つ以上の検出仮説のセットに関連付けられていると共に、1つ以上の検出仮説のセットに関連付けられた1つ以上の合致する物体認識テンプレートのセットに画像情報が合致するそれぞれの度合いを示すことと、を行うように構成されうる。
Claims (22)
- ロボット、およびカメラ視野を有するカメラと通信するように構成されている通信インターフェースと、
少なくとも1つの処理回路と、を備え、
前記少なくとも1つの処理回路は、物体が前記カメラ視野の中にある、またはあったときに、
前記物体を表す画像情報を受信することであって、前記画像情報が前記カメラによって生成されることと、
合致する物体認識テンプレートのセットを識別することであって、前記合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす物体認識テンプレートであり、前記合致する物体認識テンプレートのセットが、検出仮説のセットに関連付けられていて、前記検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかのそれぞれの推定であることと、
前記検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記合致する物体認識テンプレートのセットの、1つの合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、それぞれの信頼値のセットの中で最も高い信頼値を有しており、前記それぞれの信頼値のセットが、前記検出仮説のセットに関連付けられていると共に、前記検出仮説のセットに関連付けられた前記合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示すことと、
一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに基づいて生成することと、
前記合致する物体認識テンプレートのセットが、前記画像情報と比較されるときに、前記所定のテンプレート合致条件を満たす、1つ以上の残りの合致する物体認識テンプレートを有するサブセットを、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに加えて、有していると決定することであって、前記検出仮説のセットが、前記一次検出仮説に加えて、前記1つ以上の残りの合致する物体認識テンプレートを有する前記サブセットに関連付けられている1つ以上の残りの検出仮説を有するサブセットを含むことと、
前記1つ以上の残りの合致する物体認識テンプレートを有する前記サブセットが存在するという決定に応答して、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する1つ以上の追加の候補領域を記述するリストであることと、
前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
を行うように構成され、
前記安全ボリュームリストは、前記1つ以上の残りの検出仮説を有する前記サブセットの各検出仮説について、以下の(i)及び(ii)を実行することによって生成される、計算システム。
(i)前記検出仮説に関連付けられたそれぞれの信頼値が、前記一次検出仮説に関連付けられた前記信頼値に対する所定の信頼類似性閾値内にあるかどうかを決定することと、
(ii)前記検出仮説に関連付けられた前記それぞれの信頼値が、前記一次検出仮説に関連付けられた前記信頼値に対する前記所定の信頼類似性閾値内にあるという決定に応答して、前記安全ボリュームリスト内に、前記検出仮説に関連付けられたそれぞれの候補領域を含めることであって、その結果、前記それぞれの候補領域が、前記安全ボリュームリストの前記1つ以上の追加領域の一部となること - 前記少なくとも1つの処理回路が、前記一次候補領域及び前記1つ以上の追加の候補領域を包含する境界領域を決定するように構成されており、
前記運動計画を実施することが、前記境界領域に基づいて、ロボットエンドエフェクタ装置に関連付けられた軌道を決定することを含む、請求項1に記載の計算システム。 - 前記運動計画を実施することが、
前記一次候補領域に基づいてロボットの把持運動を決定することと、
前記境界領域に基づいて前記軌道を決定することと、を含む、請求項2に記載の計算システム。 - 前記安全ボリュームリスト内の前記1つ以上の追加の候補領域の各候補領域が、前記一次検出仮説に関連付けられた前記信頼値に対する前記所定の信頼類似性閾値内にある信頼値を有する、それぞれの検出仮説に関連付けられている、請求項1に記載の計算システム。
- 前記安全ボリュームリスト内の前記1つ以上の追加の候補領域の各候補領域が、所定のテンプレート合致閾値以上である信頼値を有する、それぞれの検出仮説に関連付けられている、請求項1に記載の計算システム。
- ロボット、およびカメラ視野を有するカメラと通信するように構成されている通信インターフェースと、
少なくとも1つの処理回路と、を備え、
前記少なくとも1つの処理回路は、物体が前記カメラ視野の中にある、またはあったときに、
前記物体を表す画像情報を受信することであって、前記画像情報が前記カメラによって生成されることと、
合致する物体認識テンプレートのセットを識別することであって、前記合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす物体認識テンプレートであり、前記合致する物体認識テンプレートのセットが、検出仮説のセットに関連付けられていて、前記検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかのそれぞれの推定であることと、
前記検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記合致する物体認識テンプレートのセットの、1つの合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、それぞれの信頼値のセットの中で最も高い信頼値を有しており、前記それぞれの信頼値のセットが、前記検出仮説のセットに関連付けられていると共に、前記検出仮説のセットに関連付けられた前記合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示すことと、
一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに基づいて生成することと、
前記合致する物体認識テンプレートのセットが、前記画像情報と比較されるときに、前記所定のテンプレート合致条件を満たす、複数の残りの合致する物体認識テンプレートを有するサブセットを、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに加えて、有しているかどうかを決定することと、
前記複数の残りの合致する物体認識テンプレートを有する前記サブセットが存在するという決定に応答して、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する1つ以上の追加の候補領域を記述するリストであることと、
前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
を行うように構成され、
前記複数の残りの合致する物体認識テンプレートが、前記安全ボリュームリストの前記1つ以上の追加の候補領域を有する複数のそれぞれの候補領域に関連付けられており、
前記安全ボリュームリストは、前記複数の候補領域の各候補領域について、以下の(i)及び(ii)を実行することによって生成される、計算システム。
(i)前記候補領域と前記一次候補領域との間のそれぞれの重複の量を決定することと、
(ii)前記それぞれの重複の量が、所定の重複閾値と等しいか、またはそれを超えているかどうかを決定すると共に、前記重複の量が前記所定の重複閾値と等しいか、またはそれを超えているという決定に応答して、前記安全ボリュームリスト内に前記候補領域を含めることであって、その結果、前記候補領域が、前記安全ボリュームリストの前記1つ以上の追加の候補領域の一部となること - 前記画像情報が、2D画像情報を含み、
前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートが、前記2D画像情報と比較されるときに、前記所定のテンプレート合致条件を満たすように前記少なくとも1つの処理回路によって決定される、視覚的記述情報のセットを含む、請求項1に記載の計算システム。 - 1つ以上の残りの合致する物体認識テンプレートの前記サブセットの少なくとも1つの合致する物体認識テンプレートが、前記2D画像情報と比較されるときに、前記所定のテンプレート合致条件を満たすように前記少なくとも1つの処理回路によって決定される、視覚的記述情報のそれぞれのセットを有しており、
前記少なくとも1つの処理回路が、前記少なくとも1つの合致する物体認識テンプレートに基づいて、前記安全ボリュームリストを生成するように構成されている、請求項7に記載の計算システム。 - 前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートが、第1の物体サイズを示す構造記述情報のそれぞれのセットを含み、
前記少なくとも1つの合致する物体認識テンプレートが、前記第1の物体サイズとは異なる第2の物体サイズを示す構造記述情報のそれぞれのセットを含む、請求項8に記載の計算システム。 - 前記画像情報が、3D画像情報をさらに含み、
1つ以上の残りの合致する物体認識テンプレートの前記サブセットの少なくとも1つの物体認識テンプレートが、前記3D画像情報と比較されるときに、前記所定のテンプレート合致条件を満たすように前記少なくとも1つの処理回路によって決定される、構造記述情報のそれぞれのセットを有しており、
前記少なくとも1つの処理回路が、前記少なくとも1つの物体認識テンプレートに基づいて、前記安全ボリュームリストを生成するように構成されている、請求項7に記載の計算システム。 - 前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートが、前記合致する物体認識テンプレートのセットのうちの、第1の合致する物体認識テンプレートであり、
前記少なくとも1つの処理回路は、前記合致する物体認識テンプレートのセットがテンプレート記憶空間内に記憶された複数の物体認識テンプレートの一部であるときに、
前記複数の物体認識テンプレートが、前記第1の合致する物体認識テンプレートに加えて、前記第1の合致する物体認識テンプレートと比較されるときに、所定のテンプレート類似性条件を満たす少なくとも1つの物体認識テンプレートを有しているかどうかを決定することと、
前記複数の物体認識テンプレートが、前記第1の合致する物体認識テンプレートと比較されるときに、前記所定のテンプレート類似性条件を満たす前記少なくとも1つの物体認識テンプレートを含むという決定に応答して、前記少なくとも1つの物体認識テンプレートに基づいて、前記安全ボリュームリストを生成することと、
を行うように構成されている、請求項7に記載の計算システム。 - 前記一次候補領域が、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートと前記画像情報を整列させる、第1の方法を表しており、
前記少なくとも1つの処理回路が、前記1つの合致する物体認識テンプレートと前記画像情報とを整列させる第2の方法を表す別の候補領域を、前記安全ボリュームリストに含めるように構成されている、請求項1に記載の計算システム。 - ロボット、およびカメラ視野を有するカメラと通信するように構成されている通信インターフェースと、
少なくとも1つの処理回路と、を備え、
前記少なくとも1つの処理回路は、物体が前記カメラ視野の中にある、またはあったときに、
前記物体を表す画像情報を受信することであって、前記画像情報が前記カメラによって生成されることと、
前記画像情報によって表される画像コーナーの第1のセットまたは画像エッジの第1のセットを識別することと、
前記画像コーナーの第1のセットまたは前記画像エッジの第1のセットの間に位置する画像領域である、第1の画像領域を識別することと、
合致する物体認識テンプレートのセットを識別することであって、前記合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす物体認識テンプレートであり、前記合致する物体認識テンプレートのセットが、検出仮説のセットに関連付けられていて、前記検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかのそれぞれの推定であることと、
前記検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記合致する物体認識テンプレートのセットの、1つの合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、それぞれの信頼値のセットの中で最も高い信頼値を有しており、前記それぞれの信頼値のセットが、前記検出仮説のセットに関連付けられていると共に、前記検出仮説のセットに関連付けられた前記合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示し、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートが、前記第1の画像領域と比較されるときに、前記所定の合致条件を満たすように前記少なくとも1つの処理回路によって決定され、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートが、前記合致する物体認識テンプレートのセットのうちの、第1の合致する物体認識テンプレートであることと、
一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに基づいて生成することと、
前記画像情報に基づいて画像コーナーの第2のセットまたは画像エッジの第2のセットを識別することであって、前記画像コーナーの第2のセットが、前記画像コーナーの第1のセットの一部である少なくとも1つの画像コーナーを含むと共に、前記第1の画像領域の外側にある少なくとも1つの画像コーナーを含み、前記画像エッジの第2のセットが、前記画像エッジの第1のセットの一部である少なくとも1つの画像エッジを含むと共に、前記第1の画像領域の外側にある少なくとも1つの画像エッジを含むことと、
前記画像コーナーの第2のセットまたは前記画像エッジの第2のセットの間に位置する画像領域である、第2の画像領域を識別することであって、前記第2の画像領域が、前記第1の画像領域を超えて延在していることと、
前記合致する物体認識テンプレートのセットが、前記第2の画像領域と比較されるときに、前記所定のテンプレートの合致条件を満たす第2の合致する物体認識テンプレートを含むと決定することと、
前記第2の合致する物体認識テンプレートが含まれるとの決定に応答し、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する1つ以上の追加の候補領域を記述するリストであることと、
前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
を行うように構成されており、
前記少なくとも1つの処理回路が、
前記第1の合致する物体認識テンプレートに基づいて、前記一次候補領域を生成することと、
前記第2の合致する物体認識テンプレートに基づいて、前記安全ボリュームリスト内に少なくとも1つの候補領域を生成することと、
を行うように構成されている、計算システム。 - 前記一次候補領域が、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートによって記述される物体形状についての第1の配向を表す領域であり、
前記少なくとも1つの処理回路が、前記安全ボリュームリストに、前記物体形状についての第2の配向を表す候補領域を追加するように構成されており、
前記第2の配向が、前記第1の配向に対して垂直である、請求項1に記載の計算システム。 - 前記少なくとも1つの処理回路が、前記安全ボリュームリストに、所定の最大物体高さを表す候補領域を追加するように構成されている、請求項1に記載の計算システム。
- 命令を有する非一時的コンピュータ可読媒体であって、
前記命令は、計算システムの少なくとも1つの処理回路によって実行されるときに、前記少なくとも1つの処理回路に、
前記計算システムの前記少なくとも1つの処理回路によって画像情報を受信することであって、前記計算システムが、(i)ロボット、および(ii)カメラ視野を有するカメラと通信するように構成されており、前記画像情報が、前記カメラ視野内の物体を表すためのものであり且つ前記カメラによって生成されることと、
合致する物体認識テンプレートのセットを識別することであって、前記合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす物体認識テンプレートであり、前記合致する物体認識テンプレートのセットが、検出仮説のセットに関連付けられていて、前記検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかのそれぞれの推定であることと、
前記検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記合致する物体認識テンプレートのセットの、1つの合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、それぞれの信頼値のセットの中で最も高い信頼値を有しており、前記それぞれの信頼値のセットが、前記検出仮説のセットに関連付けられていると共に、前記検出仮説のセットに関連付けられた前記合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示すことと、
一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに基づいて生成することと、
前記合致する物体認識テンプレートのセットが、前記画像情報と比較されるときに、前記所定のテンプレート合致条件を満たす、1つ以上の残りの合致する物体認識テンプレートを有するサブセットを、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに加えて、有していると決定することであって、前記検出仮説のセットが、前記一次検出仮説に加えて、前記1つ以上の残りの合致する物体認識テンプレートを有する前記サブセットに関連付けられている1つ以上の残りの検出仮説を有するサブセットを含むことと、
前記1つ以上の残りの合致する物体認識テンプレートを有する前記サブセットが存在するという決定に応答して、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する1つ以上の追加の候補領域を記述するリストであることと、
前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
を行わせ、
前記安全ボリュームリストは、前記1つ以上の残りの検出仮説を有する前記サブセットの各検出仮説について、以下の(i)及び(ii)を実行することによって生成される、非一時的コンピュータ可読媒体。
(i)前記検出仮説に関連付けられたそれぞれの信頼値が、前記一次検出仮説に関連付けられた前記信頼値に対する所定の信頼類似性閾値内にあるかどうかを決定することと、
(ii)前記検出仮説に関連付けられた前記それぞれの信頼値が、前記一次検出仮説に関連付けられた前記信頼値に対する前記所定の信頼類似性閾値内にあるという決定に応答して、前記安全ボリュームリスト内に、前記検出仮説に関連付けられたそれぞれの候補領域を含めることであって、その結果、前記それぞれの候補領域が、前記安全ボリュームリストの前記1つ以上の追加領域の一部となること - 前記少なくとも1つの処理回路によって実行されるときに、前記命令は、前記少なくとも1つの処理回路に、
前記一次候補領域及び前記1つ以上の追加の候補領域を包含する境界領域を決定することを行わせ、
さらに、前記命令は、前記少なくとも1つの処理回路に、前記境界領域に基づいて、ロボットエンドエフェクタ装置に関連付けられた軌道を決定することによって、前記運動計画を実施させる、請求項16に記載の非一時的コンピュータ可読媒体。 - 計算システムによって実施される方法であって、
前記計算システムによって画像情報を受信することであって、前記計算システムが、(i)ロボット、および(ii)カメラ視野を有するカメラと通信するように構成されており、前記画像情報が、前記カメラ視野内の物体を表すためのものであり且つ前記カメラによって生成されることと、
合致する物体認識テンプレートのセットを識別することであって、前記合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす物体認識テンプレートであり、前記合致する物体認識テンプレートのセットが、検出仮説のセットに関連付けられていて、前記検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかのそれぞれの推定であることと、
前記検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記合致する物体認識テンプレートのセットの、1つの合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、それぞれの信頼値のセットの中で最も高い信頼値を有しており、前記それぞれの信頼値のセットが、前記検出仮説のセットに関連付けられていると共に、前記検出仮説のセットに関連付けられた前記合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示すことと、
一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに基づいて生成することと、
前記合致する物体認識テンプレートのセットが、前記画像情報と比較されるときに、前記所定のテンプレート合致条件を満たす、1つ以上の残りの合致する物体認識テンプレートを有するサブセットを、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに加えて、有していると決定することであって、前記検出仮説のセットが、前記一次検出仮説に加えて、前記1つ以上の残りの合致する物体認識テンプレートを有する前記サブセットに関連付けられている1つ以上の残りの検出仮説を有するサブセットを含むことと、
前記1つ以上の残りの合致する物体認識テンプレートを有する前記サブセットが存在するという決定に応答して、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する1つ以上の追加の候補領域を記述するリストであることと、
前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
を含み、
前記安全ボリュームリストは、前記1つ以上の残りの検出仮説を有する前記サブセットの各検出仮説について、以下の(i)及び(ii)を実行することによって生成される、方法。
(i)前記検出仮説に関連付けられたそれぞれの信頼値が、前記一次検出仮説に関連付けられた前記信頼値に対する所定の信頼類似性閾値内にあるかどうかを決定することと、
(ii)前記検出仮説に関連付けられた前記それぞれの信頼値が、前記一次検出仮説に関連付けられた前記信頼値に対する前記所定の信頼類似性閾値内にあるという決定に応答して、前記安全ボリュームリスト内に、前記検出仮説に関連付けられたそれぞれの候補領域を含めることであって、その結果、前記それぞれの候補領域が、前記安全ボリュームリストの前記1つ以上の追加領域の一部となること - 命令を有する非一時的コンピュータ可読媒体であって、
前記命令は、計算システムの少なくとも1つの処理回路によって実行されるときに、前記少なくとも1つの処理回路に、
前記計算システムの前記少なくとも1つの処理回路によって画像情報を受信することであって、前記計算システムが、(i)ロボット、および(ii)カメラ視野を有するカメラと通信するように構成されており、前記画像情報が、前記カメラ視野内の物体を表すためのものであり且つ前記カメラによって生成されることと、
合致する物体認識テンプレートのセットを識別することであって、前記合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす物体認識テンプレートであり、前記合致する物体認識テンプレートのセットが、検出仮説のセットに関連付けられていて、前記検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかのそれぞれの推定であることと、
前記検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記合致する物体認識テンプレートのセットの、1つの合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、それぞれの信頼値のセットの中で最も高い信頼値を有しており、前記それぞれの信頼値のセットが、前記検出仮説のセットに関連付けられていると共に、前記検出仮説のセットに関連付けられた前記合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示すことと、
一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに基づいて生成することと、
前記合致する物体認識テンプレートのセットが、前記画像情報と比較されるときに、前記所定のテンプレート合致条件を満たす、複数の残りの合致する物体認識テンプレートを有するサブセットを、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに加えて、有しているかどうかを決定することと、
前記複数の残りの合致する物体認識テンプレートを有する前記サブセットが存在するという決定に応答して、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する1つ以上の追加の候補領域を記述するリストであることと、
前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
を行わせ、
前記複数の残りの合致する物体認識テンプレートが、前記安全ボリュームリストの前記1つ以上の追加の候補領域を有する複数のそれぞれの候補領域に関連付けられており、
前記安全ボリュームリストは、前記複数の候補領域の各候補領域について、以下の(i)及び(ii)を実行することによって生成される、非一時的コンピュータ可読媒体。
(i)前記候補領域と前記一次候補領域との間のそれぞれの重複の量を決定することと、
(ii)前記それぞれの重複の量が、所定の重複閾値と等しいか、またはそれを超えているかどうかを決定すると共に、前記重複の量が前記所定の重複閾値と等しいか、またはそれを超えているという決定に応答して、前記安全ボリュームリスト内に前記候補領域を含めることであって、その結果、前記候補領域が、前記安全ボリュームリストの前記1つ以上の追加の候補領域の一部となること - 命令を有する非一時的コンピュータ可読媒体であって、
前記命令は、計算システムの少なくとも1つの処理回路によって実行されるときに、前記少なくとも1つの処理回路に、
前記計算システムの前記少なくとも1つの処理回路によって画像情報を受信することであって、前記計算システムが、(i)ロボット、および(ii)カメラ視野を有するカメラと通信するように構成されており、前記画像情報が、前記カメラ視野内の物体を表すためのものであり且つ前記カメラによって生成されることと、
前記画像情報によって表される画像コーナーの第1のセットまたは画像エッジの第1のセットを識別することと、
前記画像コーナーの第1のセットまたは前記画像エッジの第1のセットの間に位置する画像領域である、第1の画像領域を識別することと、
合致する物体認識テンプレートのセットを識別することであって、前記合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす物体認識テンプレートであり、前記合致する物体認識テンプレートのセットが、検出仮説のセットに関連付けられていて、前記検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかのそれぞれの推定であることと、
前記検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記合致する物体認識テンプレートのセットの、1つの合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、それぞれの信頼値のセットの中で最も高い信頼値を有しており、前記それぞれの信頼値のセットが、前記検出仮説のセットに関連付けられていると共に、前記検出仮説のセットに関連付けられた前記合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示し、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートが、前記第1の画像領域と比較されるときに、前記所定の合致条件を満たすように前記少なくとも1つの処理回路によって決定され、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートが、前記合致する物体認識テンプレートのセットのうちの、第1の合致する物体認識テンプレートであることと、
一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに基づいて生成することと、
前記画像情報に基づいて画像コーナーの第2のセットまたは画像エッジの第2のセットを識別することであって、前記画像コーナーの第2のセットが、前記画像コーナーの第1のセットの一部である少なくとも1つの画像コーナーを含むと共に、前記第1の画像領域の外側にある少なくとも1つの画像コーナーを含み、前記画像エッジの第2のセットが、前記画像エッジの第1のセットの一部である少なくとも1つの画像エッジを含むと共に、前記第1の画像領域の外側にある少なくとも1つの画像エッジを含むことと、
前記画像コーナーの第2のセットまたは前記画像エッジの第2のセットの間に位置する画像領域である、第2の画像領域を識別することであって、前記第2の画像領域が、前記第1の画像領域を超えて延在していることと、
前記合致する物体認識テンプレートのセットが、前記第2の画像領域と比較されるときに、前記所定のテンプレートの合致条件を満たす第2の合致する物体認識テンプレートを含むと決定することと、
前記第2の合致する物体認識テンプレートが含まれるとの決定に応答し、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する1つ以上の追加の候補領域を記述するリストであることと、
前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
を行わせ、
前記少なくとも1つの処理回路が、
前記第1の合致する物体認識テンプレートに基づいて、前記一次候補領域を生成することと、
前記第2の合致する物体認識テンプレートに基づいて、前記安全ボリュームリスト内に少なくとも1つの候補領域を生成することと、
を行うように構成されている、非一時的コンピュータ可読媒体。 - 計算システムによって実施される方法であって、
前記計算システムによって画像情報を受信することであって、前記計算システムが、(i)ロボット、および(ii)カメラ視野を有するカメラと通信するように構成されており、前記画像情報が、前記カメラ視野内の物体を表すためのものであり且つ前記カメラによって生成されることと、
合致する物体認識テンプレートのセットを識別することであって、前記合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす物体認識テンプレートであり、前記合致する物体認識テンプレートのセットが、検出仮説のセットに関連付けられていて、前記検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかのそれぞれの推定であることと、
前記検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記合致する物体認識テンプレートのセットの、1つの合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、それぞれの信頼値のセットの中で最も高い信頼値を有しており、前記それぞれの信頼値のセットが、前記検出仮説のセットに関連付けられていると共に、前記検出仮説のセットに関連付けられた前記合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示すことと、
一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに基づいて生成することと、
前記合致する物体認識テンプレートのセットが、前記画像情報と比較されるときに、前記所定のテンプレート合致条件を満たす、複数の残りの合致する物体認識テンプレートを有するサブセットを、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに加えて、有していると決定することと、
安全ボリュームリストを生成することであって、前記安全ボリュームリストは、前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する1つ以上の追加の候補領域を記述するリストであることと、
前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
を含み、
前記複数の残りの合致する物体認識テンプレートが、前記安全ボリュームリストの前記1つ以上の追加の候補領域を有する複数のそれぞれの候補領域に関連付けられており、
前記安全ボリュームリストは、前記複数の候補領域の各候補領域について、以下の(i)及び(ii)を実行することによって生成される、方法。
(i)前記候補領域と前記一次候補領域との間のそれぞれの重複の量を決定することと、
(ii)前記それぞれの重複の量が、所定の重複閾値と等しいか、またはそれを超えているかどうかを決定すると共に、前記重複の量が前記所定の重複閾値と等しいか、またはそれを超えているという決定に応答して、前記安全ボリュームリスト内に前記候補領域を含めることであって、その結果、前記候補領域が、前記安全ボリュームリストの前記1つ以上の追加の候補領域の一部となること - 計算システムによって実施される方法であって、
前記計算システムによって画像情報を受信することであって、前記計算システムが、(i)ロボット、および(ii)カメラ視野を有するカメラと通信するように構成されており、前記画像情報が、前記カメラ視野内の物体を表すためのものであり且つ前記カメラによって生成されることと、
前記画像情報によって表される画像コーナーの第1のセットまたは画像エッジの第1のセットを識別することと、
前記画像コーナーの第1のセットまたは前記画像エッジの第1のセットの間に位置する画像領域である、第1の画像領域を識別することと、
合致する物体認識テンプレートのセットを識別することであって、前記合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす物体認識テンプレートであり、前記合致する物体認識テンプレートのセットが、検出仮説のセットに関連付けられていて、前記検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかのそれぞれの推定であることと、
前記検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記合致する物体認識テンプレートのセットの、1つの合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、それぞれの信頼値のセットの中で最も高い信頼値を有しており、前記それぞれの信頼値のセットが、前記検出仮説のセットに関連付けられていると共に、前記検出仮説のセットに関連付けられた前記合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示し、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートが、前記第1の画像領域と比較されるときに、前記所定の合致条件を満たすように前記計算システムによって決定され、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートが、前記合致する物体認識テンプレートのセットのうちの、第1の合致する物体認識テンプレートであることと、
一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記1つの合致する物体認識テンプレートに基づいて生成することと、
前記画像情報に基づいて画像コーナーの第2のセットまたは画像エッジの第2のセットを識別することであって、前記画像コーナーの第2のセットが、前記画像コーナーの第1のセットの一部である少なくとも1つの画像コーナーを含むと共に、前記第1の画像領域の外側にある少なくとも1つの画像コーナーを含み、前記画像エッジの第2のセットが、前記画像エッジの第1のセットの一部である少なくとも1つの画像エッジを含むと共に、前記第1の画像領域の外側にある少なくとも1つの画像エッジを含むことと、
前記画像コーナーの第2のセットまたは前記画像エッジの第2のセットの間に位置する画像領域である、第2の画像領域を識別することであって、前記第2の画像領域が、前記第1の画像領域を超えて延在していることと、
前記合致する物体認識テンプレートのセットが、前記第2の画像領域と比較されるときに、前記所定のテンプレートの合致条件を満たす第2の合致する物体認識テンプレートを含むと決定することと、
安全ボリュームリストを生成することであって、前記安全ボリュームリストは、前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する1つ以上の追加の候補領域を記述するリストであることと、
前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
を含み、
前記計算システムが、
前記第1の合致する物体認識テンプレートに基づいて、前記一次候補領域を生成することと、
前記第2の合致する物体認識テンプレートに基づいて、前記安全ボリュームリスト内に少なくとも1つの候補領域を生成することと、
を行うように構成されている、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021144121A JP2022135879A (ja) | 2021-03-05 | 2021-09-03 | 物体検出のために安全ボリュームリストを生成するための方法および計算システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/193,253 US11900652B2 (en) | 2021-03-05 | 2021-03-05 | Method and computing system for generating a safety volume list for object detection |
US17/193,253 | 2021-03-05 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021144121A Division JP2022135879A (ja) | 2021-03-05 | 2021-09-03 | 物体検出のために安全ボリュームリストを生成するための方法および計算システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6945209B1 true JP6945209B1 (ja) | 2021-10-06 |
JP2022135848A JP2022135848A (ja) | 2022-09-15 |
Family
ID=77915173
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021078862A Active JP6945209B1 (ja) | 2021-03-05 | 2021-05-07 | 物体検出のために安全ボリュームリストを生成するための方法および計算システム |
JP2021144121A Pending JP2022135879A (ja) | 2021-03-05 | 2021-09-03 | 物体検出のために安全ボリュームリストを生成するための方法および計算システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021144121A Pending JP2022135879A (ja) | 2021-03-05 | 2021-09-03 | 物体検出のために安全ボリュームリストを生成するための方法および計算システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11900652B2 (ja) |
JP (2) | JP6945209B1 (ja) |
CN (1) | CN115019074A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10614340B1 (en) * | 2019-09-23 | 2020-04-07 | Mujin, Inc. | Method and computing system for object identification |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
US20080181485A1 (en) * | 2006-12-15 | 2008-07-31 | Beis Jeffrey S | System and method of identifying objects |
US9327406B1 (en) * | 2014-08-19 | 2016-05-03 | Google Inc. | Object segmentation based on detected object-specific visual cues |
JP2018055429A (ja) * | 2016-09-29 | 2018-04-05 | ファナック株式会社 | 物体認識装置および物体認識方法 |
JP2019025634A (ja) * | 2017-08-03 | 2019-02-21 | ファナック株式会社 | 物品搬送装置 |
JP2019114103A (ja) * | 2017-12-25 | 2019-07-11 | オムロン株式会社 | 物体認識処理装置、物体認識処理方法及びプログラム |
JP2019126866A (ja) * | 2018-01-23 | 2019-08-01 | トヨタ自動車株式会社 | 動作軌道生成装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0819026B2 (ja) | 1987-07-27 | 1996-02-28 | 三井東圧化学株式会社 | 光学活性化合物 |
US9333649B1 (en) * | 2013-03-15 | 2016-05-10 | Industrial Perception, Inc. | Object pickup strategies for a robotic device |
JP6648925B2 (ja) * | 2015-12-17 | 2020-02-14 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 |
US10723022B2 (en) * | 2016-09-16 | 2020-07-28 | Carbon Robotics, Inc. | System and calibration, registration, and training methods |
JP2018176334A (ja) * | 2017-04-10 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法 |
EP3838504A1 (de) * | 2019-12-19 | 2021-06-23 | FRONIUS INTERNATIONAL GmbH | Verfahren und vorrichtung zur überwachung eines bearbeitungsprozesses und bearbeitungsmaschine mit einer solchen vorrichtung |
-
2021
- 2021-03-05 US US17/193,253 patent/US11900652B2/en active Active
- 2021-05-07 JP JP2021078862A patent/JP6945209B1/ja active Active
- 2021-06-09 CN CN202110639889.8A patent/CN115019074A/zh active Pending
- 2021-09-03 JP JP2021144121A patent/JP2022135879A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
US20080181485A1 (en) * | 2006-12-15 | 2008-07-31 | Beis Jeffrey S | System and method of identifying objects |
US9327406B1 (en) * | 2014-08-19 | 2016-05-03 | Google Inc. | Object segmentation based on detected object-specific visual cues |
JP2018055429A (ja) * | 2016-09-29 | 2018-04-05 | ファナック株式会社 | 物体認識装置および物体認識方法 |
JP2019025634A (ja) * | 2017-08-03 | 2019-02-21 | ファナック株式会社 | 物品搬送装置 |
JP2019114103A (ja) * | 2017-12-25 | 2019-07-11 | オムロン株式会社 | 物体認識処理装置、物体認識処理方法及びプログラム |
JP2019126866A (ja) * | 2018-01-23 | 2019-08-01 | トヨタ自動車株式会社 | 動作軌道生成装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022135879A (ja) | 2022-09-15 |
US20220284216A1 (en) | 2022-09-08 |
CN115019074A (zh) | 2022-09-06 |
JP2022135848A (ja) | 2022-09-15 |
US11900652B2 (en) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7015031B2 (ja) | カメラによって生成される画像情報に基づいて、物体検出またはロボット相互作用計画作成を行う方法および計算システム | |
JP7433609B2 (ja) | 物体識別のための方法および計算システム | |
CN113269801A (zh) | 用于处理候选边缘的方法和计算*** | |
US11958202B2 (en) | Method and computing system for performing container detection and object detection | |
JP6945209B1 (ja) | 物体検出のために安全ボリュームリストを生成するための方法および計算システム | |
JP2024019690A (ja) | 物体の取り扱いを伴うロボットシステムのためのシステム及び方法 | |
CN113043282B (zh) | 用于物体检测或机器人交互规划的方法和*** | |
CN113361651B (zh) | 生成用于物体检测的安全空间列表的方法和计算*** | |
CN111191083B (zh) | 用于对象标识的方法和计算*** | |
CN112734783B (zh) | 用于处理候选边缘的方法和计算*** | |
US20240221350A1 (en) | Method and computing system for generating a safety volume list for object detection | |
CN113219900B (zh) | 基于相机生成的图像信息执行运动规划的方法和计算*** | |
CN116160450A (zh) | 用于机器人物体放置的***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210618 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210903 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6945209 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |