JP7448884B2 - 計測システム、計測装置、計測方法、及び計測プログラム - Google Patents
計測システム、計測装置、計測方法、及び計測プログラム Download PDFInfo
- Publication number
- JP7448884B2 JP7448884B2 JP2020083903A JP2020083903A JP7448884B2 JP 7448884 B2 JP7448884 B2 JP 7448884B2 JP 2020083903 A JP2020083903 A JP 2020083903A JP 2020083903 A JP2020083903 A JP 2020083903A JP 7448884 B2 JP7448884 B2 JP 7448884B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- robot
- data
- sensor
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 832
- 238000000691 measurement method Methods 0.000 title claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 274
- 238000001514 detection method Methods 0.000 claims description 95
- 238000012545 processing Methods 0.000 claims description 95
- 230000008859 change Effects 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 description 37
- 230000033001 locomotion Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
- G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
- B25J9/023—Cartesian coordinate type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40564—Recognize shape, contour of object, extract position and orientation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Analysis (AREA)
Description
以下、本発明の一側面に関わる実施形態を図面に基づいて説明する。本発明の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更又は改良され得るととともに、本発明には、その等価物も含まれる。なお、同一符号は、同一の構成要素を示すものとし、重複する説明は省略する。
図1は本実施形態に関わる計測システム100の概略構成の一例を示す説明図である。計測システム100は、ロボット60と、ロボット60に搭載された3Dセンサ70と、ロボット60の駆動及び3Dセンサ70による計測対象物80の3Dデータの計測を制御するコンピュータシステム10と、コンピュータシステム10からの指令に応答してロボット60の動作を制御するロボットコントローラ50とを備える。
図3(A)において、符号110-1は、特定の計測ポイント90-1でロボット60の停止中に計測された計測対象物80の3Dデータを示す。符号110-2は、計測ポイント90-2でロボット60の動作中に計測された計測対象物80の3Dデータを示す。
次に、図4を参照しながら、本発明の実施形態に関わる計測システム100及び計測装置200のハードウェア構成の一例について説明する。
図5は本発明の実施形態に関わるコンピュータシステム10の機能の一例を示すブロック図である。コンピュータシステム10のハードウェア資源と計測プログラム31との協働により、駆動制御部11、センサ制御部12、同期制御部13、レジストレーション処理部14、レジストレーション処理部15、座標変換部16、位置姿勢推定部17、及び動作目標算出部18としての機能が実現される。
図6は、本発明の実施形態に関わる計測方法の処理の流れの一例を示すフローチャートである。この計測方法は、演算装置20による計測プログラム31の実行を通じて処理される。
ここでは、発明の実施形態2と発明の実施形態1との相違点を中心に説明し、実施形態1,2に共通する説明を省略する。
発明の実施形態1では、計測システム100は、複数の計測ポイント90-1,90-2,90-3,…,90-Nのうち何れか特定の計測ポイントでロボット60の動作を停止させることにより、3Dセンサ70が計測対象物80の3Dデータを計測するときのロボット60の位置及び姿勢と、変位検出装置62がロボット60の各関節の変位を検出するときのロボット60の位置及び姿勢とを一致させる。これに対し、発明の実施形態2では、計測システム100は、複数の計測ポイント90-1,90-2,90-3,…,90-Nのうち何れか特定の計測ポイントでロボット60の動作を減速させることにより、3Dセンサ70が計測対象物80の3Dデータを計測するときのロボット60の位置及び姿勢と、変位検出装置62がロボット60の各関節の変位を検出するときのロボット60の位置及び姿勢とを一致させる。
ここでは、発明の実施形態3と、発明の実施形態1,2の相違点を中心に説明し、実施形態1乃至3に共通する説明を省略する。
発明の実施形態1,2では、計測システム100は、複数の計測ポイント90-1,90-2,90-3,…,90-Nのうち何れか特定の計測ポイントでロボット60の動作を停止又は減速させることにより、3Dセンサ70が計測対象物80の3Dデータを計測するときのロボット60の位置及び姿勢と、変位検出装置62がロボット60の各関節の変位を検出するときのロボット60の位置及び姿勢とを一致させる。これに対し、発明の実施形態3では、計測対象物80に対する3Dセンサ70の位置が特定の計測ポイントに一致するときのロボット60の各関節の変位は、特定の値として既知であり、ロボット60の各関節の変位が特定の値に一致するときに、変位検出装置62は、計測対象物80の3Dデータの計測を要求する計測指令を3Dセンサ70に出力することにより、3Dセンサ70が計測対象物80の3Dデータを計測するときのロボット60の位置及び姿勢と、変位検出装置62がロボット60の各関節の変位を検出するときのロボット60の位置及び姿勢を一致させる。発明の実施形態3では、変位検出装置62は、ロボット60の各関節の変位を検出するエンコーダと、計測指令を3Dセンサ70に出力する信号出力装置とを備える。
ここでは、発明の実施形態4と、発明の実施形態1乃至3の相違点を中心に説明し、実施形態1乃至4に共通する説明を省略する。
発明の実施形態4では、コンピュータシステム10とロボットコントローラ50との間、及びロボットコントローラ50とロボット60との間は、フィールドバスを通じて接続されている。発明の実施形態4では、コンピュータシステム10とロボットコントローラ50との間、及びロボットコントローラ50とロボット60との間に加えて、コンピュータシステム10と3Dセンサ70との間も、フィールドバスを通じて接続されてもよい。一方、発明の実施形態1乃至3では、コンピュータシステム10とロボットコントローラ50との間、ロボットコントローラ50とロボット60との間、及びコンピュータシステム10と3Dセンサ70との間は、必ずしも、フィールドバスを通じて接続されることを要しない。
(付記1)
ロボット60に搭載される3Dセンサ70であって、計測対象物80の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサ70と、
ロボット60の各関節の変位を検出する変位検出装置62と、
計測対象物80に対する3Dセンサ70の相対的な位置関係を変えるようにロボット60の各関節を駆動する駆動装置61と、
計測対象物80に対する3Dセンサ70の相対的な位置関係が異なる複数の計測ポイント90-1,90-2,…,90-Nで計測対象物80の3Dデータを計測するように3Dセンサ70を制御するセンサ制御部12と、
複数の計測ポイント90-1,90-2,…,90-Nのうち何れか特定の計測ポイントでロボット60の動作を停止させることにより、3Dセンサ70が計測対象物80の3Dデータを計測するときのロボット60の位置及び姿勢と、変位検出装置62がロボット60の各関節の変位を検出するときのロボット60の位置及び姿勢とを一致させる同期させる同期制御部13と、
ロボット60の停止中に特定の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位と、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位とに基づいて、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションする第1のレジストレーション処理部14と、
ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータと、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータとのレジストレーション誤差が閾値未満になるように、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションする第2のレジストレーション処理部15と、
を備える計測システム100。
(付記2)
付記1に記載の計測システム100であって、
特定の計測ポイント以外の何れか一つ以上の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測するタイミングと、変位検出装置62がロボット60の各関節の変位を検出するタイミングとが非同期である、計測システム100。
(付記3)
付記1又は2に記載の計測システム100であって、
同期制御部13がロボット60の動作を停止させる回数は、複数の計測ポイント90-1,90-2,…,90-Nの数より少ない、計測システム100。
(付記4)
付記1乃至3のうち何れか1項に記載の計測システムであって、
特定の計測ポイントは、複数の計測ポイント90-1,90-2,…,90-Nのうち何れか一つの計測ポイントである、計測システム100。
(付記5)
付記1乃至4のち何れか1項に記載の計測システム100であって、
特定の計測ポイント以外の各計測ポイントで計測された計測対象物80の3Dデータと特定の計測ポイントで計測された計測対象物80の3Dデータとの第1のレジストレーション処理部14及び第2のレジストレーション処理部15によるレジストレーションにより得られる3Dデータを3Dセンサ70の座標系からロボット60の座標系に変換する座標変換部16と、
座標変換部16により座標変換された3Dデータに基づいてロボット60に対する測定対象物80の位置及び姿勢を推定する位置姿勢推定部17と、
を更に備える計測システム100。
(付記6)
ロボット60の各関節の変位を検出する変位検出装置62から出力される変位を示す情報を入力するとともに、ロボット60の各関節を駆動する駆動装置61に駆動指令を出力する計測装置200であって、
ロボット60に搭載される3Dセンサ70であって、計測対象物80の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサ70と、
計測対象物80に対する3Dセンサ70の相対的な位置関係を変えるようにロボット60の各関節を駆動するための駆動指令を生成する駆動制御部11と、
計測対象物80に対する3Dセンサ70の相対的な位置関係が異なる複数の計測ポイント90-1,90-2,…,90-Nで計測対象物80の3Dデータを計測するように3Dセンサ70を制御するセンサ制御部12と、
複数の計測ポイント90-1,90-2,…,90-Nのうち何れか特定の計測ポイントでロボット60の動作を停止させることにより、3Dセンサ70が計測対象物80の3Dデータを計測するときのロボット60の位置及び姿勢と、変位検出装置62がロボット60の各関節の変位を検出するときのロボット60の位置及び姿勢とを一致させる同期制御部13と、
ロボット60の停止中に特定の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位と、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位とに基づいて、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションする第1のレジストレーション処理部14と、
ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータと、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータとのレジストレーション誤差が閾値未満になるように、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションする第2のレジストレーション処理部15と、
を備える計測装置200。
(付記7)
ロボット60に搭載される3Dセンサ70であって、計測対象物80の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサ70を備えるとともに、ロボット60の各関節の変位を検出する変位検出装置62から出力される変位を示す情報を入力し、且つ、ロボット60の各関節を駆動する駆動装置61に駆動指令を出力する計測装置200が、
計測対象物80に対する3Dセンサ70の相対的な位置関係を変えるようにロボット60の各関節を駆動するための駆動指令を生成するステップと、
計測対象物80に対する3Dセンサ70の相対的な位置関係が異なる複数の計測ポイント90-1,90-2,…,90-Nで計測対象物80の3Dデータを計測するように3Dセンサ70を制御するステップと、
複数の計測ポイント90-1,90-2,…,90-Nのうち何れか特定の計測ポイントでロボット60の動作を停止させることにより、3Dセンサ70が計測対象物80の3Dデータを計測するときのロボット60の位置及び姿勢と、変位検出装置62がロボット60の各関節の変位を検出するときのロボット60の位置及び姿勢とを一致させるステップと、
ロボット60の停止中に特定の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位と、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位とに基づいて、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションするステップと、
ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータと、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータとのレジストレーション誤差が閾値未満になるように、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションするステップと、
を実行する計測方法。
(付記8)
ロボット60に搭載される3Dセンサ70であって、計測対象物80の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサ70を備えるとともに、ロボット60の各関節の変位を検出する変位検出装置62から出力される変位を示す情報を入力し、且つ、ロボット60の各関節を駆動する駆動装置61に駆動指令を出力する計測装置200に、
計測対象物80に対する3Dセンサ70の相対的な位置関係を変えるようにロボット60の各関節を駆動するための駆動指令を生成するステップと、
計測対象物80に対する3Dセンサ70の相対的な位置関係が異なる複数の計測ポイント90-1,90-2,…,90-Nで計測対象物80の3Dデータを計測するように3Dセンサ70を制御するステップと、
複数の計測ポイント90-1,90-2,…,90-Nのうち何れか特定の計測ポイントでロボット60の動作を停止させることにより、3Dセンサ70が計測対象物80の3Dデータを計測するときのロボット60の位置及び姿勢と、変位検出装置62がロボット60の各関節の変位を検出するときのロボット60の位置及び姿勢とを一致させるステップと、
ロボット60の停止中に特定の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位と、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位とに基づいて、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションするステップと、
ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータと、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータとのレジストレーション誤差が閾値未満になるように、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、ロボット60の停止中に特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションするステップと、
を実行させる計測プログラム31。
(付記9)
ロボット60に搭載される3Dセンサ70であって、計測対象物80の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサ70と、
ロボット60の各関節の変位を検出する変位検出装置62と、
計測対象物80に対する3Dセンサ70の相対的な位置関係を変えるようにロボット60の各関節を駆動する駆動装置61と、
計測対象物80に対する3Dセンサ70の相対的な位置関係が異なる複数の計測ポイント90-1,90-2,…,90-Nで計測対象物80の3Dデータを計測するように3Dセンサ70を制御するセンサ制御部12と、
複数の計測ポイント90-1,90-2,…,90-Nのうち何れか特定の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位と、特定の計測ポイント以外の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位とに基づいて、特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションする第1のレジストレーション処理部14と、
を備える計測システム100。
(付記10)
付記9に記載の計測システム100であって、
特定の計測ポイントでロボット60の動作を停止又は減速させることにより、3Dセンサ70が計測対象物80の3Dデータを計測するときのロボット60の位置及び姿勢と、変位検出装置62がロボット60の各関節の変位を検出するときのロボット60の位置及び姿勢とを一致させる同期制御部13を更に備え、
第1のレジストレーション処理部14は、ロボット60の停止中又は減速中に特定の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位と、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位とに基づいて、ロボット60の動作中に特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、ロボット60の停止中又は減速中に特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションする、計測システム100。
(付記11)
付記9に記載の計測システム100であって、
計測対象物80に対する3Dセンサ70の位置が特定の計測ポイントに一致するときのロボット60の各関節の変位は、特定の値として既知であり、
ロボット60の各関節の変位が特定の値に一致するときに、変位検出装置62は、計測対象物80の3Dデータの計測を要求する計測指令を3Dセンサ70に出力する、計測システム100。
(付記12)
付記9に記載の計測システム100であって、
センサ制御部12及び第1のレジストレーション処理部14は、フィールドバスを通じて変位検出装置62に接続されている、計測システム100。
(付記13)
付記10に記載の計測システム100であって、
特定の計測ポイント以外の何れか一つ以上の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測するタイミングと、変位検出装置62がロボット60の各関節の変位を検出するタイミングとが非同期である、計測システム100。
(付記14)
付記10に記載の計測システム100であって、
同期制御部13がロボット60の動作を停止又は減速させる回数は、複数の計測ポイントの数より少ない、計測システム100。
(付記15)
付記10に記載の計測システム100であって、
特定の計測ポイントは、複数の計測ポイントのうち何れか一つの計測ポイントである、計測システム100。
(付記16)
付記9乃至15のち何れか1項に記載の計測システム100であって、
特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータと、特定の計測ポイントで計測された計測対象物80の3Dデータとのレジストレーション誤差が閾値未満になるように、特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションする第2のレジストレーション処理部15を更に備える、計測システム100。
(付記17)
付記16に記載の計測システム100であって、
特定の計測ポイント以外の各計測ポイントで計測された計測対象物80の3Dデータと特定の計測ポイントで計測された計測対象物80の3Dデータとの第1のレジストレーション処理部14及び第2のレジストレーション処理部15によるレジストレーションにより得られる3Dデータを3Dセンサ70の座標系からロボット60の座標系に変換する座標変換部16と、
座標変換部16により座標変換された3Dデータに基づいてロボット60に対する測定対象物80の位置及び姿勢を推定する位置姿勢推定部17と、
を更に備える計測システム100。
(付記18)
ロボット60の各関節の変位を検出する変位検出装置62から出力される変位を示す情報を入力するとともに、ロボット60の各関節を駆動する駆動装置61に駆動指令を出力する計測装置200であって、
ロボット60に搭載される3Dセンサであって、計測対象物の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサと、
計測対象物80に対する3Dセンサ70の相対的な位置関係を変えるようにロボット60の各関節を駆動するための駆動指令を生成する駆動制御部11と、
計測対象物80に対する3Dセンサ70の相対的な位置関係が異なる複数の計測ポイント90-1,90-2,…,90-Nで計測対象物80の3Dデータを計測するように3Dセンサ70を制御するセンサ制御部12と、
複数の計測ポイント90-1,90-2,…,90-Nのうち何れか特定の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位と、特定の計測ポイント以外の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位とに基づいて、特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションするレジストレーション処理部14と、
を備える計測装置200。
(付記19)
ロボット60に搭載される3Dセンサ70であって、計測対象物80の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサ70を備えるとともに、ロボット60の各関節の変位を検出する変位検出装置62から出力される変位を示す情報を入力し、且つ、ロボット60の各関節を駆動する駆動装置61に駆動指令を出力する計測装置200が、
計測対象物80に対する3Dセンサ70の相対的な位置関係を変えるようにロボット60の各関節を駆動するための駆動指令を生成するステップと、
計測対象物80に対する3Dセンサ70の相対的な位置関係が異なる複数の計測ポイント90-1,90-2,…,90-Nで計測対象物80の3Dデータを計測するように3Dセンサ70を制御するステップと、
複数の計測ポイントのうち何れか特定の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位と、特定の計測ポイント以外の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位とに基づいて、特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションするステップと、
を実行する計測方法。
(付記20)
ロボット60に搭載される3Dセンサ70であって、計測対象物80の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサ70を備えるとともに、ロボット60の各関節の変位を検出する変位検出装置62から出力される変位を示す情報を入力し、且つ、ロボット60の各関節を駆動する駆動装置61に駆動指令を出力する計測装置200に、
計測対象物80に対する3Dセンサ70の相対的な位置関係を変えるようにロボット60の各関節を駆動するための駆動指令を生成するステップと、
計測対象物80に対する3Dセンサ70の相対的な位置関係が異なる複数の計測ポイント90-1,90-2,…,90-Nで計測対象物80の3Dデータを計測するように3Dセンサ70を制御するステップと、
複数の計測ポイントのうち何れか特定の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位と、特定の計測ポイント以外の計測ポイントで3Dセンサ70が計測対象物80の3Dデータを計測した時点におけるロボット60の各関節の変位とに基づいて、特定の計測ポイント以外の計測ポイントで計測された計測対象物80の3Dデータを、特定の計測ポイントで計測された計測対象物80の3Dデータにレジストレーションするステップと、
を実行させる計測プログラム31。
Claims (12)
- ロボットに搭載される3Dセンサであって、計測対象物の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサと、
前記ロボットの各関節の変位を検出する変位検出装置と、
前記計測対象物に対する前記3Dセンサの相対的な位置関係を変えるように前記ロボットの各関節を駆動する駆動装置と、
前記計測対象物に対する前記3Dセンサの相対的な位置関係が異なる複数の計測ポイントで前記計測対象物の3Dデータを計測するように前記3Dセンサを制御するセンサ制御部と、
前記複数の計測ポイントのうち何れか特定の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位と、前記特定の計測ポイント以外の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位とに基づいて、前記特定の計測ポイント以外の計測ポイントで計測された前記計測対象物の3Dデータを、前記特定の計測ポイントで計測された前記計測対象物の3Dデータにレジストレーションする第1のレジストレーション処理部と、
を備える計測システム。 - 請求項1に記載の計測システムであって、
前記特定の計測ポイントで前記ロボットの動作を停止又は減速させることにより、前記3Dセンサが前記計測対象物の3Dデータを計測するときの前記ロボットの位置及び姿勢と、前記変位検出装置が前記ロボットの各関節の変位を検出するときの前記ロボットの位置及び姿勢とを一致させる同期制御部を更に備え、
前記第1のレジストレーション処理部は、前記ロボットの停止中又は減速中に前記特定の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位と、前記ロボットの動作中に前記特定の計測ポイント以外の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位とに基づいて、前記ロボットの動作中に前記特定の計測ポイント以外の計測ポイントで計測された前記計測対象物の3Dデータを、前記ロボットの停止中又は減速中に前記特定の計測ポイントで計測された前記計測対象物の3Dデータにレジストレーションする、計測システム。 - 請求項1に記載の計測システムであって、
前記計測対象物に対する前記3Dセンサの位置が前記特定の計測ポイントに一致するときの前記ロボットの各関節の変位は、特定の値として既知であり、
前記ロボットの各関節の変位が前記特定の値に一致するときに、前記変位検出装置は、前記計測対象物の3Dデータの計測を要求する計測指令を前記3Dセンサに出力する、計測システム。 - 請求項1に記載の計測システムであって、
前記センサ制御部及び前記第1のレジストレーション処理部は、フィールドバスを通じて前記変位検出装置に接続されている、計測システム。 - 請求項2に記載の計測システムであって、
前記特定の計測ポイント以外の何れか一つ以上の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測するタイミングと、前記変位検出装置が前記ロボットの各関節の変位を検出するタイミングとが非同期である、計測システム。 - 請求項2に記載の計測システムであって、
前記同期制御部が前記ロボットの動作を停止又は減速させる回数は、前記複数の計測ポイントの数より少ない、計測システム。 - 請求項2に記載の計測システムであって、
前記特定の計測ポイントは、前記複数の計測ポイントのうち何れか一つの計測ポイントである、計測システム。 - 請求項1乃至7のち何れか1項に記載の計測システムであって、
前記特定の計測ポイント以外の計測ポイントで計測された前記計測対象物の3Dデータと、前記特定の計測ポイントで計測された前記計測対象物の3Dデータとのレジストレーション誤差が閾値未満になるように、前記特定の計測ポイント以外の計測ポイントで計測された前記計測対象物の3Dデータを、前記特定の計測ポイントで計測された前記計測対象物の3Dデータにレジストレーションする第2のレジストレーション処理部を更に備える、計測システム。 - 請求項8に記載の計測システムであって、
前記特定の計測ポイント以外の各計測ポイントで計測された前記計測対象物の3Dデータと前記特定の計測ポイントで計測された前記計測対象物の3Dデータとの前記第1のレジストレーション処理部及び前記第2のレジストレーション処理部によるレジストレーションにより得られる前記3Dデータを前記3Dセンサの座標系から前記ロボットの座標系に変換する座標変換部と、
前記座標変換部により座標変換された前記3Dデータに基づいて前記ロボットに対する前記計測対象物の位置及び姿勢を推定する位置姿勢推定部と、
を更に備える計測システム。 - ロボットの各関節の変位を検出する変位検出装置から出力される前記変位を示す情報を入力するとともに、前記ロボットの各関節を駆動する駆動装置に駆動指令を出力する計測装置であって、
前記ロボットに搭載される3Dセンサであって、計測対象物の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサと、
前記計測対象物に対する前記3Dセンサの相対的な位置関係を変えるように前記ロボットの各関節を駆動するための前記駆動指令を生成する駆動制御部と、
前記計測対象物に対する前記3Dセンサの相対的な位置関係が異なる複数の計測ポイントで前記計測対象物の3Dデータを計測するように前記3Dセンサを制御するセンサ制御部と、
前記複数の計測ポイントのうち何れか特定の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位と、前記特定の計測ポイント以外の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位とに基づいて、前記特定の計測ポイント以外の計測ポイントで計測された前記計測対象物の3Dデータを、前記特定の計測ポイントで計測された前記計測対象物の3Dデータにレジストレーションするレジストレーション処理部と、
を備える計測装置。 - ロボットに搭載される3Dセンサであって、計測対象物の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサを備えるとともに、前記ロボットの各関節の変位を検出する変位検出装置から出力される前記変位を示す情報を入力し、且つ、前記ロボットの各関節を駆動する駆動装置に駆動指令を出力する計測装置が、
前記計測対象物に対する前記3Dセンサの相対的な位置関係を変えるように前記ロボットの各関節を駆動するための前記駆動指令を生成するステップと、
前記計測対象物に対する前記3Dセンサの相対的な位置関係が異なる複数の計測ポイントで前記計測対象物の3Dデータを計測するように前記3Dセンサを制御するステップと、
前記複数の計測ポイントのうち何れか特定の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位と、前記特定の計測ポイント以外の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位とに基づいて、前記特定の計測ポイント以外の計測ポイントで計測された前記計測対象物の3Dデータを、前記特定の計測ポイントで計測された前記計測対象物の3Dデータにレジストレーションするステップと、
を実行する計測方法。 - ロボットに搭載される3Dセンサであって、計測対象物の表面の各点の3次元座標を示す3Dデータを計測する3Dセンサを備えるとともに、前記ロボットの各関節の変位を検出する変位検出装置から出力される前記変位を示す情報を入力し、且つ、前記ロボットの各関節を駆動する駆動装置に駆動指令を出力する計測装置に、
前記計測対象物に対する前記3Dセンサの相対的な位置関係を変えるように前記ロボットの各関節を駆動するための前記駆動指令を生成するステップと、
前記計測対象物に対する前記3Dセンサの相対的な位置関係が異なる複数の計測ポイントで前記計測対象物の3Dデータを計測するように前記3Dセンサを制御するステップと、
前記複数の計測ポイントのうち何れか特定の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位と、前記特定の計測ポイント以外の計測ポイントで前記3Dセンサが前記計測対象物の3Dデータを計測した時点における前記ロボットの各関節の変位とに基づいて、前記特定の計測ポイント以外の計測ポイントで計測された前記計測対象物の3Dデータを、前記特定の計測ポイントで計測された前記計測対象物の3Dデータにレジストレーションするステップと、
を実行させる計測プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019091862 | 2019-05-15 | ||
JP2019091862 | 2019-05-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020190551A JP2020190551A (ja) | 2020-11-26 |
JP7448884B2 true JP7448884B2 (ja) | 2024-03-13 |
Family
ID=70681649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020083903A Active JP7448884B2 (ja) | 2019-05-15 | 2020-05-12 | 計測システム、計測装置、計測方法、及び計測プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11193755B2 (ja) |
EP (1) | EP3738725B1 (ja) |
JP (1) | JP7448884B2 (ja) |
CN (1) | CN111947568B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4245308A1 (en) | 2020-11-16 | 2023-09-20 | Human Life Cord Japan Inc. | Cell preparation to be used for preventing decrease in muscle mass |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006022201A1 (ja) | 2004-08-25 | 2006-03-02 | Kabushiki Kaisha Yaskawa Denki | ロボットの評価システム及び評価方法 |
JP2011115546A (ja) | 2009-11-30 | 2011-06-16 | Ge Medical Systems Global Technology Co Llc | 超音波三次元再構成方法及び装置、並びに超音波システム |
JP2012040669A (ja) | 2010-08-23 | 2012-03-01 | Ihi Corp | バラ積みピッキング装置および方法 |
JP2012200805A (ja) | 2011-03-24 | 2012-10-22 | Canon Inc | ロボット制御装置、ロボット制御方法、プログラム及び記録媒体 |
WO2013002099A1 (ja) | 2011-06-29 | 2013-01-03 | 三菱電機株式会社 | 部品供給装置 |
JP2016099257A (ja) | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP2016109630A (ja) | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2017090210A (ja) | 2015-11-09 | 2017-05-25 | 株式会社東芝 | 計測装置及び計測方法 |
JP6200604B1 (ja) | 2016-04-12 | 2017-09-20 | 株式会社オプティム | 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム |
JP2018161700A (ja) | 2017-03-24 | 2018-10-18 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法、製造方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4481592A (en) * | 1982-03-05 | 1984-11-06 | Texas Instruments Incorporated | Calibration system for a programmable manipulator |
US4879664A (en) * | 1985-05-23 | 1989-11-07 | Kabushiki Kaisha Toshiba | Three-dimensional position sensor and three-dimensional position setting system |
US6697748B1 (en) * | 1995-08-07 | 2004-02-24 | Immersion Corporation | Digitizing system and rotary table for determining 3-D geometry of an object |
CN101261118A (zh) | 2008-04-17 | 2008-09-10 | 天津大学 | 基于机器人的快速自动化三维形貌在线测量方法和*** |
JP2013184257A (ja) | 2012-03-08 | 2013-09-19 | Sony Corp | ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム |
DE102016116702B4 (de) | 2015-09-14 | 2019-01-24 | Fanuc Corporation | Messsystem zum Kalibrieren der mechanischen Parameter eines Roboters |
JP6514156B2 (ja) | 2016-08-17 | 2019-05-15 | ファナック株式会社 | ロボット制御装置 |
JP6527178B2 (ja) | 2017-01-12 | 2019-06-05 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
EP3366433B1 (en) * | 2017-02-09 | 2022-03-09 | Canon Kabushiki Kaisha | Method of controlling robot, method of teaching robot, and robot system |
JP6816070B2 (ja) * | 2018-08-24 | 2021-01-20 | ファナック株式会社 | 干渉回避装置およびロボットシステム |
US20200096316A1 (en) * | 2018-09-06 | 2020-03-26 | Faro Technologies, Inc. | Three-dimensional measuring device and method |
-
2020
- 2020-05-11 EP EP20173880.4A patent/EP3738725B1/en active Active
- 2020-05-12 JP JP2020083903A patent/JP7448884B2/ja active Active
- 2020-05-13 US US15/930,473 patent/US11193755B2/en active Active
- 2020-05-14 CN CN202010406289.2A patent/CN111947568B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006022201A1 (ja) | 2004-08-25 | 2006-03-02 | Kabushiki Kaisha Yaskawa Denki | ロボットの評価システム及び評価方法 |
JP2011115546A (ja) | 2009-11-30 | 2011-06-16 | Ge Medical Systems Global Technology Co Llc | 超音波三次元再構成方法及び装置、並びに超音波システム |
JP2012040669A (ja) | 2010-08-23 | 2012-03-01 | Ihi Corp | バラ積みピッキング装置および方法 |
JP2012200805A (ja) | 2011-03-24 | 2012-10-22 | Canon Inc | ロボット制御装置、ロボット制御方法、プログラム及び記録媒体 |
WO2013002099A1 (ja) | 2011-06-29 | 2013-01-03 | 三菱電機株式会社 | 部品供給装置 |
JP2016099257A (ja) | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP2016109630A (ja) | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2017090210A (ja) | 2015-11-09 | 2017-05-25 | 株式会社東芝 | 計測装置及び計測方法 |
JP6200604B1 (ja) | 2016-04-12 | 2017-09-20 | 株式会社オプティム | 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム |
JP2018161700A (ja) | 2017-03-24 | 2018-10-18 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法、製造方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200363186A1 (en) | 2020-11-19 |
EP3738725A1 (en) | 2020-11-18 |
JP2020190551A (ja) | 2020-11-26 |
EP3738725B1 (en) | 2022-02-16 |
CN111947568A (zh) | 2020-11-17 |
CN111947568B (zh) | 2021-11-02 |
US11193755B2 (en) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
JP4961860B2 (ja) | ロボット装置及びロボット装置の制御方法 | |
JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
EP3229208B1 (en) | Camera pose estimation | |
JP6703812B2 (ja) | 3次元物体検査装置 | |
JP2007216350A (ja) | 移動型ロボット | |
JP2011175477A (ja) | 3次元計測装置、処理方法及びプログラム | |
WO2019161517A1 (zh) | 基于云端的轨迹地图生成方法、装置、设备及应用程序 | |
Buchholz et al. | Combining visual and inertial features for efficient grasping and bin-picking | |
JP6626338B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
Gratal et al. | Virtual visual servoing for real-time robot pose estimation | |
JP7448884B2 (ja) | 計測システム、計測装置、計測方法、及び計測プログラム | |
JP4849178B2 (ja) | 移動型ロボット | |
JP5698815B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2003136465A (ja) | 検出対象物の3次元位置・姿勢決定方法とロボット用視覚センサ | |
US20240003675A1 (en) | Measurement system, measurement device, measurement method, and measurement program | |
Nakhaeinia et al. | Adaptive robotic contour following from low accuracy RGB-D surface profiling and visual servoing | |
JP7134413B2 (ja) | 計測装置、計測方法、及び計測プログラム | |
Zhu et al. | Research on 3D virtual environment modeling technology for space tele-robot | |
Ren et al. | Vision based object grasping of robotic manipulator | |
JP2005186193A (ja) | ロボットのキャリブレーション方法および三次元位置計測方法 | |
JP2021133458A (ja) | 3次元計測装置および3次元計測システム | |
Alizadeh et al. | A real-time object distance measurement using a monocular camera | |
JP2021053775A (ja) | 制御システムおよびロボットシステム | |
TW202231427A (zh) | 機器人控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7448884 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |